Sort:  
  • Trending
    • [-]
     7 years ago 

    Wenn der Namen nicht spezifisch in Robots.txt aufgelistet wird, dann werden einfach die Befehle unter User-agent: * ausgeführt, also wird der DuckDuckBot folgende Befehle befolgen:

    Disallow: */SiteGlobals
Disallow: */DE/Service
Disallow: */EN/Service
Disallow: */DE/_Magazine
Crawl-delay: 180

    Wichtig anzumerken ist jedoch, dass DuckDuckGo nicht nur seine eigenen Ergebnisse anzeigt, sondern auch sich bei anderen Suchmaschinen bedient. Unteranderem ist Bing eine davon. Bei Bing haben wir folgendes:

    User-agent: Bingbot 
Allow: */SiteGlobals

    Deshalb taucht die Seite auch bei DuckDuckGo auf. :)

    Quelle: https://duck.co/help/results/sources

    $0.00
      Reply

      Coin Marketplace

      STEEM 0.17
      TRX 0.15
      JST 0.028
      BTC 60249.61
      ETH 2321.35
      USDT 1.00
      SBD 2.51