Hi Leute,
hier gibt's ja ein paar weitere Website Betreiber unter Euch.
Hat wer konkrete Erfahrungen mit dem bingbot gemacht?
Im letzten Monat hat der bingbot von Microsoft gut 80GB Traffic hier im Forum durch irgendwelche Crawling-Aktionen verursacht.
Und genau der Traffic wird uns jetzt vom Webhoster in Rechnung gestellt, weil es deutlich über das Freivolumen geht.
Ich habe die IP Adressen der Logfiles kontrolliert und die IPs sind eindeutig aus Redmond - es ist also wirklich der bingbot und kein als solcher getarnter anderer Crawler.
Ich habe dann per robots.txt testweise komplett dem bingbot ein disallow / gegeben ud allen anderen bots ein crawl-Delay von 120 gesetzt.
Natürlich hat sich der Microschrott-Bot nicht daran gehalten und alleine vom 1.2. - 6.2. schon wieder gut 650 MB Traffic verursacht!!
Wir zahlen hier also ständig wegen dem Microsoft Bot drauf - und das obwohl wir 100GB Traffic im Monat frei haben, was bei normaler Benutzung durch die User und normaler Bots, mehr als ausreichend ist.
Ich habe für alle weiteren schwarzen Bot-Schafe auch eine Spider Trap installiert, die gut funktioniert.
Aber was mache ich mit dem Bingbot? Soll ich jetzt alle bekannten IP-Ranges von Microsoft per htaccess aussperren? Das kann's ja wohl nicht sein.
Hat wer eine Idee?
Suchmaschinen-Robot Erfahrungen
- Renegade
- Cabrio-Urgestein
- Beiträge: 3589
- Registriert: 17. Apr 2008 13:53
- Baujahr: 2001
- MKB: AWG
- GKB: DFQ
- Motorleistung (PS): 115
- Echter Name: Martin
- Wohnort: Elmshorn
- Gender:
- Kontaktdaten:
Schau mal das hier: http://www.abakus-internet-marketing.de ... 17080.html
Evtl. ist es gar nicht BING.
Musst sonst über die .htaccess die betroffene IP Bannen
Dafür könnte das von Interesse sein: http://timkunze.eu/spambots-und-boese-c ... lockieren/
Evtl. ist es gar nicht BING.
Musst sonst über die .htaccess die betroffene IP Bannen
Dafür könnte das von Interesse sein: http://timkunze.eu/spambots-und-boese-c ... lockieren/
WIKIpedia / Mediengallerie vom Forum
Supporte das Forum, und kauf Sachen über diesen Amazon Affilliate Link:
- MysticEmpires
- Cabrio-Urgestein
- Beiträge: 3599
- Registriert: 5. Jun 2007 08:04
http://www.bing.com/blogs/webmaster/f/1 ... 72519.aspx
Versuch es doch mal mit der eMail an die email dort im Thread.
Versuch es doch mal mit der eMail an die email dort im Thread.
- EternaX
- Beiträge: 4626
- Registriert: 16. Nov 2017 18:49
- Baujahr: 1995
- MKB: AAA
- Echter Name: -
- Kontaktdaten:
@Martin: doch, die IPs gehören eindeutig Microsoft - das hatte ich ja auch oben schon geschrieben.
Ich habe auch für Bots, die sich nicht an die robots.txt halten, die Spidertrap eingerichtet. Ein Bot, der sich nicht an die robots.txt hält, wird nämlich versuchen ein spezielles Verzeichnis zu crawlen das hier verlinkt ist. Und wenn der Bot das tut, wird seine IP automatisch per htaccess blockiert.
@Alex: ich lese mir das mal durch - komme nur grad von unterwegs nicht auf den Link
Ich habe auch für Bots, die sich nicht an die robots.txt halten, die Spidertrap eingerichtet. Ein Bot, der sich nicht an die robots.txt hält, wird nämlich versuchen ein spezielles Verzeichnis zu crawlen das hier verlinkt ist. Und wenn der Bot das tut, wird seine IP automatisch per htaccess blockiert.
@Alex: ich lese mir das mal durch - komme nur grad von unterwegs nicht auf den Link
- Renegade
- Cabrio-Urgestein
- Beiträge: 3589
- Registriert: 17. Apr 2008 13:53
- Baujahr: 2001
- MKB: AWG
- GKB: DFQ
- Motorleistung (PS): 115
- Echter Name: Martin
- Wohnort: Elmshorn
- Gender:
- Kontaktdaten:
[quote='EternaX','index.php?page=Thread&postID=273401#post273401']@Alex: ich lese mir das mal durch - komme nur grad von unterwegs nicht auf den Link[/quote]
Zitat von der Seite:
[quote]If you have not already done so, please send some snippets of your log file to bwmc@microsoft.com with the subject line, "MSNbot Overcrawling" and we will get our crawling team to look at it.[/quote]
Auch Interessant: http://www.phoenixrealm.com/bing-ignori ... dex-pages/
Zitat von der Seite:
[quote]If you have not already done so, please send some snippets of your log file to bwmc@microsoft.com with the subject line, "MSNbot Overcrawling" and we will get our crawling team to look at it.[/quote]
Auch Interessant: http://www.phoenixrealm.com/bing-ignori ... dex-pages/
WIKIpedia / Mediengallerie vom Forum
Supporte das Forum, und kauf Sachen über diesen Amazon Affilliate Link:
Wer ist online?
Mitglieder in diesem Forum: 0 Mitglieder