Suchmaschinen-Robot Erfahrungen

Probleme, Fragen oder Wünsche zum Forum?
Antworten
Benutzeravatar
EternaX
Beiträge: 4626
Registriert: 16. Nov 2017 18:49
Baujahr: 1995
MKB: AAA
Echter Name: -
Kontaktdaten:

Suchmaschinen-Robot Erfahrungen

Beitrag von EternaX »

Hi Leute,

hier gibt's ja ein paar weitere Website Betreiber unter Euch.
Hat wer konkrete Erfahrungen mit dem bingbot gemacht?
Im letzten Monat hat der bingbot von Microsoft gut 80GB Traffic hier im Forum durch irgendwelche Crawling-Aktionen verursacht.
Und genau der Traffic wird uns jetzt vom Webhoster in Rechnung gestellt, weil es deutlich über das Freivolumen geht.

Ich habe die IP Adressen der Logfiles kontrolliert und die IPs sind eindeutig aus Redmond - es ist also wirklich der bingbot und kein als solcher getarnter anderer Crawler.

Ich habe dann per robots.txt testweise komplett dem bingbot ein disallow / gegeben ud allen anderen bots ein crawl-Delay von 120 gesetzt.
Natürlich hat sich der Microschrott-Bot nicht daran gehalten und alleine vom 1.2. - 6.2. schon wieder gut 650 MB Traffic verursacht!!

Wir zahlen hier also ständig wegen dem Microsoft Bot drauf - und das obwohl wir 100GB Traffic im Monat frei haben, was bei normaler Benutzung durch die User und normaler Bots, mehr als ausreichend ist.

Ich habe für alle weiteren schwarzen Bot-Schafe auch eine Spider Trap installiert, die gut funktioniert.

Aber was mache ich mit dem Bingbot? Soll ich jetzt alle bekannten IP-Ranges von Microsoft per htaccess aussperren? Das kann's ja wohl nicht sein.

Hat wer eine Idee?
Benutzeravatar
Renegade
Cabrio-Urgestein
Beiträge: 3586
Registriert: 17. Apr 2008 13:53
Baujahr: 2001
MKB: AWG
GKB: DFQ
Motorleistung (PS): 115
Echter Name: Martin
Wohnort: Elmshorn
Gender:
Kontaktdaten:

Beitrag von Renegade »

Schau mal das hier: http://www.abakus-internet-marketing.de ... 17080.html

Evtl. ist es gar nicht BING.
Musst sonst über die .htaccess die betroffene IP Bannen

Dafür könnte das von Interesse sein: http://timkunze.eu/spambots-und-boese-c ... lockieren/
Bild
WIKIpedia / Mediengallerie vom Forum
Supporte das Forum, und kauf Sachen über diesen Amazon Affilliate Link:
Bild
VBY2ZRBZ
Benutzeravatar
MysticEmpires
Cabrio-Urgestein
Beiträge: 3599
Registriert: 5. Jun 2007 08:04

Beitrag von MysticEmpires »

http://www.bing.com/blogs/webmaster/f/1 ... 72519.aspx

Versuch es doch mal mit der eMail an die email dort im Thread.
Benutzeravatar
EternaX
Beiträge: 4626
Registriert: 16. Nov 2017 18:49
Baujahr: 1995
MKB: AAA
Echter Name: -
Kontaktdaten:

Beitrag von EternaX »

@Martin: doch, die IPs gehören eindeutig Microsoft - das hatte ich ja auch oben schon geschrieben.

Ich habe auch für Bots, die sich nicht an die robots.txt halten, die Spidertrap eingerichtet. Ein Bot, der sich nicht an die robots.txt hält, wird nämlich versuchen ein spezielles Verzeichnis zu crawlen das hier verlinkt ist. Und wenn der Bot das tut, wird seine IP automatisch per htaccess blockiert.

@Alex: ich lese mir das mal durch - komme nur grad von unterwegs nicht auf den Link
Benutzeravatar
Renegade
Cabrio-Urgestein
Beiträge: 3586
Registriert: 17. Apr 2008 13:53
Baujahr: 2001
MKB: AWG
GKB: DFQ
Motorleistung (PS): 115
Echter Name: Martin
Wohnort: Elmshorn
Gender:
Kontaktdaten:

Beitrag von Renegade »

[quote='EternaX','index.php?page=Thread&postID=273401#post273401']@Alex: ich lese mir das mal durch - komme nur grad von unterwegs nicht auf den Link[/quote]

Zitat von der Seite:
[quote]If you have not already done so, please send some snippets of your log file to bwmc@microsoft.com with the subject line, "MSNbot Overcrawling" and we will get our crawling team to look at it.[/quote]

Auch Interessant: http://www.phoenixrealm.com/bing-ignori ... dex-pages/
Bild
WIKIpedia / Mediengallerie vom Forum
Supporte das Forum, und kauf Sachen über diesen Amazon Affilliate Link:
Bild
VBY2ZRBZ
Antworten

Zurück zu „Anregungen und Fragen“

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder