Seit einigen Tagen erhielten wir vermehrt unerklärliche Abrufe, wobei allerdings zur gleichen Zeit hunderte von Verbindungen von gleichen IPs und auch einzelne Abrufe von zig einzelnen IPs erfolgten. Durch aufwendige Rekonstruierungen von wartenden Port-Öffnungen, konnten wir mehrere IPs von Hetzner ausmachen und haben diese IPs geblockt und auch darüber Hetzner via Abuse-Mails informiert. Der Witz dabei jedoch, wurde eine IP geblockt, kamen direkt Abrufe von einer anderen IP von Hetzner und erneut entstanden hohe Belastungen der Hosts!
Jetzt hat sich auf eine weiter geleitete Abuse – Mail, die an Hetzner ging, ein Mitarbeiter vom Majestic-Projekt gemeldet, der dann auch geschrieben hat, daß diese Abrufe aus der gesamten Welt und von vielen unterschiedlichen IPs kommen können! Sogenannte Bots (elektronische Abrufer) scannen dabei Webseiten!
Es ist gut, wenn Suchmaschinen unsere Kunden-Seiten scannen, damit diese im Google & Co auch gut gelistet werden! Nicht angehen kann jedoch, daß eine Crawling-Farm so aggressiv crawled, daß unsere Hosts so überlastet werden, daß Kunden nicht mehr Ihre Mails abrufen können oder ihre Seiten warten und pflegen können!
Wir haben der englischen Firma vorerst untersagt, bis die Ihren Algorithmus angepaßt haben, bis auf weiteres unsere Server zu crawlen. Auch werden wir in unseren shared Servern diesen Bot in die „Bad-Bot“-Liste aufnehmen, da lt. einem anderen Blog sich auch dieser Bot nicht daran hält, Verbote in der .htaccess zu beachten!
Auch werden wir weiter nachhaltig die IPs und IP-Segmente sperren, die sich wie DDoS-Attacken verhalten! Wir bitten unsere Kunden um Verständnis, wenn solche Störungen auftreten, die aber von außen durchgeführt werden!<br class=“clear“ /><br class=“clear“ />