MJ12bot – majestic Bot – Hilfe für Administratoren

Wir haben wohl in ein ganz großes Wespennest gestochen! Wahrscheinlich werden viele Server und Host-Systeme weltweit überlastet und sind daher langsam, nur auf Grund von #DDoS ähnlichen Attacken und die Hintergründe waren schwer zu ermitteln! Daher unsere Hilfe hier auch für andere Administratoren:

Angriffe von vielen IPs und sperren Sie eine IP, kommt die Attacke von einer anderen IP:

Seit dem 18.12.2014 suchen wir an allen möglichen Stellen, um diesen Angriffen „Herr“ zu werden und unsere Hosts laufen daher stabil, aber immer wieder wurden diese bis zum Anschlag „ausgelastet“, aber nun haben wir eine große Quelle dieser Attacken zurück verfolgen können, die bei uns überwiegend nur über die Server von Hetzner kamen! Wir haben Hetzner aufgefordert, diese Attacken zu unterbinden!

Zuerst einmal scannen Sie Ihre Server, die zu langsam sind:

Hier Beispiele für verschiedene Umgebungen:

Plesk:

 grep 'MJ12bot' /var/www/vhosts/system/*/logs/access_log 



cPanel:

 grep 'MJ12bot' /usr/local/apache/domlogs/*/* 

standard Apache:

 grep 'MJ12bot' /var/logs/apache2/access.log 

Setzen Sie Fail2Ban ein, um die IPs automatisch zu sperren:

Sie benötigen den Filter für Bad-Bots, den Sie als apache-badbots.conf in /etc/fail2ban/filter.d speichern:


# Fail2Ban configuration file
#
# List of bad bots fetched from http://www.user-agents.org
# Generated on Sun Feb 11 01:09:15 EST 2007 by ./badbots.sh
#
# Author: Yaroslav Halchenko
#
# $Revision$
#

[Definition]

badbotscustom = EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|tools\.ua\.random|Mozilla/5\.0 \(compatible; MJ12bot/v1\.4\.5; http\://www\.majestic12\.co\.uk/bot\.php\?\+\)
badbots = atSpider/1\.0|autoemailspider|China Local Browse 2\.6|ContentSmartz|DataCha0s/2\.0|DBrowse 1\.4b|DBrowse 1\.4d|Demo Bot DOT 16b|Demo Bot Z 16b|DSurf15a 01|DSurf15a 71|DSurf15a 81|DSurf15a VA|EBrowse 1\.4b|Educate Search VxB|EmailSiphon|EmailWolf 1\.00|ESurf15a 15|ExtractorPro|Franklin Locator 1\.8|FSurf15a 01|Full Web Bot 0416B|Full Web Bot 0516B|Full Web Bot 2816B|Industry Program 1\.0\.x|ISC Systems iRc Search 2\.1|IUPUI Research Bot v 1\.9a|LARBIN-EXPERIMENTAL \(efp@gmx\.net\)|LetsCrawl\.com/1\.0 +http\://letscrawl\.com/|Lincoln State Web Browser|LWP\:\:Simple/5\.803|Mac Finder 1\.0\.xx|MFC Foundation Class Library 4\.0|Microsoft URL Control - 6\.00\.8xxx|Missauga Locate 1\.0\.0|Missigua Locator 1\.9|Missouri College Browse|Mizzu Labs 2\.2|Mo College 1\.9|Mozilla/2\.0 \(compatible; NEWT ActiveX; Win32\)|Mozilla/3\.0 \(compatible; Indy Library\)|Mozilla/4\.0 \(compatible; Advanced Email Extractor v2\.xx\)|Mozilla/4\.0 \(compatible; Iplexx Spider/1\.0 http\://www\.iplexx\.at\)|Mozilla/4\.0 \(compatible; MSIE 5\.0; Windows NT; DigExt; DTS Agent|Mozilla/4\.0 efp@gmx\.net|Mozilla/5\.0 \(Version\: xxxx Type\:xx\)|MVAClient|NASA Search 1\.0|Nsauditor/1\.x|PBrowse 1\.4b|PEval 1\.4b|Poirot|Port Huron Labs|Production Bot 0116B|Production Bot 2016B|Production Bot DOT 3016B|Program Shareware 1\.0\.2|PSurf15a 11|PSurf15a 51|PSurf15a VA|psycheclone|RSurf15a 41|RSurf15a 51|RSurf15a 81|searchbot admin@google\.com|sogou spider|sohu agent|SSurf15a 11 |TSurf15a 11|Under the Rainbow 2\.2|User-Agent\: Mozilla/4\.0 \(compatible; MSIE 6\.0; Windows NT 5\.1\)|WebVulnCrawl\.blogspot\.com/1\.0 libwww-perl/5\.803|Wells Search II|WEP Search 00

# Option: failregex
# Notes.: Regexp to catch known spambots and software alike. Please verify
# that it is your intent to block IPs which were driven by
# abovementioned bots.
# Values: TEXT
#
failregex = ^<HOST> -.*"(GET|POST).*HTTP.*"(?:%(badbots)s|%(badbotscustom)s)"$

# Option: ignoreregex
# Notes.: regex to ignore. If this regex matches, the line is ignored.
# Values: TEXT
#
ignoreregex =


Jetzt müssen Sie nur noch Ihre jail.conf anpassen (in /etc/fail2ban)


[apache-badbots]
enabled = true
filter = apache-badbots
#benutze default actions
#action = route[name=apache-wp-login, port="http,https", protocol=tcp]
port = http,https
# Log-Path anpassen, wie oben beschrieben:
logpath = /var/www/vhosts/system/*/logs/access_log
maxretry = 5
bantime = 86400


Ok, wollen Sie noch mehr Sicherheit – automatische Liste der IPs aller Hacker/Spammer/Intruder:

Wir bauen ein Netzwerk auf, daß nicht nur IPs enthält, daß Spammer listet, sondern jegliche Attacken, die von einzelnen IPs, wie aber auch von RIRs (Netz-Bereiche) oder ASNs (verschiedene Netze eines Hosteers) auflistet!

Stellen Sie über unseren Support-Service auf der Seite 1awww.com eine Anfrage, wenn Sie hier Hilfe und Zugang zu unserem neuen Anti-Hacking-System erhalten wollen!

10 Gedanken zu „MJ12bot – majestic Bot – Hilfe für Administratoren“

  1. Die Logs mal genau anzuschauen und der Bot-URL zu folgen wäre eventuell auch was ;-). Dort steht genau beschrieben wie diese Zugriffe verzögert oder komplett unterbunden werden können.

    1. Daß ist wohl richtig, dennoch genau der umgekehrte Weg! Vergleichen wir daß einfach mal mit dem Werbeverbot über Fax oder Mails!
      Hier wurde die Werbung insbesondere mit der Argumentation verboten, daß diese dem Empfänger ohne vorherige Zustimmung Kosten verursacht!
      Würde der MJ12Bot sich so verhalten, wie auch Google, dann wäre auch gar nichts dagegen einzuwenden, daß dieser crawled! Er geht aber so aggressiv vor und scannt in einem Shared-Hosting-Server alle Domains zur gleichen Zeit und dann auch noch von unterschiedlichen IPs und wenn mehrere Sharing-Server in einem Host laufen, der auch ausreichend über Kapazität verfügt, wird dieser ohne spezielle Genehmigung, wie bei einem DDoS überlastet! Dann soll jetzt erst einmal der Hoster alle Kunden auffordern, den BOT in den .htaccess-Dateien zu verbieten, daß der Host wieder normal verfügbar ist? Daß kann ja nicht wirklich richtig sein – oder?

      Stellen Sie sich vor, da kommt dann Bot1 und überlastet den Host und morgen kommen 20 weitere dazu!

      Und es ist kein Einzelfall, daß wir es bemerkt haben, daß dieser BOT Server überlastet! Auch andere Provider haben bereits mit diesem BOT zu kämpfen gehabt! Und denken Sie bitte daran, daß dieser BOT auch bei Kunden, die CDN verwenden, zu hohen Traffic-Kosten führen kann!

      1. Kannst du mir mal so ein Logfile zukommen lassen, wo die Zeit der Abrufe drinsteht (also damit man die Abstände sieht)? Ich würde das gerne mit dem Manager des Majestic12-Projekts diskutieren.
        Die E-Mail von mir hast du ja.

        1. Hallo Marco,

          also nur mal bei einem einzigen Webspace – einer Domain, erfolgten die Scans alle 2 Sekunden! Man muß aber hier die Gesamt-Zahl der Scans sehen, die über verschiedene IPs kamen und auf verschiedenen Ziel-IPs durchgeführt wurden (auch über CDN, wenn also das CDN die Seiten holt, sind schon eine Menge der Seiten über CDN geliefert worden)! Die Anzahl ist definitiv zu hoch, insbesondere bei Wikis, wurde stunden-und tagelang gescannt!

          Der springende Punkt ist doch, daß so kein Crawler einer üblichen Suchmaschine so vorgeht, denn diese crawlen auch die Webspaces und ohne daß dabei die Server zusammen brechen!

          Und nein, Log-Files stellen wir Ihnen nicht zur Verfügung! Dem jeweils beteiligten Rechenzentrum werden ggf. Log-Files zur Analyse und Abstellung von Attacken bereit gestellt und sonst nicht mehr! Ferner haben wir einem großen Rechenzentrum bereits mitgeteilt, daß wenn von diesem Rechenzentrum weitere dieser Überlastungen erfolgen, wir dieses in die mitschuldnerische Haftung nehmen!

          Grundsätzlich sind Probleme dort zu beseitigen, wo diese erzeugt werden und nicht bei den Betreibern der Server, die den Attacken ausgesetzt werden! Und Sie können auch sicher sein, bei der nächsten Überlastung, insbesondere wenn diese von einem deutschen oder anderen europäischen Rechenzentrum kommen, stellen wir gnadenlos Strafanzeige(n)! Im Endeffekt erhalten dann die ermittelnden Behörden die Adressen der Server-Betreiber, die diese Bots betreiben und Sie können sicher sein, daß dann die Anzahl der Log-Einträge reichen wird, diese Überlastungen auch als DDoS-Attacke zu verfolgen!

          Daher können wir jedem nur abraten, diesen Bot weiter zu betreiben!

          Ansonsten wünschen wir Ihnen einen schönen Tag

  2. Du solltest dir mal die https://blog.1awww.com/robots.txt anschauen, da steht fast nix drinnen.

    Wenn du den Bot Traffic auf deinen Seiten Managen willst dann leg doch bitte eine funktionsfähige robots.txt datein für die Domains an um die Zugriffe entsprechend auf einen größeren Zeitraum zu verteilen oder zu blocken. Das sollte ausreichen um den MJ12bot (und die meisten anderen Bots) entweder zu drosseln oder komplett zu blocken.

    http://de.wikipedia.org/wiki/Robots_Exclusion_Standard

    Ein konkretes Beispiel:

    http://en.wikipedia.org/robots.txt

    1. Hallo Computer Nerd, auf unseren Hosts werden 1500 Kunden-Webspaces gehostet und bei allen Kunden steht mehr oder weniger in der robots.txt drin! Nur weil ein Bot verrückt spielt, müssen wir nicht 1500 Kunden zwingen, hier die robots.txt anzupassen – oder?

      Überlegen Sie doch einfach mal, warum auch das nicht gestattete Senden von Faxen oder Mails verboten ist?! Die Begründung für dieses Verbot war, damit es nicht beim Empfänger Kosten verursacht! Ein normaler Bot, der allmählich, so wie dies Google macht, Webseiten scannt, ist dabei vielleicht auch von Kunden noch erwünscht und verursacht damit auch nicht hohe Kosten! Wenn aber ein Bot die gesamte Leistung eines Servers oder Hosts durch permanente Request, die auch noch von unterschiedlichen IPs kommen, überlastet, so daß andere Anfragen nicht beantwortet gehen, nennt man dies DDoS! …. und daß darf nicht passieren, egal ob bei den Kunden der Bot gesperrt worden ist oder nicht!

      Dennoch schöne Grüße

      1. Dem kann ich nur zustimmen. Es geht soweit, dass selbst starke Systeme deutlich unter der Last zu leiden haben. Wir haben hier teilweise Lastspitzen gemessen, die nahe an einen DDoS heran gingen.

        1. Unser neues System anti-attacks.com schützt vor solchen Attacken. Alle Server, die über 1awww betrieben werden, werden automatisch auf Host-Ebene vor Hackern geschützt!
          Die Sperrlisten unter anti-attacks.com können von anderen Hostern oder anderen Server-Betreibern, die nicht über 1awww hosten, in Firewalls / Router intigriert werden!
          Demnächst gibt es auch einen automatischen Update-Service. Die Sperrlisten werden stündlich neu erzeugt!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.