semalt.com Crawler blockieren

Wer sich als Webmaster mit der Zugriffsstatistik seiner Website befasst (sollte man gelegentlich mal machen – siehe Google -Analytics), wird fast immer früher oder später bemerken, das er ziemlich viele Zugriffe von einer Domain namens semalt.com erhält.

Das mag am Anfang ja vielleicht die meisten Ahnungslosen freuen, aber die Website macht nichts weiter als die Domains aufzurufen und das wars. Und das ist nicht die einzige Domain dieser Art. Also viele Zugriffe für nix. Im Ergebnis steht aber für Google der Fakt, das deine Website eine zunehmend geringere Verweildauer deiner Besucher aufweist und das wiederum bedeutet, das deine Website offensichtlich immer uninteressanter wird bzw. deine Besucher nicht das finden was sie erwarten. Woraus dann wiederum folgt, das man sie dann auch nicht mehr vorne listen braucht.

Das bedeutet mit ziemlich hoher Wahrscheinlichkeit einen negativen Einfluss auf das Ranking, damit irgendwann weniger Besucher und in der Konsequenz weniger Werbeeinnahmen (falls du auf so etwas Wert legen solltest).

Man kann lange und viel recherchieren, das Ergebnis sieht einfach so aus:

  • Semalt bietet ein SEO-Tool an
  • Firmensitz ist in der Ukraine
  • Semalt benutzt einen Anonymisierungsdienst
  • Die Bezahlung für das SEO-Tool erfolgt per Kreditkarte
  • Der Semalt-Bot ignoriert die robots.txt (ist extrem unfreundlich)

Warum dann diese Besuche? Weil sich natürlich jeder ernsthafte Webmaster, die Seite die da ständig rumwuselt anschaut und damit kommt natürlich genau der potentielle Besucherstrom zu semalt.com , den diese sich wünschen. Eine clevere Marketingstrategie, denn die Webmaster sind exakt die Zielgruppe. Ich habe für diese Technik einen guten Begriff gefunden: Website Stalken. Geh den anderen so lange auf die Nerven, bis die sich endlich auch um dich kümmern.

Wenn man lange genug sucht, tauchen auch Gerüchte auf, das semalt im Verdacht steht Spysoftware zu verbreiten und so ein Botnetz aufzubauen. Man kann sich damit bis in die tiefsten Tiefen auseinandersetzen oder man macht es sich einfach und blockiert den Bot.

Da er ja die robots.txt ignoriert, bleibt dafür nur der direkte Weg über die .htaccess. Da sind wir allerdings schon wieder an einem kritischen Punkt. Wer nämlich einen der Standardprovider nutzt und dann vielleicht auch noch eines der kostenfreien oder  leistungsreduzierten aber preiswerten Pakete, hat hier gar keinen Zugriff.

Wer kann trägt dort einfach folgendes ein:

# blockieren Besuche von semalt.com
 RewriteEngine on
 RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC]
 RewriteRule .* - [F]

Es gibt noch etliche weitere Spambots, die man, wenn diese auftauchen sollten, genauso blockieren kann. Dafür einfach die zweite Zeile duplizieren und statt der semalt Angabe die nächste Domain eintragen. Diese Schreibweise ist wichtig, da semalt auch über Subdomains zugreift.

Man findet gelegentlich in anderen Beiträgen auch eine verkürzte Schreibweise in der Form (also ohne http://)

 RewriteCond %{HTTP_REFERER} semalt\.com/ [NC]

Diese führte bei mir aber zu einem 500 Internal Error des Servers und die Website war nicht mehr ereichbar. Also bitte die lange Variante nutzen und nach Veröffentlichung der .htaccess sofort die Aufrufbarkeit der Website prüfen. Fehler in dieser Datei werden mit Nichterreichbarkeit bestraft.

Inzwischen kann man die Nichtberücksichtigung von vielen solchen Bots auch direkt bei Google erledigen. Dazu geht man einfach in das Analytics-Tool. Oben findet man den Tab „Verwalten“

Dort Links gleich den ersten Eintrag  „Einstellung der Datenansicht“ aufrufen und anschließend nach unten scrollen. Dort das Häkchen setzen bei „Bots herausfiltern
Alle Treffer von bekannten Bots und Spidern ausschließen“ . Zufällig gehört semalt.com dazu. Wer hätte das gedacht. 😉

Damit werden die nicht mehr gezählt und deine Websitewerte sind zukünftig besser.

Aber auch das geht nur, wenn man Google-Analytics nutzen kann, denn auch dafür braucht man einen Provider, der einem ermöglicht, den Analytics-Code zu implementieren. Wenn du keinen hast, nimm meinen. Ich bin Top zufrieden. Das Preis-Leistungsverhältniss ist sehr gut, das CMS ist kaum zu toppen und ich betreibe mehrere Domains dort. Alle Infos findest du HIER – Mein Provider

Also auf jeden Fall empfehlenswert.

P.S. diese Methode des Website Stalken wird mittlerweile auch von anderen, „normalen“ Webseiten / Webmastern genutzt, also öfters mal kontrollieren. (behaupte ich mal wieder einfach so;))

Hier gehts zum zweiten Teil der Serie



Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert