Dumme Suchmaschinen-Spider

Heute hat mich doch tatsächlich ein Suchmaschinen-Spider aus dem Bett geworfen. Der Grund lag darin, dass ich benachrichtigt wurde, dass der Server an eine kritische Leistungsgrenze kommt. Und warum? Weil der liebe “Ask Jeeves”-Crawler der Meinung war, innerhalb von 3 Stunden über 4.500 Anfragen starten zu müssen. Die Herren von ask meinen wohl, sie sind allein im Web unterwegs *kopfschüttel*.

Sie halten sich zwar daran, zu möglichst unmenschlichen Zeiten zu crawlen, dummerweise machen das andere Crawler aber auch. Heute kamen noch Yahoo, MSN und Google dazu, so dass das Logfile für diese 3 Stunden knapp 2 MB groß war. Das war dann doch zuviel für den Server.

Bestärkt mich aber darin, dass die nächste Version der Strohhalm-Software die Seiten cached.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.