Seit gestern scheint ein Google-Bot kräftig zu spinnen. Der Bot hinter der IP 66.249.67.129 versucht seit zwei Tagen ständig auf den Strohhalm zuzugreifen und versucht dabei alle möglichen IDs für Unterforen aus. Da die nicht existieren, bekommt der Bot natürlich nichts passendes angezeigt. Versuchen wohl derzeit einen speziellen Forencrawler aus. Kann das jemand bestätigen?
[Update]
Inzwischen sind es nicht nur Unterforen, sondern es waren auch einige Threads dabei.
[…] getURLParam
[…] Untersuchung der deutschsparchigen Blogs arbeitet (...)
[…] There’s a plugin for jQuery to get GET (...)
[…] getURLParam
[…] jQuery GetURLParam plugin
Ist das denn wirklich ein Crawler von Google oder nur einer der vorgibt von Google zu sein? Ist eine komische Logik, einfach diverse IDs auszuprobieren, zumal jede Software andere Queries erzeugt und dann ja eine Anpassung für alle Foren vorgenommen werden müsste (bei Google).
Ja, ich bin mir ziemlich sicher, tracert google.de liefert ähnliche IP-Adressen wie tracert 66.249.67.129.
Im weiteren finde ich das gar nicht so abwegig, einen Crawler derart zu schreiben, dass nur IDs ausprobiert werden. So etwas ähnliches mache ich gerade in meiner Doktor-Arbeit (auch auf Foren, deshalb bin ich schnell hellhörig geworden). Der Vorteil besteht darin, dass der Crawler keine Übersichtsseiten oder ähnliches lädt, sondern sich voll und ganz auf die interessanten Inhalte konzentrieren kann. Ergo ist das Laden effektiver und die Ergebnisse besser.
Eine Anpassung an Foren speziell ist übrigens nicht notwendig, die Struktur ist in den meisten Forensystemen recht einfach ermittelbar.