Bot

Okt. 11, 2019

Links (132)

Kategorien Links
Tagged Privacy data collection Matrix Harry Botter Harry Potter Bot Zitate Neuronales Netz static Game CCC Chaos Communication Camp Raytracer Postscript WebGL fluid Simulation Firefox IPv6 Scientists Forscher Brief Letter Climate Klima Forschung
Mobil qrcode zeigen

0 Kommentare

April 29, 2014

Links (104)

Kategorien Links
Tagged NSA 1. April Internet fixed 2048 Impfmüdigkeit Duangle Nowhere Goat Goat Simulator Dildo IT-Support Netzwerkprobleme Bot Gedichte Computer Turing-Test Militär Unisex Kaffee Löffel Barbara Werbung Verbotsschilder Doge Ponzi Icons Piraten Satzung git debugging Algorithmen SystemD Dänemark Minecraft Vorratsdatenspeicherung VDS Schweiz CSS
Mobil qrcode zeigen

0 Kommentare

Dez. 13, 2007

Massiver Crawl

Heute zwischen 11 und 12 hat irgendwer diesen Blog mehr oder weniger komplett gecrawlt. Wohl erst die Tags, dann die Artikel. Wäre an sich ja halb so wild, tut Google und Yahoo ja auch regelmäßig. Aber der Bot verhält sich extremst unhöflich:
  • Crawl von ca. 400-500 IPs
  • keine Beachtung von robots.txt(?)*
  • kein Bot Useragent, sondern Browserkennungen
  • diverse verschiedene Browserkennungen
  • Crawlt mehrere Seiten pro Sekunde statt zwischen zwei Seiten eine Zeit zu warten
* schwer zu sagen, weil der Bot so viele IPs nutzt. Die robots Hits scheinen aber auf Anhieb nur die üblichen höflichen Bots zu enthalten. Die IPs sind alle aus dem Bereich von Qwest Communications, wohl ein Internetanbieter.

Ist jemandem etwas ähnliches aufgefallen, gibt es vielleicht Hintergrundinformationen oder eine Möglichkeit solche Bots zu blocken?

Kategorien
Tagged Qwest Crawl Bot
Mobil qrcode zeigen

0 Kommentare