Viele Rogue Bots - unerwünschte Bots, die beispielsweise Mail-Adressen oder Inhalte abgreifen - kommen unter gefälschten User-Agent-Bezeichnungen. Sie tarnen sich, um einfache Filter gegen unerwünschte User-Agents zu umgehen.
Sicherer als die Abfrage des User-Agents ist, die IP-Adresse zu prüfen. Doch die Adresse kann sich ändern, manche Bots wie etwa der Googlebot kommen von vielen verschiedenen IP-Adressen her.
Zumindest beim Googlebot gibt es eine eindeutige Identifizierung: Wer sicher gehen möchte, dass der Googlebot wirklich der Googlebot ist, sollte erst anhand der IP-Adresse eine Reverse-DNS-Abfrage starten und mit deren Ergebnis nochmals die IP-Adresse checken. Erst wenn das Ergebnis wieder der ursprünglichen IP gleicht, handelt es sich wirklich um den Googlebot.
Mehr dazu im Google-Blog.
