Googlebot und robots.txt

Gerade habe ich mich bei Google halb verrückt gesucht nach den vom Googlebot akzeptierten Mustern in der robots.txt. Denn die gehen über den robots.txt exclusion standard hinaus.

Die Informationen finden sich nicht auf den normalen Bot-Seiten von Google, sondern, gut versteckt auf den Seiten über das Löschen von Websites, nämlich unter http://www.google.com/webmasters/remove.html.

Gut versteckt Google - zum Glück gibt es Suchmaschinen, mit denen man Informationen über Suchmaschinen suchen kann. Wenn das mal nicht selbstreferenziell ist.