Offenbar hat Google unseren Tippscout wieder lieb. Wegen einer falsch konfigurierten robots.txt hatte der Tippscout im September viele Besucher eingebüßt.
Nachdem ich die robots.txt wieder geflickt habe, waren drei Monate Warten angesagt. Und nun ist er wieder da.
Das Problem war ein Eintrag in der robots.txt, der sich speziell auf den Googlebot bezog. Das sah etwa so aus:
User-agent: *
Disallow: /diesesfile.php
Disallow: /jenesfile.php
User-agent: Googlebot
Disallow: wasanderes.html
Mein Trugschluss: Ich dachte, der Googlebot würde beides beachten. Doch das war und ist nicht der Fall. Stattdessen schloss der Googlebot nur wasanderes.html aus und las fröhlich wieder diesesfile.php und jenesfile.php ein. Das erzeugte aber Duplicate Content. Und das wiederum führte zu einem großen Problem.
