Computer Suchmaschine

So funktioniert robots.txt
Eine gut geschriebene robots.txt spart Bandbreite und schützt vor Problemen mit Suchmaschinen. Damit Sie beim Schreiben nichts verkehrt machen, unterstützt Sie Google jetzt mit einem robots.txt-Prüftool. Wie Sie dieses Werkzeug nutzen und eine optimale robots.txt schreiben, zeigt der folgende Beitrag.Die Datei robots.txt dient dazu, Suchmaschinen und [...]
[ 17.04.2007 | 0 Kommentare | 20455 Abrufe ]

Die robots.txt prüfen
Eine neue oder geänderte robots.txt sollten Sie grundsätzlich prüfen lassen. Neben dem Google-Sitemap-Tool helfen Ihnen dabei Validatoren aus dem Internet. Unter anderem gibt es:Robots.txt checker: Prüft die Syntax und gibt eine englischsprachige Interpretation der robots.txtRobots.txt syntax checker: Prüft die Syntax, unterteilt Fehlermeldungen in [...]
[ 17.04.2007 | 0 Kommentare | 14646 Abrufe ]