Mit der robots.txt ist es möglich, einzelne Verzeichnisse oder Dateien vor Suchmaschinen zu verbergen. Dabei ist sie allerdings lediglich eine Ergänzung zu Methoden wie der .htaccess. Während die robots.txt nur vor höflichen Crawlern schützt, ist die .htaccess eine harte Methode, sämtliche Besucher von den eigenen Dateien und Verzeichnissen fernzuhalten. Darauf muss man bei der Gestaltung einer Site Rücksicht nehmen und gegebenenfalls wieder Ausnahmen gestatten. Quasi-Standard robots.txt Die robots.txt gehört zu den gewachsenen Standards, die es nie schaffen, zu einem RFC zu gerinnen. Der fehlende Status als RFC-Standard hat den Nachteil, dass die Beachtung der robots.txt nicht verpflichtend ist. Dennoch halten sich alle großen Suchmaschinen an die Maßgaben der Datei. 2008 haben sich die wichtigsten Suchmaschinen wie Google, Bing und Yahoo selbst verpflichtet, die robots.txt zu beachten. Da die Ergebnisse dieser Suchmaschinen Grundlage der meisten anderen Suchprovider und insbesondere der Metasuchmaschinen sind, ist die Verwendung einer robots.txt eine akzeptable Methode, einzelne Verzeichnisse oder Dateien von der Verwendung als Suchergebnis auszunehmen. Die robots.txt sammelt die Anweisungen an einer einzigen Stelle, so dass sie wesentlich leichter zu pflegen ist. Gestaltung einer robots.txt Die Crawler erwarten die robots.txt im Stammverzeichnis einer Website. Damit sie erkannt wird, darf der Name der Datei ausschließlich aus Kleinbuchstaben bestehen. Sie wird vor allen anderen Dateien ausgewertet. Diese Technik kann nur verwandt werden, wenn man Zugriff auf das Stammverzeichnis hat. Wer nur einen einfachen Webspace hat, ohne Zugriff auf das Stammverzeichnis, ist gezwungen, Angaben im Meta-Bereich der einzelnen Webpages zu machen. Die Auswertung erfolgt von oben nach unten, bei ...
↧