Pfadangabe für Suchmaschinen-Agenten zu der XML-Sitemap in der robots.txt

Wer als Webmaster tätig ist und eigene Internetseiten (Homepages / Webseiten) im Internet betreibt, der wird sicherlich auch schon mal darüber nachgedacht haben, eine eigene Sitemap für die Indexierung durch Suchemaschinen bereitzustellen oder betreibt bereits eine solche Sitemap. Schließlich lassen sich durch solche einer Sitemap den Suchmaschinenroboter gleich mitteilen, über welche Art, wie viel und welche Unterseiten die eigene Webseite verfügt. Anhand einer solchen Sitemap können dann die Suchmaschinenroboter die Webseite besser indexieren und im Index der Suchmaschine aufnehmen.

Damit Suchmaschinen auch die Sitemap beachten und abarbeiten können, muss diese in einem bestimmten Format vorliegen. Zumeist wird diese im Formt XML ausgeliefert. Viele dynamisch generierte Webseiten, wie zum Beispiel durch das CMS WordPress (mit einem zusätzlichen Plugin), können solche XML-Sitemaps auch dynamisch generieren, so dass man selber wenig arbeit bei der Erstellung einer solchen XML-Sitemap hat. Wer seine Webseiten mit einem Programm erstellt, der muss zumeist auf anderweitige Software oder Onlineprogramme im Internet zurück greifen, um eine Sitemap im entsprechenden Format zu erstellen.

Ein Link zeigt den Weg zur Sitemap

In den meisten Fällen gehen Webmaster hin und setzten einen Link von der Homepage auf die Sitemap. So wird zumindest sicher gestellt, dass Suchmaschinen beim Spidern der Webseite auch die Sitemap über den Link finden und dann entsprechend abgearbeitet werden können.

Schneller und sicherer für die Indexierung der Sitemap

Damit die Sitemap von Suchmaschinen beziehungsweise Suchmaschinenrobotern leichter und schneller gefunden werden kann, kann man den Pfad zur Sitemap in der Datei robots.txt eingeben, welche sich im Stammverzeichnis einer jeden Webseite befinden sollte. Der Pfad dazu könnte zum Beispiel lauten:

http://www.meineseite.de/sitemap.xml oder
http://www.meineseite.de/sitemap.xml.gz

Im ersten Beispiel ist der Pfad zu einer XML-Sitemap im unkomprimierten Zustand angegeben. Im zweiten Beispiel erfolgte die Pfadangabe zur XML-Sitemap im gzip-komprimierten Zustand. Das ist zum Beispiel dann sehr sinnvoll, wenn die Homepage über viele Unterseiten verfügt und die Sitemap entsprechend viele Einträge hat. So kann die Datei sitemap.xml im komprimierten Zustand schneller übertragen und ausgelesen werden.

Aus SEO-Sicht für die Pfad zur Sitemap.xml in der robots.txt

Bei kleineren Webseiten mag die Sitemap.xml sicherlich nicht so ins Gewicht fallen. Das sieht jedoch bei großen Webseiten schon wieder anders aus. So muss der Suchmaschinenroboter (auch Crawler genannt) sich nicht erst über die einzelnen Seiten hangeln, um nach eventuellen Links zu der entsprechenden Seite zu gelangen. Mit einer Sitemap.xml - Datei wird dem Suchmaschinenroboter gleich der entsprechende URL-Pfad mitgeteilt. Das hilft sicherlich bei der Indexierung der einzelnen Seiten, jedoch wird hierdurch nicht unbedingt die Platzierung der einzelnen Seiten im Ergebnis der Suchmaschinen verbessert.