Content Management in der Praxis

Dynamische Seiten, Bots und Spider

Hartnäckig hält sich das Gerücht, Suchmaschinen-Bots (auch bekannt als Crawler, Spider oder Agents) könnten keine dynamischen Seiten indizieren – oder würden das aus irgendwelchen Gründen einfach ablehnen. Doch die Erfahrung deckt sich nicht mit diesem Vorurteil – wenn man einige Dinge berücksichtigt.

Indizierungsbots und Suchmaschinen-Spider verhalten sich grundsätzlich erst einmal wie normale Besucher einer Website. Und der Weg der kleinen Programme ist auch derselbe: die Linkverfolgung. Im Grunde ist ein solches Programm also lediglich ein professioneller Surfer im eigentlichen Sinne, der sich von Link zu Link treiben lässt und “schaut”, was so auf den Seiten drauf ist.

Bei statischen (HTML-)Seiten ist dies für den Bot auch kein Problem. Diese Seiten liegen gespeichert auf dem Webserver, sind mehrfach unter der selben URL erreichbar und haben in der Regel unterschiedliche Dateinamen. Dynamische Webauftritte dagegen regeln die Darstellung der Inhalte meist über Parameter, die an den eigentlichen Dateinamen angehängt werden. Damit wird die Seite erst zum Zeitpunkt des Aufrufs “zusammengebaut”. Und tatsächlich gab es in der Vergangenheit Probleme mit Bots, weil diese die Parameter nicht berücksichtigen sollten. Aus Sicherheitsgründen, aus Angst vor Manipulationen, aus der Befürchtung, in Endlos-Schleifen von Skripten festzuhängen, oder weil sie es einfach nicht konnten.

Aber die Vergangenheit ist passé. Moderne Bots wie der von Google (Googlebot) oder Yahoo! (Slurp Yahoo!) oder MSN-Search (msnbot) sind in der Lage, auch diese Seiten auszulesen, und sie tun das auch anstandslos, solange beim wiederholten Besuch einer Seite die Parameter sich nicht ändern.

Ist beispielsweise die URL einer Seite index.php?topic=dynamische_seiten_bots_und_spider&thid_15, dann finden Bots bestimmte Inhalte unter dieser Adresse. Sie kommen einmal, zweimal, dreimal vorbei und überprüfen die Adresse, und wenn diese gleich bleibt (die Parameter sich nicht ändern) und eine Seite mit Inhalt dahintersteckt, wird diese Seite in den Index der Suchmaschine übernommen. Anstandslos. Ohne Probleme.

Schwierigkeiten können auftreten – und auch dies ist nicht zwangsläufig bei allen Bots so -, wenn sich ständig ändernde oder zu viele zu lange Parameter auf einmal übergeben werden. Session-IDs – wie sie in PHP vorkommen, wenn bestimmte Informationen serverseitig vorübergehend gespeichert werden sollen (Einkaufwagen in Online-Shops) – wirken sich teilweise schädlich aus, wenn sie in der URL übergeben werden. Ein Link wie

index.php?topic=dynamische&thid_15&PHPSESSID= 6b16757b6d5a0 f6a5692e790c6fa4331

wird zwar verfolgt, aber die Inhalte werden nicht indiziert. Das liegt aber nicht daran, dass der Bot es nicht kann, sondern weil es für die Suchmaschine schwierig oder gar unmöglich ist, diesen Link auf einer Ergebnisseite darzustellen – denn oft sind gerade diese Sessions abgelaufen und die Seite dann nicht mehr aufrufbar. Und beim nächsten Besuch lautet die Adresse vielleicht

index.php?topic=dynamische&thid_15&PHPSESSID= 7z6e554456t789de3245643f6543d660

Das Fazit: Bots können sehr wohl dynamische Seiten spidern und indizieren, aber sie tun es nur dann, wenn die Parameter gleichbleibend sind.

TS

Buchempfehlungen

Website Boosting 2.0: Suchmaschinen- Optimierung, Usability, Online-Marketing
Mario Fischer
'Website Boosting' bei Amazon bestellen

Suchmaschinen- Marketing: Konzepte, Umsetzung und Controlling für SEO und SEM
Yvonne von Bischopinck, Michael Ceyp
'Suchmaschinen- Marketing: Konzepte, Umsetzung und Controlling für SEO und SEM' bei Amazon.de bestellen

Suchmaschinen-Optimierung: Das umfassende Handbuchr
Sebastian Erlhofer
'Suchmaschinen-Optimierung: Das umfassende Handbuch' bei Amazon.de bestellen

weitere Fachbücher

cm4u.net auf Facebook