Wie sehen Suchmaschinen-Roboter meine Webseite ?

Beispiel: http://www.test.de oder http://www.test.de/index.html.
URL

Spider Roboter GoogleBot Fast-WebCrawler Mercator Scooter IA Archiver (optional)
User Agent * (optional)

* Mit dieser Option können Sie den Namen des Browsers oder Spiders selbst auswählen und die Einstellungen der ausgewählten Option in der Box überschreiben. Beispiel: Googlebot/2.1 (+http://www.googlebot.com/bot.html)