# robots.txt for http://www.akita.at/ # ----- USER-AGENT ----- # Feld User-agent weist die nachfolgenden # Disallow-Zeilen einem bestimmten Robot zu. # * bedeutet für alle Robots ausser den # speziell angeführten. Es darf nur einen # Eintrag mit * geben. # ----- DISALLOW ----- # Disallow kennzeichnet Dateien und Verzeichnisse # die nicht indiziert werden dürfen. Es muß mindestens # ein Disallow-Feld pro Robot-Eintrag vorhanden sein. User-agent: * # Diese Besuchs-Verbote gelten fuer Disallow: /cgi-bin/ # alle Robots. Disallow: /antispam.php # alle Robots. User-agent: InternetSeer # Zusätzliche Verbote fuer InternetSeer Disallow: User-agent: Scooter # Zusätzliche Verbote fuer AltaVista Disallow: User-Agent: ia_archiver # Zusätzliche Verbote fuer Alexa Agent Disallow: User-Agent: ArchitextSpider # Zusätzliche Verbote fuer AOL-Netfind/Excite Agent Disallow: User-agent: Googlebot # Zusätzliche Verbote fuer Google Disallow: User-agent: Slurp # Zusätzliche Verbote fuer Hotbot Agent Disallow: User-agent: InfoSeek Sidewinder # Zusätzliche Verbote fuer Infoseek Disallow: User-Agent: Lycos_Spider_(T-Rex) # Zusätzliche Verbote fuer Lycos Disallow: User-Agent: Gulliver # Zusätzliche Verbote fuer Northern Light Disallow: User-Agent: WebCrawler/3.0 # Zusätzliche Verbote fuer Webcrawler Disallow: User-Agent: VoilaBot BETA 1.2 # Zusätzliche Verbote fuer Voila Agent Disallow: User-Agent: Firefly/1.0 # Zusätzliche Verbote fuer Firefly Disallow: # Unsichere Robots User-agent: Fast-Webcrawler # Zusätzliche Verbote fuer AllTheWeb Disallow: User-agent: Jeeves # Zusätzliche Verbote fuer Jeeves Disallow: User-agent: testrobot Disallow: / # testrobot darf gar nichts besuchen