--- title: "robots.txt richtig konfigurieren: Der Praxis-Guide" lang: de type: knowledge canonical: https://www.arocom.de/wissen/seo-geo/robots-txt alternate: https://www.arocom.de/en/knowledge/seo-geo/robots-txt author: "Laura Murgia" last_updated: 2026-10-31 --- # robots.txt richtig konfigurieren: Der Praxis-Guide Die robots.txt ist eine Textdatei im Wurzelverzeichnis eurer Website, die Suchmaschinen-Bots mitteilt, welche Bereiche sie crawlen dürfen und welche nicht. Sie ist kein Sicherheitsmechanismus, sondern ein Steuerungsinstrument für Crawling und Indexierung. arocom konfiguriert die robots.txt in jedem Drupal-Projekt inklusive Regeln für KI-Bots wie GPTBot und Google-Extended. ## robots.txt richtig konfigurieren: Der Praxis-Guide Die robots.txt folgt dem Robots Exclusion Standard und steuert, welche Teile eurer Website Suchmaschinen crawlen. Die Datei ist rein hinweisend: Seriöse Bots halten sich daran, bösartige Bots ignorieren sie. 2026 hat die robots.txt eine neue Dimension: Neben Google und [Bing](https://www.arocom.de/wissen/seo-geo/bing) kommen KI-Bots wie GPTBot (OpenAI), Google-Extended (Gemini) und CCBot (Common Crawl). Die Frage ist nicht mehr nur "Was soll Google crawlen?", sondern "Welche KI-Systeme dürfen eure Inhalte nutzen?" ## Aufbau einer robots.txt Die robots.txt besteht aus User-agent-Blöcken mit Allow- und Disallow-Regeln: **User-agent:** Benennt den Bot (z. B. Googlebot, Bingbot, GPTBot). Die Wildcard * gilt für alle Bots. **Disallow:** Pfade, die der Bot nicht crawlen soll. Ein leerer Wert erlaubt alles. **Allow:** Überschreibt ein vorheriges Disallow für bestimmte Pfade. Nützlich für Ausnahmen innerhalb blockierter Verzeichnisse. **Sitemap:** Verweist auf die XML Sitemap. Google empfiehlt, die Sitemap-URL hier anzugeben. ## KI-Bots in der robots.txt steuern Seit 2024 crawlen KI-Bots das Web systematisch. Die wichtigsten: **GPTBot (OpenAI):** Crawlt für ChatGPT-Training und Echtzeit-Suche. Allow = eure Inhalte können in ChatGPT-Antworten erscheinen. **Google-Extended:** Crawlt für Gemini-Training. Unabhängig vom Googlebot, ihr könnt Google-Extended blockieren, ohne euer Google-Ranking zu beeinflussen. **CCBot (Common Crawl):** Crawlt für den Common-Crawl-Datensatz, der von vielen KI-Modellen genutzt wird. arocom empfiehlt: GPTBot und Google-Extended erlauben (für GEO-Sichtbarkeit), CCBot blockieren (kein direkter Nutzen, hoher Crawl-Aufwand). Zusätzlich eine AI.txt mit "Preference: allow-with-attribution" bereitstellen. ## robots.txt in Drupal konfigurieren Drupal liefert eine Standard-robots.txt mit. Für produktive Websites muss sie angepasst werden: - Admin-Pfade blockieren (/admin/, /user/login) - Interne Suchseiten blockieren (/search/) - Paginierungsseiten gezielt steuern - Staging-Umgebungen komplett blockieren - Sitemap-URL eintragen In Drupal könnt ihr die robots.txt als statische Datei pflegen oder über das RobotsTxt-Modul dynamisch generieren. arocom setzt auf die statische Variante, sie ist schneller und verhindert Fehler durch Modul-Updates. ## robots.txt überprüfen lassen Prüft eure robots.txt: euredomain.de/robots.txt. Blockiert sie versehentlich wichtige Seiten? Fehlen Regeln für KI-Bots? Der [Zukunfts-Check](https://www.arocom.de/zukunfts-check) von arocom prüft das systematisch als Teil der technischen SEO-Analyse. **Aus arocom-Projekten:** - [haustec.de](https://www.arocom.de/referenzen/haustec) strukturieren wir auf Artikel-Ebene mit FAQPage-Schema und Executive-Summary-Blöcken, nach 4 Monaten taucht die Site regelmäßig in ChatGPT- und Perplexity-Antworten zu Bauphysik-Fachfragen auf. - Aqua Römer verkauft Mineralwasser regional und braucht eine Site, die in der lokalen Suche dauerhaft sichtbar ist. Wir haben Drupal 10 mit Schema-Markup, sauberen Redirects und einem Newsletter-Loop aufgesetzt, die Marke bleibt in den lokalen Top-Treffern, ohne dass das Marketing nachsteuern muss. ### Schützt die robots.txt meine Inhalte vor Zugriff? Nein. Die robots.txt ist kein Sicherheitsmechanismus. Seriöse Bots halten sich daran, aber jeder kann die Inhalte über den Browser abrufen. Für echten Zugriffsschutz braucht ihr Authentifizierung. ### Kann eine falsche robots.txt mein Ranking zerstören? Ja. Ein Disallow: / blockiert das gesamte Crawling. Google entfernt dann alle Seiten aus dem Index. Das passiert häufig bei Relaunches, wenn die Staging-robots.txt versehentlich auf die Produktivumgebung übernommen wird. ### Soll ich KI-Bots blockieren oder erlauben? Das hängt von eurer GEO-Strategie ab. Wer in KI-Antworten zitiert werden will, muss GPTBot und Google-Extended erlauben. Wer das nicht will, blockiert sie. arocom empfiehlt: erlauben mit Attribution-Präferenz. ### Wo finde ich meine robots.txt? Die robots.txt liegt immer unter euredomain.de/robots.txt. In der Google Search Console unter Einstellungen > robots.txt könnt ihr prüfen, wie Google sie interpretiert. ## Weiterlesen - [XML Sitemap](https://www.arocom.de/wissen/seo-geo/xml-sitemap): Warum sie für GEO wichtiger ist als für SEO - [Crawl Budget](https://www.arocom.de/wissen/seo-geo/crawl-budget): Wie Google eure Website priorisiert - [GEO-Optimierung](https://www.arocom.de/leistungen/geo-optimierung): Sichtbarkeit in Suchmaschinen und KI-Systemen - [Zukunfts-Check (Audit)](https://www.arocom.de/zukunfts-check): Unabhängige Analyse eurer Installation