Kurz gesagt: Für die meisten Betriebe heißt die Antwort „Such-Bots zulassen, beim Training bewusst entscheiden“. Das geht getrennt, weil jeder große Anbieter dafür verschiedene Bots schickt. Und llms.txt ist dabei kein Schutz, sondern ein Angebot an die KI, deine Seite besser zu verstehen.
Die Frage kommt inzwischen in fast jedem Website-Gespräch: „Soll ich die KI-Bots überhaupt auf meine Seite lassen?“ Dahinter steckt meist eine Sorge und eine Hoffnung gleichzeitig. Die Sorge: Meine Texte landen im Training eines Modells, das mir anschließend Konkurrenz macht. Die Hoffnung: Wenn ChatGPT meine Seite kennt, empfiehlt es mich weiter.
Beides ist berechtigt. Nur gehören beide Punkte nicht zur selben Entscheidung — und genau diese Verwechslung kostet Betriebe gerade Sichtbarkeit. Wer aus Angst vor dem Training pauschal alles sperrt, schaltet oft auch die Sichtbarkeit mit ab. Dabei sind das zwei getrennte Hebel, die man unabhängig voneinander stellen kann.
Die wichtigste Unterscheidung: Training ist nicht Suche
Jeder große Anbieter betreibt nicht einen Crawler, sondern mehrere — mit klar getrennten Aufgaben. Einer sammelt Material für das Modelltraining. Ein anderer baut den Suchindex, aus dem die Antworten mit Quellenlink entstehen. Ein dritter holt eine Seite nur dann, wenn ein Nutzer gerade danach fragt.
Das ist keine Auslegungssache, sondern steht in den Anbieterdokumentationen. OpenAI schreibt zu seinem Suchbot ausdrücklich: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.“ Umgekehrt heißt das: Wer nur GPTBot sperrt, bleibt in den ChatGPT-Antworten auffindbar. Google formuliert es für seinen Trainings-Token noch deutlicher: „Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.“
Perplexity geht einen Schritt weiter und nutzt nach eigener Aussage überhaupt kein Material fürs Training: „PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.“ Wer Perplexity sperrt, verliert also Sichtbarkeit, ohne irgendein Trainingsrisiko zu vermeiden. Anthropic trennt ebenso sauber zwischen ClaudeBot für die Modelle und Claude-SearchBot für die Suchqualität.
Wer crawlt was — die Übersicht
Diese Tabelle ist die eigentliche Entscheidungsgrundlage. Links steht, was der Bot tut; rechts, was passiert, wenn du ihn aussperrst.
| Bot | Zweck laut Anbieter | Folge einer Sperre |
|---|---|---|
GPTBot (OpenAI) | Training der Foundation-Modelle | Kein Trainingsmaterial, Sichtbarkeit bleibt |
OAI-SearchBot (OpenAI) | Websites in der ChatGPT-Suche zeigen | Nicht mehr in ChatGPT-Suchantworten |
ChatGPT-User (OpenAI) | Seitenabruf auf Nutzeraktion | Kein Abruf bei konkreter Nutzerfrage |
ClaudeBot (Anthropic) | Material für die Modelle | Kein Trainingsmaterial |
Claude-SearchBot (Anthropic) | Qualität der Suchergebnisse | Schlechtere Auffindbarkeit in Claude |
Google-Extended (Google) | Gemini-Training und Grounding | Keine Gemini-Nutzung, Google-Suche unberührt |
PerplexityBot (Perplexity) | Verlinkung in Perplexity-Antworten | Nicht mehr in Perplexity, kein Trainingsgewinn |
Das Muster ist überall dasselbe: Es gibt pro Anbieter einen Trainings-Bot und mindestens einen Sichtbarkeits-Bot. Wer differenziert, kann das Training verweigern und trotzdem in den Antworten vorkommen. Wer User-agent: * auf Disallow setzt, verzichtet auf beides.
Was llms.txt ist — und was sie nicht leistet
llms.txt wird oft in denselben Topf geworfen, gehört aber auf die andere Seite der Rechnung. Es ist kein Schutzmechanismus, sondern ein Sichtbarkeitsangebot: eine Markdown-Datei, die einem Sprachmodell in aufgeräumter Form erklärt, worum es auf deiner Seite geht und wo die wichtigen Inhalte liegen.
Der Vorschlag stammt von Jeremy Howard und wurde erstmals am 3. September 2024 veröffentlicht; die zweite Fassung datiert vom 10. August 2026. Die Datei liegt im Wurzelverzeichnis unter /llms.txt, kann aber auch unter einem Unterpfad stehen und gilt dann für die URLs darunter. Verlangt wird eine H1-Überschrift, alles Weitere — Kurzbeschreibung als Blockquote, thematisch sortierte Linklisten — ist optional.
Dass die Idee nicht aus der Luft gegriffen ist, sieht man an den Anbietern selbst: OpenAI, Anthropic und Google pflegen eigene llms.txt-Dateien für ihre Entwicklerdokumentationen. Ich habe das am 16. November 2026 nachgesehen, die Dateien antworten alle mit HTTP 200.
Eine Sache fehlt aber in der Spezifikation, und sie ist entscheidend: Es steht dort keine Zusage eines Anbieters, fremde llms.txt-Dateien beim Crawlen tatsächlich auszulesen. llms.txt ist ein Vorschlag, kein Standard eines Normungsgremiums. Die Datei kostet dich eine halbe Stunde und schadet nicht — aber sie ist eine Wette auf künftige Nutzung, kein Schalter mit garantierter Wirkung. Wer sie als Ersatz für saubere Seitenstruktur und gute Inhalte verkauft, verkauft Luft.
Der rechtliche Teil: warum robots.txt mehr ist als eine Bitte
Hier wird es für Betriebe mit eigenen Fachinhalten interessant. Das Urheberrecht erlaubt Text und Data Mining grundsätzlich — aber nur, solange du nicht widersprichst. Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790 vom 17. April 2019 formuliert es so:
„Die Ausnahmen und Beschränkungen nach Absatz 1 finden Anwendung, sofern die jeweiligen Rechteinhaber die in Absatz 1 genannten Werke und sonstigen Schutzgegenstände nicht ausdrücklich in angemessener Weise, etwa mit maschinenlesbaren Mitteln im Fall von online veröffentlichten Inhalten, mit einem Nutzungsvorbehalt versehen haben.”
Im deutschen Recht steht das in § 44b Absatz 3 UrhG, und zwar knapper: „Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.“
Das ist der Punkt, an dem eine robots.txt vom freundlichen Hinweis zum Rechtsinstrument wird. Sie ist die naheliegendste maschinenlesbare Form, in der du einen Vorbehalt erklären kannst. Ehrlich dazugesagt: Ob eine robots.txt-Zeile im Streitfall als „angemessen“ durchgeht, ist gerichtlich nicht abschließend geklärt. Wer gar nichts hinschreibt, hat die Frage aber von vornherein verloren — ein Vorbehalt, den es nicht gibt, wirkt sicher nicht.
Content Signals: der Mittelweg zwischen alles und nichts
Die klassische robots.txt kennt nur Zugriff ja oder nein. Sie kann nicht ausdrücken, was nach dem Abruf mit dem Inhalt passieren darf. Genau diese Lücke füllt die Content Signals Policy, die Cloudflare am 24. September 2025 veröffentlicht hat. Drei Signale lassen sich getrennt setzen: search für den Suchindex, ai-input für das Einspeisen in Modelle zur Antwortzeit, ai-train für Training und Feinabstimmung.
Die Syntax ist eine Zeile in der robots.txt:
Content-Signal: search=yes, ai-train=no
yes erlaubt, no verbietet, und ein weggelassenes Signal heißt bewusst „keine Aussage“. Cloudflare setzt laut eigener Ankündigung für die über 3,8 Millionen Domains mit verwalteter robots.txt genau die Kombination oben als Voreinstellung — Suche erlaubt, Training nicht — und lässt ai-input absichtlich offen, weil es die Haltung der Betreiber dazu nicht erraten will.
Rechtlich hängt die Policy genau am Artikel 4 von oben: Cloudflare erklärt Einschränkungen über Content Signals ausdrücklich zu „express reservations of rights“ unter dieser Richtlinie. Gleichzeitig ist Cloudflare erfreulich unaufgeregt bei der Wirkung: „content signals express preferences; they are not technical countermeasures“ — manche Firmen würden sie einfach ignorieren.
Wenn es wirklich blocken soll, braucht es mehr als eine Textdatei
Alles bisher Genannte ist eine Absichtserklärung, die ein gut erzogener Bot respektiert. Wer technisch durchsetzen will, muss eine Ebene tiefer. Cloudflares AI Crawl Control ist dafür der bequemste Weg, zeigt welche KI-Dienste die Seite abrufen, erlaubt Regeln pro Kategorie und ist „available on all plans“ — es gibt sogar ein Pay-per-Crawl-Modell, das Zugriff kostenpflichtig stellt (bisher als geschlossene Beta).
Eine verbreitete Behauptung möchte ich dabei gerade rücken, weil sie durch zahllose Ratgeber wandert: Nein, Cloudflare sperrt KI-Crawler nicht automatisch für dich. In der aktuellen Dokumentation steht das Gegenteil — für neue Domains stehen die Kategorien Search, Agents und Training auf „Allow (do not block)“. Verlass dich also nicht darauf, dass dein Hoster das Thema stillschweigend erledigt hat. Schau nach.
Meine Empfehlung für kleine und mittlere Betriebe
Für die meisten Betriebe, mit denen ich arbeite, lautet die Antwort: Sichtbarkeits-Bots zulassen, beim Training eine bewusste Entscheidung treffen. Drei Fälle lassen sich sauber trennen.
Wenn du über deine Website Kunden gewinnen willst und deine Inhalte vor allem erklären, was du tust, dann lass alles offen. Jede Sperre kostet dich hier Reichweite und schützt nichts, was Geld wert ist. So halte ich es auf dieser Seite selbst: In meiner robots.txt steht alles auf Allow, bewusst und dokumentiert.
Wenn du eigene Fachinhalte, Studien oder ausgearbeitete Methodik veröffentlichst, dann setze search=yes, ai-train=no, sperre die Trainings-Bots einzeln und lass die Suchbots laufen. Du bleibst auffindbar und erklärst gleichzeitig deinen Nutzungsvorbehalt.
Und wenn Inhalte für dich das Produkt sind — Kursmaterial, kostenpflichtige Fachtexte —, reicht die Textdatei nicht. Dann gehört der Schutz auf die Netzwerkebene, plus Zugangsbeschränkung für das, was wirklich hinter der Bezahlschranke liegen soll.
Was in jedem der drei Fälle gilt: Eine Entscheidung, die niemand aufgeschrieben hat, ist keine. Wenn in deiner robots.txt noch die Voreinstellung von 2019 steht, hast du nicht „alles erlaubt“ entschieden, sondern nur nicht hingesehen. Genau solche stillen Altlasten suche ich in einem Website-Audit — zusammen mit den Punkten, die deine Auffindbarkeit sonst noch bremsen.
Was ich dir rate
Nimm dir zwanzig Minuten und ruf deine eigene robots.txt auf. Steht dort ein pauschales Disallow für KI-Bots, prüfe, ob du damit nicht gerade deine Sichtbarkeit in KI-Antworten mitsperrst. Steht dort nichts, ist das auch eine Antwort — dann hast du Training implizit erlaubt.
Danach entscheide bewusst, nach der Dreiteilung oben, und schreib die Entscheidung in die Datei. Wenn dabei auffällt, dass deine Website insgesamt älter ist als deine KI-Fragen, lohnt ein Blick auf Website-Erstellung oder auf einen Web-Assistenten, der Besucherfragen direkt auf der Seite beantwortet. Wiederkehrende Abläufe dahinter — Anfragen sortieren, Angebote vorbereiten — lassen sich ohnehin automatisieren.
Unsicher, was für deinen Betrieb gilt? Schreib mir kurz, dann sehen wir uns deine Konfiguration gemeinsam an.
Quellen
Alle Zitate und Zahlen stammen aus den Originalquellen, Stand: 16. November 2026.
- llms.txt: Vorschlag von Jeremy Howard — Erstveröffentlichung 3. September 2024, zweite Fassung 10. August 2026, Aufbau der Datei
- OpenAI: Overview of OpenAI Crawlers — Aufgaben von GPTBot, OAI-SearchBot und ChatGPT-User
- Google: Google-Extended — keine Wirkung auf Google-Suche und Ranking
- Perplexity: Perplexity Crawlers — PerplexityBot nicht für Modelltraining
- Anthropic: Crawler und Sperrmöglichkeiten — ClaudeBot und Claude-SearchBot
- Richtlinie (EU) 2019/790, Artikel 4 und § 44b UrhG — Nutzungsvorbehalt in maschinenlesbarer Form
- Cloudflare: Content Signals Policy — Veröffentlichung 24. September 2025, über 3,8 Millionen Domains mit verwalteter robots.txt
- Cloudflare: Block AI bots und AI Crawl Control — Voreinstellung „Allow“ für neue Domains, Verfügbarkeit in allen Tarifen
Häufige Fragen
Verliere ich Google-Rankings, wenn ich Google-Extended sperre? Nein. Google schreibt dazu selbst, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist. Es steuert ausschließlich die Nutzung für Gemini.
Brauche ich llms.txt wirklich? Nötig ist sie nicht. Es gibt keine belegte Zusage eines Anbieters, dass die Datei ausgelesen wird. Sie ist günstig und richtet keinen Schaden an — aber ordne sie als Experiment ein, nicht als Pflichtaufgabe. Deine Seitenstruktur und deine Inhalte wirken ungleich stärker.
Reicht robots.txt, um Training zu verhindern? Als rechtlicher Nutzungsvorbehalt ist sie der naheliegende Weg, weil das Gesetz maschinenlesbare Form verlangt. Technisch verhindert sie nichts: Wer sich nicht daran hält, wird davon nicht gebremst. Für echte Durchsetzung brauchst du eine Sperre auf Server- oder CDN-Ebene.
Was ist der Unterschied zwischen llms.txt und robots.txt?
robots.txt regelt Zugriff und — mit Content Signals — die erlaubte Verwendung. llms.txt regelt gar nichts, sondern bietet Inhalte in aufbereiteter Form an. Die eine Datei ist ein Zaun, die andere ein Wegweiser.
Kann ich Training verbieten und trotzdem in ChatGPT auftauchen?
Ja, und das ist der praktisch wichtigste Punkt dieses Artikels. Sperre GPTBot und lass OAI-SearchBot zu. Nur wer den Suchbot aussperrt, verschwindet aus den ChatGPT-Antworten.