Zum Inhalt springen
Bild: KI-generiert
Website

llms.txt und KI-Crawler: zulassen oder sperren?

Sven Jagata ·

Kurz gesagt: Für die meisten Betriebe heißt die Antwort „Such-Bots zulassen, beim Training bewusst entscheiden“. Das geht getrennt, weil jeder große Anbieter dafür verschiedene Bots schickt. Und llms.txt ist dabei kein Schutz, sondern ein Angebot an die KI, deine Seite besser zu verstehen.

Die Frage kommt inzwischen in fast jedem Website-Gespräch: „Soll ich die KI-Bots überhaupt auf meine Seite lassen?“ Dahinter steckt meist eine Sorge und eine Hoffnung gleichzeitig. Die Sorge: Meine Texte landen im Training eines Modells, das mir anschließend Konkurrenz macht. Die Hoffnung: Wenn ChatGPT meine Seite kennt, empfiehlt es mich weiter.

Beides ist berechtigt. Nur gehören beide Punkte nicht zur selben Entscheidung — und genau diese Verwechslung kostet Betriebe gerade Sichtbarkeit. Wer aus Angst vor dem Training pauschal alles sperrt, schaltet oft auch die Sichtbarkeit mit ab. Dabei sind das zwei getrennte Hebel, die man unabhängig voneinander stellen kann.

Die wichtigste Unterscheidung: Training ist nicht Suche

Jeder große Anbieter betreibt nicht einen Crawler, sondern mehrere — mit klar getrennten Aufgaben. Einer sammelt Material für das Modelltraining. Ein anderer baut den Suchindex, aus dem die Antworten mit Quellenlink entstehen. Ein dritter holt eine Seite nur dann, wenn ein Nutzer gerade danach fragt.

Das ist keine Auslegungssache, sondern steht in den Anbieterdokumentationen. OpenAI schreibt zu seinem Suchbot ausdrücklich: „Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links.“ Umgekehrt heißt das: Wer nur GPTBot sperrt, bleibt in den ChatGPT-Antworten auffindbar. Google formuliert es für seinen Trainings-Token noch deutlicher: „Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.“

Perplexity geht einen Schritt weiter und nutzt nach eigener Aussage überhaupt kein Material fürs Training: „PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models.“ Wer Perplexity sperrt, verliert also Sichtbarkeit, ohne irgendein Trainingsrisiko zu vermeiden. Anthropic trennt ebenso sauber zwischen ClaudeBot für die Modelle und Claude-SearchBot für die Suchqualität.

Wer crawlt was — die Übersicht

Diese Tabelle ist die eigentliche Entscheidungsgrundlage. Links steht, was der Bot tut; rechts, was passiert, wenn du ihn aussperrst.

BotZweck laut AnbieterFolge einer Sperre
GPTBot (OpenAI)Training der Foundation-ModelleKein Trainingsmaterial, Sichtbarkeit bleibt
OAI-SearchBot (OpenAI)Websites in der ChatGPT-Suche zeigenNicht mehr in ChatGPT-Suchantworten
ChatGPT-User (OpenAI)Seitenabruf auf NutzeraktionKein Abruf bei konkreter Nutzerfrage
ClaudeBot (Anthropic)Material für die ModelleKein Trainingsmaterial
Claude-SearchBot (Anthropic)Qualität der SuchergebnisseSchlechtere Auffindbarkeit in Claude
Google-Extended (Google)Gemini-Training und GroundingKeine Gemini-Nutzung, Google-Suche unberührt
PerplexityBot (Perplexity)Verlinkung in Perplexity-AntwortenNicht mehr in Perplexity, kein Trainingsgewinn

Das Muster ist überall dasselbe: Es gibt pro Anbieter einen Trainings-Bot und mindestens einen Sichtbarkeits-Bot. Wer differenziert, kann das Training verweigern und trotzdem in den Antworten vorkommen. Wer User-agent: * auf Disallow setzt, verzichtet auf beides.

Was llms.txt ist — und was sie nicht leistet

llms.txt wird oft in denselben Topf geworfen, gehört aber auf die andere Seite der Rechnung. Es ist kein Schutzmechanismus, sondern ein Sichtbarkeitsangebot: eine Markdown-Datei, die einem Sprachmodell in aufgeräumter Form erklärt, worum es auf deiner Seite geht und wo die wichtigen Inhalte liegen.

Der Vorschlag stammt von Jeremy Howard und wurde erstmals am 3. September 2024 veröffentlicht; die zweite Fassung datiert vom 10. August 2026. Die Datei liegt im Wurzelverzeichnis unter /llms.txt, kann aber auch unter einem Unterpfad stehen und gilt dann für die URLs darunter. Verlangt wird eine H1-Überschrift, alles Weitere — Kurzbeschreibung als Blockquote, thematisch sortierte Linklisten — ist optional.

Dass die Idee nicht aus der Luft gegriffen ist, sieht man an den Anbietern selbst: OpenAI, Anthropic und Google pflegen eigene llms.txt-Dateien für ihre Entwicklerdokumentationen. Ich habe das am 16. November 2026 nachgesehen, die Dateien antworten alle mit HTTP 200.

Eine Sache fehlt aber in der Spezifikation, und sie ist entscheidend: Es steht dort keine Zusage eines Anbieters, fremde llms.txt-Dateien beim Crawlen tatsächlich auszulesen. llms.txt ist ein Vorschlag, kein Standard eines Normungsgremiums. Die Datei kostet dich eine halbe Stunde und schadet nicht — aber sie ist eine Wette auf künftige Nutzung, kein Schalter mit garantierter Wirkung. Wer sie als Ersatz für saubere Seitenstruktur und gute Inhalte verkauft, verkauft Luft.

Der rechtliche Teil: warum robots.txt mehr ist als eine Bitte

Hier wird es für Betriebe mit eigenen Fachinhalten interessant. Das Urheberrecht erlaubt Text und Data Mining grundsätzlich — aber nur, solange du nicht widersprichst. Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790 vom 17. April 2019 formuliert es so:

„Die Ausnahmen und Beschränkungen nach Absatz 1 finden Anwendung, sofern die jeweiligen Rechteinhaber die in Absatz 1 genannten Werke und sonstigen Schutzgegenstände nicht ausdrücklich in angemessener Weise, etwa mit maschinenlesbaren Mitteln im Fall von online veröffentlichten Inhalten, mit einem Nutzungsvorbehalt versehen haben.”

Im deutschen Recht steht das in § 44b Absatz 3 UrhG, und zwar knapper: „Ein Nutzungsvorbehalt bei online zugänglichen Werken ist nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.“

Das ist der Punkt, an dem eine robots.txt vom freundlichen Hinweis zum Rechtsinstrument wird. Sie ist die naheliegendste maschinenlesbare Form, in der du einen Vorbehalt erklären kannst. Ehrlich dazugesagt: Ob eine robots.txt-Zeile im Streitfall als „angemessen“ durchgeht, ist gerichtlich nicht abschließend geklärt. Wer gar nichts hinschreibt, hat die Frage aber von vornherein verloren — ein Vorbehalt, den es nicht gibt, wirkt sicher nicht.

Content Signals: der Mittelweg zwischen alles und nichts

Die klassische robots.txt kennt nur Zugriff ja oder nein. Sie kann nicht ausdrücken, was nach dem Abruf mit dem Inhalt passieren darf. Genau diese Lücke füllt die Content Signals Policy, die Cloudflare am 24. September 2025 veröffentlicht hat. Drei Signale lassen sich getrennt setzen: search für den Suchindex, ai-input für das Einspeisen in Modelle zur Antwortzeit, ai-train für Training und Feinabstimmung.

Die Syntax ist eine Zeile in der robots.txt:

Content-Signal: search=yes, ai-train=no

yes erlaubt, no verbietet, und ein weggelassenes Signal heißt bewusst „keine Aussage“. Cloudflare setzt laut eigener Ankündigung für die über 3,8 Millionen Domains mit verwalteter robots.txt genau die Kombination oben als Voreinstellung — Suche erlaubt, Training nicht — und lässt ai-input absichtlich offen, weil es die Haltung der Betreiber dazu nicht erraten will.

Rechtlich hängt die Policy genau am Artikel 4 von oben: Cloudflare erklärt Einschränkungen über Content Signals ausdrücklich zu „express reservations of rights“ unter dieser Richtlinie. Gleichzeitig ist Cloudflare erfreulich unaufgeregt bei der Wirkung: „content signals express preferences; they are not technical countermeasures“ — manche Firmen würden sie einfach ignorieren.

Wenn es wirklich blocken soll, braucht es mehr als eine Textdatei

Alles bisher Genannte ist eine Absichtserklärung, die ein gut erzogener Bot respektiert. Wer technisch durchsetzen will, muss eine Ebene tiefer. Cloudflares AI Crawl Control ist dafür der bequemste Weg, zeigt welche KI-Dienste die Seite abrufen, erlaubt Regeln pro Kategorie und ist „available on all plans“ — es gibt sogar ein Pay-per-Crawl-Modell, das Zugriff kostenpflichtig stellt (bisher als geschlossene Beta).

Eine verbreitete Behauptung möchte ich dabei gerade rücken, weil sie durch zahllose Ratgeber wandert: Nein, Cloudflare sperrt KI-Crawler nicht automatisch für dich. In der aktuellen Dokumentation steht das Gegenteil — für neue Domains stehen die Kategorien Search, Agents und Training auf „Allow (do not block)“. Verlass dich also nicht darauf, dass dein Hoster das Thema stillschweigend erledigt hat. Schau nach.

Meine Empfehlung für kleine und mittlere Betriebe

Für die meisten Betriebe, mit denen ich arbeite, lautet die Antwort: Sichtbarkeits-Bots zulassen, beim Training eine bewusste Entscheidung treffen. Drei Fälle lassen sich sauber trennen.

Wenn du über deine Website Kunden gewinnen willst und deine Inhalte vor allem erklären, was du tust, dann lass alles offen. Jede Sperre kostet dich hier Reichweite und schützt nichts, was Geld wert ist. So halte ich es auf dieser Seite selbst: In meiner robots.txt steht alles auf Allow, bewusst und dokumentiert.

Wenn du eigene Fachinhalte, Studien oder ausgearbeitete Methodik veröffentlichst, dann setze search=yes, ai-train=no, sperre die Trainings-Bots einzeln und lass die Suchbots laufen. Du bleibst auffindbar und erklärst gleichzeitig deinen Nutzungsvorbehalt.

Und wenn Inhalte für dich das Produkt sind — Kursmaterial, kostenpflichtige Fachtexte —, reicht die Textdatei nicht. Dann gehört der Schutz auf die Netzwerkebene, plus Zugangsbeschränkung für das, was wirklich hinter der Bezahlschranke liegen soll.

Was in jedem der drei Fälle gilt: Eine Entscheidung, die niemand aufgeschrieben hat, ist keine. Wenn in deiner robots.txt noch die Voreinstellung von 2019 steht, hast du nicht „alles erlaubt“ entschieden, sondern nur nicht hingesehen. Genau solche stillen Altlasten suche ich in einem Website-Audit — zusammen mit den Punkten, die deine Auffindbarkeit sonst noch bremsen.

Was ich dir rate

Nimm dir zwanzig Minuten und ruf deine eigene robots.txt auf. Steht dort ein pauschales Disallow für KI-Bots, prüfe, ob du damit nicht gerade deine Sichtbarkeit in KI-Antworten mitsperrst. Steht dort nichts, ist das auch eine Antwort — dann hast du Training implizit erlaubt.

Danach entscheide bewusst, nach der Dreiteilung oben, und schreib die Entscheidung in die Datei. Wenn dabei auffällt, dass deine Website insgesamt älter ist als deine KI-Fragen, lohnt ein Blick auf Website-Erstellung oder auf einen Web-Assistenten, der Besucherfragen direkt auf der Seite beantwortet. Wiederkehrende Abläufe dahinter — Anfragen sortieren, Angebote vorbereiten — lassen sich ohnehin automatisieren.

Unsicher, was für deinen Betrieb gilt? Schreib mir kurz, dann sehen wir uns deine Konfiguration gemeinsam an.

Quellen

Alle Zitate und Zahlen stammen aus den Originalquellen, Stand: 16. November 2026.

Häufige Fragen

Verliere ich Google-Rankings, wenn ich Google-Extended sperre? Nein. Google schreibt dazu selbst, dass Google-Extended die Aufnahme in die Google-Suche nicht beeinflusst und kein Ranking-Signal ist. Es steuert ausschließlich die Nutzung für Gemini.

Brauche ich llms.txt wirklich? Nötig ist sie nicht. Es gibt keine belegte Zusage eines Anbieters, dass die Datei ausgelesen wird. Sie ist günstig und richtet keinen Schaden an — aber ordne sie als Experiment ein, nicht als Pflichtaufgabe. Deine Seitenstruktur und deine Inhalte wirken ungleich stärker.

Reicht robots.txt, um Training zu verhindern? Als rechtlicher Nutzungsvorbehalt ist sie der naheliegende Weg, weil das Gesetz maschinenlesbare Form verlangt. Technisch verhindert sie nichts: Wer sich nicht daran hält, wird davon nicht gebremst. Für echte Durchsetzung brauchst du eine Sperre auf Server- oder CDN-Ebene.

Was ist der Unterschied zwischen llms.txt und robots.txt? robots.txt regelt Zugriff und — mit Content Signals — die erlaubte Verwendung. llms.txt regelt gar nichts, sondern bietet Inhalte in aufbereiteter Form an. Die eine Datei ist ein Zaun, die andere ein Wegweiser.

Kann ich Training verbieten und trotzdem in ChatGPT auftauchen? Ja, und das ist der praktisch wichtigste Punkt dieses Artikels. Sperre GPTBot und lass OAI-SearchBot zu. Nur wer den Suchbot aussperrt, verschwindet aus den ChatGPT-Antworten.

Sven Jagata (KI-generiertes Bild)

Bild: KI-generiert

Sven Jagata

KI-Berater & Umsetzer für kleine und mittelständische Unternehmen. Ich baue Voice Agents, Web-Assistenten und Automatisierungen — verständlich, ehrlich und hands-on.

Mehr über mich

Bereit, dein Business smarter zu machen?

In 30 Minuten klären wir, welche KI-Lösung dir am meisten bringt. Kostenlos, unverbindlich und ohne Fachchinesisch.

30 Minuten · kostenlos · kein Folgetermin nötig

Anrufen WhatsApp E-Mail