robots.txt testen: Welche KI-Crawler lässt deine Seite herein?
Der Check holt robots.txt, llms.txt und die Sitemap, wertet die Regeln für die relevanten KI-User-Agents aus und zitiert zu jeder Entscheidung die Zeile, aus der sie stammt.
Irgendeine URL der Seite reicht; der Check geht zum Origin hoch und liest die Dateien von dort.
Beobachtungen, keine Urteile. Deine Eingabe wird für dieses Ergebnis verarbeitet und in ein Nutzungsjournal geschrieben, das die Datenschutzerklärung beschreibt; sonst wird nichts gespeichert.
Das Ergebnis lesen
-
Abrufstatus der drei Dateien
Gefunden, nicht vorhanden, oder mit etwas anderem beantwortet. Ein Status 200 mit HTML-Inhalt wird markiert, denn das ist keine robots.txt, sondern meist eine als Seite ausgelieferte Fehlermeldung.
-
Tabelle pro Bot
Eine Zeile je User-Agent, erlaubt oder verboten für den eingegebenen Pfad und für die Wurzel, daneben die zitierte Zeile aus der Datei. Fällt ein Bot auf die Gruppe * zurück, steht das dabei.
-
Befunde zur llms.txt
In der Reihenfolge der Datei mit Zeilennummer: fehlende H1, Link außerhalb einer Liste, Abschnitt ohne Links, kein Markdown.
-
Abgleich mit der Sitemap
URLs, die die Sitemap meldet, die die Regeln für einen Bot aber sperren, stehen in einer eigenen Liste. Diese Kombination ist fast immer ein Versehen.
Was ausgewertet wird und wie
Vom Origin der eingegebenen URL werden drei Dateien geholt: /robots.txt, /llms.txt und die Sitemap, die die robots.txt nennt. Das ist ein einfacher HTTP-Abruf von einem Server in der EU mit benanntem User-Agent. Es startet kein Browser, es läuft kein Skript.
robots.txt, je Bot ausgewertet
Die Datei wird so gelesen, wie RFC 9309 es beschreibt. Regeln stehen in Gruppen nach User-agent. Ein Bot nutzt die Gruppe, die ihn nennt, und fällt nur dann auf * zurück, wenn ihn keine nennt. Innerhalb einer Gruppe gewinnt die Regel mit dem längsten passenden Pfad, bei gleicher Länge Allow vor Disallow. Genau diese Auswertung läuft für den eingegebenen Pfad und für /, für GPTBot, ClaudeBot, Google-Extended und PerplexityBot sowie einige weitere. Der häufigste Fall, in dem eine Seite alle KI-Crawler aussperrt, ohne es zu wollen, ist ein pauschales Disallow: / in der Gruppe * ohne botspezifische Gruppe. Der Bericht nennt es genau so.
Ein Detail, das oft untergeht: Google-Extended ist kein Crawler. Es ist ein Token, das der Googlebot liest, um zu entscheiden, ob Seiten für das Training von Gemini und Vertex AI verwendet werden dürfen. Es zu sperren ändert nichts am Crawling und nichts am Ranking, und der Bericht formuliert es so.
llms.txt, gegen den Vorschlag geprüft
llms.txt ist ein Vorschlag vom September 2024: eine Markdown-Datei im Wurzelverzeichnis, die einem Sprachmodell sagt, wo die brauchbaren Inhalte liegen. Der Check liest sie als Markdown und meldet, was der Vorschlag verlangt. Eine H1 mit dem Namen der Seite ist Pflicht. Eine Zusammenfassung als Blockzitat darf folgen. Weitere Inhalte stehen in H2-Abschnitten mit Linklisten der Form - [Titel](URL): Hinweis. Ein Abschnitt namens Optional markiert Links, die ein Leser überspringen darf.
Was der Check nicht sagt
Eine robots.txt ist eine Bitte, keine Zugriffskontrolle. Ob GPTBot ein Disallow befolgt, ergibt sich aus dem veröffentlichten Verhalten von OpenAI, das das Tool nicht beobachten kann; es zeigt nur, was die Datei verlangt. Es liest keine meta robots-Tags und keine X-Robots-Tag-Header, die Crawler ebenfalls steuern und der Datei widersprechen können. Es bewertet nicht, ob eine Zeile in der robots.txt ein maschinenlesbarer Nutzungsvorbehalt nach § 44b UrhG ist; das ist eine Rechtsfrage, und der Bericht enthält dazu keine Aussage. Und eine vorhandene llms.txt ist eine Tatsache über die Seite, kein Beleg dafür, dass irgendein Modell sie liest. Die großen Anbieter haben dazu nichts dokumentiert, und der Bericht tut nicht so, als wäre es anders.
Hinweis · Crawler-Sicht, nicht Agenten-Sicht
Ein Crawler liest die robots.txt, bevor er lädt. Ein Browser-Agent, den ein Kunde in sein eigenes Konto schickt, ist kein Crawler und fragt die Datei nicht; er handelt wie der Kunde selbst im Browser. Was so ein Agent auf einer Seite sieht, zeigt das Tool Was der Agent sieht.
Fragen zu robots.txt und llms.txt
Was ist eine llms.txt?
Ein Vorschlag für eine Markdown-Datei unter /llms.txt, die Sprachmodellen eine kuratierte Karte der Seite gibt: Titel, kurze Zusammenfassung, Abschnitte mit kommentierten Links. Es ist kein Standard, und kein großer Anbieter hat dokumentiert, die Datei zu lesen.
Wie sperre ich GPTBot in der robots.txt?
Eine Gruppe mit User-agent: GPTBot und darunter Disallow: /. Weil ein Bot seine eigene Gruppe nimmt, sobald eine existiert, hebt ein späteres Allow in der Gruppe * das nicht auf.
Schadet es dem Ranking, Google-Extended zu sperren?
Laut Google steuert Google-Extended nur die Nutzung für das Training von Gemini und Vertex AI und hat keinen Einfluss auf die Suche. Es ist kein Crawler; der Googlebot lädt dieselben Seiten weiter.
Ist eine robots.txt für KI-Crawler verbindlich?
Sie ist eine freiwillige Konvention. Ob eine Zeile darin zugleich ein wirksamer Nutzungsvorbehalt nach § 44b UrhG ist, beantwortet das Tool nicht; es zeigt, was die Datei verlangt.
Warum meldet der Check meine llms.txt als HTML-Seite?
Der Server hat Status 200 mit HTML geliefert, was viele CMS bei unbekannten Pfaden tun. Ein Modell bekommt dann eine gerenderte Fehlerseite. Richte einen echten 404 ein oder lege eine Markdown-Datei ab.
Dieselbe Seite aus Sicht eines Agenten
Fünf Browserstunden, keine Karte. URL in einem echten Browser in der EU öffnen und den Baum lesen, den der Agent bekommt.