Was ist llms.txt und wie schreibt man eine Datei?
llms.txt ist eine reine Textdatei, die eine Website KI-Modellen vorstellt. Wir erklären, was sie leistet und wie man sie richtig zusammenstellt.
rabbitclip-TeamVeröffentlicht: 4 Min. Lesezeit
Kurz gesagt
Llms.txt ist eine reine Textdatei im Wurzelverzeichnis einer Website, die deren wichtigste Seiten mit kurzen Beschreibungen auflistet. Ihre Aufgabe ist es, großen Sprachmodellen zu erleichtern, beim Crawlen zu erkennen, was auf einer Website wirklich zählt.
2024 von Jeremy Howard von Answer.AI vorgeschlagen, ist das Format kein offizieller W3C- oder IETF-Standard, es hat sich stattdessen als Community-Vorschlag verbreitet. Trotzdem nutzen Unternehmen wie Anthropic, Stripe und Cloudflare es auf den eigenen Websites, die kanonische Definition liegt bei llmstxt.org.
Welches Problem löst llms.txt eigentlich?
Ein Sprachmodell durchsucht eine Website nicht wie ein Mensch über ein Menü, es nimmt das rohe HTML, samt Navigationsballast. llms.txt gibt ihm eine vereinfachte Inhaltsübersicht, die es direkt ansteuern kann.
Das ähnelt im Prinzip dem, wie robots.txt Crawl-Berechtigungen verwaltet oder sitemap.xml Seiten auflistet, hat aber eine andere Aufgabe: Es sagt nicht, was gecrawlt werden darf, sondern was zählt und worum es geht.
Wie ist die Datei aufgebaut?
Die Spezifikation definiert zwei Dateien. /llms.txt ist eine kurze Markdown-Navigationsübersicht: ein Titel, eine Ein-Satz-Beschreibung, dann unter Abschnittsüberschriften gruppierte Links. /llms-full.txt ist die vollständigere Version, die eine gesamte Dokumentation in einer einzigen Datei sammelt.
Eine kleine Unternehmenswebsite braucht in der Regel nur die erste. Ein Softwareprodukt mit umfangreicher Dokumentation behält womöglich beide.
Wie schreibt man tatsächlich eine solche Datei?
Die Datei ist reines Markdown, im Wurzelverzeichnis abgelegt. Der Website- oder Markenname steht oben als H1, direkt gefolgt von einer Ein-Satz-Zusammenfassung. Abschnittsüberschriften, die mit «## » beginnen, gruppieren dann die wichtigsten Seiten, jede mit einer kurzen, zutreffenden Beschreibung.
- Ein H1 mit dem Website- oder Markennamen
- Ein zusammenfassender Satz
- Abschnittsüberschriften (## Dienstleistungen, ## Blog und so weiter)
- Eine kurze, zutreffende Beschreibung je Link
- Nur wirklich wichtige Seiten, keine vollständige Sitemap
Welche Fehler machen die Datei nutzlos?
Der häufigste ist, eine automatische Sitemap unverändert zu übernehmen und Hunderte Links aufzulisten, was den ganzen Sinn der Priorisierung zunichtemacht. Ein weiterer ist, Beschreibungen in Marketingsprache zu schreiben, ein Modell sucht eine kurze, zutreffende Definition, keinen Slogan.
Die Datei einmal zu schreiben und dann zu vergessen, verursacht ebenfalls Drift. Ändert sich die Website, insbesondere wenn ein neuer Dienst oder ein neues Produkt hinzukommt, muss auch die Datei aktualisiert werden.
Ist eine Website ohne diese Datei defekt?
Nein. Das ist keine offizielle Pflicht, sondern ein Vorschlag, der noch an Zustimmung gewinnt. Die eigenen Suchfunktionen von Google, OpenAI und Perplexity suchen derzeit nicht gezielt nach llms.txt, Modelle crawlen den Standardinhalt einer Seite trotzdem wie gewohnt.
Trotzdem bleibt es ein kostengünstiger Schritt. Ein paar Stunden Arbeit geben einer dokumentationslastigen oder vielseitigen Website eine klare Karte an die Hand, die sie einem Modell übergeben kann.
Häufige Fehler
Ein typischer, auf der Dokumentationsseite eines Softwareprodukts gesehener Fehler ist, llms.txt automatisch zu erzeugen und ungeprüft zu veröffentlichen. Das Ergebnis ist eine nahezu identische Kopie der sitemap.xml, die den gesamten Sinn der Priorisierung verliert.
Ein weiterer ist, eine Vorlage zu kopieren, ohne die Sprache anzupassen. Ist der eigene Inhalt einer Marke in einer Sprache verfasst, die Datei bleibt trotzdem in einer anderen, entsteht eine Inkonsistenz, die niemandem hilft.
Ein nützlicher Test: Jeder Link in der Datei sollte die Frage «erklärt diese Seite dieses Thema einer besuchenden Person wirklich» mit Ja beantworten. Ist das nicht der Fall, sollte er von der Liste verschwinden.
Wie richtet man eine llms.txt Schritt für Schritt ein?
Die Datei von Grund auf zu erstellen, dauert nicht länger als einen Nachmittag, sofern die Schritte in der richtigen Reihenfolge ablaufen.
- Die zehn bis zwanzig meistbesuchten und meistgefragten Seiten der Website auflisten.
- Für jede Seite eine Ein-Satz-Beschreibung ohne Marketingsprache schreiben.
- Die Seiten unter sinnvollen Abschnittsüberschriften gruppieren (## Dienstleistungen, ## Blog, ## Häufige Fragen und so weiter).
- Die Datei als /llms.txt ins Wurzelverzeichnis hochladen und prüfen, ob sie sich direkt im Browser öffnet.
- Eine Kalendererinnerung einrichten, die Datei zu überprüfen, sobald ein neuer Dienst oder eine neue Seite hinzukommt.
llms.txt ist eine kurze Zusammenfassung, die eine Website eher einem Modell als einer Person übergibt. Das Schreiben dauert einen Nachmittag, zwingt aber auch zu etwas Klarheit über die eigene Struktur der Website, weshalb sie ein kleiner, aber echter Teil der GEO-Arbeit ist. Für ein Team, das diese Schritte befolgt, hört die Datei auf, ein Einmalprojekt zu sein, und wird zu einer kleinen Pflegegewohnheit, die mit der Website mitwächst. rabbitclip kann sich die aktuelle Struktur einer Website ansehen und gemeinsam herausarbeiten, was diese Datei tatsächlich sagen sollte.
Häufige Fragen
Ist llms.txt ein offizieller Standard?
Nein. Es hat sich als Community-Vorschlag verbreitet, die kanonische Definition liegt bei llmstxt.org, ohne Zustimmung von W3C oder IETF.
Kann KI eine Website ohne llms.txt nicht crawlen?
Doch. Die Datei erzwingt das Crawlen nicht, sie erleichtert nur die Priorisierung.
Erfüllt llms.txt dieselbe Aufgabe wie sitemap.xml?
Nein. sitemap.xml listet jede Seite auf, llms.txt präsentiert nur die wichtigsten mit einer kurzen Beschreibung.
Wie oft sollte die Datei aktualisiert werden?
Immer, wenn sich die Struktur der Website merklich ändert, etwa durch einen neuen Dienst, ein neues Produkt oder einen neuen Bereich.
