llms.txt
Kurzdefinition
llms.txt ist ein entstehender Standard, der die wichtigsten Seiten und Zusammenfassungen einer Website in einer einfachen Textdatei für KI-Modelle auflistet.
Während robots.txt einem Crawler sagt, wohin er nicht darf, funktioniert llms.txt umgekehrt: Sie bietet die wertvollsten Seiten einer Website mit kurzen Beschreibungen in einer schlichten Liste, die ein KI-Modell direkt lesen kann.
Noch ist sie kein von allen KI-Werkzeugen offiziell unterstützter Standard, aber immer mehr Websites fügen sie als Vorbereitungsschritt hinzu. Die Datei liegt meist im Wurzelverzeichnis, im Markdown-Format, mit Seitentitel und einem Satz Zusammenfassung je Eintrag.
llms.txt wird oft mit sitemap.xml verwechselt, doch beide erfüllen unterschiedliche Aufgaben. Eine Sitemap listet sämtliche Seiten einer Website vollständig auf, damit Suchmaschinen sie crawlen können, während llms.txt keine Crawl-Liste ist, sondern nur die wenigen wertvollsten Seiten einer Marke mit kurzer Zusammenfassung direkt und ohne Umwege für ein Modell bereitstellt.
Warum es wichtig ist
Trifft ein KI-Modell beim Crawlen auf eine komplizierte Navigation oder viel JavaScript, kann es Inhalte falsch lesen. llms.txt legt ihm die wichtigsten Seiten in der einfachsten Form vor.
Beispielszenario
Eine Digitalagentur erstellte eine llms.txt-Datei, die ihre Leistungsseiten mit je einem zusammenfassenden Satz auflistet, legte sie im Stammverzeichnis ab und nahm die Aktualisierung der Datei in ihre Checkliste für neue Seiten auf.
