Что такое llms.txt и как правильно его написать
Файл llms.txt знакомит модели ИИ с сайтом в виде обычного текста. Рассказываем, зачем он нужен и как правильно его составить.
Команда rabbitclipПубликация: 4 мин чтения
Коротко
Llms.txt представляет собой обычный текстовый файл в корне сайта, перечисляющий его самые важные страницы с краткими описаниями. Его задача в том, чтобы крупным языковым моделям было проще понять, что имеет значение на сайте, пока они его сканируют.
Предложенный в 2024 году Джереми Ховардом из Answer.AI, этот формат не является официальным стандартом W3C или IETF, он распространился как инициатива сообщества. Тем не менее такие компании, как Anthropic, Stripe и Cloudflare, используют его на собственных сайтах, а каноническое описание находится на llmstxt.org.
Какую проблему на самом деле решает llms.txt?
Языковая модель не переходит по сайту через меню, как это делает человек, она берёт необработанный HTML со всем навигационным мусором. llms.txt даёт ей упрощённую карту контента, к которой можно обратиться напрямую.
По сути это похоже на то, как robots.txt управляет разрешениями на сканирование или как sitemap.xml перечисляет страницы, но задача у него другая: он не говорит, что можно сканировать, он говорит, что важно и о чём это.
Как устроен этот файл?
Спецификация определяет два файла. /llms.txt представляет собой короткую навигационную сводку в формате markdown: заголовок, описание в одном предложении, а затем ссылки, сгруппированные под заголовками разделов. /llms-full.txt является более полной версией, собирающей всю документацию в одном файле.
Небольшому корпоративному сайту обычно нужен только первый. Программному продукту с объёмной документацией может понадобиться оба.
Как его на самом деле написать?
Файл представляет собой обычный markdown, размещённый в корне. Название сайта или бренда стоит вверху как H1, сразу за ним идёт краткое описание в одном предложении. Заголовки разделов, начинающиеся с «## », далее группируют самые важные страницы, каждая с коротким и точным описанием.
- H1 с названием сайта или бренда
- Резюмирующий абзац в одно предложение
- Заголовки разделов (## Услуги, ## Блог и так далее)
- Короткое и точное описание для каждой ссылки
- Только действительно важные страницы, а не полная карта сайта
Какие ошибки делают файл бесполезным?
Самая частая ошибка в том, чтобы целиком скопировать автоматическую карту сайта и перечислить сотни ссылок, что полностью убивает смысл приоритизации. Другая ошибка в том, чтобы писать описания маркетинговым языком, модель ищет короткое и точное определение, а не слоган.
Написать файл один раз и забыть о нём тоже создаёт расхождение. По мере изменения сайта, особенно при добавлении новой услуги или продукта, файл тоже нужно обновлять.
Сломан ли сайт без этого файла?
Нет. Это не официальное требование, а предложение, которое всё ещё набирает поддержку. Собственные функции поиска Google, OpenAI и Perplexity сейчас не ищут именно llms.txt, модели по-прежнему сканируют стандартный контент страниц в любом случае.
Тем не менее это остаётся недорогим шагом. Несколько часов работы дают сайту с большим объёмом документации или множеством страниц понятную карту, которую можно передать модели.
Частые ошибки
Типичная ошибка, встреченная на сайте документации программного продукта, заключается в том, чтобы сгенерировать llms.txt автоматически и опубликовать без проверки. Результатом становится почти точная копия sitemap.xml, полностью теряющая смысл приоритизации.
Другая ошибка в том, чтобы скопировать шаблон, не адаптировав язык: если собственный контент бренда написан на одном языке, а файл всё равно остаётся на другом, это создаёт несогласованность, которая никому не помогает.
Полезная проверка: каждая ссылка в файле должна проходить проверку «действительно ли эта страница объясняет данную тему посетителю». Если нет, её стоит убрать из списка.
Как настроить llms.txt шаг за шагом?
Создание файла с нуля не занимает больше одного дня, при условии что шаги идут в правильном порядке.
- Перечислить десять-двадцать самых посещаемых и самых спрашиваемых страниц сайта.
- Написать для каждой описание в одно предложение, без маркетингового языка.
- Сгруппировать страницы под разумными заголовками разделов (## Услуги, ## Блог, ## Частые вопросы и так далее).
- Загрузить файл в корень как /llms.txt и проверить, что он открывается напрямую в браузере.
- Добавить напоминание в календарь пересматривать файл при каждом добавлении новой услуги или страницы.
llms.txt представляет собой короткую сводку, которую сайт передаёт скорее модели, чем человеку. Написание занимает день, но также заставляет навести определённую ясность в собственной структуре сайта, поэтому это небольшая, но реальная часть работы над GEO. Для команды, которая следует этим шагам, файл перестаёт быть разовым проектом и становится небольшой привычкой обслуживания, растущей вместе с сайтом. rabbitclip может изучить текущую структуру сайта и вместе определить, что этот файл должен на самом деле говорить.
Частые вопросы
Является ли llms.txt официальным стандартом?
Нет. Он распространился как инициатива сообщества, каноническое описание находится на llmstxt.org, без одобрения W3C или IETF.
Может ли ИИ не сканировать сайт без llms.txt?
Может сканировать в любом случае. Файл не является условием сканирования, он лишь облегчает приоритизацию.
Выполняет ли llms.txt ту же задачу, что и sitemap.xml?
Нет. sitemap.xml перечисляет каждую страницу, llms.txt показывает только самые важные с коротким описанием.
Как часто нужно обновлять файл?
Каждый раз, когда структура сайта заметно меняется, например при добавлении новой услуги, продукта или раздела.
