Чим llms.txt відрізняється від robots.txt?
robots.txt — це протокол обмеження доступу (RFC 9309): він каже, куди боту можна, а куди ні. llms.txt нічого не забороняє й не дозволяє — це Markdown-довідник, який показує агенту, де лежить головна інформація. Один керує доступом, інший — навігацією.
Розгорнута відповідь
Формулювання «llms.txt — це robots.txt для штучного інтелекту» трапляється часто й воно неправильне. Це різні механізми з різними задачами, різним синтаксисом і різним статусом.
robots.txt | llms.txt | |
|---|---|---|
| Задача | Обмежити доступ ботів | Показати агенту, де головне |
| Формат | Директиви User-agent, Allow, Disallow | Markdown: заголовок, цитата, списки посилань |
| Статус | RFC 9309, стандарт IETF із 2022 року | Пропозиція одного автора |
| Розташування | Тільки /robots.txt | Корінь або будь-який підкаталог |
| Можна щось заборонити | Так | Ні — синтаксису для цього не існує |
| Читають | Усі великі краулери | Кодові агенти; Google Пошук — ні |
| Коли застосовується | Перед кожним запитом до сайту | На вимогу, коли агенту потрібна тема |
Що каже сама специфікація
«robots.txt lets automated tools know what access to a site is considered acceptable, such as for search indexing bots. llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user.»
«robots.txt повідомляє автоматизованим інструментам, який доступ до сайту вважається прийнятним — наприклад, для ботів пошукової індексації. Інформація з llms.txt натомість використовується на вимогу, коли агенту потрібні відомості з теми під час допомоги користувачу.» llmstxt.org
Аналогія, яка справді працює
Уявіть будівлю. robots.txt — це замки на дверях: він визначає, у які приміщення можна заходити.
llms.txt — це схема на вході: вона нічого не відчиняє й не зачиняє, лише показує, де що знаходиться.
Схема без ключів безкорисна; ключі без схеми змушують обходити всі кімнати підряд.
Практичний наслідок
Якщо ваша мета — заборонити AI-системам використовувати контент, працює лише
robots.txt із правилами для конкретних токенів:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /Перелік токенів із посиланнями на офіційну документацію власників — у довіднику AI-краулерів. Перевірити свій файл можна тестером.