llms.txt проти robots.txt і sitemap.xml

Коротко в таблиці

llms.txt і robots.txt

Специфікація формулює різницю прямо:

«robots.txt lets automated tools know what access to a site is considered acceptable, such as for search indexing bots. llms.txt information is instead used on demand, when an agent needs information about a topic while assisting a user.»

«robots.txt повідомляє автоматизованим інструментам, який доступ до сайту вважається прийнятним — наприклад, для ботів пошукової індексації. Інформація з llms.txt натомість використовується на вимогу, коли агенту потрібні відомості з теми під час допомоги користувачу.» llmstxt.org

Практично це означає ось що:

Вони працюють разом

Типова коректна конфігурація виглядає так:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

# robots.txt

# Тренування моделей — забороняємо
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# Пошук із цитуванням — дозволяємо, звідси йдуть переходи
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Загальні правила
User-agent: *
Disallow: /wp-admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

А llms.txt тим часом описує, що є цінного в дозволеній частині сайту. Один файл окреслює межі, другий — розставляє покажчики всередині них.

llms.txt і sitemap.xml

Специфікація перелічує три причини, чому sitemap не є замінником:

1. У ньому зазвичай немає LLM-читабельних версій сторінок — тільки HTML-адреси.
2. Він не містить посилань на зовнішні сайти, навіть коли вони потрібні для розуміння контексту. Формат sitemaps.org це прямо забороняє.
3. Він охоплює документи, які в сумі не вміщаються в контекстне вікно, і містить багато зайвого для розуміння сайту.

Чек-лист: який файл вам потрібен