Чи читають AI-агенти llms.txt насправді?

Розгорнута відповідь

Питання найважливіше в темі — і на нього є вимірювані дані, а не думки. Коротка відповідь: через відкритий веб ці файли майже не завантажують.

Дослідження Ahrefs: 137 210 доменів

«97% of those files received zero traffic in May 2026. Nothing fetched them at all.»

«97 % цих файлів у травні 2026 року не отримали жодного трафіку. Їх узагалі ніхто не завантажував.» Ahrefs, 15.06.2026

Із тих 3 %, що трафік мали:

• 96 % запитів прийшли від ботів, а не від людей;
• 19,5 % — від іменованих AI-інструментів (Ahrefs окремо уточнює: «of the 3% of files that weren’t ignored»);
• 21,7 % — від SEO-сканерів, тобто інструментів самих вебмайстрів;
• 14,9 % — від інших та невпізнаних ботів;
• 13,1 % — від загальних вебкраулерів.

За окремими ботами (дані наводить PPC Land із посиланням на те саме дослідження): GPTBot — 4,51 % запитів, ClaudeBot — 0,80 %, DeepseekBot — 0,02 %.

Експеримент Otterly.ai: 90 днів логів

Незалежне вимірювання на одному сайті з повним контролем над умовами:

• понад 62 100 візитів AI-ботів за 90 днів;
• із них на /llms.txt — 84 звернення, тобто 0,1 %;
• файл отримував утричі менше запитів, ніж середня сторінка сайту;
• кореляції між наявністю файлу й активністю AI-краулерів не виявлено.

Чому цифри такі низькі

1. Жодна велика AI-компанія не задокументувала, що її краулери читають llms.txt на чужих сайтах. Публікувати власний файл і споживати чужі — різні речі, які постійно плутають.
2. Google Пошук прямо каже, що ігнорує файл.
3. Більшість файлів створена автоматично. Плагіни й платформи генерують їх для всіх сайтів підряд, тому кількість файлів вимірює поширення інструментів, а не попит на них.

Чого ці дані не вимірюють

Чесний підсумок

Усі дані досліджень із цифрами

Усі 15 запитань →