Чи треба закривати llms.txt від індексації?
Це не обовʼязково, але має сенс. Якщо на файл посилаються ззовні, він може потрапити в індекс і показуватися користувачам у видачі, що виглядає дивно. Заголовок X-Robots-Tag: noindex вирішує проблему й не заважає агентам його читати.
Розгорнута відповідь
Обовʼязковим це не є, але аргумент на користь такого рішення реальний. Його сформулював Джон Мюллер із Google.
«It would only be duplicate content if the content were the same as a HTML page, which wouldn't make sense (assuming the file itself were useful). That said, using noindex for it could make sense, as sites might link to it and it could otherwise become indexed, which would be weird for users.»
«Дублікатом контенту це було б лише в разі, якби вміст збігався з HTML-сторінкою, а це не мало б сенсу (за умови, що сам файл корисний). Утім, використання noindex для нього може бути виправданим, оскільки на файл можуть посилатися, і він інакше може потрапити в індекс, що виглядало б дивно для користувачів.» Search Engine Journal
Застереження щодо джерела: ця цитата наводиться за транскрипцією Search Engine Journal. Видання не залишило посилання на оригінальний допис, і знайти його для звірки нам не вдалося. Тому ми подаємо її як переказ, а не як перевірене першоджерело.
Що з цього випливає
- Дублікатом контенту файл не є. Це важливо: побоювання щодо «санкцій за дублювання» безпідставні.
- Ризик — суто косметичний. Файл може потрапити в індекс і показатися користувачу у видачі як сторінка результату. Для людини це виглядає як помилка сайту.
noindexне заважає агентам. Заборона індексації стосується показу у видачі, а не завантаження файлу. Агент, якому дали посилання, прочитає його як завжди.
Як це зробити на PHP-хостингу
Для текстового файлу метатег не працює — потрібен HTTP-заголовок. Через .htaccess:
<IfModule mod_headers.c>
<Files "llms.txt">
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>Якщо файл віддається скриптом:
<?php
header('Content-Type: text/plain; charset=utf-8');
header('X-Robots-Tag: noindex');
readfile(__DIR__ . '/llms.txt');Чи варто цим займатися
Якщо на ваш llms.txt ніхто не посилається, файл у видачу і не потрапить — правило нічого не змінить.
Це два рядки в .htaccess, які прибирають малоймовірну, але неприємну ситуацію. Ми б додали, але
не вважали б це пріоритетом.