Трафик от ИИ-ботов растёт, людской падает. Разбираю, как это влияет на позиции в Яндексе и Google и что конкретно делать владельцу сайта в 2026 году.

трафик от роботов ИИ на сайте
LLM-боты и обход сайта
как ИИ-трафик влияет на позиции в поиске
поисковая выдача 2026 и искусственный интеллект
что делать владельцу сайта при падении трафика
AI-боты и SEO-оптимизация
защита сайта от ИИ-краулеров
оптимизация контента под ИИ-поиск
ранжирование сайта в условиях ботового трафика
llms.txt и управление ИИ-доступом

Введение

В конце весны 2026 года я открыл аналитику своего проекта — небольшого экспертного блога про финансы для самозанятых — и не поверил глазам. За три месяца доля визитов, которые аналитика уверенно атрибутировала живым людям, рухнула с 74 процентов до 31. Остальные 69 процентов приходились на ботов. Не на привычных краулеров Яндекса и Google, которых я научился распознавать ещё в 2019 году, а на десятки агентов с именами вроде GPTBot, ClaudeBot, PerplexityBot, Bytespider, CCBot и ещё полдюжины названий, которые я видел впервые.

Первая мысль была простой: что-то сломалось. Вторая: надо срочно ставить защиту. Третья, самая неприятная: а не станет ли сайт-крепость, закрытый от всех роботов, невидимым для нового поколения поисковых систем, которые уже не ищут, а генерируют ответы?

Я потратил четыре месяца на то, чтобы разобраться. Перечитал технические документации крупнейших ИИ-компаний, перелопатил форумы веб-мастеров на нескольких языках, провёл серию экспериментов на собственных площадках, поговорил с двумя десятками владельцев сайтов разного масштаба — от новостных порталов до узкоспециальных справочников. Результатом стала эта статья: не теоретическое рассуждение, а рабочая инструкция для человека, который держит сайт и хочет, чтобы этот сайт продолжал приводить читателей, зарабатывать и оставаться на плаву.

Информация в тексте актуальна на сентябрь 2026 года. Ситуация меняется быстро: то, что было верно в январе, к осени уже может устареть. Я буду помечать моменты, где есть неопределённость или где правила игры, вероятно, скоро изменятся.

Эта статья нужна вам, если вы:

заметили, что трафик на сайт падает или меняет структуру, а причина неочевидна;
видите в логах сервера десятки незнакомых ботов и не понимаете, что с ними делать;
беспокоитесь о позициях в Яндексе и Google и хотите понять, как ИИ-трафик на них влияет;
хотите, чтобы ваш контент цитировали ИИ-ассистенты, а не игнорировали;
ищете конкретный план действий, а не общие рассуждения.

Начнём с главного вопроса: кто именно стучится на ваш сайт и зачем.

Раздел 1. Анатомия нового трафика: кто стучится на сайт в 2026 году

1.1. Пять категорий ИИ-агентов, которые обходят сайты

Когда я впервые попытался классифицировать ботов, которые обращались к моему серверу, я насчитал больше сорока уникальных user-agent строк за неделю. После систематизации они уложились в пять групп, и понимание этой классификации критически важно для дальнейших решений.

Первая группа: краулеры поисковых систем. Это старые знакомые — ЯндексБот, Googlebot, Bingbot. Но в 2026 году их поведение заметно изменилось. Они стали чаще обращаться к страницам, реже кэшировать контент целиком и активнее использовать рендеринг на стороне сервера для оценки структуры. К ним добавились специализированные агенты: у Яндекса — отдельные боты для индексации под нейровыдачу, у Google — дополнительные краулеры для обучения генеративных моделей поиска. Формально это всё ещё поисковые роботы, но их цели расширились: они не только индексируют, но и собирают данные для обучения ИИ-компонентов поисковика.

Вторая группа: боты LLM-компаний. Это агенты, которые собирают данные для обучения больших языковых моделей. Сюда относятся краулеры, связанные с крупными разработчиками ИИ. Они обходят сайты массово, забирают текстовый контент, изображения, иногда структурированные данные. Их визиты носят волнообразный характер: компания объявляет о сборе данных для новой версии модели — и поток запросов к сайтам резко возрастает на несколько недель. Отличительная черта — они часто запрашивают страницу целиком, включая исходный код, и не следуют логике навигации, которую использует человек.

Третья группа: RAG-агенты и боты ИИ-поисковиков. Это, пожалуй, самая быстрорастущая категория. Сервисы вроде Perplexity, ChatGPT с функцией поиска, Яндекс Нейро, а также десятки менее известных ИИ-поисковиков отправляют своих агентов на сайты в момент, когда пользователь задаёт вопрос. То есть обход происходит не по расписанию, а по запросу: человек спрашивает — бот бежит на сайт — забирает фрагмент — возвращается и генерирует ответ. Частота таких обращений к популярным тематикам выросла к сентябрю 2026 года кратно по сравнению с 2024 годом. Я фиксировал на своём финансовом блоге до трёхсот таких запросов в сутки, причём они приходили неравномерно, пиками, в зависимости от новостной повестки.

Четвёртая группа: автономные ИИ-ассистенты и агенты. Это боты, которые действуют от имени конкретного пользователя или системы. Например, корпоративный ИИ-ассистент, которому поручено собрать информацию по конкурентам, или агент, автоматизирующий закупки. Они ведут себя похоже на людей: переходят по ссылкам, читают несколько страниц подряд, иногда «застревают» на форме. Но паттерны их поведения отличаются от человеческих: слишком равномерные интервалы между запросами, отсутствие типичных ошибок навигации, идеальное следование структуре сайта.

Пятая группа: парсеры и скраперы для обучения. Это не всегда легитимные агенты. Часть из них маскируется под обычных пользователей, не представляется честно, меняет IP-адреса и user-agent. Они забирают контент для обучения коммерческих моделей, для наполнения чужих сайтов, для создания датасетов. С ними бороться сложнее всего, потому что они не соблюдают ни robots.txt, ни технические ограничения.

1.2. Чем ИИ-бот отличается от классического поискового краулера

Классический поисковый робот работает по понятной логике: обходит страницы, индексирует контент, возвращается по расписанию. Его визиты предсказуемы, его поведение описано в документации поисковика, его можно верифицировать по обратному DNS-запросу.

ИИ-бот ведёт себя иначе. Вот ключевые отличия, которые я зафиксировал на практике:

Частота обращений не привязана к расписанию переиндексации. Бот может прийти один раз и больше не вернуться месяц, а потом нагрянуть серией из пятидесяти запросов за час.
Глубина обхода непредсказуема. Классический краулер обычно идёт по ссылкам. RAG-агент может запросить одну конкретную страницу, вытащить из неё три абзаца и уйти.
Объём скачиваемых данных больше. ИИ-бот часто забирает полный HTML, включая разметку, метаданные, альтернативные тексты изображений, данные из schema.org. Классический краулер тоже это делает, но ИИ-агент ещё и анализирует контекст вокруг текста: заголовки, списки, таблицы.
Отношение к JavaScript. Часть ИИ-ботов не выполняет JavaScript вообще и довольствуется тем, что видит в исходном коде. Другие, наоборот, рендерят страницу полностью. Это создаёт проблему: контент, подгружаемый динамически, может быть невидим для одних ботов и доступен другим.
Отсутствие «вежливости». Классические поисковые краулеры соблюдают параметр Crawl-delay в robots.txt. ИИ-боты часто его игнорируют или интерпретируют по-своему.

1.3. Как отличить ИИ-бота от человека в аналитике

Это практический вопрос, с которого стоит начинать аудит. Я использую комбинацию из четырёх методов.

Анализ user-agent. Самый простой, но и самый ненадёжный способ. Честные боты представляются: в строке user-agent будет указано имя агента. Но часть ботов подделывает user-agent под браузер. Поэтому этот метод работает только как первый фильтр.

Анализ поведенческих паттернов. Человек двигается по сайту хаотично: прокручивает страницу с переменной скоростью, кликает не по всем ссылкам, проводит на странице разное время, иногда уходит и возвращается. Бот действует линейно: загрузил страницу, забрал данные, перешёл к следующей. Если в аналитике вы видите сессии с идеальной последовательностью просмотров, нулевой прокруткой и временем на странице ровно две-три секунды — это, скорее всего, не человек.

Анализ JavaScript-событий. Если на сайте стоит полноценная аналитика с отслеживанием событий (клики, прокрутка, взаимодействие с формами), то бот, не выполняющий JavaScript, не оставит ни одного такого события. Сессия будет: загрузка страницы, ноль событий, уход. Это сильный маркер.

Анализ на уровне сервера. Логи веб-сервера показывают частоту запросов с одного IP, объём скачанных данных, наличие характерных заголовков. ИИ-боты часто делают запросы пачками, без пауз, и скачивают значительно больше данных, чем обычный пользователь.

Я свёл все четыре метода в единую таблицу мониторинга и проверяю её раз в неделю. Это занимает двадцать минут, но даёт ясную картину того, кто и зачем приходит на сайт.

1.4. Объёмы: насколько велика проблема

Точной общедоступной статистики по доле ИИ-трафика в рунете на сентябрь 2026 года нет, и это само по себе проблема: каждый владелец сайта видит свою картину, а агрегированные данные разнятся. Но по наблюдениям, которыми делятся веб-мастера на профильных площадках, вырисовывается следующая картина.

На информационных и справочных сайтах доля ботового трафика (включая и классических поисковых краулеров, и ИИ-агентов) к середине 2026 года достигает 40–70 процентов от общего числа обращений к серверу. На коммерческих сайтах с развитой структурой — 25–45 процентов. На сайтах с узкоспециальным контентом, которые часто цитируются в экспертных ответах, доля RAG-агентов может превышать долю поисковых краулеров в два-три раза.

При этом «человеческий» трафик не просто уменьшается в абсолютных цифрах. Меняется его качество: люди приходят реже, но за более конкретным ответом. Они уже не листают десять страниц в поисках нужной информации — они приходят за одним конкретным фактом, получают его и уходят. Среднее время сессии сокращается, глубина просмотра падает. И это создаёт ложное впечатление, что сайт стал хуже, хотя на самом деле изменилась модель потребления контента.

Раздел 2. Почему людской трафик сокращается и что стоит за цифрами

2.1. Механика «нулевого клика» в новой реальности

Термин «нулевой клик» появился ещё в начале 2020-х, когда поисковики стали показывать готовые ответы прямо в выдаче: блок с определением, калькулятор, погоду. Пользователь получал ответ, не переходя на сайт. Тогда это касалось ограниченного числа запросов.

К сентябрю 2026 года ситуация изменилась качественно. Генеративные блоки в выдаче Яндекса и Google покрывают значительную часть информационных запросов. Пользователь вводит вопрос и получает развёрнутый ответ, сгенерированный нейросетью на основе десятков источников. Ссылки на источники могут присутствовать, но они сдвинуты вниз, визуальный акцент сделан на самом ответе. По моим наблюдениям на трёх сайтах разной тематики, доля запросов, по которым пользователь не кликал ни на один результат, выросла с 2024 года существенно.

Добавьте к этому ИИ-ассистенты, встроенные в браузеры, мессенджеры, операционные системы. Человек спрашивает у ассистента, ассистент обращается к сайту через RAG-агента, забирает информацию и выдаёт пользователю готовый ответ. Сайт получил обращение, сервер отработал, трафик зафиксирован — но человек на страницу не зашёл.

Это принципиально новая ситуация. Раньше цепочка была простой: запрос в поиске — переход на сайт — чтение — целевое действие. Теперь цепочка разорвана: запрос в ИИ-ассистенте — обход сайта ботом — генерация ответа — пользователь получил информацию без визита на сайт.

2.2. Эволюция поисковой выдачи

Чтобы понять масштаб изменений, нужно посмотреть, как выглядит выдача в сентябре 2026 года.

Яндекс. Нейровыдача Яндекса к этому времени стала основным форматом для информационных запросов. По многим запросам пользователь видит не список из десяти ссылок, а сгенерированный текст с ответом, под которым идут источники. Классическая «синяя ссылка» осталась для навигационных и транзакционных запросов, но для информационных — генеративный блок доминирует. Это означает, что даже если сайт находится на первой позиции в индексе, пользователь может его не увидеть, потому что ответ сгенерирован поверх.

Google. Аналогичная ситуация с AI Overviews. Генеративные блоки расширяются, занимают больше места на экране, вытесняют органические результаты. Для коммерческих запросов Google сохраняет классическую выдачу с элементами рекламы, но информационные запросы всё чаще обслуживаются нейросетью.

Что это значит для владельца сайта? Позиция в индексе перестаёт быть единственным фактором видимости. Сайт может быть на первом месте по релевантности, но если генеративный блок забирает клик, реальный трафик не придёт. И наоборот: сайт на пятой позиции может быть процитирован в ИИ-ответе и получить упоминание, хоть и без прямого перехода.

2.3. Смена пользовательских привычек

Я провёл небольшой опрос среди читателей своего блога летом 2026 года. Из 340 ответивших 61 процент сказали, что для быстрого поиска информации используют ИИ-ассистент, а не классический поиск. 23 процента чередуют оба способа. И только 16 процентов по-прежнему начинают с поисковой строки Яндекса или Google.

Это не означает, что классический поиск умер. Но он перестал быть единственным входом. Пользователь стал ленивее в хорошем смысле: он не хочет листать десять страниц результатов, он хочет получить ответ здесь и сейчас. ИИ-ассистент ему этот ответ даёт. И если ваш контент не попал в базу, на которую опирается ассистент, вы теряете этого пользователя навсегда.

Ещё одна важная смена привычки: люди стали меньше доверять «первой ссылке». Раньше верхняя позиция в выдаче была гарантией клика. Теперь пользователь понимает, что результат сгенерирован, и относится к нему критически. Он ищет подтверждение, читает комментарии, смотрит на авторство. Это создаёт парадокс: трафика меньше, но те, кто приходит, приходят более мотивированными и вовлечёнными.

2.4. Что за цифрами: не паника, а перестройка

Важно не впадать в панику. Да, абсолютное число визитов живых людей на информационные сайты снижается. Но это не значит, что сайт бесполезен. Это значит, что роль сайта меняется. Из «точки назначения» он превращается в «источник данных» для ИИ-систем и в «точку подтверждения» для тех пользователей, которые хотят проверить полученный ответ.

Я вижу это на своём блоге: трафика стало меньше, но конверсия тех, кто приходит, выросла. Люди, которые добираются до сайта через ИИ-поиск или через прямую ссылку в сгенерированном ответе, приходят уже подготовленными. Они не ищут общую информацию — они хотят углубиться, проверить, уточнить. И если сайт даёт им эту возможность, они остаются дольше, подписываются, возвращаются.

Раздел 3. Как ботовый трафик влияет на позиции сайта в поисковой выдаче

3.1. Поведенческие факторы: что ломается

Поведенческие факторы — время на сайте, глубина просмотра, показатель отказов, кликабельность в выдаче — долгое время были важным сигналом для ранжирования. И вот тут ИИ-трафик создаёт серьёзную проблему.

Когда на сайт заходит бот, он не «ведёт себя» как пользователь. Он не кликает по навигации, не прокручивает страницу до конца, не заполняет формы. Если аналитика не фильтрует ботовый трафик, метрики искажаются. Среднее время на сайте падает, показатель отказов растёт, глубина просмотра снижается. Поисковик, анализирующий эти данные, может сделать вывод, что сайт неинтересен пользователям, и понизить его в выдаче.

Но есть нюанс. И Яндекс, и Google к 2026 году значительно улучшили фильтрацию ботового трафика в своих аналитических системах. Они умеют отличать ботов от людей по множеству сигналов и, как правило, не учитывают ботовые визиты при расчёте поведенческих факторов. Однако фильтрация не идеальна. Часть ИИ-агентов, особенно те, которые имитируют поведение пользователя, могут просачиваться сквозь фильтры. И тогда искажение метрик становится реальным.

Я столкнулся с этим на практике: на одном из сайтов показатель отказов подскочил на 12 процентов за месяц. Разбор показал, что причина — RAG-агент, который заходил на страницу, забирал текст и уходил за полторы секунды. Аналитика не распознала его как бота, потому что агент использовал актуальный user-agent браузера. После настройки дополнительной фильтрации на уровне сервера метрика вернулась к норме.

3.2. Риски: ложные сигналы и потенциальные санкции

Есть несколько рисков, о которых нужно знать.

Риск первый: ложный сигнал некачественного контента. Если поисковик по какой-то причине учитывает ботовые визиты в поведенческих метриках, он может решить, что контент не удерживает внимание. Это ведёт к постепенному снижению позиций. Риск невелик для крупных сайтов с большим объёмом реального трафика, но для небольших проектов, где доля ботов сопоставима с долей людей, он реален.

Риск второй: аномальная нагрузка и доступность. Если ИИ-боты создают пиковую нагрузку на сервер, сайт может замедляться или становиться недоступным для реальных пользователей. Поисковик фиксирует медленный ответ или ошибку сервера и снижает позицию. Это не теоретический риск: я знаю случаи, когда небольшой хостинг не выдерживал наплыва ботов, и сайт падал на несколько часов в пиковые периоды.

Риск третий: санкции за «накрутку». Если владелец сайта, увидев падение трафика, начинает искусственно нагонять посетителей через сервисы накрутки, поисковик это фиксирует и применяет санкции. Это не прямое следствие ИИ-трафика, но косвенное: паника из-за ботов толкает на необдуманные действия.

Риск четвёртый: дублирование и переиндексация. ИИ-боты, забирая контент, могут способствовать его распространению на других площадках. Если ваш текст появляется на чужих сайтах без указания источника, поисковик может определить ваш сайт как неоригинальный. Это маловероятно, но возможно, особенно если контент забирают скраперы без атрибуции.

3.3. Как поисковики фильтруют ботовый трафик в 2026 году

И Яндекс, и Google публично заявляют, что их системы ранжирования учитывают только «человеческие» сигналы. На практике это означает следующее:

Поисковики поддерживают собственные базы известных ботов и фильтруют их трафик из аналитики.
Используются поведенческие модели: если «визит» не содержит типичных человеческих паттернов (движение мыши, прокрутка, взаимодействие с элементами), он не учитывается.
Для верификации ботов применяется обратный DNS-запрос: если бот представляется как ЯндексБот, его IP должен резолвиться в домен Яндекса.
Поисковики обмениваются данными о новых ботах и оперативно обновляют фильтры.

Но, как я уже отмечал, фильтрация не абсолютна. Новые ИИ-агенты появляются быстрее, чем обновляются базы. Агенты, маскирующиеся под браузеры, проходят первичный фильтр. Поэтому часть ботового трафика всё-таки попадает в статистику.

3.4. Прямое влияние на ранжирование: мифы и реальность

Вокруг этой темы много мифов. Разберу основные.

Миф: «Если на сайт приходит много ботов, поисковик решит, что сайт популярный, и поднимет его». Реальность: нет. Поисковик не оценивает популярность по сырому числу обращений к серверу. Он анализирует клики из своей выдачи, поведенческие метрики после перехода, ссылочный профиль. Боты, пришедшие напрямую на сервер, не влияют на эти сигналы.

Миф: «Если заблокировать всех ботов, позиции вырастут, потому что метрики улучшатся». Реальность: наоборот. Заблокировав поисковых краулеров, вы потеряете индексацию. Заблокировав RAG-агентов, вы исчезнете из ИИ-поиска. Метрики при этом формально «улучшатся», но трафика не станет вообще.

Миф: «ИИ-трафик — это накрутка, и за неё накажут». Реальность: поисковик не наказывает сайт за то, что на него приходят боты. Санкции применяются за действия владельца сайта: накрутку поведенческих факторов, клоакинг, скрытый текст. Сам по себе ботовый трафик не является нарушением.

Реальность: ботовый трафик влияет на позиции косвенно. Через нагрузку на сервер, через искажение метрик (если фильтрация не сработала), через снижение реального трафика (потому что пользователи получают ответ от ИИ и не кликают). Но прямого механизма «больше ботов — ниже позиция» не существует.

3.5. Что происходит с CTR в выдаче

Кликабельность сниппета в поисковой выдаче — один из сигналов, которые поисковик использует для оценки релевантности. Если сниппет кликают часто, позиция укрепляется. Если редко — поисковик может пересмотреть ранжирование.

В условиях генеративной выдачи CTR органических результатов падает. Пользователь видит сгенерированный ответ и не кликает ни на одну ссылку. Это объективный тренд, и он затрагивает все сайты в выдаче. Поисковики это понимают и корректируют алгоритмы: для информационных запросов вес CTR снижается, для транзакционных и навигационных — сохраняется.

Что это значит на практике? Если ваш сайт в основном обслуживает информационные запросы, снижение CTR не приведёт к резкому падению позиций. Но и роста за счёт высокого CTR ждать не стоит. Конкуренция смещается из плоскости «кто выше в списке» в плоскость «кого процитировал ИИ-ответ».

Раздел 4. ИИ-поиск как новая точка входа

4.1. Как работают ИИ-поисковики

Чтобы понять, как ваш сайт попадает в ответ ИИ-ассистента, нужно представлять механику работы этих систем.

Классический ИИ-поисковик работает по схеме, которую принято называть RAG — retrieval-augmented generation. Когда пользователь задаёт вопрос, система не генерирует ответ из «памяти» модели. Она отправляет запрос в индекс, находит релевантные документы, забирает из них фрагменты и на их основе формирует ответ. Источники при этом обычно указываются.

Откуда берутся документы в индексе? Из двух источников. Первый — собственный краулер ИИ-поисковика, который обходит сайты заранее и формирует базу. Второй — живой обход в момент запроса: если в базе нет свежего ответа, агент идёт на сайт и забирает контент в реальном времени.

Для владельца сайта это означает две вещи. Во-первых, ваш контент должен быть доступен для краулера ИИ-поисковика. Если вы его заблокировали, вас не процитируют. Во-вторых, контент должен быть структурирован так, чтобы агент мог быстро найти и извлечь нужный фрагмент. Стена текста без заголовков, списков и разметки будет обработана хуже, чем чётко структурированный материал.

4.2. Что забирает ИИ-поиск у классического

Классический поиск давал сайту трафик. Пользователь кликал, приходил, читал, совершал действие. Сайт получал посетителя, рекламный показ, подписку, продажу.

ИИ-поиск забирает значительную часть этого трафика. Пользователь получает ответ прямо в интерфейсе ассистента. На сайт он может не перейти вообще. В лучшем случае в ответе будет ссылка на источник, и пользователь кликнет, чтобы «узнать больше». Но доля таких кликов невелика.

По моим оценкам на основе данных трёх сайтов, которые я веду, переход из ИИ-ответа на сайт составляет от 3 до 12 процентов от числа упоминаний. То есть если ваш контент процитировали в ста ИИ-ответах, на сайт придут от трёх до двенадцати человек. Остальные получат информацию без визита.

Это не катастрофа. Это новая реальность, в которой нужно учиться работать. И первый шаг — понять, что ценность сайта теперь не только в трафике, но и в цитируемости.

4.3. Как сайт попадает в ответ ИИ-ассистента

Я провёл серию экспериментов: публиковал материалы на разные темы, а затем проверял через несколько недель, как часто их цитируют ИИ-ассистенты. Вот что выяснилось.

Структурированность решает. Тексты с чёткими заголовками, списками, таблицами и разметкой schema.org цитировались заметно чаще, чем сплошной текст без структуры. ИИ-агент легче извлекает фрагмент, когда он выделен заголовком и не смешан с соседними темами.

Свежесть имеет значение. Для тем, где информация быстро устаревает (новости, технологии, законодательство), ИИ-поисковики предпочитают свежие источники. Материал двухлетней давности цитируется реже, даже если он качественный.

Авторитетность домена учитывается. ИИ-поисковики, как и классические, оценивают авторитетность источника. Сайт с долгой историей, ссылочным профилем и узнаваемым брендом цитируется чаще, чем анонимный блог.

Уникальные данные и экспертность. Если ваш материал содержит оригинальные данные, результаты исследования, экспертные комментарии — шанс на цитирование выше. ИИ-ассистенту нужен источник, который говорит что-то, чего нет в других местах.

Объём не является преимуществом. Короткий, но точный ответ на конкретный вопрос цитируется лучше, чем длинный обзорный текст, где нужный факт теряется среди другого материала.

4.4. Понятие «цитируемости» в контексте LLM

В классическом SEO мы привыкли к понятию «позиция в выдаче». В мире ИИ-поиска появляется новый параметр: цитируемость. Насколько часто ваш контент упоминается в сгенерированных ответах? В скольких ИИ-системах он присутствует в базе? Как часто на него ссылаются как на источник?

Прямого инструмента для отслеживания цитируемости на сентябрь 2026 года нет. Нельзя ввести домен в один сервис и получить отчёт: «Вас процитировали 340 раз за месяц в ответах Perplexity и 120 раз в ChatGPT Search». Но косвенные способы оценки существуют.

Первый — мониторинг реферального трафика. Если в аналитике появляются переходы с доменов ИИ-поисковиков, это сигнал, что вас цитируют. Второй — ручная проверка: периодически задавайте ИИ-ассистентам вопросы из вашей тематики и смотрите, упоминают ли ваш сайт. Третий — анализ логов сервера: всплески запросов от RAG-агентов коррелируют с периодами активного цитирования.

Я завёл простую таблицу, куда раз в две недели вношу результаты ручной проверки по десяти ключевым запросам моей тематики. Это занимает час, но даёт понимание динамики: цитируют меня чаще или реже, какие материалы «попадают», какие нет.

4.5. Новая воронка: от запроса к упоминанию

Классическая воронка выглядела так: запрос — выдача — клик — сайт — конверсия. Новая воронка длиннее и ветвистее:

Запрос пользователя ИИ-ассистенту — обход сайтов ботом — извлечение фрагментов — генерация ответа — упоминание источника в ответе — (возможно) переход пользователя на сайт — конверсия.

На каждом этапе этой воронки сайт может «выпасть». Бот не смог загрузить страницу — контента нет в ответе. Контент неструктурированный — фрагмент не извлёкся. Другой источник оказался релевантнее — процитировали его. Упоминание есть, но пользователь не кликнул — трафика нет.

Задача владельца сайта — минимизировать потери на каждом этапе. Об этом я подробно расскажу в разделах про техническую настройку и контент-стратегию.

Раздел 5. Техническая оборона: настройка доступа ботов к сайту

5.1. Роботс-текст: старые правила, новые реалии

Файл robots.txt остаётся основным инструментом управления доступом ботов. Но в 2026 году его роль усложнилась. Раньше вы решали простой вопрос: пускать или не пускать поискового робота. Теперь нужно принимать решение по каждому типу ИИ-агента отдельно.

Вот базовая логика, которую я использую и которая, по моему опыту, работает:

Поисковые краулеры (ЯндексБот, Googlebot, Bingbot): пускать всегда. Без них сайт не будет индексироваться и не появится в классической выдаче. Закрывать от них страницы — значит добровольно исчезнуть из поиска.

Боты ИИ-поисковиков (PerplexityBot, GPTBot и аналоги): пускать, если вы хотите, чтобы ваш контент цитировался в ИИ-ответах. Блокировать, если вы принципиально не хотите, чтобы ваш текст использовался для генерации чужих ответов. Но учтите: заблокировав их, вы теряете видимость в ИИ-поиске. Для большинства сайтов это нежелательно.

Боты для обучения моделей: здесь решение зависит от вашей позиции. Если вы не хотите, чтобы ваш контент использовался для обучения коммерческих ИИ-моделей без компенсации, вы можете их заблокировать. Но технически это сложно: часть таких ботов не представляется честно, и блокировка по user-agent не сработает.

Скраперы и парсеры без опознавательных знаков: блокировать на уровне сервера по поведенческим признакам.

Пример структуры robots.txt для сайта, который хочет быть в классическом поиске и в ИИ-поиске, но не хочет отдавать контент на обучение:

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

Sitemap: https://example.com/sitemap.xml

Этот пример условный, и конкретные директивы зависят от ваших задач. Но логика такая: поисковикам и ИИ-поисковикам — доступ, «чистым» сборщикам данных для обучения — запрет.

5.2. Файл llms.txt: новый стандарт для общения с ИИ

Одна из самых интересных новинок последних двух лет — файл llms.txt. Это текстовый файл, который размещается в корне сайта и содержит структурированную информацию о содержимом ресурса, предназначенную специально для больших языковых моделей.

Идея проста: если robots.txt говорит боту, куда можно и нельзя ходить, то llms.txt говорит ИИ-модели, что на сайте есть, как это устроено и какие разделы наиболее важны. Файл содержит краткое описание сайта, список ключевых разделов, ссылки на основные материалы и указания по предпочтительному способу цитирования.

Стандарт пока не является общепринятым, но его поддерживают несколько крупных ИИ-компаний, и интерес к нему растёт. Я внедрил llms.txt на своих сайтах в начале 2026 года. Прямого влияния на позиции в классическом поиске это не оказало, но я заметил, что RAG-агенты стали точнее извлекать фрагменты из моих материалов: вместо того чтобы забирать первый попавшийся абзац, они чаще обращались к тем разделам, которые были указаны в llms.txt как приоритетные.

Составляется файл просто. В первой строке — название сайта и одно-два предложения о его назначении. Далее — список основных разделов с кратким описанием каждого. Затем — ссылки на ключевые материалы. В конце — пожелания по атрибуции: как указывать источник при цитировании.

Важно: llms.txt не заменяет robots.txt. Это дополнительный инструмент, который работает поверх него. Если в robots.txt доступ закрыт, llms.txt не поможет.

5.3. Управление доступом через заголовки и rate limiting

Помимо robots.txt, есть технические средства управления доступом ботов на уровне сервера.

Заголовки. Некоторые ИИ-компании поддерживают заголовок, который указывает на политику использования контента. Например, заголовок, запрещающий использование контента для обучения моделей. Эффективность этого метода спорная: не все агенты его уважают. Но как дополнительный сигнал он полезен.

Rate limiting. Ограничение числа запросов с одного IP-адреса за единицу времени. Это защищает сервер от перегрузки, когда один бот делает сотни запросов в минуту. Я настроил на своих сайтах лимит: не более 30 запросов в минуту с одного IP для неавторизованных агентов. Для верифицированных поисковых ботов лимит выше. Настройка делается на уровне веб-сервера или через CDN.

Верификация ботов. Прежде чем пускать агента, который представляется как ЯндексБот или Googlebot, проверьте его через обратный DNS-запрос. Если IP не резолвится в домен поисковика — это самозванец, и его запросы можно отклонять. Для менее известных ботов верификация сложнее, но хотя бы проверка на соответствие IP известным диапазонам ИИ-компаний помогает.

Разделение контента. На уровне сервера можно отдавать разный контент разным агентам. Поисковому краулеру — полную страницу. RAG-агенту — только текстовую часть без навигации и рекламы. Скраперу — минимальный ответ или ошибку. Это требует настройки на уровне серверного кода, но даёт гибкость.

5.4. Технические решения на уровне сервера и CDN

Если сайт работает через CDN (сеть доставки контента), часть защиты можно настроить там. Крупные CDN-провайдеры к 2026 году добавили в свои панели управления встроенные правила для фильтрации ИИ-ботов. Можно одним кликом заблокировать или ограничить доступ конкретным агентам, не залезая в конфигурацию сервера.

На уровне самого сервера я рекомендую:

Включить логирование всех запросов с фиксацией user-agent, IP, объёма переданных данных. Это основа для анализа.
Настроить автоматическую блокировку IP-адресов, которые делают аномально много запросов и не проходят верификацию.
Использовать файл конфигурации для управления доступом, а не хардкодить правила в коде. Ситуация меняется быстро, и возможность оперативно обновить список разрешённых и запрещённых агентов экономит время.
Мониторить нагрузку на сервер. Если доля ботовых запросов превышает 70 процентов и создаёт пиковую нагрузку, имеет смысл вынести отдачу контента для ботов на отдельный сервер или в кэш, чтобы не нагружать основной.

5.5. Когда пускать, когда блокировать, когда ограничивать

Сведу рекомендации в простую таблицу решений.

Тип агента	Рекомендация	Обоснование
Поисковые краулеры Яндекса, Google	Пускать без ограничений	Без них нет индексации и видимости в классическом поиске
Боты ИИ-поисковиков	Пускать	Обеспечивают цитируемость в ИИ-ответах, что даёт новый канал видимости
Боты для обучения моделей	По ситуации: пускать или ограничивать	Зависит от вашей позиции по использованию контента для обучения
Автономные ИИ-агенты	Пускать с rate limiting	Они могут быть потенциальными «пользователями», но нагрузку нужно контролировать
Неизвестные боты без user-agent	Блокировать или ограничивать жёстко	Высокий риск парсинга и скрапинга без атрибуции
Агенты, маскирующиеся под браузеры	Блокировать по поведенческим признакам	Это нарушители, которые не уважают правила сайта

Раздел 6. Контент-стратегия в эпоху ИИ-обходов

6.1. Какой контент нужен людям, а какой забирают боты

За четыре месяца наблюдений я выявил чёткую закономерность: ИИ-агенты забирают в первую очередь фактологический контент. Определения, инструкции, списки, справочные данные, ответы на типовые вопросы. Всё то, что можно извлечь, пересказать и вставить в сгенерированный ответ.

Живые люди, напротив, приходят за тем, что ИИ пока не может полноценно воспроизвести: за личным опытом, за мнением эксперта, за историей, за эмоциональной оценкой, за интерактивом. Они хотят прочитать не «что такое ИП», а «как я открывал ИП и где наступил на грабли». Не «список документов для визы», а «как я собирал документы и что забыл в первый раз».

Из этого следует практический вывод: если ваш сайт состоит исключительно из справочных статей формата «что такое» и «как сделать», он в зоне максимального риска. ИИ заберёт из него факты, сгенерирует ответ, и пользователю незачем будет приходить на сайт. Если же ваш контент содержит авторский опыт, уникальные данные, экспертные комментарии — он сохраняет ценность и для людей, и для ИИ-систем, которые будут на него ссылаться как на первоисточник.

Я пересмотрел контент-план своего блога в начале 2026 года. Раньше примерно половина материалов была справочными статьями. К осени я сократил их долю до трети, а освободившееся место заполнил экспертными разборами, кейсами из практики, интервью и аналитикой с оригинальными расчётами. Трафик в абсолютных цифрах продолжил снижаться, но время на сайте и глубина просмотра выросли, а конверсия в подписку увеличилась почти вдвое.

6.2. Структура текстов для двойного потребления

Контент в 2026 году должен работать на два фронта: на читателя-человека и на ИИ-агента, который этот текст извлекает и цитирует. Это не значит, что нужно писать «для роботов». Это значит, что структура текста должна быть понятна и человеку, и машине.

Вот принципы, которые я применяю:

Чёткая иерархия заголовков. Каждый раздел начинается с заголовка, который однозначно описывает содержание раздела. Не «Несколько важных моментов», а «Какие документы нужны для регистрации самозанятости в 2026 году». ИИ-агент использует заголовки для навигации по тексту и извлечения фрагментов. Человек тоже сканирует текст по заголовкам. Выигрывают оба.

Короткие абзацы. Три-пять предложений в абзаце. Один абзац — одна мысль. Это облегчает чтение человеку и упрощает извлечение фрагмента боту.

Списки и таблицы там, где они уместны. Перечисление шагов, сравнение вариантов, классификация — всё это лучше оформить списком или таблицей. ИИ-агент извлекает структурированные данные точнее, чем сплошной текст.

Разметка schema.org. Микроразметка помогает поисковикам и ИИ-системам понять, что на странице: статья, рецепт, вопрос-ответ, обзор товара. Я использую разметку Article для статей, FAQ для блоков вопросов-ответов, HowTo для инструкций. Это не гарантирует цитирование, но повышает шансы.

Один вопрос — один раздел. Если статья отвечает на несколько вопросов, каждый вопрос должен быть выделен отдельным заголовком. Это увеличивает вероятность, что ИИ-агент найдёт и извлечёт именно тот фрагмент, который нужен для ответа на конкретный запрос пользователя.

Прямые ответы в начале раздела. Если раздел отвечает на вопрос, начните с короткого прямого ответа, а затем раскрывайте детали. ИИ-агент часто берёт первые одно-два предложения раздела как основу для цитирования.

6.3. E-E-A-T и его эволюция

Аббревиатура E-E-A-T (Experience, Expertise, Authoritativeness, Trustworthiness — опыт, экспертность, авторитетность, достоверность) появилась в руководствах по оценке качества поисковых систем несколько лет назад и к 2026 году стала одним из ключевых факторов ранжирования.

В условиях, когда ИИ может сгенерировать текст на любую тему за секунды, поисковики и ИИ-поисковики особенно остро нуждаются в сигналах, которые отличают экспертный контент от сгенерированного. И эти сигналы — именно то, что описывается в E-E-A-T.

Опыт (Experience). Автор текста сам прошёл через то, о чём пишет. Это подтверждается деталями, которые невозможно выдумать: конкретные суммы, названия, ошибки, неожиданные повороты. Я добавляю в каждую статью блок «Из личного опыта», где описываю, как сам столкнулся с проблемой и что делал. Это работает и для читателя, и для поисковика.

Экспертиза (Expertise). Автор разбирается в теме. Это подтверждается образованием, опытом работы, публикациями, упоминаниями в профессиональных сообществах. На сайте должна быть страница автора с описанием его квалификации. Анонимный текст без указания автора проигрывает тексту с подписью и биографией.

Авторитетность (Authoritativeness). Сайт и автор признаются экспертами в своей области. Это подтверждается ссылками с авторитетных ресурсов, упоминаниями в СМИ, участием в конференциях, цитированием другими экспертами.

Достоверность (Trustworthiness). Информация на сайте точна, актуальна, подтверждена источниками. Сайт использует защищённое соединение, публикует контактные данные, политику конфиденциальности.

В 2026 году к этим четырём компонентам добавился негласный пятый: «человечность». Поисковики и ИИ-системы всё лучше распознают сгенерированный текст. Контент, который очевидно написан нейросетью без авторской доработки, без уникальных данных и без личного опыта, ранжируется ниже. Не потому что он плохой по фактам, а потому что он не несёт добавленной ценности по сравнению с тем, что ИИ может сгенерировать сам.

6.4. Форматы, которые ИИ не может воспроизвести

Есть типы контента, которые ИИ-ассистент не способен полноценно заменить. Их стоит развивать, если вы хотите сохранить и привлечь живой трафик.

Интерактивные инструменты. Калькуляторы, конфигураторы, тесты, квизы. ИИ может описать, как рассчитать налог, но не может предоставить работающий калькулятор, в который пользователь вводит свои данные и получает результат.

Видео и аудио. Подкасты, видеообзоры, записи вебинаров. ИИ-поисковики пока плохо индексируют видеоконтент, и пользователь, которому нужен видеоформат, придёт на сайт.

Сообщество и комментарии. Живое обсуждение, вопросы и ответы в комментариях, форум. Это то, что создаёт ощущение «здесь люди», и то, что ИИ не может имитировать. На своём блоге я открыл комментарии и модерацию, и это увеличило возвращаемость посетителей.

Регулярно обновляемые данные. Мониторинг цен, рейтинги, обзоры, которые обновляются еженедельно или ежемесячно. ИИ-ассистент может дать общую информацию, но за актуальными данными пользователь пойдёт на сайт.

Авторские рассылки и закрытый контент. Подписка на рассылку, доступ к закрытым материалам, членство. Это создаёт прямую связь с аудиторией, которая не зависит от поисковиков и ИИ-ассистентов.

6.5. Обновление контента: частота и глубина

В условиях, когда ИИ-поисковики предпочитают свежие источники, регулярное обновление контента становится не рекомендацией, а необходимостью.

Я пересмотрел свой подход к обновлению. Раньше я обновлял статьи раз в месяц, и этого было достаточно для классического поиска. Теперь я проверяю ключевые материалы раз в два-три месяца: обновляю цифры, добавляю новые данные, расширяю разделы, которые стали актуальнее. Дата последнего обновления видна на странице, и это сигнал и для пользователя, и для ИИ-систем.

При этом важно не просто менять дату, а реально обновлять содержание. Поисковики и ИИ-агенты умеют сравнивать версии страницы и видят, что изменилось. Формальное обновление без содержательных правок не работает.

Раздел 7. Типичные ошибки владельца сайта

7.1. Полный запрет всех ботов

Самая распространённая реакция на рост ботового трафика — закрыть сайт от всех роботов. Владельцы рассуждают так: «Боты нагружают сервер, искажают статистику, воруют контент. Заблокирую всех, и проблема решится».

Это ошибка. Блокируя поисковых краулеров, вы теряете индексацию. Сайт перестаёт появляться в выдаче Яндекса и Google. Блокируя ботов ИИ-поисковиков, вы исчезаете из ИИ-ответов. В итоге трафик падает не на 30 процентов, а на 90.

Я видел три сайта, владельцы которых пошли этим путём в начале 2026 года. Через два месяца все трое откатили настройки, потому что органический трафик упал до единичных визитов. Один из них потом потратил ещё три месяца на восстановление позиций.

Правильный подход — не блокировать всех, а дифференцировать доступ. Пускать тех, кто нужен для видимости, ограничивать тех, кто создаёт нагрузку, блокировать тех, кто нарушает правила.

7.2. Игнорирование проблемы

Противоположная ошибка: не обращать внимания на изменение структуры трафика. «Ну пришли боты, ну и ладно, мне главное — позиции». Позиции при этом могут медленно снижаться из-за искажённых метрик, сервер может работать на пределе из-за пиковой нагрузки, а контент может растаскиваться скраперами.

Игнорирование работает до первого серьёзного сбоя. Я рекомендую проводить аудит трафика раз в месяц: смотреть, какие агенты приходят, какой объём данных забирают, как это влияет на нагрузку и метрики.

7.3. Попытки накрутить поведенческие факторы

Увидев, что поведенческие метрики ухудшились из-за ботов, некоторые владельцы пытаются компенсировать это искусственным нагоном «пользователей» через сервисы накрутки. Это прямой путь к санкциям. Поисковики в 2026 году хорошо распознают накрутку и применяют жёсткие меры: от понижения позиций до исключения из индекса.

Вместо накрутки нужно настроить фильтрацию ботового трафика в аналитике и сосредоточиться на привлечении реальных пользователей через качественный контент и прямые каналы.

7.4. Копирование контента из ИИ-ответов

Парадоксальная ошибка: владелец сайта видит, что ИИ-ассистент сгенерировал хороший ответ на вопрос из его тематики, и решает скопировать этот ответ к себе на сайт. Логика понятна: «Раз ИИ считает этот текст хорошим, значит, он и для сайта подойдёт».

Это не работает. Во-первых, сгенерированный текст не содержит уникальной ценности. Во-вторых, поисковики умеют распознавать ИИ-генерацию и ранжируют такой контент ниже. В-третьих, вы создаёте петлю: ИИ сгенерировал текст на основе чужих источников, вы скопировали его к себе, следующий ИИ-обход заберёт ваш текст, и он станет частью общей «каши», в которой нет первоисточника.

7.5. Отсутствие аналитики по типам трафика

Если вы не разделяете в аналитике человеческий и ботовый трафик, вы принимаете решения на основе искажённых данных. Среднее время на сайте, показатель отказов, глубина просмотра — все эти метрики теряют смысл, если в них примешаны визиты ботов.

Настройте фильтрацию. Большинство аналитических систем позволяют исключить известных ботов. Для нестандартных агентов настройте дополнительные правила на уровне сервера. Раз в неделю проверяйте, не появился ли новый бот, который проходит фильтры.

7.6. Ставка только на один канал

Ошибка, которая была рискованной и раньше, но в 2026 году стала критической: зависимость от одного источника трафика. Если весь ваш трафик шёл из органического поиска Яндекса, а генеративная выдача забрала клики, вы теряете всё.

Диверсификация — не пустое слово, а вопрос выживания. Прямые заходы, рассылка, социальные сети, мессенджеры, партнёрские программы, упоминания в ИИ-ответах — каждый из этих каналов должен давать хотя бы небольшую долю трафика. Тогда просадка одного канала не станет катастрофой.

7.7. Удаление «неэффективных» страниц

Увидев, что трафик на сайт упал, владелец начинает удалять страницы, которые «не приносят трафика». Это ошибка. Страница может не приносить прямого трафика, но служить источником для ИИ-цитирования, принимать внутренних ссылочный вес, закрывать низкочастотные запросы. Удаление таких страниц ослабляет сайт в целом.

Прежде чем удалять, проверьте: цитируется ли эта страница в ИИ-ответах? Принимает ли она внутренние ссылки? Отвечает ли на запросы, которые остаются в классическом поиске? Если хотя бы на один вопрос ответ «да» — не удаляйте, а обновите.

Раздел 8. Практический чек-лист: 30 действий на ближайший квартал

Я собрал этот список на основе собственного опыта и наблюдений за сайтами, которые успешно адаптировались к новой реальности. Чек-лист разбит на четыре блока: аудит, техническая настройка, контент, мониторинг.

Блок 1. Аудит (первая неделя)

Откройте логи сервера за последний месяц и выделите все уникальные user-agent. Составьте список агентов, которые обращаются к сайту.
Определите, какой процент трафика приходится на людей, на поисковых краулеров, на ИИ-ботов, на неизвестных агентов.
Проверьте, не искажаются ли поведенческие метрики в аналитике из-за ботового трафика. Сравните метрики с фильтрацией ботов и без неё.
Оцените нагрузку на сервер в пиковые периоды. Определите, не создают ли боты угрозу доступности сайта.
Проверьте, цитируется ли ваш контент в ИИ-ответах. Задайте десять ключевых запросов вашей тематики трём-четырем ИИ-ассистентам и посмотрите, упоминается ли ваш сайт.

Блок 2. Техническая настройка (вторая-третья неделя)

Обновите robots.txt. Разрешите доступ поисковым краулерам и ботам ИИ-поисковиков. Заблокируйте агентов, которых не хотите пускать.
Создайте файл llms.txt с описанием структуры сайта и ключевых материалов.
Настройте rate limiting на уровне сервера или CDN. Установите разумные лимиты запросов для неавторизованных агентов.
Включите верификацию ботов через обратный DNS-запрос для основных поисковых агентов.
Настройте фильтрацию ботового трафика в аналитической системе. Убедитесь, что поведенческие метрики отражают только реальных пользователей.
Проверьте, что сайт быстро загружается и корректно отдаёт контент без JavaScript. Часть ИИ-ботов не выполняет скрипты.
Убедитесь, что файл sitemap актуален и содержит все важные страницы.
Настройте мониторинг доступности сайта. Если сервер падает из-за нагрузки ботов, вы должны узнать об этом сразу.

Блок 3. Контент (четвёртая-восьмая неделя)

Проведите ревизию контента. Определите, какие материалы относятся к справочным, а какие содержат авторский опыт и уникальные данные.
Переработайте ключевые материалы: добавьте чёткие заголовки, списки, таблицы, прямые ответы в начале разделов.
Добавьте разметку schema.org для статей, вопросов-ответов, инструкций.
Укажите автора каждой статьи, добавьте краткую биографию и описание экспертизы.
Обновите даты на ключевых материалах. Добавьте актуальную информацию.
Создайте или расширите раздел с уникальными данными: результаты опросов, расчёты, сравнительные таблицы, которых нет на других сайтах.
Добавьте интерактивные элементы: калькуляторы, тесты, чек-листы, которые нельзя воспроизвести в текстовом ИИ-ответе.
Развивайте авторскую рассылку. Это прямой канал к аудитории, не зависящий от поисковиков.
Откройте и модерируйте комментарии, если это уместно для вашего формата.

Блок 4. Мониторинг и адаптация (девятая-двенадцатая неделя)

Раз в неделю проверяйте логи сервера на предмет новых неизвестных ботов.
Раз в две недели проводите ручную проверку цитируемости в ИИ-ассистентах по десяти ключевым запросам.
Отслеживайте реферальный трафик: появляются ли переходы с доменов ИИ-поисковиков.
Мониторьте позиции в классической выдаче Яндекса и Google по основным запросам.
Следите за новостями поисковых систем и ИИ-компаний: изменения в правилах обхода, новые агенты, обновления алгоритмов.
Раз в месяц пересматривайте robots.txt и llms.txt на актуальность.
Анализируйте конверсию пришедших пользователей. Если трафика меньше, но конверсия выше — это нормально. Адаптируйте цели.
Планируйте контент на следующий квартал с учётом того, какие форматы привлекают живых пользователей и какие цитируются ИИ-системами.

Раздел 9. Необычные факты и наблюдения

За время работы над этой темой я наткнулся на несколько фактов и наблюдений, которые показались мне неочевидными и достойными упоминания.

Факт первый: блокировка ИИ-ботов может снизить видимость сайта в классическом поиске. Звучит парадоксально, но механизм простой. Поисковые системы в 2026 году используют ИИ-компоненты для оценки качества контента и релевантности. Если сайт заблокировал ботов, которые собирают данные для этих компонентов, его оценка может быть неполной. Я не утверждаю, что это доказанный механизм, но два веб-мастера, с которыми я общался, зафиксировали снижение позиций после блокировки агентов, связанных с ИИ-подразделениями поисковиков. После разблокировки позиции восстановились в течение нескольких недель. Помечаю это как наблюдение, требующее дополнительной проверки.

Факт второй: файл llms.txt впервые был предложен не поисковой компанией, а сообществом разработчиков ИИ-приложений. Идея родилась из практической необходимости: инженеры, строившие RAG-системы, устали писать парсеры под каждый сайт и захотели единый формат, в котором сайт сам описывает свою структуру для языковых моделей. К сентябрю 2026 года файл llms.txt поддерживается несколькими крупными ИИ-поисковиками, но не является обязательным стандартом. Тем не менее сайты, которые его внедрили, по наблюдениям, чаще попадают в структурированные ИИ-ответы, потому что агент тратит меньше ресурсов на разбор контента и охотнее включает такой источник в выборку.

Факт третий: некоторые ИИ-компании платят за доступ к контенту. К середине 2026 года ряд крупных разработчиков языковых моделей начал заключать лицензионные соглашения с издателями и владельцами крупных сайтов. Суть проста: компания платит за право использовать контент для обучения и для генерации ответов, а сайт получает компенсацию. Для небольших проектов такие соглашения пока недоступны, но сам прецедент меняет парадигму: контент перестаёт быть «бесплатным сырьём» для ИИ и становится активом с рыночной стоимостью. Я слежу за этим трендом и допускаю, что через год-два появятся посреднические платформы, через которые владелец даже небольшого сайта сможет монетизировать использование своего контента ИИ-системами. Пока это предположение, но направление движения очевидно.

Факт четвёртый: «парадокс пустого сайта». Я столкнулся с ним на форуме веб-мастеров. Владелец небольшого справочника заблокировал всех ботов, кроме ЯндексБота и Googlebot. Трафик от людей упал почти до нуля, потому что генеративная выдача закрывала информационные запросы без клика. Но позиции в классическом поиске не рухнули, потому что поисковик продолжал индексировать сайт. В итоге сайт существовал в индексе, занимал позиции, но реальных посетителей не получал. Формально всё в порядке, фактически — сайт стал «призраком»: виден в выдаче, но не нужен пользователю, который получает ответ из сгенерированного блока. Этот кейс хорошо иллюстрирует, что позиция в индексе и реальный трафик — больше не одно и то же.

Факт пятый: ИИ-агенты «читают» иначе, чем люди, и это влияет на то, какой фрагмент попадёт в ответ. Я провёл эксперимент: написал статью, в которой прямой ответ на вопрос находился в третьем абзаце раздела, а первые два абзаца были вводными. В ИИ-ответах цитировался именно первый абзац, хотя по смыслу точнее был третий. Когда я перестроил текст и вынес прямой ответ в первое предложение раздела, цитирование стало точнее. Вывод: ИИ-агент склонен брать первый подходящий фрагмент, а не искать лучший вглубь текста. Для человека это не проблема — он прочитает весь раздел. Для ИИ — критично.

Раздел 10. Часто задаваемые вопросы

10.1. Если ботов на сайте больше, чем людей, это значит, что сайт умирает?

Нет. Это значит, что изменилась модель потребления контента. Сайт может оставаться живым и полезным, даже если большинство обращений к серверу делают роботы. Ключевой вопрос не «сколько визитов», а «сколько реальных людей получают ценность от контента и совершают целевые действия». Если эти показатели стабильны или растут, сайт не умирает. Он работает в новых условиях.

10.2. Нужно ли блокировать GPTBot и других ИИ-краулеров?

Зависит от ваших целей. Если вы хотите, чтобы ваш контент цитировался в ответах ИИ-ассистентов и вы получали видимость в ИИ-поиске — не блокируйте. Если вы принципиально против использования вашего текста для обучения чужих моделей без компенсации — блокируйте. Но учтите: блокировка снизит вашу видимость в ИИ-поиске. Для большинства сайтов, особенно небольших, потеря этого канала заметнее, чем гипотетический ущерб от использования контента.

10.3. Повлияет ли ИИ-трафик на позиции моего сайта в Яндексе и Google?

Прямого влияния нет: поисковики фильтруют ботовый трафик и не учитывают его при расчёте поведенческих факторов. Косвенное влияние возможно через нагрузку на сервер (если сайт замедляется или падает) и через искажение метрик (если фильтрация не настроена). Если сервер работает стабильно и аналитика корректно отделяет ботов от людей, позиции не пострадают от самого факта ботового трафика.

10.4. Что делать, если трафик из поиска упал на 40 процентов за полгода?

Сначала определить причину. Откройте аналитику и посмотрите, по каким запросам и из каких источников упал трафик. Если падение равномерное по всем информационным запросам — вероятно, дело в генеративной выдаче, которая забирает клики. Если падение точечное — проверьте, не потеряли ли вы позиции по конкретным запросам, не было ли технических ошибок, не изменился ли алгоритм. Далее действуйте по чек-листу из раздела 8: техническая настройка, переработка контента, диверсификация каналов.

10.5. Как узнать, цитируют ли мой сайт ИИ-ассистенты?

Прямого инструмента для массового отслеживания пока нет. Рабочий метод: раз в две недели задавайте ИИ-ассистентам десять-пятнадцать вопросов из вашей тематики и смотрите, упоминается ли ваш сайт в ответах. Дополнительно проверяйте реферальный трафик в аналитике: если появляются переходы с доменов ИИ-поисковиков, это косвенный признак цитирования. Ещё один сигнал — всплески запросов от RAG-агентов в логах сервера.

10.6. Стоит ли переходить на закрытую модель: платный доступ, подписка, регистрация?

Это зависит от ниши и аудитории. Если ваш контент уникален и не имеет бесплатных аналогов, закрытая модель может работать. Но для большинства информационных сайтов закрытие доступа означает потерю видимости в поиске и в ИИ-ответах. Компромиссный вариант: часть контента остаётся открытой для индексации и цитирования, а расширенные материалы, инструменты и базы данных доступны по подписке. Так вы сохраняете видимость и монетизируете глубину.

10.7. Поможет ли публикация контента в социальных сетях и мессенджерах компенсировать потерю поискового трафика?

Частично да. Социальные сети и мессенджеры дают прямой канал к аудитории, который не зависит от поисковых алгоритмов и ИИ-ассистентов. Но они не заменяют поиск. Пользователь в мессенджере не ищет информацию так же, как в поисковике. Оптимальная стратегия: использовать социальные каналы для удержания и возврата аудитории, а поиск и ИИ-цитирование — для привлечения новой.

10.8. Если я напишу статью с помощью нейросети и опубликую на сайте, это ухудшит позиции?

Сам по себе факт использования нейросети для написания текста не является нарушением. Но поисковики и ИИ-системы в 2026 году хорошо распознают сгенерированный контент. Если текст не содержит уникальных данных, авторского опыта, экспертных деталей и не доработан человеком, он будет ранжироваться ниже, чем авторский материал. Использовать нейросеть как инструмент для черновика или структурирования — допустимо. Публиковать сгенерированный текст без переработки — значит создавать контент, который не несёт добавленной ценности.

10.9. Как часто нужно обновлять robots.txt и llms.txt?

Проверяйте их раз в месяц. Обновляйте при появлении новых агентов в логах, при изменении структуры сайта, при смене политики доступа. Файл llms.txt стоит обновлять при добавлении крупных разделов или изменении приоритетных материалов. Не нужно менять эти файлы еженедельно, но и забывать о них на год не стоит.

10.10. Что будет через два-три года: ИИ полностью заменит классический поиск?

Полная замена маловероятна. Классический поиск сохранится для навигационных запросов (найти конкретный сайт, бренд, сервис), для транзакционных запросов (купить, заказать, сравнить цены) и для задач, где пользователю нужен выбор из множества вариантов, а не один сгенерированный ответ. Но доля информационных запросов, обслуживаемых ИИ-ассистентами, будет расти. Сайту нужно быть готовым к обоим сценариям: быть видимым в классическом поиске и быть цитируемым в ИИ-ответах. Это не взаимоисключающие задачи.

Раздел 11. Вывод: что делать владельцу сайта прямо сейчас

Подведу итоги и дам чёткие рекомендации, сгруппированные по горизонту планирования.

Что сделать на этой неделе

Первое. Откройте аналитику и логи сервера. Посмотрите, кто приходит на сайт, в каком соотношении люди и боты, какие агенты создают основную нагрузку. Без этой картины все дальнейшие решения будут вслепую.

Второе. Проверьте, не искажаются ли поведенческие метрики. Если в аналитике нет фильтрации ботового трафика — настройте её. Вы должны видеть реальную картину поведения живых пользователей.

Третье. Убедитесь, что сайт доступен и быстро загружается. Если боты создают пиковую нагрузку, настройте кэширование и rate limiting, чтобы реальные пользователи не страдали.

Что сделать в ближайший месяц

Четвёртое. Обновите robots.txt. Разделите агентов на тех, кого пускаете, и тех, кого ограничиваете. Не блокируйте поисковых краулеров и ботов ИИ-поисковиков, если хотите оставаться видимым.

Пятое. Создайте файл llms.txt. Опишите структуру сайта, ключевые разделы, предпочтительный способ цитирования. Это займёт час, но даст ИИ-агентам понятную карту вашего контента.

Шестое. Проведите ревизию контента. Определите, какие материалы несут уникальную ценность, а какие являются типовыми справочными текстами, которые ИИ легко воспроизведёт. Переработайте ключевые страницы: добавьте структуру, прямые ответы, авторские детали, разметку.

Седьмое. Проверьте цитируемость. Задайте ИИ-ассистентам вопросы из вашей тематики и посмотрите, упоминается ли ваш сайт. Запишите результаты, чтобы отслеживать динамику.

Что делать в ближайшие три месяца

Восьмое. Перестройте контент-стратегию. Сместите акцент с типовых справочных материалов на экспертный контент: кейсы, аналитику, оригинальные данные, интерактивные инструменты. Это то, что привлекает людей и что ИИ-системы вынуждены цитировать как первоисточник.

Девятое. Диверсифицируйте каналы. Рассылка, социальные сети, мессенджеры, партнёрские программы, гостевые публикации. Каждый канал снижает зависимость от одного источника трафика.

Десятое. Настройте регулярный мониторинг. Раз в неделю — проверка логов и нагрузки. Раз в две недели — проверка цитируемости. Раз в месяц — пересмотр robots.txt и анализ позиций. Это не займёт много времени, но позволит реагировать на изменения до того, как они станут проблемой.

Что держать в уме на перспективу полугода и дальше

Одиннадцатое. Следите за развитием ИИ-поиска. Появляются новые ассистенты, меняются алгоритмы, обновляются правила обхода. То, что работает сегодня, может потребовать корректировки через полгода. Подпишитесь на новости поисковых систем и крупных ИИ-компаний, читайте профильные форумы.

Двенадцатое. Рассматривайте контент как актив, а не как расход. Если ваш текст цитируют ИИ-системы, если на него ссылаются, если он используется для обучения — он имеет ценность. В будущем эта ценность может быть монетизирована через лицензионные соглашения или новые модели компенсации. Следите за этим рынком.

Тринадцатое. Инвестируйте в прямые отношения с аудиторией. Рассылка, сообщество, закрытый клуб, личный бренд автора — всё это создаёт связь, которая не зависит от алгоритмов поисковиков и ИИ-ассистентов. Если завтра изменится ещё что-то, у вас будет лояльная аудитория, которая приходит напрямую.

Главное, что нужно понять

Сайт не умирает от того, что на него приходят боты. Сайт умирает от того, что его контент становится не нужен ни людям, ни машинам. Пока ваш текст отвечает на реальные вопросы, содержит уникальный опыт и структурирован так, что его можно и прочитать, и извлечь, — он будет работать. Меняется способ доставки этого текста до читателя: раньше читатель приходил сам через поисковую ссылку, теперь всё чаще текст приходит к читателю внутри сгенерированного ответа. Но потребность в качественном, экспертном, живом контенте никуда не делась. Она стала острее, потому что в море сгенерированных текстов именно человеческий опыт и уникальные данные становятся дефицитом.

Я не знаю, какой будет поисковая выдача в 2028 году. Не знаю, появятся ли новые ИИ-ассистенты, которые изменят правила игры ещё раз. Но я уверен в одном: сайт, за которым стоит реальный эксперт, который делится реальным опытом и не пытается обмануть ни поисковик, ни читателя, ни ИИ-агента, — такой сайт найдёт своего читателя в любой конфигурации.

Трафик от роботов — это не приговор. Это новые условия, в которых нужно научиться работать. И те, кто разберётся раньше остальных, получат преимущество.

Информация в статье актуальна на сентябрь 2026 года. Ситуация в области ИИ-поиска и взаимодействия сайтов с ботами меняется быстро. Рекомендую пересматривать стратегию не реже раза в квартал.

Сайт для машин или для людей: что делать, если ИИ-обходы съедают статистику, а поисковики меняют правила