Изменилось не всё, но многое
Человек всё реже листает десять ссылок. Он спрашивает ассистента и получает ответ с двумя-тремя рекомендациями. Попасть в этот ответ — это отдельная работа, и она пересекается с обычной поисковой оптимизацией примерно наполовину.
Общее — понятная структура и честный текст. Разное — то, что машина читает страницу буквально и не додумывает за вас.
Что читает краулер
HTML, который пришёл с сервера. Если содержимое собирается скриптом уже в браузере, краулер видит пустой каркас. Это главная причина, по которой сайты на некоторых конструкторах невидимы для AI при нормальных позициях в обычном поиске.
Структурированные данные. Разметка schema.org — это факты в машиночитаемом виде: кто вы, какие услуги, по каким ценам, какие вопросы и ответы. Ассистенту не нужно догадываться по тексту, он берёт готовое.
Вопросы и ответы. Блок FAQ с разметкой FAQPage — самый прямой способ попасть в ответ, потому что формат совпадает: вопрос и ответ.
Файл llms.txt. Короткая карта сайта для машин: что за компания, какие страницы читать. Конвенция молодая, но недорогая.
Что мы делаем на своих проектах
Сервер отдаёт готовую страницу — это база, всё остальное без неё не работает. Разметка
Organization и Service на каждой странице услуги, FAQPage на страницах с вопросами,
Article в блоге. Зеркала страниц в markdown по адресу с расширением .md — тот же текст
без вёрстки, ровно то, что удобно машине.
И robots.txt, в котором GPTBot, ClaudeBot и PerplexityBot прямо разрешены.
Как проверить свой сайт
Быстрый способ — открыть страницу с отключённым JavaScript. Если текст пропал, краулер видит примерно то же самое.
Более полный — бесплатная проверка на нашем сайте: вставляете адрес, и мы читаем страницу так же, как это делает AI-краулер, и показываем, что он видит, а чего нет. Проверка занимает несколько секунд и ничего не просит взамен.
Чего делать не стоит
Набивать страницу вопросами ради разметки. Ассистенты неплохо отличают текст, написанный для машины, от текста, написанного для человека, — и второй цитируют охотнее.
Мы и сами делаем продукты с ИИ внутри, а не только оптимизируем страницы под ассистентов: в BYRD ИИ-ассистент собирает маршрут путешественнику по его интересам.
Почему нейросеть цитирует одних и не цитирует других
Модель выбирает не самый красивый сайт и не самый большой. Она выбирает тот, из которого удобно достать ответ: где утверждение сформулировано прямо, подкреплено и не размазано по десяти абзацам вводной части.
Практически это значит вот что. Страница, которая начинается с ответа, цитируется чаще страницы, которая к нему подводит. Блок «вопрос — ответ» работает лучше, чем тот же смысл в тексте, потому что его границы очевидны. А формулировка «сайт застройщика стоит от такой-то суммы, потому что» полезнее, чем «стоимость рассчитывается индивидуально».
Что можно сделать за один день
Не переписывая сайт целиком, три вещи дают заметный эффект.
Собрать вопросы, которые задают клиенты, и ответить на них прямо на странице услуги — коротко, в одном абзаце на вопрос. Это тот текст, который модель забирает целиком.
Убрать обтекаемые формулировки там, где можно назвать число или срок. «Быстро», «недорого», «индивидуально» для модели пустые — из них нечего процитировать.
Проверить, что страница читается без скриптов. Если содержимое собирается уже в браузере, часть его до краулера не дойдёт.
Как это связано с обычным поиском
Хорошая новость: почти всё, что помогает попасть в ответ нейросети, помогает и в обычной выдаче. Чёткая структура, прямые ответы, разметка, скорость — это один и тот же набор работ, а не два разных.
Разница в одном: поисковик показывает ссылку, а модель пересказывает содержание. Поэтому для неё важнее не «привлекательность» страницы, а её однозначность. Как устроена разметка, которая объясняет роботу смысл страницы, разобрано в статье про структурированные данные.
