Изменилось не всё, но многое
Человек всё реже листает десять ссылок. Он спрашивает ассистента и получает ответ с двумя-тремя рекомендациями. Попасть в этот ответ — это отдельная работа, и она пересекается с обычной поисковой оптимизацией примерно наполовину.
Общее — понятная структура и честный текст. Разное — то, что машина читает страницу буквально и не додумывает за вас.
Что читает краулер
HTML, который пришёл с сервера. Если содержимое собирается скриптом уже в браузере, краулер видит пустой каркас. Это главная причина, по которой сайты на некоторых конструкторах невидимы для AI при нормальных позициях в обычном поиске.
Структурированные данные. Разметка schema.org — это факты в машиночитаемом виде: кто вы, какие услуги, по каким ценам, какие вопросы и ответы. Ассистенту не нужно догадываться по тексту, он берёт готовое.
Вопросы и ответы. Блок FAQ с разметкой FAQPage — самый прямой способ попасть в ответ, потому что формат совпадает: вопрос и ответ.
Файл llms.txt. Короткая карта сайта для машин: что за компания, какие страницы читать. Конвенция молодая, но недорогая.
Что мы делаем на своих проектах
Сервер отдаёт готовую страницу — это база, всё остальное без неё не работает. Разметка
Organization и Service на каждой странице услуги, FAQPage на страницах с вопросами,
Article в блоге. Зеркала страниц в markdown по адресу с расширением .md — тот же текст
без вёрстки, ровно то, что удобно машине.
И robots.txt, в котором GPTBot, ClaudeBot и PerplexityBot прямо разрешены.
Как проверить свой сайт
Быстрый способ — открыть страницу с отключённым JavaScript. Если текст пропал, краулер видит примерно то же самое.
Более полный — бесплатная проверка на нашем сайте: вставляете адрес, и мы читаем страницу так же, как это делает AI-краулер, и показываем, что он видит, а чего нет. Проверка занимает несколько секунд и ничего не просит взамен.
Чего делать не стоит
Набивать страницу вопросами ради разметки. Ассистенты неплохо отличают текст, написанный для машины, от текста, написанного для человека, — и второй цитируют охотнее.
