Индексация сайта в Яндексе: полный гайд по проверке и исправлению проблем

«У меня страницы не индексируются в Яндексе, что делать» — классический вопрос в SEO-чатах. В большинстве случаев ответ — открыть Вебмастер и посмотреть, что он пишет. Сложность в том, что Вебмастер показывает данные несколькими разными отчётами, и по ним не сразу понятно, куда смотреть в первую очередь.

Ниже разбираем пошагово: какие отчёты Вебмастера действительно важны, как читать HTTP-коды страниц, как отправить URL на переобход и сколько у вас есть квоты в сутки, как делегировать всю эту рутину AI через Seely.

Как Яндекс индексирует сайты

Когда вы публикуете новую страницу, Яндекс не индексирует её сразу. Процесс такой:

1. Обнаружение. Робот узнаёт о странице — по ссылке с уже проиндексированной страницы, через sitemap.xml или через ручную отправку в Вебмастере.
2. Скачивание. Робот заходит на страницу и читает её HTML. При HTTP 200 — продолжает, при 404 или 5xx — пропускает.
3. Обработка. Содержимое анализируется, извлекаются текст, ссылки, метаданные.
4. Решение об индексации. Алгоритм решает, стоит ли включать страницу в индекс. Дубли, бедный контент и нарушения правил могут не попасть в индекс, даже если сервер отдаёт 200.
5. Включение в поиск. Только после всех проверок страница появляется в выдаче.

От публикации до появления в поиске проходит от нескольких часов (для трастовых сайтов) до нескольких недель (для новых и малоавторитетных). Это нормальный диапазон.

Где смотреть данные об индексации

В Вебмастере несколько отчётов, связанных с индексацией, и они показывают разное. Важно понимать разницу, чтобы не путать сигналы.

Страницы в поиске

Самый важный отчёт. В нём только те страницы, которые уже участвуют в выдаче — на них могут приходить пользователи из Яндекса. Если страницы тут нет, её не покажут пользователю, даже если робот о ней знает.

У каждой страницы свой статус: «В поиске», «Удалена из поиска» (с причиной — дубль, недостаточно качественная и т. п.). Удалённые страницы стоит регулярно просматривать: по причине часто понятно, что именно не так.

Обход страниц

Сюда попадает всё, что Яндекс видел — даже страницы, которые не попали в поиск. Здесь полезно смотреть HTTP-коды: если робот видит 404 на ваших URL, это сразу заметно. Страницы с 5xx выкидываются из индекса быстро.

Важные страницы

В Вебмастере можно отметить до 100 ключевых URL как «важные» — например, главные посадочные, категории каталога, ключевые статьи. По ним приходят отдельные отчёты: история статусов и любые изменения.

Если важная страница пропала из поиска, вы узнаете об этом сразу, без перебора всего сайта.

Переобход

Когда вы обновили контент и хотите ускорить индексацию изменений, отправьте URL на принудительный переобход. У сайта есть дневная квота — обычно 10–30 URL в сутки в зависимости от размера и траста сайта.

Типичные причины, по которым страницы не индексируются

Если страница опубликована и через 2–3 недели её всё ещё нет в поиске — причина почти всегда в одном из пунктов:

• HTTP-статус не 200. Robots.txt запрещает обход, страница отдаёт 404 или 5xx, на странице стоит meta noindex. Частый сценарий — «забыл убрать noindex после деплоя».
• Дубль контента. Страница совпадает на 90% с другой существующей — Яндекс выкидывает дубль.
• Бедный контент. На странице мало текста (меньше 500 знаков), или весь текст — шаблон.
• Низкое качество сайта. Если у сайта слабые поведенческие факторы и низкий ИКС, новые страницы могут долго не индексироваться.
• Нет внутренних ссылок. Если на страницу не ссылается ни одна другая страница сайта и её нет в sitemap, робот её не найдёт.
• Нет в sitemap. Sitemap.xml — основной способ сказать Яндексу: «вот мои страницы». Без него индексация замедляется.

Сценарии анализа индексации через AI

Дальше — конкретные промпты, которые работают через Seely и MCP.

Сценарий 1: проверить статус ключевых страниц

Промпт:

Покажи статус всех важных страниц сайта в Вебмастере. Если какие-то выпали из поиска или имеют не-200 HTTP-статус — выдели их отдельно с указанием причины.

AI вызывает get_webm_important_urls, фильтрует список и подсвечивает проблемные. С этой команды удобно начинать рабочий день: за 30 секунд видно, что не так с критичными для бизнеса страницами.

Сценарий 2: история конкретного URL

Когда страница пропадает из поиска, важно понять, когда это произошло. По дате можно соотнести событие с релизом, обновлением контента или сменой шаблона.

Промпт:

Покажи историю изменений по URL https://example.com/landing-page в Вебмастере за 90 дней. Интересует: когда менялся HTTP-статус и был ли период, когда страница исчезала из поиска.

Инструменты get_webm_important_url_history или get_webm_search_urls_in_search_history возвращают хронологию.

Сценарий 3: динамика индексации сайта

Промпт:

Покажи, как менялось общее количество страниц в индексе за последние 6 месяцев. Если был резкий рост или падение — выдели даты и предположи возможные причины.

Инструмент get_webm_indexing_history. Ступенчатое падение в один день почти всегда означает техническую проблему (открыли noindex, сломался robots.txt, упал сервер), а не алгоритмический фильтр.

Сценарий 4: образец проиндексированных URL

Промпт:

Дай 50 URL из обхода, попавших в индекс за последний месяц. Если в выборке есть служебные страницы (фильтры, корзина, технические URL) — выдели их.

Инструмент get_webm_indexing_samples. Так можно найти мусор в индексе — параметрические страницы фильтров, корзины, страницы поиска по сайту, случайно попавшие в выдачу. Такие страницы тратят краулинговый бюджет и могут каннибализировать целевые посадочные.

Сценарий 5: отправить URL на переобход

Промпт:

Сколько у меня осталось квоты на переобход страниц сегодня? Если квота больше 5 — отправь на переобход эти URL: список через запятую.

Инструменты get_webm_reindex_quota и queue_webm_recrawl. AI сначала проверяет остаток квоты, потом ставит URL в очередь. Удобно, когда вы массово обновили серию страниц и хотите ускорить переиндексацию.

Сценарий 6: образец страниц, выпавших из поиска

Промпт:

Покажи 30 страниц, которые недавно вышли из поиска. Сгруппируй по причинам и покажи, какая причина встречается чаще.

Инструмент get_webm_search_urls_in_search_samples. По топовой причине обычно сразу понятно, куда копать: массовые «дубли» — разбираться с canonical и параметрами URL, «недостаточно качественная» — улучшать контент.

Как ускорить индексацию

Универсальных трюков нет, но есть проверенные действия:

• Сделайте sitemap.xml и добавьте его в Вебмастер. Обновляйте при добавлении новых страниц.
• Поставьте внутренние ссылки на новые страницы с уже проиндексированных. Лучшая практика — давать ссылку с главной или из топового раздела.
• Используйте квоту переобхода для приоритетных страниц после публикации.
• Следите за HTTP-кодами. Раз в неделю проверяйте, что важные URL отдают 200, а не 404 или 5xx.
• Уменьшайте дубли. Параметры URL, страницы фильтров, печатные версии — закрывайте через canonical или robots.txt.
• Работайте над качеством контента. На длинной дистанции это сильнее любых технических трюков.

Что НЕ ускоряет индексацию

Мифы, которые встречаются в SEO-чатах и не работают:

• Пинг-сервисы и сервисы «массовой отправки в индекс». Яндекс их игнорирует.
• Покупка ссылок «для индексации». Яндекс умеет отличать естественные ссылки от купленных.
• Многократный клик «отправить на переобход». Если страница уже в очереди, повторные клики не ускоряют — только тратят квоту.
• Ежедневное редактирование одной и той же страницы, чтобы «Яндекс заметил». Алгоритм не реагирует на мелкие правки.

Что делать дальше

• Если вы ещё не разобрались, как AI в целом работает с Метрикой и Вебмастером, — начните с пилларной статьи про AI для SEO.
• Если параллельно наблюдаются высокие отказы на индексированных страницах — про анализ отказов в Метрике.
• Если интересно, как именно AI получает доступ к Вебмастеру и почему это безопасно, — статья про MCP-сервер.