Проверить индексацию сайта можно за 2 минуты через оператор site: в поиске, Яндекс.Вебмастер и Google Search Console. Быстрый способ: вводите в поиске site:ваш-сайт.ru и смотрите количество найденных страниц. Для детального анализа нужны инструменты вебмастеров с отчётами по каждой странице.
На практике чаще всего сталкиваюсь с ситуацией, когда клиент видит падение трафика и подозревает проблемы с индексацией. Первым делом проверяю базовые показатели через простые методы, затем углубляюсь в детали через официальные сервисы поисковиков.
Проверка через оператор site: - самый быстрый способ
Оператор site: показывает примерное количество проиндексированных страниц за 30 секунд. Вводите в строку поиска:
• Яндекс: site:ваш-сайт.ru
• Google: site:ваш-сайт.ru
Результат покажет общее количество страниц в индексе. Если у вас на сайте 100 страниц, а site: показывает 15 - есть проблема. Но точных цифр этот метод не даёт, поисковики округляют результаты.
Дополнительные операторы для детальной проверки:
• site:ваш-сайт.ru inurl:catalog - проверить индексацию каталога
• site:ваш-сайт.ru 'точное название товара' - найти конкретную страницу
• site:ваш-сайт.ru -inurl:tag -inurl:page - исключить из проверки служебные страницы
Ограничения метода: данные приблизительные, не показывают причины неиндексации и динамику изменений. Для работы с проблемами нужны специальные сервисы.
Яндекс.Вебмастер: детальная диагностика индексации
Яндекс.Вебмастер даёт точные данные по каждой странице и причинам исключения из индекса. Подключение:
1. Заходите в webmaster.yandex.ru
2. Добавляете сайт через кнопку «Добавить сайт»
3. Подтверждаете права через файл, DNS-запись или мета-тег
4. Ждёте 24-48 часов для сбора первых данных
Ключевые отчёты для проверки индексации:
Индексирование → Страницы в поиске
Показывает количество страниц в индексе по дням. График помогает увидеть резкие падения. Если индексация упала на 50% за неделю - ищите технические проблемы на сайте.
Индексирование → Исключённые страницы
Список URL с причинами исключения: дубли, недоступные страницы, запрет robots.txt. Самые частые проблемы по опыту:
• Canonical указывает на другую страницу
• Низкое качество контента
• HTTP 404/500 ошибки
• Блокировка в robots.txt
Сканирование → Ошибки обхода
Технические проблемы, которые мешают роботу проиндексировать страницы. Проверяйте раздел еженедельно - новые ошибки появляются после обновлений сайта.
Полная документация по работе с Вебмастером доступна на yandex.ru/support/webmaster/ - там разобраны все отчёты и методы решения типовых проблем.
Google Search Console: проверка индексации в международном поиске
Search Console работает аналогично Вебмастеру, но с интерфейсом на английском языке. Подключение через search.google.com/search-console:
1. URL inspection tool - проверка конкретной страницы
2. Coverage report - общая статистика по индексации
3. Sitemaps - статус обработки XML-карты сайта
URL inspection (Проверка URL)
Вставляете ссылку на любую страницу сайта - получаете полную информацию: индексирована ли, когда последний раз сканировалась, есть ли проблемы. Если страница не в индексе - кнопка «Request indexing» отправляет её на повторное сканирование.
Coverage (Покрытие)
Четыре категории страниц:
• Valid - проиндексированные страницы
• Error - ошибки индексации
• Valid with warnings - проиндексированы с замечаниями
• Excluded - исключены из индекса
Клик по любой категории показывает конкретные URL и причины. Сначала исправляйте ошибки (Error), потом разбирайтесь с исключёнными страницами.
Актуальную документацию Google ищите на developers.google.com/search/docs - там описаны все возможности Search Console и алгоритмы поисковика.
Автоматизированная проверка через сервисы
Ручная проверка подходит для разовой диагностики. Для постоянного контроля использую автоматизацию:
Через API Вебмастера и Search Console
Настраиваю еженедельные отчёты с динамикой индексации. Если количество проиндексированных страниц падает больше чем на 10% - приходит уведомление в Telegram.
Сервисы SEO-аудита
Rush Analytics, Topvisor, SEMrush показывают индексацию в общих отчётах. Удобно для агентств, которые ведут много проектов - вся информация в одном дашборде.
Простые скрипты для site:
Парсер делает запрос site:домен каждую неделю и сохраняет результат. Примитивно, но работает для быстрого мониторинга.
Что делать, если страницы не индексируются
Частые причины проблем с индексацией и способы решения:
Robots.txt блокирует важные разделы
Проверяйте файл на сайт.ru/robots.txt. Строка «Disallow: /catalog/» заблокирует весь каталог. Частая ошибка - случайно добавили правило для всех ботов вместо конкретного.
Нет XML-карты сайта или она недоступна
Загружайте sitemap.xml в Вебмастер и Search Console. Карта должна содержать только те URL, которые хотите видеть в поиске. Не включайте служебные страницы, дубли, страницы с canonical на другой URL.
Медленная загрузка сайта
Если страницы грузятся дольше 3-5 секунд, роботы могут не дождаться полной загрузки. Проверяйте скорость через PageSpeed Insights, оптимизируйте изображения и код.
Тонкий контент
Страницы товаров только с фото и ценой, разделы каталога без описаний. Добавляйте уникальные тексты минимум 200-300 символов на каждую важную страницу.
Дублированный контент
Одинаковые title/description на разных страницах, копирование текстов с других сайтов. Каждая страница должна быть уникальной или правильно склеена через canonical.
Как ускорить индексацию новых страниц
Стандартный процесс индексации занимает от нескольких дней до месяца. Способы ускорения:
Обновляйте XML-карту сайта
Добавляйте новые URL в sitemap.xml и переотправляйте карту в вебмастерах. Яндекс и Google проверяют обновления ежедневно для активных сайтов.
Внутренние ссылки на новые страницы
Размещайте ссылки на главной странице, в меню, блоке «Новинки». Роботы идут по ссылкам и быстрее находят новый контент.
Публикация в социальных сетях
Анонсы новых страниц в VK, Telegram ускоряют обнаружение. Поисковики отслеживают упоминания ссылок в соцсетях.
Ручная отправка через вебмастеров
Функция «Добавить URL» в Search Console и «Переобход страниц» в Вебмастере. Лимит - несколько URL в день, используйте для критически важных страниц.
Мониторинг индексации: настройка регулярных проверок
Разовая проверка не решает задачу SEO-продвижения. Нужен системный мониторинг:
Еженедельный контроль через site:
Записывайте результаты site:домен в таблицу каждую неделю. Резкие изменения (±20% за неделю) требуют детального разбора.
Настройка уведомлений в вебмастерах
Яндекс.Вебмастер и Search Console присылают письма о критических проблемах: массовые ошибки 404, недоступность сайта, проблемы с robots.txt. Включите все типы уведомлений в настройках.
Интеграция с системами аналитики
Связываю данные об индексации с трафиком из Метрики. Если проиндексированных страниц стало меньше на 30%, а органический трафик упал на 25% - проблема в индексации, а не в позициях.
Автоматические отчёты для клиентов
Раз в месяц отправляю сводку: количество страниц в индексе, новые ошибки, исправленные проблемы. Клиент видит работу и результат, не нужно каждый раз объяснять технические детали.
Частые ошибки при проверке индексации
Паника из-за временных колебаний
Количество проиндексированных страниц меняется ежедневно на ±5-10%. Это нормально. Проблема есть только при устойчивом тренде на снижение в течение 2-3 недель.
Игнорирование мобильной версии
Google использует mobile-first индексирование. Если мобильная версия сайта урезанная или медленная - пострадает индексация всего сайта. Проверяйте site: с мобильного устройства.
Неправильная интерпретация canonical
Страница может быть исключена из индекса из-за canonical, но это не ошибка. Если canonical указывает на правильную версию страницы - всё работает корректно.
Требование 100% индексации
Не все страницы сайта должны попадать в поиск. Страницы корзины, личного кабинета, служебные разделы лучше исключить. Важна индексация только тех страниц, которые могут привести целевых посетителей.
Выводы: контрольный список для проверки индексации
• Еженедельно проверяйте site:домен в Яндексе и Google
• Подключите Вебмастер и Search Console для детальной аналитики
• Исправляйте ошибки обхода и недоступные страницы в первую очередь
• Контролируйте актуальность XML-карты сайта
• Настройте автоматические уведомления о критических проблемах
