Жёсткого числового лимита на скорость индексации, одинакового для всех сайтов, не существует. Яндекс и Google рассчитывают частоту обхода индивидуально для каждого домена, опираясь на технические параметры сервера, историю сайта и ценность контента. Два сайта с одинаковым объёмом страниц могут индексироваться с разной скоростью: один получит обход за сутки, другой будет ждать неделями.
Причина не в лимите как таковом, а в сигналах, которые сайт посылает роботу. Если сервер отвечает медленно, страницы дублируются, а robots.txt закрывает нужные разделы, робот снижает активность. Если сайт быстрый, контент уникальный и структура чистая, робот возвращается чаще. Ниже разберём каждый из этих факторов по порядку.
Что такое crawl budget и почему это не лимит индексации
Crawl budget, или бюджет обхода, это количество страниц, которые робот готов обойти на конкретном сайте за определённый период. Понятие ввёл Google в официальной документации, Яндекс использует схожую логику, хотя термин в русскоязычной документации звучит как «лимит обхода».

Важно разделить два процесса: обход и индексацию. Робот может обойти страницу, но не добавить её в индекс, если сочтёт контент недостаточно ценным. И наоборот, страница может попасть в индекс без прямого обхода, если на неё ведут ссылки с уже проиндексированных ресурсов. Crawl budget отвечает только за первый этап.
Бюджет обхода складывается из двух составляющих. Первая: насколько быстро сервер отвечает на запросы робота без ошибок. Вторая: насколько часто контент на сайте обновляется и насколько он востребован по внешним сигналам. Если обе составляющие высокие, робот выделяет больше ресурсов на обход.
Как Яндекс и Google рассчитывают частоту обхода
Google описывает механизм в разделе документации для разработчиков: Googlebot автоматически определяет оптимальную скорость обхода, чтобы не перегружать сервер. Если сервер начинает отвечать медленнее или возвращать ошибки 5xx, робот снижает интенсивность. Если сервер стабилен и быстр, интенсивность растёт.

Яндекс в Справке Вебмастера указывает, что скорость обхода зависит от возраста домена, качества контента и технического состояния сайта. Новые домены получают меньший бюджет по умолчанию. Сайты с историей нарушений или фильтрами обходятся реже.
Оба поисковика позволяют частично управлять скоростью обхода вручную. В Google Search Console есть раздел «Настройки сканирования», где можно снизить скорость, если робот перегружает сервер. Повысить скорость вручную нельзя: это решает только алгоритм. В Яндекс Вебмастере аналогичная настройка находится в разделе «Настройки индексирования».
Технические факторы, которые замедляют робота
Скорость ответа сервера напрямую влияет на то, сколько страниц робот успеет обойти за сессию. Если сервер отвечает дольше 500 миллисекунд, робот делает паузы между запросами. Если время ответа превышает 2 секунды стабильно, бюджет обхода снижается.

Коды ответов сервера не менее важны. Страницы с кодом 404 робот фиксирует и перестаёт возвращаться к ним, но тратит на них часть бюджета при первом обходе. Страницы с кодом 5xx сигнализируют о нестабильности сервера, и робот снижает общую активность на домене. Цепочки редиректов 301 и 302 увеличивают время обхода каждой страницы: каждый переход это отдельный запрос.
Условный расчёт для понимания масштаба: если сайт содержит 10 000 страниц, 20% из которых возвращают 404 или ведут через цепочку из трёх редиректов, робот тратит примерно на 40% больше времени на обход того же объёма полезных страниц. Это не норма рынка, а иллюстрация того, как технический мусор съедает бюджет.
Контентные факторы: дубли, тонкие страницы и каннибализация
Дублированный контент снижает ценность обхода в глазах робота. Если сайт генерирует сотни страниц с минимальными различиями, например страницы фильтров интернет-магазина с одинаковыми товарами в разном порядке, робот быстро обнаруживает паттерн и снижает приоритет таких URL.

Тонкие страницы, где текста меньше 200-300 слов и нет уникальной ценности, работают аналогично. Робот обходит их, но не индексирует, и при следующем визите снижает приоритет всего раздела. Это особенно заметно на сайтах с автоматически генерируемыми страницами тегов или архивов.
Каннибализация, когда несколько страниц конкурируют за один запрос, влияет на индексацию косвенно. Поисковик не знает, какую страницу показывать, и может снизить частоту обхода всего кластера. Решение: объединить страницы или чётко разграничить их тематику.
Как robots.txt, Sitemap и noindex управляют приоритетом обхода
Файл robots.txt закрывает разделы от обхода директивой Disallow. Это прямой инструмент управления бюджетом: если закрыть служебные разделы, страницы корзины, личного кабинета, технические параметры URL, робот потратит освободившийся бюджет на полезные страницы.
Важный нюанс: robots.txt запрещает обход, но не индексацию. Страница, закрытая в robots.txt, может попасть в индекс через внешние ссылки. Чтобы исключить страницу из индекса, нужен мета-тег noindex или заголовок X-Robots-Tag. Директива noindex при этом должна быть доступна роботу для чтения, то есть страницу нельзя одновременно закрывать в robots.txt и ставить на неё noindex.
Sitemap не ускоряет обход напрямую, но помогает роботу найти страницы, до которых сложно добраться через внутренние ссылки. Это особенно важно для глубоких разделов каталога или новых страниц, опубликованных без перелинковки. Sitemap это подсказка, а не команда: робот сам решает, когда и в каком порядке обходить указанные URL.
Инструменты для диагностики в Яндекс Вебмастере и Google Search Console
В Яндекс Вебмастере откройте раздел «Индексирование» и выберите «Статистика обхода». Здесь два ключевых графика. Первый показывает количество страниц, обойдённых роботом в сутки. Второй показывает распределение кодов ответов сервера за тот же период. Если на графике кодов ответов заметен рост 5xx или 404, это прямая причина снижения активности робота.
Рядом с этим отчётом откройте «Страницы в индексе» с фильтром по статусам. Сравните количество обойдённых страниц с количеством реально проиндексированных. Если разрыв большой, значит робот обходит страницы, но не добавляет их в индекс. Причина, как правило, в качестве контента или в технических проблемах на уровне страниц.
В Google Search Console перейдите в раздел «Настройки» и найдите «Статистика сканирования». Здесь доступна разбивка по типам ответов: успешные запросы, редиректы, ошибки клиента (4xx), ошибки сервера (5xx). Отдельный график показывает объём загруженных данных в килобайтах: резкий рост может означать, что робот обходит тяжёлые страницы и тратит бюджет неэффективно. Также в Search Console есть отчёт «Страницы», где видно, какие URL проиндексированы, а какие исключены и по какой причине.
Практический чек-лист: что реально ускоряет индексацию
- Ускорьте сервер. Добейтесь времени ответа до 200 миллисекунд для основных страниц. Используйте кеширование, CDN, оптимизируйте базу данных.
- Устраните технический мусор. Закройте в robots.txt служебные разделы: корзину, личный кабинет, страницы сортировки и фильтров без уникального контента.
- Исправьте коды ответов. Найдите все страницы с 404 и 5xx через отчёты Вебмастера и Search Console. Либо восстановите страницы, либо настройте корректные редиректы 301.
- Сократите цепочки редиректов. Каждый редирект это лишний запрос. Настройте прямые переходы от старого URL к новому.
- Обновите Sitemap. Убедитесь, что в Sitemap только актуальные страницы с кодом 200. Страницы с noindex и закрытые в robots.txt в Sitemap не включайте.
- Улучшите внутреннюю перелинковку. Новые страницы должны получать ссылки с уже проиндексированных разделов. Это ускоряет их обнаружение роботом.
- Удалите или объедините тонкие страницы. Страницы без уникальной ценности лучше закрыть через noindex или объединить с более полными материалами.
Когда использовать ручную отправку страниц через API
Яндекс предоставляет API переобхода страниц через Яндекс Вебмастер. Google предлагает инструмент проверки URL в Search Console и IndexNow API для быстрого уведомления о новых страницах. Оба инструмента полезны в конкретных ситуациях, но не заменяют системную работу с бюджетом обхода.
Ручная отправка помогает в трёх случаях. Первый: опубликована важная страница, которую нужно проиндексировать срочно, например новость или акция с ограниченным сроком. Второй: на существующей странице внесены критические изменения, и нужно, чтобы поисковик увидел их быстро. Третий: сайт новый, внешних ссылок мало, и робот ещё не установил регулярный ритм обхода.
Ручная отправка не поможет, если проблема в качестве контента или в технических ошибках. Робот обойдёт страницу по запросу, но не проиндексирует её, если она дублирует другую, содержит мало текста или возвращает нестабильные коды ответов. В таких случаях сначала нужно устранить причину, а потом отправлять страницу на переобход.
Также стоит учитывать лимиты API. Яндекс ограничивает количество запросов на переобход в сутки в зависимости от настроек аккаунта. Google IndexNow позволяет отправлять пакетные запросы, но гарантии немедленной индексации не даёт: это уведомление, а не команда.
Частые вопросы
Существует ли официальный лимит на количество страниц, которые робот обходит в сутки?
Официального числового лимита, одинакового для всех сайтов, нет. Яндекс и Google рассчитывают бюджет обхода индивидуально для каждого домена на основе скорости сервера, качества контента и истории сайта. Посмотреть фактическое количество обходов в сутки можно в разделе «Статистика обхода» в Яндекс Вебмастере или в «Статистике сканирования» в Google Search Console.
Почему новые страницы на старом сайте индексируются быстрее, чем на новом?
Старый сайт уже имеет историю взаимодействия с роботом: поисковик знает, что сервер стабилен, контент обновляется регулярно и страницы получают трафик. Для нового домена такой истории нет, поэтому робот выделяет меньший бюджет обхода по умолчанию и наращивает его постепенно по мере накопления положительных сигналов.
Влияет ли частота публикаций на скорость обхода остальных страниц сайта?
Да, косвенно. Регулярные публикации сигнализируют роботу, что сайт активно обновляется, и он начинает заходить чаще. Это увеличивает общий бюджет обхода, что ускоряет и переобход старых страниц. Но эффект заметен только при условии, что новый контент уникален и качественен: публикация тонких или дублированных страниц даёт обратный результат.
Как понять, что проблема именно в crawl budget, а не в фильтре или санкциях?
Откройте отчёт «Статистика обхода» в Яндекс Вебмастере. Если количество обходов в сутки резко упало или остаётся низким при большом объёме страниц, это признак проблемы с бюджетом. Если обходы идут нормально, но страницы не попадают в индекс, причина скорее в качестве контента или в санкциях. В Google Search Console сравните данные в «Статистике сканирования» с отчётом «Страницы»: если сканирований много, а проиндексированных страниц мало, проблема не в бюджете обхода.
Помогает ли Sitemap ускорить индексацию или это только подсказка для робота?
Sitemap это подсказка, а не команда. Он помогает роботу обнаружить страницы, до которых сложно добраться через внутренние ссылки, особенно на глубоких уровнях каталога. Но сам по себе Sitemap не увеличивает бюджет обхода и не гарантирует индексацию. Чтобы Sitemap работал эффективно, включайте в него только страницы с кодом 200, без noindex и без закрытых в robots.txt URL.
