В каких случаях Google может замедлить индексацию сайта или совсем остановить ее?
На конференции в Нью-Йорке представитель Google из команды Google Webmaster Central рассказал о двух сигналах, останавливающих робота:
1. увеличивающееся время отклика страниц сайта
2. появление 5xx ошибок
Если время отклика сайта все время увеличивается, страницы отдаются все медленнее, то сервер может быть перегружен и имеет смысл приостановить или совсем прекратить запрашивать URLы с сайта. Аналогично и с ошибками из категории 5xx — различные внутренние ошибки сервера, также возникающие иногда из-за высокой нагрузки на сервере или неправильной его конфигурации. Через некоторое время робот повторно запросит какие-то страницы и если ошибки исчезли, а время отклика приемлемые, то индексация сайта возобновится.
Еще один повод заниматься оптимизацией производительности сайта и сервера и не забывать про время отклика сервера и загрузки страницы — роботы, как люди, не любят долго загружающихся страниц.