« Расширения для адресов страниц | Главная | Яндекс отключает операторы link и anchor »

August 31, 2007

В Yahoo "улучшили" работу Slurp...

На прошлой неделе в Yahoo официально заявили об улучшении алгоритма работы поискового робота Slurp, в процессе тестирования и апдейта робота "отпустили погулять", в результате на многих сайтах от него увеличилось количество запросов и, соответственно, трафик. В Yahoo заявляют, что в будущем подобного больше не повторится, поскольку введены новые ограничения:

Don't fret, though, if you're concerned about seeing an increased load. We've initiated efforts and established policies internally to ensure this doesn't happen, even temporarily, in the future.

Западные вебмастера недовольны такими "улучшениями" и указывают на необходимость использования роботами общего кеша:

The fact that Yahoo has multiple crawlers for every division that crawl independently and don't share the common cache, now THAT's a problem that needs to be fixed.

Роботы Гугля, например, общий кеш используют, я об этом писал.

На просторах Рунета от Yahoo пользы практически никакой, а трафик, потребляемый роботом Slurp, как-никак зарубежный. На их внутренние ограничения надеяться не стоит, тем более вебмастер сам может их робота ограничить - параметр Crawl-Delay в robots.txt и можно спать спокойно.

Отправлено Cherny в August 31, 2007 10:15 AM