« Кто рисует праздничные логотипы Google | Главная | Как работает Google News »

July 31, 2006

Yahoo Slurp обновился

Официальный блог Yahoo сообщает о выходе новой версии поискового робота Slurp. Обещают снижение трафика до 25% без снижения индексации.

Yahoo Slurp и раньше отличался изрядной прожорливостью, а в последние недели оба робота работали практически параллельно, потребляя больше трафика.

Интересно, какими методами будет достигаться заявленное повышение качества индексации? Заголовок If Not Modified Slurp давно использует, может будут использовать несколько запросов в пределах одного HTTP-соединения, раньше вроде бы такого за ним не замечалось, в отличие от GoogleBot, с которым даже очень показательный баг приключился. Только как же быть с дополнительной директиве Crawl-Delay в robots.txt которая ограничивает время между двумя запросами робота к сайту? Неужели тут-то вся оптимизация и накроется?

Отправлено Cherny в July 31, 2006 11:23 PM