« Робот Меты | Главная | Яндекс и robots.txt »
January 11, 2005
Непостоянство SEO
В середине октября выкладывал информацию о роботах основных поисковых систем, на сегодняшний день кое-что уже устарело. Для основного индексирующего робота Яндекса существенно "разбухло" поле Accept - сначала добавилось application/msword;q=0.1, application/x-shockwave-flash;q=0.1, когда Яндекс начал индексировать документы MS Word и Flash; во второй половине ноября добавилось application/vnd.ms-excel;q=0.1 - это MS Excel, а в первой половине декабря подоспел и PowerPoint - application/vnd.ms-powerpoint;q=0.1
В настояший момент поле Accept в запросе имеет следующий вид:
Accept: text/html, application/pdf;q=0.1, application/rtf;q=0.1, text/rtf;q=0.1, application/msword;q=0.1, application/x-shockwave-flash;q=0.1, application/vnd.ms-excel;q=0.1, application/vnd.ms-powerpoint;q=0.1
Раньше и не замечал, что в запросе отсутствует text/plain - при запросе robots.txt тогда Accept другой должен быть, а может у народа 406-е ошибки из-за этого и лезут?
Отправлено Cherny в January 11, 2005 10:43 PM
Комментарии
Интересно, может быть. Но 406 приведет тогда только к невидимости robots.txt, т.е., как бы отсутствию.
А какой Аццепт при запросе персонально на robots? Может, он другой?
Отправлено euhenio в January 12, 2005 7:34 PM
Женя, а разве отказ в индексации сайта из-за 406-й ошибки касался только запроса главной страницы?
Я помню давным-давно, при одном из первых обсуждений на форуме данной проблемы, кто-то из Яндекса написал, что нет смысла индексировать сайт, который не может вернуть контент нужного типа, а может при запросе главной страницы отдать роботу какое-нибудь видео очень приличного объема.
В любом случае, я поставил скрипт вместо обычного robots.txt, о результате сообщу дополнительно. ;)
Отправлено Cherny в January 13, 2005 9:37 AM
>Женя, а разве отказ в индексации сайта из-за 406-й ошибки касался только запроса главной страницы
-так как раз насколько я понял твою идею, text/html в Акцепте есть, так что нормальное содержимое сайта вернется нормально, а т.к. text/plain нет, то вместо robots он вернет 406, т.е., не закроет что надо. Либо запрос к robots иной дают.
Отправлено euhenio в January 13, 2005 12:47 PM
Does compression supported by MSN bot?
Отправлено caller в February 8, 2006 6:44 AM
