« BigMir: индексация "невидимых" страниц | Главная | Некоторая информация о роботах »

October 16, 2004

Какую версию HTTP отдавать роботам

Какую версию протокола на самом деле надо отдавать роботам, если запросы роботов содержат версию 1.0 протокола HTTP?

На самом деле большой разницы нет. Если бы роботы реально работали в HTTP 1.0, то индексировали бы намного меньше документов. Дело в том, что клиенты версии 1.0 предполагают однозначное соответствие серверов и IP-адресов, а значит не могут работать с name-based virtual servers, т.е. роботы прошли бы мимо нескольких десятков или даже сотен сайтов, висящих на одном IP.

Я выдаю везде 1.1 и все пока работает.

Отправлено Cherny в October 16, 2004 10:26 PM