« Статистика поисковых запросов Рамблера | Главная | Restarting »
December 21, 2004
Обработка Рамблером robots.txt
Механизм Рамблера по обработке robots.txt работает по следующей схеме: раз в неделю на выходных берет файл и сверяется, какие из документов сайта, присутствующих в базе, попадают под правила запрещения индексации. Такие страницы из базы сразу удаляются. Таким образом не надо ждать, когда дойдет очередь до переиндексации запрещенных страниц, как в Яндексе.
Подсунул Яндексу правило Disallow: /?, чтобы проверить, не обрабатывает ли механизм знак вопроса как символ подстановки. Все отработало правильно - никаких подстановок, иначе бы весь сайт из базы вывалился.
Отправлено Cherny в December 21, 2004 2:36 PM
Комментарии
>Все отработало правильно - никаких подстановок, иначе бы весь сайт из базы вывалился.
Нифига себе эксперименты! А если бы непрально обработал???
Отправлено NULL в December 21, 2004 3:15 PM
Вероятность неправильной обработки невелика, а сайт все равно переиндексировался по новой после перехода с динамических урлов на статические.
Отправлено Cherny в December 22, 2004 1:28 PM
