« Интервью с Ильей Сегаловичем | Главная | GoogleBot и robots.txt »
February 7, 2006
Проверка robots.txt от Google
Google добавил в SiteMaps проверку robots.txt (via)
Danny Sullivan отмечает, что стандарт robots.txt должен быть «более стандартным». В частности, GoogleBot поддерживает символы подстановки * и ?, но не поддерживает директивы Crawl-Delay, которая успешно работает в Yahoo, MSN и Ask.
Кстати, на Crawl-Delay cheker ругается фразой «Syntax not understood», как впрочем и на директиву Host для Яндекса.
А совсем недавно еще всплыла информация о недокументированной фиче Рамблера, который, как оказалось, тоже поддерживает символы подстановки и исключения по подстрокам.
Да уж, стандарт robots.txt, так и не ставший на самом деле стандартом за 12 лет существования, требует существенных дополнений и уточнений, только вот станет ли им проще пользоваться?
Время покажет, скорее всего.
Смотреть также
Расширения в robots.txt
И снова о robots.txt
Обработка Рамблером robots.txt
Отправлено Cherny в February 7, 2006 10:08 AM
Комментарии
Напишите пожалуйста здесь пример robot.txt для Google
Отправлено Xanax в April 5, 2006 7:44 PM
почитайте здесь
http://web-blog.ru/2005/12/09/robots/
Отправлено Anonymous в December 6, 2006 5:52 AM