« Проверка robots.txt от Google | Главная | Руководство для вебмастеров от Google на русском »
February 8, 2006
GoogleBot и robots.txt
В дополнение к предыдущей заметке.
Оказывается, что GoogleBot кроме wildcards в robots.txt понимает директиву Allow, мало того:
...and it also permits more specific directives to override more general directives
Интересно девки пляшут! Я тогда тоже хочу таким образом прояснить некоторые вопросы:
to go ask the crawl team to be completely sure
Отправлено Cherny в February 8, 2006 10:33 AM
