« Если бы веб-сайты были пультами ДУ | Главная | Лафа для спамеров закончилась »
June 22, 2006
Google добавляет в хелп секцию о robots.txt
Неделю назад в раздел Как Google сканирует мой сайт справки для вебмастеров добавлена секция Использование файла robots.txt, в частности такие вопросы как:
- Как создать файл robots.txt?
- Список различных агентов Google для строк User-agent, тут же описывается директива Allow, которая исключительно в Гугле и работает
- Использование шаблонов (символов подстановки), опять же, только в Гугл
- Как часто перезапрашивается robots.txt - раз в день
Хотя в некоторые статьи, так сказать, засрались очепятки. А именно в примерах следует отделять записи для разных роботов пустой строкой, как это записано в англоязычной версии этой же страницы. А вот в немецкой, испанской, русской и других версиях пустой строки не обнаруживается. Так что документацию следует читать на языке оригинала или периодически с оригиналом сверяться.
Неделю назад также появилось сообщение, что форма проверки robots.txt в Google Sitemaps выдает ошибку, если объем файла превышает 5000 символов. Это может быть как особенностью реализации формы проверки, так и оограничением робота при обработке файла исключений. Мне сложно представить даже довольно большой сайт, для которого надо писать почти 5-ти килобайтный robots.txt, это ж сколько всего запретного сгенерить надо! :)
Отправлено Cherny в June 22, 2006 3:30 PM
