« Исследование ссылочной базы Рунета | Главная | Исследование интернет-торговли от Яндекса »
March 23, 2007
Технологии запрета
Запрещать индексацию некоторых страниц сайта можно, а часто и нужно. Некоторые примеры я рассматривал в своем докладе о robots.txt. За последние пару месяцев в официальных блогах Google вышло несколько постов о стандарте исключений (robots.txt), его дополнений для Гуглбота, ну и результирующий пост со ссылками на все материалы.
А в это же время где-то за границей... Дэнни Салливан публикует подробнейшую инструкцию по мета-тег ROBOTS, варианты его использования и дополнительные параметры, которые понимают разные поисковые системы.
Хотелось бы отдельно остановиться на утверждении, что документ, где указано <meta name="ROBOTS" content="noindex"> все равно будет запрашиваться роботом, хотя бы для того, чтобы прочитать эту инструкцию, а в случае запрета в robots.txt документ(ы) запрашиваться роботом не будут пока запрет фигурирует в файле исключений.
Отправлено Cherny в March 23, 2007 1:24 PM
Комментарии
>Хотелось бы отдельно остановиться на утверждении
В каком контексте вы привели это утверждение? Все логично, на мой взгляд, хотя на практике не отслеживал.
Отправлено Дмитрий в March 23, 2007 7:39 PM
