« Руководство для вебмастеров от Google на русском | Главная | Вебпланета цитирует блоггеров »
February 13, 2006
Запрет индексации картинок
Довольно просто можно найти имена агентов, которые собирают изображения для поиска по картинкам Google и Yahoo, это Googlebot-Image и Yahoo-MMCrawler.
Соответственно, для того, чтобы спровадить с сайта картиночных роботов, достаточно в robots.txt создать отдельную секцию:
User-agent: Googlebot-Image
User-agent: Yahoo-MMCrawler
Disallow: /
А как аналогично указать в robots.txt картиночного робота Яндекса, который в логах представляется как Yandex/1.01.001 (compatible; Win16; P)?
Отправлено Cherny в February 13, 2006 10:53 AM
Комментарии
Неправильно у вас секция robots.txt составлена, это правило Disallow будет работать только для User-agent: Yahoo-MMCrawler
Отправлено Maxime в February 13, 2006 2:17 PM
Maxime, зря Вы так! ;)
Вот цитата из стандарта:
The record starts with one or more User-agent lines, followed by one or more Disallow lines
Отправлено Cherny в February 13, 2006 2:30 PM
Во - первых не пойму, зачем запрещать индексацию. Во вторых действительно неправильно. Для каждого своё правило надо описывать.
Отправлено maximum в March 1, 2006 1:47 AM
Зачем запрещать индексацию картинок? Да хотя бы для того, чтобы минимизировать зарубежный трафик тем ресурсам, которые абсолютно не заинтересованы в трафике по картинкам. Еще скажите, что нет таких!
Т.е. цитата из стандарта http://www.robotstxt.org/wc/norobots.html неправильна? Учите матчасть!
Отправлено Cherny в March 1, 2006 8:52 AM
Есть же маньяки во вселенной :-0....
И чем им так роботы досадили?
У меня для проекта в 1500 страниц особого напряга от них не видно...
Отправлено Мусор в March 13, 2006 6:08 PM
Владимир, большое спасибо за идею - пойду добавлять нужную секцию в свой robots.txt
maximum, вариант с двумя строками User-agent указан правильно, другое дело, что ходили слухи, что некоторые боты такие конструкции могут не понимать.
Мусор, это не маньячество а самый что ни на есть случай из жизни. На Мастерхосте, к примеру, если трафик улетит за 10Gb и доля зарубежного будет больше доли российского, то за перебор нужно будет платить.
Отправлено Lermont в June 28, 2006 9:05 AM
Так что вопрос по Яндексовскому боту рисунков так и остался открытым?
Бо блин уже весь трафик мировой сожрал... :(
Отправлено Tramp в August 14, 2006 7:03 PM
