« Равенство зеркал в Яндексе | Главная | Yahoo! Image Search »
February 23, 2005
Робот D Яндекса
Давно не интересовался, а вчера добавлял сайт в Яндекс и в логах вижу, что робот добавления - Yandex/1.03.003 (compatible; Win16; D) - запрашивает файл robots.txt. Когда начал запрашивать никто не знает?
Отправлено Cherny в February 23, 2005 4:06 PM
Комментарии
robots.txt. запрещает или разрешает поисковикам индексировать сайт или страницу сайта
Отправлено Доцент в June 24, 2005 2:59 PM
Файл robots.txt содержит правила исключений, т.е. по определенным правилам указывает роботу(ам) адреса страниц, которые запрещено индексировать.
Отправлено Cherny в June 24, 2005 3:27 PM
