« Дата в кеше Гугля | Главная | Google Sitelinks »
September 8, 2006
Роботофобия
Пишу коротенький пост, просто чтобы ссылки не потерялись! :)
Леха Андреев пару дней назад выдал целый манифест роботам всех стран и народов (первым в очереди, правда, стоит Win16; I). Несколькими словами манифест можно пересказать так: роботы, идите в ... Контент рулит, в общем, и зачем мы его вам даем?!
А в это время где-то за границей народ беспокоится о запросах фидов и ограничении доступа к ним, причем не только роботами...
Я, конечно, не буду так растекаться, как Леха, более того, я готов выступить от лица всяких индексаторов. А вот работа со статистикой RSS-фидов и аналогичных лент, а также работа соответствующих сервисов и локальных клиентов — тема довольно интересная и объемная именно с практической точки зрения, может даже статья получится. Кто-нибуть пробовал обработать статистику своих RSS «классическими» методами?
Отправлено Cherny в September 8, 2006 12:25 AM
Комментарии
Кто-нибуть пробовал обработать статистику своих RSS «классическими» методами?
Пробовал. Только там мало что можно вытащить - User-Agent и хост, негусто. Агрегаторы рулят, Яндекс (Лента) как обычно, впереди планеты всей.
Отправлено Lermont в September 8, 2006 9:10 AM
Статистика собирается. Яндекс больше всех скачивает rss, мало того, он помнит о лентах, даже если их уже давно не существует. Иногда - раз в месяц тестировал адрес, который я ввел для эксперемента, а потом удали оттуда файл. И ленту удалил из списка, но в памяти у Яндекса что-то осталось, и он иногда заглядывает.
яндекс = YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot)
Прочие агрегаторы:
google = FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)
kanban.ru = без агента
r-mail.org = kb.Rmail (http://www.r-mail.org; 1 subscribers)
И иногда пользователи с Оперы, Фокса или Abilon самостоятельно качают.
Отправлено Mover в September 8, 2006 3:11 PM
