« Расширения в robots.txt | Главная | Какую версию HTTP отдавать роботам »
October 6, 2004
BigMir: индексация "невидимых" страниц
На одном из сайтов с помощью mod_rewrite адреса документов (статей) имеют такой вид: http://www.site.ru/dir/324.html, где 324 - это ID статьи в БД. Заметил, что посетители часто просто отсекали "324.html", пытаясь заглянуть в http://site.ru/dir/. Повесил по этому адресу скрипт, который тупо выдавал список статей. На странице висят счетчики БигМира, Рамблера и ХотЛога.
Ссылки на /dir/ нигде нет, ни в одном поисковике этой страницы тоже нет. Ни в одном, кроме поиска Бигмира, причем робот его каждый раз исправно эту страницу забирает. Отсюда можно сделать вывод, что Бигмир, как и Рамблер, использует данные своего счетчика для построения URL list для индексации.
Отправлено Cherny в October 6, 2004 1:18 PM
Комментарии
>Отсюда можно сделать вывод, что Бигмир, как и
>Рамблер, использует данные своего счетчика для
>построения URL list для индексации.
Про Бигмир такое, наверное, и можно сказать, по про Рамблер - сомнительно. Владимир, Вы ведь сами написали, что страницы /dir/ нет в Рамблере, хотя счетчик рамблеровский на ней есть. Обратил внимание на это, потому как сам проводил похожий эксперимент: сделал страницу со счетчиком Рамблера, нигде не проставлял ссылки на нее, периодически захожу на эту страницу Экспрорером с баром от Гугля. За 3 месяца ни в Рамблере, ни в Гугле страница не появилась. Теперь думаю, может расширить границы эксперимента и повесить туда еще и денежку Яндекса?
Отправлено NULL в October 11, 2004 9:22 AM
NULL, проверил еще и логи. Действительно, за первую декаду октября робот рамблера страницу /dir/ не запрашивал, хотя сама страница запрашивалась несколько сотен раз. И как тогда можно интерпретировать пункт 3 на http://www.rambler.ru/doc/recommendations.shtml ?
Да, на эту страницу из роботов, кроме Бигмировского, никто не заглядывал; я с баром Гугля заходил неоднократно.
Отправлено Cherny в October 12, 2004 4:20 PM
>И как тогда можно интерпретировать пункт 3 на http://www.rambler.ru/doc/recommendations.shtml ?
Как не соответствующий действительности (логам за первую декаду октября =)
Отправлено NULL в October 12, 2004 4:37 PM
