« Логи, статистика и AJAX | Главная | Исследование ссылочной базы Рунета »
March 20, 2007
Индексация результатов поиска
Пару недель назад Мэтт Каттс четко ответил на вопрос «Следует ли вебмастерам запрещать индексацию результатов поиска?», в результате изменили и руководство для вебмастеров:
Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don’t add much value for users coming from search engines.
Из фразы ясно, что вебмастер должен использовать правила в robots.txt, с помощью которых запрещать страницы с результатами поиска. В примерах Яндекса явно не указаны результаты поиска, как нежелательный контент, но такие приемы не понравятся модератору, особенно если результаты поиска формируются при помощи Яндекс.XML и на них ставятся статические ссылки. А такими методами в последнее время балуется один из украинских порталов, получающий значительный поисковый трафик именно на результаты поиска.
Еще ссылки по теме:
http://www.seroundtable.com/archives/012671.html
http://searchengineland.com/070312-104201.php
Отправлено Cherny в March 20, 2007 11:10 AM
Комментарии
При первом же стуке сайт скорее всего забанят, если результаты поиска индексируются и их становится слишком много.
Пока паг 100 в индексе будет врядли внимание обратят, а вот когда счет на тысячи пойдет тут то и будет абзац :)
Отправлено DimaX в March 20, 2007 12:30 PM
>балуется один из украинских порталов
Один? Да этим чуть ли не все партнеры Яндекса балуются. При этом Яндекс так и не определился, что в таких случаях делать.
http://index.online.ua/robots.txt
http://search.a.ua/robots.txt
http://search.uaportal.com/robots.txt
И это действительно дает им заметный трафик.
Отправлено Alex в March 23, 2007 3:44 PM
Да согласен, сам использую это для привлечения трафика, и пока все нормально ):
Отправлено KnigaLuyb в May 14, 2007 10:27 PM
Можем забросить в abuse адрес Вашего сайта и посмотреть, действительно ли будет все нормально.
Отправлено Cherny в May 16, 2007 10:37 AM
Насколько я знаю, за "результаты поиска" Яндекс банит гарантированно.
Отправлено A master в July 2, 2007 8:22 PM
