« Свежая новость Google Analitics | Главная | Архитектура Google »
November 29, 2005
Поисковики и 301-й редирект
Это вовсе не сказка для оптимизаторов, а очень даже быль.
После споров на тему передачи всяких ссылочных факторов через серверный редирект 301 Moved Permanently, было принято решение поставить несложный эксперимент и посмотреть, что же на самом деле происходит.
Из поисковиков наибольший интерес представляли Google и Яндекс. Проверялось ссылочное ранжирование или влияние текста ссылки на ранжирование страницы, на которую эта ссылка ведет. Однозначно проверить «просачивание» Google PageRankTM и Яндекс вИЦ через редирект проблематично, поскольку измененяется отображение PageRank редко, а вИЦ и посмотреть негде, разве только оценить косвенно.
Как это было
Схема эксперимента на картинке. Были специально созданы страницы «B» (страница с редиректом) и «C» (конечная страница), страница «А» (ссылающаяся страница) существовала ранее. Страница «B» безусловно отправляла всех на «C» с кодом 301, текст ссылки на «А» был абсолютно уникальным, то есть больше в интернете нигде не встречался, включая конечную страницу. Дополнительно следует отметить, что страница с со ссылкой и страница с редиректом находились на одном домене, а конечная страница — на другом.
Первым через два дня появился Googlebot, который запросил «B» и практически сразу «C». Яндекса пришлось ждать довольно долго, причем основной индексатор Яндекса запросил только страницу с редиректом и, получив 301 Moved Permanently, успокоился.
Примерно через две недели на «C» была поставлена обычная ссылка с четвертой страницы с неуникальным текстом, специально для Яндекса. Через неделю индексатор Яндекса все-таки добрался до конечной страницы и после пары апдейтов она появилась в основной базе.
Результаты
В процессе эксперимента выяснилось, что пока робот Яндекса собирается индексировать что-либо через 301-й редирект, то GoogleBot успевает все проиндексировать, после чего еще пять раз перезапросить не только конечную страницу, но и страницу с редиректом и продолжает это делать по сей день. Пока суть да дело роботы Yahoo и MSN тоже постарались, правда неясно, или через редирект, или по обычной ссылке достали конечную страницу.
В результате обрисовалась следующая картина:
- Google прекрасно индексирует новые страницы, доступные только через редирект, при этом ссылочное ранжирование работает для конечной страницы и она получает прибавку PageRank. Можно сказать, что для Google страницы с редиректом как бы не существует, а ссылка стоит с «А» сразу на «C». Можно также говорить, что страница с редиректом «приклеивается» к конечной странице.
- Яндекс плохо индексирует страницы, доступные только через редирект, при этом текст ссылки на ранжирование конечной страницы не влияет, то есть ссылочное ранжирование через 301-й редирект не работает.
- Yahoo и MSN специально не проверялись, но «походу» ссылочное через редирект в них тоже не работает.
Post Scriptum
Источником эксперимента на самом деле были дискуссии о применении 301-го подокументного редиректа для однозначной и корректной склейки зеркал. Данный эксперимент ничего не доказал, поскольку при склейки доменов, а не документов, ссылки на дополнительные зеркала могут и учитываться Яндексом при ранжировании.
В ближайшее время планирую повторить эксперимент, а также дополнительно проверить редирект 302 Moved Temporary по аналогичной схеме и учет текста ссылок для склеенных зеркал, когда ссылки ведут на дополнительное зеркало, а домены склеены при помощи подокументного 301 Moved Permanently.
Отправлено Cherny в November 29, 2005 5:01 PM
Комментарии
>при этом текст ссылки на ранжирование конечной
>страницы не влияет, то есть ссылочное
>ранжирование через 301-й редирект не работает.
Не согласен. Есть контрпримеры, показывающие, что ссылочное в некоторых случаях в Яндексе при 301 и при 302 работает. Похоже, это происходит, если Яндекс "склеивает" эти документы, т.е. при попытке добавить документ с откликом 301 или 302 через форму появляется сообщение, что он уже есть в базе. А ведь в базе могут содержаться документы только с откликом 200 - значит редиректящий документ приклеен к тому, куда он редиректит.
Отправлено wolf в November 30, 2005 8:41 AM
Приветствую, Сергей!
В некоторых случаях ссылочное через редирект может и работает, более того, так утверждали сами яндексоиды года полтора назад.
В моем случае по запросу, совпадающему с текстом ссылки на A находилась только сама A, но не C. Меня больше заинтересовало то, что индексатор не запрашивал C пока на него не появилась прямая ссылка.
В любом случае буду перепроверять в ближайшее время.
Отправлено Cherny в November 30, 2005 10:01 AM
Значит, в Вашем случае склейки по какой-то причине не произошло. Или пока еще не произошло.
Отправлено wolf в November 30, 2005 2:57 PM
Володь, а сколько времени длился эксперимент?
Отправлено raine в November 30, 2005 3:58 PM
Больше месяца. 9-го сентября все поставил, снял где-то 16-го или 17-го октября.
Отправлено Cherny в November 30, 2005 4:14 PM
Для полноты картины не мешало бы еще тоже самое проверить для 302 кода.
Отправлено Non4Me в November 30, 2005 4:29 PM
Больше месяца
по идее за такое время еще не произошло склейки, дождись склейки, после этого Яндекс должен принять "ссылочное ранжирование через 301-й редирект"
Отправлено raine в November 30, 2005 4:34 PM
не мешало бы еще тоже самое проверить для 302 кода
проверю, написал же
дождись склейки
договорились, поставил ссылку снова! :)
Отправлено Cherny в November 30, 2005 4:53 PM
Полезная и интересная информация.
Спасибо за эксперимент.
Отправлено Beliar в November 30, 2005 4:54 PM
по 302 - найдите нюковый каталог с кривыми ссылками и проверьте :)
Отправлено euhenio в November 30, 2005 6:51 PM
---
Дополнительно следует отметить, что страница с со ссылкой и страница с редиректом находились на одном домене, а конечная страница — на другом.
---
А может в этом дело такого поведения Яндекса?
Хорошо бы и в рамках одного домена проверить, т.к. часто 301 ставится для "удержания" прежних адресов страниц при изменениях структуры сайта.
Отправлено Vlad в December 1, 2005 10:59 AM
Точно такой же эксперемент проводил в конце лета, ссылок на страниц куда редиректил небыло.
В течении месяца страница нигде не проявлялась, и забыл про эксперемент после прочтения заметки решил проверить -
Гугл - склеил
МСН и Яндекс - Нет
Яху - тоже нет
PR - пока ноль. Но там всего одна ссылка со страницы страници с PR - 4, так что этого может быть и мало.
Отправлено fly136 в December 2, 2005 9:40 AM
Давайте не будем делать поспешные выводы. Во-первых 301 редирект внутри одного домена и с одного домена на другой - это разные вещи, которые тоже надо-бы проверить.
Во-вторых: в гугле надо подождать склейки, которая походу еще не произошла, в яндексе тоже самое.
Идеи тут http://help.yahoo.com/help/us/ysearch/slurp/slurp-11.html
Отправлено Saney в December 3, 2005 2:32 PM
слова автора подтверждаю. аналогичная ситуация
Отправлено Ctox в December 7, 2005 10:39 AM
Так вот что скажите, а Яндекс таки оставил в индексе страницу B? как её выкинуть безболезненно, но не потерять посетителей?
Отправлено SeM в February 27, 2006 6:37 PM
У Яндекса не было в индексе страницы B, она удаляется после получения роботом 301-го редиректа и нигде не фигурирует в выдаче.
Отправлено Cherny в February 27, 2006 11:47 PM
Хм) Любопытно, спасибо за инфо к размышлению...
Отправлено Снежный в March 13, 2006 6:17 PM
Cherny у тебя аська есть? пообщацца хочется с тобой... если найдешь это сообщение напиши на 327-913-455... это ася.
Отправлено Earven-D в April 2, 2006 6:49 PM
Очень интересный эксперимент, спасибо!
Но для чистоты эксперимента, а значит и однозначности выводов надо бы этот же проделать отдельно для редиректа на тот же домен и для редиректа на другой домен при прочих равных, причем с несколькими страницами каждый, так можно будет говорить о большей достоверности выводов на основе полученной статистики.
Отправлено SEO в April 4, 2006 8:33 AM
Ну вот и славно, хорошо что есть такие ресурсы.
Отправлено maximum в April 5, 2006 3:43 PM
Прошло достаточно времени, интересен результат, склеил ли Янд в итоге?
Отправлено Armee в May 6, 2006 1:22 PM