По ссылке в ФБ перешел на страницу сайта MMR. Буквально через пару секунд страница становиться темной, появляется темное поп-ап окошко с предложением поучаствовать в опросе об удобстве использования сайта. При этом само всплывшее окошке изначально тоже темное, ни одна из кнопок не работает – ни поучаствовать в опросе, ни отказаться от него не могу, закрыть не могу. Сначала я подумал, что это в Firefox’е только такая ерунда, ан нет – счастливые пользователи IE и Chrome видят такую же картинку.

В результате я дочитал статью с “выключенным светом” и порадовался, что не являюсь постоянным читателем сайта MMR.

А в целом надо будет особо осторожно подходить к вопросам usability опроса о usability.

Update: Опрос с сайта сняли, кому-то реализация не понравилась кроме меня.

Решил перепроверить в принципе уже известные факты о том, как ведут себя Яндекс и Google при запрете страниц в robots.txt. Хотя на самом деле речь в основном пойдет про Google, потому что поведение Яндекса вполне просто и прямолинейно.

Есть два варианта:

1) Страница, страницы или разделы уже существуют и проиндексированы, после чего они закрываются от индексирования в robots.txt

2) Страница или группа страниц изначально закрыта в robots.txt до возможности их индексации.

Казалось бы второй вариант вообще нет смысла рассматривать, потому что сразу запрещено и «мышь не проскочит, робот не пройдет». Ан, нет – возможны варианты!

Запрещение уже проиндексированных страниц сайта

Не так давно появилась необходимость закрыть от индексации сайт с сотней тысяч проиндексированных страниц. Практически полностью, т.е. из 100 тыс. осталось штук 30-40. Яндекс в этом случае при ближайшем апдейте безусловно удаляет все 999 960 «лишних» страниц, никак специально не уведомляя об этом, т.е. если вебмастер запретил – он знает, что делает.

Пересобрал PHP из портов под FreeBSD, перед этим проапдейтил сами порты. Для установки PHP-extensions потребовалось еще найти и обновить пару системых скриптов. И при чем здесь интернет-маркетинг? Отпускаю бороду и начинаю разнашивать толстый свитер.

19 сентября исполнилось 10 лет с момента моей регистрации на форуме Searchengines.Ru, что можно считать официальным началом работы в области поисковой оптимизации сайтов. Помнится в тот момент меня интересовали проблемы с индексацией одного сайта, а отвечал на мои вопросы Александр Садовский, тогда еще в Яндексе не работавший. Яндекс тогда не индексировал домены в com, а Гугл обновлялся один раз в месяц и называлось это Google Dance. Веселое было время!

За эти 10 лет на ниве SEO, интернет-маркетинга и рекламы я познакомился с огромным количеством интересных людей, которые направляли, помогали, содействовали, сотрудничали и сопереживали. За что всем им большущее спасибо!

Что же нужно сделать для правильной склейки зеркал сайта в Яндексе? Последовательность действий по склейке зеркал будет зависеть от текущей ситуации с зеркалами, ее надо выяснить прежде всего и здесь нам поможет форма добавления нового сайта – http://webmaster.yandex.ua/addurl.xml. При добавлении сайта в форму делается автоматическая проверка на “зеркальность” и если сайт является не главным зеркалом, то будет указано главное: “Указанный вами сайт является неглавным зеркалом сайта notes.webartsolutions.com” (и правда является, сейчас переклеиваю).
Если зеркала никак пока не склеены, то это самый идеальный случай, нужно сделать следующие шаги:

1. Прописать директиву Host в robots.txt, где указать главное зеркало, после всех прочих директив в секции для Яндекса написать “Host: chernyshov.kiev.ua” без http, просто адрес. Лучше всего это сделать именно в отдельной секции Яндекса, потому что кроме Яндекса директиву Host никто не поддерживает.
2. Максимум ссылок ставить именно на главное зеркало, при возможности отредактировать существующие ссылки, чтобы тоже вели на главное зеркало.
3. Можно поставить 301-й редирект на главное зеркало, а можно этого не делать, смотря как индексируются зеркала и сколько посетителей ходит на них. При установке 301-го редиректа тот сайт, откуда стоит редирект, скорее всего выпадет из индекса.
4. Набраться терпения и ждать.

В случае Яндекса 301-м редиректом пользоваться следует осторожно, поскольку в случае неправильной склейки зеркал, когда главным зеркалом уже выбран неправильный адрес, 301-й редирект скорее навредит.
В помощи Яндекса по этому поводу имеется интересная фраза в разделе как склеить зеркала:

С помощью серверного редиректа со страниц старого домена на соответствующие им страницы нового. Этот способ рекомендуется использовать в том случае, если новый домен не является неглавным зеркалом.

На практике получается, что склеивать зеркала с помощью 301-го редиректа в Яндексе можно только в том случае, когда главным зеркалом должен стать новый адрес, еще не склеенный ни с чем. Я проверил, действительно работает: адреса site.ru и www.site.ru были зеркалами, а newsite.ru надо было сделать новым главным зеркалом. Host, редирект, полтора месяца ожидания и – вуаля!

Если же зеркала уже склеены, но склеены неправильно и их надо переклеить или свапнуть, то тут надо немного изменений и очень много… терпения:

1. Выключаем редирект, если он был.
2. Прописываем директиву Host в robots.txt, где указываем главное зеркало.
3. По возможности ставим новые ссылки на главное зеркало и меняем на старое.
4. Ждем

Ждать придется несколько месяцев так точно, поэтому склейку зеркал лучше не откладывать.