-
Описание ошибок сайта в GWT
В Google Webmaster Tools анонсировали новое расширенное описание описание ошибок на сайте – проблем с DNS и доступом к robots.txt. Полез к себе в аккаунт посмотреть и с удовольствием обнаружил отсутствие каких-либо проблем с DNS и robots за последние 90 дней, несмотря на переезд на новый сервер в конце июля. Так что будем довольствоваться оригинальным…
-
Статус индексирования в Google и зеркала
Новый инструмент «Статус индексирования» в Google Webmaster Tools появился буквально на прошлой неделе. В отчете можно увидеть динамику индексации сайта за последний год с шагом в одну неделю. Лучше всего сразу переключаться в расширенный вариант, где, кроме проиндексированных документов, можно видеть графики не попавших в поиск (а-ля supplemental) и запрещенных в robots.txt страниц. Как раз…
-
robots.txt и кеш Google
Решил перепроверить в принципе уже известные факты о том, как ведут себя Яндекс и Google при запрете страниц в robots.txt. Хотя на самом деле речь в основном пойдет про Google, потому что поведение Яндекса вполне просто и прямолинейно. Есть два варианта: 1) Страница, страницы или разделы уже существуют и проиндексированы, после чего они закрываются от…
-
Как склеить зеркала сайта в Яндексе
Что же нужно сделать для правильной склейки зеркал сайта в Яндексе? Последовательность действий по склейке зеркал будет зависеть от текущей ситуации с зеркалами, ее надо выяснить прежде всего и здесь нам поможет форма добавления нового сайта – http://webmaster.yandex.ua/addurl.xml. При добавлении сайта в форму делается автоматическая проверка на “зеркальность” и если сайт является не главным зеркалом,…
-
Персональные данные в поисковиках
Дважды за последние пару недель возникали информповоды по поводу индексации поисковыми системами, а вернее речь шла практически только о Яндексе, совсем не публичной информации. Многие при этом склонны обвинять именно поисковики в таком нехорошем поведении, хотя поисковики вполне корректно делают свою работу: можно проиндексировать контент – индексируют. На самом деле разгоняй надо делать админам, архитекторам…
-
Директивы в robots.txt
Минимум три года не отслеживал изменения в применении и директивах robots.txt. За это время и заметки в архиве блога о robots.txt и статья несколько устарели. Из справки Яндекса можно судить об изменениях: обрабатываются спецсимволы “*” и “?”, директива ограничения частоты запросов Crawl-Delay, впервые появившаяся у Yahoo в 2006-м году, как и Allow, а также незнакомая…