« March 2007 | Главная | May 2007 »
April 19, 2007
Зачем Мэту Каттсу вести блог
Мэтт недавно объяснил, зачем он ведет блог:
- Чтобы можно было не объяснять одно и то же n-дцать раз, а просто сослаться на запись в блоге;
- Чтобы понять, как это — быть вебмастером;
- Чтобы был сайт, над которым команда индексации/качества могла поиздеваться и проверить некоторые алгоритмы или определить проблему;
- Чтобы можно было задать вопрос читателям блога, если чего-нибудь не знаешь;
- Поделиться фотографиями своих котов (домашних любимцев :)
Отправлено Cherny в 10:25 AM | Комментарии (3) | TrackBack
April 17, 2007
Sitemaps просачивается в robots.txt
Вот сколько раз думал закрыть тему robots.txt, да никак не дадут!
Как многие уже успели отметить, большая западная четверка (Google, Yahoo!, MSN и Ask) приняли протокол Sitemaps, а в рамках протокола механизм Auto-Discovery, позволяющий роботам найти файлы Sitemaps самим, а не ждать сабмита от вебмастеров. Данный механизм подразумевает добавление в robots.txt директивы Sitemap, в значении которой указывается полный путь к файлу, примерно так:
Sitemap: http://webartsolutions.com/sitemap.xml
Эксперты отмечают, что:
Яндексу достаточно включить поддержку Sitemap XML и это станет стандартом де-факто и в Рунете.
Я помню дискуссию Артема Шкондина с сотрудниками Яндекса при добавлении обработки директивы Host, в частности Артем указывал, что данная директива будет непонятной, поскольку указывается главное зеркало, а не запрещаются второстепенные, формат записи приводит сразу к нескольким возможным ошибкам в записи директивы и т.д. Во многих случаях, кстати, ошибки имели место быть.
Представители большой четверки наступили на те же грабли — добавили в robots.txt еще одну неоднозначную директиву. Представим себе, как будет выглядеть запись для Яндекса в robots.txt, если Яндекс добавит поддержку Sitemaps:
User-agent: Yandex
Disallow: /dir/
Disallow: /file.html
Host: webartsolutions.com
Sitemap: http://www.webartsolutions.com/sitemap.xml
Ужасно! Что же оставется делать среднестатистическому вебмастеру? Обращаться к robots.txt-writer'у, скоро появятся такия, знающие особенности применения Allow, Crawl-delay, Host и символов подстановки. К тому времени еще какие-нибудь директивы добавят и оформят версию 2.0 протокола исключений.
Однако, как правильно заметил Филипп, пока нет смысла тратить дополнительное время на создание файла Sitemap, поскольку поисковики и так нормально находят страницы по ссылкам, а в выражении «поисковая оптимизация глубокого веба» маловато смысла.
И напоследок, некоторую мою активность по переводу протокола Sitemap на русский можно считать завершенной, в связи с появлением русскоязычной версии на официальном сайте.
Отправлено Cherny в 11:11 AM | Комментарии (1) | TrackBack
