« March 2006 | Главная | May 2006 »
April 26, 2006
Местные новости
А в это время в городе Киеве...
На фоне конференций и откровений по поводу кеширования процесса индексации организаторы киевской конференции изменили программу таким образом, что я встрял туда со своим докладом. Правда возникло несколько вопросов:
- Что лучше рассказывать? На текущий момент заявлен доклад про RSS, могу рассказать как принимать роботов поисковых систем у себя на сайте и чего от них ждать, в очередной раз собрать в кучу технологические вопросы, которые приходится решать при проектировании и перепроектировании сайтов, может еще что-нибудь...
- Найдутся ли люди, которые будут слушать секцию о поисковой оптимизации, когда параллельно будет выступать Антон Носик?
- Стоит ли в принципе читать доклад и отвечать на вопросы? Можно ограничиться заочным участием с публикацией доклада в материалах, но без выступления.
Пишите в комментариях или в личку.
Ну и некоторое время назад я заимел корпоративный адрес почты на Liga.Net.
Отправлено Cherny в 9:37 AM | Комментарии (1)
April 25, 2006
Google: кеширование при индексировании
А в это время где-то за границей...
Владимир Путин: мы цены на газ для Украины не из носа выковыривали.
Украинская правда: В. Путин выковыривал цены на газ не из носа
Все наперебой ссылаются на Мэта Каттса и говорят, что Гугл использует данные, полученные из тулбара для дополнительного рейтингования результатов поиска. Мэт этого не отрицает, мол, можем и использовать. Конечно могут и конечно используют! Не даром же еще года три назад в тулбаре можно было включить две кнопки-смайлика и голосовать за определенные страницы.
Только использование таких данных на выдачу практически не влияет, поскольку легко накручивается, как, например, зависимость позиции в Яндексе от количества страниц со словом запроса на определенном сайте. В случае с тулбаром достаточно было бы обязать пару сотен секретарш, грузчиков, уборщиц по два три раза давить нужный батон тулбара на страницах корпоративного сайта, а в случае Яндекса нагенерить несколько десятков тысяч страниц на сайте с ключевыми словами. Только стоит ли овчинка выделки?!
Кроме этого везде публикуют новости, что робот AdSense занимается, в качестве подработки, пополнением основного поискового индекса.
Вчера тот же Мэт разъяснил, что на самом деле происходит. Здесь стоит остановиться и рассмотреть подробнее, почему после визита специализированных роботов Google страница может появиться в основной базе.
Кеширование
В протоколе HTTP вопросам кеширования отводится далеко не последняя роль. Вопросы взаимодействия систем кеширования, веб-серверов и HTTP-клиентов (браузеров и роботов) занимают не один раздел соответствующего rfc. Так что кеш — это не только ненавистный сквид, с помощью которого системные администраторы режут такие красивые баннеры и не дают качать mp3 другим обитателям корпоративных сетей. Тот же сквид может работать в качестве веб-акселератора, т.е. располагаться не непосредственно перед пользователем, а сразу за веб-сервером. Я помню свои первые опыты с размещением сайтов на серверах украинских провайдеров, когда счетчик Хотлога давал большее число посетителей, чем серверная статистика. Удивительно, не правда ли?!Молодой GoogleBot и большой папочка
Апдейт «Большой папочка», если можно назвать апдейтом infrastructure switchover, должен минимизировать трафик, как для Google, так и для вебмастеров. Новая версия бота с user-agentMozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
поддерживает сжатие контента в gzip при запросе-передаче, что само по себе позволяет в ряде случаев существенно уменьшать исходящий трафик.
Для экономии трафика также была внедрена система, аналогичная веб-акселератору. Веб-акселератор сам отдает пользователю закешированные данные, если они не изменялась, не заставляя веб-сервер заново собирать страницы с вызовом скриптов и соединениями с базами данных.
Точно также и роботы Гугля пользуются услугами кеша. Если основному роботу требуется некий документ, а этот документ пару часов назад уже притаскивал робот AdSense или робот поиска по блогам, то какой смысл заново запрашивать тот же документ? Никакой.
Вот и пользуются роботы разных сервисов закешированными (сохраненными) копиями документов, а кеш в данном случае используется как промежуточная база, моментальный снимок подмножества страниц сайта. Достаточно внимательно рассмотреть схемы 1 и 2.
А со стороны веб-мастера все действительно выглядит так, что робот AdSense занимается пополнением основной поисковой базы.
Отправлено Cherny в 10:41 PM
Конференция интернет и бизнес
Давно не было так много интересного чтива за столь короткое время!
Я о московской Конференции «Интернет и бизнес». Куча отзывов, комментариев, некоторое количество презентаций и фотоотчетов.
Сергей Пасечник собрал ссылки на наиболее значимые мероприятия. Да и сам блог Сергея добавил в правую колонку.
Для себя отметил следующие моменты:
- Объявлено о создании Ассоциации интернет-компаний, в основе которой стоят Яндекс, Рамблер, Mail.Ru и РБК. Для чего это все делается на самом деле, нам из Киева не видать, будем дальше наблюдать.
- По поводу Web 2.0 устроили ток-шоу, Аркадий Волож заговорил по падонковски, а на неплохой доклад времени не хватило.
- Некоторые компании «мерялись аськами», а Роман Иванов из Яндекса »обмерял» блоги.
- В большинстве своем люди конференцией довольны и на «продолжение банкета» билеты надо будет покупать заранее.
Чуть раньше в Вебпланете новым главным редактором стал Руслан Курепин, счастья ему и процветания, его PHP-уроки для меня даром не прошли, а админка мастерхоста не дает забыть стиль мастера!
Все вышесказанное следует вопринимать в ключе анекдота «Эти Битлз так плохо поют, картавят, слов не знают, слуха нет — мне Изя напел»...
Отправлено Cherny в 10:00 PM
April 20, 2006
Поиск Бигмира временно выключен
Тут поступила информация, что поиск Бигмира по Украине временно выключен, пока работает только поиск Яндекса на основе Яндекс.XML
Не ожидал я проблем на Бигмире через такой короткий срок после исхода разработчиков. Значит поиск приходилось постоянно поддерживать в рабочем состоянии, индексация у них точно была после пинка, а не автоматизированная.
Нет ничего более постоянного, чем временное!
Отправлено Cherny в 6:09 PM | Комментарии (1)
April 12, 2006
Яндекс теперь в UA-IX
Яндекс пустил украинский трафик через прокси в UA-IX. Теперь доступ ко всем сервисам Яндекса тарифицируется как украинский трафик.
Помню, как Сергей доказывал, что не настолько критично присутствие Яндекса в украинской точке обмена трафиком, поскольку поиск Яндекса является всего лишь посредником между веб-ресурсом и пользователем. Разве что другие сервисы: почта, лента, новости... У меня дома квоты для украинского и зарубежного трафика разные, как правило именно зарубежного трафика я не добираю, при этом никак особенно себя не ограничиваю, как и супруга, впрочем. Но это уже лирика.
Update: Нашел, где был вопрос и ответ Сергея по этому поводу. Что ж, учет пожеланий пользователей однозначно следует ставить в плюс Яндексу.
Отправлено Cherny в 11:10 AM | Комментарии (1)
April 11, 2006
SEO-эксперименты
И эти люди учат человека, у которого в дипломе написано «инженер-исследователь», ставить эксперименты!
Эксперименты с поисковыми системами — задачи черного ящика. Причем учесть все факторы ранжирования практически невозможно, соответственно, приходится считать эти факторы константами. От апдейтов поисковых систем с «подкруткой» некоторых парметров тоже никуда не уйти, а есть еще фильтры...
И задача становится типично физической, когда строится некая модель, в пределах которой и ставится эксперимент. Про граничные условия предпочитают не упоминать!
А после публикации результатов выкатывают какого-нибудь «Большого Папочку», где «smarter redirect handling»...
Что же касается 301-х редиректов, то Google упорно не хочет склеивать редиректы, ссылки на которые стоят на странице с links в адресе, а Яндекс стал выдавать по тексту ссылки страницу на сайте, где зеркала склеены с помощью подокументного 301-го редиректа, а текст фигурирует в ссылке на вспомогательное зеркало.
Как хотите, так и понимайте!
Отправлено Cherny в 9:28 AM | Комментарии (1)
April 6, 2006
Странный народ дорвейщики...
Сначала человек просит составить ему robots.txt, после чего планомерно проспамливает комментарии практически ко всем постам этого блога, наверное для того, чтобы я ему быстрее ответил (а ведь собирался же помочь).
Написать что ли robots.txt строго по стандарту, да закрыть все от корня, чтобы Googlebot даже не совался?! $-)
Отправлено Cherny в 8:32 AM | Комментарии (4)
April 5, 2006
А весна уже пришла?
Уже выходить из зимней спячки или еще рано?
Сюда в качестве оратора я уже не попадаю...
Пора, наверное, начинать планировать поездку в Москву в ноябре. А стоит ли?
Отправлено Cherny в 8:34 AM | Комментарии (3)
