« November 2006 | Главная | January 2007 »
December 29, 2006
Sitemaps на русском
А вот и подарок номер два! В связи с тем, что технология Sitemaps перестала быть только Google, а стала общей инициативой Google, Yahoo и MSN, я решил перевести документы по стандарту на русский язык. Итак, русская версия протокола Sitemaps 0.9! К сожалению из-за начавшихся провожаний старого года не успел полностью перевести FAQ, но за оставшиеся три дня постараюсь все-таки его добить.
Некоторые пункты протокола у меня вызвали некоторое недоумение, в частности настоятельная рекомендация размещать файлы Sitemaps в корневой директории сайта, а при размещении в каталоге игнорирование адресов вне этого каталога. Ну да ладно!
Да, документация еще не вычитана, так что если обнаружите ошибки или просто опечатки - стучитесь, буду исправлять.
Отправлено Cherny в 10:57 AM | Комментарии (2)
December 28, 2006
Непрозвучавший доклад о robots.txt
Вот и подкрался к нам Новый Год! Как и полагается, у меня назрела парочка подарков всем читателям блога, хотя, в первую очередь, себе самому. Итак, подарок номер раз!
На ноябрьской конференции Поисковая оптимизация и продвижение сайтов в интернете я присутствовал в том числе и как докладчик, правда докладчик несколько виртуальный. Я не читал доклад со сцены, поскольку, во-первых, не было сильного желания этого делать, а во-вторых, доклад о такой специфической штуке, как robots.txt, больше половины аудитории просто не восприняла бы. В программе конференции этот доклад также не фигурирует, хотя Михаил Козлов обещал выложить презентация, а вот в сборнике материалов конференции мое произведение есть, так что участники могли там его прочесть.
Сейчас я выложил полный текст доклада, так что встречаем — robots.txt: стандарт, расширения, аспекты применения! А для полноты картины и презентация (392k).
Своим докладом я хотел подвести некоторую черту под вопросами о robots.txt, его формате и применении, тем более некоторое время назад появился неплохой справочный ресурс по robots.txt на русском языке. Есть еще очень много интересных тем для обсуждения и изучения, но об этом чуть позже...
Отправлено Cherny в 10:48 AM | Комментарии (2)
Нерепрезентативные цитаты
В статье об измерении российской интернет-аудитории поставили ссылку на наш опрос двухмесячной давности об инструментах измерения аудитории и системах статистики. За ссылку спасибо, конечно, только только вот со следующим утверждением можно и поспорить:
поскольку не все площадки «пускают» измерителей к себе, результаты считают нерепрезентативными
Рамблер и РБК к себе тоже не пустили к себе TNS, однако ему просто больше верят по сообщениям анонимного источника:
«Нет сомнений, что ROMIR попытается договориться с «Рамблером», РБК и прочими, но ROMIR у рекламодателей не так влиятелен, как TNS»
На круглом столе представители TNS назвали нерепрезентативными данные исследования Гемиуса в контексте аудитории отдельных проектов, но справедливо это утверждение только для небольших сайтов, среди посетителей которых мало заполнявших анкеты людей.
Что ж, у представителей столь известных компаний в Украине будет еще возможность подискутировать на эту тему.
Отправлено Cherny в 1:37 AM | Комментарии (1)
December 20, 2006
Контент и ссылки - два кита поискового продвижения
Контент и ссылки являются основными составляющими успешного поискового продвижения веб-сайтов. Ссылки входящие, конечно же! Там, где присутствует качественный контент, там с большой вероятностью появляются хорошие входящие ссылки, а сейчас, во время процветания различных веб-сервисов, можно утверждать и обратное: там где присутствуют ссылки, может появится и контент, но не факт, что качественный. И то, и другие, возможно только при наличии аудитории.
Но вернемся к ссылкам и контенту. Сотрудники Гугла после посещения профильных оптимизаторских и вебмастерских мероприятий и дискуссий, как у нас принято говорить, в кулуарах, решили ударить блогопробегом как по ссылкам, так и по контенту и вопросу его дублирования.
Ссылки
В первом посте рассматривается вопрос, как же лучше получать на свой сайт массив входящих ссылок — медленно наращивая его за счет качественного контента и грамотной стратегии продвижения или быстрыми темпами за счет применения не слишком чистых приемов и покупки ссылок. Примечательно, что покупка ссылок в данном посте явно приравнивается к спаму:
link spamming tactics such as buying links
Опуская обычные для таких случаев ссылки на руководство для вебмастеров, отметим следующие момент — Google существенно изменил алгоритм взвешивания ссылок, кроме этого несколько человек брошены на улучшение эффективности алгоритма. Я бы предположил добавление нескольких коэффициентов для довзвешивания ссылок, причем эти коэффициенты должны отличаться, например, для соседних ссылок на одной и той же страницы. Сообщается также о практической бесполезности взаимных ссылок, то есть прямого обмена, но это и так все знают.
В качестве рецепта рекомендуется использовать социальный веб для построения массива входящих ссылок. Хотя мне кажется, что социальный веб вполне себе освоил nofollow.
Кстати, алгоритм отлова нетематических невзаимных ссылок Игорь Ашманов нарисовал на листике бумаги во время фуршета на конференции, все довольно просто, надо отслеживать одинокие связи между "клубками" графа ссылок. Правда мне становится не очень хорошо, когда я пытаюсь представить ты часть ссылочного графа Яндекса, где сосредоточены коммерческие тематики.
Контент (дубликаты)
Во втором посте Адам Ласник дает определение дубликатам (duplicate content) и как обычный вебмастер может бороться с появлением таких дубликатов. Дубликаты - это блоки контента в пределах одного домена или ряда доменов, которые в точности соответствуют или сильно схожи на другие блоки контента, расположенные в других местах. Темы форумов в различных вариантах просмотра, сортировка списков, каталоги товаров, которые хранятся и, что намного хуже, линкуются по разным адресам (саттелиты не напоминает?)
Борется Гугл с дубликатами при помощи специальных фильтров при формировании результатов поиска, попытками отсеить версии для печати, корректировкой алгоритма индексации ресурсов, уличенных в дублировании и т.д.
Что же может сделать вебмастер? Некоторые методы я описывал в докладе о технических аспектах в поисковом продвижении, а вот что предлагают в Гугле:
- Изначально блокировать индексацию второстепенных страниц
- Использовать 301-й редирект при реструктуризации сайта для перенаправления на новые версии страниц
- Не генерить множество различных ссылок на одни и те же страницы
- Использовать домены второго уровня
- Понимать как работает CMS-сайта
И еще ряд рекомендаций...
Поскольку это все-таки запись в блоге, а не статья, то я здесь поставлю точку и пойду спать без ломания мозгов и формулирования выводов.
Отправлено Cherny в 1:03 AM
December 19, 2006
Полное запрещение индексации сайта
Сбылась мечта и... В общем, потребовалось на одном проекте полностью запретить индексацию поисковыми системами, от корня!
Нет ничего проще, две строчки в известном файле были прописаны 7-го декабря:User-agent: *
Disallow: /
Все поисковики ведут себя относительно прогнозируемо. Рамблер, например, проводит проверку запрещающих правил проиндексированным адресам раз в неделю, как правило на выходных, поэтому до выходных можно запрещать Рамблеру любые адреса из ранее проиндексированных и это ни на что не повлияет, они даже будут переиндексироваться, но на выходных карета превратится в тыкву, кони — в мышей, StackRambler сверится с актуальным robots.txt и выкинет все лишнее из базы.
Интересно ведет себя Google. После изменения robots.txt новые адреса, конечно, не индексируются, а уже известные — не переиндексируются заново, однако Гугл прикидывается шлангом и из индекса страницы не удаляет, там лежат сохраненные копии от 5-го декабря и ранее! Более 6 тысяч успешно сохраненных страниц! Хотя для Гугля это скорее правило, буквально на прошлой неделе я имел счастье лицезреть кеш страницы в дополнительном индексе (Supplemental Results) от середины апреля, причем всем роботам было запрещено индексировать страницу где-то в начале мая.
Таким образом Гугл интерпретирует запрещающее правило в robots.txt как запрет индексации и переиндексации, но не как требование удаления уже проиндексированной страницы из индекса.
Отправлено Cherny в 12:59 AM
December 14, 2006
Индексация и GoogleBar
Насколько я помню, пару лет назад существовало несколько базовых оптимизаторских заповедей, что-то вроде guideline. Среди прочего в этих ответах было утверждение, что Гугл не добавляет новые страницы в очередь на индексацию при помощи своего тулбара. На днях появились подробности о недавнем споре немецкого блоггера Филиппа Ленссена и сотрудника Google Мэтта Каттса о возможности индексации страниц при помощи тулбара.
Филипп предположил, что страницы могут индексироваться, поскольку для отображения в тулбаре значения PageRank в Гугл отправляется специальный запрос, в котором фигурирует адрес страницы. В случае отсутствия такого адреса в индексе, вполне возможно сразу же поставить его в очередь на индексацию:
it might be possible the Atom feed is now indexed via e.g. the Google Toolbar (which is known to get pages into the Google index even when those pages are unlinked)
...Google knows the URL of every page you visit if you enable the Google Toolbar advanced options, as it will send the URL to Google to check for the URL's PageRank. It was my understanding this also gets the page indexed
Мэтт там же ответил, что такое навряд ли возможно и попросил дать знать, если эта гипотеза подтвердится:
I don't believe that part in parentheses is true; let me know if you've got a source for that and I'll go and comment there..
В результате Филипп поставил несложный эксперимент: разместил у себя на сайте страницу с уникальным текстом, на которую не было внешних ссылок, после чего заходил на эту страницу браузером с установленным тулбаром просто набирая URL в адресной строке. Страница была создана в августе и до сего момента не находится по уникальному запросу.
В результате эксперимента было подтверждено, что страницы без каких-либо входящих ссылок не попадают в индекс Google только благодаря их открытию в браузере с гугл баром.
В обсуждении эксперимента всплыл еще один интересный вопрос: человек воспользовался стандартной формой добавления, но добавленная страница так и не появилась в индексе. Мэтт заметил, что они не гарантируют попадание в индекс страниц, адреса которых были получены с помощью формы добавления. Хотя сенсации из этого факта делать не стоит, я сталкивался с особенностями добавления страниц в индекс Google еще 6 лет назад, когда только начинал постигать азы, а тогда и деревья были выше, и трава зеленее, и роботы медленнее, и апдейты реже...
Я повторю эксперимент по включению в индекс страниц с помощью тулбаров, правда с некоторыми корректировками, тем более что есть еще один известный тулбар, с участием которого в индексации уже довелось сталкиваться! :)
Отправлено Cherny в 2:01 AM
December 13, 2006
Запустился Google News на русском
Я давно этого ждал — Google News уже на русском! Обрабатывается 400 новостных источников, что для старта вполне достаточно. Посещаемость новостного сервиса — 1% посетителей всех сервисов Google, а учитывая популярность сервисов Google по сравнению с другими российскими порталами, можно предположить не слишком большую аудиторию сервиса. Но это только начало.
Отправлено Cherny в 10:37 AM
December 6, 2006
Мифы американских оптимизаторов
Недавно наткнулся на список мифов американских оптимизаторов, в отличие от мифов российских оптимизаторов, о которых рассказывал Сергей Людкевич в своем докладе на конференции. Привожу вольный перевод нескольких мифов.
Контент — это само главное. Представляю, сколько людей, потративших хотя бы 10 минут в области Seo, просто тошнит от этой фразы. Даже несмотря на то, что это правда.
Я на 100% белый оптимизатор! Да, конечно, я покупаю ссылки, временами спамлю блоги, пишу текст белым по белому в подвале страницы, но все остальное…
Я черный оптимизатор. мои сайты зарабатывают 10$ в месяц на AdSense (в сумме), я все еще стараюсь, чтобы забанили мой первый сайт, но ведь это звучит намного сексуальней, чем просто «белый оптимизатор»
Мэтт Каттс — правительственный шпион. Нет, просто нет. Он сотрудник Google — вот это правда.
Мэтт Каттс однажды сказал. Ели ты это не проверил собственным экспериментом, чтобы подтвердить свою гипотезу, то выражение «Мэтт Каттс сказал» или «Googleguy сказал», не имеет решающего значения.
MSN / Yahoo! / Google — отстой! скорее всего они «отстой» потому, что не дают трафик на твой сайт, а вот когда сайт подправить и трафик пойдет, то они резко становятся «крутыми».
Мой сайт забанен или пессимизирован. В 9 случаев из 10 сайт не забанен и не пессимизирован, просто недостаточно весомых тематических ссылок на него, а поисковики становятся разборчивее при учете ссылок.
Я ненавижу Веб 2.0 Скорее всего ты ненавидишь его плхое определение и неудовлетворительное применение, а не потому что ты ненавидишь такие вещи, как RSS потоки, AJAX, чистый и приятный дизайн.
Я думаю стать белым оптимизатором. один большой сайт забанили, а ты подумал, что тяжелая работа, уникальный контент, часы трудов более привлекательны, чем состригание сотен долларов за день после 3-х часов сидения перед компьютером ночью.
Самое интересное, что часть мифов можно переложить на рунет практически без изменений, например «Рамблер — отстой» или «Александр Садовский однажды сказал». Зато фразу «Контент рулит» в рунете я почти не слышал, а вот «Жирные ссылки с морд»… Впрочем это вы и без меня знаете!
Отправлено Cherny в 11:21 PM | Комментарии (1)
Google переводит с английского на русский
В русскоязычной версии Google появились ссылки «Перевести эту страницу», если страница в результатах поиска на английском, по ссылке пользователь переходит на страницу, переведенную на русский «на лету».
Отправлено Cherny в 4:03 PM
December 1, 2006
SiteMaps для новостей Гугля
Ну вот и зима, пусть в прошлом остаются густые и мутные туманы, свинцовые тучи, осенняя депрессия и дорожная грязь. Где тот мороз и солнце, и день чудесный? А в это время где-то за границей…
Учимся говорить просто Sitemaps (пока) 0.9, а не Google Sitemaps, как раньше. Теперь можно при аудите простукивать еще файлик sitemaps.xml в корне сайта.
После подключения Sitemaps к Google.News стало совсем интересно! Хотя, конечно, отсутствие последних для России и Украины делает интерес скорее академическим, нежели практическим, тем более Sitemaps в новостях работает только в англоязычной части. Тем не менее: появилось описание работы сервиса с указанием ошибок обработки новостных сообщений для Google News.
При отсутсвующем русскоязычном сервисе хелп для него есть и из него можно узнать следующее:
Title not found (заголовок не найден) — из справки узнаем, что на странице отсутствует тег title с заголовком новости, кроме этого рекомендуется заголовок повторить на видном месте страницы, например в h1, сам заголовок должен быть не слишком коротким и не слишком длинным — от 2 до 22 слов. Так что заголовок новости "Поехали!" делать не стоит.
Article disproportionality short (статья непропорционально короткая) — из справки становится ясно, что текст самой новости составляет слишком маленькую часть всего контента страницы, так что нельзя делать короткие новостные сообщения.
Article fragmented (статья фрагментирована) — из справки: текст статьи не группируется в абзацы, а состоит из отдельных предложений.
No sentences found (не найдено ни одного предложения) — справка повторяет текст ошибки другими словами, а в источнике можно найти такую страницу.
Вот чем мне нравится Google News, что есть технические требования к разделу новостей, есть требования к контенту и верстке, а вот ссылки никакой роли не играют! :) Ну так это и не полностью машинный поиск - решение о включении ресурса в список новостных источников принимает модератор.
Когда Гугл будет заморачиваться с запуском новостного сервиса на русскоязычную аудиторию, когда будет у него достаточно этой аудитории или после решения более насущных вопросов?
Отправлено Cherny в 1:12 AM | Комментарии (1)
