« May 2006 | Главная | July 2006 »
June 22, 2006
Google добавляет в хелп секцию о robots.txt
Неделю назад в раздел Как Google сканирует мой сайт справки для вебмастеров добавлена секция Использование файла robots.txt, в частности такие вопросы как:
- Как создать файл robots.txt?
- Список различных агентов Google для строк User-agent, тут же описывается директива Allow, которая исключительно в Гугле и работает
- Использование шаблонов (символов подстановки), опять же, только в Гугл
- Как часто перезапрашивается robots.txt - раз в день
Хотя в некоторые статьи, так сказать, засрались очепятки. А именно в примерах следует отделять записи для разных роботов пустой строкой, как это записано в англоязычной версии этой же страницы. А вот в немецкой, испанской, русской и других версиях пустой строки не обнаруживается. Так что документацию следует читать на языке оригинала или периодически с оригиналом сверяться.
Неделю назад также появилось сообщение, что форма проверки robots.txt в Google Sitemaps выдает ошибку, если объем файла превышает 5000 символов. Это может быть как особенностью реализации формы проверки, так и оограничением робота при обработке файла исключений. Мне сложно представить даже довольно большой сайт, для которого надо писать почти 5-ти килобайтный robots.txt, это ж сколько всего запретного сгенерить надо! :)
Отправлено Cherny в 3:30 PM
June 21, 2006
Если бы веб-сайты были пультами ДУ
Если бы веб-сайты были пультами дистанционного управления. Google
Yahoo!
Больше здесь
Отправлено Cherny в 9:28 AM
June 20, 2006
Расписание матчей в новостях Яндекса
Вчера в новостях Яндекса:
Ниже в этой теме много новостей про то, что бин Ладен будет болеть за сборную Саудовской Аравии в матче со сборной Украины, так что такая иллюстрация там не случайна.
Ну а сборную Украины ждет еще матч со сборной Туниса 23-го июня, в котором тоже надо выигрывать, чтобы выйти из группы.
Отправлено Cherny в 9:25 AM
June 15, 2006
ЧМ 2006 и поисковые системы
Поисковики по разному обыгрывают Чемпионат Мира по футболу в Германии.
Яндекс
На главной странице Яндекса опубликована ссылка на соответствующую ветку новостей, кроме этого в телепрограмме отдельным блоком трансляции матчей со временем и кратким анонсом.
Рамблер
Рамблер просто запустил отдельный проект FIFA-2006.
Если в Google ввести через пробел два названия стран, сборные которых играли в недавнем времени, то он просто выдаст счет матча, а также время следующего ближайшего матча одной из команд. По такому запросу, например, можно убедиться, что вчерашний матч нашей сборной не приснился мне в кошмарном сне! Хотя чуда ждать, конечно, не стоило...
Отправлено Cherny в 10:03 AM | Комментарии (2)
June 7, 2006
Новый поиск на i.ua
Новое -- это хорошо забытое старое.
В свежевыпущенном поиске на i.ua явно просматриваются черты бигмировского поиска. Ничего революционно нового в И-УА поиске я не наблюдаю, кроме случаев тупого игнорирования правил robots.txt, за что уже следует сильно надавать по шапке как минимум роботу!
Update: подробности и замечания можно оставлять в теме на SE.ru.
Может это таки новая версия поиска? Надо будет сравнить результаты выдачи.
Отправлено Cherny в 12:10 PM | Комментарии (1)
June 6, 2006
Комментарии
В связи с неиссякающим потоком спама в комментариях я их временно закрыл, до выяснения.
Отправлено Cherny в 10:18 AM
