Братья GoogleBot-ы

« Яндекс Каталог автоматизируется? | Главная | Google Sitemaps и RSS-потоки »

February 27, 2006

По многочисленным просьбам в продолжение Сказки про роботов Яндекса...

Жили-были Гугльботы - братья удалые,
Не чуралися работы, сайты спайдерили.
Из былины конца прошлого тысячелетия

Давным-давно братья Гримм, а может Брин, а может и не братья вовсе... Нет, с начала. В далеком-предалеком королевстве, а может федерации, а может конфедерации... В общем, за синим морем, буйным океаном, с чистого листа, т.е. Larry Page на местном заморском наречии... Короче!

Долго ли, коротко ли, а добрыми людьми за деньги других добрых людей был построен прекрасный дворец, который нарекли странным булькающим словом Гугл. И поселились в дворце братья Гугльботы. В самом начале был только один брат — самый-самый старший Гугльбот, да его не помнит уже никто, столько поколений сменилось, вон уже и 7-я версия Интернет Испортила не за горами.

А я, детушки мои, припоминаю, как делился дворец на две части и жило два братца с одинаковыми именами, но по разным адресам. Первый был юркий да слаб на память, бегал документы собирал, домой приносил, только пропадали они во дворце со временем, как и не было их вовсе. Звали этого братца за глаза фреш-ботом. Кстати, братец Яндекса I, которого быстрым зовут, уж очень на этого Гугльбота похож, не иначе те же гены...

Второй братец во дворце целый месяц сиднем сидел, в окошко не выглядывал, но как выходил на работу, так сервера под его тяжелым сапогом до самой земли гнулись - все документы собирал, до которых дотянуться мог, все во дворец доставлял. После этого пускался в пляс так, что весь дворец ходуном ходил, документы перетряхивались — одни наверх из самого низу, другие сверху на самое дно, так и называли это время в народе — Google Dance. После этого еще месяц ничего почти не менялось, только фреш-бот метался.

Давно все это было, а как сладко вспомнить — ни тебе соринки, ни тебе песочка!

Многое с тех пор поменялось, братцев сейчас больше стало. Да что там братцев! Дворцов таких по всему свету понастроили, не сосчитать, вон и до Китайской Стены добрались, только полным составом не пускают, велят похабные документы из дворцовых библиотек выбрасывать.

А расскажу я лучше вам, ребятки, про младшеньких братьев, которые и сейчас по сети бегают, не поймаешь!

Гугльбот-Картинка

Этот молодец — знаток живописи, коллекционер. Все изображения, что найдет, в свою часть дворца тащит. У него там такая коллекция, что обзавидуешься, только вот все копии, а за оригиналами надо все равно к людям ходить да разрешение спрашивать. Кто хочет, чтобы его творения во дворец Гугла попали, тот ждет этого братца, а кому кроме рамок и кнопок и показать-то нечего, да трафика заморского жалко — можно этому братцу шепнуть волшебное Disallow, чтобы обходил он сервер родимый десятой дорогой. Кличут его по паспорту Googlebot-Image.

Мобильный Гугльбот

Заглядывал как-то ко мне этот братец, с порога сказал, что его зовут Nokia, да только как в профиль повернулся, так я его сразу и признал — из Гугльботов будет! Имечко его полное не выговоришь, может действительно из Финляндии? А во дворце его Google-Mobile кличут.

Партнерский Гугльбот

Этот братец из купцов будет, работает с теми, кто дворцовую рекламу показывает. Помогает рекламу получше подобрать, потому как доход с рекламы и дворцу идет, не без этого. Так что это дворцовый рекламный управляющий, но людям помогает — где плакатик рекламный подберет, где гвоздики подержит. Одно плохо — кроме рекламы ничем не интересуется, не попадают от него документы в общую кучу, хоть тресни. Зовут его по паспорту Googlebot-MediaPartners.

Фидодоставальщик

А этот братец Гугльботам скорее двоюродный, чем родной, да и зовут его хитрО - FeedFetcher. Во дворец он ничего не носит, в общую кучу не кладет, только если его люди попросят, то он по нужным серверам будет прохаживаться, да XML-и с RSS-ами подергивать. Простой и предсказуемый братец, только вот robots.txt он не читает, куда сказали, туда и идет, потому как по просьбе людей, а не по приказу из дворца. Ох, помню я, была похожая история с братцем D Яндекса, до сих пор ему бедному, поди, икается!

Новостной Гугльбот

Этот братец по новостям специалист, близнец старшего брата, по имени даже не отличишь, только и можно его узнать, что по хитрому прищуру глаз, да как он по дому ходит, да какие документы берет. Видали мы его, хоть и прятался за братца старшего! Правда не вчера дело было, год уже минул.

И жили они долго и счастливо!

Вот такие вот, детки мои, Гугльботы-обормоты — ходят промеж людей, да не все их видят, не все понимают, но мы с вами их теперь распознаем среди запутанных логов да серверных статистик. И не пустим к себе кого не нужно, а кто нужно к нам с большущим удовольствием захаживать будет! Быстро сказка сказывается, да не быстро логи парсятся. Может я из Гугльботов и забыл кого, так вы не стесняйтесь, бросайте ссылочки, пишите отзывы!

Кто там у нас следующий на очереди, а?

Отправлено Cherny в February 27, 2006 10:10 AM

February 27, 2006