« Google Suggest Firefox extension | Главная | Бритни и физика полупроводников »
March 10, 2005
Как работает Google
Известно, что Google использует в своих датацетрах дешевые сервера вместо дорогих 8-ми и более процессорных high-end серверов. Основная фишка – заставить это множество машин работать совместно и исключить ситуации, когда отказ одного сервера может нарушить выполнение операции. Здесь сразу вспоминаются «выпадения кластеров» Яндекса!
В Гугле разработано специальное программное обеспечение для управления серверами. Специальная файловая система Google File System, оптимизированная для работы с 64-х мегабайтными блоками данных, изначально подразумевала сбои оборудования.
Данные сохраняются в трех экземплярах, специальные сервера обеспечивают доступ к копиям, если основные данные недоступны. Кстати, инженеры Гугля обзывают блоки данных shards (черепки, осколки).
Сервера работают под управлением Red Hat Linux, но с переработанным ядром.
Менеджер задач Global Work Queue занимается разделением задач и распределением их по серверам.
Не совсем понял, для чего используется MapReduce . Вроде как для автоматизации восстановления программы после сбоев:
Google's programming tool, called MapReduce, which automates the task of recovering a program in case of a failure, is critical to keeping the company's costs down.
Отправлено Cherny в March 10, 2005 4:45 PM
