Архитектура Google

Автор спустись с небес на землю.

Так кластер и состоит из таких компьютеров, которые 120-130W. Вот еще цитатака, это из главки "The power problem" (http://labs.google.com/papers/googlecluster-ieee.pdf), можете взглянуть.

A mid-range server <...> draws about 90 W of DC power under load. <...> With a typical efficiency of about 75 percent for an ATX power supply, this translates into 120 W of AC power per server, or roughly 10 kW per rack. A rack comfortably fits in 25 ft2 of space, resulting in a power density of 400 W/ft2.

То есть этот кусок, поскольку в нем так много конкретных данных, я перевел почти буквально из описания Google Labs. Как я понял, в кластере сервера все-таки плотнее стоят, чем обычно в дата-центрах. Конкретно про Equinix не знаю.

>я прочитал все и говорю что спустись с небес на землю.
>все это твои домыслы, в реальности все совсем подругому.

Ну и расскажи нам как же там все по другому?!!! Я то же могу сказать что все не так как написал автор, а на самом деле даже не именть понятия как действительно устроен гугл.
Не нужно общих фраз! Не в детском саду... Факты пожлауста и ссылки. А пока их нет, то убедительно прошу не нужно писать: "...в реальности все совсем подругому(ТОЧКА)"

"typical power density for commercial data centers lies between 70 and 150 W/ft2, much lower than that required for PC cluster"

вот эта фраза звучит вполне понятно, потому что в предложении есть "much lower than that required for PC cluster".

у вас же написано:

"Обычному серверу требуется около 100W, при стандартном КПД блоков питания в 75% получается, что на вход нужно подавать 120–130W. Серверная стойка занимает около 2.3 m2, следовательно..."

по вашему тексту получается в Equinix (например) стоят НЕ обычные серверы (потребляют мало), а гугла обычные (потребляют много)? В добавок, абзацем выше Вы как раз рассуждаете на тему "обычности" серверов гугла и тут же пишите, что их "нельзя ставить" в обычном ДЦ. Я думаю, мысль моя понятна.

я придрался не к конкретным цифрам, а к тому что не логичные рассуждения у вас получаются.

У всех СЕ есть такая штука как кэш.
И гугл не будет в стотысячный раз после запроса "sex" заново мучить свои сервера, а просто выдаст результаты поиска из кэша.

Откуда вообще это взято ? Google давал интервью ? Домыслы ? Аналитика ?

http://www-db.stanford.edu/%7Ebackrub/google.html

Действительно, какие-то домыслы построенные на разных слухах и отчетах пяти-восьмилетней давности.

uni, в первых абзацах немало самоиронии, все содержание статьи дальше. Читали?

Демократ
Источник информации? В описании GFS нет ничего подобного.

Виктор
Я выложу список источников чуть позже, если интересно. В основу легли описания от самого Гугла.

Максим, никаких слухов не использовалось. У меня есть старые источники, но они описывают архитектуру в самых общих чертах и, по моему мнению, остаются релевантными. Если у вас есть другие сведения, поделитесь. Основная информация довольно свежая.

Alex Azarov, в том то и дело, что старые или в общих чертах, поэтому не стоит в утвердительном тоне говорить, что в google так устроено сейчас.

Максим, посудите сами. Вот библиография статьи:

1. Barroso L., Dean J., Hoelzle U. Web Search for a Planet: The Google Cluster Architecture. 2003 // Google Labs (http://labs.google.com/papers/googlecluster-ieee.pdf)
2. Brandt D. Is Google broken? 2003 // Google Watch (http://www.google-watch.org/broken.html)
3. Brin S., Page L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. 1998 (http://www-db.stanford.edu/~backrub/google.html)
4. Dean J. MapReduce: Simplified Data Processing on Large Clusters. 2004 // Google Labs (http://labs.google.com/papers/mapreduce-osdi04.pdf)
5. Ghemawat S., Gobioff H., Leungh S. The Google File System. 2003 // Google Labs (http://labs.google.com/papers/gfs-sosp2003.pdf)
6. Kuchinskas S. Peeking Into Google. 2005 // Internetnews.com
7. LaMonica М. Google's secret of success? Dealing with failure. 2005 // News.com
8. Tristan L. How many Google machines. 2004 (http://www.tnl.net/blog/entry/How_many_Google_machines)

Спекулятивными из них являются только два: [2] я привожу, потому что там есть наглядное описание работы inverted index, [8] - чтобы дать пример недостоверных методик подсчета количества серверов.

В основе - работы сотрудников Гугла [1], [3], [4], [5]. Все они, кроме одной, датируются не раньше чем 2003 годом. Работа 1998 года - уже классика жанра, не рассматривать ее было бы странно. Оттуда взяты наиболее общие вещи, которые, как я уже говорил, мне кажутся достоверными по сей день.

Эта статья не оригинальная, просто популярный пересказ того, что можно спокойно прочитать в официальных англоязычных источниках, в этом есть плюсы и минусы. Плохо то, что нет никаких самостоятельных исследований и открытий, нет оперирования разными версиями и слухами. Плюсом является как раз отсутствие спекуляций. Странно поэтому, что именно в спекуляциях меня обвиняют уважаемые читатели. :)

я прочитал все и говорю что спустись с небес на землю.

все это твои домыслы, в реальности все совсем подругому.

Да, забыл сказать. [6], [7] - это статьи, написанные после встречи с вице-президентом Гугла. Они написаны в текущем году, и в них нет ни единого противоречия более ранним источникам...

uni, может быть. Достоверность информации оставляю на совести Google Labs (см. коммент выше). Может быть, все не так, как они рассказывают, но я не нашел пока источников лучше.

Пожалуй, правильно было бы привести источники сразу, в теле статьи, это сняло бы вопросы и, надеюсь, обвинения про витания в облаках. :)

GFS - это файловая система. Можно сказать, самый нижний уровень. Основная часть статьи пришлась именно на него.

Т.е. если упрощенно рассматривать уровни:
1. веб-интерфейс (внешний вид)
2. кэширующая прослойка различных модулей
3. приложения (поиск, реклама и т.п.)
4. прослойка кэширования данных приложений
5. кэш файловой системы
6. файловая система GFS
7. операционная система
8. железо

Но это только одна небольшая часть системы. Упомянутый выше кэш для sex здесь на втором уровне.

Если оценивать уровни по их "вкладу" в общее дело, то на первые 4 уровня уходит основная часть всех ресурсов.

Кроме того, в схеме, пожалуй, самая интересная часть - реализация работы распределенных приложений (3 и 4 уровни).

После того как гугль более-менее стал большим и взрослым и они пригласили хороших умных людей типа Пайка, эти люди рзработали и поставили универсальную систему управления и выполнения распределенными операциями. Честное слово, это более крутая вещь, чем GFS.

все вы тут некомпетентные, непрофессиональные люди. и автор, и комментаторы. стыдно за вас

Господа, особенно uni и внимательный читатель!
Если вы обвиняете автора в неправильном изложении существующих вещей - напишите как есть на самом деле. И не забудьте дать источники информации.
Благодарю за внимание.

зачем, sheller?

100000 (сто тысяч!) не меньше?!
и каждый выделяет тепло, много тепла от высокой нагрузки. .... хм, теперь понятно .... спасибо Гуглу за вклад в Глобальное Потепление.
Кстати, как Вам зима? Следующая будет еще теплее?!

sply и Демократ, спасибо, буду копать. :) Думаю, и та часть, что изложена в статье, будет многим небезынтересна.

действительно... интересная научно-популярная статья...
пусть даже в гугле устроено все по другому, но статья дает приблизительное представление о том, как устроены поисковые системы...

спасибо автору, продолжайте тему, если есть еще о чем написать... а "прАфИссионалы" могут пойти на специализированные ресурсы и там побрызгать слюной :)
тут все-таки вебпланета, со своим форматом...

цитата: "серверная стойка занимает около 2.3 m2, следовательно, на каждый квадратный метр требуется 4500W. При использовании более мощных машин плотность достигает 8000 W/m2. При этом стандартная плотность, которая предлагается коммерческими датацентрами — от 700 до 1800 W/m2."

ага, а "коммерческие дата центры" размещают серваки в каких-то особых стойках, да? в таких что им 1800W/m2 хватает? БРЕД. ДЦ гугла ничем не должен отличаться от тогоже Equinix'a.

al, выжимка из [5]:

Unfortunately, the typical power density for commercial data centers lies between 70 and 150 W/ft2, much lower than that required for PC clusters. As a result, even low-tech PC clusters using relatively straightforward packaging need special cooling or additional space to bring down power density to that which is tolerable in typical data centers.

Выглядит вполне правдоподобно. Я бы сторил поисковик примерно также.

Аффтар, слухай Юни. Он дело говорит.
Он знает жизнь, ты понял?
Неважно, сколько там кластеров и серверов у гугля и как они работают. Главное, что юни может скоммуниздить у него гору трафика на дорвеях и перепродать его.
Это главное, ты понял? Спустись на землю чувак.

uni,
поражает скорость, с которой ты прочитал все 8 статей: от момента ссылки на них (05.12.2005 17:08) до твоего ответа (05.12.2005 17:10) прошло две (!) минуты!
А также быстро можешь указать еще 8 статей о google , которые ты прочитал ранее (это на случай, если заявишь, что по названиям они тебе уже знакомы)?
Совет тебе, uni: говорят, что от юношеских прыщей помогает clearseal.

Новое средство Склеросил - забудь о прыщах!

а еще говорят что выебываться меньше надо, а то долго не проживешь? продолжим обмен любезностями?

То, на что у него есть ссылки я читал, так же как и кучу остального и что?

Круто, особ про "системы охлаждения стояка с 80 серваками дешёвой цены".

Ничего нового.

Гугл индексирует раз в месяц, скоро появятся конкуренты.

Набери "To be or not to be" (без кавычек), и нажми кнопку "I'm feeling lucky"...

Are you HOT or NOT!!!

(Try the same with word "failure"!!! Press the button "I'm feeling lucky")

http://en.wikipedia.org/wiki/Google_bomb

http://labs.google.com/papers/mapreduce-osdi04.pdf

- this is smth emerging...

баян прошлогодний, и статья и обсуждение:
http://forum.computerra.ru/?board=comments;action=print;num=1081478084

А где статьи со ссылками которые я видел ночью? Куда делись?

Это спам, удалили.