Статистика и ЦОД: откуда берутся 5 кВт на стойку и почему они не должны вас пугать
Статистика и ЦОД: откуда берутся 5 кВт на стойку и почему они не должны вас пугать
Как мы следим за средней мощностью стойки и благодаря этому экономим свои ресурсы и ресурсы заказчика.
• Кирилл Шадский
В новостях про запуск дата-центров вы обязательно встретите упоминание мощности в «киловаттах на стойку». За последний год наша объединенная команда DataLine и «Ростелеком-ЦОД» запустила 4 дата-центра, и мы каждый раз сталкивались с комментариями в соцсетях и вопросами в чатах:
Суть всех вопросов: «Почему средняя мощность 5 кВт на стойку? Как так, 21-й век, 21-й год, а цифра не меняется? Это слишком мало».
Сегодня по порядку ответим: как мы считаем мощность на стойку, почему эта цифра не ограничивает заказчика, а наоборот, экономит его ресурсы. Объясню с точки зрения статистики и возьму пару наглядных аналогий из популярной книги «Статистика и котики» (очень классного пособия для обновления забытых знаний).
Представим, что у нас 10 котиков (а мы знаем примеры, когда и 100 котиков бывает). Самый маленький котик ест 1 кг корма, средний – 3, а самый крупный – вообще 10. Мы не покупаем каждому по 10, а подсчитываем общий расход корма на всех и планируем покупки из среднего значения. Так же, ну или почти так же – со стойками.
Как мы считаем киловатты на стойку и причем тут котики
Показатель средней мощности на стойку помогает провайдеру еще на этапе проектирования спланировать основные ресурсы: электричество, холод и место. В случае с котиками такие ресурсы тоже есть: корм, вода и туалет.
Этот вид планирования называют capacity management (можете так и передать своим пушистым). Мы уже рассказывали о нем раньше в другой статье. Напомню, что основной принцип такого планирования – электричество, холод и место в дата-центре должны заканчиваться одновременно. Мы не можем допустить использование какого-то ресурса вхолостую и потому следим, чтобы все расходовалось равномерно.
С закупками для котов бывает похожая ситуация: оптимальнее покупать корм и наполнитель сразу, еще и скидку от зоомагазина получить.
Когда мы проектируем новый ЦОД, то сначала планируем самый неэластичный ресурс, который нельзя добавить потом. Чаще всего это место: у нас есть площадка определенного размера, на которой мы не можем разместить бесконечное число стоек. Выясняем площадь, расставляем на ней оборудование, потом планируем мощность для него. Иногда бывает и наоборот, но в этом контексте не так важно. В самом конце расставляем холод, с ним проще всего.
Так выглядит план на этом этапе: пока все стойки одинаковые
Чтобы подвести достаточно электричества к каждой запланированной стойке, нужно знать ее потребление. Возникает вопрос, как предсказать мощность стоек. Тут есть 2 варианта дата-центров:
- Если это корпоративный ЦОД, то требования компании могут включать любое количество высоконагруженных стоек. Например, недавно мы спроектировали для заказчика зал со стойками более 15 кВт.
- Если это коммерческий ЦОД с множеством независимых заказчиков, нужно оценить реальные потребности рынка.
Во втором случае нам помогает наша статистика. Вот уже 13 лет мы ежеминутно собираем данные по потреблению наших 5000 стоек.
График среднего потребления всех стоек DataLine за год.
В статистику входят компании из разных отраслей. У кого-то уходит 7 кВт на стойку, у кого-то – 3 кВт. Мы считаем среднее арифметическое по потреблению и смотрим динамику за последние годы. Сейчас в среднем получаем 4 кВт на стойку. Рост потребления с 2010 года составляет не больше 100 ватт на стойку в год. Так что для нового дата-центра мы закладываем небольшой запас и получаем те самые 5 кВт на стойку.
Знатоки статистики скажут, что среднее арифметическое – не единственный способ узнать центральную тенденцию. И будут правы. Среднее арифметическое не сработает, если у нас есть высоконагруженные стойки, которые существенно сдвинут среднее в свою сторону. Обратимся к таким случаям.
Как статистика учитывает исключения из правила
Основной контраргумент в споре про 5 киловатт примерно такой: «Если я поставлю в стойку 3 блейд-корзины, они будут потреблять существенно больше 5 кВт, и что тогда?» Давайте разбираться с точки зрения статистики и реальной практики.
Начну с теоретической статистики. «Прожорливые» стойки намного больше среднестатистической называют выбросом. Для статистики это выглядит так:
Чтобы среднестатистическая стойка отражала реальную ситуацию в машзале, из совокупности рекомендуют убирать 5–10 % экстремально больших и экстремально маленьких значений и считать усеченное среднее. Так в статистике очищают выборку от исключительных случаев.
Значит, при проектировании мы всегда должны учитывать долю нестандартных стоек у заказчиков. Сейчас кажется, что мы все чаще видим в наших дата-центрах оборудование для high-performance computing с потреблением в районе 25 кВт. Но, по сухой статистике, это все еще пара десятков серверов на зал: как раз вписываются в те самые 10 % выброса.
Допустим, у нас в машинном зале стоит 198 стоек со средним потреблением 5 кВт. Добавим пару стоек в 25 кВт и посчитаем среднее:
(198*5+2*25)/200 = 5,2
5,2 кВт, совсем небольшая разница.
Но если таких мощных стоек будет уже 10 (около 5 %), то среднее значение отклонится на целый киловатт:
(198*5+10*25)/208 =5,96
При этом типичная стойка в этом зале по-прежнему будет потреблять 5 кВт.
На практике эти подсчеты не означают, что мы не учитываем потребности заказчиков с нестандартными стойками. В прошлый раз мы уже показывали, что спокойно размещаем стойки на 8, 11, 15 кВт с соблюдением нескольких правил. Стараемся ставить их в такие места, где с охлаждением точно не будет проблем. Если же у заказчика много высоконагруженных стоек, выделяем для них особые ряды и залы с дополнительным охлаждением. В некоторых новых дата-центрах мы сразу проектируем отдельные залы со стойками повышенной мощности под особые запросы.
Что будет, если планировать стойки с большим запасом
Теперь посмотрим внимательнее на проектирование 3 ресурсов в дата-центре.
Что будет на каждом этапе планирования, если мы решим сделать запас больше одного кВт на стойку?
Итак, мы начали проектировать ЦОД от здания: берем общую площадь, вычитаем место под офисную часть и вспомогательные помещения. Понимаем размер машинных залов и прикидываем количество стоек: с учетом всей инфраструктуры исходим из 6 кв. м на стойку. Получившиеся стойки умножаем на планируемую среднюю мощность. Допустим, берем на стойку 6 кВт.
Если мы строим ЦОД в столице, его емкость составит не меньше 1 000–2 000 стоек. Итого, 9 000 кВт вместо 7 500 для усредненных 1,5 тысяч стоек. Добавим к этому 30 % на тепло. Уже 11 700 кВт, а не 9 750. Смотрим, есть ли у нас столько подведенной мощности, или нужно «докинуть» электричества.
Дальше распределяем электричество по нескольким точкам отсечки на схеме электроснабжения:
Стандартная схема энергоснабжения дата-центров DataLine
Посмотрим на мощность самой стойки, которая определена PDU (справа). Дальше по схеме справа налево идет мощность зального щита ЩР.
Затем следует мощность щита распределения от ИБП (ЩИБП). Дальше ИБП, и так доходим до ГРЩ. Каждое из этих устройств имеет свою мощность, необходимо распределять нашу нагрузку в этих пределах. Для стоек помощнее нам понадобятся дополнительные ИБП и вообще оборудование помощнее – это снова дополнительные расходы.
Затем разбираемся с холодом, самым управляемым ресурсом. Раз наши стойки потребляют и выделяют больше энергии, нужно поставить больше кондиционеров или сделать их более мощными.
Итого, каждый лишний киловатт приведет к дополнительным затратам на электричество, оборудование для электроснабжения и холодоснабжения. Вся «лишняя» стоимость по нескольким статьям размажется по всем стойкам нового дата-центра. Но цена за киловатт для заказчика растет не линейно. На каких-то масштабах каждый новый киловатт в 2 раза дороже предыдущего из-за дополнительных затрат на инфраструктуру. Стоимость инфраструктуры растет пропорционально росту мощности, эффекта масштаба здесь уже нет. Зачастую дешевле взять две стойки по 5 кВт, чем одну на 10 кВт.
Именно поэтому мы не рекомендуем брать стойки с запасом на будущее – экономически невыгодно не только проектировать «на вырост», но и брать стойки «на вырост».
Всегда ли заказчику нужно больше 5 кВт в стойке
Когда к нам приходит новый заказчик со стойками больше 5 кВт, наш дизайн-центр должен подготовить проект. Задача ответственного инженера – согласовать проект с точки зрения соответствия запросам заказчика. В идеальном сценарии заказчик берет свои требования из реальной статистики: «У меня на другой площадке работает точно такое же оборудование и оно потребляет те самые 7-8 заявленных киловатт». Но такое бывает нечасто. Чаще есть примерный список оборудования, которое будет установлено в дата-центре.
Нередко бывает, что в спецификации на серверное оборудование мощность считают по мощности блоков питания и затем закладывают запас 30 %. Получается, что нагрузку рассчитали «на бумаге». Но в реальности инженеры никогда не грузят свою систему на 100 %. Реальный коэффициент спроса с сервера будет максимум 80 %, так что искусственный запас будет лишним.
Такие расчеты мы корректируем, обсуждаем и согласовываем с заказчиком.
Для понимания общей картины наши инженеры копают еще глубже и анализируют нагрузку с точки зрения задач системы. В сервере несколько потребителей электричества: процессор, память, диски, кулеры. Больше всего ресурсов требует CPU. Например, у сервера со средним потреблением 1–1,2 кВт на процессор уходит 800–900 Вт. При этом далеко не все нагрузки требуют максимальной утилизации процессора. Если мы говорим о среднестатистических задачах вроде файловых шар, почты, системы хранения данных, терминальных серверов или веб-серверов, то загрузка CPU составит 20–30 %. Серьезную нагрузку на процессор стоит планировать в случае баз данных: там мы легко можем дойти до 80–90 %.
Про 5 кВт с точки зрения ИТ мы говорили с моим коллегой Андреем Будреевым в нашем последнем выпуске подкаста «Разговоры из-под фальшпола». Заодно обсудили будущее процессоров с точки зрения экологии – заглядывайте на огонек и делитесь своими прогнозами.
Так что не бойтесь дополнительных вопросов от специалистов дата-центра. Мы помогаем заказчикам грамотно планировать нагрузку и за счет этого не только экономим деньги заказчиков, но и правильно распределяем свои ресурсы.
Как оценить потребление электричества серверами в расчете на стойку?
Как оценить потребление электричества серверами в расчете на стойку?
29 июня 2015 г. | МакФарлейн Роберт | Категория: Вопросы эксперту
Вопрос: Мы оборудуем серверный зал площадью 350 кв. м, где будут располагаться 175 серверных стоек и внутрирядное охлаждение. Это проект с нуля. Как нам оценить потребление энергии и вес в расчете на одну стойку?
Ответ: Расчет требований к энергоснабжению – самая сложная задача для проектировщика дата-центра, и на этот вопрос нет ни однозначного ответа, ни простых решений.
Когда проектируется общее потребление, наиболее действенным оказывается метод расчета киловатт на стойку, чем ватт на кв.
м, который на протяжении многих лет не является признанным. Правильная методология расчета зависит от того, как много вам известно о ваших существующих операциях в дата-центре и о будущем масштабировании.
Создайте группы репрезентативного оборудования как единицы ресурсов, но не слишком мельчите. Крупная, отдельно взятая система может быть взята в качестве одной единицы ресурсов, но имейте ввиду, что для обычных шкафов на площадях менее тысячи кв. м – от 8 до 12 единиц ресурсов уже много. Вы не разрабатываете единицу ресурсов для каждого шкафа, поскольку ваше IT оборудование может быть расположено как угодно. Вашим намерением должно быть создание реалистичных, общих требований, которые можно экстраполировать на весь зал.
Не переоценивайте потребление энергии. Цифры на маркировке IT-оборудования в этом смысле бесполезны, так как ведут к сильно завышенной оценке. Используйте, если это возможно, конфигуратор производителя оборудования онлайн. В крайнем случае, используйте указанные параметры питания сервера – сервер мощностью 300 Вт никогда не сможет потребить 800 Вт.
Выбирайте размер систем энергоснабжения на основании реальных нагрузок.
Оборудование, запитываемое от двух источников, добавляет надежности вашей IT-системе, а две линии питания делят мощность между собой. Если сервер имеет два источника питания, каждый 300 Вт, он в вашем проекте все равно не может забрать энергии больше, чем 300 Вт, потому что каждый источник должен быть способен справиться с полной нагрузкой сервера (не включая расчеты эффективности энергоснабжения).
Другой способ измерить общее потребление серверов – использование отраслевых норм. Если вы не содержите высокопроизводительные серверы, то с большой вероятностью сможете выделить в группы три уровня плотности: шкафы низкой плотности, от 3,5 до 5 КВт, средней плотности от 5 до 10 КВт, высокой плотности от 10 до 15 КВт. Количество стоек того или иного типа, которые вам предстоит разместить, зависит от ваших операций. Обычно дата-центры эксплуатируют около 50% стоек низкой плотности, 35% – средней и 15% – высокой.
После того, как вы произвели расчеты тем или иным способом, проверьте себя путем деления показаний существующих ИБП на количество имеющихся у вас шкафов, чтобы получить среднее. Проделайте эти же манипуляции с предполагаемым количеством шкафов и общей прогнозируемой нагрузкой серверов в проекте. Не забывайте, что небольшое количество серверов на самом деле работает где-то вблизи проектируемых максимальных значений первоначальной нагрузки.
Если ваша проектируемая средняя мощность в полтора раза выше, чем существующее среднее значение, повнимательнее приглядитесь к цифрам. Этот результат можно принять, если вы ожидаете значительного повышения плотности вследствие новых требований бизнеса или из-за повышения виртуализации на блейд-серверах. Но если очевидной причины для роста плотности нет, пересчитайте ваши цифры еще раз.
Об авторе:
Роберт МакФарлейн – один из руководителей ShenMilsomandWilkeLLC,, отвечающий за проектирование дата-центров.
Источник: www.searchdatacenter.com
Теги: потребление электричества
Сколько энергии потребляют серверы? | от Zodhya
3 минуты чтения·
19 марта 2022 г. Изображение Элиаса Ш. с Pixabay Из-за пандемии большая часть нашей деятельности переместилась в онлайн. В некотором смысле, мы зависимы от экранов. Хотя мы осуществляем большую часть нашей деятельности в виде приложений или программного обеспечения, внутренняя поддержка такой архитектуры обеспечивается аппаратным обеспечением в виде серверов.
Большинство серверов можно найти в центре обработки данных
По оценкам, по состоянию на 2020 год в мире насчитывается около 400 миллионов серверов. Это много, верно? Вы когда-нибудь задумывались о структуре энергопотребления серверов, поскольку они играют решающую роль в нашей повседневной жизни, начиная от поиска в Google и заканчивая просмотром спортивных программ и фильмов на OTT?
Вот кое-что о серверах:
Серверы обычно поставляются с одним или двумя сокетами. Однопроцессорный сервер потребляет 118 Вт, а двухпроцессорный — 365 Вт.
Изображение Michael Jormoluk с сайта PixabayКаждый сервер работает с разной мощностью, в зависимости от нагрузки, которую мы на них возлагаем.
Рассчитаем энергопотребление одного сервера за год:
Для одной розетки мощностью 118 Вт при загрузке 10 % мощности 24 часа в сутки потребляется 118 Вт * 10 % * 24 * 365 дней = 103 368 Втч или 103 ед./год
Для двухпроцессорного сервера он потребляет 319740 Втч или 320 единиц в год
Но все серверы не должны постоянно работать на 100% мощности, верно? По оценкам исследования, большинство серверов работают на 50% мощности.
Таким образом, сервер с одним сокетом, загруженный на 50 %, потребляет 515 единиц в год, а сервер с двумя сокетами потребляет 1600 единиц в год. % емкость. Кроме того, давайте предположим, что соотношение будет 75:25, где 75% серверов (300 млн) будут односокетными, а 25% серверов (100 млн) — двухсокетными.
Энергопотребление серверов по всему миру:
Однопроцессорный: 300 млн * 515 шт./год = 154500 млн шт./год или 154,5 ТВтч
Двухпроцессорный: 100 млн * 1600 шт./год = 1600 00 млн единиц / год или 160 ТВтч
Общее потребление серверов по всему миру = 154,5+160= 314,5 ТВтч**
были страной.
Нам приятно поделиться с вами такой информацией, потому что мы верим, что обмен такой информацией и ее понимание сделают этот мир лучше. Пожалуйста, дайте нам знать ваши мысли в комментариях ниже и поделитесь этой статьей с теми, кто, по вашему мнению, сочтет ее полезной.
Мы — стартап Zodhya, предлагающий решения для сокращения счетов за электроэнергию при нулевых вложениях в коммерческие здания и учреждения.
Пожалуйста, посетите нас на сайте и, возможно, расскажите об этом своим друзьям. Это будет иметь большое значение для лучшего управления нашей средой.
Недавняя статья о нашем предпринимательском путешествии по Outlook India здесь.
**Точное потребление может быть неточным, как указано выше. Мы использовали простой и пошаговый подход, чтобы узнать, где находится потребление.
Пожиратели энергии: серверы, настольные компьютеры и телевизионные приставки
Новости
Энергетический дьявол (приставки), скорее всего, находится в вашем доме, а не в вашем центре обработки данных
Патрик Тибодо
Главный редактор, Компьютерный мир |
Телевизионные приставки, поставляемые кабельными компаниями, вероятно, потребляют больше энергии, чем настольные и портативные компьютеры, и около 25% энергии, потребляемой двухпроцессорным сервером.
В США используется более 160 миллионов телеприставок. Согласно недавнему отчету Совета по защите природных ресурсов, типичная система с HD-DVR ежегодно потребляет 446 кВтч.
«Эти устройства [телевизионные приставки] никогда не отключаются, поэтому в этом нет ничего удивительного», — сказал Марк Дэвидсон, сотрудник по вопросам устойчивого развития компании JouleX, производителя систем управления энергопотреблением для центров обработки данных.
В настоящее время производители телевизионных приставок создают устройства с улучшенным управлением энергопотреблением, и в отчете совета говорится, что более поздние модели телевизионных приставок с HD-DVR потребляют около 275 кВтч в год.
Но в целом в прошлом году в США монтажные коробки использовали 27 миллиардов киловатт-часов электроэнергии, говорится в сообщении совета.
В последний раз совокупное энергопотребление всех серверов в США изучалось пять лет назад, поэтому трудно оценить общее энергопотребление телевизионных приставок.
Но в 2006 году правительственное исследование показало, что общее энергопотребление всех серверов в США составляет около 24 миллиардов кВтч.
Для сравнения Дэвидсон предоставил некоторые оценки энергопотребления серверов, настольных компьютеров и ноутбуков.
Более новые двухпроцессорные серверы x86 с восьмиядерными процессорами потребляют в состоянии покоя от 150 до 200 Вт. При полном использовании это потребление энергии может удвоиться до 400 Вт.
С точки зрения годового энергопотребления, двухпроцессорный сервер может потреблять примерно от 1314 кВтч в год (при простом включении питания) до примерно 2600 кВтч в год.
С учетом различных рабочих нагрузок среднегодовое энергопотребление двухпроцессорного сервера составляет от 1800 до 1900 кВтч в год.
Ожидается, что серверы будут работать круглосуточно и без выходных, что не обязательно верно для большинства настольных компьютеров и ноутбуков. Но если бы эти системы работали непрерывно, вот сколько энергии они будут потреблять.
Настольные компьютеры потребляют от 45 Вт до 90 Вт, поэтому, если бы они работали круглосуточно и без выходных, они потребляли бы от 394 кВтч в год до 788 кВтч в год.
Ноутбук мощностью от 30 Вт до 75 Вт потребляет от 262 кВтч в год до 657 кВтч в год.
Дэвидсон сказал, что использование энергии продолжает улучшаться с новыми поколениями полупроводников, которые используют такие технологии, как шаг скорости для динамического изменения тактовой частоты чипа для снижения энергопотребления.
Потребление энергии оценивается следующим образом: мощность x количество часов, используемых в день / 1000 = ежедневное потребление киловатт-часов (кВтч).
Коммунальные платежи рассчитываются по количеству израсходованных на себестоимость кВтч. Например, система, использующая 394 кВтч x 8,5 центов/кВтч, стоит 33,51 доллара в год, по данным Агентства по охране окружающей среды США, на сайте которого есть ряд примеров.
Патрик Тибодо охватывает SaaS и корпоративные приложения, аутсорсинг, государственные ИТ-политики, центры обработки данных и вопросы ИТ-персонала для Computerworld .