Примеры применения
17.09.2014

Охлаждение серверной. Куда потратить деньги с пользой

На написание этой публикации меня сподвигли 4 вещи:

  1. Публикация «Почему важно поддерживать температурный режим в серверной. Как обычно устроено охлаждение серверной», в которой автор попытался выполнить почетную и очень трудную миссию по разъяснению необходимости охлаждать сервера;
  2. Ошибки, обнаруженные в этом посте;
  3. Собственный опыт;
  4. Стремящееся к нулю количество содержательных статей по тематике инфраструктуры ЦОД (я подразумеваю, что серверная = маленький ЦОД) на Хабре. Хотя «Билайн» и ребята из «ЦОДы.рф» в этом плане большие молодцы.

Итак, о чем эта публикация.

Во-первых, это небольшой экскурс в теорию холодоснабжения серверных. Во-вторых, я попытаюсь разобраться с основными заблуждениями при планировании холодоснабжения. В третьих, разбор, куда же все-таки стоит вложить деньги, а от чего можно отказаться.

На сегодня в холодоснабжении ЦОД существуют две глобальные стратегии:

  1. Свободное охлаждение. Сервера охлаждаются напрямую внешним воздухом с минимальной его подготовкой (обычно это базовая фильтрация и подогрев в зимний период).
  2. Контролируемое холодоснабжение: вы готовите воздух по показателям загрязнения, влажности, температуры и подаете его в сервера. Сюда же входят различные методы косвенного фрикулинга (используется внешний воздух для охлаждения теплообменника, в котором находится воздух из ЦОД).

Преимущества первой стратегии очевидны. Это низкая стоимость внедрения, низкая стоимость обслуживания, смешные счета за электроэнергию. Недостатки тоже понятны. Неконтролируемая влажность и запыленность воздуха, что неминуемо приводит к выходу из строя компонентов серверов. У такого подхода есть свои приверженцы. Обычно это очень крупные технологические компании. Почему это хорошо для них и плохо для остальных? Есть 3 причины:

  1. Сеть полностью резервируемых площадок. Если произойдет сбой на одной, подхватит вторая.
  2. Необходимость быть на пике технологий. Сервер, работающий с плохим воздухом, выйдет из строя примерно за год. За год эти компании поменяют парк серверов на треть. Им нет смысла беречь железо, которое через год уйдет на помойку.
  3. Объемы и счета за электроэнергию. Охлаждение – наиболее затратная статья в счетах за электроэнергию. Сокращение расходов на охлаждение на 1% сэкономит им несколько миллионов долларов. Что уж говорить про сокращение на 30-50%. И они готовы терпеть некоторые неудобства.

Вторая стратегия подразумевает большую надежность и продолжительный срок эксплуатации охлаждаемого оборудования. Наиболее традиционный пример — это банковская отрасль. Ну и все остальные компании, которые не меняют сервера как перчатки. Недостатки этой стратегии – цена, цена, цена. Строительства, обслуживания, электричества.

Понятно, что большинство компаний рассматривают вариант «максимально функционально и без изысков». Однако просто не всегда просто. Бывает просто и правильно, а бывает совсем наоборот (я прямо боксером себя почувствовал).

Плавно перейдем к более практическим вещам. Когда говорят про охлаждение серверов, в первую очередь подразумевают контроль температуры. Это верно, но недостаточно. Три столпа правильного охлаждения – это температура, объем воздуха и его влажность. Вторым эшелоном идет управление воздушными потоками: как направить холодный воздух туда, где его заберет сервер, и как забрать горячий воздух с «выброса» сервера и направить его в кондиционер. И как при этом сделать, чтобы горячий и холодный воздух не перемешивался.

С температурой все просто. Есть рекомендации производителя сервера, есть рекомендации ASHRAE. Нормальной температурой для большинства серверных я считаю 22-24 градуса.

Если про температуру все помнят, то про объем воздуха не думает практически никто из строящих серверную. Давайте посмотрим на технические параметры сервера. Помимо потребления, размеров и т.п. там есть параметр, обычно измеряемый в CFM (кубические футы в минуту) – это объем прокачиваемого воздуха. То есть, вашему серверу нужен воздух определенной температуры и в определенном объеме. Толстым шрифтом с капсом «в определенном объеме». Здесь мы сразу переходим к возможности использования бытовых сплит-систем в серверной. Дело в том, что они не справятся с необходимым объемом. Удельное тепловыделение человека несопоставимо мало по сравнению с сервером, а бытовые кондиционеры рассчитаны именно на создание комфортного климата для человека. Их маленькие вентиляторы (как передние конечности тираннозавра) неспособны прогнать через себя объем воздуха, необходимого для охлаждения сервера. В результате мы получаем картину, когда сервер прогоняет через себя воздух, кондиционер не может его забрать, и горячий воздух перемешивается с холодным. Вы, наверняка, бывали в серверной, где кондиционер выдает +16 градусов, а в помещении +28. Я бывал. Может быть, ваша серверная именно такая? 

Что касается контроля влажности. В упомянутой вначале статье есть один неправильный посыл. Влажностью нужно управлять, это несомненно. Но только нужно не сушить, а увлажнять воздух. Дело в том, что серверное помещение имеет замкнутый воздухообмен (по крайней мере должно). И количество влаги в воздухе на стадии 0 (запуск серверной) там находится в определенных пределах. В процессе охлаждения большинство влаги конденсируется на теплообменнике кондиционера (слишком высока разница температур) и сбрасывается в дренаж. Воздух становится слишком сухим, а это статика на платах и снижение теплоемкости воздуха. Поэтому хорошей тратой денег будет покупка производительного увлажнителя и системы водоподготовки к нему.

Момент, связанный с управлением воздушными потоками: в подавляющем большинстве случаев, блоки вентиляторов в шкафах абсолютно бесполезны. Они тянут воздух снизу вверх, а сервера его тянут спереди назад. Что нужно сделать – выкинуть из сметы блоки вентиляторов и заложить заглушки на пустые юниты в шкафу. Хоть досками заколотите, но закройте все дыры, через которые воздух из задней части шкафа может попасть в переднюю. Пассивные способы управления воздухом в большинстве случаев работают лучше, чем активные. И стоят дешевле.

Мониторинг микроклимата - очень важный момент. Без мониторинга вы никогда не узнаете, что у вас работает не так, как задумывалось. Мониторить надо и температуру, и влажность. Влажность можно мониторить в самой удалённой от увлажнителя точке, поскольку этот показатель одинаков для любой точки помещения. А вот температуру нужно мониторить на передней двери шкафа. Если вы не применяете раздачу холодного воздуха из-под фальш-пола, то достаточно одного датчика на шкаф. Если раздаете воздух через фальш-пол (понятно, что мы уже используем правильные кондиционеры), тогда верной стратегией будет мониторить воздух на разных уровнях от пола (например 0,5 м и 1,5 м). Не лишним будет упомянуть, что в серверной никогда, ни при каких обстоятельствах, нельзя ставить шкафы со стеклянными/глухими дверями. Воздух должен свободно проходить сквозь шкаф и сервер. Если у вас вдруг есть такие шкафы – снимите с них двери.

В качестве резюме:

  1. Не используйте бытовые сплиты – они всё делают не так;
  2. Управляйте влажностью;
  3. И воздушными потоками;
  4. Установите заглушки на неиспользуемые юниты шкафа;
  5. Используйте шкафы с перфорацией на передних и задних дверях. Если у вас нет таких, снимите двери вообще. Ну или дрель вам в руки;
  6. Правильно размещайте датчики системы мониторинга. Температуру меряем на передней части шкафа, влажность – в любой части помещения;
  7. Уберите из серверной батареи отопления. Они не только греют, но и поливают иногда;
  8. Уберите окна. Окна – это теплопритоки и самый простой путь в помещение, минуя бронированную дверь в серверную и пять постов охраны;
  9. Сделайте нормальную гидро- паро- и теплоизоляцию помещения;
  10. Инструменты вторичны. Есть огромное количество решений по охлаждению и мониторингу. Главное понять что для вас первично на сегодня, а инструмент найдется;
  11. Примите тот факт, что сегодня ИТ – это не только «пропатчить kde под free bsd», VM и БД, но и такие вещи как энергетика, холодоснабжение, физическая безопасность и архитектура.

Удачи вам в ниве строительства правильной инфраструктуры.

Автор: ksopt

Текст статьи по ссылке: http://habrahabr.ru/post/235593/


  • Каталог устойств мониторинг серверных комнат и шкафов

Основные теги


Каталог устойств мониторинг серверных комнат и шкафов
Все устройства
Устройство UniPing v3
Устройство UniPing server solution v3/SMS
Устройство NetPing 2/PWR-220 v1/SMS
Устройство NetPing IO v2
Устройства NetPing
Каталог датчиков для устройств NetPing
Устройство NetPing 8/PWR-220 v3/SMS
Устройство NetPing 2/PWR-220 v3/ETH
Устройство NetPing 2/PWR-220 v2/SMS
Устройство NetPing 4/PWR-220 v3/SMS
Устройство NetPing SMS
Устройство NetPing /PWR-220 v3/ETH
Адаптер WiFi VAP11N
Коммутатор PS104GT
Устройство NetPing Mini-UPS
Коммутатор NP-SM4
Сплиттер POE 12В (стандарта 802.3af)
IRC-TR v2 (ИК модуль расширения)
Каталог устройств удалённого управления и распределения электропитания NetPing
Устройство UniPing server solution
Устройство UniPing server solution v3
Датчик разбития стекла (Стекло-3 ИО 329-4), 2м
Переходник для NetPing IO v2
Устройство NetPing PWR68-01
Датчик мониторинга 220В 1-wire
Адаптер DKST910.8
Устройство NetPing DKST61-01
Блок питания 48В 1,5А (мод.HRS20005)
Датчик температуры TS, 1м
Датчик температуры, (T811), 2м
Датчик температуры WT, 1м
Датчик протечки, модель 2605, 2м
Датчик протечки H2О
Датчик температуры 1-wire, (THS), 2м
МАЯК-12-СТ
Датчик движения (PYRONIX COLT QUAD PI ПИК детектор), 2м
Датчик движения (SWAN-QUAD ИК детектор квадросенсор), (2м)
BM8070D Силовое реле 16А/250В на DIN-рейку
MP701 Исполнительный элемент (4 независимых канала по 2 кВт 10А)
Датчик дыма комбинированный (дым/тепло) ИП 212/101-2М-A1R с базой Е412NL
МОЛЛЮСК-12/1,5
Внешний ИБП SKAT-12DC-1.0 Li-ion
ИКС-1 извещатель охранный инфракрасный активный однолучевой
Датчик охранный (Извещатель охранный ИО102-20/Б2П, 2м)
Блок розеток SNR-PDU-08S-1
Устройство NetPing 2/PWR-220 v4/SMS
Устройство UniPing server solution v4/SMS
▼ Все теги
Новинки
Устройство UniPing server solution v4/SMS
Устройство удалённого мониторинга датчиков по сети Ethernet/Internet. Позволяет удалённо получать информацию подробнее...

Цена: 25 302 руб.

Устройство NetPing 2/PWR-220 v4/SMS
Устройство удалённого управления розетками электропитания по сети Ethernet/Internet (IP PDU) c поддержкой подробнее...

Цена: 13 732 руб.

Датчик воздушного потока (модель АМС520)
Датчик воздушного потока позволяет контролировать наличие или отсутствие напора воздушного потока. Содержит подробнее...

Цена: 3 017 руб.

-+ руб. руб.
Итого руб.

Данные о заказе