Особенности создания систем кондиционирования в малых ЦОД и серверных

К настоящему времени написано немало статей и рекомендаций по проектированию и созданию систем кондиционирования и холодоснабжения больших ЦОД, а также проведено множество обследований существующих ЦОД на предмет их соответствия таким стандартам и инструкциям как TIA-942 (Telecommunications Infrastructure Standard for Data Centers) и СН-512-78 (2000) (Строительные нормы. Инструкция по проектированию зданий и помещений для электронно-вычислительных машин). Однако многие из этих рекомендаций и отчетов, к сожалению, не могут помочь тем, кто решил создать свой малый ЦОД или серверную.

Под малым ЦОД понимается объект, площадью до 50 м2 с количеством стоек до 15 шт. Достаточно много организаций по-прежнему в силу тех или иных причин не стремятся воспользоваться услугами коммерческих ЦОД, а остаются приверженцами владения собственной серверной. При этом, как и в больших коммерческих ЦОД, вопросы надежности работы оборудования и приложений также важны и являются основными.

Начать стоит с того, что при возникновении решения о создании собственного мини-ЦОД или серверной в большинстве случаев выбирается помещение, которое нельзя полезно использовать, и это может быть бывшая кладовая, а иногда даже бывший санузел. Решение об использовании помещения принимается далеко не специалистами по инженерным системам, а, как правило, финансистами, и перед ними стоит только две задачи: минимизировать затраты и разместить в данном помещении требуемое количество стоек.

Итак, рассмотрим несколько наиболее часто встречающихся случаев.

Один ряд стоек в узком помещении

В помещении установлен один ряд стоек, фальшпол отсутствует, а ширина проходов вдоль лицевых и тыльных сторон стоек не превышает 1200 мм. При такой конфигурации невозможно установить прецизионные кондиционеры шкафного типа из-за отсутствия места. Первое, что бы пришло на ум как здравое решение проблемы – это использование внутрирядных кондиционеров или закрытых стоек со встроенными фреоновыми воздухоохладителями с выносными конденсаторными блоками. Однако в большинстве случаев это окажется неприемлемым по ряду причин, а именно:

• холодопроизводительность внутрирядного кондиционера или модуля охлаждения встроенного в стойку составляет минимум 10 кВт, а тепловая нагрузка от ряда стоек в таком мини-ЦОД может составлять всего 10-15 кВт, при количестве стоек от двух до десяти штук. Соответственно или кондиционер будет сильно переразмерен, или при количестве стоек больше четырех штук, не будет организован нормальный воздухообмен, и охлаждаться будут только стойки, стоящие по бокам от внутрирядного кондиционера;
• стоимость таких кондиционеров достаточно велика. Их применение на данном объекте становится экономически нецелесообразным, или владелец серверной просто не готов платить столько;
• минимальная ширина внутрирядного кондиционера составляет 300 мм., а габариты помещения таковы, что приоритет отдается установке дополнительной стойки с оборудованием или ИБП, но никак не отведению данного места под установку кондиционера.

В итоге, руководствуясь целью минимизации затрат на создание серверной, а также понимая, что использование прецизионных кондиционеров как шкафного так и внутрирядного типов в данном случае невозможно, владельцы будущей серверной принимают решение использовать для отвода тепла, выделяемого стоечным оборудованием, обычные бытовые кондиционеры типа «сплит».

Как правило, при выборе кондиционеров во внимание принимается только значение тепловыделений от IT-оборудования, и к установке принимается соответствующее количество кондиционеров с внутренними блоками настенного или потолочного типа. Внутренние блоки вешаются в горячем или в холодном коридорах, или сразу в обоих. В данном случае владелец уверен, что при работе кондиционеров добьется эффекта «средней температуры по больнице», и все будет отлично работать. Однако в большинстве случаев после запуска серверной в эксплуатацию ситуация развивается совсем иначе, и IT-оборудование начинает перегреваться, хотя холодопроизводительности установленных кондиционеров вполне хватает.

Проблема в данном случае кроется в неправильной организации движения воздушных потоков и в тесноте помещения, а именно: кондиционеры, внутренние блоки которых установлены в горячем коридоре, перемешивают воздух только в пределах горячего коридора, и лишь незначительная часть охлажденного воздуха попадает на забор IT-оборудования.

Воздух, охлажденный внутренними блоками потолочного типа, установленными как в горячем, так и в холодном коридорах, отражается от близко расположенного ряда стоек и попадает на воздухозаборную решетку кондиционера. Кондиционер воспринимает это как достижение требуемой температуры и выключается. В реальности же температура в самом холодном коридоре сохраняется высокой, и как только кондиционер выключится, то сразу же требуется его повторное включение, но после включения ситуация повторится.

Внутренние блоки настенного типа, расположенные в холодном коридоре, также не будут обеспечивать нормального охлаждения IT-оборудования по всей высоте стойки все из-за той же стесненности помещения и отражения воздушного потока.

Приемлемым решением в данной ситуации является применение бытовых кондиционеров с внутренними блоками канального типа с правильной организацией воздушных потоков (см. рис. 1), а именно: необходимо расположить данные блоки над рядом стоек и организовать как забор горячего, так и выдув холодного воздуха через воздуховоды и воздухораспределительные решетки таким образом, чтобы забирать воздух именно из горячего коридора, а подавать в холодный коридор. Воздуховоды от кондиционеров необходимо распределить таким образом, чтобы организовать движение воздуха вдоль всего ряда стоек.

Рис. 1. Охлаждение серверной с помощью канального кондиционера (план помещения и разрез).

Реализовав данную схему кондиционирования мы получаем не эффект «средней температуры по больнице», а полноценные горячий и холодный коридоры, забор нагретого IT-оборудованием воздуха по всей длине горячего коридора и раздачу охлажденного кондиционерами воздуха нисходящим потоком также вдоль всего холодного коридора. Если в помещении имеется подвесной потолок типа «Армстронг», и высота запотолочного пространство составляет не менее 400 мм, то внутренние блоки и воздуховоды можно разместить за потолком. Тогда в потолке будут только воздухораспределительные решетки.

Следует учесть, что данные типы внутренних блоков кондиционеров, как правило, оснащены помпами удаления конденсата, а любая помпа должна рассматриваться как возможный элемент отказа. Чтобы исключить даже теоретическую возможность протечки конденсата на стойки с оборудованием, необходимо под каждым внутренним блоком канального типа установить поддон из оцинкованной стали, от которого будет отходить дренажный трубопровод либо на улицу, либо в канализационную систему здания.

Для повышения энергоэффективности работы системы кондиционирования, а также сокращения количества циклов пуска-останова компрессоров кондиционеров, рекомендуется выбирать кондиционеры с инверторными приводами компрессоров. Также обязательное условие – это наличие низкотемпературных комплектов, позволяющих работать кондиционерам на охлаждение при отрицательных температурах наружного воздуха.

Один ряд стоек в помещении без фальшпола

В помещении установлен один ряд стоек, фальшпол отсутствует, однако габариты помещения позволяют установить прецизионные кондиционеры, и владелец серверной осознает, что лучше использовать высоконадежное специализированное кондиционерное оборудование.

Применение внутрирядных прецизионных кондиционеров отпадает все по тем же причинам их высокой стоимости и большой единичной холодопроизводительности. В этом случае выбор однозначно останавливается на прецизионных кондиционерах шкафного типа, а, учитывая отсутствие фальшпола, это будет исполнение с забором воздуха с передней панели и раздачей вверх.

Итак, тип кондиционеров у нас определился сам собой. Остается их установить в помещение и запустить, но не тут то было. Владельцы будущих серверных, руководствуясь тем, что прецизионные кондиционеры обладают гораздо большей кратностью циркуляции воздуха и большим свободным напором вентиляторов по сравнению с бытовыми кондиционерами типа «сплит» все также полагают, что получат нормальную среднюю температуру в общем объеме помещения, где бы ни были установлены кондиционеры. Однако, запуская в работу IT-оборудование, отмечают, что часть из него перегревается.

Первым предположением, естественно, высказывается то, что кондиционеры не выдают требуемой холодопроизводительности, так как неправильно смонтированы фреоновые трассы, неверно настроены параметры контроллеров, кондиционеры неисправны и т.д. Прибывшая на объект сервисная служба производителя кондиционерного оборудования замеряет расход воздуха, проходящий через кондиционер, его температуру на входе и на выходе из него. Затем, используя уравнение теплового баланса, моментально доказывает заказчику, что каждый кондиционер выдает 100% холодопроизводительности, и дело тут вовсе не в неисправностях оборудования, а в неправильной организации воздушных потоков.

Рассмотрим три наиболее часто встречающихся варианта неправильно спроектированной системы кондиционирования для данного случая:

• Если установить кондиционер в зоне холодного коридора, то он не будет нагружен теплом, т.к. охлажденный воздух раздается им вверх, затем, как по законам физики, так и в результате разряжения, создаваемого вентиляторами стоечного оборудования, опускается вниз в холодный коридор и попадает на вход как в IT-оборудование, так и в воздухозаборную решетку кондиционера, которая расположена на его передней панели на высоте 1-1,2 м от уровня пола. В результате складывается ситуация, когда кондиционер замыкается сам на себя: охлажденный им воздух попадает ему на вход и кондиционер выключается, т.к. его датчик температуры фиксирует достижение значения уставки на входе. Тем временем со стороны горячего коридора создается зона перегрева.
• Если установить кондиционер в зоне горячего коридора, то на его воздухозаборную решетку будет дуть как раз воздух, нагретый IT-оборудованием. Но, учитывая, что раздача охлажденного воздуха идет вверх, то лишь его незначительная часть достигнет стоечного оборудования, расположенного в верхней зоне стоек, а IT-оборудование, расположенное посередине и внизу стоек будет перегреваться. Не спасет в данном случае и конфигурация кондиционера с пленумом для раздачи воздуха вперед.
• Если установить кондиционер перпендикулярно ряду со стойками, то также будут зоны локального перегрева все по тем же причинам. В данном случае IT-оборудование, расположенное в дальних от кондиционера стойках будет перегреваться.

Казалось бы, что все возможные способы установки кондиционеров рассмотрены и ситуация безвыходная, но это совсем не так. Для данного случая решением проблемы будет следующая конфигурация системы кондиционирования: прецизионные кондиционеры шкафного типа с раздачей воздуха вверх нужно размещать в горячем коридоре, чтобы на их вход попадал именно нагретый IT-оборудованием воздух. Далее необходимо смонтировать воздуховоды таким образом, чтобы охлажденный воздух перебрасывался через стойки и раздавался нисходящим потоком вдоль воздухозаборных решеток стоек, как и в случае с бытовым кондиционером канального типа, применение которого описано в первом случае.

Рис. 2. Охлаждение серверной без фальшпола.

Два ряда стоек в помещении с фальшполом

В помещении мини-ЦОД расположено два ряда стоек параллельно друг другу, образуя один холодный коридор, расположенный между рядами стоек, и два горячих коридора соответственно. Также в данном случае имеется фальшпол, а прецизионные кондиционеры шкафного типа с забором воздуха сверху и раздачей вниз (под фальшпол) расположены перпендикулярно рядам со стойками.

При данной конфигурации забор воздуха кондиционерами происходит из верхней зоны серверной. Соответственно происходит забор нагретого воздуха, а раздача осуществляется через перфорированные плитки фальшпола в холодном коридоре восходящим потоком вдоль воздухозаборных решеток стоек. Казалось бы, в данном случае все будет идеально, но и здесь не обходится без нюансов и особенностей.

Сразу стоит отметить, что высота фальшпола в данном случае должна быть не менее 400 мм. В противном случае с охлаждением IT-оборудования возникнут проблемы из-за неспособности фальшпола пропустить требуемое количество воздуха. Не менее важно будет стоять вопрос маршрутов прохождения кабельных трасс под фальшполом. Здесь необходимо понимать, что кабели не должны создавать под фальшполом стен, препятствующих свободному проходу воздуха от кондиционеров в холодный коридор.

Также очень часто складывается ситуация, когда IT-оборудование, установленное ближе всего к кондиционерам, начинает перегреваться, и владелец серверной находится в недоумении от происходящего. Суть проблемы кроется в том, что расстояние от передней стенки кондиционера до первой перфорированной плитки фальшпола в холодном коридоре меньше чем 1-1,5 м, плюс скорость воздуха под фальшполом слишком большая. Как результат, получаем эффект эжекции в первых от кондиционера перфорированных плитках фальшпола: холодный воздух не выходит через перфорированные плитки, а наоборот, проходя под фальшполом дальше, увлекает через эти плитки воздух из холодного коридора под фальшпол. Проверить это можно легко, например, если приложить к перфорированной плитке лист бумаги, будет видно, что он к ней прилип.

Таким образом, высоту фальшпола, ширину холодного коридора, а также расстояние от лицевой панели кондиционера до первой перфорированной плитки фальшпола необходимо рассчитывать (кстати, отметим, что рекомендуемое расстояние до первой плитки составляет не менее 1500мм). Если же вы используете чей-то готовый работоспособный пример, то уменьшать все перечисленные размеры не стоит, т.к. это чревато последствиями, описанными выше.

Рис. 3. Охлаждение серверной, состоящей из двух рядов стоек.

Общие факты

Кратко разобрав наиболее часто встречающиеся примеры систем кондиционирования серверных, хотелось остановиться еще на нескольких общих немаловажных фактах, а именно:

• в обязательном порядке следует предусматривать резервирование систем кондиционирования, т.к. какое бы надежное оборудование вы не использовали, техника может ломаться, и, соответственно, перегрев IT-оборудования неизбежен;
• при пропадании электропитания на системе кондиционирования в условиях, когда IT-оборудование будет продолжать работать от ИБП, в серверной моментально начнет расти температура воздуха, и, как итог, серверная остановится по причине перегрева. Поэтому, как бы вам не хотелось сэкономить, помните, что при остановке системы кондиционирования, серверная долго не проработает. Если нет возможности запитать кондиционеры от ИБП, то рассмотрите возможность запитать рабочие и резервные кондиционеры от разных вводов электроснабжения. Если же и это невозможно, задумайтесь о системе аварийной вентиляции серверной, запитанной от ИБП, т.к. вентиляторы потребляют гораздо меньше электроэнергии, чем компрессоры кондиционеров.
• обязательно устраняйте перетоки воздуха из горячего коридора в холодный через свободные места в стойках, закрывая их заглушками, т.к. данные перетоки сильно понижают эффективность системы кондиционирования и могут вызвать зоны локального перегрева. Штатные заглушки, выпускаемые производителями стоек, достаточно дорогие, поэтому вместо них можно использовать листы из оргстекла или поликарбоната.
• помните, что кондиционеры типа «сплит» и прецизионные кондиционеры шкафного типа работают по датчику температуры воздуха на входе в кондиционер, а это температура в горячем коридоре, и не следует задавать данную температуру на уровне 20-24°С в перечисленных примерах. Уставку по температуре необходимо держать на уровне 28-30°С.

Многие думают, что при отсутствии резервирования или при пропадании питания на кондиционерах, благодаря этому у них будет достаточно времени, чтобы серверная работала без охлаждения, но это далеко не так. Современное IT-оборудование нагревает воздух, проходящий через него, примерно на 12°С. Соответственно зная данную величину, объем помещения, а также расход воздуха, прокачиваемого через стойки, можно посчитать кратность циркуляции воздуха в помещении и скорость роста температуры в нем. Произведя данный расчет, вы увидите, что температура в помещении растет на 3-20°С в минуту в зависимости от того, насколько нагружена IT-оборудованием серверная. Как итог можно сказать, что занижение температурной уставки у кондиционеров положительного эффекта не даст, а вот отрицательный можно получить, и не один:

• Переохлаждая воздух, вы одновременно пересушиваете его, а, значит, если кондиционеры оборудованы пароувлажнителями, то последние будут работать практически постоянно, потребляя значительное количество энергии и сокращая свой ресурс. Если же увлажнителей нет, то повышается риск появления статического электричества в сухом воздухе и повреждения серверного оборудования.
• Кондиционеры будут потреблять большее количество электроэнергии для достижения заданной температурной уставки.

Выводы

При создании системы кондиционирования в ЦОД или серверной нужно четко понимать, что подать в помещение со стойками только требуемое количество киловатт холода далеко не достаточно. Очень важно организовать правильную схему движения воздуха и, тем самым, добиться как эффективного охлаждения IT-оборудования, так и работы системы кондиционирования с максимальным КПД.

Поэтому, создавая даже самую маленькую серверную, не пренебрегайте вопросами проектирования инженерных систем, ведь от их правильного функционирования зависит ее бесперебойная работа.

Правила использования материалов сайта