Холодный расчет, или как сэкономить на охлаждении ЦОД

О том, что ЦОД являются весь­ма «прожорливыми» потре­бителями электроэнергии, сказано немало. На квадратный метр серверного помещения может запросто приходиться до десятка киловатт электрической нагрузки. При этом, как известно, основная часть электроэнергии в ЦОД расхо­дуется на питание ИТ-оборудования и системы охлаждения, которая переносит тепло от работающих серверов (СХД, коммутаторов) за пределы здания, где это тепло и рассеивается.

Несмотря на то, что все миро­вые производители активного оборудования уже возвели в ранг принципа развитие энергосберега­ющих технологий, проблема охлаждения и питания в ЦОД не стано­вится менее актуальной. Однако существенно уменьшить общее электропотребление дата-центра можно и за счет получения холода из внешней среды. Действитель­но, ведь если нормальная темпе­ратура охлаждающего воздушного потока, подаваемого на серверы, составляет 22-25°С, то теоретически чуть ли не три четверти года можно охлаждать ЦОД воздухом с улицы. Однако получить готовый холод из внешней среды (либо из бросового тепла, выбрасываемого производственным циклом) хоть и относительно несложно, но все же процесс сопряжен с некоторы­ми нюансами, которые стоит рас­смотреть более детально.

«Фрикулинг» — использование холода внешней среды

Наиболее простой способ заклю­чается в подаче внешнего холода в помещение серверной при помо­щи естественного теплоносителя, в роли которого выступает воздух. Для этого достаточно вспомнить, что климат Украины — умеренно-континентальный (исключая разве что ЮБК). Это говорит о том, что большую часть года температура наружного воздуха значительно ниже +25°С (согласно TIA-942, это максимальный рекомендуемый показатель для подачи на воздухозаборники ИТ-оборудования). Поэтому логично для охлаждения ИТ-оборудования использовать внешний воздух. Применение та­кого охлажденного воздуха и подача (либо подмес) его в сервер­ное помещение получили название «Фрикулинг» (англ. free-cooling — свободное охлаждение). В настоя­щее время технические решения по фрикулингу можно условно разде­лить на три группы: прямой, пол­ный и непрямой.

Схема прямого фрикулинга реа­лизуется по принципу приточно-вытяжной установки, которая может быть как отдельной подсистемой, так и встроенной в существующую схему кондиционирования (напри­мер, подпотолочные кондиционе­ры), и применяется для небольших серверных и мобильных ЦОД. По сути, воздух забирается из внеш­ней среды, фильтруется и подает­ся в серверное помещение.

К несомненным достоинствам подобного метода можно отнести низкую стоимость реализации и простоту конструкции, поскольку часто вся схема представляет собой сборку из вентиляторов, фильтров, клапанов, заслонок с электропри­водом и воздуховодов. Энергопо­требление вентиляторов в таком случае будет на порядок ниже по сравнению с традиционными ком­прессорными фреоновыми конди­ционерами. Вместе с тем прямой фрику­линг имеет и ряд существенных недостатков. Так, например, отсут­ствует возможность поддержания определенного уровня влажности в помещении. Дабы зимой не вы­падал конденсат из-за большой разницы температур и достиже­ния точки росы, воздух подогрева­ют калорифером, установленным в приточном воздуховоде. Однако калорифер — это весьма энерго­затратный элемент, резко снижа­ющий выгоды от использования фрикулинга (особенно если это мобильный ЦОД). С увлажнением задача сложнее, поскольку дан­ный процесс требует постоянной подачи очищенной воды (что в принципе не реализуемо для тех же мобильных ЦОД).

Второй недостаток породил еще больше дискуссий — сам принцип прямого свободного охлаждения наружным воздухом подразумева­ет отсутствие промежуточного теплоносителя (будь то гликолевая смесь или фреон). Именно поэтому возникает проблема накопления мелкодисперсной пыли, проника­ющей в чистое серверное помещение извне. Также существует мнение (хотя оно и спорное), что прямая подача воздуха с улицы в серверное помещение способствует проникновению продуктов горения (в случае пожара), смога, активных окислителей, содержащихся в вы­бросах промышленных предприя­тий, и др. И якобы эти элементы, которые потенциально могут со­держаться в уличном воздухе, со временем способны вывести из строя ИТ-оборудование.

Дальнейшим развитием рассма­триваемого метода стал принцип свободного охлаждения, в основе которого лежит использование ро­торного рекуператора в качестве теплообменника для двух незам­кнутых контуров воздуховодов. Ро­торный рекуператор представляет собой промежуточный вентилятор весьма крупных размеров, который разделяет два контура воздухо­водов — внешний и внутренний. Рекуператор выполняет функцию теплообменника «воздух/воздух» и выступает в роли передатчика тепла между внешним и внутрен­ним контурами. В данном случае отсутствует прямая подача возду­ха с улицы (точнее, отсутствует в штатном режиме, однако она мо­жет осуществляться в аварийном режиме при отказе всей системы), при этом сохраняются все досто­инства прямого фрикулинга. В странах СНГ известна система FFC (full free-cooling system), которая продвигается на рынке компани­ей «Аякс». За рубежом очень ак­тивно предлагается система Киото-кулинга, названная по имени компании-производителя (Kyoto cooling), в которой заложен тот же принцип охлаждения (рис. 1).

Рис.1. Схема работы Киото-кулинга.

Отличие заключается в особен­ностях резервирования системы. Если в случае FFC дублирование осуществляется на уровне отдель­ных элементов, то в Киото-кулинге резервировать надо всю систе­му целиком. Принцип охлаждения серверной комнаты основывается на эффекте «затопления» холодным воздухом всего помещения благо­даря избыточному давлению, ис­кусственно создаваемому приточ­ной вентиляцией.

При скорости воздушного потока в два-три метра в секунду теплопритоки ИТ-оборудования сдува­ются мощной струей. Этот фактор вкупе с положительным дисбалансом давления в серверном по­мещении позволяет равномерно обеспечить холодным воздухом все ИТ-оборудование. К несомнен­ным преимуществам можно отнести энергоэффективность (благо­даря отсутствию компрессоров), что дает возможность сэкономить не только электроэнергию, но и номинальную мощность ДГУ Немаловажным достоинством явля­ется высокая экологичность — в серверной отсутствуют трубопро­воды с токсичными теплоносите­лями, такими как фреон или этиленгликоль. Простота реализации и высокая ремонтопригодность по­зволяют использовать компоненты и детали (основу составляют воз­духоводы и вентиляторы), кото­рые можно приобрести у многих поставщиков. Еще одно достоин­ство заключается в отсутствии не­обходимости формирования в ЦОД «холодных» и «горячих» коридоров.

Однако использование такого решения имеет и свои нюансы. Первоначально системы, работа­ющие по принципу роторного ре­куператора, разрабатывались как вариант модернизации существу­ющих серверных залов. Поэтому предполагалось, что вся громоздкая вентиляционная установка будет находиться снаружи здания, пода­вая холодный воздух в помещение вычислительного центра. Следо­вательно, перед установкой стоит предусмотреть значительно боль­шие площади вне основного по­мещения дата-центра, чем при ис­пользовании традиционных систем кондиционирования. В противном случае придется прятать внешние узлы системы внутри легковозводимой воздухопроницаемой кон­струкции (рис. 2). Шкафы при такой системе также потребуют модернизации (либо же надо использовать конструкции, изготовленные по спецзаказу). Пода­ча воздуха должна осуществляться снизу, прямо под шкафом, а выброс сверху — по специальным воздухо­водам за фальшпотолок.

Рис.2. Установка Киото-кулинга в специальной внешней конструкции.

Серьезным недостатком подоб­ной схемы является то, что уста­новка на базе роторного реку­ператора не сможет эффективно охлаждать серверное помещение при наружных температурах вы­ше +22°С. Все равно потребуется чиллер (холодильная машина), что значительно удорожает решение и усложняет обслуживание.

Однако, как показывает опыт внедрений, окупаемость капиталь­ных затрат, при использовании си­стемы на базе полного фрикулинга при мощности ЦОД в 1 МВт происходит быстрее на 1,5-2 года по сравнению с обычной фреоновой системой охлаждения.

Чтобы использовать преимуще­ство получения бесплатного наруж­ного холода и полностью нивели­ровать подачу внешнего воздуха в серверную, потребуется либо использовать фрикулинг лишь для внешних блоков холодильно­го оборудования, либо применять «непрямой» фрикулинг.

Первую схему используют в чиллерах воздуш­ного охлаждения наружной установки. В холодное время года холодильная машина не будет использовать компрессоры для от­ведения тепла, а лишь выполнять функцию теплообменника между теплоносителем и внешней средой. Обратная сторона медали в данном случае заключается в том, что холодопроизводительность чиллера в режиме фрикулинга ниже, чем в штатном режиме. Это нужно учи­тывать изначально уже при про­ектировании системы охлаждения, закладывая в проект более мощ­ные и, соответственно, более до­рогие чиллеры.

В случае «непрямого» фрикулинга используется система модернизи­рованного воздушного кондицио­нирования, и воздух извне вообще не поступает в серверную. Само на­звание метода отражает лишь соблюдение принципа свободного ох­лаждения воздухом, поступающим из внешней среды. Соответствен­но, при снижении температуры наружного воздуха энергозатраты на охлаждение пропорционально снижаются.

Другая конструктивная реали­зация подобной концепции — это двухконтурные кондиционеры. Фреоновый контур обеспечивает функционирование кондиционера в теплое время. Как только темпе­ратура на улице будет приближать­ся к нулю (каждый производитель имеет свои представления о момен­те включения режима фрикулинга), кондиционер переключится на гликолевый контур (который соеди­няет испарительный блок с сухой градирней), при этом компрессор не используется.

Использование энергии тригенерации

Говоря об энергоснабжении ЦОД, обычно подразумевают подвод внешних линий электропитания. А что если ЦОД находится далеко от населенных пунктов и внешних сетей, но близко к промышленным объектам? Почему бы не найти воз­можность получить электроэнергию в непосредственной близости, осо­бенно если рядом находятся промышленные предприятия по пе­реработке биологического сырья? В этом случае можно использовать вариант с когенерационной биога­зовой установкой.

В общем случае когенерационная установка представляет собой тех­нологию дальнейшего повышения коэффициента полезного действия тепловых электростанций. Основная идея когенерации заключается во вторичном использовании тепла, которое осталось после выработ­ки электроэнергии внутри элек­тростанции, при этом КПД сгора­ния топлива может увеличиться на 40% (до 90%) по сравнению с традиционными газопоршневыми электростанциями. В качестве то­плива могут использоваться как традиционные углеводороды, так и биотопливо (биогаз), получаемое в результате переработки биологи­ческого сырья.

Например, финская компания Alholmens Kraft Ab воплотила в жизнь проект, позволяющий полу­чать 550 МВт тепловой энергии и 240 МВт электроэнергии, используя процесс сжигания древесины и торфа. Сырье, сжигаемое на этой станции, собрано без ущерба для окружающей среды. В качестве древесины используется старый вырубленный лес. Станция способ­на сжигать 1000 куб. м биотоплива в час. Диаметр котла, в котором происходит сжигание топлива, со­ставляет 8,5 метра в основании и 24 метра в верхней части при об­щей высоте 40 метров. Следует от­метить, что такая энергетическая установка при полном отсутствии внешних сетей электроснабжения все-таки недостаточна для нужд ЦОД. Ведь для обеспечения отказо­устойчивости потребуется два не­зависимых энерговвода, а строить две отдельных установки экономи­чески нецелесообразно. Однако при отсутствии резервного энерговвода (что часто бывает за городом) та­кая энергоустановка сможет повы­сить надежность электроснабжения ЦОД, ведь стоимость ее установки может быть сопоставима с про­кладкой дополнительной внешней высоковольтной линии.

Если пойти еще дальше, то для нужд охлаждения ЦОД можно ис­пользовать вырабатываемое им же тепло, превращая его … в холод. Для этого используются специаль­ные абсорбционные чиллеры, в ко­торых циркуляция хладагента (ча­ще всего дистиллированной воды) происходит за счет растворения (абсорбции) хладагента в жидко­сти-абсорбенте, в роли которого чаще всего выступает раствор бро­мистого лития. Цикл абсорбционно­го охлаждения использует эффект поглощения тепла хладагентом при его переходе из парообразного со­стояния в жидкое. При этом сам процесс называется уже тригенерацией и подразумевает получе­ние не только электроэнергии, но и тепла и холода (рис. 3).

Рис.3. Общая схема работы абсорбционного чиллера.

В процессе работы абсорбцион­ного чиллера происходит следую­щее. В генераторе под действием внешнего источника тепла (газовая горелка, пар или горячая вода) из разбавленного раствора бромида лития выделяются пары хладаген­та (воды) (данный процесс назы­вается десорбция), которые затем переносятся в конденсатор. Осво­бождаемый из раствора водяной пар поступает в конденсатор, где он переходит в жидкое состояние, отдавая тепло воде, проходящей через теплообменник, соединен­ный с внешней градирней.

После конденсации жидкий хлад­агент поступает в трубки испарите­ля, где, испаряясь, отбирает тепло у охлаждаемой воды. Водяной пар поглощается в абсорбере концен­трированным раствором бромида лития, который поступает из гене­ратора и разбавляется. Разбавлен­ный раствор бромида лития затем перекачивается насосом обратно в генератор, и цикл повторяется снова. Для увеличения коэффици­ента полезного действия может применяться двухконтурная схе­ма работы, при которой генератор разделен на две части: высокого и низкого давления.

Абсорбционные чиллеры не ис­пользуют компрессоры, соответ­ственно, являются экономичны­ми с точки зрения поддержания климата. Например, чиллер Sanyo при холодопроизводительности в 1 МВт потребляет электрическую мощность в 15 кВт.

Однако абсорбционные установ­ки имеют и существенные недо­статки, в частности, большие га­бариты (рис. 4), значительный срок поставки и высокую стои­мость. Что касается экономиче­ской целесообразности, то можно говорить об окупаемости в те­чение 3-5 лет при холодопроиз­водительности абсорбционного чиллера от 1 МВт.

Рис.4. Абсорбционный чиллер производства компании Broad.

Решения на все времена?

Использование фрикулинга до­статочно рациональное решение для ЦОД, особенно если дело каса­ется большой мощности. Экономия на энергозатратах существенная, и разница в цене между решени­ями с фрикулингом и без него довольно быстро нивелируется в процессе эксплуатации, особенно для нашего климата. В то же вре­мя инсталляция таких решений требует большей компетенции, как при проектировании, так и при вводе в эксплуатацию. Отдельно стоит провести оценку экономи­ческой эффективности для каж­дого конкретного случая и срока окупаемости решения, особенно если система кондиционирования будет внедряться поэтапно.

Не следует забывать, что чем больше суммарная мощность кон­диционирования, тем ощутимее бу­дет и экономический эффект. Что касается тригенерации, то данная технология уникальна в своем ро­де, однако с ростом энергоэффек­тивности растет и цена решения, срок поставки и внедрения. Ис­пользование подобных решений будет обоснованным при мощно­стях ЦОД более 1 МВт и высоком коэффициенте использования ИТ-оборудования. Именно поэтому проекты, в которых используют­ся абсорбционные чиллеры, пока еще редкость.

Правила использования материалов сайта