Модернізація систем кондиціонування центрів обробки даних

Як показує практика, дуже важливу задачу являє собою не тільки побудова ефективної системи охолодження нового центру обробки даних (ЦОД), а й модернізація, оптимізація та підвищення ефективності роботи кондиціонування в чинному дата-центрі. У даній статті будуть розглянуті конкретні рішення з модернізації систем кондиціонування існуючих ЦОД і серверних.

Один ряд стійок в невеликий серверної

У розглянутому приміщенні встановлено один ряд стійок. Фальшпідлога відсутня. Спочатку охолодження реалізоване за допомогою п'яти звичайних настінних спліт-систем, чотири з яких працювали одночасно, а п'ята вважалася резервною.

З часом в серверній зіткнулися з нестачею холоду в години пікових навантажень. Крім того, у зв'язку з модернізацією обчислювального (серверного) устаткування щільність теплонадлишків збільшилася, а в стійках звільнилося додаткове вільне місце. Це означає, що потужність серверної може ще більше зрости, для чого планується закупити додаткові силові модулі ДБЖ. Вони також виділяють тепло. Таким чином, система кондиціонування вимагає значної модернізації.

У даному випадку бачаться два шляхи вирішення проблеми: за відсутності вільних площ використовувати більш потужне канальне кліматичне обладнання, а при наявності площ перейти на прецизійні кондиціонери.

Схема системи, одержуваної в першому випадку, показана на мал. 1. При її реалізації слід звернути увагу на розміщення кондиціонерів.

Мал. 1. Використання канальних кондиціонерів в серверних.

Як правило , при виборі кондиціонерів до уваги береться лише значення тепловиділень від IT- обладнання. Внутрішні блоки при цьому вішаються в гарячому або в холодному коридорах або відразу в обох. У даному випадку власник впевнений, що при роботі кондиціонерів доб'ється ефекту середньої температури по лікарні і все буде відмінно працювати. Однак у більшості випадків після запуску серверної в експлуатацію ситуація розвивається зовсім інакше, та IT -обладнання починає перегріватися, хоча холодопродуктивності встановлених кондиціонерів цілком вистачає.

Проблема в даному випадку криється в неправильній організації руху повітряних потоків і в тісноті приміщення, а саме: кондиціонери, внутрішні блоки яких встановлені в гарячому коридорі, перемішують повітря тільки в межах гарячого коридору, і лише незначна частина охолодженого повітря потрапляє на вхід IT-обладнання.

Для правильної організації повітрообміну необхідно розташувати канальні блоки над рядом стійок і організувати паркан і надходження повітря так, щоб забирати повітря саме з гарячого коридору, а подавати в холодний коридор.

Тепер розглянемо варіант, коли габарити приміщення дозволяють встановити прецизійні кондиціонери і власник серверної усвідомлює, що краще використовувати високонадійне спеціалізоване кондиціонерне обладнання.

Застосування внутрірядних прецизійних кондиціонерів відпадає з причини їх високої вартості і великої одиничної холодопродуктивності. Вибір однозначно робиться на користь прецизійних кондиціонерів шафового типу, і, враховуючи відсутність фальшпідлоги, це буде виконання з забором повітря з передньої панелі і роздачею вгору.

Отже, тип кондиціонерів визначений. Залишається їх встановити в приміщення і запустити, але не тут-то було. Власники майбутніх серверних, керуючись тим, що прецизійні кондиціонери мають набагато більшою кратністю циркуляції повітря і великою вільним напором вентиляторів в порівнянні з побутовими кондиціонерами типу «спліт», також вважають, що отримають нормальну середню температуру в загальному обсязі приміщення, де б не були встановлені кондиціонери. Однак, запускаючи в роботу IT-обладнання, відзначають, що частина його перегрівається.

Тут можна виділити три помилки, які найбільш часто зустрічаються:

• Якщо встановити кондиціонер в зоні холодного коридору, то він не буде навантажений теплом, так як охолоджене повітря лунає вгору, потім, як за законами фізики, так і в результаті розрядження, створюваного вентиляторами стоечного обладнання, опускається вниз в холодний коридор і потрапляє на вхід як в IT-обладнання, так і в повітрозабірні грати кондиціонера, які розташовани на його передній панелі на висоті 1-1,2 м від рівня підлоги. В результаті кондиціонер замикається сам на себе: охолоджене їм повітря потрапляє на вхід, і кондиціонер вимикається, так як датчик температури фіксує досягнення заданого значення. Тим часом з боку гарячого коридору створюється зона перегріву.
• Якщо встановити кондиціонер в зоні гарячого коридору, то на його повітрозабірні грати буде дути якраз повітря, нагріте IT-обладнанням. Але, враховуючи, що роздача охолодженого повітря йде вгору, то лише його незначна частина досягне стоечного обладнання, розташованого у верхній зоні стійок, а IT-обладнання, розташоване посередині і внизу стійок, буде перегріватися. Не врятує в даному випадку і конфігурація кондиціонера з пленумом для роздачі повітря вперед.
• Якщо встановити кондиціонер перпендикулярно ряду зі стійками, то також будуть зони локального перегріву все з тих же причин. У даному випадку IT-обладнання, розташоване в далеких від кондиціонера стійках, буде перегріватися.

Правильним рішенням буде наступна конфігурація системи кондиціонування: прецизійні кондиціонери шафового типу з роздачею повітря вгору потрібно розміщувати в гарячому коридорі, щоб на їх вхід потрапляло саме нагріте IT-обладнанням повітря. Далі необхідно змонтувати повітроводи так, щоб охолоджене повітря перекидався через стійки і роздавався спадним потоком вздовж повітрозабірних решіток стійок. Дана схема наведена на мал. 2.

Мал. 2. Установка шафового кондиціонера в серверній.

Модернізація систем охолодження середніх і великих ЦОД

Модернізація систем кондиціонування середніх і великих центрів обробки даних, як правило, зводиться до заміни кондиціонерів на більш нове і енергоефективне обладнання. При цьому слід пам'ятати про ряд важливих факторів, облік яких дозволить значно підвищити ефективність системи охолодження при менших витратах.

Використання сучасних технологій

При зміні кліматичного обладнання ЦОД слід вибирати найбільш ефективне нове обладнання, яке оснащено сучасними комплектуючими, такими як електронний терморегулюючий вентиль (ТРВ), електронно-комутовані вентилятори, турбокомпресори, мікроканальні теплообмінники.

Так, електроніка контролера електронного ТРВ (зовнішній вигляд електронних ТРВ показаний на мал. 4) працює набагато швидше і точніше механічної системи традиційного ТРВ, а тому дозволяє більш точно підтримувати величину перегріву холодоагенту на виході з випарника, і, отже, немає необхідності його завищувати. У той час як у звичайних кондиціонерах перегрів може досягати 15°C, в кондиціонерах з електронним ТРВ він складає всього 5°C. Зниження величини перегріву призводить до зростання холодильного коефіцієнта установки (мал. 3).

Мал. 3. Оптимізація холодильного циклу за рахунок застосування електронного ТРВ.

Управління приводом здійснюється контролером, вбудованим в кондиціонер. На основі вимірів температури і тиску, що надходять в контролер від відповідних датчиків, генерується сигнал, що подається на електропривод ТРВ. Крім того, електронний ТРВ, як і будь який інший електронний пристрій, може бути оснащений системою моніторингу, а його робочі характеристики виведені на екран диспетчера. Як результат застосування електронного ТРВ оптимізує холодильний цикл кондиціонера, в деяких ситуаціях збільшуючи холодильний коефіцієнт до 20%.

Мал. 4. Електронні теплорегулюючі вентилі Carel.

Певні переваги несе в собі і використання електронно-комутованих вентиляторів (EC-вентиляторів), які побудовані за бесщеточной технології. Магнітне поле утворюється завдяки присутності постійного магніту, а комутація здійснюється за рахунок транзистора. Тим самим досягаються електронна комутація і відсутність механічних комутованих елементів.

Електронна комутація на відміну від механічної дозволяє відмовитися від рухомих частин і, відповідно, вирішити проблему їх зносу. Все це пояснює більш високу ефективність EC-вентиляторів у порівнянні з вентиляторами з іншими типами двигунів. А, за даними компанії Systemair, при регулюванні продуктивності вентиляторів жоден метод регулювання (мал. 5), будь то трансформатор або навіть перетворювач частоти, не може змагатися з результатами EC-вентиляторів.

Мал. 5. Характеристики вентиляторів з різними
приводами при різних витратах повітря.

Крім цього, EC-вентилятори здатні змінювати продуктивність в широкому діапазоні. Це особливо важливо в процесі нарощування потужності ЦОД.

Управління продуктивністю вентилятора здійснюється через сигнал 0-10 В від кондиціонера. Звідси ж випливає можливість плавного виходу на режим, без пускових струмів.

Зрештою, за даними компанії Emerson Network Power, застосування кондиціонерів з ЄС-вентиляторами дозволяє заощадити до 63% споживаної вентиляторами потужності.

Відстань від стійок до кондиціонера

Здавалося б, для зниження довжини повітряного потоку відстань між кондиціонером і найближчої стійкою або, якщо бути більш точним, між кондиціонером і найближчими підлоговими решітками слід звести до мінімуму, проте це далеко не так. Справа в тому, що повітря, яке нагнітається кондиціонером, буде «забиватися» в далекі кути — там його статичний тиск виявиться максимальним, і чим ближче до кондиціонера, тим статичний тиск буде нижче і тим вище динамічний тиск.

Це відома для фахівців з вентиляції ситуація, коли частина припливної решітки, ближня по ходу повітря, не роздає, а засмоктує повітря. Рішенням тут є виконання хоча б півметрового відведення та адаптера. Для фальшпідлоги в ЦОД ситуація аналогічна - в решітку безпосередньо поблизу кондиціонера повітря буде засмоктуватися, а першим стійкам загрожує перегрів. Тому рекомендується видаляти кондиціонер від ряду на 1,5 м, краще на 2 м. Як варіант - на три плитки фальшпідлоги (тобто на 1,8 м), тим самим забезпечивши ще й пожежний прохід.

Розташування підлогових решітокк

Розташування підлогових решіток - треба сказати, болюче питання для дата-центрів. Комусь із фахівців з обслуговування ЦОД стає жарко в якій-небудь точці ЦОД, і він вирішує перенести напольную решітку ближче до цього місця. Інші «розумники» вирішують вирівняти температуру між коридорами і розподіляють решітки рівномірно по холодним і гарячим коридорах. Десь правило холодних і гарячих коридорів взагалі не дотримується, а, замучившись перерозподіляти решітки на підлозі, персонал просто знімає частину плиток, залишаючи ями і при обході просто перестрибуючи з однієї плитки на іншу.

Саме тому модернізація системи охолодження - кращий привід навести порядок як в подфальшпольном просторі машинного залу, так і з розкладкою плиток і решіток по сітці фальшпідлоги.

Ще раз звернемо увагу на те, що, незважаючи на підвищену температуру, в гарячому коридорі не повинно бути встановлено ні єдиної підлогової решітки. Решітки повинні встановлюватися тільки в холодних коридорах. При цьому під решіткою має бути вільне місце: її не повинні закривати кабельні лотки, трубопроводи та інші комунікації.

Мал. 6. Зовнішній вигляд електронно-комутованого вентилятора.

Зміна температурного графіка теплоносія

Це, мабуть, найбільш складний захід при часткової модернізації системи охолодження ЦОД, оскільки зачіпає і вимагає перерахунку як внутрішнього, так і зовнішнього обладнання. Крім того, цей метод можна застосовувати тільки для систем охолодження, побудованих за схемою «чилер - фенкойл».

Відзначимо, що невірно задана температура циркулюючого в контурі теплоносія може привести до недостатнього знімання тепла, різкого осушенню повітря, підвищеного енергоспоживання системи та інших негативних явищ. Для ЦОД, що характеризуються високою питомою теплового навантаження, велику роль відіграє збереження вологості внутрішнього повітря, оскільки енерговитрати на зволоження повітря за допомогою вбудованих в кондиціонери паро-зволожувачів надзвичайно великі. Тому тривалість їх роботи бажано звести до мінімуму.

Як відомо, причиною появи конденсату є те, що температура поверхні теплообмінника, охолоджуючого повітря, виявляється нижче точки роси. Отже, для уникнення конденсату необхідно підвищити температуру теплоносія.

Враховуючи, що для найбільш популярних параметрів мікроклімату в ЦОД (24°C/50%) точка роси становить 12,7°C, то середня температура поверхні теплообмінника повинна бути близько цієї величини. Саме тому в проектах для ЦОД замість традиційного температурного графіка 7/12°C набагато вигідніше використовувати графік 10/15°C, для якого коефіцієнт SHR (коефіцієнт ефективності теплообміну, дорівнює відношенню явною холодопродуктивності до повної) складає 0,98–1.

Однак слід пам'ятати, що при переході з температурного графіка 7/12°C на графік 10/15°C знижується холодильна потужність водяних шафових кондиціонерів, але зростає потужність чиллерів.

У цілому ж реальні розрахунки переходу з температурного графіка 7/12°C на графік 10/15°C для ЦОД потужністю 900 кВт показали, що енерговитрати на систему кондиціонування в процесі експлуатації знизяться з 510 до 427 кВт, тобто на 16%. У загальному випадку в залежності від ситуації можна очікувати виграшу в енерговитратах в розмірі 10–20%.

Контейнеризація коридорів в ЦОД

Ще одне питання, над яким в обов'язковому порядку слід задуматися при модернізації системи кондиціонування чинного дата-центру, - контейнеризація (ізоляція) холодних або гарячих коридорів ЦОД. Зовнішній вид рішення представлений на мал. 7.

Мал. 7. Зовнішній вид рішення по ізоляції коридорів в ЦОД.

Контейнеризація гарячих і холодних коридорів здійснюється для зменшення змішування холодного і гарячого повітря. Це великий крок вперед, що дозволяє більш ефективно направляти повітря до джерел теплового навантаження і від них і забезпечувати охолодження більш потужного обладнання.

Відразу відзначимо, що, як показує досвід, ізоляція одночасно і холодних, і гарячих коридорів не дає значних переваг і бажаного економічного ефекту в порівнянні з рішенням ізоляції тільки одного типу коридорів. Головний недолік контейнеризації гарячого коридору - робоча середа в гарячому коридорі, температура якої може досягати 35 градусів. Працювати в таких умовах протягом довгого часу некомфортно. Однак можливість досягнення більш високої температури відпрацьованого повітря підвищує ефективність. Кондиціонери генерують більшу охолоджуючу потужність при роботі з більш гарячим повітрям.

Тільки при повній контейнеризації гаряче повітря повертається до кондиціонерів з максимальною температурою. Це може бути організовано за допомогою системи повітряних каналів. Однак частіше використовується надстельовий простір. При цьому є кілька застережень і практичних рекомендацій:

• надстельовий простір повинен бути чистим;
• стельова плитка повинна добре триматися, не зноситися повітряними потоками і не відшаровуватися;
• для проходу повітря через стелю гарячого коридору потрібна установка великої кількості широких вентиляційних решіток.

Якщо ж говорити про ізоляцію холодного коридору, одна з основних переваг даної технології полягає в тому, що незалежно від підпільного або надстелевого розташування системи охолодження коридор заповнюється тільки холодним повітрям. Це забезпечує подачу максимального обсягу холодного повітря до обладнання та мінімізує різницю температури між верхніми і нижніми частинами серверних шаф. Таким чином, ліквідується поширена в дата-центрах проблема перегріву ІТ-обладнання, розташованого в самій нижній або самої верхній частинах стійок.

При цьому необов'язково охолоджувати повітря до 13 градусів, як це традиційно робилося раніше. Верхня межа, що встановлюється ASHRAE, становить 27 градусів, тому можна задати температуру в районі +24°C і не турбуватися за безпеку обладнання. Це знизить енергоспоживання кондиціонерів при тій же холодильної потужності.

Що стосується безпосередньо реалізації контейнеризації, то на сьогоднішній день на ринку представлена ​​маса подібних рішень, причому як для знову встановлюваних, так і для вже існуючих рядів стійок; як для стійок одного виробника і одного типорозміру, так і для різнорідних стійок.

Найбільш простий спосіб контейнеризації коридорів, придатний для рядів з різнорідними стійками, - використання спеціальних ізолюючих ламелей (гнучких пластин), які можуть бути прикріплені до стелі і підігнані по висоті під фактичні контури стійок.

Згідно досвідченим даними, ізоляція коридорів дозволяє підвищити потужність стійок до 10-15 кВт. Крім того, це дозволяє зробити систему охолодження більш ефективною в середньому на 15-30%.

Загальні рекомендації

Розібравши питання модернізації систем кондиціонування малих і великих ЦОД, хотілося зупинитися ще на кількох загальних важливих фактах, а саме:

• в обов'язковому порядку слід передбачати резервування систем кондиціонування, так як, яке б надійне обладнання ви не використали, техніка може ламатися, і, відповідно, перегрів IT-обладнання неминучий;
• при пропажі електроживлення на системі кондиціонування в умовах, коли ІТ-обладнання буде продовжувати працювати від ДБЖ, в серверній моментально почне рости температура повітря, і як підсумок серверна зупиниться через перегрів. У зв'язку з цим пам'ятайте, що при зупинці системи кондиціонування серверна довго не пропрацює. Якщо немає можливості живити кондиціонери від ДБЖ, то розгляньте можливість живити робочі та резервні кондиціонери від різних вводів електроживлення. Якщо ж і це неможливо, задумайтеся про систему аварійної вентиляції серверної, яка живиться від ДБЖ, так як вентилятори споживають набагато менше електроенергії, ніж компресори кондиціонерів;
• обов'язково усувайте перетоки повітря з гарячого коридору в холодний через вільні місця в стійках, закриваючи їх заглушками. Дані перетоки сильно знижують ефективність системи кондиціонування і можуть викликати зони локального перегріву. Якщо штатні заглушки, що випускаються виробниками стійок, представляються дорогим рішенням, замість них можна використовувати листи з оргскла або полікарбонату.

Підводячи підсумки

Отже, в рамках даної статті ми розібрали особливості модернізації систем кондиціонування як невеликих серверних, так і середніх, і великих машинних залів ЦОД, запропонувавши конкретні заходи і акцентувавши увагу на найбільш важливих сучасних технологіях, які слід було б врахувати в процесі вибору обладнання і при розробці нового проекту систем кондиціонування. Серед таких технологій електронні теплорегулюючі вентилі та електронно-комутовані вентилятори.

Що стосується концепції всієї системи охолодження, то слід звертати увагу на розкладку плиток і решіток фальшпідлоги, як взаємне, так і щодо розташування кондиціонерів. Крім того, якщо ви плануєте надалі модернізувати дата-центр, слід задуматися про впровадження таких рішень, як контейнеризація холодних або гарячих коридорів і підвищення температурного графіка теплоносія. Обидва рішення спрямовані на підвищення енергоефективності системи охолодження ЦОД, а також дозволяють збільшити потужність кожної з стійок.

Правила використання матеріалів сайту