Чиллер для GPU-серверов и жидкостного охлаждения: расчёт

Чиллер для GPU-серверов с жидкостным охлаждением считают по теплу, которое водоблоки снимают с ускорителей и процессоров: это 60–95 % электрической мощности стойки, остальное уходит в воздух зала. Вода при этом нужна тёплая, 25–30 °C, а не 7 °C, как для кондиционеров. Калькулятор посчитает холодопроизводительность по числу стоек, их мощности и схеме отвода тепла, а также расход воды и ту часть тепла, которую придётся снимать с воздуха.

Откуда берётся тепло

• Ускорители и процессоры. Вся электрическая мощность стойки превращается в тепло. Стойка с серверами на восемь графических ускорителей потребляет ориентировочно 30–50 кВт, новые поколения — 100 кВт и больше.
• Водоблоки. Холодные пластины на ускорителях и процессорах забирают 60–70 % тепла стойки. Память, блоки питания и коммутаторы остаются на воздухе.
• Теплообменник задней двери. Если на стойке стоит дверь с водяным теплообменником, она снимает тепло и с воздушной части, и в воду уходит 80–90 %.
• Иммерсионная ванна. Серверы в диэлектрической жидкости отдают в неё почти всё, 95 % и больше; в воздух зала остаётся только тепло насосов и блоков питания ванны.
• Насосы и трасса. Распределительный блок охлаждения (CDU) с насосами добавляет 2–3 % к теплу контура.

Воздушную часть тепла снимают кондиционеры зала, и её считают отдельно, как в задаче о чиллере для ЦОД и серверной: там вода 10/15 °C, и это обычно другой чиллер.

Формула

Q_ж = n × P × k_ж

Q = Q_ж × 1,03 × (1 + k / 100)

G = Q / (1,163 × Δt)

n — число стоек; P — электрическая мощность стойки, кВт; k_ж — доля тепла, которая уходит в жидкость, по таблице; Q_ж — тепло в контуре водоблоков, кВт; 1,03 — насосы CDU и потери на трассе; k — запас, %; Q — холодопроизводительность чиллера, кВт; Δt — нагрев воды в теплообменнике CDU, °C, обычно 8–12; G — расход воды через чиллер, м³/ч, как в расчёте мощности по расходу и температурам. В воздух зала уходит n × P × (1 − k_ж).

Температуру воды задаёт производитель серверов по классам жидкостного охлаждения ASHRAE TC 9.9: класс W27 допускает воду до 27 °C на входе в оборудование, W32 — до 32 °C, W40 — до 40 °C. Чем теплее вода, тем меньше нужен компрессор и тем большую часть года чиллер работает без него — это считают в расчёте экономии от фрикулинга. При воде от 25 °C чиллер делают в исполнении на хладагенте R134a, и такую установку подбирают индивидуально.

Пример расчёта

Четыре стойки по 40 кВт с водоблоками на ускорителях и процессорах, вода от чиллера 25 °C с нагревом на 10 °C, запас 15 %.

1. Мощность стоек: 4 × 40 = 160 кВт.
2. Тепло в жидкость: 160 × 0,7 = 112,0 кВт; в воздух зала остаётся 160 − 112 = 48,0 кВт.
3. С насосами CDU: 112 × 1,03 = 115,36 кВт.
4. Холодопроизводительность: 115,36 × 1,15 = 132,664 кВт, округлённо 132,7 кВт.
5. Расход воды: 132,664 / (1,163 × 10) = 11,4 м³/ч.

Как выглядит установка на 132,7 кВт — компрессоры, потребление, расход воды, габариты и масса — показано на странице чиллера 130 кВт; температуру воды 25 °C там задают свою. Оставшиеся 48 кВт в воздухе зала считают по задаче о ЦОД и закрывают отдельной системой.

Типовые ошибки

• Холодная вода для водоблоков. Если подать на CDU воду 7–12 °C, как на кондиционеры, трубы и коллекторы в зале окажутся ниже точки росы и покроются конденсатом, а компрессор будет работать там, где хватило бы тёплой воды. Водоблокам нужна вода по классу ASHRAE, обычно 25–30 °C.
• Забытый воздух. При водоблоках 30–40 % мощности стойки остаётся в воздухе: четыре стойки по 40 кВт дают 48 кВт тепла в зал, и без кондиционеров он перегреется за минуты. Воздушную часть считают и закрывают отдельно.
• Вода чиллера напрямую в водоблоки. Каналы холодных пластин узкие, и вода контура чиллера с продуктами коррозии их забивает. Контуры разделяют теплообменником CDU, а воду контура чиллера готовят по справочнику о воде для чиллера; как устроен промежуточный теплообменник — в справочнике о теплообменниках чиллера.
• Один чиллер без резерва и бака. При остановке подачи температура ускорителей растёт за секунды, и серверы сбрасывают частоту или выключаются. Нагрузку делят между установками с резервом по схеме модульного чиллера, а буферный бак даёт время на перезапуск.