Развитие искусственного интеллекта, гипермасштабируемых облачных сред и общая потребность в высокой производительности значительно изменили проектирование и охлаждение центров обработки данных в 2025 году. Однако стремительная эволюция ИИ и смежных технологий изменит масштабы ЦОД и будет способствовать внедрению еще более совершенных технологий охлаждения в течение следующего десятилетия. Давайте рассмотрим, что ждет нас в будущем.
Всего 10 лет назад, в 2015 году, жидкостное охлаждение в центрах обработки данных применялось в основном в специализированных областях, таких как суперкомпьютеры и майнинговые фермы; уровень его глобального внедрения тогда составлял в лучшем случае около 5%. Воздушное охлаждение доминировало из-за более низких первоначальных затрат и более простой инфраструктуры. Но к 2020 году внедрение жидкостного охлаждения начало расти и достигло примерно 10%, поскольку облачные гиперскейлеры стали стремиться к повышению эффективности. Однако при средней плотности мощности от 5 до 10 кВт на стойку воздушного охлаждения было достаточно для большинства.
Перенесемся на несколько лет вперед: плотность мощности на стойку увеличилась до 15 кВт, 20 кВт, 30 кВт или даже 40 кВт (в случае стоек на базе Nvidia H100). Этот стремительный рост плотности мощности привел к стабильному внедрению жидкостного охлаждения, поскольку технология перешла от специализированных решений к корпоративным и облачным центрам обработки данных.
К 2024 году жидкостное охлаждение заняло 46% всего рынка охлаждения центров обработки данных, но воздушное охлаждение по-прежнему удерживало 54% рынка, согласно данным Mordor Intelligence. Воздушное охлаждение по-прежнему преобладает в устаревших и средних по уровню объектах, но ожидается, что жидкостное охлаждение будет доминировать в новых сооружениях, особенно в ЦОД для ИИ и гипермасштабируемых облачных систем, поскольку мощность на стойку продолжает расти. Например, одна стойка Blackwell Ultra потребляет до 140 кВт, и это еще не предел роста плотности мощности.
По мере усложнения систем охлаждения растут и их затраты, что приводит к удорожанию решений. По данным Mordor Intelligence, глобальный рынок охлаждения центров обработки данных оценивается в 10,80 млрд долларов в 2025 году и, по прогнозам, достигнет 25,12 млрд долларов к 2031 году, демонстрируя совокупный годовой темп роста 15,11%. Этот значительный рост обусловлен текущим переходом от воздушных систем к жидкостным в центрах обработки данных для ИИ и гипермасштабируемых систем, что связано с такими факторами, как растущая тепловая плотность ускорителей ИИ, делающая воздушное охлаждение непригодным.
Традиционно центры обработки данных использовали воздушное охлаждение для обеспечения бесперебойной работы, и для многих операторов это не изменится в ближайшее время. Однако по мере увеличения тепловой плотности ограничения технологии становятся все более очевидными. Давайте разберемся, как все это работает на практике.
Воздушное охлаждение в центрах обработки данных работает путем циркуляции кондиционированного воздуха для поглощения и отвода тепла, выделяемого серверами и сетевым оборудованием. Обычно воздушное охлаждение поддерживает температуру входящего воздуха в диапазоне от 21°C до 24°C — рекомендованный диапазон для безопасной работы — постоянно подавая прохладный воздух к серверам и отводя теплый выходящий воздух для повторной обработки.
Большинство объектов с воздушным охлаждением организованы по принципу “горячий коридор/холодный коридор” для предотвращения смешивания горячего и холодного воздуха и, в конечном итоге, для снижения счетов за электроэнергию. Стойки располагаются так, чтобы передние части (входы для холодного воздуха) серверов находились друг напротив друга в холодном коридоре, а задние части (выходы для горячего воздуха) — друг напротив друга в горячем коридоре. Некоторые центры обработки данных идут дальше, изолируя горячие или холодные коридоры физическими барьерами для полного разделения воздушных потоков и минимизации энергопотерь.
Горячий воздух поднимается и возвращается в воздушный тамбур через решетки, откуда он поступает в системы охлаждения, такие как кондиционер для серверной (CRAC) или вентилятор для серверной (CRAH). Устройства CRAC используют хладагенты для прямого охлаждения воздуха, аналогично стандартным кондиционерам, в то время как устройства CRAH циркулируют воздух через змеевики, охлаждаемые водой, подаваемой от внешнего чиллера. Охлажденный воздух затем распределяется через систему подачи под фальшполом или по верхним воздуховодам и направляется в холодные коридоры. Поглотив тепло из горячего коридора, воздух возвращается через потолочные тамбуры к блокам охлаждения, где он дополнительно охлаждается.
Многие современные объекты с воздушным охлаждением также используют экономайзеры или системы свободного охлаждения для снижения энергопотребления. Эти системы используют прохладный наружный воздух или низкие температуры окружающей среды для помощи в работе или даже замены охлаждения CRAC или CRAH. В регионах с умеренным климатом это может значительно сократить потребление электроэнергии за счет минимизации работы компрессора.
Хотя воздушное охлаждение остается стандартной технологией охлаждения ЦОД, оно становится менее эффективным для стоек с высокой плотностью серверов, потребляющих от 20 кВт до 30 кВт, поскольку оно не может эффективно отводить достаточное количество тепла. В результате центры обработки данных все чаще внедряют системы жидкостного или гибридного охлаждения.
Гибридные и жидкостные системы охлаждения в центрах обработки данных разработаны для работы с более высокими тепловыми нагрузками серверов ИИ и HPC, каждый из которых может потреблять несколько киловатт мощности. Вместо того чтобы полагаться исключительно на охлажденный воздух, эти системы используют жидкий теплоноситель (обычно воду или диэлектрическую жидкость) для прямого поглощения и отвода тепла от компонентов или, в редких случаях, от локальных зон воздуха.
В гибридной системе охлаждения совместно используются воздух и жидкость. Холодный воздух продолжает циркулировать по помещению для поддержания температуры окружающей среды, в то время как жидкостные контуры обслуживают самые горячие компоненты, такие как ЦП и ГП (и, возможно, даже SSD в недалеком будущем). В этом случае тепло улавливается циркулирующим теплоносителем, который переносит его к блоку распределения охлаждения (CDU). Оттуда тепловая энергия либо передается в контуры охлаждения объекта и градирни, либо частично рассеивается за счет испарительного охлаждения перед выбросом наружу.
В зависимости от конкретной конфигурации, CRAC или CRAH могут обеспечивать 15-20% мощности охлаждения, в то время как основная часть тепловой нагрузки приходится на систему жидкостного охлаждения. Во многих случаях гибридное охлаждение может быть реализовано в существующих помещениях без необходимости полной перестройки объекта.
Компании, такие как AMD и Nvidia, рекомендуют использовать жидкостное охлаждение “прямо на чип” (D2C) для своих современных ускорителей ИИ, которые рассеивают сотни ватт на квадратный сантиметр. Процессоры ИИ продолжат наращивать свою мощность до 4,4 кВт с графическими процессорами Nvidia Feynman в 2028 году. Такое колоссальное потребление тепловой энергии предъявляет очень строгие требования как ко всей системе охлаждения, так и к каждому из ее компонентов. Одним из самых требовательных компонентов в этом случае будет холодных пластина D2C, которая должна поглощать и отводить киловатты тепла от ускорителей ИИ.
Сегодня Nvidia Blackwell Ultra — содержащий два вычислительных чиплета (каждый размером почти с ретикулу, или до 858 мм²) и восемь стеков памяти HBM3E (каждый по 121 мм²) — рассеивает до 1400 Вт мощности. Если общая площадь кремния Blackwell Ultra составляет около 2850 мм², то его тепловыделение составляет примерно 49,1 Вт/см². Такая плотность мощности может быть обеспечена существующими однофазными жидкостными решениями охлаждения при тепловом потоке 100 Вт/см²; однако производительность может снижаться под высокой нагрузкой, поскольку “горячие точки” ГП могут иметь гораздо более высокую тепловую плотность, чем остальная часть чипа, что требует троттлинга.
По мере роста энергопотребления графических процессоров следующего поколения до 4,4 кВт и выше, их плотность мощности будет увеличиваться, что потребует более совершенных холодных пластин и систем охлаждения. Например, CoolIT в этом году продемонстрировала однофазную холодных пластину Split-Flow D2C с тепловым потоком менее 200 Вт/см², способную охлаждать до 4000 Вт. Accelsius заявляет, что для еще более энергоемких графических процессоров она может обеспечить тепловой поток 300 Вт/см² с использованием двухфазного жидкостного охлаждения D2C.
Для тех, кто не знаком с этой технологией, двухфазная система жидкостного охлаждения “прямо на чип” использует диэлектрическую жидкость с низкой температурой кипения, которая протекает через герметичные холодные пластины, прикрепленные непосредственно к ЦП или ГП. Жидкость кипит при контакте с источником тепла, поглощая энергию, затем конденсируется обратно в жидкость в ближайшем теплообменнике. Это изменение фазового состояния между жидкостью и паром передает гораздо больше тепла, чем однофазная жидкостная система, позволяя ей справляться с очень высокой плотностью мощности (до ~1000 Вт/см²). Процесс, как правило, пассивный, требует небольшой мощности насоса, а рекуперированное тепло может рассеиваться за счет охлаждающих возможностей объекта.
Frore заявляет, что ее холодных пластина LiquidJet — готовая к работе с Feynman — может выдерживать плотность горячих точек 600 Вт/см² при температуре входящего воздуха 40°C, хотя компания не раскрыла, использовала ли она однофазную или двухфазную систему жидкостного охлаждения D2C для тестирования.
Гибридные и жидкостные системы охлаждения с технологиями холодных пластин D2C все чаще используются в центрах обработки данных для ИИ и гипермасштабируемых систем, поскольку они снижают энергопотребление (по сравнению с воздушным охлаждением) и обеспечивают более высокую плотность стоек. Поскольку вычислительная мощность продолжает расти, эти методы охлаждения становятся жизненно важными, и двухфазные холодных пластины D2C, несомненно, станут их неотъемлемой частью в ближайшие годы. Однако для некоторых систем эти методы охлаждения могут оказаться недостаточными в будущем, что побудит отрасль искать еще более сложные методы охлаждения.
Одним из таких методов является иммерсионное (погружное) охлаждение, при котором целые серверы или платы погружаются в диэлектрическую жидкость, не проводящую электричество, но способную отводить больше тепла и быстрее, чем современные холодные пластины. Поскольку мы недавно опубликовали довольно подробный материал об иммерсионном охлаждении, мы не будем углубляться в технологию здесь.
Иммерсионное охлаждение — особенно двухфазные иммерсионные системы, использующие масла с низкой температурой кипения, которые испаряются и конденсируются обратно в жидкость в верхней части резервуара — может справляться с чрезвычайно высокими тепловыми потоками. Типичный устойчивый тепловой поток в однофазной иммерсионной системе охлаждения составляет в диапазоне 250 Вт/см² на поверхности чипа, но при использовании оптимизированных холодных пластин или улучшенных поверхностей некоторые исследования сообщают о значении до 300 Вт/см².
Между тем, при двухфазном иммерсионном охлаждении речь идет о ~1500 Вт/см² и потенциально выше. Хотя передовое иммерсионное охлаждение имеет свои недостатки, включая затраты и необходимость строительства новых объектов, отрасль разрабатывает встроенные решения для охлаждения, которые охлаждают чипы изнутри.
Термин “встроенное охлаждение” обычно относится к очень широкому набору технологий охлаждения, которые интегрированы очень близко к чипу, а иногда и к самому кристаллу. Например, это могут быть микрофлюидные каналы, встроенные в подложку чипа (или непосредственно на нее), которые отводят тепло от горячих точек чипа или интегральной схемы. Термин охватывает широкий спектр технологий, но мы сосредоточимся на реалистичных подходах, описанных в научных публикациях или продемонстрированных экспериментально (например, Microsoft), хотя существуют и более экзотические методы охлаждения чипов с использованием лазеров.
Обычно при встроенном охлаждении мы имеем в виду микроканалы или решетки с штырьками, встроенные непосредственно в подложку чипа или корпус, чтобы теплоноситель мог течь очень близко к транзисторам, генерирующим тепло. Такой подход значительно сокращает тепловой путь между кремнием и теплоносителем, поскольку эти микроструктуры отводят тепло гораздо эффективнее, чем традиционные холодные пластины, так как жидкость поглощает тепловую энергию непосредственно в горячих точках. Дополнительным преимуществом является то, что этот подход позволяет добиться равномерной температуры по всему кристаллу и предотвратить тепловой троттлинг в плотных 2D/3D SiP.
С точки зрения производительности, встроенные функции могут справляться с тепловыми потоками до 1000 Вт/см² в лабораторных условиях. Хотя это может показаться не впечатляющим, учитывая возможности современного иммерсионного охлаждения в лабораторных условиях, это является крупным достижением. Что еще более важно, такие микроканалы предназначены для отвода тепла от горячих точек, обеспечивая более предсказуемую производительность отдельных процессоров и всего центра обработки данных, чего не могут обеспечить внешние теплораспределители или холодные пластины.
В настоящее время несколько компаний разрабатывают решения для встроенного охлаждения, включая Adeia, HP, Nvidia, Microsoft и TSMC. Фактически, некоторые из их решений уже доступны на рынке.
**Adeia**
Adeia, выделенная из Xperi, не является производителем чипов, а представляет собой “чисто исследовательскую компанию”, владеющую многочисленными патентами в области передовой упаковки чипов и гибридного соединения. Недавно компания анонсировала свою систему жидкостного охлаждения с интеграцией в кремний (ICS), которая по сути представляет собой кремниевую холодную пластину, напрямую приклеиваемую к процессору, так что теплоноситель течет внутри кремния, прикрепленного к чипу, а не через внешнюю медную холодную пластину. Испытания при плотности мощности 1,5–2 Вт/мм² (150–200 Вт/см²) показывают снижение общего теплового сопротивления до 70% и повышение производительности до 80% по сравнению со стандартными металлическими холодными пластинами.
Конструкция ICS заменяет типичную структуру микроканалов на основе кремния, такую как ступенчатые или прямоугольные стойки и треугольные каналы, улучшая как отвод тепла, так и эффективность потока жидкости. Adeia сообщила, что ступенчатые стойки снижают пиковые температуры примерно на 4°C, в то время как прямоугольные стойки снизили потери давления в 4 раза. По данным компании, полноразмерный вариант с микроканалами показал девятикратное улучшение по сравнению с решетками из стоек. Хотя ICS от Adeia квалифицируется как форма встроенного охлаждения, поскольку она интегрирует слой охлаждения непосредственно в стек корпуса чипа, для отвода тепла, которое ICS передает от самого чипа, по-прежнему необходима вторичная система, такая как воздушное или жидкостное охлаждение.
**HP и Nvidia**
HP и Nvidia также работают над системой микрофлюидного охлаждения на основе кремния для высокопроизводительных графических процессоров следующего поколения с 2023 года. Цель состоит в том, чтобы создать компактный однофазный жидкостный охладитель, который крепится непосредственно к поверхности ГП и впоследствии может быть глубже интегрирован в корпус. Текущий проект получил 3,25 миллиона долларов федеральной поддержки от инициативы ARPA-E Coolerchips.
Новая кремниевая микроканальная холодная пластина (SiCP) использует технологию микрофлюидики HP пятого поколения на основе MEMS для управления потоком теплоносителя через тонкие кремниевые каналы и сквозные кремниевые соединения. SiCP нацелена на тепловое сопротивление около 0,01 К/Вт, перепад давления ниже 60 кПа и способность отводить до 2 кВт тепла при расходе менее 3 л/мин, согласно презентации двух компаний. HP и Nvidia стремятся соединить SiCP с ГП с помощью очень тонкого металлического соединения с минимальным тепловым сопротивлением. Технология направлена на рассеивание более 1 кВт мощности и отвод тепла в окружающий воздух температурой 40°C, используя всего около 1,27% мощности сервера для перекачки.
HP и Nvidia признают, что их SiCP сталкивается с рядом технических проблем, включая механическое напряжение, несоответствие теплового расширения, совместимость теплоносителя и засорение каналов, которые им необходимо решить. Между тем, надежность является основным риском, поскольку SiCP никогда не использовалась в охлаждающих устройствах.
HP и Nvidia разрабатывают свои устройства SiCP как прямые замены для существующих серверов с жидкостным охлаждением, запланированных к развертыванию в 2026–2028 годах, хотя компании еще не продемонстрировали фактические решения для охлаждения.
**Microsoft**
Microsoft сотрудничала со швейцарским стартапом Corintis для создания своей конструкции микроканалов. Вместо прямых канавок полученная компоновка следует органическим узорам, напоминающим жилки листьев или крылья бабочки, для более эффективного распределения теплоносителя. Каналы должны оставаться чрезвычайно тонкими для эффективного отвода тепла, но при этом достаточно мелкими, чтобы избежать ослабления кремния и вызвать структурные повреждения. Существует проблема с конструкцией Microsoft-Corintis, поскольку эти микроканалы требуют дополнительных этапов обработки для травления, что увеличивает затраты.
Для упрощения производства Microsoft запатентовала подход, при котором микрофлюидная охлаждающая пластина изготавливается отдельно, а затем прикрепляется к одному или двум чипам. Этот подход в значительной степени напоминает подход Frore, хотя и в другом масштабе. Компания уже определила лучший теплоноситель, усовершенствовала точность травления и успешно интегрировала процесс в свой производственный поток. Следовательно, технология готова к крупномасштабному развертыванию и лицензированию, хотя Microsoft еще не подписала никаких контрактов.
**TSMC**
Пожалуй, самой перспективной платформой для встроенного охлаждения является технология TSMC Direct-to-Silicon Liquid Cooling (также известная как Si-Integrated Micro-Cooler, или IMC-Si), разработанная для встраивания микрофлюидных каналов непосредственно в структуру кремния. Технология является частью платформы передовой упаковки TSMC 3DFabric, что делает ее наиболее близкой к реальной реализации продукта, как уже продемонстрировала компания.
TSMC экспериментирует с внутричиповым жидкостным охлаждением примерно с 2020 года и даже продемонстрировала несколько лет назад, что может охлаждать систему в корпусе мощностью 2,6 кВт с использованием этой технологии. Система TSMC Direct-to-Silicon Liquid Cooling использует эллиптические микростолбики и сегментированную компоновку жидкости, вытравленную непосредственно в кремнии с использованием технологии TSMC SoIC для склеивания пластин. Эта структура направляет теплоноситель на расстояние нескольких микрометров от активных транзисторов, тем самым равномерно распределяя тепло от горячих точек по всему кристаллу с минимальными потерями давления.
Испытания, проведенные TSMC с использованием деионизированной воды в качестве теплоносителя, показали, что Direct-to-Silicon Liquid Cooling может охлаждать кристалл размером с ретикулу, рассеивающий 2 кВт мощности (около 3,2 Вт/мм²), используя воду температурой 40°C с мощностью насоса менее 10 Вт. Технология способна поддерживать локальные горячие точки мощностью 14,6 Вт/мм² (даже выше 20 Вт/мм² при сниженной общей нагрузке) без превышения тепловых пределов.
По данным TSMC, в центрах обработки данных это может сократить общие потребности в инфраструктуре охлаждения почти вдвое. Технология также совместима с иммерсионными системами управления тепловым режимом, что открывает двери для процессоров ИИ и HPC следующего поколения, которые могут потреблять до 15 360 Вт мощности, как это предусматривает KAIST. Direct-to-Silicon Liquid cooling также может обеспечить лучшее охлаждение, более высокую эффективность и расширенную производительность для стоечных приложений.
При интеграции в платформу упаковки CoWoS-R система выдерживала непрерывную тепловую нагрузку более 2,6 кВт и демонстрировала примерно на 15% более низкое тепловое сопротивление по сравнению с традиционными сборками с жидкостным охлаждением, использующими термопасту, согласно данным TSMC. Кроме того, по утверждению TSMC, склеенная структура выдержала деформацию в 160–190 мкм без утечек. Фактически, экспериментальное устройство прошло испытание на надежность NASA-STD-7012A на основе гелия с уровнем утечки менее 115 куб. см/год, что соответствует стандартам центров обработки данных. Однако неясно, сможет ли встроенная система охлаждения поддерживать свою эффективность при наличии утечек.
TSMC планирует вывести Direct-to-Silicon Liquid Cooling на коммерческий рынок примерно в 2027 году (потенциально к моменту появления архитектуры Nvidia Feynman в 2028 году), когда она станет частью многочиплетных ускорителей ИИ размером с несколько ретикулу, упакованных с использованием технологии TSMC CoWoS. Однако пока неясно, как технология будет развиваться дальше.
За последнее десятилетие охлаждение центров обработки данных сместилось от простых воздушных систем к жидкостным и гибридным системам охлаждения, в основном из-за растущего энергопотребления серверов ИИ и более крупных облачных инфраструктур, развертываемых гиперскейлерами. Воздушное охлаждение, когда-то доминирующее, по-прежнему используется в устаревших объектах, но по мере того, как мощность на стойку растет свыше 40 кВт до 140 кВт и выше, жидкостные системы — которые занимали 46% рынка в 2024 году — становятся стандартом для новых ИИ и некоторых облачных систем.
Но переход к гибридному охлаждению с холодными пластинами “прямо на чип” (D2C) — это только начало более масштабного перехода к более передовым технологиям, поскольку компании теперь рассматривают методы иммерсионного и встроенного охлаждения.
Ожидается, что холодные пластины “прямо на чип” следующего поколения от Accelsius и CoolIT обеспечат тепловой поток до 300 Вт/см². В отличие от них, Frore демонстрирует, что холодные пластины могут выдерживать плотность горячих точек 600 Вт/см². Иммерсионные системы достигают ~1500 Вт/см² в двухфазном исполнении. Между тем, встроенное охлаждение решает проблему горячих точек, встраивая микроканалы или решетки с штырьками непосредственно в кремний для рассеивания тепла на уровне транзисторов.
Несколько компаний — от владельца патентов Adeia до HP, Nvidia, Microsoft и TSMC — разрабатывают различные формы технологий встроенного охлаждения. Однако Direct-to-Silicon Liquid Cooling от TSMC представляется наиболее близкой и подходящей для коммерциализации, поскольку компания в настоящее время производит львиную долю ускорителей ИИ.
Автор – Anton Shilov
