Amazon Web Services (AWS) разработала и ввела в эксплуатацию собственную систему жидкостного охлаждения для дата-центров за 11 месяцев — этой быстрый ответ на стремительно растущие запросы всё более мощных ИИ-ускорителей, сообщает пресс-служба компании. Именно охлаждение сегодня переживает революцию: индустрия ЦОД массово переходит с воздушного охлаждения на СЖО, говорит компания.

При этом в компании подчёркивают, что цель — не создавать «комфортные» для чипов условия на уровне 20 °C, а защита серверов от перегрева при минимально расходе как воды, так и энергии. Современные ИИ-чипы выделяют очень много тепла, но для повышения производительности их приходится размещать максимально близко друг к другу. В этом случае поток воздуха должен быть столь интенсивным, что классическую схему фрикулинга применять просто неэффективно и дорого.

Источник изображения: Amazon

В AWS утверждают, что индустрия миновала порог, после которого использование СЖО выгоднее для теплоотвода. Команда AWS изучила уже имеющиеся на рынке продукты, после чего решила разработать собственный вариант. Было выбрано прямое охлаждение чипов (DLC) — водоблок монтируется непосредственно на ускоритель, через него циркулирует теплоноситель с температурой на уровне «джакузи», отводя тепло к специальной системе для сброса тепла. Цикл замкнутый, т.ч. жидкость циркулирует многократно, не увеличивая расхода воды дата-центром.

От формирования концепции до создания готового прототипа прошло четыре месяца. За 11 месяцев AWS завершила проектирование, отрегулировала цепочки поставок, разработала ПО для управления системой, протестировала её и запустила в производство. Важнейшим элементом является собственный модуль распределения жидкости (CDU), который в компании оценивают, как более производительный и экономичный, чем имеющиеся на рынке готовые решения.

Источник изображения: Amazon

В AWS подчёркивают, что он сконструирован специально под задачи гиперскейлера, благодаря чему снизились затраты и увеличилась эффективность работ. Первую систему испытали в исследовательском центре AWS, а позже установили в действующем ЦОД. Летом 2025 года должно начаться масштабное внедрение системы — её будут монтировать всё в большем количестве дата-центров компании, с учётом современных потребностей ресурсоёмкой вычислительной инфраструктуры.

Ещё в конце 2024 года сообщалось, что Amazon представила новую архитектуру ИИ ЦОД, энергоэффективную и экологичную. В частности сообщалось, что новые решения связаны с электропитанием и охлаждением — СЖО предполагалось монтировать даже на уже действующих площадках IT-гиганта. Примечательно, что новые ускорители Tranium 3 действительно требуют эффективных систем охлаждения — их энергопотребление может достигать 1000 Вт.

Schneider Electric и NVIDIA предложат инфраструктурные решения для предлагаемого Еврокомиссией проекта AI Continent Action Plan, в рамках которого Европу планируется превратить в ИИ-континент, сообщает Datacenter Dynamics. В рамках проекта предполагается потратить €20 млрд ($22 млрд) на ИИ-фабрики, в которых разместятся около 100 тыс. ускорителей нового поколения, в том числе при участии консорциума EuroHPC JU. NVIDIA же заявила, что Европа получит ускорители Blackwell суммарной производительностью более 3000 Эфлопс (точность не указана).

«Континентальный» план предусматривает строительство пяти «ИИ-гигафабрик» в ЕС, а также 13 объектов поменьше в рамках частно-государственного финансирования. По словам главы NVIDIA Дженсена Хуанга (Jensen Huang), компания будет строить ИИ-фабрики вместе со Schneider Electric. Речь идёт о ключевой инфраструктуре, которая позволит обеспечить ИИ любую компанию, отрасль промышленности или сферу общественной жизни.

Инициатива Schneider Electric и NVIDIA стала своеобразным ответом на план Еврокомиссии, основы взаимодействия были заложены на базе оговоренного ранее неэксклюзивного партнёрства. Schneider и NVIDIA совместно работали над эталонными серверными архитектурами и архитектурами ЦОД с прошлого года, а также над «цифровыми двойниками» в Omniverse. Schneider в рамках партнёрства будет работать над физической инфраструктурой, включающей системы питания и охлаждения, собственно стойки, ПО для индуcтриального оборудования и т.п.

Источник изображения: Schneider Electric

Как отмечает The Register, в свете новых договорённостей Schneider пополнила портфолио EcoStruxure, представив готовые модульные блоки (Prefabricated Modular EcoStruxure Pod Data Center), предназначенные для быстрого развёртывания энергоёмких ИИ-кластеров — 1 МВт на стойку и более. Компания предлагает усиленные стойки с увеличенными габаритами и грузоподъёмностью NetShelter SX Advanced Enclosures, а также обновлённые блоки распределения питания с поддержкой высоких мощностей NetShelter Rack PDU Advanced. Кроме того, анонсированы стойки с открытой архитектурой NetShelter Open Architecture, совместимые со стандартами OCP, в том числе с поддержкой кластеров на базе NVIDIA GB200 NVL72.

Также предлагаются системы распределения электроэнергии и охлаждения, включая интегрированные в стойки технологии прямого жидкостного охлаждения чипов на базе СЖО Motivair (компания приобрела бизнес в прошлом году). По словам Schneider, рынок ЦОД всё более тяготеет к заранее собранным на заводе модульными решениям. При строительстве таких решений с нуля экономия может составить до 30 % в сравнении с классическими дата-центрами, а внедрение инфраструктуры может проходить намного быстрее.

Castrol представила сервис управления оборотом жидкостей для систсем жидкостного охлаждения (СЖО) дата-центров. Это должно помочь операторам ЦОД в переходе с воздушных систем на жидкостные — последние всё более востребованы при использовании высокоплотных серверных стоек, сообщает Datacenter Dynamics.

Принадлежащая BP компания Castrol заявляет, что новый сервис охватывает все четыре фазы жизненного цикла работы СЖО, включая запуск системы, текущее обслуживание, устранение неисправностей, утилизацию жидкостей. Предполагается, что это поможет преодолеть барьеры на пути внедрения СЖО в дата-центрах.

В Castrol отмечают, что операторы уже осознали преимущества жидкостного охлаждения, но им нужны гарантии долгосрочной сервисной поддержки. Тем временем Castrol десятилетиями осуществляет её в других сферах, например — в автоиндустрии. Теперь этот опыт будет использован и для обслуживания дата-центров. Новая услуга будет оказываться с помощью партнёрской сети Castrol с привлечением сторонних компаний. Цель — избавиться от «операционной и технической неопределённости», замедлившей внедрение жидкостных систем.

Источник изображения: Castrol

Утверждается, что в СЖО охлаждающая жидкость является единственной «точкой отказа» и ухудшение условий эксплуатации снижает эффективность работы оборудования и может привести к его поломке. Тем временем «структурированный» подход Castrol обеспечивает поддержку на каждом этапе.

Ранее компания разработала линейку охлаждающих жидкостей для СЖО, включая ON Direct Liquid Cooling PG 25, представленную в декабре 2024 года. В том же году компания ввела в эксплуатацию модульный ЦОД в Оксфордшире (Oxfordshire) на площадке собственного исследовательского центра для тестирования и демонстрации собственных решений.

Активно занимаются разработкой технологий и решений для СЖО и другие компании из нефтегазовой и смежных отраслей: Shell, SK Enmove, ExxonMobil, Perstorp, Gulf Oil.

Нефтегазовая корпорация Shell представила первую охлаждающую жидкость для серверных систем с прямым жидкостным охлаждением (DLC). В компании заявляют, что жидкость Shell DLC Fluid S3 разработана для ЦОД, предназначенных для ИИ- и HPC-задач, сообщает Datacenter Dynamics.

За основу жидкости взят пропиленгликоль, предполагается, что она дополнит существующую линейку продуктов Shell, предназначенных для систем иммерсионного охлаждения, которые она продаёт уже несколько лет. Как заявляют в Shell, вариант S3 разработан для долговременной защиты от коррозии DLC-систем. Жидкость совместима с самыми разными материалами и способна прослужить более шести лет — на четыре года дольше, чем варианты конкурентов на основе неорганических кислот.

Сообщается, что жидкость соответствует спецификациям Open Compute Project PG25, в том числе — в части, касающейся стандартов совместимости материалов. Обеспечивается защита от замерзания при температурах до -10 °C.

Источник изображения: Shell

По словам Shell Lubricants, растущий ассортимент не только позволяет удовлетворить самые разные потребности современных ЦОД сегодня и в будущем — проект подкрепляется мощью глобальной сети Shell, с её цепочками поставок и пятью центрами разработки по всему миру.

Прочие нефтяные компании и их «дочки», включая Castrol, ExxonMobil, Perstorp, Gulf Oil и SK Enmove, также представили охлаждающие жидкости для дата-центров. Более того, собственные продукты предлагает американский пищевой гигант Cargill и производитель химикатов — компания Chemours. Не так давно появилась информация, что ИИ-платформа Microsoft Discovery создала жидкость для СЖО за 200 часов вместо нескольких месяцев.

Компания Microsoft запустила для корпоративных пользователей в тестовом режиме ИИ-платформу Microsoft Discovery, использующую ИИ-агентов и HPC для помощи учёным, которым не придётся самостоятельно писать код для своих исследований. Потенциал системы продемонстрировали на примере самой Microsoft — ИИ помог создать новейшую жидкость для погружного охлаждения всего за 200 часов вместо нескольких месяцев или даже лет, сообщает VentureBeat.

Microsoft Discovery использовали для поиска охлаждающей жидкости без «вечных» PFAS-химикатов, часто применяемых в иммерсионных СЖО. Регуляторы во всём мире всё чаще запрещают производство и использование этого класса вещества. ИИ Microsoft проверил 367 тыс. веществ-кандидатов, после чего химикат синтезировал один из партнёров компании. Однако сфера применения такого ИИ простирается далеко за пределы создания охлаждающих жидкостей — новые материалы и химикаты требуются в самых разных сферах, но на их поиск часто уходят годы.

Microsoft Discovery позволяет взаимодействовать с «невероятными возможностями» ИИ, используя естественный язык, что полностью меняет весь процесс исследований, говорит компания. Обычно учёным приходилось изучать программирование для того, чтобы создавать вычислительные инструменты. Такая демократизация науки сыграет на руку малым исследовательским группам, у которых нет ресурсов на изучение программирования или привлечения сторонних специалистов в этой сфере. Более того, со временем платформа научится работать и с квантовыми компьютерами, написание кода для которых — ещё более сложная задача.

Источник изображения: National Cancer Institute/unsplash.com

Работа выполняется с помощью специальных ИИ-агентов, специально обученных для выполнения отдельных научных задач — от написания литературного обзора до создания компьютерной симуляции. По словам Microsoft, ИИ-агенты — это чуть ли не целая команда учёных с докторскими степенями в различных науках. Платформа интегрирует друг с другом базовые модели, занимающиеся общим планированием, и модели, специализирующиеся на физике, химии или, например, биологии.

Также Microsoft Discovery позволяет комбинировать закрытые исследовательские данные и результаты уже опубликованных научных исследований по разным дисциплинам, сохраняя прозрачность моделей и контролируя процесс «рассуждений». Для работы с платформой используется интерфейс Copilot, который занимается оркестрацией агентов. Одновременно интерфейс служит и центральным хабом, в котором учёные управляют своей виртуальной ИИ-командой.

Источник изображения: National Cancer Institute/unsplash.com

В платформу встроены защитные механизмы — системе заданы «этические координаты». Также применяется модерация контента с проактивным подходом к выявлению злоупотреблений возможностями платформы — маркируются потенциально вредоносные алгоритмы и действия, поскольку все ИИ-инструменты фактически имеют «двойное назначение». С их помощью можно изобретать не только лекарства, но и опасные биологически опасные субстанции.

Для своей платформы Microsoft выстраивает экосистему с участием представителей самых разных отраслей, от фармацевтики (GSK) до индустрии красоты (Estée Lauder). NVIDIA интегрирует с Discover микросервисы ALCHEMI и BioNeMo NIM для биотехнологий и фармацевтики. В полупроводниковой сфере Microsoft планирует интеграцию решений Synopsys для ускорения разработки чипов. Адаптацией под конкретные отраслевые задачи, развёртыванием и масштабированием платформы займутся Accenture и Capgemini.

Источник изображения: Microsoft

Успех Microsoft Discovery будет зависеть от того, насколько эффективно систему смогут интегрировать в текущие научные процессы — многие учёные скептически относятся к новым методикам, так что компании придётся показать всё, на что способен ИИ. По словам Microsoft, будущее науки именно за сочетанием умственных возможностей человека и масштабного ИИ. Microsoft уже провела предварительную демонстрацию Discovery для ограниченного круга структур. Цены на платформу пока не названы, но доступ к к ней будет организован посредством Azure.

Samsung Electronics приобрела за €1,5 млрд ($1,69 млрд) поставщика HVAC-систем FläktGroup. Последняя поставляет оборудования для охлаждения и CDU-модули для дата-центров и крупных промышленных площадок, сообщает Datacenter Dynamics. Пока компания принадлежит инвестиционным фондам под эгидой европейской компании Triton. Ожидается, что сделку закроют до конца года.

FläktGroup основана в октябре 2016 года в результате слияния DencoHappel, ранее входившей в принадлежащую Triton группу специалистов по теплообменным решениям Galapagos, и разработчика систем охлаждения FläktWoods. После слияния FläktGroup расширила своё портфолио и вышла на рынки ЦОД, крупных производственных комплексов и фармацевтических компаний. В число клиентов FläktGroup, судя по данным на официальном сайте, входят дата-центры по всей Великобритании и даже штаб-квартира Microsoft в Дублине.

Источник изображения: FläktGroup

По словам Triton, работать с компанией и её руководством было одновременно удовольствием и «привилегией». Команда компании вывела её на передовые позиции в своей отрасли и открыла пути для будущего роста. Сделка с Samsung позволит вывести FläktGroup на новый уровень развития, выразили уверенность в пресс-службе Triton.

Samsung подчёркивает, что благодаря покупке ключевого игрока в области HVAC-решений она закладывает основу для того, чтобы самой стать лидером на мировом рынке HVAC, предлагающим полный спектр соответствующих решений. В компании намерены продолжать инвестировать в быстрорастущий бизнес HVAC, который станет одним из ключевых двигателей будущего роста. Ранее конкурирующая LG Electronics (LG) представила собственные комплексные решения для охлаждения ЦОД.

Поскольку внедрение ИИ и HPC увеличивает потребность операторов ЦОД в мощной инфраструктуре, необходимы и более экоустойчивые, эффективные и масштабируемые решения для охлаждения оборудования. Компания Intel совместно с Shell Global Solutions предложили сертифицированное комплексное решение для иммерсионного охлаждения серверов с процессорами Intel Xeon Emerald Rapids или Sapphire Rapids, сообщает пресс-служба Intel.

По информации Dell’Oro Group, системы жидкостного охлаждения становятся всё популярнее и к 2028 году на них будет приходиться 36 % выручки от общих продаж систем терморегуляции дата-центров. Однако внедрение высокоэффективного погружного охлаждения до недавнего времени тормозилось из-за отсутствия сертифицированных, прошедших проверки и готовых к развёртыванию продуктов.

Intel и Shel провели валидацию полной системы иммерсионного охлаждения для ЦОД на основе оборудования Supermicro и Submer. Решение Intel Data Center Certified for Immersion Cooling называется первым в своём роде и задаёт новый отраслевой стандарт по эффективности и надёжности в долгосрочной перспективе. Масштабное тестирование и строгая валидация в лабораториях Intel позволяет операторам ЦОД внедрять проверенную инфраструктуру, будучи уверенными в её готовности к современным рабочим нагрузкам ИИ и HPC, говорится в пресс-релизе.

Источник изображения: Intel

В рамках процесса сертификации Intel предлагает дополнительную гарантию на использование процессоров Xeon с однофазным иммерсионным охлаждением Xeon Processor Single-Phase Immersion Warranty Rider, подтверждающей надёжность и эффективность инфраструктуры, а также её совместимость с охлаждающими жидкостями Shell. Дополнительно исследуется возможность будущего сотрудничества для сертификации новейших поколений процессоров компании с жидкостями Shell.

Источник изображения: Intel

Как заявил представитель Intel, по мере роста потребностей ЦОД, сертифицированные Intel решения для погружного охлаждения станут играть ключевую роль в обеспечении работы энергоэффективной и масштабируемой вычислительной инфраструктуры — ЦОД получили доступ к проверенным, готовым к внедрению технологиям охлаждения.

Другими словами, операторы ЦОД смогут получить доступ к решениям с повышенной производительностью, минуя этап пилотного проекта — можно сразу переходить к внедрению предварительно проверенных вариантов с высокой энергоэффективностью и малым воздействием на окружающую среду. При этом такие решения обеспечены первыми в отрасли сертификатами и гарантиями Intel.

Исследователи Microsoft опубликовали результаты анализа энергопотребления, затрат воды и выбросов дата-центров на протяжении их жизненного цикла. Учитывались даже выбросы в инфраструктурной цепочке поставок ЦОД и возможная утилизация объектов, сообщает Datacenter Dynamics.

Как заявляют в Microsoft, проведение оценки жизненного цикла ЦОД (Life Cycle Assessment, LCA) важно ещё на ранних этапах проектирования. Применение инструментов LCA способствует принятию более обоснованных инженерных решений с учётом совокупной стоимости владения, производительности, экоустойчивости и др. Компания предлагает отрасли использовать её LCA-инструментарий при постройке новых ЦОД.

В рамках своего исследования Microsoft два года изучала четыре технологии охлаждения: фрикулинг, прямое жидкостное охлаждение (DLC), однофазная и двухфазная иммерсионные СЖО. Правда, основной акцент делался на изучение систем охлаждения для CPU, а не ИИ-ускорителей.

Источник изображений: Microsoft/Nature

Исследование показало, что использование водоблоков и погружного охлаждения позволяет сократить выбросы парниковых газов на 15–21 %, потребление электричества на 15–20 % и воды — на 31–52 % в течение всего жизненного цикла ЦОД — в сравнении с традиционными воздушными системами охлаждения.

Основной вывод — многообещающей технологией является двухфазное иммерсионное охлаждение, способное снизить воздействие на окружающую среду по всем параметрам. Однако такие системы пока применяют PFAS-химикаты, которые с переменным успехом вытесняют регуляторы Евросоюза и США. Другими словами, в будущем использование таких СЖО могут ограничить. Кроме того, сама Microsoft изучает, но внедряет подобные системы в своих ЦОД ограниченно. Также отмечается, что DLC может быть не менее эффективным, чем погружные системы обоих типов.

Дополнительно в статье дана количественная оценка экономии электричества и воды, а также сокращения выбросов при переходе от типичной системы энергоснабжения к 100 % применению возобновляемых источников энергии. Установлено, что выбросы парниковых газов, например, можно сократить на 50–90 % вне зависимости от того, какие применяются технологии охлаждения.

Корпорация Intel на мероприятии Foundry Direct Connect продемонстрировала экспериментальную систему жидкостного охлаждения процессоров. Решение, которое находится в разработке в течение нескольких лет, проектируется с прицелом на наиболее мощные чипы для задач ИИ и НРС.

В отличие от других технологий прямого жидкостного охлаждения (DLC) новая система Intel предполагает применение специального блока, монтируемого непосредственно поверх корпуса CPU. Блок оснащён медными микроканалами, по которым жидкость может направляться к наиболее горячим зонам.

Intel утверждает, что система способна отводить тепло от чипов с TDP до 1000 Вт с использованием стандартной охлаждающей жидкости. Уже готовы рабочие прототипы для процессоров в исполнениях LGA и BGA. Корпорация продемонстрировала возможности решения на примере изделий Core Ultra и Xeon.

Источник изображения: Tom's Hardware / Future

Известно, что для системы предусмотрено применение термоинтерфейса TIM (Thermal Interface Material) на основе жидкого металла. Этот материал в сравнении с обычным полимерным TIM обеспечивает улучшение теплового контакта. Intel работает над разными вариантами термоинтерфейса для различных процессоров.

В целом, по заявлениям Intel, предложенная технология даёт возможность повысить эффективность отвода тепла на 15–20 % по сравнению с традиционным прямым жидкостным охлаждением на кристалле с отсоединенной процессорной крышкой. В настоящее время корпорация продолжает дорабатывать систему для последующего практического внедрения в дата-центрах.

Компания JetCool, которая в конце 2024 года была куплена производителем электроники и инфраструктуры для дата-центров Flex, представила блок распределения охлаждающей жидкости (CDU) SmartSense для HPC/ИИ ЦОД. Температура на входе может составлять более +60 °C, что устраняет необходимость в чиллерах, а также сокращает потребление энергии и воды. SmartSense может использоваться для охлаждения стоек мощностью до 301 кВт. Возможно масштабирование до 2,1 МВт для охлаждения целого ряда стоек.

Решение SmartSense выполнено в форм-факторе 6U. Говорится о совместимости со стойками типоразмера 19″ и ORv3 глубиной 42″ (1070 мм) и более. Применены высокоэффективные насосы с резервирование, работающие на скорости 3600 об/мин, что обеспечивает низкий уровень шума. Типовая потребляемая мощность составляет 2000 Вт (максимум 3400 Вт). Скорость потока может достигать 400 л/мин. Диапазон температур теплоносителя — от +15 до +70 °C.

Источник изображения: JetCool

SmartSense CDU может использоваться в сочетании с водоблоками SmartPlate, которые специально разработаны для удовлетворения жёстких требований к теплоотводу в эпоху ИИ. Такое решение, как утверждается, обеспечивает возможность эксплуатации оборудования при больших нагрузках даже в условиях высокой температуры окружающей среды.

Компания Flex обещает всестороннюю поддержку заказчиков, приобретающих блоки SmartSense. В число услуг входят установка, интеграция, тестирование и ввод систем в эксплуатацию. Благодаря глобальной логистической инфраструктуре Flex гарантирует доступность критически важных запасных частей, что сведёт к минимуму перебои в обслуживании, заявляет компания.