RU2500012C1 - Серверная ферма с иммерсионной системой охлаждения - Google Patents

Abstract

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении плотности установки вычислительных узлов и обеспечении функционирования серверной фермы при отрицательных температурах окружающей среды. Технический результат достигается за счет серверной фермы, которая состоит из герметичного резервуара, заполненного охлаждающей жидкостью, снабженного крышкой, внутренним теплообменником, впускным и выпускным патрубками, сообщающимися посредством трубопроводов с циркуляционным насосом и внешним теплообменником; внутри резервуара параллельно всему днищу резервуара установлена перфорированная распределительная труба; под ней установлена первая печатная плата, снабженная нагревательными элементами; вторая печатная плата установлена вплотную к стенке резервуара и состыкована с первой печатной платой кромка с кромкой; вычислительные узлы установлены на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, разделенной разделителем на узкое и широкое отделения; в узком отделении с обеих сторон фиксируется съемная печатная плата, на которой расположены блок питания, накопители информации, а в широком отделении с обеих сторон монтируется по материнской плате. 7 з.п. ф-лы, 9 ил.

Description

Изобретение относится к области вычислительной техники, а именно к серверным фермам, предназначенным для проведения высокопроизводительных вычислений и компьютерного моделирования, с охлаждением путем полного погружения нагревающихся электронных компонентов в охлаждающую жидкость.

Известен аппарат для охлаждения электронных систем компании Nortel Networks Corp., представляющий собой совокупность печатных плат, установленных вертикально в контейнере, частично заполненном диэлектрической жидкостью с низкой температурой кипения (патент США 6019167, опубл. 01.02.2000 г.). Охлаждаемая электронная система не представляет собой вычислительное устройство. Кроме того, недостатками данного аппарата является невысокая плотность установки печатных плат, обусловленная наличием двух камер контейнера, двух стенок контейнера, внутренней и внешней системы охлаждающих пластин, электронные компоненты системы не могут быть извлечены из абсолютно герметичного корпуса без нарушения целостности всего аппарата.

Известна вычислительная установка компании Cray Research Inc. (патент США 4590538, опубл. 20.05.1986 г.), состоящая из герметичного цилиндрического контейнера, 16 радиально установленных в нем блоков материнских плат, ориентированных вертикально в плоских ячейках, ограниченных поддерживающими рамами, при этом материнские платы в блоках расположены горизонтально, а между ними образуются отсеки треугольной формы, в которых циркулирует охлаждающая жидкость, образуя восходящий и нисходящий потоки так, что блоки материнских плат полностью омываются охлаждающей жидкостью. Блоки питания устанавливаются на дне контейнера и оказываются также погруженными в охлаждающую жидкость. Недостатками данной вычислительной установки является невозможность функционирования установки при отрицательных температурах окружающей среды и невозможность горячей замены вышедших из строя электронных компонентов.

Известна вычислительная установка компании Isotermal System Research (патент США 6976528, опубл. 20.12.2005 г.), охлаждаемая путем впрыскивания охлаждающей жидкости на нагревающиеся электронные компоненты. Такая вычислительная установка может функционировать при широком диапазоне температур окружающей среды, в том числе при отрицательных температурах (-65°С…+70°С). Для работы при отрицательных температурах установка снабжена нагревательным элементом. Изобретением не раскрывается способ выполнения нагревательного элемента.

Известна серверная ферма компании Iceotope Limited (патент США 7609518, опубл. 27.10.2009 г.). На стандартную серверную стойку устанавливают вычислительные узлы в индивидуальном корпусе, состоящие из жестких дисков, дисплея, материнских плат с памятью и испарительного змеевика. Материнская плата и испарительный змеевик помещены в индивидуальный герметичный контейнер, в который подается охлажденная до температуры -30°С охлаждающая жидкость. Каждый контейнер соединен снаружи с охлаждающим модулем, который включает в себя теплоотводящую плату, прилегающую к контейнеру, теплоизоляционный слой, окружающий контейнер, два высушивающих картриджа, расположенных по обе стороны теплоотводящей платы, и два вентилятора, расположенных по обе стороны высушивающих картриджей.

Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также использованием охлаждающих модулей, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки.

Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Известна другая ферма серверов той же компании, описанная в патенте Великобритании 2467805, опубл. 01.06.2011 г., заявке США 20100290190, опубл. 11.12.2010 г. Стандартная серверная стойка с оборудованием включает: отделение для охлаждающих блоков, дополнительные полки для оборудования, один или несколько блоков питания и теплоотводящую плату, полки для устройства для нормализации давления, насос, расширительный бачок и теплообменник. Охлаждающий блок состоит из двух герметичных контейнеров, в каждом из которых установлены одна или несколько материнских плат, AC/DC-преобразователи, или жесткий диск, или блок питания. Контейнеры состоят из двух отсеков: в первом циркулирует первая охлаждающая жидкость, а во втором - вторая охлаждающая жидкость. На границе отсеков расположена теплооотводящая плата, предназначенная для переноса тепла от первой охлаждающей жидкости ко второй.

Недостатками серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что материнские платы заключены в индивидуальные контейнеры, вычислительные узлы заключены в индивидуальные корпуса, а также используются теплоотводящая плата и устройства для нормализации давления, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Кроме того, в обеих серверных фермах компании Iceotope Limited в охлаждающую жидкость погружены только материнские платы с нагревающимися электронными компонентами, блоки питания и жесткие диски охлаждаются преимущественно воздухом.

Известны серверные фермы компании Hardcore Computer, Inc. с жидкостным охлаждением, в частности с технологией охлаждения серверных ферм путем погружения в жидкость LSS™200 (Liquid Submerged Server) (http://www.hardcorecomputer.com/liquid-blade-video/index.html, например, патент США 8089764, опубл. 03.01.2012 г.и др.). Согласно данным решениям в стандартную серверную стойку помещают вычислительные узлы или серверные фермы. Каждый вычислительный узел (или серверная ферма) заключен в индивидуальный корпус, заполненный охлаждающей жидкостью. В каждый корпус помещают жесткие диски, одну или несколько материнских плат с монтированными на ней дочерними картами, блоками питания, процессорами, видеокартой, памятью. Также дополнительно может присутствовать насосная система для откачки скапливающейся вверху контейнера горячей жидкости к внешнему теплообменнику или к иным системам рассеивания тепла. В одной из реализации изобретения предусмотрено дополнительное охлаждение нагревающихся компонентов направленным потоком жидкости через накрывающую их дисперсионную камеру.

Недостатками данной серверной фермы являются невысокая плотность установки вычислительных узлов, обусловленная тем, что вычислительные узлы заключены в индивидуальные корпуса, кроме того, изобретением используются стандартные серверные стойки со стандартной шириной посадочных мест для вычислительных узлов. Также в таких стойках предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Также не обеспечена возможность горячей замены вышедших из строя жестких дисков и блоков питания, возможность работы в условиях отрицательных температур окружающей среды.

Известна система охлаждения для различных стандартных электронных устройств и вычислительных установок компании Green Revolution Cooling, Inc., описанная в заявке США 20110132579 (опубл. 09.06.2011 г.). Система охлаждения состоит из заполненного охлаждающей жидкостью резервуара, в котором горизонтально установлена промышленно выпускаемая серверная стойка, к которой подведены трубы подвода к нему и выхода из него охлаждающей жидкости; теплообменника, соединенного с выходом охлаждающей жидкости; насоса, соединенного с теплообменником и резервуаром, установленного для прокачивания охлаждающей жидкости по замкнутому контуру; микроконтроллера для отслеживания температуры охлаждающей жидкости в замкнутом контуре, который также регулирует поток жидкого охлаждающего диэлектрика в замкнутом контуре с целью поддержания повышенной температуры жидкого охлаждающего диэлектрика на выходе из второй части замкнутого контура. Резервуар может быть выполнен с возможностью установки двух рядов вычислительных узлов.

В некоторых вариантах исполнения система охлаждения может включать второе охлаждающее устройство, содержащее охлаждающую жидкость во втором замкнутом контуре, предназначенном для охлаждения первой охлаждающей жидкости.

Недостатками данной системы охлаждения являются невозможность функционирования при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная тем, что данная система охлаждения предназначена, в том числе, для стандартных вычислительных узлов, которые выполнены для воздушного охлаждения и, соответственно, снабжены вентиляторами и воздуховодами, что увеличивает размер самого вычислительного узла и размеры посадочных мест для вычислительных узлов в стандартных серверных стойках, которые монтируются в резервуар.

Наиболее близкими к заявляемой серверной ферме является серверная ферма компании Hardcore Computer, Inc., раскрытая в независимом п.13 и подчиненных ему зависимых пп.14-17 формулы изобретения (патент США 8009419, опубл. 30.08.2011 г.). Серверная ферма представляет собой герметичный контейнер, наполненный охлаждающей жидкостью и снабженный направляющими для установки блоков вычислительных узлов. Внутри контейнера помещается охлаждающий механизм, представляющий собой совокупность трубок, разведенных по материнской плате. Трубки с отверстиями находятся в непосредственной близости от нагревающихся компонентов. Через эти отверстия охлаждающая жидкость впрыскивается на такие нагревающиеся компоненты, охлаждает их и затем смешивается с жидкостью, заполняющей контейнер.

Недостатками данной серверной фермы являются невозможность горячей замены вышедших из строя жестких дисков и блоков питания, работы серверной фермы в условиях отрицательных температур окружающей среды. Поскольку в разделе описания изобретения данный вариант выполнения серверной фермы не описывается, то оценить плотность установки вычислительных узлов внутри резервуара представляется затруднительным.

Задачей изобретения является расширение арсенала серверных ферм.

Технический результат заключается в расширении арсенала технических возможностей серверных ферм, а именно в повышении плотности установки вычислительных узлов, обеспечении функционирования серверной фермы при отрицательных температурах окружающей среды, горячей замены блоков питания и накопителей информации.

Технический результат достигается тем, что серверная ферма с иммерсионной системой охлаждения состоит из герметичного резервуара, заполненного охлаждающей жидкостью, с установленным в нем теплообменником, вычислительными узлами, состоящими из монтажной платы со смонтированными на ней материнскими платами, блоками питания, накопителями информации, снабженного крышкой, направляющими для вертикальной установки вычислительных узлов, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и внешним теплообменником, согласно изобретению серверная ферма снабжена распределительной трубой, двумя печатными платами, сетевым коммутатором, причем распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с первым впускным патрубком, установленным в нижней части стенки резервуара, а выпускной патрубок установлен в верхней части той же стенки резервуара, в которой установлен первый впускной патрубок, и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с внешним циркуляционным насосом, фильтром грубой очистки и внешним теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с первым впускным патрубком. Между внешним циркуляционным насосом и внешним теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между внешним теплообменником и вторым обратным запорным клапаном. Внутри резервуара установлен внутренний теплообменник, первый вход которого соединен со вторым впускным патрубком, а первый выход соединен посредством напорного трубопровода с внутренним циркуляционным насосом и распределительной трубой, второй вход соединен посредством напорного трубопровода с первым впускным патрубком, а второй выход соединен посредством напорного трубопровода с выпускным патрубком. Крышка резервуара образована двумя створками с разной площадью поверхности и установлена с возможностью съема и подъема, причем большая створка установлена с обеспечением возможности съема и подъема в режиме остановки и работы серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных, причем гибкая плата или шлейф соединены с одним концом внешнего кабеля передачи данных, другой конец которого подключен к внешнему управляющему устройству, а сетевой коммутатор соединен с одним концом первого кабеля передачи данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки и подключен к внешнему управляющему устройству. Первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, а вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и разъемами данных выполнены нагревательные элементы. Вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки, перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы, а верхняя ее часть соединена посредством разъема данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с одним концом внешнего кабеля питания, пропущенного через другое отверстие в меньшей створке крышки, посредством разъемов питания, при этом другой конец внешнего кабеля питания соединен с внешним источником питания. Сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания. Вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате. Материнская плата подключена к сетевому коммутатору посредством второго кабеля данных, а съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных, а широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных. В нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы. Половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных. Каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме.

При этом возможно, что серверная ферма состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.

При этом возможно, что параллельно общему циркуляционному насосу установлен дополнительный общий циркуляционный насос.

При этом возможно, что для вертикальной установки вычислительных

узлов параллельно боковым ребрам резервуара выполнены пропилы.

При этом возможно, что в качестве накопителей информации используются твердотельные накопители информации.

При этом возможно, что в нижней части второй печатной платы выполнены нагревательные элементы.

При этом возможно, что нагревательные элементы выполнены в виде нагрузочных резисторов.

При этом возможно, что внутренний теплообменник выполнен в виде кожухотрубчатого противоточного теплообменника.

На фиг.1 показан резервуар серверной фермы.

На фиг.2 показана распределительная труба.

На фиг.3 показана крышка.

На фиг.4 показана первая печатная плата.

На фиг.5 показана вторая печатная плата.

На фиг.6 показана монтажная плата.

На фиг.7 показана съемная плата.

На фиг.8 показана схема контура охлаждения серверной фермы, включающей один резервуар.

На фиг.9 показана схема контура охлаждения серверной фермы, включающей n резервуаров.

В одном варианте реализации изобретения серверная ферма представляет собой серверную ферму с одним резервуаром. Серверная ферма, изображенная на фиг.1, включает герметичный прямоугольный резервуар 1, заполненный охлаждающей жидкостью и снабженный крышкой 2. На двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара пластиковые вкладыши с направляющими, или выполнены пропилы для вертикальной установки вычислительных узлов.

В верхней части одной из стенок резервуара на центральной оси выполнено отверстие, в которое установлен выпускной патрубок 3. Резервуар заполняется жидкостью до уровня ее перелива в выпускной патрубок. В нижней части той же стенки резервуара выполнено отверстие, в которое установлен впускной патрубок 4 такого же диаметра, что и выпускной патрубок. Впускной патрубок соединен с одним концом распределительной трубы 5 (фиг.2), установленной внутри резервуара на смонтированных на его днище поддерживающих элементах и состоящей из двух параллельных друг другу перфорированных труб, соединенных U-образным соединителем. Второй конец распределительной трубы заглушен. Распределительная труба продолжается вдоль всего днища резервуара.

На фиг.3 показана крышка резервуара. Крышка 2 резервуара состоит из двух створок разной площади поверхности и крепежных элементов, посредством которых створки крышки крепятся к крепежным элементам, установленным на верхних краях стенок резервуара. Крепежные элементы выполнены с обеспечением возможности съема и подъема створок. Обе створки крышки имеют угол открытия не менее 90 градусов и снабжены механизмом фиксации их в таком положении. Верхний край резервуара по всему периметру и нижние края створок крышки по всему периметру имеют слой уплотнителя, обеспечивающий герметичное прилегание створок крышки к резервуару. Для обеспечения оперативного доступа внутрь резервуара к вычислительным узлам большая створка крышки открывается и снимается в режиме работы серверной фермы. Меньшая створка крышки открывается и снимается только после остановки работы серверной фермы.

На внутренней стороне большей створки размещен сетевой коммутатор 6. К сетевому коммутатору присоединен первый кабель данных, другой конец которого выведен наружу через отверстие 7, выполненное в меньшей створке крышки. В меньшей створке крышки выполнены отверстия 8 (на чертеже показано одно отверстие), через которые организован герметичный ввод кабелей питания. В меньшей створке крышки выполнено отверстие 9, в которое герметично пропущены шлейф или гибкая печатная плата (на чертеже не показаны) с двумя концевыми разъемами данных. Один концевой разъем данных предназначен для стыковки с концевым разъемом данных, расположенным на второй печатной плате. Другой концевой разъем данных предназначен для соединения с внешним кабелем передачи данных, другой конец которого соединен с внешним управляющим устройством.

В нижней части резервуара параллельно плоскости днища резервуара, под распределительной трубой 5 установлена первая печатная плата 10 (фиг.4), зафиксированная на смонтированных на днище резервуара поддерживающих элементах. На первой печатной плате выполнены отверстия 11 для прохождения крепежных элементов, фиксирующих распределительную трубу.

Вдоль одного края первой печатной платы соосно между собой расположены разъемы данных 12, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Вдоль противоположного края первой печатной платы расположены разъемы питания 13, выполненные в количестве, равном количеству вычислительных узлов, установленных в резервуаре. Между разъемами данных 12 и питания 13 смонтированы нагревательные элементы 14, выполненные в виде нагрузочных резисторов. Первая печатная плата оснащена концевыми разъемами данных 15 и питания 16, предназначенными для сцепления с нижней кромкой второй печатной платы 17. При этом разъемы данных 12 и 13 на первой печатной плате выполнены вдоль краев, перпендикулярных краю, состыкованному со второй печатной платой.

Вторая печатная плата 17 (фиг.5) установлена перпендикулярно первой печатной плате вплотную к стенке резервуара, противоположной той, на которой установлены впускной и выпускной патрубки, и жестко зафиксирована в таком положении посредством крепежных элементов, установленных на стенке резервуара. В нижней части второй печатной платы выполнены ответные части разъемов данных 18 и питания 19 к концевым разъемам данных 15 и питания 16 соответственно. В верхней части второй печатной платы выполнена ответная часть 20 разъема данных, предназначенного для стыковки с концевым разъемом данных, расположенным на шлейфе или гибкой печатной плате, пропущенной через отверстие 9 в меньшей створке крышки, и разъем питания 21, предназначенный для подключения внешних кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки. Вторая печатная плата предназначена для подачи питания и передачи данных от расположенных в ее верхней части разъемов данных 20 и питания 21 на первую печатную плату, помимо этого она используется для установки дополнительных электронных компонентов, таких как, например, дополнительный коммутатор и др. В некоторых вариантах реализации изобретения в нижней части второй печатной платы размещены дополнительные нагревательные элементы 14.

Вычислительные узлы установлены внутри резервуара на первую печатную плату. Вычислительный узел состоит из монтажной печатной платы 22 (фиг.6). В нижней кромке монтажной печатной платы выполнен прямоугольный вырез так, что при установке ее на первую печатную плату прямоугольный вырез приходится на распределительную трубу. Монтажная печатная плата на лицевой и оборотной сторонах разделена на два отделения - узкое и широкое - продольным разделителем 23, выполненным в виде пластиковой планки.

В нижней части широкого отделения выполнена ответная часть концевого разъема данных 24 к концевому разъему данных 12, а в нижней части узкого отделения выполнена ответная часть концевого разъема питания 25 к концевому разъему питания 13.

По продольным краям узкого отделения монтажной печатной платы на ее лицевой и оборотной сторонах крепятся симметрично по два продольных держателя 26 в виде направляющих для фиксации съемной печатной платы 27, изображенной на фиг.7, на которой расположены блок питания 28 и не менее двух накопителей информации 29. При этом часть накопителей информации, расположенных на съемной печатной плате, установленной на лицевой стороне монтажной платы, подключены к материнской плате, смонтированной на лицевой стороне монтажной печатной платы, а другая часть накопителей информации подключается к материнской плате, смонтированной на оборотной стороне монтажной печатной платы. Аналогичным образом подключены накопители информации, расположенные на съемной печатной плате, установленной на оборотной стороне монтажной платы. Между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных. Каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме. В нижней части съемной платы выполнена колодка 30 разъемов питания и данных.

В нижней части узкого отделения монтажной платы выполнена колодка 31 разъемов питания и данных, предназначенная для состыковки с колодкой 30 разъемов питания и данных, расположенной на съемной печатной плате. Колодка 31 разъемов питания и данных соединена с разъемами питания и данных, выполненными в нижней части узкого отделения монтажной платы (на чертеже не показаны), которые используются соответственно для трассировки питания и данных от блока питания и накопителей информации, расположенных на съемной печатной плате, к электронным компонентам материнской платы.

В широком отделении монтажной платы на лицевой и оборотной сторонах монтируется материнская плата 32. Таким образом, на монтажную печатную плату устанавливаются две материнских платы и две съемные печатные платы.

В верхней части широкого отделения монтажной печатной платы выполнен разъем данных 33, предназначенный для сцепления посредством гибкой платы или шлейфа (на чертеже не показаны) с концевым разъемом данных 34, выполненным в верхней части материнской платы.

В верхней части материнской платы выполнен разъем данных 35, к которому подключен второй кабель данных, другой конец которого соединен с сетевым коммутатором 6. Сетевой коммутатор получает питание от разъема питания 21 на второй печатной плате при помощи кабеля питания.

Система охлаждения серверной фермы выполнена двухконтурной. Первый контур представляет собой контур охлаждения вычислительных узлов в резервуаре первой охлаждающей жидкостью, второй контур является контуром охлаждения первой охлаждающей жидкости второй охлаждающей жидкостью.

В первом варианте реализации изобретения серверная ферма состоит из одного резервуара 1, заполненного охлаждающей жидкостью, снабженного крышкой, с установленными в нем вычислительными узлами, первой печатной платой 10, второй печатной платой 17, распределительной трубой 5. На фиг.8 показана схема охлаждения серверной фермы, включающей один резервуар. Первый контур охлаждения включает внутренний теплообменник 36, установленный внутри резервуара и прикрепленный к стенке резервуара, на которой установлены первый впускной и выпускной патрубки, посредством крепежных элементов. Первый вход внутреннего теплообменника соединен со вторым впускным патрубком 37, а его первый выход соединен посредством напорного трубопровода 38 с внутренним циркуляционным насосом 39 и распределительной трубой (на чертеже не показана). Внутренний теплообменник выполнен в виде кожухотрубчатого противоточного теплообменника. Таким образом, образуется первый замкнутый контур переноса тепла первой охлаждающей жидкостью от вычислительных узлов ко второй охлаждающей жидкости во внутреннем теплообменнике и от него обратно к вычислительным узлам.

Второй контур охлаждения образован внутренним теплообменником 36, второй выход которого соединен посредством напорного трубопровода 40 с выпускным патрубком, установленным в стенке резервуара, сообщенным через первый обратный запорный клапан 41 посредством первого напорного трубопровода 42 с внешним циркуляционным насосом 43, фильтром грубой очистки 44 и внешним теплообменником 45. Внешний теплообменник с другой стороны соединен посредством обратного напорного трубопровода 46 через второй обратный запорный клапан 47 с наружным концом первого впускного патрубка, установленного в стенке резервуара. Внутренний конец первого впускного патрубка соединен посредством трубопровода 48 со вторым входом внутреннего теплообменника. Таким образом, образуется большой второй замкнутый контур переноса тепла второй охлаждающей жидкостью от первой охлаждающей жидкости к внешнему теплообменнику и от него второй охлажденной жидкости обратно к внутреннему теплообменнику.

Между фильтром грубой очистки 44 и внешним теплообменником 45 встроен запорный трехходовой электромагнитный клапан 49, третий патрубок которого соединен с первым концом второго напорного трубопровода 50. Второй конец второго напорного трубопровода соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод 46 между внешним теплообменником 45 и вторым обратным запорным клапаном 47. Запорный трехходовой электромагнитный клапан 49 предназначен для перекрытия потока второй охлаждающей жидкости, поступающего к внешнему теплообменнику, и направления его посредством второго напорного трубопровода через третий патрубок трехходового разветвителя обратно во внутренний теплообменник. Таким образом, образуется малый второй замкнутый контур переноса тепла второй охлаждающей жидкостью от первой охлаждающей жидкости из внутреннего теплообменника во второй общий трубопровод и второй охлажденной жидкости обратно к первой охлаждающей жидкости во внутренний теплообменник, минуя внешний теплообменник. Для обеспечения отказоустойчивости параллельно внешнему циркуляционному насосу 43 установлен дублирующий циркуляционный насос (на чертеже не показан).

Во втором варианте реализации изобретения серверная ферма состоит из n резервуаров. На фиг.9 показана схема охлаждения серверной фермы, включающей n резервуары. Серверная ферма состоит из n герметичных резервуаров 1, заполненных охлаждающей жидкостью, с установленными в них вычислительными узлами, первой печатной платой 10, второй печатной платой 17, распределительной трубой 5, внутренним теплообменником 36. Каждый резервуар снабжен крышкой 2. В этом варианте первый контур охлаждения выполнен аналогично первому варианту реализации изобретения. Второй контур охлаждения состоит из внутреннего теплообменника 36, второй выход которого соединен напорным трубопроводом 40 с первым выпускным патрубком, установленным в стенке резервуара, сообщенным через первый обратный запорный клапан 41 посредством отводящего напорного трубопровода 51 с внешним циркуляционным насосом 43, фильтром грубой очистки 44 и выпускной коллекторной трубой 52, один конец которой заглушен, а второй соединен посредством первого трехходового разветвителя с первым общим напорным трубопроводом 53. В первый общий напорный трубопровод далее последовательно подключены внешний общий циркуляционный насос 54, общий фильтр грубой очистки 55 и внешний теплообменник 56. Внешний теплообменник с другой стороны соединен с обратным общим напорным трубопроводом 57. Второй вход каждого внутреннего теплообменника 36 посредством трубопровода 48 через первый выпускной патрубок, установленный в стенке резервуара, и второй запорный обратный клапан 47 сообщаются с подводящим напорным трубопроводом 58, который соединен с впускной коллекторной трубой 59. Один конец впускной коллекторной трубы заглушен, а второй соединен посредством второго трехходового разветвителя с обратным общим напорным трубопроводом 57. Таким образом, образуется большой второй замкнутый контур переноса тепла второй охлаждающей жидкостью от первой охлаждающей жидкости к внешнему теплообменнику и второй охлажденной жидкости обратно к внутреннему теплообменнику.

Между общим фильтром грубой очистки 55 и внешним теплообменником 56 встроен запорный трехходовой электромагнитный клапан 60, третий патрубок которого соединен с первым концом второго общего напорного трубопровода 61. Второй конец второго общего напорного трубопровода соединен через третий патрубок третьего трехходового разветвителя, встроенного между внешним теплообменником и впускной коллекторной трубой 59, с обратным общим напорным трубопроводом 57. Запорный трехходовой электромагнитный клапан предназначен для перекрытия потока второй охлаждающей жидкости, поступающего к внешнему теплообменнику, и направления его через второй общий напорный трубопровод и третий патрубок трехходового разветвителя, который, в свою очередь, сообщен посредством обратного общего напорного трубопровода с впускной коллекторной трубой, по подводящим трубопроводам обратно во внутренний теплообменник. Таким образом, образуется малый второй замкнутый контур переноса тепла второй охлаждающей жидкостью от первой охлаждающей жидкости во второй общий напорный трубопровод и обратно второй охлажденной жидкости из него к внутреннему теплообменнику, минуя внешний теплообменник.

Для обеспечения отказоустойчивости параллельно внешнему общему циркуляционному насосу 54 установлен дублирующий общий циркуляционный насос (на чертеже не показан).

Во время работы серверной фермы вычислительные узлы полностью погружены в охлаждающую жидкость. В одном варианте реализации изобретения нагретая вычислительными узлами первая охлаждающая жидкость переливается во второй впускной патрубок, сообщенный с первым входом внутреннего теплообменника, и попадает во внутренний теплообменник, где она охлаждается второй охлаждающей жидкостью. Затем охлажденная первая жидкость через первый выход внутреннего теплообменника поступает в напорный трубопровод и прокачивается внутренним циркуляционным насосом в распределительную трубу и подается через выполненные в ней отверстия в резервуар обратно к вычислительным узлам. Таким образом, первая охлаждающая жидкость циркулирует по первому замкнутому контуру, начинающемуся от вычислительных узлов, продолжающемуся к внутреннему теплообменнику, внутреннему циркуляционному насосу и возвращающемуся обратно к вычислительным узлам.

Одновременно с этим вторая охлаждающая жидкость, нагретая первой охлаждающей жидкостью во внутреннем теплообменнике, через его второй выход поступает в напорный трубопровод, сообщенный с выпускным патрубком, установленным в стенке резервуара, и затем через первый обратный запорный клапан по первому напорному трубопроводу поступает к внешнему циркуляционному насосу, который прокачивает ее через фильтр грубой очистки к внешнему теплообменнику. Охлажденная во внешнем теплообменнике вторая охлаждающая жидкость поступает в обратный напорный трубопровод и через второй обратный запорный клапан, сообщенный с первым впускным патрубком, установленным в стенке резервуара, поступает в трубопровод, сообщенный со вторым входом внутреннего теплообменника. Таким образом, вторая охлаждающая жидкость циркулирует по второму большому замкнутому контуру, начинающемуся от внутреннего теплообменника, продолжающемуся к внешнему циркуляционному насосу, фильтру грубой очистки, внешнему теплообменнику и возвращающемуся обратно во внутренний теплообменник.

Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Внешний циркуляционный насос через фильтр грубой очистки прокачивает вторую охлаждающую жидкость в первый напорный трубопровод к запорному трехходовому электромагнитному клапану, который направляет ее во второй напорный трубопровод, где она охлаждается. Затем охлажденная вторая охлаждающая жидкость через трехходовой разветвитель, второй обратный запорный клапан и первый впускной патрубок, установленный в стенке резервуара, поступает в трубопровод, сообщенный со вторым входом внутреннего теплообменника. Таким образом, вторая охлаждающая жидкость циркулирует по второму малому замкнутому контуру, начинающемуся от внутреннего теплообменника, продолжающемуся к внешнему циркуляционному насосу, фильтру грубой очистки, второму напорному трубопроводу и возвращающемуся обратно во внутренний теплообменник, минуя внешний теплообменник.

В другом варианте реализации изобретения нагретая вычислительными узлами первая охлаждающая жидкость циркулирует по аналогичному первому контуру. Вторая охлаждающая жидкость, нагретая первой охлаждающей жидкостью во внутреннем теплообменнике, через его второй выход поступает в напорный трубопровод, сообщенный с выпускным патрубком, и через первый обратный запорный клапан переливается в отводящий напорный трубопровод к внешнему циркуляционному насосу, который через фильтр грубой очистки прокачивает ее в выпускную коллекторную трубу и в первый общий напорный трубопровод, где общий циркуляционный насос через общий фильтр грубой очистки прокачивает ее к внешнему теплообменнику. Охлажденная во внешнем теплообменнике вторая охлаждающая жидкость поступает в обратный общий напорный трубопровод и впускную коллекторную трубу, а затем посредством подводящего напорного трубопровода через второй обратный запорный клапан и первый впускной патрубок, установленный в стенке резервуара, поступает в трубопровод, сообщенный со вторым входом внутреннего теплообменника. Таким образом, вторая охлаждающая жидкость циркулирует по второму большому замкнутому контуру, начинающемуся от внутреннего теплообменника, продолжающемуся к системе отводящих трубопроводов, выпускной коллекторной трубе, внешнему общему циркуляционному насосу, фильтру грубой очистки и внешнему теплообменнику и возвращается обратно во внутренний теплообменник через трубопровод, впускную коллекторную трубу и систему подводящих трубопроводов.

Если температура окружающей среды не превышает 0°С, то запорный трехходовой электромагнитный клапан закрывают. Внешний общий циркуляционный насос через общий фильтр грубой очистки прокачивает вторую охлаждающую жидкость по первому общему напорному трубопроводу к запорному трехходовому электромагнитному клапану, который направляет ее во второй общий напорный трубопровод, где она охлаждается. А затем через третий патрубок третьего трехходового разветвителя посредством обратного общего напорного трубопровода, впускной коллекторной трубы и системы подводящих трубопроводов охлажденная вторая охлаждающая жидкость возвращается обратно к каждому из внутренних теплообменников, минуя внешний теплообменник. Таким образом, вторая охлаждающая жидкость циркулирует по второму малому замкнутому контуру, начинающемуся от внутреннего теплообменника, продолжающегося к системе отводящих трубопроводов, выпускной коллекторной трубе, внешнему общему циркуляционному насосу, общему фильтру грубой очистки и по второму общему напорному трубопроводу и возвращается обратно во внутренний теплообменник через трубопровод, впускную коллекторную трубу и систему подводящих трубопроводов.

За счет того что второй малый и второй большой контуры охлаждения, параллельно соединяющие n резервуары, герметичны, достигается первый дополнительный технический результат, заключающийся в обеспечении возможности установки каждого из резервуаров на разных уровнях, считая от одной и той же точки на поверхности земли.

За счет того что первая охлаждающая жидкость, непосредственно охлаждающая вычислительные узлы, не покидает пределов резервуара, достигается второй дополнительный технический результат, заключающийся в обеспечении быстрого запуска заявляемой серверной фермы.

Температура окружающей среды, при которой возможна работа заявляемой серверной фермы колеблется от -50°С до +45°С.

Серверная ферма получает питание от внешнего источника питания посредством кабелей питания, пропущенных через отверстия 8 в меньшей створке крышки, одни концы которых соединены с внешним источником питания, а другие концы соединены с разъемом питания 21 на второй печатной плате.

В качестве первой охлаждающей жидкости используются синтетические или натуральные масла. В качестве второй охлаждающей жидкости используются этиленгликоль или его аналоги.

Повышение плотности установки вычислительных узлов достигается за счет отсутствия индивидуального корпуса, в который заключается вычислительный узел, и индивидуального контейнера, в который заключаются одна или более материнских плат, приспособлений для охлаждения, используемых в известных решениях, например теплоотводящих плат и охлаждающих модулей, неиспользованием стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов и с монтажными и эксплуатационными промежутками. Кроме того, на монтажных печатных платах установлены материнские и съемные печатные платы с обеих сторон. Все это увеличивает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Помимо того, изобретением не предусмотрено использование стандартных вычислительных узлов, предназначенных для воздушного охлаждения, что сокращает размеры устанавливаемых в заявляемую серверную ферму вычислительных узлов.

Функционирование при отрицательных температурах окружающей среды достигается за счет использования нагревательных элементов.

Возможность горячей замены блоков питания и накопителей информации достигается за счет подключения части накопителей информации, расположенных на съемной печатной плате, установленной на одной стороне монтажной печатной платы, к материнской плате, смонтированной на другой ее стороне, и организации зеркалирования данных между накопителями информации, подключенными к одной материнской плате. А также тем, что оба блока питания работают в параллельном режиме. А также тем, что блоки питания и накопители информации расположены на съемной печатной плате.

Claims (8)

1. Серверная ферма с иммерсионной системой охлаждения, состоящая из герметичного резервуара с установленными в нем теплообменником, вычислительными узлами, состоящими из монтажной платы со смонтированными на ней материнскими платами, блоками питания, накопителями информации, заполненного охлаждающей жидкостью, снабженного крышкой, направляющими для вертикальной установки вычислительных узлов, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и внешним теплообменником, отличающаяся тем, что серверная ферма снабжена распределительной трубой, двумя печатными платами, сетевым коммутатором, причем
распределительная труба установлена параллельно всему днищу резервуара и образована двумя параллельными друг другу перфорированными трубами, соединенными U-образным соединителем, один конец распределительной трубы заглушен, а второй соединен с первым впускным патрубком, установленным в нижней части стенки резервуара,
а выпускной патрубок установлен в верхней части той же стенки резервуара, в которой установлен первый впускной патрубок, и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с внешним циркуляционным насосом, фильтром грубой очистки и внешним теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с первым впускным патрубком,
между внешним фильтром грубой очистки и внешним теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между внешним теплообменником и вторым обратным запорным клапаном,
внутри резервуара установлен внутренний теплообменник, первый вход которого соединен со вторым впускным патрубком, а первый выход соединен посредством напорного трубопровода с внутренним циркуляционным насосом и распределительной трубой, второй вход соединен посредством напорного трубопровода с первым впускным патрубком, а второй выход соединен посредством напорного трубопровода с выпускным патрубком,
крышка резервуара образована двумя створками с разной площадью поверхности и установлена с возможностью съема и подъема, причем большая створка установлена с обеспечением возможности съема и подъема в режиме остановки и работы серверной фермы, на внутренней стороне большей створки размещен сетевой коммутатор, а в меньшей створке выполнено отверстие для шлейфа или гибкой печатной платы, имеющих на концах разъемы данных, причем гибкая плата или шлейф соединены с одним концом внешнего кабеля передачи данных, другой конец которого подключен к внешнему управляющему устройству, а сетевой коммутатор соединен с одним концом первого кабеля передачи данных, другой конец которого выведен наружу через отверстие в меньшей створке крышки и подключен к внешнему управляющему устройству,
первая печатная плата установлена параллельно плоскости днища резервуара под распределительной трубой, на ней выполнены концевые разъемы данных и питания, а вдоль одного края соосно между собой расположены разъемы данных, а вдоль противоположного края соосно между собой расположены разъемы питания, причем между разъемами питания и разъемами данных выполнены нагревательные элементы,
вторая печатная плата установлена вплотную к одной из стенок резервуара, к которой прикреплена меньшая створка крышки, перпендикулярно первой печатной плате и состыкована с ней кромка с кромкой при помощи ответных частей для концевых разъемов данных и питания первой печатной платы,
а верхняя ее часть соединена посредством разъема данных с гибкой печатной платой или шлейфом, пропущенными через отверстие в меньшей створке крышки резервуара, и с одним концом внешнего кабеля питания, пропущенного через другое отверстие в меньшей створке крышки, посредством разъемов питания, при этом другой конец внешнего кабеля питания соединен с внешним источником питания,
причем сетевой коммутатор питается от разъема питания, расположенного в верхней части второй печатной платы, при помощи кабеля питания,
вычислительные узлы установлены при помощи разъемов данных и питания на первую печатную плату параллельно второй печатной плате и состоят из монтажной печатной платы, которая разделена продольным разделителем на узкое и широкое отделения, по продольным краям узкого отделения с обеих сторон крепятся симметрично по два продольных держателя в виде направляющих для фиксации съемной печатной платы, на которой расположены блок питания, накопители информации и колодка разъемов питания и данных, а в широком отделении с обеих сторон монтируется по материнской плате,
материнская плата подключена к сетевому коммутатору посредством второго кабеля данных,
съемная плата подключена к монтажной плате посредством колодок разъемов питания и данных,
широкое отделение монтажной платы соединено посредством гибкой печатной платы или шлейфа с материнской платой с помощью разъемов данных,
в нижней кромке монтажной печатной платы выполнен прямоугольный вырез для прохода распределительной трубы,
при этом половина накопителей информации, расположенных на съемной печатной плате, установленной на одной из сторон монтажной платы, подключены к материнской плате, смонтированной на этой же стороне
монтажной печатной платы, а остальные накопители информации подключаются к материнской плате, смонтированной на другой стороне монтажной печатной платы, между накопителями информации, подключенными к одной материнской плате, организовано полное зеркалирование данных,
каждый блок питания подключен к обеим материнским платам, при этом оба блока питания работают в параллельном режиме.

2. Серверная ферма по п.1, отличающаяся тем, что состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.

3. Серверная ферма по п.1, отличающаяся тем, что параллельно общему циркуляционному насосу установлен дополнительный общий циркуляционный насос.

4. Серверная ферма по п.1, отличающаяся тем, что для вертикальной установки вычислительных узлов параллельно боковым ребрам резервуара выполнены пропилы.

5. Серверная ферма по п.1, отличающаяся тем, что в качестве накопителей информации используются твердотельные накопители информации.

6. Серверная ферма по п.1, отличающаяся тем, что в нижней части второй печатной платы выполнены нагревательные элементы.

7. Серверная ферма по п.1, отличающаяся тем, что нагревательные элементы выполнены в виде нагрузочных резисторов.

8. Серверная ферма по п.1, отличающаяся тем, что внутренний теплообменник выполнен в виде кожухотрубчатого противоточного теплообменника.

Images