RU209333U1 - Высокоплотный вычислительный узел - Google Patents

Abstract

Полезная модель относится к области вычислительной техники и может быть использована при создании высокопроизводительных вычислительных систем (ВВС). Высокоплотный вычислительный узел содержит корпус высотой 4U, блейд-сервера, коммуникационные устройства и блоки питания. Корпус разделен на переднюю и заднюю секции информационной и электрической объединительными платами, блейд-сервера, устанавливаются в передней части корпуса, а коммуникационные устройства и блоки питания устанавливаются в задней части корпуса. Блейд-сервера и коммуникационные устройства с разных сторон подключаются к объединительным платам. Каждое коммуникационное устройство имеет три группы портов. Первыми группами портов коммуникационные устройства объединяются между собой по полносвязной топологии. Вторые группы портов коммуникационных устройств являются внешними выводами высокоплотного вычислительного узла, которые предназначены для объединения высокоплотных вычислительных узлов в единую высокопроизводительную вычислительную систему неограниченной производительности. К третьей группе портов каждого коммуникационного устройства подключены до двух соответствующих блейд-серверов. Блейд-сервера и коммуникационные устройства оборудованы контактной системой жидкостного охлаждения. Технический результат заключается в увеличении эффективности высокоплотного вычислительного узла. 5 ил.

Description

Полезная модель относится к области вычислительной техники и может быть использована при создании высокопроизводительных вычислительных систем (ВВС).

Известна серверная платформа (вычислительный узел) (патент RU №2389058 приоритет от 07.08.2008, «Серверная платформа», автор Слепухин А.Ф.. МПК G06F 1/12, Н05К 7/20, опубликовано 10.05.2010 Бюл. №13), содержащая корпус, который разделен по направлению движения охлаждающего воздуха на переднюю и заднюю секции, с направляющими для блейд-серверов, блейд-серверы, блоки питания и вентиляторы воздушного охлаждения. Направляющие для блейд-серверов выполнены на части длины корпуса и расположены в его задней секции. Вентиляторы попарно объединены в охлаждающие модули и размещены в передней секции корпуса, свободной от направляющих. 10 двухпроцессорных блейд-серверов устанавливают с задней стороны корпуса внутрь его задней секции. Между блейд-серверами и охлаждающими модулями имеется свободная полость, выполняющая функцию воздушного коллектора. Блоки питания размещены над блейд-серверами таким образом, что названная полость гидравлически сообщается с пространством корпуса, в котором установлены блоки питания. На торцевых поверхностях блейд-серверов, обращенных наружу с задней секции корпуса, выполнены разъемы межинтерфейсного обмена. В стандартной 19 дюймовой телекоммуникационной стойке высотой 42 U размещается до восьми серверных платформ.

Недостатками известного устройства является отсутствие в его составе коммуникационного оборудования обеспечивающего эффективный обмен информацией между блейд-серверами серверной платформы и необходимость использования дополнительного внешнего коммуникационного оборудования, применение в серверной платформе воздушного охлаждения не позволяет достичь высокой плотности размещения вычислительных ресурсов и хорошей энергоэффективности.

Известна блейд-система (высокоплотный вычислительный узел) 8U SuperBlade SBE-820C производства фирмы Supermicro (8U SuperBlade User's Manual revision 1.2a, опубликовано 24.10.2018. https://www.supermicro.com/manuals/superblade/MNL-SuperBlade_8U.pdf). Блейд-система SuperBlade SBE-820C содержит корпус, в котором установлены подсистема электропитания, подсистема воздушного охлаждения и коммуникационная подсистема, объединяющая от 2 до 20 блейд-серверов. Коммуникационная подсистема использует коммуникационное оборудование. состоящее из двух типов коммуникационных устройств: 40 портовый коммутатор InfiniBand и канальные адаптеры Mellanox ConnectX-4 или 44 - портовый коммутатор Intel Omni-Path и канальные адаптеры Intel Omni-Path Wolfriver. В стандартной 19 дюймовой телекоммуникационной стойке высотой 42 U размещается до 5 блейд-еистем.

Недостатками известной блейд-системы являются: значение средней дистанции коммуникационной сети блейд-системы, равное двум хопам, сообщение проходит минимум три коммуникационных устройства, что приводит к увеличению задержки при передаче сообщений: использование в коммуникационной подсистеме двух разных типов коммуникационных устройств: коммутатора и адаптера, неисправность многопортового коммутатора приводит к выходу из строя всей блейд-системы; применение воздушного охлаждения, что увеличивает энергопотребление и уровень шума.

Наиболее близким аналогом, по совокупности существенных признаков, к заявляемой полезной модели является блейд-система ТС4600Е-LX, разработанная китайской компанией Sugon (Sugon TC4600E-LC: Обновленная блейд-система с СЖО, опубликовано 20.11.2015, http://hpc-lc.ru/news/sugon_tc4600e__liquid_blade_rack).

Блейд-система TC4600E-LC содержит корпус, в котором установлены подсистема электропитания, подсистема гибридного охлаждения, коммуникационная подсистема и могут быть размещены 10 блейд-серверов или 5 гетерогенных лезвий плюс 10 GPU или Intel Xeon Phi ускорителей. Коммуникационная подсистема использует коммуникационное оборудование, состоящее из двух типов коммуникационных устройств: 36-или 40- портовый коммутатор InfiniBand и канальные адаптеры Mellanox ConnectX-4. Высота блейд-системы TC4600E-LC составляет 6U и в стандартной стойке высотой 42 U размещается до 6 блейд-систем. В гибридной системе охлаждения водой охлаждают только блейд-сервера, а для остальных частей блейд-системы используется воздушное охлаждение.

Недостатками данного устройства являются: значение средней дистанции коммуникационной сети блейд-системы, равное двум хопам: использование в коммуникационной подсистеме двух разных типов коммуникационных устройств: коммутатора и адаптера, неисправность многопортового коммутатора приводит к выходу из строя всей блейд-системы: применение воздушного охлаждения коммуникационного оборудования приводит к уменьшению плотности компоновки.

Технической проблемой, на решение которой направлена заявляемая полезная модель, является создание отказоустойчивого высокоплотного вычислительного узла, высотой 4U, обеспечивающего размещение до 16 блейд-серверов, каждый из которых содержит N процессоров, где N = 1, 2, … и оперативную память. Значение средней дистанции передачи сообщений между блейд-серверами одного высокоплотного вычислительного узла не должно превышать одного хопа.

Технический результат заключается в увеличении эффективности высокоплотного вычислительного узла за счет уменьшения значения средней дистанции коммуникационной сети высокоплотного вычислительного узла до одного хона и. следовательно, уменьшения задержки при передаче сообщений.

Данный технический результат достигается тем, что в высокоплотном вычислительном узле, содержащем корпус, блоки питания, систему охлаждения, коммуникационные устройства и блейд-серверы, каждый из которых содержит N процессоров, где N = 1, 2, … и оперативную память, при этом блоки питания подключены к соответствующим блейд-серверам и коммуникационным устройствам, новым является то, что корпус разделен на переднюю и заднюю секции информационной и электрической объединительными платами, при этом в передней секции корпуса установлены направляющие для блейд-серверов и блейд-сервера, а в задней секции установлены коммутационные устройства, выполненные на базе малопортовых, полноматричных комму таторов и объединенные между собой через информационную объединительную плату первыми группами портов по полносвязной топологии, вторые группы портов коммуникационных устройств являются внешними выводами высокоплотного вычислительного узла, а к третьей группе портов каждого коммуникационного устройства через информационную объединительную плату подключены до двух соответствующих блейд-серверов, при этом система охлаждения выполнена с использованием контактной системы жидкостного охлаждения электронных компонент блейд-серверов и коммуникационных устройств.

В заявляемом высокоплотном вычислительном узле за счет соединения коммуникационных устройств и соответствующих им блейд-серверов между собой по полносвязной топологии («каждый с каждым») значение диаметра и средней дистанции коммуникационной сети уменьшается до одного хопа, что приводит к уменьшению задержки при передаче сообщений и в свою очередь к увеличению эффективности.

Блейд-сервера и коммуникационные устройства оборудованы контактной системой жидкостного охлаждения. На наружных торцевых поверхностях каждого блейд-сервера и каждого коммуникационного устройства имеются по два быстроразъемных соединения для входа и выхода охлаждающей жидкости, которые обеспечивают защиту от протечек при подключении к внешней системе подачи и отвода жидкости.

Блоки питания размещены в задней части корпуса вдоль его стенок, справа и слева от коммуникационных устройств. Блоки питания могут выполняться в виде автономных модулей, каждый из которых имеет корпус с размещенными внутри него элементами питания и вытяжным вентилятором. Блоки питания подключаются к разъемам электрической объединительной платы.

Корпус высокоплотного вычислительного узла может быть выполнен со съемной крышкой и внутри корпуса размещены направленные вдоль его длины направляющие для устанавливаемых спереди блейд-серверов, а сзади коммуникационных устройств.

Блейд-сервера и коммуникационные устройства размещаются в корпусе вертикально, что упрощает независимое извлечение блейд-серверов и коммуникационных устройств из высокоплотного вычислительного узла для ремонтных работ, без остановки работы высокоплотного вычислительного узла.

На фиг.1 представлен вид высокоплотного вычислительного узла спереди в изометрии. На фиг.2 представлен вид высокоплотного вычислительного узла сзади в изометрии. На фиг.3 представлен вид блейд-сервера высокоплотного вычислительного узла в изометрии. На фиг.4 представлен вид коммуникационного устройства высокоплотного вычислительного узла в изометрии. На фиг.5 приведена схема коммуникационной сети высокоплотного вычислительного узла.

Высокоплотный вычислительный узел (фиг.1) содержит корпус 1 (показан прозрачным), который делится на переднюю 2 и заднюю 3 секции объединительными платами: информационной 4 и электрической 5. В передней секции 2 корпуса 1 установлены блейд-серверы 6. Снаружи передней секции 2 находится система подачи 7 охлаждающей жидкости к каждому блейд-серверу 6 и отвода 8 нагретого охладителя от блейд-серверов 6. Корпус ! высокоплотного вычислительного узла снабжен верхней крышкой 9.

Коммуникационные устройства (10) и блоки питания 11 (фиг.2) установлены в задней секции 3 высокоплотного вычислительного узла. Снаружи задней секции 3 находится система подачи 12 охлаждающей жидкости к коммуникационным устройствам 10 и отвода 13 нагретого охладителя от коммуникационных устройств 10.

Каждый блейд-сервер (фиг.3) содержит процессоры 14 и оперативную память 15, оборудованные контактной системой 16 жидкостного охлаждения. На материнской плате 17 блейд-сервера установлен информационный разъем 18, для подключения блейд-сервера к информационной объединительной плате 4 (на фиг.1), и соединительная плата с разъемом 19 для подключения к электрической объединительной плате 5 (на фиг.1). На наружных торцевых поверхностях блейд-сервера имеются по два быстроразъемных соединения 20 для входа и выхода охлаждающей жидкости, которые обеспечивают защиту от протечек при подключении к внешней системе подачи и отвода охлаждающей жидкости.

Каждое коммуникационное устройство (фиг.4) содержит сверхбольшую интегральную схему (СБИС) малопортового, полноматричного коммутатора 21 и три приемопередатчика QSFP-DD 22, оборудованные контактной системой жидкостного охлаждения 23. На задней стороне платы 24 коммуникационного устройства установлен информационный разъем 25, с помощью которого коммуникационное устройство подключается к информационной объединительной плате 4 (на фиг.1) и разъем 26 для подключения к электрической объединительной плате 5 (на фиг.1). На наружных торцевых поверхностях коммуникационною устройства выполнены три отверстия 27, в которые выводятся разъемы приемопередатчиков QSFP-DD 22 и два быстроразъемных соединения 28 для входа и выхода жидкости, которые обеспечивают защиту от протечек при подключении к внешней системе подачи и отвода охлаждающей жидкости.

На фиг.5 приведена схема коммуникационной сети высокоплотного вычислительного узла, состоящая из восьми СБИС малопортового, полноматричного коммутатора 21.0 - 21.7. Каждый полноматричный коммутатор 21 имеет двенадцать портов разделенных на три группы. К первой группе портов относятся порты с номерами 1-7 (21) обеспечивающие объединение коммутаторов 21.0 - 21.7 высокоплотного вычислительного узла по топологии «каждый с каждым» со значениями диаметра и средней дистанцией коммуникационной сети равными одному хопу. Ко второй группе портов относятся порты с номерами 8, 9 и 10, отведены для внешней коммутации и позволяют через разъемы QSFP-DD 22 (на фиг.4) объединять высокоплотные вычислительные узлы между собой, создавая высокопроизводительные вычислительные системы. К третьей группе портов относятся порты с номерами 11 и 12, обеспечивающие передачу информации от коммутаторов 21.0 - 21.7 в блейд-сервера 6.0 - 6.12. Третья группа портов одного коммутатора могут подключаться либо к одному блейд-серверу, как например блейд-сервер 6.4, либо к двум разным блейд-серверам, как например блейд-серверы 6.2 и 6.3.

Высокоплотный вычислительный узел работает следующим образом.

Высокоплотный вычислительный узел является базовым элементом при создании высокопроизводительных вычислительных систем любой производительности предназначенных для высокопроизводительных вычислений в промышленности и науке.

Высокоплотные вычислительные узлы устанавливают в стойку со стандартной высотой 42 U. В одной стойке размещается до десяти высокоплотных вычислительных узлов, которые объединяются кабелями через разъемы QSFP-DD 22 (на фиг.4). Блейд-серверы 6 и коммуникационные устройства 2 I подключаются к внешней системе подачи и отвода охлаждающей жидкости. Блоки питания подключаются к системе электроснабжения.

Обмен информацией между процессами одного приложения, выполняющегося на процессорах расположенных в разных блейд-серверах. осуществляется следующим образом.

Например, процесс А выполняется на процессоре блейд-сервера 6.0, а процесс Б па процессоре блейд-сервера 6.1. Передача информации из процесса А в процесс Б осуществляется следующим образом: из процессора блейд-сервера 6.0 информация передается в коммутатор 21.0 через порт 11, а затем из коммутатора 21.0 через порт 12 в процессор блейд-сервера 6.1. Маршрут передачи информации проходит только через одно коммуникационное ус гройство.

Процесс А выполняется на процессоре блейд-сервера 6.0, а процесс Б на процессоре блейд-сервера 6.6. Передача информации из процесса А в процесс Б осуществляется следующим образом: из процессора блейд-сервера 6.0 информация передается через порт 11 в коммутатор 21.0, затем через порт 3 коммутатора 21.0 пепедается в порт 1 коммутатора 21.3, а затем через порт 12 коммутатора 21.3 передается в процессор блейд-сервера 6.6. Маршрут передачи информации имеет дистанцию один хоп, и проходит через два коммуникационных устройства.

Процессы А и Б выполняются на процессорах блейд-серверов находящихся в разных высокоплотных вычислительных узлах. Передача информации из процесса А в процесс Б осуществляется следующим образом: из процессора блейд-сервера, расположенного в первом высокоплотном вычислительном узле, информация передается через соответствующий порт 11 или 12 в соответствующий коммутатор. Затем, в зависимости от топологии коммуникационной сети высокопроизводительной вычислительной системы, через порты 8, 9 или 10 этого коммутатора информация передается в порты 8, 9 или 10 смежного коммутатора, расположенного во втором высокоплотном вычислительном узле. Затем через порты 11 или 12 смежного коммутатора передается в процессор блейд-сервера расположенного во втором высокоплотном вычислительном узле.

Claims (1)

1. Высокоплотный вычислительный узел, содержащий корпус, блоки питания, систему охлаждения, коммуникационные устройства и блейд-сервера, каждый из которых содержит N процессоров, где N = 1, 2, … и оперативную память, при этом блоки питания подключены к соответствующим блейд-серверам и коммуникационным устройствам, отличающийся тем, что корпус разделен на переднюю и заднюю секции информационной и электрической объединительными платами, при этом в передней секции корпуса установлены направляющие для блейд-серверов и идентичные блейд-серверы, а в задней секции установлены коммутационные устройства, выполненные на базе малопортовых, полноматричных коммутаторов и объединенные между собой через информационную объединительную плату первыми группами портов по полносвязной топологии, вторые группы портов коммуникационных устройств являются внешними выводами высокоплотного вычислительного узла, а к третьей группе портов каждого коммуникационного устройства через информационную объединительную плату подключены до двух соответствующих блейд-серверов, при этом система охлаждения выполнена с использованием контактной системы жидкостного охлаждения электронных компонент блейд-серверов и коммуникационных устройств.

Images