Содержание:

Вычислительный комплекс HP

• Спецификация комплекса
• Характеристики комплекса
• Производительность (результаты измерений)
• Сетевая инфраструктура

Вычислительный кластер T-Platform

• Спецификация кластера
• Характеристики  кластера
• Производительность (результаты измерений)
• Сетевая инфраструктура

Вычислительный комплекс Huawei

• Состав кластера

 

Вычислительный комплекс HP

Вычислительный комплекс Hewlett-Packard представляет собой единый компьютерный комплекс, построенный на базе аппаратно-программных решений, предоставленных компанией HP.

 В задачи вычислительного комплекса HP (далее — ВК HP) входят услуги по предоставлению:

1. выделенных виртуальных машин для учебно-научных и административно-хозяйственных подразделений Санкт-Петербургского государственного университета (далее СПбГУ);
2. мощностей кластера высокопроизводительных вычислений для работ в области физики, химии, биологии и др.

Структура ВК НР

Виртуальная ферма представляет из себя виртуальные хосты, системы хранения данных, сети хранения и передачи данных и программное обеспечение, позволяющие предоставлять услугу временного пользования виртуальных машин с заданными пользователем характеристиками для учебно-научных и административно-хозяйственных подразделений СПбГУ.

Кластер высокопроизводительных вычислений представляет из себя серверы, системы хранения данных, сети хранения и передачи данных и программное обеспечение, позволяющие проводить исследования в области физики, химии, биологии и других наук, требующие мощных вычислительных ресурсов.

Сетевое оборудование представлено коммутаторами, использующими технологии Gigabit Ethernet, 10 Gigabit Ethernet и InfiniBand QDR.

Система хранения данных служит для размещения пользовательских данных, образов виртуальных машин и прочей информации и представляет собой совокупность дисковых массивов, шлюзов и виртуальных библиотек.

На вычислительном комплексе HP развернуты:

• Кластер VMware (blade-серверы);
• Вычислительные кластеры;
• Сетевое оборудование;
• Система хранения данных;
• Система резервного копирования.

Внешний вид вычислительного комплекса HP

К содержанию

 

Спецификация комплекса

Виртуальная ферма состоит из следующих  компонентов:

• 4 шасси HP BladeSystem c7000 для установки блейд-серверов;
• 32 блейд-сервера BL460c G6;
• 28 блейд-серверов BL460c G7;
• программная среда VMWare vSphere 5 под управлением гипервизора VMWare ESXi 5, использующая вышеуказанные серверы как хосты для виртуализации;
• сервер управления виртуализацией VMWare VCenter Server.

Кластер высокопроизводительных вычислений состоит из: SMP кластера и НР кластера.

SMP кластер включает:

• 3 сервера HP ProLiant DL980 G7.

НР кластер включает:

• 8 шасси s6500 для установки серверов;
• 16 серверов HP ProLiant SL390s 2U;
• 8 серверов HP ProLiant SL390s 4U;

Управление кластером высокопроизводительных вычислений осуществляется с головного узла HP ProLiant DL360 G7.

Виртуальная ферма и кластер высокопроизводительных вычислений используют следующие общие сети передачи данных:

• Gigabit Ethernet;
• 10 Gigabit Ethernet;
• InfiniBand QDR 4x.

Сетевое оборудование представлено следующими устройствами:

• 2 коммутатора HP 6600;
• 2 коммутатора HP 8206;
• 4 пары соединительных модулей BladeSystem Virtual Connect Flex-10;
• 4 коммутатора Voltaire 4036;
• 4 встроенных коммутатора Mellanox для блейд-шасси.

Система хранения данных:

• дисковый массив P4500 G2;
• дисковый массив P4800 G2;
• массив-шлюз x9300;
• виртуальная библиотека D2D4106i.

К содержанию

 

Характеристики комплекса

Характеристики кластера облачных вычислений

№	Наименование	Количество	CPU	RAM	Адаптеры и модули	Примечания
1	Шасси для блейд-серверов НР BladeSystem c7000	4	-	-	Коммутационные модули Virtual Connect Flex-10 (10 Gb Ethernet) и InfiniBand	-
2	Блейд-сервер BL460c G6	32	2 х Intel Xeon X5670 3.06 GHz	96 Gb	Сетевые интерфейсы 10 Gb Ethernet и InfiniBand	2 х HDD 146ГБ, SAS
3	Блейд-сервер BL460c G7	28	2 х Intel Xeon X5675 3.06 GHz	96 Gb	Сетевые интерфейсы 10 Gb Ethernet и InfiniBand	-

 

Характеристики кластера высокопроизводительных вычислений

Субкластер SMP

№	Наименование	Количество	CPU	RAM	Адаптеры и модули	Диски
1	Сервер НР ProLiant DL980 G7	3	Intel Xeon X7560 2.2 GHz	1Tb	Адаптеры для доступа к сети Gb Ethernet и InfiniBand	HDD  2 400 ГБ (8х 300, 10K)

Гибридный кластер

№	Наименование	Количество	CPU	RAM	Адаптеры и модули	Диски
1	шасси s6500	8	-	-	-	-
2	HP ProLian SL390s 2U	16	2 х Intel Xeon X5650, 3 х nVidia TeslaM 2050	96 Gb	Адаптеры для доступа к сети Gb Ethernet и InfiniBand	SSD 60 ГБ, SATA
3	HP ProLian SL390s 4U	8	2 х Intel Xeon X5650, 8 х nVidia TeslaM 2050	96 Gb	Адаптеры для доступа к сети Gb Ethernet и InfiniBand	SSD 60 ГБ, SATA
4	HP ProLian DL360 G7	1	2 х Intel Xeon X5650	12 Gb	-	Головной узел кластера высокопроизводительныхвычислений

 

Характеристики сетевого оборудования

№	Наименование	Количество	Число портов	Технология передачи данных	Примечания
1	Коммутатор НР 6600	2	48	Gigabit Ethernet
2	Коммутатор НР 8206	2	20	10 Gigabit Ethernet
3	Межсоединительные модули BladeSystem Virtaire Conect Flex-10	4 х 2	8	10 Gigabit Ethernet
4	Коммутатор Voltaire 4036	4	-	InfiniBand QDR 4x
5	Bстроенные коммутаторы Mellanox	4	-	InfiniBand QDR 4x

К содержанию

 

Производительность (результаты измерений)

Производительность кластера на базе блейд-серверов.

Целью испытаний было определение двух параметров: максимального числа операций с плавающей запятой в секунду (Rmax) и процентного отношения этого числа к теоретической производительности (Rpeak), вычисленной на основе характеристик центральных процессоров, предоставленных производителем.

Получены следующие результаты:

Состав кластера	28 узлов, 56 процессоров, 336 ядер
Операций в секунду (Rmax)	3618 Гигафлопс
Отношение Rmax/Rpeak	87,8%

Технические подробности испытаний

Испытания проводили с помощью теста HPLinpack 2.0, представляющего собой систему линейных алгебраических уравнений, для решения которой применяется метод Гаусса. В ходе вычислений производится большое количество операций с плавающей запятой (floating point operations — FLOP). Количество таких операций в секунду (floating point operations per second — FLOPS, flops, флопс) является оценкой быстродействия процессоров, позволяющей прогнозировать возможности кластера для решения реальных вычислительных задач.

Были проведены следующие измерения:

• тест HPL на одном, двух, четырёх, восьми, шестнадцати и двадцати восьми узлах.

Полученные результаты приведены в таблице ниже. Один шестиядерный процессор Intel Xeon X5675 3.06 GHz даёт производительность 73,584 гигафлопс. В каждом узле установлено по 2 центральных процессора, следовательно, пиковая теоретическая производительность одного узла равна 73,584 × 2 = 147,168 гигафлопс. Теоретическая пиковая производительность и отношение Rmax/Rpeak приведены в таблице.

Количество Узлов	Rmax	Rpeak	Rmax/Rpeak, %
1	133,3	147,168	90,58%
2	265,6	294,336	90,24%
4	529,3	588,672	89,91%
8	1052	1177,344	89,35%
16	2079	2354,688	88,29%
28	3618	4120,704	87,80%

 

Производительность гибридного кластера высокопроизводительных вычислений

Целью испытаний было определение двух параметров: максимального числа операций с плавающей запятой в секунду (Rmax) для шестнадцати узлового гибридного кластера, и процентного отношения этого числа к пиковой производительности (Rpeak), вычисленной на основе характеристик графических и центральных процессоров, предоставленных производителем.

Получены следующие результаты:

Состав кластера	24 узла, 72 графических процессоров, 48 центральных процессоров (288 ядер)
Операций в секунду (Rmax)	19590 Гигафлопс
Отношение Rmax/Rpeak	48,79%

Технические подробности испытаний

Испытания проводили с помощью теста HPLinpack 2.0, аналогично кластеру на базе блейд-серверов.

Были проведены следующие измерения:

• тест HPL на одном, двух, четырёх, восьми, шестнадцати узлах с тремя графическими процессорами,
• тест HPL на одном, двух, четырёх, восьми узлах с восемью графическими процессорами,
• общий тест HPL на 24 узлах с задействованием трёх графических процессоров.

Полученные результаты приведены в таблице ниже. Один графический процессор Tesla M2050 даёт производительность 515 гигафлопс. Один шестиядерный процессор Intel Xeon X5650 2.66 GHz даёт производительность 63,984 гигафлопс. В каждом узле первого типа (2U) установлено по 3 графических процессора, следовательно, пиковая производительность одного узла первого типа (2U) равна 515 × 3 + 63,984 ×2 = 1672,968 гигафлопс. Аналогично, для узлов второго типа (4U): 515 × 8 + 63,984 × 2 = 44247,968 гигафлопс. Теоретическая пиковая производительность и отношение Rmax/Rpeak приведены в таблице.

Количество Узлов	Rmax	Rpeak	Rmax/Rpeak, %
3 GPU
1	1017	1672,968	60,79%
2	1932	3345,936	57,74%
4	3647	6691,872	54,50%
8	7259	13383,744	54,24%
16	13060	26767,488	48,79%
24	19590	40151,232	48,79%
8 GPU
1	2152	4247,968	50,66%
2	4183	8495,936	49,24%
4	8357	16991,872	49,18%
8	16540	33983,744	48,67%
Общий тест
24	19590	40151,232	48,79%

К содержанию

 

Сетевая инфраструктура

Локальная сеть комплекса реализована на базе двух скоростных режимов: 1-гигабитная сеть Ethernet и 10-гигабитная сеть Ethernet.

В состав 1-гигабитной сети входят коммутаторы 8206, 6600 и подключённые к ним устройства — управляющие интерфейсы оборудования (iLO, Onboard Administrator, Management Interface) и узлы кластеров высокопроизводительных вычислений. В состав 10-гигабитной сети входятмодули Virtual Connect Flex-10 и коммутаторы 8206.

Высокоскоростная сеть InfiniBand построена на базе коммутаторов Voltaire 4036 и встроенных коммутаторов Mellanox для блейд-шасси. Сеть построена по технологии InfiniBand 4x QDR. Пропускная способность — 40 Гбит/с. Применена топология «толстого дерева» (fat tree), при которой устройства подключены к периферийным коммутаторам (edge switches), а периферийные коммутаторы соединяются с парой центральных коммутаторов (core switches). Между любой парой коммутаторов «центр-периферия» подключено по 4 межкоммутаторных соединения.

 

                                                                                 Схема сетевой инфраструктуры ВК

К содержанию

Вычислительный кластер T-Platform

Внешний вид стойки с кластером T-platform

Вычислительный кластер Т-Platform – мощное вычислительное устройство (производитель – компания Т-Платформы), в состав которого входит: 96 процессоров, 384 ядра, 768 Гб оперативной памяти, 7,68 Тб дискового пространства.    Спецификация кластера Кластер T-Platform состоит из следующих компонентов: 48 вычислительных узлов Dexus; 6 коммутаторов InfiniBand Flextronix F-X430046; 2 коммутатора Gigabit Ethernet D-Link DGS-3324SR; 1 коммутатор Gigabit Ethernet D-Link DXS-3350SR; управляющий узел; 2 аппаратных шкафа APC, NetShelter SX.

 

Характеристики кластера

Характеристики составляющих кластера Т-Platform представлены в таблице.

№ п.п.	Наименование компонента	Количество	Технические  характеристики
1	Вычислительный узел Dexus	48	- Размер 1U - CPU: 2 x E5335 2.0ГГц - RAM: 16 Гб - HDD: 160 Гб - 2 x INTEL 82563EB 10/100/1000 Мбит/с - Mellanox Technologies MT25204 [InfiniHost III Lx HCA] (rev 20)
2	Коммутатор InfiniBand  Flextronix F-X430046	6	- DDR/SDR 24-port 4X - 20Gb/s
3	Коммутатор Gigabit Ethernet D-Link DGS-3324SR	2	- 24порта 10/100/1000 Мбит/с
4	Коммутатор Gigabit Ethernet D-Link DXS-3350SR	1	- 48портов 10/100/1000 Мбит/с
5	Управляющий узел	1	- CPU: 2 x X5640  - RAM: 8 ГБ  - HDD: 3 ТБ - Ethernet 2 x 1000 Гбит/с
6	Аппаратные шкафы (АШ) APC, NetShelter SX	2	19" 42U х 1000

К содержанию

 

Производительность (результаты измерений)

Теоретическая пиковая производительность – 3,07 ТФлопс, практически достигнуто значение 2,5 ТФлопс.

 

Сетевая инфраструктура

Кластер Т-platform построен на основе 48 вычислительных узлов Dexus, объединенных, с одной стороны, сетью InfiniBand 20Gb для обмена информацией между узлами, а с другой – сетью Ethernet 1 Gb для связи с внешним миром. Схематично сетевая инфраструктура представлена на рисунке.

 

Сетевая инфраструктура вычислительного кластера T-Platform

К содержанию

 

Вычислительный комплекс Huawei

Состав кластера

Спецификация комплекса Вычислительный кластер в составе: Двадцать вычислительных узлов Huawei RH2288H V3. Десять гибридных вычислительных узлов Huawei RH2288H с двумя ускорителями nVidia Tesla K40М. Кластер высокопроизводительных вычислений в составе: Два высокопроизводительных сервера Huawei RH8100 V3. Два высокопроизводительных сервера Huawei RH5885 V3. Система хранения данных  Huawei Oceanstor S5600Tв составе: Контроллер СХД(SAN) S5600T Controller Enclosure; Контроллер СХД(NAS) S5600T Controller File Engine; Дисковый массив с дисками 900 GB, 10K SAS Disk HDD(90 ТБ), SSD(2TB); Дисковый массив  с  дисками 4000 GB, 7,2K SAS HDD(96 ТБ) ; Дисковая полка расширения  с дисками 1200 GB, 10K SAS Disk HDD(57,6 ТБ) Дисковая полка расширения  с дисками 4000 GB, 7.2K SAS Disk HDD(192 ТБ) Сетевое оборудование вычислительного комплекса: 2 коммутатора сети передачи данных CE6810-EI-48SFP-AC; 1 коммутатор Infiniband MSX6036F-1SF; 1 коммутатор управления  S5700-SI-48RJ45-AC. Вычислительный кластер DS в составе: 6 вычислительных узлов Huawei RH2288H V3 с вычислительными модулями nVidia Tesla P100; 4 вычислительных узла Huawei RH2288H V3. 18 вычислительных узлов DEPO Storm 3450A2RU с алаптерами infiniband 2 x 100Гб/c. 2 вычисоительных узла DEPO Storm 3450/K4 с картами NVIDIA RTX A6000, 48ГБ, Ethernet 2 х 1Гб/c. Сетевое оборудование кластер DS: 1 коммутатор сети передачи данных CE6810-EI-24SFP-AC; 1 коммутатор Infiniband MSX6036F-1SF.

К содержанию