Описание вычислительного комплекса IBM Blue Gene/P

IBM Blue Gene/P — массивно-параллельная вычислительная система, которая состоит из двух стоек, включающих 8192 процессорных ядер (2 x 1024 четырехъядерных вычислительных узлов), с пиковой производительностью 27,9 терафлопс (27,8528 триллионов операций с плавающей точкой в секунду).

Характеристики системы:

• две стойки с вычислительными узлами и узлами ввода-вывода
• 1024 четырехъядерных вычислительных узла в каждой из стоек
• 16 узлов ввода-вывода в стойке (в текущей конфигурации активны 8, т.е. одна I/O-карта на 128 вычислительных узлов)
• выделенные коммуникационные сети для межпроцессорных обменов и глобальных операций
• программирование с использованием MPI, OpenMP/pthreads, POSIX I/O
• высокая энергоэффективность: ∼ 372 MFlops/W (см. список Green500)
• система воздушного охлаждения

Стойка (rack, cabinet) состоит из двух midplane'ов. В midplane входит 16 node-карт (compute node card), на каждой из которых установлено 32 вычислительных узла (compute card). Midplane, 8 x 8 x 8 = 512 вычислительных узлов, — минимальный раздел, на котором становится доступна топология трехмерного тора; для разделов меньших размеров используется топология трехмерной решетки. Node-карта может содержать до двух узлов ввода-вывода (I/O card). Вычислительный узел включает в себя четырехъядерный процессор, 2 ГБ общей памяти и сетевые интерфейсы.

Микропроцессорное ядро:

• модель: PowerPC 450
• рабочая частота: 850 MHz
• адресация: 32-битная
• кэш инструкций 1-го уровня (L1 instruction): 32 KB
• кэш данных 1-го уровня (L1 data): 32 KB
• кэш предвыборки (L2 prefetch): 14 потоков предварительной выборки (stream prefetching): 14 x 256 байтов
• два блока 64-битной арифметики с плавающей точкой (Floating Point Unit, FPU), каждый из которых может выдавать за один такт результат совмещенной операции умножения-сложения (Fused Multiply-Add, FMA)
• пиковая производительность: 2 FPU x 2 FMA x 850 MHz = 3,4 GFlop/sec per core

Вычислительные узлы и I/O-карты в аппаратном смысле неразличимы и являются взаимозаменяемыми, разница между ними состоит лишь в способе их использования. У них нет локальной файловой системы, поэтому все операции ввода-вывода перенаправляются внешним устройствам.

Вычислительной узел:

• четыре микропроцессорных ядра PowerPC 450 (4-way SMP)
• пиковая производительность: 4 cores x 3,4 GFlop/sec per core = 13,6 GFlop/sec
• пропускная способность памяти: 13,6 GB/sec
• 2 ГБ общей памяти
• 2 x 4 МБ кэш-памяти 2-го уровня (в документации по BG/P носит название L3)
• легковесное ядро (compute node kernel, CNK), представляющее собой Linux-подобную операционную систему, поддерживающую значительное подмножество Linux-совместимых системных вызовов
• асинхронные операции межпроцессорных обменов (выполняются параллельно с вычислениями)
• операции ввода-вывода перенаправляются I/O-картам через сеть коллективных операций

Узел ввода-вывода:

• не учитывается при расчете пиковой производительности
• использует сеть коллективных операций для коммуникаций с вычислительными узлами
• подключен к внешним устройствам через Ethernet-порт посредством 10-гигабитный функциональной сети
• операционная система на основе Linux (Mini-Control Program, MCP) с минимальным набором пакетов, необходимых для поддержки клиента сетевой файловой системы и Ethernet-подключений

Коммуникационные сети:

• трехмерный тор (three-dimensional torus)
  • сеть общего назначения, объединяющие все вычислительные узлы; предназначена для операций типа «точка-точка»
  • вычислительный узел имеет двунаправленные связи с шестью соседями
  • пропускная способность каждого соединения — 425 MB/s (5,1 GB/s для всех 12 каналов)
  • латентность (ближайший сосед):
    • 32-байтный пакет: 0,1 μs
    • 256-байтный пакет: 0,8 μs
• глобальные коллективные операции (global collective)
  • коммуникации типа «один-ко-многим» (broadcast-операции и редукция)
  • используется вычислительными узлами для обменов с I/O-картами
  • каждый вычислительный узел и I/O-карта имеют три двунаправленные связи
  • пропускная способность каждого соединения — 850 MB/s (1,7 GB/s для двух каналов)
  • латентность (полный обход): 3,0 μs
• глобальные прерывания (global interrupt)
  • операции барьеров и прерываний (глобальные AND- и OR-операции)
• функциональная сеть
  • соединяет узлы ввода-вывода с внешним окружением
  • 10-гигабитная оптическая Ethernet-сеть
• сервисная сеть (service/control)
• загрузка, мониторинг, диагностика, отладка, доступ к счетчикам производительности
• гигабитная Ethernet-сеть (4 соединения на стойку)

Чтобы разгрузить процессорное ядро от операций, связанных с передачей сообщений по сети трехмерного тора, используется устройство прямого доступа к памяти (direct memory access, DMA). Кроме уменьшения нагрузки на ядро, этот механизм уменьшает вероятность взаимной блокировки процессов, обменивающихся сообщениями, которая может возникнуть вследствие ошибок программиста.

Окружение Blue Gene/P включает

• фронтэнд (front end node) — система, открытая для доступа по протоколу SSH; служит для доступа пользователей на вычислительный комплекс; вся связь с комплексом осуществляется только через эту машину; предназначена для разработки пользователями программ, компилирования проектов и постановки задач в очередь; работа с ней осуществляется в интерактивном режиме
• сервисный узел (service node) — обеспечивает контроль над системой Blue Gene/P; к этой машине доступа по SSH нет
• систему управления высокопроизводительной параллельной файловой системой IBM General Parallel File System (GPFS)

Для коммутации оптических линий служит высокопроизводительный свитч IBM Ethernet Switch B08R cо 112 портами 10 Gb Ethernet: 64 порта используются для подключения узлов ввода-вывода вычислительной системы Blue Gene/P, 32 порта служат для подключения GPFS-серверов, управляющих параллельной файловой системой, к четырем портам подключены фронтэнды и сервисные узлы, остальные 12 портов используются для инфраструктурных нужд, либо зарезервированы для будущего использования. Гигабитный Ethernet скоммутирован на четыре 48-портовых свитча Cisco.

Для организации файлового хранилища используется 16 дисковых систем DS3512, каждая из которых включает по две дополнительных дисковых полки EXP3512. В основу сети хранения данных положены два 80-портовых коммутатора IBM System Storage SAN80B-4 Fibre Channel.

Текст составлен на основе 2-го издания книги «IBM System Blue Gene Solution: Blue Gene/P Application Development»