GH200 Grace Hopper

У этого термина существуют и другие значения, см. Grace.

NVIDIA GH200 Grace Hopper Superchip — микропроцессорная сборка (гибридный чип) класса Server/Datacenter от корпорации NVIDIA Corporation из серии NVIDIA Grace, модель середины 2023 года. В состав системы входит 64-битный 72-ядерный ARM-микропроцессор и ускоритель GPGPU-вычислений с тензорными ядрами H100 (Hopper). Разработана Nvidia и производится контрактным производителем TSMC по усовершенствованному 4-нанометровому (N4) техпроцессу^[1].

NVIDIA GH200 Grace Hopper Superchip
Центральный процессор
Производство	2023 год
Разработчик	NVIDIA Corporation
Производитель	TSMC
Технология производства	4 (N4) нм
Наборы инструкций	Neoverse[англ.] V2 Cores: Armv9 with 4x128b SVE2
Число ядер	72 ядра
L1-кэш	64KB I-cache + 64KB D-cache per core
L2-кэш	1MB per core
L3-кэш	234MB per superchip
Встроенный графический процессор	Проприетарный Nvidia GPGPU-ускоритель (microarchitecture: Ada Lovelace[англ.])
Разъём
Ядра

История

В марте 2022 года компания Nvidia в ходе своей корпоративной технологической конференции GTC^[англ.] 2022 анонсировала начало выпуска в первой половине 2023 года давно обещанных ЦПУ Grace и гибридного чипа Grace Hopper, — сочетающего процессоры Grace (ARMv9) и ускоритель H100 (Hopper)^[2][3].

Затем в августе 2022 года компания Nvidia поделилась некоторыми деталями о строении Arm-процессоров Grace и гибридных чипов Grace Hopper^[4].

Описание

В мае 2023 года компания Nvidia в ходе выставки Computex 2023 сообщила о начале серийного производства гибридных суперчипов GH200 Grace Hopper, предназначенных для построения HPC-систем и платформ генеративного ИИ^[1].

В состав Grace Hopper входят 72-ядерный Arm-процессор Nvidia Grace и ускоритель GPGPU-вычислений H100 (Hopper) с тензорными ядрами для систем искусственного интеллекта с 96 Гбайт HBM3 памяти, содержащий порядка 80 млрд транзисторов^[5]. Объём общей для обоих кристаллов памяти составляет 576 Гбайт (480 Гбайт LPDDR5x). Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с (в 7 раз быстрее по сравнению с PCIe 5.0). Заявленный уровень производительности GH200 — 4 ПФлопс с использованием Transformer Engine^[англ.], а реальное потребление GH200 под полной нагрузкой составляет 750—800 Вт^[6][7].

Ранее, в июне 2023 года Nvidia уже сообщила, что во всех восьми ИИ-бенчмарках MLPerf^[англ.] Training v3.0 её ускорители H100 установили новые рекорды^[8]. Теперь, в сентябре 2023 года компания говорит, что её суперчип GH200 Grace Hopper впервые прошёл все тесты MLPerf, и примечательно, что GH200 оказался до 17 % быстрее H100, хотя чип самого ускорителя в обоих продуктах один и тот же. Nvidia объясняет это несколько факторами: Во-первых, у GH200 больше набортной памяти — 96 Гбайт против 80 Гбайт. Во-вторых, ПСП^[англ.] составляет 4 Тбайт/с, а сам чип является гибридным, так что для передачи данных между LPDDR5x и HBM3 не используется PCIe^[9].

Nvidia также объявила, что в конце 2023 года корпоративным заказчикам станет доступна новая HPC-платформа Nvidia DGX GH200 AI Supercomputer, в которой используются 256 суперчипов GH200 Grace Hopper, объединённых при помощи технологии NVLink Switch System позволяющей всем ускорителям H100 в составе системы функционировать в качестве единого целого. Производительность этой платформы обещана на уровне 1 Эфлопс (~ 9 Пфлопс FP64), а суммарный объём памяти достигает 144 Тбайт — и это почти в 500 раз больше, чем в одной системе Nvidia DGX A100^[10][11].

Применение

• NVIDIA HGX для HPC — с IV квартала 2023 года^[6].
• NVIDIA DGX GH200 AI Supercomputer (HPC-платформа объединяющая 256 суперчипов GH200 Grace Hopper) — с IV квартала 2023 года^[10].
• NVIDIA DGX Helios (суперкомпьютер который с помощью коммутируемой сети Quantum-2 InfiniBand объединит сразу четыре системы DGX GH200 AI) — с IV квартала 2023 года^[10].

См. также

• Nvidia Grace
• Grace Superchip