InfiniBand

InfiniBand（インフィニバンド）とは、非常に高いRAS（信頼性・可用性・保守性）を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと^[1]。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシである点も特徴である^[2]。

InfiniBand スイッチのポート

概要

InfiniBandは、ファイバーチャネル、PCI Express, Serial ATA等の最近のインターコネクトと同様、ポイント・ツー・ポイントの双方向シリアル接続である。複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。複数の転送レートをサポートする他、PCI Expressのように複数のチャネルを束ねて利用することで高速な帯域を実現することができる。

転送レート

Single Data Rate (SDR) のInfiniBand レーン一本は最大2.5 Gbps双方向の転送速度を持つ。Double Data Rate (DDR) およびQuad Data Rate (QDR) は、1レーンあたりそれぞれ 5 Gbps, 10 Gbps双方向の転送速度を実現する。エンコーディングの変更されたFourteen Data Rate (FDR) は、1レーンあたり14.0625 Gbps双方向の転送速度を実現する。

SDR，DDR，QDRには8b/10b変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。よって実効転送レートはそれぞれ 2 Gbps, 4 Gbps, 8 Gbpsとなる。一方、FDRには64b/66b変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。よって実効転送レートは 13.6 Gbpsとなる。

InfiniBandの接続を4本 (4X) もしくは12本 (12X) 束ねて高い転送速度を実現することができる。12X においてHDRでデータ転送を行った場合、618.75 Gbps (raw) あるいは600 Gbps（データ転送）となる。2018年11月現在、HDRに対応した製品が入手可能である。12Xは主に、コンピュータ・クラスターやスーパーコンピュータのノード間接続やネットワークスイッチ間接続に用いられる。

また，複数のベンダから構成された業界団体「InfiniBand Trade Association」によるロードマップでは今後、2020年代後半にXDRのさらに2倍の性能となるGxx Data Rate (GDR)が登場する予定であり、その後さらにLDRが提供される計画がある^[3][4]。

InfiniBand 一方向データレート

	規格発行年	Line code		理論値 (Gbit/s)	スループット (Gbit/s)				レイテインシー (μs)
					1x	4x	8x	12x
SDR	2000[5]	NRZ	8b/10b	2.5[5]	2	8	16	24	5
DDR	2004[5]			5[5]	4	16	32	48	2.5
QDR	2004[5]			10[5]	8	32	64	96	1.3
FDR	2012[6]		64b/66b	14.0625[6]	13.64	54.54	109.08	163.64	0.7
EDR	2012[6]			25.78125[6]	25	100	200	300	0.5
HDR	2020[7]	PAM4		53.125[8]	50	200	400	600	<0.6
NDR	2021[8]		256b/257b	106.25[8]	100	400	800	1200	TBD
XDR	2023[9]		TBD	200	200	800	1600	2400
GDR	TBA	TBD		400	400	1600	3200	4800
LDR				800	800	3200	6400	9600

レイテンシ

レイテンシはSDR スイッチでは200ナノ秒、DDRスイッチでは140ナノ秒、QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA (Host Channel Adapter) である ConnectX を用いた場合のMPIレイテンシで1.07マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。

InfiniBand は RDMA（Remote Direct Memory Access）をサポートしており、CPU オーバヘッドを低く抑えることが可能である^[2]。RDMA 命令のレイテンシは、1マイクロ秒以下である（Mellanox 社 ConnectX の場合）。参考までに、DDR3 SDRAM のメモリレイテンシは0.1マイクロ秒（100ナノ秒）程度である。

ネットワーク構成

InfiniBandにおけるネットワーク構成は、Ethernetのような階層型ネットワークではなく、スイッチ型ファブリック接続を採用している^[10]。

多くのメインフレームのチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。各プロセッサノードはHost Channel Adapter (HCA) を持ち、各外部デバイスはTarget Channel Adapter (TCA) を持つ^[10]。これらのChannel Adapterはまたセキュリティ情報、QoS情報のやり取りが可能である。

メッセージ

InfiniBandではデータは、ひとつあたり最大4 KBの複数のパケットにより構成されたメッセージのやり取りにより転送される。下記のメッセージ転送がサポートされる。

• 遠隔ノード上のメモリに対するDMA転送によるREADとWRITE（RDMA）
• チャネル転送
• トランザクション命令（差し戻し可能）
• マルチキャスト
• 不可分操作

経緯

1998年後半、基幹業務に使用される各種サーバの計算性能は、ムーアの法則に従い、ほぼ18カ月に2倍のペースで高速化されてきていた。しかし、サーバ内のバスアーキテクチャは機械・電気的制限により、その進化に追い付けず、コンピュータシステム性能向上のボトルネックとなっていた。

そこで、インテルを中心にスイッチ型ファブリックインターコネクトテクノロジをベースとした新しいI/OアーキテクチャとしてNGIO (Next Generation I/O)が提唱され、規格定義を開始した^[11]。一方、タンデムコンピューターズ社のServerNetの流れを汲むCompaq（HPに吸収合併された）、HP社、IBM社の3社は、同様の技術をサポートしたFIO (Future I/O)を提唱した^[11]。

ところが、1999年のIDF Spring 1999において、NGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的には両陣営が歩み寄り、SIO (System I/O)として統合されることとなった^[11]。

その後、2000年1月に、SIOはInfiniBandに改称された^[11]。

2000年10月には、InfiniBand Trade Associationにより、規格書が提出され、統一的な規格として成立した。2025年現在の規格は、InfiniBand Architecture Specification Release 1.8^[12]。

当初本規格のリーダ的存在だったインテルが撤退を表明し、動向が注目されたが、その後HPC分野を中心に広く利用されるようになっている^[11]。

現状

多くの計算機ノードを接続して構成されるHPC 業界では、InfiniBandのシェアは高い。2015年11月時点でTOP500ではもっとも使われている接続方法となっていた（Mellanox調べ）^[13]。しかしその後中国のシステムを中心にイーサネットの採用が増え2017年11月時点ではInfiniBandの採用数は減少し2番手に転落している^[14]。

各ベンダのブレード系サーバやグリッド系サーバの接続でオプションとして用意されている^[15]。

日本での使用例としては、ヒューレット・パッカードのサーバを使用してNECが構築した東京工業大学のPCクラスタTSUBAME2.0や、京都大学や筑波大学のT2Kオープンスパコンが挙げられる^[16]。

ストレージでは、NetApp、ピュア・ストレージ、EMCといったメーカーの製品でホストI/Oのオプションとして用意されている。