HPCチャレンジベンチマーク

HPCチャレンジベンチマーク（英語: HPC Challenge Benchmark、HPCC）は、HPCシステムのより現実的な性能を測定するための、複数の特性を評価するベンチマークのセットである^[1]。

HPCチャレンジベンチマーク

作者	テネシー大学 ICL (Innovative Computing Laboratory)
最新版	1.4.3
プラットフォーム	クロスプラットフォーム
サポート状況	開発中
ライセンス	BSD
公式サイト	http://icl.cs.utk.edu/hpcc/

DARPAのHPCS計画や、アメリカ合衆国エネルギー省、アメリカ国立科学財団の共同出資による^[2]。

2005年から2016年（ただし、2015年は除く）のSupercomputing Conference(SC)において、HPCチャレンジベンチマークの一部を評価基準としたHPCチャレンジ賞が発表されている^[3]。

概要

HPCチャレンジベンチマークは、HPL、DGEMM、STREAM、PTRANS、RandomAccess、FFT、Latency/Bandwidthの7つのベンチマークより構成される。

• HPLは連立一次方程式の求解、線形代数における逆行列を求めるLINPACK TPPベンチマークで、システムの浮動小数点演算性能の負荷テストである。
• DGEMMは倍精度実数の行列の積を求め、浮動小数点演算性能を測定するものである。
• STREAMはプロセッサのキャッシュの効果を反映させないように、非常に大きな配列間のロード/ストアの性能を測定するもので、持続可能なメモリーの帯域幅を測定する試験である。
• PTRANSはCPU間での1対1同時通信により転置行列を計算し、ネットワークの総データ通信容量を測定するものである。
• RandomAccessはメモリーのランダム更新速度を測定する。
• FFTは高速フーリエ変換 (Fast Fourier Transform) の処理能力を測定する試験である。
• Latency/Bandwidthは多数のノード間など複雑性の高い通信パターンでの通信の遅延と帯域を測定する

^{[4] [5]}

HPCチャレンジ賞

HPCチャレンジ賞競技会（英語: HPC Challenge Award Competition）は、毎年のスーパーコンピューティング・カンファレンスで実施され、結果が発表される。

HPCチャレンジ賞には以下の2クラスがある^[6]。

• クラス1: HPCチャレンジのウェブサイトに提出された中から、稼動時の最高性能を評価する。
• クラス2: HPL、STREAM、RandomAccess、FFTの中から3〜4個を選択し、さらにHPCチャレンジベンチマーク以外の任意のベンチマークを0〜2個選択し、合計4〜5個のベンチマークを実装する^{[注 1]}。それらのプログラム実装の洗練さと性能の総合評価を行う。

上記のクラス1では、HPCシステムの総合性能を評価するために、多くの科学技術計算で用いられる以下の4つのベンチマーク指標を使用して、それぞれの順位が発表される^[7] 。

• Global HPL (G-HPL) - 巨大な連立1次方程式の算出における演算速度。LINPACK TPP。
• Global RandomAccess (G-RandomAccess) - 並列プロセス間におけるメモリーのランダム更新速度。
• Global FFT (G-FFT) - 高速なフーリエ変換における浮動小数点演算速度。
• EP STREAM Triad (per system) - システム単位の多重負荷時におけるメモリ更新速度。

クラス1のHPCチャレンジ賞の歴代受賞システム（全4部門における各1位のみ）は以下の通り。

クラス1のHPCチャレンジ賞 受賞システム（全4部門、各1位のみ）

年	G-HPL	G-RandomAccess	G-FFT	EP STREAM Triad (per system)	出典
2016	理研 京	理研 京	理研 京	理研 京	[8]
2014	理研 京	IBM Power 775	ANL Mira	理研 京	[9][10]
2013	理研 京	IBM Power 775	理研 京	理研 京	[11][12]
2012	理研 京	IBM Power 775	理研 京	理研 京	[13] [14]
2011	理研 京	理研 京	理研 京	理研 京	[15][16][17]
2010	ORNL Cray XT5	LLNL BlueGene/P	JAMSTEC SX-9	ORNL Cray XT5	[18][19]
2009	ORNL Cray XT5	LLNL BlueGene/P	ORNL Cray XT5	ORNL Cray XT5	[20][21]
2008	ORNL Cray XT5	ANL BlueGene/P	ANL BlueGene/P	ORNL Cray XT5	[22][23]
2007	LLNL BlueGene/L	LLNL BlueGene/L	SNL Cray XT3	LLNL BlueGene/L	[24]
2006	LLNL BlueGene/L	LLNL BlueGene/L	LLNL BlueGene/L	LLNL BlueGene/L	[25][26]
2005	LLNL BlueGene/L	LLNL BlueGene/L	LLNL BlueGene/L	LLNL BlueGene/L	[27][28]

クラス2のHPCチャレンジ賞の歴代受賞言語は以下の通り。賞の名前は年ごとに異なる。

クラス2のHPCチャレンジ賞 受賞言語

年	賞	言語	所属	出典
2014	Best Performance	XcalableMP & XcalableACC	理化学研究所計算科学研究機構、筑波大学計算科学研究センター	[10]
	Most Elegant Language	PCJ	ワルシャワ大学
2013	Winner	XcalableMP	筑波大学計算科学研究センター、理化学研究所計算科学研究機構	[12]
2012	Best Performance	X10	IBM	[14]
	Most Elegant Language	Chapel	Cray
2011	Best Performance	Charm++	イリノイ大学	[15]
	Most Elegant Language	Chapel	Cray
2010	Most Productive System	Unified Parallel C & X10	IBM	[18]
	Most Productive Language	Coarray Fortran 2.0	ライス大学
2009	Best Performance	Unified Parallel C & X10	IBM	[20]
	Most Elegant Implementation	Chapel	Cray
2008	Best Performance	Unified Parallel C & X10	IBM	[22]
	Most Elegant Implementation	Chapel	Cray
		Unified Parallel C & X10	IBM
		Parallel MATLAB	MathWorks
2007	Most Productive Research Implementation	X10	IBM	[24]
	Most Productive Commercial Implementation	Python/Star-P	Interactive Supercomputing
2006	Best Overall Productivity	Cilk	MIT CSAIL	[25]
	Best Productivity in Performance	Unified Parallel C	IBM
	Best Productivity and Elegance	Parallel MATLAB	MathWorks
2005	Class 2 Award was shared by 2	Unified Parallel C	IBM	[27]
		Cray MTA/C	Cray