プログラムの高速化・並列化サービスの事例

HECToR dCSE TeaによるNavier-Stokesコード、SWT/SS3Fのスケーラビリティと並列効率の改善

英国の国立学術スーパーコンピューティング設備であるHECToR 向けの計算科学技術（CSE）サポートサービスと協力してNAGのHPC専門家により、疑ポテンシャル法によるNavier-Stokes解法で用いられる２つの重要なコードのスケーラビリティと並列効率が改善されました。

SWTコードは、無限平面チャネル内の乱流とクエット・ポアズイユ乱流のDNSで用いられます。SS3Fコードは、3Dフーリエ表示を用いたブジネスク近似における非圧縮性N-S方程式を解きます。両方のコードはUK乱流コンソーシアムで利用されています。

疑スペクトル法においては、N-S方程式の非線形移流項は実空間で評価しなくてはならず、波数空間との間の変換をデータ領域が分割されたスライス内で行わねばなりません。このプロジェクト以前には、SWTとSS3Fの両方は1Dデータ分割による並列版でした。この場合、その分割数は3次元空間の一つの次元上の点の数となり、利用プロセッサ数が制限されてしまいます。両方のコードへより良い領域分割を実装することにより、それらのスケーラビリティは極めて高くなりました：　SS3Fは現在、12000コア、SWTは8192コアまで、代表的な問題サイズに対してスケールしています。

dCSE プロジェクトの成功についてサザンプトン大学のGary Coleman教授は次のように述べています。「このプロジェクトにより現在および未来のHEC資源の有効利用を可能にし、これまで取り組まれていなかった問題や領域を研究することが可能になりました。」

プロジェクトの背景

このｄCSEプロジェクトの目的は、SWTとSS3Fの両方に対してHECToRで可能となるスケーラビリティの制限を外すことであり、これはその並列FFT実装を改善することを意味します。特に、FFT3Wを2DECOMP&FFT ライブラリのFFTルーチンとして活用します。

サザンプトン大学・工学/環境学科のGary Colemanがこのプロジェクトの調査主任です。サザンプトン大学のRoderick Johnstoneは、NAG CSEチームと密接な連携を取りながら6人月でプロジェクトを遂行しました。

プロジェクトの結果

FFTルーチンをFFTW3へ変更するのみで効率は改善しました。SS3Fに対して、代表的な問題サイズ3072×325×1024の実行において計算時間が53%削減されました。SWTでは、1Dチェビシェフ変換を修正することにより108モード問題に対して時間ステップ当り51%削減され、109モード問題に対しては55%削減されました。

さらに、2DECOMP&FFTライブラリの並列転置ルーチンを用いた並列3D FFT(SSF3)および2D FFT/1Dチェビシェフ変換(SWT)の実装により、SS3FとSWTの両方のスケーラビリティが代表的な問題サイズに対して10倍以上改善しました。　このアプローチはSWTをテスト問題サイズ108モードを8129コア以上スケールさせ、SS3Fを109モードの問題サイズに対して12000コアまでスケールさせました。

オリジナルコードの性能限界付近での実シミュレーション・テストケースを実施した。オリジナルの1D領域分割を用いていたならば、ノード当たりのコア数削減をすることでしか実行できなかったよりチャレンジングな問題に対して改善が期待できる結果となりました。

このプロジェクトの結果、両方のコードは同じコア数で同等の仕事を行うのに半分のAU配分で済みます。SWTではAU(注)は34%減少しウォールクロックでも30倍高速化しました。