プログラムの高速化・並列化サービスの事例

対象プログラム	乱流シミュレーション
アプリケーション名	Compact3D/QuasiCompact3D
チューニング方法	2DECOMP&FFTフレームワークで並列化, ハロ(halo)セル構築と1対1通信による隣接ペンシル間データ交換通信ライブラリを開発し、陽的スキームを実装
成果	並列効率80%を達成した。

HECToR dCSE Team により圧縮性乱流流体ソルバーのパフォーマンスと機能が改善

NAGにおいて英国の国立学術スーパーコンピューティング設備であるHECToR 向けのNAG の計算科学技術（CSE）サポートサービス業務を行うHPC専門家は，最先端の乱流研究に用いられる3種のCFDコードのスケーラビリティ改善と機能強化を行いました。そのプログラムは、非圧縮性流体ソルバーIncompact3Dとその姉妹コードである圧縮性流体を対象とするCompact3DとQuasiCompact3Dです。

本プロジェクトの目的は、第1に大規模な圧縮性乱流シミュレーションの効果的な並列実行を可能にすることで、第2に、空間的な陰的コードのフレームワーク内に陽的スキームを埋め込むことを可能にすることです。こうすることにより乱流シミュレーションでHECToRの多くのコアを有効に利用することが出来て、粒子-乱流相互作用といったより幅広い研究課題に取り組むことが可能になります。本作業により、Incompact3DはHECToRの4,000-16,000コアを常時利用し、その並列効率は典型的には80%に達しています。

プロジェクトの成功についてICLのSylvain Laizet博士は次のように述べています。「私は現在Incompact3Dで直接数値シミュレーションを行っています。その内容は傾斜ランプを有するチャネルフロー構成での乱流プルームです。この数値計算では、粒子の沈降プロセスに沿ったチャネルフロー構成における塩水と純水の混合を調査しています。具体的には、埋め込み境界法を用いてモデル化された計算領域の内側傾斜ランプの影響を、実際の構成を再現するために研究しています。ランプの正確な境界条件を規定するために3次元補間が必要ですが、新たに導入されたハロセル通信コードを用いるのみで可能です。アイデアは、速度と塩分と粒子に対して正しく境界条件を課すための3D補間に、陽的なステンシルベース手法を用いる事です（一方、コードの残りの部分は陰的なコンパクト有限差分法を使用します）。」
「Compact3dでは、比較的高いレイノルズ数での3D経時混合層のいくつかのシミュレーションを、現在フランスのポワティエ大学間とインペリアルカレッジ（音響予測のためのPRACEプロジェクト）の共同での枠組みの中で実行しています。現状はCompact3dは単一ノード上で実行されています。しかしながらコードの新しいバージョンは、実験に非常に近い構成を持つ圧縮性流体計算に画期的な進展を可能にします。また、計算領域内部にソリッドボディを置くたいため、Incompact3dと同じようにCompact3dに埋込境界法を組み合わせることを計画しています。目的は、圧縮性流れでグリッドにより生成された乱流を調べることです。」

HECToR HECToR はResearch Councils を代行する EPSRC により管理されており、英国学術界の科学と工学をサポートする任務を負っています。エジンバラ大学にある Cray XT スーパーコンピュータはUoE HPCx 社によって管理されています。 CSE サポートサービスはNAG 社によって提供されており、高度なスーパーコンピュータの効率的な活用のために、ユーザは確実に適切なHPC専門家にコンタクトできます。CSEサポートサービスの重要な特徴は分散型CSE（dCSE）プログラムです。これは簡潔なピアレビューを経てユーザからの提案に応える、特定のコードのパフォーマンスとスケーラビリティに対処するプロジェクトです。dCSE プログラムは、伝統的なHPCユーザアプリケーションサポートとNAG によるトレーニングで補われる、約 50 の集中的プロジェクトから成り立っています。 これまでに完了した dCSE プロジェクトは、CSEの尽力により可能なコスト削減と新しい科学の優れた適用例をもたらしました。ここで報告されているIncompact3Dプロジェクトは成功を収めたパフォーマンス改善であり、新たなサクセスストーリーとなっています。

プロジェクトの背景

本プロジェクトの目的は、大規模な圧縮性乱流シミュレーションの効果的な並列実行を可能にすることと、粒子-乱流相互作用といったより幅広い研究課題に取り組むことを可能にすることです。

インペリアル・カレッジ・ロンドン、航空学科のChristos Vassilicos は本プロジェクトの主任研究員でした。NAG のNing Li はNAG CSE チームとIncompact3D 開発者と協力して6人月のプロジェクトを遂行しました。

プロジェクトの結果

Compact3DおよびQuasiCompact3Dの並列実装は、オープンソースライブラリとして世界に幅広く用いられる2DECOMP&FFTを使用して開発されました。さらに2DECOMP&FFTへ一般的な通信ルーチンが実装されました。これは転置ベースの並列フレームワークでの隣接ブロック間のハロセル通信を可能にします。

Compact3DおよびQuasiCompact3DはNAG Fortran Compiler version 5.3を利用して開発されました。特に、メンテナンス性の向上のために鍵となるルーチンの再利用が行われました。HECToRフェーズ3上でのスケーラビリティが151×203×151ケースに対して実証され、数千コアを用いた大規模問題では並列効率は80%に達しています。

本プロジェクトの結果として、Incompact3Dは現在、実研究においてHECToR上の1万以上のコアを常時利用しています。さらに新しい通信コードは、流体-固体インターフェイス上の境界条件を記述する埋込境界法で必要な3D補間や、粒子トラッキングの実装に必要な同様の補間スキームなど、Incompact3Dの鍵となるアルゴリズムの実装に使用されています。

---