プログラムの高速化・並列化サービスの事例

HECToR dCSE Teaによる乱流燃焼シミュレーションコードDSTARの性能改善

英国の国立学術スーパーコンピューティング設備であるHECToR 向けのNAGの計算科学技術（CSE）サポートサービスと共に、NAGのHPC専門家により、多相反応シミュレーションコードDSTARの並列効率が50%まで改善されました。さらに、アプリケーションのI/Oの効率化、およびコード・ストラクチャが改善されました。結果として、大規模マシンでの実行性能が向上し、計算予算内でのより複雑な系の（例えば、より現実的な化学反応メカニズムを組み込むといった）研究を可能にしました。

プロジェクトは3つの改善に焦点を当てました：　(i)　2D領域分割を用いたDSTARのスケーラビリティの改善、(ii)　シミュレーション中の物理量の時間変化をモニターするためのI/Oの最適化、(iii)　旧式のfortran77コードのリファクタリング。

dCSE プロジェクトの成功について，サザンプトン大学・工学科/環境学科のKai Luo教授は次のように述べています。「このdCSEプロジェクトにより、DSTARはマルチコア構成の最新の並列プログラミング技術により再構築されました。これにより、英国の次世代大規模並列コンピューターに対してペタフロップスで稼働させる準備が出来ました。新しいDSTARコードは、マルチコアのHPCアーキテクチャに対応し、膨大な数のプロセッサ上で効率的に動作させることが出来ます。これでDSTARは、以前より多くの計算資源を利用し、より複雑な問題を解くことが可能になります。例えば、より現実的な化学反応メカニズムがシミュレートできるでしょう。結果として、燃焼シミュレーションがより正確に実行でき、より多種の燃料の燃焼を研究できるでしょう。」

プロジェクトの背景

DSTARは、エネルギーおよび化学種に対する保存式を共に、完全Navier-Stokes方程式を解くことにより、多相反応流をシミュレートするコードです。 乱流、音響、乱流燃焼、多相乱流および燃焼の高信頼性シミュレーションのために、DNSおよびLESの両方のモジュールが開発されてきました。DSTARは6次の空間離散化、無反射境界条件および省メモリーRunge-Kutta陽解法による時間積分を組み合わせています。 現状のDSTARは1次元方向のみ分割されたカルテシアングリッドを用いて、並列計算をしています。このdCSEプロジェクトではこれを、スケーラビリティ改善のため、2D領域分割に置き換えることが目的でした。もう一つの目的は、計算の進捗をモニターし、またリスタートのために用いられていたI/Oの最適化でした。最終的に、旧式のFortran77コードは、その後継言語を用いて現代的な構造へ変換されました。

サザンプトン大学・工学科/環境学科のKai Luo教授がこのプロジェクトの調査主任です。NAGのHPC専門家であるLucian Antonは、NAG CSEチームと密接な連携を取りながら、6人月でプロジェクトを遂行しました。

DSTARは現在、2つのHECToRプロジェクトで利用され、258,800 kAU(注)を用いています。DSTARを用いる第3のプロジェクトも開始されています。

プロジェクトの結果

2D領域分割は2DECOMP&FFTライブラリを用いて実装されました。新しいコードは768および1536サイズの二つの立方体グリッドで、18,432MPIタスクを用いてテストされました。旧コードとの比較により、約50%の並列効率を示しました。さらに、混合モードプログラミングでプロトタイプを作成したところ、より良好なスケーラビリティをしましましたが、結果としてソースコードは複雑になってしまいました。 DSTARは進行状況用にアスキーのI/Oを、リスタート用にバイナリーI/Oを用いています。そこで、I/Oのモニタリングを自身の単独プロセスのみの環境で実施しました。リスタートデータの書出しにMPI-IOを利用してみましたが、オリジナルコードの方が若干高速でした。

Fortran77のソースコードはリファクタリングされ、メインルーチンはMODULEに置き換えられました。キャッシュメモリーを有効活用していないサブルーチンについては、多重ループの入れ替え、不要なIF THENブロックの削除を行い、約20%高速化しました。 DSTARはこの結果、以前に比べ利用できるMPIタスク数とグリッド数が約50倍になりました。この新しいバージョンは全てのユーザが利用可能です。