プログラムの高速化・並列化サービスの事例

HECToR dCSE TeaによるLAMMPSへのHPC向け離散要素法機能の追加

英国の国立学術スーパーコンピューティング設備であるHECToR 向けのNAGの計算科学技術（CSE）サポートサービスと共に、ICLのHPC専門家により、離散要素法(DEM)シミュレーションコードが高並列化実装されました。DEMは土木、プロセスあるいは化学工学において、粒状材料の応答をシミュレートするために広く使われてきましたが、DEMユーザによるHPCの適用は、他の分子動力学（MD）におけるそれと比較して多くはありません。結果として、工業または基礎科学における現在のDEMシミュレーションの寄与が制限されているといえます。大規模原子/分子の超並列シミュレータであるLAMMPSは、MD分野で広く利用され、DEMシミュレーションにとって都合の良いプラットフォームですが、主要なDEMシミュレーションに必要な機能を持っていません。

dCSEプロジェクトの目的は、様々な高並列DEMシミュレーションを可能にする新しいC++クラスを実装することにより、LAMMPS粒状材料コード(granular LAMMPS)に必要となる機能を追加することでした。それは、HECToR上で実行され、地盤工学やその他の分野でのルーチン的な実験のシミュレーションを可能にするものです。二つの粒子間の新しい境界条件と新たな接触モデルの二つのセットが開発されました。この新しい境界条件は、固定応力により制御される境界と膜境界の包含をより正確に取り扱うことが出来ます。二粒子間の結合のための粒子間相互作用も開発されました。これは、多孔質岩のような結合材料をシミュレートする他のコードにおいても、広く利用できるモデルとして実装されました。

dCSE プロジェクトの成功について，ICLの土木・環境工学部のDr Catherine O'Sullivanは次のように述べています。「dCSEのサポートにより、粒状材料のDEMシミュレーションをHPC環境で実行可能なLAMMPSコード開発が可能になりました。DEMシミュレーションは粒状材料を粒子レベルでモデル化し、材料の応答に関する膨大な情報を提供するものです。これはまた、詳細に検討すべき破壊メカニズムシミュレーションを可能にします。DEMシミュレーションでの中心的な課題は、本来必要とされる粒子数を扱うことです。従来は、DEMシミュレーションは通常シリアルコードが用いられ、粒子数は10万あるいはそれ以下に制限されていました。このプロジェクトにより、技術者はシミュレーションの規模を容易に変更可能となり、140万粒子を含む地盤工学上の問題の最初のシミュレーションが成功しました。」

プロジェクトの背景

英国中心のDEMユーザは通常、DEMシミュレーションをシリアルコードで実行してきました。以前に実施されたEPSRCの研究プロジェクト(EP/G064180/1)では、granular LAMMPSが、大規模DEMシミュレーションにとって最も適したオープンソースの並列コードであると結論付けられました。しかしながら、DEMシミュレーションにおいて、HECToRのようなHPC設備の利用を最大限に活用するためには、granular LAMMPSにその境界条件を実装しなくてはなりませんでした。最初の修正は、固定壁の移動および応力制御シミュレーションを可能にすることでした。次のステップとして、完全に応力制御可能な固定境界と膜境界を実装しました。これにより、通常ラテックス膜により扱われる実験室系での試験を、より現実的なシミュレーションで扱うことが出来ます。これは現在、他の如何なるオープンソースコードも実現していません。なぜなら、複雑な計算を要するボロノイ図形の算出が必要とされるからです。こうしたことから、DEMユーザの間で、granular LAMMPSの利用とHPC計算が広く活用されることが期待されています。

ICLの土木・環境工学部のDr Catherine O'Sullivanがこのプロジェクトの調査主任です。ICLのDr George MarketosはNAG CSEチームと密接な連携を取りながら、7人月でプロジェクトを遂行しました。

プロジェクトの結果

移動および固定応力制御境界のためのgranular LAMMPS開発に、FixWallGran C++クラスを作成しました。膜境界条件の追加に際しては、重み付きボロノイ図形を基礎にしたアルゴリズムを、FixMembraneGranクラス内に外部パッケージVoro++を呼び出すことにより作成しました。二粒子間結合の新たな接触モデルを開発するために、新たなクラスとして非線形弾性バネ接触モデルを実装しました。新たな結合モデルについても新規にクラスが実装され、また、新規機能を指定するための入力スクリプトも修正されました。この新しいコードは市販コードPFC^3Dの結果と比較検証されました。