自動微分(AD)マスターコース 「高度な Adjoint テクニック」のご案内

オンラインセミナー自動微分「高度な Adjoint テクニック」のご紹介

夏に行った、自動微分(AD)マスターコースシリーズの成功に続いて、NAGは引き続き「高度な Adjoint テクニック」のオンラインセミナーをお届けすることになりました。最初のシリーズの材料を基に、チェックポイントとシンボリックAjoint、機械学習のための高度なAjoint、モンテカルロに関する2回のウェビナー、そして最後に2次の感度を見ていきます。このウェビナーシリーズ(参加予定:数百名様以上、使用言語: 英語)は、どなたでもご参加いただけます。 尚、第1回シリーズの資料へのアクセスをご希望の方は、support@nag.co.uk に連絡してログイン情報を入手してください。

ご参加いただくに 参加のご登録(無料)が必要です。

2020年10月1日-マスタークラス1:チェックポインティングと外部関数:DAGの操作
Dr Viktor Mosenkis
DAGを操作して、単純なアルゴリズムを超えて、アドジョイントを移動する方法を探ります。計算の一部をパッシブにすることでテープ内に「ギャップ」を作る方法を見ていきます。これはメモリ管理の最も基本的な形であり、再計算をストレージと交換する方法です。この処理はチェックポイントと呼ばれ、様々なチェックポイントのアプローチを簡単に紹介します。

2020年10月15日-マスタークラス2:チェックポインティングと外部関数:シンボリック情報の注入
Dr Viktor Mosenkis
テープにギャップを作ることができるようになったので、それらのギャップを埋めるさまざまな方法を検討します。時には、シンボリック情報を使用して、コードの特定のセクションの効率的な随伴を導出できます。線形代数、根の発見、制約のない最適化を調べ、これらの合成例を示します。更に、コードに複数の出力がある場合に特に注意が必要な実装の問題をいくつか見ていきます。外部関数のコールバックが複数回呼び出されるので、メモリ管理には注意が必要です。

2020年10月29日-マスタークラス3:機械学習の高度なADトピックに関するUwe Naumann教授によるゲストレクチャー
機械学習は、逆伝播(Adjoint AD)のおかげで可能になりました。簡単に言えば、これによりオプティマイザは正確なまともな方向を見つけることができます。これは、ソルバーが特定のネットワークの(ローカルに)最適な重みを見つけるのに非常に役立ちます。ただし、これは決して機械学習へのADの唯一の適用ではありません。ネットワークプルーニングでは、ADを使用してニューラルネットからノードを最適に削除し、精度を失うことなく劇的な圧縮を実現する場合があります。有意性分析では、ADを使用してトレーニングデータのサンプリングをガイドするため、モデルを同じ精度でトレーニングできますが、入力データは少なくなります。また、ネットワークが今日使用されている単純な形式を超えて移動する、より一般的な見通しを検討し、モデル化しようとしているシステムに関するより一般的な情報を含め始めます。

2020年11月12日-マスタークラス4:モンテカルロ
Dr Viktor Mosenkis
モンテカルロを調べるために開発した「機械」を使用します。(Americanモンテカルロは取り上げませんが、もしご希望があればご連絡下さい)。サンプルパスの独立性を利用して、メモリ使用量を制限し、より良いキャッシュ効率を得る方法を示します。原始コードで並列性を再利用する方法を示し、固有の競合条件の処理について説明します。また、ベクトル化についても見ていき、スムージング技術の簡単なレビューで締めくくります。これはあくまでもレビューであり、文献へのポインタを示したものであることに注意してください。効果的な平滑化は問題に依存します。

2020年11月19日-マスタークラス5:モンテカルロに適用される随伴コード設計パターンに関するUwe Naumann教授によるゲストレクチャー
簡単ではないシミュレーションプログラムの効率的なAdjointを作成するのは、かなりの作業量になります。優れたツールは非常に役立ちますが、ユーザーの介入が必要になることも少なくありません。多くのシミュレーションコードには,ある特徴があります.Adjointコード設計パターンの目標は、これらの特徴を利用して、効率的なAdjointを作成するために必要な労力を減らすことです。この講演では、モンテカルロ法のAdjointに焦点を当てますが、チェックポイントと同様に暗黙の関数定理から生じるパターンについても見ていきます。

2020年11月26日-マスタークラス6:ヘシアンの計算
Dr Viktor Mosenkis
2次のAdjointモデルとタンジェントモデルを提示し、ヘシアンを計算するための4つの可能な方法を検討します。「forward over reverse」モデルは多くの実装上の利点があるので,詳細に検討します。これは,外部関数を持つことを意味します。ヘシアンの部分を正確に計算することと近似的に計算することの両方を見てから,スパースシティを見ていきます.

開催日時

開催日時(6回)は以下の通りです。

参加のご登録(無料)はこちらからお願いします。また、ご登録をいただきますと、何らかの理由で参加ができなかった場合でも、メールにてコースの記録を受け取る事ができます。

(以下、日本時間で表記しています)
2020年10月1日(木)23:00(約1時間半)
2020年10月15日(木)23:00(約1時間半)
2020年10月29日(木)24:00(約1時間半)
2020年11月12日(木)24:00(約1時間半)
2020年11月19日(木)24:00(約1時間半)
2020年11月26日(木)24:00(約1時間半)

関連情報
MENU
Privacy Policy  /  Trademarks