AutoML : NNI 1.5 : 自動調整 : チューナー : PPO チューナー (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/29/2020 (1.6.0)
* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
自動調整 : チューナー : PPO チューナー
PPOTuner
これは NNI のニューラル・アーキテクチャ探索 (NAS) インターフェイスに最適化されたチューナーです。それは PPO アルゴリズム を使用します。実装は ここの ppo2 OpenAI 実装の主要ロジックを継承してそして NAS シナリオのために適応されます。
私達は mnist-nas サンプルを成功的に調整して以下の結果を持ちます : NOTE : このサンプルを最新の NAS インターフェイスにリファクタリングしていて、リファクタリングの後でサンプルコードを公開します。
私達はまた (各トライアルのための制限されたエポック数, i.e., 8 エポックで) enas ペーパーの画像分類のためにマクロ探索空間 (訳注 : リンク切れ) を調整します、これは NAS インターフェイスを使用して実装されて PPOTuner で調整されます。探索空間がどのように見えるかを示すためにここに enas ペーパー からの図 7 があります :
上の図は選択されたアーキテクチャです。各正方形は層で、その演算は 6 オプションから選択されました。各点線はスキップ接続で、各正方形の層は 0 か 1 のスキップ接続を選択できて、前の層から出力を得ます。オリジナルのマクロ探索空間では、各正方形の層は任意の数のスキップ接続を選択できましたが、その一方で私達の実装では、0 か 1 を選択することが許されるだけであることに注意してください。
結果は下の図で示されます (ここ (訳注: リンク切れ) で実験構成を見てください) :
以上