AutoML : NNI 1.5 : 自動調整 : チューナー : バッチチューナー, グリッドサーチ, GP チューナー (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/27/2020
* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
自動調整 : チューナー : バッチチューナー, グリッドサーチ, GP チューナー
バッチチューナー
バッチ・チューナーはユーザにトライアルコードのために様々な configuration (i.e., ハイパーパラメータの選択) を単純に提供することを可能にします。総ての configuration を終了後、実験は完了します。バッチ・チューナーは探索空間 spec で type choice をサポートするだけです。
提案シナリオ : 試すことを望む configuration が決定すれば、それらを (choice を使用して) 探索空間ファイルでリストしてそれらをバッチ・チューナーを使用して実行できます。
グリッドサーチ
グリッドサーチは searchspace ファイルで定義されたハイパーパラメータ空間の手動で指定されたサブセットを通してしらみつぶし探索 (= exhaustive searching) を遂行します。
探索空間の受け入れ可能な type は choice, quniform と randint だけであることに注意してください。
GP チューナー
Bayesian 最適化は最適化することを望む関数を最善に説明する関数の事後分布 (ガウス過程) を構築することにより動作します。観測の数が増えるにつれて、事後分布は改良され、そしてアルゴリズムはパラメータ空間のどの領域が調べるに値しどれがそうでないかにより確信を持つようになります。
GP チューナーは最適な組み合わせに近いパラメータの組み合わせを見つけるために必要なステップ数を最小化/最大化するように設計されています。それを行なうため、このメソッドは (acquisition 関数の最大値を見つける) proxy (代理) 最適化問題を利用します、これは、依然として困難な問題であるにもかかわらず、解くために (計算的な意味で) コストが安く、そして一般的なツールに従います。従って Bayesian 最適化は最適化される関数のサンプリングが非常に高価であるような状況のために提案されます。
探索空間内の受け入れ可能な type は randint, uniform, quniform, loguniform, qloguniform と数値 choice だけであることに注意してください。
最適化アプローチは Algorithms for Hyper-Parameter Optimization のセクション 3 で説明されます。
以上