AutoML : NNI 1.5 : 自動調整 : チューナー : Naive Evolution, SMAC, Metis (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
更新日時 : 05/31/2020
作成日時 : 05/27/2020
* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
自動調整 : チューナー : Naive Evolution, SMAC, Metis
Naive Evolution
Naive Evolution (ナイーブ進化) は Large-Scale Evolution of Image Classifiers に由来します。それは探索空間に基づいて集団 (= population) をランダムに初期化します。各世代 (= generation) について、それは次の世代を得るためにより良いものを選択してその上で何某かの変異 (= mutation) (e.g., ハイパーパラメータを変更する、一つの層を追加/除去する) を行ないます。Naive Evolution は動作するために多くのトライアルを要求しますがそれは非常に単純で、新しい特徴で拡張することは非常に容易です。
(※ 訳注: 上記参照ペーパーの abstract だけ翻訳しておきます。)
画像分類の巨大スケール進化 (E. Real et al.)
ニューラルネットワークは難しい問題を解くことにおいて効果的であることが証明されましたが、それらのアーキテクチャを設計することは、画像分類問題単独のためでさえも挑戦的であり得ます。私達の目標は人間の参加を最小化することで、そのようなネットワークを自動的に発見するために進化アルゴリズムを用います。かなりの計算要求にもかかわらず、昨年公開したそれらの範囲内の精度で今はモデルを進化させることが可能であることを示します。特に、CIFAR-10 と CIFAR-100 データセットのためのモデルを発見するために先例のない (= unprecedented) スケールで単純な進化テクニックを用います、自明な初期条件から始めてそれぞれ 94.6% (95.6% for ensemble) と 77.0% の精度に達します。これを行なうため、巨大探索空間を操舵する新規の直感的な変異 (= mutation) 演算子を使用します ; 一度進化が始まれば人間の参加は要求されないこと、そして出力は完全に訓練されたモデルであることを強調します。このワークを通して、結果の再現性、出力結果の変異性そして計算要件に重点を置いています。
SMAC
SMAC は SMBO (シークエンシャルモデルに基づく最適化、Sequential Model-Based Optimization) に基づいています。カテゴリカル・パラメータを扱うため、それは最も卓越した以前に使用されたモデルクラス (ガウス確率過程モデル) を適合させてランダムフォレストのモデルクラスを SMBO に導入します。NNI によりサポートされる SMAC は SMAC3 Github repo 上のラッパーです。
NNI 上の SMAC は探索空間 spec の type のサブセットをサポートするだけです : choice, randint, uniform, loguniform そして quniform です。
(※ 訳注: 上記参照ペーパーの abstract だけ翻訳しておきます。)
一般アルゴリズム configuration のためのシークエンシャル・モデルベース最適化 (F. Hutter et al.)
困難な計算問題のための最先端アルゴリズムは実験によるパフォーマンスを改良するために変更可能な多くのパラメータをしばしば公開しています。けれども、パラメータセットの結果として生じる組み合わせ空間を手動で探索することは退屈で不満足な結果に繋がりがちです。最近では、このアルゴリズム configuration 問題を解くための自動アプローチは様々な問題を解くための最先端の相当な改良に繋がっています。一つの見込みのあるアプローチはパラメータ設定上のターゲットアルゴリズム性能の依存を説明するために explicit な回帰モデルを構築することです ; けれども、このアプローチはここまで単一インスタンス上の少しの数値的なアルゴリズムパラメータの最適化に制限されてきました。このペーパーでは、このパラダイムを一般アルゴリズム configuration 問題に初めて拡張しました、多くのカテゴリカル・パラメータとインスタンスのセットのための最適化を可能にします。ローカル探索と propositional な充足可能性問題 (SAT) のための木探索ソルバー、更に商用の混合整数計画 (MIP) ソルバー CPLEX を最適化することにより、私達の新しいアルゴリズム configuration 手続きを実験的に検証しました。これらの実験で、私達の手続きは最先端パフォーマンスを生み出し、そして多くのケースで以前の最善の confguration アプローチよりも高いパフォーマンスを出しました。
Metis チューナー
Metis は他の調整アルゴリズムを越える幾つかの恩恵を提供します。多くのツールが最適な configuration の予測だけをする一方で、Metis は 2 つの出力を貴方に与えます、最適な configuration の予測と次のトライアルのための提案です。No more guess work!
殆どのツールが訓練データセットがノイズのあるデータを持たないことを仮定する一方で、Metis は実際には特定のハイパーパラメータを再サンプリングする必要があるかを知らせます。
殆どのツールが exploitation (利己的利用, 搾取) -heavy であるという問題を持つ一方で、Metis の探索ストラテジーは探索、exploitation と (オプション) 再サンプリングのバランスを取ります。
Metis は SMBO (シークエンシャルモデルに基づく最適化) アルゴリズムのクラスに属してそれは Bayesian 最適化フレームワークに基づいています。パラメータ-vs-パラメータ空間をモデル化するため、Metis はガウス過程と GMM の両者を使用します。各トライアルは高い時間コストを課しますので、Metis は推論計算を native トライアルと重く交換します。各反復で、Metis は 2 つのタスクを行ないます :
- それはガウス過程のグローバルな最適なポイントを見つけます。このポイントは最適な configuration を表します。
- それは次のハイパーパラメータ候補を特定します。これは調査、exploitation と再サンプリングの潜在的な情報を推論することにより達成されます。
探索空間の受け入れ可能な type は quniform, uniform, randint と数値 choice だけであることに注意してください。
より詳細は ペーパー で見つけられます。
以上