AutoML : NNI 1.5 : クイックスタート (翻訳/解説)

翻訳 : (株)クラスキャットセールスインフォメーション
作成日時 : 05/23/2020 (1.5)

* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

QuickStart

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

クイックスタート

MNIST 上の “Hello World” サンプル

NNI はユーザが自動機械学習の実験を実行することを手助けするツールキットです。それはハイパーパラメータを取得し、トライアルを実行し、結果をテストし、そしてハイパーパラメータを調整する循環プロセスを自動的に行なうことができます。ここでは、MNIST モデルのために最適なハイパーパラメータを見つける手助けをするためにどのように NNI を使用するかを示します。

ここに NNI なしで MNIST データセット上で CNN を訓練するためのサンプルスクリプトがあります :

def run_trial(params):
    # Input data
    mnist = input_data.read_data_sets(params['data_dir'], one_hot=True)
    # Build network
    mnist_network = MnistNetwork(channel_1_num=params['channel_1_num'], channel_2_num=params['channel_2_num'], conv_size=params['conv_size'], hidden_size=params['hidden_size'], pool_size=params['pool_size'], learning_rate=params['learning_rate'])
    mnist_network.build_network()

    test_acc = 0.0
    with tf.Session() as sess:
        # Train network
        mnist_network.train(sess, mnist)
        # Evaluate network
        test_acc = mnist_network.evaluate(mnist)

if __name__ == '__main__':
    params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64, 'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
    run_trial(params)

Note: 完全な実装を見ることを望む場合、examples/trials/mnist-tfv1/mnist_before.py を参照してください。

上のコードは一度にパラメータの 1 セットを試せるだけです ; 学習率を調整することを望む場合、ハイパーパラメータを手動で変更してトライアルを何度も何度も開始する必要があります。

NNI はユーザが調整ジョブを行なうことを助けるために生まれました ; NNI ワーキング・プロセスは下のように表わされます :

input: 探索空間、トライアルコード、config ファイル
output: 1 つの最適なハイパーパラメータ configuration

1: For t = 0, 1, 2, ..., maxTrialNum,
2:      ハイパーパラメータ = 探索空間からパラメータのセットを選択する
3:      最終結果 = run_trial_and_evaluate(ハイパーパラメータ)
4:      最終結果を NNI にレポートする
5:      If reach the upper limit time,
6:          実験を停止する
7: return ハイパーパラメータ値 with 最善の最終結果

モデルを自動的に訓練して最適なハイパーパラメータを見つけるために NNI を使用することを望むのであれば、貴方のコードに基づいて 3 つの変更を行なう必要があります :

実験を開始するための 3 ステップ

Step 1: 探索空間ファイルを JSON で与えます、探索する必要があるハイパーパラメータの総ての名前と (離散値 or 連続値の) 分布を含みます。

-   params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64,
-   'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
+ {
+     "dropout_rate":{"_type":"uniform","_value":[0.5, 0.9]},
+     "conv_size":{"_type":"choice","_value":[2,3,5,7]},
+     "hidden_size":{"_type":"choice","_value":[124, 512, 1024]},
+     "batch_size": {"_type":"choice", "_value": [1, 4, 8, 16, 32]},
+     "learning_rate":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]}
+ }

実装コード・ディレクトリ: search_space.json

Step 2: NNI からハイパーパラメータセットを取得して最終結果を NNI にレポートするために貴方のトライアル・ファイルを変更します。

+ import nni

  def run_trial(params):
      mnist = input_data.read_data_sets(params['data_dir'], one_hot=True)

      mnist_network = MnistNetwork(channel_1_num=params['channel_1_num'], channel_2_num=params['channel_2_num'], conv_size=params['conv_size'], hidden_size=params['hidden_size'], pool_size=params['pool_size'], learning_rate=params['learning_rate'])
      mnist_network.build_network()

      with tf.Session() as sess:
          mnist_network.train(sess, mnist)
          test_acc = mnist_network.evaluate(mnist)
+         nni.report_final_result(test_acc)

  if __name__ == '__main__':
-     params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64,
-     'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
+     params = nni.get_next_parameter()
      run_trial(params)

実装コード・ディレクトリ: mnist.py

Step 3: YAML で config ファイルを定義します、これは探索空間とトライアルファイルへのパスを宣言します。それはまた調整アルゴリズム、最大トライアル数、そして最大 duration 引数のような他の情報も与えます。

authorName: default
experimentName: example_mnist
trialConcurrency: 1
maxExecDuration: 1h
maxTrialNum: 10
trainingServicePlatform: local
# The path to Search Space
searchSpacePath: search_space.json
useAnnotation: false
tuner:
  builtinTunerName: TPE
# The path and the running command of trial
trial:
  command: python3 mnist.py
  codeDir: .
  gpuNum: 0

Note: Windows のためには、trial command を python3 から python に変更する必要があります。

実装コード・ディレクトリ: config.yml

上の総てのコードは既に準備されて examples/trials/mnist-tfv1/ にストアされています。

Linux と macOS

MNIST 実験を開始するためにコマンドラインから config.yml ファイルを実行します。

nnictl create --config nni/examples/trials/mnist-tfv1/config.yml

Windows

MNIST 実験を開始するためにコマンドラインから config_windows.yml ファイルを実行します。

Note: Windows 上で NNI を使用している場合、実験を開始するために config.yml で python3 から python に変更するか config_windows.yml ファイルを使用する必要があります。

nnictl create --config nni\examples\trials\mnist-tfv1\config_windows.yml

Note: nnictl は実験の start/stop/resume、NNIBoard の start/stop 等のような実験を制御するために使用できるコマンドライン・ツールです。nnictl のより多くの使用方法についてはここをクリックします。

コマンドラインでメッセージ “INFO: Successfully started experiment!” を待ちます。このメッセージは貴方の実験が成功的に開始されたことを示します。そしてこれが得ることを想定するものです :

INFO: Starting restful server...
INFO: Successfully started Restful server!
INFO: Setting local config...
INFO: Successfully set local config!
INFO: Starting experiment...
INFO: Successfully started experiment!
-----------------------------------------------------------------------
The experiment id is egchD4qy
The Web UI urls are: [Your IP]:8080
-----------------------------------------------------------------------

You can use these commands to get more information about the experiment
-----------------------------------------------------------------------
         commands                       description
1. nnictl experiment show        show the information of experiments
2. nnictl trial ls               list all of trial jobs
3. nnictl top                    monitor the status of running experiments
4. nnictl log stderr             show stderr log content
5. nnictl log stdout             show stdout log content
6. nnictl stop                   stop an experiment
7. nnictl trial kill             kill a trial job by id
8. nnictl --help                 get help information about nnictl
-----------------------------------------------------------------------

上のステップに従ってトライアル、探索空間と config を準備して NNI ジョブを成功的に作成した場合、NNI は貴方が設定した要件に従って各トライアルのために自動的に最適なハイパーパラメータを調整して様々なハイパーパラメータ・セットを実行します。NNI WebUI を通してその進捗を明白に見ることができます。

WebUI

NNI で実験を成功的に開始した後、このように Web UI url を伝えるコマンドライン・インターフェイスのメッセージを見つけることができます :

The Web UI urls are: [Your IP]:8080

ブラウザで Web UI url (ここではそれは: [貴方の IP]:8080) をオープンします ; 下で示されるように実験と総ての投入されたトライアルジョブについての詳細情報を見ることができます。端末で WebUI リンクをオープンできない場合、FAQ を参照してください。

概要ページを見る

“Overview” タブをクリックします。

この実験についての情報が WebUI で示されます、これは実験トライアルのプロフィールと探索空間メッセージを含みます。NNI はまた Download ボタンを通してこの情報とパラメータをダウンロードすることもサポートします。実験が動作している間にいつでも実験結果をダウンロードできます、あるいは実行の終わりまで待つこともできます、等々。

トップ 10 トライアルが概要ページ上にリストされます。“トライアル詳細” ページ上で総てのトライアルをブラウザできます。

トライアル詳細ページを見る

総てのトライアルの点グラフを見るには “Default Metric” タブをクリックします。特定のデフォルト・メトリクスと探索空間メッセージをみるためには (マウスポインタを) 重ねます。

並列グラフを見るためには “Hyper Parameter” タブをクリックします。

最上位トライアルを見るためにパーセンテージを選択できます。
それらの位置を交換するために 2 つの軸を選択します。

棒グラフを見るためにタブ “Trial Duration” をクリックします。

下は総てのトライアルのステータスです。特に :

トライアル詳細 : トライアルの id, トライアル時間 (= duration), 開始時刻, 終了時刻, ステータス, 精度と探索空間ファイル。
OpenPAI プラットフォーム上で実行する場合には、hdfsLogPath を見ることもできます。
Kill : 実行中ステータスを持つジョブを kill できます。
Support : 特定のトライアルを検索するために使用されます。
中間的な結果グラフ。

以上

月	火	水	木	金	土	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30	31