Auto ML : Neural Network Intelligence : QuickStart (翻訳/解説)

翻訳 : (株)クラスキャットセールスインフォメーション
作成日時 : 02/26/2019

* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

https://nni.readthedocs.io/en/latest/QuickStart.html

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

Neural Network Intelligence : QuickStart

MNIST 上の “Hello World” サンプル

NNI は自動化された機械学習実験を実行することを手助けするツールキットです。それはハイパーパラメータを得て、トライアルを実行して、結果をテストして、ハイパーパラメータを調整する循環する過程を自動的に遂行することができます。今、最適なハイパーパラメータを見つけることを助けるためにどのように NNI を利用するかを示します。

ここに NNI なしで MNIST データセット上で CNN を訓練するサンプル・スクリプトがあります :

def run_trial(params):
    # 入力データ
    mnist = input_data.read_data_sets(params['data_dir'], one_hot=True)
    # ネットワークを構築
    mnist_network = MnistNetwork(channel_1_num=params['channel_1_num'], channel_2_num=params['channel_2_num'], conv_size=params['conv_size'], hidden_size=params['hidden_size'], pool_size=params['pool_size'], learning_rate=params['learning_rate'])
    mnist_network.build_network()

    test_acc = 0.0
    with tf.Session() as sess:
        # ネットワークを訓練
        mnist_network.train(sess, mnist)
        # ネットワークを評価
        test_acc = mnist_network.evaluate(mnist)

if __name__ == '__main__':
    params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64, 'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
    run_trial(params)

Note : フル実装を見ることを望むのであれば、examples/trials/mnist/mnist_before.py を参照してください。

上のコードは一度にパラメータの 1 つのセットを試すことができるだけです、もし学習率を調整することを望む場合、ハイパーパラメータを手動で修正してトライアルを何度も開始する必要があります。

NNI はユーザが調整ジョブを行なうことを助けるために生まれました、NNI 作業過程は次のように表わされます :

input: search space, trial code, config file
output: one optimal hyperparameter configuration

1: For t = 0, 1, 2, ..., maxTrialNum,
2:      hyperparameter = chose a set of parameter from search space
3:      final result = run_trial_and_evaluate(hyperparameter)
4:      report final result to NNI
5:      If reach the upper limit time,
6:          Stop the experiment
7: return hyperparameter value with best final result

(訳注: 擬似コードを単純に翻訳しておくと : )

入力: 探索空間, トライアルコード, config file
出力: 一つの最適なハイパーパラメータ configuration

1: For t = 0, 1, 2, ..., maxTrialNum,
2:      hyperparameter = 探索空間からパラメータのセットを選択する
3:      最終結果 = run_trial_and_evaluate(hyperparameter)
4:      NNI に最終結果を報告
5:      If 上限時間に到達,
6:          実験を停止する
7: return 最善の最終結果を持つハイパーパラメータ値

自動的にモデルを訓練して最適なハイパーパラメータを見つけるために NNI を使用することを望むのであれば、貴方のコードをベースに 3 つの変更を行なうことが必要です :

NNI を使用するときに行なうべき 3 つのこと

Step 1: json で探索空間ファイルを与えます、探索が必要な総てのハイパーパラメータの名前と (離散値または連続値の) 分布を含みます。

-   params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64,
-   'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
+ {
+     "dropout_rate":{"_type":"uniform","_value":[0.5, 0.9]},
+     "conv_size":{"_type":"choice","_value":[2,3,5,7]},
+     "hidden_size":{"_type":"choice","_value":[124, 512, 1024]},
+     "batch_size": {"_type":"choice", "_value": [1, 4, 8, 16, 32]},
+     "learning_rate":{"_type":"choice","_value":[0.0001, 0.001, 0.01, 0.1]}
+ }

実行されたコード・ディレクトリ: search_space.json

Step 2: NNI からハイパーパラメータのセットを得て NNI に最終結果を報告するためにトライアル・ファイルを修正しました。

+ import nni

  def run_trial(params):
      mnist = input_data.read_data_sets(params['data_dir'], one_hot=True)

      mnist_network = MnistNetwork(channel_1_num=params['channel_1_num'], channel_2_num=params['channel_2_num'], conv_size=params['conv_size'], hidden_size=params['hidden_size'], pool_size=params['pool_size'], learning_rate=params['learning_rate'])
      mnist_network.build_network()

      with tf.Session() as sess:
          mnist_network.train(sess, mnist)
          test_acc = mnist_network.evaluate(mnist)
+         nni.report_final_result(acc)

  if __name__ == '__main__':
-     params = {'data_dir': '/tmp/tensorflow/mnist/input_data', 'dropout_rate': 0.5, 'channel_1_num': 32, 'channel_2_num': 64,
-     'conv_size': 5, 'pool_size': 2, 'hidden_size': 1024, 'learning_rate': 1e-4, 'batch_num': 2000, 'batch_size': 32}
+     params = nni.get_next_parameter()
      run_trial(params)

実行されたコード・ディレクトリ: mnist.py

Step 3 : YAML で config ファイルを定義します、これは探索空間とトライアルへのパスを宣言し、また調整アルゴリズム、最大トライアル数と最大 duration 引数のような他の情報も与えます。

authorName: default
experimentName: example_mnist
trialConcurrency: 1
maxExecDuration: 1h
maxTrialNum: 10
trainingServicePlatform: local
# 探索空間へのパス
searchSpacePath: search_space.json
useAnnotation: false
tuner:
  builtinTunerName: TPE
# トライアルのパスと実行コマンド
trial:  
  command: python3 mnist.py
  codeDir: .
  gpuNum: 0

実行されたコード・ディレクトリ : config.yml

上の総てのコードは既に準備されて examples/trials/mnist/ にストアされています。

これらのことが成されたとき、実験を開始するためにコマンドラインから config.yml ファイルを実行します。

nnictl create --config nni/examples/trials/mnist/config.yml

Note: nnictl はコマンドライン・ツールで、これは実験の start/stop/resume, NNIBoard の start/stop, etc のような実験を制御するために使用できます。nnictl のより多くの使用方法についてはここをクリックしてください。

コマンドラインでメッセージ “INFO: Successfully started experiment!” を待ちます。このメッセージは貴方の実験が成功的に開始されたことを示しています。そしてこれが私達が得ることを期待していたものです :

INFO: Starting restful server...
INFO: Successfully started Restful server!
INFO: Setting local config...
INFO: Successfully set local config!
INFO: Starting experiment...
INFO: Successfully started experiment!
-----------------------------------------------------------------------
The experiment id is egchD4qy
The Web UI urls are: [Your IP]:8080
-----------------------------------------------------------------------

You can use these commands to get more information about the experiment
-----------------------------------------------------------------------
         commands                       description
1. nnictl experiment show        show the information of experiments
2. nnictl trial ls               list all of trial jobs
3. nnictl top                    monitor the status of running experiments
4. nnictl log stderr             show stderr log content
5. nnictl log stdout             show stdout log content
6. nnictl stop                   stop an experiment
7. nnictl trial kill             kill a trial job by id
8. nnictl --help                 get help information about nnictl
-----------------------------------------------------------------------

上のステップに従ってトライアル、探索空間と config を準備して NNI ジョブを成功的に作成すれば、NNI は最適なハイパーパラメータを自動的に調整して貴方が設定した要件に従って各トライアルのために異なるハイパーパラメータ・セットを実行します。その進捗を NNI WebUI により明瞭に見ることができます。

WebUI

NNI で貴方の実験を成功的に開始した後、このように Web UI url を知らせるためにコマンドライン・インターフェイスでメッセージを見つけられます :

The Web UI urls are: [Your IP]:8080

ブラウザで Web UI url (この情報では: [Your IP]:8080) をオープンしてください、下で示されるように実験と総ての submit されたトライアル・ジョブの詳細情報を見ることができます。

要約ページを見る

タブ “Overview” をクリックします。

この実験についての情報は WebUI で示されます、これは実験トライアル・プロフィールと探索空間メッセージを含みます。NNI はまた Download ボタンを通してこれらの情報とパラメータをダウンロードすることもサポートします。実験結果は実行の途中でも実行の最後等でもいつでもダウンロード可能です。

Overview ページで top 10 トライアルがリストされます、“Trials Detail” ページで総てのトライアルをブラウズすることができます。

トライアル詳細ページを見る

総てのトライアルの点グラフを見るためには “Default Metric” をクリックしてください。その特定のデフォルト・メトリックと探索空間メッセージまわりを見てください。

並列グラフを見るためにはタブ “Hyper Parameter” をクリックしてください。

top トライアルを見るために percentage を選択できます。
その位置を交換するために 2 つの軸を選択します。

棒グラフを見るためにタブ “Trial Duration” をクリックします。

下は総てのトライアルのステータスです。特に :

トライアル詳細 : トライアル id, トライアル時間 (= duration), 開始時刻, 終了時刻, ステータス, 精度と探索空間ファイル。
OpenPAI プラットフォーム上で実行する場合には、hdfsLogPath を見ることもできます。
Kill: ステータスが実行中であるジョブを kill できます。
特定のトライアルを検索するサポート。
中間的な結果グラフ。

以上

月	火	水	木	金	土	日
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28