ClasCat® AI Research

Auto ML : NNI Tutorials : アセッサー

Posted on by Sales Information

Auto ML : NNI Tutorials : アセッサー (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/07/2019

* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

NNI Tutorials : アセッサー

計算リソースをセーブするために、NNI は早期停止 (= early stop) ポリシーをサポートしてこのジョブを終了するために アセッサー (Assessor) を作成します。
※ 訳注: Assessor は判定者、査定者の意味です。

アセッサーはトライアルから中間結果を受け取りトライアルが特定のアルゴリズムにより kill されるべきか否かを決定します。ひとたびトライアル実験が早期停止条件に遭遇すれば (これはアセッサーは最終結果について悲観的であることを意味します)、アセッサーはトライアルを kill してトライアルのステータスは “EARLY_STOPPED” になります。

ここに maximize モードで Curvefitting アセッサーを使用した後の MNIST の実験結果があります、アセッサーが悪いハイパーパラメータを持つ多くのトライアルを先立って成功的に 早期停止 したことが見て取れます。アセッサーを使用すれば、同じ計算リソースのもとでより良いハイパーパラメータを得るかもしれません。

実装されたコード・ディレクトリ: config_assessor.yml

チューナーのように、ユーザは組み込みアセッサーを使用するか彼ら自身のアセッサーをカスタマイズすることができます。

 

NNI Tutorials : 組み込みアセッサー

NNI は組み込みアセッサーで先端技術の調整アルゴリズムを提供してそれらを容易に利用できるようにしています。下は NNI の現在の組み込みアセッサーの簡潔な概要です。現在次のアセッサーをサポートします :

  • Medianstop
    Medianstop は単純な早期停止ルールです。それはステップ S でペンディング・トライアル X を停止します、もしそのトライアルのステップ S までの最善の目的値がステップ S までに報告された総ての完了したトライアルの目的 (値) の実行平均の median 値よりも厳密に悪い場合には。
    参照ペーパー

  • Curvefitting
    Curve Fitting Assessor は LPA (learning, predicting, assessing) アルゴリズムです。それはステップ S でペンディング・トライアルを停止します、もし最後のエポックのパフォーマンスの予測がトライアル履歴で最善の最後のパフォーマンスよりも悪い場合には。このアルゴリズムでは、精度カーブに fit させるために 12 カーブを使用します。
    参照ペーパー

 

組み込みアセッサーの使用方法

NNI SDK により提供される組み込みアセッサーの使用は config.yml で builtinAssessorName と classArgs を宣言することが必要です。このパートでは、推奨シナリオ、classArg 要件、そして各アセッサーのための例について詳細な使用方法を紹介します。

 

組み込みアセッサー名 : Medianstop

推奨シナリオ

広範囲の性能カーブで適用可能で、様々なシナリオで調整進捗をスピードアップするために利用できます。

 
classArg の要件

  • optimize_mode (maximize または minimize, optional, default = maximize) –
    ‘maximize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。
    ‘minimize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。

  • start_step (int, optional, default = 0) – 報告された中間結果の start_step 数を受け取る後で、トライアルが停止されるか否かが決定されます。

 
使用例 :

# config.yml
assessor:
    builtinAssessorName: Medianstop
    classArgs:
      optimize_mode: maximize
      start_step: 5

 

組み込みアセッサー名 : Curvefitting

推奨シナリオ

It is applicable in a wide range of performance curves, thus, can be used in various scenarios to speed up the tuning progress. Even better, it’s able to handle and assess curves with similar performance.

 
classArg の要件

  • epoch_num (int, required) – エポック総数。どの点で予測する必要があるか決定するエポック数を知る必要があります。
  • optimize_mode (maximize または minimize, optional, default = maximize) –
    ‘maximize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。
    ‘minimize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。

  • start_step (int, optional, default = 6) – トライアルが停止されるか否かが決定されます、報告された中間結果の start_step 数を受け取る後で予測を始めます。
  • threshold (float, optional, default = 0.95) – より悪い性能カーブを早期停止することを決定する閾値。
    例えば : if threshold = 0.95, optimize_mode = maximize, 履歴の最善性能が 0.9,
    then 予測値が 0.95 * 0.9 = 0.855 より低いトライアルを停止します。

  • gap (int, optional, default = 1) – Assesor 判断間の間隔。
    例えば : if gap = 2, start_step = 6, then 6, 8, 10, 12… 中間結果を得るときに結果を査定します。

 
使用例 :

# config.yml
assessor:
    builtinAssessorName: Curvefitting
    classArgs:
      epoch_num: 20
      optimize_mode: maximize
      start_step: 6
      threshold: 0.95
      gap: 1

 

NNI Tutorials : アセッサーをカスタマイズする

NNI は調整要求のために貴方自身でアセッサーを構築することをサポートします。

カスタマイズされたアセッサーを実装することを望むのであれば、行なうことが 3 つあります :

  1. 基底 Assessor クラスを継承する
  2. assess_trial 関数を実装する
  3. カスタマイズされたアセッサーを実験 YAML config ファイルで configure する

 
1. 基底 Assessor クラスを継承する

from nni.assessor import Assessor

class CustomizedAssessor(Assessor):
    def __init__(self, ...):
        ...

 
2. assess_trial 関数を実装する

from nni.assessor import Assessor, AssessResult

class CustomizedAssessor(Assessor):
    def __init__(self, ...):
        ...

    def assess_trial(self, trial_history):
        """
        Determines whether a trial should be killed. Must override.
        trial_history: a list of intermediate result objects.
        Returns AssessResult.Good or AssessResult.Bad.
        """
        # you code implement here.
        ...

 
3. カスタマイズされたアセッサーを実験 YAML config ファイルで configure する

NNI は貴方のカスタマイズされた Assessor クラスの位置を特定してクラスをインスタンス化する必要がありますので、カスタマイズされた Assessor クラスの位置を指定して literal 値を __init__ コンストラクタへのパラメータとして渡す必要があります。

assessor:
  codeDir: /home/abc/myassessor
  classFileName: my_customized_assessor.py
  className: CustomizedAssessor
  # Any parameter need to pass to your Assessor class __init__ constructor
  # can be specified in this optional classArgs field, for example 
  classArgs:
    arg1: value1

2 で注意してください。オブジェクト trial_history は SDK report_intermediate_result 関数を使用して Trial が Assessor に送る正確なオブジェクトです。

より詳細なサンプルを見ることができるでしょう :

 

以上