ホーム » NNI » AutoML : NNI 1.5 : 自動調整 : チューナー : TPE、ランダム探索と焼なまし

AutoML : NNI 1.5 : 自動調整 : チューナー : TPE、ランダム探索と焼なまし

AutoML : NNI 1.5 : 自動調整 : チューナー : TPE、ランダム探索と焼なまし (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
更新日時 : 05/30/2020
作成日時 : 05/26/2020

* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

自動調整 : チューナー : TPE、ランダム探索と焼なまし

TPE

TPE (Tree-structured Parzen Estimator, 木構造 Parzen 推定器) は SMBO (sequential model-based optimization, シーケンシャル・モデルベースの最適化) アプローチです。SMBO 法は計測履歴に基づきハイパーパラメータのパフォーマンスを見積もるためにモデルをシーケンシャルに構築し、それから続いてこのモデルに基づいてテストするために新しいパラメータを選択します。TPE アプローチは P(x|y) と P(y) をモデル化します、ここで x はハイパーパラメータをそして y は関連する評価メトリックを表します。P(x|y) は、configuration の事前分布をノンパラメトリック密度で置き換え、ハイパーパラメータの生成プロセスを変換することによりモデル化されます。この最適化アプローチは Algorithms for Hyper-Parameter Optimization で詳細に説明されます。

 
(※ 訳注: 上記参照ペーパーの abstract だけ翻訳しておきます。)

ハイパーパラメータ最適化のためのアルゴリズム (J. Bergstra, R. Bardenet, Y. Bengio and B. Kégl

画像分類ベンチマークにおける最先端技術への幾つかの最近の前進は特徴学習への新規アプローチよりも既存のテクニックのより良い configuration に由来しました。伝統的には、ハイパーパラメータ最適化は人間の仕事でした、何故ならば 2, 3 のトライアルだけが可能であるような体制ではそれが非常に効率的であり得たからです。現在では、コンピュータ・クラスタと GPU プロセッサがより多くのトライアルの実行を可能にし私達はアルゴリズム的なアプローチがより良い結果を見つけられることを示します。ニューラルネットワークと深層信念ネットワーク (DBN) を訓練するタスク上でハイパーパラメータ最適化結果を提示します。ランダム探索と期待改善量 (EI, expected improved) 基準に基づく 2 つの新しい greedy シークエンシャル法を使用してハイパーパラメータを最適化します。ランダム探索は幾つかのデータセットに対してニューラルネットワークを学習するために十分に効率的であることが示されましたが、DBN の訓練に対しては信頼できないことを示します。シークエンシャル・アルゴリズムは ([1] からの) 最も難しい DBN 学習問題に適用されて前に報告されたベストよりもはっきりと良い結果を見つけます。このワークは応答局面モデル P(y|x) を作成するための新規のテクニックに寄与します、そこではハイパーパラメータ割当ての多くの要素が (他の要素の特定の値が与えられたとき) 無関係であると知られています。

 

並列 TPE 最適化

TPE アプローチは複数コンピュータノードを利用してトライアル評価が終了するのを待つ浪費時間を回避するために実際には非同期に実行されます。元のアルゴリズム設計はシークエンシャル計算のために最適化されました。TPE を多くの同時性で使用したならば、そのパフォーマンスは悪いでしょう。私達は Constant Liar アルゴリズムを使用してこのケースを最適化しました。これらの最適化の原理については、研究ブログ を参照してください。

 

使用方法

TPE を使用するには、貴方の実験 YAML config ファイルに以下の仕様を追加するべきです :

tuner:
 builtinTunerName: TPE
 classArgs:
   optimize_mode: maximize
   parallel_optimize: True
   constant_liar_type: min

 
classArgs 要件 :

  • optimize_mode (maximize または minimize, オプション, default = maximize) –
    ‘maximize’ の場合、チューナーはメトリクスを最大化しようとします。
    ‘minimize’ の場合、チューナーはメトリクスを最小化しようとします。

  • parallel_optimize (bool、オプション、default = False) –
    True の場合、TPE は並列ハイパーパラメータ調整を最適化するために Constant Liar アルゴリズムを使用します。
    そうでなければ、TPE はシークエンシャルと並列状況の間を区別しません。

  • constant_liar_type (min or max or mean、オプション、default = min) –
    使用する constant liar の type は論理的には X における y により取られる値の規定で決定されます。3 つの可能な値があります、min{Y}, max{Y} と mean{Y} です。

 

ランダム探索 (Random Search)

ハイパーパラメータ最適化のためのランダム探索ではランダム探索がその単純性にもかかわらず驚くほど効果的であるかもしれないことを示します。ハイパーパラメータの事前分布についての知識が利用可能でないときベースラインとしてランダム探索を使用することを提案します。

 

焼なまし (Anneal)

この単純なアニーリング・アルゴリズムは事前分布からサンプリングすることにより開始しますが、点からのサンプリングは時間とともに (観測された) 最善のものにどんどん近づいていく傾向があります。このアルゴリズムは応答曲面 (= response surface) の滑らかさを活用するランダム探索の単純なバリエーションです。annealing rate は adaptive ではありません。

 

以上






AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com