Skip to content

ClasCat® AI Research

クラスキャット – 生成 AI, AI エージェント, MCP

Menu
  • ホーム
    • ClassCat® AI Research ホーム
    • クラスキャット・ホーム
  • OpenAI API
    • OpenAI Python ライブラリ 1.x : 概要
    • OpenAI ブログ
      • GPT の紹介
      • GPT ストアの紹介
      • ChatGPT Team の紹介
    • OpenAI platform 1.x
      • Get Started : イントロダクション
      • Get Started : クイックスタート (Python)
      • Get Started : クイックスタート (Node.js)
      • Get Started : モデル
      • 機能 : 埋め込み
      • 機能 : 埋め込み (ユースケース)
      • ChatGPT : アクション – イントロダクション
      • ChatGPT : アクション – Getting started
      • ChatGPT : アクション – アクション認証
    • OpenAI ヘルプ : ChatGPT
      • ChatGPTとは何ですか?
      • ChatGPT は真実を語っていますか?
      • GPT の作成
      • GPT FAQ
      • GPT vs アシスタント
      • GPT ビルダー
    • OpenAI ヘルプ : ChatGPT > メモリ
      • FAQ
    • OpenAI ヘルプ : GPT ストア
      • 貴方の GPT をフィーチャーする
    • OpenAI Python ライブラリ 0.27 : 概要
    • OpenAI platform
      • Get Started : イントロダクション
      • Get Started : クイックスタート
      • Get Started : モデル
      • ガイド : GPT モデル
      • ガイド : 画像生成 (DALL·E)
      • ガイド : GPT-3.5 Turbo 対応 微調整
      • ガイド : 微調整 1.イントロダクション
      • ガイド : 微調整 2. データセットの準備 / ケーススタディ
      • ガイド : 埋め込み
      • ガイド : 音声テキスト変換
      • ガイド : モデレーション
      • ChatGPT プラグイン : イントロダクション
    • OpenAI Cookbook
      • 概要
      • API 使用方法 : レート制限の操作
      • API 使用方法 : tiktoken でトークンを数える方法
      • GPT : ChatGPT モデルへの入力をフォーマットする方法
      • GPT : 補完をストリームする方法
      • GPT : 大規模言語モデルを扱う方法
      • 埋め込み : 埋め込みの取得
      • GPT-3 の微調整 : 分類サンプルの微調整
      • DALL-E : DALL·E で 画像を生成して編集する方法
      • DALL·E と Segment Anything で動的マスクを作成する方法
      • Whisper プロンプティング・ガイド
  • Gemini API
    • Tutorials : クイックスタート with Python (1) テキスト-to-テキスト生成
    • (2) マルチモーダル入力 / 日本語チャット
    • (3) 埋め込みの使用
    • (4) 高度なユースケース
    • クイックスタート with Node.js
    • クイックスタート with Dart or Flutter (1) 日本語動作確認
    • Gemma
      • 概要 (README)
      • Tutorials : サンプリング
      • Tutorials : KerasNLP による Getting Started
  • Keras 3
    • 新しいマルチバックエンド Keras
    • Keras 3 について
    • Getting Started : エンジニアのための Keras 入門
    • Google Colab 上のインストールと Stable Diffusion デモ
    • コンピュータビジョン – ゼロからの画像分類
    • コンピュータビジョン – 単純な MNIST convnet
    • コンピュータビジョン – EfficientNet を使用した微調整による画像分類
    • コンピュータビジョン – Vision Transformer による画像分類
    • コンピュータビジョン – 最新の MLPモデルによる画像分類
    • コンピュータビジョン – コンパクトな畳込み Transformer
    • Keras Core
      • Keras Core 0.1
        • 新しいマルチバックエンド Keras (README)
        • Keras for TensorFlow, JAX, & PyTorch
        • 開発者ガイド : Getting started with Keras Core
        • 開発者ガイド : 関数型 API
        • 開発者ガイド : シーケンシャル・モデル
        • 開発者ガイド : サブクラス化で新しい層とモデルを作成する
        • 開発者ガイド : 独自のコールバックを書く
      • Keras Core 0.1.1 & 0.1.2 : リリースノート
      • 開発者ガイド
      • Code examples
      • Keras Stable Diffusion
        • 概要
        • 基本的な使い方 (テキスト-to-画像 / 画像-to-画像変換)
        • 混合精度のパフォーマンス
        • インペインティングの簡易アプリケーション
        • (参考) KerasCV – Stable Diffusion を使用した高性能画像生成
  • TensorFlow
    • TF 2 : 初級チュートリアル
    • TF 2 : 上級チュートリアル
    • TF 2 : ガイド
    • TF 1 : チュートリアル
    • TF 1 : ガイド
  • その他
    • 🦜️🔗 LangChain ドキュメント / ユースケース
    • Stable Diffusion WebUI
      • Google Colab で Stable Diffusion WebUI 入門
      • HuggingFace モデル / VAE の導入
      • LoRA の利用
    • Diffusion Models / 拡散モデル
  • クラスキャット
    • 会社案内
    • お問合せ
    • Facebook
    • ClassCat® Blog
Menu

Auto ML : NNI Tutorials : アセッサー

Posted on 03/07/2019 by Sales Information

Auto ML : NNI Tutorials : アセッサー (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/07/2019

* 本ページは、NNI の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

  • https://nni.readthedocs.io/en/latest/assessors.html
  • https://nni.readthedocs.io/en/latest/Builtin_Assessors.html
  • https://nni.readthedocs.io/en/latest/Customize_Assessor.html

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

NNI Tutorials : アセッサー

計算リソースをセーブするために、NNI は早期停止 (= early stop) ポリシーをサポートしてこのジョブを終了するために アセッサー (Assessor) を作成します。
※ 訳注: Assessor は判定者、査定者の意味です。

アセッサーはトライアルから中間結果を受け取りトライアルが特定のアルゴリズムにより kill されるべきか否かを決定します。ひとたびトライアル実験が早期停止条件に遭遇すれば (これはアセッサーは最終結果について悲観的であることを意味します)、アセッサーはトライアルを kill してトライアルのステータスは “EARLY_STOPPED” になります。

ここに maximize モードで Curvefitting アセッサーを使用した後の MNIST の実験結果があります、アセッサーが悪いハイパーパラメータを持つ多くのトライアルを先立って成功的に 早期停止 したことが見て取れます。アセッサーを使用すれば、同じ計算リソースのもとでより良いハイパーパラメータを得るかもしれません。

実装されたコード・ディレクトリ: config_assessor.yml

チューナーのように、ユーザは組み込みアセッサーを使用するか彼ら自身のアセッサーをカスタマイズすることができます。

 

NNI Tutorials : 組み込みアセッサー

NNI は組み込みアセッサーで先端技術の調整アルゴリズムを提供してそれらを容易に利用できるようにしています。下は NNI の現在の組み込みアセッサーの簡潔な概要です。現在次のアセッサーをサポートします :

  • Medianstop
    Medianstop は単純な早期停止ルールです。それはステップ S でペンディング・トライアル X を停止します、もしそのトライアルのステップ S までの最善の目的値がステップ S までに報告された総ての完了したトライアルの目的 (値) の実行平均の median 値よりも厳密に悪い場合には。
    参照ペーパー

  • Curvefitting
    Curve Fitting Assessor は LPA (learning, predicting, assessing) アルゴリズムです。それはステップ S でペンディング・トライアルを停止します、もし最後のエポックのパフォーマンスの予測がトライアル履歴で最善の最後のパフォーマンスよりも悪い場合には。このアルゴリズムでは、精度カーブに fit させるために 12 カーブを使用します。
    参照ペーパー

 

組み込みアセッサーの使用方法

NNI SDK により提供される組み込みアセッサーの使用は config.yml で builtinAssessorName と classArgs を宣言することが必要です。このパートでは、推奨シナリオ、classArg 要件、そして各アセッサーのための例について詳細な使用方法を紹介します。

 

組み込みアセッサー名 : Medianstop

推奨シナリオ

広範囲の性能カーブで適用可能で、様々なシナリオで調整進捗をスピードアップするために利用できます。

 
classArg の要件

  • optimize_mode (maximize または minimize, optional, default = maximize) –
    ‘maximize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。
    ‘minimize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。

  • start_step (int, optional, default = 0) – 報告された中間結果の start_step 数を受け取る後で、トライアルが停止されるか否かが決定されます。

 
使用例 :

# config.yml
assessor:
    builtinAssessorName: Medianstop
    classArgs:
      optimize_mode: maximize
      start_step: 5

 

組み込みアセッサー名 : Curvefitting

推奨シナリオ

It is applicable in a wide range of performance curves, thus, can be used in various scenarios to speed up the tuning progress. Even better, it’s able to handle and assess curves with similar performance.

 
classArg の要件

  • epoch_num (int, required) – エポック総数。どの点で予測する必要があるか決定するエポック数を知る必要があります。
  • optimize_mode (maximize または minimize, optional, default = maximize) –
    ‘maximize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。
    ‘minimize’ の場合、アセッサーはより小さな expectation でトライアルを停止します。

  • start_step (int, optional, default = 6) – トライアルが停止されるか否かが決定されます、報告された中間結果の start_step 数を受け取る後で予測を始めます。
  • threshold (float, optional, default = 0.95) – より悪い性能カーブを早期停止することを決定する閾値。
    例えば : if threshold = 0.95, optimize_mode = maximize, 履歴の最善性能が 0.9,
    then 予測値が 0.95 * 0.9 = 0.855 より低いトライアルを停止します。

  • gap (int, optional, default = 1) – Assesor 判断間の間隔。
    例えば : if gap = 2, start_step = 6, then 6, 8, 10, 12… 中間結果を得るときに結果を査定します。

 
使用例 :

# config.yml
assessor:
    builtinAssessorName: Curvefitting
    classArgs:
      epoch_num: 20
      optimize_mode: maximize
      start_step: 6
      threshold: 0.95
      gap: 1

 

NNI Tutorials : アセッサーをカスタマイズする

NNI は調整要求のために貴方自身でアセッサーを構築することをサポートします。

カスタマイズされたアセッサーを実装することを望むのであれば、行なうことが 3 つあります :

  1. 基底 Assessor クラスを継承する
  2. assess_trial 関数を実装する
  3. カスタマイズされたアセッサーを実験 YAML config ファイルで configure する

 
1. 基底 Assessor クラスを継承する

from nni.assessor import Assessor

class CustomizedAssessor(Assessor):
    def __init__(self, ...):
        ...

 
2. assess_trial 関数を実装する

from nni.assessor import Assessor, AssessResult

class CustomizedAssessor(Assessor):
    def __init__(self, ...):
        ...

    def assess_trial(self, trial_history):
        """
        Determines whether a trial should be killed. Must override.
        trial_history: a list of intermediate result objects.
        Returns AssessResult.Good or AssessResult.Bad.
        """
        # you code implement here.
        ...

 
3. カスタマイズされたアセッサーを実験 YAML config ファイルで configure する

NNI は貴方のカスタマイズされた Assessor クラスの位置を特定してクラスをインスタンス化する必要がありますので、カスタマイズされた Assessor クラスの位置を指定して literal 値を __init__ コンストラクタへのパラメータとして渡す必要があります。

assessor:
  codeDir: /home/abc/myassessor
  classFileName: my_customized_assessor.py
  className: CustomizedAssessor
  # Any parameter need to pass to your Assessor class __init__ constructor
  # can be specified in this optional classArgs field, for example 
  classArgs:
    arg1: value1

2 で注意してください。オブジェクト trial_history は SDK report_intermediate_result 関数を使用して Trial が Assessor に送る正確なオブジェクトです。

より詳細なサンプルを見ることができるでしょう :

  • medianstop-assessor
  • curvefitting-assessor
 

以上






クラスキャット

最近の投稿

  • LangGraph on Colab : エージェント型 RAG
  • LangGraph : 例題 : エージェント型 RAG
  • LangGraph Platform : Get started : クイックスタート
  • LangGraph Platform : 概要
  • LangGraph : Prebuilt エージェント : ユーザインターフェイス

タグ

AutoGen (13) ClassCat Press Release (20) ClassCat TF/ONNX Hub (11) DGL 0.5 (14) Eager Execution (7) Edward (17) FLUX.1 (16) Gemini (20) HuggingFace Transformers 4.5 (10) HuggingFace Transformers 4.6 (7) HuggingFace Transformers 4.29 (9) Keras 2 Examples (98) Keras 2 Guide (16) Keras 3 (10) Keras Release Note (17) Kubeflow 1.0 (10) LangChain (45) LangGraph (22) MediaPipe 0.8 (11) Model Context Protocol (16) NNI 1.5 (16) OpenAI Agents SDK (8) OpenAI Cookbook (13) OpenAI platform (10) OpenAI platform 1.x (10) OpenAI ヘルプ (8) TensorFlow 2.0 Advanced Tutorials (33) TensorFlow 2.0 Advanced Tutorials (Alpha) (15) TensorFlow 2.0 Advanced Tutorials (Beta) (16) TensorFlow 2.0 Guide (10) TensorFlow 2.0 Guide (Alpha) (16) TensorFlow 2.0 Guide (Beta) (9) TensorFlow 2.0 Release Note (12) TensorFlow 2.0 Tutorials (20) TensorFlow 2.0 Tutorials (Alpha) (14) TensorFlow 2.0 Tutorials (Beta) (12) TensorFlow 2.4 Guide (24) TensorFlow Deploy (8) TensorFlow Get Started (7) TensorFlow Graphics (7) TensorFlow Probability (9) TensorFlow Programmer's Guide (22) TensorFlow Release Note (18) TensorFlow Tutorials (33) TF-Agents 0.4 (11)
2019年3月
月 火 水 木 金 土 日
 123
45678910
11121314151617
18192021222324
25262728293031
« 2月   4月 »
© 2025 ClasCat® AI Research | Powered by Minimalist Blog WordPress Theme