Skip to content

ClasCat® AI Research

クラスキャット – 生成 AI, AI エージェント, MCP

Menu
  • ホーム
    • ClassCat® AI Research ホーム
    • クラスキャット・ホーム
  • OpenAI API
    • OpenAI Python ライブラリ 1.x : 概要
    • OpenAI ブログ
      • GPT の紹介
      • GPT ストアの紹介
      • ChatGPT Team の紹介
    • OpenAI platform 1.x
      • Get Started : イントロダクション
      • Get Started : クイックスタート (Python)
      • Get Started : クイックスタート (Node.js)
      • Get Started : モデル
      • 機能 : 埋め込み
      • 機能 : 埋め込み (ユースケース)
      • ChatGPT : アクション – イントロダクション
      • ChatGPT : アクション – Getting started
      • ChatGPT : アクション – アクション認証
    • OpenAI ヘルプ : ChatGPT
      • ChatGPTとは何ですか?
      • ChatGPT は真実を語っていますか?
      • GPT の作成
      • GPT FAQ
      • GPT vs アシスタント
      • GPT ビルダー
    • OpenAI ヘルプ : ChatGPT > メモリ
      • FAQ
    • OpenAI ヘルプ : GPT ストア
      • 貴方の GPT をフィーチャーする
    • OpenAI Python ライブラリ 0.27 : 概要
    • OpenAI platform
      • Get Started : イントロダクション
      • Get Started : クイックスタート
      • Get Started : モデル
      • ガイド : GPT モデル
      • ガイド : 画像生成 (DALL·E)
      • ガイド : GPT-3.5 Turbo 対応 微調整
      • ガイド : 微調整 1.イントロダクション
      • ガイド : 微調整 2. データセットの準備 / ケーススタディ
      • ガイド : 埋め込み
      • ガイド : 音声テキスト変換
      • ガイド : モデレーション
      • ChatGPT プラグイン : イントロダクション
    • OpenAI Cookbook
      • 概要
      • API 使用方法 : レート制限の操作
      • API 使用方法 : tiktoken でトークンを数える方法
      • GPT : ChatGPT モデルへの入力をフォーマットする方法
      • GPT : 補完をストリームする方法
      • GPT : 大規模言語モデルを扱う方法
      • 埋め込み : 埋め込みの取得
      • GPT-3 の微調整 : 分類サンプルの微調整
      • DALL-E : DALL·E で 画像を生成して編集する方法
      • DALL·E と Segment Anything で動的マスクを作成する方法
      • Whisper プロンプティング・ガイド
  • Gemini API
    • Tutorials : クイックスタート with Python (1) テキスト-to-テキスト生成
    • (2) マルチモーダル入力 / 日本語チャット
    • (3) 埋め込みの使用
    • (4) 高度なユースケース
    • クイックスタート with Node.js
    • クイックスタート with Dart or Flutter (1) 日本語動作確認
    • Gemma
      • 概要 (README)
      • Tutorials : サンプリング
      • Tutorials : KerasNLP による Getting Started
  • Keras 3
    • 新しいマルチバックエンド Keras
    • Keras 3 について
    • Getting Started : エンジニアのための Keras 入門
    • Google Colab 上のインストールと Stable Diffusion デモ
    • コンピュータビジョン – ゼロからの画像分類
    • コンピュータビジョン – 単純な MNIST convnet
    • コンピュータビジョン – EfficientNet を使用した微調整による画像分類
    • コンピュータビジョン – Vision Transformer による画像分類
    • コンピュータビジョン – 最新の MLPモデルによる画像分類
    • コンピュータビジョン – コンパクトな畳込み Transformer
    • Keras Core
      • Keras Core 0.1
        • 新しいマルチバックエンド Keras (README)
        • Keras for TensorFlow, JAX, & PyTorch
        • 開発者ガイド : Getting started with Keras Core
        • 開発者ガイド : 関数型 API
        • 開発者ガイド : シーケンシャル・モデル
        • 開発者ガイド : サブクラス化で新しい層とモデルを作成する
        • 開発者ガイド : 独自のコールバックを書く
      • Keras Core 0.1.1 & 0.1.2 : リリースノート
      • 開発者ガイド
      • Code examples
      • Keras Stable Diffusion
        • 概要
        • 基本的な使い方 (テキスト-to-画像 / 画像-to-画像変換)
        • 混合精度のパフォーマンス
        • インペインティングの簡易アプリケーション
        • (参考) KerasCV – Stable Diffusion を使用した高性能画像生成
  • TensorFlow
    • TF 2 : 初級チュートリアル
    • TF 2 : 上級チュートリアル
    • TF 2 : ガイド
    • TF 1 : チュートリアル
    • TF 1 : ガイド
  • その他
    • 🦜️🔗 LangChain ドキュメント / ユースケース
    • Stable Diffusion WebUI
      • Google Colab で Stable Diffusion WebUI 入門
      • HuggingFace モデル / VAE の導入
      • LoRA の利用
    • Diffusion Models / 拡散モデル
  • クラスキャット
    • 会社案内
    • お問合せ
    • Facebook
    • ClassCat® Blog
Menu

TensorFlow 機械学習ガイド : テキスト分類 (5) ハイパーパラメータの調整、モデルの配備、バッチ訓練

Posted on 08/23/2018 by Sales Information

TensorFlow 機械学習ガイド : テキスト分類 (5) ハイパーパラメータの調整、モデルの配備、バッチ訓練 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 08/23/2018

* 本ページは、developers.google.com サイトの Machine Learning Guides : Text classification の以下のページを
翻訳した上で適宜、補足説明したものです:

  • Step 5: Tune Hyperparameters
  • Step 6: Deploy Your Model
  • Conclusion
  • Appendix: Batch Training

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

Step 5: ハイパーパラメータを調整する

モデルを定義して訓練するためにハイパーパラメータの数字を選択しなければなりませんでした。直感、例そしてベストプラクティス推奨に依拠しました。けれども、ハイパーパラメータ値の最初の選択は最善の結果を産まないかもしれません。それは訓練のための良い開始点を与えてくれるだけです。総ての問題は異なり、これらのハイパーパラメータの調整は手元の問題の特殊性をより良く表わすためにモデルを改良することに役立ちます。使用したハイパーパラメータの幾つかとそれらの調整が意味するものを見てみましょう :

  • モデルの層数: ニューラルネットワークの層の数はその複雑さの指標です。この値を選択する際に慎重でなければなりません。多すぎる層はモデルに訓練データについて多過ぎる情報を学習することを可能にし、overfitting を引き起こします。少な過ぎる層はモデルの学習能力を制限することができて、underfitting を引き起こします。テキスト分類データセットのためには、1, 2, そして 3 層 MLP で実験しました。2 層を持つモデルは上手く遂行し、ある場合には 3 層モデルよりもより良かったです。同様に、4 と 6 層を持つ sepCNN を試し、4 層モデルが上手く遂行しました。
  • 層毎のユニット数: 層のユニットは層が遂行する変換のための情報を保持しなければなりません。最初の層については、これは特徴数により駆動されます。続く層内では、ユニット数は前の層からの表現を拡大するか縮小するかの選択に依拠します。層間の情報損失を最小化してみます。範囲 [8, 16, 32, 64] のユニット数を試して、32/64 ユニットが上手く動作しました。
  • Dropout 比率: Dropout 層は正則化のためにモデルで使用されます。それらは overfitting のための予防として drop する入力の比率を定義します。推奨範囲: 0.2–0.5 です。
  • 学習率: これらはニューラルネットワーク重みが反復間で変更する比率です。巨大な学習率は重みの巨大な変動を引き起こすかもしれません、そしてそれらの最適な値を決して見つけられないかもしれません。低い学習率は良いですが、モデルは収束するためにより多くの反復を取るでしょう。低く始めるのは良い考えです、例えば 1e-4 です。訓練が非常に遅いのであれば、この値を増やします。モデルが学習してないのであれば、学習率を減少してみてください。

 
調整した 2 つの追加のハイパーパラメータがあります、これは sepCNN モデルに固有のものです :

  1. カーネル・サイズ: 畳み込みウィンドウのサイズです。推奨値: 3 または 5 です。
  2. 埋め込み次元: 単語埋め込みを表わすために使用することを望む次元数です — i.e., 各単語ベクトルのサイズです。推奨値: 50-300 です。実験では、事前訓練された埋め込み層を持つ 200 次元を持つ GloVe 埋め込みを使用しました。

これらのハイパーパラメータで遊んでみて何が最善に動作するかを見てください。ひとたび貴方のユースケースについて最もパフォーマンスの良いパラメータを選択すれば、貴方のモデルは配備される準備ができました。

 

Step 6: モデルを配備する

Google Cloud 上で機械学習モデルを訓練、調整そして配備することができます。プロダクションのために貴方のモデルを配備する際のガイダンスについて以下のリソースを見てください :

  • TensorFlow serving で Keras モデルをどのようにエクスポートするかの チュートリアル。
  • TensorFlow serving ドキュメント。
  • Google Cloud 上でモデルを訓練して配備するための ガイド。

貴方のモデルを配備するとき以下の主要なことに留意してください :

  • プロダクション・データは訓練と評価データと同じ分布に従ってください。
  • 定期的により多くの訓練データを集めて再評価してください。
  • データ分布が変われば、モデルを再訓練してください。

 

おわりに

テキスト分類は様々なプロダクションに渡るアプリケーションに伴う基礎的な機械学習問題です。このガイドでは、テキスト分類のワークフローを幾つかのステップに分解しました。各ステップについて、貴方の特定のデータセット特性に基づいてカスタマイズしたアプローチを提案してきました。特に、number of samples の number of words per sample に対する比率を利用して、ベスト・パフォーマンスに迅速に近づけるモデル・タイプを提案します。他のステップはこの選択まわりに設計されています。このガイドに従って、付随するコード、そしてフローチャートが貴方が学習し、理解し、そして貴方のテキスト分類問題への素早い素案としてのソリューションを得る助けとなることを望みます。

 

Appendix: バッチ訓練

非常に巨大なデータセットはプロセスに割り当てられたメモリに収まらないかもしれません。前のステップでは、パイプラインを設定しました、そこではデータセット全体をメモリに持ち込み、データを準備して、そして訓練関数に作業用セットを渡します。代わりに、Keras はバッチでデータを取得する、代わりの訓練関数 (fit_generator) を提供します。これはデータ・パイプラインの変換をデータの小さい (batch_size の倍数) 部分に適用することを可能にします。実験の間、DBPedia, Amazon レビュー, Ag ニュース, そして Yelp レビューのようなデータセットのためにバッチ処理を使用しました。

次のコードはどのようにデータバッチを生成してそれらを fit_generator に供給するかを示します。

def _data_generator(x, y, num_features, batch_size):
    """Generates batches of vectorized texts for training/validation.

    # Arguments
        x: np.matrix, feature matrix.
        y: np.ndarray, labels.
        num_features: int, number of features.
        batch_size: int, number of samples per batch.

    # Returns
        Yields feature and label data in batches.
    """
    num_samples = x.shape[0]
    num_batches = num_samples // batch_size
    if num_samples % batch_size:
        num_batches += 1

    while 1:
        for i in range(num_batches):
            start_idx = i * batch_size
            end_idx = (i + 1) * batch_size
            if end_idx > num_samples:
                end_idx = num_samples
            x_batch = x[start_idx:end_idx]
            y_batch = y[start_idx:end_idx]
            yield x_batch, y_batch

# Create training and validation generators.
training_generator = _data_generator(
    x_train, train_labels, num_features, batch_size)
validation_generator = _data_generator(
    x_val, val_labels, num_features, batch_size)

# Get number of training steps. This indicated the number of steps it takes
# to cover all samples in one epoch.
steps_per_epoch = x_train.shape[0] // batch_size
if x_train.shape[0] % batch_size:
    steps_per_epoch += 1

# Get number of validation steps.
validation_steps = x_val.shape[0] // batch_size
if x_val.shape[0] % batch_size:
    validation_steps += 1

# Train and validate model.
history = model.fit_generator(
    generator=training_generator,
    steps_per_epoch=steps_per_epoch,
    validation_data=validation_generator,
    validation_steps=validation_steps,
    callbacks=callbacks,
    epochs=epochs,
    verbose=2)  # Logs once per epoch.
 

以上



クラスキャット

最近の投稿

  • LangGraph 0.5 : エージェント開発 : prebuilt コンポーネントを使用したエージェント開発
  • LangGraph 0.5 : Get started : ローカルサーバの実行
  • LangGraph 0.5 on Colab : Get started : human-in-the-loop 制御の追加
  • LangGraph 0.5 on Colab : Get started : Tavily Web 検索ツールの追加
  • LangGraph 0.5 on Colab : Get started : カスタム・ワークフローの構築

タグ

AutoGen (13) ClassCat Press Release (20) ClassCat TF/ONNX Hub (11) DGL 0.5 (14) Eager Execution (7) Edward (17) FLUX.1 (16) Gemini (20) HuggingFace Transformers 4.5 (10) HuggingFace Transformers 4.6 (7) HuggingFace Transformers 4.29 (9) Keras 2 Examples (98) Keras 2 Guide (16) Keras 3 (10) Keras Release Note (17) Kubeflow 1.0 (10) LangChain (45) LangGraph (24) MediaPipe 0.8 (11) Model Context Protocol (16) NNI 1.5 (16) OpenAI Agents SDK (8) OpenAI Cookbook (13) OpenAI platform (10) OpenAI platform 1.x (10) OpenAI ヘルプ (8) TensorFlow 2.0 Advanced Tutorials (33) TensorFlow 2.0 Advanced Tutorials (Alpha) (15) TensorFlow 2.0 Advanced Tutorials (Beta) (16) TensorFlow 2.0 Guide (10) TensorFlow 2.0 Guide (Alpha) (16) TensorFlow 2.0 Guide (Beta) (9) TensorFlow 2.0 Release Note (12) TensorFlow 2.0 Tutorials (20) TensorFlow 2.0 Tutorials (Alpha) (14) TensorFlow 2.0 Tutorials (Beta) (12) TensorFlow 2.4 Guide (24) TensorFlow Deploy (8) TensorFlow Get Started (7) TensorFlow Graphics (7) TensorFlow Probability (9) TensorFlow Programmer's Guide (22) TensorFlow Release Note (18) TensorFlow Tutorials (33) TF-Agents 0.4 (11)
2018年8月
月 火 水 木 金 土 日
 12345
6789101112
13141516171819
20212223242526
2728293031  
« 7月   9月 »
© 2025 ClasCat® AI Research | Powered by Minimalist Blog WordPress Theme