Skip to content

ClasCat® AI Research

クラスキャット – 生成 AI, AI エージェント, MCP

Menu
  • ホーム
    • ClassCat® AI Research ホーム
    • クラスキャット・ホーム
  • OpenAI API
    • OpenAI Python ライブラリ 1.x : 概要
    • OpenAI ブログ
      • GPT の紹介
      • GPT ストアの紹介
      • ChatGPT Team の紹介
    • OpenAI platform 1.x
      • Get Started : イントロダクション
      • Get Started : クイックスタート (Python)
      • Get Started : クイックスタート (Node.js)
      • Get Started : モデル
      • 機能 : 埋め込み
      • 機能 : 埋め込み (ユースケース)
      • ChatGPT : アクション – イントロダクション
      • ChatGPT : アクション – Getting started
      • ChatGPT : アクション – アクション認証
    • OpenAI ヘルプ : ChatGPT
      • ChatGPTとは何ですか?
      • ChatGPT は真実を語っていますか?
      • GPT の作成
      • GPT FAQ
      • GPT vs アシスタント
      • GPT ビルダー
    • OpenAI ヘルプ : ChatGPT > メモリ
      • FAQ
    • OpenAI ヘルプ : GPT ストア
      • 貴方の GPT をフィーチャーする
    • OpenAI Python ライブラリ 0.27 : 概要
    • OpenAI platform
      • Get Started : イントロダクション
      • Get Started : クイックスタート
      • Get Started : モデル
      • ガイド : GPT モデル
      • ガイド : 画像生成 (DALL·E)
      • ガイド : GPT-3.5 Turbo 対応 微調整
      • ガイド : 微調整 1.イントロダクション
      • ガイド : 微調整 2. データセットの準備 / ケーススタディ
      • ガイド : 埋め込み
      • ガイド : 音声テキスト変換
      • ガイド : モデレーション
      • ChatGPT プラグイン : イントロダクション
    • OpenAI Cookbook
      • 概要
      • API 使用方法 : レート制限の操作
      • API 使用方法 : tiktoken でトークンを数える方法
      • GPT : ChatGPT モデルへの入力をフォーマットする方法
      • GPT : 補完をストリームする方法
      • GPT : 大規模言語モデルを扱う方法
      • 埋め込み : 埋め込みの取得
      • GPT-3 の微調整 : 分類サンプルの微調整
      • DALL-E : DALL·E で 画像を生成して編集する方法
      • DALL·E と Segment Anything で動的マスクを作成する方法
      • Whisper プロンプティング・ガイド
  • Gemini API
    • Tutorials : クイックスタート with Python (1) テキスト-to-テキスト生成
    • (2) マルチモーダル入力 / 日本語チャット
    • (3) 埋め込みの使用
    • (4) 高度なユースケース
    • クイックスタート with Node.js
    • クイックスタート with Dart or Flutter (1) 日本語動作確認
    • Gemma
      • 概要 (README)
      • Tutorials : サンプリング
      • Tutorials : KerasNLP による Getting Started
  • Keras 3
    • 新しいマルチバックエンド Keras
    • Keras 3 について
    • Getting Started : エンジニアのための Keras 入門
    • Google Colab 上のインストールと Stable Diffusion デモ
    • コンピュータビジョン – ゼロからの画像分類
    • コンピュータビジョン – 単純な MNIST convnet
    • コンピュータビジョン – EfficientNet を使用した微調整による画像分類
    • コンピュータビジョン – Vision Transformer による画像分類
    • コンピュータビジョン – 最新の MLPモデルによる画像分類
    • コンピュータビジョン – コンパクトな畳込み Transformer
    • Keras Core
      • Keras Core 0.1
        • 新しいマルチバックエンド Keras (README)
        • Keras for TensorFlow, JAX, & PyTorch
        • 開発者ガイド : Getting started with Keras Core
        • 開発者ガイド : 関数型 API
        • 開発者ガイド : シーケンシャル・モデル
        • 開発者ガイド : サブクラス化で新しい層とモデルを作成する
        • 開発者ガイド : 独自のコールバックを書く
      • Keras Core 0.1.1 & 0.1.2 : リリースノート
      • 開発者ガイド
      • Code examples
      • Keras Stable Diffusion
        • 概要
        • 基本的な使い方 (テキスト-to-画像 / 画像-to-画像変換)
        • 混合精度のパフォーマンス
        • インペインティングの簡易アプリケーション
        • (参考) KerasCV – Stable Diffusion を使用した高性能画像生成
  • TensorFlow
    • TF 2 : 初級チュートリアル
    • TF 2 : 上級チュートリアル
    • TF 2 : ガイド
    • TF 1 : チュートリアル
    • TF 1 : ガイド
  • その他
    • 🦜️🔗 LangChain ドキュメント / ユースケース
    • Stable Diffusion WebUI
      • Google Colab で Stable Diffusion WebUI 入門
      • HuggingFace モデル / VAE の導入
      • LoRA の利用
    • Diffusion Models / 拡散モデル
  • クラスキャット
    • 会社案内
    • お問合せ
    • Facebook
    • ClassCat® Blog
Menu

TensorFlow Hub : コモン・シグネチャ

Posted on 04/11/2018 by Sales Information

TensorFlow Hub : コモン・シグネチャ (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
再作成日時 : 04/11/2018

* 本ページは、TensorFlow の本家サイトの Hub – Common Signatures 3編を翻訳した上で適宜、補足説明したものです:

  • Common Signatures for Modules
  • Common Signatures for Images
  • Common Signatures for Text

* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

モジュールのためのコモン・シグネチャ

イントロダクション

同じタスクのためのモジュールはコモン・シグネチャを実装するべきです、その結果モジュール消費者はそれらを容易に取り替えて彼らの問題のために最善の一つを見つけることができます。

このディレクトリはコモン・シグネチャの仕様を集めます。モジュールがタスクのより広い種類のために作成されるにつれて、私達はそれに時間とともに成長することを期待します。

最善のケースでは、コモン・シグネチャの仕様は、消費者がモジュールの内部について何も知ることなしに output = module(inputs) を単に呼び出せるような十分に強力な保証を提供します。もし何某かの適応が不可避である場合には、それをカプセル化するためのライブラリ関数を供給し、シグネチャに沿ってそれらをドキュメント化することを提案します。

いずれの場合でも、目標は、同じタスクに対する異なるモジュールの交換を行なうことを文字列化されたハイパーパラメータを切り替えるようにできるだけ単純にすることです。

 

画像のためのコモン・シグネチャ

このページは画像関連タスクのためのモジュールにより実装されるべきコモンシグネチャを記述します。

幾つかのモジュールは一つのタスク以上のために利用できます (e.g., 画像分類モジュールはある種の特徴抽出を途中で行なう傾向にあります)。従って、各モジュールは以下を提供します : (1) 公開者により想定される総てのタスクのための名前付けられたシグネチャ、そして (2) それの選定された主要タスクのためのデフォルト・シグネチャ output = m(images)。

 

画像特徴ベクトル

使用方法要約

画像特徴ベクトルは画像全体を表わす 1-D 密テンソルで、典型的には消費者モデルによる分類のためのものです。(CNN の中間的な活性とは違い、それは空間的な分解を与えません。画像分類 とは違い、それは公開者モデルにより学習された分類を破棄します。)

画像特徴抽出のためのモジュールは、画像のバッチを特徴ベクトルのバッチにマップするデフォルト・シグネチャを持ちます。それは次のように使用されます :

  module_spec = hub.load_module_spec("path/to/module")
  height, width = hub.get_expected_image_size(module_spec)
  images = ...  # A batch of images with shape [batch_size, height, width, 3].
  module = hub.Module(module_spec)
  features = module(images)   # A batch with shape [batch_size, num_features].

それはまた対応する名前付けられたシグネチャも定義します。

 

シグネチャ仕様

画像特徴ベクトルを抽出するための名前付けられたシグネチャは次のようにして呼び起こされます :

  outputs = module(dict(images=images), signature="image_feature_vector",
                   as_dict=True)
  features = outputs["default"]

入力は 画像の入力 のための一般的な慣習をフォローします。

outputs 辞書は dtype float32 そして shape [batch_size, num_features] の “default” 出力を含みます。batch_size は入力内と同じですが、グラフ構築時には知られていません。num_features は既知の、入力サイズから独立したモジュール特定の定数です。

これらの特徴ベクトルは、(画像分類のための典型的 CNN の最上端の畳み込み層から pool された特徴のように) 単純な順伝播分類器を持つ分類のために利用可能であることが意図されています。

出力特徴にドロップアウトを適用するか (あるいは否か) はモデル消費者に委ねられます。モジュールそれ自身は実際の outputs 上でドロップアウトを遂行するべきではありません (それが他の場所では内部的にドロップアウトを使用する場合でさえも)。

outputs 辞書はそれ以上の outputs、例えば、モジュール内部の隠れ層の活性を提供しても良いです。それらのキーと値はモジュール依存です。アーキテクチャ名を持つアーキテクチャ依存のキーで prefix することが推奨されます (e.g., 中間層 “InceptionV3/Mixed_5c” を最上端の畳み込み層 “InceptionV2/Mixed_5c” と混同することを回避するため)。

 

画像分類

使用方法要約

画像分類は画像のピクセルをモジュール公開者により選択された分類学上のクラス内のメンバーシップのための線形スコア (ロジット) にマップします。これは消費者に単にその基礎的な特徴だけではなく (cf. 画像特徴ベクトル )、公開者モジュールにより学習された特定の分類から結果を引き出すことを可能にします。

画像特徴抽出 (訳注: 原文まま) のためのモジュールは画像のバッチをロジットのバッチにマップするデフォルト・シグネチャを持ちます 。それは次のように使用されます :

  module_spec = hub.load_module_spec("path/to/module")
  height, width = hub.get_expected_image_size(module_spec)
  images = ...  # A batch of images with shape [batch_size, height, width, 3].
  module = hub.Module(module_spec)
  logits = module(images)   # A batch with shape [batch_size, num_classes].

それはまた対応する名前付けられたシグネチャを定義します。

 

シグネチャ仕様

画像特徴ベクトル (訳注: 原文まま) を抽出するための名前付けられたシグネチャは次のように呼び起こされます :

  outputs = module(dict(images=images), signature="image_classification",
                   as_dict=True)
  logits = outputs["default"]

outputs 辞書は dtype float32 と shape [batch_size, num_classes] の “default” 出力を含みます batch_size は入力内と同じですが、グラフ構築時には知られていません。num_classes は分類におけるクラスの数で、これは入力サイズから独立の既知の定数です。

outputs[“default”][i, c] の評価はインデックス c を持つクラスのサンプル i のメンバーシップを予測するスコアを生成します。

それはこれらのスコアが softmax (互いに排他的なクラスのため), sigmoid (直交するクラスのため), あるいは他の何かで使用されることを意図していても基礎的な分類に依存します。モジュール・ドキュメントはこれを記述して、クラス・インデックスの定義に言及するべきです。

outputs 辞書はそれ以上の outputs、例えば、モジュール内部の隠れ層の活性を提供しても良いです。それらのキーと値はモジュール依存です。アーキテクチャ名を持つアーキテクチャ依存のキーで prefix することが推奨されます (e.g., 中間層 “InceptionV3/Mixed_5c” を最上端の畳み込み層 “InceptionV2/Mixed_5c” と混同することを回避するため)。

 

画像入力

これは画像モジュールと画像シグネチャの総てのタイプに共通です。

入力として画像のバッチを取るシグネチャはそれらを dtype float32 そして shape [batch_size, height, width, 3] の 4-D 密 tensor として受け取ります。それらの要素は範囲 [0, 1] に正規化されたピクセルの RGB カラー値です。これは tf.images.decode_*() 続いて tf.image.convert_image_dtype(…, tf.float32) から得るものです。

画像の正確に一つ (または一つの主要な) 入力を持つモジュールはこの入力のために名前 “images” を使用します。

モジュールは任意の batch_size を受け取り、それに対応して TensorInfo.tensor_shape の最初の次元を “unknown” に設定します。最後の次元は RGB チャネルの数字 3 に固定されます。高さと幅の次元は入力画像の想定されるサイズに固定されます。(更なるワークは完全畳み込みモジュールのためのその制限は除去するかもしれません。)

モジュールの消費者は shape を直接的に調査するべきではありませんが、モジュールまたはモジュール仕様上で hub.get_expected_image_size() を呼び出すことによりサイズ情報を得るべきです、そしてそれに従って入力画像をリサイズすることが想定されます (典型的にはバッチ処理の前/間)。

単純化のために、TF-Hub モジュールは Tensor の channels_last (または NHWC) レイアウトを使用し、必要であれば channels_first (または NCHW) に書き換えることを TensorFlow のグラフ optimizer に任せます。TensorFlow バージョン 1.7 からデフォルトでそれを行なっています。

 

テキストのためのコモン・シグネチャ

このページは、テキスト入力を受け取るタスクのためのモジュールにより実装されるべきコモン・シグネチャを記述します。

 

テキスト特徴ベクトル

テキスト特徴ベクトル・モジュールはテキスト特徴からの密ベクトル表現を作成します。それは shape [batch_size] の文字列のバッチを受け取りそしてそれらを shape [batch_size, N] の float32 tensor にマップします。これはしばしば次元 N のテキスト埋め込みと呼ばれます。

 

基本的な使用方法

  embed = hub.Module("path/to/module")
  representations = embed([
      "A long sentence.",
      "single-word",
      "http://example.com"])

 

特徴カラム使用方法

    feature_columns = [
      hub.text_embedding_column("comment", "path/to/module", trainable=False),
    ]
    input_fn = tf.estimator.input.numpy_input_fn(features, labels, shuffle=True)
    estimator = tf.estimator.DNNClassifier(hidden_units, feature_columns)
    estimator.train(input_fn, max_steps=100)

 

Notes

モジュールは異なるドメイン and/or タスク上で事前訓練されています、そしてそれ故に総てのテキスト特徴ベクトル・モジュールが貴方の問題に適切であるとは限らないでしょう。E.g.: 幾つかのモジュールは単一の言語上で訓練されているでしょう。

 

以上


クラスキャット

最近の投稿

  • LangGraph 0.5 : エージェント開発 : ワークフローとエージェント
  • LangGraph 0.5 : エージェント開発 : エージェントの実行
  • LangGraph 0.5 : エージェント開発 : prebuilt コンポーネントを使用したエージェント開発
  • LangGraph 0.5 : Get started : ローカルサーバの実行
  • LangGraph 0.5 on Colab : Get started : human-in-the-loop 制御の追加

タグ

AutoGen (13) ClassCat Press Release (20) ClassCat TF/ONNX Hub (11) DGL 0.5 (14) Eager Execution (7) Edward (17) FLUX.1 (16) Gemini (20) HuggingFace Transformers 4.5 (10) HuggingFace Transformers 4.6 (7) HuggingFace Transformers 4.29 (9) Keras 2 Examples (98) Keras 2 Guide (16) Keras 3 (10) Keras Release Note (17) Kubeflow 1.0 (10) LangChain (45) LangGraph (24) LangGraph 0.5 (8) MediaPipe 0.8 (11) Model Context Protocol (16) NNI 1.5 (16) OpenAI Agents SDK (8) OpenAI Cookbook (13) OpenAI platform (10) OpenAI platform 1.x (10) OpenAI ヘルプ (8) TensorFlow 2.0 Advanced Tutorials (33) TensorFlow 2.0 Advanced Tutorials (Alpha) (15) TensorFlow 2.0 Advanced Tutorials (Beta) (16) TensorFlow 2.0 Guide (10) TensorFlow 2.0 Guide (Alpha) (16) TensorFlow 2.0 Guide (Beta) (9) TensorFlow 2.0 Release Note (12) TensorFlow 2.0 Tutorials (20) TensorFlow 2.0 Tutorials (Alpha) (14) TensorFlow 2.0 Tutorials (Beta) (12) TensorFlow 2.4 Guide (24) TensorFlow Deploy (8) TensorFlow Get Started (7) TensorFlow Probability (9) TensorFlow Programmer's Guide (22) TensorFlow Release Note (18) TensorFlow Tutorials (33) TF-Agents 0.4 (11)
2018年4月
月 火 水 木 金 土 日
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« 3月   5月 »
© 2025 ClasCat® AI Research | Powered by Minimalist Blog WordPress Theme