Skip to content

ClasCat® AI Research

クラスキャット – 生成 AI, AI エージェント, MCP

Menu
  • ホーム
    • ClassCat® AI Research ホーム
    • クラスキャット・ホーム
  • OpenAI API
    • OpenAI Python ライブラリ 1.x : 概要
    • OpenAI ブログ
      • GPT の紹介
      • GPT ストアの紹介
      • ChatGPT Team の紹介
    • OpenAI platform 1.x
      • Get Started : イントロダクション
      • Get Started : クイックスタート (Python)
      • Get Started : クイックスタート (Node.js)
      • Get Started : モデル
      • 機能 : 埋め込み
      • 機能 : 埋め込み (ユースケース)
      • ChatGPT : アクション – イントロダクション
      • ChatGPT : アクション – Getting started
      • ChatGPT : アクション – アクション認証
    • OpenAI ヘルプ : ChatGPT
      • ChatGPTとは何ですか?
      • ChatGPT は真実を語っていますか?
      • GPT の作成
      • GPT FAQ
      • GPT vs アシスタント
      • GPT ビルダー
    • OpenAI ヘルプ : ChatGPT > メモリ
      • FAQ
    • OpenAI ヘルプ : GPT ストア
      • 貴方の GPT をフィーチャーする
    • OpenAI Python ライブラリ 0.27 : 概要
    • OpenAI platform
      • Get Started : イントロダクション
      • Get Started : クイックスタート
      • Get Started : モデル
      • ガイド : GPT モデル
      • ガイド : 画像生成 (DALL·E)
      • ガイド : GPT-3.5 Turbo 対応 微調整
      • ガイド : 微調整 1.イントロダクション
      • ガイド : 微調整 2. データセットの準備 / ケーススタディ
      • ガイド : 埋め込み
      • ガイド : 音声テキスト変換
      • ガイド : モデレーション
      • ChatGPT プラグイン : イントロダクション
    • OpenAI Cookbook
      • 概要
      • API 使用方法 : レート制限の操作
      • API 使用方法 : tiktoken でトークンを数える方法
      • GPT : ChatGPT モデルへの入力をフォーマットする方法
      • GPT : 補完をストリームする方法
      • GPT : 大規模言語モデルを扱う方法
      • 埋め込み : 埋め込みの取得
      • GPT-3 の微調整 : 分類サンプルの微調整
      • DALL-E : DALL·E で 画像を生成して編集する方法
      • DALL·E と Segment Anything で動的マスクを作成する方法
      • Whisper プロンプティング・ガイド
  • Gemini API
    • Tutorials : クイックスタート with Python (1) テキスト-to-テキスト生成
    • (2) マルチモーダル入力 / 日本語チャット
    • (3) 埋め込みの使用
    • (4) 高度なユースケース
    • クイックスタート with Node.js
    • クイックスタート with Dart or Flutter (1) 日本語動作確認
    • Gemma
      • 概要 (README)
      • Tutorials : サンプリング
      • Tutorials : KerasNLP による Getting Started
  • Keras 3
    • 新しいマルチバックエンド Keras
    • Keras 3 について
    • Getting Started : エンジニアのための Keras 入門
    • Google Colab 上のインストールと Stable Diffusion デモ
    • コンピュータビジョン – ゼロからの画像分類
    • コンピュータビジョン – 単純な MNIST convnet
    • コンピュータビジョン – EfficientNet を使用した微調整による画像分類
    • コンピュータビジョン – Vision Transformer による画像分類
    • コンピュータビジョン – 最新の MLPモデルによる画像分類
    • コンピュータビジョン – コンパクトな畳込み Transformer
    • Keras Core
      • Keras Core 0.1
        • 新しいマルチバックエンド Keras (README)
        • Keras for TensorFlow, JAX, & PyTorch
        • 開発者ガイド : Getting started with Keras Core
        • 開発者ガイド : 関数型 API
        • 開発者ガイド : シーケンシャル・モデル
        • 開発者ガイド : サブクラス化で新しい層とモデルを作成する
        • 開発者ガイド : 独自のコールバックを書く
      • Keras Core 0.1.1 & 0.1.2 : リリースノート
      • 開発者ガイド
      • Code examples
      • Keras Stable Diffusion
        • 概要
        • 基本的な使い方 (テキスト-to-画像 / 画像-to-画像変換)
        • 混合精度のパフォーマンス
        • インペインティングの簡易アプリケーション
        • (参考) KerasCV – Stable Diffusion を使用した高性能画像生成
  • TensorFlow
    • TF 2 : 初級チュートリアル
    • TF 2 : 上級チュートリアル
    • TF 2 : ガイド
    • TF 1 : チュートリアル
    • TF 1 : ガイド
  • その他
    • 🦜️🔗 LangChain ドキュメント / ユースケース
    • Stable Diffusion WebUI
      • Google Colab で Stable Diffusion WebUI 入門
      • HuggingFace モデル / VAE の導入
      • LoRA の利用
    • Diffusion Models / 拡散モデル
  • クラスキャット
    • 会社案内
    • お問合せ
    • Facebook
    • ClassCat® Blog
Menu

TensorFlow 2.4 : ガイド : 基本 – Ragged Tensor パート I

Posted on 01/04/2021 by Sales Information

TensorFlow 2.4 : ガイド : 基本 – Ragged Tensor パート I (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 01/04/2021

* 本ページは、TensorFlow org サイトの Guide – TensorFlow Basics の以下のページの 前半部 を翻訳した上で
適宜、補足説明したものです:

  • Ragged tensors

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

★ 無料セミナー実施中 ★ クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマにウェビナー (WEB セミナー) を定期的に開催しています。スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。
クラスキャットは人工知能・テレワークに関する各種サービスを提供しております :

人工知能研究開発支援 人工知能研修サービス テレワーク & オンライン授業を支援
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。

◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com ; WebSite: https://www.classcat.com/
Facebook: https://www.facebook.com/ClassCatJP/

 
 

 

ガイド : 基本 – Ragged Tensor パート I

  • API ドキュメント: tf.RaggedTensor tf.ragged

 

セットアップ

import math
import tensorflow as tf

 

概要

貴方のデータは多くの shape で出現します ; 貴方の tensor もそのはずです。Ragged (不規則な) tensor はネストされた可変長リストの TensorFlow の等値のものです。それらは以下を含む、一様ではない (= non-uniform) shape を持つデータをストアして処理することを容易にします :

  • 映画の役者のセットのような、可変長特徴。
  • センテンスやビデオ・クリップのような、可変長シーケンシャル入力のバッチ。
  • セクション、パラグラフ、センテンスと単語に部分分割できるテキストドキュメントのような、階層的入力。
  • プロトコルバッファのような、構造化入力の個々のフィールド。

 

ragged tensor で何ができるか

ragged tensor は (tf.add と tf.reduce_mean のような) 数学演算、(tf.concat と tf.tile のような) 配列演算、(tf.substr のような) 文字列操作 ops、(tf.while_loop と tf.map_fn のような) 制御フロー演算、そしてその他多くを含む、百以上の TensorFlow 演算によりサポートされます :

digits = tf.ragged.constant([[3, 1, 4, 1], [], [5, 9, 2], [6], []])
words = tf.ragged.constant([["So", "long"], ["thanks", "for", "all", "the", "fish"]])
print(tf.add(digits, 3))
print(tf.reduce_mean(digits, axis=1))
print(tf.concat([digits, [[5, 3]]], axis=0))
print(tf.tile(digits, [1, 2]))
print(tf.strings.substr(words, 0, 2))
print(tf.map_fn(tf.math.square, digits))
<tf.RaggedTensor [[6, 4, 7, 4], [], [8, 12, 5], [9], []]>
tf.Tensor([2.25              nan 5.33333333 6.                nan], shape=(5,), dtype=float64)
<tf.RaggedTensor [[3, 1, 4, 1], [], [5, 9, 2], [6], [], [5, 3]]>
<tf.RaggedTensor [[3, 1, 4, 1, 3, 1, 4, 1], [], [5, 9, 2, 5, 9, 2], [6, 6], []]>
<tf.RaggedTensor [[b'So', b'lo'], [b'th', b'fo', b'al', b'th', b'fi']]>
<tf.RaggedTensor [[9, 1, 16, 1], [], [25, 81, 4], [36], []]>

factory メソッド、conversion メソッドと値マッピング演算を含む、ragged tensor に固有の数多くのメソッドと演算もあります。
サポートされる ops のリストについては、tf.ragged パッケージ・ドキュメント を見てください。

ragged tensor は Keras, データセット, tf.function, SavedModel そして tf.Example を含む、多くの TensorFlow API によりサポートされます。より多くの情報については、下の TensorFlow API のセクションを見てください。

通常の tensor と同様に、ragged tensor の特定のスライスにアクセスするために Python-スタイルのインデキシングを使用できます。より多くの情報については、下の インデキシング のセクションを見てください。

print(digits[0])       # First row
tf.Tensor([3 1 4 1], shape=(4,), dtype=int32)
print(digits[:, :2])   # First two values in each row.
<tf.RaggedTensor [[3, 1], [], [5, 9], [6], []]>
print(digits[:, -2:])  # Last two values in each row.
<tf.RaggedTensor [[4, 1], [], [9, 2], [6], []]>

そしてちょうど通常の tensor のように、要素単位の演算を遂行するために Python 算術と比較演算子を使用できます。より多くの情報については、下の Overloaded Operators のセクションを見てください。

print(digits + 3)
<tf.RaggedTensor [[6, 4, 7, 4], [], [8, 12, 5], [9], []]>
print(digits + tf.ragged.constant([[1, 2, 3, 4], [], [5, 6, 7], [8], []]))
<tf.RaggedTensor [[4, 3, 7, 5], [], [10, 15, 9], [14], []]>

RaggedTensor の値に要素単位の変換を遂行する必要がある場合、tf.ragged.map_flat_values を使用できます、これは関数プラス 1 つまたはそれ以上の引数を取り、そして RaggedTensor の値を変換するために関数を適用します。

times_two_plus_one = lambda x: x * 2 + 1
print(tf.ragged.map_flat_values(times_two_plus_one, digits))
<tf.RaggedTensor [[7, 3, 9, 3], [], [11, 19, 5], [13], []]>

ragged tensor はネストされた Python リストと numpy 配列に変換できます :

digits.to_list()
[[3, 1, 4, 1], [], [5, 9, 2], [6], []]
digits.numpy()
/usr/local/lib/python3.6/dist-packages/tensorflow/python/ops/ragged/ragged_tensor.py:2012: VisibleDeprecationWarning: Creating an ndarray from ragged nested sequences (which is a list-or-tuple of lists-or-tuples-or ndarrays with different lengths or shapes) is deprecated. If you meant to do this, you must specify 'dtype=object' when creating the ndarray
  return np.array(rows)
array([array([3, 1, 4, 1], dtype=int32), array([], dtype=int32),
       array([5, 9, 2], dtype=int32), array([6], dtype=int32),
       array([], dtype=int32)], dtype=object)

 

ragged tensor を構築する

ragged tensor を構築する最も単純な方法は tf.ragged.constant を使用することです、これは与えられたネストされた Python リストや numpy 配列に対応する RaggedTensor を構築します :

sentences = tf.ragged.constant([
    ["Let's", "build", "some", "ragged", "tensors", "!"],
    ["We", "can", "use", "tf.ragged.constant", "."]])
print(sentences)
<tf.RaggedTensor [[b"Let's", b'build', b'some', b'ragged', b'tensors', b'!'], [b'We', b'can', b'use', b'tf.ragged.constant', b'.']]>
paragraphs = tf.ragged.constant([
    [['I', 'have', 'a', 'cat'], ['His', 'name', 'is', 'Mat']],
    [['Do', 'you', 'want', 'to', 'come', 'visit'], ["I'm", 'free', 'tomorrow']],
])
print(paragraphs)
<tf.RaggedTensor [[[b'I', b'have', b'a', b'cat'], [b'His', b'name', b'is', b'Mat']], [[b'Do', b'you', b'want', b'to', b'come', b'visit'], [b"I'm", b'free', b'tomorrow']]]>

tf.RaggedTensor.from_value_rowids, tf.RaggedTensor.from_row_lengths と tf.RaggedTensor.from_row_splits のような factory classmethod を使用して、ragged tensor はまた (それらの値がどのように行に分割されるべきかを示す) 行分割 (= row-partitioning) tensor を伴う flat 値 tensor をペアリングすることにより構築することもできます。

 

tf.RaggedTensor.from_value_rowids

各値がどの行に属するかを知る場合、value_rowids 行分割 tensor を使用して RaggedTensor を構築できます :

print(tf.RaggedTensor.from_value_rowids(
    values=[3, 1, 4, 1, 5, 9, 2],
    value_rowids=[0, 0, 0, 0, 2, 2, 3]))
<tf.RaggedTensor [[3, 1, 4, 1], [], [5, 9], [2]]>

 

tf.RaggedTensor.from_row_lengths

各行がどのくらい長いかを知る場合、row_lengths 行分割 tensor を使用できます :

print(tf.RaggedTensor.from_row_lengths(
    values=[3, 1, 4, 1, 5, 9, 2],
    row_lengths=[4, 0, 2, 1]))
<tf.RaggedTensor [[3, 1, 4, 1], [], [5, 9], [2]]>

 

tf.RaggedTensor.from_row_splits

各行がどこで開始して終了するかのインデックスを知る場合、row_splits 行分割 tensor を使用できます :

print(tf.RaggedTensor.from_row_splits(
    values=[3, 1, 4, 1, 5, 9, 2],
    row_splits=[0, 4, 4, 6, 7]))
<tf.RaggedTensor [[3, 1, 4, 1], [], [5, 9], [2]]>

factory メソッドの完全なリストについては tf.RaggedTensor クラス・ドキュメントを見てください。

Note: デフォルトで、これらの factory メソッドは行分割 tensor が well-formed で値の数と一貫しているかのアサーションを追加します。入力が well-formed で矛盾していないことを貴方が保証できるのであれば、これらのチェックをスキップするために validate=False パラメータが使用できます。

 

ragged tensor にストアできるもの

通常の Tensor と同様に、RaggedTensor の値は総て同じタイプを持たなければなりません ; そして値は総て同じネスティング depth (tensor のランク) になければなりません :

print(tf.ragged.constant([["Hi"], ["How", "are", "you"]]))  # ok: type=string, rank=2
<tf.RaggedTensor [[b'Hi'], [b'How', b'are', b'you']]>
print(tf.ragged.constant([[[1, 2], [3]], [[4, 5]]]))        # ok: type=int32, rank=3
<tf.RaggedTensor [[[1, 2], [3]], [[4, 5]]]>
try:
  tf.ragged.constant([["one", "two"], [3, 4]])              # bad: multiple types
except ValueError as exception:
  print(exception)
Can't convert Python sequence with mixed types to Tensor.
try:
  tf.ragged.constant(["A", ["B", "C"]])                     # bad: multiple nesting depths
except ValueError as exception:
  print(exception)
all scalar values must have the same nesting depth

 

サンプル・ユースケース

以下のサンプルは、各センテンスの最初と最後のための特殊マーカーを使用して、可変長問合わせのバッチために unigram と bigram 埋め込みを構築して結合するために RaggedTensor がどのように利用できるかを実演します。このサンプルで使用される ops のより多くの詳細については、tf.ragged パッケージ・ドキュメントを見てください。

queries = tf.ragged.constant([['Who', 'is', 'Dan', 'Smith'],
                              ['Pause'],
                              ['Will', 'it', 'rain', 'later', 'today']])

# Create an embedding table.
num_buckets = 1024
embedding_size = 4
embedding_table = tf.Variable(
    tf.random.truncated_normal([num_buckets, embedding_size],
                       stddev=1.0 / math.sqrt(embedding_size)))

# Look up the embedding for each word.
word_buckets = tf.strings.to_hash_bucket_fast(queries, num_buckets)
word_embeddings = tf.nn.embedding_lookup(embedding_table, word_buckets)     # ①

# Add markers to the beginning and end of each sentence.
marker = tf.fill([queries.nrows(), 1], '#')
padded = tf.concat([marker, queries, marker], axis=1)                       # ②

# Build word bigrams & look up embeddings.
bigrams = tf.strings.join([padded[:, :-1], padded[:, 1:]], separator='+')   # ③

bigram_buckets = tf.strings.to_hash_bucket_fast(bigrams, num_buckets)
bigram_embeddings = tf.nn.embedding_lookup(embedding_table, bigram_buckets) # ④

# Find the average embedding for each sentence
all_embeddings = tf.concat([word_embeddings, bigram_embeddings], axis=1)    # ⑤
avg_embedding = tf.reduce_mean(all_embeddings, axis=1)                      # ⑥
print(avg_embedding)
tf.Tensor(
[[ 0.05365231 -0.0595057   0.12319323  0.10320764]
 [ 0.19690476 -0.35085988  0.34308517  0.3926835 ]
 [ 0.2679962  -0.1582186   0.15801464  0.05089492]], shape=(3, 4), dtype=float32)

 

ragged そして一様な (= uniform) 次元

ragged (= 不規則な) 次元はそのスライスが異なる長さを持つかもしれません。例えば、rt=[[3, 1, 4, 1], [], [5, 9, 2], [6], []] の内側の (カラム) 次元は ragged です、何故ならばカラムスライス (rt[0, :], …, rt[4, :]) は異なる長さを持つからです。そのスライスが総て同じ長さを持つ次元は一様 (= uniform) 次元と呼ばれます。

ragged tensor の最外部の次元は常に一様です、何故ならばそれは単一スライスから成るからです (そして従ってスライス長が異なる可能性はありません)。残りの次元は不規則か一様のいずれかであるかもしれません。例えば、shape [num_sentences, (num_words), embedding_size] を持つ ragged tensor を使用してセンテンスのバッチで各単語のための単語埋め込みをストアするかもしれません、そこでは (num_words) 回りの丸括弧は次元が不規則であることを示しています。

ragged tensor は複数の ragged 次元を持つかもしれません。例えば、shape [num_documents, (num_paragraphs), (num_sentences), (num_words)] (ここでは再び丸括弧は ragged 次元を示すために使用されます) を持つ tensor を使用して構造化テキスト・ドキュメントのバッチをストアできるでしょう。

tf.Tensor と同様に、ragged tensor の ランク はその次元の総数です (ragged と一様次元の両者を含む)。潜在的に不規則な tensor は tf.Tensor か tf.RaggedTensor のいずれかであるかもしれない値です。

RaggedTensor の shape を記述するとき、ragged 次元は慣習的にそれらを丸括弧で囲むことにより示されます。例えば、上で見たように、センテンスのバッチの各単語のための単語埋め込みをストアする 3-D RaggedTensor の shape は [num_sentences, (num_words), embedding_size] として書くことができます。

RaggedTensor.shape 属性は ragged tensor のための tf.TensorShape を返します、そこでは ragged 次元はサイズ None を持ちます :

tf.ragged.constant([["Hi"], ["How", "are", "you"]]).shape
TensorShape([2, None])

メソッド tf.RaggedTensor.bounding_shape は与えられた RaggedTensor のためのタイトな境界 shape を見つけるために利用できます :

print(tf.ragged.constant([["Hi"], ["How", "are", "you"]]).bounding_shape())
tf.Tensor([2 3], shape=(2,), dtype=int64)

 

Ragged vs. スパース

ragged tensor はスパース tensor のタイプとして考えるべきではありません。特に、スパース tensor は tf.Tensor のための効率的なエンコーディングで、コンパクト形式で同じデータをモデル化します ;しかし ragged tensor は tf.Tensor の拡張であり、これはデータの拡張したクラスをモデル化します。この違いは演算を定義するとき重要です :

  • スパース or dense tensor に op を適用することは常に同じ結果を与えるはずです。
  • ragged or スパース tensor に op を適用することは異なる結果を与えるかもしれません。

例示的なサンプルとして、concat, stack, and tile のような配列演算が ragged vs. スパース tensor のためにどのように定義されるかを考えます。ragged tensor の連結は各行を結合された長さを持つ単一の行を形成するために結び合わせます :

ragged_x = tf.ragged.constant([["John"], ["a", "big", "dog"], ["my", "cat"]])
ragged_y = tf.ragged.constant([["fell", "asleep"], ["barked"], ["is", "fuzzy"]])
print(tf.concat([ragged_x, ragged_y], axis=1))
<tf.RaggedTensor [[b'John', b'fell', b'asleep'], [b'a', b'big', b'dog', b'barked'], [b'my', b'cat', b'is', b'fuzzy']]>

しかしスパース tensor の連結は、次のサンプルにより例示されれうように対応する dense tensor の連結と同値です (ここで Ø は欠落値を示します) :

sparse_x = ragged_x.to_sparse()
sparse_y = ragged_y.to_sparse()
sparse_result = tf.sparse.concat(sp_inputs=[sparse_x, sparse_y], axis=1)
print(tf.sparse.to_dense(sparse_result, ''))
tf.Tensor(
[[b'John' b'' b'' b'fell' b'asleep']
 [b'a' b'big' b'dog' b'barked' b'']
 [b'my' b'cat' b'' b'is' b'fuzzy']], shape=(3, 5), dtype=string)

この区別が何故重要かのもう一つのサンプルとして、tf.reduce_mean のような op のための「各行の平均値」の定義を考えます。ragged tensor については、行の平均値は行の幅により除算された行の値の総計です。しかしスパース tensor については、行のための平均値はスパース tenosr の全体の幅 (これは最長の行の幅よりも大きいか等しいです) により除算された行の値の総計です。

 

TensorFlow API

Keras

tf.keras は深層学習モデルを構築して訓練するための TensorFlow の高位 API です。tf.keras.Input や tf.keras.layers.InputLayer 上で ragged=True を設定することにより ragged tensor は入力として Keras モデルに渡されるかもしれません。ragged tensor は Keras 層の間で渡されて、Keras モデルにより返されるかもしれません。次のサンプルは ragged tensor を使用して訓練される toy LSTM モデルを示します。

# Task: predict whether each sentence is a question or not.
sentences = tf.constant(
    ['What makes you think she is a witch?',
     'She turned me into a newt.',
     'A newt?',
     'Well, I got better.'])
is_question = tf.constant([True, False, True, False])

# Preprocess the input strings.
hash_buckets = 1000
words = tf.strings.split(sentences, ' ')
hashed_words = tf.strings.to_hash_bucket_fast(words, hash_buckets)

# Build the Keras model.
keras_model = tf.keras.Sequential([
    tf.keras.layers.Input(shape=[None], dtype=tf.int64, ragged=True),
    tf.keras.layers.Embedding(hash_buckets, 16),
    tf.keras.layers.LSTM(32, use_bias=False),
    tf.keras.layers.Dense(32),
    tf.keras.layers.Activation(tf.nn.relu),
    tf.keras.layers.Dense(1)
])

keras_model.compile(loss='binary_crossentropy', optimizer='rmsprop')
keras_model.fit(hashed_words, is_question, epochs=5)
print(keras_model.predict(hashed_words))
Epoch 1/5
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/indexed_slices.py:437: UserWarning: Converting sparse IndexedSlices(IndexedSlices(indices=Tensor("gradient_tape/sequential/lstm/RaggedToTensor/boolean_mask_1/GatherV2:0", shape=(None,), dtype=int32), values=Tensor("gradient_tape/sequential/lstm/RaggedToTensor/boolean_mask/GatherV2:0", shape=(None, 16), dtype=float32), dense_shape=Tensor("gradient_tape/sequential/lstm/RaggedToTensor/Shape:0", shape=(2,), dtype=int32))) to a dense Tensor of unknown shape. This may consume a large amount of memory.
  "shape. This may consume a large amount of memory." % value)
1/1 [==============================] - 2s 2s/step - loss: 3.0093
Epoch 2/5
1/1 [==============================] - 0s 6ms/step - loss: 1.9501
Epoch 3/5
1/1 [==============================] - 0s 8ms/step - loss: 1.8567
Epoch 4/5
1/1 [==============================] - 0s 6ms/step - loss: 1.7799
Epoch 5/5
1/1 [==============================] - 0s 6ms/step - loss: 1.7253
[[0.03396465]
 [0.01080929]
 [0.03685516]
 [0.02207647]]

 

tf.Example

tf.Example は TensorFlow データのための標準的な protobuf エンコーディングです。tf.Example でエンコードされたデータはしばしば可変長特徴を含みます。例えば、次のコードは異なる特徴の長さを持つ 4 つの tf.Example メッセージのバッチを定義します :

import google.protobuf.text_format as pbtext

def build_tf_example(s):
  return pbtext.Merge(s, tf.train.Example()).SerializeToString()

example_batch = [
  build_tf_example(r'''
    features {
      feature {key: "colors" value {bytes_list {value: ["red", "blue"]} } }
      feature {key: "lengths" value {int64_list {value: [7]} } } }'''),
  build_tf_example(r'''
    features {
      feature {key: "colors" value {bytes_list {value: ["orange"]} } }
      feature {key: "lengths" value {int64_list {value: []} } } }'''),
  build_tf_example(r'''
    features {
      feature {key: "colors" value {bytes_list {value: ["black", "yellow"]} } }
      feature {key: "lengths" value {int64_list {value: [1, 3]} } } }'''),
  build_tf_example(r'''
    features {
      feature {key: "colors" value {bytes_list {value: ["green"]} } }
      feature {key: "lengths" value {int64_list {value: [3, 5, 2]} } } }''')]

tf.io.parse_example を使用してエンコードされたデータをパースできます、これはシリアライズされた文字列の tensor と特徴仕様辞書を取り、そして特徴名を tensor にマップする辞書を返します。可変長特徴を ragged tensor に読み込むため、単純に特徴仕様辞書で tf.io.RaggedFeature を使用します :

feature_specification = {
    'colors': tf.io.RaggedFeature(tf.string),
    'lengths': tf.io.RaggedFeature(tf.int64),
}
feature_tensors = tf.io.parse_example(example_batch, feature_specification)
for name, value in feature_tensors.items():
  print("{}={}".format(name, value))
colors=<tf.RaggedTensor [[b'red', b'blue'], [b'orange'], [b'black', b'yellow'], [b'green']]>
lengths=<tf.RaggedTensor [[7], [], [1, 3], [3, 5, 2]]>

tf.io.RaggedFeature はまた複数の ragged 次元を持つ特徴を読むために使用することもできます。詳細については、API ドキュメント を見てください。

 

データセット

tf.data は単純で、再利用可能なピースから複雑な入力パイプラインを構築することを可能にします。そのコアデータ構造は tf.data.Dataset で、これは要素のシークエンスを表し、そこでは各要素は一つまたはそれ以上の成分から成ります。

# Helper function used to print datasets in the examples below.
def print_dictionary_dataset(dataset):
  for i, element in enumerate(dataset):
    print("Element {}:".format(i))
    for (feature_name, feature_value) in element.items():
      print('{:>14} = {}'.format(feature_name, feature_value))

 

ragged tensor でデータセットを構築する

データセットは Dataset.from_tensor_slices のような、tf.Tensor や numpy 配列からそれらを構築するために使用される同じメソッドを使用して ragged tensor から構築できます :

dataset = tf.data.Dataset.from_tensor_slices(feature_tensors)
print_dictionary_dataset(dataset)
Element 0:
        colors = [b'red' b'blue']
       lengths = [7]
Element 1:
        colors = [b'orange']
       lengths = []
Element 2:
        colors = [b'black' b'yellow']
       lengths = [1 3]
Element 3:
        colors = [b'green']
       lengths = [3 5 2]

Note: Dataset.from_generator はまだ ragged tensor をサポートしませんが、サポートは間もなく追加されます。

 

ragged tensor を持つデータセットのバッチ化とアンバッチ (= unbatch) 化

ragged tensor を持つデータセットは Dataset.batch メソッドを使用してバッチ化できます (これは n 個の連続する要素を単一要素に連結します)。

batched_dataset = dataset.batch(2)
print_dictionary_dataset(batched_dataset)
Element 0:
        colors = <tf.RaggedTensor [[b'red', b'blue'], [b'orange']]>
       lengths = <tf.RaggedTensor [[7], []]>
Element 1:
        colors = <tf.RaggedTensor [[b'black', b'yellow'], [b'green']]>
       lengths = <tf.RaggedTensor [[1, 3], [3, 5, 2]]>

逆に、バッチ化されたデータセットは Dataset.unbatch を使用してフラットなデータセットに変換できます。

unbatched_dataset = batched_dataset.unbatch()
print_dictionary_dataset(unbatched_dataset)
Element 0:
        colors = [b'red' b'blue']
       lengths = [7]
Element 1:
        colors = [b'orange']
       lengths = []
Element 2:
        colors = [b'black' b'yellow']
       lengths = [1 3]
Element 3:
        colors = [b'green']
       lengths = [3 5 2]

 

可変長の非-ragged tensor を持つデータセットのバッチ化

非-ragged tensor を含むデータセットを持ち、tensor 長が要素に渡り様々である場合、dense_to_ragged_batch 変換を適用することによってそれらの非-ragged tensor を ragged tensor にバッチ化することができます :

non_ragged_dataset = tf.data.Dataset.from_tensor_slices([1, 5, 3, 2, 8])
non_ragged_dataset = non_ragged_dataset.map(tf.range)
batched_non_ragged_dataset = non_ragged_dataset.apply(
    tf.data.experimental.dense_to_ragged_batch(2))
for element in batched_non_ragged_dataset:
  print(element)
<tf.RaggedTensor [[0], [0, 1, 2, 3, 4]]>
<tf.RaggedTensor [[0, 1, 2], [0, 1]]>
<tf.RaggedTensor [[0, 1, 2, 3, 4, 5, 6, 7]]>

 

ragged tensor を持つデータセットを変換する

データセットの ragged tensor も Dataset.map を使用して作成または変換できます。

def transform_lengths(features):
  return {
      'mean_length': tf.math.reduce_mean(features['lengths']),
      'length_ranges': tf.ragged.range(features['lengths'])}
transformed_dataset = dataset.map(transform_lengths)
print_dictionary_dataset(transformed_dataset)
Element 0:
   mean_length = 7
 length_ranges = <tf.RaggedTensor [[0, 1, 2, 3, 4, 5, 6]]>
Element 1:
   mean_length = 0
 length_ranges = <tf.RaggedTensor []>
Element 2:
   mean_length = 2
 length_ranges = <tf.RaggedTensor [[0], [0, 1, 2]]>
Element 3:
   mean_length = 3
 length_ranges = <tf.RaggedTensor [[0, 1, 2], [0, 1, 2, 3, 4], [0, 1]]>

 

tf.function

tf.function は Python 関数のために TensorFlow グラフを事前計算するデコレータで、これは貴方の TensorFlow コードのパフォーマンスを大幅に改良できます。ragged tensor は @tf.function-デコレートされた関数で透過的に利用できます。例えば、次の関数は ragged と非-ragged tensor の両者で動作します :

@tf.function
def make_palindrome(x, axis):
  return tf.concat([x, tf.reverse(x, [axis])], axis)
make_palindrome(tf.constant([[1, 2], [3, 4], [5, 6]]), axis=1)
<tf.Tensor: shape=(3, 4), dtype=int32, numpy=
array([[1, 2, 2, 1],
       [3, 4, 4, 3],
       [5, 6, 6, 5]], dtype=int32)>
make_palindrome(tf.ragged.constant([[1, 2], [3], [4, 5, 6]]), axis=1)
<tf.RaggedTensor [[1, 2, 2, 1], [3, 3], [4, 5, 6, 6, 5, 4]]>

tf.function のための input_signature を明示的に指定したいのであれば、tf.RaggedTensorSpec を使用してそれを行なうことができます。

@tf.function(
    input_signature=[tf.RaggedTensorSpec(shape=[None, None], dtype=tf.int32)])
def max_and_min(rt):
  return (tf.math.reduce_max(rt, axis=-1), tf.math.reduce_min(rt, axis=-1))

max_and_min(tf.ragged.constant([[1, 2], [3], [4, 5, 6]]))
(<tf.Tensor: shape=(3,), dtype=int32, numpy=array([2, 3, 6], dtype=int32)>,
 <tf.Tensor: shape=(3,), dtype=int32, numpy=array([1, 3, 4], dtype=int32)>)

 

Concrete 関数

concreate (具体的な) 関数 は tf.function により構築された個々のトレースされたグラフをカプセル化します。TensorFlow 2.3 (そして in tf-nightly) から始まり、ragged tensor は concreate 関数で透過的に利用できます。

# Preferred way to use ragged tensors with concrete functions (TF 2.3+):
try:
  @tf.function
  def increment(x):
    return x + 1

  rt = tf.ragged.constant([[1, 2], [3], [4, 5, 6]])
  cf = increment.get_concrete_function(rt)
  print(cf(rt))
except Exception as e:
  print(f"Not supported before TF 2.3: {type(e)}: {e}")
<tf.RaggedTensor [[2, 3], [4], [5, 6, 7]]>

TensorFlow 2.3 より前で concrete 関数で ragged tensor を使用する必要があれば、ragged tensor をそれらの成分 (値と row_splits) に分解してそれらを別個の引数として渡すことを勧めます。

# Backwards-compatible way to use ragged tensors with concrete functions:
@tf.function
def decomposed_ragged_increment(x_values, x_splits):
  x = tf.RaggedTensor.from_row_splits(x_values, x_splits)
  return x + 1

rt = tf.ragged.constant([[1, 2], [3], [4, 5, 6]])
cf = decomposed_ragged_increment.get_concrete_function(rt.values, rt.row_splits)
print(cf(rt.values, rt.row_splits))
<tf.RaggedTensor [[2, 3], [4], [5, 6, 7]]>

 

SavedModel

SavedModel は重みと計算を含む、シリアライズ化された TensorFlow プログラムです。それは Keras モデルからあるいはカスタムモデルから構築できます。いずれのケースでも、SavedModel により定義された関数とメソッドで ragged tensor は透過的に利用できます。

 

サンプル: Keras モデルをセーブする

import tempfile

keras_module_path = tempfile.mkdtemp()
tf.saved_model.save(keras_model, keras_module_path)
imported_model = tf.saved_model.load(keras_module_path)
imported_model(hashed_words)
INFO:tensorflow:Assets written to: /tmp/tmpesn18col/assets
<tf.Tensor: shape=(4, 1), dtype=float32, numpy=
array([[0.0279716 ],
       [0.00884632],
       [0.02188365],
       [0.01005459]], dtype=float32)>

 

サンプル: カスタムモデルをセーブする

class CustomModule(tf.Module):
  def __init__(self, variable_value):
    super(CustomModule, self).__init__()
    self.v = tf.Variable(variable_value)

  @tf.function
  def grow(self, x):
    return x * self.v

module = CustomModule(100.0)

# Before saving a custom model, we must ensure that concrete functions are
# built for each input signature that we will need.
module.grow.get_concrete_function(tf.RaggedTensorSpec(shape=[None, None],
                                                      dtype=tf.float32))

custom_module_path = tempfile.mkdtemp()
tf.saved_model.save(module, custom_module_path)
imported_model = tf.saved_model.load(custom_module_path)
imported_model.grow(tf.ragged.constant([[1.0, 4.0, 3.0], [2.0]]))
INFO:tensorflow:Assets written to: /tmp/tmpkx0mdt27/assets
<tf.RaggedTensor [[100.0, 400.0, 300.0], [200.0]]>
 

以上



クラスキャット

最近の投稿

  • LangGraph on Colab : マルチエージェント・スーパーバイザー
  • LangGraph on Colab : エージェント型 RAG
  • LangGraph : 例題 : エージェント型 RAG
  • LangGraph Platform : Get started : クイックスタート
  • LangGraph Platform : 概要

タグ

AutoGen (13) ClassCat Press Release (20) ClassCat TF/ONNX Hub (11) DGL 0.5 (14) Eager Execution (7) Edward (17) FLUX.1 (16) Gemini (20) HuggingFace Transformers 4.5 (10) HuggingFace Transformers 4.6 (7) HuggingFace Transformers 4.29 (9) Keras 2 Examples (98) Keras 2 Guide (16) Keras 3 (10) Keras Release Note (17) Kubeflow 1.0 (10) LangChain (45) LangGraph (23) MediaPipe 0.8 (11) Model Context Protocol (16) NNI 1.5 (16) OpenAI Agents SDK (8) OpenAI Cookbook (13) OpenAI platform (10) OpenAI platform 1.x (10) OpenAI ヘルプ (8) TensorFlow 2.0 Advanced Tutorials (33) TensorFlow 2.0 Advanced Tutorials (Alpha) (15) TensorFlow 2.0 Advanced Tutorials (Beta) (16) TensorFlow 2.0 Guide (10) TensorFlow 2.0 Guide (Alpha) (16) TensorFlow 2.0 Guide (Beta) (9) TensorFlow 2.0 Release Note (12) TensorFlow 2.0 Tutorials (20) TensorFlow 2.0 Tutorials (Alpha) (14) TensorFlow 2.0 Tutorials (Beta) (12) TensorFlow 2.4 Guide (24) TensorFlow Deploy (8) TensorFlow Get Started (7) TensorFlow Graphics (7) TensorFlow Probability (9) TensorFlow Programmer's Guide (22) TensorFlow Release Note (18) TensorFlow Tutorials (33) TF-Agents 0.4 (11)
2021年1月
月 火 水 木 金 土 日
 123
45678910
11121314151617
18192021222324
25262728293031
« 12月   2月 »
© 2025 ClasCat® AI Research | Powered by Minimalist Blog WordPress Theme