AutoKeras 1.0 : Tutorials : 多様性データとマルチタスク (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/22/2020

* 本ページは、AutoKeras の以下のページを翻訳した上で適宜、補足説明したものです：

• Getting Started : Multi-Modal and Multi-Task

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

Tutorials : 多様性データとマルチタスク

このチュートリアルでは多様性データとマルチタスクをどのように扱うかを示すために AutoModel API を利用しています。

多様性とは何でしょう？

多様性データは各データインスタンスが情報の複数の形式を持つことを意味します。例えば、写真は画像としてセーブできます。画像に加えて、それはまたいつどこでそれが撮られたかを属性として持つかもしれません、これは構造化データとして表わされることができます。

マルチタスクとは何でしょう？

ここで言及するマルチタスクは同じ入力特徴で複数のターゲットを予測することを望みます。例えば、画像をその内容に従って分類することを望むだけでなく、その質も 0 と 1 の間の浮動小数点数として回帰することも望みます。次の図は多様性 (データ) とマルチタスク・ニューラルネットワーク・モデルのサンプルを示します。

それは 2 つの入力 – 画像と構造化データを持ちます。各画像は構造化データの属性のセットと関連します。これらのデータから、分類ラベルと回帰値を同時に予測することを試みています。

データ準備

私達のアイデアを示すため、多様性データとして幾つかのランダム画像と構造化データを生成します。

num_instances = 100
# Generate image data.
image_data = np.random.rand(num_instances, 32, 32, 3).astype(np.float32)
# Generate structured data.
structured_data = np.random.rand(num_instances, 20).astype(np.float32)

分類と回帰のための幾つかのマルチタスク・ターゲットも生成します。

# Generate regression targets.
regression_target = np.random.rand(num_instances, 1).astype(np.float32)
# Generate classification labels of five classes.
classification_target = np.random.randint(5, size=num_instances)

モデルを構築して訓練する

それから AutoModel で多様なマルチタスク・モデルを初期化します。

import autokeras as ak
# Initialize the multi with multiple inputs and outputs.
model = ak.AutoModel(
    inputs=[ak.ImageInput(), ak.StructuredDataInput()],
    outputs=[
        ak.RegressionHead(metrics=['mae']),
        ak.ClassificationHead(loss='categorical_crossentropy', metrics=['accuracy'])
    ],
    max_trials=10)
# Fit the model with prepared data.
model.fit(
    [image_data, structured_data],
    [regression_target, classification_target],
    epochs=10)

検証データ

デフォルトでは、AutoKeras は検証データとして訓練データの最後の 20% を使用します。下のサンプルで示されるように、パーセンテージを指定するために validation_split を使用できます。

model.fit(
    [image_data, structured_data],
    [regression_target, classification_target],
    # Split the training data and use the last 15% as validation data.
    validation_split=0.15)

validation_deta で訓練データからそれを分割する代わりに貴方自身の検証セットを使用することもできます。

split = 20

image_val = image_data[split:]
structured_val = structured_data[split:]
regression_val = regression_target[split:]
classification_val = classification_target[split:]

image_data = image_data[:split]
structured_data = structured_data[:split]
regression_target = regression_target[:split]
classification_target = classification_target[:split]

model.fit(x_train,
          y_train,
          # Use your own validation set.
          validation_data=(x_val, y_val))

カスタマイズされた探索空間

探索空間をカスタマイズできます。次の図は定義することを望む探索空間を示します。

import autokeras as ak

input_node1 = ak.ImageInput()
output_node = ak.Normalization()(input_node1)
output_node = ak.ImageAugmentation()(output_node)
output_node1 = ak.ConvBlock()(output_node)
output_node2 = ak.ResNetBlock(version='v2')(output_node)
output_node1 = ak.Merge()([output_node1, output_node2])

input_node2 = ak.StructuredDataInput()
output_node = ak.CategoricalToNumerical()(input_node2)
output_node2 = ak.DenseBlock()(output_node)

output_node = ak.Merge()([output_node1, output_node2])
output_node1 = ak.ClassificationHead()(output_node)
output_node2 = ak.RegressionHead()(output_node)

auto_model = ak.AutoModel(
    inputs=[input_node1, input_node2], 
    outputs=[]output_node1, output_node2],
    max_trials=10)

データ形式

データの異なるタイプの形式について、ImageInput, StructuredDataInput, TextInput, RegressionHead, ClassificationHead のドキュメントを参照できます。

以上

AutoKeras 1.0 : Tutorials : 構造化データ分類 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/22/2020

* 本ページは、AutoKeras の以下のページを翻訳した上で適宜、補足説明したものです：

• Getting Started : Structured Data Classification

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

Tutorials : 構造化データ分類

単純なサンプル

最初のステップはデータを準備することです。ここではサンプルとして タイタニック・データセット を使用します。CSV ファイルを ここ でダウンロードできます。

2 番目のステップは StructuredDataClassifier を実行することです。総ての /path/to を csv ファイルへのパスで置き換えてください。

import autokeras as ak

# Initialize the structured data classifier.
clf = ak.StructuredDataClassifier(max_trials=10) # It tries 10 different models.
# Feed the structured data classifier with training data.
clf.fit(
    # The path to the train.csv file.
    '/path/to/train.csv',
    # The name of the label column.
    'survived')
# Predict with the best model.
predicted_y = clf.predict('/path/to/eval.csv')
# Evaluate the best model with testing data.
print(clf.evaluate('/path/to/eval.csv', 'survived'))

データ形式

AutoKeras StructuredDataClassifier はデータ形式について非常に柔軟です。

上のサンプルは CSV ファイルをどのように直接使用するかを示します。CSV ファイルに加えて、それはまた numpy.ndarray, pandas.DataFrame あるいは tf.data.Dataset もサポートします。データは数値かカテゴリカル値を持つ 2-次元であるべきです。

分類ラベルについては、AutoKeras は plain ラベル, i.e. 文字列か整数、そして one-hot エンコードラベル, i.e. 0 と 1 のベクトルの両者を受け取ります。ラベルは numpy.ndarray, pandas.DataFrame か pandas.Series であり得ます。

次のサンプルは numpy.ndarray, pandas.DataFrame と tensorflow.data.Dataset でデータがどのように準備できるかを示します。

import pandas as pd
# x_train as pandas.DataFrame, y_train as pandas.Series
x_train = pd.read_csv('train.csv')
print(type(x_train)) # pandas.DataFrame
y_train = x_train.pop('survived')
print(type(y_train)) # pandas.Series

# You can also use pandas.DataFrame for y_train.
y_train = pd.DataFrame(y_train)
print(type(y_train)) # pandas.DataFrame

# You can also use numpy.ndarray for x_train and y_train.
x_train = x_train.to_numpy()
y_train = y_train.to_numpy()
print(type(x_train)) # numpy.ndarray
print(type(y_train)) # numpy.ndarray

# Preparing testing data.
x_test = pd.read_csv('eval.csv')
y_test = x_test.pop('survived')

# It tries 10 different models.
clf = ak.StructuredDataClassifier(max_trials=10)
# Feed the structured data classifier with training data.
clf.fit(x_train, y_train)
# Predict with the best model.
predicted_y = clf.predict(x_test)
# Evaluate the best model with testing data.
print(clf.evaluate(x_test, y_test))

次のコードは numpy.ndarray をどのように tf.data.Dataset に変換するかを示します。特に、ラベルは tensorflow Dataset にラップされるためにマルチクラス分類のため one-hot エンコードされなければなりません。タイタニック・データセットは二値分類ですので、それは one-hot エンコードされるべきではありません。

import tensorflow as tf
train_set = tf.data.Dataset.from_tensor_slices(((x_train, ), (y_train, )))
test_set = tf.data.Dataset.from_tensor_slices(((x_test, ), (y_test, )))

clf = ak.StructuredDataClassifier(max_trials=10)
# Feed the tensorflow Dataset to the classifier.
clf.fit(train_set)
# Predict with the best model.
predicted_y = clf.predict(test_set)
# Evaluate the best model with testing data.
print(clf.evaluate(test_set))

次のようにデータのためにカラム名とタイプを指定することもできます。訓練データが既にカラム名を持つ場合には, e.g. pandas.DataFrame, CSV ファイル、column_names はオプションです。タイプが指定されない任意のカラムは訓練データから推論されます。

# Initialize the structured data classifier.
clf = ak.StructuredDataClassifier(
    column_names=[
        'sex',
        'age',
        'n_siblings_spouses',
        'parch',
        'fare',
        'class',
        'deck',
        'embark_town',
        'alone'],
    column_types={'sex': 'categorical', 'fare': 'numerical'},
    max_trials=10, # It tries 10 different models.
)

検証データ

デフォルトでは、AutoKeras は検証データとして訓練データの最後の 20% を使用します。下のサンプルで示されるように、パーセンテージを指定するために validation_split を使用できます。

clf.fit(x_train,
        y_train,
        # Split the training data and use the last 15% as validation data.
        validation_split=0.15)

それを訓練データから validation_data で分割する代わりに貴方自身の検証セットを使用することもできます。

split = 500
x_val = x_train[split:]
y_val = y_train[split:]
x_train = x_train[:split]
y_train = y_train[:split]
clf.fit(x_train,
        y_train,
        # Use your own validation set.
        validation_data=(x_val, y_val))

カスタマイズされた検索空間

上級ユーザのために、StructuredDataClassifier の代わりに AutoModel を使用して探索空間をカスタマイズしても良いです。幾つかの高位設定のために StructuredDataBlock を設定できます、e.g., CategoricalToNumerical を使用するか否かのために categorical_encoding。これらの引数を指定しないこともできます、これは種々の選択を自動的に調整されるようにするでしょう。詳細のために次のサンプルを見てください。

import autokeras as ak

input_node = ak.StructuredDataInput()
output_node = ak.StructuredDataBlock(
    categorical_encoding=True,
    block_type='dense')(input_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train)

AutoModel の利用方法は Keras の functional API に類似しています。基本的には、グラフを構築しています、そのエッジはブロックでノードはブロックの中間出力です。output_node = ak.[some_block]([block_args])(input_node) で input_node から output_node へのエッジを追加します。

更に探索空間をカスタマイズするためにより極め細かいブロックを利用することもまた可能です。次のサンプルを見てください。

import autokeras as ak

input_node = ak.StructuredDataInput()
output_node = ak.CategoricalToNumerical()(input_node)
output_node = ak.DenseBlock()(output_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train)

以上

AutoKeras 1.0 : Tutorials : テキスト分類 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/21/2020

* 本ページは、AutoKeras の以下のページを翻訳した上で適宜、補足説明したものです：

• Getting Started : Text Classification

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

Tutorials : テキスト分類

単純なサンプル

最初のステップは貴方のデータを準備することです。ここではサンプルとして IMDB データセット を使用します。

import numpy as np
from tensorflow.keras.datasets import imdb

# Load the integer sequence the IMDB dataset with Keras.
index_offset = 3  # word index offset
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=1000,
                                                      index_from=index_offset)
y_train = y_train.reshape(-1, 1)
y_test = y_test.reshape(-1, 1)
# Prepare the dictionary of index to word.
word_to_id = imdb.get_word_index()
word_to_id = {k: (v + index_offset) for k, v in word_to_id.items()}
word_to_id[""] = 0
word_to_id[""] = 1
word_to_id[""] = 2
id_to_word = {value: key for key, value in word_to_id.items()}
# Convert the word indices to words.
x_train = list(map(lambda sentence: ' '.join(
    id_to_word[i] for i in sentence), x_train))
x_test = list(map(lambda sentence: ' '.join(
    id_to_word[i] for i in sentence), x_test))
x_train = np.array(x_train, dtype=np.str)
x_test = np.array(x_test, dtype=np.str)
print(x_train.shape)  # (25000,)
print(y_train.shape)  # (25000, 1)
print(x_train[0][:50])  #  this film was just brilliant casting 

2 番目のステップは TextClassifier を実行することです。

import autokeras as ak

# Initialize the text classifier.
clf = ak.TextClassifier(max_trials=10) # It tries 10 different models.
# Feed the text classifier with training data.
clf.fit(x_train, y_train)
# Predict with the best model.
predicted_y = clf.predict(x_test)
# Evaluate the best model with testing data.
print(clf.evaluate(x_test, y_test))

検証データ

デフォルトでは、AutoKeras は訓練データの最後の 20% を検証データとして使用します。下のサンプルで示されるように、パーセンテージを指定するために validation_split を使用できます。

clf.fit(x_train,
        y_train,
        # Split the training data and use the last 15% as validation data.
        validation_split=0.15)

それを訓練データから分割する代わりに、validation_data で貴方自身の検証セットを使用することもできます。

split = 5000
x_val = x_train[split:]
y_val = y_train[split:]
x_train = x_train[:split]
y_train = y_train[:split]
clf.fit(x_train,
        y_train,
        # Use your own validation set.
        validation_data=(x_val, y_val))

カスタマイズされた探索空間

上級ユーザのために、TextClassifier の代わりに AutoModel を使用して探索空間をカスタマイズしても良いです。幾つかの高位設定のために TextBlock を設定することができます、e.g., 使用するテキストベクトル化方法のタイプのための vectorizer。’sequence’ を使用できます、これは単語を整数に変換するために TextToInteSequence を使用して整数シークエンスを埋め込むために Embedding を使用します、あるいは ‘ngram’ を使用できます、これはセンテンスをベクトル化するために TextToNgramVector を使用します。これらの引数を指定しないこともできます、これは異なる選択が自動的に調整されるようにするでしょう。詳細のために次のサンプルを見てください。

import autokeras as ak

input_node = ak.TextInput()
output_node = ak.TextBlock(vectorizer='ngram')(input_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train)

AutoModel の利用方法は Keras の functional API に類似しています。基本的には、グラフを構築しています、そのエッジはブロックでノードはブロックの中間出力です。output_node = ak.[some_block]([block_args])(input_node) で input_node から output_node へのエッジを追加します。

更に探索空間をカスタマイズするためにより極め細かいブロックを利用することもまた可能です。次のサンプルを見てください。

import autokeras as ak

input_node = ak.TextInput()
output_node = ak.TextToIntSequence()(input_node)
output_node = ak.Embedding()(output_node)
# Use separable Conv layers in Keras.
output_node = ak.ConvBlock(separable=True)(output_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train)

データ形式

AutoKeras TextClassifier はデータ形式について非常に柔軟です。

テキストについて、入力データは分類ラベルのために 1-次元であるべきです。AutoKeras は plain ラベル, i.e. 文字列か整数、そして one-hot エンコードラベル, i.e. 0 と 1 のベクトルの両者を受け取ります。

訓練データのために tf.data.Dataset 形式の使用もサポートします。ラベルは tensorflow Dataset にラップされるためマルチクラス分類のために one-hot エンコードでなければなりません。IMDB データセットは二値分類ですので、それは one-hot エンコードされるべきではありません。

import tensorflow as tf
train_set = tf.data.Dataset.from_tensor_slices(((x_train, ), (y_train, )))
test_set = tf.data.Dataset.from_tensor_slices(((x_test, ), (y_test, )))

clf = ak.TextClassifier(max_trials=10)
# Feed the tensorflow Dataset to the classifier.
clf.fit(train_set)
# Predict with the best model.
predicted_y = clf.predict(test_set)
# Evaluate the best model with testing data.
print(clf.evaluate(test_set))

以上

AutoKeras 1.0 : Tutorials : 画像分類 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/21/2020

* 本ページは、AutoKeras の以下のページを翻訳した上で適宜、補足説明したものです：

• Getting Started : Image Classification

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

Tutorials : 画像分類

単純なサンプル

最初のステップはデータを準備することです。ここではサンプルとして MNIST データセットを使用します。

from tensorflow.keras.datasets import mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()
print(x_train.shape) # (60000, 28, 28)
print(y_train.shape) # (60000,)
print(y_train[:3]) # array([7, 2, 1], dtype=uint8)

2 番目のステップは ImageClassifier を実行します。

import autokeras as ak

# Initialize the image classifier.
clf = ak.ImageClassifier(max_trials=1) # It tries 10 different models.
# Feed the image classifier with training data.
clf.fit(x_train, y_train,epochs=3)

# Predict with the best model.
predicted_y = clf.predict(x_test)
print(predicted_y)

# Evaluate the best model with testing data.
print(clf.evaluate(x_test, y_test))

検証データ

デフォルトでは、AutoKeras は訓練データの最後の 20% を検証データとして使用します。下のサンプルで示されるように、パーセンテージを指定するために validation_split を使用できます。

clf.fit(x_train,
        y_train,
        # Split the training data and use the last 15% as validation data.
        validation_split=0.15,epochs=3)

それを訓練データから分割する代わりに、validation_data で貴方自身の検証セットを使用することもできます。

split = 50000
x_val = x_train[split:]
y_val = y_train[split:]
x_train = x_train[:split]
y_train = y_train[:split]
clf.fit(x_train,
        y_train,
        # Use your own validation set.
        validation_data=(x_val, y_val),epochs=3)

カスタマイズされた探索空間

上級ユーザのために、ImageClassifier の代わりに AutoModel を使用して探索空間をカスタマイズしても良いです。幾つかの高位設定のために ImageBlock を設定することができます、e.g., 探索するニューラルネットワークのタイプのための block_type、データ正規化を行なうか否かのための normlize、データ増強を行なうか否かのための augment。これらの引数を指定しないこともできます、これは異なる選択が自動的に調整されるようにするでしょう。詳細のために次のサンプルを見てください。

import autokeras as ak

input_node = ak.ImageInput()
output_node = ak.ImageBlock(
    # Only search ResNet architectures.
    block_type='resnet',
    # Normalize the dataset.
    normalize=True,
    # Do not do data augmentation.
    augment=False)(input_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train,epochs=3)

AutoModel の利用方法は Keras の functional API に類似しています。基本的には、グラフを構築しています、そのエッジはブロックでノードはブロックの中間出力です。output_node = ak.some_block(input_node) で input_node から output_node へのエッジを追加します。

更に探索空間をカスタマイズするためにより極め細かいブロックを利用することもまた可能です。次のサンプルを見てください。

import autokeras as ak

input_node = ak.ImageInput()
output_node = ak.Normalization()(input_node)
output_node = ak.ImageAugmentation(percentage=0.3)(output_node)
output_node = ak.ResNetBlock(version='v2')(output_node)
output_node = ak.ClassificationHead()(output_node)
clf = ak.AutoModel(inputs=input_node, outputs=output_node, max_trials=10)
clf.fit(x_train, y_train,epochs=3)

データ形式

AutoKeras ImageClassifier はデータ形式について非常に柔軟です。画像については、それはチャネル次元ありとなしの両者のデータ形式を受け取ります。MNIST データセットの画像はチャネル次元を持ちません。各画像は shape (28, 28) の行列です。AutoKeras はまたチャネル次元を最後に持つ, e.g., (32, 32, 3), (28, 28, 1)、3 つの次元の画像も受け取ります。

分類ラベルについては、AutoKeras は plain ラベル, i.e. 文字列か整数、そして one-hot エンコードラベル, i.e. 0 と 1 のベクトルの両者を受け取ります。

そのため次の方法で貴方のデータを準備すれば、ImageClassifier は依然として動作するはずです。

from tensorflow.keras.datasets import mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# Reshape the images to have the channel dimension.
x_train = x_train.reshape(x_train.shape + (1,))
x_test = x_test.reshape(x_test.shape + (1,))

# One-hot encode the labels.
import numpy as np
eye = np.eye(10)
y_train = eye[y_train]
y_test = eye[y_test]

print(x_train.shape) # (60000, 28, 28, 1)
print(y_train.shape) # (60000, 10)
print(y_train[:3])
# array([[0., 0., 0., 0., 0., 1., 0., 0., 0., 0.],
#        [1., 0., 0., 0., 0., 0., 0., 0., 0., 0.],
#        [0., 0., 0., 0., 1., 0., 0., 0., 0., 0.]])

訓練データのために tf.data.Dataset 形式を使用することもサポートします。この場合、画像は 3-次元でなければならないでしょう。ラベルは tensorflow Dataset 内にラップされるためマルチクラス分類のために one-hot エンコードされなければなりません。

import tensorflow as tf
from tensorflow.python.keras.utils.data_utils import Sequence
train_set = tf.data.Dataset.from_tensor_slices(((x_train, ), (y_train, )))
test_set = tf.data.Dataset.from_tensor_slices(((x_test, ), (y_test, )))

clf = ak.ImageClassifier(max_trials=10)
# Feed the tensorflow Dataset to the classifier.
clf.fit(train_set)
# Predict with the best model.
predicted_y = clf.predict(test_set)
# Evaluate the best model with testing data.
print(clf.evaluate(test_set))

以上