Keras 2 : examples : BigTransfer (BiT) を使用する画像分類 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 11/12/2021 (keras 2.6.0)

* 本ページは、Keras の以下のドキュメントを翻訳した上で適宜、補足説明したものです：

• Code examples : Computer Vision : Image Classification using BigTransfer (BiT) (Author: Sayan Nath)

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

 

 

Keras 2 : examples : BigTransfer (BiT) を使用する画像分類

Description: 画像分類のための BigTransfer (BiT) 最先端の転移学習

 

イントロダクション

BigTransfer (BiT としても知られています) は画像分類のための最先端の転移学習法です。事前訓練済みの表現の転移は、ビジョンのために深層ニューラルネットワークを訓練するときサンプルの効率性を向上させてハイパーパラメータ調整を単純化します。BiT は大規模な教師ありデータセット上の事前訓練とターゲットタスク上のモデルの再調整のパラダイムを再考します。正規化層を適切に選択すること、事前訓練データの増加量に対してアーキテクチャ容量をスケールすることの重要性。

BigTransfer(BiT) は TF2, Jax と Pytorch のコードとともに、公開データセットで訓練されています。これは、クラス毎にラベル付けされたひと握りの画像を使用してさえ、関心のあるタスクで最先端のパフォーマンスに達するのに役立ちます。

TFHub で TensorFlow2 SavedModels として ImageNet と ImageNet-21k で事前訓練された BiT モデルを見つけることができます、これらを Keras 層として簡単に利用できます。大きな計算とメモリ予算を持ち高い精度要求を持つユーザのために標準的な ResNet50 から ResNet152x4 (152 層の深さ、典型的な ResNet50 よりも 4x 広い) までの範囲の様々なサイズがあります。

x 軸は、1 から full データセットの範囲の、クラス毎に使用された画像数を示します。左側のプロット上、上の青色の曲線が BiT-L モデルで、下の曲線は ImageNet (ILSVRC-2012) で事前訓練された ResNet-50 です。

 

セットアップ

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

import tensorflow as tf
from tensorflow import keras
import tensorflow_hub as hub
import tensorflow_datasets as tfds

tfds.disable_progress_bar()

SEEDS = 42

np.random.seed(SEEDS)
tf.random.set_seed(SEEDS)

 

花のデータセットを集める

train_ds, validation_ds = tfds.load(
    "tf_flowers", split=["train[:85%]", "train[85%:]"], as_supervised=True,
)

Downloading and preparing dataset tf_flowers/3.0.1 (download: 218.21 MiB, generated: 221.83 MiB, total: 440.05 MiB) to /root/tensorflow_datasets/tf_flowers/3.0.1...
WARNING:absl:Dataset tf_flowers is hosted on GCS. It will automatically be downloaded to your
local data directory. If you'd instead prefer to read directly from our public
GCS bucket (recommended if you're running on GCP), you can instead pass
`try_gcs=True` to `tfds.load` or set `data_dir=gs://tfds-data/datasets`.

Dataset tf_flowers downloaded and prepared to /root/tensorflow_datasets/tf_flowers/3.0.1. Subsequent calls will reuse this data.

 

データセットを可視化する

plt.figure(figsize=(10, 10))
for i, (image, label) in enumerate(train_ds.take(9)):
    ax = plt.subplot(3, 3, i + 1)
    plt.imshow(image)
    plt.title(int(label))
    plt.axis("off")

 

ハイパーパラメータを定義する

RESIZE_TO = 384
CROP_TO = 224
BATCH_SIZE = 64
STEPS_PER_EPOCH = 10
AUTO = tf.data.AUTOTUNE  # optimise the pipeline performance
NUM_CLASSES = 5  # number of classes
SCHEDULE_LENGTH = (
    500  # we will train on lower resolution images and will still attain good results
)
SCHEDULE_BOUNDARIES = [
    200,
    300,
    400,
]  # more the dataset size the schedule length increase

SCHEDULE_LENGTH と SCHEDULE_BOUNDARIES のようなハイパーパラメータは実験による結果に基づいて決定されています。その方法は 元の論文 と Google AI ブログ投稿 で説明されています。

SCHEDULE_LENGTH はまた MixUp 増強 を使用するか否かで決定されます。Keras Coding サンプル で簡単な MixUp 実装を見つけることもできます。

 

前処理ヘルパー関数を定義する

SCHEDULE_LENGTH = SCHEDULE_LENGTH * 512 / BATCH_SIZE


@tf.function
def preprocess_train(image, label):
    image = tf.image.random_flip_left_right(image)
    image = tf.image.resize(image, (RESIZE_TO, RESIZE_TO))
    image = tf.image.random_crop(image, (CROP_TO, CROP_TO, 3))
    image = image / 255.0
    return (image, label)


@tf.function
def preprocess_test(image, label):
    image = tf.image.resize(image, (RESIZE_TO, RESIZE_TO))
    image = image / 255.0
    return (image, label)


DATASET_NUM_TRAIN_EXAMPLES = train_ds.cardinality().numpy()

repeat_count = int(
    SCHEDULE_LENGTH * BATCH_SIZE / DATASET_NUM_TRAIN_EXAMPLES * STEPS_PER_EPOCH
)
repeat_count += 50 + 1  # To ensure at least there are 50 epochs of training

 

データ・パイプラインを定義する

# Training pipeline
pipeline_train = (
    train_ds.shuffle(10000)
    .repeat(repeat_count)  # Repeat dataset_size / num_steps
    .map(preprocess_train, num_parallel_calls=AUTO)
    .batch(BATCH_SIZE)
    .prefetch(AUTO)
)

# Validation pipeline
pipeline_validation = (
    validation_ds.map(preprocess_test, num_parallel_calls=AUTO)
    .batch(BATCH_SIZE)
    .prefetch(AUTO)
)

 

訓練サンプルを可視化する

image_batch, label_batch = next(iter(pipeline_train))

plt.figure(figsize=(10, 10))
for n in range(25):
    ax = plt.subplot(5, 5, n + 1)
    plt.imshow(image_batch[n])
    plt.title(label_batch[n].numpy())
    plt.axis("off")

 

事前訓練済み TF-Hub モデルを KerasLayer にロードする

bit_model_url = "https://tfhub.dev/google/bit/m-r50x1/1"
bit_module = hub.KerasLayer(bit_model_url)

 

BigTransfer (BiT) モデルを作成する

新しいモデルを作成するためには :

1. BiT モデルの元のヘッドを切り劣ります。これは “pre-logits” 出力を残します。「特徴抽出機」モデル (feature_vectors というタイトルのサブディレクトリにあるもの総て) を使用する場合はこれを行なう必要はありませんが、それらのモデルについてはヘッドは既に切り落とされているからです。
   

2. そして新しいタスクのクラス数に等しい出力数を持つ新しいヘッドを追加します。ヘッドを総てゼロに初期化することは重要なことに注意してください。

class MyBiTModel(keras.Model):
    def __init__(self, num_classes, module, **kwargs):
        super().__init__(**kwargs)

        self.num_classes = num_classes
        self.head = keras.layers.Dense(num_classes, kernel_initializer="zeros")
        self.bit_model = module

    def call(self, images):
        bit_embedding = self.bit_model(images)
        return self.head(bit_embedding)


model = MyBiTModel(num_classes=NUM_CLASSES, module=bit_module)

 

optimizer と損失を定義する

learning_rate = 0.003 * BATCH_SIZE / 512

# Decay learning rate by a factor of 10 at SCHEDULE_BOUNDARIES.
lr_schedule = keras.optimizers.schedules.PiecewiseConstantDecay(
    boundaries=SCHEDULE_BOUNDARIES,
    values=[
        learning_rate,
        learning_rate * 0.1,
        learning_rate * 0.01,
        learning_rate * 0.001,
    ],
)
optimizer = keras.optimizers.SGD(learning_rate=lr_schedule, momentum=0.9)

loss_fn = keras.losses.SparseCategoricalCrossentropy(from_logits=True)

 

モデルのコンパイル

model.compile(optimizer=optimizer, loss=loss_fn, metrics=["accuracy"])

 

コールバックのセットアップ

train_callbacks = [
    keras.callbacks.EarlyStopping(
        monitor="val_accuracy", patience=2, restore_best_weights=True
    )
]

 

モデルの訓練

history = model.fit(
    pipeline_train,
    batch_size=BATCH_SIZE,
    epochs=int(SCHEDULE_LENGTH / STEPS_PER_EPOCH),
    steps_per_epoch=STEPS_PER_EPOCH,
    validation_data=pipeline_validation,
    callbacks=train_callbacks,
)

Epoch 1/400
10/10 [==============================] - 41s 1s/step - loss: 0.7440 - accuracy: 0.7844 - val_loss: 0.1837 - val_accuracy: 0.9582
Epoch 2/400
10/10 [==============================] - 8s 904ms/step - loss: 0.1499 - accuracy: 0.9547 - val_loss: 0.1094 - val_accuracy: 0.9709
Epoch 3/400
10/10 [==============================] - 8s 905ms/step - loss: 0.1674 - accuracy: 0.9422 - val_loss: 0.0874 - val_accuracy: 0.9727
Epoch 4/400
10/10 [==============================] - 8s 905ms/step - loss: 0.1314 - accuracy: 0.9578 - val_loss: 0.0829 - val_accuracy: 0.9727
Epoch 5/400
10/10 [==============================] - 8s 903ms/step - loss: 0.1336 - accuracy: 0.9500 - val_loss: 0.0765 - val_accuracy: 0.9727

(訳注: 以下実験結果)

Epoch 1/400
10/10 [==============================] - 25s 1s/step - loss: 0.7423 - accuracy: 0.7875 - val_loss: 0.1866 - val_accuracy: 0.9545
Epoch 2/400
10/10 [==============================] - 9s 922ms/step - loss: 0.1380 - accuracy: 0.9609 - val_loss: 0.1106 - val_accuracy: 0.9727
Epoch 3/400
10/10 [==============================] - 13s 1s/step - loss: 0.1705 - accuracy: 0.9469 - val_loss: 0.0870 - val_accuracy: 0.9709
Epoch 4/400
10/10 [==============================] - 9s 918ms/step - loss: 0.1188 - accuracy: 0.9563 - val_loss: 0.0846 - val_accuracy: 0.9673
CPU times: user 35.7 s, sys: 2.3 s, total: 38 s
Wall time: 54.4 s

Epoch 1/400
10/10 [==============================] - 9s 930ms/step - loss: 0.1650 - accuracy: 0.9453 - val_loss: 0.0959 - val_accuracy: 0.9691
Epoch 2/400
10/10 [==============================] - 9s 922ms/step - loss: 0.1410 - accuracy: 0.9563 - val_loss: 0.0958 - val_accuracy: 0.9709
Epoch 3/400
10/10 [==============================] - 9s 922ms/step - loss: 0.0917 - accuracy: 0.9734 - val_loss: 0.0856 - val_accuracy: 0.9745
Epoch 4/400
10/10 [==============================] - 8s 914ms/step - loss: 0.1243 - accuracy: 0.9625 - val_loss: 0.0842 - val_accuracy: 0.9709
Epoch 5/400
10/10 [==============================] - 9s 921ms/step - loss: 0.1132 - accuracy: 0.9641 - val_loss: 0.0804 - val_accuracy: 0.9764
Epoch 6/400
10/10 [==============================] - 8s 911ms/step - loss: 0.1123 - accuracy: 0.9656 - val_loss: 0.0813 - val_accuracy: 0.9709
Epoch 7/400
10/10 [==============================] - 9s 920ms/step - loss: 0.1001 - accuracy: 0.9719 - val_loss: 0.0746 - val_accuracy: 0.9782
Epoch 8/400
10/10 [==============================] - 8s 911ms/step - loss: 0.0861 - accuracy: 0.9750 - val_loss: 0.0819 - val_accuracy: 0.9727
Epoch 9/400
10/10 [==============================] - 9s 920ms/step - loss: 0.1205 - accuracy: 0.9594 - val_loss: 0.0747 - val_accuracy: 0.9782
CPU times: user 42.4 s, sys: 1.95 s, total: 44.4 s
Wall time: 1min 16s

 

訓練と検証メトリクスのプロット

def plot_hist(hist):
    plt.plot(hist.history["accuracy"])
    plt.plot(hist.history["val_accuracy"])
    plt.plot(hist.history["loss"])
    plt.plot(hist.history["val_loss"])
    plt.title("Training Progress")
    plt.ylabel("Accuracy/Loss")
    plt.xlabel("Epochs")
    plt.legend(["train_acc", "val_acc", "train_loss", "val_loss"], loc="upper left")
    plt.show()


plot_hist(history)

 

モデルの評価

accuracy = model.evaluate(pipeline_validation)[1] * 100
print("Accuracy: {:.2f}%".format(accuracy))

9/9 [==============================] - 6s 646ms/step - loss: 0.0874 - accuracy: 0.9727
Accuracy: 97.27%

 

結論

BiT はクラス毎 1 サンプルから 1M 合計サンプルまで、驚くほど広い範囲のデータ形態に渡り上手く遂行しました。BiT は ILSVRC-2012 で 87.5%、CIFAR-10 で 99.4%、そして 19 タスクのビジュアル・タスク適応ベンチマーク (VTAB) で 76.3% の top-1 精度を獲得しています。小規模なデータセットでは、BiT は クラス毎 10 サンプルの ILSVRC-2012 で 76.8%、クラス毎 10 サンプルの CIFAR-10 で 97.0% の精度を達成しています。

元の論文 に従って BigTransfer Method で更に実験することができます。

以上