ホーム » TensorFlow 2.0 » TensorFlow 2.0 : 上級Tutorials : 画像 :- 画像セグメンテーション

TensorFlow 2.0 : 上級Tutorials : 画像 :- 画像セグメンテーション

TensorFlow 2.0 : 上級 Tutorials : 画像 :- 画像セグメンテーション (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 11/08/2019

* 本ページは、TensorFlow org サイトの TF 2.0 – Advanced Tutorials – Images の以下のページを翻訳した上で
適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

無料セミナー開催中 クラスキャット主催 人工知能 & ビジネス Web セミナー

人工知能とビジネスをテーマにウェビナー (WEB セミナー) を定期的に開催しています。スケジュールは弊社 公式 Web サイト でご確認頂けます。
  • お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
  • Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。

お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。

株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション
E-Mail:sales-info@classcat.com ; WebSite: https://www.classcat.com/
Facebook: https://www.facebook.com/ClassCatJP/

 

 

画像 :- 画像セグメンテーション

このチュートリアルは修正された U-Net を使用して、画像セグメンテーションのタスクに焦点を当てます。

 

画像セグメンテーションとは何でしょう?

ここまで画像分類を見てきました、そこではネットワークのタスクは入力画像にラベルやクラスを割り当てることです。けれども、オブジェクトが画像のどこに位置するか、そのオブジェクトの形状、どのピクセルがどのオブジェクトに属するか等を貴方は知りたいと仮定しましょう。この場合画像をセグメントすることを望むでしょう、i.e., 画像の各ピクセルにラベルが与えられます。このように、画像セグメントのタスクは画像のピクセル-wise なマスクを出力するようにニューラルネットワークを訓練します。これは画像を遥かに低位 i.e., ピクセルレベルで理解するのに役立ちます。画像セグメントは 2, 3 の例をあげると医療画像処理、自動運転車と衛星画像処理のような多くのアプリケーションを持ちます。

このチュートリアルのために使用されるデータセットは Parkhi et al. により作成された、Oxford-IIIT ペット・データセット です。データセットは画像、対応するラベル、そしてピクセル-wise マスクから成ります。マスクは基本的には各ピクセルのためのラベルです。各ピクセルは 3 つのカテゴリーから 1 つが与えられます :

  • クラス 1 : ペットに属するピクセル。
  • クラス 2 : ペットをふち取る (境界線となる) ピクセル。
  • クラス 3 : 上のどれでもないもの / 周囲のピクセル。
!pip install -q git+https://github.com/tensorflow/examples.git
import tensorflow as tf
from __future__ import absolute_import, division, print_function, unicode_literals

from tensorflow_examples.models.pix2pix import pix2pix

import tensorflow_datasets as tfds
tfds.disable_progress_bar()

from IPython.display import clear_output
import matplotlib.pyplot as plt

 

Oxford-IIIT ペット・データセットをダウンロードする

データセットは既に TensorFlow データセットに含まれていますので、行なう必要がある総てはそれをダウンロードすることです。セグメンテーション・マスクは version 3.0.0 に含まれています、それが何故この特定のバージョンが使用されるかです。

dataset, info = tfds.load('oxford_iiit_pet:3.0.0', with_info=True)
Downloading and preparing dataset oxford_iiit_pet (801.24 MiB) to /home/kbuilder/tensorflow_datasets/oxford_iiit_pet/3.0.0...
Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/oxford_iiit_pet/3.0.0.incompleteW15PMN/oxford_iiit_pet-train.tfrecord
Shuffling and writing examples to /home/kbuilder/tensorflow_datasets/oxford_iiit_pet/3.0.0.incompleteW15PMN/oxford_iiit_pet-test.tfrecord
Dataset oxford_iiit_pet downloaded and prepared to /home/kbuilder/tensorflow_datasets/oxford_iiit_pet/3.0.0. Subsequent calls will reuse this data.

次のコードは画像を反転する単純な増強を遂行します。加えて、画像は [0,1] に正規化されます。最後に、上で言及されたようにセグメンテーション・マスクのピクセルは {1, 2, 3} のいずれかにラベル付けされます。便宜のため、セグメンテーション・マスクから 1 を引きましょう、結果としてラベルは : {0, 1, 2} になります。

def normalize(input_image, input_mask):
  input_image = tf.cast(input_image, tf.float32) / 255.0
  input_mask -= 1
  return input_image, input_mask
@tf.function
def load_image_train(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))

  if tf.random.uniform(()) > 0.5:
    input_image = tf.image.flip_left_right(input_image)
    input_mask = tf.image.flip_left_right(input_mask)

  input_image, input_mask = normalize(input_image, input_mask)

  return input_image, input_mask
def load_image_test(datapoint):
  input_image = tf.image.resize(datapoint['image'], (128, 128))
  input_mask = tf.image.resize(datapoint['segmentation_mask'], (128, 128))

  input_image, input_mask = normalize(input_image, input_mask)

  return input_image, input_mask

データセットは既にテストと訓練の必要な分割を含ますので同じ分轄を続けて使用しましょう。

TRAIN_LENGTH = info.splits['train'].num_examples
BATCH_SIZE = 64
BUFFER_SIZE = 1000
STEPS_PER_EPOCH = TRAIN_LENGTH // BATCH_SIZE
train = dataset['train'].map(load_image_train, num_parallel_calls=tf.data.experimental.AUTOTUNE)
test = dataset['test'].map(load_image_test)
train_dataset = train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat()
train_dataset = train_dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)
test_dataset = test.batch(BATCH_SIZE)

画像サンプルとデータセットからの対応するマスクを見てみましょう。

def display(display_list):
  plt.figure(figsize=(15, 15))

  title = ['Input Image', 'True Mask', 'Predicted Mask']

  for i in range(len(display_list)):
    plt.subplot(1, len(display_list), i+1)
    plt.title(title[i])
    plt.imshow(tf.keras.preprocessing.image.array_to_img(display_list[i]))
    plt.axis('off')
  plt.show()

for image, mask in train.take(1):
  sample_image, sample_mask = image, mask
display([sample_image, sample_mask])

 

モデルを定義する

ここで使用されるモデルは修正された U-Net です。U-Net はエンコーダ (downsampler) とデコーダ (upsampler) から成ります。堅固な特徴を学習して訓練可能パラメータを減じるために、事前訓練されたモデルがエンコーダとして使用できます。そのため、このタスクのためのエンコーダは事前訓練された MobileNetV2 です、その中間出力が使用されます、そしてデコーダは Pix2pix チュートリアル で TensorFlow サンプルで既に実装された umsample ブロックです。

3 つのチャネルを出力する理由は各ピクセルのために 3 つの可能なラベルがあるからです。これをマルチ分類として考えてください、そこでは各ピクセルは 3 つのクラスに分類されます。

OUTPUT_CHANNELS = 3

言及したように、エンコーダは事前訓練された MobileNetV2 モデルでこれは tf.keras.applications で準備されてすぐに利用できます。エンコーダはモデルの中間層からの特定の出力から成ります。エンコーダは訓練プロセスの間に訓練されないことに注意してください。

base_model = tf.keras.applications.MobileNetV2(input_shape=[128, 128, 3], include_top=False)

# Use the activations of these layers
layer_names = [
    'block_1_expand_relu',   # 64x64
    'block_3_expand_relu',   # 32x32
    'block_6_expand_relu',   # 16x16
    'block_13_expand_relu',  # 8x8
    'block_16_project',      # 4x4
]
layers = [base_model.get_layer(name).output for name in layer_names]

# Create the feature extraction model
down_stack = tf.keras.Model(inputs=base_model.input, outputs=layers)

down_stack.trainable = False
Downloading data from https://github.com/JonathanCMitchell/mobilenet_v2_keras/releases/download/v1.1/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_128_no_top.h5
9412608/9406464 [==============================] - 0s 0us/step

デコーダ/upsampler は単純に TensorFlow サンプルで実装された upsample のブロックのシリーズです。

up_stack = [
    pix2pix.upsample(512, 3),  # 4x4 -> 8x8
    pix2pix.upsample(256, 3),  # 8x8 -> 16x16
    pix2pix.upsample(128, 3),  # 16x16 -> 32x32
    pix2pix.upsample(64, 3),   # 32x32 -> 64x64
]
def unet_model(output_channels):

  # This is the last layer of the model
  last = tf.keras.layers.Conv2DTranspose(
      output_channels, 3, strides=2,
      padding='same', activation='softmax')  #64x64 -> 128x128

  inputs = tf.keras.layers.Input(shape=[128, 128, 3])
  x = inputs

  # Downsampling through the model
  skips = down_stack(x)
  x = skips[-1]
  skips = reversed(skips[:-1])

  # Upsampling and establishing the skip connections
  for up, skip in zip(up_stack, skips):
    x = up(x)
    concat = tf.keras.layers.Concatenate()
    x = concat([x, skip])

  x = last(x)

  return tf.keras.Model(inputs=inputs, outputs=x)

 

モデルを訓練する

今は、残された行なうことの総てはモデルをコンパイルして訓練することです。ここで使用される損失は losses.sparse_categorical_crossentropy です。この損失関数を使用する理由はネットワークは、丁度マルチクラス予測のように各ピクセルにラベルを割り当てようとするからです。真のセグメンテーション・マスクで、各ピクセルは {0,1,2} のいずれかを持ちます。ここでネットワークは 3 つのチャネルを出力します。基本的に、各チャネルはクラスを予測することを学習しようとして、losses.sparse_categorical_crossentropy はそのようなシナリオのために推奨される損失です。ネットワークの出力を使用して、ピクセルに割り当てられたラベルは最も高い値を持つチャネルです。これが create_mask 関数が行なっていることです。

model = unet_model(OUTPUT_CHANNELS)
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

結果としてのモデル・アーキテクチャを素早く見てみます :

tf.keras.utils.plot_model(model, show_shapes=True)

 
訓練の前に (モデルが) 何を予測するかを見るためにモデルを試してみましょう。

def create_mask(pred_mask):
  pred_mask = tf.argmax(pred_mask, axis=-1)
  pred_mask = pred_mask[..., tf.newaxis]
  return pred_mask[0]
def show_predictions(dataset=None, num=1):
  if dataset:
    for image, mask in dataset.take(num):
      pred_mask = model.predict(image)
      display([image[0], mask[0], create_mask(pred_mask)])
  else:
    display([sample_image, sample_mask,
             create_mask(model.predict(sample_image[tf.newaxis, ...]))])
show_predictions()

 
訓練している間にモデルがどのように改良されるか観察しましょう。このタスクを達成するために、コールバック関数が下で定義されます。

class DisplayCallback(tf.keras.callbacks.Callback):
  def on_epoch_end(self, epoch, logs=None):
    clear_output(wait=True)
    show_predictions()
    print ('\nSample Prediction after epoch {}\n'.format(epoch+1))
EPOCHS = 20
VAL_SUBSPLITS = 5
VALIDATION_STEPS = info.splits['test'].num_examples//BATCH_SIZE//VAL_SUBSPLITS

model_history = model.fit(train_dataset, epochs=EPOCHS,
                          steps_per_epoch=STEPS_PER_EPOCH,
                          validation_steps=VALIDATION_STEPS,
                          validation_data=test_dataset,
                          callbacks=[DisplayCallback()])

Sample Prediction after epoch 20

57/57 [==============================] - 4s 62ms/step - loss: 0.1465 - accuracy: 0.9337 - val_loss: 0.3640 - val_accuracy: 0.8746
loss = model_history.history['loss']
val_loss = model_history.history['val_loss']

epochs = range(EPOCHS)

plt.figure()
plt.plot(epochs, loss, 'r', label='Training loss')
plt.plot(epochs, val_loss, 'bo', label='Validation loss')
plt.title('Training and Validation Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss Value')
plt.ylim([0, 1])
plt.legend()
plt.show()

 

予測を行なう

幾つかの予測を行ないましょう。時間を節約するために、エポック数は小さく保持されていますが、より正確な結果を得るためにこれをより高く設定しても良いです。

show_predictions(test_dataset, 3)

 

Next steps

画像セグメンテーションが何でありそれがどのように動作するかを理解した今、異なる中間層出力、あるいは異なる事前訓練モデルでさえこのチュートリアルを試すことができます。また Kaggle にホストされている Carvana 画像マスキング・チャレンジを試すことに取り組んでも良いでしょう。

 

以上



AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com