TensorFlow で CNN AutoEncoder – MNIST –

AutoEncoder はモデルの事前トレーニングをはじめとして様々な局面で必要になりますが、基本的には Encoder となる積層とそれを逆順に積み重ねた Decoder を用意するだけですので TensorFlow で簡単に実装できます。

今回は MNIST を題材として最初に MLP ベースの AutoEncoder を復習した後に、畳込み AutoEncoder (Convolutional AutoEncoder) を実装し、encode された特徴マップを視覚化し、decode された画像を元画像と比較してみます。

TensorFlow で MLP AutoEncoder

MLP ベースの AutoEncoder の実装は非常に簡単です。
完全結合層を並べて encoder とし、逆順の積層を decoder とするだけです。

以下の例では単純化のために encoder を１層のみとし、元画像と decode された画像を比較してみます :

【元サンプル画像】
サンプル画像は MNIST のテスト用画像を頭から 40 個集めたものです :
ae_mlp_mnist_list_samples.01

【1 epoch】
1 epoch 後の decode された画像。
一応それらしい画像は出力されていますが、薄ぼんやりしていて分かりにくいです :
ae_mlp_mnist_list_decoded.01

【1 epoch（明るさ・輝度調整）】
明るさと輝度を調整してみました。元画像と比べると数字を構成する骨格自体が異なっているものも目立ちます :
ae_mlp_mnist_list_decoded.01b

【5 epochs（明るさ・輝度調整）】
やはり raw 出力では見て取れないので、明るさ・輝度を調整した後の画像を掲示しています :
ae_mlp_mnist_list_decoded.05b

【10 epochs（明るさ・輝度調整）】
だいぶ一致してきましたが細部が表現できていません :
ae_mlp_mnist_list_decoded.10b

TensorFlow で Convolutional Autoencoder

単層 MLP では十分な表現力が得られないので Convolutional Autoencoder にしてみます。
基本的な考え方は同じで、畳込み層を３層とする、ConvNet の基本モデルを使用しました。
但し、encode された画像を見やすくするために encoder 最終層の出力サイズは大きくなるように調整しています。

最初は MLP の場合と同様に decode した画像を元画像と比較してみます :

【元サンプル画像】
元サンプル画像は MLP と同じものを使います :
ae_mnist_list_samples.01