ホーム » CIFAR-10 » TensorFlow 畳込み層のフィルタ/特徴マップの可視化 – CIFAR-10 –

TensorFlow 畳込み層のフィルタ/特徴マップの可視化 – CIFAR-10 –

TensorFlow 畳込み層のフィルタ/特徴マップの可視化 – CIFAR-10 –

cifar10_model先に MNIST を題材として ConvNet (CNN) モデルの畳込み層のフィルタと出力としての特徴マップを可視化しました(特徴マップを視覚化 – MNIST – / フィルタを視覚化 – MNIST –)。

ついで CIFAR-10 についても同様な視覚化をしてみます。

MNIST 用の単純モデルのままだと精度が上がらないので、CIFAR-10 用に右図のように少しだけ多層化してみました。(畳込み層 + 畳込み層 + プーリング層) x 2 です :

Conv1 -> Conv2 -> MaxPooling2 -> Conv1 -> Conv1 -> MaxPooling2

トレーニング時には Dropout 層も使用しています。また精度よりも可視化を重視するためにフィルタサイズは大きめにして、テスト精度は 80 % 前後まであげてあります。

CIFAR-10

題材はお馴染みの CIFAR-10 です。以下は training samples の最初の 100 個を並べたものです :

CIFAR-10 の詳細は TensorFlow のチュートリアル TensorFlow : Tutorials : 畳込み ニューラルネットワーク を参照してください。

cifar10_samples

各畳込み層・プーリング層の出力については特に以下の2つのサンプル画像を元にしています。
これらの画像の選択に深い意味はなく、単に各層の出力画像が視認しやすかっただけです :

cifar10_sample.7 cifar10_sample.8

フィルタと特徴マップの視覚化

トレーニング後のモデルをベースにフィルタと各層の出力を可視化したものが以下に続く画像です。
* (明るさや輝度を修正してもあまり視認性に影響がなかったので、)画像は加工しないでそのまま表示しています。
* 回転もしていません。

【Conv1 層のフィルタ画像】
見やすくするためにフィルタサイズは 7 x 7 と大きめに取りました :
cifar10_filters_conv0.7x7

これだけだと良く分からないので、3チャネルを分解してグレースケール表示したものが以下です。
単純な線分、斜線、円などを処理するフィルタが見て取れますが、各チャネルで相違はあまりないようです。 :
cifar10_filters_conv0.7x7.0

cifar10_filters_conv0.7x7.1

cifar10_filters_conv0.7x7.2

【Conv1 層の出力マップ】
比較的単純なフィルタへの反応が分かりやすいです。
上が馬、下が船の画像に対応していますが、画像が未加工なので回転させていない点に注意してください。
cifar10_conv1out.7b

cifar10_conv1out.8b

【Conv2 層のフィルタ】
以後は数が多いので、最初の2つのみを表示しています。
cifar10_filters_conv2.5x5.num0

cifar10_filters_conv2.5x5.num1

【Conv2 層の出力マップ】
cifar10_conv2out.7b

cifar10_conv2out.8b

【MaxPooling2 層の出力マップ】
cifar10_maxpool2out.7b

cifar10_maxpool2out.8b

【Conv3 層のフィルタ】
cifar10_filters_conv5.3x3.num0

cifar10_filters_conv5.3x3.num1

【Conv3 層の出力マップ】
cifar10_conv3out.7
cifar10_conv3out.8

【Conv4 層のフィルタ】
cifar10_filters_conv7.3x3.num0

cifar10_filters_conv7.3x3.num1

【Conv4 層の出力マップ】
cifar10_conv4out.7

cifar10_conv4out.8

【MaxPooling4 層の出力マップ】
cifar10_maxpool4out.7

cifar10_maxpool4out.8

 

以上

AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com