ホーム » FlowNet » ClassCat® TF/ONNX Hub : オプティカルフロー推定モデル

ClassCat® TF/ONNX Hub : オプティカルフロー推定モデル

作成者 :(株)クラスキャット セールスインフォメーション
作成日 : 01/25/2019

 

ClassCat® TF/ONNX Hub とは

「ClassCat® TF/ONNX Hub」はクラスキャットが提供する実用性の高い機械学習モデルのレポジトリです。各モデルは TensorFlow 固有フォーマットと ONNX フォーマットの両者で提供されます。 [ClassCat® ONNX Hub 詳細]

  • ONNX (Open Neural Network Exchange) は深層学習モデルのためのオープンなフォーマットで、異なるオープンソースの深層学習フレームワーク間の相互作用を可能にします。

「ClassCat TF/ONNX Hub」で提供されるモデルについてはクラスキャットが検証の上で仕様を公開致しますので、ユーザ企業は希望するモデルを自由に選択することができます。更にユーザ企業のデータセットによる再調整も含めて実運用するために必要なトータルサポートを提供致します。

今回は動画におけるオプティカルフロー推定モデルとして FlowNet を紹介致します。題材は Flying Chairs と呼ばれる少し風変わりなデータセットを使用しています。

 

 

オプティカルフロー推定モデルの紹介

オプティカルフローとは

オプティカルフロー とは、(OpenCV の Python チュートリアル : Video 解析 : Optical Flow によれば、) オブジェクトまたはカメラの移動により引き起こされた 2 つの連続するフレーム間の画像オブジェクトの見かけ上の動きのパターンです。それは 2D ベクトル場で、そこでは各ベクトルは変位ベクトルで最初のフレームから 2 番目のフレームへの点群の移動を示します。

OpenCV では疎なオプティカルフローとして Lucas-Kanade 法と、Gunner Farneback のアルゴリズムをベースとする密なオプティカルフローの実装が提供されています。

 

FlowNet

深層学習の ConvNet (CNN) はコンピュータビジョンの物体認識や物体検出タスクにおいては成果を出し続けていますが、オプティカルフロー推定についての研究は多くはありません。

その中でドイツのフライブルク大学のコンピュータビジョン・グループを中心にオプティカルフロー推定のための FlowNet が提案されています。基本モデルには FlowNetS (Simple) と FlowNetC (Correlation) があり、FlowNet 2.0 では品質と速度の向上が図られています :

 
◆ FlowNet (2.0) については現在では数多くの実装が公開されています :

 

オプティカルフロー推定モデル

FlowNet を考案したフライブルク大学のコンピュータビジョン・グループが、利用した データセット も併せて公開してくれています。ここではその中の一つである Flying Chairs というデータセットを利用します。

扱うデータの基本要素はワンペアの画像です。左側の画像から右側の画像に移行する際にオブジェクトが移動しています :

そしてモデルを適用すると、オプティカルフロー推定が得られます。
左側の画像は順方向の流れで、右側の画像は逆方向の流れです :

別の組み合わせを見てみましょう :

更にもう一組 :

◆ 次に別のデータセット上で確認してみます。
Flying Chairs 2 を利用します。類似のコンテンツですが、データセットとしては完全に別物です :

概ね上手くいっているようです。もう一組確認してみましょう :

 

以上






AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com