TensorFlow Graphics : README (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 05/24/2019
* 本ページは、TensorFlow Graphics の github レポジトリの次のページを翻訳した上で適宜、補足説明したものです：
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
TensorFlow Graphics : README
ここ数年、ニューラルネットワーク・アーキテクチャに挿入可能な新奇な微分可能なグラフィックレイヤーが出現してきています。空間的な変換から微分可能なグラフィックレンダラーまで、これらの新しいレイヤーは新しいより効率的なネットワーク・アーキテクチャを構築するために長年に渡るコンピュータビジョンとグラフィックス研究で獲得された知識を活用しています。幾何学的事前分布 (= geometric priors) と制約をニューラルネットワークに明示的にモデリングすることは堅固に効率的にそしてより重要なことに self-supervised (自己教師あり) 流儀で訓練可能なアーキテクチャへのドアを開けます。
概要
高位レベルでは、コンピュータグラフィックス・パイプラインは 3D オブジェクトの表現とシーンにおけるそれらの絶対的な位置、それらが成る素材の記述、ライトとカメラを必要とします。そしてこのシーン記述は合成レンダリングを生成するためにレンダラーにより解釈されます。
比較すると、コンピュータビジョン・システムは画像から始めてシーンのパラメータを推論することを試みるでしょう。これはどのオブジェクトがシーンにあるか、どの素材からそれらが成るか、そしてそれらの 3-次元位置と方向の予測を可能にします。
これらの複雑な 3D ビジョン・タスクを解ける機械学習システムの訓練は殆どの場合に巨大な量のデータを必要とします。データのラベル付けはコストのかかる複雑なプロセスですので、多大な監視 (= supervision) なしで訓練されながら 3 次元世界を理解できる機械学習モデルを設計するためのメカニズムを持つことは重要です。コンピュータビジョンとコンピュータグラフィックス技術の結合は巨大な総量の容易に利用可能なラベル付けされていないデータを活用する唯一無二のチャンスです。下の画像で示されるように、これは例えば analysis by synthesis (合成による分析) の使用により獲得されます、そこではビジョンシステムはシーン・パラメータを抽出してグラフィックスシステムはそれらに基づき画像をレンダリングし戻します。レンダリングが元の画像と一致すれば、このビジョンシステムはシーン・パラメータを正確に抽出しています。このセットアップでは、コンピュータビジョンとコンピュータグラフックスは協力して、self-supervised 流儀で訓練可能な、オートエンコーダに類似した単一の機械学習システムを形成します。
TensorFlow Graphics はこれらのタイプの挑戦に取り組むことを助けるために開発されていてそしてそのために、貴方の最適な機械学習モデルを訓練してデバッグするために使用できる、微分可能なグラフィックスとジオメトリ・レイヤー (e.g. カメラ、反射 (= reflectance) モデル、空間的変換、メッシュ convolution) そして 3D ビューア機能 (e.g. 3D TensorBoard) を提供します。
TensorBoard 3D
視覚的デバッグは実験が正しい方向に進んでいるかを査定するための良い方法です。この目的のために、TensorFlow Graphics は 3D メッシュとポイントクラウドを対話的に可視化するために TensorBoard プラグインを装備しています。このデモ はプラグインをどのように使用するかを示します。TensorBoard 3D をインストールして configure するためには これらの手順 をフォローしてください。TensorBoard 3D は現在のところ eager execution と TensorFlow 2 と互換でないことに注意してください。
以上