ホーム » Edward » TensorFlow : Edward Tutorials (背景) : 変分推論

TensorFlow : Edward Tutorials (背景) : 変分推論

TensorFlow : Edward Tutorials (背景) : 変分推論 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 11/27/2018

* 本ページは、Edward サイトの Tutorials : Background : Variational Inference を翻訳した上で
適宜、補足説明したものです:


* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

変分推論

変分推論は事後推論を最適化 (問題) としてキャストするアルゴリズムのための総称です (Hinton & Camp, 1993; Jordan, Ghahramani, Jaakkola, & Saul, 1999; Waterhouse, MacKay, & Robinson, 1996)。

中心的なアイデアは 2 つのステップを含みます :

  1. 潜在変数に渡る分布の族 \(q(\mathbf{z}\;;\;\lambda)\) を仮定します;
  2. \(q(\mathbf{z}\;;\;\lambda)\) をそのパラメータ \(\lambda\) に渡り最適化して事後分布にマッチさせます。

このストラテジーは事後分布 \(p(\mathbf{z} \mid \mathbf{x})\) を計算する問題を最適化問題に変換します : divergence 尺度を最小化します
\[
\begin{aligned}
\lambda^*
&=
\arg\min_\lambda \text{divergence}(
p(\mathbf{z} \mid \mathbf{x})
,
q(\mathbf{z}\;;\;\lambda)
).\end{aligned}
\]

最適化された分布 \(q(\mathbf{z}\;;\;\lambda^*)\) は事後分布 \(p(\mathbf{z}\mid \mathbf{x})\) へのプロキシーとして使用されます。

Edward は次のような考え方をします: 事後分布は (典型的には) 手に負えない・解決困難な (= intractable) もので、そのため事後分布を最善に近似する潜在変数のモデルを構築しなければなりません。それは、真のデータ生成過程は未知であるために、真の過程を最善に近似するようなデータのモデルを構築するという考えに類似しています。

Edward で定義された変分推論クラスの詳細については、推論 API を見てください。Edward の特定の変分推論アルゴリズムの背景については、他の推論 チュートリアル を見てください。

 

References

  • Hinton, G. E., & Camp, D. van. (1993). Keeping the neural networks simple by minimizing the description length of the weights. In Conference on learning theory. ACM.
  • Jordan, M. I., Ghahramani, Z., Jaakkola, T. S., & Saul, L. K. (1999). An introduction to variational methods for graphical models. Machine Learning, 37(2), 183–233.
  • Waterhouse, S., MacKay, D., & Robinson, T. (1996). Bayesian methods for mixtures of experts. Advances in Neural Information Processing Systems, 351–357.
 

以上






AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com