ホーム » DGL » DGL 0.5 ユーザガイド : 6 章 巨大グラフ上の確率的訓練

DGL 0.5 ユーザガイド : 6 章 巨大グラフ上の確率的訓練

DGL 0.5ユーザガイド : 6 章 巨大グラフ上の確率的訓練 (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 09/23/2020 (0.5.2)

* 本ページは、DGL の以下のドキュメントを翻訳した上で適宜、補足説明したものです:

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

ユーザガイド : 6 章 巨大グラフ上の確率的訓練

例えば、数百万あるいは数十億ものノードやエッジを持つ大規模なグラフを持つ場合、5 章 グラフ・ニューラルネットワークを訓練する で説明されたような full-グラフ訓練は通常は動作しません。$N$-ノードグラフ上で動作する隠れ状態サイズ $H$ を持つ $L$-層グラフ畳込みネットワークを考えます。中間隠れ状態をストアするには \(O(NLH)\) メモリを必要とし、large $N$ を持つ一つの GPU のキャパシティを容易に越えます。

このセクションは確率的ミニバッチ訓練を遂行する方法を提供します、そこでは総てのノードの特徴を GPU に適合させなくてもかまいません。

 

近傍サンプリング・アプローチの概要

近傍サンプリング法は一般に以下のように動作します。各勾配効果ステップについて、($L$-th 層でそれらの最終的な表現が計算される) ノードのミニバッチを選択します。それから $L-1$ 層のそれらの近傍の総てか幾つかを取ります。このプロセスは入力に達するまで続けられます。この反復的プロセスは、下の図が示すように、出力から始まり入力へと後方に動作する依存性グラフをビルドします :

これにより、巨大なグラフ上で GNN を訓練するための作業負荷と計算リソースを節約できます。

DGL は近傍サンプリングで GNN を訓練するための 2, 3 の近傍サンプラーとパイプライン、そしてサンプリング・ストラテジーをカスタマイズする方法を提供します。

 

以上






AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com