ホーム » Spark » TensorFlowOnSpark (readme翻訳)

TensorFlowOnSpark (readme翻訳)

TensorFlowOnSpark (readme 翻訳)
翻訳 : (株)クラスキャット セールスインフォメーション
日時 : 02/14/2017

* 本ページは、github TensorFlowOnSpark の readme を翻訳したものです:
    https://github.com/yahoo/TensorFlowOnSpark/blob/master/README.md

 

TensorFlowOnSpark とは何か?

TensorFlowOnSpark はスケーラブルな深層学習を Apache Hadoop と Apache Spark にもたらしました。深層学習フレームワーク TensorFlow とビッグデータ・フレームワーク Apache Spark / Apache Hadoop 由来の顕著な特徴を結合することにより、TensorFlowOnSpark は GPU と CPU サーバ・クラスタ上の分散深層学習を可能にします。

TensorFlowOnSpark は Apache Spark クラスタ上の分散 TensorFlow トレーニングと推論を可能にします。それは共有グリッド上にある TensorFlow プログラムを実行するために必要なコード変更の総量を最小化するように努めます。その Spark 互換な API は TensorFlow クラスタを次のステップで管理することを手助けします :

  1. Reservation(予約) – 各 executor 上の TensorFlow プロセスのためのポートを予約し、また data/control メッセージのためのリスナーを開始します。
  2. Startup – executor 上で TensorFlow main 関数を launch します。
  3. データ摂取 (Data ingestion)
    • Readers & QueueRunners – TensorFlow の Reader 機構を HDFS から直接データファイルを読むために進化させます。
    • Feeding – Spark RDD データを feed_dict 機構を使用して TensorFlow ノードへ送ります。HDFS 上の TFRecords へのアクセスのために Hadoop Input/Output フォーマットを改良している (= leverage) ことに注意してください。
  4. Shutdown – TensorFlow workers と executors 上の PS ノードを停止します。

Infiniband ネットワーク上のリモート・ダイレクトメモリアクセス (RDMA, direct access to remote memory) をサポートするためにもまた TensorFlow を拡張しました。

TensorFlowOnSpark は Yahoo のプライベート・クラウドの Hadoop クラスタ上で大規模な分散深層学習のために Yahoo により開発されました。

 

何故 TensorFlowOnSpark か?

TensorFlowOnSpark は他の選択肢の深層学習ソリューションを超える幾つかの重要なメリット(ブログ 参照)を提供します。

  • <10 行のコード変更ですべての既存の TensorFlow プログラムを簡単に migrate します ;
  • すべての TensorFlow 機能をサポートします : 同期/非同期なトレーニング、モデル/データの並列処理、推論そして TensorBoard ;
  • サーバ to サーバのダイレクト・コミュニケーションが利用可能であれば、より高速な学習を達成します ;
  • HDFS 上と他のソース上のデータセットに Spark で push され TensorFlow で pull されることを可能にします ;
  • 貴方の既存のデータ処理パイプラインと機械学習アルゴリズム (ex. MLlib, CaffeOnSpark) を簡単に統合できます ;
  • クラウドでもオンプレでも簡単にデプロイされます: CPU & GPU, Ethernet そして Infiniband。
 

以上

AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com