ホーム » TensorFlow » TensorFlow Serving

TensorFlow Serving

(翻訳/解説)TensorFlow Serving
翻訳 : (株)クラスキャット セールスインフォメーション
日時 : 02/17/2016

* 本ページは、TensorFlow Serving の GitHub ページの説明を翻訳し、適宜補足説明したものです:
    https://github.com/tensorflow/serving
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

TensorFlow Serving

TensorFlow Serving は機械学習モデルに役立つオープンソース・ソフトウェア・ライブラリです。機械学習の推論の局面を扱い、訓練後のモデルを使用してそれらのライフタイムを管理し、高いパフォーマンスと参照カウントを持つルックアップ・テーブルを通してクライアントにバージョン(管理された)・アクセスを提供します。

複数のモデル、あるいは同じモデルの複数のバージョンさえも同時にサービス提供可能です。柔軟性は新しいバージョンを canarying し、クライアントを新しいモデルかバージョンに不可分ではなく移行し、そして A/B テスト・実験モデルを容易にします。
(訳注 : canarying は現行バージョンと平行して新バージョンをリリースすることです。)

主要なユースケースは高いパフォーマンスの製品サービス提供ですが、同じサービス提供インフラはまた、推論結果を事前計算したりモデル・パフォーマンスを解析するためのバルク処理(例えば map-reduce)ジョブでも使用可能です。両者のシナリオにおいて、GPU は本質的に推論スループットを上昇させることができます。TensorFlow Serving はスケジューラとともに提供され、これは個々の推論リクエストを構成可能な遅延制御とともに GPU 上のジョイント実行のためのバッチとしてグループ化します。

TensorFlow Serving は TensorFlow モデルへの革新的なサポートを(自然に)持ちますが、その核においてネイティブ API へ通過させることで任意のバージョン(管理された) 項目 (= servables) を管理します。訓練された TensorFlow モデルに加えて、servables(= バージョン管理可能な項目)には埋め込み、語彙そして特徴変形構成のような、あるいは TensorFlow ベースではない機械学習モデルでさえ、推論に必要な他の資産も含むことができます。

アーキテクチャは高度にモジュール化されています。幾つかの部品を(例えばバッチ・スケジューリングのような)個別に使っても良いですし、全ての部品を一緒に使うこともできます。
多くのプラグイン・ポイントがあります;システムを拡張するためのおそらくはもっとも有用な方法は :
(a) servable の新しいタイプを作成する;
(b) servable バージョンのカスタムソースを作成する ことでしょう。

 

以上

AI導入支援 #2 ウェビナー

スモールスタートを可能としたAI導入支援   Vol.2
[無料 WEB セミナー] [詳細]
「画像認識 AI PoC スターターパック」の紹介
既に AI 技術を実ビジネスで活用し、成果を上げている日本企業も多く存在しており、競争優位なビジネスを展開しております。
しかしながら AI を導入したくとも PoC (概念実証) だけでも高額な費用がかかり取組めていない企業も少なくないようです。A I導入時には欠かせない PoC を手軽にしかも短期間で認知度を確認可能とするサービの紹介と共に、AI 技術の特性と具体的な導入プロセスに加え運用時のポイントについても解説いたします。
日時:2021年10月13日(水)
会場:WEBセミナー
共催:クラスキャット、日本FLOW(株)
後援:働き方改革推進コンソーシアム
参加費: 無料 (事前登録制)
人工知能開発支援
◆ クラスキャットは 人工知能研究開発支援 サービスを提供しています :
  • テクニカルコンサルティングサービス
  • 実証実験 (プロトタイプ構築)
  • アプリケーションへの実装
  • 人工知能研修サービス
◆ お問合せ先 ◆
(株)クラスキャット
セールス・インフォメーション
E-Mail:sales-info@classcat.com