Skip to content

ClasCat® AI Research

クラスキャット – 生成 AI, AI エージェント, MCP

Menu
  • ホーム
    • ClassCat® AI Research ホーム
    • クラスキャット・ホーム
  • OpenAI API
    • OpenAI Python ライブラリ 1.x : 概要
    • OpenAI ブログ
      • GPT の紹介
      • GPT ストアの紹介
      • ChatGPT Team の紹介
    • OpenAI platform 1.x
      • Get Started : イントロダクション
      • Get Started : クイックスタート (Python)
      • Get Started : クイックスタート (Node.js)
      • Get Started : モデル
      • 機能 : 埋め込み
      • 機能 : 埋め込み (ユースケース)
      • ChatGPT : アクション – イントロダクション
      • ChatGPT : アクション – Getting started
      • ChatGPT : アクション – アクション認証
    • OpenAI ヘルプ : ChatGPT
      • ChatGPTとは何ですか?
      • ChatGPT は真実を語っていますか?
      • GPT の作成
      • GPT FAQ
      • GPT vs アシスタント
      • GPT ビルダー
    • OpenAI ヘルプ : ChatGPT > メモリ
      • FAQ
    • OpenAI ヘルプ : GPT ストア
      • 貴方の GPT をフィーチャーする
    • OpenAI Python ライブラリ 0.27 : 概要
    • OpenAI platform
      • Get Started : イントロダクション
      • Get Started : クイックスタート
      • Get Started : モデル
      • ガイド : GPT モデル
      • ガイド : 画像生成 (DALL·E)
      • ガイド : GPT-3.5 Turbo 対応 微調整
      • ガイド : 微調整 1.イントロダクション
      • ガイド : 微調整 2. データセットの準備 / ケーススタディ
      • ガイド : 埋め込み
      • ガイド : 音声テキスト変換
      • ガイド : モデレーション
      • ChatGPT プラグイン : イントロダクション
    • OpenAI Cookbook
      • 概要
      • API 使用方法 : レート制限の操作
      • API 使用方法 : tiktoken でトークンを数える方法
      • GPT : ChatGPT モデルへの入力をフォーマットする方法
      • GPT : 補完をストリームする方法
      • GPT : 大規模言語モデルを扱う方法
      • 埋め込み : 埋め込みの取得
      • GPT-3 の微調整 : 分類サンプルの微調整
      • DALL-E : DALL·E で 画像を生成して編集する方法
      • DALL·E と Segment Anything で動的マスクを作成する方法
      • Whisper プロンプティング・ガイド
  • Gemini API
    • Tutorials : クイックスタート with Python (1) テキスト-to-テキスト生成
    • (2) マルチモーダル入力 / 日本語チャット
    • (3) 埋め込みの使用
    • (4) 高度なユースケース
    • クイックスタート with Node.js
    • クイックスタート with Dart or Flutter (1) 日本語動作確認
    • Gemma
      • 概要 (README)
      • Tutorials : サンプリング
      • Tutorials : KerasNLP による Getting Started
  • Keras 3
    • 新しいマルチバックエンド Keras
    • Keras 3 について
    • Getting Started : エンジニアのための Keras 入門
    • Google Colab 上のインストールと Stable Diffusion デモ
    • コンピュータビジョン – ゼロからの画像分類
    • コンピュータビジョン – 単純な MNIST convnet
    • コンピュータビジョン – EfficientNet を使用した微調整による画像分類
    • コンピュータビジョン – Vision Transformer による画像分類
    • コンピュータビジョン – 最新の MLPモデルによる画像分類
    • コンピュータビジョン – コンパクトな畳込み Transformer
    • Keras Core
      • Keras Core 0.1
        • 新しいマルチバックエンド Keras (README)
        • Keras for TensorFlow, JAX, & PyTorch
        • 開発者ガイド : Getting started with Keras Core
        • 開発者ガイド : 関数型 API
        • 開発者ガイド : シーケンシャル・モデル
        • 開発者ガイド : サブクラス化で新しい層とモデルを作成する
        • 開発者ガイド : 独自のコールバックを書く
      • Keras Core 0.1.1 & 0.1.2 : リリースノート
      • 開発者ガイド
      • Code examples
      • Keras Stable Diffusion
        • 概要
        • 基本的な使い方 (テキスト-to-画像 / 画像-to-画像変換)
        • 混合精度のパフォーマンス
        • インペインティングの簡易アプリケーション
        • (参考) KerasCV – Stable Diffusion を使用した高性能画像生成
  • TensorFlow
    • TF 2 : 初級チュートリアル
    • TF 2 : 上級チュートリアル
    • TF 2 : ガイド
    • TF 1 : チュートリアル
    • TF 1 : ガイド
  • その他
    • 🦜️🔗 LangChain ドキュメント / ユースケース
    • Stable Diffusion WebUI
      • Google Colab で Stable Diffusion WebUI 入門
      • HuggingFace モデル / VAE の導入
      • LoRA の利用
    • Diffusion Models / 拡散モデル
  • クラスキャット
    • 会社案内
    • お問合せ
    • Facebook
    • ClassCat® Blog
Menu

Kubeflow 1.0 : コンポーネント : メタデータ

Posted on 04/09/2020 by Sales Information

Kubeflow 1.0 : コンポーネント : メタデータ (翻訳/解説)

翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 04/09/2020 (1.0)

* 本ページは、Kubeflow の以下のページを翻訳した上で適宜、補足説明したものです:

  • Components of Kubeflow : Metadata

* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。

 

コンポーネント : メタデータ

メタデータ プロジェクトの目標は Kubeflow ユーザが (ワークフローが生成する) メタデータを追跡して管理することにより機械学習 (ML) ワークフローを理解して管理することを手助けすることです。

このコンテキストでは、実行, モデル, データセットそして他の artifacts についての情報を意味します。artifact は貴方の ML ワークフローでコンポーネントの入力と出力を形成するファイルとオブジェクトです。

 

メタデータ・コンポーネントをインストールする

Kubeflow v0.6.1 とその後のバージョンはデフォルトで Metadata コンポーネントをインストールします。Kubeflow v0.6.1 or later を実行している場合、このセクションはスキップできます。

Metadata コンポーネントの最新版をインストールするかコンポーネントを Kubernetes クラスタのアプリケーションとしてインストールすることを望む場合、これらのステップに従ってください :

  1. Kubeflow manifests レポジトリをダウンロードします :
    git clone https://github.com/kubeflow/manifests
    
  2. Metadata コンポーネントのサービスを配備するために次のコマンドを実行します :
    cd manifests/metadata
    kustomize build overlays/db | kubectl apply -n kubeflow -f -
    

 

メタデータを記録するために Metadata SDK を使用する

Metadata プロジェクトは Python SDK (API リファレンス、ソース) を公開しています、これを貴方のメタデータを記録するために利用できます。

Metadata SDK をインストールするには次のコマンドを実行します :

pip install kubeflow-metadata

 

サンプル Jupyter ノートブックで Metadata SDK を試す

Metadata SDK をどのように使用するかのサンプルをこの demo ノートブック で見つけることができます。

ノートブックを Kubeflow クラスあで実行するには :

  1. setting up your Jupyter notebooks in Kubeflow へのガイドに従う。
  2. GitHub の demo ノートブック に進む。
  3. ファイルの Raw ビューを開くことでノートブックコードをダウンロードしてから、コンテンツ上で右クリックしてファイルを demo.ipynb としてローカルにセーブします。
  4. Kubeflow UI の Jupyter ノートブック・サーバに戻ります。(Kubeflow のノートブック・セクションから離れて移動した場合、そこに戻るには左手のナビゲーション・パネルの Notebook Servers をクリックします。)
  5. Jupyter ノートブック UI で、demo.ipynb ノートブックをアップロードするには Upload をクリックしてプロンプトに従います。
  6. Kubeflow クラスタでノートブックを開くにはノートブック名 (demo.ipynb) をクリックします。
  7. Metadata SDK をインストールして使用するにはノートブックのステップを実行します。

demo.ipynb ノートブックのステップを通した実行を完了したとき、Kubeflow UI 上で結果としてのメタデータを見ることができます :

  1. Kubeflow UI の左手のナビゲーション・パネルの Artifact Store をクリックします。
  2. Artifacts スクリーン上で次の項目を見るはずです :
    • 名前 MNIST を持つ モデル メタデータ項目。
    • 名前 MNIST-evaluation を持つ メトリクス メタデータ項目。
    • 名前 mytable-dump を持つ データセット メターデータ項目。

    詳細を見るために各項目の名前をクリックできます。Metadata UI についてより多くの詳細は下のセクションを見てください。

 

Metadata SDK について更に学習する

Metadata SDK は次の事前定義された型を含みます、貴方の ML ワークフローを記述するためにこれを使用できます :

  • DataSet, データセットのためのメタデータを捕捉するため、これは貴方のワークフローでコンポーネントへの入力やコンポーネントの出力を形成します。
  • Execution, ML ワークフローの実行のためのメタデータを捕捉するため。
  • Metrics, ML モデルを評価するために使用されるメトリクスのためのメタデータを捕捉するため。
  • Model, ワークフローが生成する ML モデルのためのメタデータを捕捉するため。

 

メタデータを記録するためにメタデータ・ウォッチャーを使用する

メタデータを直接ロギングするために Python SDK を使用することに加えて、Kubernetes リソースの変化を監視してメタデータをメタデータ・サービスにセーブするために貴方自身の メタデータ・ウォッチャー を追加することができます。

 

メタデータ UI 上で artifacts を追跡する

Kubeflow UI 上の Artifact Store でロギングされた artifacts のリストと各個別の artifact の詳細を見ることができます。

  1. 貴方のブラウザの Kubeflow に行きます。(Kubeflow UI をまだ開いていない場合、どのように セントラル・ダッシュボードにアクセスする かを見つけてください。)
  2. 左手のナビゲーション・パネルの Artifact Store をクリックします :

     

  3. Artifacts スクリーンは貴方のワークフローがロギングした総てのメタデータイベントのための項目のリストを開いて表示します。詳細を見るために各項目の名前をクリックできます。
     
    次のサンプルは 上 で説明された demo.ipynb ノートブックを実行するとき現れる項目を示します :

    • 名前 “MNIST” を持つ モデル メタデータのサンプル :

    • 名前 “MNIST-evaluation” を持つ メトリクス メタデータのサンプル :

    • 名前 “mytable-dump” を持つ データセット メタデータのサンプル :

 

GRPC バックエンド

Kubeflow メタデータはメタデータと関係を管理するために ML メタデータ (MLMD) の gRPC サービス を配備します。

Kubeflow メタデータ SDK は gRPC サービスを通してデータをセーブして取得します。同様に、貴方のカスタム artifacts のためのメタデータをロギングして見るために貴方自身のメタデータ型を定義することができます。Python サンプルについては、MLMD Python クライアント と Kubeflow メタデータ SDK ソースコード を確認できます。Go サンプルについては、メタデータ・ウォッチャー の ソースコード を確認できます。

 

以上






クラスキャット

最近の投稿

  • LangGraph Platform : Get started : クイックスタート
  • LangGraph Platform : 概要
  • LangGraph : Prebuilt エージェント : ユーザインターフェイス
  • LangGraph : Prebuilt エージェント : 配備
  • LangGraph : Prebuilt エージェント : マルチエージェント

タグ

AutoGen (13) ClassCat Press Release (20) ClassCat TF/ONNX Hub (11) DGL 0.5 (14) Eager Execution (7) Edward (17) FLUX.1 (16) Gemini (20) HuggingFace Transformers 4.5 (10) HuggingFace Transformers 4.6 (7) HuggingFace Transformers 4.29 (9) Keras 2 Examples (98) Keras 2 Guide (16) Keras 3 (10) Keras Release Note (17) Kubeflow 1.0 (10) LangChain (45) LangGraph (20) MediaPipe 0.8 (11) Model Context Protocol (16) NNI 1.5 (16) OpenAI Agents SDK (8) OpenAI Cookbook (13) OpenAI platform (10) OpenAI platform 1.x (10) OpenAI ヘルプ (8) TensorFlow 2.0 Advanced Tutorials (33) TensorFlow 2.0 Advanced Tutorials (Alpha) (15) TensorFlow 2.0 Advanced Tutorials (Beta) (16) TensorFlow 2.0 Guide (10) TensorFlow 2.0 Guide (Alpha) (16) TensorFlow 2.0 Guide (Beta) (9) TensorFlow 2.0 Release Note (12) TensorFlow 2.0 Tutorials (20) TensorFlow 2.0 Tutorials (Alpha) (14) TensorFlow 2.0 Tutorials (Beta) (12) TensorFlow 2.4 Guide (24) TensorFlow Deploy (8) TensorFlow Get Started (7) TensorFlow Graphics (7) TensorFlow Probability (9) TensorFlow Programmer's Guide (22) TensorFlow Release Note (18) TensorFlow Tutorials (33) TF-Agents 0.4 (11)
2020年4月
月 火 水 木 金 土 日
 12345
6789101112
13141516171819
20212223242526
27282930  
« 3月   5月 »
© 2025 ClasCat® AI Research | Powered by Minimalist Blog WordPress Theme