MediaPipe 0.8 : 概要 (README) (翻訳/解説)
翻訳 : (株)クラスキャット セールスインフォメーション
作成日時 : 03/05/2021 (0.8.3)
* 本ページは、MediaPipe の以下のドキュメントを翻訳した上で適宜、補足説明したものです:
* サンプルコードの動作確認はしておりますが、必要な場合には適宜、追加改変しています。
* ご自由にリンクを張って頂いてかまいませんが、sales-info@classcat.com までご一報いただけると嬉しいです。
- お住まいの地域に関係なく Web ブラウザからご参加頂けます。事前登録 が必要ですのでご注意ください。
- Windows PC のブラウザからご参加が可能です。スマートデバイスもご利用可能です。
人工知能研究開発支援 | 人工知能研修サービス | テレワーク & オンライン授業を支援 |
PoC(概念実証)を失敗させないための支援 (本支援はセミナーに参加しアンケートに回答した方を対象としています。) |
◆ お問合せ : 本件に関するお問い合わせ先は下記までお願いいたします。
株式会社クラスキャット セールス・マーケティング本部 セールス・インフォメーション |
E-Mail:sales-info@classcat.com ; WebSite: https://www.classcat.com/ |
Facebook: https://www.facebook.com/ClassCatJP/ |
MediaPipe 0.8 : 概要 (README)
Live ML anywhere
MediaPipe はライブ & ストリーミング・メディアのためのクロスプラットフォーム、カスタマイズ可能な ML ソリューションを提供します。
![]() |
![]() |
End-to-End アクセラレーション : 一般的なハードウェア上でさえ高速化される組込み高速 ML 推論と処理。 | 一度ビルドすれば、どこでも配備できます : 統一ソリューションは Android, iOS, デスクトップ/クラウド, web と IoT に渡り動作します。 |
![]() |
![]() |
Ready-to-use ソリューション : フレームワークの full パワーを実演する最先端の ML ソリューション。 | フリー & オープンソース : Apache 2.0 下のフレームワークとソリューションの両者、完全に拡張可能でカスタマイズ可能です。 |
MediaPipe の ML ソリューション
顔検出 | 顔メッシュ | Iris | 手 | ポーズ | 全体 (= Holistic) |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
ヘア・セグメンテーション | 物体検出 | Box 追跡 | インスタント・モーション追跡 | Objectron | KNIFT |
![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
Android | iOS | C++ | Python | JS | Coral | |
顔検出 | ![]() |
![]() |
![]() |
![]() |
![]() |
![]() |
顔メッシュ | ![]() |
![]() |
![]() |
![]() |
![]() |
|
Iris | ![]() |
![]() |
![]() |
|||
手 | ![]() |
![]() |
![]() |
![]() |
![]() |
|
ポーズ | ![]() |
![]() |
![]() |
![]() |
![]() |
|
全体 (= Holistic) | ![]() |
![]() |
![]() |
![]() |
![]() |
|
ヘア・セグメンテーション | ![]() |
![]() |
||||
物体検出 | ![]() |
![]() |
![]() |
![]() |
||
ボックス追跡 | ![]() |
![]() |
![]() |
|||
インスタンス・モーション追跡 | ![]() |
|||||
Objectron | ![]() |
![]() |
||||
KNIFT | ![]() |
|||||
AutoFlip | ![]() |
|||||
MediaSequence | ![]() |
|||||
YouTube 8M | ![]() |
MediaPipe でリリースされた ML モデルのための MediaPipe モデルと Model Cards も見てください。
MediaPipe in Python
MediaPipe はカスタマイズ可能な Python ソリューションを PyPI の事前ビルドされた Python パッケージとして提供します、これは pip install mediapipe で単純にインストールできます。それはまたユーザが自身のソリューションを構築するためのツールも提供します。より多くの情報については MediaPipe in Python を見てください。
MediaPipe on the Web
MediaPipe on the Web はモバイルとデスクトップのために構築された ML ソリューションと同じソリューションを web ブラウザで実行するための取り組みです。公式 API は構築中ですが、コア技術は有効であることが証明されています。詳細は Google Developers Blog の MediaPipe on the Web を見てください。
MediaPipe Visualizer のデモをロードするために以下のリンクが利用できます、そしてそこで下で示されるようにトップの “Runner” アイコンをクリックします。デモは入力として貴方の webcam を利用します、これはリアルタイムに総てローカルで処理されて貴方のデバイスを決して放置しません。
- MediaPipe 顔検出
- MediaPipe Iris
- MediaPipe Iris: Depth-from-Iris
- MediaPipe Hands
- MediaPipe Hands (palm/hand detection only)
- MediaPipe ポーズ
- MediaPipe ヘア・セグメンテーション
Getting started
MediaPipe をどのように インストール して サンプルアプリケーションをビルドする か、そして (貴方が更に拡張してカスタマイズできる) ready-to-use ソリューション を探検し始めるかを学習します。
ソースコードは MediaPipe Github レポジトリ にホストされ、そして Google Open Source Code Search を使用して code search を実行できます。
公表 (= Publications)
- MediaPipe Holistic – Simultaneous Face, Hand and Pose Prediction, on Device in Google AI Blog
- Background Features in Google Meet, Powered by Web ML in Google AI Blog
- MediaPipe 3D 顔変換 in Google Developers Blog
- MediaPipe でインスタント・モーション追跡 in Google Developers Blog
- BlazePose – On-device リアルタイム・ボディポーズ追跡 in Google AI Blog
- MediaPipe Iris: リアルタイム眼 (= Eye) 追跡と Depth 推定 in Google AI Blog
- MediaPipe KNIFT: テンプレート-based 特徴マッチング in Google Developers Blog
- Alfred Camera: MediaPipe を使用したスマートなカメラ特徴 in Google Developers Blog
- MediaPipe でモバイルデバイス上リアルタイム 3D 物体検出 in Google AI Blog
- AutoFlip: Intelligent ビデオ Reframing のためのオープンソース・フレームワーク in Google AI Blog
- MediaPipe on the Web in Google Developers Blog
- MediaPipe を使用した物体検出と追跡 in Google Developers Blog
- MediaPipe でデバイス上リアルタイム・ハンド追跡 in Google AI Blog
- MediaPipe: Perception パイプライン構築のためのフレームワーク
以上