MediaPipe：端末上の機械学習をアプリへ組み込むGoogleの基盤

READMEは開発者文書の移転を先に告げる

MediaPipeリポジトリのREADMEは、2023年4月3日から主要な開発者向け文書をdevelopers.google.com/mediapipeへ移したと告知しています。GitHub上のREADMEは全機能を説明するマニュアルというより、Solutions、Framework、セットアップガイド、コミュニティへの入口です。MediaPipe Solutions Previewは早期リリースであるとも書かれているため、安定版の機能表として一括して読むのは危険です。

リポジトリの説明は、ライブおよびストリーミングメディア向けのクロスプラットフォームでカスタマイズ可能な機械学習ソリューションです。C++のリポジトリとして公開され、Android、iOS、Web、デスクトップ、エッジデバイス、IoTへの展開が挙げられます。対応先が広い分、推奨言語、モデル形式、端末性能、配布条件は選ぶタスクのガイドで確認します。

Solutionsは四つの部品で導入経路を分ける

MediaPipe Solutionsの説明には、MediaPipe Tasks、MediaPipe models、MediaPipe Model Maker、MediaPipe Studioが登場します。Tasksはソリューションを展開するクロスプラットフォームAPIとライブラリ、modelsは事前学習済みで実行可能なモデルです。Model Makerは自分のデータでモデルを調整し、Studioはブラウザ上で可視化、評価、ベンチマークを行うための道具として置かれています。

この構成は、既存モデルを呼び出すだけの利用と、データに合わせた調整を分けて考えられる点が分かりやすいです。Vision、Text、Audioのタスク別ガイドが用意され、Android、Webアプリ、Pythonのセットアップ入口もあります。READMEは各コンポーネントの存在とリンクを示すものなので、モデルの精度、対応端末、推論時間を採用条件にする場合は、個別の公式ガイドと自分のデータで確認します。

Legacy Solutionsはサポート終了日を基準に読む

READMEは一部のMediaPipe Legacy Solutionsについて、2023年3月1日にサポートを終了したと説明しています。他のLegacy Solutionsは新しいMediaPipe Solutionへアップグレードされる予定で、既存のコードリポジトリとビルド済みバイナリは現状のまま提供されます。旧APIが残っていることと、現在も積極的に保守されることは同じではありません。

既存アプリがLegacy Solutionsに依存しているなら、単にバイナリを更新するのではなく、対応する新Solution、入力形式、出力の意味、モデルの版を照合します。READMEは個別の移行表をここで完結させず、Solutions guideとLegacy文書へ案内しています。新規実装では、古いサンプルが動いたことだけで採用を決めず、現在のドキュメントにあるセットアップと更新方針を確認したいです。

FrameworkはPackets、Graphs、Calculatorsを理解して使う

MediaPipe Frameworkは、既製のSolutionsと似た効率的な端末上の機械学習パイプラインを構築する低レベルコンポーネントです。READMEはC++、Android、iOSでサンプルアプリを作れるとし、利用前にPackets、Graphs、Calculatorsの概念を学ぶよう促しています。入力や中間結果を流す単位、処理の接続、各処理ノードの役割を分けて設計する入口です。

Solutionsが既存タスクの導入に近いのに対し、Frameworkは処理の構造を自分で組むための層です。独自の映像処理やセンサー入力を扱うなら柔軟ですが、グラフ設計、スレッド、端末資源、モデル入出力を管理する範囲が増えます。まずTasksで要件を満たせるかを確認し、既製の境界を超える理由がある場合にFrameworkへ進むのが、検証量を抑えやすい進め方です。

入力は端末内、メトリクスはGoogleへ送信される

READMEのプライバシー通知は、MediaPipe Tasksで扱う画像、動画、テキストなどの入力データを端末上で処理し、その入力をGoogleサーバーへ送らないと説明しています。端末外へ出すべきでない入力を扱えるという、アプリ設計上の重要な条件です。ただし、同じ通知はTasks APIがAPIの性能と利用状況に関するメトリクスをGoogleへ送ると明記しています。

Googleはそのメトリクスを性能測定、利用状況の把握、デバッグ、保守、改善に使います。何がメトリクスへ含まれるか、無効化できるかはREADMEだけでは詳しくありません。通知は、適用される法律に従ってアプリ利用者からインフォームドコンセントを得る責任が開発者にあるとしています。機密入力を扱う場合は、入力データと利用メトリクスを別のデータフローとして説明し、同意文面と設定を確認します。

Apache-2.0のコードと未提示の性能保証を分ける

MediaPipeリポジトリはApache-2.0で、ライセンス抜粋には複製、改変、公開、実演、再許諾、配布を行う著作権許諾と、条件付きの特許許諾が含まれます。ライセンスの自由度は組み込み検討の材料ですが、特定端末での推論時間、モデル精度、サポート期間、セキュリティ監査を保証する文書ではありません。

適するのは、端末上の視覚、音声、テキスト処理をアプリへ組み込み、公式ガイドを基に端末別検証ができる開発チームです。まずタスクと端末を一つに絞り、入力が外部送信されないこと、メトリクスの同意が成立すること、モデル更新で結果が変わらないことを記録します。Legacy依存、Preview利用、Frameworkの独自グラフがある場合は、それぞれの更新経路を別に管理したいです。

端末、モデル、同意を一つの受け入れ条件にする

MediaPipeを実装へ組み込む場合は、機械学習モデルの取得、端末上の推論、APIメトリクス、利用者への通知を別々に確認します。Android、iOS、Web、Pythonのどの入口を選ぶかで依存関係と配布手順が変わるため、同じサンプルが全環境で同じ結果になると仮定しません。入力データの保持、モデルの版、推論時間、端末温度、失敗時の表示を受け入れ条件へ記録します。

編集部の結論

MediaPipeは、画像、動画、音声、テキストを端末側で処理する機械学習機能を、複数のアプリ基盤へ組み込みたい開発者に向きます。利用時は、すぐ使えるMediaPipe Solutionsと、Packets、Graphs、Calculatorsを理解して構築する低レベルのFrameworkを分けて選びます。入力データはGoogleサーバーへ送られないとREADMEにありますが、APIの性能メトリクスは送信されるため、同意と法的要件を先に確認したいです。

公式情報源

1. Official documentation
2. Official README
3. Project repository
4. Release notes