費用、使用状況、その他の指標をモニタリングする

AI 機能の費用、使用量、その他の指標をモニタリングすることは、本番環境アプリの実行において重要な要素です。アプリの通常の使用パターンがどのようになっているかを把握して、重要なしきい値を超えないようにする必要があります。

このページでは、費用、使用量、 その他の指標をFirebaseコンソールとGoogle Cloudコンソールの両方でモニタリングするための推奨オプションについて説明します。

費用をモニタリングする

[使用量と請求額] ダッシュボード で、Firebase コンソールの Agent Platform Gemini API (formerly Vertex AI) と Gemini Developer API の呼び出しにかかるプロジェクトの費用を確認できます（ Blaze のお支払いプランの場合）。

ダッシュボードに表示される費用は、必ずしも Firebase AI Logic クライアント SDK を使用した呼び出しに固有のものであるとは限りません。表示される費用は、いずれかの「Gemini API」への呼び出しに関連付けられます。これらの呼び出しは、Firebase AI Logic クライアント SDK、Google GenAI サーバー SDK、Genkit、Firebase Extensions 用 Gemini API、REST 呼び出し、AI Studio のいずれか、またはその他の API クライアントを使用しているかどうかにかかわらず発生します。

Firebase AI Logic の使用に関連するプロダクトの料金について詳しくは、Firebase AI Logicこちらをご覧ください。

予算アラートと利用額上限を設定する

Blaze のお支払いプランを使用している場合は、 予算を設定し、 予算アラート と 予算の利用額上限を具体的に設定することで、予期しない請求を回避できます。

予算アラートは予算の上限ではありません。 構成したしきい値に近づいたときやしきい値を超えたときにアラートが送信されるため、アプリやプロジェクトで適切な対応を取ることができます。予算に達したときにサービスを一時停止する場合は、予算の利用額上限を設定する必要があります。

Firebase コンソールで AI 機能の使用状況を確認する

Firebase AI Logic ページで AI モニタリングを有効にすると、さまざまなアプリレベルの指標と使用状況 Firebaseをモニタリングして、 Firebase AI Logic クライアント SDK からのリクエストを包括的に把握できます。これらのダッシュボードは、Count Tokens API の呼び出しから取得できる基本的なトークン数よりも 詳細な情報を提供します 。

Firebase コンソールの AI モニタリングの主な機能は次のとおりです。

  • 各アプリのリクエスト数、レイテンシ、エラー、モーダルごとのトークン使用量などの定量的な指標を表示する。

  • トレースを検査して、リクエストの属性、入力、出力を確認する。これは、デバッグと品質の向上に役立ちます。

  • リクエスト ステータス、最小レイテンシ、モデル名などのディメンションでデータをスライスする。

これらの機能はすべて、Google Cloud Observability Suite を使用して構築されています（ 詳細な商品情報については、以下をご覧ください）。

AI モニタリングを有効にする

Firebase コンソールで AI モニタリングを有効にする方法は次のとおりです。 Firebase

AI モニタリングを有効にして使用するための要件:

  • プロジェクトのオーナー、編集者、または Firebase Vertex AI 管理者である必要があります。

  • アプリでは、少なくとも次のバージョンの Firebase ライブラリを使用する必要があります:
    iOS+: v11.13.0 以降 | Android: v16.0.0 以降（BoM: v33.14.0 以降）| ウェブ: v11.8.0 以降 | Flutter: v2.0.0 以降（BoM: v3.11.0 以降）| Unity: v12.9.0 以降

  • アプリでオプトイン データの収集が有効になっている必要があります（デフォルトで有効になっています）。

アプリがこれらの要件を満たし、コンソールで AI モニタリングを有効にすると、[AI サービス] > [AI Logic] >[AI モニタリング] タブのダッシュボードにデータが表示されるようになります。アプリやコンソールで他の操作を行う必要はありません。リクエストのテレメトリーが Firebase コンソールで使用可能になるまでに、わずかな遅延（最大 5 分）が発生する場合があります。

高度な使い方

このセクションでは、サンプリング レートの構成と、データを表示して操作するためのさまざまなオプションについて説明します。

サンプリング レート

多数のリクエストを行っている場合は、サンプリング レートの構成を利用することをおすすめします。サンプリング レートは、トレースの詳細が実際に収集されるリクエストの割合を示します。

[AI サービス] > [AI Logic] > [設定] タブ Firebase コンソールで、プロジェクトのサンプリング レートを 1 ～ 100% の値に構成できます。100% の場合、AI モニタリングは すべてのトラフィックからトレースを収集します。デフォルトは 100% です。収集するトレースを減らすと費用は削減されますが、モニタリングできるトレースの数も減ります。サンプリング レートに関係なく、モニタリング ダッシュボードに表示されるグラフには常に実際のトラフィック量が反映されます。

Firebase コンソール以外の追加オプション

Firebase コンソールで利用できる AI モニタリングに加えて、次のオプションも検討してください。

  • Vertex AI Model Garden を確認する。
    これらのダッシュボードでは、マネージド モデルのレイテンシとスループットに関する傾向をさらに詳しく把握できます。 これは、Firebase コンソールの AI モニタリングから得られる分析情報を補完します。

  • Google Cloud Observability Suite
    AI モニタリングのテレメトリー データは、プロジェクトに関連付けられた Google Cloud Observability Suite に保存されます。Firebase コンソールで個々のトレースを検査すると、 Trace Explorer や Logs Explorer などのダッシュボードでデータを探索できます。また、このデータを使用して、カスタム ダッシュボードの作成やアラートの設定などを行うこともできます。

AI モニタリングに使用されるプロダクトの詳細

AI monitoring stores your telemetry data in various products available in Google Cloud Observability Suite, including Cloud Monitoring, Cloud Trace, and Cloud Logging.

  • Cloud Monitoring: リクエスト数、 成功率、リクエスト レイテンシなどの指標を保存します。

  • Cloud Trace: 各リクエストのトレースを保存します。これにより、 集計ではなく個別に詳細を確認できます。通常、トレースはログに関連付けられているため、各インタラクションの内容とタイミングを確認できます。

  • Cloud Logging: 入力、出力、構成メタデータをキャプチャして、 AI リクエストの各部分に関する詳細情報を提供します。

テレメトリー データはこれらのプロダクトに保存されるため、各プロダクト内で 保持期間とアクセス設定を直接指定できます（詳しくは、 ドキュメントで Cloud Monitoring、 Cloud Trace 、および Cloud Loggingをご覧ください）。

AI モニタリングは、各サンプリング リクエストからの実際のプロンプトと生成された出力をCloud Loggingに保存するため、このデータはFirebaseコンソールでアクセスできます。必要に応じて、 プロンプトとレスポンスの保存を無効にすることもできます。

料金

  • 無料の Spark のお支払いプランのプロジェクト （ Gemini Developer APIを使用する場合にのみ利用可能）: AI モニタリングの基盤となるサービスの使用は無料です。

  • 従量課金制の Blaze のお支払いプランのプロジェクト: AI モニタリングで使用する基盤となる Google Cloud Observability Suite プロダクトの使用に対して課金されます（選択した Gemini API プロバイダに関係なく）。ただし、各 Google Cloud Observability Suite プロダクトには、無料枠が豊富に用意されています。詳しくは、 Google Cloud Observability Suite の料金に関するドキュメントをご覧ください。

（省略可）プロンプトとレスポンスの保存を無効にする

デフォルトでは、AI モニタリングは、モデルに送信された実際のプロンプトと モデルによって生成されたレスポンスをキャプチャします。これには、プロンプトとレスポンスに含まれる機密情報（ 個人情報（PII）など）も含まれます。このデータはすべて Cloud Logging に保存されるため、 Firebase コンソールでアクセスできます。

プロンプトとレスポンスの保存を無効にするには、次の 除外フィルタ を Cloud Logging シンク （通常は _Default シンク）に追加します: resource.type="firebasevertexai.googleapis.com/Model"。

Google Cloud コンソールでプロジェクト レベルの API 指標を表示する

各 API について、 Google Cloud コンソールでプロジェクト レベルの指標（使用量など）を表示できます。

このセクションで説明する Google Cloud コンソールのページには、リクエストとレスポンスのコンテンツやトークン数などの情報は含まれていません 。 このような情報をモニタリングするには、 コンソールで AI モニタリングを使用することを検討してくださいFirebase （前のセクションをご覧ください）。

  1. Google Cloud コンソールで、表示する API の [Metrics] ページに移動します。

    • Agent Platform API: any リクエストに関連付けられた使用状況を表示します。 Agent Platform Gemini API (formerly Vertex AI)

      • Firebase AI Logic クライアント SDK、 Google GenAI サーバー SDK、Genkit、Firebase Extensions Gemini API 用、REST API、Agent  Studio などを使用するリクエストが含まれます。

    • Gemini Developer API: any リクエストに関連付けられた使用状況を表示します Gemini Developer API。

      • Firebase AI Logic クライアント SDK、 Google GenAI サーバー SDK、Genkit、Firebase Extensions 用 Gemini API、REST API、Google AI Studio などを使用するリクエストが含まれます。
      • この API の Google Cloud コンソール での表示名は「Generative Language API」です。

    API の「概要」ページが表示されたら、 [**管理**] をクリックし、[**指標**] タブをクリックします。

  2. プルダウン メニューを使用して、関心のある指標（レスポンス コード別のトラフィック、API メソッド別のエラー、全体的なレイテンシ、API メソッド別のレイテンシなど）を表示します。