監控費用、用量和其他指標

監控 AI 功能的成本、用量和其他指標,是執行正式版應用程式的重要環節。您必須瞭解應用程式的正常使用模式,並確保用量不超過重要門檻。

本頁面說明一些建議選項,可協助您在 Firebase 控制台和 Google Cloud 控制台中監控費用、用量和其他指標。

監控費用

在 Firebase 控制台的「Usage and Billing dashboard」(用量與計費資訊主頁) 中,您可以查看專案呼叫 Agent Platform Gemini API (formerly Vertex AI) 和 Gemini Developer API 的費用 (如果您採用 Blaze 定價方案)。

資訊主頁上顯示的費用不一定專指使用 Firebase AI Logic 用戶端 SDK 的呼叫。顯示的費用與「Gemini API」的任何呼叫相關,無論是使用 Firebase AI Logic 用戶端 SDK、Google GenAI 伺服器 SDK、Genkit、Gemini API 的 Firebase Extensions、REST 呼叫、其中一個 AI Studio 或其他 API 用戶端。

進一步瞭解與您使用 Firebase AI Logic 相關的產品定價。

設定預算快訊和支出上限

如果採用 Blaze 定價方案,請設定預算快訊和支出上限,避免產生意外費用。

請注意,預算快訊並非預算上限。當支出達到預算的特定門檻時,系統會傳送警告電子郵件,以便您在應用程式或專案中採取行動。如要在達到預算時暫停服務,請設定支出上限預算。

在 Firebase 控制台觀察 AI 功能的使用情形

您可以在 Firebase 控制台的「Firebase AI Logic」頁面啟用 AI 監控功能,觀察各種應用程式層級指標和用量,全面掌握 Firebase AI Logic 用戶端 SDK 的要求。這些資訊主頁比呼叫 Count Tokens API 取得的基本權杖計數更深入。

Firebase控制台 AI 監控功能的主要特點包括:

  • 查看各應用程式的量化指標,例如要求數量、延遲時間、錯誤,以及各模態的詞元用量。

  • 檢查追蹤記錄,查看要求的屬性、輸入和輸出內容,協助偵錯及提升品質。

  • 依要求狀態、最低延遲時間、模型名稱等維度切分資料。

所有這些功能都是使用 Google Cloud Observability Suite 建構而成 (請參閱下方的詳細產品資訊)。

啟用 AI monitoring

在 Firebase 控制台啟用 AI monitoring 的方式如下:

啟用及使用 AI monitoring 的規定:

  • 您必須是專案擁有者、編輯者或 Firebase Vertex AI 管理員。

  • 應用程式至少須使用下列 Firebase 程式庫版本:
    iOS+:v11.13.0+ | Android:v16.0.0+ (BoM:v33.14.0+) | Web:v11.8.0+ | Flutter:v2.0.0+ (BoM:v3.11.0+) | Unity:v12.9.0+

  • 應用程式必須啟用選擇加入資料收集功能 (預設為啟用)。

應用程式符合這些規定,且您在控制台 中啟用 AI monitoring 後,就不必在應用程式或控制台中執行任何其他操作,即可 在「AI Services」>「AI Logic」> 「AI monitoring分頁」中查看資料。 要求中的遙測資料可能需要稍等片刻 (有時最多 5 分鐘),才會顯示在 Firebase 控制台中。

進階用法

本節說明取樣率設定,以及查看和處理資料的不同選項。

取樣率

如果您要提出大量要求,建議您利用取樣率設定。取樣率代表系統會對多少比例的要求收集追蹤記錄詳細資料。

在 Firebase 控制台的「AI Services」(AI 服務) >「AI Logic」(AI 邏輯) >「Settings」(設定) 分頁中,您可以將專案的取樣率設為 1% 到 100% 之間的值,100% 表示 AI monitoring 會從所有流量收集追蹤記錄。預設值為 100%。收集較少追蹤記錄可降低費用,但可監控的追蹤記錄數量也會減少。請注意,無論取樣率為何,監控資訊主頁中顯示的圖表一律會反映實際流量。

Firebase 控制台以外的其他選項

除了 Firebase 控制台提供的 AI monitoring 功能外,您也可以考慮下列選項:

  • 探索 Vertex AI Model Garden。
    這些資訊主頁可進一步提供代管模型的延遲時間和處理量趨勢洞察資料,與 Firebase 控制台的 AI 監控洞察資料相輔相成。

  • 使用 Google Cloud Observability Suite 探索及使用資料
    由於 AI monitoring 的遙測資料儲存在與專案相關聯的 Google Cloud Observability Suite 中,您可以在其資訊主頁中探索資料,包括 Trace Explorer 和 Logs Explorer,這些資訊主頁會在您於 Firebase 控制台中檢查個別追蹤記錄時連結。您也可以使用資料建立自訂資訊主頁、設定快訊等。

用於 AI 監控的產品詳細資訊

AI 監控功能會將遙測資料儲存在 Google Cloud Observability Suite 提供的各種產品中,包括 Cloud Monitoring、Cloud Trace 和 Cloud Logging。

  • Cloud Monitoring:儲存指標,包括要求數量、成功率和要求延遲時間。

  • Cloud Trace:儲存每項要求的追蹤記錄,方便您個別查看詳細資料,而非匯總資料。追蹤記錄通常會與記錄檔建立關聯,方便您查看每次互動的內容和時間。

  • Cloud Logging:擷取輸入、輸出和設定中繼資料,提供 AI 要求各部分的詳細資訊。

由於遙測資料儲存在這些產品中,您可以直接在各項產品中指定保留和存取設定 (詳情請參閱 Cloud Monitoring、Cloud Trace 和 Cloud Logging 的說明文件)。

請注意,AI 監控功能會將每個取樣要求的「實際」提示和生成輸出內容儲存在 Cloud Logging 中,以便在 Firebase 控制台中存取這些資料。您也可以選擇停用提示和回覆儲存功能。

定價

  • 採用免付費 Spark 定價方案的專案 (僅限使用 Gemini Developer API 時): AI monitoring 的底層服務可無須支付費用使用。

  • 採用即付即用 Blaze 定價方案的專案: 無論您選擇哪家 Gemini API 供應商,系統都會根據 AI monitoring 使用的基礎 Google Cloud Observability Suite 產品用量向您收費。不過,每項 Google Cloud Observability Suite 產品都提供相當優渥的免付費方案。詳情請參閱 Google Cloud Observability Suite 定價說明文件。

(選用) 停用提示詞和回覆儲存功能

根據預設,AI monitoring 會擷取傳送至模型的「實際」提示,以及模型生成的回覆,包括這些提示和回覆中的任何「機密資訊 (例如個人識別資訊 (PII))」。所有資料都會儲存在 Cloud Logging,以便在 Firebase 控制台中存取。

如要停用提示和回覆的儲存功能,請在 Cloud Logging 接收器 (通常是 _Default 接收器) 中,新增下列排除篩選器:resource.type="firebasevertexai.googleapis.com/Model"。

在 Google Cloud 控制台查看專案層級的 API 指標

在 Google Cloud 控制台中,您可以查看各個 API 的專案層級指標,例如用量。

請注意,本節所述的 Google Cloud 控制台頁面不包含要求和回應內容、權杖數量等資訊。如要監控這類資訊,建議使用 Firebase 控制台中的 AI monitoring (請參閱上一節)。

  1. 在 Google Cloud 控制台中,前往要查看的 API「Metrics」(指標) 頁面:

    • Agent Platform API:查看向Agent Platform Gemini API (formerly Vertex AI)發出的「任何」要求相關用量。

      • 包括使用 Firebase AI Logic 用戶端 SDK、Google GenAI 伺服器 SDK、Genkit、Firebase Extensions (適用於 Gemini API)、REST API、Agent  Studio 等提出的要求。
    • Gemini Developer API:查看向 Gemini Developer API 提出的「任何」要求相關用量。

      • 包括使用 Firebase AI Logic 用戶端 SDK、Google GenAI 伺服器 SDK、Genkit、Firebase Extensions (適用於 Gemini API)、REST API、Google AI Studio 等提出的要求。
      • 這個 API 在 Google Cloud 控制台中的顯示名稱為「Generative Language API」。

    如果進入 API 的「總覽頁面」,請按一下「管理」,然後點選「指標」分頁標籤。

  2. 使用下拉式選單查看感興趣的指標,例如依回應代碼區分的流量、依 API 方法區分的錯誤、整體延遲時間,以及依 API 方法區分的延遲時間。