Kosten, Nutzung und andere Messwerte im Blick behalten

Das Monitoring der Kosten, der Nutzung und anderer Messwerte Ihrer KI-Funktionen ist ein wichtiger Bestandteil des Betriebs einer Produktions-App. Sie müssen wissen, wie normale Nutzungsmuster für Ihre App aussehen, und darauf achten, dass Sie die für Sie wichtigen Grenzwerte nicht überschreiten.

Auf dieser Seite werden einige empfohlene Optionen zum Beobachten Ihrer Kosten, der Nutzung, und anderer Messwerte in der Firebase Console und der Google Cloud Console beschrieben.

Kosten überwachen

Im Nutzung und Abrechnung Dashboard der Firebase Console können Sie die Kosten für Ihr Projekt für Aufrufe der Vertex AI Gemini API und der Gemini Developer API einsehen (wenn Sie den Blaze-Tarif verwenden).

Die im Dashboard angezeigten Kosten beziehen sich nicht unbedingt auf Aufrufe mit den Firebase AI Logic Client-SDKs. Die angezeigten Kosten sind mit allen Aufrufen dieser "Gemini APIs" verknüpft, unabhängig davon, ob die Firebase AI Logic Client-SDKs, die Google GenAI Server SDKs, Genkit, die Firebase Extensions für die Gemini API, REST-Aufrufe, eines der AI Studios oder andere API-Clients verwendet werden.

Weitere Informationen zu den Preisen für die Produkte, die mit Ihrer Nutzung von Firebase AI Logic verbunden sind.

Benachrichtigung einrichten

Um unerwartete Rechnungen zu vermeiden, sollten Sie Budgetbenachrichtigungen einrichten wenn Sie das Blaze-Preismodell verwenden.

Budgetbenachrichtigungen sind keine Budgetobergrenzen. Sie erhalten eine Benachrichtigung, wenn Sie den konfigurierten Grenzwert erreichen oder überschreiten, damit Sie in Ihrer App oder Ihrem Projekt Maßnahmen ergreifen können.

Nutzung Ihrer KI-Funktionen in der Firebase Console beobachten

Sie können das KI-Monitoring auf der Seite Firebase AI Logic der Firebase Console aktivieren, um verschiedene Messwerte und die Nutzung auf App-Ebene zu beobachten und so einen umfassenden Überblick über Ihre Anfragen von den Firebase AI Logic Client-SDKs zu erhalten. Diese Dashboards sind detaillierter als die grundlegenden Token-Anzahlen, die Sie bei einem Aufruf der Count Tokens API erhalten.

Wichtige Funktionen des KI-Monitorings in der Firebase Console:

• Quantitative Messwerte wie Anfragevolumen, Latenz, Fehler und Token-Nutzung pro Modalität für jede Ihrer Apps ansehen.

• Traces prüfen, um die Attribute, Eingaben und Ausgaben Ihrer Anfragen zu sehen. Das kann beim Debugging und bei der Qualitätsverbesserung hilfreich sein.

• Daten nach Dimensionen wie Anfragestatus, Mindestlatenz, Modellname und mehr aufschlüsseln.

Alle diese Funktionen basieren auf Google Cloud Observability Suite (siehe detaillierte Produktinformationen unten).

KI-Monitoring aktivieren

So können Sie das KI-Monitoring in der Firebase Console aktivieren :

• Beim ersten geführten Einrichtungsprozess auf der KI-Dienste > Firebase AI Logic Seite

• Jederzeit auf dem Tab KI-Dienste > KI-Logik > Einstellungen

Voraussetzungen für die Aktivierung und Nutzung des KI-Monitorings :

• Sie müssen Projektinhaber, Bearbeiter oder Firebase Vertex AI-Administrator sein.

• Ihre App muss mindestens diese Firebase-Bibliotheksversionen verwenden:
  iOS+: v11.13.0 oder höher | Android: v16.0.0 oder höher (BoM: v33.14.0 oder höher) | Web: v11.8.0 oder höher | Flutter: v2.0.0 oder höher (BoM: v3.11.0 oder höher) | Unity: v12.9.0 oder höher

• Für Ihre App muss die optionale Datenerhebung aktiviert sein (standardmäßig aktiviert).

Wenn Ihre App diese Anforderungen erfüllt und Sie das KI-Monitoring in der Console aktivieren, müssen Sie nichts weiter in Ihrer App oder der Console tun, um Daten in den Dashboards auf dem Tab KI-Dienste > KI-Logik > KI-Monitoring zu sehen. Es kann eine kurze Verzögerung (manchmal bis zu 5 Minuten) geben, bis Telemetriedaten einer Anfrage von in der Firebase Console verfügbar sind.

Fortgeschrittene Nutzung

In diesem Abschnitt werden die Konfiguration der Abtastrate sowie verschiedene Optionen zum Ansehen und Verwenden Ihrer Daten beschrieben.

Abtastrate

Wenn Sie eine große Anzahl von Anfragen stellen, empfehlen wir die Konfiguration der Abtastrate. Die Abtastrate gibt den Anteil der Anfragen an, für die tatsächlich Trace-Details erhoben werden.

Auf dem Tab KI-Dienste > KI-Logik > Einstellungen der Firebase Console können Sie die Abtastrate für Ihr Projekt auf einen Wert zwischen 1 und 100 % konfigurieren. 100% bedeutet, dass das KI-Monitoring Traces für den gesamten Traffic erfasst. Der Standardwert ist 100%. Wenn Sie weniger Traces erheben, sinken Ihre Kosten, aber auch die Anzahl der Traces, die Sie beobachten können. Unabhängig von der Abtastrate spiegeln die Diagramme im Monitoring-Dashboard immer das tatsächliche Trafficvolumen wider.

Zusätzliche Optionen außerhalb der Firebase Konsole

Neben dem KI-Monitoring in der Firebase Console haben Sie folgende Möglichkeiten:

• Vertex AI Model Garden erkunden .
  Diese Dashboards bieten weitere Trendstatistiken zu Latenz und Durchsatz für die verwalteten Modelle und ergänzen so die Statistiken aus dem KI-Monitoring in der Firebase Console.

• Daten mit Google Cloud Observability Suite
  untersuchen und verwenden Da Telemetriedaten für das KI-Monitoring in Google Cloud Observability Suite gespeichert werden, die mit Ihrem Projekt verknüpft ist, können Sie Ihre Daten in den Dashboards untersuchen, einschließlich Trace Explorer und Logs Explorer. Diese sind verknüpft, wenn Sie Ihre einzelnen Traces in der Firebase Console prüfen. Sie können Ihre Daten auch verwenden, um benutzerdefinierte Dashboards zu erstellen, Benachrichtigungen einzurichten und vieles mehr.

Detaillierte Informationen zu Produkten, die für das KI-Monitoring verwendet werden

Beim KI-Monitoring werden Ihre Telemetriedaten in verschiedenen Produkten gespeichert, die in Google Cloud Observability Suite verfügbar sind, darunter Cloud Monitoring, Cloud Trace und Cloud Logging.

• Cloud Monitoring: Speichert Messwerte wie Anzahl der Anfragen, Erfolgsrate und Anfragelatenz.

• Cloud Trace: Speichert Traces für jede Ihrer Anfragen, damit Sie Details einzeln und nicht aggregiert ansehen können. Ein Trace ist in der Regel mit Logs verknüpft, damit Sie Inhalt und Timing jeder Interaktion prüfen können.

• Cloud Logging: Erfasst Metadaten zu Eingabe, Ausgabe und Konfiguration, um detaillierte Informationen zu jedem Teil Ihrer KI-Anfrage zu liefern.

Da Ihre Telemetriedaten in diesen Produkten gespeichert werden, können Sie die Einstellungen für Aufbewahrung und Zugriff direkt in jedem Produkt festlegen (weitere Informationen finden Sie in der Dokumentation zu Cloud Monitoring, Cloud Trace und Cloud Logging).

Beim KI-Monitoring werden die tatsächlichen Prompts und die generierte Ausgabe aus jeder Stichprobenanfrage in Cloud Logging gespeichert, damit diese Daten in der Firebase Console verfügbar sind. Optional können Sie das Speichern von Prompts und Antworten deaktivieren.

Preise

• Projekte mit dem kostenlosen Spark-Tarif (nur bei Verwendung der Gemini Developer API): Die Nutzung der zugrunde liegenden Dienste für das KI-Monitoring ist kostenlos.

• Projekte mit dem Blaze-Preismodell mit nutzungsabhängiger Bezahlung: Ihnen wird die Nutzung der zugrunde liegenden Google Cloud Observability Suite Produkte in Rechnung gestellt, die für das KI-Monitoring verwendet werden (unabhängig vom ausgewählten Gemini API Anbieter). Für jedes Google Cloud Observability Suite Produkt gibt es jedoch großzügige kostenlose Stufen. Weitere Informationen finden Sie in der Google Cloud Observability Suite Preisdokumentation.

(Optional) Speichern von Prompts und Antworten deaktivieren

Standardmäßig erfasst das KI-Monitoring die tatsächlichen Prompts, die an das Modell gesendet werden, und die vom Modell generierten Antworten, einschließlich sensibler Informationen (wie personenidentifizierbare Informationen (PII)) in diesen Prompts und Antworten. Alle diese Daten werden in Cloud Logging gespeichert, damit sie in der Firebase Console verfügbar sind.

Wenn Sie das Speichern von Prompts und Antworten deaktivieren möchten, fügen Sie der Cloud Logging Senke für Cloud Logging (in der Regel die Senke _Default) den folgenden Ausschlussfilter hinzu: resource.type="firebasevertexai.googleapis.com/Model".

API-Messwerte auf Projektebene in der Google Cloud Console ansehen

Für jede API können Sie in der Google Cloud Konsole Messwerte auf Projektebene wie die Nutzung ansehen.

Beachten Sie, dass die in diesem Abschnitt beschriebenen Google Cloud Konsolenseiten keine Informationen wie Anfragen- und Antwortinhalte und die Anzahl der Token enthalten. Wenn Sie diese Art von Informationen beobachten möchten, verwenden Sie das KI-Monitoring in der Firebase Console (siehe vorheriger Abschnitt).

1. Rufen Sie in der Google Cloud Console die Messwerte Seite der API auf, die Sie ansehen möchten:

   • Vertex AI API: Hier sehen Sie die Nutzung, die mit jeder Anfrage an die Vertex AI Gemini API verbunden ist.

     • Dazu gehören Anfragen mit den Firebase AI Logic Client-SDKs, den Google GenAI Server SDKs, Genkit, den Firebase Extensions für die Gemini API, der REST API, Vertex AI Studio, usw.

   • Gemini Developer API: Hier sehen Sie die Nutzung, die mit jeder Anfrage an die Gemini Developer API verbunden ist.

     • Dazu gehören Anfragen mit den Firebase AI Logic Client-SDKs, den Google GenAI Server SDKs, Genkit, den Firebase Extensions für die Gemini API, der REST API, Google AI Studio, usw.
     • Der Anzeigename dieser API in der Google Cloud Konsole ist "Generative Language API".

   Wenn Sie sich auf einer "Übersichtsseite" für die API befinden, klicken Sie auf Verwalten und dann auf den Tab Messwerte.

2. Verwenden Sie die Drop-down-Menüs, um die gewünschten Messwerte anzusehen, z. B. Traffic nach Antwortcode, Fehler nach API-Methode, Gesamtlatenz und Latenz nach API-Methode.