Эта страница переведена с помощью Cloud Translation API.

Мониторинг затрат, использования и других показателей

Мониторинг затрат, использования и других показателей ваших ИИ-функций — важная часть работы приложения в продакшене. Вам необходимо знать, как выглядят обычные шаблоны использования вашего приложения, и убедиться, что вы не выходите за рамки важных для вас пороговых значений.

На этой странице описываются некоторые рекомендуемые параметры для мониторинга расходов, использования и других показателей как в консоли Firebase , так и в консоли Google Cloud .

Мониторинг расходов

На панели «Использование и выставление счетов» консоли Firebase вы можете просмотреть расходы вашего проекта на вызовы API Vertex AI Gemini и API Gemini Developer (при использовании тарифного плана Blaze).

Стоимость, отображаемая на панели управления, не обязательно относится к вызовам с использованием клиентских SDK Firebase AI Logic . Отображаемая стоимость связана с любыми вызовами к этим «Gemini API», независимо от того, используются ли клиентские SDK Firebase AI Logic , серверные SDK Google GenAI, Genkit , Firebase Extensions для Gemini API , вызовы REST, одна из AI Studios или другие клиенты API.

Узнайте больше о ценах на продукты, связанные с использованием Firebase AI Logic .

Настроить оповещения

Чтобы избежать неожиданных счетов, обязательно настройте оповещения о бюджете при использовании тарифного плана Blaze.

Обратите внимание, что оповещения о бюджете не являются ограничениями . Оповещение будет отправлено вам, когда вы приблизитесь к установленному пороговому значению или превысите его, чтобы вы могли принять меры в своем приложении или проекте.

Наблюдайте за использованием функций ИИ в консоли Firebase

Доступно только при использовании API Vertex AI Gemini в качестве поставщика API.

Вы можете включить мониторинг ИИ на странице Firebase AI Logic консоли Firebase , чтобы отслеживать различные метрики и показатели использования на уровне приложения и получать полную картину запросов от клиентских SDK Firebase AI Logic . Эти панели мониторинга предоставляют более подробную информацию, чем базовые данные о количестве токенов, получаемые при вызове API Count Tokens .

Ключевые возможности ИИ-мониторинга в консоли Firebase включают:

Просмотр количественных показателей, таких как объем запросов, задержка, ошибки и использование токенов по модальности для каждого из ваших приложений.
Проверка трассировок для просмотра атрибутов, входных и выходных данных ваших запросов, что может помочь в отладке и улучшении качества.
Разбиение данных по таким параметрам, как статус запроса, минимальная задержка, название модели и т. д.

Все эти функции созданы с использованием Google Cloud Observability Suite ( подробную информацию о продукте см. ниже).

Включить мониторинг ИИ

Вот как можно включить ИИ-мониторинг в консоли Firebase :

При выполнении начального пошагового процесса настройки со страницы Firebase AI Logic
В любое время на вкладке «Настройки логики ИИ Firebase»

Требования для включения и использования ИИ-мониторинга:

Вы должны быть владельцем проекта, редактором или администратором Firebase Vertex AI.
Ваш проект Firebase должен быть включен в тарифный план Blaze с оплатой по факту использования ( подробную информацию о продукте см. ниже).
В качестве поставщика API вы должны использовать API Vertex AI Gemini (поддержка API Gemini Developer появится скоро!).
Ваше приложение должно использовать как минимум следующие версии библиотеки Firebase:
iOS+ : v11.13.0+ | Android : v16.0.0+ (BoM: v33.14.0+) | Web : v11.8.0+ | Flutter : v2.0.0+ (BoM: v3.11.0+) | Unity : v12.9.0+
В вашем приложении должен быть включен сбор данных по вашему желанию (это включено по умолчанию).

После того, как ваше приложение будет соответствовать этим требованиям и вы включите мониторинг ИИ в консоли, вам не нужно будет выполнять никаких дополнительных действий ни в приложении, ни в консоли, чтобы начать видеть данные на панелях мониторинга на вкладке «Мониторинг ИИ» в Firebase AI Logic . Телеметрия по запросу может стать доступной в консоли Firebase с небольшой задержкой (иногда до 5 минут).

Расширенное использование

В этом разделе описывается настройка частоты дискретизации, а также различные варианты просмотра и работы с данными.

Частота дискретизации

Если вы делаете большое количество запросов, рекомендуем воспользоваться настройкой частоты дискретизации. Частота дискретизации показывает долю запросов, для которых фактически собираются данные трассировки .

На вкладке «Настройки логики ИИ Firebase» консоли Firebase вы можете настроить частоту дискретизации для своего проекта в диапазоне от 1 до 100%, где 100% означает, что ИИ-мониторинг будет собирать трассировки всего вашего трафика. Значение по умолчанию — 100%. Уменьшение количества трассировок снизит ваши расходы, но также уменьшит количество отслеживаемых трассировок. Обратите внимание, что независимо от частоты дискретизации графики на панели мониторинга всегда будут отражать реальный объём трафика.

Дополнительные возможности за пределами консоли Firebase

Помимо мониторинга ИИ, доступного в консоли Firebase , рассмотрите следующие варианты:

Исследуйте Vertex AI Model Garden .
Эти панели предоставляют дополнительную информацию о тенденциях задержки и пропускной способности для управляемых моделей, дополняя ваши знания, полученные с помощью мониторинга ИИ в консоли Firebase .
Исследуйте и используйте свои данные с помощью Google Cloud Observability Suite
Поскольку телеметрические данные для мониторинга ИИ хранятся в Google Cloud Observability Suite связанном с вашим проектом, вы можете просматривать их на панелях мониторинга, включая Trace Explorer и Logs Explorer , ссылки на которые появляются при просмотре ваших отдельных трассировок в консоли Firebase . Вы также можете использовать свои данные для создания собственных панелей мониторинга, настройки оповещений и многого другого.

Подробная информация о продуктах, используемых для ИИ-мониторинга

Мониторинг ИИ сохраняет ваши телеметрические данные в различных продуктах, доступных в Google Cloud Observability Suite , включая Cloud Monitoring , Cloud Trace и Cloud Logging .

Cloud Monitoring : сохраняет метрики, включая количество запросов, показатель успешности и задержку запросов.
Cloud Trace : сохраняет данные о каждом запросе, чтобы вы могли просматривать информацию по отдельности, а не в совокупности. Данные о трассировке обычно связаны с журналами, что позволяет изучить содержание и время каждого взаимодействия.
Cloud Logging : собирает входные, выходные и конфигурационные метаданные для предоставления подробных сведений о каждой части вашего запроса ИИ.

Поскольку ваши телеметрические данные хранятся в этих продуктах, вы можете задать настройки хранения и доступа непосредственно в каждом продукте (подробнее см. в документации по Cloud Monitoring , Cloud Trace и Cloud Logging ). Обратите внимание, что вместе с метриками сохраняются как сами запросы, так и сгенерированные выходные данные каждого выбранного запроса.

Важно: Если вы используете Grounding в Google Search , вы несете ответственность за то, чтобы срок хранения или любой другой установленный вами период полностью соответствовал вашему конкретному варианту использования и любым дополнительным требованиям к выбранному вами поставщику Gemini API : Gemini Developer API или Vertex AI Gemini API (см. раздел «Условия обслуживания» в разделе «Специальные условия обслуживания»). Вам может потребоваться скорректировать срок хранения в Cloud Logging для соответствия этим требованиям.

Цены

Google Cloud Observability Suite — платный сервис, поэтому ваш проект Firebase должен быть включен в тарифный план Blaze с оплатой по факту использования. Однако у каждого продукта есть щедрые бесплатные тарифы. Подробнее см. в документации по ценам Google Cloud Observability Suite .

Просмотр метрик API на уровне проекта в консоли Google Cloud

Для каждого API вы можете просматривать метрики уровня проекта, например использование, в консоли Google Cloud .

Обратите внимание, что страницы консоли Google Cloud , описанные в этом разделе, не содержат такую информацию, как содержимое запросов и ответов, а также количество токенов. Для мониторинга этой информации рассмотрите возможность использования ИИ-мониторинга в консоли Firebase (см. предыдущий раздел).

В консоли Google Cloud перейдите на страницу «Метрики» API, который вы хотите просмотреть:
- Vertex AI API : просмотр использования, связанного с любым запросом к Vertex AI Gemini API .
  - Включает запросы с использованием клиентских SDK Firebase AI Logic , серверных SDK Google GenAI, Genkit , Firebase Extensions для Gemini API , REST API, Vertex AI Studio и т. д.
- API разработчика Gemini : просмотр использования, связанного с любым запросом к API разработчика Gemini .
  - Включает запросы с использованием клиентских SDK Firebase AI Logic , серверных SDK Google GenAI, Genkit , Firebase Extensions для Gemini API , REST API, Google AI Studio и т. д.
  - Отображаемое имя этого API в консоли Google Cloud — «Generative Language API».
Если вы находитесь на «странице обзора» API, нажмите «Управление» , а затем щелкните вкладку «Метрики» .
Примечание: В консоли Google Cloud вы также можете просматривать метрики уровня проекта для API Firebase AI Logic , который является прокси-сервисом для Firebase AI Logic . Эти метрики будут отражать только запросы из клиентских SDK Firebase AI Logic .
Используйте раскрывающиеся меню для просмотра интересующих вас показателей, таких как трафик по коду ответа, ошибки по методу API, общая задержка и задержка по методу API.