Чтобы просмотреть контент и код, относящиеся к вашему поставщику API Gemini , нажмите на него. |
Ограничения скорости (обычно называемые квотами) регулируют количество запросов, которые вы можете отправить к API Gemini в течение заданного периода времени. Эти ограничения помогают обеспечить справедливое использование, защитить от злоупотреблений и поддерживать производительность системы для всех пользователей.
При использовании Firebase AI Logic для отправки запросов моделям Gemini и Imagen , ограничения скорости запросов вашего проекта зависят от выбранного вами поставщика « Gemini API ». Firebase AI Logic также предоставляет возможность устанавливать ограничения скорости запросов «для каждого пользователя» .
Просмотреть ограничения скорости для API разработчика Gemini
Если вы превысите квоту, то получите ошибку 429 "Превышена квота".
Как работают лимиты трафика (квоты)
Ограничения скорости (квоты) измеряются по четырем параметрам:
- Запросов в минуту (об/мин)
- Запросов в день (RPD)
- Токенов в минуту (TPM)
- Токены в день (TPD)
Ваше использование оценивается в соответствии с каждым лимитом, и превышение любого из них вызовет ошибку 429 «превышена квота». Например, если ваш лимит RPM равен 20, то выполнение 21 запроса в течение минуты приведет к ошибке, даже если вы не превысили лимит TPM или другие лимиты.
Ограничения скорости применяются на уровне проекта и распространяются на все приложения и IP-адреса, использующие данный проект Firebase.
Ограничения различаются в зависимости от используемой модели, и некоторые ограничения применяются только к определенным моделям. Например, количество изображений в минуту (IPM) рассчитывается только для моделей, способных генерировать изображения ( Imagen ), но концептуально схоже с TPM.
Ограничения скорости запросов более строгие для экспериментальных и предварительных моделей.
Запросить увеличение лимита запросов
Если вы используете платный тарифный план для доступа к Gemini Developer API , вы можете запросить увеличение лимита запросов .
Установите ограничения на количество запросов "для каждого пользователя".
Для использования Firebase AI Logic в вашем проекте должна быть включена выбранная вами система API Gemini , а также API Firebase AI Logic , которая выступает в качестве шлюза между нашими клиентскими SDK и вашей системой API Gemini . Эта система API включается автоматически при первоначальной настройке Firebase AI Logic в вашем проекте Firebase.
Вы можете использовать ограничение скорости (квоту) API Firebase AI Logic в качестве лимита скорости "на пользователя" для вашего приложения , особенно для функций ИИ, которые используют Firebase AI Logic . Этот лимит следует установить таким образом, чтобы он обеспечивал разумную пропускную способность для одного пользователя, одновременно гарантируя, что ни один пользователь не превысит лимиты вашего поставщика API Gemini (который предназначен для всех ваших пользователей).
Подробности об ограничении количества запросов на одного пользователя.
Вот некоторые важные сведения об ограничениях скорости (квотах) API Firebase AI Logic — в частности, о количестве запросов в минуту (RPM):
Это основано на функции "Генерация запросов на контент" для каждого пользователя, каждого региона и каждой минуты, и не зависит от модели.
Это ограничение скорости запросов, применяемое ко всем вашим пользователям. В настоящее время нет возможности установить ограничение скорости запросов для конкретного пользователя или конкретной группы пользователей * .
Это применяется на уровне проекта и распространяется на все приложения и IP-адреса, использующие данный проект Firebase.
Это относится к любому вызову, поступающему непосредственно из любого SDK Firebase AI Logic .
По умолчанию ограничение скорости составляет 100 об/мин на пользователя.
Обратите внимание, что вам по-прежнему необходимо учитывать ограничения вашего поставщика API Gemini (см. выше), которые имеют приоритет над API Firebase AI Logic .
* Если вы используете API Vertex AI Gemini , и ваше приложение перенаправляет пользователей в разные регионы (например, с помощью Firebase Remote Config ), вы можете установить определенное ограничение скорости для пользователей в конкретном регионе.
Отрегулируйте лимит скорости "на пользователя".
Для изменения лимита запросов (квоты) необходимо иметь разрешение serviceusage.quotas.update , которое по умолчанию включено в роли владельца и редактора.
Вот как изменить лимит трафика (квоту) или запросить его увеличение:
В консоли Google Cloud перейдите на страницу API Firebase AI Logic .
Нажмите «Управление» .
Ниже на странице нажмите вкладку «Квоты и системные лимиты» .
Отфильтруйте таблицу, чтобы отобразить интересующие вас квоты, например, по возможностям (запросы на генерацию контента) и региону.
Например, чтобы просмотреть квоты на создание запросов контента для каждого пользователя в любом из поддерживаемых азиатских регионов, ваш фильтр будет выглядеть примерно так:
Generate content requests+Dimension:region:asiaУстановите флажок слева от каждой интересующей вас квоты.
В конце строки с квотой нажмите , а затем выберите «Редактировать квоту» .
В форме изменения квоты выполните следующие действия:
Введите увеличенную квоту в поле «Новое значение» .
Эта квота применяется на уровне проекта и распространяется на все приложения и IP-адреса, использующие данный проект Firebase.
Заполните все дополнительные поля формы, а затем нажмите «Готово» .
Нажмите «Отправить запрос» .