本页面介绍了使用 Live API 及其模型的各种限制和规范。
一般规范和限制
支持的输入和输出：（详情请参阅下方的媒体格式）
- 输入：文本、图片（而非 PDF）、音频、视频
- 输出：文本（转写）和音频（流式）
支持的工具：函数调用、使用
Google Search 进行接地、使用Google Maps 进行接地知识截点日期：2025 年 1 月
Live API 不支持生成结构化输出（如 JSON）或使用 Count Tokens API。
与会话相关的限制
对于 Live API，会话是指通过连接持续流式传输输入和输出的持久连接。
如果会话超出以下任何限制，连接就会终止。不过，Live API 提供了一些选项（见下文）来处理这些与会话相关的限制。
会话上下文窗口的上限为 12.8 万个 token。
由于存在此上下文窗口限制，以下是根据输入模态性得出的会话时长上限近似值：
- 纯音频输入会话的时长上限为
15 分钟 。 - 视频和音频输入时长限制为
2 分钟 。
- 纯音频输入会话的时长上限为
连接时长限制为大约
10 分钟 。在连接结束前约
60 秒 ，您会收到即将断开通知。
以下是一些用于处理与会话相关的限制的选项：
详细了解如何管理会话。
速率限制
Live API 对每个 Firebase 项目的并发会话数以及每分钟的令牌数 (TPM) 都有速率限制。
Gemini Developer API：
- 限制因项目的 Gemini Developer API“使用层级”（请参阅其速率限制文档）而异
Vertex AI Gemini API：
- 每个 Firebase 项目 1,000 个并发会话
- 每分钟 400 万个 token
媒体格式
Live API 支持以下类型的媒体：
- 输入：图片、音频、视频
- 输出：音频
图片格式
Live API 支持以下图片输入：
每个提示的图片数量上限：3,000
每个文件的文件大小上限（内嵌数据）：7 MB
支持的 MIME 类型：
image/png、image/jpeg、image/webp、image/heic、image/heif
音频格式
Live API 支持以下音频格式：
- 输入音频格式：原始 16 位 PCM 音频，采样率 16kHz，小端字节序
输出音频格式：原始 16 位 PCM 音频，采样率 24kHz，小端字节序
支持的 MIME 类型：
audio/x-aac、audio/flac、audio/mp3、audio/m4a、audio/mpeg、audio/mpga、audio/mp4、audio/ogg、audio/pcm、audio/wav、audio/webm
如需传达输入音频的采样率，请将每个包含音频的 Blob 的 MIME 类型设置为类似 audio/pcm;rate=16000 的值。
视频格式
Live API 需要接收一系列离散的图片帧，并支持以 1 帧/秒 (FPS) 的速率输入视频帧。
建议的输入：1 FPS 的原生 768x768 分辨率。
支持的 MIME 类型：
video/x-flv、video/quicktime、video/mpeg、video/mpegs、video/mpg、video/mp4、video/webm、video/wmv、video/3gpp
请注意，此规范使得 Live API 不适合需要分析快速变化的视频的应用场景，例如高速体育赛事中的逐场比赛分析。
回答语音
Live API 支持以下回答语音选项。如需查看每种语音的演示，请参阅 Chirp 3：高清语音。
如果您未指定回答语音，则默认为 Puck。
了解如何指定回答语音。
Zephyr - 明快Kore - 坚定Orus - 坚定Autonoe - 明快Umbriel - 轻松Erinome - 清晰Laomedeia - 欢快Schedar - 平稳Achird - 友好Sadachbia - 活泼
|
Puck - 欢快Fenrir - 兴奋Aoede - 轻快Enceladus - 气声Algieba - 流畅Algenib - 沙哑Achernar - 柔和Gacrux - 成熟Zubenelgenubi - 随意Sadaltager - 专业
|
Charon - 参考Leda - 青春Callirrhoe - 轻松Iapetus - 清晰Despina - 流畅Rasalgethi - 参考Alnilam - 坚定Pulcherrima - 前卫Vindemiatrix - 柔和Sulafat - 温暖
|
语言
Live API 支持以下语言。 了解如何影响回答语言。
| 语言 | BCP-47 代码 | 语言 | BCP-47 代码 |
|---|---|---|---|
| 阿拉伯语（埃及语） | ar-EG | 德语（德国） | de-DE |
| 英语（美国） | en-US | 西班牙语（美国） | es-US |
| 法语（法国） | fr-FR | 印地语（印度） | hi-IN |
| 印度尼西亚语（印度尼西亚） | id-ID | 意大利语（意大利） | it-IT |
| 日语（日本） | ja-JP | 韩语（韩国） | ko-KR |
| 葡萄牙语（巴西） | pt-BR | 俄语（俄罗斯） | ru-RU |
| 荷兰语（荷兰） | nl-NL | 波兰语（波兰） | pl-PL |
| 泰语（泰国） | th-TH | 土耳其语（土耳其） | tr-TR |
| 越南语（越南） | vi-VN | 罗马尼亚语（罗马尼亚） | ro-RO |
| 乌克兰语（乌克兰） | uk-UA | 孟加拉语（孟加拉） | bn-BD |
| 英语（印度） | en-IN 和 hi-IN 捆绑包 | 马拉地语（印度） | mr-IN |
| 泰米尔语（印度） | ta-IN | 泰卢固语（印度） | te-IN |