本页面介绍了使用 Live API 及其模型的各种限制和规范。
一般规范和限制
支持的输入和输出：（详情请参阅下方的媒体格式）
- 输入：文本、图片（而非 PDF）、音频、视频
- 输出：文本（转写）和音频（流式）
支持的工具：函数调用、使用
Google Search 进行接地、使用Google Maps 进行接地知识截点日期：2025 年 1 月
Live API 不支持生成结构化输出（如 JSON）或使用 Count Tokens API。
与会话相关的限制
对于 Live API，会话是指通过连接持续流式传输输入和输出的持久连接。
如果会话超出以下任何限制，连接就会终止。不过，Live API 提供了一些选项（见下文）来处理这些与会话相关的限制。
会话上下文窗口的上限为 12.8 万个 token。
由于存在此上下文窗口限制，以下是根据输入模态性得出的会话时长上限近似值：
- 纯音频输入会话的时长上限为
15 分钟 。 - 视频和音频输入时长限制为
2 分钟 。
- 纯音频输入会话的时长上限为
连接时长限制为大约
10 分钟 。在连接结束前约
60 秒 ，您会收到即将断开通知。
以下是一些用于处理与会话相关的限制的选项：
详细了解如何管理会话。
速率限制
Live API 对每个 Firebase 项目的并发会话数以及每分钟的令牌数 (TPM) 都有速率限制。
Gemini Developer API：
- 限制因项目的 Gemini Developer API“使用层级”（请参阅其速率限制文档）而异
Agent Platform Gemini API (formerly Vertex AI)：
- 每个 Firebase 项目 1,000 个并发会话
- 每分钟 400 万个 token
媒体格式
Live API 支持以下类型的媒体：
- 输入：图片、音频、视频
- 输出：音频
图片格式
Live API 支持以下图片输入：
每个提示的图片数量上限：3,000
每个文件的文件大小上限（内嵌数据）：7 MB
支持的 MIME 类型：
image/png、image/jpeg、image/webp、image/heic、image/heif
音频格式
Live API 支持以下音频格式：
- 输入音频格式：原始 16 位 PCM 音频，采样率 16kHz，小端序
输出音频格式：原始 16 位 PCM 音频，采样率 24kHz，小端序
支持的 MIME 类型：
audio/x-aac、audio/flac、audio/mp3、audio/m4a、audio/mpeg、audio/mpga、audio/mp4、audio/ogg、audio/pcm、audio/wav、audio/webm
如需传达输入音频的采样率，请将每个包含音频的 Blob 的 MIME 类型设置为类似 audio/pcm;rate=16000 的值。
视频格式
Live API 需要接收一系列离散的图片帧，并支持 1 帧/秒 (FPS) 的视频帧输入。
建议的输入：768x768 原生分辨率，1 FPS。
支持的 MIME 类型：
video/x-flv、video/quicktime、video/mpeg、video/mpegs、video/mpg、video/mp4、video/webm、video/wmv、video/3gpp
请注意，此规范使得 Live API 不适合需要分析快速变化的视频的应用场景，例如高速体育赛事中的逐场比赛分析。
回答语音
Live API 支持 30 种不同的合成高清语音，每种语音都有不同的特征。您可以展开即可下部分，查看回答语音选项列表并试听每种语音。
如果您未指定回答语音，则默认为 Puck。
了解如何指定回答语音。
语言
Live API 支持以下语言。 了解如何影响回答语言。
所有音频生成模型支持的语言
| 语言 | BCP-47 代码 | 语言 | BCP-47 代码 |
|---|---|---|---|
| 阿拉伯语（埃及语） | ar-EG | 德语（德国） | de-DE |
| 英语（美国） | en-US | 西班牙语（美国） | es-US |
| 法语（法国） | fr-FR | 印地语（印度） | hi-IN |
| 印度尼西亚语（印度尼西亚） | id-ID | 意大利语（意大利） | it-IT |
| 日语（日本） | ja-JP | 韩语（韩国） | ko-KR |
| 葡萄牙语（巴西） | pt-BR | 俄语（俄罗斯） | ru-RU |
| 荷兰语（荷兰） | nl-NL | 波兰语（波兰） | pl-PL |
| 泰语（泰国） | th-TH | 土耳其语（土耳其） | tr-TR |
| 越南语（越南） | vi-VN | 罗马尼亚语（罗马尼亚） | ro-RO |
| 乌克兰语（乌克兰） | uk-UA | 孟加拉语（孟加拉） | bn-BD |
| 英语（印度） | en-IN 和 hi-IN 捆绑包 | 马拉地语（印度） | mr-IN |
| 泰米尔语（印度） | ta-IN | 泰卢固语（印度） | te-IN |
音频生成 3.x 模型支持的其他语言
| 语言 | BCP-47 代码 | 语言 | BCP-47 代码 |
|---|---|---|---|
| 南非荷兰语 | 南非荷兰语 | 菲律宾语 | fil |
| 阿尔巴尼亚语 | 阿尔巴尼亚语 | 芬兰语 | 芬兰语 |
| 阿姆哈拉语 | 阿姆哈拉语 | 加利西亚语 | 加利西亚语 |
| 亚美尼亚语 | 亚美尼亚语 | 格鲁吉亚语 | 格鲁吉亚语 |
| 阿塞拜疆语 | 阿塞拜疆语 | 希腊语 | 希腊语 |
| 巴斯克语 | eu | 古吉拉特语 | 古吉拉特语 |
| 白俄罗斯语 | be | 海地克里奥尔语 | ht |
| 保加利亚语 | 保加利亚语 | 希伯来语 | he |
| 缅甸语 | 缅甸语 | 匈牙利语 | 匈牙利语 |
| 加泰罗尼亚语 | ca | 冰岛语 | 是 |
| 宿务语 | ceb | 爪哇语 | jv |
| 中文（普通话） | cmn | 卡纳达语 | 卡纳达语 |
| 克罗地亚语 | 小时 | 贡根语 | kok |
| 捷克语 | cs | 老挝语 | lo |
| 丹麦语 | 丹麦语 | 拉丁语 | la |
| 爱沙尼亚语 | 爱沙尼亚语 | 拉脱维亚语 | lv |
| 立陶宛语 | lt | 卢森堡语 | lb |
| 马其顿语 | 马其顿语 | 迈蒂利语 | mai |
| 马尔加什语 | mg | 马来语 | ms |
| 马拉雅拉姆语 | 马拉雅拉姆语 | 蒙古语 | mn |
| 尼泊尔语 | 尼泊尔语 | 挪威语（博克马尔语） | nb |
| 挪威语（尼诺斯克语） | nn | 奥里亚语 | 或 |
| 普什图语 | ps | 波斯语 | 波斯语 |
| 旁遮普语 | 旁遮普语 | 塞尔维亚语 | sr |
| 信德语 | sd | 僧伽罗文 | si |
| 斯洛伐克语 | sk | 斯洛文尼亚语 | 斯洛文尼亚语 |
| 斯瓦希里语 | sw | 瑞典语 | 瑞典语 |
| 乌尔都语 | 乌尔都语 |