Cuando llames a Vertex AI Gemini API desde tu app con un SDK de Vertex AI in Firebase, puedes pedirle al modelo de Gemini que genere texto según una entrada multimodal. Las instrucciones multimodales pueden incluir varias modalidades (o tipos de entrada), como texto junto con imágenes, PDF, video y audio.
Para las partes que no son de texto de la entrada (como los archivos multimedia), debes usar tipos de archivo admitidos, especificar un tipo de MIME admitido y asegurarte de que tus archivos y solicitudes multimodales cumplan con los requisitos y sigan las prácticas recomendadas.
En esta página, se describen los tipos de MIME admitidos, las prácticas recomendadas y las limitaciones para lo siguiente:
Requisitos específicos de los SDKs de Vertex AI in Firebase
Para los SDKs Vertex AI in Firebase, el tamaño total máximo de solicitud es de 20 MB. Recibirás un error HTTP 413 si una solicitud es demasiado grande.
Si el tamaño de un archivo hará que el tamaño total de la solicitud supere los 20 MB, entonces usa una URL Cloud Storage for Firebase para incluir el archivo en tu solicitud multimodal.
Si un archivo es pequeño, a menudo puedes pasarlo directamente como datos intercalados. Sin embargo, ten en cuenta que un archivo proporcionado como datos intercalados se codifica en base64 en tránsito, lo que aumenta el tamaño de la solicitud. Para ver ejemplos que muestran cómo incluir archivos como datos intercalados, consulta Genera texto a partir de instrucciones multimodales con la API de Gemini.
Imágenes: Requisitos, prácticas recomendadas y limitaciones
Imágenes: Requisitos
En esta sección, obtendrás información sobre los tipos de MIME compatibles y los límites por solicitud de imágenes.
Tipos de MIME admitidos
Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de imagen:
| Tipo MIME de imagen | Gemini 1.5 Flash | Gemini 1.5 Pro | Gemini 1.0 Pro Vision |
|---|---|---|---|
PNG - image/png |
|||
JPEG - image/jpeg |
|||
WebP: image/webp |
Límites por solicitud
No hay un límite específico para la cantidad de píxeles en una imagen. Sin embargo, las imágenes más grandes se reducen y se rellenan para adaptarse a una resolución máxima de 3,072 x 3,072, a la vez que conservan su relación de aspecto original.
Esta es la cantidad máxima de archivos de imagen permitidos en una solicitud de instrucción:
- Gemini 1.0 Pro Vision: 16 imágenes
- Gemini 1.5 Flash y Gemini 1.5 Pro: 3,000 imágenes
Imágenes: Tokenización
A continuación, se muestra cómo se calculan los tokens para las imágenes:
- Gemini 1.0 Pro Vision: Cada imagen representa 258 tokens.
- Gemini 1.5 Flash y Gemini 1.5 Pro:
- Si ambas dimensiones de una imagen son menores o iguales que 384 píxeles, se usan 258 tokens.
- Si una dimensión de una imagen es superior a 384 píxeles, la imagen se corta en mosaicos. El tamaño de cada mosaico se establece de forma predeterminada en la dimensión más pequeña (ancho o alto) dividida por 1.5. Si es necesario, cada mosaico se ajusta para que no sea inferior a 256 píxeles ni mayor que 768 píxeles. Luego, cada tarjeta cambia de tamaño a 768 × 768 y usa 258 tokens.
Imágenes: Prácticas recomendadas
Cuando uses imágenes, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados.
- Si quieres detectar texto en una imagen, usa instrucciones con una sola imagen para producir mejores resultados que las instrucciones con varias imágenes.
- Si la instrucción contiene una sola imagen, colócala antes de la instrucción de texto en tu solicitud.
- Si tu instrucción contiene varias imágenes y quieres consultarlas más adelante en la instrucción o hacer que el modelo haga referencia a ellas en la respuesta del modelo, puede ser útil darle a cada imagen un índice antes de que aparezca. Usa
abcimage 1image 2image 3image 1
image 2 image 3 Write a blogpost about my day using image 1 and image 2. Then, give me ideas for tomorrow based on image 3. - Usa imágenes con mayor resolución, ya que producen mejores resultados.
- Incluye algunos ejemplos en el mensaje.
- Rota las imágenes a su orientación adecuada antes de agregarlas al mensaje.
- Evita las imágenes borrosas.
Imágenes: Limitaciones
Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:
- Moderación de contenido: Los modelos se niegan a proporcionar respuestas en las imágenes que infringen nuestras políticas de seguridad.
- Razonamiento espacial: Los modelos no son precisos para ubicar texto u objetos en imágenes. Es posible que solo devuelvan los recuentos aproximados de los objetos.
- Usos médicos: Los modelos no son adecuados para interpretar imágenes médicas (por ejemplo, radiografías y tomografías computarizadas) ni brindar asesoramiento médico.
- Reconocimiento de personas: Los modelos no están diseñados para identificar a personas que no son celebridades en las imágenes.
- Exactitud: Los modelos pueden tener alucinaciones o cometer errores al interpretar imágenes de baja calidad, rotadas o con una resolución extremadamente baja. Los modelos también pueden tener alucinaciones cuando se interpreta texto escrito a mano en documentos de imágenes.
Video: Requisitos, prácticas recomendadas y limitaciones
Video: Requisitos
En esta sección, obtén información sobre los tipos de MIME admitidos y los límites por solicitud para el video.
Tipos de MIME admitidos
Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de video:
| Tipo de MIME de video | Gemini 1.5 Flash | Gemini 1.5 Pro | Gemini 1.0 Pro Vision |
|---|---|---|---|
FLV - video/x-flv |
|||
MOV - video/quicktime |
|||
MPEG - video/mpeg |
|||
MPEGPS - video/mpegps |
|||
MPG - video/mpg |
|||
MP4 - video/mp4 |
|||
WEBM - video/webm |
|||
WMV - video/wmv |
|||
3GPP - video/3gpp |
Límites por solicitud
Esta es la cantidad máxima de archivos de video permitidos en una solicitud de instrucciones:
- Gemini 1.0 Pro Vision: 1 archivo de video
- Gemini 1.5 Flash y Gemini 1.5 Pro: 10 archivos de video
Video: Tokenización
A continuación, te mostramos cómo se calculan los tokens para los videos:
- Todos los modelos multimodales de Gemini: Los videos se muestrean a
1 fotograma por segundo (FPS) . Cada fotograma de video representa 258 tokens. - Gemini 1.5 Flash y Gemini 1.5 Pro: La pista de audio está codificada con fotogramas de video. La pista de audio también se desglosa en
enlaces troncales de 1 segundo , cada uno de los cuales tiene 32 tokens. El fotograma de video y los tokens de audio se intercalan junto con sus marcas de tiempo. Las marcas de tiempo se representan como 7 tokens.
Video: Prácticas recomendadas
Cuando uses videos, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados:
- Si la instrucción contiene un solo video, colócalo antes de la instrucción de texto.
- Si necesitas localización de marcas de tiempo en un video con audio, pídele al modelo que genere marcas de tiempo en el formato
MM:SS, en el que los primeros dos dígitos representan minutos y los últimos dos representan segundos. Usa el mismo formato para las preguntas que hacen preguntas sobre una marca de tiempo. Ten en cuenta lo siguiente si usas Gemini 1.0 Pro Vision:
- Usa no más de un video por instrucción.
- El modelo solo procesa la información de los primeros dos minutos del video.
- El modelo procesa los videos como marcos de imagen no contiguos del video. No se incluye el audio. Si notas que al modelo le falta contenido del video, intenta acortarlo para que el modelo capture una mayor parte del contenido del video.
- El modelo no procesa información de audio ni metadatos de marca de tiempo. Debido a esto, es posible que el modelo no funcione bien en casos de uso que requieran entrada de audio, como audio de subtítulos, o información relacionada con el tiempo, como la velocidad o el ritmo.
Video: Limitaciones
Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:
- Moderación de contenido: Los modelos se niegan a proporcionar respuestas en los videos que infringen nuestras políticas de seguridad.
- Reconocimiento de sonido sin voz: los modelos que admiten audio pueden cometer errores que reconozcan un sonido que no es una voz.
- Movimiento de alta velocidad: Es posible que los modelos cometan errores cuando comprendan el movimiento de alta velocidad en videos debido a la tasa de muestreo fija de
1 fotograma por segundo (FPS) . - Puntuación de transcripción: (si usas Gemini 1.5 Flash) Los modelos pueden mostrar transcripciones que no incluyen puntuación.
Audio: Requisitos y limitaciones
Audio: Requisitos
En esta sección, obtendrás información sobre los tipos de MIME compatibles y los límites por solicitud de audio.
Tipos de MIME compatibles
Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de audio:
| Tipo de MIME de audio | Gemini 1.5 Flash | Gemini 1.5 Pro |
|---|---|---|
AAC - audio/aac |
||
FLAC - audio/flac |
||
MP3 - audio/mp3 |
||
MPA - audio/m4a |
||
MPEG - audio/mpeg |
||
MPGA - audio/mpga |
||
MP4 - audio/mp4 |
||
OPUS - audio/opus |
||
PCM - audio/pcm |
||
WAV - audio/wav |
||
WEBM - audio/webm |
Límites por solicitud
Puedes incluir un máximo de
Audio: Limitaciones
Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:
- Reconocimiento de sonido sin voz: los modelos que admiten audio pueden cometer errores que reconozcan un sonido que no es una voz.
- Marcas de tiempo de solo audio: Para generar marcas de tiempo con exactitud para archivos de solo audio, debes configurar el parámetro
audio_timestampengeneration_config. - Puntuación de transcripción: (si usas Gemini 1.5 Flash), los modelos pueden mostrar transcripciones que no incluyen puntuación.
Documentos (como archivos PDF): Requisitos, prácticas recomendadas y limitaciones
Documentos: Requisitos
En esta sección, obtendrás información sobre los tipos de MIME admitidos y los límites por solicitud para documentos (como archivos PDF).
Tipos de MIME compatibles
Los modelos multimodales de Gemini admiten los siguientes tipos de MIME de documentos:
| Tipo de MIME de documento | Gemini 1.5 Flash | Gemini 1.5 Pro | Gemini 1.0 Pro Vision |
|---|---|---|---|
PDF - application/pdf |
|||
Texto: text/plain |
Límites por solicitud
Los archivos PDF se tratan como imágenes, por lo que una sola página de un PDF se considera una sola imagen. La cantidad de páginas permitidas en una instrucción se limita a la cantidad de imágenes que el modelo puede admitir:
- Gemini 1.0 Pro Vision: 16 páginas
- Gemini 1.5 Pro y Gemini 1.5 Flash: 1,000 páginas
Documentos: Tokenización
Asignación de tokens de PDF
Los archivos PDF se tratan como imágenes, por lo que cada página de un PDF se segmenta de la misma manera que una imagen.
Además, el costo de los archivos PDF sigue los precios de las imágenes de Gemini. Por ejemplo, si incluyes un PDF de dos páginas en una llamada a la API de Gemini, se te cobrará una tarifa de entrada por procesar dos imágenes.
Asignación de tokens de texto sin formato
A los documentos con texto sin formato se les asignan tokens como texto. Por ejemplo, si incluyes un documento de texto sin formato de 100 palabras en una llamada a la API de Gemini, incurrirás en una tarifa de entrada por procesar 100 palabras.
Documentos: Prácticas recomendadas
Cuando uses archivos PDF, usa la siguiente información y prácticas recomendadas para obtener los mejores resultados:
- Si tu instrucción contiene un solo PDF, colócalo antes de la instrucción de texto en tu solicitud.
- Si tienes un documento largo, considera dividirlo en varios archivos PDF para procesarlo.
- Usa archivos PDF creados con texto renderizado como texto en lugar de texto de imágenes escaneadas. Este formato garantiza que el texto sea legible para las máquinas, de modo que sea más fácil para el modelo editar, buscar y manipular en comparación con los PDFs de las imágenes escaneadas. Esta práctica proporciona resultados óptimos cuando se trabaja con documentos con mucho texto, como contratos.
Documentos: Limitaciones
Si bien los modelos multimodales de Gemini son potentes en muchos casos de usuarios multimodales, es importante comprender las limitaciones de los modelos:
- Razonamiento espacial: Los modelos no son precisos para ubicar texto u objetos en archivos PDF. Es posible que solo muestren los recuentos aproximados de objetos.
- Exactitud: Los modelos pueden tener alucinaciones cuando interpretan texto escrito a mano en documentos PDF.