Gere texto com base em comandos multimodais usando a API Gemini


Ao chamar a Gemini API do seu app usando um SDK da Vertex AI in Firebase, é possível solicitar que o modelo Gemini gere texto com base em uma entrada multimodal. Os comandos multimodais podem incluir várias modalidades (ou tipos de entrada), como texto com imagens, PDFs, arquivos de texto simples, vídeo e áudio.

Em cada solicitação multimodal, é necessário fornecer o seguinte:

Para testar e iterar comandos multimodais, recomendamos usar Vertex AI Studio.

Antes de começar

Se ainda não tiver feito isso, conclua o guia de início, que descreve como configurar seu projeto do Firebase, conectar seu app ao Firebase, adicionar o SDK, inicializar o serviço Vertex AI e criar uma instância GenerativeModel.

Gerar texto com base em texto e uma única imagem Gerar texto com base em texto e várias imagens Gerar texto com base em texto e um vídeo

Exemplos de arquivos de mídia

Se você ainda não tiver arquivos de mídia, use os arquivos disponíveis publicamente a seguir. Como esses arquivos são armazenados em buckets que não estão no seu projeto do Firebase, é necessário usar o formato https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE para o URL.

Gerar texto com base em texto e uma única imagem

Confira se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.

É possível chamar Gemini API com comandos multimodais que incluem texto e um único arquivo (como uma imagem, conforme mostrado neste exemplo). Para essas chamadas, é necessário usar um modelo compatível com mídia em comandos (como Gemini 2.0 Flash).

Confira os requisitos e recomendações para arquivos de entrada.

Escolha se você quer transmitir a resposta (generateContentStream) ou esperar pela resposta até que todo o resultado seja gerado (generateContent).

Streaming

É possível ter interações mais rápidas sem esperar pelo resultado completo da geração do modelo e, em vez disso, usar o streaming para processar resultados parciais.

Sem streaming

Como alternativa, aguarde o resultado completo em vez de streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.

Saiba como escolher um modelo e, opcionalmente, um local adequado para seu caso de uso e app.

Gerar texto com base em texto e várias imagens

Confira se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.

É possível chamar Gemini API com comandos multimodais que incluem texto e vários arquivos (como imagens, conforme mostrado neste exemplo). Para essas chamadas, é necessário usar um modelo compatível com mídia em comandos (como Gemini 2.0 Flash).

Leia os requisitos e recomendações para arquivos de entrada.

Escolha se você quer transmitir a resposta (generateContentStream) ou esperar pela resposta até que todo o resultado seja gerado (generateContent).

Streaming

É possível ter interações mais rápidas sem esperar pelo resultado completo da geração do modelo e, em vez disso, usar o streaming para processar resultados parciais.

Sem streaming

Como alternativa, aguarde o resultado completo em vez de fazer streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.

Saiba como escolher um modelo e, opcionalmente, um local adequado para seu caso de uso e app.

Gerar texto com base em texto e vídeo

Confira se você concluiu a seção Antes de começar deste guia antes de testar este exemplo.

É possível chamar Gemini API com comandos multimodais que incluem arquivos de texto e vídeo, conforme mostrado neste exemplo. Para essas chamadas, você precisa usar um modelo compatível com mídia em comandos (como Gemini 2.0 Flash).

Leia os requisitos e recomendações para arquivos de entrada.

Escolha se você quer transmitir a resposta (generateContentStream) ou esperar pela resposta até que todo o resultado seja gerado (generateContent).

Streaming

É possível ter interações mais rápidas sem esperar pelo resultado completo da geração do modelo e, em vez disso, usar o streaming para processar resultados parciais.

Sem streaming

Como alternativa, aguarde o resultado completo em vez de streaming. O resultado só é retornado depois que o modelo conclui todo o processo de geração.

Saiba como escolher um modelo e, opcionalmente, um local adequado para seu caso de uso e app.

Requisitos e recomendações para arquivos de entrada

Consulte Arquivos de entrada e requisitos compatíveis com o Vertex AI Gemini API para saber mais sobre o seguinte:

  • Opções diferentes para enviar um arquivo em uma solicitação
  • Tipos de arquivos compatíveis
  • Tipos MIME compatíveis e como especificá-los
  • Requisitos e práticas recomendadas para arquivos e solicitações multimodais

O que mais você pode fazer?

Testar outros recursos

Saiba como controlar a geração de conteúdo

Também é possível testar comandos e configurações de modelo usando Vertex AI Studio.

Saiba mais sobre os modelos compatíveis

Saiba mais sobre os modelos disponíveis para vários casos de uso e as cotas e o preço.


Enviar feedback sobre sua experiência com o Vertex AI in Firebase