Obsługiwane pliki wejściowe i wymagania dotyczące interfejsu Gemini API w Vertex AI

Gdy wywołujesz funkcję Gemini API in Vertex AI z aplikacji za pomocą pakietu SDK Vertex AI in Firebase, możesz poprosić model Gemini o wygenerowanie tekstu na podstawie danych wejściowych multimodalnych. Prompty multimodalne mogą zawierać wiele modalności (czyli typów danych wejściowych), takich jak tekst, obrazy, pliki PDF, filmy i dźwięk.

W przypadku części danych wejściowych, które nie są tekstem (np. plików multimedialnych), musisz używać obsługiwanych typów plików, określić obsługiwany typ MIME i upewnić się, że pliki i żądania multimodalne spełniają wymagania i są zgodne ze sprawdzonymi metodami.

Na tej stronie znajdziesz informacje na te tematy:

Opcje przesyłania plików w zapytaniach multimodalnych

W każdym żądaniu multimodalnym musisz zawsze podać te informacje:

Rozmiar i liczbę plików, które możesz podać w żądaniu, określa typ pliku wejściowego, sposób jego przekazania i użyty model (szczegółowe informacje znajdziesz w sekcji dotyczącej danego typu pliku wejściowego na tej stronie).

Opcja 1. Podaj plik za pomocą adresu URL lub identyfikatora URI.

Oto dopuszczalne typy adresów URL lub URI:

  • Cloud Storage for FirebaseURL zasobnika: adres URL pliku musi być publiczny lub zalogowany użytkownik lub klient musi mieć wystarczający dostęp do pliku. Dowiedz się więcej o Cloud Storage for Firebase zaletach, wymaganiach dotyczących adresów URL i przykładach kodu.

  • Google Cloud Storage adres URL zasobów: adres URL pliku musi być publiczny. Jeśli zasobnik znajduje się w innym projekcie niż ten, którego używasz z Vertex AI in Firebase, użyj formatu https://storage.googleapis.com/BUCKET_NAME/PATH/TO/FILE w adresie URL.

  • Adresy URL przeglądarki/HTTP: adres URL pliku musi być publicznie dostępny do odczytu. Przykłady: adresy URL z witryn hostujących multimedia, adresy URL, które bezpośrednio wyświetlają multimedia (nie stronę internetową z multimediami), lub opublikowany plik z Dysku Google lub Google Workspace.

  • Adres URL filmu w YouTube: film w YouTube musi być publiczny lub niepubliczny.

Więcej informacji o wymaganiach dotyczących adresów URL i URI znajdziesz w dokumentacji Google Cloud.

Opcja 2. Prześlij plik jako dane wstawione

Pamiętaj o tych kwestiach dotyczących plików podanych jako dane wbudowane:

  • Jako dane w ciele wiadomości można wysyłać tylko małe pliki, ponieważ łączny limit rozmiaru żądania to 20 MB.

  • Podczas przesyłania plik jest kodowany w formacie base64 (co zwiększa jego rozmiar).

Przykłady pokazujące, jak uwzględniać pliki jako dane wstawione, znajdziesz w artykule Generowanie tekstu z promptów multimodalnych za pomocą interfejsu Gemini API.


Zdjęcia: wymagania, sprawdzone metody i ograniczenia

Obrazy: wymagania

W tej sekcji dowiesz się więcej o obsługiwanych typach MIME i limitach dotyczących żądań dotyczących obrazów.

Obsługiwane typy MIME

Gemini modele multimodalne obsługują te typy MIME obrazów:

Typ MIME obrazu Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PNG – image/png
JPEG – image/jpeg
WebP – image/webp

Limity na żądanie

Nie ma określonego limitu liczby pikseli na obrazie. Większe obrazy są jednak zmniejszane i wypełniane, aby pasowały do maksymalnej rozdzielczości 3072 x 3072, przy zachowaniu oryginalnego współczynnika proporcji.

Oto maksymalna dozwolona liczba plików graficznych w promptach:

  • Gemini 2.0 Flash i Gemini 2.0 Flash‑Lite: 3000 obrazów.

Obrazy: tokenizacja

Oto sposób obliczania tokenów w przypadku obrazów:

  • Gemini 2.0 Flash i Gemini 2.0 Flash‑Lite:
    • Jeśli oba wymiary obrazu są mniejsze lub równe 384 pikselom, używane są 258 tokenów.
    • Jeśli jeden z wymiarów obrazu jest większy niż 384 piksele, obraz jest przycinany do formatu kafelkowego. Domyślny rozmiar każdej płytki to najmniejszy wymiar (szerokość lub wysokość) podzielony przez 1,5. W razie potrzeby każda płytka jest dostosowywana tak, aby nie była mniejsza niż 256 pikseli i nie większa niż 768 pikseli. Każda płytka jest następnie zmieniana na rozmiar 768 x 768 i korzysta z 258 tokenów.

Obrazy: sprawdzone metody

Aby uzyskać najlepsze wyniki, stosuj podczas korzystania z obrazów te sprawdzone metody i informacje:

  • Jeśli chcesz wykryć tekst na obrazie, użyj promptów z jednym obrazem, aby uzyskać lepsze wyniki niż w przypadku promptów z większą liczbą obrazów.
  • Jeśli prompt zawiera jeden obraz, umieść go przed promptem tekstowym w prośbie.
  • Jeśli prompt zawiera wiele obrazów i chcesz się do nich odnieść w późniejszym promptie lub w odpowiedzi modelu, możesz dodać przed każdym obrazem jego numer. Użyj w przypadku indeksu polecenia a b c lub image 1 image 2 image 3. Oto przykład użycia obrazów indeksowanych w promptach: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Używaj zdjęć w wyższej rozdzielczości, ponieważ dają lepsze efekty.
  • W prompcie umieść kilka przykładów.
  • Przed dodaniem obrazów do promptu obróć je w odpowiednią orientację.
  • Unikaj rozmytych obrazów.

Obrazy: ograniczenia

Chociaż Geminimodele multimodalne są bardzo przydatne w wielu zastosowaniach multimodalnych, warto poznać ich ograniczenia:

  • Moderowanie treści: modele odmawiają udzielania odpowiedzi na pytania dotyczące obrazów, które naruszają nasze zasady bezpieczeństwa.
  • Rozumowanie przestrzenne: modele nie są dokładne w lokalizowaniu tekstu ani obiektów na obrazach. Mogą one zwracać tylko przybliżoną liczbę obiektów.
  • Zastosowania medyczne: modele nie nadają się do interpretacji zdjęć medycznych (np. zdjęć rentgenowskich i tomografii komputerowej) ani do udzielania porad medycznych.
  • Rozpoznawanie osób: modeli nie należy używać do identyfikowania osób, które nie są celebrytami.
  • Dokładność: modele mogą halucynować lub popełniać błędy podczas interpretowania obrazów niskiej jakości, obróbionych lub o bardzo niskiej rozdzielczości. Modele mogą też „halucynować”, interpretując tekst pisany odręcznie w dokumentach w postaci obrazów.


Film: wymagania, sprawdzone metody i ograniczenia

Film: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie w przypadku filmów.

Obsługiwane typy MIME

Gemini Modele multimodalne obsługują te typy MIME wideo:

Typ MIME reklamy wideo Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
FLV – video/x-flv
MOV – video/quicktime
MPEG – video/mpeg
MPEGPS – video/mpegps
MPG – video/mpg
MP4 – video/mp4
WEBM – video/webm
WMV – video/wmv
3GPP – video/3gpp

Limity na żądanie

Maksymalna dozwolona liczba plików wideo w prośbie o prompt:

  • Gemini 2.0 Flash i Gemini 2.0 Flash‑Lite: 10 plików wideo

Film: tokenizacja

Oto jak są obliczane tokeny w przypadku filmów:

  • Gemini 2.0 Flash i Gemini 2.0 Flash‑Lite: ścieżka audio jest kodowana za pomocą klatek wideo. Ścieżka audio jest też podzielona na 1-sekundowe segmenty, z których każdy składa się z 32 tokenów. Ramki wideo i tokeny audio są przeplatane z ich sygnaturami czasowymi. Sygnatury czasowe są reprezentowane przez 7 tokenów.
  • Wszystkie modele multimodalne Gemini: filmy są próbkowane z 1 klatką na sekundę (fps). Każda klatka filmu odpowiada 258 tokenom.

Film: sprawdzone metody

Aby uzyskać najlepsze wyniki, stosuj te sprawdzone metody i informacje:

  • Jeśli prompt zawiera 1 film, umieść go przed promptem tekstowym.
  • Jeśli potrzebujesz lokalizacji sygnatury czasowej w wideo z dźwiękiem, poproś model o wygenerowanie sygnatur czasowych w formacie MM:SS, gdzie pierwsze 2 cyfry oznaczają minuty, a 2 ostatnie – sekundy. Użyj tego samego formatu w przypadku pytań dotyczących sygnatury czasowej.

Film: ograniczenia

Chociaż Geminimodele multimodalne są bardzo przydatne w wielu zastosowaniach multimodalnych, warto poznać ich ograniczenia:

  • Moderowanie treści: modelki odmawiają udzielania odpowiedzi na pytania dotyczące filmów, które naruszają nasze zasady bezpieczeństwa.
  • Rozpoznawanie dźwięków innych niż mowa: modele obsługujące dźwięk mogą popełniać błędy podczas rozpoznawania dźwięków innych niż mowa.
  • Ruch przy dużej prędkości: modele mogą popełniać błędy podczas rozpoznawania ruchu przy dużej prędkości w filmie z powodu stałej częstotliwości próbkowania 1 klatka na sekundę (fps).


Dźwięk: wymagania i ograniczenia

Dźwięk: wymagania

W tej sekcji dowiesz się więcej o obsługiwanych typach MIME i limitach na żądanie w przypadku plików audio.

Obsługiwane typy MIME

Gemini modele multimodalne obsługują te typy MIME audio:

Typ MIME pliku audio Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
AAC – audio/aac
FLAC – audio/flac
MP3 – audio/mp3
MPA – audio/m4a
MPEG – audio/mpeg
MPGA – audio/mpga
MP4 – audio/mp4
OPUS – audio/opus
PCM – audio/pcm
WAV – audio/wav
WEBM – audio/webm

Limity na żądanie

W żądaniu prompta możesz załączyć maksymalnie 1 plik audio.

Dźwięk: ograniczenia

Chociaż Geminimodele multimodalne są bardzo przydatne w wielu zastosowaniach multimodalnych, warto poznać ich ograniczenia:

  • Rozpoznawanie dźwięków innych niż mowa: modele obsługujące dźwięk mogą popełniać błędy podczas rozpoznawania dźwięków innych niż mowa.
  • Sygnatury czasowe tylko dźwięku: aby prawidłowo generować sygnatury czasowe plików tylko z dźwiękiem, musisz skonfigurować parametr audio_timestamp w pliku generation_config.


Dokumenty (np. pliki PDF): wymagania, sprawdzone metody i ograniczenia

Dokumenty: wymagania

W tej sekcji znajdziesz informacje o obsługiwanych typach MIME i limitach na żądanie dotyczące dokumentów (np. PDF-ów).

Obsługiwane typy MIME

Gemini modele multimodalne obsługują te typy MIME dokumentów:

Typ MIME dokumentu Gemini 2.0 Flash Gemini 2.0 Flash‑Lite
PDF – application/pdf
Tekst – text/plain

Limity na żądanie

Pliki PDF są traktowane jako obrazy, więc pojedyncza strona pliku PDF jest traktowana jako jeden obraz. Liczba stron dozwolonych w promptach jest ograniczona do liczby obrazów, które model może obsługiwać:

  • Gemini 2.0 Flash i Gemini 2.0 Flash‑Lite:
    • Maksymalna liczba plików na żądanie: 3000
    • Maksymalna liczba stron na plik: 1000
    • Maksymalny rozmiar pliku: 50 MB

Dokumenty: tokenizacja

Tokenizacja PDF-a

Pliki PDF są traktowane jak obrazy, więc każda strona pliku PDF jest tokenizowana w taki sam sposób jak obraz.

Koszt plików PDF jest zgodny z ceną za obraz Gemini. Jeśli na przykład w wywołaniu interfejsu API Gemini dołączysz plik PDF z 2 stronami, zostanie naliczona opłata za przetwarzanie 2 obrazów.

Tokenizacja tekstu

Dokumenty w postaci zwykłego tekstu są tokenizowane jako tekst. Jeśli na przykład w wywołaniu interfejsu API Gemini dołączysz dokument tekstowy zawierający 100 słów, zostanie naliczona opłata za przetworzenie 100 słów.

Dokumenty: sprawdzone metody

Aby uzyskać najlepsze wyniki, stosuj te sprawdzone metody i informacje:

  • Jeśli prompt zawiera jeden plik PDF, umieść go przed promptem tekstowym w prośbie.
  • Jeśli masz długi dokument, rozważ podzielenie go na kilka plików PDF, aby można było go przetworzyć.
  • Używaj plików PDF utworzonych z tekstem renderowanym jako tekst zamiast tekstu w zeskanowanych obrazach. Dzięki temu formatowi tekst jest czytelny dla maszyn, co ułatwia modelowi edycję, wyszukiwanie i modyfikowanie danych w porównaniu ze skanowanymi obrazami w formacie PDF. Ta metoda zapewnia optymalne wyniki podczas pracy z dokumentami zawierającymi dużo tekstu, takimi jak umowy.

Dokumenty: ograniczenia

Chociaż Geminimodele multimodalne są bardzo przydatne w wielu zastosowaniach multimodalnych, warto poznać ich ograniczenia:

  • Rozumowanie przestrzenne: modele nie są dokładne w lokalizowaniu tekstu ani obiektów w plikach PDF. Mogą one zwracać tylko przybliżoną liczbę obiektów.
  • Dokładność: modele mogą generować błędy podczas interpretowania tekstu odręcznego w dokumentach PDF.