Generowanie tekstu z promptów multimodalnych za pomocą interfejsu Gemini API

Gdy wywołujesz funkcję Gemini API z aplikacji za pomocą pakietu SDK Vertex AI in Firebase, możesz poprosić model Gemini o wygenerowanie tekstu na podstawie danych wejściowych multimodalnych. Prompty multimodalne mogą zawierać wiele modalności (czyli typów danych wejściowych), takich jak tekst, obrazy, pliki PDF, pliki tekstowe, filmy i dźwięk.

W każdym żądaniu multimodalnym musisz zawsze podać te informacje:

• Plik mimeType. Dowiedz się więcej o obsługiwanych typach MIME poszczególnych plików wejściowych.

• Plik. Plik możesz przesłać jako dane wstawione (jak na tej stronie) lub podać jego adres URL lub identyfikator URI.

Do testowania i ulepszania promptów multimodalnych zalecamy używanie Vertex AI Studio.

Inne opcje dotyczące Gemini API

• Opcjonalnie możesz wypróbować alternatywną wersję „Google AI” usługi Gemini API
  . Możesz uzyskać bezpłatny dostęp (w ograniczonym zakresie i w miejscach, w których jest dostępny) za pomocą pakietów SDK klienta Google AI Studio i Google AI. Pakiety SDK powinny być używane tylko do tworzenia prototypów w aplikacjach mobilnych i internetowych.

  Gdy już poznasz działanie interfejsu Gemini API, przejdź na nasze pakiety Vertex AI in Firebase SDK (ta dokumentacja), które zawierają wiele dodatkowych funkcji ważnych dla aplikacji mobilnych i internetowych, takich jak ochrona interfejsu API przed nadużywaniem za pomocą Firebase App Check oraz obsługa dużych plików multimedialnych w żądaniach.

• Opcjonalnie wywołaj Vertex AI Gemini API po stronie serwera (np. w przypadku Pythona, Node.js lub Go)
  Użyj pakietu Vertex AISDK po stronie serwera,Firebase Genkit lub Firebase Extensions dla Gemini API.

Zanim zaczniesz

Jeśli jeszcze tego nie zrobisz, zapoznaj się z przewodnikiem wprowadzającym do pakietów SDK Vertex AI in Firebase. Upewnij się, że wykonałeś/wykonałaś te czynności:

1. Skonfiguruj nowy lub istniejący projekt Firebase, korzystając z abonamentu Blaze i włączając wymagane interfejsy API.

2. Połącz aplikację z Firebase, w tym zarejestruj ją i dodaj do niej konfigurację Firebase.

3. Dodaj pakiet SDK i zainicjuj usługę Vertex AI oraz model generatywny w swojej aplikacji.

Po połączeniu aplikacji z Firebase, dodaniu pakietu SDK i zainicjowaniu usługi Vertex AI oraz modelu generatywnego możesz wywołać funkcję Gemini API.

Generowanie tekstu na podstawie tekstu i jednego obrazu Generowanie tekstu na podstawie tekstu i wielu obrazów Generowanie tekstu na podstawie tekstu i filmu

Przykładowe pliki multimedialne

Jeśli nie masz jeszcze plików multimedialnych, możesz użyć tych publicznie dostępnych plików:

• Obraz: gs://cloud-samples-data/generative-ai/image/scones.jpg Typ MIME: image/jpeg.
  Wyświetl lub pobierz ten obraz.

• PDF: gs://cloud-samples-data/generative-ai/pdf/2403.05530.pdf z typem MIME application/pdf.
  Wyświetl lub pobierz plik PDF.

• Wideo: gs://cloud-samples-data/video/animals.mp4 z typem MIME video/mp4.
  Obejrzyj lub pobierz ten film

• Dźwięk: gs://cloud-samples-data/generative-ai/audio/pixel.mp3 z typem MIME audio/mp3.
  Odsłuchaj lub pobierz ten plik audio.

Generowanie tekstu na podstawie tekstu i jednego obrazu

Zanim spróbujesz użyć tego przykładu, zapoznaj się z sekcją Zanim zaczniesz tego przewodnika.

Możesz wywołać Gemini API za pomocą promptów multimodalnych, które zawierają zarówno tekst, jak i pojedynczy plik (np. obraz, jak w tym przykładzie). W przypadku tych wywołań musisz użyć modelu, który obsługuje media w promptach (np. Gemini 1.5 Flash).

Zapoznaj się z wymaganiami i zaleceniami dotyczącymi plików wejściowych.

Wybierz, czy chcesz wyświetlić odpowiedź w czasie (generateContentStream), czy poczekać na odpowiedź, aż zostanie wygenerowany cały wynik (generateContent).

Dowiedz się, jak wybrać model Gemini i opcjonalnie lokalizację odpowiednią do Twojego przypadku użycia i aplikacji.

Generowanie tekstu na podstawie tekstu i wielu obrazów

Zanim spróbujesz użyć tego przykładu, zapoznaj się z sekcją Zanim zaczniesz tego przewodnika.

Możesz wywołać Gemini API za pomocą promptów multimodalnych, które zawierają zarówno tekst, jak i wiele plików (np. obrazów, jak w tym przykładzie). W przypadku tych wywołań musisz użyć modelu, który obsługuje media w promptach (np. Gemini 1.5 Flash).

Zapoznaj się z wymaganiami i zaleceniami dotyczącymi plików wejściowych.

Wybierz, czy chcesz wyświetlić odpowiedź w czasie (generateContentStream), czy poczekać na odpowiedź, aż zostanie wygenerowany cały wynik (generateContent).

Dowiedz się, jak wybrać model Gemini i opcjonalnie lokalizację odpowiednią do Twojego przypadku użycia i aplikacji.

Generowanie tekstu na podstawie tekstu i filmu

Zanim spróbujesz użyć tego przykładu, zapoznaj się z sekcją Zanim zaczniesz tego przewodnika.

Możesz wywołać Gemini API za pomocą promptów multimodalnych, które zawierają zarówno tekst, jak i pliki wideo (jak w tym przykładzie). W takich przypadkach musisz użyć modelu, który obsługuje media w promptach (np. Gemini 1.5 Flash).

Zapoznaj się z wymaganiami i zaleceniami dotyczącymi plików wejściowych.

Wybierz, czy chcesz wyświetlić odpowiedź w czasie (generateContentStream), czy poczekać na odpowiedź, aż zostanie wygenerowany cały wynik (generateContent).

Dowiedz się, jak wybrać model Gemini i opcjonalnie lokalizację odpowiednią do Twojego przypadku użycia i aplikacji.

Wymagania i zalecenia dotyczące plików wejściowych

Aby dowiedzieć się więcej o obsługiwanych plikach wejściowych i wymaganiach dotyczących Vertex AI Gemini API, zapoznaj się z tymi informacjami:

• Różne opcje przesyłania pliku w żądaniu
• Obsługiwane typy plików
• Obsługiwane typy MIME i sposób ich określania
• Wymagania i sprawdzone metody dotyczące plików i zapytań multimodalnych

Co jeszcze możesz zrobić?

• Dowiedz się, jak policzyć tokeny przed wysłaniem długich promptów do modelu.
• Skonfiguruj Cloud Storage for Firebase, aby móc dołączać duże pliki do żądań multimodalnych i mieć lepiej zarządzane rozwiązanie do dostarczania plików w promptach. Mogą to być obrazy, pliki PDF, filmy i pliki audio.
• Zacznij myśleć o przygotowaniu się do wdrożenia, w tym o skonfigurowaniu Firebase App Check, aby Gemini API nie był nadużywany przez nieautoryzowanych klientów.

Wypróbuj inne możliwości Gemini API

• tworzyć rozmowy wieloetapowe (czat);
• generować tekst na podstawie promptów tekstowych;
• generować dane wyjściowe w uporządkowanym formacie (np. JSON) na podstawie zarówno tekstowych, jak i wielomodalnych promptów;
• Użyj funkcji wywoływania, aby połączyć modele generatywne z zewnętrznymi systemami i informacjami.

Dowiedz się, jak kontrolować generowanie treści

• Zrozumieć projektowanie promptów, w tym sprawdzone metody, strategie i przykładowe prompty.
• Skonfiguruj parametry modelu, takie jak temperatura i maksymalne tokeny danych wyjściowych.
• Użyj ustawień bezpieczeństwa, aby dostosować prawdopodobieństwo otrzymywania odpowiedzi, które mogą być szkodliwe.

Możesz też eksperymentować z promptami i konfiguracjami modeli za pomocą Vertex AI Studio.

Więcej informacji o modelach Gemini

Dowiedz się więcej o modelach dostępnych w różnych przypadkach użycia oraz o ich limitach i cenach.

Prześlij opinię o tym, jak oceniasz korzystanie z usługi Vertex AI in Firebase