Desteklenen giriş dosyaları ve gereksinimler

Firebase AI Logic SDK'sı kullanarak uygulamanızdan Gemini API API'sini çağırdığınızda Gemini modelinden resim, video, ses ve belge (ör. PDF) gibi çok formatlı girişlere dayalı metin oluşturmasını isteyebilirsiniz.

Desteklenen dosya türlerini kullanmanız, desteklenen bir MIME türü belirtmeniz ve dosyalarınız ile çok formatlı isteklerinizin şartları karşıladığından ve en iyi uygulamalara uyduğundan emin olmanız gerekir.

Bu sayfa, GenerativeModel kullanımına özeldir ve aşağıdakileri açıklar:

Çok formatlı isteklerde dosya sağlama seçenekleri

Bu sayfada sağlayıcıya özel içerikleri görüntülemek için Gemini API sağlayıcınızı seçin

Her çok formatlı istekte her zaman aşağıdakileri sağlamanız gerekir:

İstekte sağlayabileceğiniz dosyaların boyutu ve sayısı; giriş dosyası türüne, dosyayı nasıl sağladığınıza ve kullanılan modele göre belirlenir (ayrıntılar için bu sayfadaki her giriş dosyası türünün bölümüne bakın).

1. seçenek: Dosyayı satır içi veri olarak sağlama

Satır içi veri olarak sağlanan dosyalarla ilgili olarak aşağıdakilere dikkat edin:

  • Toplam istek boyutu sınırı 20 MB olduğundan, yalnızca küçük dosyalar satır içi veri olarak gönderilebilir.

  • Dosya, aktarım sırasında base64 olarak kodlanır (bu da dosya boyutunu artırır).

Bir dosyayı satır içi veri olarak nasıl ekleyeceğinizi gösteren bir örnek için Metin ve dosya (çok formatlı) girişinden metin oluşturma başlıklı makaleyi inceleyin. Android ve Apple platformları için SDK'ların, MIME türünü belirtmeye gerek kalmadan isteklerdeki satır içi resimleri işleyebileceğini unutmayın. Daha fazla bilgi edinin.

2. seçenek: Dosyayı URL kullanarak sağlama

Gemini Developer API kullanırken kabul edilebilir URL türleri şunlardır:


Görseller: Koşullar, en iyi uygulamalar ve sınırlamalar

Görseller: Koşullar

Bu bölümde, desteklenen MIME türleri ve resimler için istek başına sınırlar hakkında bilgi edinebilirsiniz.

Desteklenen MIME türleri

Gemini çok formatlı modelleri aşağıdaki resim MIME türlerini destekler:

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

İstek başına sınırlar

Bir resimdeki piksel sayısı için belirli bir sınır yoktur. Ancak daha büyük resimler, orijinal en boy oranları korunarak maksimum 3072 x 3072 çözünürlüğe sığacak şekilde küçültülür ve doldurulur.

İstek başına maksimum dosya sayısı: 3.000 resim dosyası

Görseller: Tokenizasyon

Görüntüler için jetonlar şu şekilde hesaplanır:

  • Bir resmin her iki boyutu da 384 pikselden küçük veya bu değere eşitse 258 jeton kullanılır.
  • Bir resmin bir boyutu 384 pikselden büyükse resim, parçalara bölünür. Her karo boyutu varsayılan olarak en küçük boyutun (genişlik veya yükseklik) 1,5'e bölünmesiyle elde edilen değere ayarlanır. Gerekirse her karo, 256 pikselden küçük ve 768 pikselden büyük olmayacak şekilde ayarlanır. Ardından her karo 768x768 olarak yeniden boyutlandırılır ve 258 jeton kullanılır.

Görseller: En iyi uygulamalar

Resim kullanırken en iyi sonuçları elde etmek için aşağıdaki en iyi uygulamalardan ve bilgilerden yararlanın:

  • Bir resimdeki metni algılamak istiyorsanız birden fazla resim içeren istemlere kıyasla daha iyi sonuçlar elde etmek için tek bir resim içeren istemler kullanın.
  • İsteminizde tek bir resim varsa resmi, isteğinizdeki metin isteminden önce yerleştirin.
  • İsteminizde birden fazla resim varsa ve daha sonra isteminizde bunlara atıfta bulunmak veya modelin yanıtında bunlara atıfta bulunmasını istiyorsanız her resme, resimden önce bir dizin vermek faydalı olabilir. Dizininiz için a b c veya image 1 image 2 image 3 kullanın. Aşağıda, dizine eklenmiş resimlerin bir istemde kullanımına dair örnek verilmiştir: 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • Daha yüksek çözünürlüklü resimler kullanın. Bu resimler daha iyi sonuçlar verir.
  • İsteme birkaç örnek ekleyin.
  • Resimleri isteme eklemeden önce doğru yöne döndürün.
  • Bulanık resimler kullanmayın.

Görseller: Sınırlamalar

Gemini çok formatlı modelleri birçok çok formatlı kullanım alanında güçlü olsa da modellerin sınırlamalarını anlamak önemlidir:

  • İçerik moderasyonu: Modeller, güvenlik politikalarımızı ihlal eden resimlerle ilgili yanıt vermeyi reddeder.
  • Uzamsal akıl yürütme: Modeller, resimlerdeki metinleri veya nesneleri tam olarak bulamaz. Yalnızca nesnelerin yaklaşık sayılarını döndürebilirler.
  • Tıbbi kullanımlar: Modeller, tıbbi görüntüleri (ör. röntgen ve BT taramaları) yorumlamak veya tıbbi tavsiye vermek için uygun değildir.
  • Kişi tanıma: Modeller, resimlerde ünlü olmayan kişileri tanımlamak için kullanılmamalıdır.
  • Doğruluk: Modeller, düşük kaliteli, döndürülmüş veya son derece düşük çözünürlüklü görüntüleri yorumlarken halüsinasyon görebilir veya hata yapabilir. Modeller, resim belgelerindeki el yazısı metinleri yorumlarken de halüsinasyon görebilir.


Video: Şartlar, en iyi uygulamalar ve sınırlamalar

Video: Şartlar

Bu bölümde, video için desteklenen MIME türleri ve istek başına sınırlar hakkında bilgi edinebilirsiniz.

Desteklenen MIME türleri

Gemini çok formatlı modelleri aşağıdaki video MIME türlerini destekler:

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • MPG - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

İstek başına sınırlar

İstek başına maksimum dosya sayısı: 10 video dosyası

Video: Tokenizasyon

Video için jetonlar şu şekilde hesaplanır:

  • Ses parçası, video kareleriyle kodlanır. Ses parçası da her biri 32 jetona karşılık gelen 1 saniyelik parçalara bölünür. Video karesi ve ses jetonları, zaman damgalarıyla birlikte birbirine eklenir. Zaman damgaları 5 jeton olarak gösterilir.
  • Saniyede 1 kare (fps) veya daha düşük hızda örneklenen videolarda, videonun ilk saatinin zaman damgaları video karesi başına 5 jeton olarak gösterilir. Kalan zaman damgaları, video karesi başına 7 jeton olarak temsil edilir.
  • Saniyede 1 kareden (fps) daha yüksek hızda örneklenen videolarda, videonun ilk saatinin zaman damgaları video karesi başına 9 jeton olarak temsil edilir. Kalan zaman damgaları, video karesi başına 11 jeton olarak temsil edilir.

Video: En iyi uygulamalar

Video kullanırken en iyi sonuçları elde etmek için aşağıdaki en iyi uygulamalardan ve bilgilerden yararlanın:

  • İsteminizde tek bir video varsa videoyu yazılı istemden önce yerleştirin.
  • Sesli bir videoda zaman damgası yerelleştirmesi gerekiyorsa modelden "Zaman damgası biçimi" bölümünde açıklandığı şekilde zaman damgaları oluşturmasını isteyin.

Video: Sınırlamalar

Gemini çok formatlı modelleri birçok çok formatlı kullanım alanında güçlü olsa da modellerin sınırlamalarını anlamak önemlidir:

  • İçerik moderasyonu: Modeller, güvenlik politikalarımızı ihlal eden videolarla ilgili yanıt vermeyi reddeder.
  • Konuşma dışı ses tanıma: Sesi destekleyen modeller, konuşma dışı sesleri tanırken hata yapabilir.


Ses: Şartlar ve sınırlamalar

Ses: Şartlar

Bu bölümde, ses için desteklenen MIME türleri ve istek başına sınırlar hakkında bilgi edinebilirsiniz.

Desteklenen MIME türleri

Gemini çok formatlı modelleri aşağıdaki ses MIME türlerini destekler:

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

İstek başına sınırlar

İstek başına maksimum dosya sayısı: 1 ses dosyası

Ses: Sınırlamalar

Gemini çok formatlı modelleri birçok çok formatlı kullanım alanında güçlü olsa da modellerin sınırlamalarını anlamak önemlidir:

  • Konuşma dışı ses tanıma: Sesi destekleyen modeller, konuşma dışı sesleri tanırken hata yapabilir.
  • Yalnızca ses zaman damgaları: Yalnızca ses dosyaları için zaman damgalarını doğru şekilde oluşturmak istiyorsanız generation_config içinde audio_timestamp parametresini yapılandırmanız gerekir.


Dokümanlar (PDF'ler gibi): Şartlar, en iyi uygulamalar ve sınırlamalar

Belgeler: Şartlar

Bu bölümde, dokümanlar (ör. PDF'ler) için desteklenen MIME türleri ve istek başına sınırlar hakkında bilgi edinebilirsiniz.

Desteklenen MIME türleri

Gemini çok formatlı modeller aşağıdaki belge MIME türlerini destekler:

  • PDF - application/pdf
  • Metin - text/plain

İstek başına sınırlar

PDF'ler resim olarak değerlendirilir. Bu nedenle, PDF'nin tek bir sayfası bir resim olarak kabul edilir. Bir istemde izin verilen sayfa sayısı, Gemini çok formatlı modellerinin destekleyebileceği resim sayısıyla sınırlıdır.

  • İstek başına maksimum dosya sayısı: 3.000 dosya
  • Dosya başına maksimum sayfa sayısı: Dosya başına 1.000 sayfa
  • Dosya başına maksimum boyut: Dosya başına 50 MB

Belgeler: Tokenizasyon

PDF tokenizasyonu

PDF'ler resim olarak değerlendirilir. Bu nedenle, PDF'nin her sayfası resimle aynı şekilde parçalara ayrılır.

Ayrıca PDF'lerin maliyeti, Gemini görüntü fiyatlandırmasına göre belirlenir. Örneğin, bir Gemini API çağrısına iki sayfalık bir PDF eklerseniz iki resmin işlenmesi için giriş ücreti ödersiniz.

Dokümanlar: En iyi uygulamalar

PDF'leri kullanırken en iyi sonuçları elde etmek için aşağıdaki en iyi uygulamalardan ve bilgilerden yararlanın:

  • İsteminiz tek bir PDF içeriyorsa PDF'yi isteğinizdeki metin isteminden önce yerleştirin.
  • Uzun bir belgeniz varsa işlemek için birden fazla PDF'ye bölmeyi deneyin.
  • Taranmış resimlerdeki metinleri kullanmak yerine, metin olarak oluşturulmuş metinler içeren PDF'leri kullanın. Bu biçim, metnin makine tarafından okunabilir olmasını sağlar. Böylece modelin, taranmış resim PDF'lerine kıyasla metni düzenlemesi, araması ve değiştirmesi daha kolay olur. Bu yöntem, sözleşmeler gibi metin ağırlıklı dokümanlarla çalışırken en iyi sonuçları verir.

Belgeler: Sınırlamalar

Gemini çok formatlı modelleri birçok çok formatlı kullanım alanında güçlü olsa da modellerin sınırlamalarını anlamak önemlidir:

  • Uzamsal akıl yürütme: Modeller, PDF'lerdeki metinlerin veya nesnelerin konumunu belirleme konusunda hassas değildir. Yalnızca nesnelerin yaklaşık sayılarını döndürebilirler.
  • Doğruluk: Modeller, PDF belgelerindeki el yazısı metinleri yorumlarken halüsinasyon görebilir.