支援的輸入檔案和相關規定

使用 Firebase AI Logic SDK 從應用程式呼叫 Gemini API 時，您可以提示 Gemini 模型根據多模態輸入內容 (例如圖片、影片、音訊和文件，如 PDF) 生成文字。

您必須使用支援的檔案類型、指定支援的 MIME 類型，並確保檔案和多模態要求符合規定，並遵循最佳做法。

本頁面專門說明如何使用 GenerativeModel，並介紹下列內容：

在多模態要求中提供檔案的選項

選取 Gemini API 供應商，即可在本頁查看供應商專屬內容

在每個多模態要求中，您一律必須提供下列項目：

要求中可提供的檔案大小和數量，取決於輸入檔案類型、提供檔案的方式，以及使用的模型 (詳情請參閱本頁各輸入檔案類型的章節)。

方法 1：以內嵌資料的形式提供檔案

請注意，以內嵌資料形式提供的檔案須符合下列條件：

  • 由於要求大小總上限為 20 MB，因此只有小型檔案可以內嵌資料的形式傳送。

  • 檔案在傳輸過程中會編碼為 base64 (這會增加檔案大小)。

如需範例，瞭解如何將檔案納入為內嵌資料，請參閱「根據文字和檔案 (多模態) 輸入內容生成文字」。請注意，Android 和 Apple 平台適用的 SDK 可處理要求中的內嵌圖片，無須指定 MIME 類型。瞭解詳情。

選項 2：使用網址提供檔案

使用 Gemini Developer API 時，可接受的網址類型如下：

  • YouTube 影片網址：YouTube 影片必須設為公開或不公開。

    每項要求可指定一個 YouTube 影片網址。


Google 圖片：規定、最佳做法和限制

Google 圖片：相關規定

本節將說明支援的 MIME 類型，以及每項圖片要求的限制。

支援的 MIME 類型

Gemini 多模態模型支援下列圖片 MIME 類型：

  • PNG - image/png
  • JPEG - image/jpeg
  • WebP - image/webp

每項要求的限制

圖片的像素數量沒有特定限制。不過，較大的圖片會縮小並加上邊框，以符合 3072 x 3072 的最大解析度，同時保留原始顯示比例。

每項要求的檔案數量上限：3,000 個圖片檔

圖片：權杖化

圖片的詞元計算方式如下：

  • 如果圖片的兩個維度都小於或等於 384 像素，則會使用 258 個權杖。
  • 如果圖片的其中一個維度大於 384 像素，系統會將圖片裁剪成圖塊。每個圖塊大小預設為最小維度 (寬度或高度) 除以 1.5。如有必要，系統會調整每個圖塊，使其不小於 256 像素，且不大於 768 像素。接著，系統會將每個圖塊的大小調整為 768x768，並使用 258 個詞元。

Google 圖片：最佳做法

使用圖片時，請遵循下列最佳做法和資訊，以獲得最佳效果：

  • 如要偵測圖片中的文字，請使用單一圖片的提示，這樣會比使用多張圖片的提示產生更好的結果。
  • 如果提示詞包含單一圖片，請在要求中將圖片放在文字提示詞之前。
  • 如果提示包含多張圖片，且您想在提示中參照這些圖片，或希望模型在回覆中參照這些圖片，建議您在每張圖片前加上索引。請為索引使用 a b c 或 image 1 image 2 image 3。以下是在提示中使用索引圖片的範例： 
    image 1 
image 2 
image 3 

Write a blogpost about my day using image 1 and image 2. Then, give me ideas
for tomorrow based on image 3.
  • 使用解析度較高的圖片，效果會更好。
  • 在提示中加入幾個範例。
  • 將圖片旋轉至正確方向，再加入提示。
  • 避免使用模糊圖片。

Google 圖片：限制

雖然 Gemini 多模態模型在許多多模態用途中都非常強大，但請務必瞭解模型的限制：

  • 內容審核：如果圖片違反安全政策，模型會拒絕提供答案。
  • 空間推理：模型無法精確定位圖片中的文字或物件。可能只會傳回物件的近似計數。
  • 醫療用途：模型不適合用於解讀醫學圖像 (例如 X 光和電腦斷層掃描)，也不適合用於提供醫療建議。
  • 人物辨識：模型不應用於辨識圖片中的非名人。
  • 準確度：解讀低畫質、旋轉或解析度極低的圖片時，模型可能會產生幻覺或出錯。解讀圖片文件中的手寫文字時，模型也可能產生幻覺。


影片：規定、最佳做法和限制

影片：相關規定

本節將說明影片支援的 MIME 類型和每項要求限制。

支援的 MIME 類型

Gemini 多模態模型支援下列影片 MIME 類型：

  • FLV - video/x-flv
  • MOV - video/quicktime
  • MPEG - video/mpeg
  • MPEGPS - video/mpegps
  • 每加侖英里數 - video/mpg
  • MP4 - video/mp4
  • WEBM - video/webm
  • WMV - video/wmv
  • 3GPP - video/3gpp

每項要求的限制

每項要求的檔案數量上限：10 個影片檔案

影片：權杖化

影片的詞元計算方式如下：

  • 音軌會與影片影格一起編碼。音軌也會細分為 1 秒的區塊，每個區塊占 32 個詞元。影片影格和音訊符記會與時間戳記交錯。時間戳記會以 5 個符記表示。
  • 如果影片的取樣率等於或低於每秒 1 個影格 (fps)，則影片前一小時的時間戳記會以每個影片影格 5 個權杖表示。其餘時間戳記則以每個影片影格 7 個權杖表示。
  • 如果影片的取樣頻率高於每秒 1 個影格 (fps)，則影片前一小時的時間戳記會以每個影片影格 9 個符記表示。其餘時間戳記則以每個影片影格 11 個權杖表示。

影片：最佳做法

使用影片時，請遵循下列最佳做法和資訊，以獲得最佳效果：

  • 如果提示詞包含單一影片，請將影片放在文字提示詞之前。
  • 如需在有音訊的影片中加上時間戳記，請要求模型按照「時間戳記格式」一節所述的格式生成時間戳記。

影片：限制

雖然 Gemini 多模態模型在許多多模態用途中都非常強大，但請務必瞭解模型的限制：

  • 內容審核：如果影片違反安全政策，模型會拒絕提供答案。
  • 非語音聲音辨識：支援音訊的模型可能會誤判非語音聲音。


音訊：規定和限制

音訊：相關規定

本節將說明支援的 MIME 類型，以及每個音訊要求的限制。

支援的 MIME 類型

Gemini 多模態模型支援下列音訊 MIME 類型：

  • AAC - audio/aac
  • FLAC - audio/flac
  • MP3 - audio/mp3
  • MPA - audio/m4a
  • MPEG - audio/mpeg
  • MPGA - audio/mpga
  • MP4 - audio/mp4
  • OPUS - audio/opus
  • PCM - audio/pcm
  • WAV - audio/wav
  • WEBM - audio/webm

每項要求的限制

每項要求的檔案數量上限：1 個音訊檔案

音訊：限制

雖然 Gemini 多模態模型在許多多模態用途中都非常強大，但請務必瞭解模型的限制：

  • 非語音聲音辨識：支援音訊的模型可能會誤判非語音聲音。
  • 純音訊時間戳記：如要為純音訊檔案產生準確的時間戳記，必須在 generation_config 中設定 audio_timestamp 參數。


文件 (例如 PDF)：規定、最佳做法和限制

文件：規定

本節將說明文件 (例如 PDF) 支援的 MIME 類型和每項要求限制。

支援的 MIME 類型

Gemini 多模態模型支援下列文件 MIME 類型：

  • PDF - application/pdf
  • 文字 - text/plain

每項要求的限制

PDF 會視為圖片，因此 PDF 的單一頁面會視為一張圖片。提示詞中允許的頁數上限，取決於 Gemini 多模態模型可支援的圖片數量。

  • 每項要求的檔案數量上限：3,000 個
  • 每個檔案的頁數上限：1,000 頁
  • 每個檔案的大小上限：50 MB

文件：權杖化

PDF 權杖化

PDF 會視為圖片，因此 PDF 的每一頁都會以與圖片相同的方式權杖化。

此外，PDF 的費用與 Gemini 圖片定價相同。舉例來說，如果您在 Gemini API 呼叫中加入兩頁 PDF，則會產生處理兩張圖片的輸入費用。

文件：最佳做法

使用 PDF 時，請參考下列最佳做法和資訊，以獲得最佳結果：

  • 如果提示詞包含單一 PDF，請在要求中將 PDF 放在文字提示詞之前。
  • 如果文件較長，建議拆成多個 PDF 處理。
  • 請使用以文字轉譯文字建立的 PDF，而非掃描圖片中的文字。這種格式可確保文字是機器可讀，因此與掃描圖片 PDF 相比，模型更容易編輯、搜尋及操控。處理合約等文字密集的文件時，這個做法可提供最佳結果。

文件：限制

雖然 Gemini 多模態模型在許多多模態用途中都非常強大，但請務必瞭解模型的限制：

  • 空間推論：模型無法精確定位 PDF 中的文字或物件。可能只會傳回物件的近似計數。
  • 準確度：模型在解讀 PDF 文件中的手寫文字時，可能會產生幻覺。