網頁應用程式混合體驗的設定選項

本頁說明混合式體驗的下列設定選項：

您也可以生成結構化輸出內容 (例如 JSON 和列舉)。

請務必完成建構混合式體驗的入門指南。

設定推論模式

入門指南中的範例說明如何先嘗試在裝置端推論，然後再改用雲端託管模型 (PREFER_ON_DEVICE 模式)。不過，這只是其中一種可用的推論模式。

  • PREFER_ON_DEVICE：使用裝置端模型 (如有)；否則改用雲端託管模型。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_ON_DEVICE });

  • ONLY_ON_DEVICE：使用裝置端模型 (如有)；否則擲回例外狀況。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_ON_DEVICE });

  • PREFER_IN_CLOUD：使用雲端託管模型 (如有)；否則改用裝置端模型。

    const model = getGenerativeModel(ai, { mode: InferenceMode.PREFER_IN_CLOUD });

  • ONLY_IN_CLOUD：如果雲端託管模型可用，則使用該模型；否則擲回例外狀況。

    const model = getGenerativeModel(ai, { mode: InferenceMode.ONLY_IN_CLOUD });

判斷推論是在裝置端或雲端執行

如果您使用 PREFER_ON_DEVICE 或 PREFER_IN_CLOUD 推論模式，建議您瞭解特定要求使用的模式。這項資訊由每個回應的 inferenceSource 屬性提供 (自 JS SDK v12.5.0 起提供)。

存取這個屬性時，傳回的值會是 ON_DEVICE 或 IN_CLOUD。

// ...

console.log('You used: ' + result.response.inferenceSource);

console.log(result.response.text());

覆寫預設備用模型

預設的雲端託管模型為 gemini-3.5-flash-lite (自 JS SDK v13.0.0 起)。

使用 PREFER_ON_DEVICE 模式時，這個模型是備用的雲端託管模型。使用 ONLY_IN_CLOUD 模式或 PREFER_IN_CLOUD 模式時，這也是預設模型。

您可以使用 inCloudParams 設定選項，指定其他預設的雲端託管模型。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME"
  }
});

查看所有支援的 Gemini 模型名稱。

使用模型設定控制回覆

向模型傳送要求時，您可以一併傳送模型設定，控制模型生成回覆的方式。雲端託管模型和裝置端模型提供不同的設定選項。

設定會在執行個體的生命週期內保留。如要使用其他設定，請以該設定建立新的 GenerativeModel 執行個體。

設定雲端託管模型

使用 inCloudParams 選項，設定雲端託管的 Gemini 模型。瞭解可用參數。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  inCloudParams: {
    model: "GEMINI_MODEL_NAME",
    generationConfig: {
      maxOutputTokens: 200,
      stopSequences: ["red"]
    }
  }
});

設定裝置端模型

請注意，使用裝置端模型進行推論時，會用到 Chrome 的 Prompt API。

使用 onDeviceParams 選項設定裝置端模型。瞭解可用參數。

const model = getGenerativeModel(ai, {
  mode: InferenceMode.INFERENCE_MODE,
  onDeviceParams: {
    createOptions: {
      expectedInputs: [{ type: "text", languages: ["en"] }],
      expectedOutputs: [{ type: "text", languages: ["en"] }],
      initialPrompts: [
        { role: "system", content: [{ type: "text", value: "You are a helpful and concise assistant." }] }
      ]
    }
  }
});


提供「Firebase AI Logic」使用體驗的意見回饋