Ollama 外掛程式

Ollama 外掛程式可為 Ollama 支援的任何本機 LLM 提供介面。

事前準備

這個外掛程式需要先安裝並執行 Ollama 伺服器。您可以按照「下載 Ollama」頁面上的操作說明進行。

使用 Ollama CLI 下載您感興趣的模型。例如：

ollama pull gemma3

如要進行開發，您可以在開發機器上執行 Ollama。部署的應用程式通常會在 GPU 加速機器上執行 Ollama，而該機器與代管執行 Genkit 的應用程式後端的機器不同。

設定

如要使用這個外掛程式，請在 Genkit 初始化器中將 ollama.Ollama 傳遞至 WithPlugins()，指定 Ollama 伺服器的地址：

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

用量

如要產生內容，您必須先根據已安裝且要使用的模型建立模型定義。舉例來說，如果您安裝 Gemma 2：

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

接著，您可以使用模型參照，向 Ollama 伺服器傳送要求：

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

詳情請參閱「產生內容」。