Ollama 插件

Ollama 插件提供 Ollama 支持的任何本地 LLM 的接口。

前提条件

该插件要求您先安装并运行 Ollama 服务器。您可以按照下载 Ollama 页面上的说明操作。

使用 Ollama CLI 下载您感兴趣的模型。例如：

ollama pull gemma2

对于开发，您可以在开发机器上运行 Ollama。已部署的应用通常在与运行 Genkit 的应用后端不同的 GPU 加速机器上运行 Ollama。

配置

如需使用此插件，请调用 ollama.Init()，并指定 Ollama 服务器的地址：

import "github.com/firebase/genkit/go/plugins/ollama"

// Init with Ollama's default local address.
if err := ollama.Init(ctx, &ollama.Config{
	ServerAddress: "http://127.0.0.1:11434",
}); err != nil {
	return err
}

用法

如需生成内容，您首先需要根据已安装并想要使用的模型创建模型定义。例如，如果您安装了 Gemma 2：

model := ollama.DefineModel(
	ollama.ModelDefinition{
		Name: "gemma2",
		Type: "chat", // "chat" or "generate"
	},
	&ai.ModelCapabilities{
		Multiturn:  true,
		SystemRole: true,
		Tools:      false,
		Media:      false,
	},
)

然后，您可以使用模型引用向 Ollama 服务器发送请求：

text, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
	return err
}

如需了解详情，请参阅生成内容。