生成内容

Firebase Genkit 为使用 LLM 生成内容提供了一个简单的接口。

模型

Firebase Genkit 中的模型是库和抽象，可让您访问各种 Google 和非 Google LLM。

模型针对可观测性进行了全面插桩，并附带 Genkit 开发者界面提供的工具集成，您可以使用模型运行程序试用任何模型。

在 Genkit 中使用模型时，您首先需要配置要使用的模型。模型配置由插件系统执行。在此示例中，您将配置 Vertex AI 插件以提供 Gemini 模型。

import {
	"github.com/firebase/genkit/go/ai"
	"github.com/firebase/genkit/go/genkit"
	"github.com/firebase/genkit/go/plugins/googlegenai"
}

// Default to the value of GCLOUD_PROJECT for the project,
// and "us-central1" for the location.
// To specify these values directly, pass a vertexai.Config value to Init.
if err := (&googlegenai.VertexAI{}).Init(ctx, g); err != nil {
	return err
}

如需使用该插件提供的模型，您需要引用特定的模型和版本：

model := googlegenai.VertexAIModel(g, "gemini-1.5-flash")

支持的模型

Genkit 通过其插件系统提供模型支持。以下插件受官方支持：

插件 模型
Google 生成式 AI Gemini Pro、Gemini Pro Vision
Google Vertex AI Gemini Pro、Gemini Pro Vision、Gemini 1.5 Flash、Gemini 1.5 Pro、Imagen2
Ollama 许多本地模型，包括 Gemma、Llama 2、Mistral 等

如需了解设置和使用信息，请参阅各个插件的文档。

如何生成内容

Genkit 为使用模型生成内容提供了一个简单的辅助函数。

如需仅调用模型，请使用以下代码：

responseText, err := genkit.GenerateText(ctx, g, ai.WithModel(model), ai.WithPromptText("Tell me a joke."))
if err != nil {
	return err
}
fmt.Println(responseText)

您可以将选项与模型调用一起传递。支持的选项取决于型号及其 API。

response, err := genkit.Generate(ctx, g,
	ai.WithModel(model),
	ai.WithPromptText("Tell me a joke about dogs."),
	ai.WithConfig(&ai.GenerationCommonConfig{
		Temperature:     1.67,
		StopSequences:   []string{"cat"},
		MaxOutputTokens: 3,
	}))

流式响应

Genkit 支持对模型回答进行分块流式处理。如需使用分块流式处理，请将回调函数传递给 Generate()：

response, err := genkit.Generate(ctx, g,
	ai.WithModel(gemini15pro),
	ai.WithPromptText("Tell a long story about robots and ninjas."),
	// stream callback
	ai.WithStreaming(
		func(ctx context.Context, grc *ai.ModelResponseChunk) error {
			fmt.Printf("Chunk: %s\n", grc.Text())
			return nil
		}))
if err != nil {
	return err
}

// You can also still get the full response.
fmt.Println(response.Text())

多模态输入

如果模型支持多模态输入，您可以传递图片提示：

imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
	return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)

resp, err := genkit.Generate(ctx, g,
	ai.WithModel(gemini15pro),
	ai.WithMessages(
		ai.NewUserMessage(
			ai.NewTextPart("Describe the following image."),
			ai.NewMediaPart("", "data:image/jpeg;base64,"+encodedImage))))

图片提示的确切格式（https 网址、gs 网址、data URI）取决于模型。

函数调用（工具）

Genkit 模型为支持函数调用的模型提供了接口。

myJokeTool := genkit.DefineTool(
	g,
	"myJoke",
	"useful when you need a joke to tell",
	func(ctx *ai.ToolContext, input *any) (string, error) {
		return "haha Just kidding no joke! got you", nil
	},
)

response, err := genkit.Generate(ctx, g,
	ai.WithModel(gemini15pro),
	ai.WithPromptText("Tell me a joke."),
	ai.WithTools(myJokeTool))

这将自动调用工具，以执行用户提示。

消息历史记录

Genkit 模型支持维护发送到模型的消息及其回答的历史记录，您可以使用该历史记录来打造互动式体验，例如聊天机器人。

在会话的第一个提示中，“历史记录”只是用户提示：

history := []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
}}

response, err := genkit.Generate(ctx, g,
	ai.WithModel(gemini15pro),
	ai.WithMessages(history...))

收到回答后，将其添加到历史记录中：

history = append(history, response.Message)

您可以序列化此历史记录，并将其保留在数据库或会话存储空间中。对于后续的用户提示，请在调用 Generate() 之前将其添加到历史记录中：

history = append(history, &ai.Message{
	Content: []*ai.Part{ai.NewTextPart(prompt)},
	Role:    ai.RoleUser,
})

response, err = genkit.Generate(ctx, g,
	ai.WithModel(gemini15pro),
	ai.WithMessages(history...))

如果您使用的模型支持系统角色，则可以使用初始历史记录来设置系统消息：

history = []*ai.Message{{
	Content: []*ai.Part{ai.NewTextPart("Talk like a pirate.")},
	Role:    ai.RoleSystem,
}}