Firebase Genkit 为使用 LLM 生成内容提供了一个简单的接口。
模型
Firebase Genkit 中的模型是库和抽象，可让您访问各种 Google 和非 Google LLM。
模型针对可观测性进行了全面插桩，并附带 Genkit 开发者界面提供的工具集成，您可以使用模型运行程序试用任何模型。
在 Genkit 中使用模型时，您首先需要配置要使用的模型。模型配置由插件系统执行。在此示例中，您将配置 Vertex AI 插件以提供 Gemini 模型。
import {
"github.com/firebase/genkit/go/ai"
"github.com/firebase/genkit/go/plugins/vertexai"
}
// Default to the value of GCLOUD_PROJECT for the project,
// and "us-central1" for the location.
// To specify these values directly, pass a vertexai.Config value to Init.
if err := vertexai.Init(ctx, nil); err != nil {
return err
}
如需使用该插件提供的模型，您需要引用特定的模型和版本：
model := vertexai.Model("gemini-1.5-flash")
支持的模型
Genkit 通过其插件系统提供模型支持。以下插件受官方支持：
| 插件 | 模型 |
|---|---|
| Google 生成式 AI | Gemini Pro、Gemini Pro Vision |
| Google Vertex AI | Gemini Pro、Gemini Pro Vision、Gemini 1.5 Flash、Gemini 1.5 Pro、Imagen2 |
| Ollama | 许多本地模型，包括 Gemma、Llama 2、Mistral 等 |
如需了解设置和使用信息，请参阅各个插件的文档。
如何生成内容
Genkit 为使用模型生成内容提供了一个简单的辅助函数。
如需仅调用模型，请使用以下代码：
responseText, err := ai.GenerateText(ctx, model, ai.WithTextPrompt("Tell me a joke."))
if err != nil {
return err
}
fmt.Println(responseText)
您可以将选项与模型调用一起传递。支持的选项取决于型号及其 API。
response, err := ai.Generate(ctx, model,
ai.WithTextPrompt("Tell me a joke about dogs."),
ai.WithConfig(ai.GenerationCommonConfig{
Temperature: 1.67,
StopSequences: []string{"cat"},
MaxOutputTokens: 3,
}))
流式响应
Genkit 支持对模型回答进行分块流式处理。如需使用分块流式处理，请将回调函数传递给 Generate()：
response, err := ai.Generate(ctx, gemini15pro,
ai.WithTextPrompt("Tell a long story about robots and ninjas."),
// stream callback
ai.WithStreaming(
func(ctx context.Context, grc *ai.GenerateResponseChunk) error {
fmt.Printf("Chunk: %s\n", grc.Text())
return nil
}))
if err != nil {
return err
}
// You can also still get the full response.
fmt.Println(response.Text())
多模态输入
如果模型支持多模态输入，您可以传递图片提示：
imageBytes, err := os.ReadFile("img.jpg")
if err != nil {
return err
}
encodedImage := base64.StdEncoding.EncodeToString(imageBytes)
resp, err := ai.Generate(ctx, gemini15pro, ai.WithMessages(
ai.NewUserMessage(
ai.NewTextPart("Describe the following image."),
ai.NewMediaPart("", "data:image/jpeg;base64,"+encodedImage))))
图片提示的确切格式（https 网址、gs 网址、data URI）取决于模型。
函数调用（工具）
Genkit 模型为支持函数调用的模型提供了接口。
myJokeTool := ai.DefineTool(
"myJoke",
"useful when you need a joke to tell",
func(ctx context.Context, input *any) (string, error) {
return "haha Just kidding no joke! got you", nil
},
)
response, err := ai.Generate(ctx, gemini15pro,
ai.WithTextPrompt("Tell me a joke."),
ai.WithTools(myJokeTool))
这将自动调用工具，以执行用户提示。
消息历史记录
Genkit 模型支持维护发送到模型的消息及其回答的历史记录，您可以使用该历史记录来打造互动式体验，例如聊天机器人。
在会话的第一个提示中，“历史记录”只是用户提示：
history := []*ai.Message{{
Content: []*ai.Part{ai.NewTextPart(prompt)},
Role: ai.RoleUser,
}}
response, err := ai.Generate(context.Background(), gemini15pro, ai.WithMessages(history...))
收到回答后，将其添加到历史记录中：
history = append(history, response.Candidates[0].Message)
您可以序列化此历史记录，并将其保留在数据库或会话存储空间中。对于后续的用户提示，请在调用 Generate() 之前将其添加到历史记录中：
history = append(history, &ai.Message{
Content: []*ai.Part{ai.NewTextPart(prompt)},
Role: ai.RoleUser,
})
response, err = ai.Generate(ctx, gemini15pro, ai.WithMessages(history...))
如果您使用的模型支持系统角色，则可以使用初始历史记录来设置系统消息：
history = []*ai.Message{{
Content: []*ai.Part{ai.NewTextPart("Talk like a pirate.")},
Role: ai.RoleSystem,
}}