Trình bổ trợ Ollama

Trình bổ trợ Ollama cung cấp giao diện cho mọi LLM cục bộ mà Ollama hỗ trợ.

Điều kiện tiên quyết

Trước tiên, trình bổ trợ này yêu cầu bạn cài đặt và chạy máy chủ Ollama. Bạn có thể làm theo hướng dẫn trên trang Tải Ollama xuống.

Sử dụng Ollama CLI để tải các mô hình mà bạn quan tâm xuống. Ví dụ:

ollama pull gemma3

Để phát triển, bạn có thể chạy Ollama trên máy phát triển. Các ứng dụng đã triển khai thường chạy Ollama trên một máy được tăng tốc GPU khác với máy lưu trữ phần phụ trợ của ứng dụng chạy Genkit.

Cấu hình

Để sử dụng trình bổ trợ này, hãy truyền ollama.Ollama đến WithPlugins() trong trình khởi tạo Genkit, chỉ định địa chỉ của máy chủ Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Cách sử dụng

Để tạo nội dung, trước tiên, bạn cần tạo định nghĩa mô hình dựa trên mô hình mà bạn đã cài đặt và muốn sử dụng. Ví dụ: nếu bạn đã cài đặt Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Sau đó, bạn có thể sử dụng tệp tham chiếu mô hình để gửi yêu cầu đến máy chủ Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Hãy xem phần Tạo nội dung để biết thêm thông tin.