Wtyczka Ollama

Wtyczka Ollama udostępnia interfejsy do wszystkich lokalnych LLM obsługiwanych przez Ollama.

Wymagania wstępne

Aby użyć tej wtyczki, musisz najpierw zainstalować i uruchomić serwer Ollama. Możesz postępować zgodnie z instrukcjami na stronie Pobieranie Ollama.

Pobierz interesujące Cię modele, korzystając z interfejsu wiersza poleceń Ollama. Przykład:

ollama pull gemma3

Podczas tworzenia możesz uruchomić Ollama na komputerze deweloperskim. Wdrożone aplikacje są zwykle uruchamiane przez Ollama na maszynie z akceleracją GPU, która jest inna niż ta, na której działa backend aplikacji z Genkit.

Konfiguracja

Aby użyć tego wtyczki, w inicjalizacji Genkit podaj parametr ollama.Ollama jako WithPlugins(), podając adres serwera Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Wykorzystanie

Aby wygenerować treści, musisz najpierw utworzyć definicję modelu na podstawie zainstalowanego modelu, którego chcesz użyć. Jeśli na przykład zainstalujesz Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Następnie możesz użyć odwołania do modelu, aby wysyłać żądania do serwera Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Więcej informacji znajdziesz w artykule Tworzenie treści.