Plug-in Ollama

Il plug-in Ollama fornisce interfacce a qualsiasi LLM locale supportato da Ollama.

Prerequisiti

Questo plug-in richiede prima di installare ed eseguire il server Ollama. Puoi seguire le istruzioni riportate nella pagina Scaricare Ollama.

Utilizza l'interfaccia a riga di comando Ollama per scaricare i modelli che ti interessano. Ad esempio:

ollama pull gemma3

Per lo sviluppo, puoi eseguire Ollama sulla tua macchina di sviluppo. Le app di cui è stato eseguito il deployment solitamente eseguono Ollama su una macchina accelerata da GPU diversa da quella che ospita il backend dell'app che esegue Genkit.

Configurazione

Per utilizzare questo plug-in, passa ollama.Ollama a WithPlugins() nell'inizializzatore Genkit, specificando l'indirizzo del tuo server Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Utilizzo

Per generare contenuti, devi prima creare una definizione del modello in base al modello che hai installato e che vuoi utilizzare. Ad esempio, se hai installato Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Poi, puoi utilizzare il riferimento del modello per inviare richieste al server Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Per ulteriori informazioni, consulta la sezione Generare contenuti.