Complemento Ollama

El complemento Ollama proporciona interfaces para cualquiera de los LLM locales compatibles con Ollama:

Requisitos previos

Este complemento requiere que primero instales y ejecutes el servidor de Ollama. Puedes seguir las instrucciones que se indican en la página para descargar Ollama. .

Usa la CLI de Ollama para descargar los modelos que te interesan. Por ejemplo:

ollama pull gemma3

Para el desarrollo, puedes ejecutar Ollama en tu máquina de desarrollo. Las apps implementadas por lo general ejecutan Ollama en una máquina acelerada por GPU que es diferente de la que aloja el backend de la app que ejecuta Genkit.

Configuración

Para usar este complemento, pasa ollama.Ollama a WithPlugins() en el inicializador de Genkit y especifica la dirección de tu servidor de Ollama:

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

Uso

Para generar contenido, primero debes crear una definición de modelo basada en el modelo que instalaste y quieres usar. Por ejemplo, si instalaste Gemma 2:

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

Luego, puedes usar la referencia del modelo para enviar solicitudes al servidor de Ollama:

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

Consulta Generación de contenido para obtener más información.