ปลั๊กอิน Ollama

ปลั๊กอิน Ollama มีอินเทอร์เฟซสำหรับ LLM ในพื้นที่ที่ Ollama รองรับ

ข้อกำหนดเบื้องต้น

ปลั๊กอินนี้กำหนดให้คุณต้องติดตั้งและเรียกใช้เซิร์ฟเวอร์ Ollama ก่อน คุณสามารถทำตามวิธีการในหน้าดาวน์โหลด Ollama

ใช้ Ollama CLI เพื่อดาวน์โหลดโมเดลที่คุณสนใจ เช่น

ollama pull gemma3

สําหรับการพัฒนา คุณสามารถเรียกใช้ Ollama ในเครื่องสำหรับพัฒนาได้ แอปที่ติดตั้งใช้งานมักจะเรียกใช้ Ollama บนเครื่องที่เร่งด้วย GPU ซึ่งแตกต่างจากเครื่องที่โฮสต์แบ็กเอนด์ของแอปที่ใช้ Genkit

การกำหนดค่า

หากต้องการใช้ปลั๊กอินนี้ ให้ส่ง ollama.Ollama ไปยัง WithPlugins() ใน Genkit initializer โดยระบุที่อยู่ของเซิร์ฟเวอร์ Ollama

import "github.com/firebase/genkit/go/plugins/ollama"

g, err := genkit.Init(context.Background(), genkit.WithPlugins(&ollama.Ollama{ServerAddress: "http://127.0.0.1:11434"}))

การใช้งาน

หากต้องการสร้างเนื้อหา ก่อนอื่นคุณต้องสร้างคําจํากัดความของโมเดลตามโมเดลที่ติดตั้งและต้องการนําไปใช้ เช่น หากคุณติดตั้ง Gemma 2 ให้ทำดังนี้

model := ollama.DefineModel(
    ollama.ModelDefinition{
        Name: "gemma3",
        Type: "chat", // "chat" or "generate"
    },
    &ai.ModelInfo{
        Multiturn:  true,
        SystemRole: true,
        Tools:      false,
        Media:      false,
    },
)

จากนั้น คุณสามารถใช้ข้อมูลอ้างอิงรูปแบบเพื่อส่งคําขอไปยังเซิร์ฟเวอร์ Ollama ได้โดยทำดังนี้

resp, err := genkit.Generate(ctx, g, ai.WithModel(model), ai.WithPrompt("Tell me a joke."))
if err != nil {
    return err
}

log.Println(resp.Text())

ดูข้อมูลเพิ่มเติมได้ที่การสร้างเนื้อหา