การเชื่อมต่อ hy4 กับ Ollama: นำ Hunyuan ในเครื่องเข้ากับ Dify, Cursor และ client ที่เข้ากันได้กับ OpenAI ทุกตัว

การรัน hy4 ให้ทำงานได้เป็นเพียงครึ่งหนึ่งของปัญหา เพราะสิ่งที่กระทบประสบการณ์รายวันคือคำถามว่าเครื่องมือของคุณเรียกมันได้หรือไม่ คุณค่าของ Ollama อยู่ที่มันมีการจัดการโมเดลและ endpoint ที่เข้ากันได้กับ OpenAI มาให้พร้อม ทำให้ Dify, Cursor, Open WebUI และปลั๊กอินตัวแก้ไขเข้าใจมันทันทีโดยไม่ต้องเขียนโค้ดแปล บทความนี้จะไปทีละขั้น: จากการนำเข้า GGUF ในเครื่อง ไปสู่การให้บริการ การตั้งค่า client และการแก้ปัญหา

ขั้นตอนที่หนึ่ง: เตรียมน้ำหนัก GGUF

mkdir -p ~/models && cd ~/models
huggingface-cli download bartowski/tencent_Hunyuan-4B-Instruct-GGUF \
  Q4_K_M.gguf --local-dir .
ls -lh

ขั้นตอนที่สอง: สร้างโมเดลใน Ollama

cat > ~/models/Modelfile <<'EOF'
FROM ./Q4_K_M.gguf

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

PARAMETER num_ctx 8192
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER stop "<|im_end|>"
EOF

cd ~/models && ollama create hy4-local -f Modelfile
ollama list

ขั้นตอนที่สาม: ให้บริการและตรวจสอบ

# รันแบบ foreground แล้วเปิดอีก terminal สำหรับคำสั่งตรวจสอบ
ollama serve

# ตรวจสอบ API ดั้งเดิมจากอีก terminal
curl http://127.0.0.1:11434/api/chat -d '{
  "model": "hy4-local",
  "messages": [{"role": "user", "content": "อธิบายฐานข้อมูลเวกเตอร์ในหนึ่งประโยค"}],
  "stream": false
}'

ตรวจสอบ surface ที่เข้ากันได้กับ OpenAI:

# รายการโมเดล
curl http://127.0.0.1:11434/v1/models

# สนทนา
curl http://127.0.0.1:11434/v1/chat/completions -H 'Content-Type: application/json' -d '{
  "model": "hy4-local",
  "messages": [{"role": "user", "content": "เขียนฟังก์ชัน Python วิเคราะห์เวลาแบบ ISO 8601"}]
}'

ขั้นตอนที่สี่: เชื่อมต่อ client ที่เข้ากันได้กับ OpenAI

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:11434/v1",
    api_key="ollama",           # ค่า placeholder เพราะ Ollama ไม่ตรวจสอบ
)
resp = client.chat.completions.create(
    model="hy4-local",
    messages=[{"role": "user", "content": "สวัสดี"}],
)
print(resp.choices[0].message.content)

ขั้นตอนที่ห้า: เชื่อมต่อเครื่องมือเฉพาะ

Dify
ใน Settings, Model Providers, OpenAI-API-compatible ให้ใส่ API Base URL http://127.0.0.1:11434/v1, API Key ollama และชื่อโมเดล hy4-local โปรดทราบว่าเมื่อ Dify ทำงานใน Docker แล้ว 127.0.0.1 จะชี้ไปที่ตัว container เอง ดังนั้นต้องใช้ IP หรือชื่อ service ของเครื่องโฮสต์
Cursor
เปิดส่วน Models ในการตั้งค่า Cursor เพิ่มโมเดลผ่านผู้ให้บริการ OpenAI ตั้ง Base URL เป็นที่อยู่ในเครื่อง และใช้ hy4-local เป็นชื่อโมเดล การรองรับ local endpoint ของ Cursor เปลี่ยนตามเวอร์ชัน และการพิมพ์ชื่อโมเดลเองยังทำงานเมื่อการค้นพบอัตโนมัติล้มเหลว
Open WebUI
ใน Admin Settings, Connections, OpenAI ให้ใส่ที่อยู่เดียวกัน จากนั้นเปิดใช้ hy4-local ในส่วน Models โปรดทราบว่า Open WebUI ที่ทำงานใน container ต้องเรียกเครื่องโฮสต์ผ่าน host.docker.internal แทน 127.0.0.1
ปลั๊กอินตัวแก้ไขเช่น Continue และ Cline
ในการตั้งค่าโมเดลของปลั๊กอิน ให้เลือกผู้ให้บริการ OpenAI และใส่ base URL กับชื่อโมเดลในเครื่อง ปลั๊กอินเหล่านี้ส่วนใหญ่มีตัวเลือก local models หรือ custom provider ซึ่งให้ผลที่สะอาดกว่าการแก้การตั้งค่าทั่วทั้งระบบ

ขั้นตอนที่หก: ในเครื่องกับคลาวด์ทำงานร่วมกัน

หลายทีมใช้ hy4 ในเครื่องและโมเดลบนคลาวด์พร้อมกัน วิธีทำคือการตั้งค่า endpoint ต่างกันให้แต่ละเครื่องมือ หรือการ routing ภายใน client:

import os

def pick_client(task: str):
    if task in {"classify", "rewrite", "summarize"}:
        return OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="ollama")
    return OpenAI(base_url="https://exaiv.com/api/ai/v1", api_key=os.environ["EXAIV_KEY"])

ตารางแก้ปัญหา

FAQ

อ่านต่อ

• hy4 GGUF local deployment — ระดับ quantization การคำนวณหน่วยความจำ และคำสั่ง llama.cpp
• Open WebUI กับ Hunyuan ในเครื่อง — การตั้งค่าส่วนติดต่อแชทแบบ self-hosted
• RAG กับ hy4 — การต่อ endpoint ในเครื่องเข้ากับฐานความรู้
• Dify integration — การต่อโมเดลคลาวด์เข้ากับ Dify
• Open WebUI integration — การต่อโมเดลคลาวด์เข้ากับส่วนติดต่อแบบ self-hosted
• คู่มือเลือกโมเดล hy4 — ขนาดต่าง ๆ และที่ของ A13B

แหล่งข้อมูล

• Tencent Hunyuan-4B-Instruct
• bartowski/tencent_Hunyuan-4B-Instruct-GGUF

รายการคลังและระดับ quantization จะเปลี่ยนตามการอัปเดตของชุมชน บทความนี้สะท้อนสถานะ ณ เวลาเก็บตัวอย่าง