hy4 GGUF: ระดับ quantization การคำนวณหน่วยความจำ และคำสั่ง llama.cpp / Ollama

hy4 เป็นโมเดลที่ deploy เองได้ง่ายที่สุดในครอบครัว Hunyuan: โมเดล dense 4 พันล้านพารามิเตอร์ ทางการมี FP8, GPTQ-Int4 และ AWQ-Int4 พร้อมกัน และชุมชนยังมีผู้แปลง GGUF หลายคน สิ่งที่ซับซ้อนจริง ๆ ไม่ใช่ตัวโมเดล แต่เป็น สามการตัดสินใจที่คุณต้องเลือกเอง: ชั้น quantization ไหน จัดหน่วยความจำเท่าไร และรันบน framework ใด บทความนี้เรียงตามลำดับ ตัดสินใจ วัด ลงมือ และแก้ปัญหา พร้อมคำสั่งที่คัดลอกได้ทั้งหมด

ขั้นที่หนึ่ง: เลือกชั้น quantization

ขนาดน้ำหนักดั้งเดิมมาจากพารามิเตอร์ใน model card: Hunyuan-4B-Instruct มีพารามิเตอร์ 4.22 พันล้าน ซึ่งในรูป BF16 มีขนาดประมาณ 8.4GB

ผู้เผยแพร่ GGUF ของ hy4 ในชุมชน:

เมื่อดาวน์โหลดให้ดูป้าย quantization ในชื่อไฟล์ (Q4_K_M, Q5_K_M, Q8_0) และคลังต้นทางให้ดี อย่ามองว่าไฟล์ชื่อเดียวกันจากคนละคลังคือของเดียวกัน

ขั้นที่สอง: คำนวณหน่วยความจำ อย่าคิดแค่น้ำหนัก

หน่วยความจำทั้งหมดคือสามส่วนรวมกัน:

หน่วยความจำรวม ≈ น้ำหนัก + KV cache + ค่าใช้จ่ายระหว่างรัน

น้ำหนัก: พารามิเตอร์ 4.22 พันล้านคูณจำนวนไบต์ต่อพารามิเตอร์ Q4_K_M ประมาณ 0.65 ไบต์ต่อพารามิเตอร์, Q8_0 ประมาณ 1.06 และ FP16 คือ 2

KV cache: โตตามความยาวบริบท โดยการตั้งค่าอย่างเป็นทางการของ hy4 คือ 36 ชั้น, KV head 8 ตัว และ head dimension 128 ซึ่งใน BF16 ใช้ประมาณ 144KB ต่อ token:

KV cache ≈ 2 × 36 ชั้น × 8 KV head × 128 head dim × ความยาวบริบท × 2 ไบต์
         ≈ 144KB × ความยาวบริบท

เทียบกัน: บริบท 4K ใช้ประมาณ 0.56GB และบริบท 32K ใช้ประมาณ 4.6GB ความยาวตำแหน่งสูงสุดอย่างเป็นทางการของ hy4 คือ 262144 (256K) แต่การเปิดเต็มหน้าต่างหมายความว่า KV cache ต้องกินหลายสิบ GB ดังนั้น บริบทที่ใช้ได้จริงต้องคำนวณย้อนจากหน่วยความจำ ไม่ใช่คัดลอกเลขบนป้าย

ขั้นที่สาม: รันด้วย llama.cpp

# 1. ดาวน์โหลด GGUF จากชุมชน (ตัวอย่างคลัง bartowski; ปรับชื่อไฟล์ตามรายการจริงในคลัง)
huggingface-cli download bartowski/tencent_Hunyuan-4B-Instruct-GGUF \
  Q4_K_M.gguf --local-dir ./hunyuan4b

# 2. สนทนาตรง ๆ เพื่อตรวจว่าน้ำหนักโหลดได้จริง
./llama-cli -m ./hunyuan4b/Q4_K_M.gguf -p "อธิบาย MoE สามประโยค" -n 256

# 3. เปิดบริการที่เข้ากันได้กับ OpenAI
./llama-server -m ./hunyuan4b/Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  --ctx-size 32768 \
  --jinja

เมื่อบริการทำงานแล้ว โค้ด client เดิมเปลี่ยนเพียงสองพารามิเตอร์:

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8080/v1",
    api_key="not-needed",
)
resp = client.chat.completions.create(
    model="local-model",
    messages=[{"role": "user", "content": "สวัสดี แนะนำตัวเองหน่อย"}],
)
print(resp.choices[0].message.content)

ขั้นที่สี่: รันด้วย Ollama เพื่อความเข้ากันได้กับเครื่องมือ

คุณค่าของ Ollama คือมันมีการจัดการโมเดลและระบบนิเวศของ API มาให้พร้อม ทำให้ Open WebUI, Dify และ Cursor เข้าใจมันทันที

# 1. สร้างโมเดลจาก GGUF ในเครื่องด้วย Modelfile
cat > Modelfile <<'EOF'
FROM ./hunyuan4b/Q4_K_M.gguf
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""
PARAMETER num_ctx 8192
PARAMETER temperature 0.7
EOF

ollama create hy4-local -f Modelfile

# 2. ตรวจสอบ
ollama run hy4-local "เขียนฟังก์ชัน Python วิเคราะห์เวลาแบบ ISO 8601"

# 3. ดูและลบ
ollama list
ollama show hy4-local
ollama rm hy4-local

ขั้นที่ห้า: เส้นทางบน Mac และอุปกรณ์ปลายทาง

# ตรวจสอบอย่างรวดเร็วด้วย MLX
pip install mlx-lm
python -m mlx_lm.generate --model mlx-community/Hunyuan-4B-Instruct-4bit \
  --prompt "อธิบายฐานข้อมูลเวกเตอร์ในหนึ่งประโยค" --max-tokens 128

ตารางแก้ปัญหา: ดูอาการหาสาเหตุ

FAQ

อ่านต่อ

• หน้าโมเดล hy4 — สเปก เมทริกซ์ quantization และการคำนวณหน่วยความจำ
• คำอธิบายช่องทาง hy4-preview — ช่องทางบริบท 1M
• ภาพรวมครอบครัว Tencent Hunyuan — ทุกผลิตภัณฑ์ของ Hunyuan ในที่เดียว
• คู่มือเลือกโมเดล hy4 — ขนาดต่าง ๆ และที่ของ A13B
• การเชื่อมต่อ hy4 กับ Ollama — นำ endpoint ในเครื่องเข้ากับเครื่องมือพัฒนา
• Open WebUI กับ Hunyuan ในเครื่อง — ส่วนติดต่อสนทนาแบบ self-hosted
• คู่มือการคำนวณหน่วยความจำ VRAM — การคำนวณหน่วยความจำทั่วไป
• สมุดปฏิบัติการ deploy ในเครื่อง — จากตรวจสอบฮาร์ดแวร์จนถึงการต่อเครื่องมือ

แหล่งข้อมูล

• Tencent Hunyuan-4B-Instruct
• bartowski/tencent_Hunyuan-4B-Instruct-GGUF

รายการชั้น quantization และคลังจะเปลี่ยนไปตามการอัปเดตของชุมชน บทความนี้สะท้อนสถานะ ณ เวลาเก็บตัวอย่าง ตัวเลขหน่วยความจำเป็นค่าประมาณตามประสบการณ์ และผลการวัดบนเครื่องของคุณต่างหากที่สำคัญที่สุด