Menjalankan Hunyuan hy4 dan A13B secara tempatan

Hunyuan dan hy4 ialah dua keluarga model terbuka China yang melalui laluan berbeza: satu menekankan the lightweight line, satu lagi menekankan the MoE flagship. Artikel ini membandingkan struktur keluarga, quantization rasmi, ekosistem komuniti dan laluan penggunaan sebenar; semua angka disahkan melalui HuggingFace API dan konfigurasi rasmi

The two product lines

Perkara yang paling kerap tertukar ialah nama organisasi di HuggingFace: mencari Tencent-Hunyuan hanya menjumpai HunyuanDiT v1.1 dan v1.2 bersama ControlNet untuk Pose, Depth dan Canny, kesemuanya model penjanaan imej tanpa satu pun model teks. Manakala teks, OCR, 3D, video dan imej generasi baharu semuanya berada di bawah organisasi tencent. Kekeliruan ini biasanya berakhir dengan memuat turun muat naik semula pihak ketiga yang tidak jelas sumbernya dan tidak dapat dikawal tahap quantization

Spesifikasi hy4 daripada config rasmi: 4,221,757,440 parameter, seni bina HunYuanDenseV1ForCausalLM, 36 lapisan, hidden 3072, 32 kepala attention / 8 KV head, panjang kedudukan maksimum 262144, dan kosa kata 120,818. Fail BF16 asal kira-kira 8.4GB, manakala GGUF Q4_K_M daripada bartowski berukuran 2.61GB, ertinya keseluruhan model muat dalam kad 6GB walaupun selepas meninggalkan ruang untuk KV cache

The MoE flagship

A13B menggunakan seni bina HunYuanMoEV1ForCausalLM dengan 64 pakar, 32 lapisan, hidden 4096, panjang kedudukan maksimum 32768, dan kosa kata 128,167. GGUF rasmi bagi baris ini masih jarang dalam kalangan model terbuka China: Q4_0 45.39GB, Q4_K_M 48.78GB, dan Q8_0 terbahagi dua fail 47.46GB serta 37.99GB. Satu kad pengguna jelas tidak memadai

Jadual perbandingan

Perbezaan paling ketara terletak pada format berat: hy4 daripada Hunyuan ialah satu-satunya model 4B kelas China yang sumbernya mengeluarkan FP8, GPTQ-Int4 dan AWQ-Int4 serentak, manakala kebanyakan keluarga lain hanya memberi FP8 lalu menyerahkan kerja 4-bit kepada komuniti. Mempunyai kedua-dua GPTQ dan AWQ bermakna anda boleh mengukur pada stack sendiri kemudian memilih

Untuk pemasangan: hy4 menggunakan FP8 atau GPTQ-Int4 rasmi bersama vLLM, atau GGUF Q4_K_M 2.61GB daripada komuniti bersama llama.cpp dan Ollama pada kad 6GB malah CPU. A13B ialah MoE 80.39 bilion parameter justeru memerlukan berbilang kad atau CPU offload, dan mempunyai GGUF rasmi Q4_K_M 48.8GB

Deployment commands

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

Sebelum mempercayai fail GGUF komuniti, semak empat perkara: adakah penerbit menyatakan sumber penukaran, adakah muat turunnya cukup banyak, adakah label Q4_K_M atau Q5_K_M sepadan dengan keperluan, dan adakah jawapan pendek boleh dibaca apabila dimuat dengan llama-cli. Jika keluarnya aksara pelik, syaki templat perbualan terlebih dahulu bukan berat yang rosak, serta catat nama fail dan tarikh penukaransebagai garis asas

Ekosistem dan angka sebenar

Jarak penerimaan sebenar dalam komuniti juga menjadi penunjuk jelas: 615,000 downloads for HunyuanOCR and 68,700 for A13B versus 982 for hy4 Angka-angka ini ialah muat turun 30 hari daripada HuggingFace yang menggambarkan saiz komuniti dan peluang mencari fail GGUF yang sepadan dengan perkakasan, bukan ukuran kualiti model, namun dalam produksi ia memberi kesan langsung kepada masa menyelesaikan masalah

Pilih mengikut senario

Kesimpulan

Soalan yang lebih bernilai bukan siapa lebih kuat tetapi apa yang kerja anda perlukan: perlukan alatan, dokumentasi dan pilihan sedia ada maka ikut Hunyuan; perlukan kawalan ke atas berat, quantization dan data kekal dalam mesin maka ikut hy4. Banyak sistem menggunakan kedua-duanya dengan membahagikan aliran mengikut jenis tugas

Senarai semak sebelum produksi

Tiga perkara yang paling kerap terlepas ketika berpindah daripada ujian kepada penggunaan harian.

Pertama, simpan versi fail GGUF bersama tarikh penukarannya. Komuniti terus mengeluarkan pembaikan penukaran, dan tanpa catatan itu anda tidak boleh kembali kepada versi yang sudah terbukti stabil apabila keluaran baharu ternyata menurunkan kualiti. Catat juga nama penerbit, kerana dua fail bernama Q4_K_M daripada penerbit berbeza bukanlah barangan yang sama.

Kedua, ukur penggunaan memori pada beban sebenar, bukan sekadar daripada formula. Angka hasil pengiraan hanyalah anggaran; pada beban sebenar memori sering naik kerana penimbal tambahan, baris gilir kelompok, dan konteks yang lebih panjang daripada jangkaan. Jalankan tiga kali dengan prompt yang sama, ambil nilai tengah, dan simpan angka puncak daripada nvidia-smi sebagai penanda aras.

Ketiga, sediakan laluan sandaran. Untuk perkhidmatan dalaman, sediakan model ringan lain yang boleh mengambil alih apabila hy4 sibuk atau sedang dimuatkan semula. Lapisan penghalaan ringkas ini biasanya jauh lebih murah daripada memaksa satu model menanggung semua trafik, dan pada masa yang sama memberi ruang untuk menguji quantization baharu tanpa menghentikan perkhidmatan.

Selain tiga perkara itu, biasakan menyemak templat perbualan setiap kali menukar versi model. Templat yang tidak sepadan tetap menghasilkan token yang kelihatan lancar tetapi jawabannya menyimpang, dan gejalanya sering disalah diagnosis sebagai berat yang rosak. Menyimpan templat bersama fail GGUF dalam satu folder yang sama menjadikan proses ini jauh lebih mudah diaudit.

Nota istilah dan unit

Beberapa istilah dalam panduan ini sering tertukar, jadi elok diselaraskan sejak awal. Parameter jumlah ialah keseluruhan berat yang mesti dimuatkan ke memori, manakala parameter aktif ialah bahagian yang turut mengira setiap token; pada model MoE kedua-duanya boleh berbeza satu tertib magnitud. KV cache ialah memori tambahan yang tumbuh secara linear mengikut panjang konteks, bukan mengikut bilangan parameter. Quantization ialah proses menurunkan ketepatan berat supaya fail lebih kecil, bukan proses mengecilkan bilangan parameter.

Unit yang digunakan: GB di sini ialah saiz fail hasil pengukuran pada repositori, jadi angkanya boleh sedikit berbeza daripada hasil darab parameter dengan byte per parameter kerana ada metadata dan sebahagian lapisan yang kekal disimpan pada ketepatan lebih tinggi. Token ialah unit teks yang diproses model, dan satu token bahasa Inggeris secara purata kira-kira empat aksara, manakala satu aksara Cina biasanya menghampiri satu token. Semua angka muat turun yang disebut ialah pembilang awam 30 hari daripada HuggingFace, bukan bilangan pengguna aktif.

Akhir sekali, bezakan nama berat di HuggingFace dengan ID model dalam katalog platform. Nama berat digunakan ketika memuat turun dan memuatkan model secara tempatan; ID katalog digunakan ketika memanggil API. Kedua-duanya ialah dua sistem penamaan yang berbeza, dan mencampurkannya ialah punca kesilapan yang paling kerap muncul apabila kali pertama menyambungkan model tempatan kepada aplikasi sedia ada.

FAQ

Bacaan lanjutan

• Gambaran keseluruhan keluarga Tencent Hunyuan — Semua baris produk di satu tempat
• Panduan pemilihan model hy4 — Pembahagian kerja antara versi
• Pemasangan hy4 dengan GGUF — Peringkat quantization dan arahan
• Halaman model hy4 — Spesifikasi dan matriks quantization
• hy4-preview — 1M context channel

Sumber data

• Tencent Hunyuan on HuggingFace
• Tencent-Hunyuan on HuggingFace

Angka parameter dan saiz fail daripada HuggingFace API serta konfigurasi rasmi, disampel November 2026