Menjalankan Hunyuan hy4 dan A13B secara lokal

Hunyuan dan hy4 adalah dua keluarga model terbuka Tiongkok yang menempuh jalur berbeda: satu menekankan the lightweight line, yang lain menekankan the MoE flagship. Artikel ini membandingkan struktur keluarga, kuantisasi resmi, ekosistem komunitas, dan jalur penerapan nyata; semua angka diverifikasi lewat HuggingFace API dan konfigurasi resmi

The two product lines

Hal yang paling sering tertukar adalah nama organisasi di HuggingFace: mencari Tencent-Hunyuan hanya akan menemukan HunyuanDiT v1.1 dan v1.2 beserta ControlNet untuk Pose, Depth, dan Canny, seluruhnya model pembuat gambar tanpa satu pun model teks. Sementara itu teks, OCR, 3D, video, dan gambar generasi baru semuanya berada di organisasi tencent. Kekeliruan ini biasanya berujung pada mengunduh unggahan ulang pihak ketiga yang sumbernya tidak jelas dan tingkat kuantisasinya tidak terkendali

Spesifikasi hy4 dari config resmi: 4.221.757.440 parameter, arsitektur HunYuanDenseV1ForCausalLM, 36 lapisan, hidden 3072, 32 attention head / 8 KV head, panjang posisi maksimum 262144, dan kosakata 120.818. Berkas BF16 asli sekitar 8,4GB, sedangkan GGUF Q4_K_M dari bartowski terukur 2,61GB, artinya seluruh model muat di kartu 6GB bahkan setelah menyisakan KV cache

The MoE flagship

A13B memakai arsitektur HunYuanMoEV1ForCausalLM dengan 64 ahli, 32 lapisan, hidden 4096, panjang posisi maksimum 32768, dan kosakata 128.167. GGUF resmi untuk lini ini masih langka di antara model terbuka Tiongkok: Q4_0 45,39GB, Q4_K_M 48,78GB, dan Q8_0 terbagi dua berkas 47,46GB serta 37,99GB. Satu kartu konsumen jelas tidak mencukupi

Tabel perbandingan

Perbedaan paling nyata ada pada format bobot: hy4 dari Hunyuan adalah satu-satunya model 4B kelas Tiongkok yang sumbernya merilis FP8, GPTQ-Int4, dan AWQ-Int4 sekaligus, sementara kebanyakan keluarga lain hanya memberi FP8 lalu menyerahkan 4-bit ke komunitas. Memiliki GPTQ sekaligus AWQ berarti Anda bisa mengukur di stack sendiri lalu memilih

Untuk penerapan: hy4 memakai FP8 atau GPTQ-Int4 resmi bersama vLLM, atau GGUF Q4_K_M 2,61GB dari komunitas bersama llama.cpp dan Ollama pada kartu 6GB bahkan CPU. A13B adalah MoE 80,39 miliar parameter sehingga membutuhkan banyak kartu atau CPU offload, dan memiliki GGUF resmi Q4_K_M 48,8GB

Deployment commands

./llama-server -m ./hunyuan4b/Q4_K_M.gguf --host 127.0.0.1 --port 8080 --ctx-size 32768 --jinja
ollama create hy4-local -f Modelfile
ollama run hy4-local "Explain MoE in three sentences"
vllm serve tencent/Hunyuan-A13B-Instruct-FP8 --tensor-parallel-size 4

Verify a community GGUF before trusting it

Sebelum mempercayai berkas GGUF komunitas, periksa empat hal: apakah penerbit mencantumkan sumber konversi, apakah unduhannya cukup banyak, apakah label Q4_K_M atau Q5_K_M sesuai kebutuhan, dan apakah jawaban singkat terbaca saat dimuat dengan llama-cli. Jika keluar karakter aneh, curigai templat percakapan lebih dulu, bukan bobot yang rusak, serta catat nama berkas dan tanggal konversi sebagai garis dasar

Ekosistem dan angka nyata

Jarak adopsi nyata di komunitas juga menjadi indikator yang jelas: 615,000 downloads for HunyuanOCR and 68,700 for A13B versus 982 for hy4 Angka-angka ini adalah unduhan 30 hari dari HuggingFace yang mencerminkan besarnya komunitas dan peluang menemukan berkas GGUF yang cocok dengan perangkat keras, bukan ukuran kualitas model, namun di produksi ia berdampak langsung pada waktu penyelesaian masalah

Pilih berdasarkan skenario

Kesimpulan

Pertanyaan yang lebih bernilai bukan siapa yang lebih kuat melainkan apa yang dibutuhkan pekerjaan Anda: butuh alat, dokumentasi, dan pilihan siap pakai maka ikuti Hunyuan; butuh kendali atas bobot, kuantisasi, dan data tetap di mesin sendiri maka ikuti hy4. Banyak sistem memakai keduanya dengan membagi alur berdasarkan jenis tugas

Daftar periksa sebelum produksi

Tiga hal yang paling sering terlewat saat berpindah dari uji coba ke pemakaian harian.

Pertama, simpan versi berkas GGUF beserta tanggal konversinya. Komunitas terus merilis perbaikan konversi, dan tanpa catatan itu Anda tidak akan bisa kembali ke versi yang sudah terbukti stabil ketika rilis baru ternyata menurunkan kualitas. Catat juga nama penerbit, karena dua berkas dengan nama Q4_K_M dari penerbit berbeda bukanlah barang yang sama.

Kedua, ukur pemakaian memori pada beban nyata, bukan hanya dari rumus. Angka hasil perhitungan adalah perkiraan; pada beban sesungguhnya memori sering naik karena buffer tambahan, antrean batch, dan konteks yang lebih panjang dari dugaan. Jalankan tiga kali dengan prompt yang sama, ambil nilai tengah, dan simpan angka puncak dari nvidia-smi sebagai patokan.

Ketiga, siapkan jalur cadangan. Untuk layanan internal, sediakan model ringan lain yang bisa mengambil alih saat hy4 sedang sibuk atau sedang dimuat ulang. Lapisan routing sederhana ini biasanya jauh lebih murah daripada memaksa satu model menanggung seluruh lalu lintas, dan sekaligus memberi ruang untuk menguji kuantisasi baru tanpa menghentikan layanan.

Selain tiga hal itu, biasakan memeriksa templat percakapan setiap kali mengganti versi model. Templat yang tidak cocok tetap menghasilkan token yang terlihat lancar tetapi jawabannya melenceng, dan gejalanya sering salah didiagnosis sebagai bobot yang rusak. Menyimpan templat bersama berkas GGUF di satu folder yang sama membuat proses ini jauh lebih mudah diaudit.

Catatan istilah dan satuan

Beberapa istilah dalam panduan ini sering tertukar, jadi ada baiknya disamakan sejak awal. Parameter total adalah seluruh bobot yang harus dimuat ke memori, sedangkan parameter aktif adalah bagian yang ikut menghitung setiap token; pada model MoE keduanya bisa berbeda satu orde besaran. KV cache adalah memori tambahan yang tumbuh linear mengikuti panjang konteks, bukan mengikuti jumlah parameter. Quantization adalah proses menurunkan presisi bobot agar berkas lebih kecil, bukan proses memperkecil jumlah parameter.

Satuan yang dipakai: GB di sini adalah ukuran berkas hasil pengukuran pada repositori, sehingga angkanya bisa sedikit berbeza dari hasil perkalian parameter dengan byte per parameter karena ada metadata dan sebagian lapisan yang tetap disimpan pada presisi lebih tinggi. Token adalah satuan teks yang diproses model, dan satu token bahasa Inggris rata-rata sekitar empat karakter, sementara satu karakter Cina biasanya mendekati satu token. Semua angka unduhan yang disebut adalah penghitung publik 30 hari dari HuggingFace, bukan jumlah pengguna aktif.

Terakhir, bedakan nama berat di HuggingFace dengan ID model di katalog platform. Nama berat dipakai saat mengunduh dan memuat model secara lokal; ID katalog dipakai saat memanggil API. Keduanya adalah dua sistem penamaan yang berbeda, dan mencampurnya adalah sumber kesalahan yang paling sering muncul saat pertama kali menghubungkan model lokal ke aplikasi yang sudah ada.

Catatan tambahan: simpan juga konfigurasi batch dan panjang konteks yang dipakai saat pengukuran, karena keduanya menggerakkan jejak memori lebih jauh daripada pertukaran tingkat kuantisasi mana pun. Dengan begitu setiap perubahan di kemudian hari punya angka pembanding yang adil.

FAQ

Bacaan lanjutan

• Ikhtisar keluarga Tencent Hunyuan — Semua lini produk dalam satu tempat
• Panduan pemilihan model hy4 — Pembagian kerja antar versi
• Penerapan hy4 dengan GGUF — Tingkat kuantisasi dan perintah
• Halaman model hy4 — Spesifikasi dan matriks kuantisasi
• hy4-preview — 1M context channel

Sumber data

• Tencent Hunyuan on HuggingFace
• Tencent-Hunyuan on HuggingFace

Angka parameter dan ukuran berkas dari HuggingFace API serta konfigurasi resmi, disampel November 2026