Cara Memilih hy4: Empat Varian Baris Ringan Hunyuan dan Posisi A13B
Cara Memilih hy4: Empat Varian Baris Ringan Hunyuan dan Posisi A13B
Nama-nama model Hunyuan sangat mudah membuat orang salah pilih: hy3, hy4, hy3-preview, hy4-preview, dan Hunyuan-A13B-Instruct tampak seperti kerabat dekat, padahal sebenarnya berada di tingkat ukuran, generasi, dan kanal rilis yang berbeda. Ditambah lagi ID di sisi platform tidak dipetakan satu-ke-satu dengan nama bobot di HuggingFace, sehingga pemilihan model menjadi dua tahap: pahami penamaan dulu, baru pahami pekerjaannya. Artikel ini membentangkan setiap ukuran Hunyuan sekaligus: posisi masing-masing varian, kuantisasi resmi, ambang memori, dan skenario di mana ia menjadi jawaban yang benar.
Ringkasan 30 detik
Perangkat tepi dan edge mengambil hy4 (4B); ketika memori hanya cukup untuk kelas 2B, gunakan 1.8B atau 0.5B; bila butuh plafon kemampuan lebih tinggi, ambil A13B (MoE); bila butuh bobot 4-bit yang dirawat sumber aslinya, ambil hy4 (GPTQ-Int4 / AWQ-Int4); untuk terjemahan, ambil Hunyuan-MT-7B. Akhiran preview adalah kanal dengan konteks lebih panjang, bukan versi resmi yang lebih rendah.
Lima ukuran berdampingan
| Ukuran | Bentuk bobot | Kegunaan umum | Perkiraan jejak pada 4-bit | Aktivitas komunitas |
|---|---|---|---|---|
| Hunyuan-0.5B-Instruct | 0.5B dense | Klasifikasi, pelabelan, routing | di bawah 1GB | sekitar 2.500 / bulan |
| Hunyuan-1.8B-Instruct | 1.8B dense | Asisten tepi, hulu pipeline | 1–2GB | sekitar 2.000 / bulan |
| Hunyuan-4B-Instruct (hy4) | 4B dense | Baris ringan utama, mengutamakan bahasa Tionghoa | 3–4GB | sekitar 1.000 / bulan |
| Hunyuan-7B-Instruct | 7B dense | Kemampuan umum kelas menengah | 5–6GB | sekitar 5.200 / bulan |
| Hunyuan-A13B-Instruct | MoE | Flagship keluarga ini | 8GB ke atas | sekitar 68.700 / bulan |
Angka jejak memori adalah perkiraan untuk bobot 4-bit; pemakaian nyata menambahkan KV cache dan biaya runtime. Perhitungan rinci ada di penerapan hy4 dengan GGUF.
ID platform dan nama bobot adalah dua lapisan penamaan
Katalog platform memakai ID sisi layanan seperti hy3, hy4, hy3-preview, hy4-preview. Bobot di HuggingFace memakai nama seperti Hunyuan-4B-Instruct dan Hunyuan-4B-Pretrain, dengan repositori turunan -FP8, -GPTQ-Int4, -AWQ-Int4. Pakai nama kedua untuk penerapan lokal dan nama pertama untuk panggilan API. Mencampur dua lapisan ini adalah cara paling sering memunculkan masalah.
hy3 dan hy4: dua baris ringan yang terpisah
hy3 berada di tingkat Hunyuan-7B (7B dense), sedangkan hy4 di tingkat Hunyuan-4B (4B dense). Hubungan keduanya bukan satu model besar dan satu model kecil, melainkan dua baris ringan yang berdiri sendiri:
| Aspek | hy3 | hy4 |
|---|---|---|
| Parameter | 7B dense | 4B dense |
| Memori (4-bit) | 5–6GB | 3–4GB |
| Label konteks di katalog | 256K | saat ini belum diberi label |
| Kuantisasi resmi | FP8 / AWQ-Int4 | FP8 / GPTQ-Int4 / AWQ-Int4 |
| GGUF komunitas | beberapa penerbit | beberapa penerbit, bartowski tertinggi |
Pilih berdasarkan memori yang tersisa di kartu Anda. Kalau kartu 6GB bisa menjalankan hy3 tanpa berebut memori dengan job pelatihan, hy4 memberi plafon kemampuan yang lebih tinggi. Kalau kartunya hanya kelas 4GB atau harus berbagi dengan layanan lain, hy4 adalah pilihan yang realistis.
Setengah parameter tidak berarti setengah kemampuan
Jarak antara 4B dan 7B terlihat jelas pada penalaran panjang, kepatuhan pada instruksi rumit, dan cakupan pengetahuan. Kalau tugasnya ekstraksi terstruktur dengan format keluaran tetap, hy4 sering berkinerja lebih dekat daripada yang disimplieskan selisih ukuran. Untuk menulis panjang atau penalaran bertahap, keuntungan 7B itu nyata.
Apa arti akhiran preview
Platform mencantumkan hy3-preview dan hy4-preview sebagai entri terpisah. Keduanya bukan versi resmi yang dipangkas, melainkan kanal rilis yang berbeda:
| ID | Label konteks di katalog | Cocok untuk |
|---|---|---|
| hy3-preview | 256K | kanal stabil yang butuh konteks panjang |
| hy4-preview | 1,048,576 (1M) | konteks sangat panjang: seluruh repositori, notulen rapat panjang, banyak PDF besar |
Label 1M adalah penanda paling khas hy4-preview. Dua hal perlu diwaspadai:
- Konteks panjang tidak berarti panjang itu berguna. Akurasi retrieval, penjarangan atensi, dan biaya inferensi pada level 1M harus diuji terpisah; jendela besar hanyalah batas atas.
- Label bisa berubah. Panjang konteks dan faktor penagihan mengikuti katalog real-time, sehingga angka dalam artikel ini hanya mencerminkan kondisi saat pengambilan sampel.
Cara membaca ID preview dengan benar
Anggap sebagai "kanal ini mengiklankan konteks yang lebih panjang", bukan "bangun eksperimental yang tidak stabil". Apakah itu membantu bergantung pada apakah pekerjaan Anda benar-benar harus memasukkan materi berukuran megabyte ke dalam satu prompt. Kalau tidak, kanal hy4 resmi biasanya lebih tenang dipakai.
Memilih di antara tiga kuantisasi resmi hy4
hy4 adalah satu-satunya model Hunyuan kelas 4B yang menerbitkan tiga set kuantisasi resmi:
| Kuantisasi | Kehilangan kualitas | Cocok untuk |
|---|---|---|
| FP8 | hampir nol | vLLM / SGLang, tim yang menyeragamkan satu stack |
| GPTQ-Int4 | kecil | ekosistem AutoGPTQ, vLLM |
| AWQ-Int4 | kecil, sadar aktivasi | ekosistem AutoAWQ, vLLM |
GPTQ dan AWQ adalah dua algoritma 4-bit berbeda: GPTQ mengompensasi galat per lapisan, sedangkan AWQ melindungi kanal penting berdasarkan distribusi aktivasi. Pada model yang sama hasilnya sering berbeda, dan makna menerbitkan keduanya adalah Anda bisa mengukur lalu memilih sendiri.
Jalur GGUF komunitas juga lengkap: bartowski, mradermacher, gabriellarson, DevQuasar, dan Disya semuanya punya konversi hy4, dengan versi bartowski paling banyak diunduh (lebih dari 2.000). Pengguna Apple Silicon bisa memakai build 4bit dari mlx-community, atau rilis MNN dari taobao-mnn untuk penerapan tepi.
Jangan melakukan fine-tune dari berkas 4-bit yang sudah dikuantisasi
Fine-tune butuh gradien, sedangkan bobot terkuantisasi membatasi jalur pelatihan. Mulai eksperimen fine-tune dari FP8 atau BF16 resmi, pastikan alurnya berjalan, baru kuantisasi untuk penerapan.
Pembagian kerja antara hy4 dan A13B
Ini pasangan yang paling sering ditanyakan di keluarga Hunyuan.
| Aspek | hy4 | A13B |
|---|---|---|
| Struktur | 4B dense | MoE |
| Ke mana memori terpakai | ke bobot itu sendiri | seluruh bobot total tetap harus masuk memori |
| Biaya inferensi | stabil dan terduga | mengikuti parameter aktif sehingga tetap murah |
| Plafon kemampuan | tingkat hemat biaya untuk pekerjaan ringan berbahasa Tionghoa | flagship, lebih kuat pada tugas rumit |
| Kuantisasi resmi | FP8 / GPTQ-Int4 / AWQ-Int4 | FP8 / GPTQ-Int4 / GGUF resmi |
| Cocok untuk | tepi, tertanam, tugas ringan bervolume tinggi | obrolan umum, penalaran rumit, riset |
Aturannya sederhana: kepadatan nilai per permintaan menentukan tingkat model. Kalau murah itu penting justru karena volumenya sangat besar, efisiensi hy4 menang. Kalau volumenya kecil tapi setiap permintaan penting, kemampuan A13B sepadan dengan biayanya.
Pilih menurut perangkat keras
| Perangkat keras Anda | Ambil | Alasan |
|---|---|---|
| 4GB VRAM, atau hanya CPU | Hunyuan-1.8B-Instruct | hy4 pada 4-bit ditambah KV cache akan sangat sesak |
| 6–8GB VRAM | hy4 (Q4_K_M / Q5_K_M) | zona nyaman untuk 4B pada 4-bit |
| 12GB ke atas | hy4 presisi lebih tinggi atau hy3 | bergantung pada kepadatan nilai tugas |
| 16GB ke atas | A13B (GGUF 4-bit) | bobot total MoE mulai dari 8GB |
| Apple Silicon | hy4 MLX 4bit atau A13B MLX 4bit | memori terpadu membuat keuntungan kuantisasi langsung terasa |
| Inferensi murni CPU | GGUF Q4/Q5 hy4 | 4B adalah batas realistis untuk CPU |
Peta tugas
| Tugas Anda | Ambil |
|---|---|
| Asisten berbahasa Tionghoa, penerapan tepi | hy4 |
| Sangat ringan di tepi, klasifikasi dan pelabelan | Hunyuan-0.5B-Instruct |
| Butuh 4-bit yang dirawat sumber asal | hy4 (GPTQ-Int4 / AWQ-Int4) |
| Plafon kemampuan tertinggi, MoE sumber terbuka | A13B |
| Terjemahan multibahasa | Hunyuan-MT-7B |
| Analisis dokumen, pemulihan tata letak | HunyuanOCR |
| Penalaran rumit, pertanyaan riset | A13B |
| Keluaran terstruktur yang ketat | hy4 (4B cukup patuh pada format) |
Tiga kesalahan yang sering terjadi
- Memakai hy4 untuk pekerjaan milik A13B — menyodorkan model 4B ke tugas penalaran bertingkat lalu menyimpulkan Hunyuan tidak bagus. Itu kesalahan pemilihan model, bukan cacat model.
- Menganggap kanal preview sebagai kanal rapuh — kanal ini entri terpisah dengan label konteks lebih panjang; kemampuannya bergantung pada tugas Anda, bukan pada akhirannya.
- Mengoper nama bobot HuggingFace sebagai API ID — penerapan lokal memakai
Hunyuan-4B-Instruct, panggilan platform memakai ID nyata dari katalog, dan dua lapisan penamaan itu tidak boleh bercampur.
FAQ
Apakah hy4 dan Hunyuan-4B-Instruct sama?
Apa perbedaan hy3-preview dengan hy3?
Untuk hy4 4-bit, pakai GPTQ atau AWQ?
Bisakah kartu 4GB menjalankan hy4?
Apakah hy4 bisa menangani gambar?
Bisakah memanggil Hunyuan lewat API?
Bacaan lanjutan
- Halaman model hy4 — spesifikasi, matriks quantization, dan perhitungan memori
- Catatan kanal hy4-preview — kanal konteks 1M
- Ikhtisar keluarga Tencent Hunyuan — semua lini produk Hunyuan dalam satu artikel
- Penerapan lokal Hunyuan hy4 dan A13B — rincian penerapan dua lini utama
- Penerapan hy4 dengan GGUF — tingkat kuantisasi, perhitungan memori, dan perintah
- Hunyuan A13B MoE — pertimbangan teknis arsitektur MoE
- hy4 dibanding Qwen3.8-Flash — perbandingan langsung di tingkat ringan
- Direktori model — model yang dapat dipanggil di EXAIV saat ini
Sumber data
- Tencent Hunyuan di HuggingFace
- Label konteks dan kanal mengikuti katalog model real-time platform
Angka unduhan adalah penghitung publik 30 hari dari HuggingFace, disampel pada November 2026; spesifikasi dan lisensi mengikuti model card resmi.