Cara Memilih hy4: Empat Varian Baris Ringan Hunyuan dan Kedudukan A13B
Cara Memilih hy4: Empat Varian Baris Ringan Hunyuan dan Kedudukan A13B
Nama-nama model Hunyuan sangat mudah menyebabkan tersalah pilih: hy3, hy4, hy3-preview, hy4-preview dan Hunyuan-A13B-Instruct kelihatan seperti saudara dekat, sedangkan hakikatnya ia berada pada tahap saiz, generasi dan saluran keluaran yang berbeza. ditambah pula ID di sisi platform tidak dipetakan satu kepada satu dengan nama berat pada HuggingFace, jadi pemilihan model menjadi dua peringkat: fahami penamaan dahulu, baru fahami kerja yang perlu dijalankan. Artikel ini membentangkan setiap saiz Hunyuan sekali gus: kedudukan setiap varian, kuantisasi rasmi, ambang memori dan peta senario supaya anda memilih dengan tepat.
Ringkasan 30 saat
Peranti tepi dan edge ambil hy4 (4B); apabila memori hanya cukup untuk peringkat 2B, gunakan 1.8B atau 0.5B; jika anda perlukan siling keupayaan lebih tinggi, ambil A13B (MoE); jika anda perlukan berat 4-bit yang diselenggara oleh sumber asal, ambil hy4 (GPTQ-Int4 / AWQ-Int4); untuk terjemahan, ambil Hunyuan-MT-7B. Akhiran preview ialah saluran dengan konteks lebih panjang, bukan versi rasmi yang lebih rendah.
Lima saiz bersebelahan
| Saiz | Bentuk berat | Kegunaan biasa | Jejak kira-kira pada 4-bit | Aktiviti komuniti |
|---|---|---|---|---|
| Hunyuan-0.5B-Instruct | 0.5B dense | Klasifikasi, pelabelan, penghalaan | bawah 1GB | kira-kira 2,500 / bulan |
| Hunyuan-1.8B-Instruct | 1.8B dense | Pembantu tepi, hujung paip | 1–2GB | kira-kira 2,000 / bulan |
| Hunyuan-4B-Instruct (hy4) | 4B dense | Baris ringan utama, mengutamakan bahasa Cina | 3–4GB | kira-kira 1,000 / bulan |
| Hunyuan-7B-Instruct | 7B dense | Keupayaan umum bersaiz sederhana | 5–6GB | kira-kira 5,200 / bulan |
| Hunyuan-A13B-Instruct | MoE | Flagship keluarga ini | 8GB ke atas | kira-kira 68,700 / bulan |
Jejak memori ialah anggaran bagi berat 4-bit; penggunaan sebenar menambah KV cache dan kos masa larian. Pengiraan terperinci ada dalam pemasangan hy4 dengan GGUF.
ID platform dan nama berat ialah dua lapisan penamaan
Katalog platform menggunakan ID sisi perkhidmatan seperti hy3, hy4, hy3-preview, hy4-preview. Berat pada HuggingFace pula memakai nama seperti Hunyuan-4B-Instruct dan Hunyuan-4B-Pretrain, bersama repositori -FP8, -GPTQ-Int4, -AWQ-Int4. Gunakan nama kedua untuk pemasangan setempat dan nama pertama untuk panggilan API. Mencampurkan dua lapisan inilah punca paling kerap berlaku.
hy3 dan hy4: dua baris ringan yang berasingan
hy3 berada pada tahap Hunyuan-7B (7B dense) manakala hy4 pada tahap Hunyuan-4B (4B dense). Hubungan antara keduanya bukan satu model besar dan satu model kecil, tetapi dua baris ringan yang berdiri sendiri:
| Aspek | hy3 | hy4 |
|---|---|---|
| Parameter | 7B dense | 4B dense |
| Memori (4-bit) | 5–6GB | 3–4GB |
| Label konteks dalam katalog | 256K | buat masa ini tiada label |
| Kuantisasi rasmi | FP8 / AWQ-Int4 | FP8 / GPTQ-Int4 / AWQ-Int4 |
| GGUF komuniti | beberapa penerbit | beberapa penerbit, bartowski tertinggi |
Pilih berdasarkan memori yang masih tersisa pada kad anda. Kalau kad 6GB dapat menjalankan hy3 tanpa berebut memori dengan kerja latihan, hy4 memberi siling keupayaan yang lebih tinggi. Kalau kad anda hanya peringkat 4GB atau perlu berkongsi dengan perkhidmatan lain, hy4 adalah pilihan yang lebih realistik.
Separuh parameter bukan separuh keupayaan
Jurang antara 4B dan 7B akan kelihatan pada penaakulan panjang, pematuhan arahan yang rumit dan liputan pengetahuan. Kalau tugasnya ialah ekstraksi berstruktur dengan format output yang tetap, hy4 lazimnya ber-performing hampir dengan apa yang disimplieskan oleh perbezaan saiz. Untuk penulisan panjang atau penaakulan berperingkat, kelebihan 7B itu benar-benar terasa.
Maksud akhiran preview
Platform menyenaraikan hy3-preview dan hy4-preview sebagai entri berasingan. Keduanya bukan versi rasmi yang dipangkas, tetapi saluran keluaran yang berbeza:
| ID | Label konteks mengikut katalog | Sesuai untuk |
|---|---|---|
| hy3-preview | 256K | saluran stabil yang memerlukan konteks panjang |
| hy4-preview | 1,048,576 (1M) | konteks amat panjang: keseluruhan repositori, minit mesyuarat panjang, pukalan PDF besar |
Label 1M ialah tanda paling mudah dikenal pada hy4-preview. Dua perkara perlu diwaspadai:
- Konteks panjang tidak bermakna panjang itu berguna. Ketepatan pengambilan semula, pencairan perhatian dan kos inferen pada paras 1M perlu diukur berasingan; tingkap besar hanyalah siling.
- Label boleh berubah. Panjang konteks dan faktor harga mengikut katalog masa nyata, jadi angka dalam artikel ini hanya menggambarkan keadaan semasa sampel diambil.
Cara membaca ID preview dengan betul
Anggap ia sebagai "saluran ini mengiklankan konteks yang lebih panjang", bukan "bina eksperimental yang tidak stabil". Adakah ia membantu bergantung pada sama ada kerja anda benar-benar perlu memuatkan bahan bersaiz megabait ke dalam satu prompt. Jika tidak, saluran hy4 rasmi biasanya lebih tenang.
Memilih antara tiga kuantisasi rasmi hy4
hy4 ialah satu-satunya model Hunyuan peringkat 4B yang menerbitkan tiga format kuantisasi serentak:
| Kuantisasi | Kehilangan kualiti | Sesuai untuk |
|---|---|---|
| FP8 | hampir tiada | vLLM / SGLang, pasukan yang menyeragamkan satu stack |
| GPTQ-Int4 | kecil | ekosistem AutoGPTQ, vLLM |
| AWQ-Int4 | kecil, sedar pengaktifan | ekosistem AutoAWQ, vLLM |
GPTQ dan AWQ ialah dua algoritma 4-bit yang berbeza: GPTQ mengimbangi ralat setiap lapisan manakala AWQ melindungi saluran penting berdasarkan taburan pengaktifan. Pada model yang sama hasilnya lazimnya berbeza, dan maksud menerbitkan kedua-duanya ialah anda boleh mengukur kemudian memilih sendiri.
Laluan GGUF komuniti juga lengkap: bartowski, mradermacher, gabriellarson, DevQuasar dan Disya semuanya menyediakan penukaran hy4, dengan versi bartowski mencatat muat turun tertinggi (lebih 2,000). Pengguna Apple Silicon juga boleh menggunakan fail 4bit daripada mlx-community, atau keluaran MNN daripada taobao-mnn untuk pemasangan tepi.
Jangan melakukan fine-tuning daripada fail 4-bit yang telah dikuantisasi
Fine-tuning memerlukan gradien, manakala berat yang dikuantisasi mengehadkan laluan latihan. Mulakan eksperimen fine-tuning daripada FP8 atau BF16 rasmi, pastikan aliran berjalan, baru kuantisasi untuk penggunaan.
Pembahagian kerja antara hy4 dan A13B
Ini pasangan yang paling kerap ditanya dalam keluarga Hunyuan.
| Aspek | hy4 | A13B |
|---|---|---|
| Struktur | 4B dense | MoE |
| Ke mana memori wentah | kepada berat itu sendiri | jumlah berat keseluruhan masih mesti muat dalam memori |
| Kos inferen | stabil dan boleh diramal | mengikut parameter aktif jadi kekal rendah |
| Siling keupayaan | peringkat jimat untuk kerja ringan berbahasa Cina | flagship, lebih kuat untuk tugas rumit |
| Kuantisasi rasmi | FP8 / GPTQ-Int4 / AWQ-Int4 | FP8 / GPTQ-Int4 / GGUF rasmi |
| Sesuai untuk | tepi, terbenam, tugas ringan bervolum tinggi | perbualan umum, penaakulan rumit, penyelidikan |
Peraturannya mudah: kepadatan nilai bagi setiap permintaan menentukan peringkat model. Kalau yang murah itu penting kerana jumlahnya amat besar, ekonomi hy4 akan menang. Kalau jumlahnya kecil tetapi setiap permintaan penting, keupayaan A13B berbaloi dengan harganya.
Pilih mengikut perkakasan
| Perkakasan anda | Ambil | Sebab |
|---|---|---|
| 4GB VRAM, atau CPU sahaja | Hunyuan-1.8B-Instruct | hy4 pada 4-bit bersama KV cache akan sangat sempit |
| 6–8GB VRAM | hy4 (Q4_K_M / Q5_K_M) | zon selesa untuk 4B pada 4-bit |
| 12GB ke atas | hy4 ketepatan lebih tinggi atau hy3 | bergantung pada kepadatan nilai tugas |
| 16GB ke atas | A13B (GGUF 4-bit) | jumlah berat MoE bermula sekitar 8GB |
| Apple Silicon | hy4 MLX 4bit atau A13B MLX 4bit | memori bersepadu menjadikan kelebihan kuantisasi langsung |
| Inferens CPU sahaja | GGUF Q4/Q5 hy4 | 4B ialah siling realistik untuk CPU |
Peta tugas
| Tugas anda | Ambil |
|---|---|
| Pembantu berbahasa Cina, pemasangan tepi | hy4 |
| Sangat ringan di tepi, klasifikasi dan pelabelan | Hunyuan-0.5B-Instruct |
| Memerlukan 4-bit yang diselenggara oleh sumber asal | hy4 (GPTQ-Int4 / AWQ-Int4) |
| Siling keupayaan tertinggi, MoE sumber terbuka | A13B |
| Terjemahan berbilang bahasa | Hunyuan-MT-7B |
| Analisis dokumen, pemulihan susun atur | HunyuanOCR |
| Penaakulan rumit, soalan penyelidikan | A13B |
| Output berstruktur yang ketat | hy4 (4B patuh format dengan baik) |
Tiga kesilapan yang kerap berlaku
- Menggunakan hy4 untuk kerja kepunyaan A13B — mengarahkan model 4B ke tugas penaakulan berperingkat, kemudian menyimpulkan Hunyuan tidak baik. Itu kesilapan pemilihan model, bukan kecacatan model.
- Menganggap saluran preview sebagai tidak stabil — ia entri berasingan dengan label konteks lebih panjang; keupayaannya bergantung pada tugas anda, bukan pada akhirannya.
- Menghantar nama berat HuggingFace sebagai API ID — pemasangan setempat menggunakan
Hunyuan-4B-Instruct, panggilan platform menggunakan ID sebenar daripada katalog, dan dua lapisan penamaan itu tidak boleh bercampur.
FAQ
Adakah hy4 dan Hunyuan-4B-Instruct sama?
Apakah beza antara hy3-preview dan hy3?
Untuk hy4 pada 4-bit, guna GPTQ atau AWQ?
Bolehkah kad 4GB menjalankan hy4?
Adakah hy4 boleh mengendalikan imej?
Bolehkah memanggil Hunyuan melalui API?
Bacaan lanjutan
- Halaman model hy4 — spesifikasi, matriks quantization dan pengiraan memori
- Nota saluran hy4-preview — saluran konteks 1M
- Gambaran keseluruhan keluarga Tencent Hunyuan — semua baris produk Hunyuan dalam satu artikel
- Pemasangan setempat Hunyuan hy4 dan A13B — butiran pemasangan dua baris utama
- Pemasangan hy4 dengan GGUF — peringkat kuantisasi, pengiraan memori dan arahan
- Hunyuan A13B MoE — pertimbangan teknikal seni bina MoE
- hy4 berbanding Qwen3.8-Flash — perbandingan terus di peringkat ringan
- Direktori model — model yang boleh dipanggil di EXAIV sekarang
Sumber data
- Tencent Hunyuan di HuggingFace
- Label konteks dan saluran mengikut katalog model masa nyata platform
Angka muat turun ialah kaunter awam 30 hari HuggingFace dan diambil pada November 2026; spesifikasi dan lesen mengikut model card rasmi terkini.