Trọng số mở Kimi K2.5 và K2.6: hướng dẫn triển khai tại chỗ

Kimi K3 và Moonshot là hai gia đình mô hình mở của Trung Quốc đi theo hai hướng khác nhau rõ rệt: một bên nhấn mạnh the cloud catalog, bên kia nhấn mạnh local weights. Bài này so sánh cấu trúc gia đình, quantization chính thức, hệ sinh thái cộng đồng và đường triển khai thực tế; mọi con số đều được kiểm chứng qua HuggingFace API và config chính thức

Bảng so sánh

Khác biệt dễ thấy nhất nằm ở định dạng trọng số: hy4 của Hunyuan là model 4B cấp Trung Quốc duy nhất được nguồn phát hành đồng thời FP8, GPTQ-Int4 và AWQ-Int4, trong khi hầu hết các gia đình khác chỉ có FP8 rồi giao phần 4-bit cho cộng đồng chuyển đổi. Có cả GPTQ lẫn AWQ nghĩa là bạn có thể đo trên stack của mình rồi chọn

Khoảng cách về mức độ dùng thực tế trong cộng đồng cũng là chỉ báo rõ ràng: 751,953 downloads for Kimi-K3 and 393,277 for K2.5 Các con số là lượt tải 30 ngày từ HuggingFace, phản ánh quy mô cộng đồng và khả năng tìm được file GGUF khớp với phần cứng, không phải thước đo chất lượng mô hình, nhưng trong production nó ảnh hưởng trực tiếp tới thời gian xử lý sự cố

Về triển khai: hy4 dùng FP8 hoặc GPTQ-Int4 chính thức với vLLM, hoặc GGUF Q4_K_M 2.61GB từ cộng đồng với llama.cpp và Ollama trên card 6GB hay thậm chí CPU. A13B là MoE 80,39 tỷ tham số nên cần nhiều card hoặc CPU offload, và có GGUF chính thức Q4_K_M 48,8GB

Verified facts versus claims that need measurement

Câu hỏi đáng giá không phải ai mạnh hơn mà là công việc của bạn cần gì: cần công cụ, tài liệu và lựa chọn có sẵn thì đi theo Kimi K3; cần kiểm soát trọng số, quantization và giữ dữ liệu trong máy thì đi theo Moonshot. Nhiều hệ thống dùng cả hai và phân luồng theo loại tác vụ

Chọn theo tình huống

Xử lý lỗi thường gặp

Triệu chứng đầu tiên là 401 Unauthorized, hầu hết do key hết hạn, đặt sai header hoặc thiếu tiền tố Bearer; hãy lấy lại giá trị từ console và thử lại bằng một yêu cầu ngắn trước khi nghi ngờ model. Tiếp theo là 404 hoặc thông báo không tìm thấy model, nghĩa là ID gửi đi không có trong danh mục tại thời điểm đó; hãy mở trang /models lấy tên thật rồi sửa trường model. Mã 429 là giới hạn tốc độ, cần thêm exponential backoff và tách yêu cầu có thể lặp lại khỏi yêu cầu không thể lặp

Với streaming, hãy nhớ kết quả trả về là từng mảnh chứ không phải văn bản hoàn chỉnh; phía client phải nối các mảnh lại và xử lý trường hợp chunk cuối không có content. Với tool calling, dùng đúng định dạng OpenAI; nếu công cụ không được gọi, nguyên nhân thường là mô tả hàm chưa rõ hoặc system prompt chưa cho phép dùng công cụ, không phải giới hạn của model

Chi phí, hạn mức và lưu ý

Cuộc gọi được tính theo số token đầu vào và đầu ra, không phải theo số request, nên việc đưa cả tài liệu dài vào mỗi lần sẽ đẩy chi phí tăng rất nhanh. Cách nên làm là cắt hoặc tóm tắt phần không liên quan trước khi gửi, và chỉ bật streaming ở nơi người dùng cần thấy kết quả ngay. Giá và gói credit hiện hành luôn xem tại trang /pricing vì con số trong bất kỳ bài viết nào cũng có thể lỗi thời

Nên cache kết quả cho các câu hỏi lặp lại, đồng thời lưu log gồm ID model, số token và thời gian phản hồi làm bộ dữ liệu đối soát về sau. Khi đổi model từ kimi-k3 sang glm-5.3-flash hoặc ngược lại, hãy chạy lại cùng bộ kiểm thử vì hành vi gọi công cụ và độ dài câu trả lời khác nhau, dù định dạng yêu cầu hoàn toàn giống hệt

FAQ

Đọc tiếp

• Hướng dẫn API Kimi K3 — first API call
• Hướng dẫn ngữ cảnh dài Kimi K3 — 1M context practice
• Triển khai trọng số mở Kimi K3 — local weights
• Tích hợp công cụ Kimi K3 — editor and platform setup
• hy4 và Kimi — lightweight versus flagship

Nguồn dữ liệu

• moonshotai on HuggingFace
• Kimi-K3 config on HuggingFace

Số liệu tham số và kích thước file từ HuggingFace API và config chính thức, lấy mẫu tháng 11 năm 2026