Trọng số mở Mistral: từ Mistral 7B đến stack local

This guide covers Trọng số mở Mistral: từ Mistral 7B đến stack local with verified repository facts, local deployment notes and the boundary between open weights and EXAIV cloud IDs.

Sự thật đã kiểm chứng

แหล่ง HuggingFace ยืนยันว่ามี weight หรือ model card แต่ไม่ได้ยืนยันว่า EXAIV ให้บริการโมเดลนั้น ยอดดาวน์โหลดเป็นสัญญาณชุมชน 30 วัน ไม่ใช่คะแนนคุณภาพ ใบอนุญาตต้องอ่านแยกตามคลัง และฟิลด์ใน config ยืนยันโครงสร้างไม่ใช่ความสามารถทุกอย่างหรือรูปแบบคำขอทั้งหมด

Triển khai thực tế

Choose a runtime that matches the format, measure memory on your own hardware, and keep the model ID, file name, licence, token counts and latency in a run log. Community GGUF files need a named publisher, a stated conversion source and a clear quantization label. The local deployment angle here is intentional: none of these repositories should be called an EXAIV cloud model unless the live catalog lists the ID.

Ranh giới sử dụng

The safest wording is local open weights, official model card, and measured behaviour on your machine. Availability and prices follow /models and /pricing. A licence tag such as apache-2.0, gemma, llama3.3 or other is a starting point for review, not legal advice.

Tình huống

Practical pre-flight checklist

Check the repository source, exact file format, chat template, memory peak, licence, and the request format before publishing or deploying. Do not copy a benchmark or price from a stale article. Run a fixed evaluation set after every change to quantization, adapter, runtime or routing. Keep a rollback file and record the exact model ID.

FAQ

Đọc tiếp

• Claude family overview — callable IDs
• GPT family overview — ID families
• Open overseas weights — local weights
• Mistral vs Llama vs Gemma — selection
• pricing — live credit packs

Nguồn dữ liệu

• HuggingFace model API
• EXAIV live model catalog

Parameter, download and licence data sampled in November 2026 and subject to change.

Checklist triển khai tại chỗ

Mọi con số về The Complete Local Deployment Playbook: Seven Steps from Hardware Check to Workflow Integration trong trang này đều được đối chiếu trực tiếp với HuggingFace API và config.json gốc của kho tương ứng, lấy mẫu tháng 11 năm 2026. Không bịa điểm benchmark, giá hay tên kho; bất cứ điều gì config không chứng minh được đều được ghi là cần đo thực tế.

Thông số đã kiểm chứng

Reference table

Reference table

Con số xác nhận được gì

Việc tách sự thật khỏi khẳng định đặc biệt quan trọng với cách nói đa phương thức. vision_config và image_placeholder trong config chính thức chỉ xác nhận kiến trúc conditional generation có khả năng nhận ảnh, không tự động chứng minh tạo video, một định dạng yêu cầu cụ thể hay điểm benchmark nào. Tag image-text-to-text của HuggingFace mô tả hướng dữ liệu vào. Hãy luôn lấy model card chính thức làm nguồn cuối cùng.

Configuration and troubleshooting

Lập kế hoạch bộ nhớ cho MoE nghìn tỷ tham số luôn theo cùng một quy tắc: điện toán tính theo tham số kích hoạt, còn bộ nhớ tính theo tổng tham số. Mô hình 1T dù ở 4-bit vẫn cần khoảng 500GB chỉ cho trọng số, và bản 2.78T còn lớn hơn, nên đây là tải cho server nhiều GPU chứ không phải một card tiêu dùng. Với một card hãy nhìn các dòng nhẹ. Đường đi tại chỗ là vLLM hoặc SGLang với trọng số chính thức, và cần kiểm tra nguồn cùng nhãn quantization của file cộng đồng trước khi dùng.

Ranh giới sử dụng

Trên EXAIV, danh mục /models thời gian thực là chuẩn: hiện chỉ kimi-k3 gọi được, qua endpoint tương thích OpenAI tại https://exaiv.com/api/ai/v1. Tích hợp chỉ đổi base_url, api_key và model; streaming cùng tool calling giữ nguyên định dạng OpenAI chuẩn. Giá luôn theo trang /pricing trực tiếp và không bị ghi cứng ở đây. Hãy lưu log gồm ID model, số token và độ trễ để việc đổi model sau này có cùng đường cơ sở so sánh.

Xử lý lỗi thường gặp

Triệu chứng đầu tiên là 401 Unauthorized, hầu hết do key hết hạn, đặt sai header hoặc thiếu tiền tố Bearer; hãy lấy lại giá trị từ console và thử lại bằng một yêu cầu ngắn trước khi nghi ngờ model. Tiếp theo là 404 hoặc thông báo không tìm thấy model, nghĩa là ID gửi đi không có trong danh mục tại thời điểm đó; hãy mở trang /models lấy tên thật rồi sửa trường model. Mã 429 là giới hạn tốc độ, cần thêm exponential backoff và tách yêu cầu có thể lặp lại khỏi yêu cầu không thể lặp

Với streaming, hãy nhớ kết quả trả về là từng mảnh chứ không phải văn bản hoàn chỉnh; phía client phải nối các mảnh lại và xử lý trường hợp chunk cuối không có content. Với tool calling, dùng đúng định dạng OpenAI; nếu công cụ không được gọi, nguyên nhân thường là mô tả hàm chưa rõ hoặc system prompt chưa cho phép dùng công cụ, không phải giới hạn của model

Chi phí, hạn mức và lưu ý

Cuộc gọi được tính theo số token đầu vào và đầu ra, không phải theo số request, nên việc đưa cả tài liệu dài vào mỗi lần sẽ đẩy chi phí tăng rất nhanh. Cách nên làm là cắt hoặc tóm tắt phần không liên quan trước khi gửi, và chỉ bật streaming ở nơi người dùng cần thấy kết quả ngay. Giá và gói credit hiện hành luôn xem tại trang /pricing vì con số trong bất kỳ bài viết nào cũng có thể lỗi thời

Nên cache kết quả cho các câu hỏi lặp lại, đồng thời lưu log gồm ID model, số token và thời gian phản hồi làm bộ dữ liệu đối soát về sau. Khi đổi model từ kimi-k3 sang glm-5.3-flash hoặc ngược lại, hãy chạy lại cùng bộ kiểm thử vì hành vi gọi công cụ và độ dài câu trả lời khác nhau, dù định dạng yêu cầu hoàn toàn giống hệt

Thuật ngữ và danh mục kiểm tra trước khi đưa vào dùng

Tổng tham số, tham số kích hoạt và KV cache là ba đại lượng khác nhau. Tổng tham số là toàn bộ trọng số phải nạp vào bộ nhớ; tham số kích hoạt là phần tham gia tính một token. KV cache là bộ nhớ tạm tăng tuyến tính theo độ dài ngữ cảnh, nên cửa sổ 1M là trần chứ không phải mặc định miễn phí. Quantization giảm độ chính xác của trọng số lưu trữ để nhỏ file đi, không làm giảm số tham số. vision_config trong config.json mô tả kiến trúc, không phải định dạng yêu cầu bạn có thể tự bịa ra.

Trước khi đưa bất cứ thứ gì dựng trên ghi chú này lên production, hãy chạy sáu kiểm tra. Đọc lại số liệu từ nguồn trực tiếp vào ngày đăng vì bộ đếm lượt tải thay đổi hằng tuần. Mở danh mục /models trực tiếp và xác nhận ID định gọi vẫn còn. Mở /pricing thay vì chép giá vào ứng dụng. Đừng bao giờ ghi cứng một request body chưa đối chiếu với tài liệu tham khảo chính thức. Ghi lại ID model, số token vào ra và độ trễ trên một bộ prompt đại diện rồi giữ nguyên bộ đó để lần đổi model sau có số đọc so sánh được. Đọc giấy phép trên model card trước khi dùng thương mại vì điều khoản riêng của nhà cung cấp không phải mặc định thoáng. Thêm exponential backoff cho request có thể thử lại, đặt timeout và ghi log theo lớp lỗi để 401, 404 và 429 không bao giờ bị xử lý giống nhau. Cũng cần đường luân chuyển khóa: đừng đưa key vào repository, và phải có phương án rollback khi chuyển sang hệ quản lý key. Nếu model nạp được mà ra chữ lộn xộn, hãy nghi ngờ chat template trước khi nghi ngờ trọng số; lưu template cạnh trọng số để kiểm tra cùng nhau. Thói quen này tốn vài phút nhưng chặn được nhóm báo lỗi nhầm phổ biến nhất.

FAQ

Đọc tiếp

• Kimi K3 API guide — first API call
• GLM family overview — callable catalog
• hy4 model selection guide — sizing and selection
• Claude Code third-party models — support boundary
• pricing — live credit packs

Nguồn dữ liệu

• EXAIV live model catalog

Dữ liệu tham số và file lấy mẫu tháng 11 năm 2026, có thể thay đổi theo thời gian.