LangChain + EXAIV: đổi nhà cung cấp mô hình chỉ với một dòng (Python/JS)
Trỏ ChatOpenAI của LangChain đến endpoint tương thích OpenAI của EXAIV: ví dụ đầy đủ Python và TypeScript, streaming, tool calling và các lỗi thường gặp
LangChain + EXAIV: đổi nhà cung cấp mô hình chỉ với một dòng (Python/JS)
ChatOpenAI của LangChain hỗ trợ base_url tùy chỉnh ngay từ đầu — trỏ về endpoint tương thích OpenAI của EXAIV và toàn bộ chain, agent, RAG pipeline của bạn sẽ chạy trên kho mô hình EXAIV, phần code còn lại giữ nguyên
Python
@PYCODE@
Cài đặt: pip install langchain-openai
JavaScript / TypeScript
@JSCODE@
Cài đặt: npm install @langchain/openai
Streaming
Tầng streaming của LangChain hoạt động không đổi với base_url tùy chỉnh — event được truyền theo protocol tương thích OpenAI
@STREAMCODE@
Agent và tool calling
Các wrapper cấp cao như create_agent / create_react_agent chỉ cần đúng instance llm này. Tool calling dùng protocol function calling chuẩn OpenAI, được endpoint EXAIV chuyển tiếp đầy đủ
@ SWT@
Đổi mô hình trong LangChain = đổi chuỗi tham số model. Mô hình khả dụng là danh sách của endpoint (xem trang mô hình) ví dụ deepseek-v4-flash, glm-5.3, claude-opus-4-8-fd — tất cả dùng chung một key
Lỗi thường gặp
| Hiện tượng | Kiểm tra trước |
|---|---|
| 401 | AuthenticationError: key dán thiếu hoặc nhầm dùng key OpenAI chính thức |
| 404 | NotFoundError: base_url thiếu /v1; chuẩn của EXAIV là https://exaiv.com/api/ai/v1 |
| Timeout | Các lượt agent phức tạp mất thời gian dài, hãy tăng timeout phía client |
Nâng cao: RAG và agents
RAG: pipeline retriever → llm không cần cấu hình thêm — base_url áp dụng cho toàn bộ chuỗi. Đổi retriever sang vector store của bạn (FAISS/Milvus…); EXAIV lo phần sinh văn bản.
Structured output: .with_structured_output(mẫu Pydantic) hoạt động trên endpoint theo semantic OpenAI — lý tưởng để trích trường từ văn bản phi cấu trúc.
Đa mô hình cộng tác: khởi tạo hai ChatOpenAI trong cùng agent — một nhanh để lập kế hoạch, một flagship để thực thi — mỗi bên tính riêng. Đây là cách phổ biến để kiểm soát chi phí agent.
Khả quan sát: LangSmith và công cụ tracing dùng callback chuẩn, không xung đột với base_url tùy chỉnh, giúp tìm bước nào tiêu token quá mức.
Lưu ý về dữ liệu và vận hành
Nội dung gửi đến mô hình được tính credits theo mức dùng thực — hãy bắt đầu với khối lượng nhỏ để ước tính chi phí trước khi mở rộng, và theo dõi định kỳ trong console. Với dữ liệu nhạy cảm, hãy xem điều khoản xử lý dữ liệu của nhà cung cấp trước khi đưa vào production. Chính sách quyền riêng tư có thêm chi tiết.
Các thiết lập nên kiểm tra định kỳ: phiên bản SDK/library mới có thể thay đổi hành vi kết nối; và khi đổi mô hình, hãy chạy lại bộ test cũ để xác nhận chất lượng đầu ra trước khi cập nhật production.