Open WebUI dengan Hunyuan tempatan: letakkan hy4 di belakang antara muka mandiri
Menyambung hy4 yang berjalan di tempatan ke Open WebUI: penerapan Docker, mengarah ke endpoint Ollama atau llama.cpp, mengaktifkan model, konfigurasi senarai model pentadbir, akses LAN dan pengesahan, dua gaya konfigurasi, dan jadual penanganan masalah.
Open WebUI dengan Hunyuan tempatan: letakkan hy4 di belakang antara muka mandiri
Open WebUI ialah antara muka sembang mandiri yang paling popular dan mempunyai laluan terpendek ke model tempatan: sokongan Ollama sudah tersedia sejak asal, manakala menyambung llama.cpp hanya memerlukan satu alamat serasi OpenAI. Apabila model tempatan itu hy4, hasilnya ialah rekod perbualan, berat model, dan semua data tetap berada di mesin anda, lengkap dengan antara muka yang terasa menyerupai produk sembang tersedia. Artikel ini memberikan konfigurasi penuh dan jadual penanganan masalah.
Ringkasan 30 saat
Jalankan Open WebUI dalam Docker, tambah sambungan OpenAI dalam Admin Settings, Connections, dengan Base URL menunjuk ke http://host.docker.internal:8080/v1 untuk llama.cpp, atau gunakan sambungan Ollama terbina, kemudian aktifkan hy4-local dalam Models dan mula berbual. Jangan guna 127.0.0.1 di dalam container.
Pilihan satu: gunakan Ollama secara terus (paling ringkas)
Open WebUI mempunyai sambungan Ollama terbina, jadi hanya satu alamat diperlukan:
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Buka http://localhost:3000, daftar akaun pertama (pengguna pertama yang mendaftar automatik menjadi pentadbir), kemudian:
Pastikan Ollama berjalan
Pada hos, jalankanollama listdan pastikanhy4-localmuncul; jika tiada, cipta dahulu denganollama create hy4-local -f Modelfile.Periksa status sambungan
Buka Admin Settings → Connections dan pastikan sambungan Ollama dilaporkan sebagai tersambung.Aktifkan model
Pergi ke Admin Settings → Models, carihy4-local, dan hidupkan suis aktivasi.Mula berbual
Cipta perbualan baharu dan pilihhy4-localdaripada senarai model.
Di dalam container, 127.0.0.1 ialah container itu sendiri
Kegagalan paling kerap ialah mengisi OLLAMA_BASE_URL dengan http://127.0.0.1:11434 dan antara muka melaporkan masih belum tersambung. 127.0.0.1 dalam container menunjuk kepada ruang rangkaian container, bukan hos. Gunakan host.docker.internal; jika versi Docker anda tidak menyelesaikan nama itu, tambahkan --add-host=host.docker.internal:host-gateway semasa menjalankan container.
Pilihan dua: sambung ke perkhidmatan llama.cpp
Jika anda menghidangkan model dengan llama-server, tambahkan sambungan OpenAI dalam Open WebUI:
Pastikan llama-server berjalan
Pada hos jalankan./llama-server -m ./Q4_K_M.gguf --host 0.0.0.0 --port 8080 --ctx-size 32768 --jinja; perhatikan pengikatan pada0.0.0.0dan bukan127.0.0.1, jika tidak container tidak dapat menjangkaunya.Tambah sambungan OpenAI
Admin Settings → Connections → OpenAI, tekan tambah, tetapkan Base URL sebagaihttp://host.docker.internal:8080/v1, dan API Key dengan sebarang nilai placeholder.Tambah model secara manual
Jika senarai model tidak dimuatkan, tambahkan nama model dalam Admin Settings → Models dan kekalkan nama yang sama dengan nama yang dipakai semasa llama-server dimulakan.Sahkan dan aktifkan
Kembali ke senarai model untuk mengaktifkannya, kemudian uji dalam perbualan baharu.
Mengapa menggunakan llama-server dan bukan vLLM untuk Open WebUI
llama-server tidak mengesahkan nama model secara ketat, menggunakan lebih sedikit memori, dan menyala lebih pantas, sesuai untuk antara muka tempatan peribadi atau pasukan kecil. vLLM lebih sesuai untuk perkhidmatan dengan konkurensi tinggi, tetapi ia mengesahkan senarai model secara ketat, jadi nama mesti sepadan sepenuhnya apabila disambung ke antara muka. Kedua-duanya boleh digunakan; pilih mengikut konkurensi.
Pilihan tiga: konfigurasi melalui environment variable
Semasa deploy container, memasukkan nilai melalui environment variable lebih stabil:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="http://host.docker.internal:8080/v1" \
-e OPENAI_API_KEY="ollama" \
-e OLLAMA_BASE_URL="http://host.docker.internal:11434" \
-e WEBUI_AUTH=true \
-v open-webui:/app/backend/data \
--add-host=host.docker.internal:host-gateway \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Sesuaikan nama pembolehubah dengan dokumentasi versi yang anda deploy
Nama environment variable Open WebUI pernah berubah antara keluaran, termasuk perbezaan sejarah antara OPENAI_API_BASE_URL dan OPENAI_API_BASE. Yang ditunjukkan di sini ialah bentuk semasa yang kerap ditemui; sebelum digunakan, bandingkan dengan dokumentasi versi yang anda deploy.
Jadual perbandingan konfigurasi
| Situasi | Sisi pelayan | Konfigurasi sisi Open WebUI | Base URL |
|---|---|---|---|
| Paling ringkas | Ollama | sambungan Ollama terbina | http://host.docker.internal:11434 |
| Parameter boleh ditala | llama.cpp | tambah sambungan OpenAI | http://host.docker.internal:8080/v1 |
| Model cloud | EXAIV cloud | tambah sambungan OpenAI | https://exaiv.com/api/ai/v1 |
| Kedua-duanya | kedua-duanya | tambahkan kedua-dua sambungan | mengikut baris di atas |
Tempatan dan cloud boleh wujud serentak
Open WebUI menyokong berbilang sambungan pada masa yang sama. Dalam senarai model, hy4 tempatan dan model cloud muncul bersebelahan, jadi anda bertukar mengikut kepekaan data bagi setiap tugasan. Cara ini biasanya lebih praktikal daripada semua-tempatan atau semua-cloud.
Akses LAN dan luaran
Pada asalnya Open WebUI hanya mendengar port 8080 di dalam container, dipetakan ke hos melalui -p 3000:8080. Agar peranti lain dalam rangkaian boleh masuk:
docker run -d -p 3000:8080 \
-e WEBUI_AUTH=true \
-e WEBUI_URL=http://192.168.1.10:3000 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Sebelum membuka ke luar rangkaian, lakukan tiga perkara ini
Pertama, hidupkan WEBUI_AUTH dan tetapkan kata laluan yang kukuh untuk semua akaun, kerana akaun Open WebUI pertama tiada kata laluan dan automatik menjadi pentadbir. Kedua, jangan buka port Ollama supaya boleh diakses terus dari rangkaian awam; ia tiada pengesahan, jadi sesiapa boleh menggunakan keupayaan pengiraan anda. Ketiga, jika akses awam benar-benar diperlukan, letakkan lapisan reverse proxy di hadapan untuk TLS dan kawalan akses.
Jadual penanganan masalah
| Gejala | Punca | Penanganan |
|---|---|---|
| Sambungan Ollama tampil belum tersambung | menggunakan 127.0.0.1 dalam container | tukar kepada host.docker.internal dan tambahkan pemetaan host-gateway |
| Senarai model kosong | perkhidmatan belum berjalan atau laluan salah | periksa port hos dengan curl, kemudian tambah nama model secara manual dalam antara muka |
| Hasil pelik | templat perbualan tidak sepadan | betulkan TEMPLATE atau --jinja mengikut model card |
| Jawapan makin perlahan | model berjalan pada CPU | pastikan GPU benar-benar digunakan, atau gunakan quantization yang lebih kecil |
| Pembukaan pertama sangat perlahan | model dimuatkan ke dalam memori | perkara normal |
| Antara muka berputar tanpa henti | konteks terlalu besar sehingga kehabisan memori | turunkan num_ctx atau tukar kepada quantization yang lebih kecil |
| Perbualan bercampur antara pengguna | konfigurasi storan sesi dikongsi salah | periksa pemasangan volume dan tetapan hak pengguna |
FAQ
Adakah konfigurasi model tempatan dan model cloud dalam Open WebUI berbeza?
Mengapa senarai model kosong?
Mengapa dalam container tidak boleh menggunakan 127.0.0.1?
Bolehkah Open WebUI digunakan dengan model cloud juga?
Bolehkah Hunyuan dipanggil melalui API EXAIV?
Bacaan lanjutan
- Integrasi hy4 dengan Ollama — menghubungkan Hunyuan tempatan ke Dify, Cursor, dan alat lain
- Integrasi Open WebUI — konfigurasi sambungan model cloud (laluan yang berbeza daripada artikel ini)
- Pemasangan hy4 dengan GGUF — menyediakan quantization dan memori sebelum menghidangkan
- Integrasi Dify — cara menyambung platform aplikasi mandiri yang lain
- RAG dengan hy4 — memberi model tempatan sebuah pangkalan pengetahuan
- Gambaran keseluruhan keluarga Tencent Hunyuan — gambaran keseluruhan keluarga Hunyuan
Sumber data
Nama environment variable dan butir konfigurasi mengikut dokumentasi versi yang anda deploy; artikel ini mencerminkan keadaan pada masa persampelan.