Open WebUI dengan Hunyuan lokal: letakkan hy4 di belakang antarmuka mandiri
Menghubungkan hy4 yang berjalan secara lokal ke Open WebUI: penerapan Docker, mengarah ke endpoint Ollama atau llama.cpp, mengaktifkan model, konfigurasi daftar model admin, akses LAN dan autentikasi, dua gaya konfigurasi, dan tabel penanganan masalah.
Open WebUI dengan Hunyuan lokal: letakkan hy4 di belakang antarmuka mandiri
Open WebUI adalah antarmuka obrolan mandiri yang paling populer dan memiliki jalur terpendek ke model lokal: dukungan Ollama sudah menjadi bawaan, sementara menghubungkan llama.cpp hanya butuh satu alamat kompatibel OpenAI. Ketika model lokalnya hy4, hasilnya adalah riwayat obrolan, bobot model, dan semua data tetap ada di mesin Anda, lengkap dengan antarmuka yang terasa mirip produk obrolan tersaji. Artikel ini memberikan konfigurasi lengkap dan tabel penanganan masalah.
Ringkasan 30 detik
Jalankan Open WebUI di Docker, tambahkan koneksi OpenAI di Admin Settings, Connections, dengan Base URL menunjuk ke http://host.docker.internal:8080/v1 untuk llama.cpp, atau gunakan koneksi Ollama bawaan, lalu aktifkan hy4-local di Models dan mulai mengobrol. Jangan memakai 127.0.0.1 di dalam container.
Opsi satu: pakai Ollama langsung (paling ringkas)
Open WebUI punya koneksi Ollama bawaan, cukup satu alamat:
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Buka http://localhost:3000, daftarkan akun pertama (pengguna pertama yang mendaftar otomatis menjadi administrator), lalu:
Pastikan Ollama berjalan
Di host, jalankanollama listdan pastikanhy4-localmuncul; bila belum ada, buat dulu denganollama create hy4-local -f Modelfile.Periksa status koneksi
Buka Admin Settings → Connections dan pastikan koneksi Ollama dilaporkan sebagai tersambung.Aktifkan model
Buka Admin Settings → Models, carihy4-local, dan nyalakan sakelar aktivasi.Mulai mengobrol
Buat obrolan baru dan pilihhy4-localdari daftar model.
Di dalam container, 127.0.0.1 adalah container itu sendiri
Kegagalan paling sering adalah mengisi OLLAMA_BASE_URL dengan http://127.0.0.1:11434 lalu antarmuka melaporkan belum tersambung. 127.0.0.1 di container menunjuk ke ruang jaringan container, bukan host. Gunakan host.docker.internal; bila versi Docker Anda tidak mengurai nama itu, tambahkan --add-host=host.docker.internal:host-gateway saat menjalankan container.
Opsi dua: hubungkan ke layanan llama.cpp
Jika Anda menyajikan model dengan llama-server, tambahkan koneksi OpenAI di Open WebUI:
Pastikan llama-server berjalan
Di host jalankan./llama-server -m ./Q4_K_M.gguf --host 0.0.0.0 --port 8080 --ctx-size 32768 --jinja; perhatikan pengikatan ke0.0.0.0dan bukan127.0.0.1, kalau tidak container tidak bisa menjangkaunya.Tambahkan koneksi OpenAI
Admin Settings → Connections → OpenAI, tekan tambah, isi Base URLhttp://host.docker.internal:8080/v1, dan API Key dengan placeholder apa pun.Tambahkan model secara manual
Jika daftar model tidak termuat, tambahkan nama model di Admin Settings → Models dan jaga agar cocok dengan nama yang dipakai saat llama-server dijalankan.Verifikasi dan aktifkan
Kembali ke daftar model untuk mengaktifkannya, lalu uji di obrolan baru.
Mengapa memakai llama-server ketimbang vLLM untuk Open WebUI
llama-server tidak memvalidasi nama model secara ketat, memakai lebih sedikit memori, dan menyala lebih cepat, sehingga cocok untuk antarmuka lokal perorangan atau tim kecil. vLLM lebih cocok untuk layanan dengan konkurensi tinggi, tetapi ia memvalidasi daftar model secara ketat, jadi nama harus cocok sepenuhnya saat dihubungkan ke antarmuka. Keduanya bisa dipakai; pilih sesuai konkurensi.
Opsi tiga: konfigurasi lewat environment variable
Saat deploy container, memasukkan nilai lewat environment variable lebih stabil:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="http://host.docker.internal:8080/v1" \
-e OPENAI_API_KEY="ollama" \
-e OLLAMA_BASE_URL="http://host.docker.internal:11434" \
-e WEBUI_AUTH=true \
-v open-webui:/app/backend/data \
--add-host=host.docker.internal:host-gateway \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Sesuaikan nama variabel dengan dokumentasi versi yang Anda deploy
Nama environment variable Open WebUI pernah berubah antar rilis, termasuk perbedaan historis antara OPENAI_API_BASE_URL dan OPENAI_API_BASE. Yang ditampilkan di sini adalah bentuk umum saat ini; sebelum diterapkan, bandingkan dengan dokumentasi versi yang Anda terapkan.
Tabel perbandingan konfigurasi
| Situasi | Sisi server | Konfigurasi sisi Open WebUI | Base URL |
|---|---|---|---|
| Paling ringkas | Ollama | koneksi Ollama bawaan | http://host.docker.internal:11434 |
| Parameter bisa diatur | llama.cpp | tambah koneksi OpenAI | http://host.docker.internal:8080/v1 |
| Model cloud | EXAIV cloud | tambah koneksi OpenAI | https://exaiv.com/api/ai/v1 |
| Keduanya | keduanya | tambahkan dua koneksi | sesuai baris di atas |
Lokal dan cloud bisa berdampingan
Open WebUI mendukung beberapa koneksi sekaligus. Di daftar model, hy4 lokal dan model cloud tampil berdampingan, sehingga Anda berpindah sesuai sensitivitas data tiap tugas. Cara ini biasanya lebih praktis daripada semua-lokal atau semua-cloud.
Akses LAN dan eksternal
Secara bawaan Open WebUI hanya mendengarkan port 8080 di dalam container, dipetakan ke host lewat -p 3000:8080. Agar perangkat lain di jaringan bisa masuk:
docker run -d -p 3000:8080 \
-e WEBUI_AUTH=true \
-e WEBUI_URL=http://192.168.1.10:3000 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Sebelum membuka ke luar jaringan, lakukan tiga hal ini
Pertama, nyalakan WEBUI_AUTH dan berikan kata sandi kuat untuk semua akun, karena akun Open WebUI pertama tidak punya kata sandi dan otomatis menjadi administrator. Kedua, jangan buka port Ollama agar bisa diakses langsung dari jaringan publik; ia tidak punya autentikasi, jadi siapa pun bisa memakai kapasitas komputasi Anda. Ketiga, bila akses publik benar-benar diperlukan, letakkan lapisan reverse proxy di depan untuk TLS dan kontrol akses.
Tabel penanganan masalah
| Gejala | Penyebab | Penanganan |
|---|---|---|
| Koneksi Ollama tampil belum tersambung | memakai 127.0.0.1 di container | ganti ke host.docker.internal dan tambahkan pemetaan host-gateway |
| Daftar model kosong | layanan belum berjalan atau jalur salah | periksa port host dengan curl, lalu tambahkan nama model secara manual di antarmuka |
| Hasil aneh | templat percakapan tidak cocok | perbaiki TEMPLATE atau --jinja sesuai model card |
| Jawaban makin lambat | model berjalan di CPU | pastikan GPU benar-benar dipakai, atau pakai quantization lebih kecil |
| Pembukaan pertama sangat lambat | model dimuat ke memori | hal yang normal |
| Antarmuka terus berputar | konteks terlalu besar sehingga kehabisan memori | turunkan num_ctx atau pakai quantization lebih kecil |
| Obrolan tercampur antar pengguna | konfigurasi penyimpanan sesi dibagikan salah | periksa pemasangan volume dan pengaturan hak pengguna |
FAQ
Apakah konfigurasi model lokal dan model cloud di Open WebUI berbeda?
Mengapa daftar model kosong?
Mengapa di container tidak bisa memakai 127.0.0.1?
Bisakah Open WebUI dipakai dengan model cloud juga?
Bisakah Hunyuan dipanggil lewat API EXAIV?
Bacaan lanjutan
- Integrasi hy4 dengan Ollama — menghubungkan Hunyuan lokal ke Dify, Cursor, dan alat lain
- Integrasi Open WebUI — konfigurasi koneksi model cloud (jalur yang berbeda dari artikel ini)
- Penerapan hy4 dengan GGUF — menyiapkan quantization dan memori sebelum menyajikan
- Integrasi Dify — cara menghubungkan platform aplikasi mandiri lain
- RAG dengan hy4 — memberi model lokal sebuah basis pengetahuan
- Ikhtisar keluarga Tencent Hunyuan — gambaran keseluruhan keluarga Hunyuan
Sumber data
Nama environment variable dan butir konfigurasi mengikuti dokumentasi versi yang Anda terapkan; artikel ini mencerminkan keadaan saat pengambilan sampel.