Open WebUI gamit ang lokal na Hunyuan: ilagay ang hy4 sa likod ng self-hosted na interface
Pag-uugnay ng lokal na hy4 sa Open WebUI: Docker deployment, pagturo sa Ollama o llama.cpp endpoint, pagpapagana ng modelo, konfigurasyon ng listahan ng modelo ng admin, LAN access at authentication, dalawang estilo ng konfigurasyon, at tabla ng paglutas ng problema.
Open WebUI gamit ang lokal na Hunyuan: ilagay ang hy4 sa likod ng self-hosted na interface
Ang Open WebUI ay ang pinakapopular na self-hosted na chat interface at may pinakamaikling daan patungo sa lokal na modelo: ang suporta sa Ollama ay bahagi na nang nasa disenyo, habang ang pag-uugnay sa llama.cpp ay kailangan lamang ng isang OpenAI-compatible na address. Kapag ang lokal na modelo ay hy4, ang resulta ay ang mga rekord ng pag-uusap, ang timbang ng modelo, at lahat ng data ay nananatili sa iyong makina, kasama ang isang interface na halos katulad ng isang hosted na chat product. Ang artikulong ito ay nagbibigay ng kumpletong konfigurasyon at tabla ng paglutas ng problema.
Buod sa 30 segundo
Patakbuhin ang Open WebUI sa Docker, magdagdag ng OpenAI connection sa Admin Settings, Connections, na may Base URL na tumuturo sa http://host.docker.internal:8080/v1 para sa llama.cpp, o gamitin ang built-in na Ollama connection, pagkatapos paganahin ang hy4-local sa Models at magsimulang mag-usap. Huwag gamitin ang 127.0.0.1 sa loob ng container.
Opsyon isa: gamitin ang Ollama nang direkta (pinakamaikli)
May built-in na Ollama connection ang Open WebUI, kaya isa lang ang address na kailangan:
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Buksan ang http://localhost:3000, magrehistro ng unang account (ang unang rehistrong user ay awtomatikong nagiging administrator), pagkatapos:
Tiyaking tumatakbo ang Ollama
Sa host, patakbuhin angollama listat tiyaking lumilitaw anghy4-local; kung wala pa, likhain muna gamit angollama create hy4-local -f Modelfile.Suriin ang status ng koneksyon
Buksan ang Admin Settings → Connections at tiyaking ang Ollama connection ay iniuulat bilang nakaugnay.Paganahin ang modelo
Pumunta sa Admin Settings → Models, hanapin anghy4-local, at buksan ang switch ng pagpapagana.Magsimulang mag-usap
Lumikha ng bagong pag-uusap at piliin anghy4-localmula sa listahan ng modelo.
Sa loob ng container, ang 127.0.0.1 ay ang container mismo
Ang pinakakaraniwang pagkabigo ay ang paglalagay ng http://127.0.0.1:11434 sa OLLAMA_BASE_URL at pagkatapos ay iniulat ng interface na hindi pa nakaugnay. Ang 127.0.0.1 sa container ay tumuturo sa network namespace ng container, hindi sa host. Gamitin ang host.docker.internal; kung hindi nire-resolve ng bersyon ng Docker mo ang pangalang iyon, idagdag ang --add-host=host.docker.internal:host-gateway kapag pinapatakbo ang container.
Opsyon dalawa: kumonekta sa llama.cpp service
Kung ihahain mo ang modelo gamit ang llama-server, magdagdag ng OpenAI connection sa Open WebUI:
Tiyaking tumatakbo ang llama-server
Sa host patakbuhin ang./llama-server -m ./Q4_K_M.gguf --host 0.0.0.0 --port 8080 --ctx-size 32768 --jinja; tandaan ang bind sa0.0.0.0at hindi127.0.0.1, kung hindi hindi ito maabot ng container.Magdagdag ng OpenAI connection
Admin Settings → Connections → OpenAI, pindutin ang add, itakda ang Base URL bilanghttp://host.docker.internal:8080/v1, at ang API Key gamit ang kahit anong placeholder.Manu-manong magdagdag ng modelo
Kung hindi nag-load ang listahan ng modelo, idagdag ang pangalan ng modelo sa Admin Settings → Models at panatilihing tumutugma ito sa pangalan na ginamit kapag sinimulan ang llama-server.Patotohanan at paganahin
Bumalik sa listahan ng modelo upang paganahin ito, pagkatapos ay subukan sa bagong pag-uusap.
Bakit ang llama-server kaysa vLLM para sa Open WebUI
Hindi mahigpit na binabalidated ng llama-server ang pangalan ng modelo, gumagamit ng kaunting memorya, at mas mabilis magsimula, kaya bagay ito sa personal na o maliit na pangkat na interface. Ang vLLM ay mas angkop para sa serbisyong may mataas na concurrency, ngunit mahigpit nito binabalidate ang listahan ng modelo, kaya ang pangalan ay dapat na tugma nang buo kapag uugnay sa interface. Pareho ring gagana; piliin ayon sa concurrency.
Opsyon tatlo: konfigurasyon sa pamamagitan ng environment variable
Kapag nagde-deploy ng container, ang pagpasok ng mga halaga sa environment variable ay mas matatag:
docker run -d -p 3000:8080 \
-e OPENAI_API_BASE_URL="http://host.docker.internal:8080/v1" \
-e OPENAI_API_KEY="ollama" \
-e OLLAMA_BASE_URL="http://host.docker.internal:11434" \
-e WEBUI_AUTH=true \
-v open-webui:/app/backend/data \
--add-host=host.docker.internal:host-gateway \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Ihambing ang pangalan ng variable sa dokumentasyon ng iyong bersyon
Nagbago na ang mga pangalan ng environment variable ng Open WebUI sa pagitan ng mga release, kabilang ang makasaysayang pagkakaiba sa pagitan ng OPENAI_API_BASE_URL at OPENAI_API_BASE. Ang ipinapakita dito ay ang karaniwang anyo sa kasalukuyan; bago gamitin, ihambing sa dokumentasyon ng bersyon na iyong ipinapatakbo.
Tabla ng paghahambing ng konfigurasyon
| Sitwasyon | Panig ng server | Konfigurasyon sa panig ng Open WebUI | Base URL |
|---|---|---|---|
| Pinakamaikli | Ollama | built-in na Ollama connection | http://host.docker.internal:11434 |
| May naiayos na parameter | llama.cpp | magdagdag ng OpenAI connection | http://host.docker.internal:8080/v1 |
| Cloud model | EXAIV cloud | magdagdag ng OpenAI connection | https://exaiv.com/api/ai/v1 |
| Pareho | pareho | idagdag ang dalawang koneksyon | ayon sa mga hanay sa itaas |
Ang lokal at cloud ay maaaring magkasabay
Sinusuportahan ng Open WebUI ang maraming koneksyon nang sabay. Sa listahan ng modelo, magkasabay na lumilitaw ang lokal na hy4 at ang mga cloud model, kaya nagpapalit ka ayon sa sensitivity ng data ng bawat gawain. Ang paraang ito ay kadalasang mas praktikal kaysa sa lahat-lokal o lahat-cloud.
LAN at panlabas na access
Bilang default, ang Open WebUI ay nakikinig lamang sa port 8080 sa loob ng container, at minamapa sa host sa pamamagitan ng -p 3000:8080. Para makapasok ang ibang device sa iyong network:
docker run -d -p 3000:8080 \
-e WEBUI_AUTH=true \
-e WEBUI_URL=http://192.168.1.10:3000 \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:main
Bago buksan sa labas ng network, gawin ang tatlong ito
Una, buksan ang WEBUI_AUTH at maglagay ng malakas na password para sa lahat ng account, dahil ang unang account ng Open WebUI ay walang password at awtomatikong administrator. Pangalawa, huwag buksan ang Ollama port para ma-access nang direktang mula sa pampublikong network; wala itong authentication, kaya sinuman ay makakagastos sa computing power mo. Pangatlo, kung talagang kailangan ng pampublikong access, maglagay ng reverse proxy layer sa harap para sa TLS at access control.
Tabla ng paglutas ng problema
| Sintomas | Dahilan | Lunas |
|---|---|---|
| Ang Ollama connection ay nakikita bilang hindi nakaugnay | ginamit ang 127.0.0.1 sa container | palitan ng host.docker.internal at idagdag ang host-gateway mapping |
| Walang laman ang listahan ng modelo | hindi pa tumatakbo ang serbisyo, o maling landas | suriin ang port sa host gamit ang curl, pagkatapos ay idagdag nang manu-mano ang pangalan ng modelo sa interface |
| Kakaibang resulta | hindi tumutugmang chat template | ayusin ang TEMPLATE o ang --jinja ayon sa model card |
| Unti-unting bumabagal ang sagot | tumatakbo ang modelo sa CPU | tiyaking gumagana nang may bisa ang GPU, o gumamit ng mas maliit na quantization |
| Napakabagal ng unang pagbukas | nagkakarga ang modelo sa memorya | normal lang |
| Laging umiikot ang interface | masyadong malaki ang konteksto at naubos ang memorya | babaan ang num_ctx o lumipat sa mas maliit na quantization |
| Naghahalo ang pag-uusap sa pagitan ng mga user | maling pagbabahagi ng session storage | suriin ang data volume mount at ang mga setting ng karapatan ng user |
FAQ
Magkakaiba ba ang konfigurasyon ng lokal na modelo at cloud modelo sa Open WebUI?
Bakit walang laman ang listahan ng modelo?
Bakit hindi magamit ang 127.0.0.1 sa loob ng container?
Maaari bang gamitin ang Open WebUI kasama ang cloud model rin?
Maaari bang tawagan ang Hunyuan sa pamamagitan ng EXAIV API?
Karagdagang pagbabasa
- Pag-uugnay ng hy4 sa Ollama — pag-uugnay ng lokal na Hunyuan sa Dify, Cursor, at iba pang tool
- Open WebUI integration — konfigurasyon ng cloud model connection (iba pang landas kaysa artikulong ito)
- Pag-deploy ng hy4 gamit ang GGUF — paghahanda ng quantization at memorya bago ihain
- Dify integration — paraan ng pag-uugnay ng iba pang self-hosted na application platform
- RAG gamit ang hy4 — pagbibigay ng knowledge base sa lokal na modelo
- Buod ng pamilya ng Tencent Hunyuan — buong larawan ng pamilya ng Hunyuan
Mga pinagmulan
Ang mga pangalan ng environment variable at mga aytem ng konfigurasyon ay sumusunod sa dokumentasyon ng bersyon na iyong ipinapatakbo; ang artikulong ito ay sumasalamin sa kalagayan noong panahon ng pagkuha ng sampol.