本地部署大模型-Step2

安装完ollama后,因为是命令行交互的,所以接下来安装一下webui组件。

这里,我用docker来安装open-webui。

1.docker-compose.yml

version: "3.9"

services:
  openwebui-app:
    container_name: openweb-ui
    image: ghcr.io/open-webui/open-webui:main
    restart: always
    extra_hosts:
      - "host.docker.internal:host-gateway"
    ports:
      - "8300:8080"
    volumes:
      - openwebui:/app/backend/data
    environment:
      - BASE_URL=/openwebui
volumes:
  openwebui:

2.启动

docker compose up -d
#等待一段时间后,启动确认
docker ps

出现下面的就算OK

在浏览器输入IP:8300几个打开openweb-ui。

可以随便登录一个你喜欢的管理员用户。

3.初期设定

语言,模型两个设定。

点右上角黄色圆形的Amark。打开设定画面。

打开联网搜索功能,这里选免费的duckduckgo。

添加模型