Ollama是一个专注于本地部署和运行大型语言模型的项目，例如Llama 2和Mistral，跟ChatGPT一样，可以生成相关的对话内容。

Ollama 部署非常简单，这里就不细说，登录https://ollama.com/ 点击download，根据自己系统需求选择Windows，linux，或者macOS版本。这里我们使用Linux方式部署。

一键部署指令：

curl https://ollama.ai/install.sh | sh

脚本需要访问GitHub下载相关文件，如果网络不具备访问GitHub条件，那么需要设置代理来完成ollama的安装

#192.168.5.199:18089 地址是我本机开的代理地址和端口
export http_proxy=http://192.168.5.199:18089
export https_proxy=http:/192.168.5.199:18089

安装完成之后执行命令

systemctl status ollama

查看ollama 启动状态，Active: active (running) 为启动成功

查看11434端口是否被正确监听

lsof -i :11434

如果显示 TCP localhost:11434 表示 11434端口只能被被本地访问，以便后续我们需要部署open-webui 访问ollama ，因此需要先把端口暴露出去

vim /etc/systemd/system/ollama.service.d/override.conf
 #加入environment
 [Service]
Environment="OLLAMA_HOST=0.0.0.0"
 #重启ollama
 systemctl daemon-reload
 systemctl restart ollama
 #检查是否生效
 lsof -i :11434
 #显示*:11434表示成功
 #防火墙开放11434端
 firewall-cmd --zone=public --add-port=11434/tcp --permanet
 firewall-cmd reload

拉取llama2模型并加载

ollama run llama2

测试ollama

使用rest-api(192.168.20.131是我部署ollama使用的服务器局域网ip地址)

POST http://192.168.20.131:11434/api/generate
Content-Type: application/json

{
  "model": "llama2",
  "prompt": "Why is the sky blue?"
}

有结果表示成功

接下来部署open-webui,这里使用docker。docker安装部署略

github地址:

https://github.com/open-webui/open-webui

docker 脚本:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

由于ghcr.io 下载镜像非常慢，这里需要绕一下。有个play-with-docker

https://labs.play-with-docker.com/

访问ghrc.io速度相当不错。通过dockerhub账户登录之后，创建实力。并执行部署脚本，然后打tag 推送到dockerhub。这样速度会快很多。

在play-with-docker 上的实例执行上述docker部署脚本。成功之后开始打tag 并推送

docker login 
#输入dockerhub 用户名密码登录，用于推送镜像
docker images 
docker tag ghcr.io/open-webui/open-webui:main 用户名/open-webui:main
#推送镜像
docker push 用户名/open-webui:main

之后用我们推送到dockerhub上的镜像启动web-ui

docker run -d -p 3080:8080 --privileged --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always abdulla1992/open-webui:main

启动成功之后注册账号并开始使用open-webui
选择模型并聊天