搭建自己的人工智能大模型-Ollama+open-webui

电脑环境如下:

系统: windows11

CPU 显卡: AMD5700G + RTX3060TI G6X

内存: 32G 3200

硬盘: 2T 固态 NVM2

首先下载安装 Ollama，访问下面的链接并下载相应的系统版本

https://ollama.com/download

Linux 系统安装脚本如下:

curl -fsSL https://ollama.com/install.sh | sh

Ollama 模型说明

Model	参数	大小	下载
Llama 3	8B	4.7GB	ollama run llama3
Llama 3	70B	40GB	ollama run llama3:70b
Phi 3 Mini	3.8B	2.3GB	ollama run phi3
Phi 3 Medium	14B	7.9GB	ollama run phi3:medium
Gemma	2B	1.4GB	ollama run gemma:2b
Gemma	7B	4.8GB	ollama run gemma:7b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar

安装之后开启运行大模型

ollama run llama3

下载相应的大模型后就可以进行对话了。

使用命令行对话还是有些不方便，这时候可以用本地 docker 跑一个 open-webui 项目来调用 ollama

这里镜像替换为了国内的镜像，你可以在渡渡鸟容器镜像站搜索到相关的项目镜像

https://docker.aityp.com/image/ghcr.io/open-webui/open-webui:main

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:/ai/openaiweb:/open-webui --name open-webui --restart unless-stopped swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:main

注意: open-webui/open-webui:main 这个版本比较老，open-webui 官方 tag 比较混乱。这里我自己打了一个最新版的 v0.3.5 版本，老版本 open-webui 会出现导入模型和提示 404 等异常问题。

v0.3.5 版本镜像: https://docker.aityp.com/image/docker.io/typ431127/open-webui:v0.3.5

swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/typ431127/open-webui:v0.3.5

运行后访问 localhost:3000 注册一个账号登陆后即可使用 web 界面访问。

可以看到对于提出的问题 AI 回答的还是很专业的。