共计 1459 个字符,预计需要花费 4 分钟才能阅读完成。
电脑环境如下:
系统: windows11
CPU 显卡: AMD5700G + RTX3060TI G6X
内存: 32G 3200
硬盘: 2T 固态 NVM2
首先下载安装 Ollama,访问下面的链接并下载相应的系统版本
![搭建自己的人工智能大模型 -Ollama+open-webui 搭建自己的人工智能大模型 -Ollama+open-webui](https://ddn-md.oss-cn-beijing.aliyuncs.com/images/md/2024/06/24/20240624103959.png?x-oss-process=style/blog)
Linux 系统安装脚本如下:
curl -fsSL https://ollama.com/install.sh | sh
Ollama 模型说明
Model | 参数 | 大小 | 下载 |
---|---|---|---|
Llama 3 | 8B | 4.7GB | ollama run llama3 |
Llama 3 | 70B | 40GB | ollama run llama3:70b |
Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
Mistral | 7B | 4.1GB | ollama run mistral |
Moondream 2 | 1.4B | 829MB | ollama run moondream |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
LLaVA | 7B | 4.5GB | ollama run llava |
Solar | 10.7B | 6.1GB | ollama run solar |
安装之后开启运行大模型
ollama run llama3
![搭建自己的人工智能大模型 -Ollama+open-webui 搭建自己的人工智能大模型 -Ollama+open-webui](https://ddn-md.oss-cn-beijing.aliyuncs.com/images/md/2024/06/24/20240624104214.png?x-oss-process=style/blog)
下载相应的大模型后就可以进行对话了。
使用命令行对话还是有些不方便,这时候可以用本地 docker 跑一个 open-webui 项目来调用 ollama
这里镜像替换为了国内的镜像,你可以在渡渡鸟容器镜像站搜索到相关的项目镜像
https://docker.aityp.com/image/ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v D:/ai/openaiweb:/open-webui --name open-webui --restart unless-stopped swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:main
注意: open-webui/open-webui:main 这个版本比较老,open-webui 官方 tag 比较混乱。这里我自己打了一个最新版的 v0.3.5 版本,老版本 open-webui 会出现导入模型和提示 404 等异常问题。
v0.3.5 版本镜像: https://docker.aityp.com/image/docker.io/typ431127/open-webui:v0.3.5
swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/typ431127/open-webui:v0.3.5
运行后访问 localhost:3000 注册一个账号登陆后即可使用 web 界面访问。
可以看到对于提出的问题 AI 回答的还是很专业的。
![搭建自己的人工智能大模型 -Ollama+open-webui 搭建自己的人工智能大模型 -Ollama+open-webui](https://ddn-md.oss-cn-beijing.aliyuncs.com/images/md/2024/06/24/20240624104541.png?x-oss-process=style/blog)