**一步一图,本地部署
生火热进行中**
Meta Llama 3
Ollama+Open WebUI
前言
-
本文教你如何将Meta Llama3 部署到你自己的电脑 上进行使用。
-
本文依然适合“ 小白中的小白 ”使用,不做讲解,一步一图。
-
本教程相对COW机器人, 更加简单 ,所以,不需要畏难,相信自己,跟着操作一定可以完成。
-
后续会出详细的结构化讲解 ,先完成,再了解,相信对你会更有帮助。
-
建议电脑打开此文
一、下载并安装Ollama
1、复制进浏览器,根据你的电脑系统,下载:
2、下载完成后,双击打开,点击“Install”
3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成
二、下载Llama3模型
1、打开终端
如果你是windows电脑,
- 点击win+R
- 输入cmd,点击回车
如果你是Mac电脑,
- 按下
Command(⌘)+ Space
键打开Spotlight搜索。 - 输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。
2、复制以下命令行,粘贴进入,点击回车:
ollama run llama3:8b
3、回车后,会开始自动下载,文件较慢,这里下载时,可以继续去第三步(安装Docker)执行。
(这里下载会很慢,一般不会出错,正常等待即可。实在有问拉到最下边加我好友,给你发压缩包)
(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)
4、下载完成后你会发现,大模型已经在本地运行了。
(此处可以测试下,输入文本是否可以进行对话。此处对话的速度,取决于你电脑的配置。)
三、安装Docker Desktop
1、点击/复制到浏览器去下载
https://docs.docker.com/desktop/install/windows-install/
2、下载后,双击下载项目,出现下图,点击ok,开始加载文件。
注意!!!!这里下载相对比较快,下载完成后,不要点击“close and restart”,因为这样会直接重启,导致llama3下载中断。
3、这里先不点击,等待终端的模型下载完成后,再点击重启。
4、重启后,点击:“Accept”
5、选择第一个,点击"Finish"
6、然后会提示你注册账号,如果打不开网页,就需要科学上网了,这个大家应该都会。
(不会的话,私聊吧,这里不说了)
7、按照正常的注册流程,注册账号,并登录Docker 即可。登录后会进入Docker Desktop。此处完成。
四、下载Open WebUI
1、回到桌面,再打开一个新的终端窗口(可以放心多个窗口,不会互相影响)
如果你是windows电脑,
- 点击win+R
- 输入cmd,点击回车
如果你是Mac电脑,
- 按下
Command(⌘)+ Space
键打开Spotlight搜索。 - 输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。
2、将以下命令输入,等待下载:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3、出现上图,即是下载完成。
4、点击或复制下方地址进入浏览器:
5、点击进行注册即可,注册输入昵称、邮箱、密码。注册完即可登录进入。
6、登入后,看到如下页面,点击顶部的Model,选择“llama3:8b”。
7、完成。
你已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦!
ps. 他的回复速度,取决于你的电脑配置。
五、联系方式
如果遇到任何问题,或想链接,欢迎交流,一起学习