【保姆级】Meta Llama 3爆火,一步一图教你如何将它部署到电脑上,据为己有 (Ollama+Open WebUI)

大模型向量数据库容器

picture.image

picture.image

**一步一图,本地部署

生火热进行中**

Meta Llama 3

Ollama+Open WebUI

picture.image

前言

  • 本文教你如何将Meta Llama3 部署到你自己的电脑 上进行使用。

  • 本文依然适合“ 小白中的小白 ”使用,不做讲解,一步一图。

  • 本教程相对COW机器人, 更加简单 ,所以,不需要畏难,相信自己,跟着操作一定可以完成。

  • 后续会出详细的结构化讲解 ,先完成,再了解,相信对你会更有帮助。

  • 建议电脑打开此文

picture.image

一、下载并安装Ollama

picture.image

picture.image

1、复制进浏览器,根据你的电脑系统,下载:

https://ollama.com/download

picture.image

2、下载完成后,双击打开,点击“Install”

picture.image

3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成

http://127.0.0.1:11434/

picture.image

picture.image

二、下载Llama3模型

picture.image

1、打开终端

如果你是windows电脑,

  • 点击win+R
  • 输入cmd,点击回车

如果你是Mac电脑,

  • 按下 Command(⌘)+ Space 键打开Spotlight搜索。
  • 输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。

picture.image

2、复制以下命令行,粘贴进入,点击回车:

  
ollama run llama3:8b

3、回车后,会开始自动下载,文件较慢,这里下载时,可以继续去第三步(安装Docker)执行。

(这里下载会很慢,一般不会出错,正常等待即可。实在有问拉到最下边加我好友,给你发压缩包)

picture.image

(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)

picture.image

4、下载完成后你会发现,大模型已经在本地运行了。

(此处可以测试下,输入文本是否可以进行对话。此处对话的速度,取决于你电脑的配置。)

picture.image

三、安装Docker Desktop

picture.image

picture.image

1、点击/复制到浏览器去下载

https://docs.docker.com/desktop/install/windows-install/

picture.image

2、下载后,双击下载项目,出现下图,点击ok,开始加载文件。

picture.image

注意!!!!这里下载相对比较快,下载完成后,不要点击“close and restart”,因为这样会直接重启,导致llama3下载中断。

picture.image

3、这里先不点击,等待终端的模型下载完成后,再点击重启。

4、重启后,点击:“Accept”

picture.image

5、选择第一个,点击"Finish"

picture.image

6、然后会提示你注册账号,如果打不开网页,就需要科学上网了,这个大家应该都会。

(不会的话,私聊吧,这里不说了)

7、按照正常的注册流程,注册账号,并登录Docker 即可。登录后会进入Docker Desktop。此处完成。

picture.image

picture.image

四、下载Open WebUI

picture.image

1、回到桌面,再打开一个新的终端窗口(可以放心多个窗口,不会互相影响)

如果你是windows电脑,

  • 点击win+R
  • 输入cmd,点击回车

如果你是Mac电脑,

  • 按下 Command(⌘)+ Space 键打开Spotlight搜索。
  • 输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。

picture.image

2、将以下命令输入,等待下载:

  
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

picture.image

3、出现上图,即是下载完成。

4、点击或复制下方地址进入浏览器:

http://localhost:3000/auth/

picture.image

5、点击进行注册即可,注册输入昵称、邮箱、密码。注册完即可登录进入。

6、登入后,看到如下页面,点击顶部的Model,选择“llama3:8b”。

picture.image

7、完成。

你已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦!

ps. 他的回复速度,取决于你的电脑配置。

picture.image

五、联系方式

picture.image

如果遇到任何问题,或想链接,欢迎交流,一起学习

picture.image

picture.image

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论