AI实践之Plan B:本地搭建运行环境(1)

大模型容器数据库
今日初三,宜学习;跟着麦金叔正式开启AI学习环境的搭建吧!

picture.image

先从简单的单机运行环境开始,普通人没有多强劲的电脑,但游戏佬一般都有,假设你年前为了玩“黑神话-悟空”而升级过电脑。那游戏闲暇之余,跑自己的AI,也不必为设备投入而心生愧疚。

01.

安装OLLAMA

先去官网https://ollama.com/ 下载你电脑对应的操作系统的版本。Windows和MacOS的版本,直接点击下载,网速一般的情况下,几分钟能下载完。

picture.image

Linux的版本比较特殊,是提供了下载脚本,并且下载原始地址是github。这就导致国内大多数人直接下载是有问题的。如果你有特殊工具,并且不在乎流量,那可以用上代理模式进行。但若是没有,麦金叔也有免费并且快速的方法,后台私信将倾囊相授。

02.

运行并下载模型

如果第一步比较顺利,那已经成功了一大半。不过运行跟你使用的版本有关。

01

picture.image

picture.image

Windows版本,双击安装完了之后,打开PowerShell,在窗口输入"ollama -v",如果有输出,则代表安装成功。正式运行前,可以修改环境变量OLLAMA_MODELS,让大模型的文件存储到空间较大的磁盘。接着就可以运行"ollama run deepseek-r1",等模型下载完成后,便可以开启对话模式了。

02

picture.image

picture.image

MacOS版本,双击安装后,打开terminal,窗口输入"ollama -v",有输出则代表安装成功。模型运行和Windows一样。

03

picture.image

picture.image

Linux版本,如果不能直接安装。并且安装后台给的方法,获得了ollama-amd64.tgz。那么,进一步修改install.sh,注释掉curl下载的几行,换成安装tgz即可。考虑到公众号的大多数受众可能不会在Linux版本下使用,就暂时不把详细脚本贴出来了。如果很多人都需要,可以留言,博主另出一文详细解释。

03.

其他工具配置使用

每次使用命令行启动进行对话,还是稍显繁琐。所以,集成进手头工具是很有必要的。


运行"ollama serve"命令即可让ollama开启服务器模式,通过访问"http://localhost:11434"。






例如,Open WebUI(原Ollama WebUI),打开用户设置,在模型配置页面,将基础API的地址填入上面的字符串。在对话窗口就可以选择不同的模型,如果尝试的模型没有下载过,也可以直接在配置页面,填入需要下载的模型的模型和版本。







如果要集成到dify系统中,可以同理配置。当然也可以等博主后续教程,手把手教学。

如果你对AI的发展感兴趣,欢迎一键三连。有任何问题以扫码添加好友,我们共同探讨。

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论