今日初三,宜学习;跟着麦金叔正式开启AI学习环境的搭建吧!
先从简单的单机运行环境开始,普通人没有多强劲的电脑,但游戏佬一般都有,假设你年前为了玩“黑神话-悟空”而升级过电脑。那游戏闲暇之余,跑自己的AI,也不必为设备投入而心生愧疚。
01.
安装OLLAMA
先去官网https://ollama.com/ 下载你电脑对应的操作系统的版本。Windows和MacOS的版本,直接点击下载,网速一般的情况下,几分钟能下载完。
Linux的版本比较特殊,是提供了下载脚本,并且下载原始地址是github。这就导致国内大多数人直接下载是有问题的。如果你有特殊工具,并且不在乎流量,那可以用上代理模式进行。但若是没有,麦金叔也有免费并且快速的方法,后台私信将倾囊相授。
02.
运行并下载模型
如果第一步比较顺利,那已经成功了一大半。不过运行跟你使用的版本有关。
01
Windows版本,双击安装完了之后,打开PowerShell,在窗口输入"ollama -v",如果有输出,则代表安装成功。正式运行前,可以修改环境变量OLLAMA_MODELS,让大模型的文件存储到空间较大的磁盘。接着就可以运行"ollama run deepseek-r1",等模型下载完成后,便可以开启对话模式了。
02
MacOS版本,双击安装后,打开terminal,窗口输入"ollama -v",有输出则代表安装成功。模型运行和Windows一样。
03
Linux版本,如果不能直接安装。并且安装后台给的方法,获得了ollama-amd64.tgz。那么,进一步修改install.sh,注释掉curl下载的几行,换成安装tgz即可。考虑到公众号的大多数受众可能不会在Linux版本下使用,就暂时不把详细脚本贴出来了。如果很多人都需要,可以留言,博主另出一文详细解释。
03.
其他工具配置使用
每次使用命令行启动进行对话,还是稍显繁琐。所以,集成进手头工具是很有必要的。
运行"ollama serve"命令即可让ollama开启服务器模式,通过访问"http://localhost:11434"。
例如,Open WebUI(原Ollama WebUI),打开用户设置,在模型配置页面,将基础API的地址填入上面的字符串。在对话窗口就可以选择不同的模型,如果尝试的模型没有下载过,也可以直接在配置页面,填入需要下载的模型的模型和版本。
如果要集成到dify系统中,可以同理配置。当然也可以等博主后续教程,手把手教学。
如果你对AI的发展感兴趣,欢迎一键三连。有任何问题以扫码添加好友,我们共同探讨。