AI 领域又有大动作!Ollama 平台推出新功能,让你轻松运行 Hugging Face Hub 上的 GGUF 模型。
这一新功能不仅简化了模型部署流程,还为 AI 社区带来了极大的便利。想象一下,只需一行命令,你就能直接在 Ollama 平台上运行强大的 GGUF 模型,操作极为简便!
具体怎么操作呢?
ollama run hf.co/{username}/{reponame}:latest
比如,你想运行 Llama 3.2 1B 模型,只需这样:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest
如果你对量化类型有特别要求,也只需指定一下 Quant 类型:
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8\_0
这一功能极大简化了模型部署流程,用户反馈如“简直是救星!”、“再也不用繁琐的部署步骤了!”社区的小伙伴们简直炸开了锅!
- Quinn Slack
大呼:“Awesome! 这将让一切变得如此简单。”
- Mitko Vasilev
提到性能问题:“Ollama 还得在性能上下功夫,现在比 llama.cpp 慢30-50%。”
- ollama 官方
立即回应:“抱歉!你在哪里运行遇到这种情况?我们内部测试并没有发现这么大差异。未来我们会继续优化!”
还有不少小伙伴表示,这个功能简直是他们的救星:
- Atlas3D
激动地说:“amazing!!! 谢谢你们,这之前一直是我的一大障碍。”
- Maziyar PANAHI
则是调侃:“太流畅了,简直闪瞎我的眼!”
总的来说,Ollama 平台的这一新功能让它向自己的模型docker梦想更近一步。参看:Ollama VS LmStudio,谁是本地化模型运行工具最佳
那么,模型的k8s时代还会远吗? swarm这个名字或许暗示了些信息,欢迎留言写下你的理解!Swarm:一个OpenAI开源的multiAgent框架,简单哲学的代表
更多:https://huggingface.co/docs/hub/en/ollama
后台回复“入群”进群讨论。