Ollama 平台新功能:轻松运行 Hugging Face Hub 上的 GGUF 模型

大模型关系型数据库机器学习

AI 领域又有大动作!Ollama 平台推出新功能,让你轻松运行 Hugging Face Hub 上的 GGUF 模型。

picture.image

这一新功能不仅简化了模型部署流程,还为 AI 社区带来了极大的便利。想象一下,只需一行命令,你就能直接在 Ollama 平台上运行强大的 GGUF 模型,操作极为简便!

具体怎么操作呢?


        
ollama run hf.co/{username}/{reponame}:latest  

    

比如,你想运行 Llama 3.2 1B 模型,只需这样:


        
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:latest  

    

如果你对量化类型有特别要求,也只需指定一下 Quant 类型:


        
ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF:Q8\_0  

    

这一功能极大简化了模型部署流程,用户反馈如“简直是救星!”、“再也不用繁琐的部署步骤了!”社区的小伙伴们简直炸开了锅!

  • Quinn Slack

大呼:“Awesome! 这将让一切变得如此简单。”

  • Mitko Vasilev

提到性能问题:“Ollama 还得在性能上下功夫,现在比 llama.cpp 慢30-50%。”

  • ollama 官方

立即回应:“抱歉!你在哪里运行遇到这种情况?我们内部测试并没有发现这么大差异。未来我们会继续优化!”

还有不少小伙伴表示,这个功能简直是他们的救星:

  • Atlas3D

激动地说:“amazing!!! 谢谢你们,这之前一直是我的一大障碍。”

  • Maziyar PANAHI

则是调侃:“太流畅了,简直闪瞎我的眼!”

总的来说,Ollama 平台的这一新功能让它向自己的模型docker梦想更近一步。参看:Ollama VS LmStudio,谁是本地化模型运行工具最佳

那么,模型的k8s时代还会远吗? swarm这个名字或许暗示了些信息,欢迎留言写下你的理解!Swarm:一个OpenAI开源的multiAgent框架,简单哲学的代表

更多:https://huggingface.co/docs/hub/en/ollama

后台回复“入群”进群讨论。

0
0
0
0
关于作者
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论