手机上运行大模型,震惊之余思考手机产业的新发展机会

大模型容器数据库
今天老朋友群里有人问:安卓手机芯片如果算力足够,是否也能部署DeepSeek模型,这对行业有多大影响?没错,麦金叔刚入职场也是手机产业,而且是当时的国产3G:TD-SCDMA。有此疑问,必然是各行业各的精英们都关注AI的兴起与自己行业发展的关联,期望能从中发现新的机遇。

手机端运行大模型picture.image

这不是新的想法,实际上早在2017年Google就发布了TensorFlow Lite,但囿于当时的模型能力和手机性能,只能是绣花枕头,中看不中用。


去年为了迎接AI时代的到来,一向惜内存如金的苹果也大容量升级。这一切都预示着新的时代来临。


这几天麦金叔一直强推的DeepSeek R1,在其发布时有一个小参数量的蒸馏模型DeepSeek-R1-Distill-Qwen-1.5,同样犹如闪亮的明星。

picture.image

其技术文档中提到在数学基准测试中,超过GPT-4o和Claude-3.5-Sonnet。

picture.image

国外网友,通过MLX Swift框架在自己的iPhone 16上成功运行这个小参数量模型,并且效果和性能都表现不俗。

picture.image

他测试了经典“1.11和1.9比较,谁大”问题,取得了正确的答案,并且还给出了详细思考过程。

手机行业的前景picture.image

这几年国产安卓手机通过堆硬件的方式,让手机的性能媲美电脑,对于普通的应用,已经远远过剩。广大群众也开始理性消费,高端手机的需求便逐步下降。但AI的发展,似乎又给手机行业带来了新的机会。
  • 硬件方面

    芯片性能不会再如使用普通应用这般过剩,反而在算力和能效比的需求上有进一步的提升诉求。

    存储需求增长,大模型本身一般都很大,如前面说的DeepSeek-R1-Distill-Qwen-1.5大约3.6G,还没有算上运行期的缓存等数据。简单的讲,等同于出厂系统文件占用空间翻倍。

    散热技术也需要创新,手机原本的散热就很着急,玩几把“王者荣耀”就发烫了。假如要进行大模型推理,其计算量和功耗不输手机3A游戏,所以需要厂商或者供应商不断迭代散热技术,无论是新散热材料,还是散热结构,都要有很大的提升才能满足新的要求。

  • 软件方面

操作系统优化,为了更好的运行大模型,还需要在系统层面进行优化,对大文件IO读写,大内存管理以及资源调度上做更多的尝试。

AI框架与工具的机会,截止今天“DeepSeek - AI智能助手”应用已经冲上苹果AppStore免费榜的榜首。各种整合接口类的工具,也必将迎来春天。因为现在某个基础模型的成绩好,不代表永远好。在各个垂直领域的微调大模型,也会像雨后春笋般,到处萌发。

安全与隐私的要求更多,关于手机本地用户资料的存储和保护也变得非常迫切。国家对于用户数据的保障要求,也会越来越高。通过本地模型处理之后的用户特征,作为用户的身份与应用交互,既满足了个性化需求,又能最大限度的保护用户隐私,或许在行业的标准推进下,能成为新的商业模式。

  • 应用生态

内容创作和娱乐创新方面,在AI的加持下,普通用户就可以通过自己的手机,创作出创意文本,图片,语音和短视频。另一方面,还可以体验更智能、更个性化的游戏和娱乐服务。

行业应用拓展,在办公、教育、医疗等行业,手机端运行大模型可以为用户提供更便捷、更高效的服务。比如在办公场景中,用户可以通过手机利用大模型进行文档处理、会议记录等工作;在教育领域,大模型可以为学生提供个性化的学习辅导(博主现在就天天用豆包给小学生女儿批改作业,又快又好)。


个性化推荐与服务,基于大模型对用户行为和偏好的分析,手机应用可以为用户提供更精准的个性化推荐服务,包括商品推荐、新闻推荐、音乐推荐等,提升用户体验,增加用户对手机应用的粘性。

总结:

以上只是博主在当今AI发展态势下,对手机行业的臆想。其中的机会,可能各位行业大佬,也有自己的思考。但无论如何,有想法,并亲自参与,未来才有机会在“风口”中分得一杯羹。

如果你对AI的发展感兴趣,欢迎一键三连。有任何问题以扫码添加好友,我们共同探讨。

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论