动手点关注
干货不迷路
模型部署场景适配度和推理性能是AI场景能否实际落地的关键，如何能够降低模型资源占用，在资源约束的情况下，满足场景使用需要，是各大公司重点研究的方向。边缘AI应用较之于云端数据中心AI应用有着更广阔的场景和巨大市场，相信生成式AI的风暴会很快刮到边缘端。
近日有消息称，英伟达在2月份秘密收购一家成立两年多的初创企业OmniML。它是一家专门从事将机器学习模型缩小到边缘设备的公司，能够使机器学习任务在不同边缘设备上的速度提高10倍，而工程工作量仅为1/10。其软件产品有助于缩小机器学习模型，使它们可以在设备上而不仅仅是在云端运行。
这项收购可能意味着英伟达将要发力边缘AI，改进其专门用于汽车、工业机器人和无人机的人工智能芯片，这些芯片为最近的人工智能热潮提供了动力，并且支持了包括ChatGPT在内的聊天机器人。
OmniML曾经表示，其软件可以压缩机器学习模型的大小，以便在更小的设备上驱动人工智能，但其引用的示例主要涉及计算机视觉，例如帮助智能摄像头或自动驾驶汽车识别周围的物体，不确定其在大模型上是否同样有强大的竞争力。
目前这笔交易的具体条款没有透露。英伟达也拒绝就OmniML收购的时间和收购价格发表评论。
OmniML于2021年创立，三位联合创始人分别是麻省理工学院电气工程和计算机科学教授韩松（Song Han）、Meta前软件工程师吴迪（Di Wu），以及来自斯坦福大学、参与发明 "深度压缩 "技术的毛慧子（Huizi Mao）。"深度压缩 "技术也是该公司软件的核心。OmniML 获得 GGV Capital、Qualcomm Ventures、Foothill Ventures 等老牌风险投资公司的支持，2022年3月29日，获得1000万美元种子资金。
OmniML 的主要产品是 Omnimizer，这是一个旨在快速、轻松地大规模进行 AI 优化的平台。Omnimizer 还致力于工业自动化、智能家电和制药等行业，帮助减少机器学习操作 (MLOps) 中成本高昂的迭代周期，实现高效的 AI 部署。
除此之外，该平台还优化了模型，使其甚至能够在功耗很低的设备上运行。通过 OmniML，公司可以轻松调整其模型以在无人机、智能相机和汽车等设备上运行。考虑到这在未来几年可能带来的价值，以及关键的技术占位，维持其霸主地位，避免与对手过多合作（OmniML在被收购前一个月刚宣布与英特尔建立合作伙伴关系），收购这家尚处于起步阶段的公司也就不难理解了。
英伟达这一动作，联想起苹果在今年六月份的WWDC上对于大模型相关的技术只字未提，让笔者猜测其是不是正在憋大招，将直接踏入边缘AI战场，把LLM塞到IPhone 15中，掀起 新一波的技术热潮，我们拭目以待吧。
参考：
https://twitter.com/GPTDAOCN/status/1676298131728920581
https://analyticsindiamag.com/why-nvidia-acquired-omniml/
想要了解更多LLM应用开发吗？ 可阅读连载：
《一文探秘LLM应用开发》目录：
3)微调
4)模型部署与推理
一文探秘LLM应用开发(8)-模型部署与推理(DEMO验证)