今天的热点的风头绝对是Apple Intelligence，盖过了咱们今天另外一篇推文介绍的Meta的Segment Anything。
首先是推迟了10月份iOS 18.1的正式发布，在MacOS Sequoia 、 iOS 18和iPadOS 18 上发布了开发者预览版，不包括 Siri 2.0，以及一份的47 页的论文，比他们 6 月的主题演讲更详细。
先看产品演示！
- 通知筛选，通过ai筛选出重要的通知，从此原理垃圾通知的干扰！
- 低功耗在任意应用中实现rewrite 改写
- 写作工具，类似于常见的编辑场景的ai
论文地址：https://machinelearning.apple.com/papers/apple\_intelligence\_foundation\_language\_models.pdf
全文很长有47页。这里简单提一些，感兴趣的可以看原文~
- data：最终 6.3T token 用于核心预训练，1T token具有更高的代码/数学混合比例用于继续预训练，以及 100B token用于上下文延长至 32k
- Hardware：AFM 使用 v4 和 v5p Cloud TPU 进行训练，而不是 Apple Silicon！AFM server：8192 TPUv4，AFM-on-device：2048 TPUv5p
- Post Training：虽然 Apple Intelligence 功能是通过base 模型之上的adapter提供支持的，但根据经验，发现改进通用训练后能提升所有功能的性能，因为模型在遵循指令、推理和写作方面具有更强的能力。
- 与llama3一样，使用了大量的合成数据，包括数学，代码，工具，等等场景的合成数据，已经是一种主流做法！
公开了基准测试结果：拎出来跟llama3的评测对比一波。
很显然是明显弱于llama3的，但是请对apple的人工评估抱有幻想！如下图~
PS：给公众号添加【星标⭐️】不迷路！您的点赞、在看、关注 是我坚持的最大动力！
欢迎多多关注公众号「NLP前沿」，加入交流群，交个朋友吧，一起学习，一起进步！
最新文章推荐阅读