卷出天际？用了240T数据！苹果完全开源新大模型DCLM

Apple新开源了一个7B的模型，完全了开源了权重、训练代码、数据集。 在MMLU上得分63.72%，高于Mistral，低于LLama3。

代码：https://github.com/mlfoundations/dclm 数据: https://huggingface.co/datasets/mlfoundations/dclm-baseline-1.0 论文: DataComp-LM: In search of the next generation of training sets for language models

论文很干，88页。效果的核心还是数据质量，他们从 DCLM-POOL 开始，这是一个源自 Common Crawl 的 240 T个token的语料库（迄今为止最大的语料库），并提供了 5 个尺度的数据集设计的缩放趋势的研究：

每个尺度内有两个方向：过滤（必须来自 DCLM-Pool，没有任何外部数据，但可以使用其他模型进行过滤/释义）和混合（允许外部数据）。一个“baseline”过滤示例如下:

那 DCLM-Pool 和 FineWeb 相比如何呢？DCLM 在任何规模上都训练得更好！

论文详细介绍了数据质量相关的技术，感兴趣的强烈建议查看原文。

PS：给公众号添加【星标⭐️】不迷路！您的点赞、在看、关注 是我坚持的最大动力！

欢迎多多关注公众号「NLP前沿」，加入交流群，交个朋友吧，一起学习，一起进步！

最新文章推荐阅读

• RAG应用要如何吃到大模型长上下文的红利？-LongRAG
• 打败GPT4！仅用1/24成本的混合智能体架构逆袭 (mixture of agents)
• 最近爆火的无矩阵乘法的大模型架构是怎么一回事？
• Meta AI开源新Agent框架 “哈士奇”，对复杂推理进行优化的新智能体，效果起飞

RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！