论文题目：OLMo:Accelerating the Science of Language Models
论文链接：https://allenai.org/olmo/olmo-paper.pdf
已开源GitHub：https://github.com/allenai/OLMo
这篇论文介绍了 OLMo （Open Language Model），这是一个真正开放的大型语言模型（LLM），旨在推动语言建模科学的研究。 随着商业价值的增加，最强大的语言模型变得封闭，其训练数据、架构和开发细节未公开。 为了解决这一问题，Allen Institute for Artificial Intelligence（AI2）发布了OLMo，包括模型权重、训练和评估代码、训练数据，以及用于构建和研究语言模型的框架。
OLMo提供了 1B、7B和65B（仍在训练中） 三种规模的模型。这些模型基于Vaswani等人（2017）提出的解码器-only Transformer架构，并在多个硬件类型上进行了训练。OLMo的发布包括了从数据到训练再到评估工具的整个框架，以及在Apache 2.0许可下发布的所有代码和权重。
论文详细描述了OLMo框架的组成部分，包括 OLMo模型及其架构、预训练数据集Dolma，以及评估框架 。Dolma是一个多样化的、多源的语料库，包含了来自不同数据源的 3T （3万亿）标记。OLMo的评估分为在线评估和离线评估两个阶段，使用Catwalk框架进行下游任务评估和Paloma进行基于困惑度的评估。
在性能方面， OLMo-7B 在多个下游任务上表现出色，与公开可用的其他模型相比，它在某些任务上表现最佳，在大多数任务上保持在 前三名 。此外，OLMo在Paloma的评估中也显示出竞争力，尤其是在与训练数据分布相似的任务上。
论文还讨论了OLMo在预训练过程中的 能源消耗和碳足迹 ，强调了在模型开发过程中考虑环境影响的重要性。最后，论文提到了未来工作的方向，包括发布训练日志、权重和偏差日志、以及经过指令调整和 RLHF （强化学习人类反馈）的适应性OLMo模型。
总的来说，OLMo的发布旨在促进开放研究，鼓励创新，并为理解语言模型及其在现实世界中的应用提供支持。
资源汇总：
Weights https://huggingface.co/allenai/OLMo-7B
Code https://github.com/allenai/OLMo
Data https://huggingface.co/datasets/allenai/dolma
Evaluation https://github.com/allenai/OLMo-Eval
Adaptation https://github.com/allenai/open-instruct
推荐阅读
- • TinyGPT-V：小而强大，轻量级骨架打造高效多模态大语言模型
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • 2023年最新LLM发展时间线一览（ChatGPT、LLaMA等）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。