本周是开源社区编码模型的狂欢,前有OpenCoder后又Qwen2.5.1
Qwen 2.5.1 Coder它来了!24小时内各种内测消息,README也更新了
Aider上7B模型可以达到63.9%了,非常恐怖的成绩
@junyang Lin 继续预热
最后,是刚开源的OpenCoder, 一个完全开放的代码 LLM
- 📄 论文链接:arxiv.org/abs/2411.04905
- 🌐 项目主页:opencoder-llm.github.io
- 🤖 模型下载:https://huggingface.co/collections/infly/opencoder-672cec44bbb86c39910fb55e
完全开源系列模型
- 1️⃣ 全面开源:OpenCoder 不仅开放了模型权重和即将推出的推理代码,还提供了完整的训练数据清洗代码、高质量的合成数据、全套 ckpt,以及超过 450 万条 SFT 数据集,真正实现了全方位的开源。
- 2️⃣ 丰富的实验分析:OpenCoder 对多种数据清洗策略和训练流程进行了详细的消融实验分析,包括 file-level 和 repo-level 去重等不同层次的实验,确保了模型性能的深入探索和验证。
- 3️⃣ 高质量的合成数据:我们提供了完整的合成数据生成流程,并且提供了超过 450 万条的 SFT 数据集,为模型的训练和验证提供了坚实的数据基础。
- 4️⃣ 卓越的性能:OpenCoder 在多个代码 LLM 评估基准上均取得优异成绩,达到开源代码大模型的一流水平。