点击下方 卡片 ，关注“ 慢慢学AIGC ”前言人工智能随着 DeepSeek R1 的发布迈出了重要的一步，这是一款开源模型，在高级推理任务上对 OpenAI 的 o1 发起了挑战。 DeepSeek R1 采用了一种创新技术——群体相对策略优化（Group Relative Policy Optimisation，GRPO），并结合多阶段训练方法，在数学、编程和通用推理等领域树立了新的基准

介绍了 DeepSeek R1 推理模型构建过程和一些相关工作

点击下方 卡片 ，关注“ 慢慢学AIGC ”内容来源：DeepSeek 论文作者：DeepSeek-AI项目页面 : https://github.com/deepseek-ai/Janus摘要在本研究中，我们提出了 Janus-Pro ，这是之前工作 Janus 的高级版本。具体而言，Janus-Pro 引入了以下改进：优化的训练策略 ；扩展的训练数据 ；更大模型规模的扩展 。通过这些改进，

AI 成本控制领域的领导地位、真实的训练成本、闭源模型利润率如何影响英伟达 H100 定价飙升、补贴推理定价策略、出口管制政策与 MLA 解析

点击下方 卡片 ，关注“ 慢慢学AIGC ”内容来源： DeepSeek R1 论文摘要我们介绍了我们第一代推理模型：DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是一个通过大规模强化学习(RL)训练的模型，在没有监督微调(SFT)作为初步步骤的情况下，展现出了显著的推理能力。通过强化学习，DeepSeek-R1-Zero 自然地形成了许多强大而有

随着我们继续推动 AI 可以实现的边界，保持警惕并致力于保护这些卓越技术背后的数据的完整性和隐私至关重要。

老黄 PPT 里的数字陷阱，你注意到了吗？

在本文中，我们分享了在部署和维护配备 10,000 个 PCIe A100 GPU 的 Fire-Flyer 2 AI-HPC 系统过程中获得的经验和见解。

训练性能、用户体验、可用性、英伟达、AMD、通用矩阵乘法(GEMM)、注意力机制、网络连接、InfiniBand(无限带宽)、Spectrum-X以太网、RoCEv2以太网、SHARP(可扩展分层聚合和减少协议)、总拥有成本

O1 Pro 架构、推断训练基础设施、Orion 和 Claude 3.5 Opus “失败”原因

随着性能更强的 7B 至 70B 模型的出现，在本地机器上运行大语言模型的推理正变得越来越流行。现代 AI 软件真的需要 GPU 吗？本文将为你释疑。

本文提出了一种 8 位浮点（FP8）格式，包括两种编码方式：E4M3 以及 E5M2。在各种图像和语言任务中验证了 FP8 格式的有效性，其效果与 16 位训练所达到的结果质量相当。

本文介绍了Allegro，一种在质量和时间一致性方面表现卓越的高级视频生成模型，提出了一种用于训练高性能、商业级视频生成模型的方法，涵盖数据、模型架构、训练流程和评估等。Allegro优于现有的开源模型和大多数商业模型，仅次于海螺和可灵。

本文将从 DRAM 的背景和历史探讨内存墙的问题及解决方案，如延展 HBM 路线图，以及存内计算(CIM)、新型存储器如铁电RAM(FeRAM)或磁性 RAM(MRAM)，以及即将到来的 4F2 DRAM 和 3D DRAM。

Apple 刚刚推出了全新的 MacBook Pro，声称其配备的 128 GB 显存和全新 M4 Max 芯片“能够轻松处理拥有 2000 亿参数的大模型”。

本文讨论视觉语言模型(VLM)，解释开发多模态神经网络用于图像搜索的基础知识和训练过程，探讨其设计原则、挑战和架构。展示如何使用支持 AI 的搜索产品来处理图像和文本，以及引入 VLM 后的收益。

ARIA 开放的多模态原生 MoE 模型，在各种多模态、语言和编码任务中表现一流。ARIA 对每个视觉和文本 token 分别激活了 39 亿和 35 亿个参数。它在多模态任务上超越了 Pixtral-12B 和 Llama3.2-11B。

AI 新云是专注于提供 GPU 计算租赁的新型云计算服务提供商。本文我们将揭开运行新云的各个层面，包括如何制定集群物料清单 (BoM)、应对部署、资金和日常运营的复杂性。我们还将提供关于 BoM 和集群架构的几项重要建议。

通过本文几个任务实测，我们体验了 OpenAI o1 强大的推理能力，其思考过程也向我们揭示了更多模型生成答案过程的细节。尽管 o1 还存在一些不足，相信在不久的将来会一一克服。

本文将探讨RAG的一些常见缺陷,语言模型微调的挑战,并概述知识蒸馏(KD)的基本概念,同时提供一个实际示例来说明其应用。