随着我们继续推动 AI 可以实现的边界，保持警惕并致力于保护这些卓越技术背后的数据的完整性和隐私至关重要。

老黄 PPT 里的数字陷阱，你注意到了吗？

在本文中，我们分享了在部署和维护配备 10,000 个 PCIe A100 GPU 的 Fire-Flyer 2 AI-HPC 系统过程中获得的经验和见解。

训练性能、用户体验、可用性、英伟达、AMD、通用矩阵乘法(GEMM)、注意力机制、网络连接、InfiniBand(无限带宽)、Spectrum-X以太网、RoCEv2以太网、SHARP(可扩展分层聚合和减少协议)、总拥有成本

O1 Pro 架构、推断训练基础设施、Orion 和 Claude 3.5 Opus “失败”原因

随着性能更强的 7B 至 70B 模型的出现，在本地机器上运行大语言模型的推理正变得越来越流行。现代 AI 软件真的需要 GPU 吗？本文将为你释疑。

本文提出了一种 8 位浮点（FP8）格式，包括两种编码方式：E4M3 以及 E5M2。在各种图像和语言任务中验证了 FP8 格式的有效性，其效果与 16 位训练所达到的结果质量相当。

本文介绍了Allegro，一种在质量和时间一致性方面表现卓越的高级视频生成模型，提出了一种用于训练高性能、商业级视频生成模型的方法，涵盖数据、模型架构、训练流程和评估等。Allegro优于现有的开源模型和大多数商业模型，仅次于海螺和可灵。

本文将从 DRAM 的背景和历史探讨内存墙的问题及解决方案，如延展 HBM 路线图，以及存内计算(CIM)、新型存储器如铁电RAM(FeRAM)或磁性 RAM(MRAM)，以及即将到来的 4F2 DRAM 和 3D DRAM。

Apple 刚刚推出了全新的 MacBook Pro，声称其配备的 128 GB 显存和全新 M4 Max 芯片“能够轻松处理拥有 2000 亿参数的大模型”。

本文讨论视觉语言模型(VLM)，解释开发多模态神经网络用于图像搜索的基础知识和训练过程，探讨其设计原则、挑战和架构。展示如何使用支持 AI 的搜索产品来处理图像和文本，以及引入 VLM 后的收益。

ARIA 开放的多模态原生 MoE 模型，在各种多模态、语言和编码任务中表现一流。ARIA 对每个视觉和文本 token 分别激活了 39 亿和 35 亿个参数。它在多模态任务上超越了 Pixtral-12B 和 Llama3.2-11B。

AI 新云是专注于提供 GPU 计算租赁的新型云计算服务提供商。本文我们将揭开运行新云的各个层面，包括如何制定集群物料清单 (BoM)、应对部署、资金和日常运营的复杂性。我们还将提供关于 BoM 和集群架构的几项重要建议。

通过本文几个任务实测，我们体验了 OpenAI o1 强大的推理能力，其思考过程也向我们揭示了更多模型生成答案过程的细节。尽管 o1 还存在一些不足，相信在不久的将来会一一克服。

本文将探讨RAG的一些常见缺陷,语言模型微调的挑战,并概述知识蒸馏(KD)的基本概念,同时提供一个实际示例来说明其应用。

短视频平台上随手一搜“AI 视频”，迎面而来的各类精美作品甚至能以假乱真，让你置身赛博空间无法自拔。很多小伙伴会问，这些博主都是用什么工具制作的 AI 视频？是否收费？是否需要排队内测？步骤是不是很麻烦？生成次数有没有限制？本文为你揭晓

这篇文章深入探讨了RLHF（基于人类反馈的强化学习）的起源、动机、技术和应用，以及它如何彻底改变了生成式语言模型的训练方法。文章强调了RLHF相比传统有监督学习方法的优势，特别是在解决训练目标与实际期望输出之间不一致问题方面的作用。

细数那些在生成式浪潮中赚到钱的公司

文章涵盖了 LLMs 的各种扩展定律，研究了模型的损失如何随着训练数据和参数数量的增加而变化。讨论包括对用于解释 LLM 扩展定律的等损失等高线和等 FLOP 切片的解释，提供了关于优化计算资源的见解。

仅解码器架构的流行来自于其简单性、良好的零样本泛化能力，以及较低的训练成本就能达到合理的性能。编码器组件通过能够从非文本输入中提取信息来支持"内置多模态性"，这可能对未来一代 LLM 至关重要。