Apple 刚刚推出了全新的 MacBook Pro，声称其配备的 128 GB 显存和全新 M4 Max 芯片“能够轻松处理拥有 2000 亿参数的大模型”。

本文讨论视觉语言模型(VLM)，解释开发多模态神经网络用于图像搜索的基础知识和训练过程，探讨其设计原则、挑战和架构。展示如何使用支持 AI 的搜索产品来处理图像和文本，以及引入 VLM 后的收益。

ARIA 开放的多模态原生 MoE 模型，在各种多模态、语言和编码任务中表现一流。ARIA 对每个视觉和文本 token 分别激活了 39 亿和 35 亿个参数。它在多模态任务上超越了 Pixtral-12B 和 Llama3.2-11B。

为应对美国的限制,华为开启了一个由政府支持的大规模发展项目,旨在建立国内半导体供应链。通过并购和创业,华为现已控制了涵盖晶圆制造材料、设备、光学、芯片制造(专用、存储器和先进逻辑)和芯片设计的公司。这些努力涵盖了整个AI和移动生态系统。

AI 新云是专注于提供 GPU 计算租赁的新型云计算服务提供商。本文我们将揭开运行新云的各个层面，包括如何制定集群物料清单 (BoM)、应对部署、资金和日常运营的复杂性。我们还将提供关于 BoM 和集群架构的几项重要建议。

通过本文几个任务实测，我们体验了 OpenAI o1 强大的推理能力，其思考过程也向我们揭示了更多模型生成答案过程的细节。尽管 o1 还存在一些不足，相信在不久的将来会一一克服。

本文将探讨RAG的一些常见缺陷,语言模型微调的挑战,并概述知识蒸馏(KD)的基本概念,同时提供一个实际示例来说明其应用。

短视频平台上随手一搜“AI 视频”，迎面而来的各类精美作品甚至能以假乱真，让你置身赛博空间无法自拔。很多小伙伴会问，这些博主都是用什么工具制作的 AI 视频？是否收费？是否需要排队内测？步骤是不是很麻烦？生成次数有没有限制？本文为你揭晓

这篇文章深入探讨了RLHF（基于人类反馈的强化学习）的起源、动机、技术和应用，以及它如何彻底改变了生成式语言模型的训练方法。文章强调了RLHF相比传统有监督学习方法的优势，特别是在解决训练目标与实际期望输出之间不一致问题方面的作用。

细数那些在生成式浪潮中赚到钱的公司

文章涵盖了 LLMs 的各种扩展定律，研究了模型的损失如何随着训练数据和参数数量的增加而变化。讨论包括对用于解释 LLM 扩展定律的等损失等高线和等 FLOP 切片的解释，提供了关于优化计算资源的见解。

仅解码器架构的流行来自于其简单性、良好的零样本泛化能力，以及较低的训练成本就能达到合理的性能。编码器组件通过能够从非文本输入中提取信息来支持"内置多模态性"，这可能对未来一代 LLM 至关重要。

点击下方 卡片 ，关注“ 慢慢学AIGC ”徒手计算 CLIP ✍️对比语言-图像预训练模型（Contrastive Language–Image Pre-training，简称 CLIP）是 OpenAI 的一项开创性工作，重新定义了计算机视觉和自然语言处理的交集。 它是我们今天看到的所有多模态基础模型的基础。CLIP 模型的目标是学习一个文本和图像的共享嵌入空间。CLIP 是如何计算的呢？下面

bfloat16 不是 float16，但数值范围上更胜一筹

英伟达市值巅峰，谱写了怎样的传奇故事，让我们拭目以待

模型剪枝（Model Pruning）是一种模型压缩方法，对深度神经网络的稠密连接引入稀疏性，通过将“不重要”的权值直接置零来减少非零权值数量，其历史可追溯到上世纪 90 年代初。

Nvidia 推出价格仅 99$ 的 Jetson Nano，本文将介绍如何开始使用它，包括首次启动，安装系统软件包，配置 Python 开发环境，安装 Keras 和 TensorFlow，修改默认相机，以及运行分类和目标检测任务。

本篇继续深入探索 XLA 具体做了哪些事情。

接着上文，我们看下代码实现。首先看 Q-Network 和 Target Q-Network 构建过程：de

专家混合（MoE）模型是一类 Transformer 模型。与传统的密集模型不同，MoE 采用“稀疏”方法，其中每个输入仅使用模型的部分组件（即“专家”）。这种设置允许更高效的预训练和更快的推理，同时管理更大的模型规模。