在Cursor公司发布的安全声明中，无意中透露了其代码库索引技术的一些细节。可以在https://www.cursor.com/security#certifications 看到。虽然描述较为简略，但仍然可以看到Cursor实现代码检索增强生成(RAG)的基本方法，值得我们学习借鉴：他们采用Turbopuffer技术，将代码分割成块并生成向量嵌入，这是代码RAG的基础。Cursor每隔10分钟就

生成式模型在解码时，通常的策略是根据概率分布依次生成下一个token。然而，如果生成的内容并不好，一般是没法回头修改的，或者很难自动调整生成的方向。针对这一问题，分享一下今天这个项目，Backtrack Sampler。通过设计自定义的采样策略，允许模型在生成过程中进行回溯和调整，避免不理想的输出。简单来说，它让AI在生成内容时有“反悔”的机会，从而生成更符合预期的结果。目前内置了5个策略，当然可

论文笔记分享，标题：The Surprising Effectiveness of Test-Time Training for Abstract Reasoning测试时训练（TTT）是个新概念：在推理过程中使用从输入数据派生的损失暂时更新模型参数文章的结论：TTT 显著提高了 ARC 任务上的性能，与基线微调模型相比，准确率提高了高达 6 倍；将 TTT 应用于一个 8B 参数的语言模型，在

ChatGPT作为一个强大的学习辅助工具，能够帮助学生培养严谨的思维方式和清晰的写作能力，协助他们理解复杂概念，并对草稿提供反馈意见。然而，某些使用ChatGPT的方式可能会阻碍学习过程。比如让AI直接生成文章而不是自己动手写作，这样会使学生失去练习和提升能力的机会，也无法深入理解学习材料。对于那些致力于提升写作和思维能力的学生来说，以下是一些深化学习过程的ChatGPT使用方法：官方blog:h

组织开发了一个名为的开源项目。这个项目的目标是提供一个高效、可解释且精度高的快速图检索增强生成（Fast GraphRAG）框架。该框架专门为Agent驱动的检索工作流程设计，能够轻松融入检索管道中，提供先进的RAG功能，同时避免了构建和设计Agent工作流程的繁琐复杂性。项目的宗旨是增加全球成功的通用人工智能（GenAI）应用数量。为实现这一目标，他们开发了记忆和数据工具，使LLM应用能够利用高

在后Chinchilla时代的研究里边，今年夏天随着BitNet论文的发布，量化相关的热潮达到顶峰。论文里边提出了一个三元量化方案（-1、0、1），也就是1.58比特。哈佛、斯坦福、麻省理工这些高校的大佬最近联合发了一个研究，标题：Scaling Laws for Precision通过465次预训练实验，对Chinchilla扩展定律进行了量化修正，研究发现量化效益在FP6处趋于平稳。一些重要发

本周是开源社区编码模型的狂欢，前有OpenCoder后又Qwen2.5.1Qwen 2.5.1 Coder它来了！24小时内各种内测消息，README也更新了Aider上7B模型可以达到63.9%了，非常恐怖的成绩@junyang Lin 继续预热最后，是刚开源的OpenCoder， 一个完全开放的代码 LLM📄 论文链接：arxiv.org/abs/2411.04905🌐 项目主页：open

早上微软的GraphRAG框架发布0.4.0版本。更新了增量更新和DRIFT搜索能力。更新特性：增量更新：允许系统在已有知识基础上进行更新，而无需完全重建图谱DRIFT搜索机制，是一种结合本地与全局搜索的方法。通过整合社区信息，提升了查询的详细性和准确性，能够更好地处理复杂查询。可以让原本的local search，获得更全面的信息响应GraphRAG 0.4.0经过代码重构，优化了系统架构，使其

论文笔记分享，标题A COMPARATIVE STUDY ON REASONING PATTERNS OF OPENAI’S O1 MODEL》，代码开源：https://github.com/Open-Source-O1/o1_Reasoning_Patterns_StudyOpenAI的o1模型在推理时候花费更多的时间，可以大幅提高LLMs的推理能力。然后呢，这篇文章就以gpt4o为基础，先论

好久没分享过综述了，今天分享一个最新的RAG综述，来自卡内基梅隆大学。标题：A Comprehensive Survey of Retrieval-Augmented Generation (RAG): Evolution, Current Landscape and Future Directions引言 =======检索增强生成技术（RAG）主要由两个关键部分构成：其一是检索组件，主要职责是

周末，huggingface、meta、amd 均开源了SLM， 最优秀的是huggingface家的smolLm2，同规模能打过qwen2.5、llama3.2hf: https://huggingface.co/collections/amd/amd-olmo-6723e7d04a49116d8ec95070OLMO 完全开源系列，AMD-OLMo 是由 AMD 在 AMD Instinct™

论文笔记分享，标题：Meta-Chunking: Learning Efficient Text Segmentation via Logical Perception，代码开源:https://github.com/IAAR-Shanghai/Meta-Chunking/tree/386dc29b9cfe87da691fd4b0bd4ba7c352f8e4ed切块切的好，对下游任务是很有帮助的。

上个周，OpenSPG 开源了KAG 框架，通过利用知识图谱和向量检索的优势，在四个方面双向增强LLM和知识图谱，以解决 RAG 存在的挑战（RAG 存在着向量相似度与知识推理相关性差距大、对知识逻辑（如数值、时间关系、专家规则等）不敏感等问题，这些都阻碍了专业知识服务的落地。）。整个框架包括kg-builder和kg-solver两部分kg-builder实现了对LLM友好的知识表示，支持无sc

论文笔记分享，标题VISRAG: VISION-BASED RETRIEVAL-AUGMENTED GENERATION ON MULTI-MODALITY DOCUMENTS，来自面壁智能，代码开源：https://github.com/OpenBMB/VisRAG这篇文章主要是开源一个基于VLM的RAG流程。通过解决传统RAG系统只利用了文本，浪费了视觉信息（布局和图像）的问题，但是往往这些视

今天给大家分享一个开源框架，一周2K star。 一直做算法的同学应该对AutoML很熟悉，就是把数据扔进去，自动给你各种炼丹调模型，最后输出最好的结果配置。今天这个框架叫AutoRAG，自动寻找适合你自己数据的最佳 RAG 流程。 自动选择最佳的高级RAG技巧，自动的评估整个RAG系统。项目地址：https://github.com/Marker-Inc-Korea/AutoRAG启动，需要提供

论文笔记分享，标题Beyond Text: Optimizing RAG with Multimodal Inputs for Industrial Applications多模态VL模型很早的就进入了这个圈子，早的有LLava，近一点的gpt4o。这个内容的主要想论证一个事情，在工业界，同时包含文本和图像的RAG系统，相比于单文本的 RAG 系统会提高整体性能？当然这个问题的结论是，会提高，所以

Anthropic昨晚3连击，2个版本模型更新 + 一个新的交互式APIClaude 3.5 Sonnet更新新款 3.5 版 Sonnet 在整体的智力和各个能力上都有所提升。新版的 Sonnet 3.5 以无需复杂技巧，就可以在SWE-bench上达到SOTA的成绩，得分高达 49%，击败了包括 OpenAI o1 preview 模型和 为Agentic coding 设计的专用模型在内的所

今天分享一个资源列表，openai，google，microsoft，anthropic 这些厂最近都发布了自动生成/优化提示词相关的工作，这个方向算是ai巨头之间的共识把。openai metaprompttutorial: https://platform.openai.com/docs/guides/prompt-generationgoogle :blog: https://develop

论文笔记分享，标题GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models，来自Apple这篇文章的结论是：LLM 无法进行真正的推理。并做出了一系列的实验论证，大模型仅仅是记住了目标序列。10月份有很多文章在论证这个事情。比如之前写过一篇推文介绍大模型在规划的能力上

论文笔记分享， 标题Inference Scaling for Long-Context Retrieval Augmented Generation，来自google deepmindopenai o1通过让扩展推理，让模型在推理方面达到非常优异的性能。google这篇内容，核心想验证2个点RAG系统的性能，如何从推理计算扩展中受益通过建立RAG性能和推理参数之间的关系模型来预测给定预算下的最佳