一道涉及数学、生物、伦理的AI测试题，来测测各家大模型的推理能力

我们聊的问题是：在知识掌握层面上，sft 后的模型为什么不如 pretrain 模型效果好？或者说，为什么 sft 后的模型在知识掌握上会有幻觉？

总结了过去一年在RAG实践的关键模块，希望本文总结对大家有一定的帮助。

近期跟很多人再聊大模型增量预训练的内容，得到了一些比较有趣的结论，这里把不敏感信息分享给大家。

再凑个热闹，测测Kimi新开的k0-math

Prompt工程的本质是将人类非线性思维转化为机器可理解的线性逻辑。这是一种从复杂到简单 、从发散到收敛 的思维重构过程。我们是需要将我们熟知的思维模式，翻译成机器能够“稳定”识别的模式。与人之间沟通不同，llm 对于上下顺序要求特别高。从"思考"的角度来看：人脑 = 并联电路（非线性）特性：多通道并行传输高容错性但不稳定需要"降压器"(工具)稳定输出，例如书写、流程图、思维导图类工具，让我们能够

各位老板们，现在应该有信心了吧，赶紧造数据，超越openai o1不是梦。

开放注册｜中国中文信息学会2024学术年会暨第三届全国大模型智能生成大会（CIPS-LMG2024）

1B模型，1T token，ceval 38%准确率，cmmlu 33%准确率。在资源受限的情况下，也进行了工程优化。

前段时间在清洗 sft 的数据，不得不说这工作是真磨人啊，细节多到让人抓狂。

分享利用 OpenRLHF 学习 RLHF 的一些心得

在角色扮演这个领域也爬滚打了一段时间，分享一些自己的心得和思考。

LLM实践系列，关于大模型拒绝采样的第二篇

实测腾讯开源的Hunyuan-Large大模型

最近学强化的过程中，总是遇到“拒绝采样”这个概念，我尝试科普一下，争取用最大白话的方式让每个感兴趣的同学都理解其中思想。

聊一下 o1 带来和改变了什么。

我的表情包有冒犯到你吗？

受到协同矩阵分解的启发提出了CartesianMoE，通过“相乘”的方式更有效地共享知识，实验结果显示其在困惑度、下游任务性能及路由鲁棒性方面优于现有MoE模型。

今天给大家带来知乎@真中合欢的一篇文章，《LLM实践--数据去重：Simhash&Minhash 原理分析&代码实现》数据处理是LLM pretrain的核心环节，去重又是数据处理的重要组成部分，这篇文章就分享一下数据去重的一般做法。我写东西的主要是想学会什么，而仅仅是了解什么，所以回答和文章大多都会附上代码，这篇也是一样。这个系列的文章估计废话会比较多。数据去重大致可以分为三个粒度：文档粒度、段

今天给大家带来知乎@真中合欢的一篇文章，《LLM实践--Tokenizer训练》。经过了数据收集、筛选、去重，马上就可以开始训练实验了。但是在实验之前，我们还需要先获取一个语言模型的基石：分词器（Tokenizer）。Tokenizer 的作用是对一条文本数据进行切分、词表映射，得到这条文本的token序列。Tokenizer可以自己训练，也可以从目前开源的模型中扒一个来用，用开源Tokenize