本系列第一期，介绍最简单、最直接的蒸馏法。

“优化”这件事，机器+算法可以做的更好。

本期论文分享，介绍一种半自动化地迭代NLP模型的方法：Targeted Data Generation。

厘清不同范式的差异，有助于理解LLM标注的本质。

核心是利用无监督学习理论对Prompt进行效果评估。

第二期，介绍另一种用LLM来标注的方法：多角度标注 + 弱监督学习法。

一次对验证集的重新审视，揭示了弱监督学习的真相 - 比你想象的更“弱”，大语言模型的研究者也需谨慎。

其本质是对文本分布的自然语言表征。

引入Bias Calibration技术，Qwen-7B-Chat的Zero-Shot标注效果明显提升（+3%），但Few-Shot效果还有待进一步优化。

系列第三期，在TNEWS数据集上，实地考察中文开源LLM的标注效果。

投放标注前，先用LabelFast，快速解决简单问题。

更新3篇工作，一个是横向研究、一个是纵向研究、一个是新方法。

对参数进行合并，对标Multi Task Learning。

省钱，同时效果也不错。

本文介绍角色扮演的技术实现、数据合成和效果评测方法。

中文世界的Foundation Embedding Model。

开发一款文字冒险游戏的过程与感想。

数据金矿的开采指南。

一边看论文，另一边也要动手实践。

AI是AI在scale路上的好帮手。