近日OpenAI团队向我们介绍了他们最新推出的"强化微调"(Reinforcement Fine-Tuning)技术。作为AI界的一大创新，这项技术有望让大型语言模型在特定领域内达到专家级水准。视频见于文末，视频对话文字版稿件(已经翻译为中文)，见于另一篇小作文(已同步发送)。
传统的监督微调虽然能调整模型的风格和语气等，但无法从根本上提升模型的推理和决策能力。而强化微调则通过强化学习算法，在给定任务中有针对性地增强导向正确答案的思路、削弱错误推理路径，让模型更快学会高水准的专业推理能力。
在演示中，OpenAI展示了将其mini版本模型o1-mini通过强化微调，应用于罕见病基因诊断任务上的成果。经过训练，o1-mini不仅能从症状列表中总结出可能的致病基因，并按可能性排序，还能生成解释推理过程的文字说明。最终其在该任务上的表现超越了未经微调的o1大模型。
Justin Reese博士作为生物学家代表，现场分享了这一创新对罕见病诊断领域的应用价值。他表示，结合大模型的强大语义推理能力及生物信息学工具，必将有助于为罕见病患者减少漫长等待诊断的遭遇。
除医疗健康外，强化微调在法律、金融及工程等多个领域都展现出广阔的应用前景。OpenAI计划明年对这项技术通过API开放给更多企业和研究机构，以期推动AI模型能力的飞跃进化。
当被问及这项技术背后的关键在哪里时，工程师John指出，用户可以借助自有数据集来定义任务，并利用OpenAI提供的强化学习框架和评分机制进行微调。用户的专业知识融入其中，成为激活模型获得专家能力的关键一环。
总的来说，强化微调让大型AI模型能够更快更精准地学习特定领域的知识和推理方式，有望让它们从通用智者进化为各领域的专家、助手和分析师，为人类智能化贡献力量。借助这项创新，OpenAI不仅扩展了AI在传统纯文本领域的应用边界，更为科研及产业界描绘了与AI并肩推进知识创新的美好愿景。
OpenAI关于强化微调的介绍：