继 GPT-4 发布之后，多模态正成为大模型研究和应用的主流趋势之一。
为了促进这一领域的迅速发展，近期智谱AI 和清华大学 KEG 实验室开源了 基于 ChatGLM-6B 的多模态对话模型 VisualGLM-6B 。
开源之后，一方面大家迅速部署了该模型，并发出许多有趣的demo：
清华开源图文对话大模型！表情包解读有一手，奇怪的benchmark增加了（来源：量子位）
另一方面，则有不少高校和开发者基于 VisualGLM 微调出具有使用价值的项目，其中尤为突出的包括由 澳门理工大学团队开发的 XrayGLM —— 一个能读X光片的大模型 ：
为了让开发者更加容易地理解 VisualGLM，并能够在自己机器上部署和微调 VisualGLM，以开发出适用于自己领域的多模态大模型，我们邀请了 VisualGLM 的作者 以及 XrayGLM 的作者 来给我们从头讲解相关内容，并做详细的代码实践。
作为能够理解图像的中文开源对话模型，VisualGLM 目前仍处于 v1 版本，仍然有相当多的局限性。这一方面，要求我们加快研发速度；另一方面，也离不开 开发者社区共同建设 。
我们邀请大家一起观看本次 「微调培训」 ，并希望能微调出更多 有趣且有用 的多模态大模型。
培训时间：2023/5/30 19:00-21:30
腾讯会议： 677-121-000
微调培训主题
课程 1 - VisualGLM：理论、部署、微调
讲师：丁铭
项目简介：
VisualGLM-6B 是一个开源的，支持 图像、中文和英文 的多模态对话语言模型，语言模型基于ChatGLM-6B，具有 62 亿参数；图像部分通过训练BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。
VisualGLM-6B 依靠来自于CogView数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案。
VisualGLM-6B 由SwissArmyTransformer(简称
sat
) 库训练，这是一个支持Transformer灵活修改、训练的工具库，支持Lora、 P-tuning等参数高效微调方法。本项目提供了符合用户习惯的huggingface接口，也提供了基于sat的接口。
结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需8.7G显存）。
项目地址：
https://github.com/THUDM/VisualGLM-6B
课程 2 - XrayGLM：原理、数据、微调
讲师：王荣胜
项目简介：
最近，通用领域的大语言模型 (LLM)，例如 ChatGPT，在遵循指令和产生类似人类响应方面取得了显著的成功，这种成功间接促进了多模态大模型的研究和发展，如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA
然而，此类多模态大模型却很少出现在医学领域的研究中，阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作，然而其数据为英文诊断报告，不利于促进中文领域医学多模态大模型的研究发展。
为此，我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。
项目链接：
https://github.com/WangRongsheng/XrayGLM
欢迎入群交流
共建多模态大模型生态（本二维码失效，请到公众号后台添加入群）
- end -