大语言模型的诞生注定会给各行各业带来颠覆性的变革。
运维（Ops）便是其中之一。随着大模型在逻辑推理方面的强大能力，利用大模型解决 运维问题，已经成为该领域的一个显著趋势。
尽管如此，大模型固有的问题，如幻觉现象、数据依赖性以及较低的可解释性，对其在运维领域的应用提出了严峻挑战。
为了应对这些挑战，在中国计算机学会（CCF）的支持下，我们与多家单位合作，共同推出了 「2024年（第七届）CCF国际 AIOps 挑战赛」 。本次赛事由中国计算机学会主办，中国计算机学会互联网专委会、清华大学、中国科学院计算机网络信息中心承办，中兴通讯、智谱AI、中南大学计算机学院、清华大学计算机系、必示科技协办。
通过此次赛事，我们希望推动大模型在运维领域的应用研究，促进技术的创新与发展，同时提高模型在实际运维场景中的性能和可靠性。
报名地址：https://aiops-challenge.com
赛题描述
国际AIOps挑战赛，由清华大学携手中国计算机学会（CCF）共同发起，自2018年起已连续成功举办六届。
在2024年的第七届赛事中，我们将采用 RAG 技术（提供中兴通讯提供的真实场景中的 CT通信网络运维数据），来探索如何将大模型与私域知识进行高效结合，以期解决大模型在垂直领域知识问答中面临的领域知识缺失、公私域知识冲突、多模态图表并存等一系列挑战。
参赛队伍需要通过私域文本处理、数据库构建、基座模型微调、Prompt工程等技术，构建一个针对运维领域的检索增强型问答系统。他们也可以选择在主办方提供的基础RAG系统之上，对特定模块进行优化改进，以提升私域知识问答的准确性。我们将依据公开的运维领域文档问题及专家标准答案，对参赛团队的成果进行评估，并定期更新排行榜。
本届挑战赛设定了两个赛道：赛道一采用开源的 Qwen1.5-14b 模型，参赛团队可对模型进行微调，进而应用于 RAG 问答；赛道二则要求参赛团队通过调用 GLM-4 的 API 接口，模拟在无法对模型进行微调的特定运维场景下进行问答。各参赛队伍可根据自身情况选择一个或两个赛道参加，最终成绩将以最好排名计算。
赛事日程
- 报名：2024年5月12日-6月11日。请在 aiops-challenge.com 进行注册，实名认证审核通过后，即可点击“参加比赛”报名。
- 初赛：2024年6月12日-7月5日。每个赛道选择至少前10名赛队伍进入复赛，共20余比赛队伍进入复赛。原则上按初赛排行榜成绩由高到低顺序排序晋级，如有队伍在两个赛道均有成绩，选择排名最高的赛道做最终成绩。初赛符合代码及模型审核要求且通过实名认证的参赛队伍将进入复赛。晋级名单将于7月19日前公布。
- 复赛：2024年7月19日-8月1日。复赛会根据每个赛道的排名、技术报告完整度和创新性等多个维度组织复赛专家评审会，两赛道合计筛选10支队伍进入决赛。
- 决赛：暂定2024年9月，具体时间另行通知。选手现场答辩，评委即时评分，结合复赛成绩并加权计算最终得分，据此排名颁发一、二、三等奖。
奖项设置
本次大赛奖金池共计 14 万元人民币现金奖励，具体如下（以下奖金均为税前）：
- 一等奖1名，奖金¥50,000；
- 二等奖2名，奖金¥30,000；
- 三等奖3名，奖金¥10,000。
大赛报名
报名：https://aiops-challenge.com
创建队伍：选手报名后自动创建团队，可邀请其他成员加入，组队完成后由队长确认“确认组队完成”。参赛队伍人数不限，可以单人组队，也可以自由组队。
资源申请
【智谱AI】GLM-4 API 申请：
如选手参与赛道二，请以团队为单位，填写智谱资源需求表（每支队伍提交一份即可），组委会将根据需求表信息为参赛各队伍提供 GLM-4 免费 tokens，每个参赛队伍最多可提交5个智谱账号（每个账号 200万 GLM-4 API 免费 tokens）。
扫码填写GLM-4 API 资源需求表
GLM-4 API 需求表地址：https://wj.qq.com/s2/14630018/lqve/
【魔搭社区】算力资源申请：
选手确认组队完成后，请以团队为单位，填写资源需求表（每支队伍提交一份即可），组委会将根据需求表信息为参赛各队伍提供魔搭社区算力资源。每个参赛队伍最多可提交5个魔搭账号，提交的魔搭账号将在7个工作日内完成延时，延时后每个账号将有100小时供使用。
扫码填写魔搭资源需求表
魔搭资源需求表地址：https://wj.qq.com/s2/14445887/d084
【OpenAIOps】社区支持：
2024 CCF国际AIOps挑战赛报名已经启动，更多赛事相关信息将在社区“智能运维前沿”公众号发布，同时OpenAIOps社区群将提供赛事通知、赛事答疑，作为学习交流的平台已吸引近4000+参与，有意者可扫码加入挑战赛微信群，如果群满可添加官方微信号（OpenAIOps社区小助手）入群。