点关注，不迷路，用心整理每一篇算法干货~
后台留言” 交流 “， 加入圆圆算法交流群~
后台留言” 星球 “， 加入圆圆算法知识星球~
今天介绍的这篇文章是新加坡国立大学在WWW 2023上发表的一篇工作，将NLP中的prompt思路应用到了图学习中，统一上下游任务的一致性，在下游的node classification、graph classification等任务中都取得了不错的效果。
论文标题 ：GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks
下载地址 ： https://arxiv.org/pdf/2302.08043.pdf
1
Prompt应用于图学习的动机
Prompt在NLP领域取得了成功的应用，其核心目的在于缩小上游任务和下游任务的差距，从原来的pretrain-finetune训练范式修改为pretrain-prompt训练范式。这种方式让下游任务通过prompt靠近上游任务，缓解了pretrain和finetune两个过程中，上下游任务不同带来的效果损失。
那么prompt的思路能否应用到其他领域呢？文中提出， 在图学习中，可以将link prediction作为预训练任务，对于下游的node级别任务和graph级别任务，都可以统一成子图相似度计算任务。 因为link prediction在判断两个节点是否有连边的过程中，会考虑两个节点周围的拓扑结构，可以看成是子图相似度计算。而node级别任务和子图级别任务也是类似的，都是利用节点周围子图或某个子图的表征相似程度进行预测。
基于上述动机，本文提出了GraphPrompt，将图学习中的上游任务和下游的点级别、图级别任务统一起来，减小上下游任务之间的差距。
2
实现方法
文中首先对 link prediction、node classification、graph classification 三种任务进行了统一，这三者都可以看成是子图匹配任务。
link prediction可以看成是由一个anchor样本、一个与anchor有连边的正样本、一个与anchore无连边的负样本组成的三元组，让anchor与正样本的子图距离小于anchor与负样本的子图距离。
node classification可以看成是一个节点周边子图的表征和各个类别向量之间的距离。
graph classification与node classification类似，可以看成是一个子图和各个类别向量之间的距离。
预训练任务使用link prediction任务，对于一个节点，采样其邻居作为正样本，图中和其无连边的节点作为负样本，构造三元组进行训练。
对于下游任务，不同类型的下游任务需要从图中提取的信息是不同的。因此文中提出了针对不同任务的个性化prompt。实现个性化prompt的方法，主要是为不同任务指定一个可学习的prompt向量，这个向量对子图的各个节点表征进行element-wise的加权求和，从而实现针对不同任务个性化选择使用子图中的哪些信息。文中提出，也可以采用不同类型的prompt，例如也可以每个任务一个prompt矩阵，直接和子图各个节点表征相乘。
总的来看，文中虽然以prompt为中心，但是采用的prompt方式和NLP中完全不同， 核心是借助NLP中上下游任务统一的思路，将图学习中的上下游任务都抽象成节点表征任务 。
3
实验结果
文中基于这种预训练方法，在node classification和graph classification两类下游任务中进行实验，效果都取得了比较显著的提升。
END
[
全新YOLO模型YOLOCS来啦 | 面面俱到地改进YOLOv5的Backbone/Neck/Head](https://mp.weixin.qq.com/s?__biz=MzU5OTA2Mjk5Mw==&mid=2247507908&idx=1&sn=7248cc2286665afac288b73799c51478&chksm=feb83f7ac9cfb66c8f4b89ecab183636aed33fb27b3096eb9ffa0b0b2d54616d95918c9f64ba&scene=21#wechat_redirect)
[
GPTQ-for-LLaMa 量化分析和优化](https://mp.weixin.qq.com/s?__biz=MzU5OTA2Mjk5Mw==&mid=2247507762&idx=1&sn=490168066ee44bfabf759f517ed3b65a&chksm=feb83f8cc9cfb69a7fed594b28bd34ecb5688f1fe76616ba0d44af33b557c78560bc17d9c924&scene=21#wechat_redirect)
[
Segment Anything模型部分结构和代码解析](https://mp.weixin.qq.com/s?__biz=MzU5OTA2Mjk5Mw==&mid=2247507827&idx=3&sn=4d7086e74500a2f5765e797852571dc1&chksm=feb83fcdc9cfb6db389ed1f06f79b65f1a3afbc695e146a6091053bc07180bda07e19ceae8de&scene=21#wechat_redirect)
扫码加入👉「集智书童」交流群
（备注： 方向+学校/公司+昵称 ）
想要了解更多：
前沿AI视觉感知全栈知识👉「分类、检测、分割、关键点、车道线检测、3D视觉（分割、检测）、多模态、目标跟踪、NerF」
行业技术方案 👉「AI安防、AI医疗、AI自动驾驶」
AI模型部署落地实战 👉「CUDA、TensorRT、NCNN、OpenVINO、MNN、ONNXRuntime以及地平线框架」
欢迎扫描上方二维码，加入「 集智书童-知识星球 」，日常分享论文、学习笔记、问题解决方案、部署方案以及全栈式答疑，期待交流！
免责声明
凡本公众号注明“来源：XXX（非集智书童）”的作品，均转载自其它媒体，版权归原作者所有，如有侵权请联系我们删除，谢谢。
点击下方“ 阅读原文 ”，
了解更多AI学习路上的 「武功秘籍」