关注 「 AIWalker 」 并 星标
从此AI不迷路
https://arxiv.org/abs/2401.17270
https://github.com/AILab-CVC/YOLO-World
https://github.com/ultralytics/ultralytics
https://www.yoloworld.cc/
YOLO-World亮点
- YOLO-World是下一代YOLO检测器 ，旨在实时开放词汇对象检测。
- YOLO-World在大规模视觉语言数据集上进行了预训练，包括Objects 365，GQA，Flickr 30 K和CC 3 M，这使得YOLO-World具有强大的zero-shot开集Capbility与Grounding能力 。
- YOLO-World实现了快速的推理速度 ；可以对用户给定词汇，所提重新参数化技术进一步加速推理和部署；
YOLO-World方案
上图为YOLO-World整体架构示意图，它包含一个YOLO检测器、一个文本编码器以及RepVL-PAN。文本编码器首先将输入文本编码为文本嵌入信息；图像编码器对基于输入图像提取多尺度特征信息；RepVL-PAN通过跨模态融合增强文本与图像表征。
- YOLO Detector ：编码器基于YOLOv8演变而来，YOLOv8由DarkNet骨干、PAN多尺度特征融合以及检测头构成；
- Text Encoder ：采用CLIP预训练文本编码器对输入文本T提取对应的文本嵌入，这里C表示名词数目，D表示嵌入维度。相比于Text语言编码器，CLIP文本编码器可以提供更好的视觉-语义能力 。当输入文本是句子时，我们采用n-gram算法提取名词短词并送入本文编码器 。
- Text Contrastive Head ：延续YOLOv8，我们采用解耦头对边框与目标嵌入进行回归。作者提出文本对比头 (Text Contrastive Head)计算目标-文本相似度，定义如下：
注：这里的L2-Norm与仿生变换参数对于稳定区域-本文训练非常重要。
- Training with Online Vocabulary ：在训练过策划肝囊肿，我们为每个Mosaic图像构建一个在线词汇集合T。具体来说，我们采样所有包含在Mosaic图像中的正名词短语，然后从对应数据集中随机采样一些负名词短语。每个Mosaic图像最多包含M个词汇，默认M=80。
- Inference with Offline Vocabulary ：在推理阶段，我们提出了一种基于离线词汇集合的 prompt-then-detect 策略以进一步提升效率。用户也可以自定义一些客制化提示信息[可选]，然后采用文本编码器对这些提示信息进行编码得到离线嵌入包。离线词汇可以避免对每个输入都进行文本编码计算，为词汇调整提供了更灵活的调控机制。
上手测试
官方YOLO-World是基于mmyolo, mmdetection实现的，但U1S1，mm系列对于入门确实不错，但对于新开源算法上手测试真心难用，毒瘤啊[mmcv的ops这个鬼东西啊]~
好消息来了！ultralytics支持YOLO-World了 ，可以 直接通过ultralytics库来玩YOLO-world了
使用方式简单到了极致，几行命令即可，还不需要安装一大堆的mm包，不需要编译各种无关op，牛逼克拉斯~
from ultralytics import YOLOWorld
# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')
# Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')
# Show results
results[0].show()
就是这么的简单好用，两行代码完成测试！
那么，YOLO-World的Prompts功能该如何测试呢？同样非常简单，新增一行代码即可，代码如下：
from ultralytics import YOLOWorld
# Initialize a YOLO-World model
model = YOLOWorld('yolov8s-world.pt')
# Define custom classes
model.set_classes(["person"])
# Execute inference with the YOLOv8s-world on the specified image
results = model.predict('bus.jpg')
# Show results
results[0].show()
就这么一行代码改动，YOLO-World就变成了行人检测器，
当然，你还可以把它变成bus检测器，效果如下
不得不说， YOLO-World进一步释放了检测器的可玩性 ，不仅可以搞通用检测，还可以玩限定场景检测，关键速度还贼快，还等什么呢，速速试玩咯
推荐阅读
【AIWalker】期待您的关注
如果你关注以下方向，请关注一下「AIWalker」~
底层视觉处理 ：如图像超分、图像降噪、低光增强、图像复原、人脸复原、等图像处理相关方向；
基础AI技术栈 ：如算子解析、轻量化网络、CNN、Transformer、MLP、VLM等视觉相关架构；
图像分割方向 ：如语义分割、人体解析、人像抠图、显著性分割以及单目深度估计等相关方向；
检测跟踪方向 ：如通用检测、人脸/人体检测、YOLO、DETR、DeepSORT等相关技术栈；
模型部署维度 ：如知识蒸馏、模型量化、NCNN、TFLite、TensorRT、RKNN等技术与工具链。
▲点击上方卡片，关注AIWalker公众号