天大提出 SR-TOD | 微小目标检测框架, DGFE 模块即插即用,差异图引导的特征增强模块,提升微小物体检测性能 !

技术

点击下方卡片,关注 「AI视界引擎」 公众号

picture.image

微小目标检测是目标检测领域的关键挑战之一。大多数通用检测器在微小目标检测任务中的性能显著下降。主要挑战在于提取微小物体的有效特征。现有方法通常执行基于生成的特征增强,这很容易受到虚假纹理和伪影的影响,使得难以使微小物体的特定特征对于检测来说可见且清晰。

为了解决这个问题,作者提出了一个自重构微小目标检测(SR-TOD)框架。作者首次在检测模型中引入了自重构机制,并发现它与微小物体之间存在强烈的相关性。

具体来说,作者在检测器的 Neck 之间加入了一个重构头,构建了重构图像与输入之间的差异图,该差异图对微小物体表现出高敏感性。这启发作者在差异图的指导下增强微小物体的弱表示,从而提高微小物体对检测器的可见性。

基于这一点,作者进一步开发了一个差异图引导的特征增强(DGFE)模块,以使微小特征表示更加清晰。此外,作者进一步提出了一个新的多实例反无人机数据集,称为DroneSwarms数据集,它包含了迄今为止平均尺寸最小的许多微小无人机。在DroneSwarms数据集和其他数据集上的大量实验证明了作者提出方法的有效性。代码和数据集将公开可用。

1 Introduction

小目标检测是目标检测的一个子领域,它识别和分类尺寸微小的物体。根据MS COCO 中的设定,如果一个物体的面积等于或小于32×32像素,它就被认为是“小”的。AI-TOD基准[49]细化了这一定义,并将物体分为“非常微小”(2到8像素),“微小”(8到16像素),以及“小”(16到32像素)。作者将这些物体统称为“微小”物体。微小物体常见于各种现实世界应用中,如自动驾驶、反无人机、航空影像、工业检测和行人检测,这些物体通常由于成像距离较大或物体本身尺寸极小而受到限制。尽管微小目标检测(TOD)极为重要,但它仍然是一项艰巨的任务,即使是现有最先进检测器也难以缩小微小物体与正常尺寸目标检测之间的性能差距[10]。在这一领域追求改进方法是具有相当的理论和实践重要性。

相对于一般目标检测中普遍存在的复杂问题,如目标遮挡,微小目标检测呈现出一些独特的挑战。首要挑战来自于微小目标信息丢失的问题[10]。现有的检测架构采用如ResNet等主干网络进行特征提取。然而,这些框架通常实施下采样操作以消除噪声激活并减少特征图的空间分辨率,这一过程不可避免地导致微小目标的信息丢失。此外,TOD(微小目标检测)还受到微小目标固有的尺寸限制和信息内容匮乏的限制,这导致在特征提取阶段信息大量丢失。这种物体表示的退化严重阻碍了检测Head对微小目标进行定位和区分的能力。因此,微小目标对检测器来说变得不可分辨。

特别是,在当前条件下,“非常微小”的目标的微弱信号几乎被抹去,使得检测器难以定位和识别它们。如图1所示,特征 Heatmap 显示了检测模型对微小无人机激活信号的响应,这对于微小目标通常是微弱的。例如,左下角的小物体几乎消失,影响了检测性能。这表明许多微小目标对检测器来说不够可见。因此,在微小目标检测任务中,通用检测器的性能显著下降[49, 54]。

许多现有方法常采用超分辨率架构的生成方法来缓解由于信息丢失导致的微小目标低质量表示问题。这些方法通常将生成对抗网络[19]融入到目标检测框架中,构建高分辨率和低分辨率样本对。这种方法使生成器学习恢复微小目标失真的结构,旨在增强低质量微小目标的特征。

尽管如此,这些方法通常需要大量的中大型样本,给在弱信号微小目标上执行超分辨率带来了重大挑战。此外,这些方法倾向于产生虚假纹理和伪像,这降低了检测性能[13]。值得注意的是,超分辨率架构带来了大量的计算开销,使得端到端优化变得复杂[10]。

与采用复杂超分辨率架构的低效特征增强方法相比,在 Backbone 网络中重新捕捉丢失的信息是一种更直观、更合理的策略。作者首次在目标检测框架中引入了一种简单但有效的图像自重建机制。由检测模型提取的特征图通过一个重建头进行恢复,该重建头在像素 Level 上受到均方误差的约束。需要注意的是,图像重建是一项属于低级视觉领域的任务,对像素变化非常敏感[6]。

由于作者从检测模型中重建输入图像,那些难以恢复的图像区域可能对应于在 Backbone 网络特征提取过程中严重丢失结构和纹理信息的区域,特别是小物体。通过重建图像与原始图像之间的差异,作者可以定位那些信息丢失严重的区域,这反过来为检测小物体提供了潜在的前置知识。

picture.image

因此,作者从自重建图像中减去原始图像,构建了一个差异图,如图1所示。作者首先发现自重建差异图与小物体之间存在强烈的相关性。在图1中几乎被消除的“非常小”的物体也可以在差异图中清晰地显示出来。图像中的大多数小物体在差异图上都有显著的激活。此外,差异图还保留了小物体的主要结构。作者相信,差异图展示了检测器对感兴趣区域的像素级辨识能力,以及小物体的潜在位置和结构。总的来说,差异图使那些信号微弱的小物体变得更加“可见”。

因此,基于这一发现,作者进一步将差异图中的先验信息整合到目标检测模型中。作者开发了一个简单有效的差异图引导特征增强模块(Difference Map Guided Feature Enhancement),该模块通过沿着通道维度重新加权差异图来计算逐元素的注意力矩阵,从而对小物体进行特征增强。因此,通过将重建损失转化为专门针对小物体的约束,作者增强了模型检测这些物体的能力,使小物体对检测器来说更加“清晰”。

此外,作者收集了一个新的反无人机数据集,名为DroneSwarms,这是一个在复杂背景和光照条件下典型的小目标检测场景。作者的DroneSwarms数据集具有最小的平均无人机尺寸(约7.9个像素),适用于反无人机。在作者的数据集和另外两个包含大量小物体的数据集上的实验证明了作者方法相对于竞争方法的优势。

本文的贡献可以总结如下:

  1. 作者提出了一种自重建的小目标检测(SR-TOD)框架,首次揭示了差异图与小物体之间的强相关性,从而提供了关于小物体位置和结构的先验信息。作者有效地将小物体通常丢失的信息转化为可操作的前置指导。
  2. 作者设计了一个差异图引导特征增强(DGFE)模块,该模块提高了小物体的特征表示,使其更加清晰。DGFE模块可以轻松灵活地集成到通用检测器中,有效地提升小目标检测的性能。
  3. 作者提出了一个新的用于反无人机的小目标检测数据集,名为DroneSwarms,它具有当前最小的平均物体尺寸。在作者数据集和另外两个包含大量小物体的数据集上的大量实验验证了与竞争方法相比作者的有效性。

2 Related Work

Object Detection

目标检测算法有多种类型。两阶段检测器首先将提取的特征图输入到区域建议网络中,在第一阶段提取建议。然后在第二阶段,基于这些建议执行分类和回归任务,提供高识别和定位精度。经典的两阶段检测器包括Fast R-CNN [17],Faster R-CNN [39],Cascade R-CNN [5]等。一阶段检测器直接在输入图像上执行目标定位和分类,提供更快的处理速度。一阶段检测器的代表例子包括YOLO系列[37, 38, 44]和RetinaNet [29]。此外, Anchor-Free 点算法如FCOS [47]和FoveaBox [24]基于中心点预测目标,而像CornerNet [25],Grid R-CNN [32]和RepPoints [53]这样的方法基于关键点进行预测。最近的目标检测器如DETR [7],Deformable DETR [60]和Sparse R-CNN [45]探索了端到端目标检测的新范式。这些算法通常使用FPN [28]作为 Neck 模块,使得作者的方法可以轻松地集成到大多数通用检测器中。

Tiny Object Detection

通用检测器在大中型目标的检测中表现出良好的性能,但它们在检测小目标时仍面临重大挑战。近年来,小目标检测的研究主要集中在数据增强、尺度感知、上下文建模、特征模仿和标签分配[10]。

数据增强。 Krisantal等人[23]通过 Copy-Paste 小目标来增加样本数量。DS-GAN[4]设计了一种新的数据增强流程,为小目标生成高质量的合成数据。

尺度感知。 Lin[28]提出了最受欢迎的多尺度网络特征金字塔网络,使用特征 Level 和特征融合的金字塔。Singh等人[43]设计了图像金字塔的比例归一化(SNIP)以选择一些实例进行训练。PANet[31]通过双向路径丰富特征层次结构,并通过精确的位置信号增强更深层次的特征。NAS-FPN[16],Bi-FPN[46]和Recursive-FPN[35]在FPN的基础上进一步发展。Gong等人[18]通过设置融合因子来调整FPN相邻层之间的耦合,以优化特征融合并提高模型性能。Yang等人[52]设计了一种级联稀疏 Query 机制,有效地利用高分辨率特征来增强小目标的检测性能,同时保持快速的推理速度。

上下文建模。 Chen等人[8]利用包含后续识别 Proposal Patch 的上下文区域表示。SINet[21]引入了一种上下文感知的RoI池化层以保持上下文信息。

特征模仿。 许多方法[1, 2, 26]利用生成对抗网络对小目标进行超分辨率处理。Noh等人[34]通过扩张卷积减轻了高分辨率特征与低分辨率特征的感受野不匹配。Deng等人[13]提出了一种特征纹理转移模块来扩展特征金字塔,使新的特征层包含更多小目标的详细信息。

标签分配。 ATSS[56]根据它们的统计特征自适应地调整正负样本。Xu等人[51]提出了一种简单而有效的策略,称为基于感受野的标签分配(RFLA),以减轻基于 Anchor 和 Anchor 无关检测器中的尺度样本不平衡问题。

许多小目标检测方法没有关注信息损失的关键问题。特征模仿方法尝试通过生成来减轻这个问题,但往往会产生虚假纹理和伪像[10, 13]。相比之下,作者引入了一种图像自重建机制来识别信息损失显著的区域,并利用这种先验知识来提高小目标检测性能。

Anti-UAV Dataset

无人机因其体积小巧、成本较低等特性,被广泛应用于检查、监视和军事等领域。然而,非法无人机飞行带来了许多潜在风险,威胁到公共安全,使得反无人机措施成为一项重要任务。由于无人机实际上体积很小,通常在中高空飞行,它们在摄像头捕捉的图像中往往显得非常小。因此,反无人机技术非常适合应用于微小目标检测。据作者所知,当前领域内有三个公开可用的可见光反无人机数据集。

MAV-VID[40]。该数据集包含64个视频序列,从多个视角捕捉单个无人机,目标主要位于图像的中心区域。无人机在尺度上相对较大,平均大小约为166像素。

Drone-vs-Bird[11]。该数据集包含77个视频序列,用于区分无人机和鸟目标。数据集中无人机的平均大小约为28像素。

DUT Anti-UAV[57]。该数据集分为检测和跟踪两个子集。此数据集中的大部分图像包含单个目标,几乎不含非常微小的目标。

现有的反无人机数据集通常每张图像只包含一个无人机实例,微小目标很少,几乎不含非常微小的目标。这与反无人机措施的实际场景不符,限制了微小目标检测在反无人机任务中的发展和应用。为此,作者介绍了第一个多实例反无人机数据集DroneSwarms,平均目标大小至今最小。

3 Method

Overall Architecture

picture.image

在本文中,作者提出了一种基于图像自重建机制的微小目标检测框架,如图2所示,以解决主干网络特征提取过程中严重信息丢失的主要挑战。最初,图像被输入到主干网络中,该网络从输入中提取特征,并将特征图传递到 Neck ——通常是FPN [28]——以创建从到的多尺度特征金字塔。与流行检测器的架构一致,微小目标检测任务被指定给。因此,作者的自重建机制与检测器的接口仅通过进行。作者将输入到重建头中,这将在3.2节中详细描述。重建头生成的图像在尺寸上与原始输入一致。通过将原始图像与重建图像相减,取绝对值,并在三个颜色通道上平均,作者得到差异图。作者将差异图和都输入到差异图引导的特征增强(DGFE)模块中,这将在3.3节中详细介绍。DGFE模块根据差异图的先验知识增强中的特定微小目标特征,得到。这个增强的特征图取代了原始的,作为特征金字塔的底层,随后被输入到检测Head中。请注意,一些单阶段检测器[29]仅依赖于低分辨率的特征图,因此作者的框架也可以使用进行图像重建。由于特征金字塔网络(FPN)[28]及其变体作为 Neck 的广泛采用,作者的框架可以轻松地与大多数现代检测模型集成。

Difference Map

在 Backbone 网络中进行特征提取的降采样过程不可避免地导致物体信息的丢失。对于尺寸受限的小物体来说,这种损失尤为严重。在这种情况下,小物体的微弱信号几乎被抹去,使得检测Head很难从这些低质量的表示中预测[10]。为了解决这个问题,作者重新考虑了在FPN框架中不同 Level 特征图的属性。考虑到高 Level 的低分辨率特征蕴含丰富的语义内容,而低 Level 的 高分辨率特征拥有更多的局部细节和位置信息,作者倾向于使用低 Level 特征图进行图像重建。

通常用于图像重建任务的U-Net[41]结构与目标检测模型中流行的FPN模块相似。因此,作者设计了一个简单的重建头,插入到FPN的下行路径中,如图2所示。对于一个具有C通道和大小为的低 Level 特征图,上采样结果可以计算为

其中表示线性整流单元(ReLU)[33]。和表示核大小为的卷积。表示转置卷积[55]。的核大小为,步长为2。给定原始图像和底 Level 特征图,图2中所示的重建头可以表示为

其中是重建的图像。表示Sigmoid函数,的核大小为。经过两次上采样操作得到的重建图像与原始图像具有相同的形状。因此,差异图可以计算为

其中表示沿通道维度计算平均值,表示计算每个元素的绝对值。

通过计算原始图像和重建图像之间的均方误差(MSE)损失,来优化重建头的参数。

Difference Map Guided Feature Enhancement

在通过自我重建机制创建差异图之后,一个关键挑战是如何有效利用差异图的前置信息来增强小目标检测能力。考虑到差异图代表了小目标的潜在位置和结构信息,作者设计了一个简单的即插即用模块,称为差异图引导特征增强(DGFE)。DGFE模块从差异图中计算一个逐元素的注意力矩阵,记为,旨在对图2中内的微小目标执行有针对性的特征增强。

过滤。 重建图像与原始图像之间的固有差异导致差异图几乎整个区域都有不同程度的激活。为了滤除大部分噪声信号,使差异图更加清晰,作者构建了一个二值差异图。为此,作者设置了一个可学习的阈值。考虑到与原始图像大小相同的差异图以及梯度的反向传播,图2中的可以表述为

其中表示符号函数,表示将调整到与相同的大小。具体来说,可以保留特征图中原始的宝贵信息,确保其不受中值为0区域的干扰。

重加权。 由于差异图只包含空间信息,作者需要利用广播沿着通道维度对其进行重加权,这有助于维持特征多样性。给定特征图,权重可以计算为

其中,表示沿空间维度的平均池化,表示最大池化。包括两个全连接层和一个ReLU函数。因此,DGFE模块可以表述为

其中表示逐元素的注意力矩阵,表示经过特定增强的小目标特征图。

DroneSwarms Dataset

通常,无人机在远离监视设备的地方操作,距离相当远且高度较高,这导致无人机目标非常小且清晰度不足。因此,反无人机场景是适合小目标检测的重要应用场景。此外,当前的微小目标检测数据集通常包含许多中等和大型目标,平均目标尺寸都在12.8像素以上[10, 51]。为了构建几乎完全由大量微小目标组成的数据集,作者提出了一个目前针对反无人机最小的平均尺寸目标检测数据集,名为DroneSwarms。DroneSwarms包含9,109张图像和242,218个标注的无人机实例,其中2,532张用于测试,6,577张用于训练。平均而言,每张图像包含26.59个无人机实例。这些图像的尺寸为,手工标注精确度高。DroneSwarms涵盖各种户外环境,如城市环境、山区地形和天空等。与现有的反无人机数据集不同,DroneSwarms包含241,249个32像素以下的小目标,约占99.60%,平均尺寸仅为约7.9像素。无人机分散在整个图像中。因此,DroneSwarms可以用来全面评估小目标检测的方法。

4 Experiment

Experimental Setting

数据集。实验在三个数据集上进行。主要实验是在作者的反无人机数据集DroneSwarms上进行,该数据集的平均绝对目标大小最小,约为7.9像素。此外,作者还对另外两个数据集进行了实验:VisDrone2019 [14]和AI-TOD [49]数据集。VisDrone2019 [14]包含10类物体,所有图像都是从无人机视角拍摄的。AI-TOD [49]涵盖8类物体,图像是从包含微小物体的各个数据集中收集的。所有选定的数据集都包含大量的微小物体,尤其是尺寸小于16像素的微小物体。

实施细节。所有核心代码都是基于MMdetection [9]构建的。由于DroneSwarms数据集主要由大量的微小物体组成,为了确保模型收敛,作者对DroneSwarms数据集上的所有实验设置了0.0025的初始学习率,并使用随机梯度下降(SGD)优化器以0.9动量、0.0001权重衰减、2的批处理大小和2的 Anchor 点尺度训练模型20个周期。对于VisDrone2019 [14]和AI-TOD [49]上的实验,作者严格遵循了RFLA [51]在这两个数据集上的所有实验设置,例如使用SGD优化器进行12个周期的训练。初始学习率设置为0.005,并在第8和第11个周期衰减。使用ImageNet [42]预训练的模型ResNet-50作为主干网络。所有 Baseline 的其他参数均设置为MMdetection中的默认值。作者在DroneSwarms上使用2个NVIDIA RTX 3090 GPU进行模型训练,在另外两个数据集上使用1个NVIDIA RTX 3090 GPU进行模型训练。除非有特别说明,否则所有实验都使用上述参数。

评估指标。虽然来自MS COCO [30]的平均精度(AP)评估指标在目标检测算法中很普遍,但它仅考虑了通用检测器。这个指标将尺寸小于32像素的物体广泛归类为小型,仅使用AP进行评估。因此,为了更有效地展示作者方法在检测不同尺寸小型物体方面的性能,评估指标遵循AI-TOD基准[49]。请注意,AP、AP、AP分别是针对非常微小、微小和小型尺度的AP。这些尺度的定义在第一节中介绍。

Results on DroneSwarms

表1:DroneSwarms数据集上的结果。RFLA基于Cascade R-CNN。最佳结果被突出显示。表示最佳结果相对于其 Baseline 的提升。

picture.image

作者在表1中比较了作者的方法与其他最先进检测器在DroneSwarms数据集上的表现。RFLA结合SR-TOD实现了39.0的AP,超过最先进竞争对手1.1 AP,并实现了2.1 AP的整体性能提升。值得注意的是,RFLA结合SR-TOD在AP和AP上分别取得了2.3点的显著性能提升,突显了作者的方法在检测小物体方面的显著有效性。此外,在Cascade R-CNN框架内,带有SR-TOD的Cascade R-CNN比RFLA高出1.4 AP,表明了1.9 AP的显著改进。而且,当作者的方法应用于其他检测器时,也展现出了明显的性能提升。由于缺乏多阶段回归,一阶段检测器通常表现出比多阶段检测器更低的性能[54, 51, 14, 59]。尽管一阶段检测器RetinaNet [29]仅使用FPN中较低分辨率的特征图,作者的方法仍实现了1.4 AP的改进。特别值得注意的是,由于关注小目标检测的不同挑战,作者的框架可以与其他方法如RFLA协同工作。而且作者的框架不与如DetectoRS [35]这类通过改进FPN来增强特征表示的方法冲突。与 Baseline 方法相比,作者的方法实现了持续的改进。

Results on VisDrone2019 and AI-TOD

picture.image

作者进一步验证了DGFE在VisDrone2019[14]和AI-TOD[49]上的有效性,这些数据集同时具有大规模的变异性,并包含许多不同类别的小型物体,如表2和表3所示。

picture.image

VisDrone2019. 采用SR-TOD的RFLA在VisDrone2019[14]上的AP提高了0.6,达到了27.8 AP,显示出明显的优势。此外,采用SR-TOD的级联R-CNN在性能上提高了2.1 AP,在AP上取得了最高性能。这表明级联R-CNN在超过16像素大小的小型物体上展示出更好的性能。重要的是,采用SR-TOD的级联R-CNN和RFLA在AP上分别显著提高了1.6点和0.9点。带有SR-TOD的增强级联结构有效地利用多阶段回归提高了小型物体的定位准确性。

AI-TOD. 采用SR-TOD的DetectoRS在AI-TOD数据集[49]上获得了24的AP,超过了RFLA 2.3 AP,并显著超越了所有竞争对手。所有检测器都有显著的性能提升。值得注意的是,级联R-CNN采用SR-TOD在AP上超过RFLA 1.3点,在AP上超过0.6点,这强调了作者的方法在AI-TOD数据集[49]中对小型目标检测的实质性影响。

在各种数据集上的一致性改进表明了SR-TOD的通用性。

在一定程度上,提高了 Backbone 网络的像素理解能力。这种方法可能为目标检测领域提供新的灵感。

不同特征增强方法的有效性。在本节中,作者探索了使用Cascade R-CNN框架的各种特征增强技术,以融合来自差异图的先验知识。除了采用逐元素注意力机制外,作者还尝试了融合方法,该方法通过连接二值差异图与特征图,并探索了在两者之间执行直接逐元素乘法的方法。

picture.image

如表6所示,显然逐元素注意力显著超过了其他方法的性能。使用连接操作的融合方法效果较弱,因为直接融合带来了更多噪声并减弱了差异图的空间位置信息。采用逐元素乘法的方法被认为过于简单和基础,因为差异图中的许多非活动区域可能导致特征图中的原始特征消失,最终损害检测能力。因此,在DGFE中作者选择了逐元素注意力,它提供了更复杂的解决方案。

阈值滤波的有效性。如3.3节所示,作者在DGFE中实现了一个使用可学习阈值的操作来过滤差异图。为了检验阈值设置的影响,作者还探索了使用固定阈值的方法以及没有任何基于阈值的过滤的方法。为了更稳健地评估阈值的作用,作者在VisDrone2019数据集[14]上进行了实验,该数据集具有复杂的背景和多样的类别。

picture.image

结果如表5所示。毫无疑问,涉及设置阈值的方法通常超过了没有阈值的方法的性能,从而证实了阈值设置的有用性。此外,可学习阈值方法与固定阈值方法在AP上的表现相似,但在AP上提高了0.3个百分点,在AP上提高了0.7个百分点。这表明尺寸大于8像素的小物体对阈值更敏感。因此,通过精细调整阈值,可学习阈值方法获得了更好的性能。

高频差异图的探索。 最近,一些图像重建方法 [22, 58] 在频域中建模图像。图像的高频信息包括边缘和纹理等细节,这些恰好是图像自重建中难以恢复的部分。特别是,噪声也被认为是高频信息的一部分,非常微小的物体可以近似为只有几个像素大小的类似噪声的点。

picture.image

受到这一点的启发,作者进一步利用快速傅里叶变换算法分离原始输入图像与重建图像的高频成分,并构建高频差异图,如图3所示。可以清楚地看到,尽管高频差异图和像素差异图相当相似,但高频差异图在一些无人机目标上具有更精细的轮廓。此外,高频差异图显著减少了噪声信号。然而,这也导致某些较小的无人机目标在高频差异图上显得更加模糊。然后,作者用高频差异图(HFD)替换像素差异图(PD),并在DroneSwarms上使用带有SR-TOD的级联R-CNN进行实验。

picture.image

结果展示在表7中。可以看出,与PD相比,HFD的AP提高了0.1。此外,AP提高了0.3个百分点,AP提高了0.2个百分点。这表明,与像素差异图相比,高频差异图能为微小目标提供更准确的先验。因此,作者认为在微小目标特征提取中严重丢失的信息主要在于高频成分。需要注意的是,与 Baseline 相比,使用像素差异图和高频差异图的检测性能非常相似。考虑到计算效率,作者使用像素差异图作为SR-TOD的基本设置。然而,高频差异图显示了进一步探索作者方法的潜力。更多的消融实验将在补充材料中提供。

Visualization Analysis

为了更清晰直观地展示DGFE的效果,作者在DroneSwarms上进行了可视化。结果展示在图4中。从第二行的结果可以看出,在特征增强之前,检测模型对小型无人机的关注不足。一些小目标的信号非常微弱,几乎被抹去,导致不可见。第三行的结果显示,SR-TOD显著增强了小目标的特征表示,使得小目标对检测器来说是可见且清晰的。

5 Conclusion

本文中分析了在微小目标检测中信息丢失的挑战,以及生成方法试图缓解这一问题时所面临的局限性。

为此,作者引入了一种图像自重构机制,构建差异图作为微小目标的先验信息,使检测器能更容易观察到特征。

然后进一步设计了一个差异图引导的特征增强(DGFE)模块,以改善微小目标的特征表示,提供更加清晰的表示。

在作者在DroneSwarms上提出的实验以及另外两个数据集上的实验表明了SR-TOD的优越性和鲁棒性。

在将来,作者将探索更多有效的方法,以构建更准确的差异图,用于微小目标。

参考

[1].Visible and Clear: Finding Tiny Objects in Difference Map.

点击上方卡片,关注 「AI视界引擎」 公众号

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
边缘云原生操作系统设计与思考
《火山引擎边缘云原生操作系统设计与思考》 徐广治 | 火山引擎边缘云资深架构师
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论