小目标远距离全搞定 | SBP-YOLO融合NWD蒸馏，用139 FPS碾压YOLOv11

本文主要解决了什么问题

1. 1. 新能源汽车乘客对乘坐舒适性需求不断提升，需要准确且实时的颠簸路和坑洼路检测来支持预测性悬架控制。
2. 2. 传统路面异常检测方法（如基于车辆动力学或图像处理的方法）存在任务特定性、计算成本高和缺乏预测能力的问题。
3. 3. 在动态驾驶条件下，路面异常检测面临远距离小目标难以检测、运动模糊、阴影眩光和昏暗照明等挑战。
4. 4. 嵌入式系统计算能力有限，限制了输入尺寸和模型深度，使得实时应用更加困难。

本文的核心创新是什么

1. 1. 提出了轻量级高效检测头（LEDH），以减轻P2检测层的开销，在保持对小型、远距离目标准确性的同时，降低密集、高维卷积的复杂度。
2. 2. 应用了GhostConv模块于Backbone网络和Neck网络以实现高效特征提取，同时引入VoVGsCSPC模块以提升在不同道路和环境条件下的鲁棒性。
3. 3. 采用了一种综合训练策略，整合了NWD Loss用于精确定位，BCKD用于知识蒸馏，以及基于Albumentations的增强技术模拟运动模糊、光照变化和恶劣天气，以增强鲁棒性和泛化能力。
4. 4. 经过量化为FP16并使用TensorRT优化，使模型在NVIDIA Jetson AGX Xavier上的推理速度达到139.5 FPS，满足实时道路检测的严格延迟要求。

结果相较于以前的方法有哪些提升

1. 1. 检测精度提升：SBP-YOLO达到了87.0% mAP，相较于Baseline YOLOv11n提升了5.8%。
2. 2. 推理速度提升：在Jetson AGX Xavier平台上经过TensorRT FP16量化后，实现了139.5 FPS，相较于Baseline YOLOv11n提升了12.4%。
3. 3. 模型轻量化：模型参数、FLOPs和存储分别减少了20.9%、7.9%和17.9%。
4. 4. 在远距离小目标检测方面表现更强，对不同光照条件和恶劣天气条件下的检测鲁棒性显著提高。

局限性总结

1. 1. 虽然模型在多种环境下表现良好，但在极端天气条件（如大雨、大雪）下的性能仍有提升空间。
2. 2. 模型主要针对颠簸路和坑洼路进行优化，对于其他类型的路面异常（如裂缝、油渍等）的检测能力未充分验证。
3. 3. 尽管推理速度已经很高，但在更资源受限的嵌入式设备上部署可能仍面临挑战。
4. 4. 数据集虽然经过增强，但可能仍无法完全覆盖所有真实世界的复杂场景。

导读

随着新能源汽车乘客对乘坐舒适性需求的不断提升，准确且实时的颠簸路和坑洼路检测对于预测性悬架控制变得至关重要。本文提出了SBP-YOLO，一个基于YOLOv11构建的轻量级检测框架，专为嵌入式部署优化。所提出的模型集成了GhostConv以实现高效计算，VoVGscSPC以增强多尺度特征表示，以及轻量级高效检测Head（LEDH）以降低早期特征处理的成本。采用结合NWD损失、知识蒸馏和基于Albumentations的天气增强的混合训练策略，以提高检测精度和鲁棒性，尤其针对小目标和远距离目标。实验结果表明，SBP-YOLO达到了87.0%mAP，在Jetson AGX Xavier平台上经过TensorRT FP16量化后，实现了139.5 FPS，相较于 Baseline YOLOv11n提升了5.8%。这一性能反映了推理速度和计算效率的显著改进。研究结果验证了所提出方法在智能悬架系统中实时道路状况感知方面的有效性。

1 引言

随着新能源汽车（NEV）作为主流交通方式迅速涌现，消费者对乘坐舒适性和操控稳定性提出了日益增长的要求[1]。与传统内燃机汽车相比，电动汽车（EV）具有更快的响应时间和更平滑的扭矩输出，这对悬架系统的动态性能提出了更大挑战[2]。为确保复杂路况下的平稳驾驶和舒适体验，实时路况感知变得至关重要。路面不平整，如减速带和坑洼，是影响车辆动力学和乘坐舒适性的主要因素[3]，因为这些扰动通过悬架系统传递到车身，直接影响乘客体验。先进悬架控制的关键在于对路面扰动的预期感知和准确预测，包括随机路面轮廓的分类和脉冲型不平整的识别[4]。智能悬架系统利用预知路面信息，可动态调整刚度和阻尼以适应复杂路况。这能有效抑制车身振动和姿态变化，从而提升驾驶稳定性和安全性[5, 6]。在电动汽车中，电机快速扭矩响应对悬架系统的感知和反应速度提出了更高要求。当遇到坑洼和减速带等突发路面不平整时，需要迅速而精确的适应。因此，与整车动力学的紧密协调集成对于兼顾乘坐舒适性和驾驶安全性至关重要。

实时检测路面异常仍然是一项技术挑战。传统方法依赖于车辆动力学、图像处理或昂贵的传感器配置[7, 8]。基于动力学的分析方法通过分析不同路面条件下的加速度和振动信号来识别速度 bumps 和坑洼等异常。例如，Celaya-Padilla 等人[9]提出了一种基于传感器融合的速度 bumps 检测方法，采用陀螺仪、加速度计和 GPS 数据，并通过交叉验证和遗传算法优化逻辑模型。Salman 等人[10]使用智能手机传感器和 CNN-LSTM 模型来检测和分类速度 bumps，准确率高达 98.92%。类似地，Yin 等人[11]提出了一种基于智能手机的方法，利用加速度和 GPS 数据，通过信号预处理和提取数据特征滤波器（EDFF）有效区分坑洼和速度 bumps。Aguilar-Gonzalez 等人[12]开发了一种使用三轴振动数据的随机森林分类器用于道路事件检测。尽管这些方法效果显著，但它们通常具有任务特定性和计算成本高的问题，缺乏智能车辆实时悬架控制所需的预测能力。

近年来，深度学习的快速发展显著推动了基于计算机视觉的目标检测技术，为识别路面异常（如减速带和坑洼）提供了新方案。与传统依赖加速度计信号的方法相比，基于深度学习的视觉方法能够主动感知路面状况，从而实现更早、更精确的异常检测，为悬架预测控制提供支持。YOLO（You Only Look Once）系列在路面异常检测中应用广泛[13]，其检测精度与推理速度之间的良好平衡对智能车辆的实时感知至关重要。例如，Park等人[14]对YOLOv4、YOLOv4-tiny和YOLOv5s三种变体进行了对比研究，得出YOLOv4-tiny在坑洼识别中实现了实时性能与检测精度之间的最佳平衡。ASAD等人[15]在树莓派设备上实现了轻量级的Tiny-YOLOv4模型进行边缘化坑洼检测，在31.76 FPS下达到了90%的检测精度。Khan等人[16]为自动驾驶车辆引入了基于YOLOv8的实时坑洼检测方法，通过数据增强在公共数据集上超越了YOLOv5。为应对光照变化和恶劣天气条件带来的挑战，Bucko等人[17]构建了一个包含不同环境场景下拍摄的路面图像的数据集，并相应地验证了YOLOv3算法的性能。此外，Bhavana等人[18]基于YOLOv8提出了POT-YOLO，能够检测裂缝、油渍、 Patch 和鹅卵石等多种路面异常，实现了97.6%的检测精度。这些研究表明，YOLO检测算法在复杂驾驶条件下的实时路面异常识别中具有有效性。

尽管在基于视觉的坑洼和路拱检测方面取得了进展，但在动态驾驶条件下的实际应用仍然存在困难。在远距离上，这些异常现象显得很小，难以检测。快速行驶产生的运动模糊会降低特征质量，而阴影、眩光和昏暗的照明会 Mask 道路线索并降低鲁棒性。嵌入式系统上的计算能力有限也限制了输入尺寸和模型深度，使得实时应用更加困难。为解决这些挑战，本文提出了一种轻量级且高效的模型，专门用于路拱和坑洼检测。

主要贡献如下：

• • 提出LEDH以减轻P2检测层的开销，在保持对小型、远距离目标准确性的同时，降低密集、高维卷积的复杂度。
• • GhostConv模块应用于 Backbone 网络和 Neck 网络以实现高效特征提取，而VoVGsCSPC则提升了在不同道路和环境条件下的鲁棒性。
• • 为提升动态环境中小目标和远距离目标的检测能力，采用了一种综合训练策略，整合了NWD Loss [19] 用于精确定位，BCKD [20] 用于知识蒸馏，以及基于Albumentations [21] 的增强技术模拟运动模糊、光照变化和恶劣天气，以增强鲁棒性和泛化能力。
• • 经过量化为FP16并使用TensorRT优化，模型在上的推理速度达到139.5 FPS

NVIDIA Jetson AGX Xavier，满足实时道路检测的严格延迟要求，并支持可靠的嵌入式部署。

2 方法

2.1 SBP-YOLO

YOLOv11 [22] 是目标检测框架YOLO系列的最新进展，集成了C3k2模块、SPP-Fast模块和并行空间注意力C2PSA模块，这些模块共同提升了特征提取和检测性能。该系列包含从轻量级到大规模的多种变体；本研究选择轻量级YOLOv11n作为 Baseline ，以满足嵌入式平台的实时性和计算约束。然而，现有模型在处理多尺度目标和复杂背景时仍面临挑战，特别是在准确检测小而远的道路异常（如坑洼和减速带）方面。为缓解这些局限性，本文提出了SBP-YOLO模型。图1：GhostConv模块在深层网络层中替代标准卷积（SC），以降低计算成本同时保留强大的特征提取能力；VoVGSCSPC模块增强多尺度特征表示，设计了专用P2检测层和LEDH以提升小目标检测能力；整体网络架构标注了输出特征图维度，如（320，20，16），表示高度、宽度和通道深度，以清晰展示每个阶段特征的规模。

2.2 GhostConv

标准卷积（SC）模块常生成冗余特征图，导致计算和内存成本高昂。为缓解这一问题，GhostNet [23] 中的 GhostConv 模块通过低成本操作生成额外的“幽灵”特征图，在有效降低复杂度的同时保持表征能力。如图2所示，GhostConv 采用两步流程：首先，SC 使用小尺寸卷积核生成内在特征图；随后，通过

深度卷积（DwConv）将这些特征图扩展至近似完整特征集。两步输出的特征图被融合，其结果与 SC 相当，但参数数量大幅减少且计算量降低。通过仅对一半通道应用 DwConv，GhostConv 有效扩大感受野并降低计算开销。

设

和

分别为输入通道和输出通道，

为卷积核大小，

为输入特征图维度。忽略偏差项，SC的参数数量

和浮点运算次数

为：

在GhostConv中，主卷积产生输出通道数的一半，即

，随后通过一个计算成本较低的卷积生成剩余部分。总参数数量

和计算成本

为：

其中

和

分别表示主卷积和廉价卷积的核大小。例如，在SBP-YOLO的第七层，GhostConv模块将理论计算量减少至

，参数数量减少

，与SC相比，显著降低了模型复杂度和尺寸。

2.3 VoVGSCSPC

深度可分离卷积（DSConv）通过将标准卷积（SC）分解为空间滤波的深度卷积（DWConv）和通道混合的点卷积（PWConv）来降低计算成本和参数。然而，由于DWConv中空间信息和通道信息是分别处理的，通道间信息交换受限，导致组内特征隔离。为缓解这一问题，ShuffleNets [24] 引入了通道重排操作以实现跨通道交互，而MobileNet [25] 采用大量

密集卷积来融合通道信息。尽管密集

卷积增加了计算负担，但通道重排和其他轻量级操作虽然提升了效率，其性能仍不及SC。

GSConv [26] 通过整合GhostConv的优势与硬件友好、高效的通道重排机制来解决这些限制。该设计克服了DWConv固有的信息隔离问题，实现了高效的组内特征流，并增强了特征表示和整体模型性能。GSConv不仅降低了计算复杂度，还改进了跨组特征融合，在轻量级网络中实现了与SC相当或更高的精度。这使得GSConv成为移动和嵌入式平台上高性能视觉任务的理想解决方案。如图3所示，GSConv首先对输入应用SC进行下采样，然后在得到的特征上执行DWConv。输出结果被连接并重排，最终生成特征图：

此处

表示具有

个通道的输入，

表示SC，

代表500WConv，

指示输出。

VoVGScsPC通过跨阶段设计扩展了GSConv，将输入分为两个分支：一个分支包含卷积层后接GSBottleneck，另一个分支包含DWConv残差分支。它们的输出被融合。

其中

和

分别表示中间输出和最终输出。

VoVGSCSPC模块替代 Backbone 网络和 Neck 网络中的C3k2模块，增强了多尺度特征融合并丰富了语义表示。这一改进使模型能够更好地捕捉坑洼和路拱图像中的全局和局部上下文，从而增强了其感知和表征能力。

2.4 轻量级效率检测Head（LEDH）

在悬浮预览控制中，如减速带和坑洼等道路异常通常表现为远处的小低显著性目标，这带来了典型的小目标检测挑战。尽管在YOLOv11中包含浅层P2检测层提升了此类目标的检测性能，但也引入了显著的计算开销，阻碍了其在资源受限的边缘设备上的部署。针对这一挑战，作者提出了LEDH，它在保持小目标检测精度的同时显著降低了计算复杂度，实现了嵌入式系统中的实时推理。如图4所示，LEDH采用解耦架构，包含用于分类和回归的并行分支。为了以最小成本增强特征表达能力，每个分支包括两个堆叠的

分组卷积，分组数

，应用于尺度

的输入特征

：

其中

表示增强特征，而

代表最终预测输出，包含边界框回归逻辑值和类别概率。术语

和

分别指类别数量和DFL分箱计数。LEDH处理 Backbone 网络输出的多尺度特征（P2-P5），通过分组卷积提升空间分辨率和语义深度。该结构在减少参数数量和FLOPs的同时，保留了感受野和非线性能力。最终预测通过轻量级的

卷积进行分类和边界框回归。该设计在检测精度和计算效率之间取得平衡，尤其适用于边缘部署约束下的小目标检测任务。

2.5 混合损失训练策略

在道路场景图像中，如减速带和坑洼等小型结构通常具有较低的像素占用率和模糊的边界。这使得基于IoU的损失对微小的定位误差高度敏感，且不足以提供稳健的监督。为缓解这一问题，作者引入归一化Wasserstein距离（NwD）[19]作为一种分布感知度量，将预测框和真实框均建模为2D高斯分布。NWD在位置偏移下提供更平滑的梯度，并具有更好的尺度变化容忍度。通过将NWD与传统的IoU损失相结合，模型在定位精度上得到提升，尤其对于小目标。给定边界框

和

，其对应的高斯分布

和

之间的平方2-Wasserstein距离被计算。由于该距离不直接作为相似性度量，因此被归一化为：

其中

是一个数据集特定的缩放常数（例如 0.5），通过消融研究确定。最终的边界框回归损失定义为：

其中

表示基于Wasserstein的损失，

是标准的IoU损失，

控制损失的权重。

3 实验与分析

3.1 实验设置

实验在Ubuntu 24.04系统上进行，使用Intel® Xeon E5-2680 CPU（2.4 GHz）和NVIDIA Tesla V100 GPU（16 GB）。软件环境包括PyTorch 1.13.1和CUDA 11.7。模型采用Adam优化器进行训练，初始学习率为0.001，批处理大小为16，训练轮数为300。输入图像被调整为640×640以增强收敛性和计算效率。采用提前停止策略，若验证性能连续30个轮次未改善则终止训练。

3.2 数据集构建

现有的道路表面数据集提供了可用于坑洼和减速带等样本，但往往缺乏对不同驾驶条件的全面覆盖，例如不同的光照、遮挡和道路纹理。为解决这一问题，作者通过从多个公共来源聚合和精炼相关样本来构建一个有针对性的数据集，这些来源包括基准数据集[17,27-29]以及Kaggle和Roboflow Universe等社区平台。最终形成的数据集捕捉了复杂真实场景中具有代表性的道路异常，为道路感知模型的训练和评估提供了一个更多样化且更具挑战性的基准。代表性示例如图6所示。

为了进一步提升泛化能力，采用数据增强技术模拟雨雪等恶劣天气条件，使用高效的图像变换技术[21]。其他增强方法包括随机翻转和光度调整（例如亮度、对比度饱和度），如图5所示。最终数据集包含7500张图像，分为5250张用于训练，1125张用于验证，1125张用于测试。

3.3 评估指标

为了定量评估检测性能，作者采用平均精度均值（mAP），包括50%IoU（IoU）下的mAP（mAP_50）以及从50%到95% IoU阈值范围内的平均mAP（mAP_50-95）。模型效率通过参数数量（Params）、每秒浮点运算次数（GFLOPs）、每秒帧数（FPS）和推理延迟进行评估。更高的mAP反映了更好的检测精度，而更高的FPS和更低的延迟则表明更强的实时处理能力。GFLOPs和Params量化了计算和内存成本，这对于在边缘设备上部署至关重要。

评估指标定义如下：

其中

、

和

分别表示真阳性、假阳性和假阴性。

和

代表精确率和召回率，

是目标类别的数量。

3.4 消融实验

表1中的消融研究通过将每个 Proposal 模块逐步集成到YOLOv11n Baseline 中来评估其有效性。每个配置都包括前一行的所有模块以及一个新添加的组件。

基准YOLOv11n模型在推理速度上表现出色（71.2 FPS），但在检测精度方面相对有限（mAP₅₀ = 81.2%，mAP₅₀₋₉₅ = 47.7%），这主要是因为缺乏对检测小物体至关重要的低层特征信息。引入P2检测Head显著提升了检测精度至mAP₅₀ = 83.9%，但代价是计算复杂度的增加（FLOPs从6.3G升至10.3G）以及推理速度的下降至53.5 FPS。

为了实现更好的精度-效率权衡，作者用所提出的LEDH替换了标准P2头。这种替换进一步提升了精度（+1.8%）和召回率（+1.1%），同时显著减少了FLOPs（减少35%），并将速度提升至69.6 FPS。

随后，GhostConv的引入使FLOPs降低了额外的7.5%，且对检测精度影响极小。在此基础上，VoVGSCsPC Backbone 模块的集成不仅降低了模型复杂度（至5.8 GFLOPs和2.04M参数），还提升了检测精度至mAP50 = 84.6%。最后，NWD Loss的应用进一步增强了模型定位小尺寸和不规则物体的能力，实现了最高精度（89.0%）和整体检测性能（mAP50 = 86.6%，mAP50-95 = 51.1%）在所有配置中的最优。这些结果验证了每个所提出的组件均有助于性能提升，最终模型在速度、精度和轻量化设计之间取得了引人注目的平衡，非常适合在资源受限环境下进行实时道路异常检测。

3.5 知识蒸馏实验

知识蒸馏（KD）将知识从较大的预训练教师模型迁移到轻量级学生模型，旨在以最小的计算开销提升泛化能力。所提出的KD框架采用混合策略，结合使用BCKD[20]的logit层级监督和通过CWD[30]实现的特征层级指导。从两个模型中分别选取六个相应的中间层，以实现有效的特征对齐。详细的训练超参数汇总于表2。

在作者的研究中，采用了一个具有相似架构和S级规模的教师模型（20.6 GFLOPs，7.42M参数）来指导学生模型的训练。如表3所示，知识蒸馏在所有指标上均带来了持续的性能提升。具体而言，验证集上的

提升了3.5%，测试集上提升了3.4%，这表明不仅检测性能得到增强，泛化能力也有所提高。两个数据集上的性能提升相当，表明学生模型受益于教师模型的指导，而未出现过拟合现象。

3.6 模型比较实验

为了全面评估检测质量和计算效率，作者将SBP-YOLO与具有代表性的YOLO变体（YOLOv5-YOLOv12）在标准性能和复杂度指标上进行比较。如表4所示，SBP-YOLO实现了86.6%的mAP50，比YOLOv11n Baseline 提高了5.4%，同时模型参数、FLOPs和存储分别减少了20.9%、7.9%和17.9%。通过知识蒸馏，SBP-YOLO（Distilled）进一步提高了检测精度，达到87.0%的mAP50和54.6%的mAP50.95，且未引入额外的计算开销。这些结果突显了作者架构和训练策略在实现精度和效率之间强权衡方面的有效性。

为进一步说明模型在训练过程中的性能表现，图7展示了在300个epoch内的mAP50和边界框损失曲线。与其它YOLO变体相比，SBP-YOLO表现出持续更高的检测精度和更低的训练损失，这表明其收敛速度更快且训练稳定性更高。这些趋势进一步验证了SBP-YOLO在实际应用中的有效性和鲁棒性。

3.7 性能比较

如图8a所示，SBP-YOLO在远距离小尺度道路特征检测方面表现出更强的检测能力，例如远场减速带和坑洼。这些目标通常具有分辨率降低和纹理线索微弱的特点，给现有的检测模型带来挑战。与 Baseline YOLO变体相比，SBP-YOLO在识别这类长距离低可见度物体时实现了更高的准确性和更强的稳定性。图8b展示了在不同光照条件下的检测性能，包括日落、夜间和强阳光照射。SBP-YOLO在所有场景下均保持稳定的准确性。夜间，其性能比YOLOv5高9%，在日落时（由于对比度降低可能阻碍检测），SBP-YOLO的表现优于其他模型。在强阳光导致眩光的情况下，SBP-YOLO成功识别远距离坑洼，而YOLOv8等模型偶尔会漏检目标。为评估视觉退化环境下的鲁棒性，图8c报告了模拟雨、雪和运动模糊的增强数据集上的结果。在模拟雨中，SBP-YOLO实现了0.64的检测准确率，优于YOLOv11n（0.47）和YOLOv5n（最低）。在雪和运动模糊条件下也观察到类似的改进，证明了模型对复杂视觉扰动的抵抗力。这些结果表明，SBP-YOLO为坑洼和减速带等道路表面特征的实时检测提供了可靠高效的解决方案。通过提前识别这些几何不规则性，模型支持通过前馈控制提前调整悬挂参数，有助于提升乘坐舒适性和车辆稳定性。这项能力在复杂或不平坦的道路上尤为有益，及时感知对于安全自适应悬挂行为至关重要。

4 嵌入式设备实验

4.1 实验环境

所有嵌入式推理实验均在NVIDIA Jetson AGX Xavier平台上进行。如图9所示，实验设置包括AGX Xavier模块及其载板。通过命令行执行推理，可通过系统终端实时监控处理速度。所提出的SBP-YOLO模型使用TensorRT进行转换和部署，并借助一个用于YOLO模型的开放源代码优化工具[37]。软件栈基于NVIDIA JetPack 5.1.5。

4.2 推理实验

为确保公平比较，基准YOLOv11n模型通过添加P2检测Head进行了增强，以匹配SBP-YOLO的检测结构。因此，性能评估仅集中于SBP-YOLO中提出的改进效果，而非模型容量或检测粒度的差异。表5和图10报告了在不同精度模式（包括INT8、FP16和FP32）下的推理性能。在FP16模式下，SBP-YOLO相较于修改后的YOLOv11n实现了15.39 FPS的性能提升；在FP32模式下，性能提升为13.52 FPS。此外，SBP-YOLO在所有配置下均保持较小的模型尺寸，体现了其更高的效率。在相同推理条件下比较不同量化模式时，INT8导致精度降低且漏检频繁。FP16在保持接近FP32精度的同时显著降低了延迟。值得注意的是，FP16模式下的SBP-YOLO能够持续检测长距离减速带和复杂坑洼，展现出更低的漏检率和在实时部署场景中的更高可靠性。

5 结论

本文提出SBP-YOLO，一种轻量高效的目标检测框架，旨在实时检测路障和坑洼，以促进智能悬架系统的预测控制。基于YOLOv11架构，SBP-YOLO引入P2检测Head以提高对微小和远距离目标的敏感性，集成了GhostConv和VoVGscsPC模块进行高效的多尺度特征提取，并采用所提出的LEDH减少计算开销而不牺牲精度。为进一步增强动态环境中的鲁棒性和泛化能力，采用混合训练策略，结合NWD损失、 Backbone 层知识蒸馏（BCKD）和基于Albumentations的增强。该策略在检测性能上取得持续提升，尤其对小尺度异常，相较于YOLOv11n Baseline 模型，在mAP指标上提升了5.8%。实验结果表明，在Jetson AGX Xavier平台上进行TensorRT FP16优化后，SBP-YOLO达到139.5 FPS，相较于具有相同P2检测Head结构的 Baseline YOLOv11n模型（124.1 FPS），推理速度提升了12.4%。这证实了所提出的架构增强在智能悬架系统嵌入式实时部署中的效率优势。

参考

[1]. SBP-YOLO:A LIGHTWEIGHT REAL-TIME MODEL FORDETECTING SPEED BUMPS AND POTHOLES