点击下方卡片，关注「集智书童」公众号
导读
车道线检测对于自动驾驶和High-Level驾驶辅助系统（ADAS）至关重要。尽管像CLRNet这样的近期方法取得了强大的性能，但在极端天气、光照变化、遮挡和复杂曲线等不利条件下，它们仍然存在挑战。作者提出了一种小波增强特征金字塔网络（WE-FPN）来解决这些挑战。在特征金字塔之前集成了一种基于小波的非局部块，以改善全局上下文建模，特别是对于遮挡和曲线车道。此外，作者设计了一个自适应预处理模块，以增强在恶劣光照条件下的车道可见性。注意力引导的采样策略进一步细化空间特征，提高了对远距离和曲线车道的准确性。
在CULane和TuSimple上的实验表明，WE-FPN在具有挑战性的场景中显著优于 Baseline 方法，在现实驾驶条件下实现了更好的鲁棒性和准确性。
1 引言
车道线检测是自动驾驶和High-Level驾驶辅助系统（ADAS）中的基本任务，为车辆定位、路径规划和转向控制提供关键线索。精确的车道感知使车辆能够保持车道纪律并做出明智的导航决策，对驾驶安全和系统鲁棒性贡献显著。随着深度学习的快速发展，车道线检测方法已从传统的手工特征转向基于学习的模型，在准确性和效率方面都取得了显著的进步。
近期用于车道线检测的深度模型可以大致分为三种范式：基于分割、基于 Anchor 点和基于曲线的方法。分割方法[9,24,27]将车道线检测表述为像素级分类任务。尽管这些方法在捕捉详细的车道结构方面能力强大，但它们存在计算开销高，对遮挡、阴影和极端光照等复杂场景敏感的问题。基于 Anchor 点的方法[7]通过预测 Anchor 点或 Anchor 线来回归车道位置，但往往难以处理曲线车道或涉及严重遮挡和光照变化的场景。基于曲线的模型[21,25]直接预测曲线参数以拟合车道 Token ，降低了计算成本，但它们在处理复杂的道路几何形状或多个车道场景时面临困难。
尽管最近的研究进展，如CLRNet [2]，引入了强大的特征聚合模块和优化的训练策略，但在恶劣条件下（包括大雨、雪、眩光和遮挡）进行鲁棒的车道线检测仍然是一个具有挑战性的问题。受非局部操作在捕捉长距离依赖关系和最近在多尺度特征建模方面的进展[23,6]的启发，作者提出了一种小波增强特征金字塔网络（WE-FPN）来解决这些限制。具体来说，作者引入了一个小波增强的非局部模块以更好地捕捉上下文依赖关系，并设计了一个自适应预处理模块以增强光照。此外，还引入了一种注意力引导的采样策略来细化长距离空间特征，特别是改善了曲线车道线检测。
作者的贡献总结如下：
- • 作者提出了一种名为WE-FPN的波纹增强特征金字塔网络，该网络能够有效地整合多尺度上下文信息，以改善在恶劣条件下的车道线检测。
- • 设计了一个自适应预处理模块，用于在极端光照场景中提升图像质量，增强车道可见性和特征表示。
- • 作者引入了一种注意力引导的采样策略，以强调长距离结构线索，显著提升了曲线和远距离车道线检测的性能。
- • 在CULane [12] 和 TuSimple [22] 基准测试上的实验表明，WE-FPN实现了最先进的性能，尤其是在遮挡、弯曲车道和低光照环境等复杂场景中。
2 相关工作
2.1 基于深度学习的车道线检测
深度学习通过实现端到端特征学习和复杂道路场景的鲁棒建模，彻底革新了车道线检测技术。基于分割的方法将车道线检测视为像素级的分类问题，从而实现了车道区域的详细定位。SCNN [12] 首次提出空间消息传递来增强车道预测的连续性，而 RESA [27] 通过可学习的循环平移进一步提升了上下文聚合。
尽管这些方法效果显著，但它们在计算成本高、在遮挡和复杂背景下泛化能力差方面存在不足。基于 Anchor 点的方法预测预定义的 Anchor 点或行级车道位置。LaneATT [20] 和 SGNet [19] 利用结构化注意力和消失点约束来增强 Anchor 点回归。UFLD [14] 和 CondLaneNet [9] 通过采用行级 Anchor 点和条件卷积来关注效率。然而，这类方法通常高度依赖起点定位，并且在处理弯曲或严重遮挡的车道时存在困难。基于曲线的模型，如 PolyLaneNet [21]，将车道 Token 建模为参数曲线，提供了计算效率和紧凑的表示。然而，在多车道或高曲率场景下，拟合复杂的车道拓扑结构仍然具有挑战性。
2.2 特征增强与上下文建模
近期的研究强调了多尺度特征融合和长距离上下文建模在视觉任务中的重要性。例如，Weng等人[23]提出了选择性频率交互网络来增强空中目标检测，展示了自适应特征选择的有效性。同样，Li等人[6]引入了LR-FPN用于遥感目标检测，通过位置敏感增强来细化特征金字塔。受这些进展的启发，作者的工作将基于小波的非局部建模集成到车道线检测中，以增强全局上下文捕捉同时保留精细的车道线特征。此外，作者的注意力引导采样策略借鉴了人类中心生成任务中的最新进展，在这些任务中，自适应特征调制显著提高了生成保真度[18,16,17]。
尽管取得了显著进展，但在具有挑战性的条件下进行鲁棒的车道线检测仍然困难。光照、路面 Token 、遮挡和天气的变化会显著降低检测性能。CLRNet[2]通过引入RoIGather和SimOTA来改善上下文聚合和标签分配，解决了这些挑战中的部分问题。然而，基于检测的方法仍然依赖于繁重的后处理，并且难以保持全局一致性。
3 方法
3.1 数据预处理
动机。尽管CLRNet[2]在处理重雨、雪、遮挡和强烈光照等具有挑战性的环境条件时表现出增强的鲁棒性，但其性能在面对严重的环境畸变时仍然不足。一个重要的限制来自于这些不利场景导致的图像质量下降，这极大地增加了车道特征的提取难度。为了克服这一挑战，作者提出了一种创新的适应性预处理流程，该流程旨在动态调整和优化图像亮度和对比度，从而增强车道可见性并减少后续检测模型中特征的模糊性。
所提出的流水线通过一个复杂的两阶段增强工作流程处理输入图像。在第一阶段，一个直方图分析模块仔细检查图像以识别过度曝光或欠曝光的区域。随后，应用自适应伽玛校正技术以标准化图像的整体亮度，有效应对极端光照变化，如眩光或低光条件。在第二阶段，采用了一种混合对比度增强算法，该算法将CLAHE（对比度受限自适应直方图均衡化）与引导滤波相结合。这种组合不仅锐化了车道边缘的细节，而且有效地抑制了均匀区域的噪声放大，确保了对车道特征的清晰且准确的表示，以便于后续处理。
3.2 小波增强特征金字塔网络（WE-FPN）
为了解决CLLNet的特征金字塔网络（FPN）在有效提取局部特征方面的局限性，尤其是在涉及遮挡和拥挤环境的场景中，如图2所示，作者引入了一种新的小波增强FPN（WE-FPN）架构。该High-Level框架包含一个增强的非局部块，该块进一步通过小波卷积进行增强，这是一种显著提高特征表示的技术。
具体来说，离散小波变换被用于将输入特征分解为高频子带，这些子带捕捉到如车道纹理等细粒度细节，以及低频子带，这些子带保留了结构和全局拓扑信息。这种多尺度分解过程允许模型明确且同时捕捉到复杂的局部细节和更广泛的结构连贯性，解决了传统FPN在复杂场景中的不足。
此外，为确保增强功能的无缝集成，作者提出了一种加权融合机制，该机制智能地结合了原始FPN分支和波纹增强分支的输出。该融合机制经过精心设计，旨在平衡两个分支的贡献，利用每个分支的优势以产生更鲁棒的特征表示。在融合步骤之后，应用一个3x3卷积层来细化聚合特征并抑制可能由多尺度聚合过程产生的任何潜在混叠伪影。这种细化确保了最终的特征图既精确又无伪影，从而提高了在具有挑战性的环境中车道线检测模型的总体性能。通过集成基于波纹的多尺度分析和复杂的融合策略，WE-FPN架构显著增强了模型处理遮挡、拥挤场景和其他复杂场景的能力，最终实现了更准确和可靠的车道线检测。
3.3 注意力采样
动机。CLRNet中采用的均匀采样策略未能充分考虑到远距离区域中消失点的关键作用，导致在预测弯曲车道时性能不佳。为了缓解这一局限性，作者提出了一种受空间注意力原理启发的注意力引导采样机制。该方法不再平等对待所有区域，而是动态地优先考虑包含关键几何线索（例如，消失点和曲率转换）的区域，同时抑制信息量较小的区域。
如图3所示，所提出的采样策略保留了高置信度的预测特征和语义线索，这些特征对于稳健的车道几何推理至关重要，特别是提高了曲率估计的准确性。通过将特征聚合与车道拓扑先验对齐，该方法在复杂道路几何的结构一致性和检测精度方面都取得了显著的提升。
此注意力采样的公式为：
该公式
表示一个从0到
数据点的等差数列缩放，其中
是样本点数，
是图像高度。为了生成聚焦样本点，特征点分布经过对数变换，将特征点转换为整数样本值。此方法强调提取关键语义信息。由于对数离散化可能产生重复值，因此在后处理中应用了去重。
3.4 训练与推理细节
正样本选择。在训练过程中，每个真实车道线会根据[3]中受到启发的方案，与一个或多个预测车道线动态匹配作为正样本。具体来说，作者根据预定义的分配成本指标对预测车道线进行排序，该指标的表达式如下：
这里
表示预测值与标签之间的焦点成本[8]。
表示预测车道与真实值之间的相似度成本。它包括三个部分，
表示所有有效车道点的平均像素距离，
表示起点坐标的距离，
表示theta角度的差异，它们都被归一化到
。
和
是每个定义组件的权重系数。每个真实车道根据
训练损失分配一个动态数量的预测车道（top-k）。训练损失包括两个部分：分类损失和回归损失。值得注意的是，回归损失仅针对分配的正样本进行计算。整体损失函数如下所示：
是预测值与标签之间的Focal Loss，
是起点坐标、theta角度和车道长度回归的平滑-
损失，
是预测车道与真实值之间的线IoU损失。可选地，作者可以添加一个辅助分割损失，如文献[14]中所述。该损失仅在训练期间使用，在推理过程中没有成本。
推理。为了过滤掉背景车道（低分数车道先验），作者应用了一个分类分数阈值。此外，作者采用非极大值抑制（NMS）来消除高度重叠的车道，遵循[20]中的方法。值得注意的是，WE-FPN可以通过采用一对一分配策略来在不使用NMS的情况下运行，即设置top-k值为1。
4 实验
作者在两个广泛使用的车道线检测基准数据集上评估了WE-FPN：CULane [12] 和 TuSimple [22]。
CULane [12] 是一个针对复杂城市驾驶场景设计的大规模数据集。它包含 100,000 张图像（
分辨率），涵盖九个具有挑战性的类别，包括拥挤场景、夜间和十字路口条件。该数据集提供了丰富的标注，用于在多样化的真实世界环境中评估车道线检测性能。
TuSimple [22]专注于高速公路驾驶场景，提供了6,408张分辨率为
的图像，这些图像分为3,268张训练图像、358张验证图像和2,782张测试图像。其清晰的标注和受控场景使其成为评估高速公路环境中车道线检测精度的标准基准。
4.1 实现细节
本研究主要使用DLA34[26]和ResNet [4]作为预训练的主干网络。在主干网络下，CULane数据集设置为迭代15个epoch，而Tusimple设置为70个epoch。在优化过程中，作者使用AdamW [11]优化器，初始学习率为1e-3，并采用余弦衰减学习率策略 [10]，功率设置为0.9。作者的网络基于Pytorch实现，使用1个GPU运行所有实验。作者将车道先验点的数量设置为
，采样数量Np = 36。
4.2 与现有最佳结果的比较
在CULane上的性能。作者展示了所WE-FPN在CULane车道线检测基准数据集上的性能评估，该数据集是车道线检测任务中广泛认可且具有挑战性的数据集，并与几种最先进的车道线检测方法进行了全面比较。如表1所示，WE-FPN在各种具有挑战性的场景中取得了令人印象深刻的成果，在拥挤场景中的F1分数为79.90，在弯曲车道中的F1分数为74.71，在夜间条件下的F1分数为76.02。这些结果不仅证实了WE-FPN的有效性，而且突显了其在CLRNet等该领域领先方法之上的优越性。具体来说，WE-FPN在拥挤场景中比CLRNet高出0.31，在弯曲车道中高出0.65，在夜间条件下高出0.03。这些改进尤其显著，因为它们证明了模型在视觉证据通常有限或模糊的场景中增强了鲁棒性和可靠性，例如低光夜间环境、密集拥挤的道路和复杂的弯曲车道结构。
0.65的弯曲车道线检测性能显著提升尤为引人注目，因为曲线由于其形状多变和难以保持一致的特征提取而本质上更具挑战性。这种性能提升凸显了WE-FPN在处理复杂和动态车道几何形状方面比现有方法更有效的能力。总体而言，这些结果验证了WE-FPN在解决当前车道线检测系统局限性的优势，尤其是在具有挑战性和现实驾驶条件下，并突出了其在自动驾驶和High-Level驾驶辅助系统（ADAS）中的实际应用潜力。
在Tusimple上的表现。表2提供了WE-FPN与CULane数据集上几种最先进方法在性能上的详细比较，突出了车道线检测任务的竞争性。结果显示，表现最好的方法之间的性能差距相对较小，这表明数据集可能已经接近饱和点，由于已经很高的 Baseline 性能，进一步改进越来越具有挑战性。尽管如此，WE-FPN在之前的最先进方法上实现了显著的改进，在误报（FP）得分上超过了0.06%。这种看似微小但具有统计学意义的提升凸显了WE-FPN的有效性和精确性，尤其是在处理车道线检测中最具挑战性的方面。
FP分数的提升尤其有意义，因为它反映了WE-FPN在保持高准确率的同时降低误检的能力，这对于实际应用来说是关键要求。这一进步展示了WE-FPN在各种困难条件下检测车道线的鲁棒性，包括曲线车道，由于它们的动态形状而本质上更加复杂，以及涉及模糊或遮挡的车道和复杂背景的场景。这些条件通常给传统的车道线检测系统带来重大挑战，导致错误率增加。然而，WE-FPN在这些领域优于现有方法的能力突显了其卓越的特征提取能力和对不同环境和挑战的适应性。
这种性能提升不仅验证了作者提出的技术有效性，还强调了它们在自动驾驶系统和High-Level驾驶辅助系统（ADAS）中的实际部署潜力，在这些系统中，精确可靠的车道线检测对于确保安全和运营效率至关重要。通过解决现有方法的关键局限性，WE-FPN为车道线检测性能设定了新的基准，为该领域的进一步发展铺平了道路。
4.3 消融研究
为了验证所提方法各个组件的有效性，作者在广泛使用的CULane数据集上开展了一系列综合实验，该数据集涵盖了多种驾驶场景，如拥挤的城市道路、弯曲的车道和低光照的夜间条件。这些实验展示了每个组件（包括数据预处理流程、注意力采样机制和波纹增强FPN）所实现的性能提升，突出了它们在提高车道线检测精度和鲁棒性方面的贡献，尤其是在具有挑战性的环境中。
总体消融研究。为了分析每种提出方法的重要性，作者在表3中报告了总体消融研究。作者逐步在DLA34 Baseline 模型上添加数据预处理、注意力采样和WE-FPN。数据预处理使fl提高了0.3%、0.4%、0.4%，注意力采样使fl提高了0.17%、0.33%、0.41%，WE-FPN在拥挤、曲线和夜间场景中使f1提高了0.11%、0.21%、0.20%。
数据分析与预处理。数据预处理模块在所有场景中都表现出一致且显著的性能提升，其中曲线和夜间场景的改进最为显著（各提升0.4%）。这表明数据预处理在增强模型处理复杂和具有挑战性环境的能力方面发挥着关键作用。潜在的数据预处理技术，如数据增强、噪声减少或光照归一化，可能有助于模型学习更鲁棒和更具泛化能力的特征。例如，在夜间场景中，预处理可能涉及调整低光照条件或增强对比度，这直接提高了模型在具有挑战性的环境中的性能。场景间的均匀改进表明，数据预处理是一个基础步骤，无论具体环境条件如何，都能为模型带来益处。
注意力采样分析。在夜间场景中，注意力采样模块显示出最显著的改进（0.41%），表明其在低光或复杂光照条件下的有效性。这表明注意力机制有助于模型关注输入中最相关的区域，这在能见度差或场景包含干扰元素时尤其有益。在曲线场景中，改进（0.33%）同样显著，这可能是由于注意力机制有助于识别曲线路径或不规则结构上的关键特征。然而，在拥挤场景中，改进相对较小（0.17%），这可能是因为物体的密集分布使得注意力机制难以隔离特定目标。总体而言，注意力采样证明是增强特征提取的有力工具，尤其是在具有挑战性视觉条件的场景中。
WE-FPN分析。WE-FPN模块在所有场景中都提供了适度但稳定的改进，其中曲线和夜间场景的改进最为显著（分别为
和
）。这表明WE-FPN的加权特征融合机制增强了模型处理多尺度目标和复杂空间关系的能力，这在弯曲道路和夜间环境中较为常见。例如，在曲线场景中，WE-FPN可能提高了不同距离和方向上目标的检测能力，而在夜间场景中，它有助于整合不同尺度的特征，以更好地处理能见度低的情况。在拥挤场景中，改进较小（0.11%），这可能是由于密集且重叠的目标降低了多尺度特征融合的有效性。尽管如此，
WE-FPN通过允许在网络的各个层级之间进行更有效的特征聚合，从而增强了模型的鲁棒性。
消融研究：最优加权系数。如图4所示，实验结果表明，所提出的加权融合机制在
时达到最佳性能，其中WE-FPN分支（小波增强特征）贡献了70%，而原始FPN分支贡献了30%。这种平衡的加权有效地结合了高频细节（通过小波分解提取）和低频结构信息（由FPN保留），在拥挤、弯曲和夜间等复杂场景中带来了显著的改进。具体来说，在
时，模型在捕捉拥挤场景中的细粒度纹理、保持弯曲车道中的全局拓扑一致性以及增强低光照条件下的边缘检测方面表现出色。这些发现突出了加权融合机制在平衡多尺度特征中的重要性，最终提高了在具有挑战性的环境中车道线检测的鲁棒性和准确性。
5 结论
本文提出了一种统一的车道线检测框架，该框架在恶劣条件下增强了鲁棒性和准确性。作者提出了三个关键创新：一个用于光照归一化的预处理模块、一个关注消失点和曲线区域的注意力引导采样机制，以及用于多尺度特征聚合的波纹增强特征金字塔网络（WE-FPN）。
在CULane和TuSimple基准数据集上的大量实验表明，WE-FPN优于最先进的CLRNet，在曲线车道上实现了0.58%的F1分数提升，同时保持了实时效率（每帧小于5毫秒）。所提出的框架有效地平衡了细粒度定位和全局上下文建模，显示出在多种道路和光照条件下的强大泛化能力。未来的工作将探索多模态传感器融合和动态车道拓扑预测，以进一步提高系统在自动驾驶应用中的鲁棒性。
参考
[1]. Robust Lane Detection with Wavelet-Enhanced Context Modeling and Adaptive Sampling
扫码加入👉「集智书童」交流群
（备注：方向+学校/公司+昵称）