点击下方卡片，关注
「集智书童」
公众号
导读
领域偏移仍然是基于深度学习的计算机视觉中一个持续的挑战，通常需要大量的模型修改或大量 Token 数据集来解决。受人类视觉感知的启发，人类通过矫正镜片调整输入质量，而不是过度训练大脑，作者提出了Lens，一种新颖的相机传感器控制方法。
Lens通过从模型的角度捕获高质量图像来增强模型性能，而不是依赖于传统的以人为中心的传感器控制。Lens轻量级，并能实时调整传感器参数以适应特定模型和场景。在核心上，Lens利用VisiT，一种无需训练、针对特定模型的质量指标，在测试时使用置信度分数评估单个 未标注 样本，而不需要额外的适应成本。为了验证Lens，作者引入了ImageNet-ES Diverse，一个新的基准数据集，它捕捉了不同传感器和光照条件下的自然扰动。
在ImageNet-ES和作者的新ImageNet-ES Diverse上的大量实验表明，Lens在传感器控制和模型修改的各种 Baseline 方案中显著提高了模型精度，同时保持了低延迟的图像捕获。Lens有效地补偿了大型模型尺寸差异，并与模型改进技术协同集成。
代码和数据集： https://www.github.com/Edw2n/Lens.git
1 引言
领域偏移，即训练数据和测试数据之间的分布差异，是降低基于深度学习的计算机视觉模型性能的一个已知挑战。现有的解决方案主要集中于模型泛化或模型自适应，这些方法通常需要修改模型本身。然而，它们通常需要显著改变模型并对大型、标注过的目标数据集的访问，这使得它们成本高昂、耗时且对于资源受限设备上的实时应用来说不切实际。
相比之下，人类的视觉感知是通过眼睛（传感器）和大脑（模型）之间精细的相互作用来实现的。眼睛作为精确的传感器，捕捉视觉数据，而大脑则对其进行处理和解释。当视觉输入受损，无论是由于模糊或眩光，典型的反应是通过矫正眼镜、太阳镜或放大镜来提高输入质量，而不是重新训练大脑以更好地解释受损的图像。这个类比突出了模型并非一切所需；通过相机传感器获取高质量的图像对于减轻协变量偏移和改善视觉感知至关重要。
尽管存在如自动曝光等针对人类感知优化的传感器控制，但作者认为，为了高质量图像采集以提升模型感知能力而设计的相机传感器控制需要一种根本不同的方法。此外，在动态环境和资源受限的设备上，传感器控制机制必须能够快速适应不同的场景。为了解决这些问题，作者引入了Lens（图1），这是一种新颖的自适应传感器控制系统，能够捕捉对现实世界扰动具有鲁棒性的高质量图像。Lens的核心思想是识别出最优的传感器参数，使目标神经网络能够更好地区分目标，类似于调整一副眼镜以获得清晰的视力。Lens通过利用VisiT（神经网络视觉测试），一种无需训练、针对特定模型的质质量指标，在测试时对单个 未标注 样本进行操作，而不需要额外的适应成本，来实现这一点。VisiT根据针对目标模型的置信度分数来评估数据质量，确保高质量数据，无需进行大规模的重新训练或数据收集。通过获取针对目标模型最具区分性的图像，Lens显著提高了模型精度，而无需修改模型。
为了展示Lens在现实传感器控制环境中的有效性，作者构建了一个测试平台ES-Studio Diverse，其中使用具有不同传感器参数和光照条件的物理相机捕捉图像。利用这个设置，作者创建了一个新的数据集ImageNet-ES Diverse，包括192,000张图像，这些图像通过传感器和光照设置的变体捕捉了多样的自然协变量变化，这些变体基于TinyImageNet中的1,000个样本。
作为首个针对模型中心化传感器控制的深入研究，作者使用多个模型架构，在两个基准测试——ImageNet-ES以及作者新创建的ImageNet-ES Diverse——上对Lens进行了全面评估。作者将Lens与各种 Baseline 方法进行了比较，包括针对人类的或随机的传感器控制方法、领域泛化技术以及轻量级测试时自适应（TTA）方法。作者的结果表明，配备VisiT的Lens在这些方法中表现显著优异，准确率提高了高达47.58%，同时有效地将图像捕获时间缩短至仅0.16秒，使其足以实现实时操作。传感器控制的效果甚至可以弥补高达
的模型尺寸差异。此外，对质量估计器的消融研究表明，VisiT优于最先进的分布外（OOD）评分方法，验证了置信度分数作为有效质量 Agent 的有效性。作者的定性分析进一步通过视觉洞察支持了这些发现。
作者的主要贡献如下：
- • 镜头：作者引入了镜头，这是一种简单而有效的自适应传感器控制方法，它从模型的角度评估图像质量，并优化相机参数以提高准确性。
- • VisiT（神经网络视觉测试）：镜头采用VisiT，这是一种无需训练、模型感知的质量指标，在测试时对单个 未标注 样本进行操作。作为此类尝试的首次尝试，VisiT基于置信度分数估计数据质量，以评估泛化性和简洁性。
- • 候选选择算法（CSAs）：作者提出CSAs以平衡实时适应性和准确性提升，使Lens能够在实际约束下高效运行。
- • ImageNet-ES Diverse：作者发布了ImageNet-ES Diverse，一个包含192,000张图像的新基准数据集，这些图像通过不同的传感器和光照条件捕捉了自然协变量变化。
- • 研究见解与发现：作者广泛的实验不仅突出了Lens的优越性，还揭示了对未来研究有价值的见解：(1) 传感器控制可以显著提高准确性，而无需修改模型。(2) 传感器控制与模型改进技术协同整合。(3) 传感器控制必须以模型和场景特定的方式进行定制。(4) 用于模型感知的高质量图像与优化给人视觉的图像不同。
2 相关工作
2.1 模型改进：处理领域迁移输入数据
频繁的领域迁移在将神经网络部署到动态现实世界环境中时提出了重大挑战。尽管传统研究旨在提高模型的可泛化性或适应性，但这些方法在计算上带来了负担，尤其是在实时应用中运行的资源受限设备上。领域泛化技术旨在训练模型以处理不同的数据分布，但通常会导致模型规模显著增大且更加复杂。领域自适应方法将模型适应到特定的目标领域，这需要频繁的重训练和收集大量的 Token 目标数据。
为了解决无需标注成本的情况下实现轻量级、实时适应的需求，已经开发出了测试时适应（TTA）方法，这些方法允许模型通过使用少量 未标注 的目标数据以及无监督目标来适应新的领域。然而，这些轻量级TTA方法在面对快速变化的环境时可能会导致模型崩溃。
最后，这些以模型为中心的技术存在一个基本局限性，即它们无法解决数据获取过程本身。它们难以应对由低质量数据（如过度曝光或低光照条件下捕获的图像）引起的严重领域变化（Baek等，2024年）。
2.2 输入数据改进：缓解领域偏移
为了通过提高数据质量来应对领域迁移，相机传感器控制最近受到了关注。与旨在满足人类感知的传统相机自动曝光方法不同，这项新研究侧重于针对深度学习模型优化传感器输入。然而，由于缺乏合适的基准数据集，早期工作不得不依赖于相机传感器模拟，这在泛化到现实世界的领域迁移方面存在不足。尽管一些研究已经探索了物理相机传感器的控制，但这些努力仅限于高度受限的环境，且曝光选项范围非常有限。
为了克服这些不足，引入了ImageNet-ES数据集，通过使用具有不同传感器参数（如ISO、快门速度和光圈）的物理相机来捕捉现实条件下的领域偏移。虽然ImageNet-ES数据集展示了传感器控制解决协变量偏移的潜力，但确定特定模型的最佳传感器参数仍然是一个开放性挑战。此外，还需要更多的基准数据集来增强新兴控制机制的泛化能力。据作者所知，这项工作首次对使用现实基准（包括ImageNet-ES和作者所引入的ImageNet-ES Diverse数据集）的相机传感器控制进行了全面探索。
3 LenS：用于视觉模型的自适应眼镜
作者引入了Lens，这是一个针对神经网络的后处理、自适应和相机无关的传感器控制系统，旨在自适应地响应动态场景特征。Lens背后的关键思想是识别最佳传感器控制参数，以增强目标模型区分特征的能力——无论是模型特定还是场景特定，类似于调整一副处方眼镜以提供针对个人需求和环境的清晰视力。通过仅关注传感器参数调整，而不对模型本身进行任何修改，Lens防止了模型崩溃和灾难性遗忘，确保了在不同领域中的可靠性能。此外，它在计算和内存方面都轻量高效。为了实现这一点，作者提出了VisiT（神经网络视觉测试），这是一个集成到Lens中的轻量级视觉测试器，用于评估相机传感器捕获的图像是否最适合目标模型和场景。VisiT在测试时间对单个 未标注 样本进行操作，而不修改目标模型。
3.1 整体框架
图2a展示了Lens的整体框架，该框架通过一个支持批量推理的目标神经网络
和一个配备一组
个可用参数选项的相机传感器
进行操作。令
表示相机使用传感器参数选项
从目标场景
捕获的图像。Lens的目标是选择最优的传感器参数
，使得捕获的图像
最大化目标模型对场景
的解释准确性。令
表示在模型
的背景下图像
的质量估计。Lens所选的最优参数选项
可以表示为：
模型和场景特定传感器控制。镜头实时自适应地选择每个模型和场景的最佳传感器参数
，而不是依赖于通过离线训练为所有模型和/或场景确定的全局固定参数。关键洞察是不同的模型在提取和优先考虑特征以进行场景解释方面具有不同的方式。如图2c所示，两种不同的模型可以以不同的方式感知相同的捕获图像（图中左侧），导致每个模型的最佳参数不同，即使对于相同的场景（图中右侧）。同样，即使模型固定，每个场景也包含独特的特征，这些特征对于准确预测至关重要。因此，最佳传感器参数可能因模型和场景的特定组合而异。
VisiT（神经网络轻量级视觉测试）。镜头集成了VisiT（图2b）来估计
：它代表了 未标注 捕获图像
在目标模型
解释下的质量。VisiT旨在应用于实时场景，作为测试时的轻量级和无训练模块运行，为 未标注 图像提供针对模型的特定质量估计。为了实现设计目标，确定一个合适的指标作为图像质量的 Agent 至关重要。具体来说，作者利用模型对其图像
预测的置信度分数作为简单而有效的图像质量 Agent ，这将在第3.2节中进一步讨论。
CSA（候选参数选择算法）。镜头在选取最佳参数时的延迟高度依赖于相机传感器捕获不同候选参数选项所需的多张图像的延迟。虽然对所有N个可用的参数选项进行捕获和评估可以提供最高的准确性，但这会引入对单个场景预测的显著延迟，这对于实时操作是不理想的。为了解决这个问题，镜头使用CSA选择全参数集
的子集，记为
，作为候选选项。候选选项的数量
可以根据系统对平衡时间开销与准确性的需求来确定。请注意，由于镜头使用批量推理进行操作，捕获多张图像不会产生额外的推理成本。
CSA的关键方面是在选择
个候选选项时，在保证准确性的前提下最小化捕获延迟。例如，快门速度等传感器参数会显著影响捕获时间。因此，在相同的时间预算内，根据具体的场景和模型，优先考虑多个高快门速度选项可能（也可能不）比单个低快门速度选项更有利。作者通过实施和评估几种简单的CSA，并在第5节中探讨它们的性能，在附录中讨论它们的相机无关特性。
3.2 VisiT：神经网络轻量级视觉测试
在本小节中，作者详细介绍了VisiT，这是一种针对 未标注 测试时数据的实时图像质量估计器。VisiT设计的关键要求如下：
（1）与准确性一致：质量估计器必须可靠地指示模型是否能够准确预测样本。
（2）无标签操作：它必须在测试时提供的 未标注 数据上运行。
（3）单样本评估：估计器应能够独立且立即评估每个图像样本。
（4）轻量级操作：它应涉及最小的计算开销，确保无缝集成到传感器控制 Pipeline 中。
置信度作为图像质量评估的 Agent 。作者提出使用置信度分数作为简单而有效的 Agent 。对于一个样本图像
和目标模型
，其定义为：
C 是所有可能类别的集合，而
表示模型
在应用 softmax 函数之前的输出 logits。置信度得分反映了模型对其预测的确定性，并在伪标签、一致性正则化和半监督及自监督学习中的高质量图像选择等任务中得到广泛应用。它特别适合于实时应用，因为它只需要对样本进行推理，而不需要额外的计算开销，例如训练。
Agent 与图像质量的相关性。作者进行了一项实验，以评估在各种 Agent 与图像质量在现实世界协变量变化下的相关性，使用了ImageNet-ES验证数据集。作者将作者的置信度得分与用于识别异常分布样本的常见得分（OOD得分）进行了比较，比较了三个模型：EfficientNet、Swin-T和ResNet18。OOD得分来源于四种最先进的方法：ViM、ASH、ReAct和KNN。
如图3所示，所有OOD技术和模型中，正确和错误样本之间的OOD分数往往存在重叠，这表明OOD分数并不总是可靠的图像质量指标。这种差异产生的原因在于，OOD分数主要设计用于检测语义变化（High-Level特征），但在识别协变量变化方面效果较差，后者反映了Low-Level特征的变异。相比之下，具有更高置信度分数的样本更有可能是正确的，而那些置信度分数较低的样本更有可能是错误的。这些结果强调了置信度分数作为可靠图像质量 Agent 的有效性。
4 图像Net-ES 多样性：一个新的真实世界基准
镜头通过动态控制相机传感器的设置，如ISO、快门速度和光圈，以优化每个场景的环境光线，从而提高图像质量。图像质量受到场景内光线数量和分布的显著影响，这既取决于物体的特性，也取决于周围环境。因此，评估镜头在各种场景特性下的鲁棒性至关重要。虽然最近的ImageNet-ES数据集捕捉了具有不同传感器参数的真实场景，但它仅限于两种照明条件。此外，由于它包含屏幕显示的图像——代表发光物体（例如，交通信号灯）——环境光线条件的影响可能受到限制。
为了严格评估Lens，需要一个新的基准数据集来补充ImageNet-ES，并有效地捕捉各种环境扰动的影响。为此，作者开发了ImageNet-ES Diverse，这是一个更通用的数据集，包含在名为ES-Studio Diverse的定制测试平台上用物理相机拍摄的192,000个非照明物体样本（图4a）。该数据集包括各种传感器参数设置（图4b）和更广泛的照明条件（图4c）。如图5所示，ImageNet-ES Diverse揭示了传感器控制如何与不同的场景特征相互作用，这不仅对Lens评估有价值，也对未来研究传感器设置和光照条件的影响具有重要意义。
5 实验
作者设计了实验来评估Lens的影响，Lens是第一个引入模型和场景特定传感器控制的方法，与完全忽视图像捕获 Pipeline ，仅关注在现实世界扰动下过度训练以优化预测准确性的传统模型调整解决方案相比。作者的实验在多种模型架构上开展，包括广泛使用的领域泛化和测试时自适应方法。
数据集。作者使用了ImageNet-ES的测试集以及作者新构建的ImageNet-ES Diverse数据集，这两个数据集均源自Tiny ImageNet（TIN）。这些数据集包含了环境域和传感器域中广泛的自然扰动，包括27个手动控制和5个自动曝光拍摄。ImageNet-ES专注于发光物体，而ImageNet-ES Diverse则包含非发光物体，这使得它们能够有效互补。这种多样性使作者能够在广泛的实际世界协变量变化中验证Lens。
Baseline 和图像采集 Pipeline 中的预言机。为了进行性能比较，作者在数据采集 Pipeline 中考虑了两个 Baseline 和两个预言机。第一个 Baseline ，自动曝光（AE），是一种常用的传感器控制方法，旨在优化图像以适应人类感知，尽管不一定适用于计算机视觉模型。第二个 Baseline 称为随机，它随机选择参数设置，作者将其性能计算为所有可用选项的平均值。为了探索模型和场景特定参数控制的潜力，作者引入了两个预言机：特定预言机（Oracle-S）和固定预言机（Oracle-F）。Oracle-S理想情况下为每个样本和模型选择最佳的传感器参数，代表了Lens的上限。另一方面，Oracle-F作为固定参数设置的上限，不考虑模型-场景交互。Oracle-F的最佳全局参数选项是基于表1中所有模型和两个数据集中所有场景的平均准确率选择的。
5.1 LenS 的一般化能力
作者研究了Lens在各种模型中的有效性，包括代表性模型、轻量级模型和基础模型。此外，作者还考察了Lens是否可以与领域泛化（DG）技术进行建设性整合。
此外，Lens在无需额外预训练或额外数据收集的情况下，即使与复杂的深度增强技术（如DeepAugment和AugMix）结合，并应用于显著更大的模型时，也优于 Baseline 方法。例如，在ResNet-50上应用的Lens优于应用了深度增强的ResNet-50 Baseline 控制，甚至优于更大的ResNet-152模型，增益范围从7.09%到37.48%。此外，EfficientNet-B3上的Lens，仅含12M个参数，超越了参数量为632M的DG增强OpenCLIP-h模型，实现了7.34%更高的准确率；Lens可以通过实时传感器控制来补偿
模型尺寸差异。最后，当与深度增强技术和更大模型结合时，Lens的性能进一步提升，突显了其协同效应。这些发现强调了优化数据采集过程的重要性，而不仅仅是关注模型改进。
5.2 实时自适应性能
为了评估Lens的实时适应性，作者将其性能与专为实时模型适应性设计的轻量级测试时适应性（TTA）方法进行了比较。此外，作者分析了Lens的适应性成本，重点关注与所选传感器参数候选者相关的图像捕获开销，证明了其在实时场景中的效率。
TTA Baseline 和目标模型。作者建立了三个代表性的TTA Baseline ：BN1（预测时批量归一化），BN2（批量归一化适配），以及TENT。这些方法应用于批量归一化层，提供了最小的计算和内存开销。作者将这些TTA Baseline 应用于两个轻量级模型——ResNet-18和EfficientNet-B0，使用传统自动曝光（AE）方法获取的数据。然后，作者将它们的性能与使用Lens获取的数据时相同模型的性能进行比较。
镜头候选选择算法（CSAs）
为了捕捉场景中所有可用参数选项的图像，会引入较高的延迟，因此作者为镜头开发了三种候选选择算法（CSAs），以实现轻量级、实时操作。这些CSA算法考虑了两个关键因素：图像捕获次数（K）和每个场景的总捕获时间。
- • CSA1：一种从可用选项中随机选择
个选项的简单方法。
- • CSA2：基于网格的空间局部性随机选择。观察到参数空间中较近的参数设置往往产生相似的画面质量，CSA2将参数空间划分为网格，并从这些网格中随机选择
个选项。在作者的基准测试中（即每个参数有三种选项），对于
，网格数量为
；对于
，网格数量为
；对于
，网格数量为
。
- • CSA3：该方法选择具有最低捕获成本的
个选项，优先考虑具有较短的快门速度的设置，因为快门速度是捕获延迟的主要贡献因素。如果多个选项具有相同的捕获成本，则随机选择。
结果。表2显示，具有完整选项的Lens（
）在所有模型和两个基准测试中均显著优于所有TTA Baseline ，性能提升从
到
不等。这强调了传感器自适应相对于模型自适应的优越性。
此外，Lens的三个CSA显著减少了捕获时间，减少了
（仅剩0.16秒），或仅需6次图像捕获即可保持准确性。图6展示了EfficientNet-B0在两个基准测试中捕获时间、
和准确性之间的详细交互关系，使用了五个随机种子。请注意，由于CSA既不是模型特定的也不是场景特定的，而是依赖于捕获时的非确定性选择，因此捕获时间与
之间的相关性在两个基准测试中是一致的（ Token 为“common”）。虽然每个CSA在捕获时间与准确性之间有不同的权衡，但具体内容未在文中展开。
K 和时间，所有CSA在时间显著降低之前都保持了高精度。这些结果验证了Lens在实时场景中平衡精度和效率的能力。
5.3 质量估计器的消融研究
为了研究VisiT的有效性，作者将VisiT替换为四种最新的OOD评分方法，这些方法在3.2节中已有介绍。作者在ImageNet-ES数据集上对四种模型进行了评估：ResNet-18、EfficientNet、Swin-T和DeiT。如表3所示，集成VisiT的Lens在所有模型上均优于与所有OOD评分 Baseline 配对的Lens，平均增益达到20.7%。这证实了在面对现实世界扰动时，从模型的角度评估图像质量，置信度评分比OOD评分更可靠。
5.4 定性分析
感知人类视觉与模型视觉。图7a突出了人类和神经网络感知图像的根本差异，使用了来自ImageNet-ES Diverse的示例。虽然人类可能在暗淡或明亮图像（由L2、L4和L6中的镜头选择的图像）中难以辨别细节，但这些图像却导致模型准确性更高（63.9%至66.5%）。相比之下，模型在使用自动曝光（AE）设置或以人为中心的设置（L2、L4和L6中的S15）捕获的图像上表现不佳（20-48.6%）。图7b进一步通过展示在不同传感器控制方法下样本图像的特定特征激活分布，强调了这种感知不匹配。具体来说，由AE和随机设置提供的图像导致模型过度激活某些特征（远离平均值的特征），这些特征在镜头获取的图像中被视为边缘特征，这可能会降低预测性能。此外，图7c表明，尽管从人类角度来看，镜头获取的图像可能看似不直观，但它们使模型能够生成特征嵌入——由1,000个点组成，每个标签有5个点，并相应地进行着色编码——这些嵌入在类别之间的区分度比使用AE和随机设置捕获的图像更清晰。这些发现强调了在设计有效的传感器控制策略时理解人类和神经网络之间感知差异的迫切需要。
解决方案空间分析。图8展示了针对模型和场景特定传感器控制处理现实世界扰动的必要性。每个网格点代表1mageNet-ES和ImageNet-ES Diverse中的27个参数选项之一，根据使用该选项捕获的图像的VisiT分数进行彩色编码。每个子图展示了三个不同模型的检测结果，表明对于相同的样本，当模型改变时，相同的参数设置可以产生显著不同的质量分数。例如，Swin-B的最佳参数可能对DINOv2或ResNet18表现不佳，验证了模型特定控制的需要。图对（8a和8b）、（8c和8d）和（8e和8f）代表在相同光照条件下捕获的同一类样本，但来自ImageNet-ES Diverse中的“Diverse”场景和ImageNet-ES中的“Luminous”场景具有不同的物体特征。两个数据集在列方向上的差异强调了场景特定控制的重要性。在相同的样本和L1设置下，快速快门速度在“Diverse”场景中产生低质量图像，但在“Luminous”场景中产生高质量图像。最后，图8g和8h显示，在相同的模型、光照条件和物体特征下，最佳参数可以跨不同类别变化。总的来说，传感器参数必须根据模型和场景特征进行动态调整。
6 结论
镜头是首个受人类视觉感知启发，引入模型和场景特定相机传感器控制的方法；通过从模型视角捕捉高质量图像，镜头提升了模型性能。镜头采用VisiT，这是一种基于模型置信度的轻量级、无需训练的模型特定质量指标，在测试时对单个 未标注 样本进行操作。在包括作者新收集的ImageNet-ES Diverse数据集在内的两个真实扰动基准上的评估表明，配备VisiT的镜头将准确率提高了高达47.58%，优于代表性的TTA Baseline 和基于朴素控制的DG技术。此外，镜头在多种架构上表现出泛化能力，并且可以与所有DG方法协同结合。通过确保适应成本的高效性同时保持性能，镜头具有实时应用潜力。定性分析验证了模型/场景特定传感器控制的重要性，显示了其在DG/TTA上的显著影响，并提供了实现现实世界AI适应性的有希望的方法。
局限性及未来工作 。尽管Lens为深度神经网络提供了一种新颖的感知范式，具有在自动驾驶、监控和实时3D视觉应用等各个任务中应用于挑战性场景的显著潜力，但它也开辟了进一步探索的途径。在本工作中，模型置信度作为图像质量评估的一个简单而有效的 Agent ，但这也可能导致过度自信，尤其是在校准不良的模型中。未来的工作可以探索鲁棒的质量估计器、与TTA的协同作用以及使用模型/场景因素和强化学习进行资源调度的改进候选选择算法（CSAs）。
参考
[1]. ADAPTIVE CAMERA SENSOR FOR VISION MODELS
扫码加入👉
「集智书童」
交流群
（备注：
方向
学校/公司+
昵称
）