论文赏读 | CVPRW24 | SAM用于遥感影像中提取向量化的道路网络 - 文章 - 开发者社区

RS DL

论文介绍

题目：Segment Anything Model for Road Network Graph Extraction

会议：CVPR 2024 2nd Workshop on Scene Graphs and Graph Representation Learning

论文：http://arxiv.org/abs/2403.16051

代码：https://github.com/htcr/sam\_road

年份：2024

该篇由论文原作者审核

注：2024年的CVPR 遥感相关文章持续关注中，合集可见：CVPR2024合集

picture.image

创新点

SAM-Road 模型：发挥了SAM模型的能力，结合了语义分割和图神经网络。模型可以直接预测图的顶点和边，无需复杂的后处理启发式方法。
图形几何和拓扑预测：使用密集语义分割来预测图形的几何结构，并使用轻量级的基于Transformer的图神经网络来预测拓扑结构，从而实现准确和快速的预测。
效率和速度：在城市数据集上的处理速度比现有最先进的方法快 40 倍，同时不牺牲准确性，能够在几秒钟内构建跨越数平方公里的完整道路网络图。

picture.image

数据

City-scale 数据集

数据集包含来自美国20个城市的180张卫星图像，其中 29张图像用于测试。每张图像2048×2048像素，分辨率为1m，覆盖较大的城市区域。
https://arxiv.org/abs/2007.09547

SpaceNet 数据集

数据集包含2549张卫星图像，其中382张图像用于测试，这些图像来自全球多个城市，如上海、拉斯维加斯等。每张图像400×400像素，分辨率为1m。
https://arxiv.org/abs/1807.01232

方法

总体结构

SAM-Road 模型采用了一种新的方法来提取和构建大规模的矢量化道路网络图。SAM-Road 模型核心结构包括：基于预训练的 Segment Anything Model (SAM) 的图像编码器，几何解码器，以及基于Transformer的拓扑解码器。

picture.image

图像编码器(Image Encoder)

图像编码器基于预训练的 Segment Anything Model(SAM)，具体采用了 ViT-B 架构。这一架构适用于高分辨率图像，能够将输入的 RGB 卫星图像转换为特征映射，这些特征映射后续将用于道路和交叉点的几何及拓扑预测。在训练阶段，整个图像编码器会以较低的学习率进行微调。

几何解码器(Geometry Decoder)

几何解码器的任务是预测每个像素点的存在概率，即该点是否属于道路或交叉点。这一步骤是通过密集的语义分割来实现的，利用 SAM 的强大语义分割能力，几何解码器能够生成高质量的概率掩膜图。掩膜图中的每个像素值表示该位置存在道路的概率。然后，使用简单的非最大抑制(NMS)方法从这些概率掩膜中提取出图的顶点。

picture.image

拓扑解码器(Topology Decoder)

拓扑解码器采用了基于Transformer的图神经网络架构，其主要功能是基于几何解码器提供的顶点，预测这些顶点之间是否存在连接(即图的边)。对于每个顶点，拓扑解码器考虑其周围一定半径内的邻近顶点，并基于顶点的相对位置和图像上下文预测它们之间的连接概率。这一预测是作为一个二分类问题处理的，每个顶点对的连接概率由一个 sigmoid 层输出。

picture.image

标签生成和滑动窗口预测

标签生成：在训练阶段，使用地面真实的道路网络图来生成训练用的掩膜和拓扑标签。这包括将真实的道路网络渲染为掩膜图，并根据网络的连接情况生成拓扑标签。

滑动窗口预测：为了处理大区域的图像，SAM-Road 采用了滑动窗口的预测方式。模型在重叠的窗口上独立预测局部图结构，然后将这些局部预测融合成全局图。这种方法允许模型以并行方式快速处理大范围的图像，并在准确性和速度之间做出灵活的权衡。

picture.image

精度

评价指标

TOPO

TOPO 是一种专为道路网络图设计的评估指标。它通过在地面真实图中随机抽样候选顶点，然后在预测图中找到对应的顶点，比较从同一顶点出发在两个图中可达的子图的相似性。这种比较关注于几何精度，并对不正确的断开(即断开本应连接的顶点)给予重罚。TOPO 主要评估的是局部图结构的相似度，通过精度(Precision)、召回率(Recall)和 F1 分数来评估。