RiverMamba:利用 Mamba 模块与时空建模,实现全局河流径流及洪水长达7天提前可靠预报 !

大模型机器学习向量数据库

点击下方卡片,关注「AI视界引擎」公众号

( 添加时备注:方向+学校/公司+昵称/姓名 )

picture.image

picture.image

近年来,用于河流径流预测的深度学习方法在洪水预报的准确性和效率方面取得了显著提升,为风险管理提供了更可靠的早期预警系统。然而,现有的水文学深度学习方法仍主要局限于局部尺度应用,未能充分利用水体之间的固有空间联系。

因此,迫切需要新的深度学习方法,能够建模时空关系,以提升河流径流和洪水预报的科学与应用效果。为解决这一问题,作者提出了RiverMamba,一种新型深度学习模型,该模型使用长期再分析数据进行预训练,能够以

网格对全局河流径流和洪水进行长达7天的提前预报,这对于早期预警具有重要意义。

为实现这一目标,RiverMamba利用高效的Mamba模块,使模型能够捕捉全局尺度的河网路径,并增强其对较长提前期的预报能力。预报模块集成了ECMWF HRES气象预报,并通过时空建模考虑其不准确性。作者的分析表明,RiverMamba能够提供可靠的河流径流预测,包括不同重现期和提前期的极端洪水,其性能超越了运营中的AI模型和基于物理的模型。

unsetunset1 引言unsetunset

河流洪水是最具破坏性的自然灾害之一,由于气候变化和社会经济发展,其风险预计未来将上升[1-5]。河流洪水源于多种因素的复合影响,包括由环流模式引起的强降水等大气条件,以及高温后出现的积雪融化,所有这些均受到河流流域特定特征的塑造[6]。这些因素的相互作用影响着洪水的发生时间、规模和严重程度[6]。这种复杂性使得未来洪水风险评估变得复杂,因为气候变化可能以不可预测的方式改变这些驱动因素[7]。因此,洪水风险的早期预测,特别是极端洪水的预测,是有效洪水风险管理的关键措施[8, 9]。

为支持国家级预报计划,当前运行中的洪水预警系统能够实时预报和发布河流流量,进而提供不同尺度的洪水预报[10-12]。这些系统生成的流量预报可以通过淹没模型进一步处理,以创建预期淹没区域[13, 14]。全局洪水预警系统(GloFAS)[15, 16]是在欧洲中期天气预报中心(ECMWF)运营的哥白尼应急管理服务(CEMS)框架下开发的,代表了基于物理的实时全局水文预报的尖端模型。然而,基于物理的水文模型运行成本高昂,且需要大量校准以处理复杂的流域特征。因此,基于人工智能的预警系统被视为增强气候风险韧性[17, 18]和无需全面理解物理过程即可进行洪水预报的关键工具[19, 20]。近年来,深度学习方法在天气预报领域[21-23]得到了研究,但全局尺度河流流量预报的研究甚少,因其极具挑战性。这需要结合Sparse的河流观测数据、高分辨率地表、再分析数据以及天气预报数据。此外,洪水发生频率较低,目标是要预报不同严重程度的洪水,如图1所示。最近,提出了一种基于LSTM的模型[24]。尽管该模型取得了有前景的结果,但它仅在Sparse流域进行局部洪水预报,且无法提供如图1所示的密集地图。此外,建模空间关系非常重要,因为靠近连通水体的河流流量点高度相关。

picture.image

在这项工作中,作者提出了首个用于全局河流径流和洪水预测的深度学习方法,该方法不仅能够在Sparse的观测点进行预测,还能生成精确、高分辨率(0.05°)的全局河流径流图。为了应对观测点Sparse性和在全局尺度上建模时空关系的高计算复杂度问题,作者提出的RiverMamba模型利用了Mamba模块,这是一种双向状态空间模型[25-28],以及时空预测模块。通过专门的程序将采样点转换为1D序列,RiverMamba保持全局感受野,将渠道网络的路径连接和全局气象数据的遥相关联系起来。预测层进一步由高分辨率气象数据(HRES)驱动,生成长达7天的中程河流径流预测。为了解决气象强迫中的不确定性,作者设计了预测层,使其能够为每个流域点整合来自邻近点的气象强迫信息以及整个时间维度上的信息。因此,RiverMamba确保了时空一致的预测。

作者的贡献可以总结如下:

  1. 作者介绍了一种基于Mamba的新型方法,称为RiverMamba,用于全局河流径流和洪水预测。这是首个能够提供0.05°全局河流径流预测图深度学习方法,并引入了一种新的水文方法论。
  2. 该方法能够整合Sparse的观测数据、河流属性、高分辨率再分析数据和天气预报。高效的架构允许在全局尺度上模拟时空关系。
  3. 作者在长期真实世界再分析和观测数据上评估了RiverMamba。
  4. RiverMamba在全局洪水预报方面优于最先进的AI和基于物理的操作系统。

unsetunset2 相关工作unsetunset

洪水预报。传统上,洪水可分为三种主要类型;

第一种是河流洪水[29]。当溪流水位上升并溢流到邻近陆地时发生。

第二种是沿海洪水,也称为风暴潮[30];第三种是暴雨洪水,通常被称为山洪[31-33],例如在极端降雨时发生。机器学习(ML)已成为水文模拟和洪水模型开发的重要基础领域[34, 35]。每种类型的洪水都有其独特的驱动因素和影响。

因此,机器学习方法需要不同的策略来预测它们。与洪水预报相关的任务包括城市洪水建模[36-39]、洪水淹没[40, 41]以及洪水扩展和易损性制图[42-45]。在本工作中,作者感兴趣的是基于河流流量预测河流洪水(河流)。

河流径流预报。当流量超过特定阈值时,河流径流可用于检测洪水信号。当前用于预报河流径流的深度学习方法主要基于局部集中模型[46, 47],假设单个模型可以在众多流域中泛化,而不考虑网格上的时空信息[48]。主导的 Backbone 模型是LSTM模型[49],该模型被应用于大多数最新研究,如EA-LSTM[50, 51]、ED-LSTM[52, 53]、Hydra-LSTM[54]、MC-LSTM[55]和MF-LSTM[56]。也就是说,这些模型学习特定于单个河流或实体的特征,缺乏空间和拓扑信息。然而,河流网络具有时空因果关系[57]。只有少数研究偏离了这种传统建模方法,并提出使用图神经网络[58, 59]对网络拓扑进行建模。

然而,这些研究仅限于小尺度,并且在大多数情况下,图模型未能捕获拓扑信息[58]。此外,从图中可以学习的关联是静态的,并由图定义固定。其他研究在粗网格上应用LSTM模型来估算径流,然后将其与河流汇流模型耦合,以生成粗分辨率下的日径流[60]。与作者最相关的工作是Google全局运营预报系统[24]中开发的编码器-解码器LSTM,它是一种局部集中模型。在作者的工作中,与先前的工作不同,作者旨在开发一种基于视觉的模型,该模型能够以网格尺度进行中程河流径流预报,并具有更高的精度。

状态空间模型(SSMs)与Mamba系列。线性状态空间模型[25]以及结构化状态空间模型(S4)[26]和(S5)[27]最初被引入以处理自然语言处理中的长序列建模。最近,Mamba[28]引入了选择性扫描机制,实现了高效的训练和线性时间推理。

基于Mamba,在视觉领域,VMamba[61]和Vim[62]被引入作为视觉Transformer[63]二次复杂度的吸引人替代方案,同时提高了长 Token 序列上的扩展效率。随后开展了一系列工作,用于图像生成、图像分类、视频理解[68, 69]、运动生成、密集动作预测[71]以及点云处理[72, 73]。在本工作中,作者将河流点建模为一条序列,并应用Mamba状态空间模型来连接渠道网络的全局路由。

unsetunset3 RiverMambaunsetunset

在本工作中,作者提出了首个深度学习方法,该方法不仅能够对Sparse水文站的观测数据进行洪水事件预测,还能够在全局范围内对河流流量进行高分辨率预测(即0.05度分辨率的河流流量预测图,时间跨度可达数天,如图1和图2所示)。这些预测图对于预测不同严重程度的洪水事件至关重要,例如那些在统计上每隔1.5年重现一次的洪水或世纪洪水。这项任务极具挑战性,因为它需要一种能够高效模拟时空关系并整合不同数据源(如图2所示)的模型。

picture.image

作为输入,作者使用ERA5-Land再分析[74]的预测初始条件,记为

。初始条件

基于GloFAS的日降水[76-78]的CPC分析。作者还包含天气预报数据,其中

来自ECMWF的预报,长度为

时刻进行预测,以00:00 UTC作为参考时间,预测范围为

直到

。这意味着作者不处理临近实时预报(nowcasting),而仅进行常规预报,因为后者更具相关性。作者也不将任何临近实时预报数据

作为输入。为确保不包含00:00 UTC之后的数据,从而模拟RiverMamba的实际部署情况,作者将

时间向后移动1天,将

时间向后移动2天。此外,作者还包含了河流属性

,如LISFLOOD [79]中的流域形态。输入变量在补充材料中详细描述。

e a e

danl em e e e

Iis thu ie by

RiverMamba的概述如图2所示。在训练过程中,作者从陆地表面和水体附近采样

个点。详细内容在补充材料中描述。对于每个点

A,作者获得mpl sqfedg向量

LN表示层归一化,Linear表示投影层。输入的维度为

,其中

为批次大小,

为ERA5变量的数量,

为GloFAS变量的数量。嵌入

,其中

为嵌入的维度,是定义的hindcast层编码器的输入。

回溯层模型对时空关系进行建模,并在时间上聚合观测数据,使得最后一个回溯层的输出

具有时间分辨率

,其中时间分辨率在每个回溯层开始时通过线性层进行2倍下采样,但第一个层处理完整的时间分辨率。回溯层进一步整合静态河流属性

,其中包含流域形态等附加信息,这些信息与洪水预报相关。虽然作者在补充材料中分析了不同输入的影响,特别是河流属性,但回溯块的关键方面之一是时空点的专门序列化以及Mamba块[28, 61, 62]。序列化定义了采样点之间的连接方式,而Mamba块基于时空结构高效更新每个点的特征。这是一个非常重要的设计选择,因为Transformer块对于全局洪水预报在计算上不可行,而[24]完全不考虑空间关系。在补充材料中,作者还表明使用Flash-Atention[80, 81]的替代方法在推理时间和准确性方面均不如yinqing-RiverMamba_2505。

最后,预测块对最后一个 hindcast 层的输出以及 HRES 气象强迫进行处理,基于 MLP 的回归头为每个提前时间

预测每日平均河流流量差

,即

时刻的每日河流流量。以下,作者将详细描述 RiverMamba 的组成部分。

回放模块。如图2所示,回放模块包含三个主要组件:序列化和反序列化、用于整合静态河流属性的基于位置的自适应归一化层(LOAN)以及Mamba模块。

序列化。序列化定义了所有采样点对于后续Mamba模块的空间时间扫描路径。为此,作者提出了填充空间曲线,该曲线按顺序遍历所有点。该概念在[82]中提出,填充空间可以定义为双射函数

,其中离散空间中的每个点都对应序列中的一个唯一索引。作者将这种映射称为序列化编码。序列化解码执行为

,其中每个索引被映射回其对应的位置。作者将这种操作称为反序列化。作者研究了三种曲线:广义希尔伯特(吉尔伯特)曲线,它是希尔伯特曲线[83]的广义版本,以及垂直和水平方向的扫描和之字形曲线。二维填充空间曲线的示例在图3中展示。

picture.image

如补充材料所示,Sweep曲线与Gilbert曲线的组合表现最佳。为此,每个后报块都有自己的曲线。如图3所示,作者在第一个块中沿水平方向进行扫描。空间曲线通过时间连接,方法是使用曲线在

处的最后一个点连接曲线在

处的第一个点。第二个块随后沿垂直方向进行扫描,作者继续使用Gilbert曲线及其转置。这四个填充空间曲线被迭代。通过依次在后报块中改变曲线,

采样点将被连接,并从不同的空间视角进行扫描,从而实现River。

Mamba用于捕获不同的上下文特征。

位置感知自适应归一化层。为了使模型基于静态河流属性

进行调整,位置感知自适应归一化层(LOAN)[84] 调节了后报模块内的特征

当一个线性层将

,其中

是静态变量的数量,投影到

分别是

沿通道维度的均值和标准差,而

是LOAN层的输入。该层对特征进行归一化,并根据属性添加系统偏差。例如,特征根据对排水和洪水有影响的地理位置属性进行归一化和偏差调整。

Mamba模块。图4展示了包含Mamba模块元素的更详细的后报模块结构。在输入根据模块特定的空间填充曲线序列化为一维序列,并且特征通过LOAN层进行归一化之后,Mamba模块处理序列中采样点的特征。

picture.image

Mamba模块基于状态空间模型,通过隐式隐藏潜在状态

和一阶常微分方程将一维状态序列

转换为另一种表示

微分方程:

将公式(3)集成到深度学习框架中,S4 [26] 使用矩阵

对系统进行参数化,并使用时间尺度参数

对其进行离散化。

其中

是系统的离散化版本。最近,S6 [28] 提出将公式 (4) 和 (5) 做为时变公式。为此,参数

,和

变为依赖于输入状态

。这种状态空间模型的表示方法被称为 Mamba,它是 Transformer [85] 的有效替代方案,尤其是在处理大量点(如本案例)时。

图4展示了Mamba模块的步骤。归一化的序列

被投影到

,其中

是序列的长度。请注意,序列中元素的顺序取决于序列化方式,而不同后报模块的序列化方式不同。作者采用双向方法,通过正向和反向一维因果卷积将

转换为

,其中

表示正向或反向传递。对于每个方向,

通过投影层从

中获取,而

使用公式(5)计算。选择性SSM随后使用公式(4)分别获取正向传递和反向传递的

。最终输出

通过

门控

,并将它们相加得到。最后,y被归一化并线性投影回

。Mamba模块的完整算法在补充材料中描述。

在Mamba模块之后,后报模块包含另一个LOAN层,随后是一个MLP。最终输出

在最后进行反序列化,因为下一个后报模块使用不同的序列化Forecasting层。而后报层将过去输入变量的序列编码为

每个采样点的

维向量,即

,以及每个时间步

的预测层

,使用

进行计算

气象观测数据

与回溯模块结构相同,但预测模块包含了气象学 0011

初始条件得以保持。

所有预测模块的输出由

个回归头进行处理,这些回归头以多层感知器(MLP)的形式实现,其中领先时间

的输出为:

表示第

个预测块的特征,而

表示拼接的特征。

从所有预测块中提取特征,除了第

个块。线性层将

进行投影。

用于训练。如前所述,作者在全局范围内采样

个点进行训练。作为训练的目标值,作者首先使用GloFAS再分析中的河流流量数据作为真实值,然后使用全局径流数据中心的(GRDC)数据对Sparse观测值进行微调。作者通过

获取目标值,其中

是来自GloFAS或GRDC的值。对于训练损失,作者提出了一种加权均方误差(MSE)损失的变体:

其中

为批次大小。由于洪水的严重程度对洪水预报非常重要,而严重洪水很少发生,因此权重因子

考虑了这一点。洪水的严重程度由统计洪水重现期(以年为单位)进行排名,作者将其表示为

,范围从1.5到500。因此,洪水的严重程度由

给出,其中

是给定洪水重现期

的统计阈值。作者还包含了

的情况,用于定义非洪水事件。使用这种记法,权重因此由

因此,当在位置

和时间

发生洪水时,作者根据洪水重现期对损失进行加权,如果没有发生洪水则使用1。作者进一步使用

对损失进行加权,其中作者给予较短的提前期

更高的权重,并使用

。这补偿了预测块序列结构的损失,每个预测块将前一个块的特征作为输入。因此,最终权重由

给出。由于河流流量表现出非常大的动态变化,具有不同的数量级,作者将流量值通过

进行转换。作者评估了加权的 影响,并在补充材料中提供更多细节。对于推理,作者可以对任意一组点或像图1那样密集地预测洪水。

unsetunset4 实验结果unsetunset

作者从ECMwF GloFAS再分析 [75] 中获取河流流量数据。该数据由使用ERA5 [87] 的气象数据驱动的LISFLOOD水文模型 [86] 生成。GloFAS再分析结合基于物理的模拟与观测数据,生成一致的过去时期重建。该数据集以每日平均流量形式提供,覆盖全局范围,网格分辨率为3分 (0.05°)。作者在第4.1节中将GloFAS再分析作为目标流量用于模型训练和测试。消融研究使用欧洲范围内的GloFAS再分析数据。此外,作者在第4.2节中基于观测的GRDC河流流量数据对模型进行微调和测试。洪水阈值通过单个点的重现期确定,并从长期数据中计算得出。当阈值被超越时,这些阈值可用于识别洪水。

作者评估了RiverMamba在GloFAS再分析和GRDC(具有诊断性GRDC站点的数据集,共3366个站点)上的性能。评估过程中,作者使用了决定系数(R2)、Kling-Gupta效率(KGE)以及重现期在

年的洪水的平均F1分数等常用指标。作者使用1979-2018年的数据训练模型,2019-2020年进行验证,2021-2024年进行测试。所有评估点均为测量站点,且时间上属于样本外数据。指标计算基于单个网格点的时间序列,然后对所有点进行平均。

作者将RiverMamba与持久性、气候学以及谷歌运营洪水预报系统中最先进的深度学习编码器解码器LSTM模型[24]进行比较。在GRDC观测数据上的评估中,作者额外将yinqing-RiverMamba_2505与ECMWF运营的最先进GloFAS预报系统的再预报版本[15, 16]进行比较。关于数据集、评估指标和 Baseline 的更多细节请参见补充材料。

4.1 GloFAS河流流量再分析实验

定量结果如表1所示。可以看出,气候学 Baseline 表现不佳,因为局部河流径 Stream 态随时间变化很大,突显了流量预测的难度。因此,作者在图5(a)中排除了它,该图显示了1.5年重现期洪水的F1分数,以及图5(b)显示了不同提前期(从24小时到168小时)的河流径流KGE。方框显示了分布四分位数,评估点表示为沿y轴的点。图5(d)显示了1.5年至20年重现期的平均F1分数,图5(e)显示了河流径流的中间R2。持续性 Baseline 将未来径流预测为时间t时的径流值。这实现了短期预测的良好效果,然而,预测技能随提前期下降。虽然LSTM[24]优于持续性 Baseline ,但RiverMamba在所有指标上均优于所有 Baseline 和方法,如表1所示。特别是对于超过48小时的提前期,RiverMamba与LSTM之间的性能差距很大。作者将其归因于RiverMamba的感受野和时空建模。图5(c)绘制了不同洪水重现期在24至168小时提前期内的平均F1分数。结果表明,RiverMamba在更频繁的洪水和统计上每500年才发生的罕见严重洪水方面均优于其他方法。更多结果在补充材料中。在下文中,作者讨论一组消融研究,这些研究不是在全局范围内进行的,而是在欧洲进行的。

picture.image

picture.image

目标函数。在表2(a)中,作者评估了损失函数(7)中权重因子的影响,该权重因子基于

(8)和

。结果表明这两个项都提升了结果。

对于关注稀有且更严重的洪水非常重要。

则对

更可靠的近期预测赋予更多权重,这对于具有序列结构的预测模块非常重要。

picture.image

位置嵌入。在表2(b)中,作者展示了使用LOAN的优势。在第一行,作者将静态特征沿

维度进行复制,并将其与动态输入进行拼接。随着静态河流属性在回报(第二行)和预报(最后一行)模块中的提出整合,性能得到了提升。

预测策略。表2(c)评估了时空建模对预测模块的影响。在第一行中,作者通过用逐点MLP替换预测模块中的预测块来移除预测模块中的空间关系。这样,数据在时间上但在空间上没有经过最后一步的回溯层处理。这使得模型对气象强迫

中的空间偏差无感知。第二行表示一个设置,其中预测块不从之前的预测块获取特征(图2),而是直接从最后的回溯层获取。在这种情况下,作者独立预测每个预见时间的河流流量。结果表明,在这两种情况下,与yinqing-RiverMamba_2505(第三行)相比,性能都有所下降,这证明了时空建模的重要性。更多的消融研究可以在补充材料中找到。

4.2 GRDC观测河流流量实验

RiverMamba在提前时间增加时F1分数的退化程度较小,突显了其在中等范围洪水预报中的优势。更多结果在补充材料中。

unsetunset5 结论与局限性unsetunset

作者提出了RiverMamba,一种用于全局、中程河流径流和洪水预报的新型深度学习方法。凭借其高效的结构和专门的扫描路径,RiverMamba在保持全局感受野的同时,能够随着采样点数量的增加线性扩展。因此,RiverMamba能够预报高分辨率的

全局河流径流图。此外,预报块的时空建模结合了气象强迫,确保了时空上的一致性预报。

作者的分析表明,RiverMamba在再分析数据和观测数据上均优于现有深度学习和基于物理的模型。虽然结果在河流径流和洪水预报方面取得了重大进展,但该方法仍存在一些局限性。观测数据受到人类干预(如水坝)的影响,因此需要在模型中整合此类干预。

与实际运行系统类似,洪水预报并不总是准确的。需要更详细地分析误差原因。预报误差可能由人类干预、气象强迫或河流属性天气预报错误、洪水的罕见性,或数据和分析中的偏差引起。

鉴于这些误差,期望扩展模型以评估其预报的不确定性。除了这些局限性,RiverMamba有潜力成为实际的中程河流径流和洪水预报系统,能够比现有系统更精确、更高分辨率地预测洪水风险,特别是极端洪水。

这对于利益相关者制定有效的洪水风险缓解措施和建立保护公民的预警系统至关重要。

点击上方卡片,关注「AI视界引擎」公众号

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论