“三道防线”海量预报数据轻量化关键技术研究与应用

随着雨水情监测预报“三道防线”建设，海量预报数据的存储、传输和处理面临巨大挑战。国内外现有海量预报数据轻量化研究主要集中在数据压缩、降维可视化、硬件高性能存储和传输等方面。王若瞳等提出海量气象数据解析和存储的设计思路；屈志刚等针对二维水动力结果，从可视化角度提出了轻量化处理的方法；张昀昊等从海量三维模型数据的网格轻量化可视化角度提出展示方法；陈景丽等提出了云计算环境下气象大数据服务的框架建设思路；冯乙新、张广元等从高性能计算角度提出基于云计算的气象数据存储与处理优化策略；冯乙新、华连生等提出气象信息网络传输中数据压缩与传输效率优化的建设思路；Khosrawi F等提出采用分层填充PCK方法对气象数据进行压缩。

综上所述，现有文献和资料主要对海量预报结果数据的高性能计算存储架构、预报结果可视化、数据解析方式、数据压缩技术等特定方面开展研究与实践，缺少对数据轻量化全流程的考虑，也未对海量数据轻量化技术进行深入探索和综合应用研究。本文在厘清“三道防线”预报结果计算与应用场景基础上，从预报结果数据轻量化处理环节、预报结果快速调用环节、预报数据存储环节等方面开展了海量预报数据轻量化技术研究与实践。

“三道防线”建设要求与海量预报数据管理面临的挑战

2023年8月，水利部办公厅印发《关于加快构建雨水情监测预报“三道防线”实施方案》，明确要求加快构建雨水情监测预报“三道防线”。锚定“人员不伤亡、水库不垮坝、重要堤防不决口、重要基础设施不受冲击”目标，坚持“预”字当先、关口前移、防线外推，加快构建气象卫星和测雨雷达、雨量站、水文站组成的雨水情监测预报“三道防线”，建设现代化水文监测预报体系，实现延长洪水预见期和提高洪水预报精准度的有效统一，为打赢现代防汛战提供有力支撑。

雨水情监测预报“三道防线”是数字孪生水利建设的重要基础，是水文现代化建设的重要内容，是一项系统工程。“三道防线”建设过程中涉及降雨数值模式预报结果和水情预报模型结果数据，数据来源广、数量多，具备海量特征，在处理、存储、应用过程中面临巨大挑战： 一是 传统的结构化数据库已不满足海量预报数据存储要求，需要运用分布式对象存储技术； 二是 需对海量预报结果数据进行轻量化处理，有效节省存储空间，保障存储效能； 三是 防汛期间，各类水情预报模型需要将降雨数值模式预报结果作为输入参数，各类水情模型获取降雨数值模式预报原始数据后分别自行处理、存储，不仅给网络传输带来巨大负担，占用大量存储空间，还存在重复工作的情况，有必要采用统一方式开展降雨数值模式预报数据输入协同适配工作，提升数据服务总体效率； 四是 对预报结果的快速调用、快速空间可视化展示提出了更高要求。

海量预报数据轻量化技术体系设计

“三道防线”涉及降雨预报和水情预报，预报模型种类多，预报频次密集，形成了海量预报成果数据，在所有数据中，其数目和存储量占比都为最大。为了减少预报数据存储和传输负担，提升预报结果的应用效率和效能，同时保持数据的有效性和准确性，应从预报结果数据轻量化处理、预报结果快速调用、预报数据存储等重点环节，系统设计海量预报数据轻量化技术体系，并建立轻量化处理矩阵。 预报数据轻量化处理方面， 重点考虑降雨数值模式和水情预报结果的轻量化处理，在保持数据有效性和准确性的前提下，降低预报结果数据量的量级； 预报结果快速调用方面， 重点考虑降雨和水情预报结果数据矢量化、降雨预报结果数据要素化、水情预报并行计算的降雨数值输入协同适配等，提供快速响应、秒级调用的预报结果数据； 预报数据存储方面， 运用分布式存储与冷热度数据存储相结合方式，保障数据存储和应用的有效性和可靠性。

▲ 海量预报数据轻量化构建设计框架

海量预报数据轻量化关键技术研究

1.降雨数值模式预报结果轻量化处理技术

降雨数值模式预报结果数据通常为GRB、NetCDF等格式的二进制数据，每个文件的数据量为几百兆字节；模式每天计算2～4次甚至更多次，从而形成多源、海量的降雨数值模式预报结果数据，用于“三道防线”降雨预报分析和一二维水文、水动力模型的前置数据输入。对降雨数值模式预报结果数据进行统一格式化解析，并对解析数据抽稀、切片。结合区域范围，建立标准网格层级，运用移动平均算法，采用自适应抽稀生成对应层级数据和切片数据成果，对照分层级标准网格转换成轻量化的空间格点数据，最终生成轻量化处理后的TIF格式文件。通过应用这一轻量化处理技术，可在保持降雨数值模式预报数据的有效性和准确性前提下大大减小数据体量，有效降低数据存储和传输负担，提升预报结果的应用效率和效能。

▲ 降雨数值预报模式轻量化技术流程

2.降雨数值模式预报结果数据矢量化与要素化技术

防汛调度过程中，需快速调取降雨数值预报结果加载至矢量底图，并基于预报时间动态展示降雨预报结果及不同区域的降雨预报要素化值。基于轻量化处理后的预报结果切片文件，运用空间拓扑技术建立地理实体与预报数据的空间匹配模式，对预报结果数据进行空间矢量化处理并进行等值面插值，生成降雨预报结果的矢量等值面。基于轻量化和矢量化处理后的降雨预报结果数据，按照标准化格网对预报值进行空间匹配，形成基于标准化网格的降雨数据要素；按照市、区、乡镇等不同区域、不同层级进行空间数据匹配融合，构建多范围、多层级的降雨预报数据要素，为基于空间位置的数据计算、统计分析以及空间可视化提供要素化数据支撑。

▲ 降雨数值模式预报结果数据矢量化与要素化技术流程

3.水情预报并行计算的降雨数值输入协同适配技术

“三道防线”水情测报系统集成以一二维水文、水动力模型为主的各类水情预报模型。降雨数值预报结果数据作为水情预报并行计算的输入参数，直接影响预报结果。各类水情预报模型所需降雨数据的格式、坐标系、区域范围各有不同，为协同适配，需基于轻量化降雨预报数据、矢量化成果和预报结果的要素数据，构建一套适配接口，达到高效协同与自动适配的目的。

▲ 水情预报并行计算的降雨数值输入协同适配构建技术流程

降雨数值输入的接口采用标准轻量化的地理结构编码格式、切片文件、数值方式等，基于区域、层级、坐标系，构建标准化接口体系，动态适配水情预报并行计算输入需求，可有效避免模型计算及系统应用过程中出现各业务分别处理降雨预报数值，数据应用标准不一，重复建设、重复工作等情况，提高水情测报效率，有力支撑防汛工作。

4.水情预报结果的多级空间矢量轻量化处理技术

一二维水文、水动力模型计算结果多以文本格式存储，文件较大，处理和应用效率较低。对“三道防线”涉及的各类水情预报模型的输出方式进行调整，采用静态数据加动态数据方式输出二进制格式，静态数据为边界条件内划定的网格数据，动态数据为模型计算有效的水位、流量、流速、流向等水情数据，并且按照不同预报频次和时间切片生成各时间点的预报结果文件。按照网格标识融合静态网格数据与动态水情数据，生成单个时间点的轻量化矢量文件，最终生成多级水情预报空间矢量文件，存储到分布式对象存储中。通过这一技术应用，减少了水情预报结果文件的大小，大大提升了处理效率和水情模型结果调用与可视化的效能，为灾害防御提供了有力支撑。

▲ 水情预报结果的多级空间矢量轻量化处理技术流程

5.海量预报数据分布式对象存储与冷热度数据存储技术

随着“三道防线”持续建设，雨水情预报结果数据快速增长，形成了多模态的海量数据，需要建立体系化数据存储机制，按数据产生方式把预报数据分为原始数据、轻量化处理结果数据，运用分布式对象存储（MinIO系统）构建存储体系。结合各项数据应用频次，运用冷热度存储技术构建冷热数据转换的存储体系，适应不同形态的数据存储，为雨水情预报数据应用提供有效支撑。这一技术可有效解决传统数据存储与服务效率低、存储形式与数据特性和应用冷热度适配不佳等问题，提升数据资源运行效能和使用效率。

▲ 海量预报数据分布式对象存储与冷热度数据存储技术流程

海量预报数据轻量化技术实践

以北京市“三道防线”体系建设过程涉及的降雨数值模式预报产品和水情计算模型为例，开展海量预报数据轻量化关键技术研究与实践。

降雨数值模式预报： 以24h产品为例，产品每10min发布一次，文件格式为NetCDF，每个原始文件大小约500MB，一天产生的文件大小约72GB。运用降雨数值模式预报轻量化处理技术，对数据进行格式转换、抽稀、分层切片处理后，设置6个层级。

▲ 数据层级设置明细

如下图所示，抽稀过程的核心原理是减少数据点，使每个格点代表的范围更大，其值通常为已有数据，而非插值生成新数据，因此不会额外引入计算误差。生成的每个文件大小为1～6MB，每天数据量约5GB，数据压缩至原来的1/10以下。

▲ 处理后的栅格数据

水情预报： 以在某条山洪沟道开展的预报模型计算为例，模型输入的降雨预报数据采用协同适配后数据，模型计算预报24h，全量输出计算结果数据量为44MB。运用水情预报多级空间矢量轻量化处理技术后，模型计算生成的结果数据量为4.5MB，数据压缩到近1/10。采用MinIO分布式对象存储系统存储数据，同时运用冷热数据存储技术实现冷热数据动态切换，保障了数据存储的可靠和有效。

利用降雨数值模式预报结果数据矢量化与要素化处理关键技术，对降雨数值模式预报结果数据与北京市的区、乡镇街道、流域空间位置进行匹配，生成北京市各区、各乡镇街道、各流域的降雨预报结果数据要素值，并进行统计分析。

▲ 北京市部分流域区域降雨预报结果要素值统计

运用反距离加权插值算法，生成了降雨预报等值面数据供业务应用系统调用，动态展示降雨预报数据空间分布。开发地理结构编码格式（GeoJSON）的降雨预报数据服务接口供业务应用系统使用，与采用ASC格式未经过分层网格处理的气象模式预报产品数据生成的服务调用响应平均时间相比，经分层网格轻量化处理后，调用响应速度在全市、流域、区域分别提升174倍、88倍、51倍。此外，数据轻量化不影响有效精度，在提升降雨数值模式预报数据应用效能的同时满足防洪防汛业务场景的需求。

▲ 降雨预报结果轻量化前后调用响应平均时间对比

结语

雨水情监测预报“三道防线”的海量预报数据面临存储、传输、处理和应用等各个方面的巨大挑战，需要构建海量预报数据轻量化处理技术体系，用以支撑海量降雨预报数据应用，包括以一二维水文、水动力模型为代表的机理算法数据输入，以及防汛管理工作空间可视化应用等。本文开展海量预报数据轻量化技术体系设计与研究，基于北京市开展的应用实践，综合运用各项关键技术，实现了降雨数值模式预报结果的轻量化处理、数据的矢量化和要素化，水情预报并行计算的降雨数值输入协同适配，以及水情预报结果的多级空间矢量轻量化。实践显示，海量预报数据轻量化处理关键技术具有较好的稳定性和扩展性，可大大降低预报数据的存储和传输负担，提升预报结果的应用效率和效能，保障预报数据高效、可扩展地应用，为灾害防御提供有力支撑。