CN114385611A - 一种基于人工智能算法和知识图谱的降水预测方法和*** - Google Patents
一种基于人工智能算法和知识图谱的降水预测方法和*** Download PDFInfo
- Publication number
- CN114385611A CN114385611A CN202111625218.2A CN202111625218A CN114385611A CN 114385611 A CN114385611 A CN 114385611A CN 202111625218 A CN202111625218 A CN 202111625218A CN 114385611 A CN114385611 A CN 114385611A
- Authority
- CN
- China
- Prior art keywords
- data
- precipitation
- radar
- prediction
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 190
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 43
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 4
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000011160 research Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/14—Rainfall or precipitation gauges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Environmental & Geological Engineering (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Hydrology & Water Resources (AREA)
- Software Systems (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于人工智能算法和知识图谱的降水预测方法和***，属于天气预报技术领域，包括以下步骤：构建多模态数据集装箱，将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；构建关于降水预测的知识图谱；创建基于人工智能算法的多模态降水预测模型，对预测的降水量数据进行智能修正。本发明不仅充分利用了不同种类的多模态气象数据，通过多模态降水预测方法，提高了降水预测的精度，还构建了一个降水预测知识图谱，可对模型预测的结果进行智能修正，以减少人工智能算法的不确定性，提升模型预测的准确度和可靠性。
Description
技术领域
本发明属于天气预报技术领域，具体涉及一种基于人工智能算法和知识图谱的降水预测方法和***。
背景技术
近年来，全球各地降水大幅度增加，无论在市区交通中还是在农业***中，甚至是在水资源规划、防洪预警中，降水预测都扮演着重要的角色。当前，利用气象大数据实现对临近降水的预测是国内防灾减灾的热点和难点，对高时空分辨率的临近降水预测具有重要的价值和社会意义。
从整个降水预测发展来看，最开始，气象工作者主要使用天气图的方法，这种方法历史悠久、理论成熟，但比较主观，是一种定性分析。随着气象学和计算机技术的不断发展，数值预测方法逐渐发展起来，其主要是对大气动力学方程组进行求解，来预测降水变化的方法。这种方法也是近几年在实践中用的比较多的方法，但这种方法在应用时存在一定的局限性。首先，该方法短期(尤其1-2小时内)的预测准确度往往比较低。主要由于短期预测的结果比较依赖大气动力学这个方程组的初始值，而目前获取的大气信息有限，很难对这个方程的初始值进行准确的估算。其次，需要超级计算机的配合，其体积比较庞大，需要昂贵的计算成本和维护成本。除此之外，在时效上，数值模式所花费的时间往往很长，从获取数据到同化再到预报，往往计算出结果就需要花费几个小时，对于特定领域，预报可能已经失去了时效性。
近几年，随着气象数据的种类和数量成倍的增加，将人工智能技术与降水预测相结合成为必然趋势，可以从海量的多模态的气象大数据中挖掘有用的信息，发现气候特征和大气运动，进而对降水有较精准的预测。但同时，人工智能算法具有一定的不确定性，可能对一些罕见的场景预测有一定的误差。
发明内容
针对现有技术存在的不足，本发明的目的在于提供一种基于人工智能算法和知识图谱的降水预测方法和***，以解决上述背景技术中存在的问题。
本发明是这样实现的，一种基于人工智能算法和知识图谱的降水预测方法，所述方法包括以下步骤：
构建多模态数据集装箱，将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
构建关于降水预测的知识图谱；
创建基于人工智能算法的多模态降水预测模型，具体为：构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；
对修正的降水量数据进行分类可视化。
作为本发明进一步的方案：所述对多模态数据进行时空对齐的步骤，具体包括：
将时间误差小于2分钟的历史雷达回波序列数据与卫星云图数据进行合并和对齐；对气象站数据进行双线性插值，将双线性插值处理后得到的数据与雷达数据和卫星数据进行融合，依照经纬度，对雷达数据、卫星数据、气象站数据以及海拔数据进行空间匹配和对齐；
将雷达序列数据和地理位置大数据与降水量数据进行时空对齐，所述地理位置大数据包括经纬度数据和海拔数据。
作为本发明进一步的方案：所述构建关于降水预测的知识图谱的步骤，具体包括：
获取与降水相关的数据，包括从公开网站和研究中获得的非结构化降水数据以及半结构化降水数据，和从雷达与卫星中获取的结构化降水数据；
针对非结构化降水数据和半结构化降水数据，利用基于注意力机制的卷积神经网络进行降水预测的实体、关系和属性抽取得到抽取降水信息，所述实体包括经纬度、海拔、时间、温度、风向、湿度和降水量等；
将结构化降水数据和抽取降水信息进行融合，融合过程包括降水实体消歧和对齐；
对抽取降水信息进行进一步加工，利用机器学习相关性分析算法，分析经纬度、海拔、时间、温度、风向和湿度与降水量之间的关系，即给定气象因素具体的取值，得到该区域的最大降水量和最小降水量；
根据抽取降水信息，构建降水预测知识图谱，将降水预测知识图谱存储到图数据库。
作为本发明进一步的方案：所述构建多模态雷达回波预测模型的步骤，具体包括：
创建由Data Integration模块、CNN+LSTM模块、DS+LSTM模块、US+LSTM模块、CNN+LSTM模块和Data Generation模块构成的多模态雷达回波预测模型，为更好的预测中心区域的降水，所述多模态雷达回波预测模型利用了512km*512km区域的气象数据以及预测中心区256km*256km的雷达图像；多模态雷达回波预测模型用于对历史多模态气象大数据进行融合，历史多模态气象大数据包括雷达数据、卫星云图、经纬度数据、海拔数据、温度、风向和湿度，利用多个神经网络模块进行训练学习，用以对未来高分辨率雷达回波图进行准确的预测；多模态雷达回波预测模型使用的损失函数为：
其中，
表示模型预测的雷达图数据，yk表示真实的雷达图数据，ωk和μk表示对不同强度的雷达图的加权值；
利用评估函数对多模态雷达回波预测模型进行评估，评估函数为：
Value评估结果值在-1和1之间，Value评估结果值值越大效果越好，其中，M为预测的雷达图序列长度，Valuei为单张雷达图的评分，即：
其中，L为预测的类别，N为总的样本数，ωj为第j个类别的权重，p(Ri，Tj)表示预测类别为i的像素点中真实类别为j的像素点总数，p(Ri)表示预测为类别i的像素点总数，p(Tj)表示真实类别为j的像素点总数。
作为本发明进一步的方案：所述构建雷达降水智能转化模型的步骤，具体包括：构建包含R2P生成器、P2R生成器、P判别器和R判别器四个模块的转换模型，结合经纬度和海拔地理位置数据，利用历史的雷达数据与降水量数据，在gpu集群上对转换模型进行训练优化，得到雷达降水智能转化模型；雷达降水智能转化模型使用的损失函数为：
Loss＝Loss1+Loss2+Loss3
其中：
本发明的另一目的在于提供一种基于人工智能算法和知识图谱的降水预测***，所述***包括：
多模型数据集装箱，用于将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
降水预测知识图谱构建模块，用于构建关于降水预测的知识图谱；
基于人工智能算法的多模态降水预测和修正模块，用于创建基于人工智能算法的多模态降水预测模型，具体包括：雷达回波预测模型构建单元，用于构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；智能转化模型构建单元，用于构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；智能修正单元，基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；以及
区域降水可视化模块，用于对修正的降水量数据进行分类可视化。
有益效果：本发明提出了一种基于人工智能算法和知识图谱的降水预测方法和***，不仅充分利用了不同种类的多模态气象数据，通过多模态降水预测方法，提高了降水预测的精度，解决了现有技术中存在的问题，而且构建了一个降水预测知识图谱，可对模型预测的结果进行智能修正，以减少人工智能算法的不确定性，进一步提升模型预测的准确度和可靠性。
附图说明
为了更清楚地说明本发明技术方案和实施例，下面将对技术方案和实施例中所用的附图进行简单介绍。
图1为一种基于人工智能算法和知识图谱的降水预测方法的流程图。
图2为本发明实施例中构建关于降水预测的知识图谱的流程图。
图3为本发明实施例中多模态雷达回波预测模型的结构示意图。
图4为本发明实施例中雷达降水智能转化模型的结构示意图。
图5为一种基于人工智能算法和知识图谱的降水预测***的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述。
如图1所示，本发明实施例提供了一种基于人工智能算法和知识图谱的降水预测方法，所述方法包括以下步骤：
S100，构建多模态数据集装箱，将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
S200，构建关于降水预测的知识图谱，利用自然语言处理技术对公开网站和研究中与降水量相关知识进行抽取得到降水相关信息，将降水相关信息与雷达、卫星和气象站采集的降水数据进行融合，利用深度学习算法，构建一个降水预测知识图谱；
S300，创建基于人工智能算法的多模态降水预测模型，具体为：
S301，构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；
S302，构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；
S303，基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；
S400，对修正的降水量数据进行分类可视化，便于使用人员观察对比分析，为更直观的进行观察，将降水量进行分类，共分为8类，即0、(0,2.5]、(2.5,5]、(5,10]、(10,25]、(25,50]、(50,100]、(100,+∞)(单位：mm/h)，然后，基于经纬度数据，将降水量数据在地图上显示。
在本发明实施例中，在获取和降水相关的多模态气象数据之前，需要获取同一地区一时间段内，包括历史雷达回波序列数据、卫星云图数据、气象站数据(温度、湿度、风向等)、地理位置大数据(包括经纬度数据、海拔数据等)、降水量数据等气象数据，将这些数据按照类别保存到多模态数据集装箱。接着需要对获取的多模态数据进行时空对齐，这样，处理后的数据即可用于构建多模态雷达回波预测模型以及雷达降水智能转化模型；另外，还需要对所有数据进行清洗和预处理，引入平滑因子对历史数据进行地物剔除，然后利用二维小波变换进行去燥，对缺省的数据使用双线性插值进行填充，除此之外，剔除一些异常序列或者缺失值过多的序列，防止这些噪音对模型进行干扰，最后，将预处理好的所有数据存入数据集装箱，供后续建模使用。
在本发明实施例中，所述对多模态数据进行时空对齐的步骤，具体包括：
S101，将时间误差小于2分钟的历史雷达回波序列数据与卫星云图数据进行合并和对齐；对气象站数据进行双线性插值，将双线性插值处理后得到的数据与雷达数据和卫星数据进行融合，依照经纬度，对雷达数据、卫星数据、气象站数据以及海拔数据进行空间匹配和对齐；需要说明的是，在时间上，历史雷达回波序列数据时间间隔一般为6分钟，卫星云图数据时间间隔一般为5分钟，以雷达图时间为基准，将二者时间相距最近的(误差小于2分钟)数据进行整合；其次，气象站数据(温度、湿度、风向等)时间间隔一般为1个小时，将其进行双线性插值，即可和雷达、卫星数据进行融合；在空间上，依照经纬度，对雷达数据、卫星数据、气象站数据(温度、湿度、风向等)以及海拔数据进行空间对齐，融合后的数据即可用于构建多模态雷达回波预测模型。
S102，将雷达序列数据和地理位置大数据与降水量数据进行时空对齐，所述地理位置大数据包括经纬度数据和海拔数据。相似地，目前获取的降水量数据的时间间隔一般也1个小时，以该数据为基础，将雷达序列数据和地理位置大数据(包括经纬度数据、海拔数据等)和降水量数据进行时空对齐，融合后的数据即可用于构建雷达降水智能转化模型。
如图2所示，在本发明实施例中，所述构建关于降水预测的知识图谱的步骤，具体包括：
S201，获取与降水相关的数据，包括从公开网站和研究中获得的非结构化降水数据以及半结构化降水数据，和从雷达与卫星中获取的结构化降水数据；
S202，针对非结构化降水数据和半结构化降水数据，利用基于注意力机制的卷积神经网络进行降水预测的实体、关系和属性抽取得到抽取降水信息，所述实体包括经纬度、海拔、时间、温度、风向、湿度和降水量等；
S203，将结构化降水数据和抽取降水信息进行融合，融合过程包括降水实体消歧和对齐。
S204，对抽取降水信息进行进一步加工，利用机器学习相关性分析算法，分析经纬度、海拔、时间、温度、风向和湿度与降水量之间的关系，即给定气象因素具体的取值，得到该区域的最大降水量和最小降水量；
S205，根据抽取降水信息，构建降水预测知识图谱，将降水预测知识图谱存储到图数据库。
在本发明实施例中，首先从公开网页和论文中，通过爬虫等技术，并对页面和数据进行解析，获得非结构化数据和半结构化数据，例如：“2021年7月20日，下午4点至5点，郑州站一小时累计降水量达201.9毫米，创下了全球大中小城市单小时降水量记录”，从雷达卫星等产品中，获取降水相关的结构化数据。针对非结构化和半结构化降水数据进行知识抽取，首先进行实体抽取，例如经度、纬度、温度、海拔、风向、湿度、降水量等与降水有关的实体。由于获取的数据有限，这里主要基于自然语言处理中的预训练迁移模型进行微调，利用训练预料丰富的领域帮助完成实体抽取。其次，对这些实体进行关系和属性抽取，这里主要使用基于注意力机制的卷积神经网络，以组合句子向量为单位抽取关系和属性。例如，抽取出一个区域的知识为，经度：109.809000，纬度：40.657000，海拔：1069m，时间：2021年6月1日，温度：10摄氏度，风向：3级，降水量：20mm/h(注意，这里只是为了对提取结果进行简单的说明，数据可能有一定偏差)。
还需要利用从雷达卫星等产品中获取的结构化数据，结合之前抽取的知识以及气象专家经验，对知识进行融合，包括实体消歧和对齐，例如“降水”、“降雨”、“降雨量”、“下雨量”、“降水量”等均统一为“降水量”。这里主要使用biLSTM神经网络，将实体对齐看作是字符串之间的相似度对比，最后计算其余弦相似度作为实体的匹配概率。最后对提取的知识进行进一步加工。利用机器学习相关性分析算法，分析经纬度、海拔、时间、温度、风向、湿度等其他气象因素和降水量之间的关系，即给定气象因素具体的取值，可得到该区域的最大降水量和最小降水量。构建降水预测的知识图谱，使用基于RDF模型的推理引擎，将提取到的数据构造成RDF格式的本体，将其导入到图数据库中，完成知识图谱的构建和存储。
如图3所示，在本发明实施例中，所述构建多模态雷达回波预测模型的步骤，具体包括：
S3011，创建由Data Integration模块、CNN+LSTM模块、DS+LSTM模块、US+LSTM模块、CNN+LSTM模块和Data Generation模块构成的多模态雷达回波预测模型，由于大气云层都是在不断移动的，为更好的预测中心区域的降水，该模型加大了观测数据的感受野，即利用512km*512km区域的气象数据和预测中心区域256km*256km的雷达图像；多模态雷达回波预测模型用于对历史多模态气象大数据进行融合，历史多模态气象大数据包括雷达数据、卫星云图、经纬度数据、海拔数据、温度、风向和湿度，利用多个神经网络模块进行训练学习，用以对未来高分辨率雷达回波图进行更准确的预测；多模态雷达回波预测模型使用的损失函数为：
其中，
表示模型预测的雷达图数据，yk表示真实的雷达图数据，ωk和μk表示对不同强度的雷达图的加权值。
S3012，利用评估函数对多模态雷达回波预测模型进行评估，评估函数为：
Value评估结果值在-1和1之间，Value评估结果值值越大效果越好，其中，M为预测的雷达图序列长度，Valuei为单张雷达图的评分，即：
其中，L为预测的类别，N为总的样本数，ωj为第j个类别的权重，p(Ri，Tj)表示预测类别为i的像素点中真实类别为j的像素点总数，p(Ri)表示预测为类别i的像素点总数，p(Tj)表示真实类别为j的像素点总数；
在本发明实施例中，根据需求，将数据集装箱中处理后的序列数据进行分割，即根据前3个小时的气象数据，预测未来3个小时的雷达序列数据，并将数据按照7:1:2的比例分成训练集、验证集和测试集。首先输入数据为前3个小时的多模态气象大数据，时间间隔为6分钟，即-180min、-174min、…、0min，多模态气象大数据包括雷达数据、卫星数据、温度、风向、经纬度、海拔，将其输入到各个模块中。Data Integration模块主要采用深度学习中的数据融合技术，对雷达数据、卫星云图、经纬度数据、海拔数据、温度、风向、湿度进行融合。首先，为防止模型后续出现梯度***或者梯度消失，利用双曲正切函数对各维度数据进行归一化：
然后，利用Space-to-depth、Mean-pooling、Center-crop、Conv(卷积)、Max-pooling等技术进行数据融合。CNN+LSTM模块整体上是encoder-decoder框架，这里主要将时间和空间融合，网络内部将卷积计算引入到LSTM的计算中，提取到了气象数据的时空相关性。如果为了特征提取的更加充分，样本量足够的话，CNN+LSTM模块可以多叠加几层网络，但由于我们获取的样本有限，为防止样本过拟合，将层数M设为1即可。DS+LSTM模块主要使用了下采样技术，充分提取历史各维度气象数据的深层特征。US+LSTM模块主要使用了上采样技术，利用提取的大气运动特征，预测未来的雷达序列数据特征。CNN+LSTM模块+DataGeneration模块主要根据提取的雷达序列数据特征，尽可能准确的生成原定区域的雷达序列数据。最后，通过Data Generation模块，输出未来3小时的雷达序列图，时间间隔为30min，即半个小时预测一次。
在本发明实施例中，整个模型使用的损失函数为：
其中，
表示模型预测的雷达图数据，yk表示真实的雷达图数据，ωk和μk表示对不同强度的雷达图的加权值。利用前3个小时的多模态气象大数据，在gpu集群上，对这个改进后的模型进行训练，直到模型达到最优。利用如下评估函数，对上述最优模型进行评估：
Value评估结果范围在-1和1之间，值越大效果越好。
如图4所示，本发明提出一种人工智能的转换模型，可以把雷达图和降水图看成两个图像域，基于对抗生成网络，包含R2P生成器、P2R生成器、P判别器和R判别器四个模块，结合经纬度、海拔等地理位置数据，利用历史的雷达数据与降水量数据，在gpu集群上对模型进行训练优化，得到雷达和降水可智能转化的模型。
在本发明实施例中，首先，获取雷达数据、地理位置大数据(包括经纬度数据、海拔数据等)与降水量数据，设为{(X1，X1，Y1)，(X2，Z2，Y2)，...，(Xn，Zn，Yn)})，将数据按照7:1:2的比例分成训练集、验证集和测试集。然后，构建一个深度生成网络，整体上可以看作由两个对抗网络组成，包括四个模块：R2P生成器：主要采用encoder-decoder框架，利用真实的雷达数据，结合经纬度和海拔等地理位置数据，通过encoder编码器对其特征进行编码，然后利用decoder解码器生成相应的降水数据。P判别器：主要用于分辨是R2P生成器的假的降水数据还是真实的降水数据。P2R生成器：和R2P生成器结构类似，但其主要功能是将真实的降水数据，结合经纬度和海拔等地理位置数据，通过encoder编码器对其特征进行编码，然后利用decoder解码器生成相应的雷达数据。R判别器：主要用于分辨是P2R生成器的假的雷达数据还是真实的雷达数据。该模型首先利用真实的雷达数据，结合经纬度海拔数据即(Xi，Zi)，i＝1，2，...，n，输入到R2P生成器，生成相应的降水量数据Yi′，i＝1，2，...，n。然后，利用P判别器，对生成的Yi′和真实的Yi进行判别。同理，利用真实的降水数据，结合经纬度海拔数据即(Yi，Zi)，i＝1，2，...，n，输入到P2R生成器，生成相应的雷达数据Xi′，i＝1，2，...，n。然后，利用R判别器，对生成的Xi和真实的Xi进行判别。
在本发明实施例中，整个模型使用的损失函数为：
Loss＝Loss1+Loss2+Loss3
其中：
在gpu集群上进行对抗训练优化，最终R2P生成器和P2R生成器得到一组最优的参数，结合经纬度海拔即可对雷达数据和降水量数据进行灵活转化。得到的R2P生成器即为临近降水转化模型，可将雷达数据转化为降水数据。
在本发明实施例中，基于构建好的降水预测知识图谱，利用深度学习算法进行知识推理，对得到的降水数据进行智能修正。利用S200得到的知识图谱中获取的数据和关系，可通过深度学习预测模型，根据经纬度、海拔、时间、温度、风向、湿度等气象因素，对区域降水量的最大值和最小值进行预测。进而，根据算法预测的降水量阈值对S32得到的降水数据进行智能修正，进一步提升降水预测的精确度和可靠性。
在本发明实施例中，降水量数据可视化是为了更直观的进行观察，将预测并修正后的降水量进行分类，共分为8类，即0、(0,2.5]、(2.5,5]、(5,10]、(10,25]、(25,50]、(50,100]、(100,+∞)(单位：mm/h)。然后，基于经纬度数据，将降水量数据在地图上显示，便于观测分析。
如图5所示，本发明实施例还公开了一种基于人工智能算法和知识图谱的降水预测***，所述***包括：
多模型数据集装箱，用于将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
降水预测知识图谱构建模块，用于构建关于降水预测的知识图谱。
基于人工智能算法的多模态降水预测和修正模块，用于创建基于人工智能算法的多模态降水预测模型，具体包括：雷达回波预测模型构建单元，用于构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；智能转化模型构建单元，用于构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；智能修正单元，基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；以及
区域降水可视化模块，用于对修正的降水量数据进行分类可视化。
所述***在使用过程中，首先需要获取某区域A的雷达、卫星、气象站等各维度的实时数据，然后将这个区域分割成n个500*500km的小区域，之后利用智能降水预测***，经过各个模块，对这n个小区域未来的降水量进行预测，最后将这些小区域合并可视化，即可观察分析未来的降水量情况。
以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (6)
1.一种基于人工智能算法和知识图谱的降水预测方法，其特征在于，所述方法包括以下步骤：
构建多模态数据集装箱，将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
构建关于降水预测的知识图谱；
创建基于人工智能算法的多模态降水预测模型，具体为：构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；
对修正的降水量数据进行分类可视化。
2.根据权利要求1所述一种基于人工智能算法和知识图谱的降水预测方法，其特征在于，所述对多模态数据进行时空对齐的步骤，具体包括：
将时间误差小于2分钟的历史雷达回波序列数据与卫星云图数据进行合并和对齐；对气象站数据进行双线性插值，将双线性插值处理后得到的数据与雷达数据和卫星数据进行融合，依照经纬度，对雷达数据、卫星数据、气象站数据以及海拔数据进行空间匹配和对齐；
将雷达序列数据和地理位置大数据与降水量数据进行时空对齐，所述地理位置大数据包括经纬度数据和海拔数据。
3.根据权利要求1所述一种基于人工智能算法和知识图谱的降水预测方法，其特征在于，所述构建关于降水预测的知识图谱的步骤，具体包括：
获取与降水相关的数据，包括从公开网站和研究中获得的非结构化降水数据以及半结构化降水数据，和从雷达与卫星中获取的结构化降水数据；
针对非结构化降水数据和半结构化降水数据，利用基于注意力机制的卷积神经网络进行降水预测的实体、关系和属性抽取得到抽取降水信息，所述实体包括经纬度、海拔、时间、温度、风向、湿度和降水量等；
将结构化降水数据和抽取降水信息进行融合，融合过程包括降水实体消歧和对齐；
对抽取降水信息进行进一步加工，利用机器学习相关性分析算法，分析经纬度、海拔、时间、温度、风向和湿度与降水量之间的关系，即给定气象因素具体的取值，得到该区域的最大降水量和最小降水量；
根据抽取降水信息，构建降水预测知识图谱，将降水预测知识图谱存储到图数据库。
4.根据权利要求1所述一种基于人工智能算法和知识图谱的降水预测方法，其特征在于，所述构建多模态雷达回波预测模型的步骤，具体包括：
创建由Data Integration模块、CNN+LSTM模块、DS+LSTM模块、US+LSTM模块、CNN+LSTM模块和Data Generation模块构成的多模态雷达回波预测模型，为更好的预测中心区域的降水，所述多模态雷达回波预测模型利用了512km*512km区域的气象数据以及预测中心区256km*256km的雷达图像；多模态雷达回波预测模型用于对历史多模态气象大数据进行融合，历史多模态气象大数据包括雷达数据、卫星云图、经纬度数据、海拔数据、温度、风向和湿度，利用多个神经网络模块进行训练学习，用以对未来高分辨率雷达回波图进行准确的预测；多模态雷达回波预测模型使用的损失函数为：
其中，
表示模型预测的雷达图数据，yk表示真实的雷达图数据，ωk和μk表示对不同强度的雷达图的加权值；
利用评估函数对多模态雷达回波预测模型进行评估，评估函数为：
Value评估结果值在-1和1之间，Value评估结果值值越大效果越好，其中，M为预测的雷达图序列长度，Valuei为单张雷达图的评分，即：
其中，L为预测的类别，N为总的样本数，ωj为第j个类别的权重，p(Ri，Tj)表示预测类别为i的像素点中真实类别为j的像素点总数，p(Ri)表示预测为类别i的像素点总数，p(Tj)表示真实类别为j的像素点总数。
5.根据权利要求4所述一种基于人工智能算法和知识图谱的降水预测方法，其特征在于，所述构建雷达降水智能转化模型的步骤，具体包括：构建包含R2P生成器、P2R生成器、P判别器和R判别器四个模块的转换模型，结合经纬度和海拔地理位置数据，利用历史的雷达数据与降水量数据，在gpu集群上对转换模型进行训练优化，得到雷达降水智能转化模型；雷达降水智能转化模型使用的损失函数为：
Loss＝＝Loss1+Loss2+Loss3
其中：
6.一种基于人工智能算法和知识图谱的降水预测***，其特征在于，所述***包括：
多模型数据集装箱，用于将不同类型的气象数据按照自身结构特点，输入到多模态数据集装箱得到多模态数据，对多模态数据进行时空对齐、数据清洗和预处理以及数据序列分割；
降水预测知识图谱构建模块，用于构建关于降水预测的知识图谱；
基于人工智能算法的多模态降水预测和修正模块，用于创建基于人工智能算法的多模态降水预测模型，具体包括：雷达回波预测模型构建单元，用于构建多模态雷达回波预测模型，将各类历史气象数据进行时空融合，利用深度神经网络模型来预测未来的雷达序列图；智能转化模型构建单元，用于构建雷达降水智能转化模型，结合地理位置数据，利用对抗生成网络，对雷达数据和降水量进行相互转化，即可将预测的雷达序列图转换为降水量数据；智能修正单元，基于构建的降水预测知识图谱，利用神经网络算法进行知识推理，对预测的降水量数据进行智能修正；以及
区域降水可视化模块，用于对修正的降水量数据进行分类可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625218.2A CN114385611A (zh) | 2021-12-28 | 2021-12-28 | 一种基于人工智能算法和知识图谱的降水预测方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111625218.2A CN114385611A (zh) | 2021-12-28 | 2021-12-28 | 一种基于人工智能算法和知识图谱的降水预测方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114385611A true CN114385611A (zh) | 2022-04-22 |
Family
ID=81197843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111625218.2A Pending CN114385611A (zh) | 2021-12-28 | 2021-12-28 | 一种基于人工智能算法和知识图谱的降水预测方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114385611A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610799A (zh) * | 2022-05-11 | 2022-06-10 | 未名环境分子诊断（常熟）有限公司 | 基于环境监测的数据处理方法、设备及存储介质 |
| CN115877345A (zh) * | 2023-02-28 | 2023-03-31 | 航天宏图信息技术股份有限公司 | 一种风廓线雷达缺测数据的补齐方法和装置 |
-
2021
- 2021-12-28 CN CN202111625218.2A patent/CN114385611A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114610799A (zh) * | 2022-05-11 | 2022-06-10 | 未名环境分子诊断（常熟）有限公司 | 基于环境监测的数据处理方法、设备及存储介质 |
| CN114610799B (zh) * | 2022-05-11 | 2022-07-22 | 未名环境分子诊断（常熟）有限公司 | 基于环境监测的数据处理方法、设备及存储介质 |
| CN115877345A (zh) * | 2023-02-28 | 2023-03-31 | 航天宏图信息技术股份有限公司 | 一种风廓线雷达缺测数据的补齐方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ali et al. | Exploiting dynamic spatio-temporal graph convolutional neural networks for citywide traffic flows prediction | |
| CN107529651B (zh) | 一种基于深度学习的城市交通客流预测方法和设备 | |
| Qin et al. | A novel combined prediction scheme based on CNN and LSTM for urban PM 2.5 concentration | |
| Ali et al. | Leveraging spatio-temporal patterns for predicting citywide traffic crowd flows using deep hybrid neural networks | |
| Ghaderi et al. | Deep forecast: Deep learning-based spatio-temporal forecasting | |
| CN114385611A (zh) | 一种基于人工智能算法和知识图谱的降水预测方法和*** | |
| CN117556197B (zh) | 一种基于人工智能的台风涡旋初始化方法 | |
| CN109214716A (zh) | 基于stacking算法的山火风险预测建模方法 | |
| Jonnalagadda et al. | Forecasting atmospheric visibility using auto regressive recurrent neural network | |
| Qi et al. | A deep learning approach for long-term traffic flow prediction with multifactor fusion using spatiotemporal graph convolutional network | |
| CN113496310A (zh) | 基于深度学习模型的大气污染物预测方法和*** | |
| CN117494034A (zh) | 基于交通拥堵指数和多源数据融合的空气质量预测方法 | |
| CN116662468A (zh) | 基于地理对象空间模式特征的城市功能区识别方法及*** | |
| CN117670527B (zh) | 基于地块数据的农户贷款授信额度确定方法及*** | |
| CN117575873B (zh) | 综合气象水文敏感性的洪水警戒方法与*** | |
| CN117233869B (zh) | 一种基于GRU-BiTCN的站点短期风速预测方法 | |
| CN109829583B (zh) | 基于概率编程技术的山火风险预测方法 | |
| Ganji et al. | Traffic volume prediction using aerial imagery and sparse data from road counts | |
| Porto et al. | Machine learning approaches to extreme weather events forecast in urban areas: Challenges and initial results | |
| CN116663742B (zh) | 基于多因素和模型融合的区域运力预测方法 | |
| CN117706660A (zh) | 基于CNN-ViT技术强对流天气预报的方法 | |
| CN111340001A (zh) | 一种基于遥感影像深度学习的交通拥堵识别方法 | |
| Zhang | Remote sensing data processing of urban land using based on artificial neural network | |
| Kaparakis et al. | WF-UNet: Weather data fusion using 3d-unet for precipitation nowcasting | |
| Li et al. | WSPTGAN for Global Ocean Surface Wind Speed Generation with High Temporal Resolution and Spatial Coverage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |