CN116860824A - 一种气象数据知识发现方法及*** - Google Patents
一种气象数据知识发现方法及*** Download PDFInfo
- Publication number
- CN116860824A CN116860824A CN202310623030.7A CN202310623030A CN116860824A CN 116860824 A CN116860824 A CN 116860824A CN 202310623030 A CN202310623030 A CN 202310623030A CN 116860824 A CN116860824 A CN 116860824A
- Authority
- CN
- China
- Prior art keywords
- data
- weather
- knowledge
- algorithm
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 77
- 238000005516 engineering process Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 10
- 238000003908 quality control method Methods 0.000 claims abstract description 10
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000002759 z-score normalization Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000007418 data mining Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公布了一种气象数据知识发现方法及***，基于多源异构气象数据包括时空观测数据、历史再分析资料等数据，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成完整、准确的智能算法训练数据集；基于人工智能和深度学习技术构建多个算法模型形成算法池，使数据集通过算法池可以进行强对流天气识别、精准天气预报等形成知识，存储在气象特征知识数据集中，以支持环境信息应用；将得到的知识产品进行数据应用，根据知识产品生成的气象时空演变规律，帮助决策者做出相应的决策，减少与天气相关的安全不确定性。本发明更加注重“数据”向“知识”的转变，相对于传统机器学习有着更高的准确率。
Description
技术领域
本发明涉及一种气象数据知识发现方法及***，属于气象服务领域。
背景技术
气象领域的数据量日益增大，随着气象仪器、传感器和气象卫星等技术的不断发展，气象领域的数据量也呈现出爆发式增长的趋势。这些数据包含了各种气象参数的观测值、模式预报结果等，如何有效地利用这些数据成为了气象研究的一大挑战。尽管气象科学和技术不断进步，气象预报的准确性和效率仍有提高的空间。气象预报的准确性和效率不仅关系到人们的生产生活。随着人工智能技术的不断发展，其在气象领域的应用也越来越广泛。人工智能技术可以自动地发现数据中的关联、模式和规律，从而提高气象预报的准确性和效率。
传统气象数据挖掘体系中不同气象数据来源的数据格式和数据结构存在差异，不同气象数据之间缺乏统一的标准和语义，导致数据整合和分析的困难。并且传统气象数据挖掘体系往往使用单一算法或简单的组合算法，缺乏灵活性和可扩展性，无法满足不同场景下的复杂数据挖掘需求。
发明内容
本发明提供了一种气象数据知识发现方法及***，解决了背景技术中披露的问题。
为了解决上述技术问题，本发明所采用的技术方案是：
一种气象数据知识发现方法，其特征在于，包括以下步骤：
1)基于多源异构气象数据，包括时空观测数据和历史再分析资料，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成智能算法训练数据集；
2)基于人工智能和深度学习技术构建多个算法模型形成算法池，对步骤1)得到的智能算法训练数据集，通过算法池进行强对流天气识别和天气预报，形成知识，存储在预先构建的气象特征知识数据集中，用于支持环境信息应用；
3)将步骤2)得到的气象特征知识数据集进行数据应用，根据知识产品生成的气象时空演变规律。
进一步地，所述步骤1)中，数据清洗的过程为：对采集到的气象数据进行去重、去噪、纠错和过滤。
进一步地，所述步骤1)中，数据质量控制处理缺失数据和异常值的过程为：基于最大-最小归一化和Z-score归一化，将不同量纲的数据转换为统一的量纲；
使用线性插值、多项式插值和样条插值对缺失值进行填充；
对于过于稠密的数据，通过随机采样、分层采样和聚类采样减少数据量；
将原始数据转换为分析和挖掘的形式。
进一步地，所述步骤1)中气象数据统一时空技术，包括以下步骤：
S31：时空坐标统一；
S32：时间分辨率统一；
S33：空间分辨率统一；
S34：数据格式统一。
进一步地，所述步骤2)中生成的气象时空演变规律的算法模型包括模式订正算法模型、时序预测算法模型和智能识别算法模型。
相应地，一种气象数据知识发现***，其特征在于，包括：
数据预处理模块，基于多源异构气象数据，包括时空观测数据和历史再分析资料，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成智能算法训练数据集；
知识发现模块，基于人工智能和深度学习技术构建多个算法模型形成算法池，将智能算法训练数据集，通过算法池进行强对流天气识别和天气预报，形成知识，存储在预先构建的气象特征知识数据集中，用于支持环境信息应用；
数据应用模块，将气象特征知识数据集进行数据应用，根据知识产品生成的气象时空演变规律。
进一步地，所述数据预处理模块中，数据清洗的过程为：对采集到的气象数据进行去重、去噪、纠错和过滤。
进一步地，数据预处理模块中数据质量控制处理缺失数据和异常值的过程为：基于最大-最小归一化和Z-score归一化，将不同量纲的数据转换为统一的量纲；
使用线性插值、多项式插值和样条插值对缺失值进行填充；
对于过于稠密的数据，通过随机采样、分层采样和聚类采样减少数据量；
将原始数据转换为分析和挖掘的形式。
进一步地，所述数据预处理模块中气象数据统一时空技术，包括以下步骤：
S31：时空坐标统一；
S32：时间分辨率统一；
S33：空间分辨率统一；
S34：数据格式统一。
10、根据权利要求6所述的气象数据知识发现体系设计***，其特征在于：
所述知识发现模块中生成的气象时空演变规律的算法模型包括模式订正算法模型、时序预测算法模型和智能识别算法模型。
本发明所达到的有益效果：本发明采用上述技术方案与现有技术相比，解决了传统气象数据挖掘体系中存在的不同数据格式和使用单一算法等问题，可以有效提高获取到知识产品的准确率，主要创新点包括：
1)利用气象数据统一时空技术将不同气象数据整合为一个统一的时空数据集，为气象分析和应用提供数据基础。
2)提出了智能算法组件库，基于人工智能和深度学习技术构建多个算法模型形成算法池，提高灵活性和可扩展性。
附图说明
图1是本发明的方法流程图；
图2是本发明中的气象特征知识数据集构建过程图；
图3是本发明的知识产品在航迹规划中应用流程图；
图4是本发明的气象数据知识发现体系面向应用的详细流程结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明一种气象数据知识发现方法，包括以下步骤：
S1：数据预处理模块，基于多源异构气象数据包括时空观测数据、历史再分析资料等数据，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成完整、准确的智能算法训练数据集；
S2：知识发现模块，基于人工智能和深度学习技术构建多个算法模型形成算法池，对步骤S1得到的智能算法训练数据集，通过算法池可以进行强对流天气识别、精准天气预报等形成知识，存储在气象特征知识数据集中，以支持环境信息应用；
S3：数据应用模块，将步骤S2得到的气象特征知识数据集进行数据应用，根据知识产品生成的气象时空演变规律，帮助决策者做出相应的决策，减少与天气相关的安全不确定性。
步骤S1、S2、S3顺序执行；
进一步地，数据预处理模块，对多源异构原始气象数据进行处理，以提高其可用性和可靠性，为后续挖掘和分析打下基础，包括以下步骤：
S21：数据清洗，对采集到的气象数据进行去重、去噪、纠错、过滤等处理，避免数据中出现异常值、错误值等情况，提高数据的可信度和可用性；
S22：数据归一化，基于最大-最小归一化、Z-score归一化等方法，将不同量纲的数据转换为统一的量纲，以便于数据分析和比较；
S23：数据插值，气象数据中常常会存在缺失值的情况，需要使用线性插值、多项式插值、样条插值等插值方法对缺失值进行填充；
S24：数据采样，对于过于稠密的数据，可以通过随机采样、分层采样、聚类采样等采样方法减少数据量，以提高数据处理和分析的效率；
S25：数据转换，将原始数据转换为适合分析和挖掘的形式，如将气象数据转换为时间序列数据、频率数据等。
进一步地，气象数据统一时空技术，主要是针对不同气象数据来源、不同时间分辨率和不同空间分辨率的数据进行统一整合，可以将不同气象数据整合为一个统一的时空数据集，为后续的气象分析和应用提供更加便捷和可靠的数据基础。其主要技术包括以下几个方面：
S31：时空坐标统一。气象数据来源于不同的气象站点和气象卫星，其时间和空间坐标存在差异。对于时间坐标，可以采用UTC或格林威治时间作为统一时间基准；对于空间坐标，可以采用WGS84或中国2000大地坐标系等作为统一坐标基准。
S32：时间分辨率统一。不同气象数据来源的时间分辨率存在差异，例如气象观测站的观测时间间隔可能为10分钟或1小时，而卫星遥感数据的时间间隔可能为30分钟或1天。针对这种情况，可以采用插值或时间重采样等技术将不同时间分辨率的气象数据统一到相同的时间分辨率上。
S33：空间分辨率统一。不同气象数据来源的空间分辨率存在差异，例如气象观测站的观测半径可能为数百米，而卫星遥感数据的分辨率可能为数百米或数千米。针对这种情况，可以采用插值或空间重采样等技术将不同空间分辨率的气象数据统一到相同的空间分辨率上。
S34：数据格式统一。不同气象数据来源的数据格式存在差异，例如气象观测站的数据格式可能是ASCII或二进制格式，而卫星遥感数据的数据格式可能是HDF或NetCDF格式。针对这种情况，可以采用数据格式转换或数据格式标准化等技术将不同格式的气象数据统一为相同的格式。
进一步地，智能算法训练数据集，根据用户需求，获取问题目标的定义，选取相关天气现象(如风、雨、能见度、雷暴等)的关联要素特征，删除掉原始数据集中不必要的要素，得到降维后的数据集；并根据知识发现组件中不同智能算法模型的输入要求，对包含所需要素特征数据集进行训练前的数据预处理操作，形成可直接输入数据挖掘模型的智能算法训练数据集。下表列举了气象保障基础要素和相关物理量以及其加工后可得到的知识产品：
进一步地，知识发现模块，结合用户及专家对问题目标的定义，选取相关特征要素，并从算法库中选择合适的数据挖掘算法，进行知识发现关键流程，形成知识存储在知识库中，以下列举部分算法库中模型：
S41：模式订正算法模型，是指利用深度学习技术对气象模式输出进行订正的过程。气象模式是指利用大气动力学、热力学等基础理论，以及观测数据和数值计算方法，通过计算机模拟得到的大气现象的描述，是天气预报和气候研究的重要工具之一。由于气象模式存在着不同程度的误差，这些误差可能来自于数值计算的近似方法、初始值和边界条件的不确定性，以及模型本身的不完善等原因，因此需要对气象模式输出进行订正，提高其预报精度。传统的气象模式订正方法通常是基于统计回归等机器学习方法，需要手动选择特征和建立模型，且对于复杂的气象现象和高维的数据空间难以处理。而基于深度学习的气象模式订正方法，可以通过训练深度神经网络自动学习气象模式输出与实际观测之间的映射关系，从而对气象模式输出进行订正。深度神经网络可以自适应地提取气象模式输出中的特征，避免了手动选择特征的问题，同时也能够处理高维的数据空间，提高了气象模式订正的精度和效率；
S42：时序预测算法模型，是通过建立一个神经网络模型来学习气象数据的历史特征，并根据学习到的规律预测未来的气象数据。深度学习模型通常由多个层次的神经元组成，其中包括输入层、隐藏层和输出层。在气象时序预测中，通常将过去的一段时间序列数据作为输入，通过神经网络学习这些数据的规律和特征，然后根据学习到的知识预测未来一段时间的气象数据。具体而言，可以使用循环神经网络(RNN)或卷积神经网络(CNN)等深度学习模型来实现气象时序预测。在RNN模型中，通过引入循环单元，将过去时刻的信息传递给当前时刻，使得模型可以考虑到时间上的相关性，从而适用于时序预测。在气象时序预测中，可以使用多种RNN模型，如基于LSTM(长短时记忆)或GRU(门控循环单元)的模型。在CNN模型中，通过卷积操作和池化操作，可以提取输入序列中的局部特征，并在输出层进行整合，从而实现时序预测。在气象时序预测中，可以使用一维卷积神经网络(1D CNN)或时间卷积网络(TCN)等模型；
S43：智能识别算法模型，是通过分析气象数据来预测可能发生的极端天气事件，例如台风、暴雨、***等，从而能够识别出可能发生极端天气事件的模式和特征，可以使用卷积神经网络(Convolutional Neural Network，CNN)或循环神经网络(RecurrentNeural Network，RNN)等模型来实现。其中，卷积神经网络主要用于处理图像或序列数据，可以捕捉数据中的空间特征，如图像中的纹理和形状，以及时间序列中的趋势和周期性模式。在极端天气智能识别中，卷积神经网络可以用来提取气象数据中的时空特征，如气压、温度、湿度、风速等，以及这些特征之间的关系，用于判断是否出现了极端天气事件。
进一步地，气象特征知识数据集，利用特征提取算法从原始气象海洋数据集中提取出新的数据，例如根据温度和高度可提取出绝热衰减率，将这样的数据集成起来形成气象海洋特征数据集，并基于人工智能、深度学习等方法，使原始数据集经过训练和加工后，形成知识，例如根据温度、风、雨等气象数据可得出强对流天气数据，将得出的知识集成后形成知识数据集，特征和知识数据集将提供给智能应用模块做保障应用。图2是气象特征知识数据集构建过程图。
进一步地，数据应用模块，对知识库中知识的管理以及评估，主要是预测、诊断、计划和决策支持等方面，通过结合Cesium3D地球技术和路径生成算法，进行气象威胁指数可视化以及航迹规划等应用。图3是知识产品在航迹规划中应用流程图。
实施例1
图4是气象数据知识发现体系面向应用的详细流程结构图；
S1：数据预处理模块，在气象数据存储在三维超立方数据仓库中之前，需要进行数据清洗和处理，以保证得到的数据是高质量的。处理组件可以包括多种算法，如随机森林算法、KNN算法等。这些算法可以对异常值和缺失值进行处理，并通过过滤后的数据得到更为准确和可靠的数据；
S2：知识发现模块是数据挖掘流程的核心，该模块可以与用户及专家对问题目标的定义相结合，选取相关特征要素，并从算法库中选择合适的深度学习算法，包括智能识别、模式订正、时序预测等人工智能算法面向，进行知识发现关键流程，形成知识存储在知识库中。深度学习算法能够发现数据之间的关联性和模式，并根据这些模式和关联性发现隐含的知识。因此，知识发现模块可以为后续的数据应用模块提供更为准确和可靠的知识。
S3：数据应用模块，该模块主要涉及预测、诊断、计划和决策支持等方面，需要利用前两个阶段中得到的知识库来进行实现。这些应用可以通过结合Cesium3D地球技术和路径生成算法进行气象威胁指数可视化以及飞机航迹规划。这些应用能够为气象工作者和相关人员提供可视化的气象信息和规划，使其能够更好地应对气象威胁。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行一种气象数据知识发现方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种气象数据知识发现方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。
Claims (10)
1.一种气象数据知识发现方法，其特征在于，包括以下步骤：
1)基于多源异构气象数据，包括时空观测数据和历史再分析资料，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成智能算法训练数据集；
2)基于人工智能和深度学习技术构建多个算法模型形成算法池，对步骤1)得到的智能算法训练数据集，通过算法池进行强对流天气识别和天气预报，形成知识，存储在预先构建的气象特征知识数据集中，用于支持环境信息应用；
3)将步骤2)得到的气象特征知识数据集进行数据应用，根据知识产品生成的气象时空演变规律。
2.根据权利要求1所述的气象数据知识发现方法，其特征在于，所述步骤1)中，数据清洗的过程为：对采集到的气象数据进行去重、去噪、纠错和过滤。
3.根据权利要求1所述的气象数据知识发现方法，其特征在于，所述步骤1)中，数据质量控制处理缺失数据和异常值的过程为：基于最大-最小归一化和Z-score归一化，将不同量纲的数据转换为统一的量纲；
使用线性插值、多项式插值和样条插值对缺失值进行填充；
对于过于稠密的数据，通过随机采样、分层采样和聚类采样减少数据量；
将原始数据转换为分析和挖掘的形式。
4.根据权利要求1所述的气象数据知识发现体系设计方法，其特征在于：所述步骤1)中气象数据统一时空技术，包括以下步骤：
S31：时空坐标统一；
S32：时间分辨率统一；
S33：空间分辨率统一；
S34：数据格式统一。
5.根据权利要求1所述的气象数据知识发现体系设计方法，其特征在于：
所述步骤2)中生成的气象时空演变规律的算法模型包括模式订正算法模型、时序预测算法模型和智能识别算法模型。
6.一种气象数据知识发现***，其特征在于，包括：
数据预处理模块，基于多源异构气象数据，包括时空观测数据和历史再分析资料，通过统计和机器学习算法进行数据清洗和数据质量控制处理缺失数据和异常值，结合气象数据统一时空技术形成智能算法训练数据集；
知识发现模块，基于人工智能和深度学习技术构建多个算法模型形成算法池，将智能算法训练数据集，通过算法池进行强对流天气识别和天气预报，形成知识，存储在预先构建的气象特征知识数据集中，用于支持环境信息应用；
数据应用模块，将气象特征知识数据集进行数据应用，根据知识产品生成的气象时空演变规律。
7.根据权利要求6所述的气象数据知识发现***，其特征在于，所述数据预处理模块中，数据清洗的过程为：对采集到的气象数据进行去重、去噪、纠错和过滤。
8.根据权利要求6所述的气象数据知识发现***，其特征在于，数据预处理模块中数据质量控制处理缺失数据和异常值的过程为：基于最大-最小归一化和Z-score归一化，将不同量纲的数据转换为统一的量纲；
使用线性插值、多项式插值和样条插值对缺失值进行填充；
对于过于稠密的数据，通过随机采样、分层采样和聚类采样减少数据量；
将原始数据转换为分析和挖掘的形式。
9.根据权利要求6所述的气象数据知识发现体系设计***，其特征在于：所述数据预处理模块中气象数据统一时空技术，包括以下步骤：
S31：时空坐标统一；
S32：时间分辨率统一；
S33：空间分辨率统一；
S34：数据格式统一。
10.根据权利要求6所述的气象数据知识发现体系设计***，其特征在于：
所述知识发现模块中生成的气象时空演变规律的算法模型包括模式订正算法模型、时序预测算法模型和智能识别算法模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623030.7A CN116860824A (zh) | 2023-05-30 | 2023-05-30 | 一种气象数据知识发现方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310623030.7A CN116860824A (zh) | 2023-05-30 | 2023-05-30 | 一种气象数据知识发现方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116860824A true CN116860824A (zh) | 2023-10-10 |
Family
ID=88227532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310623030.7A Pending CN116860824A (zh) | 2023-05-30 | 2023-05-30 | 一种气象数据知识发现方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116860824A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556197A (zh) * | 2024-01-11 | 2024-02-13 | 中国气象科学研究院 | 一种基于人工智能的台风涡旋初始化方法 |
-
2023
- 2023-05-30 CN CN202310623030.7A patent/CN116860824A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117556197A (zh) * | 2024-01-11 | 2024-02-13 | 中国气象科学研究院 | 一种基于人工智能的台风涡旋初始化方法 |
| CN117556197B (zh) * | 2024-01-11 | 2024-03-22 | 中国气象科学研究院 | 一种基于人工智能的台风涡旋初始化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10909446B2 (en) | Systems and methods for selecting global climate simulation models for training neural network climate forecasting models | |
| US10871594B2 (en) | Methods and systems for climate forecasting using artificial neural networks | |
| CN111639787B (zh) | 一种基于图卷积网络的时空数据预测方法 | |
| Nguyen et al. | PM2. 5 prediction using genetic algorithm-based feature selection and encoder-decoder model | |
| CN112598180A (zh) | 一种分布式区域风电功率预测方法 | |
| Li et al. | Deep spatio-temporal wind power forecasting | |
| CN117172509B (zh) | 基于装修施工进度分析的施工项目分配*** | |
| CN115730684A (zh) | 一种基于lstm-cnn模型的空气质量检测*** | |
| CN116860824A (zh) | 一种气象数据知识发现方法及*** | |
| CN115271181A (zh) | 一种基于多模态数据融合的台风概率预报智能方法及装置 | |
| CN114943365A (zh) | 融合多源数据的降水估测模型建立方法及降水估测方法 | |
| CN116451848A (zh) | 一种基于时空注意力机制的卫星遥测数据预测方法及装置 | |
| CN114498619A (zh) | 一种风电功率预测方法及装置 | |
| CN116720156A (zh) | 基于图神经网络多模态气象数据融合的气象要素预报方法 | |
| Jin et al. | Bayesian hierarchical model for change point detection in multivariate sequences | |
| CN117236571B (zh) | 一种基于物联网的规划方法和*** | |
| CN114418243B (zh) | 分布式新能源云端网格预测方法与*** | |
| Li et al. | Deepphysinet: Bridging deep learning and atmospheric physics for accurate and continuous weather modeling | |
| CN111325384B (zh) | 一种结合统计特征和卷积神经网络模型的ndvi预测方法 | |
| Zhang | Deep learning-based hybrid short-term solar forecast using sky images and meteorological data | |
| Nazemi et al. | A Novel Two-Dimensional Convolutional Neural Network-Based an Hour-Ahead Wind Speed Prediction Method | |
| Fredyan et al. | Spatiotemporal convolutional LSTM with attention mechanism for monthly rainfall prediction | |
| Xiao et al. | Prediction of Monthly Rainfall in Plateau Area Based on Convolutional Neural Network | |
| CN114662274B (zh) | 一种基于零膨胀时空回归模型的雪水当量建模和预测方法 | |
| CN118100171A (zh) | 能源转换***的功率预测方法、***和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |