CN117610696A - 一种利用不同属性跨数据集的径流预测方法 - Google Patents
一种利用不同属性跨数据集的径流预测方法 Download PDFInfo
- Publication number
- CN117610696A CN117610696A CN202310219093.6A CN202310219093A CN117610696A CN 117610696 A CN117610696 A CN 117610696A CN 202310219093 A CN202310219093 A CN 202310219093A CN 117610696 A CN117610696 A CN 117610696A
- Authority
- CN
- China
- Prior art keywords
- data
- output
- layer
- input
- runoff
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009466 transformation Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 230000002688 persistence Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000002085 persistent effect Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 2
- 230000006698 induction Effects 0.000 abstract description 2
- 230000005012 migration Effects 0.000 abstract description 2
- 238000013508 migration Methods 0.000 abstract description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及一种利用不同属性跨数据集的径流预测方法，属于径流预测技术领域。首先，消除了各个国家或地区的降雨‑径流数据集的结构差异，建立具有全球性质的规范化数据集；其次，构建了一种能够利用不同属性跨数据集的Transformer，充分利用了Transformer具有的灵活归纳偏置，并且能够使用跨数据集的不同属性，非自回归式解码能够一次性得到多步预测结果。因此，所训练的径流预测模型具备全球性径流预测的先验知识，具备通用性、易于迁移学习，适用于跨数据集、少数据甚至无数据情况下的径流预测。
Description
技术领域
本发明属于径流预测技术领域，具体涉及一种能够利用不同属性跨数据集的径流预测方法。
背景技术
降雨-径流建模是水文科学中非常重要的一项任务，它利用降雨量等气象数据和静态属性来预测径流值，由于流域水文特征、流域边界条件、人类活动、降雨的时空分布等复杂因素的影响，导致了异常复杂的水文过程。径流预测模型有许多方法，主要可以分为包括物理模型和数据驱动模型，物理模型基于实际的物理过程但受限于简化的假设，难以模拟非线性的水文过程。近年来，基于数据驱动的径流预测方法受到了广泛的关注，特别地，基于Transformer的模型展现了多步超前预测的良好性能。Transformer克服了长短期记忆网络(LSTM)等循环神经网络(RNN)模型存在的问题，能够从根本上解决梯度消失问题，真正捕获与生成长时间序列，能胜任很多序列到序列建模任务。此外，Transformer具有更为灵活的归纳偏置，在超大规模数据集上更有潜力。然而，已有的径流预测模型往往只局限于某个国家或地区的径流预测，只涉及某个国家或地区的数据集。此外，各个国家或地区数据集的存在着诸如单位换算、数据缺失、属性无数据源和属性多数据源的问题，并且底层文件格式和目录组织结构也不尽相同，难以直接用于构建全球性的径流预测模型。
发明内容
要解决的技术问题
已有的径流预测模型往往只局限于某个国家或地区的径流预测，且各个国家或地区数据集的底层数据结构和组织形式不尽相同，难以直接用于构建全球性的径流预测模型。为了避免现有技术的不足之处，本发明提供一种利用不同属性跨数据集的径流预测方法。
技术方案
一种利用不同属性跨数据集的径流预测方法，其特征在于步骤如下：
步骤1：收集各个国家或地区的降雨-径流数据集；
收集各个国家或地区研究流域内的气象数据以及水文站点的径流数据，构成各个国家或地区的原始数据集，将原始数据集存入持久化设备；
步骤2：消除各个数据集的结构差异，建立具有全球性质的规范化数据集；
步骤3：加载规范数据集的数据，并进行预处理；
加载规范数据集的动态属性和静态属性，将数据集划分为训练集、验证集、测试集三个互斥的集合；计算训练集上的均值和标准差，并进行标准化；对处理完成后的数据集进行数据序列化；
步骤4：建立利用不同属性跨数据集的径流预测方法的模型；
所述的模型为基于Transformer的序列到序列模型，架构包括：输入线性变换层、属性无数据源处理、位置编码层、编码器、解码器、输出线性变换层和输出选择操作；具体步骤如下：
步骤4-1：输入线性变换层对输入数据的维度进行变换，统一数据维度；
步骤4-2：属性无数据源处理，解决属性无数据源问题；
步骤4-3：位置编码层向输入数据注入位置信息；
步骤4-4：编码器由多个编码器层前后串接而成，每个编码器层包含两个子层：多头自注意力和全连接层，每个子层之后都需要接入残差连接和层归一化；
编码器的输入序列为：
(x1，x2，…，xpast-len+pred-len)
其中past_len表示已知的序列长度，pred_len表示预测的序列长度；
步骤4-5：解码器由多个解码器层前后串接而成，每个解码器层包含三个子层：多头自注意力、多头交叉注意力和全连接层，每个子层之后都接入残差连接和层归一化；
解码器的输入序列为：
(y1，y2，...，ypast_len，01，02，...，0pred_len)
其中past_len表示已知的序列长度，pred_len表示预测的序列长度，01，02，...表示使用0进行填充，一共有pred_len个位置需要填充0；
步骤4-6：多头自注意力和多头交叉注意力；
计算：
Q＝WQI1
K＝WKI2
V＝WVI3
其中，WQ、WK、WV是可学习参数矩阵，softmax表示进行Softmax操作，当输入I2和I3相同并且与输入I1不同时，Attn(Q，K，V)称为交叉注意力；当三个输入I1，I2，I3都相同时，Attn(Q，K，V)称为自注意力；Q表示I1经过参数为WQ的线性变换得到的结果，K表示I2经过参数为WK的线性变换后得到的结果，V表示I3经过参数为WV的线性变换后得到的结果；
多头注意力计算公式如下：
headi＝Attn(QWi Q，KWi K，VWi V)
MultiHeadAttn(Q，K，V)＝Concat(head1，...，headh)WO
其中，Wi Q，Wi K，Wi V，WO是可学习参数矩阵，h表示头数，i的取值范围从1到h；head1，...，headh表示头；
当输入I2和I3相同并且与I1不同时，MultiHeadAttn(Q，K，V)称为多头交叉注意力；当三个输入I1，I2，I3都相同时，MultiHeadAttn(Q，K，V)称为多头自注意力；
步骤4-7：残差连接计算公式如下：
o＝x+Sublayer(x)
其中，x表示子层的输入，Sublayer(x)表示子层的输出，o表示最终输出；
步骤4-8：层归一化，对最后的输出维度进行标准化；
步骤4-9：输出变换层对解码器的输出维度进行变换，使输出符合最终的输出维度；
将解码器的输出序列(o1，o2，....，opast_len+pred_len)放入全连接层，得到输出变换层的输出序列
步骤4-10：输出选择操作是对输出变换层的输出序列进行选择的过程，将该序列进行切割，/>被舍弃掉，只保留的部分作为最终的输出；
步骤5：描述模型的输入输出过程，定义损失函数和优化器，并训练模型；
步骤6：对训练完成的模型进行测试；
使用测试集对训练完成后的模型进行测试，得到预测结果，并根据真实数据对预测结果进行评估。
本发明进一步的技术方案：步骤2具体如下：
将持久化设备中的原始数据集读入内存，针对单位换算问题，统一单位并进行换算；
针对数据缺失问题，使用插值算法填充；
针对属性多数据源问题，确定一个数据源；
按照预定义的规则存入持久化设备，生成持久化的规范数据集；
所有持久化的规范数据集共同构成具有全球性质的规范化数据集。
本发明进一步的技术方案：步骤3所述对原始数据集预处理的标准化公式为： 其中x表示原始数据，/>表示样本均值，S表示样本标准差，z表示标准化之后的数据。
本发明进一步的技术方案：所述对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：
其中，zi表示序列化之后的第i个序列，xi表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。
本发明进一步的技术方案：步骤4-2所述的属性无数据源处理方式包括零填充或者可学习的缺失值填充。
本发明进一步的技术方案：步骤5具体如下：
输入输出过程可以描述为：首先，气象数据经过输入变换层得到变换后的数据，并加入经过位置编码，再送入编码器处理得到编码器输出；其次，历史径流数据经过输入变换层得到变换后的数据，并加入经过位置编码，再与编码器输出一起送入解码器处理得到解码器输出；然后，进行非自回归式解码，输出变换层对解码器输出进行维度变换，使其符合最终输出的维度，一次性生成所有预测结果；最后，输出选择操作是对输出变换层的输出序列进行选择，只保留有用的部分
训练时的损失函数采取平滑NSE损失函数，其计算公式如下：
其中，N是小批量样本数量，Dn是第n个样本的预测天数，是第d天的预测值，yd是第d天的径流真实值，Sb是该样本对应站点所有数据径流真实值的标准差，∈表示一个极小的数，其目的是为了避免除以0；
模型进行多次迭代训练，在每次迭代完成后，使用测试集数据评估模型的性能，并且使用纳什效率系数NSE作为指标，NSE计算公式如下：
其中，是第n个样本径流真实值的均值。
一种计算机***，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的方法。
一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现上述的方法。
有益效果
本发明提供的一种利用不同属性跨数据集的径流预测方法。首先，消除了各个国家或地区的降雨-径流数据集的结构差异，建立具有全球性质的规范化数据集；其次，构建了一种能够利用不同属性跨数据集的Transformer，充分利用了Transformer具有的灵活归纳偏置，并且能够使用跨数据集的不同属性，非自回归式解码能够一次性得到多步预测结果。因此，所训练的径流预测模型具备全球性径流预测的先验知识，具备通用性、易于迁移学习，适用于跨数据集、少数据甚至无数据情况下的径流预测。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1是本发明方法的流程图。
图2是本发明方法多头注意力的计算示意图。
图3是本发明方法Transformer模型的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种能够利用不同属性跨数据集的径流预测方法，首先，收集各个国家或地区的降雨-径流数据集；其次，消除各个数据集的结构差异，建立具有全球性质的规范化数据集；再次，加载规范数据集的数据，并进行预处理；从次，一种能够利用不同属性跨数据集的径流预测方法的模型定义；然后，描述模型的输入输出过程，定义损失函数和优化器，并训练模型；最后，对训练完成的模型进行测试。包括如下步骤：
步骤1：收集各个国家或地区的降雨-径流数据集；
收集各个国家或地区研究流域内的气象数据以及水文站点的径流数据，构成各个国家或地区的原始数据集，这些原始数据集将会存入持久化设备(例如磁盘、U盘、移动硬盘和云端等)；
步骤2：消除各个数据集的结构差异，建立具有全球性质的规范化数据集；
首先，将持久化设备中的原始数据集读入内存，针对单位换算问题，统一单位并进行换算；其次，针对数据缺失问题，可以使用最近邻插值法、线性插值和牛顿插值等插值算法填充；再次，针对属性多数据源问题，尽量根据原数据集描述挑选出最合适的一个数据源，否则就随机挑选一个；然后，按照预定义的规则存入持久化设备，生成持久化的规范数据集；最后，所有持久化的规范数据集共同构成具有全球性质的规范化数据集。
步骤3：加载规范数据集的数据，并进行预处理；
首先，加载规范数据集的动态属性和静态属性，将数据集划分为训练集、验证集、测试集三个互斥的集合；然后，计算训练集上的均值和标准差，并进行标准化；最后，对处理完成后的数据集进行数据序列化；
步骤4：一种能够利用不同属性跨数据集的径流预测方法的模型定义；
一种能够利用不同属性跨数据集的径流预测方法所使用的模型是基于Transformer的序列到序列模型，架构包括：输入线性变换层、属性无数据源处理、位置编码层、编码器、解码器、输出线性变换层和输出选择操作。具体步骤如下：
步骤4-1：输入线性变换层对输入数据的维度进行变换，统一数据维度；
步骤4-2：属性无数据源处理，解决属性无数据源问题；
属性无数据源处理方式包括零填充或者可学习的缺失值填充等方式。
步骤4-3：位置编码层向输入数据注入位置信息；
步骤4-4：编码器由多个编码器层前后串接而成，每个编码器层包含两个子层：多头自注意力和全连接层，每个子层之后都需要接入残差连接和层归一化；
编码器的输入序列为：
(x1，x2，…，xpast_len+pred_len)
其中past_len表示已知的序列长度，pred_len表示预测的序列长度；
步骤4-5：解码器由多个解码器层前后串接而成，每个解码器层包含三个子层：多头自注意力、多头交叉注意力和全连接层，每个子层之后都接入残差连接和层归一化；
解码器的输入序列为：
(y1，y2，...，ypast_len，01，02，...，0pred_len)
其中past_len表示已知的序列长度，pred-len表示预测的序列长度，01，02，...表示使用0进行填充，一共有pred_len个位置需要填充0；
步骤4-6：多头自注意力和多头交叉注意力，其特征在于它们都是多头注意力的特殊情况，多头注意力又是注意力的特殊情况。注意力机制是一种加权和机制将不同的权重赋给不同的位置，它将赋予更重要的位置更大的权重；
计算：
Q＝WQI1
K＝WKI2
V＝WVI3
其中，WQ、WK、WV是可学习参数矩阵，softmax表示进行Softmax操作，当输入I2和I3相同并且与输入I1不同时，Attn(Q，K，V)称为交叉注意力；当三个输入I1，I2，I3都相同时，Attn(Q，K，V)称为自注意力；
多头注意力的计算，当多次并行地对输入应用注意力，并将结果进行拼接与变换时，就得到多头注意力计算公式如下：
headi＝Attn(QWi Q，KWi K，VWi V)
MultiHeadAttn(Q，K，V)＝Concat(head1，...，headh)WO
其中，Wi Q，Wi K，Wi V，WO是可学习参数矩阵，h表示头数，i的取值范围从1到h；head1，...，headh表示头；
当输入I2和I3相同并且与I1不同时，MultiHeadAttn(Q，K，V)称为多头交叉注意力；当三个输入I1，I2，I3都相同时，MultiHeadAttn(Q，K，V)称为多头自注意力；
步骤4-7：残差连接，其特征在于用于防止梯度消失与网络退化，计算公式如下：
o＝x+Sublayer(x)
其中，x表示子层的输入，Sublayer(x)表示子层的输出，o表示最终输出；
步骤4-8：层归一化，对最后的输出维度进行标准化，有利于训练的收敛；
步骤4-9：输出变换层对解码器的输出维度进行变换，使输出符合最终的输出维度；
将解码器的输出序列(o1，o2，...，opast_len+pred_len)放入全连接层，得到输出变换层的输出序列
步骤4-10：输出选择操作是对输出变换层的输出序列进行选择的过程，将该序列进行切割，/>被舍弃掉，只保留的部分作为最终的输出；
步骤5：描述模型的输入输出过程，定义损失函数和优化器，并训练模型；
输入输出过程可以描述为：首先，气象数据经过输入变换层得到变换后的数据，并加入经过位置编码，再送入编码器处理得到编码器输出；其次，历史径流数据经过输入变换层得到变换后的数据，并加入经过位置编码，再与编码器输出一起送入解码器处理得到解码器输出；然后，进行非自回归式解码，输出变换层对解码器输出进行维度变换，使其符合最终输出的维度，一次性生成所有预测结果；最后，输出选择操作是对输出变换层的输出序列进行选择，只保留有用的部分。
训练时的损失函数采取平滑NSE损失函数，其计算公式如下：
其中，N是小批量样本数量，Dn是第n个样本的预测天数，是第d天的预测值，yd是第d天的径流真实值，Sb是该样本对应站点所有数据径流真实值的标准差；
模型进行多次迭代训练，在每次迭代完成后，使用测试集数据评估模型的性能，并且使用纳什效率系数NSE作为指标，NSE计算公式如下：
其中，是第n个样本径流真实值的均值；
步骤6：对训练完成的模型进行测试；
使用测试集对训练完成后的模型进行测试，得到预测结果，并根据真实数据对预测结果进行评估。
优选地，所述对原始数据集预处理的标准化公式为：其中x表示原始数据，/>表示样本均值，S表示样本标准差，z表示标准化之后的数据。
优选地，所述对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：
其中，zi表示序列化之后的第i个序列，xi表示原始数据集的第f个特征，n表示原始数据集大小，l表示滑动窗口的大小。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种利用不同属性跨数据集的径流预测方法，其特征在于步骤如下：
步骤1：收集各个国家或地区的降雨-径流数据集；
收集各个国家或地区研究流域内的气象数据以及水文站点的径流数据，构成各个国家或地区的原始数据集，将原始数据集存入持久化设备；
步骤2：消除各个数据集的结构差异，建立具有全球性质的规范化数据集；
步骤3：加载规范数据集的数据，并进行预处理；
加载规范数据集的动态属性和静态属性，将数据集划分为训练集、验证集、测试集三个互斥的集合；计算训练集上的均值和标准差，并进行标准化；对处理完成后的数据集进行数据序列化；
步骤4：建立利用不同属性跨数据集的径流预测方法的模型；
所述的模型为基于Transformer的序列到序列模型，架构包括：输入线性变换层、属性无数据源处理、位置编码层、编码器、解码器、输出线性变换层和输出选择操作；具体步骤如下：
步骤4-1：输入线性变换层对输入数据的维度进行变换，统一数据维度；
步骤4-2：属性无数据源处理，解决属性无数据源问题；
步骤4-3：位置编码层向输入数据注入位置信息；
步骤4-4：编码器由多个编码器层前后串接而成，每个编码器层包含两个子层：多头自注意力和全连接层，每个子层之后都需要接入残差连接和层归一化；
编码器的输入序列为：
(x1,x2,…,xpast_len+pred_len)
其中past_len表示已知的序列长度，pred_len表示预测的序列长度；
步骤4-5：解码器由多个解码器层前后串接而成，每个解码器层包含三个子层：多头自注意力、多头交叉注意力和全连接层，每个子层之后都接入残差连接和层归一化；
解码器的输入序列为：
(y1，y2，...，ypast-len，01，02，...，0pred_len)
其中past_len表示已知的序列长度，pred_len表示预测的序列长度，01，02，...表示使用0进行填充，一共有pred_len个位置需要填充0；
步骤4-6：多头自注意力和多头交叉注意力；
计算：
Q＝WQI1
K＝WKI2
V＝WVI3
其中，WQ、WK、WV是可学习参数矩阵，softmax表示进行Softmax操作，当输入I2和I3相同并且与输入I1不同时，Attn(Q，K，V)称为交叉注意力；当三个输入I1，I2，I3都相同时，Attn(Q，K，V)称为自注意力；Q表示I1经过参数为WQ的线性变换得到的结果，K表示I2经过参数为WK的线性变换后得到的结果，V表示I3经过参数为WV的线性变换后得到的结果；
多头注意力计算公式如下：
headi＝Attn(QWi Q，KWi K，VWi V)
MultiHeadAttn(Q，K，V)＝Concat(head1，...，headh)WO
其中，Wi Q，Wi K，Wi V，WO是可学习参数矩阵，h表示头数，i的取值范围从1到h；head1，...，headh表示头；
当输入I2和I3相同并且与I1不同时，MultiHeadAttn(Q，K，V)称为多头交叉注意力；当三个输入I1，I2，I3都相同时，MultiHeadAttn(Q，K，V)称为多头自注意力；
步骤4-7：残差连接计算公式如下：
o＝x+Sublayer(x)
其中，x表示子层的输入，Sublayer(x)表示子层的输出，o表示最终输出；
步骤4-8：层归一化，对最后的输出维度进行标准化；
步骤4-9：输出变换层对解码器的输出维度进行变换，使输出符合最终的输出维度；
将解码器的输出序列(o1，o2，....，opast_len+pred_len)放入全连接层，得到输出变换层的输出序列
步骤4-10：输出选择操作是对输出变换层的输出序列进行选择的过程，将该序列进行切割，/>被舍弃掉，只保留的部分作为最终的输出；
步骤5：描述模型的输入输出过程，定义损失函数和优化器，并训练模型；
步骤6：对训练完成的模型进行测试；
使用测试集对训练完成后的模型进行测试，得到预测结果，并根据真实数据对预测结果进行评估。
2.根据权利要求1所述利用不同属性跨数据集的径流预测方法，其特征在于：步骤2具体如下：
将持久化设备中的原始数据集读入内存，针对单位换算问题，统一单位并进行换算；
针对数据缺失问题，使用插值算法填充；
针对属性多数据源问题，确定一个数据源；
按照预定义的规则存入持久化设备，生成持久化的规范数据集；
所有持久化的规范数据集共同构成具有全球性质的规范化数据集。
3.根据权利要求1所述利用不同属性跨数据集的径流预测方法，其特征在于：步骤3所述对原始数据集预处理的标准化公式为：其中x表示原始数据，/>表示样本均值，S表示样本标准差，z表示标准化之后的数据。
4.根据权利要求3所述利用不同属性跨数据集的径流预测方法，其特征在于：所述对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：
其中，zi表示序列化之后的第i个序列，xi表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。
5.根据权利要求1所述利用不同属性跨数据集的径流预测方法，其特征在于：步骤4-2所述的属性无数据源处理方式包括零填充或者可学习的缺失值填充。
6.根据权利要求1所述利用不同属性跨数据集的径流预测方法，其特征在于：步骤5具体如下：
输入输出过程可以描述为：首先，气象数据经过输入变换层得到变换后的数据，并加入经过位置编码，再送入编码器处理得到编码器输出；其次，历史径流数据经过输入变换层得到变换后的数据，并加入经过位置编码，再与编码器输出一起送入解码器处理得到解码器输出；然后，进行非自回归式解码，输出变换层对解码器输出进行维度变换，使其符合最终输出的维度，一次性生成所有预测结果；最后，输出选择操作是对输出变换层的输出序列进行选择，只保留有用的部分；
训练时的损失函数采取平滑NSE损失函数，其计算公式如下：
其中，N是小批量样本数量，Dn是第n个样本的预测天数，是第d天的预测值，yd是第d天的径流真实值，Sb是该样本对应站点所有数据径流真实值的标准差，∈表示一个极小的数，其目的是为了避免除以0；
模型进行多次迭代训练，在每次迭代完成后，使用测试集数据评估模型的性能，并且使用纳什效率系数NSE作为指标，NSE计算公式如下：
其中，是第n个样本径流真实值的均值。
7.一种计算机***，其特征在于包括：一个或多个处理器，计算机可读存储介质，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1所述的方法。
8.一种计算机可读存储介质，其特征在于存储有计算机可执行指令，所述指令在被执行时用于实现权利要求1所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219093.6A CN117610696A (zh) | 2023-03-08 | 2023-03-08 | 一种利用不同属性跨数据集的径流预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310219093.6A CN117610696A (zh) | 2023-03-08 | 2023-03-08 | 一种利用不同属性跨数据集的径流预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117610696A true CN117610696A (zh) | 2024-02-27 |
Family
ID=89944776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310219093.6A Pending CN117610696A (zh) | 2023-03-08 | 2023-03-08 | 一种利用不同属性跨数据集的径流预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117610696A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118114057A (zh) * | 2024-04-30 | 2024-05-31 | 西北工业大学 | 模型训练方法、径流预测方法、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114819386A (zh) * | 2022-05-19 | 2022-07-29 | 河海大学 | 一种基于Conv-Transformer的洪水预报方法 |
| CN115146700A (zh) * | 2022-05-21 | 2022-10-04 | 西北工业大学 | 一种基于Transformer序列到序列模型的径流预测方法 |
-
2023
- 2023-03-08 CN CN202310219093.6A patent/CN117610696A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114819386A (zh) * | 2022-05-19 | 2022-07-29 | 河海大学 | 一种基于Conv-Transformer的洪水预报方法 |
| CN115146700A (zh) * | 2022-05-21 | 2022-10-04 | 西北工业大学 | 一种基于Transformer序列到序列模型的径流预测方法 |
Non-Patent Citations (2)
| Title |
|---|
| HANLIN YIN 等: "RR-Former: Rainfall-runoff modeling based on Transformer", 《JOURNAL OF HYDROLOGY》, 1 April 2022 (2022-04-01), pages 1 - 18 * |
| 闫东升: "NB/T47041和美国UBC/IBC标准中基本风参数的转换", 《石油化工设计》, 25 May 2018 (2018-05-25), pages 45 - 48 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118114057A (zh) * | 2024-04-30 | 2024-05-31 | 西北工业大学 | 模型训练方法、径流预测方法、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN115146700B (zh) | 一种基于Transformer序列到序列模型的径流预测方法 | |
| CN114611792B (zh) | 一种基于混合CNN-Transformer模型的大气臭氧浓度预测方法 | |
| CN110083125B (zh) | 一种基于深度学习的机床热误差建模方法 | |
| CN111581454A (zh) | 基于深度图压缩算法的并行查询表现预测***及方法 | |
| CN114510870B (zh) | 一种城市轨道交通地下结构的剩余寿命预测方法及装置 | |
| CN117610696A (zh) | 一种利用不同属性跨数据集的径流预测方法 | |
| CN111737416A (zh) | 案件处理模型的训练方法、案件文本处理方法及相关装置 | |
| CN116107279A (zh) | 基于注意力深度神经网络的流程工业能耗多目标优化方法 | |
| CN115840893A (zh) | 一种多变量时间序列预测方法及装置 | |
| CN115511212A (zh) | 一种基于深度学习的航班保障流程剩余执行时间预测方法 | |
| CN117576910A (zh) | 一种基于循环时空注意力机制的交通流量预测方法 | |
| CN115952724A (zh) | 航空发动机剩余寿命预测方法、***、设备及介质 | |
| CN114792126A (zh) | 一种基于遗传算法的卷积神经网络设计方法 | |
| CN109190800A (zh) | 一种基于spark框架的海面温度预测方法 | |
| CN117313201A (zh) | 考虑堆石坝多测点复杂关联性时空融合的变形预测方法及*** | |
| CN116502774A (zh) | 一种基于时间序列分解和勒让德投影的时间序列预测方法 | |
| CN116737681A (zh) | 一种实时异常日志检测方法、装置、计算机设备和存储介质 | |
| CN116341720A (zh) | 基于动态图卷积和transformer的多风机风速风向预测方法 | |
| CN116561569A (zh) | 一种基于EO特征选择结合AdaBoost算法的工业电力负荷辨识方法 | |
| CN116258234A (zh) | 一种基于bp神经网络模型的能源企业碳排测算与预测方法 | |
| CN113869990A (zh) | 基于时空表示学习模型的商铺租赁定价方法 | |
| CN118114057B (zh) | 模型训练方法、径流预测方法、电子设备和存储介质 | |
| CN111444614A (zh) | 一种基于图卷积的流场重构方法 | |
| CN116307173A (zh) | 一种消除天气影响的企业用电量的预测方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |