CN114021836B - 基于不同角度融合的多变量水库入水量预测***、训练方法及应用 - Google Patents
基于不同角度融合的多变量水库入水量预测***、训练方法及应用 Download PDFInfo
- Publication number
- CN114021836B CN114021836B CN202111352050.2A CN202111352050A CN114021836B CN 114021836 B CN114021836 B CN 114021836B CN 202111352050 A CN202111352050 A CN 202111352050A CN 114021836 B CN114021836 B CN 114021836B
- Authority
- CN
- China
- Prior art keywords
- reservoir
- attention
- variable
- water inflow
- hidden
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 132
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000009826 distribution Methods 0.000 claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000003491 array Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 19
- 230000000306 recurrent effect Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 10
- 238000012795 verification Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000007427 paired t-test Methods 0.000 description 5
- 238000001556 precipitation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000010248 power generation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 241000728173 Sarima Species 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- SUBDBMMJDZJVOS-UHFFFAOYSA-N 5-methoxy-2-{[(4-methoxy-3,5-dimethylpyridin-2-yl)methyl]sulfinyl}-1H-benzimidazole Chemical compound N=1C2=CC(OC)=CC=C2NC=1S(=O)CC1=NC=C(C)C(OC)=C1C SUBDBMMJDZJVOS-UHFFFAOYSA-N 0.000 description 1
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- INJRKJPEYSAMPD-UHFFFAOYSA-N aluminum;silicic acid;hydrate Chemical compound O.[Al].[Al].O[Si](O)(O)O INJRKJPEYSAMPD-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012109 statistical procedure Methods 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于不同角度融合的多变量水库入水量预测***、训练方法及应用，基于水库各变量历史观测值，首先通过随机循环神经网络和生成模型获得符合多模态分布的隐变量，然后通过注意力模型获得注意力矩阵，再将符合多模态分布的隐变量和注意力矩阵输入多层感知机，便可实现未来水库入水量的预测；相较于传统的人工经验判断和统计学方法，本发明对特定的场景具有建模能力；相较于传统的循环神经网络，本发明可以更好地捕捉多个观测值之间的关联和时间上较长的依赖，因而具有更高的准确率，不仅节省了大量的人力和物理成本，而且其预测结果也更有价值。
Description
技术领域
本发明属于水利水电工程技术领域，涉及水库入水量预测技术，尤其涉及基于深度学习的水库入水量预测技术。基于机器学习(Machine learning)中的神经网络(NeuralNetworks,NN),主要利用深度学习(DeepLearning)和生成模型(Generative Model)的方法构建一个学习模型，该模型结合了循环神经网络(Recurrent Neural Network，RNN)、标准化流(NormalizingFlow，NF)和自注意力(Self-Attention)三项技术，能从不同角度推断隐空间(LatentSpace)多变量的条件概率分布。在水库入水量预测的任务中，该方法能学习到用于预测任务的表示(Representation)，该表示结合了各模型的优点，增强了预测结果的健壮性和准确度。最终，我们基于正态分布进行了概率预测，实现了根据多个变量预测未来不同时间段水库入水量的目标。
背景技术
水电站利用水库中储存水的势能发电，是十分重要的可再生能源。水电发展的过程中，水库的入水量预测一直是备受关注的课题。在过去，专家根据气候变化和历史监测制定政策指导水电站运行。例如，在夏季，储存多余的水以供将来水力发电，并且需要保持较低的水位，以抵御可能出现的洪峰。然而，排水过多可能会造成一定的电力收入损失。由于各种因素(如降水、下游调水和农业灌溉)都会对决策产生影响，仅依靠领域专家的经验很难达到水库规划的最佳水平。
近年来，工业物联网和大数据分析技术迅速发展，使水电行业可以利用新兴技术进行决策和规划。水电站的运行设备上安装有精确的传感器，用于感知和收集与电力、气象和水流有关的海量数据。这些数据可以为水流预测提供丰富的信息，而准确的预测结果可用于指导大坝决策制定，改善大坝运行，并且可以减少发电损失，降低漫坝风险等。
随着机器学习技术的高速发展，深度学习在很多应用领域都取得了极好的效果。在处理时间序列预测这一领域中：基于循环神经网络算法得到的表示能够捕捉到时间序列之间的关联，因而能产生良好的效果。然而，传统循环神经网络对于多变量之间关联的感知能力较差，确定性的隐状态表示隐含的信息也较单一。面对具有多变量(包括降水量、水库出水量和发电量等)的水库时，难以基于其历史观测值对未来水库入水量进行有效的预测。
发明内容
针对目前难以对多变量水库的入水量进行有效预测的技术现状，本发明的目的是提供一种基于不同角度融合的多变量水库入水量预测***，将训练神经网络、基于正则化流的生成模型和自注意力相结合，根据水库入水量及其相关特征(包括降水量、水库出水量和发电量等)的历史观测值，准确地预测未来一段时间内水库的入水量及其在确定置信度下的变化范围。
本发明的另一目的在于提供上述基于不同角度融合的多变量水库入水量预测***的训练方法。
本发明的第三个目的在于提供上述基于不同角度融合的多变量水库入水量预测***的应用。
本发明的思路是构造一个结合循环神经网络，基于正则化流的生成模型，和自注意力机制的预测模型；生成模型的变分推断能力可以构造复杂灵活的分布来描述数据隐空间的情况，得到更准确的概率表示；佐以自注意力机制可以检测时间序列中的关键点和异常点，对预测起着积极的作用；使预测模型能够捕捉到时间序列间的依赖以及多变量之间的关联，并能够使用捕捉到的信息进行可靠的概率预测；同时，利用深层神经网络的优势，使模型尽可能减少由于迭代预测带来的长时间预测的误差，在各个时间段的预测中，都能保持良好的准确度。最终，通过该预测模型能够根据丰富的表示信息去进行水库入水量的预测，解决了多变量的水库入水量的概率预测问题。本发明相比传统方法，都有无可比拟的优势。
基于以上发明思路，本发明提供的基于不同角度融合的多变量水库入水量预测***，其包括：
随机循环神经网络，用于将水库当前时刻各变量观测值映射到隐空间，获取其隐变量；
基于正则化流的生成模型，利用其标准化流对获取的隐变量进行残差处理，得到符合多模态分布的隐变量；
注意力模型，用于获取水库当前时刻各变量观测值的注意力矩阵；
多层感知机，用于以生成模型得到的隐变量和注意力模型得到的注意力矩阵为输入，预测得到下一时刻的水库入水量性能指标。
上述随机循环神经网络，包括RNN(Recurrent Neural Network，循环神经网络)和VAE(Variational Autoencoder,变分自编码器)；RNN用于获取水库当前时刻各变量(即不同种类的观测值，这里以N表示观测值类型数量)的隐状态；VAE用于获取水库当前时刻各变量的隐变量。传统的RNN模型接受上一时刻的隐状态ht-1和当前时刻的观测值xt，得到当前时刻的隐状态ht。本发明在此基础上进行如下改进，将初始时刻t0的隐状态
输入到VAE，得到一个关于
的多变量的独立的正态分布，并通过重参数化，得到t0时刻的隐变量
在后续的任意时刻t中，将隐状态ht和上一时刻的隐变量zt-1输入至VAE中，得到关于当前时刻的隐状态的正态分布和隐变量zt，这一过程表示如下：
ht＝Wxhxt+Whhht-1
其中，上述所有的W和b均表示参数，需要通过训练更新，
分别表示当前时刻隐状态服从的正态分布的均值和方差；∈是从标准正态分布随机采样得到的向量。这样就得到了包含时间序列关联的条件概率p(zt|ht,zt-1)及表示zt。
为了能更好反应多变量间联系且与真实空间更接近的分布，本发明采用生成模型标准化流(NF)中的残差流(ResidualFlow)技术，将zt送入一系列的转换层中进行变换。在这里，选用性能和效率优异的可逆残差网络作为转换层。这里，我们采用K个转换层，每个转换层是一个独立的残差网络。该过程可表示为：
f(zt)＝zt+g(zt)
其中，g(·)代表残差网络的残差块，在这里，我们使用全连接层作为基本模块。fk(·)代表位于第k个转换层的残差网络，如上文公式所示。经过这个过程，隐变量
表示的隐空间分布相比于多变量独立的高斯分布zt，变为了更复杂的、更灵活的多模态分布。
本发明使用的注意力模型为多头注意力模型，其包括多个注意力头结点，以H表示注意力头结点数量。针对当前时刻t，将观测值序列X1:t输入至多头注意力模型(Multi-headAttention)中，使网络关注到对时间序列演变过程中最重要的信息。这里，将观测值序列的N种不同种类的观测值拆分成H组，每组包含N/H个观测值的序列
(h＝1,2,…,H)输入到不同的自注意力头结点中。接下来，将每一组序列与自身的转置进行点积运算，得到权重系数矩阵，并利用权重系数矩阵进行加权求和，该过程可表示为：
其中，
代表第h个注意力头结点得到的表示信息，
表示输入至第h个注意力头结点的子序列，softmax为激活函数，
代表矩阵X的转置。将各个头结点得到的注意力矩阵进行拼接得到关于t时刻观测值序列X1:t的注意力矩阵：
随后，将t时刻观测值序列X1:t的注意力矩阵at进行仿射变换，使其与隐变量的表示zt具有相同维度：
其中，Wa和ba为参数，需要通过训练更新。
至此，得到了关于t时刻的隐空间表示—隐变量
和注意力表示—注意力矩阵
本发明将进一步利用这两个表示通过多层感知机预测下一时刻t+1的入水量。将这两个表示输入多层感知机中，得到关于入水量(Inflow)的正态分布的均值和方差，并使用此正态分布进行预测，此过程表示为：
其中，
表示t+1时刻的水库入水量真实值，W和b表示参数，需要通过训练更新。
表示t+1时刻的水库入水量服从的正态概率分布。本发明中，水库入水量性能指标包括水库入水量预测值和在指定置信度下水库入水量预测值的变化范围；以
表示水库入水量预测值；以
表示95％的置信度下水库入水量预测值的变化范围。
上述基于不同角度融合的多变量水库入水量预测***网络构建完毕，我们将***网络参数可以从均值为0，方差为0.1的正态分布中随机采样足够的数，作为网络的初始参数。
本发明进一步提供了上述基于不同角度融合的多变量水库入水量预测***的训练方法的目的是得到水库入水量预测任务上性能优异的***。因此，上述训练的目标是最大化t+1时刻真实的入水量在模型输出的正态分布上的概率，为提高优化效率，本发明把最大化概率的对数作为优化目标。并使用小批次随机梯度下降法，进行梯度下降更新参数，得到有良好预测效果的参数。
上述基于不同角度融合的多变量水库入水量预测***的训练方法包括以下步骤：
S1，训练用数据集构建，将包括多个变量的历史观测值时序数据集D划分为多个长度为T的子序列X1:T，多个子序列构成训练用数据集；
S2，***训练，使用训练用数据集对前面给出的多变量水库入水量预测***进行训练；本步骤采用小批次训练的方法，按照以下分步骤进行训练：
S21，将小批次训练用子序列输入至随机循环神经网络，得到水库各变量映射到隐空间的隐变量；
S22，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量；
S23，将小批次训练用子序列输入至注意力模型，得到水库各变量的注意力矩阵；
S24，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到由均值和方差表征的正态分布，进而得到水库入水量在正态分布上的概率分布；
S25，按照以下公式计算损失值：
其中，Θ表示***所有需学习更新的参数，B表示小批次训练用子序列数据集，|b|表示小批次训练子序列数量大小；
表示t+1时刻水库入水量真实值在得到的t+1时刻得到的水库入水量正态概率分布
中的概率；
S3，采用梯度下降算法对***需学习更新的参数进行更新；
S4，重复步骤S2-S3，至***收敛。
上述步骤S1中，训练用数据集可以进一步划分成训练集Dtrain和验证集Dval，以供进一步的训练和测试任务；先利用训练集对***进行训练，更新网络参数，接着用验证集对***进行验证，从而得到训练好的***F。
上述步骤S2中，为了提高梯度下降的速率，将训练集Dtrain划分为若干个小批次B并打乱顺序，每个小批次的大小为|B|。每次将一个小批次输入***，并按照上述步骤S21-S25执行操作，计算损失值。
上述步骤S3中，按照以下公式对参数进行更新：
其中，α是人工设定的学习率。
步骤S4中，当Dtrain所有的小批次被送入网络中完成梯度下降参数更新时，完成一次迭代，然后使用验证集进行验证选优。重复若干次这样的迭代，直至模型在训练集Dtrain和验证集Dval的表现收敛至良好且稳定的水平。至此，得到了具有良好预测效果的***F。
本发明进一步提供了上述基于不同角度融合的多变量水库入水量预测***在水库入水量预测中的应用，将过去T个时刻水库各变量观测值输入至训练好的基于不同角度融合的多变量水库入水量预测***，按照以下步骤获取下一时刻的水库入水量性能指标：
L1，将过去T个时刻水库各变量观测值序列输入至随机循环神经网络，得到每个时刻水库各变量映射到隐空间的隐变量；
L2，将得到的隐变量输入至生成模型，得到符合多模态分布的隐变量；
L3，将过去T个时刻水库各变量观测值序列输入至注意力模型，得到每个时刻水库各变量的注意力矩阵；
L4，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到水库入水量性能指标，包括水库入水量预测值和在指定置信度下水库入水量预测值的变化范围。
本发明中，以
表示水库入水量预测值；以
表示95％的置信度下水库入水量预测值的变化范围。
基于本发明提供的预测***，在生产环境中，可以将过去T时刻的观测值输入预测***，预测***将会输出下一时刻t+1的水库入水量预测值。将预测***输出的水库入水量预测值添加到输入序列中，再次输入预测***，如此循环τ次，我们将会得到未来t+τ时刻水库入水量的预测值及在确定置信度下的变化范围，实现了本发明的目标。
至此，本发明实现了一种基于不同角度融合的多变量水库入水量预测***、训练方法及应用，并完成了根据多个变量对未来不同时间段水库入水量预测的任务。需要申明的一点是，本发明提供的预测***不仅仅针对于此问题，还可以普遍用于真实世界中的时间序列场景，数据类型为多变量的时序预测问题。特别地，在预测水库入水量这一预测任务上，本发明提供的预测***能够取得优异的性能和效果。
与现有技术相比，本发明具有以下有益效果：
1、本发明从不同的角度融合，基于水库各变量历史观测值，首先通过随机循环神经网络和生成模型获得符合多模态分布的隐变量，然后通过注意力模型获得注意力矩阵，再将符合多模态分布的隐变量和注意力矩阵输入多层感知机，便可实现未来水库入水量的预测；相较于传统的人工经验判断和统计学方法，本发明对特定的场景具有建模能力；相较于传统的循环神经网络，本发明可以更好地捕捉多个观测值之间的关联和时间上较长的依赖，因而具有更高的准确率，不仅节省了大量的人力和物理成本，而且其预测结果也更有价值。
2、本发明在传统RNN和VAE基础上，进入标准化流的残差流技术，对隐变量进行多次残差处理，从符合高斯分布转换成符合更复杂的、更灵活的多模态分布，能够与真实空间更加接近。
3、本发明进一步引入多头注意力模型，能够使***关注到对时间序列演变过程中一系列重要的信息，如不同时间水库***各状态之间的依赖和不同变量之间的相互影响。
4、本发明致力于为水电行业提供决策辅助信息，提出了一个对水电站运营起重要作用的命题——水库入水量预测问题；本发明利用现代工业传感器中收集的历史观测数据，包括入水量、降水量和发电量等，预测出在未来任意时刻水库的入水量，能够对水库的运行(如水利调动、开闸放水等)提供重要指导。
附图说明
图1为本发明基于不同角度融合的多变量水库入水量预测***的原理简要示图，包括了随机循环神经网络、标准化流、多头注意力机制三个主要构件和预测部分；并在时序预测问题上，提供了由历史观测值输出预测值的图示。
术语解释
RNN是RecurrentNeuralNetwork的缩写，表示“循环神经网络”。这是一类以序列(如时间序列)数据为输入，在序列的演进方向进行递归且所有节点按链式连接的递归神经网络。它能够捕捉序列数据前后的联系，在自然语言处理，时序预测等任务中起重要作用。
GenerativeModel表示“生成模型”。在概率统计理论中，生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样)，也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯定理形成。
NF是NormalizingFlow的缩写，表示“标准化流”。标准化流可以把简单形式的概率密度(如高斯分布)形式转化成更复杂更灵活的分布形式。它将数据流经过一系列双射函数，最终映射到合适的表征空间。使用标准化流这种工具，可以使用更强大的分布函数估计分布，可以用在生成模型、强化学习、变分推断这类场景。
Paired t-test表示“配对t检验”，是一种统计程序，用于确定是否两组观测的平均差为零或在一定范围内。在配对t检验中，每个主体被测量两次，从而产生成对的观察结果，用以对比观察。
具体实施方式
结合附图对本发明做进一步描述。
实施例1
本实施例提供的基于不同角度融合的多变量水库入水量预测***，如图1所示，其包括随机循环神经网络、基于正则化流的生成模型、注意力模型和多层感知机。
上述随机循环神经网络用于将水库当前时刻各变量观测值映射到隐空间，获取其隐变量。该随机循环神经网络包括RNN和VAE。本实施例在此基础上进行如下改进，将初始时刻t0的隐状态
输入到VAE，得到一个关于
的多变量的独立的正态分布，并通过重参数化，得到t0时刻的隐变量
，可参考【Kingma,Diederik P.,and Max Welling."Auto-encoding variational bayes."arXiv preprint arXiv:1312.6114(2013)】。在后续的任意时刻t中，将隐状态ht和上一时刻的隐变量zt-1输入至VAE中，得到关于当前时刻的隐状态的正态分布和隐变量zt，这一过程表示如下：
ht＝Wxhxt+Whhht-1
其中，W和b表示参数，需要通过训练更新，
分别表示当前时刻隐状态服从的正态分布的均值和方差；∈是从标准正态分布随机采样得到的向量。这样就得到了包含时间序列关联的条件概率p(zt|ht,zt-1)及表示zt。
上述基于正则化流的生成模型，利用其标准化流对获取的隐变量进行残差处理，得到符合多模态分布的隐变量，本实施例中，生成模型包括K个转换层，每个转换层是一个独立的残差网络。该过程可表示为：
f(zt)＝zt+g(zt)
其中，g(·)代表残差网络的残差块，在这里，我们使用全连接层作为基本模块。fk(·)代表位于第k个转换层的残差网络，如上文公式所示。经过这个过程，隐变量zt表示的隐空间分布从多变量独立的高斯分布变为了更复杂的、更灵活的多模态分布。
上述注意力模型，用于获取水库当前时刻各变量观测值的注意力矩阵。本实施例使用的注意力模型为多头注意力模型，其包括多个注意力头结点，以H表示注意力头结点数量。针对当前时刻t，将观测值序列X1:t输入至多头注意力模型(Multi-headAttention)中，使网络关注到对时间序列演变过程中最重要的信息。这里，将观测值序列的N种不同种类的观测值拆分成H组，每组包含N/H个观测值的序列
输入到不同的自注意力头结点中。接下来，将每一组序列与自身的转置进行点积运算，得到权重系数矩阵，并利用权重系数矩阵进行加权求和，该过程可表示为：
其中，
代表第h个注意力头结点得到的表示信息，
表示输入至第h个注意力头结点的子序列，softmax为激活函数，
代表矩阵X的转置。将各个头结点得到的注意力矩阵进行拼接得到关于t时刻观测值序列X1:t的注意力矩阵：
随后，将t时刻观测值序列X1:t的注意力矩阵at进行仿射变换，使其与隐变量的表示zt具有相同维度：
其中，W和b为参数，需要通过训练更新。
上述多层感知机，用于以生成模型得到的隐变量和注意力模型得到的注意力矩阵为输入，预测得到下一时刻的水库入水量性能指标。本实施例使用的多层感知机结构为线性结构，由顺次设置的三层全连接层及Gelu激活函数构成。依据关于t时刻的隐空间表示—隐变量
和注意力表示—注意力矩阵
通过多层感知机预测下一时刻t+1的入水量。将这两个表示输入多层感知机中，得到关于入水量(Inflow)的正态分布的均值和方差，并使用此正态分布进行预测，此过程表示为：
其中，
表示t+1时刻的水库入水量真实值，W和b表示参数，需要通过训练更新。本实施例中，以
表示水库入水量预测值；以
表示95％的置信度下水库入水量预测值的变化范围。
上述基于不同角度融合的多变量水库入水量预测***的网络参数可以从均值为0，方差为0.1的正态分布中随机采样足够的数，作为网络的初始参数。
实施例2
采用实施例1提供的基于不同角度融合的多变量水库入水量预测***在三个来自水电站和水文观测站(分别为大渡河流域上的瀑布沟、深溪沟水电站和丹巴水文观测站)的真实数据集上分别产生的效果。
本实施例按照以下步骤对实施例1提供的多变量水库入水量预测***进行训练：
S1，训练用数据集构建，将包括多个变量的历史观测值时序数据集D划分为多个长度为T的子序列X1:T，多个子序列构成训练用数据集；
设本实施例提供的真实数据集为时间序列数据集D，其长度为L，包括N个变量(即N个不同种类的观测值)，那么D∈RL×c。将时序数据集D按时间划分为若干个长度为T的子序列X1:T，那么X1:T∈RT×N，共有L/T个子序列。当预测未来τ时刻的入水量时，将每个子序列X1:T作为模型的输入，XT+τ作为预测目标。随后，将L/T个子序列按照3:1:1的比例分成训练集Dtrain、验证集Dval和测试集Dtest，训练集和验证集用于训练模型的参数和调整超参数，测试集用于测试效果。
S2，***训练，使用训练用数据集对前面给出的多变量水库入水量预测***进行训练；本步骤采用小批次训练的方法，将训练集Dtrain划分为若干个小批次B并打乱顺序，每个小批次子序列数量大小为|B|。每次将一个小批次输入预测***，按照以下分步骤进行训练：
S21，将小批次训练用子序列输入至随机循环神经网络，得到水库各变量映射到隐空间的隐变量；
S22，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量；
S23，将小批次训练用子序列输入至注意力模型，得到水库各变量的注意力矩阵；
S24，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到由均值和方差表征的正态分布，进而得到水库入水量在正态分布上的概率分布；
S25，按照以下公式计算损失值：
其中，Θ表示***所有需学习更新的参数，B表示小批次训练用子序列数据集，|B|表示小批次训练的大小；
表示t+1时刻水库入水量真实值在得到的t+1时刻得到的水库入水量正态概率分布
中的概率。
S3，采用梯度下降算法按照以下公式对***需学习更新的参数进行更新：
其中，α是人工设定的学习率。
S4，重复步骤S2-S3，至***收敛。
当Dtrain所有的小批次被送入网络中完成梯度下降参数更新时，完成一次迭代，然后使用验证集进行验证选优。重复若干次这样的迭代，直至模型在训练集Dtrain和验证集Dval的表现收敛至良好且稳定的水平。至此，得到了具有良好预测效果的***F。
利用测试集对训练好的基于不同角度融合的多变量水库入水量预测***按照以下步骤进行测试：
L1，将测试集中子序列X1:T输入至随机循环神经网络，得到水库各变量映射到隐空间的隐变量aT；
L2，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量z* T；
L3，将测试集中子序列X1:T输入至注意力模型，得到水库各变量的注意力矩阵a* T；
L4，将得到的符合多模态分布的隐变量z* T和水库各变量的注意力矩阵a* T输入至多层感知机中，得到T+1时刻的水库入水量性能指标，包括水库入水量预测值
和95％的置信度下水库入水量预测值的变化范围
将***输出的预测值放入输入序列中，再次输入预测***，如此循环τ次，将会得到未来T+τ时刻水库入水量的预测值及在确定置信度下的变化范围，实现了本发明的目标。
为了验证预测水库入水量在未来不同时段的有效性，本实施例设定了多种τ的取值。考虑到时间的意义，取未来1小时、1天、1周三个未来时段进行预测并汇报结果。同时使用三种类型的基线来对比评判预测效果，分别是：统计学模型(HA、ARIMA、SARIMA)、机器学习模型(SVR)和神经网络模型(BN、LSTM、GRU、TCRNVP)。
本实施例使用水库入水量的均方根误差(Root Mean Squared Error，RMSE)、平均绝对误差(Mean Absolute Error，MAE)和平均绝对百分比误差(Mean AbsolutePercentage Error，MAPE)作为评价指标(值越低，模型方法越好)并使用配对t检验(Pairedt-test)方法检验记录结果。其中，Ours代表本实施例提供的预测***的测试结果，最佳结果用粗体表示。
表1：未来1小时水库入水量预测的结果
表2：在应用例中未来1天水库入水量预测的结果
表3：在应用例中未来1周水库入水量预测的结果
对表格中其余方法的介绍如下：
HA：取当前时间点前面的n步的观测值进行平均处理，把得到的平均值作为未来的预测值。在这里，我们取n＝7。
ARIMA和SARIMA：是基于统计学的典型的时间序列预测模型，其由三部分组成：自回归模型、滑动平均模型以及差分的阶数。它只需要内生变量而不需要借助其他外在变量即可完成预测。它能够根据历史观测进行进行水流的预测，其实现过程参考文献【Wang,Wen-chuan,et al."Improving forecasting accuracy of annual runoff time seriesusing ARIMA based on EEMD decomposition."Water Resources Management 29.8(2015):2655-2675.】
SVR：基于支持向量机的回归模型。它将每个数据项绘制为n维空间中的一个点，我们可以绘制一个超平面，使得我们的目标与平面逼近。对于支持向量机的核函数，我们选择线性核。它也可以用于水库入水量的时序预测任务中，其实现过程参考文献【Aboutalebi,Mahyar,Omid Bozorg Haddad,and Hugo A.Loáiciga."Optimal monthly reservoiroperation rules for hydropower generation derived with SVR-NSGAII."Journal ofWater Resources Planning and Management 141.11(2015):04015029.】
BN：基于贝叶斯网络的模型。在回归任务中，它可以捕捉到关于目标的有不确定性的表示。其用于水库入水量预测可参考文献【Noorbeh,Parisa,Abbas Roozbahani,andHamid Kardan Moghaddam."Annual and Monthly Dam Inflow Prediction UsingBayesian Networks."Water Resources Management 34.9(2020):2933-2951.】
LSTM和GRU：两种基于循环神经网络(RNN)改进的变体。与原始的循环神经网络相比，LSTM和GRU增加了一些门控逻辑单元，使得网络能够捕捉到更长时间的依赖，处理长时间的序列事件。并且能够一定程度上缓解原始的循环神经网络在训练过程中梯度***和梯度消失等问题。此类模型在水流相关时序预测问题上应用广泛，实现过程可分别参考文献【Yang,Shuyu,et al."Real-time reservoir operation using recurrent neuralnetworks and inflow forecast from a distributed hydrological model."Journalof Hydrology579(2019):124229.】【Apaydin,Halit,et al."Comparative analysis ofrecurrent neural network architectures for reservoir inflow forecasting."Water 12.5(2020):1500.】
TCPNVP：一种端到端的概率时间序列预测模型。它通过编码器解码器的形式，处理了多变量的时间序列。此外，该模型使用了一种流模型进行了概率密度估计。其实现过程和细节参考文献【Rasul,Kashif,et al."Multi-variate probabilistic time seriesforecasting via conditioned normalizing flows."arXiv preprint arXiv:2002.06103(2020).】
从表1，2，3的实验结果可以看出，本实施例提供的基于不同角度融合的多变量水库入水量预测***可用于水库入水量的预测任务，且相比于其他机器学***均绝对误差和平均绝对百分比误差三个指标上的性能表现都大幅度提升。
由此可知，本发明利用基于不同角度融合的多变量水库入水量预测***预测水库入水量，通过输入历史上一段时间多种观测值(如降水量、入水量等)，可以较为准确地预测未来某短时间水库的入水量及变化范围。同时，本发明也提供了一个时序预测任务中一个通用的模型预测***。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (9)
1.一种基于不同角度融合的多变量水库入水量预测***，其特征在于包括：
随机循环神经网络，用于将水库当前时刻各变量观测值映射到隐空间，获取其隐变量；
基于正则化流的生成模型，利用其标准化流对获取的隐变量进行残差处理，得到符合多模态分布的隐变量；
注意力模型，用于获取水库当前时刻各变量观测值的注意力矩阵；所述注意力模型为多头注意力模型，其包括多个注意力头结点，以H表示注意力头结点数量；针对当前时刻t，将观测值序列X1:t输入至多头注意力模型中，将观测值序列的N种不同种类的观测值拆分成H组，并将每组包含N/H个观测值的序列输入到不同的自注意力头结点中，按照以下公式得到第h个注意力矩阵：
其中，代表第h个注意力头结点得到的表示信息，表示输入至第h个注意力头结点的子序列，softmax为激活函数，代表矩阵X的转置；将各个头结点得到的注意力矩阵进行拼接得到关于t时刻观测值序列X1:t的注意力矩阵：
随后，将t时刻观测值序列X1:t的注意力矩阵at进行仿射变换，使其与隐变量的表示具有相同维度：
其中，Wa和ba为参数；
多层感知机，用于以生成模型得到的隐变量和注意力模型得到的注意力矩阵为输入，预测得到下一时刻的水库入水量性能指标。
2.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测***，其特征在于所述随机循环神经网络包括RNN和VAE；RNN用于获取水库当前时刻各变量的隐状态；VAE用于获取水库当前时刻各变量的隐变量。
3.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测***，其特征在于所述基于正则化流的生成模型包括多个转换层，每个转换层是一个独立的残差网络。
4.根据权利要求1所述的基于不同角度融合的多变量水库入水量预测***，其特征在于水库入水量性能指标包括水库入水量预测值和在指定置信度下水库入水量预测值的变化范围。
5.根据权利要求4所述的基于不同角度融合的多变量水库入水量预测***，其特征在于利用t时刻的隐空间表示—隐变量和注意力表示—注意力矩阵通过多层感知机预测下一时刻t+1的入水量，按照以下公式得到关于入水量的正态分布：
其中，W和b表示参数；
利用正态分布来对水库入水量进行预测。
6.根据权利要求5所述的基于不同角度融合的多变量水库入水量预测***，其特征在于以表示水库入水量预测值；以表示95％的置信度下水库入水量预测值的变化范围。
7.根据权利要求1至6任一权利要求所述基于不同角度融合的多变量水库入水量预测***的训练方法包括以下步骤：
S1，训练用数据集构建，将包括多个变量的历史观测值时序数据集D划分为多个长度为T的子序列X1:T，多个子序列构成训练用数据集；
S2，***训练，使用训练用数据集对前面给出的多变量水库入水量预测***进行训练；本步骤采用小批次训练的方法，按照以下分步骤进行训练：
S21，将小批次训练用子序列输入至随机循环神经网络，得到水库各变量映射到隐空间的隐变量；
S22，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量；
S23，将小批次训练用子序列输入至注意力模型，得到水库各变量的注意力矩阵；
S24，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到由均值和方差表征的正态分布，进而得到水库入水量在正态分布上的概率分布；
S25，按照以下公式计算损失值：
其中，Θ表示***所有需学习更新的参数，B表示小批次训练用子序列数据集，|B|表示小批次训练子序列数量大小；
S3，采用梯度下降算法对***需学习更新的参数进行更新；
S4，重复步骤S2-S3，至***收敛。
8.根据权利要求1至6任一权利要求所述基于不同角度融合的多变量水库入水量预测***在水库入水量预测中的应用。
9.根据权利要求8所述基于不同角度融合的多变量水库入水量预测***在水库入水量预测中的应用，其特征在于将过去T个时刻水库各变量观测值输入至训练好的基于不同角度融合的多变量水库入水量预测***，按照以下步骤获取下一时刻T+1的水库入水量性能指标：
L1，将过去T个时刻水库各变量观测值序列输入至随机循环神经网络，得到每个时刻水库各变量映射到隐空间的隐变量；
L2，将得到的隐变量输入至基于正则化流的生成模型，得到符合多模态分布的隐变量；
L3，将过去T个时刻水库各变量观测值序列输入至注意力模型，得到每个时刻水库各变量的注意力矩阵；
L4，将得到的符合多模态分布的隐变量和水库各变量的注意力矩阵输入至多层感知机中，得到水库入水量性能指标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111352050.2A CN114021836B (zh) | 2021-11-16 | 2021-11-16 | 基于不同角度融合的多变量水库入水量预测***、训练方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111352050.2A CN114021836B (zh) | 2021-11-16 | 2021-11-16 | 基于不同角度融合的多变量水库入水量预测***、训练方法及应用 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114021836A CN114021836A (zh) | 2022-02-08 |
| CN114021836B true CN114021836B (zh) | 2023-05-16 |
Family
ID=80064437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111352050.2A Active CN114021836B (zh) | 2021-11-16 | 2021-11-16 | 基于不同角度融合的多变量水库入水量预测***、训练方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114021836B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115099502B (zh) * | 2022-06-29 | 2023-04-07 | 四川大学 | 一种基于用户间用电行为相似性的短期电力负荷预测方法 |
| CN115857059B (zh) * | 2022-11-24 | 2023-07-07 | 中国民航科学技术研究院 | 一种积冰预报管理方法、***、可读存储介质和设备 |
| CN115931055B (zh) * | 2023-01-06 | 2023-06-16 | 长江信达软件技术（武汉）有限责任公司 | 一种基于大数据分析的农村供水运行诊断方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612572A (zh) * | 2020-04-28 | 2020-09-01 | 北京交通大学 | 一种基于推荐***的自适应局部低秩矩阵近似建模方法 |
| CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
| CN112734091A (zh) * | 2020-12-30 | 2021-04-30 | 中水智联(深圳)技术有限公司 | 一种水库水位模型预测方法 |
-
2021
- 2021-11-16 CN CN202111352050.2A patent/CN114021836B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111612572A (zh) * | 2020-04-28 | 2020-09-01 | 北京交通大学 | 一种基于推荐***的自适应局部低秩矩阵近似建模方法 |
| CN112541839A (zh) * | 2020-12-23 | 2021-03-23 | 四川大汇大数据服务有限公司 | 基于神经微分方程的水库入库流量预测方法 |
| CN112734091A (zh) * | 2020-12-30 | 2021-04-30 | 中水智联(深圳)技术有限公司 | 一种水库水位模型预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于机器学习模型的沙漠腹地地下水含盐量变化过程及模拟研究;范敬龙;刘海龙;雷加强;徐新文;王桂芬;钟显斌;闫健;;生态学报(18);5874-5882 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114021836A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114021836B (zh) | 基于不同角度融合的多变量水库入水量预测***、训练方法及应用 | |
| Shamshirband et al. | A survey of deep learning techniques: application in wind and solar energy resources | |
| CN111860982A (zh) | 一种基于vmd-fcm-gru的风电场短期风电功率预测方法 | |
| CN108711847B (zh) | 一种基于编码解码长短期记忆网络的短期风电功率预测方法 | |
| CN112100911B (zh) | 一种基于深度bilstm的太阳辐射预测方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN115688579A (zh) | 一种基于生成对抗网络的流域多点水位预测预警方法 | |
| Li et al. | Deep spatio-temporal wind power forecasting | |
| Kharlova et al. | Forecasting photovoltaic power production using a deep learning sequence to sequence model with attention | |
| CN112613657A (zh) | 风电场短期风速预测方法 | |
| CN116632820A (zh) | 基于序列延拓vmd与风速波动特性的风电功率预测方法 | |
| Phan et al. | An approach using transformer-based model for short-term PV generation forecasting | |
| Wibawa et al. | Long Short-Term Memory to Predict Unique Visitors of an Electronic Journal | |
| Alharbi et al. | Short-term wind speed and temperature forecasting model based on gated recurrent unit neural networks | |
| Phan et al. | Application of a new Transformer-based model and XGBoost to improve one-day-ahead solar power forecasts | |
| Zhou et al. | Short-term wind power prediction based on EMD-LSTM | |
| Xu et al. | Prediction of Daily Climate Using Long Short-Term Memory (LSTM) Model | |
| Cao et al. | Probabilistic electricity demand forecasting with transformer-guided state space model | |
| Panda et al. | Forecasting temperature anomalies of planet earth: A comparative analysis of ai models | |
| CN112183814A (zh) | 一种短期风速预测方法 | |
| Wydra et al. | Automated adaptive-ensemble framework for large wind power prediction in poland using deep learning models | |
| Liu et al. | Ultra-short-term wind power forecasting based on stacking model | |
| Fan et al. | TEDformer: Temporal Feature Enhanced Decomposed Transformer for Long-term Series Forecasting | |
| Amreen et al. | Solar power forecasting using hybrid model | |
| Jiang et al. | Wind Power Point Prediction Based on VMD-GWO-LSTM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |