CN109214599B - 一种对复杂网络进行链路预测的方法 - Google Patents
一种对复杂网络进行链路预测的方法 Download PDFInfo
- Publication number
- CN109214599B CN109214599B CN201811253235.6A CN201811253235A CN109214599B CN 109214599 B CN109214599 B CN 109214599B CN 201811253235 A CN201811253235 A CN 201811253235A CN 109214599 B CN109214599 B CN 109214599B
- Authority
- CN
- China
- Prior art keywords
- model
- node
- vector
- network
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 50
- 238000007477 logistic regression Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims 2
- 238000003379 elimination reaction Methods 0.000 claims 2
- 238000010276 construction Methods 0.000 claims 1
- 241000689227 Cora <basidiomycete fungus> Species 0.000 description 7
- 238000011160 research Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101000639970 Homo sapiens Sodium- and chloride-dependent GABA transporter 1 Proteins 0.000 description 1
- 101001094079 Homo sapiens Sodium- and chloride-dependent GABA transporter 2 Proteins 0.000 description 1
- 102100033927 Sodium- and chloride-dependent GABA transporter 1 Human genes 0.000 description 1
- 102100035242 Sodium- and chloride-dependent GABA transporter 2 Human genes 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013173 literature analysis Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004853 protein function Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种对复杂网络进行链路预测的方法，基于图注意力网络(GAT)的端到端链路预测模型，以及该模型的分批训练方法。该模型的关键在于学习网络节点对周围邻居的注意力分布。模型的训练和利用模型预测的步骤包括：步骤一，输入无权无向同质网络的拓扑结构；步骤二，根据训练集的拓扑结构对所有节点进行一阶、二阶邻居采样，以便将网络分批；步骤三，将分批后的训练集输入上述模型训练出模型参数；步骤四，输入想要预测的点对，模型输出该点对之间有连边的概率。本发明所述模型具有端到端的特点。分批训练方法使得该模型对大规模复杂网络也适用。
Description
技术领域
本发明涉及深度学习与网络科学的交叉领域，具体涉及一种端到端的复杂网络链路预测模型和其分批训练方法。该模型利用注意力机制，结合网络拓扑结构，能表征网络连边。分批训练的方法使得该网络能处理大规模网络的链路预测问题。
技术背景
大规模的复杂网络普遍存在于现实世界中，例如万维网、航空网络、在线社交网络和蛋白质网络等等。理解，预测和控制这些复杂网络是人类日益迫切的需求。复杂网络的研究属于交叉领域，即有从数学和物理角度的理论研究，也有结合计算机技术的算法研究，是当前科学领域的研究热点之一。一般情况下，复杂网络包含的连边繁多且不易被观察，人们收集的数据中不可避免的存在缺失和错误的连边；另外，限于人力物力，人们只能统计部分连边状况，不能遍历所有连边。链路预测是一种解决问题的技术，该技术使我们能在部分网络结构的基础上预测出隐藏的连边，并发现虚假的连边。在交通网络规划、在线社交、蛋白质功能等许多涉及复杂网络的领域中，链路预测技术都能带来很大的效益。传统的链路预测方法一般将网络各部分看作同质的，不区分各部分对目标节点影响力大小，这不符合实际情况，因而其预测效果也存在一定的瓶颈。
发明内容
本发明目的在于利用注意力机制，克服上述提出的传统链路预测算法中的缺陷，提出一种基于GAT的端到端链路预测模型。该模型具有可学习的注意力权重，可以对网络不同部分分配不同的注意力大小。具体来说，本模型具有两层注意力模型，能在注意力的指导下聚合节点的一阶、二阶邻居信息，将聚合的信息组合成连边向量，再通过分类器判断该连边存在的概率值。利用训练集中的样本，指导本模型中各项参数通过梯度反传方法进行学习。用训练好的模型参数预测新节点对之间是否存在连边。另一方面，直接聚合节点所有邻居的向量需要将整个网络输入到模型中，当网络规模较大时，很难满足其所需计算机存储空间。针对于此，本发明通过对所有节点进行邻居采样，固定节点邻居数量，规避网络的幂率(power law)性质所带来的内存消耗，同时可以将单个大网络进行分批训练，提高收敛速度和GPU运算效率。
为了实现上述目的，本发明提供了一种基于图注意力的端到端链路预测模型和其分批训练方法。所述端到端链路预测模型包括：双层图注意力模型和逻辑回归分类器；所述方法包括：对复杂网络各节点进行固定邻居采样；根据网络连边生成训练集并对其中的节点和邻居进行分批，每个节点赋予初始化向量，生成训练数据；将训练数据输入双层注意力模型，得到各点的更新向量，将点对的向量组合成连边的向量；将连边的向量通过逻辑回归得到该连边是否存在的概率值；根据损失函数对模型参数进行更新；所述链路预测模型包括训练好的双层注意力模型和逻辑回归分类器。
上述技术方案中，所述方法具体包括：
1).对需要处理的目标网络进行去方向去权重处理，得到网络无向无权的同质拓扑结构，该网络不能包含孤立节点。
2).上述网络中连边对应的点对作为训练集中的正例，同时随机采集与连边数等量没有连边的点对，作为训练集中的负例。对正负例中出现的所有点进行固定数目一阶、二阶邻居采样，节点和其邻居看做整体，然后将训练集分批。
3).构建基于GAT的端到端链路预测模型，包含以下部分：
3.1).模型输入为点对和他们的一阶、二阶邻居，输出为该点对之间有连边的概率；
3.2).根据网络数据实际情况，初始化节点向量为
其中i为节点下标；
3.3).节点向量在初始向量的基础上通过以下两层图注意力模型进行更新，第一层图注意力更新的公式具体为：
其中αij表示节点i对节点j的注意力，
表示经过第一层GAT后节点的更新向量。参数a，W随机初始化赋值，a,W最终的取值由本算法优化所得，N(i)表示所有与节点i相连接的节点集合，k及j表示与i节点相连的某个节点；节点向量更新的具体做法为，首先根据节点的二阶邻居和一阶邻居的初始向量信息，分别并行更新一阶邻居和该节点的向量，然后利用更新之后的向量，经过第二层GAT，再次更新该节点的向量。
3.4).经过上述步骤得到点对的更新向量
将向量组合起来，得到点对之间连边的向量eij，其中d表示节点的嵌入最高维度，本研究将d设置为50-200之间的数值。组合方法如下：
3.5).将上述连边向量输入逻辑回归分类器，得到该连边存在的概率值。其具体的计算过程为：
4).模型的训练方法为：每次输入训练集中的一批点对，由3)的步骤计算概率值，将各点对概率值与真实连边相比，得到该模型参数情况下的损失值，计算损失值的平均值作为这批数据的损失值，并利用梯度下降算法对模型所有参数进行更新。
5).所述注意力模型中，可以并行计算多个注意力权重分布，其特征在于，在3)的基础上包含以下步骤：
5.1).第一层计算K1个注意力分布，在此基础上采用平均的方式得到节点和其一阶邻居的更新向量，其中σ表示sigmoi函数，Wk表示第k层的参数向量，初始化为随机值，最终值由本算法优化得出。具体如下：
5.2).第二层计算K2个注意力分布，在此基础上采用拼接的方式得到节点的更新向量，具体如下：
6).利用模型训练好的参数，对新的连边进行预测，其特征在于，具体包括：对于要预测的连边，输入该连边对应的点对，输入训练好的模型中，得到该点对之间存在连边的概率值P，若P＞0.5，则预测该连边存在，否则预测为不存在。
有益效果
1).本发明采用注意力模型对连边进行编码，使其能以一定的注意力分布整合邻居信息，克服了传统模型均匀处理网络的缺点；而且该模型是一个端到端的模型，能很方便的处理链路预测任务，较少了算法中人为干扰。
2).本发明对网络进行固定邻居采样，从而可以将网络分批处理和训练，使得大规模网络也可以在有限的计算资源上得到处理。同时，该方法独立于网络的性质，所以具有算法层面的普适性。
3).另外，该方法在具有上述优点的同时，在链路预测这个技术问题上取得了目前最好的精度。
附图说明
图1为注意力机制图示，邻居向量经过GAT层得到目标节点新的向量；
图2为节点邻居采样图示，在网络拓扑结构的基础上，对每个节点进行二阶固定邻居采样(图示为每阶邻居采样3个)；
图3为预测模型框架，首先由网络拓扑结构生成包含正负样本的训练数据，样本中的节点由图1所示的注意力机制，结合其采样邻居进行更新，然后将点对的向量组合成连边向量，最后又分类器根据连边向量判断该连边是否存在。
具体实施方式
下面结合附图和在Cora网络上的具体实施过程对本发明做进一步阐述：
本发明具体解决的问题是大规模复杂网络上的链接预测问题，以文献引文网络Cora数据集说明如下：
将该数据集中的论文建模为网络上的节点，论文之间的引用关系建模为节点之间的连边，不考虑连边的方向和节点的类别，最后可以得到包含2708个节点，5429条连边的无权无向网络结构，而预测该网络中的连边对于科学学中的文献分析十分重要。本发明将网络中部分连边删除，作为要预测的连边，未删除的连边作为训练集。
本发明采用一种基于图注意力端到端的链路预测模型和其分批训练方法，所述模型包括两层GAT(graph attention networks)模型和逻辑回归模型，所述训练方法包括节点固定邻居采样并分批以得到训练集，并分批对模型参数进行训练。
利用分批数据训练基于图注意力的端到端的链路预测模型的具体步骤如下：
1).如图3所示，将Cora数据集处理成一个无权无向的同质网路，并对其中每一个点的邻居进行固定数目采样，固定数目建议为15～25，若邻居总数多于固定数目，则随机采所需样本，否则可以重复采样。实际过程中，一阶邻居采样数目和二阶邻居采样数目可以不一样；
2).如图3所示，在上述Cora网络拓扑结构的基础上，有连边的点对作为正例，并随机采样等量的没有连边的点对作为负例，组成训练集。以Cora数据集为例，训练集包含约20,000个点对，将训练集分批，以待训练之用。每一批数据可以包含32～256个点对；
3).对于一个点对，其中两个点有初始向量经过两次更新得到输出向量，分别对应于图3中的GAT1和GAT2，对于一批训练数据，上述过程可以并行运算；
4).更新之后的点对的向量组合之后得到其连边的向量表示，然后该向量输入逻辑回归(Logistic Regression)得到其边存在的概率值，该概率值与真实连边做交叉熵可以得出预测的损失值。求出一批数据的平均损失值，并用梯度下降算法更新模型参数；
5).一次循环中，针对步骤3～4，遍历所有分批数据来训练参数。整个训练过程循环多次。对于Cora数据集对应的网络，循环50次左右便可以训练完成。
6).将未在训练集中出现的点对输入训练好的模型中进行预测，便可输出该点对有连边的预测概率值。对于Cora这个数据集，我们将数据预处理部分断开的连边，同时再采样等量的负例作为预测集，最后的再测试集上的连边预测准确度可以达到87％，在链路预测任务上是目前最好的方法。
Claims (1)
1.一种对复杂网络进行链路预测的方法，包括模型的构建和其分批训练方法，其特征在于，包括：对网络拓扑结构预处理，得到分批训练数据集；建立基于GAT的端到端链路预测模型；对模型进行分批训练，得出模型参数；利用训练好的模型对连边进行预测，所述模型包含训练好的GAT模型和其后的二分类器模型，其方法具体如下：
1).对需要处理的目标网络进行消除方向消除权重处理，得到网络无向无权的同质拓扑结构，该网络不能包含孤立节点；
2).上述网络中连边对应的点对作为训练集中的正例，同时随机采集与连边数等量且没有连边的点对，作为训练集中的负例；对正负例中出现的所有点进行固定数目一阶、二阶邻居采样，节点和其邻居看做整体，然后将训练集分批；
3).构建基于GAT的端到端链路预测模型，包含以下部分：
3.1).模型输入为点对和它们的一阶、二阶邻居，输出为该点对之间有连边的概率；
3.2).根据网络数据实际情况，将节点向量
采用随机向量初始化，其中i为节点下标；
3.3).节点向量在初始向量的基础上通过以下两层图注意力模型进行更新，第一层图注意力更新的公式具体为：
其中αij表示节点i对节点j的注意力，
表示经过第一层GAT后节点的更新向量，参数a，W随机初始化赋值，a,W最终的取值由本算法优化所得，N(i)表示所有与节点i相连接的节点集合，k及j表示与i节点相连的某个节点；节点向量更新的具体做法为，首先根据节点的二阶邻居和一阶邻居的初始向量信息，分别并行更新一阶邻居和该节点的向量，然后利用更新之后的向量，经过第二层GAT，再次更新该节点的向量；
3.4).经过上述3.3)步骤得到点对的更新向量
将向量组合，得到点对之间连边的向量eij，其中d表示节点的嵌入最高维度，组合方法如下：
3.5).将上述连边向量输入逻辑回归分类器，得到该连边存在的概率值；
4).模型的训练方法为：每次输入训练集中的一批点对，由3)中的步骤计算点对之间连边存在的概率值，将各点对概率值与真实连边相比，得到该模型参数情况下的损失值，计算损失值的平均值作为这批数据的损失值，并利用梯度下降算法对模型参数进行更新；
5).利用模型训练好的参数，对新的连边进行预测，包括：对于要预测的连边，输入该连边对应的点对，输入训练好的模型中，得到该点对之间存在连边的概率值P，若P≥0.5，则预测该连边存在，否则预测为不存在；
6).在3.3)所述注意力模型中，并行计算多个注意力权重分布，在3.3)的基础上包含以下步骤：
6.1).第一层计算K1个注意力分布，在此基础上采用平均的方式得到节点和其一阶邻居的更新向量，其中σ表示sigmoi函数，Wk表示第k层的参数向量，初始化为随机值，具体如下：
6.2).第二层计算K2个注意力分布，在此基础上采用拼接的方式得到节点的更新向量，具体如下：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811253235.6A CN109214599B (zh) | 2018-10-25 | 2018-10-25 | 一种对复杂网络进行链路预测的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811253235.6A CN109214599B (zh) | 2018-10-25 | 2018-10-25 | 一种对复杂网络进行链路预测的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109214599A CN109214599A (zh) | 2019-01-15 |
| CN109214599B true CN109214599B (zh) | 2022-02-15 |
Family
ID=64996833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811253235.6A Active CN109214599B (zh) | 2018-10-25 | 2018-10-25 | 一种对复杂网络进行链路预测的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109214599B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109951336B (zh) * | 2019-03-24 | 2021-05-18 | 西安电子科技大学 | 基于梯度下降算法的电力运输网络优化方法 |
| CN110263280B (zh) * | 2019-06-11 | 2021-03-23 | 浙江工业大学 | 一种基于多视图的动态链路预测深度模型及应用 |
| CN111125445B (zh) * | 2019-12-17 | 2023-08-15 | 北京百度网讯科技有限公司 | 社区主题生成方法、装置、电子设备及存储介质 |
| CN111537831B (zh) * | 2020-04-01 | 2022-06-24 | 华中科技大学鄂州工业技术研究院 | 一种配电网线路故障定位方法及装置 |
| CN111667881B (zh) * | 2020-06-04 | 2023-06-06 | 大连民族大学 | 一种基于多网络拓扑结构的蛋白质功能预测方法 |
| CN111797327B (zh) * | 2020-06-04 | 2021-06-18 | 南京擎盾信息科技有限公司 | 社交网络建模的方法及装置 |
| CN111814842B (zh) * | 2020-06-17 | 2023-11-03 | 北京邮电大学 | 基于多通路图卷积神经网络的对象分类方法及装置 |
| CN114660997B (zh) * | 2020-12-22 | 2024-05-10 | 中国科学院沈阳自动化研究所 | 一种基于链路预测的安全一体化中两安冲突预测方法 |
| CN112966155B (zh) * | 2021-03-23 | 2023-03-21 | 西安电子科技大学 | 基于路径相关性的链路预测方法 |
| CN113254652B (zh) * | 2021-07-01 | 2021-09-17 | 中南大学 | 一种基于超图注意力网络的社交媒体贴文真实性检测方法 |
| CN115037630B (zh) * | 2022-04-29 | 2023-10-20 | 电子科技大学长三角研究院(湖州) | 一种基于结构扰动模型的加权网络链路预测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106533759A (zh) * | 2016-11-11 | 2017-03-22 | 南京理工大学 | 一种多层网络中的基于路径熵的链路预测方法 |
| CN106959967A (zh) * | 2016-01-12 | 2017-07-18 | 中国科学院声学研究所 | 一种链路预测模型的训练及链路预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9082082B2 (en) * | 2011-12-06 | 2015-07-14 | The Trustees Of Columbia University In The City Of New York | Network information methods devices and systems |
-
2018
- 2018-10-25 CN CN201811253235.6A patent/CN109214599B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106959967A (zh) * | 2016-01-12 | 2017-07-18 | 中国科学院声学研究所 | 一种链路预测模型的训练及链路预测方法 |
| CN106533759A (zh) * | 2016-11-11 | 2017-03-22 | 南京理工大学 | 一种多层网络中的基于路径熵的链路预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于复杂网络拓扑性质的网络态势预测方法;付凯等;《华中科技大学学报(自然科学版)》;20180131(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109214599A (zh) | 2019-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214599B (zh) | 一种对复杂网络进行链路预测的方法 | |
| WO2022083624A1 (zh) | 一种模型的获取方法及设备 | |
| CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
| CN109120462B (zh) | 机会网络链路的预测方法、装置及可读存储介质 | |
| CN113361680B (zh) | 一种神经网络架构搜索方法、装置、设备及介质 | |
| CN113313947A (zh) | 短期交通预测图卷积网络的路况评估方法 | |
| CN109743196B (zh) | 一种基于跨双层网络随机游走的网络表征方法 | |
| CN110164129B (zh) | 基于gernn的单交叉口多车道交通流量预测方法 | |
| CN112685504B (zh) | 一种面向生产过程的分布式迁移图学习方法 | |
| Dou et al. | A novel feasible task sequence-oriented discrete particle swarm algorithm for simple assembly line balancing problem of type 1 | |
| Li et al. | One-shot neural architecture search for fault diagnosis using vibration signals | |
| CN116468186B (zh) | 一种航班链延误时间预测方法、电子设备及存储介质 | |
| CN112633314A (zh) | 一种基于多层采样的主动学习溯源攻击方法 | |
| CN114265913A (zh) | 工业物联网边缘设备上基于联邦学习的空时预测算法 | |
| CN116362325A (zh) | 一种基于模型压缩的电力图像识别模型轻量化应用方法 | |
| CN116663419A (zh) | 一种基于优化的Elman神经网络的无传感器设备故障预测方法 | |
| CN114694767B (zh) | 基于时空图常微分方程网络的pm2.5浓度预测方法 | |
| Li et al. | Graph neural network architecture search for rotating machinery fault diagnosis based on reinforcement learning | |
| CN114584406A (zh) | 一种联邦学习的工业大数据隐私保护***及方法 | |
| CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
| Pan et al. | Neural architecture search based on evolutionary algorithms with fitness approximation | |
| Han et al. | An efficient genetic algorithm for optimization problems with time-consuming fitness evaluation | |
| CN116993043A (zh) | 一种电力设备故障溯源方法及装置 | |
| CN115544307A (zh) | 基于关联矩阵的有向图数据特征提取与表达方法和*** | |
| Wu et al. | A twin learning framework for traveling salesman problem based on autoencoder, graph filter, and transfer learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |