CN115796242B - 一种电子数字信息反取证方法 - Google Patents
一种电子数字信息反取证方法 Download PDFInfo
- Publication number
- CN115796242B CN115796242B CN202310097831.4A CN202310097831A CN115796242B CN 115796242 B CN115796242 B CN 115796242B CN 202310097831 A CN202310097831 A CN 202310097831A CN 115796242 B CN115796242 B CN 115796242B
- Authority
- CN
- China
- Prior art keywords
- network
- information
- electronic digital
- digital information
- convolution layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000005070 sampling Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009954 braiding Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
- Monitoring And Testing Of Transmission In General (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种电子数字信息反取证方法。所述方法包括：GAN模型包括分类网络D1、判别器D2和D3，以及生成网络G，预先为D1、D2和D3分配相同的权重，构建第一损失函数；将未处理信息输入D1进行训练，由G根据未处理信息和随机噪声生成合成信息，部署第二损失函数提高网络性能；将未处理信息输入D2进行训练，由D2对G的输出进行分类，并通过反向传播，将学习到的权重转移回G；将未处理信息输入D3进行训练，将未处理信息和合成信息进行区分，构建最终损失函数。本发明在对原有的GAN模型基础上，修改了生成器和构造器的结构和网络的框架，建立了额外的监督***和相应的损失函数，提高了网络模型反取证的性能。
Description
技术领域
本发明涉及电数字处理技术领域，尤其涉及一种电子数字信息反取证方法。
背景技术
目前对于电子数字信息攻击有许多不同的技术。在取证工作中，过去研究者们建立数学模型，并基于人工设计的特征通过线性分类器进行分类来进行取证；而随着深度学习的快速发展，卷积神经网络（CNNs）成为了取证利器。CNN可以学习到人类观察不到的高级特征，这些特征对取证工作是效果显著的，许多研究工作的性能对比都体现出CNN作为分类器在面对各种信息篡改操作都能远远优于传统取证方法的识别和标记率。
虽然深度学习技术在取证方面取得了优越的效果，但是也给我们带来了新的挑战。生成对抗网络（GANs）是一种深度生成网络，经过训练后能生成和输入样本相似的电子数字信息，这对我们现有的取证技术是一个巨大的威胁。GAN产物的相似是多个尺度的，可以是具有相同类别的物体、相同的物种以及类似的艺术风格等。和以往依赖于专业知识的反取证技术不同，不法分子可以通过收集相关数据，用GAN生成大量的足矣混淆人眼判断的恶意产物，只能依靠稳健的取证工具来解决GAN给我们带来的潜在危害。
因此，我们需要对GAN的反取证性能进行研究，从而促进取证研究的进展。过往的取证算法往往通过被篡改产物的电子数字信息编辑痕迹来进行取证，而GAN作为反取证工具能消除这些痕迹从而达到反取证的效果。基于以上，本发明提出一种电子数字信息反取证方法。
发明内容
本发明提供了一种电子数字信息反取证方法，包括：
GAN模型包括一个作为判别器的分类网络D1、两个作为额外监督器的判别器D2和D3，以及一个作为生成器的生成网络G，分类网络D1、D2和D3均连接生成网络G，预先为D1、D2和D3分配相同的权重，构建GAN模型的第一损失函数；
将未处理的电子数字信息输入GAN模型的分类网络D1中进行训练，由生成网络G根据未处理的电子数字信息和随机噪声生成合成信息，部署一个第二损失函数来提高网络的性能；
将未处理的电子数字信息输入GAN模型的判别器D2进行训练，由判别器D2对生成网络G的输出进行分类，并通过反向传播，将学习到的权重转移回生成网络G；
将未处理的电子数字信息输入GAN模型的判别器D3进行训练，将未处理的电子数字信息和已处理的合成信息进行区分，构建最终损失函数，并将学习到的权重转移回生成网络G，更新生成网络G的参数。
如上所述的一种电子数字信息反取证方法，其中，生成网络包括上采样网络和下采样网络，下采样网络中，输入的电子数字信息被下采样网络处理为特征向量，然后这些特征向量被上采样网络重构为统一大小的新电子数字信息。生成器中所有卷积层和转置卷积层的卷积核大小固定为4，步长为2，先滤波器的数量为n，卷积层1和转置卷积层8的滤波器数量n=64，卷积层2和转置卷积层7的滤波器数量n=128，卷积层3和转置卷积层6的滤波器数量n=256，卷积层4和转置卷积层5的滤波器数量n=512。
如上所述的一种电子数字信息反取证方法，其中，生成网络 G还包括采用U-Net和T-Net网络。
如上所述的一种电子数字信息反取证方法，其中，判别器 D2的所有卷积核大小为5×5，步长为2，第一个卷积层的滤波器数量为64，在下一个卷积层中翻倍；判别器 D3中使用的leakReLU函数的斜率为0.2。
如上所述的一种电子数字信息反取证方法，其中，判别器D2被训练为对生成网络的输出进行分类。
如上所述的一种电子数字信息反取证方法，其中，GAN模型的第一损失函数定义为：
，
其中，E 表示计算期望值，I表示输入的未处理的电子数字信息；Im表示生成网络输出的编辑信息；Ig表示合成信息，是编辑信息和逆差n的乘积，n=I-Im；为GAN模型的第一损失函数，G是生成器、D1、D2、D3为三个判别器，D1用于区分原始信息I和合成信息Ig，D2用于对合成信息Ig和编辑信息Im的分类，D3用于对编辑信息Im和未被编辑信息I分类。
如上所述的一种电子数字信息反取证方法，其中，第二损失函数为：
，
其中，表示计算 I、Im和Ig的期望值，是提高生成器G图像质量的额外损失函数，n为未被编辑和经过编辑的逆差，n=I-Im。
如上所述的一种电子数字信息反取证方法，其中，GAN模型的损失函数完整形式为：
。
如上所述的一种电子数字信息反取证方法，其中，在训练期间G、D2和D3的损失最小化，同时D1的损失最大化，整个过程用以下方式描述：
，表示使G、D2和D3的损失最小化，D1的损失最大化的计算值。
如上所述的一种电子数字信息反取证方法，其中，在GAN模型中加入评估模块，用来评估GAN模型的反取证能力，评估模块的操作包括高斯滤波、中值滤波、平均值滤波、USM锐化、添加高斯噪声和JPEG压缩。
本发明实现的有益效果如下：
1、本发明在对原有的GAN模型基础上，修改了生成器和构造器的结构和网络的框架，建立了额外的监督***和相应的损失函数，提高了网络模型反取证的性能。
2、本发明的合成信息能够使取证检测器无法被检测到，在提高网络模型反取证的性能之上，能够提供高质量的电子数字信息。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种电子数字信息反取证方法流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，本发明实施例一提供一种电子数字信息反取证方法，包括：
步骤110、GAN模型包括一个作为判别器的分类网络D1、两个作为额外监督器的判别器D2和D3，以及一个作为生成器的生成网络G，分类网络D1、D2和D3均连接生成网络G，预先为D1、D2和D3分配相同的权重，构建GAN模型的损失函数；
生成网络包括上采样网络和下采样网络，下采样网络中，输入的电子数字信息被下采样网络处理为特征向量，然后这些特征向量被上采样网络重构为统一大小的新电子数字信息。生成器中所有卷积层和转置卷积层的卷积核大小固定为4，步长为2，先滤波器的数量为n，卷积层1和转置卷积层8的滤波器数量n=64，卷积层2和转置卷积层7的滤波器数量n=128，卷积层3和转置卷积层6的滤波器数量n=256，卷积层4和转置卷积层5的滤波器数量n=512。除上述生成器类型外，还可以备选采用U-Net和T-Net网络作为生成器网络。
判别器D2的所有卷积核大小为5×5，步长为2，第一个卷积层的滤波器数量为64，在下一个卷积层中翻倍；判别器 D3中使用的leakReLU函数的斜率为0.2。
步骤120、将未处理的电子数字信息输入GAN模型的分类网络D1中进行训练，由生成网络G根据未处理的电子数字信息和随机噪声生成合成信息，部署一个第二损失函数来提高网络的性能；
步骤130、将未处理的电子数字信息输入GAN模型的判别器D2进行训练，由判别器D2对生成网络G的输出进行分类，并通过反向传播，将学习到的权重转移回生成网络G；
其中，判别器D2被训练为对生成网络的输出进行分类。
步骤140、将未处理的电子数字信息输入GAN模型的判别器D3进行训练，将未处理的电子数字信息和已处理的合成信息进行区分，构建最终损失函数，并将学习到的权重转移回生成网络G，更新生成网络G的参数；
具体地，在GAN的训练期间，所有的判别器与生成器同时训练。然而对于不同的判别器需要有不同的收敛性能。生成网络G故意欺骗D1以防止它收敛，而D2和D3都被要求以高性能收敛，因此需要从不同方面增强生成器。
设置D1、D2和D3的权重是相同的，因此，这个GAN模型的损失函数定义为：
其中，E 表示计算期望值，I表示输入的未处理的电子数字信息；Ig表示合成信息；Im表示生成网络输出的编辑信息；为GAN模型的第一损失函数，G是生成器、D1、D2、D3为三个判别器，D1用于区分原始信息I和合成信息Ig，D2用于对合成信息Ig和编辑信息Im的分类，D3用于对编辑信息Im和未被编辑信息I分类。
为了能够提高合成的电子数据信息的质量，部署一个损失来提高网络的性能。这个损失描述为：
其中，表示计算 I、Im和 Ig的期望值，是提高生成器G图像质量的额外损失函数，n为未被编辑和经过编辑的逆差，n=I-Im。
因此，本申请的GAN模型的损失函数完整形式为：
由此实现在训练期间G、D2和D3的损失最小化，同时D1的损失最大化，整个过程用以下方式描述：
，表示使G、D2和D3的损失最小化，D1的损失最大化的计算值。
在经过GAN模型处理后，还需要在GAN模型中设置评估模块，用来评估GAN模型的反取证能力，评估模块的操作包括高斯滤波、中值滤波、平均值滤波、USM锐化、添加高斯噪声和JPEG压缩。
与上述实施例对应的，本发明实施例提供一种电子数字信息反取证装置，该装置包括：至少一个存储器和至少一个处理器；
存储器用于存储一个或多个程序指令；
处理器，用于运行一个或多个程序指令，用以执行一种电子数字信息反取证方法。
与上述实施例对应的，本发明实施例提供一种计算机可读存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被处理器执行一种电子数字信息反取证方法。
本发明所公开的实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序指令，当所述计算机程序指令在计算机上运行时，使得计算机执行上述的一种电子数字信息反取证方法。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific工ntegrated Circuit，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器(Read-Only Memory，简称ROM)、可编程只读存储器(Programmable ROM，简称PROM)、可擦除可编程只读存储器(Erasable PROM，简称EPROM)、电可擦除可编程只读存储器(Electrically EPROM，简称EEPROM)或闪存。
易失性存储器可以是随机存取存储器(Random Access Memory，简称RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，简称SRAM)、动态随机存取存储器(Dynamic RAM，简称DRAM)、同步动态随机存取存储器(Synchronous DRAM，简称SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，简称DDRSDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，简称ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，简称SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，简称DRRAM)。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (5)
1.一种电子数字信息反取证方法，其特征在于，包括：
GAN模型包括一个作为判别器的分类网络D1、两个作为额外监督器的判别器D2和D3，以及一个作为生成器的生成网络G，分类网络D1、D2和D3均连接生成网络G，预先为D1、D2和D3分配相同的权重，构建GAN模型的第一损失函数；
将未处理的电子数字信息输入GAN模型的分类网络D1中进行训练，由生成网络G根据未处理的电子数字信息和随机噪声生成合成信息，部署一个第二损失函数来提高网络的性能；
将未处理的电子数字信息输入GAN模型的判别器D2进行训练，由判别器D2对生成网络G的输出进行分类，并通过反向传播，将学习到的权重转移回生成网络G；
将未处理的电子数字信息输入GAN模型的判别器D3进行训练，将未处理的电子数字信息和已处理的合成信息进行区分，构建最终损失函数，并将学习到的权重转移回生成网络G，更新生成网络G的参数；
GAN模型的第一损失函数定义为：
其中，E表示计算期望值，I表示输入的未处理的电子数字信息；Im表示生成网络输出的编辑信息；Ig表示合成信息，是编辑信息和逆差n的乘积，n=I-Im；为GAN模型的第一损失函数，G是生成器、D1、D2、D3为三个判别器，D1用于区分原始信息I和合成信息Ig，D2用于对合成信息Ig和编辑信息Im的分类，D3用于对编辑信息Im和未被编辑信息I分类；
第二损失函数为：
其中，表示计算I、Im和Ig的期望值，是提高生成器G图像质量的额外损失函数，n为未被编辑和经过编辑的逆差，n=I-Im；
GAN模型的损失函数完整形式为：；
在训练期间G、D2和D3的损失最小化，同时D1的损失最大化，整个过程用以下方式描述：，表示使G、D2和D3的损失最小化，D1的损失最大化的计算值。
2.如权利要求1所述的一种电子数字信息反取证方法，其特征在于，生成网络包括上采样网络和下采样网络，下采样网络中，输入的电子数字信息被下采样网络处理为特征向量，然后这些特征向量被上采样网络重构为统一大小的新电子数字信息；生成器中所有卷积层和转置卷积层的卷积核大小固定为4，步长为2，滤波器的数量为n，卷积层1和转置卷积层8的滤波器数量n=64，卷积层2和转置卷积层7的滤波器数量n=128，卷积层3和转置卷积层6的滤波器数量n=256，卷积层4和转置卷积层5的滤波器数量n=512。
3.如权利要求1所述的一种电子数字信息反取证方法，其特征在于，生成网络G还包括采用U-Net和T-Net网络。
4.如权利要求1所述的一种电子数字信息反取证方法，其特征在于，判别器D2的所有卷积核大小为5×5，步长为2，第一个卷积层的滤波器数量为64，在下一个卷积层中翻倍；判别器D3中使用的leakReLU函数的斜率为0.2。
5.如权利要求1所述的一种电子数字信息反取证方法，其特征在于，在GAN模型中加入评估模块，用来评估GAN模型的反取证能力，评估模块的操作包括高斯滤波、中值滤波、平均值滤波、USM锐化、添加高斯噪声和JPEG压缩。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310097831.4A CN115796242B (zh) | 2023-02-10 | 2023-02-10 | 一种电子数字信息反取证方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310097831.4A CN115796242B (zh) | 2023-02-10 | 2023-02-10 | 一种电子数字信息反取证方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115796242A CN115796242A (zh) | 2023-03-14 |
| CN115796242B true CN115796242B (zh) | 2023-05-16 |
Family
ID=85430862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310097831.4A Active CN115796242B (zh) | 2023-02-10 | 2023-02-10 | 一种电子数字信息反取证方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115796242B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529622A (zh) * | 2022-01-12 | 2022-05-24 | 华南理工大学 | 通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11397996B2 (en) * | 2011-06-24 | 2022-07-26 | Monster Worldwide, Inc. | Social match platform apparatuses, methods and systems |
| CN111863025A (zh) * | 2020-07-13 | 2020-10-30 | 宁波大学 | 一种音频来源反取证方法 |
| CN114612988A (zh) * | 2022-03-18 | 2022-06-10 | 齐鲁工业大学 | 基于改进的双向生成对抗网络的图像感知哈希方法及*** |
| CN114757342B (zh) * | 2022-06-14 | 2022-09-09 | 南昌大学 | 一种基于对抗训练的电子数据信息反取证方法 |
-
2023
- 2023-02-10 CN CN202310097831.4A patent/CN115796242B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529622A (zh) * | 2022-01-12 | 2022-05-24 | 华南理工大学 | 通过引入自监督复合任务训练生成对抗网络生成高质量图像的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115796242A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7002404B2 (ja) | データから潜在因子を発見するニューラルネットワーク | |
| Chen et al. | Median filtering forensics based on convolutional neural networks | |
| CN108985317B (zh) | 一种基于可分离卷积和注意力机制的图像分类方法 | |
| JP7490141B2 (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
| CN107784288A (zh) | 一种基于深度神经网络的迭代定位式人脸检测方法 | |
| CN114783034B (zh) | 基于局部敏感特征与全局特征融合的人脸表情识别方法 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| JP2005202932A (ja) | データを複数のクラスに分類する方法 | |
| CN113837942A (zh) | 基于srgan的超分辨率图像生成方法、装置、设备及存储介质 | |
| CN111860582B (zh) | 图像分类模型构建方法、装置、计算机设备和存储介质 | |
| CN114429151A (zh) | 一种基于深度残差网络的大地电磁信号识别与重建方法及其*** | |
| Du et al. | Blind image denoising via dynamic dual learning | |
| CN113674374A (zh) | 基于生成式对抗网络的中文文本生成图像方法及装置 | |
| CN116152087A (zh) | 无限制对抗样本生成方法、装置、电子设备及存储介质 | |
| CN111371611A (zh) | 一种基于深度学习的加权网络社区发现方法及装置 | |
| CN112001838B (zh) | 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质 | |
| Su et al. | Boosting image steganalysis under universal deep learning architecture incorporating ensemble classification strategy | |
| CN115796242B (zh) | 一种电子数字信息反取证方法 | |
| CN110503157B (zh) | 基于细粒度图像的多任务卷积神经网络的图像隐写分析方法 | |
| CN115879516B (zh) | 一种数据取证方法 | |
| WO2024011859A1 (zh) | 一种基于神经网络的人脸检测方法和装置 | |
| CN116977343A (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
| CN113506287A (zh) | 全视野病理切片图像分类方法、装置、设备及存储介质 | |
| WO2023283781A1 (zh) | 用于生成材料的微观结构数据的方法 | |
| Lu et al. | A sketch-based generation model for diverse ceramic tile images using generative adversarial network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |