CN109724534A - 一种用于迭代关联成像的阈值选取方法与装置 - Google Patents

一种用于迭代关联成像的阈值选取方法与装置 Download PDF

Info

Publication number
CN109724534A
CN109724534A CN201910102665.6A CN201910102665A CN109724534A CN 109724534 A CN109724534 A CN 109724534A CN 201910102665 A CN201910102665 A CN 201910102665A CN 109724534 A CN109724534 A CN 109724534A
Authority
CN
China
Prior art keywords
threshold value
relevance imaging
iteration
matrix
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910102665.6A
Other languages
English (en)
Other versions
CN109724534B (zh
Inventor
郜峰利
宫晓斌
吕小凤
岳聪
宋俊峰
郭树旭
陈箭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin Province Shan Gen Sheng Technology Co Ltd
Jilin University
Original Assignee
Jilin Province Shan Gen Sheng Technology Co Ltd
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin Province Shan Gen Sheng Technology Co Ltd, Jilin University filed Critical Jilin Province Shan Gen Sheng Technology Co Ltd
Priority to CN201910102665.6A priority Critical patent/CN109724534B/zh
Publication of CN109724534A publication Critical patent/CN109724534A/zh
Application granted granted Critical
Publication of CN109724534B publication Critical patent/CN109724534B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Holo Graphy (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于迭代关联成像的阈值选取方法与装置,属于关联成像技术领域,该装置包括微控制器、驱动器、步进电机、伺服电机及迭代关联成像重构***。本发明引入微控制器驱动伺服电机和步进电机完成赝热光源的制备,阈值选取过程在电脑端完成。该发明方法部分主要使用K‑均值聚类方法对某一特定重构算法中的噪声干扰项和重构有益项进行聚类,由此得到迭代阈值,再以此重构算法得到的重构结果作为初始值构造假设的噪声干扰项,通过迭代运算,实现对实际噪声干扰的逼近,最后和实际噪声做差,从而达到抑制实际噪声干扰的效果。在实际测量过程中,此方法选取的阈值对重构质量有较大提升,可以很好解决迭代关联成像中的阈值选取问题。

Description

一种用于迭代关联成像的阈值选取方法与装置
技术领域
本发明涉及关联成像技术领域,特别涉及一种用于迭代关联成像的阈值选取方法和装置。
背景技术
关联成像作为一种新的成像方式,因其具有高分辨率,抗干扰能力强,非局域性等优点,成为了近三十年来量子光学领域研究的热点之一。关联成像采用了两个探测器对光场进行符合测量,且对物体反射或者透射的光仅探测总光强而不检测其空间分布,在与目标物体关于赝热光源空间对称的位置处由一电荷耦合器件探测照射至物面的光场空间强度分布,最后通过关联运算重构出物体的像,实现了探测和成像分离。关联成像重构算法作为关联成像中的一个重要环节,在关联成像的实用化进程中发挥着巨大作用。近些年研究人员提出了许多远远优于传统算法的重构算法,但是其重构结果仍然存在着大量背景噪声,可以通过迭代算法对其重构结果进行进一步的提升。迭代重构算法在某一算法的基础上选取适当阈值,再以这一重构算法得到的重构结果作为初始值构造假设的噪声干扰项,通过迭代运算,实现对实际噪声干扰的逼近。最后和实际噪声做差,从而达到抑制实际噪声的干扰的效果。但是,在此之前迭代重构算法的阈值选取只有一个大致的区间,并无***的选取方法,只能通过多次测试得到一个近似阈值。
发明内容
为了克服现有技术中存在的上述缺陷,本发明的目的是将K-均值聚类的方法应用到阈值选取中,从而为迭代关联成像中阈值的选取提供一种可行的办法,可以很好解决迭代关联成像中的阈值选取问题。
本发明的目的是通过下述技术方案实现的:
一种用于迭代关联成像的阈值选取的装置,包括激光1、光扩束器2、毛玻璃3、光束分束器4、待测物体5、凸透镜6、桶探测器7、光电耦合器件8、微控制器9、伺服电机驱动器10、步进电机驱动器11、伺服电机12、步进电机13、触摸屏14及计算机15;
其中,所述激光1通过扩束器2后照射在旋转的毛玻璃3上生成赝热光源,赝热光源经过光束分束器4后被分成两束光分别为物臂光束和参考臂光束,物臂光束照射待测物体5,经过凸透镜6成像后被桶探测器7记录总光强,参考光束照射与待测物体5关于赝热光源空间对称位置处的光电耦合器件8后被记录光场分布;所述微控制器9分别通过伺服电机驱动器10和步进电机驱动器11对伺服电机12和步进电机13控制,伺服电机12控制毛玻璃3旋转,步进电机13控制毛玻璃3纵向移动,伺服电机12的旋转角速度和步进电机13的步进速度在触摸屏14上设置,伺服电机12每旋转一周,微控制器9驱动步进电机13移动一个步长,使激光照射到毛玻璃上任意位置;在激光照射毛玻璃过程完成后由微控制器向桶探测器和光电耦合器件同时发射一个脉冲,以此指示桶探测器和光电耦合器件开始执行记录过程,阈值选取过程在计算机15完成。
本发明的另一目的在于提供一种用于迭代关联成像的阈值选取方法,在已知散斑场光场分布、散斑场尺寸大小和采样次数的情况下,对散斑场光场分布生成的矩阵Φ和这一矩阵转置ΦT或和其伪逆矩阵的乘积结果进行聚类,把使重构质量变差部分称为噪声干扰项,对重构质量有益的部分称为重构有益项,以此选择阈值;阈值选取可通过在计算机中编写阈值选取函数完成。
本发明适用于矩阵类型的迭代关联成像,接下来主要以传统迭代关联成像和迭代伪逆关联成像说明此方法的步骤,具体步骤如下:
(1)、激光光源照射旋转毛玻璃得到赝热光源,伺服电机控制毛玻璃的旋转,步进电机控制毛玻璃纵向移动,伺服电机每旋转一周,步进电机移动一个步长,使不同时刻激光照射毛玻璃后产生不同的散斑场;
(2)、赝热光源被分束器分成物臂光束和参考臂光束;假设待测物体传输函数和空间分布均在二维坐标系中表示,x,y分别代表横坐标和纵坐标。物臂光束照射传输系数为T(x,y)的待测物体后由桶探测器记录其总光强,第n次探测得到的总光强记做Bn,同时参考臂光束的光场分布被CCD接收,其第n次测量得到散斑场记做In(x,y);
(3)将N次测量得到的散斑场逐行排列,生成观测矩阵Φ,并求出其伪逆矩阵;
伪逆关联成像的重构公式为:
其中,Φ是将N次测量得到的散斑场逐行排列,生成的观测矩阵,
是观测矩阵Φ的伪逆矩阵;
传统关联成像的重构公式的矩阵形式表示为
<Bn>是N次测量得到的总光强的均值;
(4)、理论上,观测矩阵和其转置矩阵乘积结果ΦTΦ或者观测矩阵和其伪逆矩阵乘积结果中的对角线元素对成像质量起关键作用,非对角线元素含有大量噪声干扰。所以把ΦTΦ和分别写成如下形式:
ΦTΦ=s+n
其中,s是ΦTΦ或的对角线元素组成的对角矩阵,n是ΦTΦ或的非对角线元素组成的噪声干扰项矩阵;
传统关联成像的重构公式为
伪逆关联成像的重构公式为
(5)、为了逼近实际噪声干扰,分别使用传统关联重构结果和伪逆关联成像重构结果作为初始值,构造假设噪声干扰项于是传统迭代关联成像和迭代伪逆关联成像的重构公式分别表示为
其中n'GI,n'PGI分别是传统迭代关联成像重构算法和迭代伪逆关联成像重构算法的阈值。
(6)、对观测矩阵和其伪逆矩阵乘积结果或者是观测矩阵和其转置矩阵乘积结果进行聚类,此过程可通过在电脑端编写阈值选取函数来完成,本发明使用MATLAB软件编写阈值选取函数,具体如下:
输入参量为散斑场光场分布、图片大小和采样次数,输出参数为阈值,函数部分主要完成K-均值聚类法对观测矩阵和其转置乘积结果ΦTΦ或者是观测矩阵和其伪逆矩阵的乘积结果的非对角线元素聚类;为了减少重构时间且ΦTΦ和的对角线元素对重构质量影响不大,所以只对非对角线元素进行聚类。按照ΦTΦ或者非对角线上各个数据点的分布情况确定聚类数目,再给出每一类的初始聚类中心,根据非对角线数据点到每个初始聚类中心点的距离,把所有数据点分属到各自的类别中;在分属好的类别中依照类内各数据点和这一类的初始聚类中心点的距离平均值,得到新的聚类中心点。在得到新的聚类中心点后,再次根据非对角线数据点到新的聚类中心点的距离,重新划分聚类,直到新确定的聚类中心点不再变化,聚类结束;选择聚类中心最小数据子集的最大值作为阈值n′;
(7)、将此阈值n′用于传统迭代关联成像和迭代伪逆关联成像的重构算法中。每次迭代重构算法后,本发明得到的阈值n′可除去一部分图像背景噪声,多次迭代重构后可使图像重构质量得到较大提升。
进一步地,微控制器控制步进电机使激光光斑照射在毛玻璃外沿,旋转电机每旋转一周步进电机移动一个步长,直至激光光斑移动到毛玻璃内沿。
进一步地,微控制器每隔一定时间间隔在同一时刻发送触发脉冲信号至光电耦合器件和桶探测器,使其同步采集数据。
进一步地,步骤(6)所述的聚类采用K-均值聚类方法,阈值为聚类中心最小数据子集的最大值。
与现有技术相比,本发明具有如下优点:
现有技术对于阈值选取只有个大致的范围,并无科学的选取办法,只能多次测试后选择一个较为理想的阈值。本方法为阈值选取提供了一种新思路,即通过聚类方法选取阈值,用聚类得到阈值重构质量更加理想且阈值选取基本依靠计算机软件即可完成,硬件开销小,阈值选取方便快速,实现简单合理,有较广泛的应用前景。
附图说明
图1是迭代关联成像阈值选取的***图;
图中:激光1、光扩束器2、毛玻璃3、光束分束器4、待测物体5、凸透镜6、桶探测器7、光电耦合器件8、微控制器9、伺服电机驱动器10、步进电机驱动器11、伺服电机12、步进电机13、触摸屏14、计算机15;
图2是伪逆迭代关联成像中的非对角线元素聚类效果图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施案例迭代伪逆关联成像算法对本发明做进一步的详细描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部实施例。基于本发明的实施例,本领域普通技术人员在没有做出创新性劳动成果前提下所获得的所有其他实施例,都属于本发明保护的范畴。
实施例
本发明提供一种用于迭代关联成像的阈值选取方法和装置。所述装置的主要功能是制备赝热光源,完成某一特定重构算法,例如传统关联成像算法、伪逆关联成像算法和差分关联成像重构算法等。
请参阅图1,图1是迭代关联成像阈值选取的***图,包含1、激光2、光扩束器3、毛玻璃4、光束分束器5、待测物体6、凸透镜7、桶探测器8、光电耦合器件9、微控制器10、伺服电机驱动器11、步进电机驱动器12、伺服电机13、步进电机14、触摸屏15、计算机。
如图1所示,激光1通过扩束器2后照射在旋转的毛玻璃3上生成赝热光源,赝热光源经过分束器4后被分成两束。一束光照射待测物体5,经过凸透镜6成像后被桶探测器7记录总光强,另一束光照射与目标物体关于赝热光源空间对称位置处的光电耦合器件8后被记录光场分布。微控制器9分别通过驱动器10和11完成对伺服电机12和步进电机13的控制,伺服电机使毛玻璃开始旋转,步进电机使毛玻璃纵向移动,伺服电机的旋转角速度和步进电机的步进速度可在触摸屏14上设置,适当调整两个电机的运行速度,使激光可以照射到毛玻璃上任意位置。在激光照射毛玻璃过程完成后由微控制器向桶探测器和光电耦合器件同时发射一个脉冲,以此指示桶探测器和光电耦合器件开始执行记录过程。阈值选取过程在计算机端15完成。
本发明提供一种用于迭代关联成像的阈值选取方法,具体包括以下步骤:
1.激光光源通过旋转毛玻璃片得到赝热光源,伺服电机控制毛玻璃的旋转,步进电机控制毛玻璃纵向移动,目的是产生不同的散斑场。
2.赝热光源被分束器分成物臂光束和参考臂光束;物臂光束照射传输系数为T(x,y)的待测物体后由桶探测器记录其总光强,第n次探测得到的总光强记做Bn,同时参考臂光束的光场分布被CCD接收,其第n次测量得到散斑场记做In(x,y)。
3.迭代伪逆关联成像的重构公式可表示为
其中,Φ是将N次测量得到的散斑场逐行排列,生成的观测矩阵,是观测矩阵Φ的伪逆矩阵。
4.为了逼近实际噪声干扰,使用伪逆关联成像重构结果作为初始值,构造假设噪声干扰项于是迭代伪逆关联成像的重构公式可表示为
5.对观测矩阵和其伪逆矩阵乘积结果的非对角线元素聚类。此过程可通过在电脑端编写阈值选取函数来完成;其中输入参量为散斑场光场分布、图片大小和采样次数,输出参数为阈值,函数部分主要完成K-均值聚类法对观测矩阵和其伪逆矩阵的乘积结果的非对角线元素聚类。为了减少重构时间且的对角线元素对重构质量影响不大,所以只对非对角线元素进行聚类。按照非对角线上各个数据点的分布情况确定聚类数目,再给出每一类的初始聚类中心,非对角线数据点离哪个初始聚类中心点的距离近,就把该数据点分属到这一类别中;在分属好的类别中依照类内各数据点和这一类的初始聚类中心点的距离平均值,得到新的中心点。在得到新的中心点后,再次执行上一步骤,重新划分聚类;直到新确定的中心点不再变化,聚类结束,选择聚类中心最小数据子集的最大值作为阈值n′。图2是伪逆迭代关联成像中的非对角线元素聚类效果图,其中,散斑场大小为50×50像素,采样次数为600次。根据中各个数据点分布确定聚类数目为3,设定每一类的初始聚类中心。实验表明,聚类结束后的最下面一类为噪声干扰项,中间和上面两层均为重构有益项,所以选择聚类中心最小数据子集的最大值作为阈值n′。
综上所述,本发明所涉及的一种用于迭代关联成像阈值选取的方法和装置,阈值选取基本依靠计算机软件即可完成,硬件开销小,阈值选取方便快速,实现简单合理,有较广泛的应用前景。

Claims (2)

1.一种用于迭代关联成像的阈值选取的装置,其特征在于,包括激光(1)、光扩束器(2)、毛玻璃(3)、光束分束器(4)、待测物体(5)、凸透镜(6)、桶探测器(7)、光电耦合器件(8)、微控制器(9)、伺服电机驱动器(10)、步进电机驱动器(11)、伺服电机(12)、步进电机(13)、触摸屏(14)及计算机(15);
其中,所述激光(1)通过扩束器(2)后照射在旋转的毛玻璃(3)上生成赝热光源,赝热光源经过光束分束器(4)后被分成两束光分别为物臂光束和参考臂光束,物臂光束照射待测物体(5),经过凸透镜(6)成像后被桶探测器(7)记录总光强,参考光束照射与待测物体(5)关于赝热光源空间对称位置处的光电耦合器件(8)后被记录光场分布;所述微控制器(9)分别通过伺服电机驱动器(10)和步进电机驱动器(11)对伺服电机(12)和步进电机(13)控制,伺服电机(12)控制毛玻璃(3)旋转,步进电机(13)控制毛玻璃(3)纵向移动,伺服电机(12)的旋转角速度和步进电机(13)的步进速度在触摸屏(14)上设置,伺服电机(12)每旋转一周,微控制器(9)驱动步进电机(13)移动一个步长,使激光照射到毛玻璃上任意位置;在激光照射毛玻璃过程完成后由微控制器向桶探测器和光电耦合器件同时发射一个脉冲,以此指示桶探测器和光电耦合器件开始执行记录过程,阈值选取过程在计算机(15)完成。
2.如权利要求1所述的一种用于迭代关联成像的阈值选取的装置的阈值选取方法,其特征在于,具体步骤如下:
(1)、激光光源照射旋转毛玻璃得到赝热光源,伺服电机控制毛玻璃的旋转,步进电机控制毛玻璃纵向移动,伺服电机每旋转一周,步进电机移动一个步长,使不同时刻激光照射毛玻璃后产生不同的散斑场;
(2)、赝热光源被分束器分成物臂光束和参考臂光束;设待测物体传输函数和空间分布均在二维坐标系中表示,x,y分别代表横坐标和纵坐标;物臂光束照射传输系数为T(x,y)的待测物体后由桶探测器记录其总光强,第n次探测得到的总光强记做Bn,同时参考臂光束的光场分布被CCD接收,其第n次测量得到散斑场记做In(x,y);
(3)将N次测量得到的散斑场逐行排列,生成观测矩阵Φ,并求出其伪逆矩阵;
伪逆关联成像的重构公式为:
其中,Φ是将N次测量得到的散斑场逐行排列,生成的观测矩阵,是观测矩阵Φ的伪逆矩阵;
传统关联成像的重构公式的矩阵形式表示为
其中,<Bn>是N次测量得到的总光强的均值;
(4)将ΦTΦ和分别写成如下形式:
ΦTΦ=s+n
其中,s是ΦTΦ或的对角线元素组成的对角矩阵,n是ΦTΦ或的非对角线元素组成的噪声干扰项矩阵;
传统关联成像的重构公式为
伪逆关联成像的重构公式为
(5)、分别使用传统关联重构结果和伪逆关联成像重构结果作为初始值,构造假设噪声干扰项于是传统迭代关联成像和迭代伪逆关联成像的重构公式分别表示为
其中n'GI,n'PGI分别是传统迭代关联成像重构算法和迭代伪逆关联成像重构算法的阈值;
(6)、对观测矩阵和其伪逆矩阵乘积结果或观测矩阵和其转置矩阵乘积结果进行聚类,此过程可通过在电脑端编写阈值选取函数来完成,本发明使用MATLAB软件编写阈值选取函数,具体如下:
输入参量为散斑场光场分布、图片大小和采样次数,输出参数为阈值,阈值选取函数完成K-均值聚类法对观测矩阵和其转置乘积结果ΦTΦ或观测矩阵和其伪逆矩阵的乘积结果的非对角线元素聚类;按照ΦTΦ或者非对角线上各个数据点的分布情况确定聚类数目,再给出每一类的初始聚类中心,根据非对角线数据点到每个初始聚类中心点的距离,把所有数据点分属到各自的类别中;在分属好的类别中依照类内各数据点和这一类的初始聚类中心点的距离平均值,得到新的聚类中心点;在得到新的聚类中心点后,再次根据非对角线数据点到新的聚类中心点的距离,重新划分聚类,直到新确定的聚类中心点不再变化,聚类结束;选择聚类中心最小数据子集的最大值作为阈值n′;
(7)、将此阈值n′用于传统迭代关联成像和迭代伪逆关联成像的重构算法中。
CN201910102665.6A 2019-02-01 2019-02-01 一种用于迭代关联成像的阈值选取方法与装置 Expired - Fee Related CN109724534B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910102665.6A CN109724534B (zh) 2019-02-01 2019-02-01 一种用于迭代关联成像的阈值选取方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910102665.6A CN109724534B (zh) 2019-02-01 2019-02-01 一种用于迭代关联成像的阈值选取方法与装置

Publications (2)

Publication Number Publication Date
CN109724534A true CN109724534A (zh) 2019-05-07
CN109724534B CN109724534B (zh) 2020-05-05

Family

ID=66301308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910102665.6A Expired - Fee Related CN109724534B (zh) 2019-02-01 2019-02-01 一种用于迭代关联成像的阈值选取方法与装置

Country Status (1)

Country Link
CN (1) CN109724534B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955057A (zh) * 2014-03-31 2014-07-30 中国科学院物理研究所 一种关联成像***
CN107655859A (zh) * 2017-09-06 2018-02-02 西安交通大学 周期材料成像方法及其装置
US20180189934A1 (en) * 2015-06-25 2018-07-05 David C. Hyland System and Method of Reducing Noise Using Phase Retrieval
CN109187551A (zh) * 2018-08-27 2019-01-11 中国电力科学研究院有限公司 一种对玻璃绝缘子的玻璃件裂缝进行检测的方法及***
CN109242808A (zh) * 2018-06-28 2019-01-18 南京邮电大学 一种基于分数阶傅里叶变换的关联成像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103955057A (zh) * 2014-03-31 2014-07-30 中国科学院物理研究所 一种关联成像***
US20180189934A1 (en) * 2015-06-25 2018-07-05 David C. Hyland System and Method of Reducing Noise Using Phase Retrieval
CN107655859A (zh) * 2017-09-06 2018-02-02 西安交通大学 周期材料成像方法及其装置
CN109242808A (zh) * 2018-06-28 2019-01-18 南京邮电大学 一种基于分数阶傅里叶变换的关联成像方法
CN109187551A (zh) * 2018-08-27 2019-01-11 中国电力科学研究院有限公司 一种对玻璃绝缘子的玻璃件裂缝进行检测的方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIAOFENG LV等: "Experimental Investigation of Iterative Pseudoinverse Ghost Imaging", 《IEEE PHOTONICS JOURNAL》 *
安晓峰等: "Hadamard编码调制关联成像的阈值处理研究", 《红外与激光工程》 *
张红伟等: "关联成像目标重构的伪逆迭代降噪方法", 《光子学报》 *

Also Published As

Publication number Publication date
CN109724534B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN102510282B (zh) 一种时间分辨单光子计数二维成像***及方法
US7105824B2 (en) High resolution photon emission computed tomographic imaging tool
CN106488744B (zh) X射线拍摄装置以及图像重建方法
CN101524280B (zh) X射线ct装置
WO2019026407A1 (ja) 医用撮像装置及び医用画像処理方法
JP2019025044A5 (zh)
US20070116177A1 (en) Imaging system
US7596204B2 (en) Method and device for the iterative reconstruction of cardiac images
CN108577876A (zh) 一种多边形静止ct及其工作方法
CN101915938B (zh) 一种转换波的偏移成像方法及装置
CN109863512A (zh) 用于通过流形近似进行自动变换的***和方法
CN1918480A (zh) 磁共振成像方法
CN105361900A (zh) 静态实时ct成像***及其成像控制方法
CN102769460B (zh) 一种互补测量的时间分辨单光子计数成像***及方法
CN106132302A (zh) 包括多个x射线源的x射线成像设备
CN100581471C (zh) 用于检查周期性运动的对象的ct方法
CN106204434B (zh) 一种面向大视场高分辨率显微成像的图像迭代重构方法
CN110389139A (zh) 用于感兴趣区域的断层摄影的扫描轨迹
CN108776318A (zh) 磁共振多对比度图像重建
CN1614506B (zh) X射线计算机体层摄影成像方法和装置
NL2020152A (en) Kirchhoff Beam Migration Method Under Complex Topography
CN107621463A (zh) 图像重建方法、装置及显微成像装置
US20140077095A1 (en) Method and System for Collimating
CN109724534A (zh) 一种用于迭代关联成像的阈值选取方法与装置
CN108416834A (zh) 透明目标表面三维重构方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200505