CN112097684B - 一种基于多姿态带结构光的视觉测量***及测量方法 - Google Patents
一种基于多姿态带结构光的视觉测量***及测量方法 Download PDFInfo
- Publication number
- CN112097684B CN112097684B CN202011277654.0A CN202011277654A CN112097684B CN 112097684 B CN112097684 B CN 112097684B CN 202011277654 A CN202011277654 A CN 202011277654A CN 112097684 B CN112097684 B CN 112097684B
- Authority
- CN
- China
- Prior art keywords
- product
- ccd camera
- band
- band structure
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Textile Engineering (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于多姿态带结构光的三维视觉测量***和测量方法,测量***包括输送平台、CCD相机、带结构光光学***和计算机,所述输送平台用于输送待测产品,所述CCD相机用于拍摄待测产品的表面图像,所述带结构光光学***用于产生在CCD相机两侧对称布局的若干带结构光,所述计算机用于接收所述CCD相机拍摄的图像。测量方法包括安装CCD相机和带结构光光学***、制作带结构光和获取产品表面的四维图像。本发明提供的基于多姿态带结构光的三维视觉测量***,通过在CCD相机两侧以多角度姿态对称布置的若干带结构光,可以同步以不同角度的光源照射来消除拍照时的光源盲区,得到边缘清晰的产品表面图像,达到对产品的精确测量。
Description
技术领域
本发明涉及视觉测量技术领域,尤其涉及一种基于多姿态带结构光的视觉测量***及测量方法。
背景技术
在冲压件、机加工零件、板材等生产过程中,为了保证产品质量通常需要对产品进行视觉测量,以检验其尺寸是否合格以及是否存在其他缺陷等。目前现有的测量方法一般为利用多条线结构光照射产品区域、采用面阵摄像机成像,对线结构光投影的产品表面图像进行处理,以判断产品是否存在缺陷等。该方法相比二维图像方法,可测出产品的高度,显著提升准确性。但是,这类方法一方面难以检测出光线未照射区域的形状变化,另一方面也不能得出产品表面的灰度值,精度较低,应用受限。
发明内容
为解决上述问题,本发明提供了一种基于多姿态带结构光的视觉测量***及测量方法。
为实现上述技术效果,本发明的技术方案为:
一种基于多姿态带结构光的三维视觉测量***,包括输送平台、CCD相机、带结构光光学***和计算机,所述输送平台用于输送待测产品,所述CCD相机用于拍摄待测产品的表面图像,所述带结构光光学***用于产生若干沿待测产品的运动方向在CCD相机两侧以不同的角度姿态对称布局的带结构光,所述计算机用于接收所述CCD相机拍摄的图像并进行信息处理。
优选的,若干所述带结构光在CCD相机两侧均匀布局,且布局的角度范围为0-180°。
优选的,所述带结构光光学***包括若干沿待测产品的运动方向在CCD相机两侧对称布置的带结构光光源,所述带结构光光源包括激光器、鲍威尔棱镜和掩膜,所述掩膜加装在所述鲍威尔棱镜下方。
优选的,所述掩膜为矩形掩膜或带特征掩膜等。
此外,本发明提供了一种基于多姿态带结构光的三维视觉测量***的测量方法,包括以下步骤:
S1、安装CCD相机和带结构光光学***,所述带结构光光学***对称分布在CCD相机两侧;
S2、制作带结构光,其过程为:开启带结构光光学***中的激光器,将激光器产生的激光束依次通过鲍威尔棱镜和掩膜,生成特定尺寸范围且边缘清晰的带结构光;
S3、开启CCD相机,获取产品表面任意点的四维坐标,其过程为:使待测产品在输送平台上按照一定速度向前运动,CCD相机连续扫描拍照来获取产品的表面的二维图像,并传输至计算机,计算机接收图像后进行信息处理,获得产品表面任意点的三维坐标,并通过叠加图像中各点的灰度值,获得产品表面的任意点的四维坐标。
优选的,所述步骤S2中,生成的带结构光为宽度5-20mm的平行带状激光线,其上下边缘的轮廓清晰且直线度小于0.1mm,具体根据测量精度要求选择。
优选的,所述步骤S3中,获得产品表面任意点的三维坐标的过程为:通过带结构光的宽度、入射角度以及理论上在平面上投影的坐标与该带结构光在二维图像中的投影宽度和投影坐标结合,基于CCD相机的标定数据可计算出该投影边缘轮廓的三维坐标;通过在CCD相机两侧以不同的角度姿态对称布置的若干带结构光,可获得产品表面若干条线的三维坐标,并通过数学拟合获得待测产品表面任意点的三维坐标(X,Y,Z)。
优选的,所述步骤S3中,所述四维坐标为(X,Y,Z,P),其中,P为灰度值,所述灰度值由二维图像中带结构光的亮度来获得。
本发明的有益效果是:
(1)本发明提供了一种基于多姿态带结构光的三维视觉测量***,通过在鲍威尔棱镜下方加装掩膜,制作了边缘清晰的带结构光。
(2)通过在CCD相机两侧以多角度姿态对称布置的若干带结构光,可以同步以不同角度的光源照射可以消除拍照时的光源盲区,得到边缘清晰的产品表面图像,达到对产品的精确测量。
(3)基于多条带结构光的清晰的边缘轮廓及亮度,可计算获得产品表面任意点的四维坐标。测量精度高,较现有的线结构光测量方法,效率提升2-5倍,精度可以做到像素级精度。
附图说明
图1是本发明基于多姿态带结构光的三维视觉测量***的原理示意图;
图2是本发明带结构光的布局图,其中图2-a为带结构光分布示意图,图2-b为带结构光投射到输送平台表面形成光带示意图;
图3是本发明带结构光消除视觉盲区的原理图;
图4是本发明带结构光产生的原理示意图;
图5是本发明矩形掩膜的原理示意图;
图6是本发明带特征掩膜的原理示意图;
图7是本发明一条带结构光入射到输送平台表面时,带结构光上下边缘在CCD相机中获取坐标的示意图;
图8是本发明两条带结构光入射到输送平台表面时,带结构光上下边缘在CCD相机中分别获取坐标的示意图;
图9为当待测产品经过带结构光时,带结构光前后边缘的X坐标示意图;
图10为多条带结构光通过CCD相机连续扫描可得到的三维轮廓曲线;
图11为带结构光边缘内部图像的投影原理示意图。
图中:1CCD相机,2带结构光光学***,21激光器,22鲍威尔棱镜,23掩膜,231矩形掩膜,232矩形通光区域,233带特征掩膜,234带特征通光区域,235特征图形,24光线,25带结构光,3输送平台,4待测产品。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易被本领域人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
如图1,一种基于多姿态带结构光的三维视觉测量***,包括输送平台3、CCD相机1、带结构光光学***2和计算机(图中未示出),所述输送平台3用于输送待测产品4,所述CCD相机1用于拍摄待测产品4的表面图像,所述带结构光光学***2用于产生若干沿待测产品的运动方向在CCD相机1两侧以不同的角度姿态对称布局的带结构光25,所述计算机用于接收所述CCD相机1拍摄的图像并进行信息处理。其中,图中箭头方向为待测产品4的运动方向。
若干所述带结构光25在CCD相机1两侧均匀布局,且布局的角度范围为0-180°。本申请的带结构光25为轮廓清晰的带状光线,其互不干扰,且覆盖输送平台3的全宽(若输送平台3宽度超过所述带结构光25宽度,可采用多光源并列覆盖的方式)。
如图2至图6所示,若干所述带结构光25采用图2-a所示的方式对称布局以及多角度布局,比如:若干所述带结构光25可以在CCD相机1两侧呈圆弧形均匀布局,且布局的圆心角范围为0-180°,投射到输送平台3表面形成图2-b所示的图形。这种光源布局方式可以解决光源盲区的问题,比如,设待测产品4与输送平台3的夹角为α,带结构光25与输送平台3的夹角为β,当待测产品4与输送平台3的夹角α大于带结构光25与输送平台3的夹角β时,待测产品4表面的c区域永远无法被光源照射,从而形成视觉盲区,本申请采用多角度和对称布局的光源后,可以同步以不同角度的、对称分布的带结构光光源照射,可以消除拍照时的光源盲区。
优选的,所述带结构光光学***2包括若干沿待测产品4的运动方向在CCD相机1两侧对称布置的带结构光光源,所述带结构光光源包括激光器21、鲍威尔棱镜22和掩膜23,所述掩膜23加装在所述鲍威尔棱镜22的下方。
优选的,所述掩膜23为矩形掩膜231或带特征掩膜233。其中,矩形掩膜231上的设有矩形通光区域232,所述带特征掩膜233上的设有带特征通光区域234,其上下边缘具有特征方格等特征图形235,可以提高带结构光25照射区域边缘的识别精度。
此外,本发明提供了一种基于多姿态带结构光的三维视觉测量***的测量方法,包括以下步骤:
S1、安装CCD相机1和带结构光光学***2,所述带结构光光学***2对称分布在CCD相机1两侧;
S2、制作带结构光,其过程为:开启带结构光光学***2中的激光器21,将激光器21产生的激光束依次通过鲍威尔棱镜22和掩膜23,如不加设掩膜23,由激光束通过鲍威尔棱镜22后直接生成的如图4所示的具有一定宽度的光线24,由于生成的光线24的上下边缘不够清晰,本申请在鲍威尔棱镜22下加装掩膜23,光线24通过掩膜23上的通光区域后,生成特定尺寸范围(长度、宽度范围)且边缘清晰的带结构光25;
S3、开启CCD相机1,获取待测产品4表面任意点的四维坐标,其过程为:使待测产品4在输送平台3上按照一定速度向前运动,CCD相机1连续扫描拍照来获取待测产品4的表面的二维图像,并传输至计算机,计算机接收图像后进行信息处理,获得待测产品4表面任意点三维坐标,并通过叠加CCD相机1拍摄获取的二维图像中各点的灰度值,来获得待测产品4表面任意点的四维坐标,进而获得产品表面的四维图像。
优选的,所述步骤S2中,生成的带结构光25为宽度5-20mm的平行带状激光线,其上下边缘的轮廓清晰且直线度小于0.1mm,具体根据测量精度要求选择。
本申请在制作带结构光25时,在鲍威尔棱镜22下方加装掩膜23,通过改变掩膜23上通光区域的长度和宽度的尺寸,确定带结构光25照射到待测产品4表面的尺寸范围,同时获取清晰且准确的带结构光25上下边缘轮廓。
如图7至图11所示,所述步骤S3中,获得待测产品4表面任意点的三维坐标的过程为:通过带结构光25的宽度、入射角度以及理论上在输送平台3表面上投影坐标与该带结构光25在二维图像中的投影宽度和投影坐标结合,基于CCD相机1的标定数据可计算出该投影边缘轮廓的三维坐标;通过在CCD相机1两侧以不同的角度姿态对称布置的若干带结构光25,可获得待测产品4表面若干条线的三维坐标,并通过数学拟合获得待测产品4表面任意点的三维坐标(X,Y,Z)。
所述步骤S3中,所述四维坐标为(X,Y,Z,P),其中,P为灰度值,所述灰度值由二维图像中带结构光的亮度来获得。
其推导过程具体为:以一条带结构光25为例,当该带结构光25直接照射到输送平台3的表面时,在图7所示XOZ坐标系中带结构光25与输送平台3的夹角为θ1,带结构光25上下边缘在CCD相机1中获取的X轴坐标为Xa和Xb,Z坐标为0。
当待测产品4经过带结构光25时,带结构光25前后边缘的X坐标为Xa1和Xb1,对应的Z坐标分别为:
Za1=(Xa-Xa1)*tan(θ1)
Zb1=(Xb-Xb1)*tan(θ1)
对于多条带结构光25,其X轴坐标有固定距离关系,两条带结构光25的夹角分别为θ1和θ2,基础坐标分别为Xa、Xb和Xc、Xd,则两条带结构光25扫描所得的图像的坐标系可以统一到一个坐标系下。
基于多条带结构光25通过CCD相机1连续扫描可得到如图10所示的三维轮廓曲线。通过增加带结构光25的数量和降低扫描速度可以增加轮廓线的密度,提高测量精度。
其中,相机拍摄的二维图像信息包括(U,V,P)三个参数,其中U和V是像素坐标,P为该像素点的灰度值。通过标定获得像素到世界坐标系的转换矩阵R,可得(X,Y,Z)=(U,V,θ1)R。进一步引入该点的灰度值P,得到带结构光25边缘曲线上各点的四维数据(X,Y,Z,P)=(U,V,θ1,P)R。
对于带结构光25上下边缘内部图像的物理坐标采用空间样条曲线拟合方式计算,C为边缘轮廓线内任意点,截图Y值相同面与各边缘轮廓线的交点N1(X1,Y,Z1)、N2(X2,Y,Z2)、N3(X3,Y,Z3)、N4(X4,Y,Z4),分别通过3次样条曲线拟合获取。
灰度值计算过程如图11,已知a和b点为相邻像素点,其像素坐标为(Ua,Va,Pa)和(Ub,Vb,Pb),对应物理点A坐标(Xa,Ya,Za,Pa)和B坐标(Xb,Yb,Zb,Pb),对于C的世界坐标为(Xc,Yc,Zc),其投影点c的灰度计算方式如下:P=(ZC-ZA)/(ZB-ZA)*(Pb-Pa)。
在本公开中,术语如“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,只是为了便于叙述本公开各部分的结构关系而确定的关系词,不能理解为对本公开的限制。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (3)
1.一种基于多姿态带结构光的视觉测量***的测量方法,其特征在于,所述视觉测量***包括输送平台、CCD相机、带结构光光学***和计算机,所述输送平台用于输送待测产品,所述CCD相机用于拍摄待测产品的表面图像,所述带结构光光学***用于产生若干沿待测产品的运动方向在CCD相机两侧以不同的角度姿态对称布局的带结构光,所述计算机用于接收所述CCD相机拍摄的图像并进行信息处理,若干所述带结构光在CCD相机两侧均匀布局,且布局的角度范围为0-180°,所述带结构光光学***包括若干沿待测产品的运动方向在CCD相机两侧对称布置的带结构光光源,所述带结构光光源包括激光器、鲍威尔棱镜和掩膜,所述掩膜加装在所述鲍威尔棱镜下方,所述掩膜为矩形掩膜或带特征掩膜;所述的一种基于多姿态带结构光的视觉测量***的测量方法,包括以下步骤:
S1、安装CCD相机和带结构光光学***,所述带结构光光学***对称分布在CCD相机两侧;
S2、制作带结构光,其过程为:开启带结构光光学***中的激光器,将激光器产生的激光束依次通过鲍威尔棱镜和掩膜,生成特定尺寸范围且边缘清晰的带结构光;
S3、开启CCD相机,获取产品表面任意点的四维坐标,其过程为:使待测产品在输送平台上按照一定速度向前运动,CCD相机连续扫描拍照来获取产品的表面的二维图像,并传输至计算机,计算机接收图像后进行信息处理,获得产品表面任意点的三维坐标,并通过叠加图像中各点的灰度值,获得产品表面的任意点的四维坐标;所述步骤S3中,获得产品表面任意点的三维坐标的过程为:通过带结构光的宽度、入射角度以及理论上在平面上投影的坐标与该带结构光在二维图像中的投影宽度和投影坐标结合,基于CCD相机的标定数据计算出该投影边缘轮廓的三维坐标;通过在CCD相机两侧以不同的角度姿态对称布置的若干带结构光,可获得产品表面若干条线的三维坐标,并通过数学拟合获得待测产品表面任意点的三维坐标(X,Y,Z)。
2.根据权利要求1所述的一种基于多姿态带结构光的视觉测量***的测量方法,其特征在于,所述步骤S2中,生成的带结构光为宽度5-20mm的平行带状激光线,其上下边缘的轮廓清晰且直线度小于0.1mm。
3.根据权利要求1所述的一种基于多姿态带结构光的视觉测量***的测量方法,其特征在于,所述步骤S3中,所述四维坐标为(X,Y,Z,P),其中,P为灰度值,所述灰度值由二维图像中带结构光的亮度来获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011277654.0A CN112097684B (zh) | 2020-11-16 | 2020-11-16 | 一种基于多姿态带结构光的视觉测量***及测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011277654.0A CN112097684B (zh) | 2020-11-16 | 2020-11-16 | 一种基于多姿态带结构光的视觉测量***及测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112097684A CN112097684A (zh) | 2020-12-18 |
CN112097684B true CN112097684B (zh) | 2021-05-07 |
Family
ID=73785174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011277654.0A Active CN112097684B (zh) | 2020-11-16 | 2020-11-16 | 一种基于多姿态带结构光的视觉测量***及测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112097684B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112710235B (zh) * | 2020-12-21 | 2022-08-26 | 阿波罗智联(北京)科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN114719757B (zh) * | 2022-03-23 | 2024-01-30 | 太原科技大学 | 一种基于线结构光的钢板测长***及其测量方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202994106U (zh) * | 2012-11-14 | 2013-06-12 | 湘潭大学 | 一种基于机器人视觉伺服的大型复杂零件测量装置 |
WO2013144293A1 (en) * | 2012-03-30 | 2013-10-03 | Nikon Metrology Nv | Improved optical scanning probe |
CN105571512A (zh) * | 2015-12-15 | 2016-05-11 | 北京康拓红外技术股份有限公司 | 一种基于深度信息与可视图像信息相融合的车辆信息采集方法及装置 |
CN207649563U (zh) * | 2017-11-21 | 2018-07-24 | 苏州睿牛机器人技术有限公司 | 多光源激光检测传感器 |
EP3218670B1 (en) * | 2014-11-14 | 2018-08-15 | Envipco Holding N.V. | Device for measuring the length and diameter of a container using structured lighting and its use |
EP2909807B1 (en) * | 2012-10-17 | 2020-02-19 | Cathx Research Ltd. | Improvements in relation to underwater imaging for underwater surveys |
-
2020
- 2020-11-16 CN CN202011277654.0A patent/CN112097684B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013144293A1 (en) * | 2012-03-30 | 2013-10-03 | Nikon Metrology Nv | Improved optical scanning probe |
EP2909807B1 (en) * | 2012-10-17 | 2020-02-19 | Cathx Research Ltd. | Improvements in relation to underwater imaging for underwater surveys |
CN202994106U (zh) * | 2012-11-14 | 2013-06-12 | 湘潭大学 | 一种基于机器人视觉伺服的大型复杂零件测量装置 |
EP3218670B1 (en) * | 2014-11-14 | 2018-08-15 | Envipco Holding N.V. | Device for measuring the length and diameter of a container using structured lighting and its use |
CN105571512A (zh) * | 2015-12-15 | 2016-05-11 | 北京康拓红外技术股份有限公司 | 一种基于深度信息与可视图像信息相融合的车辆信息采集方法及装置 |
CN207649563U (zh) * | 2017-11-21 | 2018-07-24 | 苏州睿牛机器人技术有限公司 | 多光源激光检测传感器 |
Non-Patent Citations (1)
Title |
---|
一种用于焊缝形貌质量检测的精密线结构光传感器设计;刘乾乾等;《河南科技》;20161231(第23期);正文第1节,图1 * |
Also Published As
Publication number | Publication date |
---|---|
CN112097684A (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
EP1601928B1 (en) | Scanning system with stereo camera set | |
CN112097684B (zh) | 一种基于多姿态带结构光的视觉测量***及测量方法 | |
EP3314237B1 (en) | System and method for developing three-dimensional surface information corresponding to a contoured glass sheet | |
CN107924454B (zh) | 用于生成与成型面板对应的三维表面信息的***和方法 | |
CN103499297A (zh) | 一种基于ccd的高精度测量方法 | |
CN104729422A (zh) | 用于校正激光测量装置的方法及其*** | |
CN110672037A (zh) | 基于相移法的线性光源光栅投影三维测量***及方法 | |
JP6275622B2 (ja) | 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ | |
CN104266609B (zh) | 连续扫描型计测装置 | |
WO2016209412A1 (en) | System and method for measuring reflected optical distortion in contoured panels having specular surfaces | |
CN216449449U (zh) | 一种表面检测装置 | |
CN111738971B (zh) | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 | |
CN115082538A (zh) | 基于线结构光投影的多目视觉平衡环零件表面三维重建***及方法 | |
CN214767039U (zh) | 一种板材检测装置 | |
US20160349045A1 (en) | A method of measurement of linear dimensions of three-dimensional objects | |
CN112361982B (zh) | 一种大幅面工件三维数据提取方法及*** | |
CN113358026A (zh) | 一种基于双线阵ccd相机的物***置和轮廓信息的检测方法 | |
CN112017244A (zh) | 一种高精度平面物体定位方法及装置 | |
Kim et al. | Development of Structured Light 3D Scanner Based on Image Processing | |
CN114252024B (zh) | 一种单测量模组多工作模式工件三维测量装置及方法 | |
WO2023105664A1 (ja) | ワーク計測装置およびワーク計測方法 | |
JP2018044863A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
Zhang et al. | Probe imaging vision coordinate measuring system using single camera | |
CN117765053A (zh) | 一种基于线结构激光的深度相机***及三维场景重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |