CN109029284B - 一种基于几何约束的三维激光扫描仪与相机标定方法 - Google Patents
一种基于几何约束的三维激光扫描仪与相机标定方法 Download PDFInfo
- Publication number
- CN109029284B CN109029284B CN201810611283.1A CN201810611283A CN109029284B CN 109029284 B CN109029284 B CN 109029284B CN 201810611283 A CN201810611283 A CN 201810611283A CN 109029284 B CN109029284 B CN 109029284B
- Authority
- CN
- China
- Prior art keywords
- calibration plate
- coordinate system
- laser
- formula
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000013598 vector Substances 0.000 claims description 76
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000036544 posture Effects 0.000 claims description 27
- 238000013519 translation Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- HOWHQWFXSLOJEF-MGZLOUMQSA-N systemin Chemical compound NCCCC[C@H](N)C(=O)N[C@@H](CCSC)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CC(O)=O)C(=O)OC(=O)[C@@H]1CCCN1C(=O)[C@H]1N(C(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCCN=C(N)N)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H]2N(CCC2)C(=O)[C@H]2N(CCC2)C(=O)[C@H](CCCCN)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](C)N)C(C)C)CCC1 HOWHQWFXSLOJEF-MGZLOUMQSA-N 0.000 description 1
- 108010050014 systemin Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及三维点云数据处理与三维场景重建技术领域,一种基于几何约束的三维激光扫描仪与相机标定方法,包括以下步骤:(1)制作标定板,(2)采集标定板三维点云和二维图像,(3)相机标定,(4)在相机坐标系中计算标定板平面,(5)建立点面几何约束,(6)构建线面几何约束,(7)构建面面几何约束,(8)计算点云与图像的几何映射关系。本发明的优点在于:对三维点云的结构进行深入分析,同时利用点面几何约束、线面几何约束和面面几何约束三种思想,来求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系,充分利用了标定板平面与激光扫描点之间的几何关系,从而使三维激光扫描仪与相机的标定更加准确可靠。
Description
技术领域
本发明涉及一种基于几何约束的三维激光扫描仪与相机标定方法,属于三维点云数据处理与三维场景重建技术领域。
背景技术
在数字化现实世界的过程中,三维点云数据记录了物体表面的几何属性和位置信息,二维图像记录了物体表面的颜色信息和纹理信息,二者的深度融合,将形成一种新兴的数字媒体,即三维彩色点云数据,三维彩色点云数据是三维点云数据的进一步发展,可以更加精确地表述现实世界。在三维点云与二维图像融合过程中,激光扫描仪与相机的标定是决定融合精度的一项最为关键的技术,具有较强的理论意义和应用价值,目前已在工业检测、环境感知、自主导航等领域有了越来越多的应用。
三维激光扫描仪有两种工作方式,一种是通过单束激光的横向和纵向旋转来实现三维扫描,另一种是通过多束激光的横向旋转来实现三维扫描,这两种工作方式的三维激光扫描仪获取的三维点云均为规则网格化三维点云数据。三维激光扫描仪与相机标定主要是指:利用三维激光扫描仪和相机扫描拍摄标定场景,分别获取标定场景的三维点云和二维图像,利用相机成像原理,求取相机内参矩阵和三维激光扫描仪与相机之间的旋转矩阵和平移向量。确定激光坐标系中三维点云与图像坐标系中二维图像之间的几何映射关系,以获取每一个激光扫描点所对应的像素点。
经大量研究发现,与本发明相近的三维激光扫描仪与相机标定方法如下:制作黑白栅格标定板,标定板上均匀分布着大小相等的圆孔。利用三维激光扫描仪扫描该标定板,获取标定板三维点云。同时利用相机拍摄标定板,获取标定板的二维图像。在激光坐标系中求取圆孔中心的空间坐标,在相机坐标系中求取圆孔中心的像素坐标,构建点点几何约束,求取内部参数和外部参数,从而实现三维激光扫描仪与相机的标定。这种方法存在以下不足之处:1)当三维点云比较稀疏时,很难在激光坐标系中准确计算圆孔中心的空间坐标,影响标定准确度;2)没有对三维点云的结构进行深入的分析,过度依赖标定板圆孔来构建几何约束,缺乏对其点线面几何约束的开发利用,标定的鲁棒性和准确度有待提高。
发明内容
为了进一步提高三维激光扫描仪与相机标定的精度,本发明提供了一种基于几何约束的三维激光扫描仪与相机标定方法。本发明是在利用三维激光扫描仪和相机扫描拍摄三维场景时,为三维激光扫描仪和相机提供一种标定方法,以求解激光坐标系中三维点云与图像坐标系中二维图像之间的几何映射关系,从而实现激光扫描仪三维点云与相机二维图像之间的准确融合,实时获取场景的三维彩色点云。
为了实现上述发明目的,解决已有技术中存在的向题,本发明采取的技术方案是:一种基于几何约束的三维激光扫描仪与相机标定方法,包括以下步骤:
步骤1、制作标定板,标定板尺寸为72cm×72cm,其上均匀分布着边长为6cm的黑白栅格;
步骤2、采集标定板三维点云和二维图像,固定三维激光扫描仪和相机,将标定板面向三维激光扫描仪和相机,利用三维激光扫描仪扫描标定板,获取标定板的三维点云,同时,利用相机拍摄标定板,获取标定板的二维图像;改变标定板的位姿,继续扫描拍摄标定板,从而获取一组不同位姿下标定板的三维点云P={Pj|1≤j≤m}和二维图像I={Ij|1≤j≤m},其中,m为标定板位姿数,为第j个位姿标定板三维点云, 为第j个位姿标定板三维点云中第i个激光扫描点,为第j个位姿标定板三维点云中激光扫描点的个数,为第j个位姿标定板二维图像,为第j个位姿标定板二维图像中第i个像素点,为第j个位姿标定板二维图像中像素点的个数;激光坐标系[Ol;x,y,z]的原点Ol位于激光光心,xy平面平行于三维激光扫描仪底座;相机坐标系的原点Oc位于相机镜头光心,平面平行于图像传感器平面;标定板坐标系的原点Ob位于标定板左上角顶点,平面位于标定板平面;图像坐标系[Oa;u,v]的原点Oa位于像平面左上角顶点,uv平面位于图像传感器平面;
步骤3、相机标定,利用matlab的Calib工具箱和不同位姿标定板二维图像I={Ij|1≤j≤m},计算相机内参矩阵A和每种位姿下的外部参数和其中,为第j个位姿下标定板坐标系与相机坐标系之间的旋转矩阵,为第j个位姿下标定板坐标系与相机坐标系之间的平移向量;
步骤4、在相机坐标系中计算标定板平面,在相机坐标系中,在标定板第j个位姿下,用标定板向量来表示标定板平面,的方向与标定板平面的法向平行,的大小等于相机坐标系原点到标定板平面的垂直距离,利用旋转矩阵和平移向量计算标定板向量为其中,为旋转矩阵的第3列列向量;
步骤5、建立点面几何约束,利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,并通过标定板激光扫描点在标定板平面上,来构建点面几何约束,具体包括以下子步骤:
(a)利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,其表达形式按公式(1)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第i个激光扫描点,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(b)在相机坐标系下,利用标定板激光扫描点在标定板平面上,构建点面几何约束,其表达形式按公式(2)进行描述,
(c)由公式(2),可计算得到公式(3),
(d)将公式(1)代入公式(3),可计算得到公式(4),
(e)由公式(4)展开可得公式(5),
其中,为激光坐标系与相机坐标系之间的旋转矩阵,t=(t1,t2,t3)为激光坐标系与相机坐标系之间的平移向量,为相机坐标系中第j个位姿标定板向量,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点;
步骤6、构建线面几何约束,根据三维激光扫描仪的扫描方式,将标定板三维点云分解为若干线点云,并对每一条线点云进行直线拟合,获取拟合直线,该拟合直线称为标定板激光扫描线;利用坐标变换,将标定板激光扫描线由激光坐标系变换到相机坐标系,并通过标定板激光扫描线在标定板平面上,来构建线面几何约束,具体包括以下子步骤:
(a)三维激光扫描仪有两种工作方式,一种是通过单束激光的横向和纵向旋转来实现三维扫描,另一种是通过多束激光的横向旋转来实现三维扫描,这两种工作方式的三维激光扫描仪获取的三维点云均为规则网格化三维点云数据,因此,可以根据三维点云网格的纵向和横向将标定板三维点云Pj分解为若干条线点云,即其中,为第j个位姿标定板三维点云中第k条线点云,其由一系列分布在激光扫描线上的有序离散点组成,为第j个位姿标定板三维点云中线点云的条数;
(b)利用最小二乘法,对线点云进行直线拟合,获取拟合直线的方向向量和经过点该拟合直线称为标定板激光扫描线;
(c)利用坐标变换,将标定板激光扫描线的方向向量和经过点由激光坐标系变换到相机坐标系,其表达形式按公式(6)和公式(7)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(d)在相机坐标系下,利用标定板激光扫描线在标定板平面上,即标定板平面的法向垂直于标定板激光扫描线的方向向量,且标定板激光扫描线的经过点在标定板平面上,来构建线面几何约束,其表达形式按公式(8)和公式(9)进行描述,
(e)由公式(9),可计算得到公式(10),
(f)将公式(6)和公式(7)分别代入公式(8)和公式(10),可计算得到公式(11)和公式(12),
(g)由公式(11)展开可得公式(13),
(h)由公式(12)展开可得公式(14),
步骤7、构建面面几何约束,对标定板三维点云进行平面拟合,获取拟合平面,该拟合平面称为标定板激光扫描面;利用坐标变换,将标定板激光扫描面由激光坐标系变换到相机坐标系,并通过标定板激光扫描面与标定板平面重合,来构建面面几何约束,具体包括以下子步骤:
(a)利用最小二乘法,对第j个位姿标定板三维点云Pj进行平面拟合,获取拟合平面的法向量和经过点该拟合平面称为标定板激光扫描面;
(b)利用坐标变换,将标定板激光扫描面的法向量dj和经过点ej由激光坐标系变换到相机坐标系,其表达形式按公式(15)和公式(16)进行描述,
式中,为相机坐标系下第j个位姿标定板激光扫描面的法向量,dj为激光坐标系下第j个位姿标定板激光扫描面的法向量,为相机坐标系下第j个位姿标定板激光扫描面的经过点,ej为激光坐标系下第j个位姿标定板激光扫描面的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(c)在相机坐标系下,利用标定板激光扫描面与标定板平面重合,即标定板平面的法向量与标定板激光扫描面的法向量平行,且标定板激光扫描面的经过点在标定板平面上,来构建面面几何约束,其表达形式按公式(17)和公式(18)进行描述,
其中,公式(17)中“||”表示向量平行;
(d)由公式(18),可计算得到公式(19),
(e)将公式(15)和公式(16)分别代入公式(17)和公式(19),可计算得到公式(20)和公式(21),
(f)由公式(20)展开可得公式(22)和公式(23),
(g)由公式(21)展开可得公式(24),
步骤8、计算点云与图像的几何映射关系,在步骤2中,已采集不同位姿下标定板三维点云P={Pj|1≤j≤m},第j个位姿标定板三维点云 包含个激光扫描点,则不同位姿下标定板三维点云P包含的激光扫描点的个数为第j个位姿标定板三维点云包含条激光扫描线,则不同位姿下标定板三维点云P包含的激光扫描线的条数为同时,不同位姿下标定板三维点云P包含的标定板激光扫描面的个数为m;利用步骤5中子步骤(e)、步骤6中子步骤(g)和子步骤(h)、步骤7中子步骤(f)和子步骤(g),构建个公式(5)、个公式(13)、个公式(14)、m个公式(22)、m个公式(23)、m个公式(24),联立个公式形成超定方程组,表达形式按公式(25)描述,
利用最小二乘法求解该超定方程组,即可获得激光坐标系与相机坐标系之间的旋转矩阵R和平移向量t;利用相机针孔模型、内参矩阵A、旋转矩阵R和平移向量t,构建激光坐标系中激光点与图像坐标系中像素点的几何映射关系,按公式(26)进行描述,
式中,s为相机放大系数,(u,v)为图像坐标系中像素点坐标,A为步骤3中已求得的相机内参矩阵,R为步骤8中已求得的激光坐标系与相机坐标系之间的旋转矩阵,t为步骤8中已求得的激光坐标系与相机坐标系之间的平移向量,(x,y,z)为激光坐标系中激光点坐标;完成三维激光扫描仪与相机的标定。
本发明有益效果是:一种基于几何约束的三维激光扫描仪与相机标定方法,包括以下步骤:(1)制作黑白栅格标定板,(2)采集标定板三维点云和二维图像,(3)相机标定,(4)在相机坐标系中计算标定板平面,(5)建立点面几何约束,(6)建立线面几何约束,(7)建立面面几何约束,(8)计算点云与图像的几何映射关系。与已有技术相比,本发明的优点在于:对三维点云的结构进行深入分析,同时利用点面几何约束、线面几何约束和面面几何约束三种思想,来求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系,充分利用了标定板平面与激光扫描点之间的几何关系,从而使三维激光扫描仪与相机的标定更加准确可靠。
附图说明
图1是本发明方法步骤流程图。
图2是黑白栅格标定板示意图。
图3是点云与图像采集示意图。
图中:(a)是标定板,(b)是三维激光扫描仪与相机。
图4是第j个位姿标定板向量计算示意图。
图中:(a)是第j个位姿标定板,(b)是相机坐标系。
图5是点面几何约束构建示意图。
图中:(a)是第j个位姿标定板,(b)是相机坐标系。
图6是线面几何约束构建示意图。
图中:(a)是第j个位姿标定板,(b)是相机坐标系。
图7是面面几何约束构建示意图。
图中:(a)是第j个位姿标定板,(b)是相机坐标系。
图8是点云和图像融合结果图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,一种基于几何约束的三维激光扫描仪与相机外部标定方法,包括以下步骤:
步骤1、制作标定板,标定板尺寸为72cm×72cm,其上均匀分布着边长为6cm的黑白栅格,如图2所示。
步骤2、采集标定板三维点云和二维图像,固定三维激光扫描仪和相机,将标定板面向三维激光扫描仪和相机,利用三维激光扫描仪扫描标定板,获取标定板的三维点云,同时,利用相机拍摄标定板,获取标定板的二维图像;改变标定板的位姿,继续扫描拍摄标定板,从而获取一组不同位姿下标定板的三维点云P={Pj|1≤j≤m}和二维图像I={Ij|1≤j≤m},其中,m为标定板位姿数,为第j个位姿标定板三维点云, 为第j个位姿标定板三维点云中第i个激光扫描点,为第j个位姿标定板三维点云中激光扫描点的个数,为第j个位姿标定板二维图像,为第j个位姿标定板二维图像中第i个像素点,为第j个位姿标定板二维图像中像素点的个数;激光坐标系[Ol;x,y,z]的原点Ol位于激光光心,xy平面平行于三维激光扫描仪底座;相机坐标系的原点Oc位于相机镜头光心,平面平行于图像传感器平面;标定板坐标系的原点Ob位于标定板左上角顶点,平面位于标定板平面;图像坐标系[Oa;u,v]的原点Oa位于像平面左上角顶点,uv平面位于图像传感器平面,如图3所示。
步骤3、相机标定,利用matlab的Calib工具箱和不同位姿标定板二维图像I={Ij|1≤j≤m},计算相机内参矩阵A和每种位姿下的外部参数和其中,为第j个位姿下标定板坐标系与相机坐标系之间的旋转矩阵,为第j个位姿下标定板坐标系与相机坐标系之间的平移向量。
步骤4、在相机坐标系中计算标定板平面,在相机坐标系中,在标定板第j个位姿下,用标定板向量来表示标定板平面,的方向与标定板平面的法向平行,的大小等于相机坐标系原点到标定板平面的垂直距离,如图4所示,利用旋转矩阵和平移向量计算标定板向量为其中,为旋转矩阵的第3列列向量。
步骤5、建立点面几何约束,利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,并通过标定板激光扫描点在标定板平面上,来构建点面几何约束,具体包括以下子步骤:
(a)利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,其表达形式按公式(1)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第i个激光扫描点,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(b)在相机坐标系下,利用标定板激光扫描点在标定板平面上,构建点面几何约束,如图5所示,其表达形式按公式(2)进行描述,
(c)由公式(2),可计算得到公式(3),
(d)将公式(1)代入公式(3),可计算得到公式(4),
(e)由公式(4)展开可得公式(5),
其中,为激光坐标系与相机坐标系之间的旋转矩阵,t=(t1,t2,t3)为激光坐标系与相机坐标系之间的平移向量,为相机坐标系中第j个位姿标定板向量,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点。
步骤6、构建线面几何约束,根据三维激光扫描仪的扫描方式,将标定板三维点云分解为若干线点云,并对每一条线点云进行直线拟合,获取拟合直线,该拟合直线称为标定板激光扫描线;利用坐标变换,将标定板激光扫描线由激光坐标系变换到相机坐标系,并通过标定板激光扫描线在标定板平面上,来构建线面几何约束,具体包括以下子步骤:
(a)三维激光扫描仪有两种工作方式,一种是通过单线激光的横向和纵向旋转来实现三维扫描,另一种是通过多线激光的横向旋转来实现三维扫描,这两种工作方式的三维激光扫描仪获取的三维点云均为规则网格化三维点云数据,因此,可以根据三维点云网格的纵向和横向将标定板三维点云Pj分解为若干条线点云,即其中,为第j个位姿标定板三维点云中第k条线点云,其由一系列分布在激光扫描线上的有序离散点组成,为第j个位姿标定板三维点云中线点云的条数;
(b)利用最小二乘法,对线点云进行直线拟合,获取拟合直线的方向向量和经过点该拟合直线称为标定板激光扫描线,如图6所示;
(c)利用坐标变换,将标定板激光扫描线的方向向量和经过点由激光坐标系变换到相机坐标系,其表达形式按公式(6)和公式(7)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(d)在相机坐标系下,利用标定板激光扫描线在标定板平面上,即标定板平面的法向垂直于标定板激光扫描线的方向向量,且标定板激光扫描线的经过点在标定板平面上,来构建线面几何约束,如图6所示,其表达形式按公式(8)和公式(9)进行描述,
(e)由公式(9),可计算得到公式(10),
(f)将公式(6)和公式(7)分别代入公式(8)和公式(10),可计算得到公式(11)和公式(12),
(g)由公式(11)展开可得公式(13),
(h)由公式(12)展开可得公式(14),
步骤7、构建面面几何约束,对三维点云进行平面拟合,获取拟合平面,该拟合平面称为标定板激光扫描面;利用坐标变换,将标定板激光扫描面由激光坐标系变换到相机坐标系,并通过标定板激光扫描面与标定板平面重合,来构建面面几何约束,具体包括以下子步骤:
(a)利用最小二乘法,对第j个位姿标定板三维点云Pj进行平面拟合,获取拟合平面的法向量和经过点该拟合平面称为标定板激光扫描面,如图7所示;
(b)利用坐标变换,将标定板激光扫描面的法向量dj和经过点ej由激光坐标系变换到相机坐标系,其表达形式按公式(15)和公式(16)进行描述,
式中,为相机坐标系下第j个位姿标定板激光扫描面的法向量,dj为激光坐标系下第j个位姿标定板激光扫描面的法向量,为相机坐标系下第j个位姿标定板激光扫描面的经过点,ej为激光坐标系下第j个位姿标定板激光扫描面的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(c)在相机坐标系下,利用标定板激光扫描面与标定板平面重合,即标定板平面的法向量与标定板激光扫描面的法向量平行,且标定板激光扫描面的经过点在标定板平面上,来构建面面几何约束,其表达形式按公式(17)和公式(18)进行描述,
其中,公式(17)中“||”表示向量平行;
(d)由公式(18),可计算得到公式(19),
(e)将公式(15)和公式(16)分别代入公式(17)和公式(19),可计算得到公式(20)和公式(21),
(f)由公式(20)展开可得公式(22)和公式(23),
(g)由公式(21)展开可得公式(24),
步骤8、计算点云与图像的几何映射关系,在步骤2中,已采集不同位姿下标定板三维点云P={Pj|1≤j≤m},第j个位姿标定板三维点云 包含个激光扫描点,则不同位姿下标定板三维点云P包含的激光扫描点的个数为第j个位姿标定板三维点云包含条激光扫描线,则不同位姿下标定板三维点云P包含的激光扫描线的条数为同时,不同位姿下标定板三维点云P包含的标定板激光扫描面的个数为m;利用步骤5中子步骤(e)、步骤6中子步骤(g)和子步骤(h)、步骤7中子步骤(f)和子步骤(g),构建个公式(5)、个公式(13)、个公式(14)、m个公式(22)、m个公式(23)、m个公式(24),联立个公式形成超定方程组,表达形式按公式(25)描述,
利用最小二乘法求解该超定方程组,即可获得激光坐标系与相机坐标系之间的旋转矩阵R和平移向量t;利用相机针孔模型、内参矩阵A、旋转矩阵R和平移向量t,构建激光坐标系中激光点与图像坐标系中像素点的几何映射关系,按公式(26)进行描述,
式中,s为相机放大系数,(u,v)为图像坐标系中像素点坐标,A为步骤3中已求得的相机内参矩阵,R为步骤8中已求得的激光坐标系与相机坐标系之间的旋转矩阵,t为步骤8中已求得的激光坐标系与相机坐标系之间的平移向量,(x,y,z)为激光坐标系中激光点坐标;完成三维激光扫描仪与相机的标定,利用标定所求的几何映射关系,可以准确地融合二维图像和三维点云,获得三维彩色点云,如图8所示,图中左上角为相机拍摄获取的二维图像,右侧为三维激光扫描仪扫描得到的三维点云,左下角为三维点云与二维图像融合得到的三维彩色点云,可以清晰地看出二维图像中白色墙壁、白色地面、棕色木门、深蓝色铁门的颜色与三维点云中墙壁、地面、木门、铁门的位置准确地融合在一起,形成了真实的三维彩色点云。
本发明优点在于:对三维点云的结构进行深入分析,同时利用点面几何约束、线面几何约束和面面几何约束三种思想,来求解激光坐标系中点云与图像坐标系中图像之间的几何映射关系,充分利用了标定板平面与激光扫描点之间的几何关系,从而使三维激光扫描仪与相机的标定更加准确可靠。
Claims (1)
1.一种基于几何约束的三维激光扫描仪与相机标定方法,其特征在于包括以下步骤:
步骤1、制作标定板,标定板尺寸为72cm×72cm,其上均匀分布着边长为6cm的黑白栅格;
步骤2、采集标定板三维点云和二维图像,固定三维激光扫描仪和相机,将标定板面向三维激光扫描仪和相机,利用三维激光扫描仪扫描标定板,获取标定板的三维点云,同时,利用相机拍摄标定板,获取标定板的二维图像;改变标定板的位姿,继续扫描拍摄标定板,从而获取一组不同位姿下标定板的三维点云P={Pj|1≤j≤m}和二维图像I={Ij|1≤j≤m},其中,m为标定板位姿数,为第j个位姿标定板三维点云, 为第j个位姿标定板三维点云中第i个激光扫描点,为第j个位姿标定板三维点云中激光扫描点的个数,为第j个位姿标定板二维图像,为第j个位姿标定板二维图像中第i个像素点,为第j个位姿标定板二维图像中像素点的个数;激光坐标系[Ol;x,y,z]的原点Ol位于激光光心,xy平面平行于三维激光扫描仪底座;相机坐标系的原点Oc位于相机镜头光心,平面平行于图像传感器平面;标定板坐标系的原点Ob位于标定板左上角顶点,平面位于标定板平面;图像坐标系[Oa;u,v]的原点Oa位于像平面左上角顶点,uv平面位于图像传感器平面;
步骤3、相机标定,利用matlab的Calib工具箱和不同位姿标定板二维图像I={Ij|1≤j≤m},计算相机内参矩阵A和每种位姿下的外部参数和其中,为第j个位姿下标定板坐标系与相机坐标系之间的旋转矩阵,为第j个位姿下标定板坐标系与相机坐标系之间的平移向量;
步骤4、在相机坐标系中计算标定板平面,在相机坐标系中,在标定板第j个位姿下,用标定板向量来表示标定板平面,的方向与标定板平面的法向平行,的大小等于相机坐标系原点到标定板平面的垂直距离,利用旋转矩阵和平移向量计算标定板向量为其中,为旋转矩阵的第3列列向量;
步骤5、建立点面几何约束,利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,并通过标定板激光扫描点在标定板平面上,来构建点面几何约束,具体包括以下子步骤:
(a)利用坐标变换,将标定板激光扫描点由激光坐标系变换到相机坐标系,其表达形式按公式(1)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第i个激光扫描点,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(b)在相机坐标系下,利用标定板激光扫描点在标定板平面上,构建点面几何约束,其表达形式按公式(2)进行描述,
(c)由公式(2),可计算得到公式(3),
(d)将公式(1)代入公式(3),可计算得到公式(4),
(e)由公式(4)展开可得公式(5),
其中,为激光坐标系与相机坐标系之间的旋转矩阵,t=(t1,t2,t3)为激光坐标系与相机坐标系之间的平移向量,为相机坐标系中第j个位姿标定板向量,为激光坐标系下第j个位姿标定板三维点云中第i个激光扫描点;
步骤6、构建线面几何约束,根据三维激光扫描仪的扫描方式,将标定板三维点云分解为若干线点云,并对每一条线点云进行直线拟合,获取拟合直线,该拟合直线称为标定板激光扫描线;利用坐标变换,将标定板激光扫描线由激光坐标系变换到相机坐标系,并通过标定板激光扫描线在标定板平面上,来构建线面几何约束,具体包括以下子步骤:
(a)三维激光扫描仪有两种工作方式,一种是通过单线激光的横向和纵向旋转来实现三维扫描,另一种是通过多线激光的横向旋转来实现三维扫描,这两种工作方式的三维激光扫描仪获取的三维点云均为规则网格化三维点云数据,因此,可以根据三维点云网格的纵向和横向将标定板三维点云Pj分解为若干条线点云,即其中,为第j个位姿标定板三维点云中第k条线点云,其由一系列分布在激光扫描线上的有序离散点组成,为第j个位姿标定板三维点云中线点云的条数;
(b)利用最小二乘法,对线点云进行直线拟合,获取拟合直线的方向向量和经过点该拟合直线称为标定板激光扫描线;
(c)利用坐标变换,将标定板激光扫描线的方向向量和经过点由激光坐标系变换到相机坐标系,其表达形式按公式(6)和公式(7)进行描述,
式中,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的方向向量,为相机坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,为激光坐标系下第j个位姿标定板三维点云中第k条激光扫描线的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(d)在相机坐标系下,利用标定板激光扫描线在标定板平面上,即标定板平面的法向垂直于标定板激光扫描线的方向向量,且标定板激光扫描线的经过点在标定板平面上,来构建线面几何约束,其表达形式按公式(8)和公式(9)进行描述,
(e)由公式(9),可计算得到公式(10),
(f)将公式(6)和公式(7)分别代入公式(8)和公式(10),可计算得到公式(11)和公式(12),
(g)由公式(11)展开可得公式(13),
(h)由公式(12)展开可得公式(14),
步骤7、构建面面几何约束,对标定板三维点云进行平面拟合,获取拟合平面,该拟合平面称为标定板激光扫描面;利用坐标变换,将标定板激光扫描面由激光坐标系变换到相机坐标系,并通过标定板激光扫描面与标定板平面重合,来构建面面几何约束,具体包括以下子步骤:
(a)利用最小二乘法,对第j个位姿标定板三维点云Pj进行平面拟合,获取拟合平面的法向量和经过点该拟合平面称为标定板激光扫描面;
(b)利用坐标变换,将标定板激光扫描面的法向量dj和经过点ej由激光坐标系变换到相机坐标系,其表达形式按公式(15)和公式(16)进行描述,
式中,为相机坐标系下第j个位姿标定板激光扫描面的法向量,dj为激光坐标系下第j个位姿标定板激光扫描面的法向量,为相机坐标系下第j个位姿标定板激光扫描面的经过点,ej为激光坐标系下第j个位姿标定板激光扫描面的经过点,R为激光坐标系与相机坐标系之间的旋转矩阵,t为激光坐标系与相机坐标系之间的平移向量;
(c)在相机坐标系下,利用标定板激光扫描面与标定板平面重合,即标定板平面的法向量与标定板激光扫描面的法向量平行,且标定板激光扫描面的经过点在标定板平面上,来构建面面几何约束,其表达形式按公式(17)和公式(18)进行描述,
其中,公式(17)中“||”表示向量平行;
(d)由公式(18),可计算得到公式(19),
(e)将公式(15)和公式(16)分别代入公式(17)和公式(19),可计算得到公式(20)和公式(21),
(f)由公式(20)展开可得公式(22)和公式(23),
(g)由公式(21)展开可得公式(24),
步骤8、计算点云与图像的几何映射关系,在步骤2中,已采集不同位姿下标定板三维点云P={Pj|1≤j≤m},第j个位姿标定板三维点云 包含个激光扫描点,则不同位姿下标定板三维点云P包含的激光扫描点的个数为第j个位姿标定板三维点云包含条激光扫描线,则不同位姿下标定板三维点云P包含的激光扫描线的条数为同时,不同位姿下标定板三维点云P包含的标定板激光扫描面的个数为m;利用步骤5中子步骤(e)、步骤6中子步骤(g)和子步骤(h)、步骤7中子步骤(f)和子步骤(g),构建个公式(5)、个公式(13)、个公式(14)、m个公式(22)、m个公式(23)、m个公式(24),联立个公式形成超定方程组,表达形式按公式(25)描述,
利用最小二乘法求解该超定方程组,即可获得激光坐标系与相机坐标系之间的旋转矩阵R和平移向量t;利用相机针孔模型、内参矩阵A、旋转矩阵R和平移向量t,构建激光坐标系中激光点与图像坐标系中像素点的几何映射关系,按公式(26)进行描述,
式中,s为相机放大系数,(u,v)为图像坐标系中像素点坐标,A为步骤3中已求得的相机内参矩阵,R为步骤8中已求得的激光坐标系与相机坐标系之间的旋转矩阵,t为步骤8中已求得的激光坐标系与相机坐标系之间的平移向量,(x,y,z)为激光坐标系中激光点坐标;完成三维激光扫描仪与相机的标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810611283.1A CN109029284B (zh) | 2018-06-14 | 2018-06-14 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810611283.1A CN109029284B (zh) | 2018-06-14 | 2018-06-14 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109029284A CN109029284A (zh) | 2018-12-18 |
CN109029284B true CN109029284B (zh) | 2019-10-22 |
Family
ID=64609329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810611283.1A Active CN109029284B (zh) | 2018-06-14 | 2018-06-14 | 一种基于几何约束的三维激光扫描仪与相机标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109029284B (zh) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754433B (zh) * | 2018-12-27 | 2023-10-03 | 中国科学院长春光学精密机械与物理研究所 | 一种标定图像采集方法、装置、设备及存储介质 |
CN109985846B (zh) * | 2019-01-11 | 2022-07-08 | 贵州电网有限责任公司 | 一种变电站带电水冲洗机器人的激光雷达标定方法 |
CN109581338B (zh) * | 2019-01-14 | 2021-01-08 | 中国科学院计算技术研究所 | 一种标定多激光雷达外参数的***及其方法 |
CN111486864B (zh) * | 2019-01-28 | 2022-04-08 | 北京工商大学 | 基于立体正八边结构的多源传感器联合标定方法 |
CN109993801A (zh) * | 2019-03-22 | 2019-07-09 | 上海交通大学 | 一种用于二维相机与三维传感器的标定装置及标定方法 |
CN110030926B (zh) * | 2019-03-30 | 2020-12-15 | 天津大学 | 激光束空间位姿的标定方法 |
CN110163918B (zh) * | 2019-04-24 | 2023-03-28 | 华南理工大学 | 一种基于射影几何的线结构光标定方法 |
CN110221275B (zh) * | 2019-05-21 | 2023-06-23 | 菜鸟智能物流控股有限公司 | 一种激光雷达与相机之间的标定方法和装置 |
CN110223336B (zh) * | 2019-05-27 | 2023-10-17 | 上海交通大学 | 一种基于tof相机数据的平面拟合方法 |
CN110163797B (zh) * | 2019-05-31 | 2020-03-31 | 四川大学 | 一种标定转台位姿关系实现任意角点云拼接的方法及装置 |
CN110443199B (zh) * | 2019-08-06 | 2021-10-15 | 暨南大学 | 一种基于二维几何轮廓的点云姿态识别方法 |
CN110716194B (zh) * | 2019-09-10 | 2022-09-16 | 中国科学院上海技术物理研究所 | 同时参考球与面的多波束三维激光成像***的检校方法 |
CN113378606A (zh) * | 2020-03-10 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 一种标注信息确定方法、装置及*** |
CN111612844B (zh) * | 2020-04-08 | 2022-10-21 | 大连理工大学 | 基于扇形特征的三维激光扫描仪与相机标定方法 |
CN111190153B (zh) * | 2020-04-09 | 2020-08-25 | 上海高仙自动化科技发展有限公司 | 外参标定方法及装置、智能机器人及计算机可读存储介质 |
CN111429530B (zh) * | 2020-04-10 | 2023-06-02 | 浙江大华技术股份有限公司 | 一种坐标标定方法及相关装置 |
CN113532311B (zh) * | 2020-04-21 | 2023-06-09 | 广东博智林机器人有限公司 | 点云拼接方法、装置、设备和存储设备 |
CN111709995B (zh) * | 2020-05-09 | 2022-09-23 | 西安电子科技大学 | 一种激光雷达与摄像头之间的位置标定方法 |
CN111815716A (zh) * | 2020-07-13 | 2020-10-23 | 北京爱笔科技有限公司 | 一种参数标定方法及相关装置 |
CN111830049B (zh) * | 2020-07-24 | 2023-09-22 | 深圳市道通科技股份有限公司 | 一种刹车盘磨损区的识别方法及磨损识别*** |
CN114322751B (zh) * | 2020-09-30 | 2024-01-23 | 广东博智林机器人有限公司 | 目标测量方法、装置、计算机设备和存储介质 |
CN112629438B (zh) * | 2020-12-01 | 2022-09-13 | 广州南方卫星导航仪器有限公司 | 一种三维激光扫描仪校准算法 |
CN112612016A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 传感器联合标定方法、装置、电子设备及存储介质 |
CN112710235B (zh) * | 2020-12-21 | 2022-08-26 | 阿波罗智联(北京)科技有限公司 | 结构光测量传感器的标定方法和装置 |
CN112750169B (zh) * | 2021-01-13 | 2024-03-19 | 深圳瀚维智能医疗科技有限公司 | 相机标定方法、装置、***及计算机可读存储介质 |
CN112995639B (zh) * | 2021-02-05 | 2022-04-15 | 中国科学院沈阳自动化研究所 | 一种水下目标精细三维感知方法 |
CN113160328A (zh) * | 2021-04-09 | 2021-07-23 | 上海智蕙林医疗科技有限公司 | 一种外参标定方法、***、机器人和存储介质 |
CN113375594B (zh) * | 2021-06-08 | 2022-05-06 | 四川大学青岛研究院 | 飞机蒙皮型面数字化检测方法 |
CN113436274B (zh) * | 2021-06-28 | 2022-08-23 | 兰剑智能科技股份有限公司 | 一种移动机器人的校准方法、装置及设备 |
CN113487684A (zh) * | 2021-07-23 | 2021-10-08 | 浙江华睿科技股份有限公司 | 一种标定参数确定方法、装置、存储介质及电子装置 |
CN113610929B (zh) * | 2021-08-09 | 2023-08-18 | 西安外事学院 | 一种相机与多线激光的联合标定方法 |
CN114066847B (zh) * | 2021-11-16 | 2022-09-23 | 北京国泰星云科技有限公司 | 基于2d激光和图像数据融合的集卡吊起状态检测方法 |
CN114055779A (zh) * | 2021-11-17 | 2022-02-18 | 无锡有田五维增材科技有限公司 | 五轴打印***及五轴打印轨迹确定方法 |
CN114758005B (zh) * | 2022-03-23 | 2023-03-28 | 中国科学院自动化研究所 | 激光雷达与相机外参标定方法及装置 |
CN114972633B (zh) * | 2022-05-06 | 2024-06-28 | 中国海洋大学 | 交叉激光线约束下的快速扫描点云插值方法 |
CN115457154A (zh) * | 2022-11-11 | 2022-12-09 | 思看科技(杭州)股份有限公司 | 三维扫描仪的标定方法、装置、计算机设备和存储介质 |
CN115641553B (zh) * | 2022-12-26 | 2023-03-10 | 太原理工大学 | 掘进机作业环境侵入物的在线检测装置及方法 |
CN116051659B (zh) * | 2023-03-30 | 2023-06-13 | 山东科技大学 | 一种线阵相机与2d激光扫描仪联合标定方法 |
CN117053729B (zh) * | 2023-10-10 | 2024-01-16 | 武汉奋进智能机器有限公司 | 酒甑的布料方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102944188B (zh) * | 2012-10-18 | 2015-09-09 | 北京航空航天大学 | 一种点扫描三维形貌测量***标定方法 |
KR101565900B1 (ko) * | 2013-12-16 | 2015-11-05 | 국방과학연구소 | 카메라 및 레이저 센서의 캘리브레이션 장치 및 캘리브레이션 방법 |
CN103994779B (zh) * | 2014-05-27 | 2017-07-04 | 首都师范大学 | 基于三维激光点云的全景相机标定方法 |
JP6442193B2 (ja) * | 2014-08-26 | 2018-12-19 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム |
CN105678783B (zh) * | 2016-01-25 | 2018-10-19 | 西安科技大学 | 折反射全景相机与激光雷达数据融合标定方法 |
CN105678785B (zh) * | 2016-02-01 | 2018-03-02 | 西安交通大学 | 一种激光与相机相对位姿关系的标定方法 |
CN106056587B (zh) * | 2016-05-24 | 2018-11-09 | 杭州电子科技大学 | 全视角线激光扫描三维成像标定装置及方法 |
CN106097348B (zh) * | 2016-06-13 | 2019-03-05 | 大连理工大学 | 一种三维激光点云与二维图像的融合方法 |
CN106152971B (zh) * | 2016-07-28 | 2018-07-17 | 南京航空航天大学 | 机器视觉辅助下的激光三维扫描标示方法 |
CN107014312B (zh) * | 2017-04-25 | 2019-05-24 | 西安交通大学 | 一种振镜式线激光扫描三维测量***的整体标定方法 |
CN107194983B (zh) * | 2017-05-16 | 2018-03-09 | 华中科技大学 | 一种基于点云与影像数据的三维可视化方法和*** |
CN107560549B (zh) * | 2017-08-29 | 2020-05-08 | 哈尔滨理工大学 | 一种激光视觉二维位移测量***标定方法 |
CN107977997B (zh) * | 2017-11-29 | 2020-01-17 | 北京航空航天大学 | 一种结合激光雷达三维点云数据的相机自标定方法 |
-
2018
- 2018-06-14 CN CN201810611283.1A patent/CN109029284B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109029284A (zh) | 2018-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109029284B (zh) | 一种基于几何约束的三维激光扫描仪与相机标定方法 | |
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
CN108389233B (zh) | 基于边界约束和均值逼近的激光扫描仪与相机标定方法 | |
CN106097348B (zh) | 一种三维激光点云与二维图像的融合方法 | |
CN109443209B (zh) | 一种基于单应性矩阵的线结构光***标定方法 | |
CN101936761B (zh) | 大型料场料堆视觉测量方法 | |
CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
CN103530880B (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
CN108555908A (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN104574432B (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及*** | |
CN101673399A (zh) | 编码结构光三维视觉***的标定方法 | |
CN109141226A (zh) | 单相机多角度的空间点坐标测量方法 | |
CN110823252A (zh) | 一种多线激光雷达和单目视觉的自动标定方法 | |
CN112734844B (zh) | 一种基于正八面体的单目6d位姿估计方法 | |
CN112365545B (zh) | 基于大平面复合靶标的激光雷达与可见光相机的标定方法 | |
CN104048649A (zh) | 一种多视影像与三维模型的快速配准方法 | |
CN102750698B (zh) | 纹理摄像机标定装置与方法及其纹理图像几何校正方法 | |
CN102999895B (zh) | 利用两个同心圆线性求解摄像机内参数 | |
CN111612844B (zh) | 基于扇形特征的三维激光扫描仪与相机标定方法 | |
CN208350997U (zh) | 一种目标物运动监测*** | |
CN115326025B (zh) | 一种用于海浪的双目影像测量与预测方法 | |
Wang et al. | Implementation and experimental study on fast object modeling based on multiple structured stripes | |
CN115409897A (zh) | 基于背景点云精细化处理的激光雷达与相机联合标定方法 | |
Iovenitti et al. | Three-dimensional measurement using a single image | |
CN209279912U (zh) | 一种物体三维信息采集装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |