CN107621226A - 多目立体视觉的三维扫描方法及*** - Google Patents
多目立体视觉的三维扫描方法及*** Download PDFInfo
- Publication number
- CN107621226A CN107621226A CN201710585970.6A CN201710585970A CN107621226A CN 107621226 A CN107621226 A CN 107621226A CN 201710585970 A CN201710585970 A CN 201710585970A CN 107621226 A CN107621226 A CN 107621226A
- Authority
- CN
- China
- Prior art keywords
- msub
- light belt
- mrow
- group
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种多目立体视觉的三维扫描方法及***，该方法包括：S1：通过设置在待扫描物体周围、处于同一水平高度上的至少三组视觉组件获取光带图像组，每组光带图像组包括左光带图像和右光带图像；S2：提取所有左光带图像和右光带图像的光带中心；S3：将光带中心转换为组内三维坐标数据；S4：联合标定，并将所有组内三维坐标数据转换至同一坐标系，得到世界坐标系数据；S5：结合所有水平高度上的世界坐标系数据进行点云融合，得到待扫描物体的三维点云数据。本发明的多目立体视觉的三维扫描方法及***中，通过至少三组视觉组件从不同视角对待扫描物体表面进行全方位横向扫描，有效地解决扫描中的盲区问题，提高了***的扫描效率和扫描精度。
Description
技术领域
本发明涉及三维扫描领域，尤其涉及一种多目立体视觉的三维扫描方法及***。
背景技术
三维扫描是近年来热门技术之一，由于它具备结构简单、精度较高等优点，已被广泛地应用在3D扫描、工业测量等领域。
目前，三维点云的扫描有接触式与非接触式两大类：
(1)接触式扫描主要应用在三维坐标测量，其精度高，还原性强。但对应几何特征尺寸小，具有大面积自由曲面的零部件不能够测量，扫描时间长且价格昂贵。
(2)非接触式扫描主要采用计算机视觉技术，使用双目或多目视觉***进行扫描，其精度合适且结构简易，由于传统的双目立体视觉采用被动式技术测量，不能有效的解决图像中重复区域、低纹理区域、纹理相似区域等带来的误匹配问题，而结构光方法可以很好的解决误匹配问题，但对于面型较复杂的物体(含有四角的物体或曲面复杂的多面体)需要多次重复扫描。对于采用单目或双目立体视觉的三维激光扫描***，只能从一个角度获取物体表面的纵向点云信息，但对于面型复杂的曲面物体或部分区域被遮挡的物体，会存在扫描的盲区，导致部分点云数据缺失，大大增加了***的扫描时间和数据处理时间。
发明内容
本发明要解决的技术问题在于，提供一种改进的多目立体视觉的三维扫描方法及***。
本发明解决其技术问题所采用的技术方案是：提供一种多目立体视觉的三维扫描方法，包括如下步骤：
S1：通过设置在待扫描物体周围、处于同一水平高度上不同位置的至少三组视觉组件获取光带图像组，每组所述视觉组件包括两个摄像头及位于两个所述摄像头之间的线激光器，每组所述光带图像组包括左光带图像和右光带图像；
S2：分别提取所有所述左光带图像和所述右光带图像的光带中心；
S3：将每组所述光带图像组中所述左光带图像的光带中心和所述右光带图像的光带中心转换为组内三维坐标数据；
S4：对每组所述视觉组件的所述组内三维坐标数据之间进行联合标定，并将所有所述组内三维坐标数据转换至同一坐标系，得到世界坐标系数据；
S5：结合所有水平高度上的世界坐标系数据进行点云融合，得到所述待扫描物体的三维点云数据。
优选地，所述步骤S2中，采用梯度质心法进行光带中心的提取。
优选地，所述梯度质心法中，包括：
T1：通过公式(1)求得待定质心坐标(xtn,ytn)；
其中，Q为所述光带图像的像素值，n为像素的列数，Lk为最小行，RK为最大行，t为待定质心点的范围；
T2：通过公式(2)计算光带中心坐标(xc,yc)，
其中，c下标表示实际质心点，MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
优选地，所述步骤S3中，通过公式(3)和(4)进行组内三维坐标数据计算：
其中，所述待扫描物体上一点P的三维坐标为(xP,yP,zP)，点P在左摄像头和右摄像头上投影的光带图像坐标为PL(xl，yl)与PR(xr，yr)，f为摄像头焦距距离，B为双目基线距离，视差D＝xl-xr。
优选地，所述步骤S4中，标定方法为：对每两组所述光带图像组中左/右摄像头进行双目标定得到旋转矩阵R和平移矩阵T，然后该两组所述组内三维坐标数据通过公式p＝Rq+T进行转换，其中，p、q分别为两组所述组内三维坐标数据。
优选地，所述视觉组件的数量为四组。
优选地，所述步骤S4中，通过公式(5)得到世界坐标系数据：
No.1：X＝X1-U1
Z＝L1-Z1
No.2：X＝L2-Z2
Z＝U2-X2
No.3：X＝U3-X3
Z＝Z3-L3
No.4：X＝Z4-L4
Z＝X4-U4……(5)
其中，No.1，No.2，No.3，No.4代表四组所述视觉组件，L1、L2、L3、L4为四组所述视觉组件到所述待测物体中心点距离，U1、U2、U3、U4为对应所述光带中心的像素点横坐标，X1、X2、X3、X4为所述光带中心的像素点横坐标。
优选地，所述步骤S5中，所述点云融合包括：
W1：针对每两组点云集M和N，先计算所述点云集M中的每一点到所述点云集N的欧拉距离，若当前点对的所述欧拉距离小于一阈值时，将当前点对确定为重叠点对；
W2:依此进行迭代，建立两个所述点云集M和N的重叠点对关系；
W3:通过点云的法向特征，在重叠的点集里找寻对应的配准点；
W4:在两个对应的配准点之间通过插值运算确定最终融合点，完成点云融合。
还提供一种多目立体视觉的三维扫描***，所述***执行上述的方法，所述***包括：
至少三组视觉组件，设置在待扫描物体周围且处于同一水平高度上不同位置，每组所述视觉组件包括两个摄像头及位于两个所述摄像头之间的线激光器，所述视觉组件用于获取光带图像组，每组所述光带图像组包括左光带图像和右光带图像；
提取单元，分别提取所有所述左光带图像和所述右光带图像的光带中心；
转换单元，将每组所述光带图像组中所述左光带图像的光带中心和所述右光带图像的光带中心转换为组内三维坐标数据；
标定单元，对每组所述组内三维坐标数据之间进行联合标定，并将所有所述组内三维坐标数据转换至同一坐标系，得到世界坐标系数据；
融合单元，结合所有水平高度上的世界坐标系数据进行点云融合，得到所述待扫描物体的三维点云数据。
优选地，所述***还包括承载所述视觉组件并可升降运动的升降台。
实施本发明的有益效果是：本发明的多目立体视觉的三维扫描方法及***中，通过至少三组视觉组件从不同视角对待扫描物体表面进行全方位横向扫描，有效地解决扫描中的盲区问题，同时对数据处理算法进行了优化，提高了***的扫描效率和扫描精度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明一些实施例中多目立体视觉的三维扫描***的原理示意图；
图2是本发明一些实施例中多目立体视觉的三维扫描***中视觉组件与待扫描物体的位置关系示意图；
图3是图1中转换单元的立体视觉测量模型；
图4是图1中标定单元所转换的世界坐标系模型的示意图；
图5是本发明一些实施例中多目立体视觉的三维扫描方法的流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
图1示出了本发明一些实施例中的多目立体视觉的三维扫描***，用于从不同视角对待扫描物体表面进行全方位横向扫描。本实施例中的多目立体视觉的三维扫描***包括视觉组件10、提取单元20、转换单元30、标定单元40、融合单元50及升降台(未图示)，其中，视觉组件10用于对待扫描物体进行三维扫描并获取光带图像组，升降台用于承载视觉组件10升降运动，提取单元20用于提取光带中心，转换单元30用于将光带中心转换为组内三维坐标数据，标定单元40用于进行联合标定，并将所有组内三维坐标数据转换至同一坐标系，得到世界坐标系数据，融合单元50用于结合所有水平高度上的世界坐标系数据进行点云融合，得到待扫描物体的三维点云数据。
本实施例中的多目立体视觉的三维扫描***通过对精密的升降台进行控制，使用四组环绕形状的双目相机来获取不同位置处的线激光光带图像，提取光带中心，对获取到的光带图像进行立体匹配，利用视差原理计算出所有光带中心的坐标；并将四路光带中心的坐标转换为统一的世界坐标系,进行点云数据的融合，最后快速地获取物体的三维点云数据。本发明的核心技术分两部分：一是对精密的升降台进行控制，使用四组环绕形状的双目相机来获取不同位置处的线激光光带图像，来获取线激光的光带中心，使用光带质心提取算法，进行光带中心的提取，对获取到的光带图像进行立体匹配，利用视差原理计算出所有光带中心的坐标。二是将四路光带中心的坐标转换为统一的世界坐标系,进行点云数据的融合，最后快速地获取物体的三维点云数据。
其中，视觉组件10的数量为至少三组，且分别设置在待扫描物体周围且处于同一水平高度上不同位置。每组视觉组件10包括两个摄像头及位于两个摄像头之间的线激光器。视觉组件10用于获取光带图像组，每组光带图像组包括左光带图像和右光带图像。优选地，两个摄像头结构水平，参数相同，本实施例使用双目摄像头的分辨率为640*480，双目基线为9cm。作为选择，可对于所使用摄像头的参数或标准进行修改，例如将摄像头分辨率改成1920x1080，或者，根据扫描物体的大小，可以动态调整双目基线。
结合图2所示，视觉组件10的数量优选为四组，即使用四组环绕形状的双目相机来围绕待扫描物体获取不同位置处的线激光光带图像，来获取线激光的光带中心。
提取单元20与视觉组件10相连接，用于分别提取所有左光带图像和右光带图像的光带中心。优选地，提取单元20采用梯度质心法进行光带中心的提取。具体地，采用梯度质心法进行光带中心的提取，首先是计算光带图像的每一行的梯度，然后经过梯度比较得到光带中心区域的初步位置；接着计算此位置区域的质心，最后通过邻域筛选原则来提取中心点位置。
梯度质心法中，首先通过公式(1)求得待定质心坐标(xtn,ytn)；
其中，Q为光带图像的像素值，n为像素的列数，Lk为最小行，RK为最大行，t为待定质心点的范围；
然后，通过公式(2)计算光带中心坐标(xc,yc)，
其中，c下标表示实际质心点，MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
需要说明的是，首先，由于光带图像每一行可能存在多个光斑，利用待定质心坐标公式得到待定质心坐标(xtn,ytn)，其中n为像素的列数；然后，利用公式(1)中所求的待定质心坐标进行比较，找到前一行最接近的质心坐标作为最终结果。公式中MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
转换单元30与提取单元20相连接，用于将每组光带图像组中左光带图像的光带中心和右光带图像的光带中心转换为组内三维坐标数据。
具体地，本实施例中双目摄像头极线水平，只需在左目图像的光带中心的任意一点找到相对应的右目图像中同一行的光带中心点，即为此处的图像匹配点，利用双目视差原理，计算出双目摄像头与被测物体的深度距离,以实现二维空间到三维空间的转换。如图3所示，为双目立体视觉测量模型，设被测物体P点的三维坐标为(xP,yP,zP)，双目摄像机拍摄物体上的P点，分别在左摄像头和右摄像头上投影的图像坐标为PL(xl,yl,)与PR(xr,yr)，由三角相似关系得以下关系式，即通过公式(3)和(4)进行组内三维坐标数据计算：
其中，待扫描物体上一点P的三维坐标为(xP,yP,zP)，点P在左摄像头和右摄像头上投影的光带图像坐标为PL(xl,yl)与PR(xr,yr)，f为摄像头焦距距离，B为双目基线距离，视差D＝xl-xr。
由以上公式(3)、(4)可以计算出空间任意一点的三维坐标数据。
标定单元40与转换单元30相连接，用于对每组组内三维坐标数据之间进行联合标定，并将所有组内三维坐标数据转换至同一坐标系，得到世界坐标系数据。
标定单元40的标定方法为：对每两组光带图像组中左/右摄像头进行双目标定得到旋转矩阵R和平移矩阵T，然后该两组组内三维坐标数据通过公式p＝Rq+T进行转换，其中，p、q分别为两组组内三维坐标数据。作为选择，对于双目摄像头的标定，可以使用Matlab或Opencv中的标定方案，或者，也可以借助标定工具箱进行标定，来得到双目摄像头外参数、内参数。
具体地，将双目相机中的左摄像头与相邻的双目相机中的左摄像头组成一对双目相机,且每对组成的双目相机,同样通过张正友标定的方法，得到平移矩阵和旋转矩阵，将其坐标系转换到其他坐标系下的三维坐标中,进而实现坐标系的统一,实际上将独立的双目相机坐标系，转换为全局坐标系中，这其中运用了三维拼接技术。由于这种拼接技术误差较大，通常为了减少此误差，需在测量区摆放一些标志，以固定的标志点进行拼接，而这些标志点需要三个以上才能满足要求。使用四元组法来实现三维对应点集之间的坐标系转换关系。它是利用两组相互一一对应的三维坐标点集,计算出两个坐标之间的旋转矩阵R和平移向量T。当计算出R和T后就可以得到两个点集之间的关系:p＝Rq+T。
在一些实施例中，为了获取完整的三维点云数据，通过上面多模组双目相机的联合标定，将不同视角的点云数据建立到同一坐标系下。如图4所示，是整套***从俯视角度，升降台的中心为坐标系原点O。线激光双目模组即四组视觉组件10定义为No.1，No.2，No.3，No.4。可认为No.1和No.2作为第一象限的分界限，依此类推可以得到四组象限坐标系。其中世界坐标系中的Y轴表示物体被扫的高度，由升降台来决定。通过公式(5)得到世界坐标系数据：
No.1：X＝X1-U1
Z＝L1-Z1
No.2：X＝L2-Z2
Z＝U2-X2
No.3：X＝U3-X3
Z＝Z3-L3
No.4：X＝Z4-L4
Z＝X4-U4……(5)
其中，No.1，No.2，No.3，No.4代表四组视觉组件10，L1、L2、L3、L4为四组视觉组件10到待测物体中心点距离，U1、U2、U3、U4为对应光带中心的像素点横坐标，X1、X2、X3、X4为光带中心的像素点横坐标。
至此将分别来自于四个方向的扫描截面点云信息，映射到世界坐标系上。
融合单元50与标定单元40相连接，用于结合所有水平高度上的世界坐标系数据进行点云融合，得到待扫描物体的三维点云数据。具体地，不同视角下的点云融合会存在不同程度的分层、重叠现象，这样不可避免的造成了点云的冗余，而且会在后续的三维点云重构时容易造成模型的歧义。三维点云的融合目的在于解决上面的问题，使后期的点云模型更为光滑。
点云融合包括：首先，针对每两组点云集M和N，先计算点云集M中的每一点到点云集N的欧拉距离，若当前点对的欧拉距离小于一阈值时，将当前点对确定为重叠点对；然后，依此进行迭代，建立两个点云集M和N的重叠点对关系；之后，通过点云的法向特征，在重叠的点集里找寻对应的配准点；最后，在两个对应的配准点之间通过插值运算确定最终融合点，完成点云融合。需要说明的是，插值运算的具体实现是采用双线性插值来实现的，由于双线性插值的步骤是现有技术，此处不做具体限制，只要可以实现相关计算即可。
需要说明的是，提取单元20、转换单元30、标定单元40、融合单元50可分别为独立的单元，或者，也可以为至少两两组合的方式甚至整体。提取单元20、转换单元30、标定单元40、融合单元50的实现方式可为电路、MCU、单片机、软件等形式。
以下结合图1-5和本发明一些实施例中多目立体视觉的三维扫描方法对本发明一些实施例中多目立体视觉的三维扫描***的工作原理进行说明。
本实施例的多目立体视觉的三维扫描方法用于从不同视角对待扫描物体表面进行全方位横向扫描。本实施例的方法包括如下步骤S1-S5。
在步骤S1中，通过设置在待扫描物体周围、处于同一水平高度上不同位置的至少三组视觉组件10获取光带图像组，每组视觉组件10包括两个摄像头及位于两个摄像头之间的线激光器，每组光带图像组包括左光带图像和右光带图像。优选地，两个摄像头结构水平，参数相同，本实施例使用双目摄像头的分辨率为640*480，双目基线为9cm。作为选择，可对于所使用摄像头的参数或标准进行修改，例如将摄像头分辨率改成1920x 1080，或者，根据扫描物体的大小，可以动态调整双目基线。
视觉组件10的数量优选为四组，即使用四组环绕形状的双目相机来获取不同位置处的线激光光带图像，来获取线激光的光带中心。
在步骤S2中，分别提取所有左光带图像和右光带图像的光带中心。优选地，采用梯度质心法进行光带中心的提取。具体地，采用梯度质心法进行光带中心的提取，首先是计算光带图像的每一行的梯度，然后经过梯度比较得到光带中心区域的初步位置；接着计算此位置区域的质心，最后通过邻域筛选原则来提取中心点位置。
梯度质心法中，包括：
T1：通过公式(1)求得待定质心坐标(xtn,ytn)；
其中，Q为光带图像的像素值，n为像素的列数，Lk为最小行，RK为最大行，t为待定质心点的范围；
T2：通过公式(2)计算光带中心坐标(xc,yc)，
其中，c下标表示实际质心点，MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
需要说明的是，首先，由于光带图像每一行可能存在多个光斑，利用待定质心坐标公式得到待定质心坐标(xtn,ytn)，其中n为像素的列数；然后，利用公式(1)中所求的待定质心坐标进行比较，找到前一行最接近的质心坐标作为最终结果。公式中MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
在步骤S3中，将每组光带图像组中左光带图像的光带中心和右光带图像的光带中心转换为组内三维坐标数据。
具体地，本实施例中双目摄像头极线水平，只需在左目图像的光带中心的任意一点找到相对应的右目图像中同一行的光带中心点，即为此处的图像匹配点，利用双目视差原理，计算出双目摄像头与被测物体的深度距离,以实现二维空间到三维空间的转换。如图3所示，为双目立体视觉测量模型，设被测物体P点的三维坐标为(xP,yP,zP)，双目摄像机拍摄物体上的P点，分别在左摄像头和右摄像头上投影的图像坐标为PL(xl,yl,)与PR(xr,yr)，由三角相似关系得以下关系式，即通过公式(3)和(4)进行组内三维坐标数据计算：
其中，待扫描物体上一点P的三维坐标为(xP,yP,zP)，点P在左摄像头和右摄像头上投影的光带图像坐标为PL(xl,yl)与PR(xr,yr)，f为摄像头焦距距离，B为双目基线距离，视差D＝xl-xr。
由以上公式(3)、(4)可以计算出空间任意一点的三维坐标数据。
在步骤S4中，对每组视觉组件10的组内三维坐标数据之间进行联合标定，并将所有组内三维坐标数据转换至同一坐标系，得到世界坐标系数据。
其中，标定方法为：对每两组光带图像组中左/右摄像头进行双目标定得到旋转矩阵R和平移矩阵T，然后该两组组内三维坐标数据通过公式p＝Rq+T进行转换，其中，p、q分别为两组组内三维坐标数据。作为选择，对于双目摄像头的标定，可以使用Matlab或Opencv中的标定方案，或者，也可以借助标定工具箱进行标定，来得到双目摄像头外参数、内参数。
具体地，将双目相机中的左摄像头与相邻的双目相机中的左摄像头组成一对双目相机,且每对组成的双目相机,同样通过张正友标定的方法，得到平移矩阵和旋转矩阵，将其坐标系转换到其他坐标系下的三维坐标中,进而实现坐标系的统一,实际上将独立的双目相机坐标系，转换为全局坐标系中，这其中运用了三维拼接技术。由于这种拼接技术误差较大，通常为了减少此误差，需在测量区摆放一些标志，以固定的标志点进行拼接，而这些标志点需要三个以上才能满足要求。使用四元组法来实现三维对应点集之间的坐标系转换关系。它是利用两组相互一一对应的三维坐标点集,计算出两个坐标之间的旋转矩阵R和平移向量T。当计算出R和T后就可以得到两个点集之间的关系:p＝Rq+T。
本步骤中，为了获取完整的三维点云数据，通过上面多模组双目相机的联合标定，将不同视角的点云数据建立到同一坐标系下。如图4所示，是整套***从俯视角度，升降台的中心为坐标系原点O。线激光双目模组即四组视觉组件10定义为No.1，No.2，No.3，No.4。可认为No.1和No.2作为第一象限的分界限，依此类推可以得到四组象限坐标系。其中世界坐标系中的Y轴表示物体被扫的高度，由升降台来决定。通过公式(5)得到世界坐标系数据：
No.1：X＝X1-U1
Z＝L1-Z1
No.2：X＝L2-Z2
Z＝U2-X2
No.3：X＝U3-X3
Z＝Z3-L3
No.4：X＝Z4-L4
Z＝X4-U4 ……(5)
其中，No.1，No.2，No.3，No.4代表四组视觉组件10，L1、L2、L3、L4为四组视觉组件10到待测物体中心点距离，U1、U2、U3、U4为对应光带中心的像素点横坐标，X1、X2、X3、X4为光带中心的像素点横坐标。
至此将分别来自于四个方向的扫描截面点云信息，映射到世界坐标系上。
在步骤S5中，结合所有水平高度上的世界坐标系数据进行点云融合，得到待扫描物体的三维点云数据。具体地，不同视角下的点云融合会存在不同程度的分层、重叠现象，这样不可避免的造成了点云的冗余，而且会在后续的三维点云重构时容易造成模型的歧义。三维点云的融合目的在于解决上面的问题，使后期的点云模型更为光滑。
点云融合包括：
W1：针对每两组点云集M和N，先计算点云集M中的每一点到点云集N的欧拉距离，若当前点对的欧拉距离小于一阈值时，将当前点对确定为重叠点对；
W2：依此进行迭代，建立两个点云集M和N的重叠点对关系；
W3：通过点云的法向特征，在重叠的点集里找寻对应的配准点；
W4：在两个对应的配准点之间通过插值运算确定最终融合点，完成点云融合。
本发明实施例所描述的多目立体视觉的三维扫描方法及***，可以在不增加复杂的外部硬件的条件下实现高性能的三维重建效果，针对目前三维点云扫描速度过慢和扫描盲区现象，本实施例对物体表面进行层次扫描使得***性得到大大的提升。本实施例结构简单、精度合适、扫描速度快，今后可被应用在工件扫描、文物扫描、大场景扫描等场合，具有良好的应用前景。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干个改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种多目立体视觉的三维扫描方法，其特征在于，包括如下步骤：
S1：通过设置在待扫描物体周围、处于同一水平高度上不同位置的至少三组视觉组件(10)获取光带图像组，每组所述视觉组件(10)包括两个摄像头及位于两个所述摄像头之间的线激光器，每组所述光带图像组包括左光带图像和右光带图像；
S2：分别提取所有所述左光带图像和所述右光带图像的光带中心；
S3：将每组所述光带图像组中所述左光带图像的光带中心和所述右光带图像的光带中心转换为组内三维坐标数据；
S4：对每组所述视觉组件(10)的所述组内三维坐标数据之间进行联合标定，并将所有所述组内三维坐标数据转换至同一坐标系，得到世界坐标系数据；
S5：结合所有水平高度上的世界坐标系数据进行点云融合，得到所述待扫描物体的三维点云数据。
2.根据权利要求1所述的方法，其特征在于，所述步骤S2中，采用梯度质心法进行光带中心的提取。
3.根据权利要求2所述的方法，其特征在于，所述梯度质心法中，包括：
T1：通过公式(1)求得待定质心坐标(xtn,ytn)；
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mi>t</mi>
<mi>n</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>L</mi>
<mi>k</mi>
</msub>
</mrow>
<msub>
<mi>R</mi>
<mi>k</mi>
</msub>
</munderover>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>*</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>L</mi>
<mi>k</mi>
</msub>
</mrow>
<msub>
<mi>R</mi>
<mi>k</mi>
</msub>
</munderover>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>,</mo>
<msub>
<mi>y</mi>
<mi>j</mi>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
ytn＝yj……(1)
其中，Q为所述光带图像的像素值，n为像素的列数，Lk为最小行，RK为最大行，t为待定质心点的范围；
T2：通过公式(2)计算光带中心坐标(xc，yc)，
xc＝MINxt(|xc1 xt0|，|xc1 xt1|，|xc1 xt2|，......)
yc＝yt……(2)
其中，c下标表示实际质心点，MINxt函数是实现在多个质心坐标比较得到与前一行质心坐标最相似的坐标值。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤S3中，通过公式(3)和(4)进行组内三维坐标数据计算：
<mrow>
<msub>
<mi>X</mi>
<mi>l</mi>
</msub>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<msub>
<mi>x</mi>
<mi>p</mi>
</msub>
<msub>
<mi>z</mi>
<mi>p</mi>
</msub>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>X</mi>
<mi>r</mi>
</msub>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<mi>B</mi>
</mrow>
<msub>
<mi>z</mi>
<mi>p</mi>
</msub>
</mfrac>
</mrow>
<mrow>
<mi>Y</mi>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<msub>
<mi>y</mi>
<mi>c</mi>
</msub>
<msub>
<mi>z</mi>
<mi>c</mi>
</msub>
</mfrac>
<mn>......</mn>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>x</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>BX</mi>
<mi>l</mi>
</msub>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>y</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mi>Y</mi>
</mrow>
<mi>D</mi>
</mfrac>
</mrow>
<mrow>
<msub>
<mi>z</mi>
<mi>p</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mi>B</mi>
<mi>f</mi>
</mrow>
<mi>D</mi>
</mfrac>
<mn>.....</mn>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，所述待扫描物体上一点P的三维坐标为(xP，yP，zP)，点P在左摄像头和右摄像头上投影的光带图像坐标为PL(x1，y1)与PR(xr，yr)，f为摄像头焦距距离，B为双目基线距离，视差D＝x1-xr。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤S4中，标定方法为：对每两组所述光带图像组中左/右摄像头进行双目标定得到旋转矩阵R和平移矩阵T，然后该两组所述组内三维坐标数据通过公式p＝Rq+T进行转换，其中，p、q分别为两组所述组内三维坐标数据。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述视觉组件(10)的数量为四组。
7.根据权利要求6所述的方法，其特征在于，所述步骤S4中，通过公式(5)得到世界坐标系数据：
No.1：X＝X1-U1
Z＝L1-Z1
No.2：X＝L2-Z2
Z＝U2-X2
No.3：X＝U3-X3
Z＝Z3-L3
No.4：X＝Z4-L4
Z＝X4-U4 ……(5)
其中，No.1，No.2，No.3，No.4代表四组所述视觉组件(10)，L1、L2、L3、L4为四组所述视觉组件(10)到所述待测物体中心点距离，U1、U2、U3、U4为对应所述光带中心的像素点横坐标，X1、X2、X3、X4为所述光带中心的像素点横坐标。
8.根据权利要求1所述的方法，其特征在于，所述步骤S5中，所述点云融合包括：
W1：针对每两组点云集M和N，先计算所述点云集M中的每一点到所述点云集N的欧拉距离，若当前点对的所述欧拉距离小于一阈值时，将当前点对确定为重叠点对；
W2:依此进行迭代，建立两个所述点云集M和N的重叠点对关系；
W3:通过点云的法向特征，在重叠的点集里找寻对应的配准点；
W4:在两个对应的配准点之间通过插值运算确定最终融合点，完成点云融合。
9.一种多目立体视觉的三维扫描***，其特征在于，所述***执行权利要求1-8任一项所述的方法，所述***包括：
至少三组视觉组件(10)，设置在待扫描物体周围且处于同一水平高度上不同位置，每组所述视觉组件(10)包括两个摄像头及位于两个所述摄像头之间的线激光器，所述视觉组件(10)用于获取光带图像组，每组所述光带图像组包括左光带图像和右光带图像；
提取单元(20)，分别提取所有所述左光带图像和所述右光带图像的光带中心；
转换单元(30)，将每组所述光带图像组中所述左光带图像的光带中心和所述右光带图像的光带中心转换为组内三维坐标数据；
标定单元(40)，对每组所述组内三维坐标数据之间进行联合标定，并将所有所述组内三维坐标数据转换至同一坐标系，得到世界坐标系数据；
融合单元(50)，结合所有水平高度上的世界坐标系数据进行点云融合，得到所述待扫描物体的三维点云数据。
10.根据权利要求9所述的***，其特征在于，所述***还包括承载所述视觉组件(10)并可升降运动的升降台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710585970.6A CN107621226A (zh) | 2017-07-18 | 2017-07-18 | 多目立体视觉的三维扫描方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710585970.6A CN107621226A (zh) | 2017-07-18 | 2017-07-18 | 多目立体视觉的三维扫描方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107621226A true CN107621226A (zh) | 2018-01-23 |
Family
ID=61088865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710585970.6A Pending CN107621226A (zh) | 2017-07-18 | 2017-07-18 | 多目立体视觉的三维扫描方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107621226A (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717728A (zh) * | 2018-07-19 | 2018-10-30 | 安徽中科智链信息科技有限公司 | 一种基于多视角深度摄像机的三维重建装置及方法 |
| CN109035330A (zh) * | 2018-08-17 | 2018-12-18 | 深圳蓝胖子机器人有限公司 | 箱体拟合方法、设备和计算机可读存储介质 |
| CN109523633A (zh) * | 2018-09-30 | 2019-03-26 | 先临三维科技股份有限公司 | 模型扫描方法、装置、设备、存储介质和处理器 |
| CN109727277A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 多目立体视觉的体表摆位跟踪方法 |
| CN109938841A (zh) * | 2019-04-11 | 2019-06-28 | 哈尔滨理工大学 | 一种基于多目相机坐标融合的手术器械导航*** |
| CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
| CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
| CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和*** |
| CN110907457A (zh) * | 2019-12-19 | 2020-03-24 | 长安大学 | 基于3d点云数据的集料形态特征检测***及检测方法 |
| CN111721194A (zh) * | 2019-03-19 | 2020-09-29 | 北京伟景智能科技有限公司 | 一种多激光线快速检测方法 |
| CN111738971A (zh) * | 2019-03-19 | 2020-10-02 | 北京伟景智能科技有限公司 | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 |
| CN111768448A (zh) * | 2019-03-30 | 2020-10-13 | 北京伟景智能科技有限公司 | 一种基于多相机检测的空间坐标系标定方法 |
| CN111829435A (zh) * | 2019-08-27 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种多双目相机与线激光协同检测方法 |
| CN113074633A (zh) * | 2021-03-22 | 2021-07-06 | 西安工业大学 | 一种物料外形尺寸的自动检测***及其检测方法 |
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113222891A (zh) * | 2021-04-01 | 2021-08-06 | 东方电气集团东方锅炉股份有限公司 | 一种基于线激光的旋转物体双目视觉三维测量方法 |
| CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
| CN113813170A (zh) * | 2021-08-30 | 2021-12-21 | 中科尚易健康科技(北京)有限公司 | 多摄像头理疗***的摄像头之间目标点转换方法 |
| CN115047472A (zh) * | 2022-03-30 | 2022-09-13 | 北京一径科技有限公司 | 确定激光雷达点云分层的方法、装置、设备及存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1595054A (zh) * | 2004-07-14 | 2005-03-16 | 天津大学 | 双目线结构光传感器一致性精确标定方法及其实施装置 |
| CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
| CN102364299A (zh) * | 2011-08-30 | 2012-02-29 | 刘桂华 | 一种多个结构光投影三维型面测量头的标定技术 |
| CN102768728A (zh) * | 2012-06-27 | 2012-11-07 | 山东大学 | 一种基于扫描振镜的立体字符图像采集及处理方法 |
| CN102878925A (zh) * | 2012-09-18 | 2013-01-16 | 天津工业大学 | 双目摄像机和单个投影光源同步标定方法 |
| CN103542981A (zh) * | 2013-09-28 | 2014-01-29 | 大连理工大学 | 一种双目视觉测量转动惯量的方法 |
| CN103940369A (zh) * | 2014-04-09 | 2014-07-23 | 大连理工大学 | 多激光协同扫描形貌快速视觉测量方法 |
| CN103971353A (zh) * | 2014-05-14 | 2014-08-06 | 大连理工大学 | 采用激光辅助大型锻件测量图像数据的拼接方法 |
| CN104183010A (zh) * | 2013-05-22 | 2014-12-03 | 上海迪谱工业检测技术有限公司 | 多视角三维在线重建的方法 |
| CN104457574A (zh) * | 2014-12-11 | 2015-03-25 | 天津大学 | 一种非接触式测量不规则物体体积的装置和测量方法 |
| CN104930985A (zh) * | 2015-06-16 | 2015-09-23 | 大连理工大学 | 基于时空约束的双目视觉三维形貌测量方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
| CN105741304A (zh) * | 2016-03-02 | 2016-07-06 | 南昌航空大学 | 一种激光条纹中心提取算法 |
| CN106949845A (zh) * | 2017-01-19 | 2017-07-14 | 南京航空航天大学 | 基于双目立体视觉的二维激光振镜扫描***及标定方法 |
-
2017
- 2017-07-18 CN CN201710585970.6A patent/CN107621226A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1595054A (zh) * | 2004-07-14 | 2005-03-16 | 天津大学 | 双目线结构光传感器一致性精确标定方法及其实施装置 |
| CN102003938A (zh) * | 2010-10-11 | 2011-04-06 | 中国人民解放军信息工程大学 | 大型高温锻件热态在位检测方法 |
| CN102364299A (zh) * | 2011-08-30 | 2012-02-29 | 刘桂华 | 一种多个结构光投影三维型面测量头的标定技术 |
| CN102768728A (zh) * | 2012-06-27 | 2012-11-07 | 山东大学 | 一种基于扫描振镜的立体字符图像采集及处理方法 |
| CN102878925A (zh) * | 2012-09-18 | 2013-01-16 | 天津工业大学 | 双目摄像机和单个投影光源同步标定方法 |
| CN104183010A (zh) * | 2013-05-22 | 2014-12-03 | 上海迪谱工业检测技术有限公司 | 多视角三维在线重建的方法 |
| CN103542981A (zh) * | 2013-09-28 | 2014-01-29 | 大连理工大学 | 一种双目视觉测量转动惯量的方法 |
| CN103940369A (zh) * | 2014-04-09 | 2014-07-23 | 大连理工大学 | 多激光协同扫描形貌快速视觉测量方法 |
| CN103971353A (zh) * | 2014-05-14 | 2014-08-06 | 大连理工大学 | 采用激光辅助大型锻件测量图像数据的拼接方法 |
| CN104457574A (zh) * | 2014-12-11 | 2015-03-25 | 天津大学 | 一种非接触式测量不规则物体体积的装置和测量方法 |
| CN104930985A (zh) * | 2015-06-16 | 2015-09-23 | 大连理工大学 | 基于时空约束的双目视觉三维形貌测量方法 |
| CN104933718A (zh) * | 2015-06-23 | 2015-09-23 | 广东省自动化研究所 | 一种基于双目视觉的物理坐标定位方法 |
| CN105741304A (zh) * | 2016-03-02 | 2016-07-06 | 南昌航空大学 | 一种激光条纹中心提取算法 |
| CN105716542A (zh) * | 2016-04-07 | 2016-06-29 | 大连理工大学 | 一种基于柔性特征点的三维数据拼接方法 |
| CN106949845A (zh) * | 2017-01-19 | 2017-07-14 | 南京航空航天大学 | 基于双目立体视觉的二维激光振镜扫描***及标定方法 |
Non-Patent Citations (3)
| Title |
|---|
| 周建华: "多组双目激光融合的三维扫描***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 罗庆生等: "《仿生四足机器人技术》", 30 April 2016, 北京理工大学出版社 * |
| 隋修武: "《机械电子工程原理与***设计》", 31 January 2014, 国防工业出版社 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108717728A (zh) * | 2018-07-19 | 2018-10-30 | 安徽中科智链信息科技有限公司 | 一种基于多视角深度摄像机的三维重建装置及方法 |
| CN109035330A (zh) * | 2018-08-17 | 2018-12-18 | 深圳蓝胖子机器人有限公司 | 箱体拟合方法、设备和计算机可读存储介质 |
| CN109523633A (zh) * | 2018-09-30 | 2019-03-26 | 先临三维科技股份有限公司 | 模型扫描方法、装置、设备、存储介质和处理器 |
| CN109523633B (zh) * | 2018-09-30 | 2023-06-02 | 先临三维科技股份有限公司 | 模型扫描方法、装置、设备、存储介质和处理器 |
| CN109727277A (zh) * | 2018-12-28 | 2019-05-07 | 江苏瑞尔医疗科技有限公司 | 多目立体视觉的体表摆位跟踪方法 |
| CN110044300A (zh) * | 2019-01-22 | 2019-07-23 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
| CN110044300B (zh) * | 2019-01-22 | 2024-04-09 | 中国海洋大学 | 基于激光器的两栖三维视觉探测装置及探测方法 |
| CN111738971B (zh) * | 2019-03-19 | 2024-02-27 | 北京伟景智能科技有限公司 | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 |
| CN111721194A (zh) * | 2019-03-19 | 2020-09-29 | 北京伟景智能科技有限公司 | 一种多激光线快速检测方法 |
| CN111738971A (zh) * | 2019-03-19 | 2020-10-02 | 北京伟景智能科技有限公司 | 一种基于线激光双目立体视觉的电路板立体扫描检测方法 |
| CN111768448A (zh) * | 2019-03-30 | 2020-10-13 | 北京伟景智能科技有限公司 | 一种基于多相机检测的空间坐标系标定方法 |
| CN109938841A (zh) * | 2019-04-11 | 2019-06-28 | 哈尔滨理工大学 | 一种基于多目相机坐标融合的手术器械导航*** |
| CN111829435A (zh) * | 2019-08-27 | 2020-10-27 | 北京伟景智能科技有限公司 | 一种多双目相机与线激光协同检测方法 |
| CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
| CN110779933A (zh) * | 2019-11-12 | 2020-02-11 | 广东省智能机器人研究院 | 基于3d视觉传感阵列的表面点云数据获取方法和*** |
| CN110907457A (zh) * | 2019-12-19 | 2020-03-24 | 长安大学 | 基于3d点云数据的集料形态特征检测***及检测方法 |
| CN113074633B (zh) * | 2021-03-22 | 2023-01-31 | 西安工业大学 | 一种物料外形尺寸的自动检测***及其检测方法 |
| CN113074633A (zh) * | 2021-03-22 | 2021-07-06 | 西安工业大学 | 一种物料外形尺寸的自动检测***及其检测方法 |
| CN113103228A (zh) * | 2021-03-29 | 2021-07-13 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113103228B (zh) * | 2021-03-29 | 2023-08-15 | 航天时代电子技术股份有限公司 | 遥操作机器人 |
| CN113222891B (zh) * | 2021-04-01 | 2023-12-22 | 东方电气集团东方锅炉股份有限公司 | 一种基于线激光的旋转物体双目视觉三维测量方法 |
| CN113222891A (zh) * | 2021-04-01 | 2021-08-06 | 东方电气集团东方锅炉股份有限公司 | 一种基于线激光的旋转物体双目视觉三维测量方法 |
| CN113538547A (zh) * | 2021-06-03 | 2021-10-22 | 苏州小蜂视觉科技有限公司 | 一种3d线激光传感器的深度处理方法及点胶设备 |
| CN113813170A (zh) * | 2021-08-30 | 2021-12-21 | 中科尚易健康科技(北京)有限公司 | 多摄像头理疗***的摄像头之间目标点转换方法 |
| CN113813170B (zh) * | 2021-08-30 | 2023-11-24 | 中科尚易健康科技(北京)有限公司 | 多摄像头理疗***的摄像头之间目标点转换方法 |
| WO2023185943A1 (zh) * | 2022-03-30 | 2023-10-05 | 北京一径科技有限公司 | 确定激光雷达点云分层的方法、装置、设备及存储介质 |
| CN115047472A (zh) * | 2022-03-30 | 2022-09-13 | 北京一径科技有限公司 | 确定激光雷达点云分层的方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107621226A (zh) | 多目立体视觉的三维扫描方法及*** | |
| CN108269279B (zh) | 基于单目三维扫描***的三维重构方法和装置 | |
| CN107945268B (zh) | 一种基于二元面结构光的高精度三维重建方法及*** | |
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| CN106097348B (zh) | 一种三维激光点云与二维图像的融合方法 | |
| CN105160702B (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及*** | |
| CN101393012B (zh) | 双目立体视觉测量装置 | |
| CN106023303B (zh) | 一种基于轮廓有效性提高三维重建点云稠密程度的方法 | |
| CN107833270A (zh) | 基于深度相机的实时物体三维重建方法 | |
| CN107767442A (zh) | 一种基于Kinect和双目视觉的脚型三维重建与测量方法 | |
| CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和*** | |
| CN104574432B (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及*** | |
| CN104156972A (zh) | 基于激光扫描测距仪与多相机融合的透视成像方法 | |
| CN104408732A (zh) | 一种基于全向结构光的大视场深度测量***及方法 | |
| CN109727277B (zh) | 多目立体视觉的体表摆位跟踪方法 | |
| CN102938142A (zh) | 基于Kinect的室内LiDAR缺失数据填补方法 | |
| CN106780573B (zh) | 一种全景图特征匹配精度优化的方法及*** | |
| CN104318616A (zh) | 彩色点云***及基于该***的彩色点云生成方法 | |
| CN111091076B (zh) | 基于立体视觉的隧道限界数据测量方法 | |
| CN106500625A (zh) | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 | |
| CN113610889A (zh) | 一种人体三维模型获取方法、装置、智能终端及存储介质 | |
| CN109146769A (zh) | 图像处理方法及装置、图像处理设备及存储介质 | |
| CN113362457A (zh) | 一种基于散斑结构光的立体视觉测量方法及*** | |
| CN107374638A (zh) | 一种基于双目视觉模块的身高测量***及方法 | |
| CN108010125A (zh) | 基于线结构光和图像信息的真实尺度三维重建***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180123 |
|
| RJ01 | Rejection of invention patent application after publication |