CN110243307A - 一种自动化三维彩色成像与测量*** - Google Patents
一种自动化三维彩色成像与测量*** Download PDFInfo
- Publication number
- CN110243307A CN110243307A CN201910300731.0A CN201910300731A CN110243307A CN 110243307 A CN110243307 A CN 110243307A CN 201910300731 A CN201910300731 A CN 201910300731A CN 110243307 A CN110243307 A CN 110243307A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional
- automatized
- camera
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 16
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 26
- 230000009466 transformation Effects 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101150096185 PAAS gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种自动化三维彩色成像与测量***，包括：成像模块，包括用于采集被测物体第一三维图像和彩色图像的彩色三维传感器，以及用于采集所述被测物体第二三维图像的深度相机；位姿调整模块，用于固定所述成像模块，并对所述成像模块进行位姿调整；处理器，连接并控制所述成像模块以及所述位姿调整模块，使得所述成像模块对所述被测物体进行多角度图像采集，并基于所述第一三维图像、所述彩色图像以及所述第二三维图像计算出所述被测物体的彩色三维模型。本发明通过采用机械臂和旋转电机来控制三维传感器的多视角姿态调整，以满足所有扫描视场的重叠度和完整性；通过深度相机实时获取物体的形貌数据来估算三维传感器最佳扫描姿态，以确保物体的待测量表面位于三维传感器的测量范围内。
Description
技术领域
本发明属于电子技术领域，更具体地说，是涉及一种自动化三维彩色成像与测量***。
背景技术
在众多光学三维测量技术中，基于相位的主动双目视觉3D成像技术由于其非接触、快速、高精度的特点被认为是一种最为有效的精确检测与重建物体三维形貌的技术。
然而在光学三维测量和成像过程中，受三维传感器测量范围的限制，待测量物体的尺寸变化与拓扑变化对完整的三维测量与成像均会造成不同程度的影响，尤其是对自动化扫描带来巨大的挑战：既要满足三维扫描的完整性要求，又要协调控制三维传感器与测量表面间的姿态关系，以保证三维数字化测量的精度与效率。
针对当前三维测量存在的巨大挑战，本发明提供一种基于机器人辅助的全自动自动化三维彩色成像与测量***。
发明内容
为解决上述问题，本发明提供一种自动化三维彩色成像与测量***，包括：成像模块，包括用于采集被测物体第一三维图像和彩色图像的彩色三维传感器，以及用于采集所述被测物体第二三维图像的深度相机；位姿调整模块，用于固定所述成像模块，并对所述成像模块进行位姿调整；处理器，连接并控制所述成像模块以及所述位姿调整模块，使得所述成像模块对所述被测物体进行多角度图像采集，并基于所述第一三维图像、所述彩色图像以及所述第二三维图像计算出所述被测物体的彩色三维模型。在一个实施例中，所述彩色三维传感器包括左相机、右相机、投影仪组成的主动双目视觉相机以及彩色相机。
在一个实施例中，所述位姿调整模块包括：机械臂，连接于所述成像模块，包括多个旋转轴以对所述成像模型进行位姿调整；旋转轴，分别与所述机械臂以及所述底座连接，用于使得所述成像模块围绕所述底座旋转。
在一个实施例中，所述彩色三维传感器包括左相机、右相机、投影仪组成的主动双目视觉相机以及彩色相机。
在一个实施例中，所述深度相机包括TOF深度相机或结构光深度相机或双目视觉深度相机。
在一个实施例中，所述第一三维图像的分辨率、精度、帧率中的至少一个高于第二三维图像。
在一个实施例中，所述基于所述第一三维图像、所述彩色图像以及所述第二三维图像计算出所述被测物体的彩色三维模型包括以下步骤：利用所述第二三维图像生成全局扫描视点；在所述全局扫描视点处采集所述第一三维图像以及所述彩色图像，并基于所述第一三维图像以及所述彩色图像计算所述被测物体的彩色三维模型。
在一个实施例中，所述全局扫描视点是基于约束条件所生成的，所述约束条件包括但不限于可见性约束、测量空间约束、重叠度约束以及遮挡约束中的至少一种。
在一个实施例中，所述全局扫描视点是基于下一个最佳视点(NBVs)算法计算得出；所述NBVs算法包括以下步骤：构建包含所述粗略模型以及扫描空间的最小包围盒，并对所述扫描空间按照一定的距离间距进行3D体素网格划分；对所述粗略模型采样点找到体素，并以所述体素作为搜索种子对其领域体素进行膨胀搜索以得到所述有效体素；求解所述有效体素的标记分数并选择分数值最大的体素进行视点计算。
在一个实施例中，所述三维扫描是基于所述全局扫描视点并进行最短路径规划，以沿着所述最短路径进行三维扫描。
在一个实施例中，所述最短路径规划算法包括但不限于蚁群算法、神经网络算法、粒子群算法、遗传算法中的一种。
本发明的有益效果：提出了一种基于深度相机辅助的机器人三维扫描策略，采用机械臂和旋转电机来控制三维传感器的多视角姿态调整，以满足所有扫描视场的重叠度和完整性；通过深度相机实时获取物体的形貌数据来估算三维传感器最佳扫描姿态，以确保物体的待测量表面位于三维传感器的测量范围内。
附图说明
图1是根据本发明一个实施例的自动化三维彩色成像与测量***示意图。
图2是根据本发明一个实施例的***坐标系分布及变换关系示意图。
图3是根据本发明一个实施例的基于非编码标志点的低成本立体标靶示意图。
图4是根据本发明一个实施例的双目视觉三维传感器的约束关系示意图。
图5是根据本发明一个实施例的ISO点可视范围(a)以及体素包含视点(b)示意图。
图6是根据本发明一个实施例的体素内向量直方图统计示意图。
图7是根据本发明一个实施例的NBVs算法流程图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明，应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
***描述
图1是根据本发明一个实施例的自动化三维彩色成像与测量***示意图。***10包括底座101、机械臂102、成像模块103、旋转轴105以及处理器(图中未示出)。
底座101用于放置被测物104，底座也可以不作为***的必须配置，比如可以是其他平面或者结构。
成像模块103包括彩色三维传感器和深度相机1035，彩色三维传感器包括由左相机1031、右相机1032、投影仪1033组成的主动双目视觉相机以及彩色相机1034，分别用于采集被测物104的第一三维图像以及彩色图像，通过对各个相机之间的相对位置信息(通过标定获取)，可以进一步将第一三维图像与彩色进行对齐以获取被测物的三维彩色图像，或者说将彩色相机采集到的彩色图像进行纹理映射实现三维图像的着色以获得三维彩色图像。在一个实施例中，左相机 1031、右相机1032为高分辨率黑白相机，投影仪可以是数字条纹投影仪，用于投射编码结构光图像，左相机1031和右相机1032采集相位结构光图像并基于相位辅助的主动立体视觉(PAAS)技术进行高精度三维成像。在一个实施例中，左、右相机也可以是红外相机等，左、右相机的各项参数，例如焦距、分辨率、景深等可以相同也可以不相同。第一三维图像是指彩色三维传感器所采集到的被测物104的三维图像。
深度相机1035用于采集被测物的第二三维图像，深度相机1035可以是基于时间飞行法(TOF)、结构光或者被动双目视觉技术的深度相机，一般地，所采集到的第二三维图像的分辨率、精度以及帧率中的至少一个低于第一三维图像，一般而言，第二三维图像的分辨率、精度以及帧率均低于第一三维图像。为了便于描述，在以下的说明中，将物体的第一三维图像称为高精度精细三维模型，将物体的第二三维图像称为低精度粗略三维模型。第二三维图像是指深度相机1035 采集到的被测物104的三维图像。
机械臂102、旋转轴105组成位姿调整模块，用于固定成像模块103并对其进行位姿调整。其中，机械臂102连接成像模块103以及旋转轴105，旋转轴105 被安装在底座101上用于围绕底座101旋转，机械臂102为多轴联动机械臂以进行相应的位姿调整，通过旋转轴105以及机械臂102的联合调整，可以对成像模块103进行多方位视角变换，以便于对被测物104进行多方位测量。在一些实施例中，旋转轴105包括旋转电机，在旋转电机的驱动下机械臂将在旋转轴的带动下围绕底座进行旋转，以对被测物进行测量。
处理器与机械臂102、成像模块103、旋转轴105连接，用于执行控制及相应的数据处理或三维扫描任务，比如三维彩色图像提取、粗略三维模型建立、精细三维模型建立等。可以理解的是，处理器可以是单个处理器也可以是多个独立的处理器，比如成像模块中可以包括多个专门处理器用于执行三维成像等算法。***还包括存储器，用于储存被处理器执行的算法程序，比如本发明所提及的各类算法、方法(标定方法、重建方法、视点生成算法以及扫描方法等)，存储器可以是各类计算机可读介质，比如非暂态存储介质，包括磁性介质和光学介质，例如磁盘、磁带、CDROM、RAM、ROM等。
可以理解的是，上述所说的三维图像即可以指深度图像，也可以指基于深度图像进一步处理而获取的点云数据、网格数据或者三维模型数据等。
利用***10对被测物104进行三维扫描时，整体扫描过程由处理器执行，分为以下几个步骤：
第一步：对深度相机1035以及彩色三维传感器进行标定，以获取深度相机 103与彩色三维传感器的内部参数与外部参数，具体过程详见后文阐述；
第二步：利用深度相机1035采集被测物104的低精度粗略三维模型，比如利用旋转轴105以及机械臂102控制深度相机1035以环绕被测物104一周以快速生成物体的低精度粗略三维模型，可以理解的是，提前需要将被测物104放置在底座101上，在一个实施例中，被测物104被放置在底座101中心；
第三步：基于低精度粗略三维模型计算生成全局扫描视点，具体地将根据本发明提出的NBVs算法自动生成全局扫描视点。
第四步：对所生成的全局扫描视点并根据最短路径规划利用主动双目视觉相机对被测物104进行高精度的三维扫描，以获取第一高精度精细三维模型；
在一些实施例中，还需要对第一高精度精细三维模型进行置信图计算，确定数据缺失以及细节缺失的区域并进行补充扫描，以获取精度更高的第二高精度精细三维模型；
在一些实施例中，在第一和/或第二高精度精细三维模型的采集过程中同步利用彩色相机进行彩色图像的采集，并将彩色图像进行纹理映射实现精细三维模型的着色以获得三维彩色数字图像，最终实现高保真度的完整物体三维彩色数字化。
***标定
在利用***10对被测物104进行三维扫描之前，需要对***中的各个部件进行标定以获取各个部件所在坐标系之间的相对位置关系，基于相对位置关系才可以进行相应的操作，比如彩色着色、基于粗略三维模型生成全局扫描视点等。
图2是根据本发明一个实施例的***坐标系分布及变换关系示意图。其中将世界坐标系建立于底座坐标系上，彩色三维传感器坐标系建立于左相机Sl上，深度相机坐标系建立在其内部的红外相机Si上。需要通过***标定确定彩色三维传感器内外参，以及彩色三维传感器/深度相机坐标系——机械臂坐标系——机械臂基座坐标系——底座坐标系的变换矩阵。本发明中***标定的难点在于，既有不同分辨率、不同视场范围的传感器(比如彩色相机2000万像素、左右相机500万像素，镜头的FOV为H39.8°，V27.60；深度相机30万像素，FOV为 H 58.40，V 45.50)，又有不同光谱响应范围的传感器(如彩色相机、黑白相机的光谱相应范围在可见光波段；红外相机的响应范围在红外波段)，同时要保证彩色三维传感器的标定精度，因此设计与制作高精度的立体标靶是进行高精度标定的关键。
图3是根据本发明一个实施例的基于非编码标志点的低成本立体标靶示意图。立体标靶由第一子标靶A以及第二子标靶B组成，第一子标靶A部分由一个平面组成，平面的表面为规则排布(比如11×9个)的非编码标志点，这些标志点的准确空间坐标可以通过光束平差技术来确定。标志点包括基准点和定位点，其中点位点至少包括四个，为了提高低分辨率的深度相机的标志点提取精度，基准点与定位点均采用大圆设计。定位点与基准点的内部包括一个小的黑色同心标志点(例如同心圆)，通过标志点的圆心灰度来区分定位点和基准点(例如圆心灰度大于125则为基准点，小于125则为定位点，即基准点与定位点的圆心灰度不同)，如图3(c)所示，这样设计极大增加了基准点的尺寸，同时提高了定位点的定位准确度；第二子标靶B由多个平面组成，表面随机粘贴非编码标志点，用于旋转轴标定，第二子标靶B的非编码标志点采用小圆设计，这里的小圆是相对于第一子标靶A中的标志点的大小而言的，即比第一子标靶A中的标志点小。标定过程是通过彩色三维传感器环绕立体标靶一周重建多个视角下随机标志点的空间坐标，通过标志点匹配优化来确定底座坐标系，因此不需要预先确定第二子标靶B的随机标志点的空间坐标，极大降低了标靶制作的难度和成本。
标定过程分为两个步骤：(1)旋转轴(旋转电机)保持静止，机械臂携带彩色三维传感器对第一子标靶A进行多视角采集，计算彩色三维传感器的内外参数、 Hlm和Him。由于左、右相机、彩色相机以及红外相机在不同频谱波段的光源下工作，在每次采集中，首先在可见光照明下，左、右相机和彩色相机采集标靶图像，然后用红外光源进行照明，红外相机采集标靶图像；(2)机械臂保持姿态不变，电机旋转不同角度，左、右相机利用双目立体视觉原理重建每个视角下标靶 B部分的随机标记点的三维坐标，通过标记点匹配确定旋转角度，从而构建底座坐标系，计算Hba。
在一个实施例中，彩色三维传感器在标定时，三个相机(左、右、红外相机) 分别同时获取不同视角下的标靶图案，构建单相机标定模型的目标函数：
其中表示标靶坐标系下M个标志点中第j个标志点的空间齐次坐标，xij(i＝1,...N)表示相机于第i个视角下所采集图像中第j个标志点的图像坐标，K为相机的内参矩阵，包括焦距、主点位置和倾斜因子，ε为镜头畸变，本文只考虑典型的五阶镜头畸变{Fryer,1986#114}，表示第 i个视角下标靶坐标系到相机坐标系的变换矩阵。
一般地，设左相机坐标系为三维传感器坐标系，则三个相机的结构参数为：
其中，和分别为左相机Sl到右相机Sr的旋转矩阵与平移向量，和为左相机Sl到彩色相机Sc之间的旋转矩阵与平移向量。为了获得更高精度的结构参数，我们把变换矩阵加入到三相机的非线性目标函数中，通过 Gauss-Newton或者Levenberg-Marquardt的方法最小化目标函数实现相机参数估计：
其中τ＝{εl,εr,εc,Kl,Kr,Kc,Hlr,Hlc}，由此可以获得彩色三维传感器的内外参数。红外相机的参数求解类似。
彩色三维传感器标定完成后，可以得到左相机在每个采集视角下的变换矩阵直接由机械臂控制***给出，根据手眼标定的数学模型，建立以下关系式：
其中，i,k＝1,2,...,N,且i≠k，N为扫描次数，N个运动姿态可建立个方程，根据Tsai的方法[30]，采用线性最小二乘求解方法可以求解Hsg和Hcb。
在一个实施例中，为了进一步提高精度，我们将其作为初始值，建立非线性目标函数：
其中可以从机械臂中实时获取，采用Levenberg-Marquardt的方法最小化目标函数可以得到更高精度的Hlm与Hbt。Him的求解类似，不再做论述。
在一个实施例中，旋转轴标定过程中，机械臂保持姿态不变，记此时机械臂到底座的变换矩阵为H′gb，三维传感器环绕立体标靶进行圆周运动，在不同旋转角度下重建标靶B部分的随机标志点T是旋转次数，j是标志点序号，对所有视场下重建的标志点进行全局匹配优化，得到标靶标志点在每个旋转角度下的变换关系[R(m)|T(m)]，然后旋转轴方向向量可以在每两个闭合圆轨迹平面之间距离的约束下计算出，每个圆轨迹的中心可以通过全局最小二乘优化法获取，由此可以确定三维传感器坐标系到底座坐标系的变换关系Hrl。根据变换关系(Hrl)-1＝HbrH′mbHlm可以求得基座坐标系到底座坐标系Hbr。
全局扫描视点生成
根据立体视觉成像模型，受双目相机夹角(FOV)、相机镜头和数字投影镜头的焦距和景深(DOF)的限制，三维传感器的测量空间有限，而且三维重建的点云质量还受到诸多约束条件的影响，本发明就是基于一定的约束条件前提下，通过对粗略三维模型(Roughmodel)进行分析自动生成一系列扫描视点，以最少的视点数量实现完整物体三维数字化彩色成像。接下来分别介绍约束条件以及视点生成方法。
图4是根据本发明一个实施例的双目视觉三维传感器的约束关系示意图。其中图4(a)为双目传感器基本结构及测量空间示意图，图4(b)为三维传感器的测量空间约束，图4(c)为点云可见性约束。为了简单描述，本发明不对具体视景体的计算展开描述，测量空间简化为图4(b)所示，设3D传感器的工作距离范围为[dn,df]，最大视场角视点位置为vi(x,y,z)，vi(α,β,γ)表示 3D传感器光轴方向单位向量，vik＝d(vi,sk)表示视点位置vi指向测量目标点位置 sk的矢量。视点规划的过程受到物体表面空间(object surfacespace)，视点空间 (viewpoint space)和成像工作空间(imaging work space)的影响，其约束条件主要包括但不限于以下几个方面中的至少一种：
1)可见性约束：表示测量目标点允许被传感器采集的角度范围，设测量目标点 pk的法向量为nk，则可见性约束条件
其中表示测量目标点的最大可视角度范围，如图4(c)所示。
2)测量空间约束：包括视场(FOV)约束和景深(DOF)约束，代表三维传感器的可测量范围，其约束条件为
其中φmax表示三维传感器最大视场角，如图4(b)所示。
3)重叠度(Overlap)约束：为了后续多视角深度数据的ICP匹配和网格融合(registration and integration)，相邻的扫描视场之间需要有一定视场重叠度。定义视场重叠度为W和Wcover分别表示视场总面积和重叠部分面积，其约束条件为
ξ≥ξmin (8)
其中ξmin为最小视场重叠度。
4)遮挡(Occlusion)约束：当视点vi到测量目标点sk的线段d(vi,sk)与物体实体发生交叉(intersection)时，表示视点vi在目标点sk的视点方向vik被遮挡。
对于一个未知形状的物体，首先利用深度相机环绕被测物进行初始扫描，生成粗略三维模型(Rough model)。本步骤的目的是利用该模型生成全局的扫描视角，因此粗略三维模型并不需要太高的精度和分辨率，也不要求扫描数据特别完整。另外，由于深度相机一般都具有扫描视角广、测量空间的纵深距离范围大、实时性好等特点，因此对于大部分不同尺寸以及不同表面材质的物体，可以简单预设一组扫描姿态即可实现物体形貌的初始扫描。
在一个实施例中，在初始扫描过程中，利用匹配及融合算法，例如 kinectFusion算法对数据进行实时的匹配和整合。初始扫描完成后，对原始点云进行噪声滤波、平滑、边缘去除和归一化估计等预处理，然后再生成初始的闭合三角网格模型，对该模型进行泊松-圆盘采样，得到所谓的ISO点，如图4(b) 所示，设模型采样点为
根据初始模型大小以及扫描仪的最大工作距离df，构建包含模型以及扫描空间的最小包围盒S，并对该空间按照一定的距离间隔ΔD进行3D体素网格的划分(比如划分为100×100×100个体素)。对于S中的任意空间点(px,py,pz)，根据式(9)可快速求解该点归属于哪一个体素网格。
其中(px-min,py-min,pz-min)为包围盒S的最小坐标值，vi＝(nx,ny,nz)为体素编号值，体素的中心点将作为空间三维点参与到下面的下一个最佳视点(next best views,NBVs)计算中。本文的NBVs算法主要分为三个步骤：
Step1:对于初始模型采样点sk，沿其法向nk，距离为d0＝(dn+df)/2的位置，根据式(9)可找到体素vi。以vi为搜索种子，采用贪婪算法对邻域体素进行膨胀搜索，根据上面所述的可见性约束，将满足式(10)的体素编号记录在采样点sk的关联集合当中，如图5(a)所示。
其中vik＝d(vi,sk)表示点vi到点sk的矢量，wik(vi,sk)＝1表示sk对vi可见，当 wik(vi,sk)＝0表示sk到vi之间存在遮挡。在记录的同时，也把(sk,vik)记录在满足式(10)的所有vi的关联集合中，即对所有的ISO点{sk}执行step1 步骤，得到所有记录了ISO点的有效体素{vi}，而没有记录的体素被视为无效，不再参与运算。
Step2:对于有效体素vi，根据其集合中元素sk的标记函数g(sk)，求解该体素的标记分数
g(sk)标记sk的使用情况，当sk还未被确认为归属于某个扫描视点时，标记为 1，已经被确认归属于某个扫描视点时，标记为0，即
Step3:选择标记分数值最大的体素进行视点计算。一个体素记录的ISO点不一定被同一个扫描范围所覆盖，如图5(b)所示，因此我们采用直方图统计的方法对中的所有sk的矢量d(vi,sk)进行统计和选择。根据笛卡尔坐标系(x,y,z) 与球坐标系的转换关系将矢量d(vi,sk)转换到球坐标系下，直方图中的X 轴和Y轴分别为θ和Z轴为iso点的统计数量，如图6所示。根据三维传感器的扫描视场角约束φmax及重叠度约束ξmin，确定XY平面的滤波器窗口的大小φfilter＝φmax(1-ξmin)，滤波器遍历直方图XY平面的所有元素(x，y)并求滤波器内iso点数量之和，当滤波窗口内统计量最大时，滤波器内所包含的iso点为{s′k}k∈N，N为标记权重g(s′k)＝1的s′k的数量，对s′k的矢量d(vi,sk)求其均值作为扫描视点方向
至此，可以得到视点的空间位置及视点方向向量
Step4:将{s′k}中的标记函数g(s′k)置为0。
重复Step2-Step4，直到所有体素的标记分数低于阈值。NBVs算法流程图如图所示。由以上算法流程可以看出，有效体素包含了所有满足约束条件的iso 点，体素的标记分数越高，表明由该体素计算的视点可以覆盖更多物体表面范围，也即该视点越重要。本文的视点是选择标记分数最大的体素进行计算的，最终生成的视点列表也按照视点所覆盖的iso点的数量由多到少排序。
自动三维扫描和补充扫描
通过上面所述的NBVs算法得到一系列视点的空间位置和方向，如何以最短路径实现所有视点扫描，属于路径规划问题。解决路径规划问题的算法包括但不限于蚁群算法、神经网络算法、粒子群算法、遗传算法等，各有优缺点，比如在一个实施例中，采用蚁群算法对视点集合求解可以得到最短路径。接下来利用彩色三维传感器沿着最短路径进行三维扫描，每个视角下所采集到的高精度深度数据(左相机坐标系)通过坐标系变换关系转换到世界坐标系下，最终实现多视角深度数据的实时匹配以计算出物体的高精度精细三维模型。
在一个实施例中，三维传感器沿着最短路径进行三维扫描，在每个视点变换过程中，涉及到旋转电机和机械臂的联合控制，本质上是各个传感器坐标系的变换问题。设两个相邻的扫描视点为Vi和Vj，这两个视点的变换矩阵表示在世界坐标系下红外深度传感器坐标系从视点Vi到Vj的变换关系。为了让三维传感器从视点Vi调节到Vj，分别求视点Vi和Vj在旋转轴坐标系(即世界坐标系) 下到XaYa平面的投影坐标vi⊥和vj⊥，从而得到旋转电机的旋转角度θij和变换矩阵
经过电机旋转后的视点则视点V′i到Vj的变换矩阵由于变换矩阵Him和机械臂在视点V′i下的变换矩阵已知，则可以建立以下变换关系式：
由此得到机械臂在视点Vj下的变换矩阵。通过联合旋转电机的旋转角度θij和机械臂的旋转矩阵可实现三维传感器在不同视点下的姿态调整。每个视角下的高精度深度数据(左相机坐标系下)通过与红外深度传感器坐标系的变换矩阵和视点的变换矩阵转换到世界坐标系下，实现多视角深度数据的实时匹配。
通过式(10)可以看到，本文的视点规划算法已经考虑了物体自遮挡的情况，但是在实际扫描过程中，由于物体表面材质等因素的影响，不可避免的出现一些数据缺失，或者点云数据稀疏等质量不高的情况，更重要的是，由于用于视点规划的粗略三维模型丢失了物体的细节信息，因此生成的视点中并没有考虑到几何细节部分的精细扫描。
为此，在一个实施例中，将通过构建模型置信图的方法来体现原始数据缺失部分和细节缺失区域，结合视点规划算法生成补充扫描的视点。对前面高精度扫描阶段获取的原始点云数据进行泊松-圆盘采样生成IS0采样点根据式(16)生成iso点sk的置信图：
f(sk)＝fg(sk,nk)fs(sk,nk) (16)
其中fg(sk,nk)＝Γ(sk)·nk定义为完整置信分数(completeness confidencescore)，Γ(sk)为点sk处的标量场梯度，nk为法向量。fg(sk,nk)在进行泊松-圆盘采样过程中已经获得，因此不需要额外计算量；fs(sk,nk)为平滑置信分数K (smoothness confidencescore)，满足
其中||g||为l2-范数，为点sk的K邻域范围Ωk内的原始点云，空间权重函数θ(||sk-qj||)在Ωk范围内随着半径增大而急剧衰减；正交权重函数φ(nk,qj-sk)体现K邻域范围Ωk内的原始点qj到iso点处切平面的距离。当平滑置信分数值高时，表面点sk处局部比较平滑，而且扫描质量比较高；当平滑置信分数值低时，表明点sk处局部原始扫描数据稀疏，或者原始扫描数据高频成分比较多，比如点云噪声或者富含几何细节等，需要更多的补充扫描。
置信分数有效反映了扫描模型点云数据的质量和保真度，我们利用模型置信分数来指导补充扫描环节的视点规划。设定置信分数阈值ε，求出缺失部分和富含几何细节部分的iso点的范围S′＝{s′k|f(s′k)≤ε}，通过前文算法对S′进行视点计算。与前文提到的NBVs算法所不同的是，g(s′k)根据s′k的置信分数进行赋值
因此，体素的分数不再体现的是包含iso点的数量，而是iso点置信分数的总和，对置信分数最高的体素进行视点计算，将会使得视点更加着重扫描缺失部分和富含几何细节部分。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
Claims (10)
1.一种自动化三维彩色成像与测量***，其特征在于，包括：
成像模块，包括用于采集被测物体第一三维图像和彩色图像的彩色三维传感器，以及用于采集所述被测物体第二三维图像的深度相机；
位姿调整模块，用于固定所述成像模块，并对所述成像模块进行位姿调整；
处理器，连接并控制所述成像模块以及所述位姿调整模块，使得所述成像模块对所述被测物体进行多角度图像采集，并基于所述第一三维图像、所述彩色图像以及所述第二三维图像计算出所述被测物体的彩色三维模型。
2.根据权利要求1所述的自动化三维彩色成像与测量***，其特征在于，所述位姿调整模块包括：
机械臂，连接于所述成像模块，包括多个旋转轴以对所述成像模型进行位姿调整；
旋转轴，分别与所述机械臂以及所述底座连接，用于使得所述成像模块围绕所述底座旋转。
3.根据权利要求1所述的自动化三维彩色成像与测量***，其特征在于，所述彩色三维传感器包括左相机、右相机、投影仪组成的主动双目视觉相机以及彩色相机。
4.根据权利要求1所述的自动化三维彩色成像与测量***，其特征在于，所述深度相机包括TOF深度相机或结构光深度相机或双目视觉深度相机。
5.根据权利要求1所述的自动化三维彩色成像与测量***，其特征在于，所述第一三维图像的分辨率、精度、帧率中的至少一个高于第二三维图像。
6.根据权利要求1所述的自动化三维彩色成像与测量***，其特征在于，所述基于所述第一三维图像、所述彩色图像以及所述第二三维图像计算出所述被测物体的彩色三维模型包括以下步骤：
利用所述第二三维图像生成全局扫描视点；
在所述全局扫描视点处采集所述第一三维图像以及所述彩色图像，并基于所述第一三维图像以及所述彩色图像计算所述被测物体的彩色三维模型。
7.根据权利要求6所述的自动化三维彩色成像与测量***，其特征在于，所述全局扫描视点是基于约束条件所生成的，所述约束条件包括但不限于可见性约束、测量空间约束、重叠度约束以及遮挡约束中的至少一种。
8.根据权利要求7所述的自动化三维彩色成像与测量***，其特征在于，所述全局扫描视点是基于全局优化算法计算全局最佳视点(NBVs)，所述NBVs算法包括以下步骤：
构建包含所述粗略模型以及扫描空间的最小包围盒，并对所述扫描空间按照一定的距离间距进行3D体素网格划分；
对所述粗略模型采样点找到体素，并以所述体素作为搜索种子对其领域体素进行膨胀搜索以得到所述有效体素；
求解所述有效体素的标记分数并选择分数值最大的体素进行视点计算。
9.根据权利要求6所述的自动化三维彩色成像与测量***，其特征在于，所述三维扫描是基于所述全局扫描视点并进行最短路径规划，以沿着所述最短路径进行三维扫描。
10.根据权利要求9所述的自动化三维彩色成像与测量***，其特征在于，所述最短路径规划算法包括但不限于蚁群算法、神经网络算法、粒子群算法、遗传算法中的一种。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300731.0A CN110243307A (zh) | 2019-04-15 | 2019-04-15 | 一种自动化三维彩色成像与测量*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910300731.0A CN110243307A (zh) | 2019-04-15 | 2019-04-15 | 一种自动化三维彩色成像与测量*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110243307A true CN110243307A (zh) | 2019-09-17 |
Family
ID=67883177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910300731.0A Pending CN110243307A (zh) | 2019-04-15 | 2019-04-15 | 一种自动化三维彩色成像与测量*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110243307A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
| CN111354080A (zh) * | 2020-03-18 | 2020-06-30 | 深圳市创真视界科技有限公司 | 一种基于内容的三维重构数据补充采集方法 |
| CN111854636A (zh) * | 2020-07-06 | 2020-10-30 | 北京伟景智能科技有限公司 | 一种多相机阵列三维检测***和方法 |
| CN112254668A (zh) * | 2020-10-12 | 2021-01-22 | 青岛图海纬度科技有限公司 | 一种应用于水下的三维扫描成像设备及成像方法 |
| CN112577447A (zh) * | 2020-12-07 | 2021-03-30 | 新拓三维技术(深圳)有限公司 | 一种三维全自动扫描***及方法 |
| CN113029037A (zh) * | 2019-12-09 | 2021-06-25 | 大族激光科技产业集团股份有限公司 | 物体的轮廓测量方法、装置、计算机设备和可读存储介质 |
| CN114222106A (zh) * | 2021-12-16 | 2022-03-22 | 汉斯夫(杭州)医学科技有限公司 | 一种用于医学辅助诊断的3d颌面影像分析成像仪 |
| CN114252024A (zh) * | 2020-09-20 | 2022-03-29 | 浙江四点灵机器人股份有限公司 | 一种单测量模组多工作模式工件三维测量装置及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030071194A1 (en) * | 1996-10-25 | 2003-04-17 | Mueller Frederick F. | Method and apparatus for scanning three-dimensional objects |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN104299261A (zh) * | 2014-09-10 | 2015-01-21 | 深圳大学 | 人体三维成像方法及*** |
| CN106898022A (zh) * | 2017-01-17 | 2017-06-27 | 徐渊 | 一种手持式快速三维扫描***及方法 |
| CN107221025A (zh) * | 2017-05-31 | 2017-09-29 | 天津大学 | 一种同步获取物体表面三维彩色点云模型的***和方法 |
| CN108151671A (zh) * | 2016-12-05 | 2018-06-12 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描***及其扫描方法 |
| US20180165547A1 (en) * | 2016-12-08 | 2018-06-14 | Shenzhen University | Object Recognition Method and Device |
| CN108665535A (zh) * | 2018-05-10 | 2018-10-16 | 青岛小优智能科技有限公司 | 一种基于编码光栅结构光的三维结构重建方法与*** |
-
2019
- 2019-04-15 CN CN201910300731.0A patent/CN110243307A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030071194A1 (en) * | 1996-10-25 | 2003-04-17 | Mueller Frederick F. | Method and apparatus for scanning three-dimensional objects |
| CN101739717A (zh) * | 2009-11-12 | 2010-06-16 | 天津汇信软件有限公司 | 三维彩色点云非接触扫描方法 |
| CN104299261A (zh) * | 2014-09-10 | 2015-01-21 | 深圳大学 | 人体三维成像方法及*** |
| CN108151671A (zh) * | 2016-12-05 | 2018-06-12 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描***及其扫描方法 |
| WO2018103152A1 (zh) * | 2016-12-05 | 2018-06-14 | 杭州先临三维科技股份有限公司 | 一种三维数字成像传感器、三维扫描***及其扫描方法 |
| US20180165547A1 (en) * | 2016-12-08 | 2018-06-14 | Shenzhen University | Object Recognition Method and Device |
| CN106898022A (zh) * | 2017-01-17 | 2017-06-27 | 徐渊 | 一种手持式快速三维扫描***及方法 |
| CN107221025A (zh) * | 2017-05-31 | 2017-09-29 | 天津大学 | 一种同步获取物体表面三维彩色点云模型的***和方法 |
| CN108665535A (zh) * | 2018-05-10 | 2018-10-16 | 青岛小优智能科技有限公司 | 一种基于编码光栅结构光的三维结构重建方法与*** |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110695991A (zh) * | 2019-09-26 | 2020-01-17 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
| CN110695991B (zh) * | 2019-09-26 | 2022-03-22 | 南京理工大学 | 基于变异粒子群优化的自动手眼标定方法 |
| CN113029037A (zh) * | 2019-12-09 | 2021-06-25 | 大族激光科技产业集团股份有限公司 | 物体的轮廓测量方法、装置、计算机设备和可读存储介质 |
| CN111354080A (zh) * | 2020-03-18 | 2020-06-30 | 深圳市创真视界科技有限公司 | 一种基于内容的三维重构数据补充采集方法 |
| CN111854636A (zh) * | 2020-07-06 | 2020-10-30 | 北京伟景智能科技有限公司 | 一种多相机阵列三维检测***和方法 |
| CN111854636B (zh) * | 2020-07-06 | 2022-03-15 | 北京伟景智能科技有限公司 | 一种多相机阵列三维检测***和方法 |
| CN114252024A (zh) * | 2020-09-20 | 2022-03-29 | 浙江四点灵机器人股份有限公司 | 一种单测量模组多工作模式工件三维测量装置及方法 |
| CN114252024B (zh) * | 2020-09-20 | 2023-09-01 | 浙江四点灵机器人股份有限公司 | 一种单测量模组多工作模式工件三维测量装置及方法 |
| CN112254668A (zh) * | 2020-10-12 | 2021-01-22 | 青岛图海纬度科技有限公司 | 一种应用于水下的三维扫描成像设备及成像方法 |
| CN112577447A (zh) * | 2020-12-07 | 2021-03-30 | 新拓三维技术(深圳)有限公司 | 一种三维全自动扫描***及方法 |
| CN114222106A (zh) * | 2021-12-16 | 2022-03-22 | 汉斯夫(杭州)医学科技有限公司 | 一种用于医学辅助诊断的3d颌面影像分析成像仪 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110243307A (zh) | 一种自动化三维彩色成像与测量*** | |
| CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
| CN104156972B (zh) | 基于激光扫描测距仪与多相机融合的透视成像方法 | |
| JP4245963B2 (ja) | 較正物体を用いて複数のカメラを較正するための方法およびシステム | |
| CN110230979A (zh) | 一种立体标靶及其三维彩色数字化***标定方法 | |
| TWI555379B (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| KR101265667B1 (ko) | 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 | |
| CN105243637B (zh) | 一种基于三维激光点云进行全景影像拼接方法 | |
| Scaramuzza et al. | Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes | |
| CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
| CN105931234A (zh) | 一种地面三维激光扫描点云与影像融合及配准的方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN105627992A (zh) | 一种快速高精度非接触测绘古建筑的方法 | |
| CN107170037A (zh) | 一种基于多摄像机的实时三维点云重建方法和*** | |
| CN114283203B (zh) | 一种多相机***的标定方法及*** | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| JP2000137815A (ja) | 新視点画像生成方法 | |
| Borrmann et al. | Robotic mapping of cultural heritage sites | |
| JP7502440B2 (ja) | 環境のトポグラフィを測定するための方法 | |
| CN104374374B (zh) | 基于主动全景视觉的3d环境复制***及3d全景显示绘制方法 | |
| Lin et al. | Vision system for fast 3-D model reconstruction | |
| CN114543787B (zh) | 基于条纹投影轮廓术的毫米级室内建图定位方法 | |
| CN115294313A (zh) | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 | |
| CN113345084B (zh) | 三维建模***及三维建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |