CN112630469B - 一种基于结构光和多光场相机的三维检测方法 - Google Patents
一种基于结构光和多光场相机的三维检测方法 Download PDFInfo
- Publication number
- CN112630469B CN112630469B CN202011431946.5A CN202011431946A CN112630469B CN 112630469 B CN112630469 B CN 112630469B CN 202011431946 A CN202011431946 A CN 202011431946A CN 112630469 B CN112630469 B CN 112630469B
- Authority
- CN
- China
- Prior art keywords
- light
- field
- dimensional
- light field
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 26
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
- G01P5/18—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance
- G01P5/20—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft by measuring the time taken to traverse a fixed distance using particles entrained by a fluid stream
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于结构光和多光场相机的三维检测方法,包括:搭建包括结构光光源和多个光场相机的三维检测***,将待检测目标物的参考物放置在所述三维检测***的工作范围内,对所述参考物进行基于结构光的三维重建得到参考物三维模型,再将待检测目标物放置在所述三维检测***的工作范围内,对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型;然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测,输出所述待检测目标物的关键点的三维位置。本发明充分利用光场相机和结构光在近景三维重建领域的优势,能够精确且高效地完成对工作范围内目标物的三维检测。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种基于结构光和多光场相机的三维检测***与方法。
背景技术
光学三维检测技术是一类重要的非接触式检测技术,具有非接触、效率高、精度适中等优点,在工业检测、航空航天、农业生产等领域中有广泛的应用。光学三维检测根据***照明方式不同,可分为主动法和被动法两种。结构光三维检测是常用的主动三维检测方法,在目标物表明投射结构光,然后通过相机采集到的二维图像重建物体表面信息,其检测模型简单,精度较高,但是检测信息简单。多目立体视觉检测是典型的被动式三维检测方法,该方法根据多个相机之间的位置关系,结合视差原理求解物体的三维坐标。该方法的优点是普适性强,缺点是检测精度较低。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题,本发明提出一种基于结构光和多光场相机的三维检测***与方法,充分利用光场相机和结构光在近景三维重建领域的优势,能够精确且高效地完成对工作范围内目标物的三维检测。
为了达到上述目的,本发明采用以下技术方案:
本发明的一个实施例公开了一种基于结构光和多光场相机的三维检测方法,包括:搭建包括结构光光源和多个光场相机的三维检测***,将待检测目标物的参考物放置在所述三维检测***的工作范围内,对所述参考物进行基于结构光的三维重建得到参考物三维模型,再将待检测目标物放置在所述三维检测***的工作范围内,对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型;然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测,输出所述待检测目标物的关键点的三维位置。
优选地,基于结构光的三维重建步骤具体包括:
S1:通过多个所述光场相机相应采集多个光场,并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵;
S2:将所述三维检测***的工作范围划分为多个子视场,对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场,得到多个子视场光场;
S3:对每个所述子视场光场,进行基于结构光的三维重建。
优选地,步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括:
计算光场相机相对于标定板在空间中的位姿参数以及所述光场相机的内参,确定待检测的目标物表面的三维空间坐标与所述光场相机所采集的光场中四维坐标点之间的对应关系以得到所述结构光光源发出的光线分别到多个光场的单应性矩阵。
优选地,步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括:
采集带有结构光条纹的标定板图像,提取标定板图像的角点与结构光条纹的中心特征点,经过筛选和匹配,再根据下述第一至第三转换关系式求解世界坐标系与光场双平面坐标系之间的转换关系,得到所述结构光光源发出的光线分别到多个光场的单应性矩阵
第一转换关系式为光线与相机坐标系下空间点的相交关系式:
其中,(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标,(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标,f为光场相机的焦距;
第二转换关系式为世界坐标系下自由空间中的物点(XW,YW,ZW)与对应相机坐标系下自由空间中的物点(XC,YC,ZC)之间的转换关系式:
[XC YC ZC 1]T=R[XW YW ZW 1]T+T
其中R为旋转矩阵,T为平移向量;
第三转换关系式为解码后的光场双平面坐标系到物理双平面坐标系的转换关系式:
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标,ki,kj,ku,kv,u0,v0为6个独立的相机内部参数。
优选地,步骤S2中将所述三维检测***的工作范围划分为多个子视场,对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场具体包括:
其中,FoVn为第n个光场的视场范围,FoVm为第m个子视场的范围;amn为1时表示第n台光场相机采集的光场对应第m个子视场,amn为0则表示第n台光场相机采集的光场不对应第m个子视场;
Ln′=HnHr -1Ln
优选地,步骤S2中在对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场之后还包括遍历配准后光场的每个像素以去除高光。
优选地,遍历配准后光场的每个像素以去除高光具体包括:采用均方误差是否大于预设阈值T来评价每个像素位置处是否存在高光:
其中,λm(u0,v0,s0,t0)表示第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光,λm(u0,v0,s0,t0)为1时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光,λm(u0,v0,s0,t0)为0时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光;
如果存在高反光,则去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均,赋值给该像素位置,完成光场融合以去除高光。
优选地,步骤S3中对每个所述子视场光场,进行基于结构光的三维重建具体包括:
将每个子视场光场的像素点投影至世界坐标系,生成子视场空间点云,再使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建,其中子视场空间点云的坐标使用下式计算:
[XW,YW,ZW,1]T=Ηr -1[u,v,s,t,1]T
其中,(XW,YW,ZW)表示世界坐标系下自由空间中的物点坐标,(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标,Hr是参考光场对应的单应性矩阵。
优选地,三维检测步骤包括模型差分和关键点提取;
进一步地,模型差分步骤具体包括:分别提取所述参考物三维模型和所述待检测目标物三维模型的特征点,并进行匹配、筛选得到特征点对,根据特征点对计算所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵,并根据所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵配准所述参考物三维模型和所述待检测目标物三维模型,然后取所述参考物三维模型和所述待检测目标物三维模型的差分模型;
进一步地,关键点提取步骤具体包括:根据所述差分模型,使用形态学处理和自适应阈值分割,提取所述待检测目标物的关键点的三维位置。
本发明的另一实施例公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现上述的三维检测方法的步骤。
与现有技术相比,本发明的有益效果在于:本发明提出的基于结构光和多光场相机的三维检测方法,通过搭建包括结构光光源和多个光场相机的三维检测***,对工作范围内的参考物和待检测目标物进行基于结构光的三维重建,其中的光场相机可以为近景三维重建提供大量准确的关键点,结构光具有信息量多、处理迅速等优点,可以提高检测精度;从而实现准确地目标物表面三维检测。
在进一步的方案中,在对子视场配准对应的光场之后还遍历配准光场每个像素位置以进一步去除高光,从而可以得到完整且高质量的子视场光场,进一步提高三维检测的精度。
在更进一步的方案中,三维检测包括模型差分和关键点提取,通过将得到的参考物三维三维模型和待检测目标物三维模型进行配准并取两者的差分模型,使得其中包含的信息较少,采用形态学处理和自适应阈值分割即可快速且准确地提取关键点所在的三维位置。
附图说明
图1是针对目标物单侧检测的混合多光场相机和结构光的三维检测***结构图;
图2是针对目标物双侧检测的混合多光场相机和结构光的三维检测***结构图;
图3是本发明优选实施例的基于结构光的三维重建步骤的流程图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明;在实施过程中所采用的具体方法都仅为举例说明,本发明所涵盖的范围包括但不局限于所列举的以下方法。
光场相机通过在主透镜和图像传感器之间***一个微透镜阵列,实现在一次拍摄中同时记录光线的方向和强度信息。光场相机能够被视为一个相机阵列,光场数据可以解码成一个子视角图像阵列,子视角图像之间存在视差,可以以此获取拍摄物体的深度信息,因此光场应用于近景三维重建比普通图像更加准确高效。
本发明优选实施例公开了一种混合多光场相机和结构光的三维检测方法,包括:搭建包括结构光光源和多个光场相机的三维检测***,将待检测目标物的参考物放置在三维检测***的工作范围内,对参考物进行基于结构光的三维重建得到参考物三维模型,再将参考物从工作范围内拿开,将待检测目标物放置在三维检测***的工作范围内,对待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型;然后对参考物三维模型和待检测目标物三维模型做表面三维检测,输出所述待检测目标物的关键点的三维位置。
其中,三维检测包括模型差分和关键点提取两部分。
模型差分步骤具体包括:分别提取参考物三维模型和待检测目标物三维模型的三维SIFT特征点,并进行快速最近邻匹配以及筛选得到特征点对,根据特征点对计算两个三维模型之间的单应性矩阵,并根据两个三维模型之间的单应性矩阵配准参考物三维模型和待检测目标物三维模型,然后取两个三维模型的差分模型。
关键点提取步骤具体包括:根据差分模型,使用形态学处理和自适应阈值分割,提取待检测目标物的关键点的三维位置。在本实施例中,由于差分模型包含的信息较少,使用形态学处理和自适应阈值分割,即可快速且准确地提取关键点所在的三维位置。
在一些实施例中,如需对待检测目标物的单侧进行三维检测,则可搭建如图1所示的单侧三维检测***,该三维检测***包括光场相机1、2、3、4、结构光光源5、光学支杆6,其中光场相机1、2、3、4通过光学支杆6连接固定,且均设置在待检测目标物7的一侧,待检测目标物7放置在该三维检测***的工作范围8内,在执行上述步骤时,参考物也是对应放置在工作范围8内。在另一些实施例中,如需对待检测目标物的双侧进行三维检测时,则可搭建如图2所示的双侧三维检测***,该三维检测***包括光场相机9、10、11、12、结构光光源13、14、光学支杆15、16,光场相机9、11通过光学支杆15连接固定并设置在待检测目标物17的第一侧,光场相机10、12通过光学支杆16连接固定并设置在待检测目标物17的第二侧,结构光光源13、14也分别设置在待检测目标物17的两侧,待检测目标物17放置在该三维检测***的工作范围18内,在执行上述步骤时,参考物也是对应放置在工作范围18内。在图1和图2的三维检测***的示意图中,光场相机不限于图中所示的数量,还可以根据需要沿着光学支杆设置更多个光场相机。
在本实施例中,对参考物和待检测目标物分别进行基于结构光的三维重建以分别得到参考物三维模型和待检测目标物三维模型,如图3所示,其中基于结构光的三维重建步骤具体包括:
S1:通过多个所述光场相机相应采集多个光场,并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵;具体地,通过结合结构光的多光场标定算法标定出结构光光源发出的光线分别到多个光场的单应性矩阵;
以N个光场相机为例,为三维检测***中N个光场相机采集到的多个光场,多光场标定算法是通过计算光场相机相对于标定板在空间中的位姿参数以及相机内参,确定待检测目标物表面的三维空间坐标(即在世界坐标系中的坐标)与光场相机所采集的光场中四维坐标点(即在光场双平面坐标系中的坐标)之间的对应关系。
首先采集带有结构光条纹的标定板图像,由光场成像原理,光线与相机坐标系下空间点的相交关系表示为:
其中,(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标,(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标,f为光场相机的焦距。
世界坐标系下自由空间中的物点坐标(XW,YW,ZW)与(XC,YC,ZC)之间的转换关系为:
[XC YC ZC 1]T=R[XW YW ZW 1]T+T. (2)
其中R为旋转矩阵,T为平移向量。
由解码后光场双平面坐标系到物理双平面坐标系的转换关系为:
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标,此处即对应解码后的光场双平面坐标系;ki,kj,ku,kv,u0,v0为6个独立的相机内部参数。
提取标定板图像的角点以及结构光条纹中心特征点,经过筛选和匹配,再根据以上公式(1)、(2)和(3)的转换关系求解三维世界坐标系与光场双平面坐标之间的单应性矩阵为本步骤中,光场相比于普通图像提供了数量更多更精准的角点对,加入结构光条纹中心特征,使得标定结果更加鲁棒和准确。
S2:将三维检测***的工作范围划分为多个子视场,对每个子视场采用步骤S1得到的单应性矩阵配准对应的光场,得到多个子视场光场;
具体地,将***的工作范围划分为多个子视场。对于每个子视场使用步骤S1得到的单应性矩阵配准对应的若干输入光场,遍历配准后光场的每个像素,去除高光,得到完整且高质量的子视场光场;
本实施例中,将***工作区间划分为个M个子视场对于N个光场相机采集到的N个光场,视场范围覆盖子视场超过70%的光场被认为是对应子视场Fm的光场,光场相机分配情况由维度为M×N的逻辑矩阵[amn]M×N表示,矩阵元素定义为:
其中,FoVn为第n个光场(即第n个光场相机所采集的光场)的视场范围,FoVm为第m个子视场的范围。amn为1时表示第n台光场相机采集的光场对应第m个子视场,amn为0则表示第n台光场相机的视场范围与第m个子视场重叠区域太少,本实施例认为其不对应第m个子视场。可以被描述为对应第m个子视场的光场相机的数量。
Ln'=HnHr -1Ln (5)
其中Ln'是第n个光场Ln经过单应性矩阵配准后的光场,Hr是参考光场Lr对应的单应性矩阵,该单应性矩阵配准由HnHr -1定义,将全部光场变换到同一坐标系下。
由于三维检测方法对于存在表面镜面反射的目标物难以进行检测,而实际应用中很多待测目标物表面特征为镜面反射,因此,本进一步的实施例中,配准后的光场去高光后再进行融合得到大视角光场。
具体地,将配准后光场灰度化,遍历配准光场每个像素位置,对某个像素位置,如果没有出现高反光情况,则在个光场中,该像素位置处的有值的像素灰度值差别很小。本实施例中,使用均方误差(MSE)是否大于给定的阈值T来评价每个像素位置处是否存在高反光:
其中,λm(u0,v0,s0,t0)表征第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光,λm(u0,v0,s0,t0)为1时即表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光,λm(u0,v0,s0,t0)为0时即表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光。
如果存在高反光,去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均,赋值给该像素位置,完成光场融合,实现快速准确的去高光操作。
S3:对每个子视场光场,进行基于结构光的三维重建;
通过上述步骤得到每个子视场去高光后的配准光场。光场相比于普通图像,能够为三维重建提供更多关键点,能够生成稠密点云,且一定程度上提高重建精度。并且本实施例采用结构光照明,在标定过程中通过使用线结构光条纹特征能够准确计算各个光场之间的单应性变换关系,提高三维重建精度。
具体地,对于每个子视场,通过参考光场单应性矩阵,将去高光的配准光场像素点投影至三维世界坐标系,生成子视场空间点云。点云坐标使用下式计算:
[XW,YW,ZW,1]T=Ηr -1[u,v,s,t,1]T. (7)
本实施例中,使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建。三角剖分将点云链接成三角面片的形式,描述空间三维点云之间的拓扑结构,即能够有效表示待检测目标物三维表面几何纹理。Delaunay三角剖分法具有唯一性与最优性,本实施例使用此方法对子视场三维点云进行三维重建,以进一步用于三维检测。
本发明优选实施例提出一种基于结构光和多光场相机的三维检测***与方法,将多光场相机和结构光结合,其中光场相机可以为近景三维重建提供大量准确的关键点,线结构光具有信息量多、处理迅速等优点,可以提高检测精度。首先搭建多台光场相机、结构光光源和若干光学支杆构建混合多光场相机和结构光的三维检测***;通过结合结构光的多光场标定算法标定出结构光光源发出的光线分别到多光场的单应性矩阵;将***工作范围划分为多个子视场;对于每个子视场使用单应性矩阵配准对应的若干输入光场,遍历配准后光场的每个像素,去除高光,得到完整且高质量的子视场光场;对每个子视场光场,进行基于结构光的三维重建;最后对待检测目标物和参考物的三维重建结果做表面三维检测,输出关键点在大视角光场中的准确的三维位置。
本发明实施例还提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令在被处理器调用和执行时,计算机可执行指令促使处理器实现上述的全景光场拼接方法,具体实现可参见方法实施例,在此不再赘述。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于结构光和多光场相机的三维检测方法,其特征在于,包括:搭建包括结构光光源和多个光场相机的三维检测***,将待检测目标物的参考物放置在所述三维检测***的工作范围内,对所述参考物进行基于结构光的三维重建得到参考物三维模型,再将待检测目标物放置在所述三维检测***的工作范围内,对所述待检测目标物进行基于结构光的三维重建得到待检测目标物三维模型;然后对所述参考物三维模型和所述待检测目标物三维模型做三维检测,输出所述待检测目标物的关键点的三维位置;
其中,基于结构光的三维重建步骤具体包括:
S1:通过多个所述光场相机相应采集多个光场,并标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵;
S2:将所述三维检测***的工作范围划分为多个子视场,对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场,得到多个子视场光场;
S3:对每个所述子视场光场,进行基于结构光的三维重建;
步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括:
计算光场相机相对于标定板在空间中的位姿参数以及所述光场相机的内参,确定待检测的目标物表面的三维空间坐标与所述光场相机所采集的光场中四维坐标点之间的对应关系以得到所述结构光光源发出的光线分别到多个光场的单应性矩阵;
步骤S1中标定出所述结构光光源发出的光线分别到多个光场的单应性矩阵具体包括:
采集带有结构光条纹的标定板图像,提取标定板图像的角点与结构光条纹的中心特征点,经过筛选和匹配,再根据下述第一至第三转换关系式求解世界坐标系与光场双平面坐标系之间的转换关系,得到所述结构光光源发出的光线分别到N个光场的单应性矩阵
第一转换关系式为光线与相机坐标系下空间点的相交关系式:
其中,(i,j,x,y)是由自由空间中的物理双平面坐标系参数化的光线坐标,(XC,YC,ZC)是对应相机坐标系下自由空间中的物点坐标,f为光场相机的焦距;
第二转换关系式为世界坐标系下自由空间中的物点(XW,YW,ZW)与对应相机坐标系下自由空间中的物点(XC,YC,ZC)之间的转换关系式:
其中R为旋转矩阵,T为平移向量;
第三转换关系式为解码后的光场双平面坐标系到物理双平面坐标系的转换关系式:
其中(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标,ki,kj,ku,kv,u0,v0为6个独立的相机内部参数;
步骤S2中将所述三维检测***的工作范围划分为多个子视场,对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场具体包括:
其中,FoVn为第n个光场的视场范围,FoVm为第m个子视场的范围;amn为1时表示第n台光场相机采集的光场对应第m个子视场,amn为0则表示第n台光场相机采集的光场不对应第m个子视场;
L'=HH-1L
nnrn
步骤S3中对每个所述子视场光场,进行基于结构光的三维重建具体包括:
将每个子视场光场的像素点投影至世界坐标系,生成子视场空间点云,再使用Delaunay三角剖分法进行子视场中待检测目标物关键部件的三维表面几何纹理重建,其中子视场空间点云的坐标使用下式计算:
[XW,YW,ZW,1]T=Ηr -1[u,v,s,t,1]T
其中,(XW,YW,ZW)表示世界坐标系下自由空间中的物点坐标,(u,v,s,t)表示光场双平面坐标系下的光场像素点坐标,Hr是参考光场对应的单应性矩阵。
2.根据权利要求1所述的三维检测方法,其特征在于,步骤S2中在对每个所述子视场采用步骤S1得到的单应性矩阵配准对应的光场之后还包括遍历配准后光场的每个像素以去除高光。
3.根据权利要求2所述的三维检测方法,其特征在于,遍历配准后光场的每个像素以去除高光具体包括:采用均方误差是否大于预设阈值A来评价每个像素位置处是否存在高光:
其中,λm(u0,v0,s0,t0)表示第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处是否存在高反光,λm(u0,v0,s0,t0)为1时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处存在高反光,λm(u0,v0,s0,t0)为0时表示对应的第m个子视场的配准光场中像素位置(u0,v0,s0,t0)处不存在高反光;
如果存在高反光,则去掉大于非零像素平均值的像素值后对其他光场非零像素值取平均,赋值给该像素位置,完成光场融合以去除高光。
4.根据权利要求1所述的三维检测方法,其特征在于,三维检测步骤包括模型差分和关键点提取。
5.根据权利要求4所述的三维检测方法,其特征在于,模型差分步骤具体包括:分别提取所述参考物三维模型和所述待检测目标物三维模型的特征点,并进行匹配、筛选得到特征点对,根据特征点对计算所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵,并根据所述参考物三维模型和所述待检测目标物三维模型之间的单应性矩阵配准所述参考物三维模型和所述待检测目标物三维模型,然后取所述参考物三维模型和所述待检测目标物三维模型的差分模型。
6.根据权利要求5所述的三维检测方法,其特征在于,关键点提取步骤具体包括:根据所述差分模型,使用形态学处理和自适应阈值分割,提取所述待检测目标物的关键点的三维位置。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令在被处理器调用和执行时,所述计算机可执行指令促使处理器实现权利要求1至6任一项所述的三维检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011431946.5A CN112630469B (zh) | 2020-12-07 | 2020-12-07 | 一种基于结构光和多光场相机的三维检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011431946.5A CN112630469B (zh) | 2020-12-07 | 2020-12-07 | 一种基于结构光和多光场相机的三维检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112630469A CN112630469A (zh) | 2021-04-09 |
CN112630469B true CN112630469B (zh) | 2023-04-25 |
Family
ID=75309047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011431946.5A Active CN112630469B (zh) | 2020-12-07 | 2020-12-07 | 一种基于结构光和多光场相机的三维检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112630469B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113406111B (zh) * | 2021-05-31 | 2022-09-23 | 清华大学深圳国际研究生院 | 一种基于结构光场视频流的缺陷检测方法和装置 |
CN116380408B (zh) * | 2023-04-10 | 2024-06-07 | 南京航空航天大学 | 基于结构光和光场成像的三维超分辨流场测量方法及*** |
CN117351137B (zh) * | 2023-08-30 | 2024-06-11 | 华中科技大学 | 一种结构光***在隧道工作中的应用及其应用方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101476882A (zh) * | 2009-01-08 | 2009-07-08 | 上海交通大学 | 基于单应性矩阵的结构光三维检测方法 |
CN104408732A (zh) * | 2014-12-10 | 2015-03-11 | 东北大学 | 一种基于全向结构光的大视场深度测量***及方法 |
CN105528788A (zh) * | 2015-12-08 | 2016-04-27 | 湖南拓视觉信息技术有限公司 | 相对位姿参数的标定方法、装置和确定三维形状的装置 |
US10057498B1 (en) * | 2013-03-15 | 2018-08-21 | Cognex Corporation | Light field vision system camera and methods for using the same |
CN109443245A (zh) * | 2018-11-09 | 2019-03-08 | 扬州市职业大学 | 一种基于单应性矩阵的多线结构光视觉测量方法 |
CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
CN109712232A (zh) * | 2018-12-25 | 2019-05-03 | 东南大学苏州医疗器械研究院 | 一种基于光场的物体表面轮廓三维成像方法 |
CN111288925A (zh) * | 2020-01-18 | 2020-06-16 | 武汉烽火凯卓科技有限公司 | 一种基于数字对焦结构照明光场的三维重建方法和装置 |
CN111750806A (zh) * | 2020-07-20 | 2020-10-09 | 西安交通大学 | 一种多视角三维测量***及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11436791B2 (en) * | 2018-04-30 | 2022-09-06 | The Regents Of The University Of California | Methods and systems for acquiring svBRDF measurements |
-
2020
- 2020-12-07 CN CN202011431946.5A patent/CN112630469B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101476882A (zh) * | 2009-01-08 | 2009-07-08 | 上海交通大学 | 基于单应性矩阵的结构光三维检测方法 |
US10057498B1 (en) * | 2013-03-15 | 2018-08-21 | Cognex Corporation | Light field vision system camera and methods for using the same |
CN104408732A (zh) * | 2014-12-10 | 2015-03-11 | 东北大学 | 一种基于全向结构光的大视场深度测量***及方法 |
CN105528788A (zh) * | 2015-12-08 | 2016-04-27 | 湖南拓视觉信息技术有限公司 | 相对位姿参数的标定方法、装置和确定三维形状的装置 |
CN109443245A (zh) * | 2018-11-09 | 2019-03-08 | 扬州市职业大学 | 一种基于单应性矩阵的多线结构光视觉测量方法 |
CN109506589A (zh) * | 2018-12-25 | 2019-03-22 | 东南大学苏州医疗器械研究院 | 一种基于结构光场成像的三维轮廓测量方法 |
CN109712232A (zh) * | 2018-12-25 | 2019-05-03 | 东南大学苏州医疗器械研究院 | 一种基于光场的物体表面轮廓三维成像方法 |
CN111288925A (zh) * | 2020-01-18 | 2020-06-16 | 武汉烽火凯卓科技有限公司 | 一种基于数字对焦结构照明光场的三维重建方法和装置 |
CN111750806A (zh) * | 2020-07-20 | 2020-10-09 | 西安交通大学 | 一种多视角三维测量***及方法 |
Non-Patent Citations (1)
Title |
---|
基于结构光标记的光场三维成像技术研究;吴庆阳 等;《红外与激光工程》;20200331;第49卷(第3期);第0303019-1至0303019-6页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112630469A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
CN112630469B (zh) | 一种基于结构光和多光场相机的三维检测方法 | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
Bonfort et al. | General specular surface triangulation | |
CN111524233B (zh) | 一种静态场景动态目标的三维重建方法 | |
CN111127613B (zh) | 基于扫描电子显微镜的图像序列三维重构方法及*** | |
CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
CN113313740B (zh) | 一种基于平面连续性的视差图和表面法向量联合学习方法 | |
Yuan et al. | 3D reconstruction of background and objects moving on ground plane viewed from a moving camera | |
Afzal et al. | Rgb-d multi-view system calibration for full 3d scene reconstruction | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN108876861B (zh) | 一种地外天体巡视器的立体匹配方法 | |
CN116309813A (zh) | 一种固态激光雷达-相机紧耦合位姿估计方法 | |
Ann et al. | Study on 3D scene reconstruction in robot navigation using stereo vision | |
CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及*** | |
Shang et al. | Single-pass inline pipeline 3D reconstruction using depth camera array | |
Sun et al. | High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm | |
CN108898629B (zh) | 用于三维建模中航空行李表面纹理增强的投影编码方法 | |
CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
CN113808070B (zh) | 一种双目数字散斑图像相关的视差测量方法 | |
CN107194334B (zh) | 基于光流模型的视频卫星影像密集匹配方法及*** | |
CN115601423A (zh) | 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法 | |
Asl Sabbaghian Hokmabadi et al. | Probabilistic Silhouette-Based Close-Range Photogrammetry Using a Novel 3d Occupancy-Based Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |