CN110443888B - 一种形成多次反射成像的结构光三维重建装置及方法 - Google Patents

一种形成多次反射成像的结构光三维重建装置及方法 Download PDF

Info

Publication number
CN110443888B
CN110443888B CN201910752293.1A CN201910752293A CN110443888B CN 110443888 B CN110443888 B CN 110443888B CN 201910752293 A CN201910752293 A CN 201910752293A CN 110443888 B CN110443888 B CN 110443888B
Authority
CN
China
Prior art keywords
structured light
dimensional reconstruction
target object
mirror
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910752293.1A
Other languages
English (en)
Other versions
CN110443888A (zh
Inventor
徐晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910752293.1A priority Critical patent/CN110443888B/zh
Publication of CN110443888A publication Critical patent/CN110443888A/zh
Application granted granted Critical
Publication of CN110443888B publication Critical patent/CN110443888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种形成多次反射成像的结构光三维重建装置及方法。该装置包括：激光器、双镜***和相机，所述激光器照射目标物，所述目标物发出的光经所述双镜***反射进入所述相机，所述相机的数量为1个。采用本发明的装置或方法能够提高多目的图像匹配精度和降低结构光三维重建装置的成本。

Description

一种形成多次反射成像的结构光三维重建装置及方法
技术领域
本发明涉及结构光三维重建领域，特别是涉及一种形成多次反射成像的结构光三维重建装置及方法。
背景技术
基于结构光和多目的三维重建是机器视觉中的一个非常重要的领域。在多目情况下，要寻找多目图像中的对应点，必须提取图像特征点和特征线，再进行特征匹配。但是，对于光滑金属等物体而言，其表面反光有明显的方向性，这使得不同角度获得的结构光的图像会有明显的明暗差异。这个结果，将影响多目的图像的匹配情况。另外，过多的摄像机来形成多目，也大大增加了***成本。
发明内容
本发明的目的是提供一种形成多次反射成像的结构光三维重建装置及方法，能够提高多目的图像匹配精度和降低结构光三维重建装置的成本。
为实现上述目的，本发明提供了如下方案：
一种形成多次反射成像的结构光三维重建装置，包括：激光器、双镜***和相机，所述激光器照射目标物，所述目标物发出的光经所述双镜***反射进入所述相机，所述相机的数量为1个。
可选的，所述双镜***采用双平面反射镜，所述双镜***至少包括一个不是全反镜的镜面，两个镜面之间设有预设间距。
可选的，还包括：半反半透镜，所述半反半透镜设置在所述双镜***和所述目标物之间，并且所述半反半透镜需偏离所述激光器与所述目标物之间的光路设置。
一种形成多次反射成像的结构光三维重建方法，包括：
通过激光器照射目标物，形成结构光照射；
通过双镜***对所述结构光照射的光进行多次反射；
使所述反射后的光路进入相机，得到结构光照射后的目标物的多次反射图像；
将所述反射图像根据约束条件和极几何条件多次进行匹配，得到多个匹配点；
将各所述匹配点进行连续化，完成结构光照射的目标物的三维重建。
可选的，在所述通过激光器照射目标物，形成结构光照射之后，通过双镜***对所述结构光照射的光进行多次反射之前，还包括：
通过半反半透镜转折所述结构光照射的光。
可选的，所述通过激光器照射目标物，形成结构光照射，具体包括：
用一线激光器或带设定形式结构光的激光器照射目标物，形成结构光照射。
可选的，所述将各所述匹配点进行连续化，完成结构光照射的目标物的三维重建，具体包括：
将各所述匹配点采用平面差值法或拟合法进行连续化，完成结构光照射的目标物的三维重建。
可选的，所述约束条件为所述双镜***中两个镜面的夹角以及两个所述镜面之间的距离，所述极几何条件为所述双镜***到所述相机之间的几何关系。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供一种形成多次反射成像的结构光三维重建装置，通过双镜***实现了一个相机一次即可采集多目图像，不仅降低了结构光三维重建装置的成本，而且能够对结构光有强反射情况的物体实现高精度三维复原。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明形成多次反射成像的结构光三维重建装置组成示意图；
图2为本发明形成多次反射成像的结构光三维重建方法流程图；
图3为本发明双面镜***产生多反射像时，光线的分布情况示意；
图4为本发明多反射像在相机摄取的照片上呈现的结果图；
图5为本发明双面镜***中，各反射像之间的几何关系的分析示意图；
图6为本发明关于多反射像和多目摄影之间的等效关系的分析示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种形成多次反射成像的结构光三维重建装置及方法，能够提高多目的图像匹配精度和降低结构光三维重建装置的成本。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明的目的，是为了克服如下问题：多目情况下，由于光滑物体或金属质材的反射光线在不同方向有巨大差异，相机从不同角度获得的结构光的同一物点的图像，明暗明显不同，而且相邻物点的光的相对光强变化也有极大可能剧烈变动，相邻物点的相对明暗关系也剧烈变化，从而使不同相机上获得的结构光相应点的匹配出现较大误差，甚而至于匹配本身就不可行。另外，本发明也要减少多相机的使用，降低成本，减少装调困难。
本发明的工作原理：来自目标物的光线只通过一个统一的进口发出来，而在后面的过程中，光线会被双镜***所偏转而最终进入相机，所以，这样获得的多次反射图像的光线，主要来自统一的进口对目标物光线角度的限制，这就大大减少了不同角度光线强弱不一致对成像的影响。另外，双镜***也提供了多次反射像，这些像之间有固定的几何约束关系，这些约束关系将会提高最终三维成像的复原精度。
基于本发明的工作原理，本发明的目的通过下述技术方案实现：激光器发出的光照射至目标物，而目标物的光线通过一个光线偏折的***统一进入处理***，然后光线被送入双镜***，多次形成反射像，这些像最终进入相机，并通过后续对这些像的运算，对相应点在***提供的约束条件下进行匹配，最终解算出目标物上结构光对应处的三维坐标。
图1为本发明形成多次反射成像的结构光三维重建装置组成示意图。如图1所示，一种形成多次反射成像的结构光三维重建装置，包括：激光器1、半反半透镜2、双镜***3和相机4，激光器1照射目标物5，目标物5发出的光经半反半透镜2发生转折，转折后的光路经双镜***3反射进入相机4，相机4的数量为1个。
双镜***3采用双平面反射镜，双镜***3至少包括一个不是全反镜的镜面，两个镜面之间设有预设间距。双镜***3设置在激光器1和目标物5之间，并且需偏离激光器1与目标物5之间的光路设置。半反半透镜2设置在双镜***3和目标物5之间，并且半反半透镜偏离激光器1与目标物5之间的光路设置。半反半透镜的设置是为了以免后来的反射光以较强的能量反射并照射到目标物体，破坏原有的结构光形态，以及形成统一的入射光口径。
上述半反半透镜2还可以采用筛选镜片代替。
图2为本发明形成多次反射成像的结构光三维重建方法流程图。如图2所示，一种形成多次反射成像的结构光三维重建方法，包括：
步骤101：通过激光器照射目标物，形成结构光照射，具体包括：
用一线激光器或带设定形式结构光的激光器照射目标物，形成结构光照射。
步骤102：通过双镜***对结构光照射的光进行多次反射。
步骤103：使反射后的光路进入相机，得到结构光照射后的目标物的多次反射图像。
步骤104：将反射图像根据约束条件和极几何条件多次进行匹配，得到多个匹配点；所述约束条件为所述双镜***中两个镜面的夹角以及两个所述镜面之间的距离，所述极几何条件为所述双镜***到所述相机之间的几何关系。
步骤105：将各匹配点进行连续化，完成结构光照射的目标物的三维重建，具体包括：
将各所述匹配点采用平面差值法或拟合法进行连续化，完成结构光照射的目标物的三维重建。
在步骤101和步骤102之间，还包括：
通过半反半透镜转折所述结构光照射的光。
实施例：
一种形成多次反射成像的结构光三维重建方法在实际操作过程中，按照下列步骤进行：
步骤A：用一线激光器或带特定形式结构光的激光器照射目标物，形成结构光照射；
步骤B：在避开照射光的前提下，使用一个半反半透镜来转折光路，以免后来的反射光以较强的能量反射并照射到目标物体，破坏原有的结构光形态；
步骤C：光线经转折后的光路进入一个类似法-布干涉仪的双平面反射镜结构的***即双镜***。
而在此步骤，关于双镜***，有如下要求和说明：
C1：
此双镜***至少有一个镜面不是全反镜，以便反射后的光线可以进入相机。而两个镜面拉开一定距离，使双镜***不会产生干涉。如图(1)所示，本实施例中双镜***由一个全反平面镜和一个半反半透镜构成，两镜面之间的距离在毫米量级，且有一个小的夹角，从目标物返回来的光，很难形成干涉。
C2：
目标物上的结构光的在此双镜***多次反射形成的多次的像，则顺着光路进入一相机。而双镜***到相机和前面半反半透镜的几何关系，以及双镜***自己的镜面夹角和镜子厚度等几何参数是可以通过校准检测并成为已知的***参数的。而这些参数在后面的推导和解算中需要使用。
C3：
图3用***俯视图来展示了光线光路的变化情况。从物点来的光经过半反半透镜M1被转折，并射入由M2和M3构成的双镜***。如果观察图中物点经多次反射成的像F′和F″′对应的出射光范围∠R1F′S1和∠T1F″′U1，可以看到除了半反半透镜的选择作用外，光线范围也发生偏转。如果合理选择相机位置，这可以保证进入相机的光线都是来自物点的同一角度范围内或者相近范围内的光。这样，就可以尽量避免从目标物来的光由于入射方向不同，而带来的多目成像的一个像点的相邻光线的光强相对分布的突然变化。
本实施例中，最后进入相机的多反射像的真实结果如图4所示。图4为本发明多反射像在相机摄取的照片上呈现的结果图。
步骤D：将进入相机的结构光多次像进行匹配。匹配时要使用整个***的几何关系带来的约束，这个约束会体现在各次反射像之间的几何关系上。
关于整个***的约束关系，现说明如下：
D1：
多次反射像之间的几何关系主要是由双面镜***的几何关系决定的。而这个关系，在本实施例中，主要体现为图5所示的各像点的关系带来的约束。图5为本发明双面镜***中，各反射像之间的几何关系的分析示意图。
如图5，将右手坐标系OXYZ建于反射镜M3处，X轴和Z轴在M3的反射平面上；相机放置的位置，应当使其光轴与Y轴重合，且其像平面的水平线与X轴平行。
则可以证明，所有基于M3的像点(从图中下标带“S”的点(简称S类点)向下标带“M”的点(简称M类点)通过M3做镜像映射)和基于M2的像点(从M类点向S类点通过M2做镜像映射)都分布在一个圆上，而这个圆的圆心在穿过B点且垂直于OXY面的直线上。
可以证明，M类点满足如下递推关系：
Figure BDA0002167584550000061
式中θ如图5所示。
D2：
用一个相机对同一物点的多个反射像进行获取，等效于一个反射像不动，而通过多个相机，在不同位置对同一个反射像进行拍摄。
图6为本发明关于多反射像和多目摄影之间的等效关系的分析示意图。如图6所示，相机a对反射像a和反射像b的拍摄，就等效于相机a和相机b对反射像a的拍摄。图中站展示的是OXY二维的运动情况。其中，相机a绕B点逆时针转动42.15o到达相机b的位置，反射像a绕B点顺时针转42.15o到达反射像b的位置。而反射像上各对应点或相机上个对应点的Z值是等高的。
在这样的等效情况下，任意两个反射像在同一相机内的成像之间的关系，可以用对应的两个等效相机对同一反射像成像的关系来对应。因此，两个等效相机引入的极几何约束，也可以通过转换应用到同一相机内的两个反射像的成像上去。
鉴于依赖这样的极几何约束关系来限制像点匹配范围的技术，在另外的专利中不只一次使用，并且这也是一种常见的匹配技术，所以在本发明中，此技术不再做展开描述。
D3：
利用D2的极几何条件下求取到的诸匹配点，与D1约束条件相对照，会出现偏差。这些偏差值可以用来优化精准的匹配过程。换言之，一个好的匹配结果，应使这种偏差的平方和最小。
本实施例所采用优化方法是：
步骤D3-1：先任取两反射像的对应图像，在极几何条件下，先找寻匹配点，先假定这两各图像点是匹配的，复原出假设的物点的坐标，再把这个点的坐标再按公式(1)对应到各反射像的物点坐标上去。
步骤D3-2：再保留其中一个反射像图像，而另一个反射像图像换成与前面步骤不同的一个，进行如前同样的步骤。
步骤D3-3：对各假定的物点的坐标进行加权平均，求出最后的物点的坐标的估计。加权权重的值的选取，是在综合考虑光线变化和图像相对光强的基础上，使结果关于公式(1)偏差的平方和最小。
步骤E：将最后的对物点的坐标的估计，采用平面插值或拟合的方法将各所述对应的物点结果的连续化，完成对结构光在物体上对应点的三维位置计算。
本发明通过一个半反半透镜尽量减少了不同方向光线对成像对应情况的影响，通过双镜***实现了一个相机一次即可采集多目图像。本发明可降低***成本，并能够实现对结构光有强反射情况的物体进行高精度三维复原。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种形成多次反射成像的结构光三维重建装置，其特征在于，包括：激光器、双镜***和相机，所述激光器照射目标物，所述目标物发出的光经所述双镜***反射进入所述相机，所述相机的数量为1个；
所述双镜***采用双平面反射镜，所述双镜***至少包括一个不是全反镜的镜面，两个镜面之间设有预设间距；两镜面之间的距离在毫米量级，且有一个小的夹角，从目标物返回来的光，很难形成干涉；
所述结构光三维重建装置还包括：半反半透镜，所述半反半透镜设置在所述双镜***和所述目标物之间，并且所述半反半透镜需偏离所述激光器与所述目标物之间的光路设置。
2.一种形成多次反射成像的结构光三维重建方法，所述方法基于一种形成多次反射成像的结构光三维重建装置，其特征在于，包括：
通过激光器照射目标物，形成结构光照射；
通过双镜***对所述结构光照射的光进行多次反射；
使所述反射后的光路进入相机，得到结构光照射后的目标物的多次反射图像；
将所述反射图像根据约束条件和极几何条件多次进行匹配，得到多个匹配点；
将各所述匹配点进行连续化，完成结构光照射的目标物的三维重建。
3.根据权利要求2所述的形成多次反射成像的结构光三维重建方法，其特征在于，在所述通过激光器照射目标物，形成结构光照射之后，通过双镜***对所述结构光照射的光进行多次反射之前，还包括：
通过半反半透镜转折所述结构光照射的光。
4.根据权利要求2所述的形成多次反射成像的结构光三维重建方法，其特征在于，所述通过激光器照射目标物，形成结构光照射，具体包括：
用一线激光器或带设定形式结构光的激光器照射目标物，形成结构光照射。
5.根据权利要求2所述的形成多次反射成像的结构光三维重建方法，其特征在于，所述将各所述匹配点进行连续化，完成结构光照射的目标物的三维重建，具体包括：
将各所述匹配点采用平面差值法或拟合法进行连续化，完成结构光照射的目标物的三维重建。
6.根据权利要求2所述的形成多次反射成像的结构光三维重建方法，其特征在于，所述约束条件为所述双镜***中两个镜面的夹角以及两个所述镜面之间的距离，所述极几何条件为所述双镜***到所述相机之间的几何关系。
CN201910752293.1A 2019-08-15 2019-08-15 一种形成多次反射成像的结构光三维重建装置及方法 Active CN110443888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910752293.1A CN110443888B (zh) 2019-08-15 2019-08-15 一种形成多次反射成像的结构光三维重建装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910752293.1A CN110443888B (zh) 2019-08-15 2019-08-15 一种形成多次反射成像的结构光三维重建装置及方法

Publications (2)

Publication Number Publication Date
CN110443888A CN110443888A (zh) 2019-11-12
CN110443888B true CN110443888B (zh) 2021-03-26

Family

ID=68435570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910752293.1A Active CN110443888B (zh) 2019-08-15 2019-08-15 一种形成多次反射成像的结构光三维重建装置及方法

Country Status (1)

Country Link
CN (1) CN110443888B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083154A1 (zh) * 2021-11-10 2023-05-19 索尼集团公司 用于三维重建的方法、***和存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331453A (zh) * 2016-08-24 2017-01-11 深圳奥比中光科技有限公司 多图像采集***及图像采集方法
CN106197322B (zh) * 2016-09-20 2019-04-02 电子科技大学 一种面结构光三维测量***及其测量方法
CN106343950A (zh) * 2016-09-28 2017-01-25 天津工业大学 一种基于眼模型的眼底相机双目立体成像***
CN106932398A (zh) * 2017-03-13 2017-07-07 哈尔滨工程大学 一种用于多喷孔喷雾测量的阴影成像***
CN107103641A (zh) * 2017-03-23 2017-08-29 微景天下（北京）科技有限公司 三维重建成像***和三维重建成像方法
CN108269279B (zh) * 2017-07-17 2019-11-08 先临三维科技股份有限公司 基于单目三维扫描***的三维重构方法和装置
CN107967697B (zh) * 2017-11-23 2021-02-26 四川大学 基于彩色随机二元编码结构照明的三维测量方法和***
CN207751449U (zh) * 2018-01-11 2018-08-21 苏州江奥光电科技有限公司 一种基于视场匹配的单目深度相机
CN108664892A (zh) * 2018-04-03 2018-10-16 Oppo广东移动通信有限公司 图像采集结构和电子装置
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083154A1 (zh) * 2021-11-10 2023-05-19 索尼集团公司 用于三维重建的方法、***和存储介质

Also Published As

Publication number Publication date
CN110443888A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110726381B (zh) 一种光学自由曲面全频段像差检测***及检测方法
TWI557433B (zh) 具有實出瞳的自由曲面離軸成像系統的設計方法
TWI616680B (zh) 自由曲面離軸三反光學系統
CN109242908A (zh) 用于水下双目视觉测量***的标定方法
CN109099838B (zh) 一种基于折反射的单目立体视觉***三维信息测量方法
CN109639942B (zh) 水下成像***、水下成像设备及水下成像方法
CN106500629B (zh) 一种显微三维测量装置及***
CN107424195B (zh) 一种光场距离估计方法
US10663289B2 (en) Method and apparatus for detecting concave cylinder and cylindrical diverging lens
CN109325927B (zh) 工业相机摄影测量图像亮度补偿方法
US20190212134A1 (en) Method and apparatus for detecting cylinder and cylindrical converging lens
CN105116515A (zh) 离轴三反射镜变焦距光学***的装调方法
CN110443888B (zh) 一种形成多次反射成像的结构光三维重建装置及方法
EP3481062A1 (en) Projection unit and photographing apparatus comprising same projection unit, processor, and imaging device
Thomason et al. Calibration of a microlens array for a plenoptic camera
Wolff et al. 3-d stereo using photometric ratios
CN111694016A (zh) 一种非干涉合成孔径超分辨成像重构方法
CN114383543A (zh) 单ccd双棱镜双目立体视觉传感器
CN115371577A (zh) 一种透明件表面发光点提取方法及面形测量方法
KR102129069B1 (ko) 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
Inui et al. Correction method of phase deference in accordance with the angle field for Wide-Viewing-Angle Fourier-Spectroscopic-Imaging
CN113989105B (zh) 一种单相机球面镜反射成像投影装置
Shao et al. Improved sensors based on scheimpflug conditions and multi-focal constraints
Chen et al. Multi-stereo 3D reconstruction with a single-camera multi-mirror catadioptric system
CN114241059B (zh) 一种光度立体视觉***中相机和光源的同步标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant