CN109813251B - 用于三维测量的方法、装置以及*** - Google Patents

用于三维测量的方法、装置以及*** Download PDF

Info

Publication number
CN109813251B
CN109813251B CN201711164746.6A CN201711164746A CN109813251B CN 109813251 B CN109813251 B CN 109813251B CN 201711164746 A CN201711164746 A CN 201711164746A CN 109813251 B CN109813251 B CN 109813251B
Authority
CN
China
Prior art keywords
image
camera
feature point
abscissa
dimensional measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711164746.6A
Other languages
English (en)
Other versions
CN109813251A (zh
Inventor
黄正宇
周炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yilian Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201711164746.6A priority Critical patent/CN109813251B/zh
Priority to PCT/CN2018/114016 priority patent/WO2019100933A1/zh
Publication of CN109813251A publication Critical patent/CN109813251A/zh
Application granted granted Critical
Publication of CN109813251B publication Critical patent/CN109813251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种三维测量方法以及用于实现该方法的装置和***。该三维测量方法包括：提取来自三个相机的图像中的特征点；基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一和第二图像之间产生的、在第一方向上的第一视差d1与在第二和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在第二方向上的偏移量；以及计算匹配特征点组对应的物点的三维坐标。根据本发明的三维测量方法可以有助于减小特征点匹配过程的计算量；此外，可以有助于提高特征点匹配的正确率和匹配率。

Description

用于三维测量的方法、装置以及***
技术领域
本发明总体上涉及用于三维测量的方法、装置以及***，具体而言，涉及基于计算机视觉技术的三维测量方法、装置和***。
背景技术
基于计算机视觉的三维测量以及在三维测量基础上实现的三维重构在工业，安全，交通，娱乐方面都有广泛应用。工业机器人感知现实世界并进行决策需要三维的空间信息。安全监控加入三维场景可提高目标识别准确度。汽车自动驾驶、无人机等需要实时感知周围物体的位置。建筑物复原、文物复原等需要对建筑物、文物进行三维重构，特别是需要基于高密度的真彩色点云实现的三维重构。此外，三维重构形成的人物形象广泛应用于电影、动漫、游戏产业。至少部分地基于三维重构而形成的三维虚拟角色也广泛应用于VR、AR产业。
基于双目相机的三维重构已发展数十年，但复原出高正确率的真彩色三维点云并非易事。具体来说，基于双目相机的三维重构通过计算双目图像中对应于同一物点的像点之间的位置偏差来恢复物体的三维坐标信息，其核心在于选取图像中的特征点，以及寻找/筛选不同图像上可能对应同一物点的特征点组(即特征点匹配)。目前用于筛选匹配特征点组的方法例如有：
1)计算不同图像待匹配对应点之间像素灰度差的平方和(SSD,sum of squareddifference)，寻找最小值；
2)计算不同图像待匹配对应点之间过零平均像素灰度差的平方和(ZSSD,zeromean sum of squared differences)，寻找最小值；
3)计算不同图像待匹配对应点之间像素灰度差的绝对值和(SAD,sum ofabsolute difference)，寻找最小值；以及
4)计算不同图像待匹配对应点之间过零平均像素灰度差的绝对值和(ZSAD,zeromean sum of squared differences)，寻找最小值。
5)计算不同图像待匹配对应点邻域之间归一化交叉相关(NCC,Normalizationcross correlation)，寻找最大值；
6)计算不同图像待匹配对应点邻域之间过零平均归一化交叉相关(ZNCC,zero-mean normalized cross correlation)，寻找最大值。
以上筛选匹配特征点组的方法的一个共同特点是搜索一幅图像上的哪个特征点与另一幅图像上的待匹配特征点最相似，其存在的一个问题是在对复杂场景的图像的处理中匹配错误率往往很高。如在周期性结构的图像中，不属于同一物体或同一周期极次上的两个像点，很可能其邻域的归一化交叉相关最大，或像素差异最小，而真正的对应点组合可能处在归一化交叉相关值次大或像素差异次小的位置。当没有其他维度来检验匹配是否有效，则该种匹配错误会一直存在并传递。上述现有的筛选匹配特征点组的方法的另一问题在于其计算量非常大，从而造成处理时间过长以及/或者所需的计算设备难以小型化、成本高等问题。
发明内容
本发明的目的是提供一种三维测量方法以及用于实现该方法的装置和***，其至少部分地解决了现有技术中存在的上述问题。
根据本发明的一个方面，提供一种基于视差定比关系的三维测量方法，该方法包括：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。
根据本发明的另一个方面，提供一种三维测量装置，其包括：处理器；和存储程序指令的存储器，其中当所述程序指令由所述处理器执行时，使得所述处理器执行下列操作：接收第一图像、第二图像和第三图像；分别在第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值成预定比例关系，并且第一图像和第三图像中的所述特征点具有相同的纵坐标；以及计算匹配特征点组对应的物点的三维坐标。
根据本发明的又一个方面，提供一种三维测量装置，用于与相机阵列配合使用以进行三维测量。所述相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上。所述三维测量装置包括处理单元，其接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，并被配置为进行以下处理：分别在所述第一图像、第二图像和第三图像中提取特征点；对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及计算匹配特征点组对应的物点的三维坐标。
根据本发明又一个方面，提供一种基于视差定比关系的三维测量***，该***包括：相机阵列以及上述任何一种三维测量装置，所述相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A、图1B和图1C示出双目视差与相机光心相对位置的关系；
图2示出设置在垂直于光轴的同一平面上的相机的视差定比关系；
图3示出本发明的三维测量***的一个示例的示意性结构框图；
图4示出本发明的三维测量方法的示意性总流程图；
图5示出可与根据本发明第一实施例的三维测量方法结合使用的相机阵列的示例；
图6A、图6B和图6C示出图5所示相机之间的视差定比关系。
图7示意性地示出图5所示相机阵列获得的图像的示例并图解了像点的坐标差值；
图8示出根据本发明第一实施例的三维测量方法的示意性流程图；
图9示出可用于根据本发明第一实施例的三维测量方法的筛选特征点组的处理的一个示例；
图10示意性地对比了基于相似性计算的特征点匹配和根据本发明第一实施例的三维测量方法中基于坐标关系的特征点匹配；
图11示出根据本发明第一实施例的三维测量方法的一个示例的流程图；
图12示出可与根据本发明第二实施例的三维测量方法结合使用的相机阵列的示例并示出了其视差定比关系；
图13示意性地示出图12所示相机阵列获得的图像的示例并图解像点的坐标差值；
图14示出可用于根据本发明第二实施例的三维测量方法的筛选特征点组的处理的一个示例；
图15示出可与根据本发明第三实施例的三维测量方法结合使用的相机阵列的示例并示出了其视差定比关系；
图16示意性地示出图12所示相机阵列获得的图像的示例并图解像点的坐标差值；
图17示出可用于根据本发明第三实施例的三维测量方法的筛选特征点组的处理的一个示例；
图18示出根据本发明第三实施例的三维测量方法的一个示例的流程图；以及
图19示出可用于根据本发明实施例的三维测量***的相机阵列布置的示例。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
在本申请中，除非另有说明，“左”和“右”、“上”和“下”分别仅表示相对的位置，当“左”和“右”、“上”和“下”时，表示的是在相互垂直的方向上彼此相对的位置，上述位置不限于人们通常对左右上下的认定。另外，在本申请中，除非另有说明，“纵”和“横”表示彼此垂直的方向，前者并不限于“竖直”方向，后者也不限于“水平方向”。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
首先将结合图1A、图1B和图1C介绍双目视差与相机光心间距的关系。图中Ol与Or分别表示左相机和右相机的光心(相机镜头的光心)，Il和Ir分别表示左相机和右相机的像面(以下分别简称为左像面和右像面)。相机的像面由相机所包含的图像传感器的感光面的位置决定，所述图像传感器例如为CCD或CMOS，通常定位在距离光心一个焦距f处。相机通常是对物体成倒立的实像，像面相对于光心位于物的相反侧，但是在这里为了图示和分析的方便，将像面示出在与物体同侧的对称位置上，如图所示。应该理解，这并不改变本申请中将讨论的视差关系。
用于双目视觉的两个相机具有相同的焦距。右相机的光心Ol相对于左相机的光心Ol有一个偏移量D(，相应的光轴Zl和Zr彼此平行。
图1A、图1B和图1C中，以左相机的光心Ol为相机坐标系的原点，以左右相机的光轴的方向为Z方向。左相机和右相机的光心位于垂直于光轴的同一平面(即XY平面)中。在图1A和图1B中，以光心Ol与Or的连线方向作为相机坐标系的X方向，垂直于该光心连线和光轴的方向为Y方向。应该理解的是，相机坐标系也可以以其它方式来设定，例如以右相机的光心Or为原点，而不同的相机坐标系的设定方式并不影响以下讨论的视差定比关系。
在本申请中，各个相机对应的像面具有以相同方式设定的像面坐标系。例如，在本申请图示示例中，以相机光轴与像面相交的点(光轴上物点成像的像点)为像面坐标系的原点，并以分别平行于相机坐标系X轴和Y轴的方向为像面坐标系的x轴和y轴。应该理解的是，像面坐标系也可以以其它方式来设定，例如以图像传感器的感光面的一个顶角作为原点，而不同的像面坐标系的设定方式并不影响以下讨论的视差定比关系。
图1A示出了相机光心连线方向上的双目视差与光心间距的关系。图1A示出了整个成像***在XZ平面上的投影。空间中的同一物点P[X,Y,Z]通过左右相机分别成像于像点Pl和Pr。如图1B中更清楚地示出的，基于三角形相似原理，对于物点P，左右相机在图像的对应于相机光心连线的方向(x方向)上产生视差d＝xl-xr，且d/D＝f/Z，其中xl和xr分别为像点Pl和Pr在左像面Il和右像面Ir中的x轴坐标。本领域技术人员会理解，相机光心的偏移量D根据坐标系的定义是可能为正值，也可能为负值的。
图1B示出了在垂直于相机光心连线方向上的双目视差。图1B示意性地示出整个成像***在YZ平面上的投影。如图1B所示，物点P通过左右相机在图像的垂直于相机光心连线的方向(y方向)上并不产生视差，即d＝yl-yr＝0。
接下来考察像面上任意方向上的视差与相机光心间距D之间的关系。为了讨论的方便，图1C中将待考察视差的方向设定为X方向，此时左相机与右相机的光心连线与X方向不一致，换句话说待考察视差的方向相对于相机光心连线可以为任意方向。可以假设存在一中间相机，其光心Om与光心Ol与Or布置在垂直于光轴的同一平面内，该中间相机在X方向上与左相机对齐，在Y方向上与右相机对齐，如图1C所示。根据以上结合图1A、图1B和图1C的讨论，左相机与中间相机在X方向上的视差dlm＝xl-xm＝Dx×f/Z，其中xm为物点通过中间相机所成像点在中间相机的像面上的x轴坐标，Dx等于右相机相对于左相机在X方向上的偏移量，即Dx＝Xr-Xl。中间相机与右相机由于在Y方向上对齐，所以两者在X方向上没有视差，即dmr＝xm-xr＝0。综合而言，左相机与右相机在X方向上产生的视差dx＝xl-xr＝dlm+dmr＝Dx×f/Z。类似地，左相机与右相机在Y方向上产生的视差dy＝yl-yr＝Dy×f/Z，其中Dy等于右相机相对于左相机在Y方向上的偏移量，即Dy＝Yr-Yl。
图2将图1C所示的情况扩展为布置在垂直于光轴的同一平面内的三台相机的情况，其中，第一相机C1、第二相机C2和第三相机C3具有相同的焦距f和彼此平行的光轴(未示出)，并且各自的光心O1、O2和O3位于垂直于光轴的同一平面内。根据以上参照图1C的分析，对于同一物点，第一相机和第二相机得到的图像之间产生的、在第一方向上的第一视差d1＝D1×f/Z，其中D1为第二相机的光心O2相对于第一相机的光心O1在第一方向A上的偏移量，并且第二相机和第三相机得到的图像之间产生的、在第二方向B上的第二视差d2＝D2×f/Z，其中D2为第三相机的光心O3相对于第二相机的光心O2在第二方向B上的偏移量，其中第一方向A为平行于相机光心所在的平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向B为平行于相机光心所在的平面且非垂直于第二相机和第三相机的光心连线的方向。尽管图2中示出第一方向不同于第二方向，但是第一方向也可以与第二方向相同。本发明发明人发现，对于布置在垂直于光轴的同一平面内的三台相机而言存在以下视差定比关系，即：上述第一视差d1与第二视差d2满足d1:d2＝D1:D2。
基于上述发现，根据本发明提出一种基于视差定比关系的三维测量***和三维测量方法。图3示出了根据本发明的三维测量***10的一个示例的示意性结构框图。图4示出了本发明的三维测量方法100的示意性总流程图。
如图3所示，三维测量***10包括相机阵列CA，该相机阵列CA至少包括第一相机C1、第二相机C2和第三相机C3，它们具有相同的焦距以及彼此平行的光轴，并且各自的光心布置在垂直于光轴的同一平面上。优选地，各个相机具有相同的光圈、ISO、快门时间、图像传感器等。更优选地，各个相机为完全同型号的相机。
三维测量***10包括处理单元11，其接收来自相机阵列的图像，包括来自第一相机C1、第二相机C2和第三相机C3的第一图像、第二图像和第三图像，并基于这些图像进行处理，以实现三维测量。当然，相机阵列CA可以包括额外的相机，并且处理单元11可以接收来自这些额外的相机的图像并进行处理。
三维测量***10可以包括控制单元12，其可操作以控制第一相机、第二相机和第三相机同步地采集图像。对于动态场景三维重构，如在道路上的车流，人的瞬间表情，不同步拍摄的后果是匹配结果错误率非常高。控制单元12还可以控制相机等倍数变焦。例如，对于较远的场景，需要将三个相机相同地调整到较大焦距。控制单元12可以通过有线或者无线的方式与第一相机C1、第二相机C2和第三相机C3连接，以实现上述控制。控制单元12可以与处理单元11通信，接收来自处理单元11的信息，以生成所述用于控制相机同步采集图像的控制信号，也可以独立工作以实现上述控制。
本发明的基于视差定比关系的三维测量方法100基于例如三维测量***10的相机阵列CA来实现。三维测量方法100包括：
s110：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像；
s120：在所述第一图像、第二图像和第三图像中提取特征点；
s130：对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及
s140：计算匹配特征点组对应的物点的三维坐标。
三维测量***10的处理单元11配置为执行三维测量方法100中的上述处理s110～s140。处理单元11可以由处理器和存储程序指令的存储器来实现，该程序指令在由处理器执行时使得处理器执行上述处理s110～s140的操作。处理单元11可以构成根据本发明的三维测量装置20。
处理s110中，可以直接从第一相机、第二相机和第三相机接收所述图像，也可以经由其他单元或设备接收所述图像。
处理s120中，找到各个图像中的特征点。例如可以用灰度梯度找到灰度变化较大的点作为特征点，或者使用sift算法找到sift特征点，或者使用诸如Harris算法之类的角点检测算法找到图像的角点作为特征点。应该理解，本发明并不限于用于提取特征点的具体方法。
处理s130用于对各图像中的特征点进行匹配，其中包括基于上述视差定比关系筛选匹配特征点组的处理。下文将结合不同实施例更加详细地介绍处理s130中基于视差定比关系筛选匹配特征点组的处理。
处理s130可以进一步包括以其他方式筛选匹配特征点组的处理。换句话说，在一些实施例中，处理s130可以仅通过基于视差定比关系的处理来实现特征点匹配。在另一些实施例中，处理s130中可以结合基于视差定比关系的处理和基于其他匹配/筛选方式的处理来实现特征点匹配。筛选匹配特征点组的其他方式例如包括对像素或邻域像素群施用相似性计算来筛选匹配特征点组。这里，所述相似性计算包括对像素灰度差的平方和、过零平均像素灰度差的平方和、像素灰度差的绝对值和、过零平均像素灰度差的绝对值和、邻域之间归一化交叉相关度、以及过零平均归一化交叉相关度中的至少一项的计算。
例如，在一些实施例中，处理s130还包括对基于所述视差定比关系筛选出来的匹配特征点组，施用对像素或邻域像素群的相似性计算以进一步筛选匹配特征点组。在一些示例中，相似性计算可以仅施用于包含有相同特征点的两个以上特征点组，即仅施用于匹配结果不唯一的情况下。
在另一些实施例中，处理s130中，首先通过例如对特征点或其邻域像素群施用相似性计算来筛选匹配特征点组，然后对于通过相似性计算筛选获得的匹配特征点组，判断每组特征点是否满足所述视差定比关系，从而进一步筛选匹配特征点组。
通过处理s130得到的每个匹配特征点组包含分别来自第一图像、第二图像和第三图像的一个特征点。在处理s140中，可以基于一个匹配特征点组中的任意两个特征点来计算对应的物点的深度(Z坐标)，再根据相似三角形原理计算出该物点的X,Y坐标。基于两个匹配的特征点计算深度值和基于深度值计算X、Y坐标的方法是已知的，在此不再赘述。
在一些优选实施例中，处理s130中基于一个匹配特征点组中的每两个特征点分别计算出一个深度值，并取其平均值作为对应物点的深度值。理论上，计算出来的各个深度值应该是相等的，但是实际情况中考虑图像噪声的影响，则三个值之间会有微小的差异。因此取其平均值，可减少噪声的影响,提高深度值的准确性。在其他一些实施例中，也可以选取特征点组中的两对特征点来计算深度值并取其平均值作为物点的深度值。
对于用于三维重构的三维测量而言，处理s140还可以包括计算每个匹配特征点组所对应的物点的颜色值，例如[R,G,B]。该颜色值可以与物点的坐标[X,Y,Z]一起形成体素信息，例如[X,Y,Z,R,G,B]。在三维重构中，可以组合所有物点的体素信息，以形成物体或场景的真彩色三维模型。
以下将结合不同实施例更加详细地介绍三维测量方法100和三维测量***10，特别是其中基于视差定比关系筛选匹配特征点组的处理。
图5至图11图解了根据本发明第一实施例的三维测量***和三维测量方法。
图5示出了根据本发明第一实施例的三维测量***中的相机阵列CA，其中第一相机C1、第二相机C2和第三相机C3具有相同的焦距和彼此平行的光轴，并且三个相机的光心布置在垂直于光轴的同一直线(X方向)上。图5所示布置(a)中D1＝D2；布置(b)中D1≠D2。
图6A、图6B和图6C示出了图5所示三台相机之间的视差定比关系。如图所示，空间同一物点P[X,Y,Z]通过第一相机C1、第二相机C2和第三相机C3分别成像于第一像面I1的P1点、第二像面I2的P2点和第三像面I3的P3点。各个像面如上所述具有以相同方式设定的像面坐标系。在图6中，各像面的x轴方向对应于相机光心所在直线的方向，y轴与x轴垂直。如图6C中更清晰地显示的，在x轴方向上，第一相机和第二相机之间产生的第一视差d1＝x1-x2＝D1×f/Z，第二相机和第三相机之间产生的第二视差d2＝x2-x3＝D2×f/Z，满足d1:d2＝D1:D2。
图7示意性地示出了图5所示相机阵列获得的第一图像IM1、第二图像IM2和第三图像IM3的示例，其中图像的横坐标轴(u轴)对应于相机光心所在的直线的方向。理想情况下，如图7中通过叠加第一图像IM1、第二图像IM2和第三图像IM3而得到假象的图像IM’所示，同一物点P[X,Y,Z]在图像IM1、IM2和IM3中的对应像点P1[u1,v1]、P2[u2,v2]、P3[u3,v3]具有相同的纵坐标，即v1＝v2＝v3，并且像点P1[u1,v1]、P2[u2,v2]的横坐标差值s1＝u1-u2＝d1/dp，像点P2[u2,v2]、P3[u3,v3]的横坐标差值s2＝u2-u3＝d2/dp，满足s1:s2＝d1:d2＝D1:D2，其中dp为图像传感器的像素单元的边长。
由于制造误差、安装误差以及使用过程中产生的相机内部参数和/或外部参数的变化，实际从第一相机、第二相机和第三相机直接获得的第一图像、第二图像和第三图像通常会偏离上述理想情况。这可以通过对相机的物理上的标定或校正，以及/或者通过计算程序对图像的校正，来使得图像接近上述理想情况。因此，根据本发明实施例的三维测量方法可以包括对第一图像、第二图像和第三图像的校正处理，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向，其中所述横坐标和纵坐标的方向相互垂直。
校正处理在图4所示处理s130，即匹配特征点的处理之前进行，优选在接收到图像之后而在提取特征点之前进行，即在图4所示处理s110和s120之间进行。然而，应该注意的是，根据本发明实施例的三维测量方法并不限于包括上述校正处理的情况，例如，在一些应用中，可以通过对相机阵列的物理调节来进行校正，而无需对图像的校正。
相应地，如图3所示，在根据本发明的三维测量***10中可以进一步包括校正单元13，该校正单元13接收来自相机整列CA的图像，并至少部分地基于所述图像生成校正矩阵，并将校正矩阵提供给处理单元11。该校正矩阵，当通过处理单元11被施用于第一图像、第二图像和第三图像时，实现三维测量方法中的上述校正处理。如图3所示，三维测量装置20可以包括该校正单元13。处理单元11和校正单元13可以基于相同的处理器和存储器或者不同的处理器和存储器来实现。
基于具有图5所示布置的相机阵列，如图8所示，根据本发明第一实施例的三维测量方法200的处理s230中，将图4所示的处理s130中的基于视差定比关系筛选匹配特征点组的处理实现为包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点P1[u1,v1]的横坐标和第二图像中的特征点P2[u2,v2]的横坐标的差值s1＝u1-u2与第二图像中的所述特征点P2[u2,v2]的横坐标和第三图像中的特征点P3[u3,v3]的横坐标的差值s2＝u2-u3满足s1:s2＝D1:D2，并且第一图像、第二图像和第三图像中的所述特征点具有相同的纵坐标，即v1＝v2＝v3。三维测量方法200的其他处理与以上参照图4描述的三维测量方法100中的相应处理是相同的，在此不再赘述。
图9示出了基于上述坐标关系s1:s2＝D1:D2以及v1＝v2＝v3筛选匹配特征点组的处理的一个示例，处理300。如图所示，处理300包括：
s310：在第一图像、第二图像和第三图像中的两者中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
s320：计算第一图像、第二图像和第三图像中的第三者中与所述第一特征点和第二特征点匹配的第三特征点的期待横坐标，使得差值s1＝u1-u2与差值s2＝u2-u3满足s1:s2＝D1:D2；以及
s330：基于由第三特征点的期待横坐标和目标纵坐标构成的期待位置，在所述第三者中搜索第三特征点。
处理300可以用于例如按照纵坐标的一定顺序(递增或递减)对图像进行逐行的扫描以筛选匹配特征点组。以下以第一相机、第二相机和第三相机等间距布置(即D1＝D2)的情况为例结合图7更详细地介绍上述处理300。应该理解以下介绍仅为示例性的，而非限制性的。
处理s310中，在第二图像IM2中的J个具有目标纵坐标vt的特征点P2[u2(j),v2(j)](1≤j≤J)中，选定其中一个特征点P2[u2,v2](第一特征点)，其中纵坐标v2(j)＝vt；搜索第一图像IM1和第三图像IM3中具有目标纵坐标的特征点P1[u1(i),v1(i)]和特征点P3[u3(j),v3(j)]，其中v1(i)＝v3(j)＝vt，得到第一图像IM1中有满足条件的I个特征点P1[u1(i),v1(i)]，1≤i≤I，第二图像IM2中有满足条件的K个特征点P3[u3(k),v3(k)]，1≤j≤K(I或K为零时则结束搜索，重新选定第一特征点)；假设I≥K，为了减少搜索次数，从第三图像IM3中开始搜索，即在第三图像中IM3中选定其中一个特征点P3[u3,v3](第二特征点)(如果M<N，从左图开始搜索)。
以上描述中从第二图像中选定第一特征点，这仅仅是示例性的，本发明并不限于从哪一个图像开始选定第一特征点。例如，在其他示例中，也可以首先比较各个图像中符合纵坐标要求的特征点数量I、J、K的大小，在特征点数量最小的图像中选定第一特征点，在特征点数量次小的图像中选定第二特征点，最后在特征点数量最大的图像中搜索第三特征点。
考虑到图像误差/噪声，处理s310中可以在vt-ε～vt+ε的纵坐标预定范围内搜索和选定特征点，ε为大于或等于0的整数，可以根据例如相机阵列的安装和使用状况或者图像的质量来确定，优选地，0≤ε≤2。
然后，处理s320中，利用对称性计算第一图像IM1中期待出现与特征点P2[u2,v2]和特征点P3[u3,v3]匹配的特征点P1(第三特征点)的横坐标位置(期待横坐标ue)，使得差值s1＝ue-u2与差值s2＝u2-u3满足s1:s2＝D1:D2＝1，即ue＝2u2-u3。可以看到此时，特征点的横坐标具有对称的坐标关系。
接下来，在处理s330中，基于期待出现的特征点P1的期待横坐标ue和上述目标纵坐标vt，可以得到特征点P1的期待位置[ue,vt]，并基于该期待位置在第一图像IM1中搜索是否存在特征点P1。同样，考虑到图像误差/噪声，在一些示例中，可以设定横坐标容差εu和纵坐标容差εv，并[ue-εu～ue+εu,vt-εv～vt+εv]的范围内在第一图像IM1中搜索特征点P1(例如见图7中图像IM1中虚线所示范围)。优选，0≤εu≤3,0≤εv≤3在另一些示例中，可以仅设定横坐标容差和纵坐标容差中的一者，在此不再赘述。
如果处理s330中搜索到期待的特征点P1，则特征点P1、P2、P3作为一个匹配特征点组。如果搜索不到期待的特征点P1，则选定的第一特征点(P2)和第二特征点(P3)不具备匹配的可能性，该回合的筛选结束，接下来可以选定下一个第二特征点，然后重复以上处理s320和s330。遍历所有第二特征点之后，选定新的第一特征点，并类似地重复以上处理。
以上以相机直线布置且对称分布(D1:D2＝1)为例对处理300进行了介绍。对于D1:D2＝1:R，R≠1的情况，上述处理300的操作是类似的，不同之处在于计算第三特征点的期待横坐标的时候，以以上讨论的具体情形为例，ue＝(1+R)×u2-R×u3，此时考虑到图像坐标都为整数，所以需要对计算得到的数值取整才能获得需要的期待横坐标，即ue＝round{(1+R)×u2-R×u3}，“round”在此表示取整运算。
图9所示仅为基于所述坐标关系筛选匹配特征点组的处理的一个示例。在已经通过其他方式(例如对像素或邻域像素群的相似性计算)获得了候选的匹配特征点组的情况下，也可以以验算候选的特征点组中各个特征点的横坐标是否在一定容差范围内满足s1:s2＝D1:D2，以及判断各个特征点的纵坐标是否在允许的范围内，从而筛选满足上述坐标关系s1:s2＝D1:D2且v1＝v2＝v3的特征点组。
根据本发明第一实施例的三维测量方法200中，将基于三个相机之间产生的视差定比关系的处理简化为基于图像中对应特征点的坐标关系的处理，在特征点匹配/筛选匹配特征点组的过程中，与传统的基于对像素或邻域像素群的相似性计算进行特征点匹配的方法相比，由于前者主要是对坐标做加减法运算和少量的乘法运算(在D1:D2＝1的情况下，只需要进行加减法运算)，而后者通常需要进行密集的乘法运算，例如矩阵的卷积，所以相比较而言，前者大大减小了其匹配过程的计算量。计算量的显著减小对于基于高清晰度图像的三维测量和重构以及对于实时的三维测量和重构具有非常重大的意义，其为后者的实现提供了可能性。
图10示意性地对比了基于相似性计算的特征点匹配和根据本发明第一实施例的三维测量方法200中基于坐标关系s1:s2＝D1:D2的特征点匹配。图10的(a)中显示对于例如双目相机获得的一个图像中的某个特征点Pl1，在另一图像中找到3个与自身属性及邻域属性非常相近的候选特征点Pr1、Pr2、Pr3。而根据三维重构中对特征点匹配的唯一性要求，上述不唯一的匹配结果只能放弃。此外，可以想到，当由于图像噪音等原因，非正确匹配的特征点Pr3可能比正确匹配的特征点点Pr1表现出与特征点Pl1更大的相似性，从而，基于对像素或邻域像素群的相似性计算的特征点组筛选可能获得错误的匹配结果。图10的(b)显示，对于来自如图5所示布置的第一相机、第二相机和第三相机的图像，基于坐标关系s1:s2＝D1:D2，可以筛选出唯一的匹配特征点组(P11，P21，P31)，而排除根据属性相似性可能发生匹配的其它两个候选特征点P32、P33。
可以看到，基于所述坐标关系的特征点匹配能够帮助排除基于相似性计算的匹配得到的错误结果，提高匹配的正确率；同时，由于能够以更大概率获得唯一匹配结果，避免由于匹配结果不唯一而导致的匹配失败，所以基于视差定比关系/上述坐标关系的特征点匹配也有助于提高匹配率，从而有助于实现高密度的特征点云。
图11为流程图，示出了根据本发明第一实施例的三维测量方法的一个示例，三维测量方法400。三维测量方法400包括：
s410：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像；
s420：对第一图像、第二图像和第三图像进行校正处理，如以上所讨论的，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向；
s430：在第一图像、第二图像和第三图像中提取特征点；
s440：对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：
s441：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点P1[u1,v1]的横坐标和第二图像中的特征点P2[u2,v2]的横坐标的差值s1＝u1-u2与第二图像中的所述特征点P2[u2,v2]的横坐标和第三图像中的特征点P3[u3,v3]的横坐标的差值s2＝u2-u3满足s1:s2＝D1:D2，并且第一图像、第二图像和第三图像中的所述特征点具有相同的纵坐标，即v1＝v2＝v3；以及
s442：对于通过处理s441获得的匹配特征点组，基于对像素或邻域的像素群的相似性计算，进一步进行筛选；
s450：计算匹配特征点组对应的物点的三维坐标。
处理s441可以实现为例如图9所示的处理300，但是并不限于此。
处理s420可以为利用任何校正方法实现的校正处理，包括通过对图像施用一定的校正矩阵实现的校正处理。
根据本发明，视差定比关系也可以被应用于校正处理中，例如可以基于视差定比关系生成用于校正处理的校正矩阵。作为一个示例，基于视差定比关系生成用于校正处理的矩阵的处理可以包括：分别在所述第一图像、第二图像和第三图像中提取特征点，例如通过sift算法提取稀疏特征点点阵；对第一图像、第二图像和第三图像中的特征点进行匹配，获得多个匹配特征点组，例如通过RANSAC算法；利用匹配特征点组中特征点在各图像中的坐标，根据校正矩阵被施用于各个图像之后匹配特征点组中的特征点之间满足的所述视差定比关系，建立超定方程组；以及通过例如最小二乘法解算所述超定方程组，得到校正矩阵。
三维测量方法400中，首先通过处理s441筛选匹配特征点组，使得进入到后续基于相似性计算的特征点匹配处理s442的特征点的数量大幅减少，能够显著减小特征点匹配过程中的计算量。另外,处理s441与s442的组合使用，还有助于提高特征点匹配的正确率和匹配率，使得能够得到更高密度的特征点云。
图12至图14图解了根据本发明第二实施例的三维测量***和三维测量方法。
图12示出了根据本发明第二实施例的三维测量***中的相机阵列CA，其中第一相机C1、第二相机C2和第三相机C3具有相同的焦距和彼此平行的光轴(Z方向)，第一相机C1和第二相机C2的光心O1、O2沿X方向对齐，第二相机C2和第三相机C3的光心O2、O3沿Y方向对齐。第二相机的光心相对于第一相机的光心在X方向上的偏移量为D1，第三相机的光心相对于第二相机的光心在Y方向上的偏移量为D2。
参照以上结合图1C所讨论的，且如图12所示，在x轴方向上，第一相机和第二相机之间产生的第一视差d1＝x1-x2＝D1×f/Z；在y轴方向上，第二相机和第三相机之间产生的第二视差d2＝y2-y3＝D2×f/Z，满足d1:d2＝D1:D2。
图13示意性地示出了图12所示相机阵列获得的第一图像IM1、第二图像IM2和第三图像IM3的示例，其中图像的横坐标轴(u轴)对应于第一相机和第二相机光心所在的直线的方向(x轴方向)，图像的纵坐标(v轴)对应于第二相机和第三相机光心所在的直线的方向(y方向)。理想情况下，如图13中通过叠加第一图像IM1、第二图像IM2和第三图像IM3而得到假象的图像IM’所示，同一物点P[X,Y,Z]在图像IM1、IM2中的对应像点P1[u1,v1]、P2[u2,v2]具有相同的纵坐标，即v1＝v2，在图像IM2、IM3中的对应像点P2[u2,v2]、P3[u3,v3]具有相同的横坐标，即u2＝u3，并且像点P1[u1,v1]、P2[u2,v2]的横坐标差值s3＝u1-u2＝d1/dp，像点P2[u2,v2]、P3[u3,v3]的纵坐标差值s4＝v2-v3＝d2/dp，满足s3:s4＝d1:d2＝D1:D2，其中dp为图像传感器的像素单元的边长。
根据本实施例的三维测量方法可以包括对第一图像、第二图像和第三图像的校正处理，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向对应于第一相机和第二相机的光心连线的方向，纵坐标方向对应于第二相机和第三相机的光心连线的方向。
基于具有图12所示布置的相机阵列，根据本发明第二实施例的三维测量方法中，将图4所示的处理s130中的基于视差定比关系筛选匹配特征点组的处理实施为包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点P1[u1,v1]的横坐标和第二图像中的特征点P2[u2,v2]的横坐标的差值s3＝u1-u2与第二图像中的所述特征点P2[u2,v2]的纵坐标和第三图像中的特征点P3[u3,v3]的纵坐标的差值s4＝v2-v3满足s3:s4＝D1:D2且v1＝v2，u2＝u3。根据本实施例的三维测量方法的其他处理与以上参照图4描述的三维测量方法100中的相应处理可以是相同或者类似的，在此不再赘述。
图14示出了基于上述坐标关系筛选匹配特征点组的处理的一个示例，处理500。如图14所示，处理500包括：
s510：在第一图像和第二图像中选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
s520：计算第一特征点的横坐标与第二特征点的横坐标的差值s3＝u1-u2；
s530：计算差值s4，使得s3:s4＝D1:D2；
s540：计算第三图像中与所述第一特征点和第二特征点匹配的第三特征点的期待纵坐标，使得第二特征点的纵坐标与第三特征点的期待纵坐标的差值为上述计算得到的第二差值s4；以及
s550：基于由所述第三特征点的期待纵坐标和第二特征点的横坐标构成的期待位置，在第三图像中搜索第三特征点。
处理s510中的在相对于目标坐标的预定范围内选定特征点的操作可以参照以上结合处理300中的处理s310所介绍的操作。此外，类似于处理300，处理500的处理s550中也可以相对于期待位置设定容差范围，在此不再赘述。
应该注意的是，由于在本申请中图像中的横坐标和纵坐标表示的是相对垂直的两个方向，所以本实施例中，第一相机和第三相机相对于第二相机实际上具有对等的位置关系，从而在处理s510中，所述“在第一图像和第二图像中选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内”并不限于首先在水平对齐的两个图像中选取第一和第二特征点。
在一些优选的实施方式中，可以在第二图像中选定特征点之后，搜索第一图像和第三图像中与该特征点具有相同纵坐标和相同横坐标的特征点，并基于第一图像和第三图像中搜索到的特征点的数量来决定接下来的搜索顺序。例如，当第一图像中所述具有相同纵坐标的特征点数量大于第三图像中所述具有相同横坐标的特征点的数量的时候，可以接下来从第三图像中选定特征点，计算并确定第一图像中的特征点的期待位置并搜索。处理s510意图覆盖这种情况。
处理500可以用于按照一定顺序(例如逐行或逐列)遍历例如第二图像中的特征点，筛选第一图像和第三图像中与之匹配的特征点，从而筛选匹配特征点组。
从技术效果角度来看，与根据本发明第一实施例的三维测量方法类似，根据本发明第二实施例的三维测量方法在特征点匹配过程中，相对于基于对像素或邻域像素群的相似性计算的特征点匹配方法而言，大大减小了匹配过程的计算量，有助于提高了三维测量的空间精度和实时性。同时，根据本实施例的三维测量方法可以结合基于对像素或邻域像素群的相似性计算的特征点匹配方法，这种情况下，基于视差定比关系的特征点匹配(筛选匹配特征点组)的方法能够有效排除基于对像素或邻域像素群的相似性计算的特征点匹配的错误匹配结果，提高匹配的正确率；而且有助于避免由于匹配结果不唯一导致的匹配失败，从而有助于提高匹配率，获得高密度的特征点云。
图15至图18图解了根据本发明第三实施例的三维测量***和三维测量方法。
图15示出了根据本发明第三实施例的三维测量***中的相机阵列CA，其中第一相机C1、第二相机C2和第三相机C3具有相同的焦距和彼此平行的光轴(Z方向)，第一相机C1、第二相机C2和第三相机C3的成三角形布置，并且它们的光心O1、O2、O3布置在垂直于光轴的同一平面上，其中第一相机C1和第二相机C2的光心O1、O2沿X方向对齐。第二相机的光心相对于第一相机的光心在X方向上的偏移量为D1，第三相机的光心相对于第二相机的光心在X方向上的偏移量为D2。
参照以上结合图1C所讨论的，且如图15所示，在x轴方向上，第一相机和第二相机之间产生的第一视差d1＝x1-x2＝D1×f/Z，第二相机和第三相机之间产生的第二视差d2＝x2-x3＝D2×f/Z，满足d1:d2＝D1:D2。
图16示意性地示出了图15所示相机阵列获得的第一图像IM1、第二图像IM2和第三图像IM3的示例，其中图像的横坐标轴(u轴)对应于第一相机和第三相机光心所在的直线的方向(x轴方向)。理想情况下，如图16所示，同一物点P[X,Y,Z]在图像IM1、IM2、IM3中分别得到像点P1[u1,v1]、P2[u2,v2]、P3[u3,v3]，如假想图像IM’中所示，其中图像IM1、IM3中的对应像点具有相同的纵坐标，即v1＝v3，并且像点P1[u1,v1]、P2[u2,v2]的横坐标差值s5＝u1-u2＝d1/dp，像点P2[u2,v2]、P3[u3,v3]的横坐标差值s6＝u2-u3＝d2/dp，满足s5:s6＝d1:d2＝D1:D2，其中dp为图像传感器的像素单元的边长。
根据本实施例的三维测量方法可以包括对第一图像、第二图像和第三图像的校正处理，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于第一相机和第三相机的光心连线的方向。
基于具有图15所示布置的相机阵列，根据本发明第三实施例的三维测量方法中，将图4所示的处理s130中的基于视差定比关系筛选匹配特征点组的处理实施为包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点P1[u1,v1]的横坐标和第二图像中的特征点P2[u2,v2]的横坐标的差值s5＝u1-u2与第二图像中的所述特征点P2[u2,v2]的横坐标和第三图像中的特征点P3[u3,v3]的横坐标的差值s6＝u2-u3满足s5:s6＝D1:D2，并且第一图像和第三图像中的所述特征点具有相同的纵坐标，即v1＝v3。根据本实施例的三维测量方法的其他处理与以上参照图4描述的三维测量方法100中的相应处理相同，在此不再赘述。
图17示出了基于上述坐标关系筛选匹配特征点组的处理的一个示例，处理600。如图17所示，处理600包括：
s610：在第一图像和第三图像中分别选定第一特征点和第二特征点，第二特征点的纵坐标相对于第一特征点的纵坐标在预定范围内；
s620：计算第二图像中与第一特征点和第二特征点满足以下关系的第三特征点的期待横坐标，使得所述差值s5与差值s6满足s5:s6＝D1:D2；以及
s630：基于期待横坐标，在第二图像中搜索第三特征点。
处理s610中的在相对于目标坐标的预定范围内选定特征点的操作可以参照以上结合处理300中的处理s310所介绍的操作。此外，类似于处理300，处理600的处理s630中也可以相对于期待横坐标设定容差范围(参见图16中特征点P2左右的虚线所示的范围)，在此不再赘述。
应该注意的是，与图9所示的处理300相比，处理600中并不约束第二图像中的第三特征点的纵坐标范围，因此在第二图像中基于期待横坐标搜索匹配的特征点，相比于第一实施例和第二实施例，得到的匹配结果更大可能是非唯一的。考虑到这一点，优选在根据本发明第三实施例的三维测量方法中结合基于对像素或邻域像素群的相似性计算的特征点匹配方法。
图18示出根据本发明第三实施例的三维测量方法的一个示例，三维测量方法700。如图所示，三维测量方法700包括：
s710：接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像；
s720：对第一图像、第二图像和第三图像进行校正处理，如以上所讨论的，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于第一相机和第三相机的光心连线的方向；
s730：在第一图像、第二图像和第三图像中提取特征点；
s740：对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：
s741：基于对像素或邻域的像素群的相似性计算筛选匹配特征点组；以及
s742：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点P1[u1,v1]的横坐标和第二图像中的特征点P2[u2,v2]的横坐标的差值s5＝u1-u2与第二图像中的所述特征点P2[u2,v2]的横坐标和第三图像中的特征点P3[u3,v3]的横坐标的差值s6＝v2-v3满足s5:s6＝D1:D2，并且第一图像和第三图像中的所述特征点具有相同的纵坐标，即v1＝v3；
s750：计算匹配特征点组对应的物点的三维坐标。
其中，处理s720可以为利用任何校正方法实现的校正处理，包括通过对图像施用一定的校正矩阵实现的校正处理。
此外，应该理解的是，三维测量方法700并不限于在处理s741中采用基于对像素或邻域的像素群的相似性计算的处理，也可以替代为现有的或以后新出现的其他用于筛选匹配特征点组/特征点匹配的处理。
处理s742可以实现为例如图17所示的处理600，但并不限于此。
根据本发明第三实施例的三维测量方法700通过采用处理s742，可以帮助提高特征点匹配的正确率和匹配率，有助于获得更高密度的特征点云。
尽管以上图18示出的示例中，筛选满足坐标关系s5:s6＝D1:D2的匹配特征点组的处理被设置在基于对像素或邻域的像素群的相似性计算筛选匹配特征点组的处理之后，但是如以上结合图4所示三维测量方法100的处理s130所讨论的，根据本发明第三实施例的三维测量方法中上述两种处理的前后顺序可以调换，即首先筛选满足坐标关系s5:s6＝D1:D2的匹配特征点组，得到候选的匹配特征点组，然后对于这些候选的匹配特征点组施用相似性计算，从而进一步筛选匹配特征点组。如此实现的三维测量方法由于基于坐标关系s5:s6＝D1:D2的筛选使得进入到基于相似性计算的筛选处理的特征点的数量大大减少，所以可以有效地减小匹配过程的计算量，同时如上所述，还有助于提高特征点匹配的正确率和匹配率，有助于获得更高密度的特征点云。
图19示出可用于根据本发明的三维测量***的相机阵列的更多布置方式。如图所示，相机阵列可以包括布置为正三角形的三个相机，还可以进一步扩展为排布形成多个正三角形的三个以上的相机，例如图9右下角所示蜂窝状的布置。此外，包括成直角三角形布置的三个相机的相机阵列可以进一步扩展成多种其它形式，例如矩形(包括正方形)、T字形、十字形、对角线形以及以这些形状为单元的扩展形式。
根据本发明的三维测量方法可以基于来自相机阵列中的三个相机或三个以上相机的图像来实施。尽管以上分别介绍了根据本发明第一、第二和第三实施例的三维测量***和三维测量方法，但是本领域技术人员应该理解，这些实施例或其中的特征可以进行组合以形成不同的技术方案。例如，在其他的一些实施例中，相机阵列中包括第一、第二、第三和第四相机，根据本发明的三维测量方法可以对于来自第一、第二、第三相机的一组图像和来自第一、第三和第四相机的一组图像分别进行本发明提出的基于视差定比关系的特征点匹配处理，并结合两组图像的匹配结果来确定最后在第一和第三相机中的匹配特征点组，从而计算对应物点的空间位置。这样的技术方案仍然采用了本发明总的发明构思，本申请的发明范围意图覆盖这样的技术方案。
接下来，返回参照图3进一步介绍根据本发明的三维测量***10。如图3所示，三维测量***10除了可以采用不同的相机阵列CA之外，还可以进一步包括投影单元14。投影单元14用于向相机阵列CA的拍摄区域投射投射图案，该投射图案能够被相机阵列CA中的相机所采集到。投影图案可以在拍摄区域中增加较多的特征点，在一些应用中还可以使得特征点分布较为均匀或弥补部分区域缺少特征点的缺陷。
投射图案可以包括点、线或它们的组合。点在尺寸增大之后也可形成为较大或具有特定形状的斑，线在尺寸增大之后也可形成为较宽或具有其他形状特征的条带状图案。优选，投射图案中包括线条，并且该线条的延伸方向与第一相机、第二相机和第三相机中至少两者的光心连线方向不平行，这样有助于提供更多可用于根据本发明的三维测量方法中的基于视差定比关系的匹配处理的特征点。
投射图案还可以通过颜色、强度、形状、分布等特征来编码。对于经过编码的投射图案，通过相机得到的图像中具有相同编码的特征点必然是匹配点。增加了匹配维度，提高匹配率和匹配的正确率。
投射单元14可以构造为包括光源以及用于基于来自该光源的照明光形成投射图案的光学元件，例如衍射光学元件或光栅等。所述光源发出的照明光包含具有所述第一相机、第二相机和第三相机的工作波长范围内的波长的光，可以为单色光，也可以为多色光，而且可以包含可见光和/或非可见光，例如红外光。在一些应用中，投射单元14可以构造为能够调节投射方向，以根据不同的拍摄场景来有选择地向不同的区域投射投射图案。另外，投射单元14可以构造为能够实现时序单图案投射或者时序多图案投射，或者能够根据不同的拍摄场景投射不同的图案。
在一些实施例中，三维测量***10中还可以包括传感器15，其用于探测投射单元14所投射的至少部分图案特征，以获得可用于三维测量的额外的信息。例如，在一些应用中，相机阵列CA工作于可见光波长和红外波长，投射单元14以红外波长投射投射图案，传感器15为红外传感器或红外相机，此时通过相机阵列CA采集的信息既包括可见光形成的图像信息又包括投射图案，可以提供更多的用于基于双目视觉的三维测量的特征点，而通过传感器15获得的投射图案可以用于基于其他三维测量技术的测量，例如基于结构光的测量。在根据本发明的三维测量***10中，传感器15获得的信息例如可以发送给校正单元13，校正单元13例如可以将基于来自传感器15的信息和其他三维测量技术获得的三维测量结果用于对相机阵列或其获得的图像的标定和/或校正。
对于根据本发明的三维测量***10，应该理解的是，其可以实现为一个集成的***，也可以实现为一个分布式的***。例如，三维测量***10中的相机阵列CA可以安装在一个设备上，而处理单元11可以基于互联网服务器来实现，从而在实体上与相机阵列CA分开。投射单元14以及传感器15可以与相机阵列CA安装在一起，也可以独立设置。对于控制单元12，情况也是类似的。此外，校正单元13可以与处理单元11一起通过同一处理器和相关联的存储器等来实现(此时可以构成为图3中虚线框所代表的三维测量装置20的一部分)，也可以分开实现，例如校正单元13可以通过与相机阵列CA集成在一起的处理器和相关联的存储器等来实现。
以下将介绍根据本发明的三维测量***和测量方法的若干应用例。
【应用例1】
本应用例中，根据本发明的三维测量***实现为基于手机和外接相机模组的三维测量装置。
相机模组包括三个同型号相机，三个相机中心在一条直线上，相邻相机中心的距离相等，相机的光轴互相平行，朝向相同，都垂直于相机中心所在的直线。
相机模组通过WiFi和/或数据线与手机连接。手机可以控制相机模组的3个相机同步拍摄(照片和/或视频)以及等倍数变焦。
相机模组拍摄到的照片和/或视频通过WiFi和/或数据线传到手机。手机通过校正用APP对照片和/或视频中的图像帧进行校正。校正过程中例如可以利用放置在相机模组前方的棋盘，棋盘网格尺寸已知。基于类似棋盘这样的辅助校正工具的校正是本领域已知的，在此不再赘述。本应用例中用于校正的方法也并不限于该特定的方法。
完成校正之后，利用相机模块拍摄要建模的场景和物体。手机上可以进一步集成或外接有投影模块，用于向被拍摄物体上投射条纹，条纹的方向与三相机中心连线方向不平行。集成在手机中的处理单元(由手机的处理芯片和存储单元构成)提取三个相机照片上共有的特征点和特征区域。特征点除了图像上被拍摄物体自带的特征点，还包含投射模块投射的条纹在物体上形成的新特征点和特征区。筛选同时具有图像坐标对称关系及相近属性(相近属性通过对像素及邻域像素群的相似性计算来判断)的匹配特征点组。基于每个匹配特征点组计算出多个深度值，取这些深度值的平均值。然后，计算出该特征点组对应的物点的三维空间坐标，并与其颜色信息融合形成体素信息。最终在手机上显示整个物体或场景的真彩色点云或基于该点云重构得到的三维模型。
在一变型例中，手机可以将接收到的来自相机模组的照片和/或视频传输到云端服务器。服务器可以快速的对照片进行校正，提取特征点，匹配具有图像坐标对称关系及相近属性的对应匹配特征点组，计算匹配特征点组对应的物点的三维坐标并于颜色信息融合形成体素信息，将真彩色点云结果或基于该点云重构得到的三维模型再传回手机上显示。
本应用例还可与TOF融合，解决图像无特征(如大白墙)或遮挡问题。二者点云的融合，既保证大的物体目标都能采样到，又可兼容物体表面细节，可形成空间采样更全面，分辨率更高的三维点云。如在手机端，“前向摄像头+TOF”融合的3d采样模块可以扫描出像素级精度的人脸，而目前的TOF只能扫描出大致表面轮廓。而“后向摄像头+TOF”融合的3d模块更是补足了TOF***投射距离有限的短板。另外，将TOF形成的三维点云通过空间坐标系转换和投影变换，计算出图像上对应采样点的初始视差，可加速图像匹配过程。
图像三维测量***与激光雷达融合的基本过程如下:1.TOF生成三维点云；2.通过TOF坐标系和参考相机坐标系之间的转换，将激光雷达的点云三维坐标转换为参考相机坐标系下对应点的三维坐标；3.根据相机的投影方程，将参考相机坐标系下对应采样点的三维坐标转换为图像的二维坐标和视差；4.通过参考相机图像对应采样点的二维坐标和视差找到在其他相机图像上的二维坐标初始位置；5.以初始位置为中心，设置搜索邻域，在其他相机图像精找对应点，精度精确到像素级或亚像素级；6.通过精找匹配结果计算匹配点的精确视差，再换算出匹配点的三维坐标；7.根据初始匹配结果对图像分区，相邻对应匹配点夹持的区域为对应待匹配区域；8.在对应待匹配区域中匹配多个相机图像上的待匹配特征点；9.输出参考相机坐标系下TOF的点云和图像特征点匹配形成的三维点云的融合结果。
本应用例还可与结构光融合，解决图像无特征(如大白墙)的问题。结构光可以在物体表面形成高密度特征。结构光使用较为灵活。既可以只增加物体表面的特征点(允许不同位置的图案排列重复)，由多相机***匹配产生三维点云，也可以生成编码图案投射(保证每个点的图案编码或邻域图案编码唯一)，由相机和投影装置之间的三角原理解算出三维点云。
另外，还可以形成“摄像头+TOF+结构光”的组合方案，如此可以形成超高密度和超高分辨率的三维点云，可用于VR/AR游戏或电影等需要非常逼真的三维虚拟物体等应用场景中。
【应用例2】
本应用例中，根据本发明的三维测量***实现为用于车辆自动驾驶的一种装置。
相机模块安装在车辆前部，其包括三个同型号相机。三个相机中心在一条直线上，相邻相机中心的距离相等，相机的光轴互相平行，朝向相同，都垂直于相机中心所在的直线。相机模块通过数据线与车载电脑连接。车载电脑可以控制相机模块的3个相机同步拍摄(照片和/或视频)以及等倍数变焦。
相机模块拍摄到的照片和/或视频通过数据线传到车载电脑。车载电脑由同一时间拍摄的多个图像(照片或视频中的图像帧)生成校正矩阵。校正之后，车载电脑提取三个相机拍摄的图像上共有的特征点和特征区域，挑选出具有对称结构及相近属性的对应匹配组筛选同时具有图像坐标对称关系及相近属性的匹配特征点组，计算匹配特征点组对应的物点的三维坐标，与颜色信息融合后输出真彩色三维点云，将其推送给车辆自动驾驶的决策***。
本应用例还可与激光雷达融合，解决图像无特征(如大白墙)或遮挡问题。激光雷达适合大块物体的空间采样，即使在图像无特征的情况下也能形成空间点云。但受到空间采样率限制，如几十米外的电线杆，其张角小于雷达的空间采样角分辨率时可能存在漏采样。而图像***对物体的各种特征(包含边缘特征)较敏感。二者点云的融合，既保证大目标都能采样到，又可兼容物体表面细节和细小的物体的采样，可形成空间采样更全面，分辨率更高的三维点云。另外，将激光雷达形成的三维点云通过空间转换为图像上对应采样点的初始视差，可加速图像匹配过程。
图像三维测量***与激光雷达融合的基本过程如下:1.激光雷达生成三维点云；2.通过激光雷达坐标系和参考相机坐标系之间的转换，将激光雷达的点云三维坐标转换为参考相机坐标系下对应点的三维坐标；3.根据相机的投影方程，将参考相机坐标系下对应采样点的三维坐标转换为图像的二维坐标和视差；4.通过参考相机图像对应采样点的二维坐标和视差找到在其他相机图像上的二维坐标初始位置；5.以初始位置为中心，设置搜索邻域，在其他相机图像精找对应点，精度精确到像素级或亚像素级；6.通过精找匹配结果计算匹配点的精确视差，再换算出匹配点的三维坐标；7.根据初始匹配结果对图像分区，相邻对应匹配点夹持的区域为对应待匹配区域；8.在对应待匹配区域中匹配多个相机图像上的待匹配特征点；9.输出参考相机坐标系下激光雷达的点云和图像特征点匹配形成的三维点云的融合结果。
【应用例3】
本应用例中，根据本发明的三维测量***实现为基于无人机和外接相机模块用于进行航拍的一种装置。
相机模块安置在无人机的机载云台上，包括5个同型号相机。5个相机分布成十字架形，相机中心在同一平面上，纵向和横向方向的相邻相机中心的距离相等，相机的光轴互相平行，朝向相同，都垂直于相机中心所在的平面。相机模块通过数据线与无人机的机载电脑连接。机载电脑可以控制相机模块的5个相机同步拍摄(照片和/或视频)以及等倍数变焦。
相机模块拍摄到的照片和/或视频通过数据线传到机载电脑。机载电脑由同一时间拍摄的多个图像(照片或视频中的图像帧)生成校正矩阵。图像经校正矩阵校正。机载电脑可以实时显示相机模块上五个相机的图像上共有的特征点和特征区域，提取具有图像坐标对称关系及相近属性的对应匹配特征点组，计算匹配特征点组对应的物点的三维坐标，与颜色信息融合后输出真彩色三维点云。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (50)

1.一种基于视差定比关系的三维测量方法，包括：
接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；
分别在所述第一图像、第二图像和第三图像中提取特征点；
对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及
计算匹配特征点组对应的物点的三维坐标。
2.如权利要求1所述的三维测量方法，其中，所述第一方向为第一相机和第二相机的光心连线方向，第二方向为第二相机和第三相机光心连线方向。
3.如权利要求1所述的三维测量方法，其中，所述第一相机、第二相机和第三相机的光心依次布置在垂直于光轴的一条直线上，所述第一方向和第二方向为所述直线的方向；并且
所述基于视差定比关系筛选匹配特征点组的处理包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s1与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值s2满足s1:s2＝D1:D2，并且第一图像、第二图像和第三图像中的所述特征点具有相同的纵坐标，所述横坐标的方向对应于所述直线的方向。
4.如权利要求3所述的三维测量方法，还包括：对第一图像、第二图像和第三图像进行校正处理，使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向。
5.如权利要求3所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：
在第一图像、第二图像和第三图像中的两者中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
计算第一图像、第二图像和第三图像中的第三者中与所述第一特征点和第二特征点匹配的第三特征点的期待横坐标，使得所述差值s1与所述差值s2满足s1:s2＝D1:D2；以及
基于由第三特征点的期待横坐标和目标纵坐标构成的期待位置，在所述第三者中搜索第三特征点。
6.如权利要求5所述的三维测量方法，其中，在第一图像、第二图像和第三图像中的两者中分别选定纵坐标为所述目标纵坐标的第一特征点和第二特征点。
7.如权利要求5所述的三维测量方法，其中，所述基于所述期待位置搜索第三特征点的处理还包括：
设定容差范围，该容差范围包括横坐标容差范围和纵坐标容差范围中的至少一者；以及
在第一图像、第二图像和第三图像中的所述第三者中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。
8.如权利要求5所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理还包括：
计算第一图像、第二图像和第三图像中纵坐标相对于所述目标纵坐标位于预定范围内的特征点的数量；以及
确定第一图像、第二图像和第三图像中的所述第三者为第一图像、第二图像和第三图像中具有给定纵坐标的特征点的数量最多的一者。
9.如权利要求5所述的三维测量方法，其中，D1:D2＝1:1，并且所述计算第三特征点的期待横坐标的处理包括：计算所述期待横坐标，使得第一图像中的特征点与第三图像中的特征点的横坐标之和为第二图像中的特征点的横坐标的两倍。
10.如权利要求2所述的三维测量方法，其中，第一相机和第二相机的光心布置在垂直于光轴的第一直线上，第二相机和第三相机的光心布置在垂直于光轴且垂直于所述第一直线的第二直线上，所述第一方向为第一直线的方向，所述第二方向为第二直线的方向；并且
所述基于视差定比关系筛选匹配特征点组的处理包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s3与第二图像中的所述特征点的纵坐标与第三图像中的特征点的纵坐标的差值s4满足s3:s4＝D1:D2，第一图像和第二图像的所述特征点具有相同的纵坐标，第二图像和第三图像的所述特征点具有相同的横坐标，所述横坐标的方向对应于所述第一方向，所述纵坐标的方向对应于所述第二方向。
11.如权利要求10所述的三维测量方法，还包括：对第一图像、第二图像和第三图像的校正处理，该校正处理使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向对应于第一方向，纵坐标方向对应于第二方向。
12.如权利要求10所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：
在第一图像和第二图像中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
计算第一特征点的横坐标与第二特征点的横坐标的差值s3；
计算差值s4，使得s3:s4＝D1:D2；
计算第三图像中与所述第一特征点和第二特征点匹配的第三特征点的期待纵坐标，使得第二特征点的纵坐标与第三特征点的期待纵坐标的差值为上述计算得到的第二差值s4；并且
基于由所述第三特征点的期待纵坐标和第二特征点的横坐标构成的期待位置，在第三图像中搜索第三特征点。
13.如权利要求12所述的三维测量方法，其中，所述基于所述期待位置搜索第三特征点的处理还包括：
设定容差范围；以及
在第三图像中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。
14.如权利要求2所述的三维测量方法，其中，所述第一方向和第二方向均为第一相机和第三相机的光心连线方向。
15.如权利要求14所述的三维测量方法，其中，所述基于视差定比关系筛选匹配特征点组的处理包括：
基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s5与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值s6满足s5:s6＝D1:D2，第一图像和第三图像中的所述特征点具有相同的纵坐标，所述横坐标的方向对应于所述第一相机和第三相机的光心连线方向。
16.如权利要求15所述的三维测量方法，还包括：对第一图像、第二图像和第三图像进行校正处理，使得第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于第一相机和第三相机的光心连线的方向。
17.如权利要求15所述的三维测量方法，其中，所述基于所述坐标关系筛选匹配特征点组的处理包括：
在第一图像和第三图像中分别选定第一特征点和第二特征点，第二特征点的纵坐标相对于第一特征点的纵坐标在预定范围内；
计算第二图像中与第一特征点和第二特征点满足s5:s6＝D1:D2关系的第三特征点的期待横坐标；以及
基于期待横坐标，在第二图像中搜索第三特征点。
18.如权利要求1所述的三维测量方法，其中，所述对第一图像、第二图像和第三图像中的特征点进行匹配的处理还包括：对基于所述视差定比关系筛选出来的匹配特征点组，施用对像素或邻域像素群的相似性计算以进一步筛选匹配特征点组。
19.如权利要求18所述的三维测量方法，其中，所述相似性计算仅施用于包含有相同特征点的两个以上特征点组。
20.如权利要求1所述的三维测量方法，其中，所述对第一图像、第二图像和第三图像中的特征点进行匹配还包括：对特征点或其邻域像素群施用相似性计算以筛选匹配特征点组；并且
所述基于视差定比关系筛选匹配特征点组的处理被施用于通过相似性计算筛选出来的匹配特征点组。
21.如权利要求18-20中任一项所述的三维测量方法，其中，所述相似性计算包括对由像素灰度差的平方和、过零平均像素灰度差的平方和、像素灰度差的绝对值和、过零平均像素灰度差的绝对值和、邻域之间归一化交叉相关度、以及过零平均归一化交叉相关度构成的组中的至少一项的计算。
22.如权利要求1所述的三维测量方法，还包括：基于第一图像、第二图像和第三图像生成校正矩阵，该校正矩阵用于被施用于以后接收的来自第一相机、第二相机和第三相机的图像，所述生成校正矩阵的处理包括：
分别在所述第一图像、第二图像和第三图像中提取特征点；
对第一图像、第二图像和第三图像中的特征点进行匹配，获得多个匹配特征点组；
利用匹配特征点组中特征点在各图像中的坐标，根据校正矩阵被施用于各个图像之后匹配特征点组中的特征点之间满足的所述视差定比关系，建立超定方程组；以及
解算所述超定方程组，得到校正矩阵。
23.如权利要求1所述的三维测量方法，其中，所述基于匹配特征点组计算各个特征点组所对应的物点的三维坐标包括：基于一个匹配特征点组中的至少两对特征点计算深度值，并取所述深度值的平均值作为该匹配特征点组所对应的物点的深度值。
24.如权利要求1所述的三维测量方法，还包括：以所述第一相机、第二相机和第三相机的工作波长范围内的波长的光向所述相机的拍摄区域投射图案。
25.如权利要求24所述的三维测量方法，其中，所述图案包含条纹，所述条纹的方向与第一相机、第二相机和第三相机中至少两者的光心连线不平行。
26.一种三维测量装置，包括：处理器；和存储程序指令的存储器，其中当所述程序指令由所述处理器执行时，使得所述处理器执行下列操作：
接收第一图像、第二图像和第三图像；
分别在第一图像、第二图像和第三图像中提取特征点；
对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括：基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值成预定比例关系，并且第一图像和第三图像中的所述特征点具有相同的纵坐标；以及
计算匹配特征点组对应的物点的三维坐标。
27.如权利要求26所述的三维测量装置，其中，所述坐标关系还包括：第二图像中的所述特征点具有与第一图像和第三图像中的所述特征点相同的纵坐标。
28.如权利要求27所述的三维测量装置，其中，所述程序指令在被执行时使得所述处理器通过以下操作来实现基于所述坐标关系筛选匹配特征点组的操作：
在第一图像、第二图像和第三图像中的两者中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
计算第一图像、第二图像和第三图像中的第三者中与所述第一特征点和第二特征点匹配的第三特征点的期待横坐标，使得第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值成预定比例关系；以及
基于由第三特征点的期待横坐标和目标纵坐标构成的期待位置，在所述第三者中搜索第三特征点。
29.如权利要求28所述的三维测量装置，其中，在第一图像、第二图像和第三图像中的两者中分别选定纵坐标为所述目标纵坐标的第一特征点和第二特征点。
30.如权利要求28所述的三维测量装置，其中，所述程序指令在被执行时使得所述处理器通过以下操作来实现基于所述期待位置搜索第三特征点的操作：
设定容差范围，该容差范围包括横坐标容差范围和纵坐标容差范围中的至少一者；以及
在第一图像、第二图像和第三图像中的所述第三者中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。
31.一种三维测量装置，用于与相机阵列配合使用以进行三维测量，所述相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上，所述三维测量装置包括：
处理单元，其接收分别来自第一相机、第二相机和第三相机的第一图像、第二图像和第三图像，并被配置为进行以下处理：
分别在所述第一图像、第二图像和第三图像中提取特征点；
对第一图像、第二图像和第三图像中的特征点进行匹配，该匹配包括基于以下视差定比关系筛选匹配特征点组：对于同一物点，在第一图像和第二图像之间产生的、在第一方向上的第一视差d1与在第二图像和第三图像之间产生的、在第二方向上的第二视差d2满足d1:d2＝D1:D2，其中D1为第一相机的光心相对于第二相机的光心在所述第一方向上的偏移量，D2为第二相机的光心相对于第三相机的光心在所述第二方向上的偏移量，其中第一方向为平行于所述平面且非垂直于第一相机和第二相机的光心连线的方向，第二方向为平行于所述平面且非垂直于第二相机和第三相机的光心连线的方向；以及
计算匹配特征点组对应的物点的三维坐标。
32.如权利要求31所述的三维测量装置，其中，所述第一相机、第二相机和第三相机的光心依次布置在垂直于光轴的一条直线上，所述第一方向和第二方向为所述直线的方向；并且
所述处理单元配置为通过以下处理来基于所述视差定比关系筛选匹配特征点组：
基于以下坐标关系筛选匹配特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值满足s1:s2＝D1:D2，并且第一图像、第二图像和第三图像中的所述特征点具有相同纵坐标，所述横坐标的方向对应于所述直线的方向。
33.如权利要求32所述的三维测量装置，还包括：
校正单元，其基于来自第一相机、第二相机和第三相机的图像，生成校正矩阵并将所述校正矩阵提供给处理单元，所述校正矩阵当被处理单元施用于第一图像、第二图像和第三图像时，使第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向。
34.如权利要求32所述的三维测量装置，其中，所述处理单元配置为通过以下处理来基于所述坐标关系筛选匹配特征点组：
在第一图像、第二图像和第三图像中的两者中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
计算第一图像、第二图像和第三图像中的第三者中与所述第一特征点和第二特征点匹配的第三特征点的期待横坐标，使得所述差值s1与所述差值s2满足s1:s2＝D1:D2；以及
基于由第三特征点的期待横坐标和目标纵坐标构成的期待位置，在所述第三者中搜索第三特征点。
35.如权利要求34所述的三维测量装置，其中，所述处理单元配置为通过以下处理来基于所述期待位置搜索第三特征点：
设定容差范围，该容差范围包括横坐标容差范围和纵坐标容差范围中的至少一者；以及
在第一图像、第二图像和第三图像中的所述第三者中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。
36.如权利要求31所述的三维测量装置，其中，第一相机和第二相机的光心布置在垂直于光轴的第一直线上，第二相机和第三相机的光心布置在垂直于光轴且垂直于所述第一直线的第二直线上，所述第一方向为第一直线的方向，所述第二方向为第二直线的方向；并且
所述处理单元配置为通过以下处理来基于所述视差定比关系筛选匹配特征点组：
基于以下坐标关系筛选匹配的特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s3与第二图像中的所述特征点的纵坐标与第三图像中的特征点的纵坐标的差值s4满足s3:s4＝D1:D2，第一图像和第二图像的所述特征点具有相同的纵坐标，第二图像和第三图像的所述特征点具有相同的横坐标，所述横坐标的方向对应于所述第一方向，所述纵坐标的方向对应于所述第二方向。
37.如权利要求36所述的三维测量装置，还包括：
校正单元，其基于来自第一相机、第二相机和第三相机的图像，生成校正矩阵并将所述校正矩阵提供给处理单元，所述校正矩阵当被处理单元施用于第一图像、第二图像和第三图像时，使第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于所述直线的方向。
38.如权利要求36所述的三维测量装置，其中，所述处理单元配置为通过以下处理来基于所述坐标关系筛选匹配特征点组：
在第一图像和第二图像中分别选定第一特征点和第二特征点，所述第一特征点和第二特征点的纵坐标满足相对于一目标纵坐标位于预定范围内；
计算第一特征点的横坐标与第二特征点的横坐标的差值s3；
计算差值s4，使得s3:s4＝D1:D2；
计算第三图像中与所述第一特征点和第二特征点匹配的第三特征点的期待纵坐标，使得第二特征点的纵坐标与第三特征点的期待纵坐标的差值为上述计算得到的第二差值s4；并且
基于由所述第三特征点的期待纵坐标和第二特征点的横坐标构成的期待位置，在第三图像中搜索第三特征点。
39.如权利要求38所述的三维测量装置，其中，所述处理单元配置为通过以下处理来基于所述期待位置搜索第三特征点：
设定容差范围，该容差范围包括横坐标容差范围和纵坐标容差范围中的至少一者；以及
在第三图像中，在相对于所述期待位置位于所述容差范围内的区域内，搜索第三特征点。
40.如权利要求31所述的三维测量装置，其中，所述第一方向和第二方向均为第一相机和第三相机的光心连线方向；并且
所述处理单元配置为通过以下处理来基于所述视差定比关系筛选匹配特征点组：
基于以下坐标关系筛选匹配的特征点组：第一图像中的特征点的横坐标与第二图像中的特征点的横坐标的差值s5与第二图像中的所述特征点的横坐标与第三图像中的特征点的横坐标的差值s6满足s5:s6＝D1:D2，第一图像和第三图像中的所述特征点具有相同的纵坐标，所述横坐标的方向对应于所述第一相机和第三相机的光心连线方向。
41.如权利要求40所述的三维测量装置，还包括：
校正单元，其基于来自第一相机、第二相机和第三相机的图像，生成校正矩阵并将所述校正矩阵提供给处理单元，所述校正矩阵当被处理单元施用于第一图像、第二图像和第三图像时，使第一图像、第二图像和第三图像中对应于第一相机、第二相机和第三相机的光轴的点具有相同的横坐标和纵坐标，并且第一图像、第二图像和第三图像的横坐标方向都对应于第一相机和第三相机的光心连线的方向。
42.如权利要求36所述的三维测量装置，其中，所述处理单元配置为通过以下处理来基于所述坐标关系筛选匹配特征点组：
在第一图像和第三图像中分别选定第一特征点和第二特征点，第二特征点的纵坐标相对于第一特征点的纵坐标在预定范围内；
计算第二图像中与第一特征点和第二特征点满足s5:s6＝D1:D2关系的第三特征点的期待横坐标；以及
基于期待横坐标，在第二图像中搜索第三特征点。
43.如权利要求31所述的三维测量装置，其中，所述处理单元还配置为：对基于所述视差定比关系筛选出来的匹配的特征点组，施用对像素或邻域像素群的相似性计算以进一步筛选匹配的特征点组。
44.如权利要求31所述的三维测量装置，其中，所述处理单元还配置为：对特征点或其邻域像素群施用相似性计算以筛选匹配的特征点组；并且对通过相似性计算筛选出来的匹配特征点组进行所述基于视差定比关系筛选匹配特征点组的处理。
45.如权利要求33、37或41所述的三维测量装置，其中，所述校正单元配置为通过以下处理生成校正矩阵：
分别在所述第一图像、第二图像和第三图像中提取特征点；
对第一图像、第二图像和第三图像中的特征点进行匹配，获得多个匹配的特征点组；
利用匹配的特征点组中特征点在各图像中的坐标，根据校正矩阵被施用于各个图像之后匹配的特征点组中的特征点之间满足的所述坐标关系，建立超定方程组；以及
解算所述超定方程组，得到校正矩阵。
46.一种基于视差定比关系的三维测量***，包括：
相机阵列，该相机阵列至少包括第一相机、第二相机和第三相机，所述第一相机、第二相机和第三相机具有相同的焦距以及彼此平行的光轴，并且第一相机、第二相机和第三相机的光心布置在垂直于光轴的同一平面上；以及
如权利要求26-45中任一项所述的三维测量装置。
47.如权利要求46所述的三维测量***，还包括：控制单元，其与所述相机阵列连接并通信，并配置为控制第一相机、第二相机和第三相机同步地采集图像。
48.如权利要求47所述的三维测量***，其中，所述控制单元还配置为控制第一相机、第二相机和第三相机等倍数变焦。
49.如权利要求48所述的三维测量***，还包括：投射单元，其包括光源以及用于基于来自该光源的照明光形成投射图案的光学元件，所述照明光包含具有所述第一相机、第二相机和第三相机的工作波长范围内的波长的光，并且所述投射单元向所述相机阵列的拍摄区域投射所述投射图案。
50.如权利要求49所述的三维测量***，其中，所述投射图案包含条纹，并且所述条纹的方向与所述第一相机、第二相机和第三相机中至少两者的光心连线不平行。
CN201711164746.6A 2017-11-21 2017-11-21 用于三维测量的方法、装置以及*** Active CN109813251B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711164746.6A CN109813251B (zh) 2017-11-21 2017-11-21 用于三维测量的方法、装置以及***
PCT/CN2018/114016 WO2019100933A1 (zh) 2017-11-21 2018-11-05 用于三维测量的方法、装置以及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711164746.6A CN109813251B (zh) 2017-11-21 2017-11-21 用于三维测量的方法、装置以及***

Publications (2)

Publication Number Publication Date
CN109813251A CN109813251A (zh) 2019-05-28
CN109813251B true CN109813251B (zh) 2021-10-01

Family

ID=66599669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711164746.6A Active CN109813251B (zh) 2017-11-21 2017-11-21 用于三维测量的方法、装置以及***

Country Status (2)

Country Link
CN (1) CN109813251B (zh)
WO (1) WO2019100933A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110440712B (zh) * 2019-08-26 2021-03-12 英特维科技(苏州)有限公司 自适应大景深三维扫描方法与***
CN110706334B (zh) * 2019-09-26 2023-05-09 华南理工大学 一种基于三目视觉的工业部件三维重构方法
CN111028341B (zh) * 2019-12-12 2020-08-04 天目爱视（北京）科技有限公司 一种三维模型生成方法
CN113358020A (zh) * 2020-03-05 2021-09-07 青岛海尔工业智能研究院有限公司 一种机器视觉检测***及方法
CN111457859B (zh) * 2020-03-06 2022-12-09 奥比中光科技集团股份有限公司 3d测量装置对齐标定方法、***及计算机可读存储介质
CN111368745A (zh) * 2020-03-06 2020-07-03 上海眼控科技股份有限公司 车架号图像生成方法、装置、计算机设备和存储介质
CN111612728B (zh) * 2020-05-25 2023-07-25 北京交通大学 一种基于双目rgb图像的3d点云稠密化方法和装置
CN112102404B (zh) * 2020-08-14 2024-04-30 青岛小鸟看看科技有限公司 物体检测追踪方法、装置及头戴显示设备
CN112033352B (zh) * 2020-09-01 2023-11-07 珠海一微半导体股份有限公司 多摄像头测距的机器人及视觉测距方法
CN112129262B (zh) * 2020-09-01 2023-01-06 珠海一微半导体股份有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片
CN112183436B (zh) * 2020-10-12 2023-11-07 南京工程学院 基于像素点八邻域灰度对比的高速公路能见度检测方法
CN112381874B (zh) * 2020-11-04 2023-12-12 北京大华旺达科技有限公司 基于机器视觉的标定方法及装置
CN113310420B (zh) * 2021-04-22 2023-04-07 中国工程物理研究院上海激光等离子体研究所 一种通过图像测量两个目标之间距离的方法
CN113487679B (zh) * 2021-06-29 2023-01-03 哈尔滨工程大学 激光打标机自动调焦***视觉测距信号处理方法
CN113503830B (zh) * 2021-07-05 2023-01-03 无锡维度投资管理合伙企业(有限合伙) 一种基于多相机的非球面面形测量方法
CN113487686A (zh) * 2021-08-02 2021-10-08 固高科技股份有限公司 一种多目相机的标定方法、装置、多目相机和存储介质
CN114087991A (zh) * 2021-11-28 2022-02-25 中国船舶重工集团公司第七一三研究所 一种基于线结构光的水下目标测量装置及方法
CN115082621B (zh) * 2022-06-21 2023-01-31 中国科学院半导体研究所 一种三维成像方法、装置、***、电子设备及存储介质
CN115317747B (zh) * 2022-07-28 2023-04-07 北京大学第三医院（北京大学第三临床医学院） 一种自动气管插管导航方法及计算机设备
CN116503570B (zh) * 2023-06-29 2023-11-24 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置
CN116524160B (zh) * 2023-07-04 2023-09-01 应急管理部天津消防研究所 基于ar识别的产品一致性辅助核实***及方法
CN117611752B (zh) * 2024-01-22 2024-04-02 卓世未来(成都)科技有限公司 一种数字人的3d模型生成方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032745A (ja) * 2000-06-07 2002-01-31 Nec Corp 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法
CN103218799A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于相机跟踪的方法和设备
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机***
CN106813595A (zh) * 2017-03-20 2017-06-09 北京清影机器视觉技术有限公司 三相机组特征点匹配方法、测量方法及三维检测装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002063240A1 (en) * 2001-02-02 2002-08-15 Snap-On Technologies Inc Method and apparatus for mapping system calibration
US8090195B2 (en) * 2008-02-12 2012-01-03 Panasonic Corporation Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
JP5471355B2 (ja) * 2009-11-24 2014-04-16 オムロン株式会社 ３次元視覚センサ
DE102012112322B4 (de) * 2012-12-14 2015-11-05 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
CN104101293A (zh) * 2013-04-07 2014-10-15 鸿富锦精密工业（深圳）有限公司 量测机台坐标系归一***及方法
CN104897065A (zh) * 2015-06-09 2015-09-09 河海大学 一种板壳结构表面位移场的测量***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002032745A (ja) * 2000-06-07 2002-01-31 Nec Corp 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法
CN103218799A (zh) * 2012-01-18 2013-07-24 三星电子株式会社 用于相机跟踪的方法和设备
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机***
CN106813595A (zh) * 2017-03-20 2017-06-09 北京清影机器视觉技术有限公司 三相机组特征点匹配方法、测量方法及三维检测装置

Also Published As

Publication number Publication date
WO2019100933A1 (zh) 2019-05-31
CN109813251A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
CN109813251B (zh) 用于三维测量的方法、装置以及***
US11272161B2 (en) System and methods for calibration of an array camera
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
CN107077743B (zh) 用于阵列相机的动态校准的***和方法
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
JP3983573B2 (ja) ステレオ画像特性検査システム
KR100513055B1 (ko) 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
US8705846B2 (en) Position measuring apparatus, position measuring method, image processing apparatus and image processing method
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
JP2022024688A (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
JP2000009442A (ja) ３次元画像撮影装置
CN114332373A (zh) 一种克服继电器金属表面反光的磁路落差检测方法及***
CN110827230A (zh) 一种利用tof提升rgb图像质量的方法和装置
CN111080689B (zh) 确定面部深度图的方法和装置
JP6837880B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
CN117516416A (zh) 用于结构光校准的方法和装置
CN115514877A (zh) 用于从多视角图像降噪的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221109

Address after: 100094 Room 701-2, Floor 7, Building 1, Yard 1, No. 81, Beiqing Road, Haidian District, Beijing

Patentee after: Beijing Yilian Technology Co.,Ltd.

Address before: Room 1021, Mingde building, School of business, Renmin University of China, 59 Zhongguancun Street, Haidian District, Beijing 100872

Patentee before: Jiang Jing

TR01 Transfer of patent right