CN115063468B - 双目立体匹配方法、计算机存储介质以及电子设备 - Google Patents
双目立体匹配方法、计算机存储介质以及电子设备 Download PDFInfo
- Publication number
- CN115063468B CN115063468B CN202210693299.8A CN202210693299A CN115063468B CN 115063468 B CN115063468 B CN 115063468B CN 202210693299 A CN202210693299 A CN 202210693299A CN 115063468 B CN115063468 B CN 115063468B
- Authority
- CN
- China
- Prior art keywords
- phase
- map
- projector
- matching
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000003860 storage Methods 0.000 title claims description 6
- 238000013507 mapping Methods 0.000 claims abstract description 117
- 238000010586 diagram Methods 0.000 claims abstract description 47
- 238000010587 phase diagram Methods 0.000 claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims description 60
- 230000002441 reversible effect Effects 0.000 claims description 45
- 238000012937 correction Methods 0.000 claims description 19
- 230000036544 posture Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 19
- 238000005192 partition Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种双目立体匹配方法，包括：通过投影机向标定板投射光束；通过左相机采集所述标定板的第一平面图和第一相位图，通过所述右相机采集所述标定板的第二平面图和第二相位图；根据所述第一平面图、所述第二平面图以及第一相位图和/或第二相位图，确定所述左相机、所述右相机以及所述投影机在像素坐标系的映射关系；根据所述映射关系，获取匹配初值。本发明通过标定推断双目立体匹配的初值，进而只需要在初值附近的小范围内进行精匹配即可获得匹配结果。通过这种方式可以极大降低匹配范围，从而提升匹配速度、降低计算内存需求，并降低噪声对匹配结果的影响，提升匹配效果。
Description
技术领域
本公开涉及双目视觉领域，尤其涉及一种双目立体匹配方法、计算机存储介质以及电子设备。
背景技术
双目立体匹配是双目视觉的研究热点，双目相机拍摄同一场景的左、右两幅图像，运用立体匹配算法获取视差图，进而获取深度图。双目立体匹配可分为四个步骤：匹配代价计算、代价聚合、视差计算和视差优化。其中，匹配代价计算的目的是衡量匹配像素与候选像素之间的相关性，代价越小，相关性越大。
传统的双目立体匹配方法由于已知的限制信息只有视差值范围(最小视差、最大视差，对应最大深度、最小深度)。假设视差区间长度为D(即最大视差值减最小视差值)，对于左图中一个点，需要在右图对应视差范围D区间的所有点进行匹配代价计算与处理。当图像高度为H、宽度为W、搜索视差范围为D时，需要计算匹配代价的次数为H*W*D。
对于测量深度范围大的双目结构光相机，尤其是高分辨率、长基线的高精度相机，视差范围D很大(100+到1000+像素)，从而带来一些问题：1.匹配速度慢、占用内存高；2.由于匹配范围大，容易匹配到范围内的噪点，从而对算法的抗噪声能力提出较高要求。
背景技术部分的内容仅仅是公开发明人所知晓的技术，并不当然代表本领域的现有技术。
发明内容
有鉴于现有的一个或多个缺陷，本发明提供一种双目立体匹配方法，包括：
通过投影机向标定板投射光束；
通过左相机采集所述标定板的第一平面图和第一相位图，通过所述右相机采集所述标定板的第二平面图和第二相位图；
根据所述第一平面图、所述第二平面图以及第一相位图和/或第二相位图，确定所述左相机、所述右相机以及所述投影机在像素坐标系的映射关系；
根据所述映射关系，获取匹配初值。
根据本发明的一个方面，所述双目立体匹配方法还包括：对所述左相机、所述右相机以及所述投影机在像素坐标系的映射关系进行标定。
根据本发明的一个方面，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤包括：
对所述左相机到所述投影机的基本矩阵、所述投影机到所述右相机的基本矩阵进行标定，和/或对所述右相机到所述投影机的基本矩阵、所述投影机到所述左相机的基本矩阵进行标定。
根据本发明的一个方面，其中所述根据映射关系获取匹配初值的步骤具体包括：
根据所述第一平面图、所述第一相位图、标定后的所述左相机到所述投影机的基本矩阵以及所述投影机到所述右相机的基本矩阵，计算正向匹配初值；和/或
根据所述第二平面图、所述第二相位图、标定后的所述右相机到所述投影机的基本矩阵以及所述投影机到所述左相机的基本矩阵，计算反向匹配初值。
根据本发明的一个方面，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对所述第一平面图、所述第二平面图以及所述第一相位图进行拟合，获取标定后的左相机到右相机的坐标映射关系系数；
对所述第二平面图、所述第一平面图以及所述第二相位图进行拟合，获取标定后的右相机到左相机的坐标映射关系系数。
根据本发明的一个方面，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
将所述第一平面图划分为N*M个区域，对所述第一平面图的每个区域、所述第二平面图的对应区域以及所述第一相位图的对应区域进行拟合，获取每个区域的标定后的左相机到右相机的坐标映射关系系数；
将所述第二平面图划分为N*M个区域，对所述第二平面图的每个区域、所述第一平面图的对应区域以及所述第二相位图的对应区域进行拟合，获取每个区域的标定后的右相机到左相机的坐标映射关系系数；
其中，N和M均为大于1的正整数。
根据本发明的一个方面，其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
uφ＝anφn+an-1φn-1+...+a1φ
rx＝b1lxlyuφ+b2lxuφ+b3lyuφ+b4lxly+b5lx+b6ly+b7uφ+b8
其中，
为根据所述第一相位图和/或所述第二相位图计算的绝对相位值，l_x为第一平面图/第二平面图的x轴像素坐标，l_y为第一平面图/第二平面图的y轴像素坐标，r_x为第二平面图/第一平面图的x轴像素坐标，a1-an和b1-b8为坐标映射关系系数，n为正整数。
根据本发明的一个方面，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对所述第一相位图进行解相位处理和极线矫正，获取第一绝对相位图；
对所述第二相位图进行解相位处理和极线矫正，获取第二绝对相位图；
根据所述第一绝对相位图和所述第二绝对相位图，获取第一视差图；
根据所述第一绝对相位图、所述第二绝对相位图以及所述第一视差图，获取一组所述第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标；
根据所述第一绝对相位图、所述第二绝对相位图以及所述第一视差图，获取一组所述第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
改变所述标定板与所述左相机和右相机的相对姿态，重复上述步骤，获取多个相对姿态下的第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标，并获取所述多个相对姿态下的第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
对所述多个相对姿态下获取的数据进行拟合，分别获取标定后的左相机到右相机的坐标映射关系系数和/或标定后的右相机到左相机的坐标映射关系系数。
根据本发明的一个方面，其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
rx＝anφn+an-1φn-1+…+a1φ+a0
其中，
为绝对相位值，r_x为第一平面图/第二平面图的x轴像素坐标，a0-an为坐标映射关系系数，n为正整数。
根据本发明的一个方面，其中所述根据映射关系获取匹配初值的步骤具体包括：
根据标定后的左相机到右相机的坐标映射关系系数，计算正向匹配初值；
根据标定后的右相机到左相机的坐标映射关系系数，计算反向匹配初值。
根据本发明的一个方面，其中所述根据映射关系获取匹配初值的步骤还包括：
根据所述正向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行反向匹配，以对所述正向匹配初值进行校验；或
根据所述反向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行正向匹配，以对所述反向匹配初值进行校验。
根据本发明的一个方面，所述双目立体匹配方法还包括：
根据所述正向匹配初值和/或反向匹配初值进行匹配代价与视差计算。
根据本发明的一个方面，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤之前，所述双目立体匹配方法还包括：
对所述第一平面图进行极线矫正；
对所述第二平面图进行极线矫正。
本发明还提供一种计算机存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的双目立体匹配方法。
本发明还提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储可执行指令，所述可执行指令在被所述一个或多个处理器执行时，实施如上所述的双目立体匹配方法
本发明通过标定推断双目立体匹配的初值，进而只需要在初值附近的小范围内进行精匹配即可获得匹配结果。通过这种方式可以极大降低匹配范围，从而提升匹配速度、降低计算内存需求，并降低噪声对匹配结果的影响，提升匹配效果。
附图说明
构成本公开的一部分的附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。在附图中：
图1示出了本发明一个实施例的双目立体匹配方法示意图；
图2示出了空间直线与其在三视图上的投影示意图；
图3示出了本发明一个实施例的用于执行双目立体匹配方法的***架构图；
图4示出了本发明一个实施例的双目立体匹配方法流程图；
图5示出了本发明一个实施例的对投影机进行标定的示意图。
图6示出了本发明一个实施例的正向匹配、反向匹配以及双向匹配的流程图；
图7示出了本发明另一个实施例的双目立体匹配方法流程图。
附图标记：
100 ***架构
101 左相机 102 右相机 103 投影机
104 处理器 105 标定板
S11-S15 操作步骤
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
对于测量深度范围大的结构光双目相机，存在视差范围大导致匹配速度慢、占用内存高以及抗噪声能力差的问题，发明人想到可以改进的方案是：对于左相机采集的左相位图中的任一点，找出该任一点在右相机的右相位图中的对应点的位置，如图1所示，对于已经标定的立体双目相机，一般通过极线矫正将左右相位图像行对齐，从而将对应点搜索维度从二维降到一维，然后在对应行搜索右相位图中的对应点的位置。该匹配方法虽然缩小了搜索范围，但计算匹配代价的次数仍然很多。因此，发明人又构思出将投影机看作反相机模型，则左相机、右相机、投影机的像素整体符合三视图几何的约束关系，如图2所示，通过标定这个约束关系来计算与左相机像素点对应的右相机像素坐标，进而直接使用计算得到的坐标点计算视差来重建三维坐标。但考虑到投影机镜头畸变与标定误差等因素，直接使用计算结果进行重建可能不够准确与鲁棒，更优的方式在于将计算结果作为匹配初值，在初值附近的小范围内计算最优的匹配结果。因此，本发明设计一种双目立体匹配方法，包括：通过投影机向标定板投射光束；通过左相机采集标定板的第一平面图和第一相位图，通过右相机采集标定板的第二平面图和第二相位图；根据第一平面图、第二平面图以及第一相位图和/或第二相位图，确定左相机、右相机以及投影机在像素坐标系的映射关系；根据映射关系，获取匹配初值。
本发明通过标定推断双目立体匹配的初值，进而只需要在初值附近的小范围内进行精匹配即可获得匹配结果。通过这种方式可以极大降低匹配范围，从而提升匹配速度、降低计算内存需求，并降低噪声对匹配结果的影响，提升匹配效果。
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图3示出了本发明一个实施例的用于执行双目立体匹配方法的***架构图，***架构100包括左相机101、右相机102、投影机103和处理器104。在标定时，投影机103前方设置标定板105；在应用时，投影机103前方设置目标物体。左相机101、右相机102和投影机103通过有线或无线方式与处理器104连接。投影机103将光束投射在标定板105或目标物体上，左相机101和右相机102采集标定板105或目标物体的图像。其中，投影机103可以是面阵式投影机，例如DLP投影机或LCD投影机，也可以是具有投影均匀性的激光投影机。处理器104可以是文件服务器、网络服务器、集成服务器、云服务器、服务器集群、嵌入式处理器等。在可选实施例中，左相机101、右相机102和投影机103可以集成为一个设备，处理器104也可以嵌入到该设备中。本发明实施例所提供的双目立体匹配方法可以由处理器104执行。
图2示出了本发明一个实施例的双目立体匹配方法流程图，双目立体匹配方法10包括步骤S11-S14，具体如下：
在步骤S11通过投影机向标定板投射光束。
参考图3，投影机103向标定板105投射光束，其中标定板105为对投影光反射均匀的平面标定板，在一些实施例中可以带有棋盘格、环形等标记，在另一些实施例中不需要带有任何标记。
根据本发明的一个优选实施例，其中所述通过投影机向标定板投射光束的步骤之前，双目立体匹配方法10还包括：
对所述左相机的内参及畸变系数、所述右相机的内参及畸变系数、所述左相机与右相机之间的旋转矩阵和平移向量进行标定。
对相机进行标定可以有效定位和计算目标物体。双目相机的标定分为左相机的内参标定、右相机的内参标定以及左右相机之间相互位置的标定。在图像处理中涉及四个坐标系，包括世界坐标系、相机坐标系、图像坐标系以及像素坐标系。对于理想的相机模型，将目标物体从世界坐标系转换到像素坐标系的关系式如下：
根据关系式(1)分别对左相机的内参和右相机的内参进行标定。但由于制造原因，使得成像过程(从相机坐标系到图像坐标系转换过程中)存在着畸变，主要分为径向畸变和切向畸变，可以通过以下关系式进行修正：
从而通过关系式(1)和(2)，在归一化平面坐标系下，对左相机101的内参及畸变系数、右相机102的内参及畸变系数进行标定。
此外，左相机坐标与右相机坐标的关系式如下：
[xr,yr,zr]＝R[xl,yl,zl]+T (3)
其中，[xr,yr,zr]为右相机坐标点，[xl,yl,zl]为左相机坐标点，R为旋转矩阵，T为平移向量，自此完成对左相机与右相机之间的旋转矩阵和平移向量的标定。
以上仅为对双目相机标定流程的一个示例性说明，采用传统的相机标定方法或者相机自标定方法进行标定均可，本发明不对双目相机的标定流程进行限定。对双目相机进行标定，有利于提高双目立体匹配的精度。
根据本发明的一个优选实施例，其中所述通过投影机向标定板投射光束的步骤之前，双目立体匹配方法10还包括：
对所述投影机的内参进行标定。
为实现对投影机103的内参的标定，可以将投影机103视作反相机模型，进而采用标定相机的方法对投影机103进行标定。
图5示出了本发明一个实施例的对投影机进行标定的示意图，结合图3，投影机103选择白光模式，分布通过左相机101和右相机102采集标定板105的图像。以左相机101为例，通过左相机101采集标定板105的横向条纹图、纵向条纹图以及相机平面图，对横向条纹图进行解相位处理得到横向分布的绝对相位图，对纵向条纹图进行解相位处理得到纵向分布的绝对相位图，从相机平面图提取特征点，根据该特征点从横向分布的绝对相位图和/或纵向分布的绝对相位图中提取投影机103的像素坐标。通过左相机101和右相机102可以分别提取一组投影机103的像素坐标，理论上这两组坐标对应投影机103虚拟图上的同一映射点，可以通过取均值的方式得到最终的投影机坐标，以减少误差。调整标定板105与左/右相机的相对姿态，重复上述操作，以获取多个相对姿态下投影机103的像素坐标，进而计算投影机103的内参。
以上仅为对投影机103进行标定的一个示例性说明，本发明不对投影机的标定流程进行限定。对投影机进行标定，有利于提高双目立体匹配的精度。
在步骤S12通过左相机采集标定板的第一平面图和第一相位图，通过右相机采集标定板的第二平面图和第二相位图。
继续参考图3，在对左/右相机以及投影机103进行标定后，通过投影机103向标定板105投射光束，通过左相机101采集标定板105的第一平面图和第一相位图，通过右相机102采集标定板105的第二平面图和第二相位图。
在步骤S13根据第一平面图、第二平面图以及第一相位图和/或第二相位图，确定左相机、右相机以及投影机在像素坐标系的映射关系。
继续参考图3，根据在步骤S12获取的第一平面图、第二平面图以及第一相位图和/或第二相位图，确定左相机101、右相机102以及投影机103在像素坐标系的映射关系。
在步骤S14根据映射关系，获取匹配初值。
综上所述，本发明将投影机看做反相机模型，左相机、右相机以及投影机的像素整体符合三视图几何的约束关系，根据左相机、右相机以及投影机在像素坐标系的映射关系推断双目立体匹配的匹配初值，进而只需要在初值附近的小范围内进行精匹配即可获得匹配结果。双目立体匹配方法10包括标定映射关系和使用映射关系，如果映射关系已经标定好，就可以直接使用，无需再确定。对映射关系进行标定，可以提高双目立体匹配的精度。以下进一步对如何标定映射关系进行介绍。
根据本发明的一个优选实施例，双目立体匹配方法10还包括：对左相机、右相机以及投影机在像素坐标系的映射关系进行标定。
在对映射关系进行标定可以采用多种实施方式，假设映射关系符合以下关系式：
rx＝f(lx，ly，φ) (4)
其中，lx、ly分别为极线矫正后左相机平面图一点的x和y坐标，φ为绝对相位值，rx为同一行右相机平面图坐标。对映射关系的标定主要可分为特征点采集和通过线性或非线性回归计算坐标映射关系系数两种方式。
根据本发明的一个优选实施例，其中对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对左相机到投影机的基本矩阵、投影机到所述右相机的基本矩阵进行标定，和/或对右相机到投影机的基本矩阵、投影机到左相机的基本矩阵进行标定。
由于拍摄原理限制,相机采集的图像都是二维的。在把三维物体拍摄成二维图像的过程中会损失掉大部分物体特征信息。计算机视觉要解决的问题是从二维图像中还原出三维物体特征,在这个过程中要对大量二维图像流进行处理,获取物体信息。其中一种方法是使用二维投影来恢复三维信息,就是利用多个相机从不同角度拍摄同一物体,利用拍摄出的多个二维图像通过图像之间的关系来重建三维信息。二维图像之间的关系通过以下方面获取:一是相机的内参；二是由相机位置不同产生的几何关系,涉及到的参数主要有7个。二维图像间的关系通常通过极几何表达,极几何的参数输入有相机内参和相机之间的位置关系信息,用基本矩阵(Fundamental Matrix)来描述。在这种情况下,极几何只需要两幅二维图像即可恢复三维空间,若相机内外参数已知,则可根据相机的投影矩阵获得基本矩阵。基本矩阵是对极几何中的代数表示，是一个3*3的秩为2的矩阵，用来联系双目相机像素坐标点。基本矩阵不依赖于场景中的目标物体，只和两帧图像间的相对位姿和相机矩阵有关。
继续参考图3，将投影机103看作反相机模型，如果在实际使用中，从左相机坐标和相位推算右相机坐标，记为正向匹配，则对左相机101到投影机103的基本矩阵FleftCameraToProjector进行标定，以及对投影机103到右相机102的基本矩阵FprojectorToRightCamera进行标定；如果在实际使用中，从右相机坐标和相位推算左相机坐标，记为反向匹配，则对右相机102到投影机103的基本矩阵FrightCameraToProjector进行标定，以及对投影机103到左相机101的基本矩阵FprojectorToLeftCamera进行标定。只进行一个方向的匹配，即只进行正向匹配或反向匹配，匹配速度较快。
由于匹配初值的推断依赖于相位值，两个方向的匹配速度较慢，但是可以起到互补的作用，理论上可以获得更多的匹配点。因此，在实际使用中，如果进行正向匹配和方向匹配，记为双向匹配，需要对左相机101到投影机103的基本矩阵FleftCameraToProjector、投影机103到右相机102的基本矩阵FprojectorToRightCamera、右相机102到投影机103的基本矩阵FrightCameraToProjector、投影机103到左相机101的基本矩阵FprojectorToLeftCamera均进行标定。
此外，由于基本矩阵是可逆的，也可以不用标定反过来的基本矩阵，直接求逆即可。例如，在标定时，仅对左相机101到投影机103的基本矩阵FleftCameraToProjector以及投影机103到右相机102的基本矩阵FprojectorToRightCamera进行标定。在实际使用中，进行正向匹配时可直接应用上述两个基本矩阵，进行反向匹配时对上述两个基本矩阵求逆后再应用，进行双向匹配时对上述两个基本矩阵求逆后再应用四个基本矩阵。
对基本矩阵进行标定可以提高双目立体匹配的精度。
综上所述，根据匹配初值计算流程的不同，可以有三种匹配方式：正向匹配、反向匹配、正向匹配+反向匹配，三种匹配方式的流程图如图6所示，只进行一个方向的匹配速度较快；由于初值的推断依赖于相位值，两个方向的匹配速度较慢，但是可以起到互补的作用，理论上可以获得更多的匹配点。
根据本发明的一个优选实施例，其中所述根据映射关系获取匹配初值的步骤具体包括：
根据第一平面图、第一相位图、标定后的左相机到投影机的基本矩阵以及投影机到右相机的基本矩阵，计算正向匹配初值；和/或
根据第二平面图、第二相位图、标定后的右相机到投影机的基本矩阵以及投影机到左相机的基本矩阵，计算反向匹配初值。
使用基本矩阵计算正向匹配初值的过程如下：
对于左相机101采集的第一平面图中的一点，其坐标为(lx,ly)，由绝对相位值可以解得投影机坐标px或py(投影纵向相位或横向相位)，此处不失一般性地以px为例进行说明，则有：
其中，FleftCameraToProjector为标定得到的左相机101到投影机103的基本矩阵，通过求解方程(5)可得py。
记右相机102的像素坐标为(rx，ry)，则有
其中，FprojectorToRightCamera为投影机103到右相机102的基本矩阵。对于进行过极线矫正后的图像，只需要在同一行进行搜索，从而有ry＝ly，通过方程(6)可求得rx。
其中，绝对相位值是从投影条纹图并计算得到的绝对相位图中提取的值。具体地，参考图5，投影横向条纹图，解出来的绝对相位图就是沿纵向成线性分布，而横向是独立并列的；投影纵向条纹图，解出来的绝对相位图就是沿横向成线性分布，而纵向是独立并列的。实际中可以投影横向条纹图或纵向条纹图，也可以投影两个方向的条纹，需要根据具体的结构判断哪种方案更优。上述绝对相位值通过投影纵向条纹图得到的绝对相位图中提取。亦即，第一相位图和第二相位图均为纵向条纹图。
此外，投影纵向条纹图时，可以根据绝对相位值计算得到px，从而由方程(5)计算py；投影横向条纹图时，可以根据绝对相位值计算得到py，从而由方程(5)计算px；如果两个方向条纹都投影，可以得到两个方向的绝对相位图，进而计算出px和py，就不需要再使用方程(5)计算了。
跟左相机101采集的第一平面图上的一点(lx,y)对应的右相机102平面图中的一点就是(rx,y)，因为极线矫正后对应点被校正到了同一行，所以y＝ly＝ry，视差值的计算就是d＝lx–rx，因此rx即为正向匹配初值。
使用基本矩阵计算反向匹配初值的过程如下：
将上述计算正向匹配初值的过程反过来即可，反过来计算时使用标定的基本矩阵的转置即可计算。如(rx,ry)与(px,py)关系式如下：
以上通过对基本矩阵的标定实现对左相机101、右相机102以及投影机103在像素坐标系的映射关系进行标定，实施方式简单易操作。如果需要更高的标定精度，可以通过多项式拟合法对三者的映射关系进行标定，以下进一步介绍。
根据本发明的一个优选实施例，其中对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对第一平面图、第二平面图以及第一相位图进行拟合，获取标定后的左相机到右相机的坐标映射关系系数；
对第二平面图、第一平面图以及第二相位图进行拟合，获取标定后的右相机到左相机的坐标映射关系系数。
上一实施例通过标定基本矩阵的方式计算匹配初值，主要优点是简单直观，不足之处在于存在冗余的线性系数。实际应用中，可以直接对映射关系方程(4)中的坐标映射关系系数进行标定。同时可以使用一个多项式来拟合畸变的影响，从而有
rx＝f(lx,ly,u(φ)) (8)
通过多项式建立从左相机101的横坐标lx到右相机102的横坐标rx的映射关系，所以方程(8)的多项式系数即为坐标映射关系系数。其中，因为极线矫正之后纵坐标相等，所以ly既是左相机101的纵坐标，也是右相机102的纵坐标，φ为绝对相位值。
正向推断匹配初值和反向推断匹配初值的过程需要分别标定，亦即，通过方程(8)对第一平面图、第二平面图以及第一相位图进行全局拟合，获取标定后的左相机到右相机的坐标映射关系系数，并且通过方程(8)对第二平面图、第一平面图以及第二相位图进行拟合，获取标定后的右相机到左相机的坐标映射关系系数。
根据本发明的一个优选实施例，其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
uφ＝anφn+an-1φn-1+…+a1φ
rx＝b1lxlyuφ+b2lxuφ+b3lyuφ+b4lxly+b5lx+b6ly+b7uφ+b8 (9)
其中，φ为根据第一相位图和/或第二相位图计算的绝对相位值，lx为第一平面图/第二平面图的x轴像素坐标，ly为第一平面图/第二平面图的y轴像素坐标，rx为第二平面图/第一平面图的x轴像素坐标，a1-an和b1-b8为坐标映射关系系数，n为正整数，当n＝1时则为忽略畸变影响。
如上文分析，绝对相位值φ是从投影条纹图并计算得到的绝对相位图中提取的值。实际中可以投影横向条纹图或纵向条纹图，也可以投影横向条纹图和纵向条纹图，需要根据具体的结构判断哪种方案更优。上述绝对相位值通过投影纵向条纹图得到的绝对相位图中提取。亦即，第一相位图和第二相位图均为纵向条纹图。
正向推断匹配初值和反向推断匹配初值的过程需要分别标定，进行正向推断时，多项式(9)中的lx为第一平面图的x轴像素坐标，ly为第一平面图的y轴像素坐标，rx为第二平面图的x轴像素坐标，a1-an和b1-b8为正向推断的坐标映射关系系数；进行反向推断时，多项式(9)中的lx为第二平面图的x轴像素坐标，ly为第二平面图的y轴像素坐标，rx为第一平面图的x轴像素坐标，a1-an和b1-b8为反向推断的坐标映射关系系数。
根据本发明的一个优选实施例，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
将第一平面图划分为N*M个区域，对第一平面图的每个区域、第二平面图的对应区域以及第一相位图的对应区域进行拟合，获取每个区域的标定后的左相机到右相机的坐标映射关系系数；
将第二平面图划分为N*M个区域，对第二平面图的每个区域、第一平面图的对应区域以及第二相位图的对应区域进行拟合，获取每个区域的标定后的右相机到左相机的坐标映射关系系数；
其中，N和M均为大于1的正整数。
由于匹配初值的推断局限在某一行内，即推算值不会跨行，同时左右匹配像素差局限在视差范围内，从而可以先将图像按行划分，根据需要在行内可以进行二次划分。与上一实施例不同之处在于：上一实施例通过多项式进行全局拟合，本实施例通过多项式进行局部拟合，相当于在每个分区内进行全局拟合。分区方式的优点在于可以降低使用相同阶次条件下的拟合误差，缺点在于标定过程中需要覆盖每个目标分区，标定实施更为复杂。
具体地，假设图像宽度为W，高度为H。将图像划分成N*M个区域(N和M均为正整数,N＝M＝1时为忽略畸变影响)，在每个区域内使用方程(8)或多项式(9)进行拟合。例如，假设图像宽度为1280，高度为1024，将图像划分成2*2的区域，则总共有4个区域，坐标范围分别为[0,0]-[639,511]，[640,511]-[1279,511],[0,512]-[639,1023],[640,512]-[1279,1023]。其中，[x,y]中为对应x和y方向图像像素坐标，x轴对应图像宽度方向，y轴对应图像高度方向，区间符号“-”前面为区域左上角点坐标，区间符号“-”后面为区域右下角点坐标。在每个区域内，分别按方程(8)或多项式(9)进行拟合即可。
以上实施例分别通过多项式进行全局拟合和局部拟合，以对坐标映射关系系数进行标定，亦即对多项式系数进行标定。其中，全局拟合就是在全图像范围内使用一个统一的公式进行拟合；局部拟合就是将图像分区域，然后对各个区域分别进行拟合。全局拟合的效果更好，局部拟合的标定精度更高。对上述分区的方式进行推广，可以对每个像素都标定出一组多项式系数，可以进一步提高标定精度，以下继续介绍。
根据本发明的一个优选实施例，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对第一相位图进行解相位处理和极线矫正，获取第一绝对相位图；
对第二相位图进行解相位处理和极线矫正，获取第二绝对相位图；
根据第一绝对相位图和第二绝对相位图，获取第一视差图；
根据第一绝对相位图、第二绝对相位图以及第一视差图，获取一组第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标；
根据第一绝对相位图、第二绝对相位图以及第一视差图，获取一组第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
改变标定板与左相机和右相机的相对姿态，重复上述步骤，获取多个相对姿态下的第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标，并获取多个相对姿态下的第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
对多个相对姿态下获取的数据进行拟合，分别获取标定后的左相机到右相机的坐标映射关系系数和/或标定后的右相机到左相机的坐标映射关系系数。
在本实施例中，采用对投影光反射均匀的平面标定板，不需要带有棋盘格等任何标记。改变标定板105与左相机101和右相机102的相对姿态，分别采集对应的第一相位图(左相机条纹图)和第二相位图(右相机条纹图)，并分别进行解相位处理得到左、右相机的绝对相位图。在每一个相对姿态，对左、右相机的绝对相位图分别进行极线矫正，并使用传统的双目匹配方法进行匹配得到第一视差图。优选地，通过平面拟合、滤波等操作第一视差图进一步优化，降低误差。
根据第一绝对相位图(左相机绝对相位图)、第二绝对相位图(右相机绝对相位图)以及第一视差图，获取一组第一相位图的像素坐标，亦即在标定板范围内的每一个左相机坐标点(lx,y)，可以获取其对应的绝对相位值φ,并根据第一视差图得到对应的右相机坐标点(rx,y)。将每一个相对姿态下的φ值、Rx值累积，对多个相对姿态下累积的数据通过多项式进行拟合，以获取标定后的左相机到右相机的坐标映射关系系数。
反向执行上述步骤，即可获得标定后的右相机到左相机的坐标映射关系系数。
重复执行上述操作，对每个像素都标定出一组多项式系数，从而完成对左相机、右相机以及投影机在像素坐标系的映射关系进行标定。
根据本发明的一个优选实施例，其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
rx＝anφn+an-1φn-1+...+a1φ+a0 (10)
其中，φ为绝对相位值，rx为第一平面图/第二平面图的x轴像素坐标，a0-an为坐标映射关系系数，n为正整数。
本实施例要求标定区域能覆盖整个视图，不再使用标定板进行特征检测，而是对易于测量的标志物使用传统双目匹配方式进行立体匹配的结果得到的rx。
使用多项式逐像素拟合的方式是对局部拟合方式的进一步推广，对图像分区小到像素级别，从而对每个像素都标定出一组多项式系数。本实施例对左相机的每个像素位置都会标定出一组多项式系数an-a0，假设图像尺寸为H*W，则标定出来的系数矩阵的尺寸就是H*W*(n+1)。左相机101的像素坐标隐含在参数自身所在的位置里面了，所以实际标定的多项式中就不需要了。因此，相比于全局拟合和局部拟合的实施例，逐像素拟合的优点为只需要标定a0-an，不需要标定系数b1-b8，且相同多项式阶次情况下理论上初值推算更加准确；不足之处在于需要存储的系数更多，标定过程更加复杂。实际使用中，需要在算力和效率之间平衡后选择合适的标定方式。
根据本发明的一个优选实施例，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤之前，双目立体匹配方法10还包括：
对所述第一平面图进行极线矫正；
对所述第二平面图进行极线矫正。
通过极线矫正将左、右相机的图像行对齐，从而将对应点搜索维度从二维降到一维，然后在对应行搜索对应点的位置。双目极线矫正后，每一行(列)的匹配是独立的，可以按行查找最接近的匹配点，也可以按列查找最接近的匹配点，都在本发明的保护范围内。
以上对左相机101、右相机102以及投影机103在像素坐标系的映射关系的标定进行了介绍，根据标定后的坐标映射关系系数再推算匹配初值。
根据本发明的一个优选实施例，其中所述根据映射关系获取匹配初值的步骤具体包括：
根据标定后的左相机到右相机的坐标映射关系系数，计算正向匹配初值；
根据标定后的右相机到左相机的坐标映射关系系数，计算反向匹配初值。
通过基本矩阵进行标定的方式和通过多项式进行拟合的标定方式，可以仅计算正向匹配初值或反向匹配初值，也可以同时计算正向匹配初值和反向匹配初值。如果同时计算了正向匹配初值和反向匹配初值，可以进行校验，以提高初值匹配的精度。
根据本发明的一个优选实施例，其中所述根据映射关系获取匹配初值的步骤还包括：
根据正向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行反向匹配，以对所述正向匹配初值进行校验；或
根据所述反向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行正向匹配，以对所述反向匹配初值进行校验。
通过多项式全局拟合的标定方式对映射关系进行标定，并根据标定后的映射关系计算出正向匹配初值和反向匹配初值，然后采用正向匹配初值和反向匹配初值进行校验，理论上正向匹配初值和反向匹配初值为反向关系(即和为0)，从而可以通过和判断。例如，将正向匹配初值和反向匹配初值进行比对，如果两者的偏差小于阈值，则正向匹配初值校验通过；反之，误差较大。增加匹配初值的校验步骤，可以进一步提高匹配初值的精度。
根据本发明的一个优选实施例，参考图7，双目立体匹配方法10还包括：
在步骤S15根据正向匹配初值和/或反向匹配初值进行匹配代价与视差计算。
双目立体匹配主要是通过找出每对图像间的对应关系，根据三角测量原理得到视差图。在获得了视差信息后，根据投影模型得到原始图像的深度信息和三维信息。本发明不对匹配代价和视差计算的方法进行限定。
综上所述，本发明包含标定映射关系和应用标定后的映射关系推断匹配初值两个过程，这两个过程的处理略有不同。在标定阶段，根据实际需要可以标定正向映射关系和/或反向映射关系，通过基本矩阵进行标定与通过多项式进行拟合的标定的区别在于：是否可逆，即是否可以根据正向映射关系计算反向映射关系。具体地，通过多项式进行拟合的标定，当多项式阶次较高时正向映射关系和反向映射关系必须分别标定，对于低阶多项式可以直接求解反向映射关系。而通过基本矩阵进行标定可以只标定一套映射关系，对于另一方向只需要做一下变换即可。在应用阶段，根据实际情况可以选择正向推断初值、反向推断初值、正向+反向推断初值与校验。在应用方式上面前述实施例都是相同的，正向使用标定后的正向映射关系，反向使用标定后的反向映射关系。唯一区别与标定是对应的，就是使用通过基本矩阵进行标定的仅需要一套映射关系，通过变换得到正向和反向的参数；而使用通过多项式进行拟合的标定在多项式阶次较高时是正、反两套参数各自应用，在多项式阶次较低时可以直接求解反向参数。
本发明通过标定推断双目立体匹配的初值，进而只需要在初值附近的小范围内进行精匹配即可获得匹配结果。通过这种方式可以极大降低匹配范围，从而提升匹配速度、降低计算内存需求，并降低噪声对匹配结果的影响，提升匹配效果。
本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的***或设备产品执行时，可以按照实施例或者流程图所示的方法顺序执行或者并行执行。
本发明还涉及一种计算机存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器104执行时实施如上所述的双目立体匹配方法10。
本发明还涉及一种电子设备，包括：
一个或多个处理器104；
存储器，用于存储可执行指令，所述可执行指令在被所述一个或多个处理器执行时，实施如上所述的双目立体匹配方法10。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种双目立体匹配方法，包括：
通过投影机向标定板投射光束；
通过左相机采集所述标定板的第一平面图和第一相位图，通过右相机采集所述标定板的第二平面图和第二相位图；
根据所述第一平面图、所述第二平面图以及第一相位图和/或第二相位图，确定所述左相机、所述右相机以及所述投影机在像素坐标系的映射关系；
根据所述映射关系，获取匹配初值；
还包括：对所述左相机、所述右相机以及所述投影机在像素坐标系的映射关系进行标定；
其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤包括：对所述左相机到所述投影机的基本矩阵、所述投影机到所述右相机的基本矩阵进行标定，和/或对所述右相机到所述投影机的基本矩阵、所述投影机到所述左相机的基本矩阵进行标定；
根据所述第一平面图、所述第一相位图、标定后的所述左相机到所述投影机的基本矩阵以及所述投影机到所述右相机的基本矩阵，计算正向匹配初值；和/或
根据所述第二平面图、所述第二相位图、标定后的所述右相机到所述投影机的基本矩阵以及所述投影机到所述左相机的基本矩阵，计算反向匹配初值；
其中所述根据映射关系获取匹配初值的步骤还包括：
根据所述正向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行反向匹配，以对所述正向匹配初值进行校验；或
根据所述反向匹配初值、所述第一相位图和/或第二相位图、标定后的映射关系，进行正向匹配，以对所述反向匹配初值进行校验。
2.根据权利要求1所述的双目立体匹配方法，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对所述第一平面图、所述第二平面图以及所述第一相位图进行拟合，获取标定后的左相机到右相机的坐标映射关系系数；
对所述第二平面图、所述第一平面图以及所述第二相位图进行拟合，获取标定后的右相机到左相机的坐标映射关系系数；
其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
uφ＝anφn+an-1φn-1+…+a1φ
rx＝b1lxlyuφ+b2lxuφ+b3lyuφ+b4lxly+b5lx+b6ly+b7uφ+b8
其中，
为根据所述第一相位图和/或所述第二相位图计算的绝对相位值，lx为第一平面图/第二平面图的x轴像素坐标，ly为第一平面图/第二平面图的y轴像素坐标，rx为第二平面图/第一平面图的x轴像素坐标，a1-an和b1-b8为坐标映射关系系数，n为正整数。
3.根据权利要求1所述的双目立体匹配方法，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
将所述第一平面图划分为N*M个区域，对所述第一平面图的每个区域、所述第二平面图的对应区域以及所述第一相位图的对应区域进行拟合，获取每个区域的标定后的左相机到右相机的坐标映射关系系数；
将所述第二平面图划分为N*M个区域，对所述第二平面图的每个区域、所述第一平面图的对应区域以及所述第二相位图的对应区域进行拟合，获取每个区域的标定后的右相机到左相机的坐标映射关系系数；
其中，N和M均为大于1的正整数；
其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
uφ＝anφn+an-1φn-1+…+a1φ
rx＝b1lxlyuφ+b2lxuφ+b3lyuφ+b4lxly+b5lx+b6ly+b7uφ+b8
其中，
为根据所述第一相位图和/或所述第二相位图计算的绝对相位值，lx为第一平面图/第二平面图的x轴像素坐标，ly为第一平面图/第二平面图的y轴像素坐标，rx为第二平面图/第一平面图的x轴像素坐标，a1-an和b1-b8为坐标映射关系系数，n为正整数。
4.根据权利要求1所述的双目立体匹配方法，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤具体包括：
对所述第一相位图进行解相位处理和极线矫正，获取第一绝对相位图；
对所述第二相位图进行解相位处理和极线矫正，获取第二绝对相位图；
根据所述第一绝对相位图和所述第二绝对相位图，获取第一视差图；
根据所述第一绝对相位图、所述第二绝对相位图以及所述第一视差图，获取一组所述第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标；
根据所述第一绝对相位图、所述第二绝对相位图以及所述第一视差图，获取一组所述第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
改变所述标定板与所述左相机和右相机的相对姿态，重复上述步骤，获取多个相对姿态下的第一相位图的像素坐标、第一绝对相位值以及与之匹配的第二相位图的像素坐标，并获取所述多个相对姿态下的第二相位图的像素坐标、第二绝对相位值以及与之匹配的第一相位图的像素坐标；
对所述多个相对姿态下获取的数据进行拟合，分别获取标定后的左相机到右相机的坐标映射关系系数和/或标定后的右相机到左相机的坐标映射关系系数。
5.根据权利要求4所述的双目立体匹配方法，其中所述进行拟合的操作包括：
通过以下多项式进行拟合：
rx＝anφn+an-1φn-1+...+a1φ+a0
其中，
为绝对相位值，rx为第一平面图和/或第二平面图的x轴像素坐标，a0-an为像素的坐标映射关系系数，n为正整数。
6.根据权利要求2-5中任一项所述的双目立体匹配方法，其中所述根据映射关系获取匹配初值的步骤具体包括：
根据标定后的左相机到右相机的坐标映射关系系数，计算正向匹配初值；
根据标定后的右相机到左相机的坐标映射关系系数，计算反向匹配初值。
7.根据权利要求6所述的双目立体匹配方法，还包括：
根据所述正向匹配初值和/或反向匹配初值进行匹配代价与视差计算。
8.根据权利要求1-5、7中任一项所述的双目立体匹配方法，其中所述对左相机、右相机以及投影机在像素坐标系的映射关系进行标定的步骤之前，所述双目立体匹配方法还包括：
对所述第一平面图进行极线矫正；
对所述第二平面图进行极线矫正。
9.一种计算机存储介质，包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如权利要求1-8中任一项所述的双目立体匹配方法。
10.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储可执行指令，所述可执行指令在被所述一个或多个处理器执行时，实施根据权利要求1-8中任一项所述的双目立体匹配方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210693299.8A CN115063468B (zh) | 2022-06-17 | 2022-06-17 | 双目立体匹配方法、计算机存储介质以及电子设备 |
| PCT/CN2023/097880 WO2023241374A1 (zh) | 2022-06-17 | 2023-06-01 | 双目立体匹配方法、计算机存储介质以及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210693299.8A CN115063468B (zh) | 2022-06-17 | 2022-06-17 | 双目立体匹配方法、计算机存储介质以及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115063468A CN115063468A (zh) | 2022-09-16 |
| CN115063468B true CN115063468B (zh) | 2023-06-27 |
Family
ID=83202634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210693299.8A Active CN115063468B (zh) | 2022-06-17 | 2022-06-17 | 双目立体匹配方法、计算机存储介质以及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN115063468B (zh) |
| WO (1) | WO2023241374A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115063468B (zh) * | 2022-06-17 | 2023-06-27 | 梅卡曼德（北京）机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
| CN115474895B (zh) * | 2022-09-29 | 2024-05-28 | 山东探微医疗技术有限公司 | 一种oct眼底成像装置及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018107427A1 (zh) * | 2016-12-15 | 2018-06-21 | 深圳大学 | 相位映射辅助三维成像***快速对应点匹配的方法及装置 |
| CN111028284A (zh) * | 2019-10-31 | 2020-04-17 | 浙江未来技术研究院(嘉兴) | 一种基于同名标记点的双目视觉立体匹配方法及装置 |
| CN113240740A (zh) * | 2021-05-06 | 2021-08-10 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9456200B2 (en) * | 2012-01-04 | 2016-09-27 | The Trustees Of Dartmouth College | Method and apparatus for calibration of stereo-optical three-dimensional surface-mapping system |
| JP6352216B2 (ja) * | 2014-04-16 | 2018-07-04 | タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ | ステレオオブジェクト検出及び距離計算のためのシステム及び方法 |
| CN104331897B (zh) * | 2014-11-21 | 2017-03-29 | 天津工业大学 | 基于极线校正的亚像素级相位立体匹配方法 |
| CN106164979B (zh) * | 2015-07-13 | 2019-05-17 | 深圳大学 | 一种三维人脸重建方法及*** |
| CN110044301B (zh) * | 2019-03-29 | 2020-05-05 | 易思维（天津）科技有限公司 | 基于单双目混合测量的三维点云计算方法 |
| CN110487216B (zh) * | 2019-09-20 | 2021-05-25 | 西安知象光电科技有限公司 | 一种基于卷积神经网络的条纹投影三维扫描方法 |
| CN112212806B (zh) * | 2020-09-18 | 2022-09-13 | 南京理工大学 | 一种基于相位信息导向的立体相位展开方法 |
| CN112504165A (zh) * | 2020-12-30 | 2021-03-16 | 南京理工大学智能计算成像研究院有限公司 | 一种基于双边滤波优化的复合立体相位展开方法 |
| CN114067056A (zh) * | 2021-11-18 | 2022-02-18 | 新拓三维技术(深圳)有限公司 | 一种基于结构光的数据融合方法 |
| CN114252020B (zh) * | 2021-12-22 | 2022-10-25 | 西安交通大学 | 一种多工位全场条纹图相移辅助散斑大长宽比间隙测量方法 |
| CN115063468B (zh) * | 2022-06-17 | 2023-06-27 | 梅卡曼德（北京）机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
-
2022
- 2022-06-17 CN CN202210693299.8A patent/CN115063468B/zh active Active
-
2023
- 2023-06-01 WO PCT/CN2023/097880 patent/WO2023241374A1/zh unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018107427A1 (zh) * | 2016-12-15 | 2018-06-21 | 深圳大学 | 相位映射辅助三维成像***快速对应点匹配的方法及装置 |
| CN111028284A (zh) * | 2019-10-31 | 2020-04-17 | 浙江未来技术研究院(嘉兴) | 一种基于同名标记点的双目视觉立体匹配方法及装置 |
| CN113240740A (zh) * | 2021-05-06 | 2021-08-10 | 四川大学 | 基于相位引导双目视觉密集标记点匹配的姿态测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023241374A1 (zh) | 2023-12-21 |
| CN115063468A (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115063468B (zh) | 双目立体匹配方法、计算机存储介质以及电子设备 | |
| CN111563564B (zh) | 基于深度学习的散斑图像逐像素匹配方法 | |
| CN103106688B (zh) | 基于双层配准方法的室内三维场景重建方法 | |
| KR101259835B1 (ko) | 깊이 정보를 생성하기 위한 장치 및 방법 | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| US8406511B2 (en) | Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating | |
| CN103299343B (zh) | 距离图像像素匹配方法 | |
| JP6317456B2 (ja) | 車両用のステレオ／ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置 | |
| JP6041513B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10771776B2 (en) | Apparatus and method for generating a camera model for an imaging system | |
| KR20150112362A (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
| CN102954770A (zh) | 三维测量设备和三维测量方法 | |
| CN114111637A (zh) | 一种基于虚拟双目的条纹结构光三维重建方法 | |
| CN113494893A (zh) | 一种三维激光扫描***的标定方法、装置和计算机设备 | |
| CN112381921A (zh) | 一种边缘重建方法及*** | |
| Nagy et al. | Development of an omnidirectional stereo vision system | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及*** | |
| CN114764823A (zh) | 自校正的深度计算方法、***、介质及深度图像处理设备 | |
| CN109741389B (zh) | 一种基于区域基匹配的局部立体匹配方法 | |
| CN114877826B (zh) | 一种双目立体匹配三维测量方法、***及存储介质 | |
| KR20200142392A (ko) | 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법 | |
| JP2017045124A (ja) | 視差検出装置 | |
| CN110232715B (zh) | 一种多深度相机自校准的方法、装置及*** | |
| Wang et al. | Method for three-dimensional reconstruction of dynamic stereo vision based on line structured light using global optimization | |
| JP2003050110A (ja) | ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |