CN112991383A - 基于三种颜色光点图案的立体视觉匹配方法 - Google Patents
基于三种颜色光点图案的立体视觉匹配方法 Download PDFInfo
- Publication number
- CN112991383A CN112991383A CN201911310649.2A CN201911310649A CN112991383A CN 112991383 A CN112991383 A CN 112991383A CN 201911310649 A CN201911310649 A CN 201911310649A CN 112991383 A CN112991383 A CN 112991383A
- Authority
- CN
- China
- Prior art keywords
- color
- matching
- light
- spots
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种适用于三维传感测量中使用的由三种颜色组成的光点图案及其立体视觉匹配方法。通过结构光投影装置,将设计的光点图案投影到被测物体表面,由两相机同时采集投影到物体表面的图案,首先匹配不同颜色光点组成的颜色块,再对匹配好的颜色块内的光点进行匹配,通过左右相机第一种颜色与第二种颜色的光点匹配关系,使用内插离散数据的方法计算出左右相机的映射关系方程,通过映射关系方程匹配第三种颜色的光点,并且通过更新的光点匹配关系更新映射关系方程,再用更新的映射关系方程对不同颜色的光点重新匹配,如此反复迭代,直至左右相机中所有光点的匹配关系不再改变。本发明即解决了现有立体匹配方法匹配精度低的国际难题。
Description
技术领域
本发明涉及光学三维传感技术,特别是涉及通过投影单幅三种颜色组成的彩色光点图案,由两相机同时采集投影到物体表面的光点图案并且对左右相机中对应光点进行精确匹配,从而实现对物体表面三维形状的实时测量。
背景技术
本发明涉及一种基于一次投影三种颜色光点图案的立体视觉匹配方法,该立体视觉匹配方法主要用于主动立体视觉的三维测量技术中。主动立体视觉技术既能测量静止物体的三维数据,也能测量运动或变形物体的三维数据,完全不受物体运动状态的限制,因此应用非常广泛。相对于time of flight (TOF)技术,主动立体视觉技术精度与分辨率都要高出很多。相对于被动立体视觉技术,主动立体视觉可以测量无纹理物体。但是不管是主动立体视觉技术还是被动立体视觉技术,两相机中对应像素的匹配方法一直以来都是国内外的研究难点与热点。主动立体视觉的匹配方法往往是由精心设计的投影图案决定的,而目前被国内外的研究者们广泛使用的投影图案包括光点图案,散斑图案,彩色条纹图案以及相位图案。其中光点图案精度最高,请参见文献Z.Z. Wang, Q. Zhou and Y.C. Shuang,“Three-dimensional reconstruction with single-shot structured light dotpattern and analytic solutions,”Measurement, 151, 107114, (2020)。Z.Z. Wang,“A one-shot-projection method for measurement of specular surfaces,” Opt.Express, 23, 1912, (2015)。Z.Z. Wang, “Single-shot three-dimensionalreconstruction based on structured light line pattern,” Opt. Lasers Eng.,106, 10-16, (2018)。但是为了满足精确的立体视觉匹配,现有光点图案中光点尺寸较大,而光点数量较少,导致三维重构结果的分辨率较低,无法满足很多应用中的实际需求。因此如何设计分辨率较高而且能够精确匹配的光点图案成为一个国际研究热点与难点。本发明设计的由三种颜色组成的彩色光点图案,充分利用了HSV颜色空间中容易区分不同颜色的特点,精心设计不同颜色的光点组成不同大小的颜色块。通过首先匹配两相机中的不同颜色块,然后再匹配块中的光点,大大地提高了光点的匹配精度与可接受密度。本发明可以将设计的三种颜色组成的彩色光点图案投影到不同形状与不同运动模式的物体上,并且进行鲁棒地立体视觉匹配。
发明内容
本发明的目的是针对现有的立体视觉匹配方法匹配精度偏低,无法正确匹配复杂物体表面以及无法正确匹配不连续物体表面等缺陷,提供一种基于三种颜色的光点图案的立体视觉匹配方法,该方法根据三种颜色光点组成的颜色块的大小不一样,首先对第一种颜色的颜色块与第二种颜色的颜色块用分别进行立体视觉匹配,其次对匹配好的第一种颜色的颜色块与第二种颜色的颜色块中的光点进行匹配,在第一种颜色的光点与第二种颜色的光点全部匹配完成之后,建立左右两相机的匹配映射方程,通过建立的映射方程,对第三种颜色的光点进行匹配。在第三种颜色的光点匹配完成后,通过迭代的方法用新匹配的光点不断更新映射方程,再通过更新的映射方程,重新匹配不同颜色的光点,直至更新的左右相机中所有光点的匹配关系不再变化。
为了实现上述发明的目的,本发明采用下述技术方案实现:
使用结构光投影装置,将单幅三种颜色彩色光点图案投影到被测物体表面,该三种颜色彩色光点图案,是指通过二进制编码或者通过余弦函数编码或者通过专业画图软件生成的周期性重复的光点,在每一个周期中,不同颜色光点的个数不一样,第一种颜色光点的个数最少,第三种颜色光点的个数最多,第一种颜色光点被第二种颜色光点包围,第二种颜色光点被第三种颜色光点包围,而相邻光点间隔相同。使用两个摄像装置记录变形的彩色光点图案,将采集的彩色光点图像从RGB域转换至HSV域,在V信道中,通过求取区域极值的方法,得到所有光点。在H信道中,同一颜色的相邻光点会连接成块,通过阈值选取方法对不同颜色的光点组成的颜色块进行分割,然后分别对两相机中第一种颜色的颜色块与第二种颜色的颜色块进行块匹配。颜色块匹配成功后,再依次对颜色块对应的光点进行匹配。在第一种颜色的光点与第二种颜色的光点全部匹配完成之后,建立左右两相机的匹配映射方程,通过建立的映射方程,对第三种颜色的光点进行匹配。在第三种颜色的光点匹配完成后,通过迭代的方法用新匹配的光点不断更新映射方程,再通过更新的映射方程,重新匹配不同颜色的光点,直至更新的左右相机中所有光点的匹配关系不再变化。在匹配完成后,通过计算两条通过光心与匹配点的直线交点,计算出物体的三维坐标。
本发明与现有技术相比,有如下优点:
本发明投影的三种颜色组成的彩色光点图案,光点的对比度明显,在HSV域中可以进行精确提取。通过对不同颜色光点组成的颜色块进行匹配,再通过颜色块的匹配关系,匹配组成颜色块的光点,大大提高了光点的匹配精度,通过左右相机第一种颜色与第二种颜色的光点匹配关系,使用内插离散数据的方法计算出左右相机的映射关系方程,通过映射关系方程匹配第三种颜色的光点,并且通过更新的光点匹配关系更新映射关系方程,再用更新的映射关系方程对不同颜色的光点重新匹配,如此反复不断迭代,直至左右相机中所有光点的匹配关系不再改变。本发明即解决了现有立体匹配方法匹配精度低的国际难题。
附图说明
图1为本发明设计的三种颜色彩色光点图案示例图。
图2为本发明设计的三种颜色彩色光点图案对应的颜色块示例图。
具体实施方式
下面根据附图与工作原理,对本发明进行详细说明。
附图1是本发明设计的三种颜色彩色光点图案示例图,附图2是本发明设计的三种颜色彩色光点图案的采集图像从RGB域转换到HSV域后,不同颜色的光点组成不同的颜色块,通过阈值分割之后就会得到附图2中演示形状相似的颜色块,其中黑色表示第一种颜色光点生成的颜色块,白色表示第二种颜色光点生成的颜色块,灰色表示第三种颜色光点生成的颜色块。本发明将设计的三种颜色光点图案投影到被测物体表面,由左右相机同步采集被扭曲的彩色光点图案图像,然后通过本发明的匹配方法对左右相机中不同颜色的所有光点进行精确匹配。本发明的匹配方法包括四个部分: (一),不同颜色的光点及其组成的颜色块的提取方法;(二),第一种颜色块与第二种颜色块的匹配方法;(三),第一种颜色块中的光点与第二种颜色块中的光点的匹配方法;(四),所有颜色块中光点的迭代匹配方法。
一),不同颜色的光点及其组成的颜色块的提取方法
将采集图像从RGB域转换至HSV域,通过下式分割S信道的图像得到被重构物体的轮廓区域图像R:
二),第一种颜色块与第二种颜色块的匹配方法
其中 表示左相机中标记颜色块图像 的第 个标记块的标记号, 表示右相
机中标记颜色块图像的第 个标记块的标记号。相应的重叠块的标记号 的前 个数
字等于 ,后 个数字等于 。因此左相机中标记颜色块图像 与右相机中标记颜色
块图像 中的标记块可以通过重叠块的标记号 进行匹配。
三),第一种颜色块中的光点与第二种颜色块中的光点的匹配方法
左相机中第一种颜色光点图像中所有匹配光点的坐标表示为 ;右相机中第一种颜色光点图像中所有匹配光点的坐标表示为 ;左相机中第二种颜色光点图像中所有匹配光点的坐标表示为 ;右相机中第二种颜色光点图像中所有匹配光点的坐标表示为 。
四),所有颜色块中光点的迭代匹配方法
步骤4:重复步骤1-3,直至更新的匹配点不再变化。
Claims (6)
1.一种适用于三维传感测量中使用的由三种颜色组成的彩色光点图案及其立体视觉匹配方法,其特征是使用结构光投影装置,将一幅由三种颜色组成的彩色光点图案投影到被测物体表面,由两相机同时采集投影到物体表面的图案,将采集图像在HSV域进行光点提取与颜色块分割,首先对第一种颜色的颜色块与第二种颜色的颜色块进行匹配,再将两种颜色块内的光点进行匹配,通过左右相机两种颜色光点的匹配关系,求解映射关系方程,通过映射关系方程匹配第三种颜色的光点,并且通过更新的光点匹配关系更新映射关系方程,再用更新的映射关系方程对光点重新匹配,如此反复不断迭代,直至左右相机中所有光点的匹配关系不再改变,从而实现对左右相机对应光点的精确匹配。
2.按照权利要求1所述的方法,其特征在于所说的由三种颜色组成的彩色光点图案,是指通过二进制编码或者通过余弦函数编码或者通过专业画图软件生成周期性重复的光点,在每一个周期中,不同颜色光点的个数不一样,第一种颜色光点的个数最少,第三种颜色光点的个数最多,第一种颜色光点被第二种颜色光点包围,第二种颜色光点被第三种颜色光点包围,而相邻光点间隔相同。
3.按照权利要求1所述的方法,其特征在于所说的光点提取与颜色块分割,需要将采集图像从RGB域转化到HSV域,在V信道中通过求取区域极值提取所有光点,在H信道中通过阈值选取的方法分割所有的颜色块。
4.按照权利要求1所述的方法,其特征在于所说的颜色块的匹配方法是指首先平移左相机中颜色块图像与右相机中颜色块图像对齐,再通过左右相机中颜色块的重叠区域的标记号的前几位数字与后几位数字进行匹配。
5.按照权利要求1所述的方法,其特征在于所说的第一种颜色或第二种颜色生成的颜色块内光点的匹配方法是指首先平移左相机中颜色块与其对应的右相机颜色块对齐,再通过对应光点距离最小原则进行匹配。
6.按照权利要求1所述的方法,其特征在于所说的所有光点的迭代匹配方法是指通过左右相机第一种颜色与第二种颜色的光点匹配关系,使用内插离散数据的方法计算出左右相机的映射关系方程,通过映射关系方程匹配第三种颜色的光点,并且通过更新的光点匹配关系更新映射关系方程,再用更新的映射关系方程对不同颜色的光点重新匹配,如此反复不断迭代,直至左右相机中所有光点的匹配关系不再改变。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911310649.2A CN112991383B (zh) | 2019-12-18 | 2019-12-18 | 基于三种颜色光点图案的立体视觉匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911310649.2A CN112991383B (zh) | 2019-12-18 | 2019-12-18 | 基于三种颜色光点图案的立体视觉匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112991383A true CN112991383A (zh) | 2021-06-18 |
CN112991383B CN112991383B (zh) | 2022-11-08 |
Family
ID=76343975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911310649.2A Active CN112991383B (zh) | 2019-12-18 | 2019-12-18 | 基于三种颜色光点图案的立体视觉匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112991383B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2666256A1 (en) * | 2008-05-23 | 2009-11-23 | National Research Council Of Canada | Deconvolution-based structured light system with geometrically plausible regularization |
CN103020954A (zh) * | 2012-10-31 | 2013-04-03 | 长春理工大学 | 面向非规则表面的自适应投影*** |
CN104570315A (zh) * | 2014-12-30 | 2015-04-29 | 中国科学院西安光学精密机械研究所 | 一种基于结构照明的彩色三维层析显微成像***及方法 |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与*** |
CN106780725A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 一种双目三维重构方法及*** |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
-
2019
- 2019-12-18 CN CN201911310649.2A patent/CN112991383B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2666256A1 (en) * | 2008-05-23 | 2009-11-23 | National Research Council Of Canada | Deconvolution-based structured light system with geometrically plausible regularization |
CN103020954A (zh) * | 2012-10-31 | 2013-04-03 | 长春理工大学 | 面向非规则表面的自适应投影*** |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与*** |
CN104570315A (zh) * | 2014-12-30 | 2015-04-29 | 中国科学院西安光学精密机械研究所 | 一种基于结构照明的彩色三维层析显微成像***及方法 |
CN106780725A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 一种双目三维重构方法及*** |
CN109556535A (zh) * | 2018-09-29 | 2019-04-02 | 广东工业大学 | 一种基于彩色条纹投影的三维面型一步重构方法 |
Non-Patent Citations (3)
Title |
---|
FU LI等: ""Depth acquisition with the combination of structured light and deep learning stereo matching"", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
JINHU DENG等: ""3D reconstruction of rotating objects based on line structured-light scanning"", 《2018 INTERNATIONAL CONFERENCE ON SENSING, DIAGNOSTICS, PROGNOSTICS, AND CONTROL》 * |
杨鹏斌等: ""基于结构光的高反物体三维形貌测量方法"", 《中国激光》 * |
Also Published As
Publication number | Publication date |
---|---|
CN112991383B (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110068270B (zh) | 一种基于多线结构光图像识别的单目视觉箱体体积测量方法 | |
CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
CN110686599B (zh) | 基于彩色格雷码结构光的三维测量方法、***、装置 | |
Salvi et al. | A robust-coded pattern projection for dynamic 3D scene measurement | |
CN106709947B (zh) | 一种基于rgbd相机的三维人体快速建模*** | |
CN103400366B (zh) | 基于条纹结构光的动态场景深度获取方法 | |
CN101853528B (zh) | 一种手持式三维型面信息提取方法及其提取仪 | |
CN113052903B (zh) | 一种用于移动机器人的视觉与雷达融合定位方法 | |
CN105844633B (zh) | 基于De序列和相位编码的单帧结构光深度获取方法 | |
CN101013505A (zh) | 相机标定方法及所用标定装置 | |
CN101915573A (zh) | 一种基于标记物的关键点检测的定位测量方法 | |
CN107543496A (zh) | 一种基于散斑图像匹配的立体视觉测量人工标记点 | |
CN108550169B (zh) | 三维空间中象棋棋子位置的确定及其高度的计算方法 | |
Li et al. | RGB line pattern-based stereo vision matching for single-shot 3-D measurement | |
CN112489193B (zh) | 一种基于结构光的三维重建方法 | |
CN113505626A (zh) | 一种快速三维指纹采集方法与*** | |
CN111724464A (zh) | 一种移动测量点云着色方法及其装置 | |
CN112050752B (zh) | 一种基于二次投影的投影仪标定方法 | |
CN109064536B (zh) | 一种基于双目结构光的书页三维重建方法 | |
CN112991383B (zh) | 基于三种颜色光点图案的立体视觉匹配方法 | |
CN112070844A (zh) | 结构光***的校准方法及装置、校准工具图、设备及介质 | |
CN107424194A (zh) | 键盘轮廓度的检测方法 | |
CN110880186A (zh) | 一种基于一次投影结构光平行条纹图案的实时人手三维测量方法 | |
CN111121637A (zh) | 一种基于像素编码的光栅位移检测方法 | |
CN111080716A (zh) | 基于彩色编码相移条纹的相机标定靶标及标定点提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |