CN103776419B - 一种提高测量范围的双目视觉测距方法 - Google Patents

一种提高测量范围的双目视觉测距方法 Download PDF

Info

Publication number
CN103776419B
CN103776419B CN201410035353.5A CN201410035353A CN103776419B CN 103776419 B CN103776419 B CN 103776419B CN 201410035353 A CN201410035353 A CN 201410035353A CN 103776419 B CN103776419 B CN 103776419B
Authority
CN
China
Prior art keywords
image
depth
parallax
corresponding point
short burnt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410035353.5A
Other languages
English (en)
Other versions
CN103776419A (zh
Inventor
杜娟
梁睿
胡跃明
冯颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201410035353.5A priority Critical patent/CN103776419B/zh
Publication of CN103776419A publication Critical patent/CN103776419A/zh
Application granted granted Critical
Publication of CN103776419B publication Critical patent/CN103776419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种提高测量范围的双目视觉测距方法，包括采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c；经过畸变和极线校正后图像的对应点只存在水平视差；然后利用预先求取的视差深度关系求取短焦对应点的深度。若短焦对应点深度在可信范围，则保留计算结果；若短焦对应点都在长焦图像上且计算深度在可信范围，则保留计算结果；否则，舍弃计算结果。在双目相机安装固定的情况下，在保持大范围测量视角的同时提高深度的测量范围。

Description

一种提高测量范围的双目视觉测距方法
技术领域
本发明涉及视觉测量领域，具体涉及一种提高测量范围的双目视觉测距方法。
背景技术
常用的测距方法有超声波测距、激光测距、红外测距、光学测距等，主要应用于军事、工业测量、建筑施工等领域。目前常用的视觉测量技术主要有以下3种方法：双目立体视觉法、结构光法、几何光学法。
双目立体视觉测距具有非接触、自动测量、对人眼无害等优点。最常用的是平行光轴模型，两摄像机相距一个基线距离水平放置，先通过畸变校正和极线校正，使得同一特征点在两图像只有水平视差，利用图像配准的方法得到对应点的视差，利用视差和深度的关系最终得到场景中物点的深度信息。
结构光测距需要一个投影光源和摄像机，两者相距一个基线距离，通过确定场景物点反射光源的成像位置和投影角等参数，获得场景的深度信息。
几何光学法包括聚焦法和离焦法。聚焦法通过调整摄像机的像距，使得成像平面在被测点处聚焦，在已知像距和焦距的条件下，通过透镜成像公式求取物距。离焦法利用物点不聚焦时图像的模糊程度获取深度信息。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种提高测量范围的双目视觉测距方法，本发明克服现有技术中固定安装的双目相机利用短焦镜头测距深度短，利用长焦镜头测距视角小的问题。
本发明采用如下技术方案：
一种提高测量范围的双目视觉测距方法，包括如下步骤：
S1采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄；
S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c；
S3若短焦图像视角较大，需进行畸变校正后进入S4，否则直接进入S4；
S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算单应矩阵进行极线校正，得到仅存在水平视差的两张图像；
S5对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
所述S4中还包括针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并一个。
所述将畸变校正和极线校正的两个离散坐标表格合并成一个，具体采用线性插值的方法，具体为：
针对X坐标：X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于该浮点数的最大整数，i代表第i行，j代表第j列，则转换公式为X3(i,j)=X2(i,floor(X1(i,j)))+(X2(i,1+floor(X1(i,j)))-X2(i,floor(X1(i,j))))*(X1(i,j)-floor(X1(i,j)))
针对Y坐标：Y1为畸变校正表格，Y2为极线校正表格，Y3为合成表Y3(i,j)=Y2(floor(Y1(i,j)),j)+(Y2(1+floor(Y1(i,j)),j)-Y2(floor(Y1(i,j)),j))*(Y1(i,j)-floor(Y1(i,j)))。
所述极线校正具体为：
S4.1分别求解短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点；
S4.2分别将短焦图像和长焦图像的极点旋转到x轴并且移到无穷远使得两图像的极线与x轴平行，再对其中短焦图像中任一幅图像和长焦图像中任一幅图像进行y方向的线性缩放，得到用于短焦图像和长焦图像极线校正的单应矩阵；
S4.3求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Y2为极线校正的X坐标表格和Y坐标表格。
还包括预先获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。
所述根据视差和深度的关系，确定不同焦距下的视差可信范围，具体为：利用某个已知深度的物体在不同距离下建立视差和深度的对应关系，再使用曲线拟合得到稠密的对应关系，最后根据视差相差1个像素对应深度相差的实际距离选定视差可信范围。
S3中所述畸变校正具体为：
S3.1拍摄棋盘格图像；
S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
x1=x(1+k1x2+k2y2)
y1=y(1+k1x2+k2y2)；调整参数k1和k2，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格X1和Y1，其中x和y是原始棋盘格图像的浮点坐标，x1和y1是畸变校正后棋盘格图像的离散整数坐标，X1和Y1为畸变校正的X坐标表格和Y坐标表格。
本发明具有如下有益效果：
（1）在双目相机安装固定的情况下，能够保持大范围测量视角的同时提高深度的测量；
（2）利用已知深度的物体在不同距离下建立视差和深度的对应关系，并利用曲线拟合得到稠密的对应关系，提高测量的准确度；
（3）无需对摄像机进行内部参数和外部参数的标定。
附图说明
图1是本发明一种提高测量范围的双目视觉测距方法的工作流程图；
图2是本发明双目相机的安装示意图；
图3是本发明的获取视差和深度关系的流程图；
图4是本发明当短焦图像进行畸变校正和极线校正的流程图。
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施方式不限于此。
实施例
一种提高测量范围的双目视觉测距方法，如图2所示，硬件结构包括两个相机镜头，该镜头具有变焦功能，用于获取短焦和长焦图像，两个镜头平行排列，位于左边的为左目相机，位于右边的为右目相机，保证两个相机为平行光轴结构。
如图1所示，具体包括如下步骤：
S1采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄；
S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c；
所述寻找相互匹配对应点有三种方法，第一种为人工寻找兴趣点+人工匹配，第二种为人工寻找兴趣点+自动匹配，例如SAD块匹配/归一化互相关，第三种自动寻找特征点+自动匹配，例如SIFT/SURF+SAD+RANSAC方法。
S3若短焦图像视角过大，需进行畸变校正后进入S4，否则直接进入S4，如图4所示，所述畸变校正具体为：
S3.1拍摄棋盘格图像；
S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
x1=x(1+k1x2+k2y2)
y1=y(1+k1x2+k2y2)
调整参数k1和k2，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格X1和Y1，其中x和y是原始棋盘格图像的浮点坐标，x1和y1是畸变校正后棋盘格图像的离散整数坐标，X1和Y1为畸变校正的X坐标表格和Y坐标表格。
S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算得到2个3*3单应矩阵进行极线校正，得到仅存在水平视差的两张图像，所述短焦图像包括未进行畸变校正的短焦图像或已进行畸变校正的短焦图像。
所述极线校正具体为：
S4.1分别求解进行畸变校正后的短焦图像或未进行畸变校正的短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点；
S4.2将短焦图像组和长焦图像组的极点旋转到x轴并且移到无穷远使得两图像的极线与x轴平行，再对每组图像中任一幅图像进行y方向的线性缩放，得到能够用于短焦图像和长焦图像极线校正的2个3×3单应矩阵；
S4.3遍历所有离散整数坐标，求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Y2为极线校正的X坐标表格和Y坐标表格；
S5获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。
如图3所示，具体为：在不同的距离下拍摄某已知深度物体的双目图像，对图像进行前述的畸变和极线校正后；通过获取两张图像的对应点，建立对应点的离散视差和深度对应关系；再使用曲线拟合得到稠密的视差和深度关系，最后根据视差相差1个像素对应深度相差的实际距离选定视差可信范围。
S6对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
进一步，在S4中针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并成一个。
具体为：
针对X坐标：X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于该浮点数的最大整数，i代表第i行，j代表第j列，则转换公式为X3(i,j)=X2(i,floor(X1(i,j)))+(X2(i,1+floor(X1(i,j)))-X2(i,floor(X1(i,j))))*(X1(i,j)-floor(X1(i,j)))。针对Y坐标：Y1为畸变校正表格，Y2为极线校正表格，Y3为合成表Y3(i,j)=Y2(floor(Y1(i,j)),j)+(Y2(1+floor(Y1(i,j)),j)-Y2(floor(Y1(i,j)),j))*(Y1(i,j)-floor(Y1(i,j)))。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种提高测量范围的双目视觉测距方法，其特征在于，包括如下步骤：
S1采用具有固定基线长度的平行光轴结构的双目相机分别拍摄一组短焦图像及一组长焦图像；所述一组短焦图像包括两张，分别是左目相机及右目相机拍摄，所述一组长焦图像包括两张，分别是左目相机及右目相机拍摄；
S2寻找相互匹配的短焦图像对应点组a和长焦图像对应点组b，并且匹配好一组同时属于短焦图像和长焦图像的对应点组c；
S3若短焦图像视角较大，需进行畸变校正后进入S4，否则直接进入S4；
S4利用短焦图像的对应点组a和长焦图像对应点组b分别对短焦图像和长焦图像计算单应矩阵进行极线校正，得到仅存在水平视差的两张图像；
S5对于极线校正后的短焦图像，利用深度和视差的公式求解深度，判断是否在视差可信范围，具体为：利用某个已知深度的物体在不同距离下建立视差和深度的对应关系，再使用曲线拟合得到稠密的视差和深度关系，最后根据视差相差1个像素对应深度相差的实际距离选定视差可信范围；
若在可信范围内则保留所求深度，否则继续查看该短焦图像的对应点是否都在对应点组c里，若是，则利用长焦图像的对应点组b的视差求解深度，否则不保留该深度信息。
2.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述S4中还包括针对短焦图像，将畸变校正和极线校正的两个离散坐标表格合并一个。
3.根据权利要求2所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述将畸变校正和极线校正的两个离散坐标表格合并成一个，具体采用线性插值的方法，具体为：
针对X坐标：X1为畸变校正表格，X2为极线校正表格，X3为合成表，floor代表不大于浮点数的最大整数，i代表第i行，j代表第j列，则转换公式为X3(i,j)＝X2(i,floor(X1(i,j)))+(X2(i,1+floor(X1(i,j)))-X2(i,floor(X1(i,j))))*(X1(i,j)-floor(X1(i,j)))
针对Y坐标：Y1为畸变校正表格，Y2为极线校正表格，Y3为合成表Y3(i,j)＝Y2(floor(Y1(i,j)),j)+(Y2(1+floor(Y1(i,j)),j)-Y2(floor(Y1(i,j)),j))*(Y1(i,j)-floor(Y1(i,j)))。
4.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述极线校正具体为：
S4.1分别求解短焦图像和长焦图像的基本矩阵，基本矩阵的特征向量为极点；
S4.2分别将短焦图像和长焦图像的极点旋转到x轴并且移到无穷远使得两图像的极线与x轴平行，再对其中短焦图像中任一幅图像和长焦图像中任一幅图像进行y方向的线性缩放，得到用于短焦图像和长焦图像极线校正的单应矩阵；
S4.3求解极线校正后的图像离散浮点坐标表格X2和Y2，X2和Y2为极线校正的X坐标表格和Y坐标表格。
5.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，还包括预先获取视差和深度关系，并根据该关系，确定不同焦距下的视差可信范围。
6.根据权利要求5所述的一种提高测量范围的双目视觉测距方法，其特征在于，所述根据视差和深度的关系，确定不同焦距下的视差可信范围，具体为：利用某个已知深度的物体在不同距离下建立视差和深度的对应关系，再使用曲线拟合得到稠密的对应关系，最后根据视差相差1个像素对应深度相差的实际距离选定视差可信范围。
7.根据权利要求1所述的一种提高测量范围的双目视觉测距方法，其特征在于，S3中所述畸变校正具体为：
S3.1拍摄棋盘格图像；
S3.2将棋盘格图像中心平移移到原点，利用桶形失真校正公式
x1＝x(1+k1x2+k2y2)
y1＝y(1+k1x2+k2y2)；调整参数k1和k2，遍历所有离散整数坐标得到畸变校正的离散浮点坐标表格X1和Y1，其中x和y是原始棋盘格图像的浮点坐标，x1和y1是畸变校正后棋盘格图像的离散整数坐标，X1和Y1为畸变校正的X坐标表格和Y坐标表格。
CN201410035353.5A 2014-01-24 2014-01-24 一种提高测量范围的双目视觉测距方法 Active CN103776419B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410035353.5A CN103776419B (zh) 2014-01-24 2014-01-24 一种提高测量范围的双目视觉测距方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410035353.5A CN103776419B (zh) 2014-01-24 2014-01-24 一种提高测量范围的双目视觉测距方法

Publications (2)

Publication Number Publication Date
CN103776419A CN103776419A (zh) 2014-05-07
CN103776419B true CN103776419B (zh) 2016-01-06

Family

ID=50568945

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410035353.5A Active CN103776419B (zh) 2014-01-24 2014-01-24 一种提高测量范围的双目视觉测距方法

Country Status (1)

Country Link
CN (1) CN103776419B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200450B (zh) * 2014-08-25 2017-08-25 华南理工大学 一种红外热图像清晰度增强方法
CN104539934A (zh) * 2015-01-05 2015-04-22 京东方科技集团股份有限公司 图像采集装置和图像处理方法、***
CN105783731A (zh) * 2016-03-08 2016-07-20 上海易景信息科技有限公司 一种双摄像头测量被测物长度的方法
CN106225723B (zh) * 2016-07-25 2019-03-29 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN108020200B (zh) * 2016-10-31 2020-02-28 杭州海康威视数字技术股份有限公司 一种深度测量方法及***
CN107036579A (zh) * 2016-11-17 2017-08-11 上海航天控制技术研究所 一种基于单目液透镜变焦光学***的目标相对定位方法
CN107688174A (zh) * 2017-08-02 2018-02-13 北京纵目安驰智能科技有限公司 一种图像测距方法、***、存储介质和车载视觉感知设备
CN108492325B (zh) * 2018-03-27 2020-06-30 长春理工大学 一种非共轴成像的图像配准装置、图像配准方法及***
CN109091099A (zh) * 2018-05-11 2018-12-28 上海交通大学 双目视觉的高清微型电子内窥镜***
CN111210468B (zh) * 2018-11-22 2023-07-11 中移（杭州）信息技术有限公司 一种图像深度信息获取方法及装置
CN111292367B (zh) * 2020-02-18 2023-04-07 青岛联合创智科技有限公司 一种基线可变的双目相机深度图生成方法
CN112129262B (zh) * 2020-09-01 2023-01-06 珠海一微半导体股份有限公司 一种多摄像头组的视觉测距方法及视觉导航芯片
CN112700502B (zh) * 2020-12-29 2023-08-01 西安电子科技大学 双目相机***和双目相机空间标定方法
CN114519748A (zh) * 2022-04-20 2022-05-20 清华大学 四足机器人的腿足运动学标定方法、***、设备及介质
CN115641368B (zh) * 2022-10-31 2024-06-04 安徽农业大学 一种用于标定的离焦棋盘格图像特征提取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920247B2 (en) * 2007-11-30 2011-04-05 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
JP5553202B2 (ja) * 2010-01-14 2014-07-16 株式会社リコー 距離測定装置及び距離測定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103292710A (zh) * 2013-05-27 2013-09-11 华南理工大学 一种应用双目视觉视差测距原理的距离测量方法

Also Published As

Publication number Publication date
CN103776419A (zh) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103776419B (zh) 一种提高测量范围的双目视觉测距方法
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN107635129B (zh) 一种三维三目摄像装置及深度融合方法
Cai et al. An effective method for camera calibration in defocus scene with circular gratings
CN107665483B (zh) 免定标便捷的单目镜头鱼眼图像畸变矫正方法
US20140132501A1 (en) Method and apparatus for projecting patterns using structured light method
CN104918035A (zh) 一种获取目标三维图像的方法及***
CN106709865B (zh) 一种深度图像合成方法及装置
CN104154898B (zh) 一种主动测距方法及***
CN105282443A (zh) 一种全景深全景图像成像方法
CN102831601A (zh) 基于联合相似性测度和自适应支持权重的立体匹配方法
CN111127540B (zh) 一种三维虚拟空间自动测距方法及***
CN105258673B (zh) 一种基于双目合成孔径聚焦图像的目标测距方法、装置
CN104778656A (zh) 基于球面透视投影的鱼眼图像校正方法
WO2017117749A1 (zh) 基于多种测距方式的跟焦***、方法及拍摄***
CA3233222A1 (en) Method, apparatus and device for photogrammetry, and storage medium
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN109084959B (zh) 一种基于双目测距算法的光轴平行度校正方法
CN105180802A (zh) 一种物体尺寸信息识别方法和装置
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN102628693A (zh) 一种用于摄像机主轴与激光束进行平行配准的方法
US11348271B2 (en) Image processing device and three-dimensional measuring system
WO2022126430A1 (zh) 辅助对焦方法、装置及***
CN110708532B (zh) 一种普适光场单元图像生成方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant