CN115143930B - 一种单目摄像头测距方法、***及挖掘机 - Google Patents

一种单目摄像头测距方法、***及挖掘机 Download PDF

Info

Publication number
CN115143930B
CN115143930B CN202210734054.5A CN202210734054A CN115143930B CN 115143930 B CN115143930 B CN 115143930B CN 202210734054 A CN202210734054 A CN 202210734054A CN 115143930 B CN115143930 B CN 115143930B
Authority
CN
China
Prior art keywords
monocular camera
imaging plane
distance
measured
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210734054.5A
Other languages
English (en)
Other versions
CN115143930A (zh
Inventor
蔺相伟
牛东东
邢泽成
王敦坤
张斌
邹斌
田冲
尹学峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xuzhou XCMG Excavator Machinery Co Ltd
Original Assignee
Xuzhou XCMG Excavator Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xuzhou XCMG Excavator Machinery Co Ltd filed Critical Xuzhou XCMG Excavator Machinery Co Ltd
Priority to CN202210734054.5A priority Critical patent/CN115143930B/zh
Publication of CN115143930A publication Critical patent/CN115143930A/zh
Application granted granted Critical
Publication of CN115143930B publication Critical patent/CN115143930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种单目摄像头测距方法、***及挖掘机，其方法为：单目摄像头拍摄待测目标物图片；单目摄像头绕回转中心旋转一定角度θ并再次拍摄待测目标物图片；根据待测目标物在两幅图片上的不同像素坐标得出旋转前待测目标物相对单目摄像头拍摄的成像平面中心线的角度α和旋转后待测目标物相对单目摄像头两次拍摄的成像平面中心线的角度β；利用预先构建的测距模型根据α和β计算待测目标物与回转中心的距离。采用单目摄像机配合旋转角度对目标物进行精确测量，解决工作环境恶劣的前提下激光雷达测距失效以及单目测距时精度比较差等问题。同时也有利于降低成本。

Description

一种单目摄像头测距方法、***及挖掘机
技术领域
本发明涉及一种单目摄像头测距方法、***及挖掘机，属于计算机视觉技术领域。
背景技术
智能挖掘机***开发要求挖掘机具备在复杂环境中实时准确地感知周边环境，由于视觉传感器获取信息丰富、价格低廉，大部分环境感知技术都基于视觉实现。对于测距而言，最直接的方法是采用毫米波雷达、激光雷达和双目相机。但是由于挖掘机的工作环境比较恶劣，使用激光雷达进行测距会产生较大误差。所以本方法使用单目摄像头对挖掘机前方障碍物进行精准测距，保障工作安全。
目前主流的单目测距方法多数是通过已知物体在摄像头中的成像大小和姿态通过神经网络计算物体的距离，这样的算法对于不规则的物体需要采集每个姿态下的物体距离，对于数据要求十分苛刻。
对于测距而言，最直接的方法是采用毫米波雷达、激光雷达和双目相机。但是由于挖掘机的工作环境比较恶劣，使用激光雷达进行测距会产生较大误差。
发明内容
本发明提供了一种单目摄像头测距方法、***及挖掘机，解决了背景技术中披露的问题。
为了解决上述技术问题，本发明所采用的技术方案是：一种单目摄像头测距方法，其特征在于：
单目摄像头拍摄待测目标物图片；
单目摄像头绕回转中心旋转一定角度θ并再次拍摄待测目标物图片；
根据待测目标物在两幅图片上的不同像素坐标得出旋转前待测目标物相对单目摄像头拍摄的成像平面中心线的角度α和旋转后待测目标物相对单目摄像头两次拍摄的成像平面中心线的角度β；
利用预先构建的测距模型根据α和β计算待测目标物与回转中心的距离。
进一步地，所述测距模型的计算过程为：
ω1＝90°+(1/2)*θ-α；
ω2＝90°+(1/2)*θ-β；
待测目标物、回转中心和单目摄像头两次成像平面中点所构成三角形，ω1和ω2分别为三角形的两个角，b为单目摄像头两次拍摄成像平面原点的距离，L为回转中心与单目摄像头的距离，f为单目摄像头的焦距，L1为待测目标物到旋转前单目摄像头成像平面原点的距离，L2为待测目标物到旋转后单目摄像头成像平面原点的距离；L1、L2和b同时也是三角形的三条边长；
待测目标物离回转中心的距离D：
∠1＝180°-ω1-α。
进一步地，α和β为利用像素遍历方法计算得出。
相应地，一种单目摄像头测距***，包括：
单目摄像头：用于拍摄待测目标物图片；
回转中心：用于旋转单目摄像头；
像素遍历模块：用于根据待测目标物在单目摄像头拍摄图片上的不同像素坐标得出旋转前待测目标物相对单目摄像头拍摄的成像平面中心线的角度α和旋转后待测目标物相对单目摄像头两次拍摄的成像平面中心线的角度β；
测距模块：用于根据α和β计算待测目标物与回转中心的距离。
进一步地，所述测距模块的计算过程为：
ω1＝90°+(1/2)*θ-α；
ω2＝90°+(1/2)*θ-β；
待测目标物、回转中心和单目摄像头两次成像平面中点所构成三角形，ω1和ω2分别为三角形的两个角，b为单目摄像头两次拍摄成像平面原点的距离，L为回转中心与单目摄像头的距离，f为单目摄像头的焦距，L1为待测目标物到旋转前单目摄像头成像平面原点的距离，L2为待测目标物到旋转后单目摄像头成像平面原点的距离；L1、L2和b同时也是三角形的三条边长；
待测目标物离回转中心的距离D：
∠1＝180°-ω1-α。
相应地，一种挖掘机，所述挖掘机安装有上所述的一种单目摄像头测距***。
进一步地，所述回转中心为挖掘机的回转中心。
进一步地，所述单目摄像头安装于所述挖掘机驾驶舱的顶部。
相应地，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据上述的方法中的任一方法。
相应地，一种计算设备，包括：
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述的方法中的任一方法的指令。
本发明所达到的有益效果：本发明采用单目摄像机配合旋转角度对目标物进行精确测量，解决工作环境恶劣的前提下激光雷达测距失效以及单目测距时精度比较差等问题。同时也有利于降低成本。
附图说明
图1：本发明中单目摄像头的安装位置示意图；
图2：本发明中回转中心旋转示意图；
图3：本发明的测距原理示意图；
图4：本发明的测距原理示意图；
图5：本发明的流程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明优选将单目摄像头(也称：单目相机)，安装于挖掘机的驾驶室顶部，利用挖掘机上车作为回转中心。
在挖掘机工作时，当前方出现目标物体时，挖掘机需要根据情况做出相应的动作，避免与目标物体发生碰撞。本发明可以通过本身的单目相机对前方目标物体进行精准测距。首先，挖掘机在一定位置通过车载摄像头获取前方图像，然后车身相对底盘转动一定角度θ，再通过摄像头获取一次前方图像，如图2所示。拍摄得到的两幅图像可以构成视差图。利用像素遍历的方法，由前方目标物体在两幅图像上的不同像素坐标可以得出前方目标物体相对成像平面中心线的不同角度α和β，从而可以利用三角定位原理计算出目标物离挖机回转中心的距离D。其原理图如图3、图4所示。
由图可知ω1＝90°+(1/2)*θ-α；ω2＝90°+(1/2)*θ-β。
已知ω1、ω2和b，由三角定理
即可以得出L1和L2。
根据图4所示，通过计算目标物、回转中心和成像平面中点所构成的三角形，可得目标物离挖机回转中心的距离D:
其中，θ为挖掘机的旋转角度，α、β分别为旋转前和旋转后相机拍摄的图像中的目标物与成像平面中心线的夹角，L为回转中心与相机的距离，f为相机的焦距，L1和L2分别为前方目标物体到旋转后和旋转前成像平面原点的距离。
举例说明，摄像头安装位置与挖机回转中心的距离为L＝3000mm，摄像头的焦距为16mm，设挖掘机向左旋转了60°。则代入公式①，可得b＝2*tan(30°)*(3000+16)，解得b＝3482mm，∠1和∠2都为60°，在旋转前相机拍摄的图像中的目标物与成像平面中心线的夹角为∠α＝30°，旋转后相机拍摄的图像中的目标物与成像平面中心线的夹角为∠β＝70°，则
ω1＝180°-∠1-∠α＝180°-60°-30°＝90°，
ω2＝180°-∠2-∠β＝180°-60°-70°＝50°，
ω3＝180°-90°-50°＝40°
根据正弦函数定理得，
求解可得，L1＝5417mm，L2＝4149mm。
根据公式②可得：
则最终得到目标物离挖机回转中心的距离为8169mm。
本发明为了解决工作环境恶劣的前提下激光雷达测距失效以及单目测距时精度比较差等问题，采用单目相机通过旋转产生视差图，从而利用三角形定位原理对目标进行精准测距,最终得到目标物离挖机回转中心的距离。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行一种单目摄像头测距方法。
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种单目摄像头测距方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

Claims (8)

1.一种单目摄像头测距方法，其特征在于：
单目摄像头拍摄待测目标物图片；
单目摄像头绕回转中心旋转一定角度θ并再次拍摄待测目标物图片；
根据待测目标物在两幅图片上的不同像素坐标得出旋转前待测目标物相对单目摄像头拍摄的成像平面中心线的角度α和旋转后待测目标物相对单目摄像头两次拍摄的成像平面中心线的角度β；
利用预先构建的测距模型根据α和β计算待测目标物与回转中心的距离；
所述测距模型的计算过程为：
ω1＝90°+(1/2)*θ-α；
ω2＝90°+(1/2)*θ-β；
待测目标物、回转中心和单目摄像头两次成像平面中点所构成三角形，ω1和ω2分别为三角形的两个角，b为单目摄像头两次拍摄成像平面原点的距离，L为回转中心与单目摄像头的距离，f为单目摄像头的焦距，L1为待测目标物到旋转前单目摄像头成像平面原点的距离，L2为待测目标物到旋转后单目摄像头成像平面原点的距离；L1、L2和b同时也是三角形的三条边长；
待测目标物离回转中心的距离D：
∠1＝180°-ω1-α。
2.根据权利要求1所述的一种单目摄像头测距方法，其特征在于：
α和β为利用像素遍历方法计算得出。
3.一种单目摄像头测距***，其特征在于，包括：
单目摄像头：用于拍摄待测目标物图片；
回转中心：用于旋转单目摄像头；
像素遍历模块：用于根据待测目标物在单目摄像头拍摄图片上的不同像素坐标得出旋转前待测目标物相对单目摄像头拍摄的成像平面中心线的角度α和旋转后待测目标物相对单目摄像头两次拍摄的成像平面中心线的角度β；
测距模块：用于根据α和β计算待测目标物与回转中心的距离；
所述测距模块的计算过程为：
ω1＝90°+(1/2)*θ-α；
ω2＝90°+(1/2)*θ-β；
待测目标物、回转中心和单目摄像头两次成像平面中点所构成三角形，ω1和ω2分别为三角形的两个角，b为单目摄像头两次拍摄成像平面原点的距离，L为回转中心与单目摄像头的距离，f为单目摄像头的焦距，L1为待测目标物到旋转前单目摄像头成像平面原点的距离，L2为待测目标物到旋转后单目摄像头成像平面原点的距离；L1、L2和b同时也是三角形的三条边长；
待测目标物离回转中心的距离D：
∠1＝180°-ω1-α。
4.一种挖掘机，其特征在于：所述挖掘机安装有权利要求3所述的一种单目摄像头测距***。
5.根据权利要求4所述的一种挖掘机，其特征在于：所述回转中心为挖掘机的回转中心。
6.根据权利要求4所述的一种挖掘机，其特征在于：所述单目摄像头安装于所述挖掘机驾驶舱的顶部。
7.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至2所述的方法中的任一方法。
8.一种计算设备，其特征在于，包括：
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至2所述的方法中的任一方法的指令。
CN202210734054.5A 2022-06-27 2022-06-27 一种单目摄像头测距方法、***及挖掘机 Active CN115143930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210734054.5A CN115143930B (zh) 2022-06-27 2022-06-27 一种单目摄像头测距方法、***及挖掘机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210734054.5A CN115143930B (zh) 2022-06-27 2022-06-27 一种单目摄像头测距方法、***及挖掘机

Publications (2)

Publication Number Publication Date
CN115143930A CN115143930A (zh) 2022-10-04
CN115143930B true CN115143930B (zh) 2024-05-24

Family

ID=83409121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210734054.5A Active CN115143930B (zh) 2022-06-27 2022-06-27 一种单目摄像头测距方法、***及挖掘机

Country Status (1)

Country Link
CN (1) CN115143930B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349607A (ja) * 2005-06-20 2006-12-28 Toyota Central Res & Dev Lab Inc 距離計測装置
CN104662389A (zh) * 2012-09-21 2015-05-27 株式会社多田野 作业车的周围信息获取装置
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示***、作业机械的远程操作***以及作业机械
CN109059895A (zh) * 2018-03-28 2018-12-21 南京航空航天大学 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN109855603A (zh) * 2019-01-31 2019-06-07 金钱猫科技股份有限公司 一种聚焦测量方法及终端
CN111989440A (zh) * 2018-09-10 2020-11-24 株式会社小松制作所 作业机械的控制***及方法
EP3922523A1 (en) * 2020-06-08 2021-12-15 Faurecia Clarion Electronics Co., Ltd. Self-position estimation device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349607A (ja) * 2005-06-20 2006-12-28 Toyota Central Res & Dev Lab Inc 距離計測装置
CN104662389A (zh) * 2012-09-21 2015-05-27 株式会社多田野 作业车的周围信息获取装置
CN107250466A (zh) * 2015-03-05 2017-10-13 株式会社小松制作所 作业机械的图像显示***、作业机械的远程操作***以及作业机械
CN109059895A (zh) * 2018-03-28 2018-12-21 南京航空航天大学 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN111989440A (zh) * 2018-09-10 2020-11-24 株式会社小松制作所 作业机械的控制***及方法
CN109855603A (zh) * 2019-01-31 2019-06-07 金钱猫科技股份有限公司 一种聚焦测量方法及终端
EP3922523A1 (en) * 2020-06-08 2021-12-15 Faurecia Clarion Electronics Co., Ltd. Self-position estimation device

Also Published As

Publication number Publication date
CN115143930A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
WO2021004548A1 (zh) 一种基于双目立体视觉***的车辆智能测速方法
JP7444605B2 (ja) 牽引ヒッチの位置を計算する方法
EP2820618B1 (en) Scene structure-based self-pose estimation
CN111487043B (zh) 单目散斑结构光***的散斑投射器标定参数确定方法
CN106027887B (zh) 针对旋镜云台的枪球联动控制的方法、装置及电子设备
CN105043350A (zh) 一种双目视觉测量方法
WO2020133172A1 (zh) 图像处理方法、设备及计算机可读存储介质
Nienaber et al. A comparison of low-cost monocular vision techniques for pothole distance estimation
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
KR20180024783A (ko) 탑-뷰 영상 생성 장치 및 그 방법
CN105551020A (zh) 一种检测目标物尺寸的方法及装置
CN112116651A (zh) 一种基于无人机单目视觉的地面目标定位方法和***
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN108376384B (zh) 视差图的矫正方法、装置及存储介质
CN112529935B (zh) 目标车辆运动状态识别方法及装置
JP6669182B2 (ja) 乗員監視装置
CN115546315A (zh) 自动驾驶车辆的传感器在线标定方法、装置及存储介质
GB2513703B (en) Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment
CN110796604A (zh) 一种图像校正方法及装置
CN115143930B (zh) 一种单目摄像头测距方法、***及挖掘机
Yang et al. Simultaneous estimation of ego-motion and vehicle distance by using a monocular camera
JP2011209070A (ja) 画像処理装置
CN111145263A (zh) 一种基于车载的摄像机自动标定方法
CN116030139A (zh) 摄像头检测方法、装置、电子设备及车辆
CN116152347A (zh) 一种车载摄像头安装姿态角标定方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant