CN109343041A - 用于高级智能辅助驾驶的单目测距方法 - Google Patents
用于高级智能辅助驾驶的单目测距方法 Download PDFInfo
- Publication number
- CN109343041A CN109343041A CN201811056040.2A CN201811056040A CN109343041A CN 109343041 A CN109343041 A CN 109343041A CN 201811056040 A CN201811056040 A CN 201811056040A CN 109343041 A CN109343041 A CN 109343041A
- Authority
- CN
- China
- Prior art keywords
- camera
- point
- distance
- rectangle frame
- main vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种用于高级智能辅助驾驶的单目测距方法,利用单目视觉技术,测量目标的水平和垂直方向的距离,该发明弥补了以往单目视觉测距算法只能测量目标垂直方向距离的缺陷,能够在测量垂直距离的基础上同时测量出目标的水平距离,并且在精度上有进一步的提升;当目标在50m以内时,测量误差为1m~3m,当目标在50m~120m范围时,测量误差为3m~12m,该精度能使得高级智能辅助驾驶***做出更准确的决策。
Description
技术领域
本发明涉及一种单目测距方法,尤其涉及一种用于高级智能辅助驾驶的单目测距方法。
背景技术
随着经济的发展,人们生活水平快速提高。为了方便出行,越来越多的人选择购买汽车作为日常交通工具。据统计,2017年末,我国民用汽车保有量达到3.1亿辆。而与此同时带来的驾驶安全问题也越发地受到人们的重视,将前沿的科学技术算法应用于智能安全驾驶领域成为研究热点。
在高级智能辅助驾驶***中,摄像头是一种非常重要的传感器,相较雷达技术,其成本更低,功能更为全面,准确性也较高,主要用于目标识别、测距与行为预判。目前,基于单个摄像头的目标测距技术主要是根据摄像头的成像原理,利用相似三角关系,求解待测目标到摄像头的垂直距离,该算法的原理图如附图1所示。
图1中,f表示摄像头的焦距,为镜头到成像芯片之间的距离;H表示摄像头的高度;y1和y2分别为前方车辆1和前方车辆2的底部在图像上的投影;Z表示从摄像头到前方车辆的距离。基于相似三角形原理,有如下关系:
该算法在纵向距离测量精度上能满足高级智能辅助驾驶***的需求,但是当有目标在主车前方横向移动时,该算法无法获取其横向距离。
发明内容
为了克服上述缺陷,本发明提供了一种用于高级智能辅助驾驶的单目测距方法,针对单目视觉目标测距技术进行改进,利用数字图像处理技术,解决原有算法只能检测纵向距离,不能检测横向距离的缺陷,并且在精度上进一步提高,对后续的高级智能辅助驾驶***的决策有非常大的作用。
本发明为了解决其技术问题所采用的技术方案是:
一种用于高级智能辅助驾驶的单目测距方法,包括以下步骤:
步骤1,摄像头的安装与测量:将摄像头安装在车辆内部挡风玻璃上方的中间区域,并将摄像头水平放置,且将摄像头位置固定锁死;
步骤2,摄像头光学畸变矫正:使用棋盘格标定法,将棋盘格放置在摄像头前方,不断变换棋盘格位姿,拍摄若干组棋盘格图像,并计算出畸变参数,将摄像头输出的图像进行矫正,后续算法将在矫正后的图像中进行计算;
步骤3,将主车开到空旷、平整的区域,在摄像头可视区域内选择点P,该点需要满足3个条件:①、P点是地面上的点;②、P点在摄像头可视区域内;③、P点离主车最近且位于主车中轴线上;
步骤4,测量P点到摄像头垂直方向的距离dp,P点到主车左侧边沿直线的距离dl,P点到主车右侧边沿直线的距离dr,并记录P点在摄像头拍摄的图片中的像素坐标
步骤5,在摄像头的正前方可视区域范围内放置一个矩形框,矩形框的长宽在300~1000厘米之间,测量矩形框的宽wr和高hr,并将当前摄像头拍摄的图像保存;
步骤6,上述矩形框在当前摄像头视角的图像中为梯形,记录矩形框四个顶点的像素坐标,然后利用透视变换将当前视角的梯形转换为俯视图中的矩形,变换后的矩形的宽和高分别为和并记录透视转换矩阵M,该矩阵大小为3x3;
步骤7,计算俯视图中矩形框的宽和高与实际矩形框的宽wr和高hr之间的尺度比例关系,公式如下:
其中,俯视图中矩形框的宽和高的单位为像素;
步骤8,对P点使用透视变换矩阵转换,计算该点在俯视图中的坐标P’,计算公式如下:
则P’点的坐标为单位为像素,t为尺度参数;
步骤9,当主车前方出现物体时,使用基于视觉的物体检测技术,检测出每个物体所在的矩形框,假定其中一个物体A的矩形框的底边中点为Po,其坐标为单位为像素;对Po进行透视变换,计算公式为公式2,得到该点在俯视图中的坐标Po’单位为像素;
步骤10,由上述得到的参数,求解物体A到主车的水平方向距离和垂直方向距离:
水平方向的距离为:
垂直方向的距离为:
dx和dy即为物体A到主车的水平和垂直方向的距离。
作为本发明的进一步改进,在所述步骤2中,连续拍摄若15组棋盘格图像。
本发明的有益效果是:本发明能够在高级智能辅助驾驶场景中,利用单目视觉技术,测量目标的水平和垂直方向距离,该发明弥补了以往单目视觉测距算法只能测量目标垂直方向距离的缺陷,能够在测量垂直距离的基础上同时测量出目标的水平距离,并且在精度上有进一步的提升;当目标在50m以内时,测量误差为1m~3m,当目标在50m~120m范围时,测量误差为3m~12m,该精度能使得高级智能辅助驾驶***做出更准确的决策。
附图说明
图1为现有的单个摄像头的目标测距原理图;
图2为本发明实施例所述步骤1所述摄像头安装位置示意图;
图3为本发明实施例所述步骤3图像矫正前后的对比图;
图4为本发明实施例所述步骤4示意图;
图5为本发明实施例所述步骤5示意图;
图6为本发明实施例所述步骤6示意图;
图7为本发明实施例所述步骤9示意图。
具体实施方式
以下结合附图,对本发明的一个较佳实施例作详细说明。但本发明的保护范围不限于下述实施例,即但凡以本发明申请专利范围及说明书内容所作的简单的等效变化与修饰,皆仍属本发明专利涵盖范围之内。
一种用于高级智能辅助驾驶的单目测距方法,包括以下步骤:
步骤1,摄像头的安装与测量:将摄像头安装在车辆内部挡风玻璃上方的中间区域,并将摄像头水平放置,且将摄像头位置固定锁死(安装位置参阅图2);
步骤2,摄像头光学畸变矫正:由于光线经过镜头在芯片上成像时,会产生一定的光学畸变,因此需要先对图像进行矫正。使用棋盘格标定法(张正友标定法),将棋盘格放置在摄像头前方,不断变换棋盘格位姿,拍摄若干组(如15组)棋盘格图像,并计算出畸变参数,将摄像头输出的图像进行矫正,后续算法将在矫正后的图像中进行计算(图3为图像矫正前后的对比图);
步骤3,将主车开到空旷、平整的区域,在摄像头可视区域内选择点P,该点需要满足3个条件:①、P点是地面上的点;②、P点在摄像头可视区域内(在摄像头拍摄的图像中能看到P点);③、P点离主车最近且位于主车中轴线上;
步骤4,测量P点到摄像头垂直方向的距离dp(单位:厘米),P点到主车左侧边沿直线的距离dl(单位:厘米),P点到主车右侧边沿直线的距离dr(单位:厘米),并记录P点在摄像头拍摄的图片中的像素坐标(单位:像素),示意图如图4所示;
步骤5,在摄像头的正前方可视区域范围内放置一个矩形框,矩形框的长宽在300~1000厘米之间,测量矩形框的宽wr和高hr(单位:厘米),并将当前摄像头拍摄的图像保存,示意图如图5所示;
步骤6,上述矩形框在当前摄像头视角的图像中为梯形,记录矩形框四个顶点的像素坐标,然后利用透视变换将当前视角的梯形转换为俯视图中的矩形,变换后的矩形的宽和高分别为和(单位:像素),并记录透视转换矩阵M,该矩阵大小为3x3,效果图如图6所示;
步骤7,计算俯视图中矩形框的宽和高与实际矩形框的宽wr和高hr之间的尺度比例关系,公式如下:
其中,俯视图中矩形框的宽和高的单位为像素,实际矩形框的宽wr和高hr的单位为厘米;
步骤8,对P点使用透视变换矩阵转换,计算该点在俯视图中的坐标P’,计算公式如下:
则P’点的坐标为单位为像素,t为尺度参数;
至此,本发明中所有需要的参数均已求得,以下为主车行驶过程中,目标距离测量的步骤:
步骤9,当主车前方出现物体时,使用基于视觉的物体检测技术,检测出每个物体所在的矩形框,假定其中一个物体A的矩形框的底边中点为Po,其坐标为单位为像素;对Po进行透视变换,计算公式为公式2,得到该点在俯视图中的坐标Po’单位为像素,示意图如图7所示;
步骤10,由上述得到的参数,求解物体A到主车的水平方向距离和垂直方向距离:
水平方向的距离为:
垂直方向的距离为:
dx和dy即为物体A到主车的水平和垂直方向的距离,单位为厘米。
本发明在计算摄像头畸变参数计算时,需要使用棋盘格标定法,即将摄像头安装好后,将棋盘格放置在镜头前方,保证摄像头能全部覆盖棋盘格,在不同的方位摆放,至少拍摄12张图,然后用图像处理算法计算出每个棋盘点在图像坐标系的坐标,再根据实际棋盘格点的间距,设置物理坐标系,根据上述关系计算畸变参数。
本发明在图像测距模块,需要计算透视变换矩阵,将矩形框在摄像头视角下的梯形转换为俯视图中的矩形,得到透视变换矩阵,此过程应当重复多次,选择准确率最佳的标定结果,作为最终产品上使用的参数。
由此可见,本发明所述的用于高级智能辅助驾驶的单目测距方法能够在高级智能辅助驾驶场景中,利用单目视觉技术,测量目标的水平和垂直方向的距离,该发明弥补了以往单目视觉测距算法只能测量目标垂直方向距离的缺陷,能够在测量垂直距离的基础上同时测量出目标的水平距离,并且在精度上有进一步的提升;当目标在50m以内时,测量误差为1m~3m,当目标在50m~120m范围时,测量误差为3m~12m,该精度能使得高级智能辅助驾驶***做出更准确的决策。
Claims (2)
1.一种用于高级智能辅助驾驶的单目测距方法,其特征在于,包括以下步骤:
步骤1,摄像头的安装与测量:将摄像头安装在车辆内部挡风玻璃上方的中间区域,并将摄像头水平放置,且将摄像头位置固定锁死;
步骤2,摄像头光学畸变矫正:使用棋盘格标定法,将棋盘格放置在摄像头前方,不断变换棋盘格位姿,拍摄若干组棋盘格图像,并计算出畸变参数,将摄像头输出的图像进行矫正,后续算法将在矫正后的图像中进行计算;
步骤3,将主车开到空旷、平整的区域,在摄像头可视区域内选择点P,该点需要满足3个条件:①、P点是地面上的点;②、P点在摄像头可视区域内;③、P点离主车最近且位于主车中轴线上;
步骤4,测量P点到摄像头垂直方向的距离dp,P点到主车左侧边沿直线的距离dl,P点到主车右侧边沿直线的距离dr,并记录P点在摄像头拍摄的图片中的像素坐标
步骤5,在摄像头的正前方可视区域范围内放置一个矩形框,矩形框的长宽在300~1000厘米之间,测量矩形框的宽wr和高hr,并将当前摄像头拍摄的图像保存;
步骤6,上述矩形框在当前摄像头视角的图像中为梯形,记录矩形框四个顶点的像素坐标,然后利用透视变换将当前视角的梯形转换为俯视图中的矩形,变换后的矩形的宽和高分别为和并记录透视转换矩阵M,该矩阵大小为3x3;
步骤7,计算俯视图中矩形框的宽和高与实际矩形框的宽wr和高hr之间的尺度比例关系,公式如下:
其中,俯视图中矩形框的宽和高的单位为像素;
步骤8,对P点使用透视变换矩阵转换,计算该点在俯视图中的坐标P’,计算公式如下:
则P’点的坐标为单位为像素,t为尺度参数;
步骤9,当主车前方出现物体时,使用基于视觉的物体检测技术,检测出每个物体所在的矩形框,假定其中一个物体A的矩形框的底边中点为Po,其坐标为单位为像素;对Po进行透视变换,计算公式为公式2,得到该点在俯视图中的坐标Po’单位为像素;
步骤10,由上述得到的参数,求解物体A到主车的水平方向距离和垂直方向距离:
水平方向的距离为:
垂直方向的距离为:
dx和dy即为物体A到主车的水平和垂直方向的距离。
2.根据权利要求1所述的用于高级智能辅助驾驶的单目测距方法,其特征在于:在所述步骤2中,连续拍摄若15组棋盘格图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811056040.2A CN109343041B (zh) | 2018-09-11 | 2018-09-11 | 用于高级智能辅助驾驶的单目测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811056040.2A CN109343041B (zh) | 2018-09-11 | 2018-09-11 | 用于高级智能辅助驾驶的单目测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109343041A true CN109343041A (zh) | 2019-02-15 |
CN109343041B CN109343041B (zh) | 2023-02-14 |
Family
ID=65305034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811056040.2A Active CN109343041B (zh) | 2018-09-11 | 2018-09-11 | 用于高级智能辅助驾驶的单目测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109343041B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263679A (zh) * | 2019-06-03 | 2019-09-20 | 西安交通大学 | 一种基于深度神经网络的细粒度车辆检测方法 |
CN111380503A (zh) * | 2020-05-29 | 2020-07-07 | 电子科技大学 | 一种采用激光辅助标定的单目相机测距方法 |
CN111623776A (zh) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | 使用近红外视觉传感器和陀螺仪进行目标测距的方法 |
CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其***、车辆、介质 |
CN113135181A (zh) * | 2021-06-22 | 2021-07-20 | 北京踏歌智行科技有限公司 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
WO2023273108A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市优必选科技股份有限公司 | 单目测距方法、装置及智能装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003247824A (ja) * | 2002-02-22 | 2003-09-05 | Nissan Motor Co Ltd | 車載用測距装置 |
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
US20120313806A1 (en) * | 2009-12-08 | 2012-12-13 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and object detecting method |
CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
CN107389026A (zh) * | 2017-06-12 | 2017-11-24 | 江苏大学 | 一种基于固定点射影变换的单目视觉测距方法 |
CN108088414A (zh) * | 2017-12-05 | 2018-05-29 | 苏州天瞳威视电子科技有限公司 | 一种单目测距方法 |
-
2018
- 2018-09-11 CN CN201811056040.2A patent/CN109343041B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003247824A (ja) * | 2002-02-22 | 2003-09-05 | Nissan Motor Co Ltd | 車載用測距装置 |
US20120313806A1 (en) * | 2009-12-08 | 2012-12-13 | Toyota Jidosha Kabushiki Kaisha | Object detecting apparatus and object detecting method |
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
CN106443650A (zh) * | 2016-09-12 | 2017-02-22 | 电子科技大学成都研究院 | 一种基于几何关系的单目视觉测距方法 |
CN107389026A (zh) * | 2017-06-12 | 2017-11-24 | 江苏大学 | 一种基于固定点射影变换的单目视觉测距方法 |
CN108088414A (zh) * | 2017-12-05 | 2018-05-29 | 苏州天瞳威视电子科技有限公司 | 一种单目测距方法 |
Non-Patent Citations (4)
Title |
---|
JIAN EA HOO ET AL.: ""ACCURACY AND ERROR STUDY OF HORIZONTAL AND VERTICAL MEASUREMENTS WITH SINGLE VIEW METROLOGY FOR ROAD SURVEYING"", 《ARPN JOURNAL OF ENGINEERING AND APPLIED SCIENCES》 * |
ZHENG FANG ET AL.: ""Design and Development of an Embedded Intelligent Optimal Control Platform"", 《MEASUREMENT & CONTROL》 * |
王展青等: "基于单目视觉的车距测量方法综述", 《科技资讯》 * |
罗富丽: ""单目可量测快速人脸检测算法"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263679A (zh) * | 2019-06-03 | 2019-09-20 | 西安交通大学 | 一种基于深度神经网络的细粒度车辆检测方法 |
CN112580402A (zh) * | 2019-09-30 | 2021-03-30 | 广州汽车集团股份有限公司 | 一种单目视觉行人测距方法及其***、车辆、介质 |
CN111380503A (zh) * | 2020-05-29 | 2020-07-07 | 电子科技大学 | 一种采用激光辅助标定的单目相机测距方法 |
CN111623776A (zh) * | 2020-06-08 | 2020-09-04 | 昆山星际舟智能科技有限公司 | 使用近红外视觉传感器和陀螺仪进行目标测距的方法 |
CN113135181A (zh) * | 2021-06-22 | 2021-07-20 | 北京踏歌智行科技有限公司 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
CN113135181B (zh) * | 2021-06-22 | 2021-08-24 | 北京踏歌智行科技有限公司 | 一种基于视觉辅助的矿区自动驾驶装卸点精准停靠方法 |
WO2023273108A1 (zh) * | 2021-06-30 | 2023-01-05 | 深圳市优必选科技股份有限公司 | 单目测距方法、装置及智能装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109343041B (zh) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109343041A (zh) | 用于高级智能辅助驾驶的单目测距方法 | |
CN109146930B (zh) | 一种电力机房设备红外与可见光图像配准方法 | |
CN107462223B (zh) | 一种公路转弯前行车视距自动测量装置及测量方法 | |
CN112669393A (zh) | 一种激光雷达与相机联合标定方法 | |
US20130135474A1 (en) | Automotive Camera System and Its Calibration Method and Calibration Program | |
WO2017080102A1 (zh) | 飞行装置、飞行控制***及方法 | |
US8077199B2 (en) | Target position identifying apparatus | |
US10902271B2 (en) | Recognizing a raised object on the basis of perspective images | |
CN112541953B (zh) | 一种基于雷达信号和视频同步坐标映射的车辆检测方法 | |
CN106677037B (zh) | 基于机器视觉的便携式沥青路面病害检测方法及装置 | |
CN109919856B (zh) | 基于双目视觉的沥青路面构造深度检测方法 | |
CN110031829A (zh) | 一种基于单目视觉的目标精准测距方法 | |
CN108596982A (zh) | 一种简易的车载多目摄像机环视***标定方法及装置 | |
CN107290738A (zh) | 一种测量前方车辆距离的方法和装置 | |
CN109883433A (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
KR101407508B1 (ko) | 지면 형상 인식 알고리즘을 이용한 이동로봇의 이동경로추출 시스템 및 방법 | |
CN114200442B (zh) | 一种基于毫米波雷达和视觉的道路目标检测与关联方法 | |
CN109215084A (zh) | 一种用于畸变矫正中心点定位的方法 | |
KR102658268B1 (ko) | Avm용 주행 자동 공차 보정 장치 및 방법 | |
CN207611140U (zh) | 一种测量前方车辆距离的装置 | |
CN111402593A (zh) | 一种基于多项式拟合的视频交通参数获取方法 | |
CN115265407A (zh) | 基于立体视觉与模型恢复的金属材料三维形貌测量方法 | |
CN113793388A (zh) | 一种基于深度学习的立体视觉人际安全距离检测方法 | |
JP5590387B2 (ja) | カラーターゲット位置決定装置 | |
JP4055785B2 (ja) | 移動物体の高さ検出方法及び装置並びに物体形状判定方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder | ||
CP02 | Change in the address of a patent holder |
Address after: No. 203, Double-layer Factory, No. 179 Zhangji Road, Small and Medium Enterprise Park, Kunshan Development Zone, Suzhou City, Jiangsu Province, 215300 Patentee after: KUNSHAN XINGJIZHOU INTELLIGENT TECHNOLOGY Co.,Ltd. Address before: 215300 No. 203, double storey workshop, No. 179, yuanzhangji Road, small and medium-sized enterprises, Kunshan Development Zone, Suzhou, Jiangsu Province Patentee before: KUNSHAN XINGJIZHOU INTELLIGENT TECHNOLOGY Co.,Ltd. |