CN107590444A - 静态障碍物的检测方法、装置及存储介质 - Google Patents

静态障碍物的检测方法、装置及存储介质 Download PDF

Info

Publication number
CN107590444A
CN107590444A CN201710732735.7A CN201710732735A CN107590444A CN 107590444 A CN107590444 A CN 107590444A CN 201710732735 A CN201710732735 A CN 201710732735A CN 107590444 A CN107590444 A CN 107590444A
Authority
CN
China
Prior art keywords
image
point set
static
matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710732735.7A
Other languages
English (en)
Other versions
CN107590444B (zh
Inventor
刘新
陆振波
翟云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yicheng Automatic Driving Technology Co Ltd
Original Assignee
Shenzhen Yicheng Automatic Driving Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yicheng Automatic Driving Technology Co Ltd filed Critical Shenzhen Yicheng Automatic Driving Technology Co Ltd
Priority to CN201710732735.7A priority Critical patent/CN107590444B/zh
Publication of CN107590444A publication Critical patent/CN107590444A/zh
Application granted granted Critical
Publication of CN107590444B publication Critical patent/CN107590444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种静态障碍物的检测方法,该方法包括以下步骤:获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。本发明还公开了一种静态障碍物的检测装置以及计算机可读存储介质。本发明基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低了数据处理的复杂性,提高了检测的准确性。

Description

静态障碍物的检测方法、装置及存储介质
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种静态障碍物的检测方法、装置及计算机可读存储介质。
背景技术
泊车时,存在不同类型的静态障碍物和不确定性干扰,驾驶员主要通过后视镜来观察车辆周围的路况,而车辆后方存在的障碍物很难通过肉眼直接观察到。
目前障碍物检测方法主要有基于超声波的障碍物检测方法、基于雷达的障碍物检测方法、基于视觉图像的障碍物检测方法等。基于超声波的障碍物检测方法虽然成本低,但是存在方向性差、作用距离短、分辨率低等缺点;基于雷达的障碍物检测方法虽然作用距离长、抗环境变化能力强,但是成本高;基于图像的障碍物检测方法,即通过地面的颜色、纹理等特征来检测地面,但是容易受环境光照变化的影响,可靠性不高;基于视觉的障碍物检测方法,即通过采集当前场景的图像,利用图像处理和识别技术,提取出障碍物区域,它通过建立数学模型计算出场景中物体的距离、大小、方位等信息,具有探测信息完整,探测范围宽等优点,但也存在数据处理量大,数学建模复杂等缺点。
发明内容
本发明的主要目的在于提供一种静态障碍物的检测方法、装置及计算机可读存储介质,旨在基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低数据处理的复杂性,提高检测的准确性。
为实现上述目的,本发明提供一种静态障碍物的检测方法,所述静态障碍物的检测方法包括以下步骤:
获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
优选地,所述获取第一图像的特征点集在第二图像的匹配点集之前,还包括:
获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
所述获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
优选地,所述根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系的步骤包括:
根据所述特征向量进行立体匹配,获得初步匹配点对;
剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
优选地,所述计算所述乘积点集与所述匹配点集之间的平均欧式距离的步骤包括:
计算所述乘积点集与所述匹配点集之间的差值;
获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
优选地,所述获取所述第一图像的特征点集在所述第二图像的乘积点集的步骤包括:
计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
优选地,所述预设矩阵为离线求解得到。
为实现上述目的,本发明还提供一种静态障碍物的检测装置,所述静态障碍物的检测装置包括:
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的静态障碍物的检测程序,所述静态障碍物的检测程序被所述处理器执行时实现上述静态障碍物的检测方法的步骤。
为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有静态障碍物的检测程序,所述静态障碍物的检测程序被处理器执行时实现上述静态障碍物的检测方法的步骤。
本发明提供的静态障碍物的检测方法、装置以及计算机可读存储介质,首先,获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集,然后,获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离,最后,在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。本发明基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低数据处理的复杂性,提高检测的准确性。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的装置结构示意图;
图2为本发明静态障碍物的检测方法第一实施例的流程示意图;
图3为本发明静态障碍物的检测方法第二实施例的流程示意图;
图4为图3中根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系的细化流程示意图;
图5为图2中计算所述乘积点集与所述匹配点集之间的平均欧式距离的细化流程示意图;
图6为图2中获取所述第一图像的特征点集在所述第二图像的乘积点集的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
由于现有技术中,基于视觉的障碍物检测方法,即通过采集当前场景的图像,利用图像处理和识别技术,提取出障碍物区域,它通过建立数学模型计算出场景中物体的距离、大小、方位等信息,具有探测信息完整,探测范围宽等优点,但也存在数据处理量大,数学建模复杂等缺点。
本发明提供一种解决方案,基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低数据处理的复杂性,提高检测的准确性。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的装置结构示意图。
本发明实施例终端可以是照相机、摄像机等具有拍摄功能的可移动式终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端的结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及静态障碍物的检测程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的静态障碍物的检测程序,并执行以下操作:
获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
进一步地,处理器1001可以调用存储器1005中存储的静态障碍物的检测程序,还执行以下操作:
获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
所述获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
进一步地,处理器1001可以调用存储器1005中存储的静态障碍物的检测程序,还执行以下操作:
根据所述特征向量进行立体匹配,获得初步匹配点对;
剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
进一步地,处理器1001可以调用存储器1005中存储的静态障碍物的检测程序,还执行以下操作:
计算所述乘积点集与所述匹配点集之间的差值;
获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
进一步地,处理器1001可以调用存储器1005中存储的静态障碍物的检测程序,还执行以下操作:
计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
进一步地,处理器1001可以调用存储器1005中存储的静态障碍物的检测程序,还执行以下操作:
所述预设矩阵为离线求解得到。
参照图2,在一实施例中,所述静态障碍物的检测方法包括:
步骤S10、获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
在本实施例中,双目相机安装在车辆后方,分为第一摄像头和第二摄像头,通过第一摄像头和第二摄像头对车辆后方的场景进行拍摄,并基于双目立体视觉的原理,建立两个图像之间的匹配点对应关系。比如,在第一图像上的A点,通过匹配点对应关系得到第二图像上的匹配点是B点,那么在第一图像上多个特征点,即点集,通过匹配点对应关系得到第二图像上的匹配点集。
需要说明的是,双目立体视觉是在人类视觉***工作原理的基础上,结合现有的技术手段,利用摄像机和计算机来模拟人类视觉***。其基本原理是:采用在不同位置上的这两个摄像头对同一目标进行拍摄,从不同的视角获得二维图像,根据三角测量原理计算空间点在所得到的图像中的位置偏差,并根据所得到的位置偏差来进行三维重建。双目立体视觉具有高效便捷、准确可靠的特点,可以在很多人类难以到达的地理位置和难以适应的恶劣环境下进行景物三维信息的测量工作,在一些精密测量的工作中,双目立体视觉显示出了极大的优势与良好的应用效果。
具体地,双目立体视觉***包含图像采集、相机标定、图像预处理、特征的提取及立体匹配和三维重建这五个基本步骤。其中,图像采集是获取场景的图像信息,图像是场景三维信息的原始来源。在机器视觉中,人们通常选用工业CCD相机和图像采集卡来获取图像,采集中需要考虑光源条件、精度、视点差异等因素对采集效果的影响。相机标定的目标是建立场景点空间位置与其在图像上的成像位置之间的关系,根据相机成像的基本原理,由已知标定物上的某个特征点的图像坐标和空间坐标来求解相机的内外参数。图像预处理是立体匹配的前提,因为在双目图像的成像和传输过程中,不可避免的存在噪声与干扰,导致左右图像产生失真现象,并对后续立体匹配造成不利的影响。图像预处理有效解决了这个问题,它的主要目标是去除图像中的干扰信息,恢复图像中真实有效的信息,从而改善后续特征提取和立体匹配的可靠性。特征提取的目的是提取出立体匹配中会用到的图像特征,常用的图像特征包括:角点特征、边缘特征、区域特征等,特征提取的精度会直接影响立体匹配的精度。立体匹配是整个双目立体视觉***中的关键环节,它的目标是找到场景中同一物点在两个不同成像平面上的对应点,并创建对应点之间的相关关系,立体匹配的精度直接影响到后续深度计算及三维重建结果的准确性。三维重建在完成相机标定与立体匹配之后,根据双目立体视觉的基本成像模型,通过三角测量原理进行计算,便可以获得图像上每一个像素点的深度信息,从而得到深度图,如果实际***需要重建结果的可视化,则需要获得场景的三维重建图。在本实施例中,相机标定得到预设矩阵,其中预设矩阵是提前通过实验求解好的,在检测静态障碍物的过程中直接提取使用。本实施例不做三维重建,降低了数据处理的复杂性。因此本实施例在检测静态障碍物的过程中,包括图像采集、图像预处理、特征的提取及立体匹配的步骤。在本实施例中,特征提取选用边缘特征,使用Canny边缘检测算子,检测出候选的障碍物的轮廓区域。边缘特征的稳定性较强且对光照不敏感,边缘部分的像素灰度通常出现跳变,可通过导数提取。用于提取的微分算子有一阶的Sobel、Prewitt、Roberts,以及二阶的Laplace和Kirsh等,LOG和Canny边缘检测算子进一步优化了边缘检测,它们在边缘检测的同时,进行平滑滤波以降低噪声的干扰。
在双目立体视觉***中,立体匹配是双目立体视觉的核心和困难部分,其原因有两方面:一方面,立体匹配算法的优劣直接影响深度信息的分析结果,而图像深度信息是三维重建的重要基础,从而影响三维重建和后续的处理工作;另一方面,同一场景中的物体通过不同角度的摄像机时,会发生不同程度的扭曲和畸变,加上场景中的光照和噪声等诸多因素,使得到的二维图像很难真实的反映物体的三维信息,会有信息的丢失和错误。基于以上两方面原因,与双目立体视觉的其他部分相比,立体匹配技术的实现更为复杂,在整个立体视觉***中的作用也十分重要。具体地,立体匹配是指寻找不同视角下的同一场景的图像对之间的对应关系,实际就是图像特征之间的相似性评价,这里的相似性评价的对象指的是由于拍摄角度的不同而引起的差别,而不是由于运动或者景物变化而引起的差别。具体地,在三维空间场景中的物体被投影到二维图像中时,丢失了物体所在三维场景中的深度信息,立体匹配的任务就是恢复物体在三维空间中的深度信息。立体匹配的过程是在校正后的立体图像对的水平极线上对所选取的匹配基元进行匹配搜索,计算出相应的视差,并且由该视差值来计算场景的深度信息。一般来说,人们只根据一个图像能够判断物体的远近信息是依靠经验和感觉等,但是同样的工作对于机器来说是十分困难的,比如说两个正方体,单从一副图像来看,可能是并排的一大一小的两个正方体,也可能是一远一近的两个相同大小的正方体,还有可能是其他情况。这时如果从两个角度来拍摄,就可以找到物体上的同一个点在两幅图像中的对应点,根据偏移的情况,通过具体的计算能够得到实际的位置关系信息。可以总结为,一个场景中的同一个点,在不同角度所拍摄的图像中的位置是不同的,这个差值就是视觉偏差,简称视差。
在本实施例中,主要利用立体匹配中的半全局块匹配算法。半全局立体匹配实质上是一种改进的动态规划的方法,在提高了匹配结果精度的同时保留了动态规划的高效性。半全局立体匹配算法平等地对待多个一维路径,然后将各个一维路径的结果合并,来近似二维的情况,因此半全局匹配沿着或个方向的一维路径按动态规划的思想进行计算。在半全局立体匹配算法的全局能量函数中,通过对深度的不同变化加以不同惩罚保证了平滑性约束,在算法的后处理部分中,利用了左右一致性校验来检测遮挡点和误匹配点,保证了唯一性约束。算法对光照变化的影响不敏感,对噪声有较强的鲁棒性。
步骤S20、获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在本实施例中,利用预设矩阵,建立两个图像之间的乘积对应关系。比如,在第一图像上的A点,通过乘积对应关系得到第二图像上的匹配点是C点,C点满足单应矩阵乘以A点,那么在第一图像上多个特征点,即点集,通过乘积对应关系得到第二图像上的乘积点集。
本实施例中,欧氏距离是一个通常采用的距离定义,指在m维空间中两个点之间的真实距离,或者向量的自然长度,在二维和三维空间中的欧氏距离就是两点之间的实际距离。本实施例计算点集的欧氏距离的平均值,减少单个点带来的干扰,并且满足实时性要求。
步骤S30、在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
在本实施例中,预设阈值可通过实际需要进行设置,本发明不做此限定。
具体地,通过第一摄像头和第二摄像头对车辆后方的场景进行拍摄,得到第一图像与第二图像,涌过边缘特征提取,检测出候选的障碍物的轮廓区域。第一图像上的A点集,通过匹配点对应关系得到第二图像上的匹配点是B点集,通过乘积对应关系得到第二图像上的匹配点是C点集,候选的障碍物在高于地面时,B点集与C点集存在误差,这个误差通过欧氏距离来度量,欧式距离越大,候选的障碍物相对于地面越高,在欧式距离大于预设阈值时,该候选的障碍物即认定为障碍物。
在本实施例中,首先,获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集,然后,获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离,最后,在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。这样,基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低数据处理的复杂性,提高检测的准确性。
在一实施例中,如图3所示,在上述图2所示的实施例基础上,所述获取第一图像的特征点集在第二图像的匹配点集之前,还包括:
步骤S40、获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
本实施例中,图像采集是获取场景的图像信息,图像是场景三维信息的原始来源。双目相机安装在车辆后方,分为第一摄像头和第二摄像头,通过第一摄像头和第二摄像头对车辆后方的场景进行拍摄,获得第一图像以及第二图像。
步骤S50、提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
特征提取的目的是提取出立体匹配中会用到的图像特征,特征提取的精度会直接影响立体匹配的精度。本实施例中,特征提取选用边缘特征,使用Canny边缘检测算子,检测出候选的障碍物的轮廓区域。边缘特征的稳定性较强且对光照不敏感,边缘部分的像素灰度通常出现跳变,可通过导数提取。用于提取的微分算子有一阶的Sobel、Prewitt、Roberts,以及二阶的Laplace和Kirsh等,LOG和Canny边缘检测算子进一步优化了边缘检测,它们在边缘检测的同时,进行平滑滤波以降低噪声的干扰。
步骤S60、根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
本实施例中,利用匹配点对应关系,获取第一图像上的特征点,在第二图像上的匹配点,那么在第一图像上多个特征点,即点集,通过匹配点对应关系得到第二图像上的匹配点集。
步骤S11、所述获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
在本实施例中,首先,获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像,然后,提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量,最后,根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系。这样,基于双目立体视觉的原理,准确建立场景中同一点在两个不同图像上的匹配点对应关系。
在一实施例中,如图4所示,在上述图3所示的实施例基础上,所述根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系的步骤包括:
步骤S61、根据所述特征向量进行立体匹配,获得初步匹配点对;
步骤S62、剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
本实施例中,通过随机抽样一致算法剔除干扰点集。随机抽样一致算法可以从一组包含“局外点”的观测数据集中,通过迭代方式估计数学模型的参数。它是一种不确定的算法,它有一定的概率得出一个合理的结果,为了提高概率必须提高迭代次数。随机抽样一致算法的基本假设是,数据由“局内点”组成,例如:数据的分布可以用一些模型参数来解释,“局外点”是不能适应该模型的数据,除此之外的数据属于噪声。局外点产生的原因有:噪声的极值、错误的测量方法、对数据的错误假设。
在本实施例中,首先,根据所述特征向量进行立体匹配,获得初步匹配点对,然后,剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。这样,通过剔除干扰点集,提高了立体匹配的准确性。
在一实施例中,如图5所示,在上述图2所示的实施例基础上,所述计算所述乘积点集与所述匹配点集之间的平均欧式距离的步骤包括:
步骤S21、计算所述乘积点集与所述匹配点集之间的差值;
步骤S22、获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
步骤S23、将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
在本实施例中,首先,计算所述乘积点集与所述匹配点集之间的差值,然后,获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离,最后,将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。这样,计算点集的欧氏距离的平均值,减少了单个点带来的干扰,并且满足实时性要求。
在一实施例中,如图6所示,在上述图2至图5所示的实施例基础上,所述获取所述第一图像的特征点集在所述第二图像的乘积点集的步骤包括:
步骤S24、计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
本实施例中,预设矩阵即单应矩阵,利用单应矩阵,建立两个图像之间的乘积对应关系。比如,在第一图像上的A点,通过乘积对应关系得到第二图像上的匹配点是C点,C点满足单应矩阵乘以A点,那么在第一图像上多个特征点,即点集,通过乘积对应关系得到第二图像上的乘积点集。需要说明的是,单应矩阵由相机标定得到,通过实验提前求解好单应矩阵,在检测静态障碍物的过程中直接提取使用。
在本实施例中,计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。这样,通过计算乘积点集与匹配点集之间的平均欧式距离,并对比平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低了数据处理的复杂性,提高了检测的准确性。
本发明还提供一种静态障碍物的检测装置,所述静态障碍物的检测装置包括:静态障碍物的检测程序,所述静态障碍物的检测程序配置为实现如下操作:
获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
进一步地,所述静态障碍物的检测程序配置为实现如下操作:
获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
所述获取第一图像的特征点集在第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
进一步地,所述静态障碍物的检测程序配置为实现如下操作:
根据所述特征向量进行立体匹配,获得初步匹配点对;
剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
进一步地,所述静态障碍物的检测程序配置为实现如下操作:
计算所述乘积点集与所述匹配点集之间的差值;
获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
进一步地,所述静态障碍物的检测程序配置为实现如下操作:
计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
进一步地,所述静态障碍物的检测程序配置为实现如下操作:
所述预设矩阵为离线求解得到。
本发明提供的静态障碍物的检测装置,首先,获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集,然后,获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离,最后,在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。这样,基于双目立体视觉的原理,建立场景中同一点在两个不同图像上的匹配点对应关系,并通过对比点集的平均欧氏距离与预设阈值之间的大小关系检测静态障碍物,降低了数据处理的复杂性,提高了检测的准确性。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有静态障碍物的检测程序,所述静态障碍物的检测程序被处理器执行实现如下操作:
获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
进一步地,所述静态障碍物的检测程序被处理器执行实现如下操作:
获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
所述获取第一图像的特征点集在第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
进一步地,所述静态障碍物的检测程序被处理器执行实现如下操作:
根据所述特征向量进行立体匹配,获得初步匹配点对;
剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
进一步地,所述静态障碍物的检测程序被处理器执行实现如下操作:
计算所述乘积点集与所述匹配点集之间的差值;
获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
进一步地,所述静态障碍物的检测程序被处理器执行实现如下操作:
计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
进一步地,所述静态障碍物的检测程序被处理器执行实现如下操作:
所述预设矩阵为离线求解得到。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是电视机,手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种静态障碍物的检测方法,其特征在于,所述静态障碍物的检测方法包括以下步骤:
获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集;
获取所述第一图像的特征点集在所述第二图像的乘积点集,并计算所述乘积点集与所述匹配点集之间的平均欧式距离;
在所述平均欧式距离大于或者等于预设阈值时,认定所述第一图像与所述第二图像中存在障碍物。
2.如权利要求1所述的静态障碍物的检测方法,其特征在于,所述获取第一图像的特征点集在第二图像的匹配点集之前,还包括:
获取双目相机中的第一摄像头采集的所述第一图像以及第二摄像头采集的所述第二图像;
提取所述第一图像与所述第二图像的特征点,并获取所述特征点的特征向量;
根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系;
所述获取双目相机中的第一摄像头采集的第一图像的特征点集在第二摄像头采集的第二图像的匹配点集的步骤包括:
根据所述匹配点对应关系,获取所述第一图像的特征点集在所述第二图像的匹配点集。
3.如权利要求2所述的静态障碍物的检测方法,其特征在于,所述根据所述特征向量进行立体匹配,建立所述第一图像与所述第二图像的匹配点对应关系的步骤包括:
根据所述特征向量进行立体匹配,获得初步匹配点对;
剔除所述初步匹配点对中的错误匹配,获得最终的匹配点对,以建立所述第一图像与所述第二图像的匹配点对应关系。
4.如权利要求1所述的静态障碍物的检测方法,其特征在于,所述计算所述乘积点集与所述匹配点集之间的平均欧式距离的步骤包括:
计算所述乘积点集与所述匹配点集之间的差值;
获取所述差值的绝对值,其中,所述差值的绝对值为所述乘积点集与所述匹配点集之间的欧氏距离;
将所述乘积点集与所述匹配点集之间的欧式距离相加,除以点集中点的总个数,得到的商值为所述平均欧式距离。
5.如权利要求1-4任一项所述的静态障碍物的检测方法,其特征在于,所述获取所述第一图像的特征点集在所述第二图像的乘积点集的步骤包括:
计算所述第一图像的特征点集与预设矩阵的乘积,得到的乘积为所述第一图像的特征点集在所述第二图像的乘积点集。
6.如权利要求5所述的静态障碍物的检测方法,其特征在于,所述预设矩阵为离线求解得到。
7.一种静态障碍物的检测装置,其特征在于,所述静态障碍物的检测装置包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的静态障碍物的检测程序,所述静态障碍物的检测程序被所述处理器执行时实现如权利要求1至6中任一项所述的静态障碍物的检测方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有静态障碍物的检测程序,所述静态障碍物的检测程序被处理器执行时实现如权利要求1至6中任一项所述的静态障碍物的检测方法的步骤。
CN201710732735.7A 2017-08-23 2017-08-23 静态障碍物的检测方法、装置及存储介质 Active CN107590444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710732735.7A CN107590444B (zh) 2017-08-23 2017-08-23 静态障碍物的检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710732735.7A CN107590444B (zh) 2017-08-23 2017-08-23 静态障碍物的检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN107590444A true CN107590444A (zh) 2018-01-16
CN107590444B CN107590444B (zh) 2020-05-22

Family

ID=61043083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710732735.7A Active CN107590444B (zh) 2017-08-23 2017-08-23 静态障碍物的检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN107590444B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109649408A (zh) * 2019-01-21 2019-04-19 厦门理工学院 一种车辆周边障碍检测方法及车辆
CN110046569A (zh) * 2019-04-12 2019-07-23 北京百度网讯科技有限公司 一种数据处理方法、装置及电子设备
CN111241979A (zh) * 2020-01-07 2020-06-05 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN111353469A (zh) * 2020-03-13 2020-06-30 厦门理工学院 一种障碍物探测器、方法、存储介质及移动机器
CN114274948A (zh) * 2021-12-15 2022-04-05 武汉光庭信息技术股份有限公司 一种基于360度全景的自动泊车方法及装置
CN115375855A (zh) * 2022-10-25 2022-11-22 四川公路桥梁建设集团有限公司 工程项目的可视化方法、装置、电子设备和可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援***
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及***
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN106142097A (zh) * 2016-07-11 2016-11-23 天津艾思科尔科技有限公司 一种可利用图像进行障碍检测的家用服务机器人

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102389361A (zh) * 2011-07-18 2012-03-28 浙江大学 一种基于计算机视觉的盲人户外支援***
CN102313536A (zh) * 2011-07-21 2012-01-11 清华大学 基于机载双目视觉的障碍物感知方法
CN103236082A (zh) * 2013-04-27 2013-08-07 南京邮电大学 面向捕获静止场景的二维视频的准三维重建方法
CN103559703A (zh) * 2013-10-08 2014-02-05 中南大学 基于双目视觉的起重机障碍物监测及预警方法及***
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN105005999A (zh) * 2015-08-12 2015-10-28 北京航空航天大学 一种基于计算机立体视觉面向导盲仪的障碍物探测方法
CN106142097A (zh) * 2016-07-11 2016-11-23 天津艾思科尔科技有限公司 一种可利用图像进行障碍检测的家用服务机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘新: "光学投影式光刻***中套刻对准方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109649408A (zh) * 2019-01-21 2019-04-19 厦门理工学院 一种车辆周边障碍检测方法及车辆
CN109649408B (zh) * 2019-01-21 2020-09-25 厦门理工学院 一种车辆周边障碍检测方法及车辆
CN110046569A (zh) * 2019-04-12 2019-07-23 北京百度网讯科技有限公司 一种数据处理方法、装置及电子设备
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
CN111241979A (zh) * 2020-01-07 2020-06-05 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN111241979B (zh) * 2020-01-07 2023-06-23 浙江科技学院 一种基于图像特征标定的实时障碍物检测方法
CN111353469A (zh) * 2020-03-13 2020-06-30 厦门理工学院 一种障碍物探测器、方法、存储介质及移动机器
CN111353469B (zh) * 2020-03-13 2023-03-21 厦门理工学院 一种障碍物探测器、方法、存储介质及移动机器
CN114274948A (zh) * 2021-12-15 2022-04-05 武汉光庭信息技术股份有限公司 一种基于360度全景的自动泊车方法及装置
CN115375855A (zh) * 2022-10-25 2022-11-22 四川公路桥梁建设集团有限公司 工程项目的可视化方法、装置、电子设备和可读介质
CN115375855B (zh) * 2022-10-25 2023-01-10 四川公路桥梁建设集团有限公司 工程项目的可视化方法、装置、电子设备和可读介质

Also Published As

Publication number Publication date
CN107590444B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
Pusztai et al. Accurate calibration of LiDAR-camera systems using ordinary boxes
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
US11521311B1 (en) Collaborative disparity decomposition
CN107590444A (zh) 静态障碍物的检测方法、装置及存储介质
Stamos et al. Integration of range and image sensing for photo-realistic 3D modeling
Kurka et al. Applications of image processing in robotics and instrumentation
CN108335350A (zh) 双目立体视觉的三维重建方法
CN106651942A (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN107274483A (zh) 一种物体三维模型构建方法
CN104715479A (zh) 基于增强虚拟的场景复现检测方法
CN103988226A (zh) 用于估计摄像机运动以及用于确定实境三维模型的方法
US20080089577A1 (en) Feature extraction from stereo imagery
JP7103357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
Zhao et al. Reconstruction of textured urban 3D model by fusing ground-based laser range and CCD images
CN111105452B (zh) 基于双目视觉的高低分辨率融合立体匹配方法
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
Khoshelham et al. Generation and weighting of 3D point correspondences for improved registration of RGB-D data
US9530240B2 (en) Method and system for rendering virtual views
CN112184793B (zh) 深度数据的处理方法、装置及可读存储介质
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN115909268A (zh) 一种动态障碍物检测方法及装置
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
Murray et al. Patchlets: Representing stereo vision data with surface elements
CN116125489A (zh) 一种室内物体三维检测方法、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Static obstacle detection method, device and storage medium

Effective date of registration: 20210520

Granted publication date: 20200522

Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd.

Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd.

Registration number: Y2021980003808

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220607

Granted publication date: 20200522

Pledgee: Shenzhen Longgang sub branch of Agricultural Bank of China Ltd.

Pledgor: SHENZHEN ECHIEV AUTONOMOUS DRIVING TECHNOLOGY Co.,Ltd.

Registration number: Y2021980003808

PC01 Cancellation of the registration of the contract for pledge of patent right