CN103871042B - 基于视差图的视差方向上连续型物体检测方法和装置 - Google Patents

基于视差图的视差方向上连续型物体检测方法和装置 Download PDF

Info

Publication number
CN103871042B
CN103871042B CN201210535689.9A CN201210535689A CN103871042B CN 103871042 B CN103871042 B CN 103871042B CN 201210535689 A CN201210535689 A CN 201210535689A CN 103871042 B CN103871042 B CN 103871042B
Authority
CN
China
Prior art keywords
parallax
sectional
view
disparity map
continuous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210535689.9A
Other languages
English (en)
Other versions
CN103871042A (zh
Inventor
刘殿超
刘媛
胡平
师忠超
鲁耀杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201210535689.9A priority Critical patent/CN103871042B/zh
Priority to EP13195549.4A priority patent/EP2743861B1/en
Priority to JP2013255176A priority patent/JP6340781B2/ja
Publication of CN103871042A publication Critical patent/CN103871042A/zh
Application granted granted Critical
Publication of CN103871042B publication Critical patent/CN103871042B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种基于视差图的视差方向上连续型物体检测方法和装置，该检测方法包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检。

Description

基于视差图的视差方向上连续型物体检测方法和装置
技术领域
本发明总体地涉及图像处理，更具体地涉及基于视差图的视差方向上连续型道路分割物检测方法和装置。
背景技术
诸如驾驶辅助***的应用日渐普及。在驾驶辅助***中，道路场景物体的检测非常重要。道路场景物体的例子有，路肩石、白线、栅栏、车辆、行人、高楼、树木等。
对于道路场景物体的检测，根据所进行处理的图像类型，现有的检测方法可大致分为两类，即，基于灰度图的检测方法和基于视差图的检测方法。
基于灰度图的检测方法在灰度图上基于边缘，颜色，纹理，或者其他灰度图像特征进行物体，其中的一些方法可能利用其他感应器获取物体信息，结合灰度图像进行物体检测。
例如，在非专利文献1，Giancarlo Alessandretti,Alberto Broggi,and PietroCerri等人的文章Vehicle and Guard Rail Detection Using Radar and Vision DataFusion，IEEE2007TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS中，介绍了一种基于雷达成像和视觉成像相结合的车辆与栅栏检测方法。在该方法中，利用雷达定位感兴趣区域，再用灰度图像进行检测。
该第一类检测方法基于灰度图像进行检测，受环境条件例如光照强度、色彩变化和以及视觉几何形变的影响较大，在实际应用过程中不稳定。例如，图1示出了具有栅栏部分的灰度图像的示例，其中栅栏部分以椭圆形圈出示意。图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图像的示例。可见，环境和几何变形等对灰度图像的形式影响较大，因此对检测结果也具有较大影响。
另一类方法是基于立体相机获得视差图来进行物体的检测。
例如，在非专利文献2，即Zhencheng Hu,Francisco Lamosa and KeiichiUchimura的文章A Complete U-V-Disparity Studyfor Stereovision Based3D DrivingEnvironment Analysis，Proceedings ofthe Fifth International Conference on3-DDigital Imaging and Modeling2005中，介绍了一种基于U视差图和V视差图的物体分割的方法。该方法首先进行U视差图和V视差图的计算，然后在U视差图和V视差图上进行线的检测，则检测到的线段有可能是物体的表面，最后U视差图和V视差图上对应具有相同视差值的线段被认为是同一个物体，从而实现物体分割。
在第二类方法中，存在无法解决遮挡的问题。因为U视差图和V视差图分别是视差图在x和y坐标方向的视差累计图，所以水平和垂直方向上的遮挡问题固有地存在。图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图。图4示意性地示出了此时各部分在U视差图和V视差图中对栅栏部分的遮挡情况。
因此，希望能提供如下技术，该技术既能很好解决环境变化和几何形变的问题，又能解决水平和垂直方向上的遮挡问题。
发明内容
在同一发明人做出的申请号为CN201210147642.5，申请日为2012年5月11日的专利申请中，提出了在视差图中采用平行于地面的切片来切割视差图，然后基于这样的切片的U视差图来检测连续型的道路分割物，例如栅栏。
在该先前专利申请中，切片的获得从而道路场景物体的检测依赖于路面信息，因此如果路面信息不准确就会大大影响后续的其他检测。
鉴于上述情况，提出了本发明。
根据本发明的实施例，提供了一种基于视差图的视差方向上连续型物体检测方法，包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。
所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图可以包括：按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
在该物体检测方法中，基于各个视差截面图的特征序列识别物体可以包 括：确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
根据一个实施例，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括：将各个视差截面图中的竖直线段对应于一个视差图中对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
根据一个实施例，该物体检测方法还可以包括：在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
根据本发明另一方面，提供了一种基于视差图的视差方向上连续型物体检测装置，可以包括：视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件，用于基于各个视差截面图的特征序列识别物体。
根据本发明实施例的视差方向上连续型物体检测方法和装置提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。
附图说明
图1示出了具有栅栏部分的灰度图像的示例；
图2示出了光照、背景以及视觉几何变形等各种因素变化下不同灰度图 像的示例；
图3示意性地示出了具有栅栏部分的视差图以及对应的U视差图和V视差图；
图4示意性地示出了图3中各部分在U视差图和V视差图中对栅栏部分的遮挡情况；
图5示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测方法的总体流程图；
图6中的(a)、(b)、(c)示出了根据本发明一个实施例的原始视差图和视差截面图的示意图；
图7示出了根据本发明一个实施例的按距离从近到远（即，视差值从大到小）的顺序截取的6个视差截面图（按纸面方向，从左到右、从上到下）以及在上面提取的竖直边；
图8中的(a)、(b)、(c)、(d)示出了根据本发明一个实施例的原始视差图（a）以及物体检测处理中的检测的特征序列（b）、通过追踪的特征预测和过滤的结果（c）、将特征序列对应特征点拟合并获得检测结果(d)在原灰度图中的示意性显示；
图9示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测装置的总体配置的总体框图；以及
图10是示出按照本发明实施例的具有高度的连续型物体检测***的总体硬件框图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
将按如下顺序进行描述：
1、词汇解释和基本概念介绍
2、第一实施例：视差方向上连续型物体检测方法
3、第二实施例：视差方向上连续型物体检测装置
4、***硬件配置
5、总结
1、词汇解释和基本概念介绍
在具体描述之前，首先下面解释一下本文中涉及的一些词汇。
本文中，“视差截面图”是与确定视差值对应或与确定视差值范围对应的所有像素点形成的视差图横截面，或者可以理解为与深度（或者说距离）方向垂直的切片，该切片可以具有一定厚度，如果切片为不具有厚度的切面，则该视差截面图是由等视差值的像素点形成的图；如果切片具有由某视差值范围表示的厚度，则该视差截面图是由视差值落入该视差值范围内的像素点组成的图。
“视差方向上连续型物体”指的是沿视差方向延伸的物体，例如栅栏、灌木丛、墙、路肩石、分道线等。
下面介绍一下本文中涉及的基本概念，以便于理解。
视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
视差图(disparitymap)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。
普通视差图中的某点坐标以（x,y，d）表示，其中x为横坐标，y为纵坐标；d为该点(x,y)处的视差。
2、第一实施例：视差方向上连续型物体检测方法
下面描述根据本发明一个实施例的、具有高度的连续型道路分割物检测方法的第一示例的整体过程。
图5示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测方法100的总体流程图。
如图5所示，在步骤S110中，获得包括该连续型物体的视差图，该物体在视差方向上连续。
任何现有的获取视差图的方法均可以用于本发明。例如，可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该连续型道路分割物部分的视差图，具体地，例如，可以通过双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图。或者，可以从立体视图中获得深度图，根据深度图得到视差图。
在步骤S120中，按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图。
如前所述，视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面。一般地，视差截面图可以看成是远近剖面图，是由与某一视差值对应的所有视差点所形成的视差图横截面或者是视差值落入某一视差值范围的所有视差点所形成的视差图横截片。下文中，为描述方便，所述的视差图横截面包括具有一定厚度的视差图横截片，即不管切片是否具有厚度，均统一称为“视差截面图”或“视差图横截面”。
在后文中，为描述方便，认为视差截面图垂直于地面。不过需要说明的是，如果进行拍摄的立体相机的光轴与地面不平行，则视差截面图与地面并不垂直，本发明也适用于视差截面图与地面不垂直的情况。
根据一个实施例，通过遍历原始视差图，按视差值从大到小的顺序，选取各个视差值，从而形成一系列的视差截面图。这里优选地按照从大到小的顺序来进行各个视差截面图的选取乃至后面陈述的针对各个视差截面图的特征提取。这是因为，根据下面的公式(1)，视差值与距离成反比例关系，按照视差值从大到小的顺序，即按照距立体相机的距离从近到远的顺序，距离越近的视差截面图很有更丰富和准确的图面信息，因此更适合于作为检测的开始，而且按照距离立体相机从近到远的顺序截取和处理视差截面图，适于后文描述对远处的视差界面图中特征的预测和追踪。
d=b*f/z …(1)
其中d是视差值，b是立体相机两镜头中心距离，f是相机焦距，z是相对于相机的距离，其中b和f是固定值，由相机自身决定。
这里顺便说一下，由该公式(1)，可进一步看出，在立体相机的光轴与地面平行的情况下，一系列的视差截面图就相当于三维世界中的一系列垂直于地面的剖面图。
根据另一实施例，替代通过与某一视差值对应的所有视差点来形成视差 截面图，利用落入某一视差值范围内的所有视差点来形成视差截面图，以便减小噪音干扰和提高运算效率。
图6示出了根据本发明一个实施例的原始视差图和视差截面图的示意图，其中图6中的(a)表示原始视差图，图6中的(b)和(c)表示在不同距离范围处的两个视差截面图。这里说明一下，图6中的(a)本来为彩色图，其中不同的颜色表示不同视差值，即对应于不同深度或距离，但因为专利图不允许存在彩色图，因此这里以不同深浅的黑白图来替代原彩色图。图6中的(b)和(c)分别表示在两个不同视差值范围内对应视差点所形成的视差截面图，具体地分别是视差值为397-401（16倍像素距离），和577-581范围内的视差点所形成截面图，截面图中包含了5个视差值对应的视差点。在图6的示例中，视差截面图是垂直于地面的距离剖面图，包含了物体横截面特征信息。
另外，根据另一个实施例，为了提升算法效率，可以采用下采样来减少计算量，例如每隔视差值20或者别的数值选取一次视差横截面，然后离散的组成视差截面图的序列。而且，视差值的范围（或者说，切片的厚度）以及这些视差值范围之间的间隔（切片之间的间隔）可以不是固定的，而是可变的，有关取值可以根据实际应用来人工设定或者通过学习来自动设定。
另外，根据一个实施例，按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
具体地，根据公式（1），按照例如每100cm的距离（即z=100），如，100cm-200cm、200cm-300cm等等的距离，对应地即bf/100-bf/200、bf/200-bf/300等等的视差间隔获取视差截面图。按这样的与实际3D中的等距离对应的视差间隔获取视差截面图，可以进一步确保下文所述的特征序列的周期性特性，便于进行精确的物体检测。
在步骤S130中，根据待检测物体的特性，从视差截面图中提取特征。
不同的物体在视差截面图中表现出来的特征也不同。
例如，对于路边连续物体，如栅栏、灌木丛，围墙、路肩石等，他们在视差截面图中的共同特征是：存在小的竖直边位于道路两侧；并且这些小的竖直边在不同深度的相邻视差截面图中具有高度和位置基本连续的特征，换句话说在相邻的视差截面图中，小的竖直边相对位置或者尺寸变化很小，也可以说是远近距离方向上连续；再例如路肩石，其特征和栅栏很相似，只是高度会比较小并且一般是固定高度。再例如，车道线也是一种道路场景中的 在距离方向上的连续物体，其在视差截面图中的特征是不具备高度，正好落在路面上，有一定的固定左右宽度，并且在远近距离方向上连续。
一般地，道路场景中的在距离方向上的连续物体是一种沿距离方向周期性重复的物体，因此其在视差截面图中的特征也会呈现出这种周期性，而且因为去除了原视差图中的遮挡，因此更适合于利用视差截面图序列中的特征来进行识别。
需要说明的是，这种距离方向上连续的物体，个别的也会有间隔连续特征，如虚线型的车道线或者一些特别的栅栏，但是即便如此，其也体现出距离方向上周期性重复的特征，因此同样适合于应用视差截面图的方法来进行检测。
相比之下，对于道路场景中的车辆，行人，路边楼房，或者其他的孤立型物体，它们在远近距离方向上占据的位置空间不如道路上连续物体占用的长，因此它们在距离方向上连续性不强，在一个或者少数几个相邻视差截面图上有大片的轮廓特征，采用现有的基本的物体特征就可以实现识别。例如，车辆的轮廓特征是对称的，矩形，行人的轮廓特征是有一定宽高比例的长条形，而楼房的轮阔特征是矩形或者半矩形框架之类，但是所有的这类孤立物体都可以通过前面道路场景的识别结果进行位置和逻辑关系的判定来确定。因此，对于此类非沿距离方向连续的物体的检测，根据本发明实施例的基于视差截面图序列来提取特征序列进而进行检测的方法虽然也可以应用，但是并不具有特别优势。
需要说明的是，之前提到的高度，理想来说是相对于路面的高度，但是如前所述，本发明的基于视差截面图序列的技术并不依赖于路面高度的知识，而且，在本发明实施例中，实际过程中并不具有路面高度或者物体相对于路面的高度信息，物体的高度是根据视差图中例如线段的长度估计出来的。
从视差截面图中提取的特征可以包括下列中的至少一个：线段、点。
作为示例，下文将以检测栅栏为例说明根据本发明实施例的基于视差截面图序列检测物体的方法的实施，不过该方法可以类似地应用于其他的连续物体检测方法。
具体地，对于栅栏检测，提取出小的竖直边作为栅栏的主要特征。
图7示出了根据本发明一个实施例的按距离从近到远（即，视差值从大到小）的顺序截取的6个视差截面图（按纸面方向，从左到右、从上到下） 以及在上面提取的小的竖直边。
如图7所示，在每一个视差截面图中，小的竖直边被检测和提取出来，标记为红线。由于视差值与距离成反比例关系，同时根据成像原理，成像尺寸和距离成反比，因此可以有以下等式，
d B = f Z = h Y - - - ( 2 )
其中d是视差值，B是立体相机两镜头中心距离，f是相机焦距，Z是物体距相机中心的距离，h是相机成像后图片中（更确切地，相机内部胶片或者CCD上）物体的高度或者宽度，Y是物体实际的高度或者宽度。由此可知，由于物体实际尺寸固定，因此表示栅栏的竖直边高度h与视差值d成正比例关系。举个例子，实际3D世界中通常栅栏的高度在900mm±50mm，因此视差图中表示栅栏的竖直边高度h范围可以由公式（2）算出，h=(d*850/B，d*950/B)，从而基于此竖直边高度h范围可以选择表示栅栏特征的小竖直边。
当然，在识别例如路肩石的情况下，视差截面图中表示路肩石的竖直边高度范围与此不同。以及在识别例如车道线的情况下，应该选取视差截面图中、落入对应的宽度范围的横向线段。
在步骤S140中，基于各个视差截面图的特征序列识别物体。
根据一个实施例，可以基于一些预定规则来基于各个视差截面图的特征序列识别物体：例如，一个规则是，确定相邻的视差截面图中相应特征在形状上的相似度以及在图中位置上的差别，有关差别是否小于预定阈值（或者相似度是否大于预定阈值）。
此操作的目的在于判断在有关特征在不同的视差截面图中是否周期性的出现。一种具体实现示例为：为了评估视差截面图1中的特征A和视差截面图2中的特征B之间的相似性，将一个视差截面图1中的特征A换算到另一个视差截面图中，得到特征A’。比如，以栅栏识别为例，假设视差截面图1对应的视差值为100，存在小竖直边A；视差截面图2对应的视差值为200，存在小竖直边Ｂ。将视差截面图1中的小竖直边A的高度hA除以2得到了在视差截面图2中的换算高度ｈA’=hA/2，然后可以通过计算|ｈA’-hB|/hB计算两者高度上的差别。类似地，可以通过换算评价两特征在位置上的差别。
对于栅栏识别，另一规则为：在视差截面图上，是否存在相对于图像近似对称的居于两侧的小竖直边。这是因为在实际3D世界中，栅栏一般是相对于路面左右对称布置的。
根据另一实施例，可以通过进行特征的直线或曲线拟合来基于特征序列识别物体。
例如，对于栅栏识别而言，在视差图中，其上端的连线一般近似为直线，以及其下端的连续也近似为直线。
为此，可以选取之前获得的小竖直边的上端点，将这样的端点放在一张图上，例如原始的视差图上（去除所有其余像素点），然后利用直线提取方法例如霍夫变换或者最小二乘法来在该图中检测直线，判断是否存在一条覆盖大部分上端点的直线；类似地，可以选取之前获得的小竖直边的下端点，将这样的端点放在一张图上，例如原始的视差图上（去除所有其余像素点），然后利用直线提取方法例如霍夫变换或者最小二乘法来在该图中检测直线，判断是否存在一条覆盖大部分下端点的直线。并且如果存在，则检测这样的上下两条直线表征了栅栏，并可以确定栅栏的位置并进行输出，例如向驾驶员提供声音或者可视性预警“左侧20cm处有栅栏，请勿靠近”。
在例如基于预定数目的视差截面图检测到了栅栏之后，可以利用这样的检测结果来对后续的视差截面图中的栅栏特征进行预测和追踪或选取。追踪方法可以是现有任何方法，例如平均值法，差值法的简单模型。
为了更好说明追踪的概念，观察图7，其中白色线段是在图5的S130步骤中所获得的栅栏特征，如果我们把所有的在不同距离的视差截面图中的特征放在一张图上，便形成了图8中的（b）图，因此通过由距离方向上的追踪便可以去除孤立的不连续的栅栏特征（图8中的（a）图为原始视差图，供对比用）。如图7中上一排的最右侧的图所示，其中中间的两条小竖直边在距离方向上满足追踪预测，将被保留，但是另外两个竖直边则在距离方向上不能满足追踪预测，将被去掉。通过距离方向上的追踪，特征点被过滤，只有满足要求的点才被保留，如图8中（c）所示，对比于（b），楼房，车辆或者路面上所形成的特征点或者噪声被过滤掉，保留下来的大部分特征点都是栅栏的特征。图8中的(d)表示将特征序列对应特征点拟合并获得检测结果的示意图。
根据另一个实施例，在根据预定数目的视差截面图识别出物体之后，如果在后续的视差截面图中对物体的特征追踪失败，例如在后续的连续多个视差截面图中不存在利用追踪预测到的特征，则这可能从一个方面指示先前识别的准确度不高，因此可以丢弃先前的检测结果，将新的视差截面图的特征 连同先前的视差截面图中的特征合并起来，重新进行检测。
或者，在先前的检测中，例如仍以栅栏为例，如果霍夫变换或者最小二乘法拟合得到多条备选直线，则可以为各条备选直线赋予置信度，然后通过后续追踪的结果来验证或更新所选直线的置信度，或者如果发现所选择的直线不能很好地追踪后续视差截面图中的栅栏特征，则可以丢弃所选择的直线，而选择备选直线中的另一条直线来表征栅栏。
或者，如果利用先前检测的结果对后续的视差截面图中的特征追踪失败，则这也可能意味着路况发生了变化，例如由直路变成了弯路，此时可以考虑变换对栅栏端点的拟合模型，例如替代利用直线来拟合栅栏的上端点，改为用二次曲线来拟合栅栏的上端点。
前面以检测栅栏为例说明了本发明的基于视差截面图序列来检测物体的方法。不过这仅为示例，本发明并不局限于此，如前所述，可以应用于检测诸如路肩石、车道线、灌木、侧墙等沿距离方向连续的物体。而且，本发明也可以应用于检测诸如车辆、行人、楼房、路牌等相对非沿距离方向连续的物体，只是本发明特别适合于沿距离方向连续的物体的检测。
根据本发明实施例的方法提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。
3、第二实施例：视差方向上连续型物体检测装置
图9示出了根据本发明一个实施例的基于视差图的视差方向上连续型物体检测装置的总体配置2000的总体框图。
如图9所示，该视差方向上连续型物体检测装置2000可以包括：视差图获得部件2100，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件2200，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件2300，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件2400，用于基于各个视差截面图的特征序列识别物体。
有关视差方向上连续型物体检测装置的视差图获得部件2100、视差截面图获取部件2200、特征提取部件2300、物体识别部件2400的操作可以参考结合图5所示的流程图的各个步骤的描述，这里不再赘述。
4、***硬件配置
本发明还可以通过一种具有高度的连续型物体检测硬件***来实施。图10是示出按照本发明实施例的具有高度的连续型物体检测***1000的总体硬件框图。如图10所示，具有高度的连续型物体检测***1000可以包括：输入设备1100，用于从外部输入有关图像或信息，例如立体相机拍摄的左右图像或深度信息，或者连续型道路分割物部分的视差图等，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备1200，用于实施上述的按照本发明实施例的视差方向上连续型道路分割物检测方法，或者实施为上述的视差方向上连续型道路分割物检测装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络（未示出），根据处理过程的需要向远程传送处理后的图像等等；输出设备1300，用于向外部输出实施视差方向上连续型道路分割物检测所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备1400，用于以易失或非易失的方式存储上述视差方向上连续型道路分割物检测过程所涉及的图像、视差图、视差截面图、特征等等，例如可以包括随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
5、总结
根据本发明的实施例，提供了一种基于视差图的视差方向上连续型物体检测方法，包括：获得包括该连续型物体的视差图，该物体在视差方向上连续；按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；根据待检测物体的特性，从视差截面图中提取特征；以及基于各个视差截面图的特征序列识别物体。
所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图可以包括：按照与三维世界中的等距离对应的视差间隔来 获取视差截面图。
在该物体检测方法中，基于各个视差截面图的特征序列识别物体可以包括：确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
根据一个实施例，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及基于各个视差截面图的特征序列识别物体包括：将各个视差截面图中的竖直线段对应于一个视差图中对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
根据一个实施例，该物体检测方法还可以包括：在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
根据本发明另一方面，提供了一种基于视差图的视差方向上连续型物体检测装置，可以包括：视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及物体识别部件，用于基于各个视差截面图的特征序列识别物体。
根据本发明实施例的视差方向上连续型物体检测方法和装置提取出视差截面图序列，进行特征的提取和物体的识别，克服了对路面输入结果的依赖，具有更好的稳定性和适应性；有效的利用的物体空间连续性的特征，并且克服了直接检测由背景干扰产生的误检或者漏检，或者通过UV视差图检测由于遮挡或噪声所产生的误检或者漏检情况，会取得更理想的检测效果。
前述对各个实施例描述仅为说明性的，本领域技术人员可以根据需要进行很多修改和/或替换，这些修改和/或替换未脱离本发明的原理，应视为落入 本发明的保护范围。
再例如，前述实施例中以栅栏为例说明本发明的技术，不过本发明不限于此，而是可以应用于检测任何具有视差方向上连续型道路分割物，例如灌木、路肩石、车道线等。更进一步地，实际上，本发明也不限于视差方向上连续型道路分割物的检测，而是可以应用于检测任何物体。只不过，本发明特别适用于检测视差方向上的重复切片具有类似性的任何物体。
此外，前述实施例中，以视差截面图与地面垂直为例进行说明。不过，如前所述，这仅为描述方便进行此假设，实际上，在立体相机的光轴与地面不平行的情况下，视差截面图与对面并不垂直，但是此时本发明仍然适用。
以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种基于视差图的视差方向上连续型物体检测方法，包括：
获得包括该连续型物体的视差图，该物体在视差方向上连续；
按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；
根据待检测物体的特性，从视差截面图中提取特征；以及
基于各个视差截面图的特征序列识别物体，
其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，
所述根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及
基于各个视差截面图的特征序列识别物体包括：
将各个视差截面图中的竖直线段对应于一个视差图中，
对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；
判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及
如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
2.如权利要求1所述的物体检测方法，所述按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图包括：
按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
3.如权利要求1所述的物体检测方法，其中，从视差截面图中提取的特征包括：基于物体实际的高度或者宽度与视差值成正比例关系的特性，确定在对应的视差截面图中物体的高度或者宽度，从而选择对应尺寸的特征。
4.如权利要求1所述的物体检测方法，基于各个视差截面图的特征序列识别物体包括：
确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及在位置上的连续性。
5.如权利要求1所述的物体检测方法，在根据预定数目的视差截面图识别出物体之后，根据视差连续性的特征对后续视差截面图中的物体特征进行预测和选取。
6.一种基于视差图的视差方向上连续型物体检测装置，包括：
视差图获得部件，用于获得包括该连续型物体的视差图，该物体在视差方向上连续；
视差截面图获取部件，用于按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图，其中视差截面图是与确定视差值对应或与确定视差值范围对应的所有视差点形成的视差图横截面；
特征提取部件，用于根据待检测物体的特性，从视差截面图中提取特征；以及
物体识别部件，用于基于各个视差截面图的特征序列识别物体，
其中，待检测的物体为栅栏、路肩石、灌木、侧墙中的至少一种，
所述特征提取部件根据待检测物体的特性从视差截面图中提取特征包括从视差截面图中提取高度满足预定范围的竖直线段；以及
所述物体识别部件基于各个视差截面图的特征序列识别物体包括：
将各个视差截面图中的竖直线段对应于一个视差图中，
对线段序列的上部端点进行直线拟合，以及对线段序列的下部端点构成的序列进行直线拟合；
判断由上部端点序列拟合形成的线是否基本为直线，以及由下部端点啮合形成的线是否基本为直线；以及
如果由上部端点连接形成的线基本为直线，以及由下部端点彼此连接形成的线基本为直线，则确定该上下两直线表征栅栏、路肩石、灌木、侧墙中的一种。
7.如权利要求6所述的物体检测装置，所述视差截面图获取部件按照视差由大及小的顺序，获取与各个视差对应或与各个视差范围对应的视差截面图包括：
按照与三维世界中的等距离对应的视差间隔来获取视差截面图。
8.如权利要求6所述的物体检测装置，物体识别部件基于各个视差截面图的特征序列识别物体包括：
确定就视差而言相邻的视差截面图中相应特征在形状上的相似度以及位置上的连续性。
CN201210535689.9A 2012-12-12 2012-12-12 基于视差图的视差方向上连续型物体检测方法和装置 Expired - Fee Related CN103871042B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210535689.9A CN103871042B (zh) 2012-12-12 2012-12-12 基于视差图的视差方向上连续型物体检测方法和装置
EP13195549.4A EP2743861B1 (en) 2012-12-12 2013-12-03 Method and device for detecting continuous object in disparity direction based on disparity map
JP2013255176A JP6340781B2 (ja) 2012-12-12 2013-12-10 視差図による視差方向連続型物体検知方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210535689.9A CN103871042B (zh) 2012-12-12 2012-12-12 基于视差图的视差方向上连续型物体检测方法和装置

Publications (2)

Publication Number Publication Date
CN103871042A CN103871042A (zh) 2014-06-18
CN103871042B true CN103871042B (zh) 2016-12-07

Family

ID=50023363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210535689.9A Expired - Fee Related CN103871042B (zh) 2012-12-12 2012-12-12 基于视差图的视差方向上连续型物体检测方法和装置

Country Status (3)

Country Link
EP (1) EP2743861B1 (zh)
JP (1) JP6340781B2 (zh)
CN (1) CN103871042B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339659A (zh) * 2015-07-10 2017-01-18 株式会社理光 检测道路分割物的方法和装置
JP6601506B2 (ja) * 2015-12-28 2019-11-06 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
CN105681861A (zh) * 2016-03-04 2016-06-15 青岛海信电器股份有限公司 一种终端显示字幕的调节方法和***
CN107766847B (zh) * 2017-11-21 2020-10-30 海信集团有限公司 一种车道线检测方法及装置
CN107958226B (zh) * 2017-12-15 2020-05-22 海信集团有限公司 一种道路曲线检测方法、装置和终端
CN108416305B (zh) * 2018-03-12 2020-12-01 海信集团有限公司 连续型道路分割物的位姿估计方法、装置及终端
CN110728710B (zh) * 2018-07-16 2023-10-27 株式会社理光 视觉里程计算方法、装置和计算机可读存储介质
CN110276322B (zh) * 2019-06-26 2022-01-07 湖北亿咖通科技有限公司 一种结合车机闲散资源的图像处理方法及装置
CN111310663A (zh) * 2020-02-17 2020-06-19 北京三快在线科技有限公司 道路栅栏检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547376A (zh) * 2008-03-28 2009-09-30 株式会社东芝 多视差图像生成装置以及方法
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259997A (ja) * 1999-03-05 2000-09-22 Nissan Motor Co Ltd 先行車の高さおよび車間距離計測装置
JP3785456B2 (ja) * 2002-07-25 2006-06-14 独立行政法人産業技術総合研究所 駅ホームにおける安全監視装置
JP4466366B2 (ja) * 2004-12-27 2010-05-26 パナソニック電工株式会社 距離画像を用いた人体検知方法および人体検知装置
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP5012522B2 (ja) * 2008-01-15 2012-08-29 株式会社豊田中央研究所 路側境界面検出装置
JP2009186301A (ja) * 2008-02-06 2009-08-20 Mazda Motor Corp 車両用物体検出装置
DE102009009047A1 (de) * 2009-02-16 2010-08-19 Daimler Ag Verfahren zur Objektdetektion
EP2602761A4 (en) * 2010-08-03 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Object detection device, object detection method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547376A (zh) * 2008-03-28 2009-09-30 株式会社东芝 多视差图像生成装置以及方法
CN101739553A (zh) * 2009-12-10 2010-06-16 青岛海信网络科技股份有限公司 一种视差图像中目标识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A complete U-V-disparity study for stereovision based 3D driving environment analysis;Zhencheng Hu et al;《3-D Digital Imaging and Modeling》;20050616;第204-211页 *
Detection of non-flat ground surfaces using V-disparity images;J. Zhao et al;《Intelligent Robots and Systems》;20091015;第4584-4589页 *
U-V-disparity: an efficient algorithm for stereovision based scene analysis;Z. Hu et al;《Intelligent Vehicels Symposium》;20050608;第48-54页 *
基于视差平面分割的移动机器人障碍物地图构建方法;宋鑫坤等;《机器人》;20100315;第32卷(第2期);第171-178页 *

Also Published As

Publication number Publication date
EP2743861A2 (en) 2014-06-18
CN103871042A (zh) 2014-06-18
EP2743861B1 (en) 2019-02-06
EP2743861A3 (en) 2016-05-11
JP6340781B2 (ja) 2018-06-13
JP2014120167A (ja) 2014-06-30

Similar Documents

Publication Publication Date Title
CN103871042B (zh) 基于视差图的视差方向上连续型物体检测方法和装置
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
CN103390269B (zh) 连续型道路分割物检测方法和装置
Son et al. Real-time illumination invariant lane detection for lane departure warning system
Oniga et al. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection
JP6442834B2 (ja) 路面高度形状推定方法とシステム
JPH10143659A (ja) 物体検出装置
Vitor et al. A 2d/3d vision based approach applied to road detection in urban environments
KR20170104287A (ko) 주행 가능 영역 인식 장치 및 그것의 주행 가능 영역 인식 방법
CN110197173B (zh) 一种基于双目视觉的路沿检测方法
Soheilian et al. 3D road marking reconstruction from street-level calibrated stereo pairs
Yuan et al. Road segmentation in aerial images by exploiting road vector data
CN106446785A (zh) 基于双目视觉的可行道路检测方法
Yoo et al. Real-time rear obstacle detection using reliable disparity for driver assistance
EP2677462B1 (en) Method and apparatus for segmenting object area
CN117037103A (zh) 一种道路检测方法和装置
Kühnl et al. Visio-spatial road boundary detection for unmarked urban and rural roads
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
Barua et al. An Efficient Method of Lane Detection and Tracking for Highway Safety
Philipsen et al. Day and night-time drive analysis using stereo vision for naturalistic driving studies
Romdhane et al. Combined 2d/3d traffic signs recognition and distance estimation
CN104252707A (zh) 对象检测方法和装置
Lu et al. Monocular multi-kernel based lane marking detection
Teoh et al. Ground plane detection for autonomous vehicle in rainforest terrain
Mandal et al. Automated management of pothole related disasters using image processing and geotagging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

Termination date: 20201212