CN104112268A - 稀疏视差图像处理方法和装置以及物体检测方法和装置 - Google Patents

稀疏视差图像处理方法和装置以及物体检测方法和装置 Download PDF

Info

Publication number
CN104112268A
CN104112268A CN201310141351.XA CN201310141351A CN104112268A CN 104112268 A CN104112268 A CN 104112268A CN 201310141351 A CN201310141351 A CN 201310141351A CN 104112268 A CN104112268 A CN 104112268A
Authority
CN
China
Prior art keywords
point
parallax
vertical direction
horizontal direction
starting point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310141351.XA
Other languages
English (en)
Inventor
刘殿超
刘媛
陈超
师忠超
鲁耀杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201310141351.XA priority Critical patent/CN104112268A/zh
Priority to JP2014087358A priority patent/JP2014216016A/ja
Priority to EP14165403.8A priority patent/EP2797033A1/en
Publication of CN104112268A publication Critical patent/CN104112268A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

提供了适于物体检测的稀疏视差图像处理方法和装置和基于此的物体检测方法和装置。该稀疏视差图像处理方法包括:获得要从中检测预定物体的视差图像;确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;确定水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及确定垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。本发明能够获得适于物体检测的视差点被填充的图像,有利于物体检测。

Description

稀疏视差图像处理方法和装置以及物体检测方法和装置
技术领域
本发明总体地涉及视差图像处理,更具体地涉及稀疏视差图像处理方法和装置和基于其的物体检测方法和装置。
背景技术
已经开发了许多基于视差图像检测物体的方法,例如基于视差图像检测道路上的车辆、栅栏等。
但是,有时,由于相机的性能限制或者场景本身的特性等因素,可能会得到视差点比较稀疏的视差图,后文称之为稀疏视差图。由于稀疏视差图效应,可能使得难于检测到物体如车辆等。而且,实践中,常常需要将原始视差图进行水平方向或垂直方向上的投影来得到U视差图或V视差图,然后在U视差图或V视差图上进行物体检测,这时常常由于U或V投影导致的遮挡或者因为视差点稀疏使得U或V视差图上物体特征很弱,从而使得难以检测物体。例如,在作者为Zhencheng Hu,Francisco Lamosa and Keiichi Uchimura,题为“A Complete U-V-Disparity Study for Stereovision Based3D DrivingEnvironment Analysis”发表于2005年第5届3D数字成像和建模世界大会(Proceedings of the Fifth International Conference on3-D Digital Imaging andModeling2005)上的文章介绍了根据UV视差图平面特性进行物体定位和分割检测的方法。
在发明人为HRL LABORATORIES,LLC的Owechko,Yuri等的题为“Method and apparatus for three-dimensional shape estimation using constraineddisparity propagation”的美国专利US7561732中公开了一种基于受限制的视差图膨胀方法的估计物体三维形状的方法和装置,其中从物体特征开始估计视差值,进而前进到从非物体特征估计视差值,接下来根据视差值限制进行反复的估计物体视差值的估计,直到趋于稳定,最后估计出物体三维形状和对应的视差图。
发明内容
希望提供更适于物体检测的稀疏视差图像处理方法和装置和基于此的物体检测方法和装置。
根据本发明的一个方面,提供了一种基于待检测的预定物体的特性处理稀疏视差图像的方法,可以包括:获得要从中检测预定物体的视差图像;基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
根据本发明的另一方面,提供了一种基于稀疏视差图像的物体检测方法,可以包括:获得要从中检测预定物体的视差图像;基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;分割经填充处理后的视差图像;以及根据待检测物体的特性对于分割的区域进行物体检测。
根据本发明的另一方面,提供了一种基于待检测的预定物体的特性处理稀疏视差图像的装置,可以包括:视差图像获得部件,获得要从中检测预定物体的视差图像;水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
根据本发明的再一方面,提供了一种基于稀疏视差图像的物体检测装置,可以包括:视差图像获得部件,获得要从中检测预定物体的视差图像;水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;分割部件,分割经填充处理后的视差图像;以及物体检测部件,根据待检测物体的特性对于分割的区域进行物体检测。
根据本发明上述实施例的稀疏视差图像处理方法、装置以及包括这样的稀疏视差图像处理的物体检测方法和装置,通过基于要检测的物体在水平方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂直方向上的距离限制和视差差异限制,并基于所确定的水平方向上的限制来对视差图像进行水平方向上的视差点填充,以及基于所确定的垂直方向上的限制来对视差图像进行垂直方向上的视差点填充,使得能够获得适于物体检测的视差点被填充的图像,从而适合于在此填充了视差点的图像上直接进行物体检测。
附图说明
在附图中图示各种示例实施例,意图这些例子不是限制性的。应理解,为了图示的简化和清楚,以下引用的图中所示的元件不一定被画成成比例的。而且,在认为适当时,可以在附图之间重复使用附图标记来指示相同的、对应的或类似的元件。在附图中:
图1示出了根据本发明实施例的示例性稀疏视差图像处理方法的总体流程。
图2示出了根据本发明一个实施例的水平方向上的视差点填充处理方法的流程图。
图3的(a)表示一个示例性的原始视差图,(b)表示经过示例性的水平方向的视差填充处理或者说x-connect处理后的视差图。
图4示出了根据本发明一个实施例的垂直方向上的视差点填充处理方法1500的流程图。
图5的(a)表示一个示例性的原始视差图,(b)表示经过示例性的垂直方向的视差填充处理或者说y-connect处理后的视差图。
图6中的(a)是图4的(b)的x-connect连接后的结果,图6中的(b)是对图6中的(a)进行示例性y-connect处理后的结果。
图7示出了根据本发明一个实施例的基于稀疏视差图像的物体检测方法2000的流程图。
图8中的(a)示意性地示出了原始灰度图像连同其上检测到的视差点,视差点为其中的浅色毛刺型点;图8中的(b)示意性地示出了对原始视差图进行水平方向上的空白视差点填充后得到的视差图;图8中的(c)示意性地示出了对于图8(b)中的视差图进行垂直方向上的空白视差点填充后得到的视差图;图8中的(d)示意性地示出了对于图8(c)中的视差图进行水平方向上的空白视差点填充后得到的视差图;图8中的(e)示意性地示出了对于图8(d)中的视差图进行垂直方向上的空白视差点填充并且经区域分割后得到的示意性结果;图8中的(f)示意性地示出了在图像分割后的物体检测结果。
图9示出了根据本发明一个实施例的稀疏视差图像处理装置3000的示例性配置框图。
图10示出了根据本发明一个实施例的基于稀疏视差图像的物体检测装置4000的示例性配置框图。
图11是示出按照本发明实施例的稀疏视差图像处理/物体检测***6000的硬件配置的概念图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。另外,为了避免混淆本发明的要点,对于一些本领域公知的技术将不做详细说明。
将按如下顺序进行描述:
1、稀疏视差图像处理方法示例
1.1、稀疏视差图像处理方法的总体流程示例
1.2、水平方向上的视差点填充处理方法示例
1.3、垂直方向上的视差点填充处理方法示例
2、基于稀疏视差图像的物体检测方法
3、稀疏视差图像处理装置
4、基于稀疏视差图像的物体检测装置
5、***硬件配置
6、总结
1、稀疏视差图像处理方法示例
1.1、稀疏视差图像处理方法的总体流程示例
下面参考图1描述根据本发明实施例的稀疏视差图像处理方法1000的总体流程示例。
图1示出了根据本发明实施例的示例性稀疏视差图像处理方法的总体流程。
如图1所示,在步骤S1100中,获得要从中检测预定物体的视差图像。
任何现有的获取视差图的方法均可以用于本发明。例如,可以通过双目相机、多目相机、立体相机拍摄并计算得到包括该连续型道路分割物部分的视差图,具体地,例如,可以通过双目相机来拍得左图像和右图像,基于左图像和右图像计算得到视差图。或者,可以从立体视图中获得深度图,根据深度图得到视差图。
另外,该视差图也可以是经由网络如无线网络从本地或远程传送来的。
在步骤S1200中,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制。
根据一个示例,确定作为填充基础的起始点和终止点的对之间在水平方向上的距离应该小于预定水平距离上限阈值,以及起始点和终止点的对之间在视差上的绝对差应该小于预定视差差异上限阈值。以双目相机对着汽车尾部拍摄得到的视差图为例,此时考虑到汽车尾部左右边界之间的距离,可以设置上述预定水平距离上限阈值对应于汽车尾部左右边界之间距离;同时考虑到去除例如旗杆、柱子之类的竖直孤立物体的干扰的目的,这些干扰通常是宽度较小的物体,可以设置预定水平距离下限阈值,即只有作为填充基础的起始点和终止点的对之间在水平方向上的距离同时大于预定水平距离下限阈值时,才可能被选择作为合格的填充基础。
在步骤S1300中,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充。
根据一个示例,在进行水平方向上的视差点填充之前,可以进行垂直方向的边缘检测以定位物体的垂直边界;其中,所述水平方向上的视差点填充是在物体的垂直边界的范围内进行的。这样可以提到视差填充的效率。
后面将参考图2和图3详细描述水平方向上视差点填充的操作方法示例。
在步骤S1400中,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制。
与上述步骤S1200中的操作类似,此步骤的不同在于是针对垂直方向的视差点填充来确定距离限制和视差差异限制。
根据一个示例,确定作为填充基础的起始点和终止点的对之间在垂直方向上的距离应该小于预定垂直距离上限阈值,以及起始点和终止点的对之间在视差上的绝对差应该小于预定视差差异上限阈值。以双目相机对着汽车尾部拍摄得到的视差图为例,此时考虑到汽车尾部上下边界之间的距离,可以设置上述预定水平距离上限阈值对应于汽车尾部上下边界之间距离;同时考虑到去除例如车道线之类的物体的干扰的目的,这些干扰通常是高度较小且视差在垂直方向上渐变的物体,可以设置预定垂直距离下限阈值,即只有作为填充基础的起始点和终止点的对之间在垂直方向上的距离同时大于预定垂直距离下限阈值时,才可能被选择作为合格的填充基础。
在步骤S1500中,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的视差点的填充。
后面将参考图4、5、6详细描述垂直方向上视差点填充的操作方法示例。
在一个示例中,在视差点的填充过程中,同时进行噪声的删除处理。具体地,在确定水平方向上和/或垂直方向上的作为填充基础的起始点和终止点的对的过程中,可以去除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点。例如,以检测车辆为例,在进行垂直方向上的作为填充基础的起始点和终止点的对的过程中,如果发现位于视差图较底部的视差在垂直方向上渐变的连续视差点,可以认为其倾向于表示车道线等物体,而将其从视差图上去除。
另外,在一个示例中,所述填充的视差点可以被赋予相关联的置信度值,在进行水平方向上一行或垂直方向上一列的视差点填充时,如果一个空白视差点能够以较多对起始点和终止点为基础进行填充,则该填充的视差点被赋予较高的置信度。后面将在结合图2、3的水平方向上的视差填充处理和结合图4、5、6的垂直方向上的视差填充处理中具体详细描述为填充的视差点赋予置信度的示例。
需要说明的是,在图1中示出为水平方向上的视差点填充步骤S1300位于垂直方向上的视差点填充步骤S1500之前,不过这并不是意味着对两者实际执行顺序上的限制。实际上,可以根据待检测物体的特性和视差图的特点来决定水平方向视差点填充和垂直方向视差点填充两者之间的先后顺序。
根据一个示例,当待检测的预定物体在水平方向上特征缺乏时,如缺乏水平边界时,可以首先进行水平方向上的视差点填充,然后进行垂直方向上的视差点填充。例如,当双目相机正对着前面一个车辆的尾部时,则所拍摄的车辆的视差图通常具有较清晰的垂直方向的边缘(即,左右边界,即物体左侧和右侧的在垂直方向上延伸的边界)而在水平方向的边缘(上下边界)可能相对不那么清晰。同时考虑到这样的车辆后部水平方向上的视差值应相近,因此可能较适合对这样的检测对象首先进行水平方向上的视差点填充,由此可以确保增加有效视差点。
根据另一个示例,当待检测的预定物体在垂直方向上特征缺乏时,可以首先进行垂直方向上的视差点填充,然后进行水平方向上的视差点填充。
另外,需要说明的是,水平方向上的视差点填充和/或垂直方向上的视差点填充可以重复进行,直到获得较满意的视差图像为止。另外,根据一个示例,可以针对每次填充处理之后获得的视差图像进行物体检测,并基于物体检测的结果来判定是否继续重复进行水平方向或垂直方向上的视差点填充。
根据本发明上述实施例的稀疏视差图像处理方法,通过基于要检测的物体在水平方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂直方向上的距离限制和视差差异限制,并基于所确定的水平方向上的限制来对视差图像进行水平方向上的视差点填充,以及基于所确定的垂直方向上的限制来对视差图像进行垂直方向上的视差点填充,使得能够获得适于物体检测的视差点被填充的图像,从而适合于在此填充了视差点的图像上直接进行物体检测。
在得到经图1所示的稀疏视差图像处理方法处理后的视差图像后,可以分割经填充处理后的视差图像;以及根据待检测物体的特性对于分割的区域进行物体检测。后面将结合图7对于包括稀疏视差图填充处理的物体检测方法进行详细描述。
在图8的(a)到(f)中给出了根据一个示例的应用本发明实施例的稀疏视差图像处理方法处理结果以及基于这样的处理后的图像进行分割和物体检测的效果图。图8中的(a)示意性地示出了原始灰度图像连同其上检测到的视差点,视差点为其中的浅色毛刺型点。图8中的(b)示意性地示出了对原始视差图进行水平方向上的视差点填充后得到的视差图,可见其中很多横线缺失的视差点被填充出来了。图8中的(c)示意性地示出了对于图8(b)中的视差图进行垂直方向上的视差点填充后得到的视差图。图8中的(d)示意性地示出了对于图8(c)中的视差图进行水平方向上的视差点填充后得到的视差图。图8中的(e)示意性地示出了对于图8(d)中的视差图进行垂直方向上的视差点填充后得到的视差图以及以矩形框示出的图像分割结果。图8中的(f)示意性地示出了在图像分割后的物体检测结果。
1.2、水平方向上的视差点填充处理方法示例
下面参考图2描述根据本发明一个实施例的水平方向上的视差点填充处理方法1300,该方法1300可以应用于图1所示的步骤S1300。下文为描述方便,水平方向上的视差点填充处理也称为x-connect处理,即如名字所暗示的,水平方向上的视差点填充处理类似于在水平方向即x方向上的起始点和结束点之间的连接处理。
图2示出了根据本发明一个实施例的水平方向上的视差点填充处理方法的流程图。
如图2所示,在步骤S1301处,***开始扫描读取视差图中的每一行,扫描顺序可以是从顶部到底部或者从底部到顶部。
然后在步骤S1302处,判断是否有新的一行,并且如果有新的一行,新的一行将被读取以供后续处理,否则x-connect处理在此处终止。
在步骤S1303处,水平的遍历每一行的视差点,从左到右或从右到左,来逐个判断视差点的值,视差值为0可以视为无视差值,也可称为无视差点。在本示例中,扫描顺序为从左到右。
在步骤S1304处,如果一个视差点存在,则前进到步骤S1305,如果没有视差点则返回步骤S1301开始新的一行的扫描。
在步骤S1305处,将步骤S1304处判定存在的视差点设置为起始点Ps(i),此处i表示成对的起始点和终止点的对数。
在步骤S1306处,继续水平方向上向右水平搜索以寻找满足距离和视差差异限制的相邻视差点Ptmp。
在步骤S1307处判断是否存在满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp存在。有关距离限制和视差差异上的限制如前文结合图1的步骤S1200所描述的那样得到。例如,在一个示例中,起始点和终止点之间在水平方向上的距离设定为应该小于等于9个像素,此处距离的限制可以由待检测物体的水平方向上尺寸特征进行调整。在一个示例中,起始点和终止点的视差值之间的差设定为应例如小于等于5,此处的视差值之差的限制可以根据被检测物体的位置和纵深上视差值分布来调整。
如果在步骤S1307中判定存在满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp,则前进到步骤S1308。
在步骤S1308处将这个新视差点Ptmp设置为对应的终止点Pn(i),之后返回到步骤S1306处继续向右寻找是否有新的满足与起始点Ps(i)在距离上和视差值上的限制的可对应于该起始点的终止点。在本示例中,会以最后一个找到的满足与起始点Ps(i)在距离上和视差值上的限制的点作为终止点。
如果在步骤S1307处判断未找到满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp,则前进到步骤S1309。
在步骤S1309,判断是否找到与起始点Ps(i)对应的终止点Pn(i)。
如果在步骤S1309中确定没有找到与Ps(i)对应的终止点Pn(i)(步骤S1309中的否),则返回到步骤S1303,继续在原行上向右(假定扫描方向是从左向右的话)扫描寻找视差点,在本示例中,从搜索Ps(i)的终止点过程中最后碰到的点起继续向右扫描寻找视差点。
如果在步骤S1309确定找到了与Ps(i)对应的终止点Pn(i)(步骤S1309中的是),则前进到步骤S1310。
在步骤S1310中,将起始点与终止点之间的视差点进行填充赋值,赋值可以全部等于起始点Ps(i)或终止点Pn(i),或他们中间的一个值,例如平均值,或者也可以等于渐变的数值来更好的平滑连接的视差值。这里,对于起始点和终止点之间存在的非空视差点,可以保留原值不变,或者替代地可以将其视为空视差点同样进行填充处理。在本示例中,对于起始点和终止点之间存在的非空视差点,保留原值不变。在步骤S1310后,前进到步骤S1311。
在步骤S1311中,将终止点Pn(i)设置为新起始点,然后返回到步骤S1306,从而继续在该行沿原方向进行水平搜索以寻找与此新起始点之间满足距离和视差差异限制的可能作为终止点候选的视差点。
如此继续下去,直到对所有行都进行了扫描和可能的填充操作。
为了更好地理解x-connect处理,下面结合图3举了一个具体操作示例:图3中的表格代表一张视差图,表格中的数值代表各像素点存在的视差值,任务目标是用x-connect方法将该视差图进行连接处理。这里,假设距离限制为小于等于9个像素,视差值差限制为5。图3的(a)表示一个示例性的原始视差图,(b)表示经过示例性的水平方向的视差填充处理或者说x-connect处理后的视差图。
如前所述,在水平方向上的视差点填充前,可以包括一些前处理以提高效率,例如先进行垂直主体边缘或者强边缘检测,用来定位物体的垂直边界,这样可以帮助去除噪声,而且后续将仅在垂直边界内部进行水平方向上的视差点填充处理,从而可以提高x-connect方法的效率。垂直边界检测例如可以用Sobel边界检测。
参照图3,根据一个示例,x-connect方法可以如下进行:从左上角第一行虚线方框标注的视差值为23的视差点开始,也是起始点,开始水平向右寻找,先后找到右侧相邻的两个虚线矩形框对应的视差值为19和22的点,他们都满足距离和视差值差的限制,并且再向右已经没有满足要求的视差点,在本示例中可以以值为22的视差点为终止点,起始点和终止点之间的空的视差值将被填充,填充的值是起始点和终止点的视差的平均值。在本示例中,假设距离限制为小于等于9个像素,视差值差限制为5。在第2行和第5行上的另外两个实线矩形框标注的视差值为61和58的两个视差点由于不满足视差值要求,将不进行处理;还有倒数第二行的两个实线矩形框标注的视差值为19的视差点,由于之间距离不满足距离限制,因此不进行处理。这里,圈以实线框的视差值表示在进行起始点或终止点的扫描过程中该视差值不符合用作起始点或终止点的视差值候选的要求。第一行中的圈以虚线框的视差值用于举例指示该视差值符合用作起始点或终止点的视差值候选的要求。图3中的椭圆表示检测出来的主要垂直边界,在本示例中的水平方向上视差点填充处理机x-connect处理从边界上开始。
另外,在一个示例中,在实际操作过程中,为了提高连接性能,可以增加设置视差值的置信度。例如,如图3所示,第一行中的“23/1”表示该点的视差值为23,置信度为1(即,表示原始存在的视差点),接下来的“21/0.6”表示该点的视差值为21,置信度为0.6(经填充得到的视差值,其置信度为0.6)。
一般地,在进行水平方向上一行的视差点填充时,如果一个空白视差点能够以较多对起始点和终止点为基础进行填充,则该填充的视差点被赋予较高的置信度。
在一个示例中,置信度的设置规则可以是如下所述:从起始点开始找到一个符合要求的视差点终止点,则中间新连接赋值的视差点被设置成0.5,如果找到终止点后继续向右寻找直到找到距离限制(例如设置为12个像素点)处,看是否有新的视差点符合要求,如果有则设置新的点为终止点,同时中间新连接赋值的视差点的置信度增加0.1。根据一个示例,也可以设置惩罚措施,例如不满足要求置信度下调,或者其他的调整方式。原始视差点的置信度被设置成1.0,并且不会因为x-connect处理而改变。
这样置信度给出了在规定的距离限制和视差值差限制之内新连接出现的视差点的可靠性的度量。为视差值赋予置信度的一个好处在于,后续的处理或者检测操作可以根据置信度进行酌情处理,例如信赖度高于0.7的才被用来检测等等。
图8中的(b)示意性地示出了对原始视差图进行水平方向上的空白视差点填充后得到的视差图,可见其中很多横线缺失的视差点被填充出来了。
1.3、垂直方向上的视差点填充处理方法示例
下面参考图4描述根据本发明一个实施例的垂直方向上的视差点填充处理方法1500,该方法1500可以应用于图1所示的步骤S1500。下文为描述方便,垂直方向上的视差点填充处理也称为y-connect处理,即如名字所暗示的,垂直方向上的视差点填充处理类似于在垂直方向即y方向上的起始点和结束点之间的连接处理。
图4示出了根据本发明一个实施例的垂直方向上的视差点填充处理方法1500的流程图。图4所示的示例性的y-connect处理与前文参考图2描述的x-connect处理类似,不过是在垂直方向上即y方向上进行的。
如图4所示,在步骤S1501处,***开始扫描读取视差图中的每一列,扫描顺序可以是从左到右或者从右到左。
然后在步骤S1502处,判断是否有新的一列,并且如果有新的一列,新的一列将被读取以供后续处理,否则x-connect处理在此处终止。
在步骤S1503处,垂直地遍历每一列的视差点,来逐个判断视差点的值,视差值为0可以视为无视差值,也可称为无视差点。这里,遍历方向可以是从上到下或从下到上,在本示例中,假设遍历方向是从上到下。
在步骤S1504处,如果一个视差点存在,则前进到步骤S1505,如果没有视差点则返回步骤S1501开始新的一列的扫描。
在步骤S1505处,将步骤S1504处判定存在的视差点设置为起始点Ps(i),此处i表示成对的起始点和终止点的对数。
在步骤S1506处,继续垂直方向上向下垂直搜索以寻找满足距离和视差差异限制的相邻视差点Ptmp。
在步骤S1507处判断是否存在满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp存在。
有关距离限制和视差差异上的限制如前文结合图1的步骤S1200所描述的那样得到。例如,在一个示例中,起始点和终止点之间在垂直方向上的距离应该小于等于9个像素,此处距离的限制可以由待检测物体的垂直方向上尺寸特征进行调整。在一个示例中,起始点和终止点的视差值之间的差例如小于等于5,此处的视差值之差的限制可以根据被检测物体的位置和纵深上视差值分布来调整。另外,在一个示例中,垂直方向上距离限制还包括大于等于4个像素。此处距离限制设置不同于上文结合x-connect连接的距离限制,这是基于针对检测物体要求而变化的:由于视差图在垂直方向上的会有地面影响,造成视差图纵向上的延伸,因此为了避免地面渐变的视差点被不必要的连接,所以加上大于等于最小值4这个限制。一般而言,当视差图上存在不是待检测对象的、视差在垂直方向上渐变的对象时,所述垂直方向上的距离限制包括起始点和终止点的对之间的垂直距离大于预定正数。类似的,如果为了避免垂直的面在x-connect造成的影响,则也可以在前文所述的x-connect方法中加上距离最小值限制。
如果在步骤S1507中判定存在满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp,则前进到步骤S1508。
在步骤S1508处将这个新视差点Ptmp设置为对应的终止点Pn(i),之后返回到步骤S1506处继续向下寻找是否有新的满足与起始点Ps(i)在距离上和视差值上的限制的可对应于该起始点的终止点。在本示例中,会以最后一个找到的满足与起始点Ps(i)在距离上和视差值上的限制的点作为终止点。
如果在步骤S1507处判断未找到满足与起始点Ps(i)在距离上和视差值上的限制的新视差点Ptmp,则前进到步骤S1509。
在步骤S1509,判断是否找到与起始点Ps(i)对应的终止点Pn(i)。
如果在步骤S1509中确定没有找到与Ps(i)对应的终止点Pn(i)(步骤S1509中的否),则返回到步骤S1503,继续在原列中向下(假定扫描方向是从上向下的话,反之亦然)扫描寻找视差点,在本示例中从搜索Ps(i)的终止点过程中最后碰到的点起继续向下扫描寻找视差点。
如果在步骤S1509确定找到了与Ps(i)对应的终止点Pn(i)(步骤S1509中的是),则前进到步骤S1510。
在步骤S1510中,将起始点与终止点之间的空视差点进行填充赋值。赋值可以全部等于起始点Ps(i)或终止点Pn(i),或他们中间的一个值,例如平均值,或者也可以等于渐变的数值来更好的平滑连接的视差值。这里,在本示例中,在填充过程中进行了去噪的处理,例如去除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点,去除的点例如可以是那些不满足连接要求的点,例如孤立的,或者短距离连续的像白线,而那些起始点和终止点,以及在它们之间的有效点将被保留。在步骤S1510后,前进到步骤S1511。
在步骤S1511中,将终止点Pn(i)设置为新起始点,然后返回到步骤S1506,从而继续在该行沿原方向进行垂直搜索以寻找与此新起始点之间满足距离和视差差异限制的可能作为终止点候选的视差点。
如此继续下去,直到对所有行都进行了扫描和可能的填充操作。
为了更好地理解y-connect处理,下面结合图5举了一个实施例:图5的表格代表一张视差图,里面的数值代表各像素点存在的视差值,任务目标是用y-connect方法将该视差图进行连接处理。此处的距离限制为小于等于12个像素并且大于等于4个像素,视差值差限制为5。如前所述,此处距离设置不同是因为针对检测物体要求而变化的:由于视差图在垂直方向上的会有地面影响,造成视差图纵向上的延伸,因此为了避免地面渐变的视差点被不必要的连接,所以加上大于等于最小值4这个限制。图5的(a)表示一个示例性的原始视差图,(b)表示经过示例性的垂直方向的视差填充处理或者说y-connect处理后的视差图,其中实线框标注的视差值表示满足连接要求的起始点,以及虚线框标注的视差值表示不满足连接要求的视差点。
参照图5,根据一个示例,y-connect方法可以如下进行:从左上角第2列的实线方框标注的视差值为20的视差点开始,也是起始点,***开始垂直的向下寻找,找到下面实线矩形框标注的视差值为22的点,满足距离和视差值差的限制,并且再向下已经没有满足要求的视差点,所以在值为22的视差点为终止点,他们中间的所有视差值将被填充,填充的值是他们相邻点的平均值。在第5列的两个虚线矩形框标注的视差值为61和24的视差点不满足距离和数值的要求;倒数第3列的两个虚线矩形框标注的视差值为18的两个视差点超出了距离限制,因此都不被连接处理,而且这样的不满足连接要求的原始视差点视为噪声不被保留。另外,在实际操作过程中,为了提高连接性能,可以增加设置视差值的置信度,并且设置方法可以同x-connect相似,这里不再赘述。
前面图5示出的是在原始视差图上进行y-connect连接的示例。
下面参考图6给出在图4的(b)的x-connect连接后进行y-connect连接的结果示例。其中图6中的(a)是图4的(b)的x-connect连接后的结果,其中的实线框标注的视差值表示满足连接要求的起始点,虚线框标注的视差值表示不满足连接要求的视差点;图6中的(b)是对图6中的(a)进行y-connect处理后的结果,其中实线框标注的视差值表示满足连接要求的起始点,以及虚线框标注的视差值表示不满足连接要求的视差点,由图6中的(b)可见,结果中去除了不满足连接要求的视为噪声的视差点,其中的图6中的(b)中的竖条形虚线方框表示由于该列中两个不满足要求的点(如图6中的(a)中的被虚线框标注的61/1和58/1所示)的存在,使得该整列具有很高的概率为噪声,因此去除了该整列。
需要说明的是,在本示例中,在检测路上车辆的背景下,在进行y-connect处理时,将不满足连接要求的原始视差点作为噪声去除。不过这仅为示例,而不是限制。可以根据检测对象的不同和实践的需要,而设计不同的噪声检测的准则并进行噪声去除。
这里,与x-connect连接类似,也可以增加设置视差值的置信度,并且一般地,在进行垂直方向上一行的视差点填充时,如果一个空白视差点能够以较多对起始点和终止点为基础进行填充,则该填充的视差点被赋予较高的置信度。
不过,由于此处y-connect在x-connect之后,因此此处操作的视差点有的已经是先前经过连接并且有置信度的。在一个示例中,在y-connect方法中新连接的视差点的置信度会乘以原来的置信度影响,例如当前置信度是Cc(i),上一步方法获得的起始点和终止点的置信度分别是Cs(i)和Cn(i),新的置信度可以是乘以前两者的平均值,Cc(i)x(Cs(i)+Cn(i))/2。
如此步骤下来操作整个视差图,新的视差图将会像图8中的(c)所示,很多垂直的线被连接起来,也就是垂直方向上填充了视差点。如图8中的(c)所示,车辆的主体部分在垂直方向上视差店得到了加强,在非车辆的地方例如车道线,很多视差点被去掉了。
2、基于稀疏视差图像的物体检测方法
下面参考图7描述根据本发明一个实施例的基于稀疏视差图像的物体检测方法。
图7示出了根据本发明一个实施例的基于稀疏视差图像的物体检测方法2000的流程图。
如图7所示,在步骤S2100中,获得要从中检测预定物体的视差图像。
在步骤S2200中,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制。
在步骤S2300中,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充。
在步骤S2400中,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制。
在步骤S2500中,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
在步骤S2600中,分割经填充处理后的视差图像。分割方法可以为现有的分割方法中的一种,例如CCA,k-means,等等。作为一个例子,可以使用一个基于CCA的分割方法。图8中的(e)示出了对于经填充处理的视差图像进行分割后的示意性效果图,其中各个矩形框代表分割结果,其中最大的矩形框代表作为最终的检测结果的车辆。在步骤S2600后,前进到步骤S2700。
在步骤S2700中,根据待检测物体的特性对于分割的区域进行物体检测。物体检测方法可以是任何现有的检测方法中的一种,例如基于颜色,梯度,对称性,物体尺寸位置等等。在一个示例中,考虑到车辆视差图的特殊性,可以采用一个非常简单的尺寸过滤的方法:宽度,高度和宽高比满足要求的分割出的区域被输出为检测结果。图8中的(f)就是视差图的检测结果对应在灰度图上的结果,其中最大的矩形框代表最终检测结果。
上述步骤S2100-S2500与结合图1描述的步骤S1100-S1500的功能和实现类似,这里不再赘述。
根据本发明上述实施例的基于稀疏视差图像的物体检测方法,因为通过基于要检测的物体在水平方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂直方向上的距离限制和视差差异限制,并基于所确定的水平方向上的限制来对视差图像进行水平方向上的视差点填充,以及基于所确定的垂直方向上的限制来对视差图像进行垂直方向上的视差点填充,使得能够获得适于物体检测的视差点被填充的图像,从而适合于在此填充了视差点的图像上直接进行物体检测,结果能够提高物体检测准确度。
3、稀疏视差图像处理装置
下面参考图9描述根据本发明一个实施例的稀疏视差图像处理装置的示例性配置。
图9示出了根据本发明一个实施例的稀疏视差图像处理装置3000的示例性配置框图。
如图9所示,稀疏视差图像处理装置3000可以包括:用于获得要从中检测预定物体的视差图像的视差图像获得部件3100和填充处理部件3200。填充处理部件3200可以包括:水平方向限制确定部件3210,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件3220,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件3230,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及垂直方向填充部件3240,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
关于视差图像获得部件3100和填充处理部件3200所包括的水平方向限制确定部件3210、水平方向填充部件3220、垂直方向限制确定部件3230以及垂直方向填充部件3240的功能和实现可以参考结合图1描述的步骤S1100-S1500的描述,这里省略其描述。
4、基于稀疏视差图像的物体检测装置
下面参考图10描述根据本发明一个实施例的基于稀疏视差图像的物体检测装置的示例性配置。
图10示出了根据本发明一个实施例的基于稀疏视差图像的物体检测装置4000的示例性配置框图。
如图10所示,物体检测装置4000可以包括:视差图像获得部件4100,用于获得要从中检测预定物体的视差图像;填充处理部件4200;分割部件4300,分割经填充处理后的视差图像;以及物体检测部件4400,根据待检测物体的特性对于分割的区域进行物体检测。填充处理部件4200可以包括:水平方向限制确定部件4210,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件4220,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件4230,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及垂直方向填充部件4240,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
关于视差图像获得部件3100和填充处理部件3200所包括的水平方向限制确定部件3210、水平方向填充部件3220、垂直方向限制确定部件3230以及垂直方向填充部件3240、分割部件3300和物体检测部件3400的功能和实现可以参考结合图7描述的步骤S2100-S2700的描述,这里省略其描述。
5、***硬件配置
本发明还可以通过一种能够实施上述处理稀疏视差图像的方法和物体检测方法的***来实施。图11是示出按照本发明实施例的稀疏视差图像处理/物体检测***6000的硬件配置的概念图。如图17所示,稀疏视差图像处理/物体检测***6000可以包括:输入设备6100,用于从外部输入将要处理的图像,例如双目相机拍摄的左右图像、立体相机拍摄的立体视频等,该输入设备例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等;处理设备6200,用于实施上述的按照本发明实施例的稀疏视差图像处理方法和/或物体检测方法,或者实施为上述的按照本发明实施例的稀疏视差图像处理装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要而从网络获取数据例如左右图像等等;输出设备6300,用于向外部输出实施上述稀疏视差图像处理/物体检测所得的结果,例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备6400,用于以易失或非易失的方式存储上述稀疏视差图像处理/物体检测过程所涉及的图像、所得的结果、命令、中间数据等等,例如视差图像、水平方向上的距离限制和视差差异限制、垂直方向上的距离限制和视差差异限制、水平填充结果、垂直填充结果、区域分割结果和物体检测结果等,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
6、总结
上文描述了根据本发明实施例的基于待检测的预定物体的特性处理稀疏视差图像的方法、装置和基于稀疏视差图像的物体检测方法和装置。
根据本发明的一个方面,基于待检测的预定物体的特性处理稀疏视差图像的方法可以包括:获得要从中检测预定物体的视差图像;基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
一种基于稀疏视差图像的物体检测方法可以包括:获得要从中检测预定物体的视差图像;基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;分割经填充处理后的视差图像;以及根据待检测物体的特性对于分割的区域进行物体检测。
一种基于待检测的预定物体的特性处理稀疏视差图像的装置可以包括:视差图像获得部件,获得要从中检测预定物体的视差图像;水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
一种基于稀疏视差图像的物体检测装置可以包括:视差图像获得部件,获得要从中检测预定物体的视差图像;水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;分割部件,分割经填充处理后的视差图像;以及物体检测部件,根据待检测物体的特性对于分割的区域进行物体检测。
根据本发明上述实施例的稀疏视差图像处理方法、装置以及包括这样的稀疏视差图像处理的物体检测方法和装置,通过基于要检测的物体在水平方向上的特性和垂直方向上的特性来确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上以及垂直方向上的距离限制和视差差异限制,并基于所确定的水平方向上的限制来对视差图像进行水平方向上的视差点填充,以及基于所确定的垂直方向上的限制来对视差图像进行垂直方向上的视差点填充,使得能够获得适于物体检测的视差点被填充的图像,从而适合于在此填充了视差点的图像上直接进行物体检测。
本发明实施例的描述仅为示例,本领域技术人员可以根据需要进行变化、替代或组合。
例如,前文以待检测的对象为车辆为例说明了基于待检测的预定物体的特性填充稀疏视差图像的处理,但是,这仅为示例,本发明并不局限于此,而是可以应用于待检测的对象为诸如栅栏、行人等的其他对象。
前文以先进行水平方向的填充(即x-connect)处理然后进行垂直方向的填充(即y-connect)处理为例说明了稀疏视差图像的填充处理。不过这仅为示例,根据待检测的对象和视差图像的特性等实际需要,可以先进行y-connect然后进行x-connect处理。而且x-connect和y-connect的重复次数也可以根据需要来设定。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且,执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行,但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (10)

1.一种基于待检测的预定物体的特性处理稀疏视差图像的方法,包括:
获得要从中检测预定物体的视差图像;
基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;
对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;
基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及
对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
2.根据权利要求1的处理稀疏视差图像的方法,还包括:
当待检测的预定物体在水平方向上特征缺乏时,首先进行水平方向上的视差点填充,然后进行垂直方向上的视差点填充。
3.根据权利要求1的处理稀疏视差图像的方法,还包括:
当待检测的预定物体在垂直方向上特征缺乏时,首先进行垂直方向上的视差点填充,然后进行水平方向上的视差点填充。
4.根据权利要求1的处理稀疏视差图像的方法,还包括:
在进行水平方向上的视差点填充之前,进行垂直方向的边缘检测以定位物体的垂直边界;
其中,所述水平方向上的视差点填充是在物体的垂直边界的范围内进行的。
5.根据权利要求1的处理稀疏视差图像的方法,其中:
当视差图上存在不是待检测对象的、视差在垂直方向上渐变的对象时,所述垂直方向上的距离限制包括起始点和终止点的对之间的垂直距离大于预定正数。
6.根据权利要求1的处理稀疏视差图像的方法,还包括:
在确定水平方向上和/或垂直方向上的作为填充基础的起始点和终止点的对的过程中,去除不可能作为填充基础且作为背景的可能性高于预定阈值的视差点。
7.根据权利要求1的处理稀疏视差图像的方法,其中:
所述填充的视差点具有相关联的置信度值,在进行水平方向上一行或垂直方向上一列的视差点填充时,如果一个空白视差点能够以较多对起始点和终止点为基础进行填充,则该填充的视差点被赋予较高的置信度。
8.一种基于稀疏视差图像的物体检测方法,包括:
获得要从中检测预定物体的视差图像;
基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;
对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;
基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;
对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;
分割经填充处理后的视差图像;以及
根据待检测物体的特性对于分割的区域进行物体检测。
9.一种基于待检测的预定物体的特性处理稀疏视差图像的装置,包括:
视差图像获得部件,获得要从中检测预定物体的视差图像;
水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;
水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;
垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;以及
垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充。
10.一种基于稀疏视差图像的物体检测装置,包括:
视差图像获得部件,获得要从中检测预定物体的视差图像;
水平方向限制确定部件,基于在视差图像的水平方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的水平方向上的距离限制和视差差异限制;
水平方向填充部件,对于视差图中水平方向上的各行,基于水平方向上的距离限制和视差差异限制,确定水平方向上的作为填充基础的起始点和终止点的对,基于水平方向上的作为填充基础的起始点和终止点的对,进行水平方向上位于起始点和终止点之间的空白视差点的填充;
垂直方向限制确定部件,基于在视差图像的垂直方向上要检测的物体的特性,确定作为填充基础的起始点和终止点的对之间应该满足的垂直方向上的距离限制和视差差异限制;
垂直方向填充部件,对于视差图中垂直方向上的各列,基于垂直方向上的距离限制和视差差异限制,确定垂直方向上的作为填充基础的起始点和终止点的对,基于垂直方向上的作为填充基础的起始点和终止点的对,进行垂直方向上位于起始点和终止点之间的空白视差点的填充;
分割部件,分割经填充处理后的视差图像;以及
物体检测部件,根据待检测物体的特性对于分割的区域进行物体检测。
CN201310141351.XA 2013-04-22 2013-04-22 稀疏视差图像处理方法和装置以及物体检测方法和装置 Pending CN104112268A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310141351.XA CN104112268A (zh) 2013-04-22 2013-04-22 稀疏视差图像处理方法和装置以及物体检测方法和装置
JP2014087358A JP2014216016A (ja) 2013-04-22 2014-04-21 疎視差画像処理方法及び装置、並びに物体検出方法及び装置
EP14165403.8A EP2797033A1 (en) 2013-04-22 2014-04-22 Method and apparatus for processing sparse disparity map, and method and apparatus for detecting object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310141351.XA CN104112268A (zh) 2013-04-22 2013-04-22 稀疏视差图像处理方法和装置以及物体检测方法和装置

Publications (1)

Publication Number Publication Date
CN104112268A true CN104112268A (zh) 2014-10-22

Family

ID=50624427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310141351.XA Pending CN104112268A (zh) 2013-04-22 2013-04-22 稀疏视差图像处理方法和装置以及物体检测方法和装置

Country Status (3)

Country Link
EP (1) EP2797033A1 (zh)
JP (1) JP2014216016A (zh)
CN (1) CN104112268A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107729856A (zh) * 2017-10-26 2018-02-23 海信集团有限公司 一种障碍物检测方法及装置
CN110633600A (zh) * 2018-06-21 2019-12-31 海信集团有限公司 一种障碍物检测方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432261B1 (en) * 2016-03-18 2023-11-15 Ricoh Company, Ltd. Image processing device, image processing method, image processing program, object recognition device, and apparatus control system
CN106709512B (zh) * 2016-12-09 2020-03-17 河海大学 基于局部稀疏表示和对比度的红外目标检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080464A1 (en) * 2008-06-24 2011-04-07 France Telecom Method and a device for filling occluded areas of a depth or disparity map estimated from at least two images
FR2959851A1 (fr) * 2010-05-07 2011-11-11 Imra Europ Sas Procede pour remplir les regions non appariees d'une carte de disparite

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004038877A (ja) * 2002-07-08 2004-02-05 Yazaki Corp 車両用周辺監視装置及び画像処理装置
US7561732B1 (en) 2005-02-04 2009-07-14 Hrl Laboratories, Llc Method and apparatus for three-dimensional shape estimation using constrained disparity propagation
JP4832227B2 (ja) * 2006-09-07 2011-12-07 富士重工業株式会社 物体検出装置および物体検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110080464A1 (en) * 2008-06-24 2011-04-07 France Telecom Method and a device for filling occluded areas of a depth or disparity map estimated from at least two images
FR2959851A1 (fr) * 2010-05-07 2011-11-11 Imra Europ Sas Procede pour remplir les regions non appariees d'une carte de disparite

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
QIAN YU 等: "A Stereovision Method for Obstacle Detection and Tracking in Non-Flat Urban Environments", 《AUTONOMOUS ROBOTS》 *
RAPHAEL LABAYRADE 等: "IN-VEHICLE OBSTACLES DETECTION AND CHARACTERIZATION BY STEREOVISION", 《IEEE IN-VEHICLE COGNITIVE COMPUTER VISION SYSTEMS 2003》 *
SINAN KALKAN 等: "DEPTH PREDICTION AT HOMOGENEOUS IMAGE STRUCTURES", 《VISAPP 2008. THIRD INTERNATIONAL CONFERENCE ON COMPUTER VISION THEORY AND APPLICATIONS》 *
TOLGA BIRDAL 等: "REAL-TIME AUTOMATED ROAD, LANE and CAR DETECTION for AUTONOMOUS DRIVING", 《DSPINCARS 2007》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358168A (zh) * 2017-06-21 2017-11-17 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107358168B (zh) * 2017-06-21 2019-12-27 海信集团有限公司 一种车辆可行驶区域的检测方法及装置、车载电子设备
CN107729856A (zh) * 2017-10-26 2018-02-23 海信集团有限公司 一种障碍物检测方法及装置
WO2019080557A1 (zh) * 2017-10-26 2019-05-02 海信集团有限公司 一种障碍物检测方法及装置
CN110633600A (zh) * 2018-06-21 2019-12-31 海信集团有限公司 一种障碍物检测方法及装置
CN110633600B (zh) * 2018-06-21 2023-04-25 海信集团有限公司 一种障碍物检测方法及装置

Also Published As

Publication number Publication date
EP2797033A1 (en) 2014-10-29
JP2014216016A (ja) 2014-11-17

Similar Documents

Publication Publication Date Title
EP2811423A1 (en) Method and apparatus for detecting target
US10477178B2 (en) High-speed and tunable scene reconstruction systems and methods using stereo imagery
EP3232371A1 (en) Object recognition method, object recognition device, and classifier training method
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
JP6179639B2 (ja) 道路境界物の検出方法及び検出装置
EP3082068B1 (en) Traveling road surface detection device and traveling road surface detection method
CN104112268A (zh) 稀疏视差图像处理方法和装置以及物体检测方法和装置
CN103679127A (zh) 检测道路路面的可行驶区域的方法和装置
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
EP3115931B1 (en) Method and device for detecting road dividing object as well as relevant program and non-transitory computer-readable medium
EP3109796A1 (en) Method and device for recognizing road scene as well as relevant program and non-transitory computer-readable medium
US20150023586A1 (en) Depth map generation method, related system and computer program product
US20170272724A1 (en) Apparatus and method for multi-view stereo
CN104166834A (zh) 路面检测方法和装置
US9153203B2 (en) Temporally consistent superpixels
CN103686139B (zh) 帧图像转换方法、帧视频转换方法及装置
US20160232705A1 (en) Method for 3D Scene Reconstruction with Cross-Constrained Line Matching
JP2013186902A (ja) 車輌検知方法及び装置
KR102564856B1 (ko) 차선을 검출하는 방법 및 장치
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN103390268A (zh) 物体区域分割方法和装置
CN104537627A (zh) 一种深度图像的后处理方法
López et al. Depth from a Single Image Through User Interaction.
CN104299219A (zh) 物体检测方法和装置
JP2013205867A (ja) 情報処理装置及び方法、並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141022

WD01 Invention patent application deemed withdrawn after publication