CN106339659A - 检测道路分割物的方法和装置 - Google Patents

检测道路分割物的方法和装置 Download PDF

Info

Publication number
CN106339659A
CN106339659A CN201510404764.1A CN201510404764A CN106339659A CN 106339659 A CN106339659 A CN 106339659A CN 201510404764 A CN201510404764 A CN 201510404764A CN 106339659 A CN106339659 A CN 106339659A
Authority
CN
China
Prior art keywords
image
input picture
lane segmentation
elementary area
thing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510404764.1A
Other languages
English (en)
Inventor
刘殿超
任杰
鲁耀杰
师忠超
陈超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201510404764.1A priority Critical patent/CN106339659A/zh
Priority to EP16177358.5A priority patent/EP3115931B1/en
Priority to JP2016136158A priority patent/JP6288173B2/ja
Publication of CN106339659A publication Critical patent/CN106339659A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/653Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

提供了道路分割物的检测方法和检测装置。获取目标场景的输入图像,选取输入图像中的图像单元,在连续多帧的输入图像中提取图像单元中的图像特征,构成图像特征序列,以便基于图像特征序列检测道路分割物。根据本公开的道路分割物的检测方法和装置,能够将三维空间转换为二维图像特征的时间序列,从该二维图像特征的时间序列中提取特定图像特征从而检测道路分割物。由此,不仅能够检测连续道路分割物,而且可以检测非连续道路分割物,不需要限定检测对象,因而可以应用于未知道路情况。

Description

检测道路分割物的方法和装置
技术领域
本发明涉及对象检测领域,更具体地涉及道路分割物检测方法和装置。
背景技术
驾驶辅助***的应用日渐普及。而道路或车道警告***(Lane/Roaddetection warning,LDW/RDW)是驾驶辅助***的子***,可以避免碰撞,更准确地确定驾驶方向等。道路或车道检测对于LDW/RDW***非常关键,只有在知道了道路信息的基础上才可能做进一步的处理,例如警告。一般通过检测道路分割物来检测道路或车道。
道路分割物包括道路边界,比如路肩石、栅栏、灌木丛以及其他能够标识道路区域和车道的其他物体等等。
在现有的道路分割物检测方法中,通常是针对特定的道路分割物进行检测,比如针对护栏、墙壁、树木、建筑物等等中的单独一者的特定特征进行检测。然而,实际上,道路情况有时很复杂,并非仅仅包含上述的一种道路分割物,或者可能包含如像柱子、甚至未知建筑物的不连续物体。面对这种复杂道路情况,通常很难检测道路分割物。
发明内容
考虑到以上问题,希望提供不需要限定检测对象的通用道路分割物的检测方法和装置,以便即使在复杂道路情况下也能够准确地检测道路分割物。
根据本发明的一个方面,提供了道路分割物的检测方法,该方法可以包括:获取目标场景的输入图像;选取输入图像中的图像单元;在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列;以及基于所述图像特征序列检测道路分割物。
在一个实施例中,所述选取输入图像中的图像单元包括:对所述输入图像进行预定图像处理以获得粗略道路分割物区域;选取所述图像单元以覆盖所述粗略道路分割物区域。
或者,所述输入图像可以包括视差图像,并且所述图像单元可以是所述视差图像在预定距离处的截面部分。
在另一实施例中,所述基于所述图像特征序列检测道路分割物包括:提取所述图像特征序列中的特定图像特征;根据所述特定图像特征检测道路分割物。其中,所述特定图像特征可以包括连续性特征和周期性特征的至少一者。
在另一实施例中,该道路分割物检测还可以包括:检测捕捉目标场景的输入图像的捕捉设备的移动速度,并根据所述移动速度校正所述图像单元相邻帧之间的距离,以便从校正后的图像特征序列中提取所述周期性特征。
在另一实施例中,根据所述特定图像特征检测道路分割物可以包括:获取与所述特定图像特征对应的输入图像中的像素点;在所述输入图像的X轴和Y轴上对所述像素点投影;基于像素点的投影确定所述道路分割物。
在另一实施例中,所述选取输入图像中的图像单元可以包括选取多个图像单元,并且所述在连续多帧的输入图像中提取所述多个图像单元中的每个图像单元的图像特征,以便构成多个图像特征序列。该道路分割物检测还可以包括:确定所述多个图像单元中的第一和第二图像单元之间的相关性;基于所述相关性,利用在一帧输入图像中所提取的所述第一图像单元的图像特征增强在该一帧输入图像之前一帧的输入图像中提取的第二图像单元的图像特征。
根据本发明的另一方面,提供检测目标场景中的道路分割物的装置,包括:获取部件,获取目标场景的输入图像;选取部件,选取输入图像中的图像单元;提取部件,在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列;以及检测部件,基于所述图像特征序列检测道路分割物。
根据本发明,能够将三维空间转换为二维图像特征的时间序列,从该二维图像特征的时间序列中提取特定图像特征从而检测道路分割物。由此,不仅能够检测连续道路分割物,而且可以检测非连续道路分割物,不需要限定检测对象,因而可以应用于未知道路情况,只要存在可以检测的特定图像特征即可。从而,即使在复杂道路情况下,本发明也能够准确地检测道路分割物。
附图说明
图1是作为本发明应用环境的示例的车载***示意图。
图2是根据本发明一个实施例的道路分割物检测方法的整体流程图。
图3(a)-3(b)是示出选取的图像单元的示例的示意图。
图4(a)-(c)是示出选取的图像单元的另一示例的示意图。
图5(a)-(f)是示出图像单元中的视差特征序列的示例的示意图。
图6(a)-(d)是示出另一图像单元中的图像特征序列的示例的示意图。
图7(a)-(d)是示出根据本发明实施例的道路分割物检测方法的检测结果的示意图。
图8是示出多个图像单元之间的相关性的示意图。
图9是根据本发明的另一实施例的道路分割物检测装置的功能框图。
图10示出根据本发明的一个实施例的实现道路分割物检测的检测***的硬件配置。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
将按如下顺序进行描述:
1、发明思想概述
2、实施例
2.1、道路分割物检测方法
2.2、道路分割物检测装置
2.3、道路分割物检测***
3、总结
<1、发明思想概述>
如之前所述,现有技术在复杂道路情况下检测道路分割物是困难的。本发明提出将三维空间中的道路场景建模为时间序列上的二维图像,并且分析这些二维图像中的道路分割物特征,由此不仅能够检测连续的道路分割物,而且能够检测不连续的道路分割物,只要其具有特定图像特征即可。
根据本发明,检测对象不再限于已知的特定道路分割物,还能够检测未知的道路分割物。因而,本发明的方法能够应用于复杂道路情况。
图1是有助于理解本发明的、作为本发明应用环境的示例的车载***示意图。本发明的软件或者硬件实现可以作为其中的道路检测部件。
<2、实施例>
<2.1道路分割物检测方法>
图2是根据本发明一个实施例的道路分割物检测方法的整体流程图。如图2所示,根据此实施例的道路分割物检测方法200可以包括:步骤S210,获取目标场景的输入图像。可以通过相机对包含道路区域的目标场景实时拍摄而获得包括道路区域的图像,也可以通过网络获取该图像。
可以采用的图像包括但不限于彩色图像、灰度图像、视差图像等等。例如,可以使用双目相机拍摄目标场景的左右图像,并以左图像和右图像中的任意一者作为参考图像,通过立体匹配算法等等获得包括道路区域的目标场景的视差图。
在获得了目标场景的输入图像之后,在步骤S220中,可以选取输入图像中的图像单元。选取该图像单元以确保覆盖该输入图像中的道路分割物区域,以便随后利用该图像单元中的图像特征检测道路分割物。
在一个实施例中,可以通过如下方式选取通信单元。首先,对输入图像进行诸如边缘检测的预处理以获得粗略道路分割物区域,该预处理可以是本领域技术人员所熟悉的边缘处理等等。由于当前的应用环境大多数是车载相机***,因此道路分割物通常在图像的两侧区域。然后,在该输入图像中选取图像单元以确保覆盖该粗略道路分割物区域。图像单元可以是任意的形状,例如矩形、圆形等等。
图3(a)-3(b)是示出选取的图像单元的示例的示意图,其中图3(a)表示获取的作为输入图像的灰度图像,图3(b)表示在该灰度图像中选取的矩形图像单元。
在另一实施例中,在输入图像中包含距离或深度信息的情况下,比如输入图像包含视差图像的情况下,选取的图像单元可以是输入图像的深度切片,即输入图像在预定距离(深度)处的截面部分。
图4(a)-(c)是示出选取的图像单元的另一示例的示意图,其中图4(a)表示获取的作为输入图像的灰度图像,图4(b)表示对应的视差图,图4(c)表示输入图像的深度切片。
除此之外,当输入图像包括灰度图像和视差两者时,也可以利用视差图中的距离信息,选取灰度图的特定区域作为图像单元。或者,当输入图像包括灰度图和深度图两者时(深度图可以由视差获得,也可以由雷达等测距传感器获得等等),也可以根据深度信息选取灰度图的特定区域作为图像单元。
当然,以上给出的选取图像单元的方法仅仅是示例,任何其他适当的选取方法也是可能的。而且,所选取的图像单元不限于1个,并且也可以是多个。
图像单元一经被选定,则其在图像帧序列中的位置和尺寸就保持固定不变,并且随着车载相机跟随车的向前行驶,图像单元则成为了监测相机视野中道路分割物的窗口。随着时间推移,帧序列的推移,出现在图像单元窗口中的目标则在距离上不断地向前推进。因此,三维世界中的道路分割物便由原来的二维世界加上距离维度,变成了二维图像加上时间序列的组合。
由此,在步骤S230中,可以在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列。提取的图像特征可以是任意有效的图像特征,例如颜色特征、边缘或者梯度特征、视差分布特征等等。
在提取了多帧输入图像中的图像单元的图像特征之后,按照时间序列排序每个图像单元的图像特征,由此构成每个图像单元的图像特征序列。
图5(a)-(f)示出了图像单元中的视差特征序列的示例,其中图5(a)表示输入图像,图5(b)表示多帧输入图像的深度切片,其中A和B是深度切片中具有密集视差点分布的两个特征部分,图5(c)表示多帧输入图像中的部分A、B中的视差点之间的分布宽度特征的时间序列,图5(d)表示多帧输入图像中的部分A中的视差点的分布高度特征的时间序列,图5(e)和图5(f)分别表示部分A、B中的视差点数量分布统计特征的时间序列。
图6(a)-(d)示出了另一图像单元中的图像特征序列的示例,其中图6(a)表示多帧输入图像中的矩形图像单元,图6(b)表示多帧输入图像的图像单元中的像素点(比如灰度图中的像素点或者视差图中的视差点)密度分布特征的时间序列,图6(c)表示多帧输入图像的图像单元中的像素点分布区域的高度特征的时间序列,图6(d)表示多帧输入图像的图像单元中的像素点的梯度特征统计值特征的时间序列。
当然,以上给出的仅仅是图像特征的一些示例,并且也可以提取除了这些图像特征之外的任何其他适当的图像特征。而且,对于每个图像单元,可以提取一个或多个图像特征,以便构成一个或多个图像特征序列。另外,虽然在此实施例中图像特征序列为一维特征序列,但是,图像特征序列也可以扩展为二维甚至多位序列,比如视差点统计的水平和垂直直方图。
在步骤S240中,可以基于在步骤S230中所获得的图像特征序列来检测目标场景中的道路分割物。
具体地,在一个实施例中,可以提取该图像特征序列中的特定图像特征,并且根据该特定图像特征来检测道路分割物。特定图像特征是能够代表道路分割物的特征,比如连续性特征、周期性特征或其组合等等。
通常而言,道路分割物主要包括栅栏、围墙、灌木丛、柱子、树、路肩石等等,目标特征在道路方向上延伸,表现出或者是稳定的恒定特征,或者是周期性变化的特征,或者混合型的。
作为连续性特征,比如,可以将其表示为Feature(t)=Feature(t+x),即在任意时间t时的特征与时间t+x时的特征保持一致,其中x表示任意的时间增量。
如图5(a)所示,作为道路分割物的栅栏具有连续性的自身特征属性,其视差图的以下特征是在时间序列中稳定不变的:图5(c)中的视差分布宽度特征、图5(d)中的视差分布高度特征、图5(e)和5(f)中的视差点分布特征。因此,如果特征序列的特征值在时间上稳定不变,则可以确定存在连续的道路分割物。
作为周期性特征,比如,可以将其表示为Feature(t)=Feature(t+T)=Feature(t+2T),即特征以T为时间周期而周期性变化。如图6(a)所示,路灯杆可以作为道路分割物,其具有周期性的排布特征,因此从图6(b)中的点密度特征、图6(c)中的点分布高度特征以及图6(d)中的梯度特征中均可以检测出周期性特征,从而,能够确定存在周期性道路分割物。
周期性信息的提取可以采用多种方法,例如采用频域分析方法、傅立叶变换方法、频谱分解方法等等来确定特征周期。
在提取周期性特征时,可选地,可以对时间帧序列和距离位置进行校正。进行此校正动作主要是为了确保在从三维空间转换为二维特征加时间的序列时特征序列的尺度一致性,避免特征失真。具体地,可以检测捕捉目标场景的输入图像的捕捉设备的移动速度,基于检测的移动速度进行校正。如果速度是匀速直线运动,则无需校正。如果速度是变化的,则根据速度的变化率来确定图像单元的相邻帧之间的距离,即调整相邻帧之间的时间轴位置,以便从校正后的图像特征序列中提取所述周期性特征。如果速度方向有变化,则可以据此调整被选取的图像单元的位置。不过,由于帧间变化通常非常小,所以也可以不进行此校正动作。
在提取了特定图像特征之后,可以根据提取的特定图像特征检测道路分割物。也就是说,可以通过确定该特定图像特征所对应的道路分割物的位置来检测目标场景中的道路分割物。
具体地,在一个实施例中,可以获取与提取的诸如连续性特征、周期性特征等等的特定图像特征所对应的输入图像中的像素点。然后,在输入图像的X轴和Y轴上对这些像素点进行投影,从而可以基于像素点的投影确定所述道路分割物。比如,可以将这些像素点的投影拟合为直线或曲线,作为道路边界。或者,也可以基于像素点的投影以及与上述特定图像特征所对应的输入图像中的像素点,确定道路分割物平面。
当然,基于特定图像特征检测道路分割物的方法不限于上述的投影方法,也可以采用本领域常用的任何其他可能的方法,比如基于特定图像特征的连通域分析(CCA)方法,这些方法对于本领域技术人员而言是很容易实现的,在此不再赘述。
由此,可以输出该道路边界或者道路分割物平面作为道路分割物检测结果,以便基于该检测结果进行适当的驾驶控制等等。
图7(a)-(d)是示出根据此实施例的道路分割物检测方法的检测结果的示意图。其中,图7(a)和7(c)分别表示输入图像,图7(b)表示与图7(a)的输入图像对应的道路分割物检测结果,其中检测到与栅栏对应的道路分割物,图7(d)表示与图7(c)的输入图像对应的道路分割物检测结果,其中检测到与路灯柱对应的道路分割物。
当然,以上给出的仅仅是示例,基于特定图像特征检测道路分割物但方法不限于此,本领域技术人员完全可以采用任何其他适当的方法。
另外,如之前所述,在输入图像中选取图像单元时,可以选取一个图像单元,也可以选取多个图像单元。当选取了输入图像中的多个图像单元时,可能存在图像单元之间存在相互关联的情况。图8是示出多个图像单元之间的相关性的示意图。如图8所示,假定选取了两个图像单元,在时间T的时空中,两个单元分别为矩形区域A(虚线)和B(实线),在同一帧时刻,A和B处于不同距离并且占据不同尺寸。但是,随着时间帧序列的推进,在后面的T+t时刻,图像单元B窗口中的目标路灯柱则相对地移动到了近处图像单元A窗口中,也就是说T+t时刻的图像单元A中的图像目标和T时刻的图像单元B中的图像目标是同一物体。
换句话说,在第t帧的距离d处的图像单元U(d,t)与在第t+a帧的距离d-x处的图像单元U(d-x,t+a)存在对应关系,这相当于同一目标在不同分辨率下的图像。是否存在这样的相关性通常可以通过相机的移动速度和图像单元之间的距离而确定。因而,可选地,可以基于图像单元之间的此相关性来对图像特征进行增强。例如,可以利用在一帧输入图像中所提取的图像单元A的图像特征来增强在该一帧输入图像之前一帧的输入图像中提取图像单元B的图像特征。由此,可以使得提取的图像单元中的图像特征更加精细,有助于随后提高检测准确性。
根据本发明的此实施例的道路分割物检测方法200,能够将三维空间转换为二维图像特征的时间序列,从该二维图像特征的时间序列中提取特定图像特征从而检测道路分割物。由此,此检测方法不仅能够检测连续道路分割物,而且可以检测非连续道路分割物,不需要限定检测对象,因而可以应用于未知道路情况,只要存在可以检测的特定图像特征即可。从而,即使在复杂道路情况下,该方法也能够准确地检测道路分割物。
<2.2、道路分割物检测装置>
以下参考图9描述根据本发明的另一实施例的道路分割物检测装置。图9示出了该道路分割物检测装置的功能框图。如图9所示,该检测装置900可以包括:获取部件910,获取目标场景的输入图像;选取部件920,选取输入图像中的图像单元;提取部件930,在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列;以及检测部件940,基于所述图像特征序列检测道路分割物。
在一个实施例中,该选取部件920可以对获取部件910所获取的输入图像进行预定图像处理以获得粗略道路分割物区域,并且选取图像单元以覆盖该粗略道路分割物区域。
在另一实施例中,该获取部件910所获取的输入图像可以包括视差图像,并且该选取部件920可以选取该视差图像在预定距离处的截面部分作为该图像单元。
该检测部件940可以提取所述图像特征序列中的特定图像特征,并且根据提取的特定图像特征来检测道路分割物。特定图像特征可以包括连续性特征、周期性特征、其组合等等。
该检测部件940可以获取与所述特定图像特征对应的输入图像中的像素点,在所述输入图像的X轴和Y轴上对所述像素点投影,并基于像素点的投影确定所述道路分割物。
可选地,该检测装置900还可以包括校正部件(未示出),用于检测捕捉目标场景的输入图像的捕捉设备的移动速度,并根据所述移动速度校正所述图像单元相邻帧之间的距离,以便从校正后的图像特征序列中提取所述周期性特征。
该选取部件920可以选取输入图像中的多个图像单元,并且该提取部件930可以在连续多帧的输入图像中提取多个图像单元中的每个图像单元的图像特征,以便构成多个图像特征序列。
可选地,该检测装置900还可以包括增强部件(未示出),用于确定所述多个图像单元中的第一和第二图像单元之间的相关性,并且基于所述相关性,利用在一帧输入图像中所提取的所述第一图像单元的图像特征增强在该一帧输入图像之前一帧的输入图像中提取的第二图像单元的图像特征。
该检测装置900的获取部件910、选取部件920、提取部件930和检测部件940的具体操作过程可以参考在以上方法200中的步骤S210-S240的描述,在此不再赘述。
根据本发明的此实施例的道路分割物检测装置900,能够将三维空间转换为二维图像特征的时间序列,从该二维图像特征的时间序列中提取特定图像特征从而检测道路分割物。由此,此检测装置不仅能够检测连续道路分割物,而且可以检测非连续道路分割物,不需要限定检测对象,因而可以应用于未知道路情况,只要存在可以检测的特定图像特征即可。从而,即使在复杂道路情况下,也能够准确地检测道路分割物。
<2.3、道路分割物检测***>
接下来,参考图10描述根据本发明的一个实施例的实现道路分割物检测的检测***的硬件配置。如图10所示,检测***1000包括:输入设备1010,用于从外部输入将要处理的图像,例如,该图像可以是彩色图像、灰度图像、深度图像、视差图像等,该输入设备1010可以包括例如键盘、鼠标、以及通信网络及其所连接的远程输入设备等等;处理设备1020,用于实施上述的按照本发明实施例的道路分割物检测方法,或者实施为上述的按照本发明实施例的道路分割物装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要而从网络获取需要的数据等;输出设备1030,用于向外部输出上述道路分割物的检测结果,比如检测得到的图像中的道路边界、道路分割物等等,该输出设备1030可以包括例如显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备1040,用于以易失或非易失的方式存储上述处理过程所涉及的图像、数据、所获得的结果、命令以及中间数据等等,该存储设备1040可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
当然,为了简化,图10中仅示出了该***中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,***1000还可以包括任何其他适当的组件。
<3.总结>
根据本发明,提供了道路分割物的检测方法、检测装置和检测***。获取目标场景的输入图像,选取输入图像中的图像单元,在连续多帧的输入图像中提取图像单元中的图像特征,构成图像特征序列,以便基于图像特征序列检测道路分割物。
根据上述的道路分割物的检测方法、检测装置以及检测***,能够将三维空间转换为二维图像特征的时间序列,从该二维图像特征的时间序列中提取特定图像特征从而检测道路分割物。由此,不仅能够检测连续道路分割物,而且可以检测非连续道路分割物,不需要限定检测对象,因而可以应用于未知道路情况,只要存在可以检测的特定图像特征即可。从而,即使在复杂道路情况下,也能够准确地检测道路分割物。
以上已经参考附图详细描述了根据本发明的实施例的道路分割物检测方法和装置。本公开中涉及的装置、设备、***的方框图仅作为例示性的例子,并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子,并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的,可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序;这些词语仅用于引导读者通读这些方法的描述。此外,例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此,本发明不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种检测目标场景中的道路分割物的方法,包括:
获取目标场景的输入图像;
选取输入图像中的图像单元;
在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列;以及
基于所述图像特征序列检测道路分割物。
2.如权利要求1所述的方法,其中所述选取输入图像中的图像单元包括:
对所述输入图像进行预定图像处理以获得粗略道路分割物区域;
选取所述图像单元以覆盖所述粗略道路分割物区域。
3.如权利要求1所述的方法,其中所述输入图像包括视差图像,并且所述图像单元是所述视差图像在预定距离处的截面部分。
4.如权利要求1-3中任意一项所述的方法,其中所述基于所述图像特征序列检测道路分割物包括:
提取所述图像特征序列中的特定图像特征;
根据所述特定图像特征检测道路分割物。
5.如权利要求4所述的方法,其中所述特定图像特征包括连续性特征和周期性特征的至少一者。
6.如权利要求5所述的方法,还包括:检测捕捉目标场景的输入图像的捕捉设备的移动速度,并根据所述移动速度校正所述图像单元相邻帧之间的距离,以便从校正后的图像特征序列中提取所述周期性特征。
7.如权利要求4所述的方法,其中根据所述特定图像特征检测道路分割物包括:
获取与所述特定图像特征对应的输入图像中的像素点;
在所述输入图像的X轴和Y轴上对所述像素点投影;
基于像素点的投影确定所述道路分割物。
8.如权利要求1所述的方法,其中所述选取输入图像中的图像单元包括选取多个图像单元,并且所述在连续多帧的输入图像中提取所述多个图像单元中的每个图像单元的图像特征,以便构成多个图像特征序列。
9.如权利要求8所述的方法,所述方法还包括:
确定所述多个图像单元中的第一和第二图像单元之间的相关性;
基于所述相关性,利用在一帧输入图像中所提取的所述第一图像单元的图像特征增强在该一帧输入图像之前一帧的输入图像中提取的第二图像单元的图像特征。
10.一种检测目标场景中的道路分割物的装置,包括:
获取部件,获取目标场景的输入图像;
选取部件,选取输入图像中的图像单元;
提取部件,在连续多帧的输入图像中提取所述图像单元中的图像特征,构成图像特征序列;以及
检测部件,基于所述图像特征序列检测道路分割物。
CN201510404764.1A 2015-07-10 2015-07-10 检测道路分割物的方法和装置 Pending CN106339659A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510404764.1A CN106339659A (zh) 2015-07-10 2015-07-10 检测道路分割物的方法和装置
EP16177358.5A EP3115931B1 (en) 2015-07-10 2016-06-30 Method and device for detecting road dividing object as well as relevant program and non-transitory computer-readable medium
JP2016136158A JP6288173B2 (ja) 2015-07-10 2016-07-08 道路境界物を検出する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510404764.1A CN106339659A (zh) 2015-07-10 2015-07-10 检测道路分割物的方法和装置

Publications (1)

Publication Number Publication Date
CN106339659A true CN106339659A (zh) 2017-01-18

Family

ID=56296709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510404764.1A Pending CN106339659A (zh) 2015-07-10 2015-07-10 检测道路分割物的方法和装置

Country Status (3)

Country Link
EP (1) EP3115931B1 (zh)
JP (1) JP6288173B2 (zh)
CN (1) CN106339659A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734769A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 三维模型分析方法、电子装置及非暂态电脑可读取媒体
CN109389088A (zh) * 2018-10-12 2019-02-26 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156087A1 (ja) * 2018-02-07 2019-08-15 株式会社小糸製作所 画像処理装置および車両用灯具
CN111433779A (zh) * 2018-11-09 2020-07-17 北京嘀嘀无限科技发展有限公司 用于识别道路特征的***和方法
CN112991241B (zh) * 2019-12-13 2024-04-12 阿里巴巴集团控股有限公司 一种道路场景图像处理方法、装置、电子设备及存储介质
JP2022042771A (ja) * 2020-09-03 2022-03-15 トヨタ自動車株式会社 測距システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012181691A (ja) * 2011-03-01 2012-09-20 Yazaki Corp 路面上パターン認識方法および車両用情報記録装置
US8306747B1 (en) * 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
CN103124995A (zh) * 2011-02-21 2013-05-29 日产自动车株式会社 周期性静止物体检测装置和周期性静止物体检测方法
EP2662804A2 (en) * 2012-05-11 2013-11-13 Ricoh Company, Ltd. Method and apparatus for detecting continuous road partition
JP2014013451A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用車線認識装置
JP2014026608A (ja) * 2012-07-30 2014-02-06 Clarion Co Ltd 車載環境認識装置
CN103679691A (zh) * 2012-09-24 2014-03-26 株式会社理光 连续型道路分割物检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4067340B2 (ja) * 2002-06-05 2008-03-26 富士重工業株式会社 対象物認識装置および対象物認識方法
JP3915621B2 (ja) * 2002-07-29 2007-05-16 日産自動車株式会社 レーンマーク検出装置
CN103871042B (zh) * 2012-12-12 2016-12-07 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
CN104376297B (zh) * 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306747B1 (en) * 2007-01-19 2012-11-06 Starodub, Inc. Travel way measurement system
CN103124995A (zh) * 2011-02-21 2013-05-29 日产自动车株式会社 周期性静止物体检测装置和周期性静止物体检测方法
JP2012181691A (ja) * 2011-03-01 2012-09-20 Yazaki Corp 路面上パターン認識方法および車両用情報記録装置
EP2662804A2 (en) * 2012-05-11 2013-11-13 Ricoh Company, Ltd. Method and apparatus for detecting continuous road partition
JP2014013451A (ja) * 2012-07-03 2014-01-23 Clarion Co Ltd 車載用車線認識装置
JP2014026608A (ja) * 2012-07-30 2014-02-06 Clarion Co Ltd 車載環境認識装置
CN103679691A (zh) * 2012-09-24 2014-03-26 株式会社理光 连续型道路分割物检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734769A (zh) * 2017-04-17 2018-11-02 宏达国际电子股份有限公司 三维模型分析方法、电子装置及非暂态电脑可读取媒体
CN109389088A (zh) * 2018-10-12 2019-02-26 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质
CN109389088B (zh) * 2018-10-12 2022-05-24 腾讯科技(深圳)有限公司 视频识别方法、装置、机器设备以及计算机可读存储介质

Also Published As

Publication number Publication date
JP2017021803A (ja) 2017-01-26
EP3115931B1 (en) 2022-09-07
JP6288173B2 (ja) 2018-03-07
EP3115931A1 (en) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106339659A (zh) 检测道路分割物的方法和装置
CN109034047B (zh) 一种车道线检测方法及装置
US10460208B1 (en) System and method for generating large simulation data sets for testing an autonomous driver
JP4553072B1 (ja) 画像統合装置および画像統合方法
JP6107097B2 (ja) 道路分割体検知方法及び装置
JP2016194925A (ja) 道路境界物の検出方法及び装置
US20210350185A1 (en) System and method for generating large simulation data sets for testing an autonomous driver
EP2960829A2 (en) Lane boundary estimation device and lane boundary estimation method
KR102569437B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법
US10984263B2 (en) Detection and validation of objects from sequential images of a camera by using homographies
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
US20150178573A1 (en) Ground plane detection
CN104915927A (zh) 视差图像优化方法及装置
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
CN112507891B (zh) 自动化识别高速路口并构建路口向量的方法及装置
Zhang et al. Vehicle trajectory tracking using adaptive Kalman filter from roadside Lidar
Brunken et al. Road surface reconstruction by stereo vision
Mussone et al. An innovative method for the analysis of vehicle movements in roundabouts based on image processing
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP6087218B2 (ja) 画像解析装置
CN116229446A (zh) 路面文字识别的处理方法、装置及介质
DE102015204529A1 (de) Verfahren und Vorrichtung zur Objekterkennung in einem Fortbewegungsmittel
JP2018092603A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム
Lamża et al. Depth estimation in image sequences in single-camera video surveillance systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170118

RJ01 Rejection of invention patent application after publication