CN110543807A - 验证障碍物候选的方法 - Google Patents

验证障碍物候选的方法 Download PDF

Info

Publication number
CN110543807A
CN110543807A CN201910438350.9A CN201910438350A CN110543807A CN 110543807 A CN110543807 A CN 110543807A CN 201910438350 A CN201910438350 A CN 201910438350A CN 110543807 A CN110543807 A CN 110543807A
Authority
CN
China
Prior art keywords
interest
image frame
region
sub
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910438350.9A
Other languages
English (en)
Other versions
CN110543807B (zh
Inventor
J·西格蒙德
C·努恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN110543807A publication Critical patent/CN110543807A/zh
Application granted granted Critical
Publication of CN110543807B publication Critical patent/CN110543807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

验证障碍物候选的方法。一种用于验证在图像帧序列内识别出的障碍物候选的方法包括以下步骤：A.针对图像帧序列中的当前图像帧，在该当前图像帧内确定表示障碍物候选的关注区域，将该关注区域划分为子区域，并且针对每个子区域，至少基于图像帧序列的当前图像帧和前一图像帧或后一图像帧确定接触时间TTC；B.基于针对当前图像帧确定的子区域的TTC确定一个或更多个分类特征；以及C.基于所确定的一个或更多个分类特征对障碍物候选进行分类。

Description

验证障碍物候选的方法
技术领域
本发明涉及一种用于验证在一系列图像帧内识别出的障碍物候选的方法。
背景技术
避免碰撞是当今先进的驾驶员辅助***(ADAS)不可或缺的组成部分。作为对驾驶员的决定的积极干预，例如触发紧急制动或规避机动，构成安全关键行动，特别注意情境感知和评估是必不可少的。因此，需要关于所利用的技术的高度冗余。这通常通过使用多个传感器(诸如摄像头、雷达和激光雷达传感器)来验证所捕获的环境信息并且通过利用相应传感器算法内的各种线索来努力实现。
为了证明出于避免碰撞的目的而进行的主动干预，必须判断所观察到的障碍物候选(例如候选车辆)是否是真正的几何障碍物，而不是仅仅愚弄所应用的检测算法的道路或背景图案。基于摄像头的***通常基于两种不同的线索来处理该问题。
首先，捕获障碍物候选的图像投影的视觉外观并使用机器学习技术进行语义评估，例如在下列文献中所描述的：Junghwan Pyo和Yongjin Jeong：Front CollisionWarning based on Vehicle Detection using CNN.International SoC DesignConference,2016；Daniel Ponsa和AntonioLópez：Cascade of Classifiers for VehicleDetection.Advanced Concepts for Intelligent Vision Systems,2007；David Lee：Boosted Classifiers for Car Detection.http://www.cs.cmu.edu/～dclee/,2007；Zehang Sun等人：Monocular Precrash Vehicle Detection:Features andClassifiers.Transaction on Image Processing,2006；G.Kim和J.S.Cho：Vision-basedvehicle detection and inter-vehicle distance estimation.InternationalConference on Control,Automation and Systems,2012；Alexander Barth和UweFranke：Estimating the Driving State of Oncoming Vehicle from a MovingPlatform Using Stereo Vision.Intelligent Transportation Systems，2010。这些分类器的质量主要取决于可用训练数据集的大小以及所选或学习的分类特征的表现力。它们可能被模仿被监测的障碍物类外观的道路或背景纹理所欺骗。
其次，可以通过利用已知摄像头几何形状的摄影测量技术从图像序列中提取几何信息。不幸的是，如果主车辆和被观察物体二者都在移动，则单目摄像头图像序列的精确几何推断通常是不可行的。此外，只要没有关于被观察物体的真实范围(例如，车辆宽度)的确切知识，那么仅能够提取被观察物体的相对位置和运动，而相对于度量世界***的尺度则保持未知。
幸运的是，如果假设相对接近速度恒定，则在不存在尺度问题的情况下可以针对移动目标估计出接触时间(TTC)(参见，例如，John Hayward：Near-miss determinationthrough use of a scale of danger.Highway Research Record,1972；Itay Gat等人：AMonocular Vision Advance Warning System for the Automotive Aftermarket.SAETechnical Paper,2005)。这是因为比例因子在主物体与目标物体之间的距离与接近速度的比率中消失。类似地，TTC可以从所观察到的目标图案的透视变化中提取，即从目标图像大小(例如，宽度)和该大小随时间的变化的比率中提取，例如在顺序捕获的图像帧的时间序列的连续图像帧中。但是，计算整个可见目标图案的共同TTC对于障碍物候选验证是不够的，因为诸如道路标记的非障碍物图案也将产生TTC。
发明内容
本发明的一个目的是提供一种用于验证在一系列图像帧内识别出的障碍物候选的方法，该方法能够有效且可靠地区分真实障碍物和误导性的地下或背景结构或图案。
该目的通过根据权利要求1的方法以及根据权利要求15的计算机程序产品解决。本发明的有利实施方式源自从属权利要求、本说明书以及附图。
本发明基于的主要思想是测试障碍物候选的图像投影的逐帧变形是否对应于几何期望。该测试尤其依赖于比较针对关注区域(其表示图像中的障碍物候选)的不同子区域确定的接触时间(TTC)。TTC基于透视的变化，并因此，本发明的方法本质上是测试透视对于关注区域的不同子区域是否不同地改变。有效障碍物被假设相对于获取图像帧的序列的摄像头的视线是直立的。换句话说，假设有效障碍物至少近似于与摄像头的图像平面平行，并因此至少近似垂直于摄像头的视线面向摄像头。因此，预期针对有效障碍物的图像投影的不同子区域确定的TTC至少近似相同。相反，假设无效的障碍物(例如，道路上或背景中似乎是，但不是真正的障碍物的图案)相对于摄像头的视线大体倾斜，使得无效障碍物的可见表面的不同部分与摄像头的距离不同。因此，预期针对无效障碍物的图像投影的不同子区域获得的TTC彼此显著地不同。
给定一系列图像帧，可以通过任何合适的方法在序列内识别出要通过根据本发明的方法验证的障碍物候选，例如基于模式识别或基于外观的分类。因此，障碍物通常可以是视觉上可识别的任何类型的物体。障碍物候选尤其是诸如车辆的物体，其可能例如由于其大小和位置而阻碍主车辆的移动路径。识别障碍物候选的方法可以在图像帧序列的图像帧内，特别是在序列的第一图像帧内，提供关注的区域，其中关注区域限定图像帧中表示障碍物候选的部分，即对应于图像帧中障碍物候选的图像投影。图像帧序列尤其是例如通过基于主车辆的摄像头***优选以恒定的帧速率连续捕获的图像帧的时间序列。该序列可以是视频流，或者可以从视频流获得。
根据本发明，用于验证障碍物候选的方法包括在下文中说明的步骤A、步骤B和步骤C。该方法可以是碰撞警告***或一些其它高级驾驶员辅助***的一部分。在这样的背景下，该方法可以支持在相应***的后续更高级别逻辑中对潜在的规避操纵的决定。
该方法的步骤A包括：对于图像帧序列的当前图像帧，在当前图像帧内确定表示障碍物候选的关注区域，将该关注区域划分为子区域，并且，针对每个子区域，至少基于图像帧序列的当前图像帧和前一图像帧或后一图像帧确定接触时间(TTC)。
理想地，关注区域精确地对应于被识别为障碍物候选的物体，即关注区域包括该物体在当前图像帧内的整个图像投影而不包括其它内容。为此，关注区域的形状可以适应于物体的形状。但是，关注区域也可以具有预定形状。在这种情况下，关注区域优选包括物体的整个图像投影，但是也可能包括周围区域。关注区域可以例如由定界框(尤其是方形或至少矩形形状)限定。在相应的图像帧内，关注区域被认为表示障碍物候选。可以例如至少针对图像帧序列的第一帧来确定关注区域，作为识别障碍物候选的直接结果。但是，确定当前图像帧的关注区域(至少针对除第一图像帧之外的所有图像帧)也可以基于先前针对相应的前一图像帧确定的关注区域，例如，通过跟踪关注区域。
因此，在本发明的有利实施方式中，确定关注区域可以包括在图像帧序列中对表示障碍物候选的关注区域进行跟踪(尤其是光学跟踪)，至少直到当前图像帧(优选地，贯穿图像帧序列的所有图像帧)。尤其是，关于其在各个相应图像帧中的位置和大小来跟踪关注区域。通常也可以考虑旋转，但是优选地忽略它们以便降低复杂性。这是可能的，因为障碍物相对于主车辆的旋转可能是小得忽略不计或至少是微不足道的。例如，垂直运动可以通过线性滤波器建模，其变化幅度被设计成动态的以便处理快速位移，诸如由舱室俯仰而引起的位移。可以假设水平运动以体现水平域中二维加速世界运动的图像投影，即对横向运动和纵向运动进行建模，直到二阶(即，位置、速度和加速度)。跟踪表示障碍物候选的关注区域可以例如包括应用卡纳迪-卢卡斯-托马斯(Kanade Lucas Tomasi：KLT)方法和/或采用卡尔曼(Kalman)滤波器来模拟障碍物候选的相对运动。尤其是，该跟踪可以根据欧洲专利申请第17 182 718.1号所描述的方法来执行。
在当前图像帧内确定了关注区域之后，将其划分为子区域，尤其是划分为预定数量的子区域。这些子区域一起优选地覆盖整个关注区域。子区域通常可以是不相交的或邻接的，但优选是重叠的。根据本发明的有利实施方式，将关注区域沿轴线分成预定数量的子区域，这些子区域相对于轴线彼此偏移。然后，这些子区域的边界垂直于轴线。优选地，子区域具有相等的高度(即沿轴线的相等延伸)和/或有规律地偏移。进一步优选的是，所述偏移对应于高度的一半，使得每个子区域与下一子区域并排放置，但是这两个相邻子区域中的一个和两个相邻的半部分在中间子区域重叠。
优选地，关注区域沿其被分成子区域的轴线是纵轴。然后，子区域可以是相等高度的水平条纹，相对于彼此偏移高度的一半。垂直划分关注区域特别适合于区分位于水平面(诸如道路或其它地面)中的真实障碍物形式的结构或图案。这是因为水平面中图像投影的垂直偏移子区域与平面中关于它们与摄像头的距离不同的部分相对应，并因此将导致不同的TTC。
针对当前图像帧中关注区域的每个子区域，确定各个TTC，该TTC是直到预期子区域的目标内容到达摄像头的位置的时刻的持续时间的度量，尤其是假设接近速度恒定。为了从静态图像帧推断出运动，必须考虑至少两个图像帧。因此，确定TTC不仅基于当前图像帧，还基于至少前一图像帧或后一图像帧。如果在连续获取新图像帧期间实时执行该方法，并且当前图像帧始终是可用的最新图像帧，则相应的另一图像帧当然是在前图像帧。另外，通常，所述另一图像帧优选是在前图像帧，但是也可以使用后续图像帧作为所述另一图像帧来执行相同的方法。所述前一(或后一)图像帧优选地(但不是必须)是相对于图像帧序列内的图像帧的时间顺序直接在当前图像帧之前(或之后)的图像帧。通常，可以应用用于根据该物体的连续图像帧确定物体的接触时间的已知方法。
确定TTC并不一定意味着针对每个子区域总是可以获得具体的TTC值。对于一个或更多个子区域，确定TTC值可能失败，例如，如果不满足可靠性标准。然后，代替具体值，对TTC的所述确定可以返回无效或不能确定有效的TTC值的一些其它指示符。
该方法的步骤B包括基于针对当前图像帧确定的子区域的TTC来确定一个或更多个分类特征。分类特征源自TTC，但也可以考虑其它参数。至少一个分类特征可以例如是相应TTC与阈值的比较结果或两个TTC相互比较的结果。作为另一示例，至少一个分类特征可以基于对于相应的子区域是否可以确定TTC值，和/或基于无法确定有效TTC的子区域的数量。虽然在分类中考虑的至少一个分类特征是基于子区域的TTC确定的，但不一定所有这样的分类特征都是。相反，分类可以另外依赖于其它不(至少不直接)与子区域的TTC相关的分类特征。下文中进一步描述了这些其它分类特征的优选示例。
该方法的步骤C包括基于所确定的一个或更多个分类特征对障碍物候选进行分类。尤其是，分类返回障碍物候选是否有效，即是否被认为是真正的障碍物。优选地，至少存在第三种可能的分类结果，诸如“未知”，其可以表示仍然不清楚障碍物候选是否有效。例如，如果该方法的任何部分失败，如果分类的置信度度量低于阈值，或者如果所确定的分类特征是矛盾的或者表示数据不够可靠，则可能是这种情况。
通常，用于验证障碍物候选的方法可以应用于单个“当前”图像帧，其中仅需要单个其它图像帧来根据两个图像帧之间的变化确定子区域的TTC。但是，在优选实施方式中，迭代步骤A，在第一次迭代中，当前图像帧是图像帧序列的第一图像帧，并且在每次后续迭代中，当前图像帧是之后的，尤其是直接在相应的前一次迭代中的当前图像帧之后的图像帧。以这种方式，针对多个图像帧确定子区域的TTC，尤其是针对图像帧序列中的每个图像帧确定子区域的TTC。然后，步骤B中的所述一个或更多个分类特征的确定可以(并且优选地)基于子区域的平均TTC，经过预定次数的迭代，通过对子区域的TTC求平均值来获得每个子区域的平均TTC。预定的迭代次数可以对应于迭代的总次数或者对应于较少的次数，例如10次，以便将平均的TTC确定为一种移动平均值。通过在多个图像帧上对TTC求平均值，由于连续图像帧之间的较小变化而易于产生高噪声的TTC有利地被低通滤波掉。
根据有利实施方式，所述确定子区域的TTC包括确定当前图像帧与前一(或后一)图像帧之间的子区域的大小的改变。尽管图像帧是二维的，但是相对于单一维度也可以确定相应子区域的大小的改变，因为一维的改变可以足以推断出TTC。优选地，至少针对子区域具有其最大延伸的维度确定大小的变化。如果关注区域沿纵轴划分成垂直分布的子区域，则子区域的TTC尤其可以基于子区域的宽度(水平延伸)的变化来确定。
子区域的TTC可以例如通过如下等式来计算
其中w是两个图像帧中的前一图像帧中的子区域的大小(宽度)，w'是两个图像帧中的后一图像帧中的子区域的大小(宽度)，Δw是大小(宽度)的变化，并且dt是两个图像帧之间的时间步长。如果TTC仅用于验证目的，则它们的绝对值可能不重要。如果帧速率是恒定的，则可以通过将dt设置为1来对时间尺度进行归一化。从等式(1)可以看出，绝对大小也不重要，因为TTC取决于大小的相对变化。因此，等式(1)也可以写成
其中是两个图像帧之间大小的相对变化。但是，对于非恒定帧速率，连续图像帧之间的时间步长dt改变。因此，在这种情况下，重要的是不要忽略dt，以便可以直接将针对不同图像帧确定的TTC彼此进行比较。此外，为了在一系列图像帧上对TTC求平均值，TTC必须符合通用尺度。如果帧速率未知或不恒定，则优选根据分配给图像帧的时间戳来确定dt。
虽然时间步长dt可以是已知的(可以根据图像帧的时间戳计算出，或者简单地设置为1)，但为了计算子区域的TTC，必须确定相应图像帧中的子区域的大小。当前图像帧内的子区域的大小可以例如等于针对当前图像帧已经确定的关注区域的大小。因此，计算TTC减少到找到确定前一(或后一)图像帧中的子区域的大小的方法的任务。在像素级上，此任务相当于检测单一像素分散或收敛的量。表示连续图像帧之间的相同物体结构的像素的移动在文献中被称为“光流(optical flow)”。密集光流的计算(即对关注区域或其子区域的各个单一像素的移动的计算)在计算上是昂贵的并且因此不适合用于嵌入式***的低成本硬件的运行时间需求。因此，优选的是计算仅针对子区域内的一小组关注点的流量。
因此，在本发明的优选实施方式中，所述确定子区域的TTC尤其包括确定子区域中的关注点，针对每个关注点，确定当前图像帧与前一(或后一)图像帧之间的关注点的位置的改变，并且至少根据所确定的关注点的位置的变化得出当前图像帧与前一(或后一)图像帧之间的子区域的大小的变化。
确定子区域中的关注点可以包括在当前图像帧中从一组关注点中选择包含在该子区域中的关注点。应注意，如果子区域重叠，则一些或甚至所有关注点可以包含在多于一个的子区域中，并且因此属于多于一个的子区域。例如，可以在整个关注区域上确定一般关注点。然后，这些关注点形成所述关注点组。为了基于关注点的位置的变化来确定关注区域的子区域的TTC，考虑该组中的那些在当前图像帧中位于该子区域内的关注点。由于在连续图像帧中关注点可以进入或离开子区域，因此对于不同的当前图像帧，相同的子区域可以包含不同的关注点。此外，形成从中获取相应子区域的关注点的池的关注点组不一定是恒定的。
关注点理想地满足以下要求。为了能够成功确定局部光流，关注点的局部环境(例如，定义为预定宽度和高度的方形、或至少矩形框)应该优选在两个维度上都包含足够量的纹理，尤其是高图像梯度。关注点应均匀地覆盖子区域以产生子区域的大小变化的代表性预测。并且关注点的确定应该是快速的。为了快速确定关注点和子区域的均匀覆盖，关注点可以布置在预定义的网格结构中。但是，这可能不会导致具有显著纹理的关注点。相反，定义为关注点，具有最高图像梯度的点可以满足该要求，但是不能保证子区域被均匀地覆盖并且也可能在计算上是昂贵的，并因此太慢。
根据一个实施方式，以下面的方式获得该关注点组。在图像帧序列的第一图像帧中，定义初始的关注点组。该初始组优选地基于应用于至少关注区域的等距网格的点。然后，针对图像帧序列中的每个后续图像帧，基于贯穿图像帧序列跟踪该组的关注点来修正该关注点组，其中，当对关注点的跟踪导致无效结果时，关注点从那时起(即，在获得了无效结果的图像帧中以及在所有后续图像帧中)从图像点组中删除并由新关注点替换。以这种方式，可以快速确定初始组的关注点并且均匀地覆盖子区域。但是，如果一个关注点变得(不再)有用，它将被一个新关注点所取代。
跟踪关注点是否导致无效结果可能例如依赖于将新位置处的关注点的局部环境与前一位置处的关注点的局部环境进行比较，如果两个环境的相似度低于特定阈值，则结果无效。另选地或附加地，如果对于关注点，不能确定新位置或者如果新位置处的关注点的局部环境部分位于相应图像帧之外，则跟踪可能导致无效结果。此外，如果在其新位置处的关注点到最近的其它关注点的距离低于特定阈值，尤其是使得这些关注点的局部环境重叠超过阈值比率，则删除这些关注点中的一个，优选地，删除具有较少纹理的一个。
优选地，选择替换导致无效结果的关注点的新关注点，使得至少可以更好地满足上述要求。尤其是，新关注点可以通过以下过程来定义。首先，选择一个子区域，其中对于该选择，包含较少关注点的子区域优于包含更多关注点的子区域。例如，可以选择包含最少关注点的子区域或子区域中的一个；或者选择是随机的，但是具有加权概率，使得包含较少关注点的子区域的概率更大。
在选择了子区域之后，随机选择位于该子区域内的点并且测试其是否符合一个或更多个预定的适合性条件。优选地，为了随机选择新点，排除该子区域中形成其它关注点的局部环境的部分。该测试还可以包括确定新点的局部环境的图像梯度，例如，通过确定局部环境的四个角之间的绝对水平和垂直灰度值差异。然后，满足适合性条件可能要求梯度超过阈值。另一适合性条件可以是，新点的局部环境与现有关注点的局部环境的重叠低于阈值，以实现关注点的均匀分布。
如果随机选择的点不符合所述一个或更多个预定的适合性条件，则重新确定可能的关注点，即至少重复随机选择所选子区域内的点的步骤。如果子区域的选择包含随机元素，则也可以首先重复该选择。重复确定可能的关注点，直到一个点符合所述一个或更多个预定的适合性条件，尤其是符合所有预定的适合性条件。然后将该点定义为要***到关注点组中的新关注点代替所删除的关注点。这种策略有利于同时位于具有高纹理的图像位置的关注点的均匀分布。
根据另一实施方式，所述确定关注点的位置变化包括在图像帧序列中(至少直到当前(或后一)图像帧，优选贯穿整个图像帧序列)对关注点进行跟踪(尤其是光学跟踪)。为了跟踪关注点，可以考虑关注点的一个或更多个局部环境。具体地，基于图像帧中的关注点的局部环境，定义模板，该模板至少基本上对应于包括关注点的局部环境，但是可以重新采样(优选地下采样)成预期的分辨率。为了跟踪关注点，然后可以在后续图像帧中搜索模板。在优选实施方式中，确定对应于具有与其中心相同的关注点但具有不同扩展的局部环境的两个这样的模板，并用于跟踪后续图像帧中的关注点，较大的局部环境的大小优选地是较小的局部环境的大小的两倍，并且较大模板的分辨率优选是较小模板的分辨率的一半，使得两个模板具有相同数量的像素。考虑相应关注点的两个或更多个局部环境使得能够同时在两个或更多个尺度上执行跟踪，从而可以提高跟踪效率和精度。
通常，对区域或点的跟踪可以包括：在图像帧的图像序列的第一图像帧中，分别基于跟踪区域或基于跟踪点的局部环境(即，基于包围跟踪点的优选预定大小的区域)定义至少一个模板；以及在图像帧序列的后续图像帧中的至少一个，优选每个图像帧中，确定(至少局部地)最佳对应于所述至少一个模板的区域。该区域可以用作在随后的图像帧等中搜索的新模板的基础。另选地，对于针对所有后续图像帧的搜索，模板可以保持相同。
与如上所述的对关注区域的跟踪相比，可以仅关于它们在图像帧中的位置来跟踪关注点，而大小的改变要么被忽略，要么优选地不需要被估计，因为它们是基于可以通过跟踪关注区域获得的关注区域的大小的变化预先确定的。这在运行时间上产生优势并且使得跟踪不易于出错和噪声，因为对于关注点的小的局部环境，尺度估计可能是挑战性的。优选地，跟踪关注点基于卡纳迪-卢卡斯-托马斯(KLT)方法和/或采用卡尔曼滤波器来模拟关注点的相对运动。尤其是，跟踪可以根据欧洲专利申请第17 182 718.1号描述的方法来执行。
在确定了子区域的关注点的位置变化之后，可以导出该子区域的大小的变化，尤其是在算法上，例如，基于正规方程组，优选地通过应用最小二乘法。根据有利实施方式，导出子区域的大小的变化包括：针对当前图像帧确定子区域的第一中心位置和子区域中关注点的第一组相对坐标，该相对坐标是相对于第一中心位置定义的；以及针对前一(或后一)图像帧确定子区域的第二中心位置和子区域中关注点的第二组相对坐标，该相对坐标是相对于第二中心位置定义的；以及至少根据所述第一组相对坐标和所述第二组相对坐标之间的关系导出子区域的大小变化。然后，该关系对应于关注点的扩散量或收敛量。因此，通过比较两个图像帧中的关注点的相对坐标，可以有效地获得子区域的大小的变化。中心位置可以例如对应于两个图像帧中的子区域的几何中心或子区域中的关注点的几何中心。尤其是，例如，通过跟踪关注点，可以确定前一(或后一)图像帧中的关注点的位置，并且然后可以基于这些确定的关注点的位置来确定第二中心位置，例如，作为它们的几何中心。
优选地，在导出大小变化之前，检查可靠性标准以便评估是否可以基于给定的关注点针对相应的子区域确定可靠的TTC。例如，如果在当前图像帧中，子区域超出图像帧超过阈值比率和/或如果包含在图像帧中的关注点数量低于阈值，例如少于三个，则可以中止对子区域的TTC的确定。如果对TTC的确定被中止，则可以返回空值或一些其它指示符，表明无法针对该子区域确定TTC值。所确定的TTC被认为是无效的。
在至少针对当前图像帧确定了每个子区域的TTC之后(并且考虑至少一个在前或在后的图像帧以获得运动信息)，可以基于这些TTC确定一个或更多个分类特征。简单的分类特征可以基于针对不同子区域获得的TCC的比较。由于真正的障碍物被认为是基本直立的，因此对于真正的障碍物，障碍物候选的图像投影的所有子区域的TTC预期至少大致彼此相同。因此，至少一个分类特征可以例如对应于子区域的TTC的方差。
附加地或另选地，可以将子区域的TTC与针对整个关注区域确定的TTC进行比较。如果障碍物候选是真正的障碍物，则预期子区域的TTC对应于整个关注区域的TTC。因此，在本发明的另一实施方式中，步骤B中对所述一个或更多个分类特征的确定包括：针对每个子区域，确定至少一个分类特征，该分类特征是或者至少基于所确定的子区域的TTC与针对当前图像帧确定的整个关注区域的TTC之间的差异。确定整个关注区域的TTC优选包括确定当前图像帧与前一(或后一)图像帧之间的关注区域的大小的改变。同样，仅相对于单个维度，优选地相对于关注区域的水平延伸(宽度)，确定大小的变化可能就足够了。例如通过等式(1)从中可以确定TTC的大小的变化尤其可以通过图像帧序列跟踪关注区域而获得。
对于至少一个分类特征，该分类特征所基于的TTC可以是通过对多个(尤其是预定数量的)图像帧序列的连续图像帧确定的TTC求平均值而获得的平均TTC，而不是仅基于针对当前图像帧确定的TTC的一个或更多个分类特征。这可以提升分类的稳健性，因为可以滤除噪声。
根据有利实施方式，步骤B中对所述一个或更多个分类特征的确定包括：针对每个子区域，确定分类特征，该分类特征是或者至少基于在针对当前图像帧和当前图像帧之前的预定数量的图像帧确定的子区域的TTC内的有效TTC的比率。换句话说，测试每个子区域中可以确定多少个最后图像帧(例如，最后十个图像帧)没有有效的TTC。如果对于一个或更多个子区域，无效TTC的比率大于阈值，则这可以表明障碍物候选仅具有很少的纹理，这反过来可以表明障碍物候选不是真正的障碍物，而是例如道路的一部分，并因此无效。
除了基于关注区域的子区域的TTC的分类特征之外，对障碍物候选进行分类还可以考虑不基于这些TTC的其它分类特征。尤其是，步骤B可以进一步包括确定至少一个其它分类特征，其是或者至少基于针对当前图像帧确定的整个关注区域的TTC、关注区域的大小和/或位置、以及当前图像帧在图像帧序列内的位置中的一个。然后，步骤C中对障碍物候选的分类可以另外基于至少一个这样的其它分类特征。
在确定了基于子区域的TTC的一组分类特征(以及可选地不基于这些TTC的其它分类特征)之后，可以对障碍物候选进行分类。可以有效地例如借助于线性支持向量机(SVM)进行分类，因为分类然后简化为SMV的法向量N与根据该组分类特征建立的向量X的向量乘法，然后与边界距离D进行比较。尤其是，如果满足以下条件，则分类返回障碍物候选有效：
NTX＞D (3)
尤其是其法向量N和边界距离D的SVM的参数优选通过利用多个不同的训练数据点训练分类器来预先确定，其中针对各训练数据点的预期分类结果是已知的。
使用单个SVM通常相当快，但可能不足以在很宽的物距范围内进行可靠的分类，因为对应于较近的物体的较大的关注区域提供更高的分辨率、对比度和细节以及针对与较远的物体相对应的较小关注区域相比相同的物体接近速度更大的位移。因此，可以有一组不同的SVM，从中可以选择最适合相应情况的SVM。
根据实施方式，步骤C中对障碍物候选的所述分类包括以下分类步骤：根据所确定的关注区域的大小确定关注区域的大小，从通过训练针对关注区域的大小的不同相应范围的SVM而获得的预定的不同的(优选线性的)支持向量机(SVM)的组选择SVM，并且将所选择的SVM应用于所确定的一个或更多个分类特征和(如果可用的话)至少一个另外的分类特征。代替使用关注区域的大小作为从预训练的SVM组中选择SVM的标准，可以另选地使用从诸如当前图像帧的单个图像帧或者从作为一个整体的组导出的图像帧序列的不同特征。该特征优选地至少间接地涉及障碍物候选与摄像头或主体物体的距离。例如，形成所述组的SVM可以另选地被训练用于整个关注区域的TTC的不同范围。在这种情况下，从这些SVM中选择要应用于所确定的分类特征的SVM需要确定整个关注区域的实际TTC并且然后根据该确定的TTC来进行。
此外，在执行这些分类步骤之前，可以优选地基于相同的分类特征执行预分类以分类出明显不允许正确分类的情况，或者可以在不使用SVM分类器的情况下直接分类。在这种情况下，可以中止进一步的分类并且将障碍物候选分别分类为不可验证的或未知的，或者直接分类为有效或无效。因此，在本发明的另一实施方式中，步骤C中对障碍物候选的所述分类包括在所述分类步骤之前执行的预分类，其中，该预分类包括确定是否至少一个分类特征(可选地包括所述其它分类特征，如果可用的话)满足相应的中止条件，并且还包括：如果满足相应的中止条件，则省略上述分类步骤并且基于中止条件对障碍物候选进行分类。相反，如果没有满足相应的中止条件，则执行所述分类步骤。
分类特征的相应中止条件可以是例如分类特征超过相应的阈值。例如，如果在防止碰撞的情况下使用该方法，则如果关注区域的TTC和/或子区域的TTC中的任何一个超过阈值，则可以将障碍物候选分类为未知。以这种方式，在障碍物候选太远而不被认为是关键的情况下，中止分类。作为另一示例，如果对于当前图像帧，发现关注区域部分位于图像帧之外超过阈值比率，则障碍物候选可被分类为未知，因为来自仅部分可见子区域的特征可能不具代表性。此外，如果可以确定无有效TTC的子区域的数量超过阈值，则障碍物候选可以直接被分类为无效(即，不是真正的直立障碍物)，因为真实物体倾向于产生几乎针对所有子区域的有效TTC；另选地，在这样的情况下，障碍物候选也可以被分类为未知。
本发明的目的还通过根据权利要求15的计算机程序产品来实现，并且尤其是通过具有计算机程序的计算机程序产品来实现，所述计算机程序具有用于如果计算机程序在计算设备中执行则实现根据上述的至少一个实施方式的方法的软件装置。由于在执行该方法期间计算的复杂性优选地较低，所以计算机程序可以尤其适合于在用于捕获图像帧序列的图像帧的例如摄像头的微控制器或嵌入式***上执行。
附图说明
在下文中，参照附图示例性地进一步描述本发明。
图1示出了图像帧的细节，其中勾画出了包含要通过本发明方法的实施方式验证的障碍物候选的图像投影的关注区域，以及该关注区域的子区域。
图2示出了一系列图像帧中的三个图像帧的细节，在这些图像帧的每一个中勾画出了包含要通过本发明方法的实施方式验证的障碍物候选的图像投影的关注区域，以及所跟踪的关注点的局部环境。
图3示出了图2中所示的一个图像帧的细节，其中勾画出了关注区域并且指示出两个跟踪模板的点网格，这些模板也在图3的右侧以放大的形式单独示出。
图4示出了两个图像帧，在它们的每一个中勾画出了包含要通过本发明方法的实施方式验证的障碍物候选的图像投影的关注区域，其中，在左图像帧中，障碍物候选是有效的，而在右图像帧中，障碍物候选是无效的，并且其中，在每个图像帧的下方示出了表示针对相应障碍物候选确定的分类特征的值的条形图。
具体实施方式
在图1中，示出了由安装在主车辆上的摄像头捕获的一系列图像帧的图像帧11的细节。该细节包括通过任何合适的方法(例如，通过图案识别)在图像帧11内识别出的障碍物候选13。障碍物候选13被认为是可能是主车辆的障碍物的真实物体的图像投影。在本示例中，物体是摄像头前方的汽车。通过根据本发明的方法对障碍物候选13是真实障碍物还是仅仅是背景或道路的一部分进行验证，通过该方法将障碍物候选13分类为有效或无效。此外，如果不能可靠地获得结论，则障碍物候选13也可以被分类为未知。对障碍物候选的验证用于支持在高级驾驶员辅助***的连续更高级别逻辑中对潜在规避操纵的决定。
用于验证障碍物候选13的方法包括在图像帧11中确定关注区域15。该关注区域15至少基本上对应于障碍物候选13在图像帧11中的图像投影并且由在图1中勾画出的定界框限定。以如欧洲专利申请第17 182 718.1号中所描述的方式，通过应用卡纳迪-卢卡斯-托马斯(KLT)方法并且采用卡尔曼滤波器以对障碍物候选物13的运动方式进行建模来贯穿图像帧11的序列的连续图像帧11对关注区域15进行跟踪。作为该跟踪的结果，可以针对每个图像帧11确定关注区域15的位置和大小，尤其是宽度。根据两个连续图像帧11a之间关注区域15的宽度变化，根据等式(1)确定关注区域15的接触时间(TTC)，即障碍物候选13的总TTC，其中dt是两个图像帧11之间的时间间隔并且可以被确定为(标称)帧速率的倒数或者可以根据图像帧11的时间戳来确定。
为了验证关注区域15的TTC是否与真实障碍物相关，关注区域15沿纵轴被划分为七个高度相等的子区域17，每个子区域17的高度是关注区域15的总高度的四分之一。子区域17沿纵轴彼此偏移高度的一半，使得它们重叠并且关注区域15中的每个点(除了位于最顶部子区域17的上半部分或最底部子区域17的下半部分中的点之外)包含在如图1所示的通过被绘制到图像帧11的左侧和右侧的垂直条的两个子区域17内。对障碍物候选13的验证基于这样的假设：真实障碍物相对于摄像头的视线基本上是直立的。如果是这种情况，则预期针对每个子区域17单独确定的TTC至少大致彼此对应以及对应于针对整个关注区域15确定的TTC。
为了确定所有子区域17的TTC，针对子区域17中的每一个，确定宽度的变化。为此，通过在填充关注区域15的6乘6网格中等距地布置点来定义位于关注区域15内的初始关注点19组(参见图2，其中仅实际示出了少数几个关注点19)。各关注点19被方形的局部环境21包围，其中关注点19位于其中心。局部环境21的高度和宽度是关注区域15的高度和宽度的六分之一，使得局部环境21最初覆盖整个关注区域15而没有重叠。各关注点19被分配给它所包含在其中的所有子区域17，即，在本示例中，各关注点19被分配给两个子区域17。
类似于整个关注区域15，通过相同的一般方法，贯穿图像帧11序列对关注点19进行跟踪。然而，虽然为了跟踪关注区域15，其第一图像帧11中的内容可以用作要在后续图像帧11中搜索的模板，但是关注点19本身不能用作模板，因为模板不能由单个像素定义。因此，为了跟踪关注点19，基于关注点19的诸如局部环境的周围环境来定义相应的模板。针对每个关注点19，定义较小的模板23和较大的模板25(参见图3)。较小的模板23基于5×5点网格，其角点位于关注点19的局部环境21的角处，而较大的模板25基于以关注点19为中心的高度和宽度的两倍的5×5点的网格。另选地，可以使用其它点网格，尤其是更精细的点网格，诸如9乘9点网格，以便提取更多的信息。模板23、模板25通过重新采样图像帧11的根据该点网格与相应的点网格重叠的区域来确定(参见图3右侧)。然后，跟踪关注点19包括在后一图像帧11中搜索周围环境同时对应于模板23和模板25的点。以这种方式，一次在两个尺度上执行跟踪。
跟踪整个关注区域15的另一不同之处在于，仅仅针对位置的变化来跟踪关注点19，而不针对宽度的变化进行跟踪。因此，宽度的变化不是由跟踪算法估计的值，而是作为预定参数输入的。简单地说，在针对其搜索当前图像帧11之前，根据预定的宽度变化来对模板23、模板25定标。预定的宽度变化对应于关注区域15的宽度变化，该变化是作为跟踪关注区域15的结果而获得的。
在图2中所示的中心和右图像帧11中可视化出了对关注点19的跟踪，其中短跟踪标记关注点19的初始位置与如通过跟踪确定的它们在当前图像帧11中的位置之间的差异。这两个图像帧11中所示的局部环境21是相对于被跟踪关注点19的当前位置而定义的。
如果对关注点19的跟踪失败-特别是因为不能确定新的位置，其周围环境与模板23、模板25足够相似，或者因为关注点19的局部环境21部分地在图像帧11之外-或者如果在新位置，关注点19的局部环境21与另一关注点19的局部环境21重叠太多，则删除关注点19并用新确定的关注点19代替。确定新关注点通过选择子区域17来完成，其中仅包含少量关注点19的子区域17优于具有许多关注点19的子区域17，并且通过将新关注点19随机地放置在所选择的子区域17中来完成，尽管新关注点19被随机地重新定位在所选择的子区域17内，但只要新关注点19的局部环境21与其它关注点的局部环境21重叠太多或新关注19的局部环境21的四个角之间的绝对水平和垂直灰度值差异低于阈值就可以。
基于跟踪关注点19，子区域17的TTC根据包含在该子区域17中的关注点19的扩散(或收敛)而得出。但是，如果在当前图像帧11中，子区域17不超出图像帧11超过阈值比率并且如果子区域包含至少三个关注点19，则仅计算有效的TTC值。否则确定TTC返回无效。为了从两个图像帧11计算具有索引j的子区域17的TTC，在前一图像帧11中确定子区域17的第一中心位置xj,yj并且将子区域17的关注点19的坐标xj,yj(i＝1、...、Nj，其中Nj是包含在子区域17中的关注点19的数量)转换为相对坐标ai＝xi-xj，bi＝yi-yj。相应地，在后一图像帧11中，确定子区域17的第二中心位置x'j,y'j，特别是基于已经例如通过跟踪确定的该图像帧11中的子区域17的关注点19的位置，并且子区域17的关注点19的坐标x'I,y'i被转换为相对坐标a'i＝x'i-x'j，b'i＝y'i-y'j。然后，一个图像帧11中的相对坐标和另一个图像帧11中的相对坐标经由子区域17的旧宽度wj和新宽度w'j的比率彼此相关，如下所示
在共同***中收集所有关注点19的这种关系并且将要在单独的矢量中估计的参数分开，得到以下正规方程组
其中，
等式(5)可以写为p＝(ATA)-1ATl (7)
并且经由最小二乘法得出。根据这样估计的新宽度w'j、旧宽度wj和两个图像帧11之间的时间差dt，子区域17的TTCj然后如下计算：
基于所有子区域17的TTC、整个关注区域15的TTC和其它参数，确定分类特征组。图4示出了具有勾画出的关注区域15的两个图像帧11(分别为左上和右上)，以及两个条形图(分别为左下和右下)，其示出了所得到的分类特征。在左图像帧11中，障碍物候选13是车辆并因此是真实的障碍物，而在右图像帧11中，障碍物候选13是道路的一部分并因此是无效的。
第一特征块27包括针对每个子区域17的一个分类特征，该特征是在最后十个图像帧11(或者如果跟踪从当前图像帧11之前少于十个图像帧11开始，则为更少的图像帧11)中计算相应子区域17的有效TTC的频率的比率。第一特征块27的七个分类特征的结果值由图4底部所示的两个条形图中的每一个中的七个最左边的条表示。对于图4中所示的两个图像帧11，第一特征块27的分类特征几乎相同。这是因为，即使右侧的障碍物候选13无效，它也具有使得能够计算出有效TTC的一些纹理。因此，对于给定示例，第一特征块27不足以对相应的障碍物候选13进行分类。
第二特征块29包括针对每个子区域17的一个分类特征，其是相应子区域17的TTC与关注区域15的TTC之间的差异，这两个TTC都通过基于最后十个图像帧11(或者如果跟踪从在当前图像帧11之前的少于十个图像帧11开始跟踪，则在更少的图像帧11)中的有效TTC计算进行平均而被低通滤波。从图4中的条形图可以看出，第二特征块29的分类特征(左起第八至第十四条)对于有效障碍物候选13而言相当小并且彼此非常相似(左图像帧11)，并且对于无效障碍物候选13(右图像帧11)而言相当大并且显著不同。
第三特征块31包括另外的分类特征，其意图通过引入与子区域17不直接相关的全局信息来支持分类过程。第三特征块31的第一分类特征(右起第三条)简单地对应于关注区域15的TTC。基于该分类特征，可以估计子区域17的TTC的质量，因为该质量可以取决于后续图像帧11的变化量，而后续图像帧11又取决于整体接近速度。第三特征块31的第二分类特征(右起第二条)对应于关注区域15的宽度。该分类特征也可以帮助估计子区域17的TTC的质量，因为较大的关注区域15导致子区域17的分辨率也较高。第三特征块31(最右边的条)的第三分类特征与到目前为止的跟踪持续时间相对应。如果仅针对少数图像帧11跟踪关注区域15和/或关注点19，则对TTC进行低通滤波的效果可能与针对更多数量的图像帧11的效果不同。为了防止分类被长追踪偏移，可以缩减该分类特征，例如，缩减至二十个图像帧11。
基于所确定的分类特征，然后借助于线性支持向量机(SVM)对相应的障碍物候选13进行分类。但是，在该分类之前进行预分类以分类出可能妨碍适当进一步分类或不需要进一步分类的劣化情况，因为可以直接获得结果。具体地，如果关注区域15的TTC超过阈值或者如果关注区域15在图像帧11之外超过阈值比率，则障碍物候选13被直接分类为未知。此外，如果可以确定无有效TTC的子区域17的数量超过阈值，则障碍物候选13被直接分类为无效(非直立)。
如果通过预分类将障碍物候选13直接分类，则中止分类。否则，执行主要分类步骤。这些步骤包括根据关注区域15的宽度从训练的SVM组中选择SVM，并且通过将所选择的SVM应用于所确定的分类特征来对障碍物候选进行分类。例如，可以针对关注区域15的宽度的四个连续范围预先训练一组四个不同的SVM，使得可以通过将确定的关注区域15的宽度与三个不同的阈值(最多)比较来选择最适合于相应的障碍物候选13的SVM。用所选择的SVM对障碍物候选13进行分类然后返回障碍物候选物13是否有效，即是否被认为是真正的障碍物。
参考标号列表
11 图像帧
13 障碍物候选
15 关注区域
17 子区域
19 关注点
21 局部环境
23 较小的模板
25 较大的模板
27 第一特征块
29 第二特征块
31 第三特征块

Claims (15)

1.一种验证在图像帧(11)序列内识别出的障碍物候选(13)的方法，所述方法包括以下步骤：
A.针对所述图像帧(11)序列中的当前图像帧(11)
-在该当前图像帧(11)内确定表示所述障碍物候选(13)的关注区域(15)，
-将所述关注区域(15)划分为子区域(17)，以及
-针对每个子区域(17)，至少基于所述图像帧(11)序列中的所述当前图像帧(11)以及前一图像帧(11)或后一图像帧(11)确定接触时间TTC；
B.基于针对所述当前图像帧(11)确定的所述子区域(17)的所述TTC，确定一个或更多个分类特征(27、29、31)；以及
C.基于所确定的一个或更多个分类特征(27、29、31)，对所述障碍物候选(13)进行分类。
2.根据权利要求1所述的方法，
其中，对步骤A进行迭代，在第一次迭代中，所述当前图像帧(11)是所述图像帧(11)序列中的第一图像帧(11)，并且在每次后续迭代中，所述当前图像帧(11)是相应的前一次迭代的当前图像帧(11)之后的图像帧(11)；
并且其中，步骤B中对所述一个或更多个分类特征(27、29、31)的确定基于所述子区域(17)的平均TTC，所述平均TTC是针对每个子区域(17)通过对所述子区域(17)在预定次数的迭代中的所述TTC取平均值而获得的。
3.根据权利要求1或2所述的方法，
其中，确定关注区域(15)的步骤包括：在所述图像帧(11)序列中对表示所述候选障碍物(13)的关注区域(15)进行跟踪，至少直到所述当前图像帧(11)。
4.根据前述权利要求中任一项所述的方法，
其中，划分所述关注区域(15)的步骤包括：将所述关注区域(15)沿着优选为纵轴划分成预定数量的相等宽度的子区域(17)，所述子区域(17)相对于彼此均匀地偏移，优选相互重叠。
5.根据前述权利要求中任一项所述的方法，
其中，确定子区域(17)的TTC的步骤包括：确定所述当前图像帧(11)与所述前一图像帧(11)或所述后一图像帧(11)之间所述子区域(17)的大小变化，
其中，确定子区域(17)的TTC的步骤尤其包括：
-确定所述子区域(17)的关注点(19)，
-针对每个关注点(19)，确定所述当前图像帧(11)与所述前一图像帧(11)或所述后一图像帧(11)之间所述关注点(19)的位置变化，以及
-至少根据所确定的所述关注点(19)的位置变化得出所述当前图像帧(11)与所述前一图像帧(11)或所述后一图像帧(11)之间所述子区域(17)的大小变化。
6.根据权利要求5所述的方法，
其中，确定子区域(17)的关注点(19)的步骤包括：在所述当前图像帧(11)中，从一组关注点(19)中选择包含在所述子区域(17)的关注点(19)，
其中，通过以下方式获得关注点(19)组：
-在所述图像帧(11)序列的第一图像帧(11)中，优选基于应用于所述关注区域(15)的等距网格的点来定义初始关注点(19)组，并且
-针对所述图像帧(11)序列中的每个后一图像帧(11)，基于贯穿所述图像帧(11)序列跟踪所述关注点(19)来修正所述关注点(19)组，
其中，当对关注点(19)的跟踪导致无效结果时，从所述关注点(19)组中删除该关注点(19)并用新关注点(19)代替。
7.根据权利要求6所述的方法，
其中，所述新关注点(19)是通过以下方式定义的：
-选择所述子区域(17)中的一个，优先选择包含较少关注点(19)的子区域(17)，而不是包含较多关注点(19)的子区域(17)，
-随机选择所述子区域(17)中的点，
-如果该点不符合一个或更多个预定的适合性条件，则重复先前的步骤，直到所述点符合所述一个或更多个预定的适合性条件，
-将最后选择的点定义为所述新关注点(19)。
8.根据权利要求5至7中任一项所述的方法，
其中，确定关注点(19)的位置变化的步骤包括：在所述图像帧(11)序列中对所述关注点(19)进行跟踪，至少直到所述当前图像帧(11)或所述后一图像帧(11)。
9.根据权利要求5至8中任一项所述的方法，
其中，得出子区域(17)的大小变化的步骤包括：
-针对所述当前图像帧(11)确定所述子区域(17)的第一中心位置和所述子区域(17)的所述关注点(19)的第一组相对坐标，该组相对坐标是相对于所述第一中心位置定义的，
-针对所述前一图像帧(11)或所述后一图像帧(11)确定所述子区域(17)的第二中心位置和所述子区域(17)的所述关注点(19)的第二组相对坐标，该组相对坐标是相对于所述第二中心位置定义的，以及
-根据所述第一组相对坐标与所述第二组相对坐标之间的至少一个关系得出所述子区域(17)的大小变化。
10.根据权利要求3、6至8中任一项所述的方法，
其中，跟踪区域或点的步骤包括：
-在所述图像帧(11)序列的第一图像帧(11)中，分别基于所跟踪的区域或所跟踪的点周围的区域来定义至少一个模板(23、25)，以及
-在所述图像帧(11)序列的后续图像帧(11)的至少一个中，确定最佳对应于所述至少一个模板(23、25)的区域。
11.根据前述权利要求中任一项所述的方法，
其中，在步骤B中确定一个或更多个分类特征(27、29、31)包括：针对每个子区域(17)，确定至少一个分类特征(27、29、31)，所述分类特征是或者至少基于所确定的所述子区域(17)的TTC与针对所述当前图像帧(11)确定的整个关注区域(15)的TTC之间的差异，
其中，确定所述整个关注区域(15)的TTC优选包括：确定所述当前图像帧(11)与所述前一图像帧(11)或所述后一图像帧(11)之间所述关注区域(15)的大小变化。
12.根据前述权利要求中任一项所述的方法，
其中，在步骤B中确定一个或更多个分类特征(27、29、31)包括，针对每个子区域(17)，确定分类特征(27、29、31)，所述分类特征(27、29、31)是或者至少基于针对所述当前图像帧(11)以及所述当前图像帧(11)之前的预定数量的图像帧(11)确定的所述子区域(17)的TTC内的有效TTC的比率。
13.根据前述权利要求中任一项所述的方法，
其中，步骤B还包括：确定至少一个另外的分类特征(27、29、31)，该分类特征(27、29、31)是或者至少基于以下各项中的一项：
-针对所述当前图像帧(11)确定的所述整个关注区域(15)的TTC，
-所述关注区域(15)的大小和/或位置，以及
-所述当前图像帧(11)在所述图像帧(11)序列内的位置；并且
其中，在步骤C中对所述障碍物候选(13)的分类还基于所确定的至少一个另外的分类特征(27、29、31)。
14.根据前述权利要求中任一项所述的方法，
其中，在步骤C中对所述障碍物候选(13)的分类包括以下分类步骤：
-确定所述图像帧(11)序列的特性，优选地，所述特性为所述关注区域(15)的大小和/或所述整个关注区域(15)的TTC，
-根据所确定的特性，从通过针对所述特性的不同相应范围训练支持向量机SVM而获得的预定的一组不同的SVM中选择SVM，所选择的SVM优选为线性SVM，以及
-将所选择的SVM应用于所确定的一个或更多个分类特征(27、29、31)；
其中，在步骤C中对所述障碍物候选(13)进行分类优选地还包括在上述分类步骤之前执行的预分类，所述预分类包括：
-确定所述分类特征(27、29、31)中的至少一个是否满足相应的中止条件，尤其是，所述分类特征(27、29、31)中的至少一个是否超过相应的阈值，
-如果满足相应的中止条件，则省略上述分类步骤并且基于所述中止条件对所述障碍物候选(13)进行分类，
-否则执行上述分类步骤。
15.一种具有计算机程序的计算机程序产品，所述计算机程序具有用于如果所述计算机程序在计算设备中被执行则实现根据前述权利要求中任一项所述的方法的软件装置。
CN201910438350.9A 2018-05-28 2019-05-24 验证障碍物候选的方法 Active CN110543807B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18174495.4A EP3576007B1 (en) 2018-05-28 2018-05-28 Method for validation of obstacle candidate
EP18174495.4 2018-05-28

Publications (2)

Publication Number Publication Date
CN110543807A true CN110543807A (zh) 2019-12-06
CN110543807B CN110543807B (zh) 2023-07-14

Family

ID=62386210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438350.9A Active CN110543807B (zh) 2018-05-28 2019-05-24 验证障碍物候选的方法

Country Status (3)

Country Link
US (1) US11093762B2 (zh)
EP (1) EP3576007B1 (zh)
CN (1) CN110543807B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111572560A (zh) * 2020-05-14 2020-08-25 安徽江淮汽车集团股份有限公司 车辆纵向运动控制方法、装置、设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3435330B1 (en) 2017-07-24 2021-09-29 Aptiv Technologies Limited Vehicule based method of object tracking
JP7176478B2 (ja) * 2019-06-14 2022-11-22 トヨタ自動車株式会社 画像認識装置
CN112258813A (zh) * 2020-09-03 2021-01-22 北京蜂云科创信息技术有限公司 一种车辆主动安全控制方法和设备
US11328601B1 (en) * 2021-02-22 2022-05-10 Volvo Car Corporation Prevention of low-speed sideswipe collisions with non-moving objects
WO2023283034A1 (en) * 2021-07-06 2023-01-12 Canoo Technologies Inc. Fisheye collage transformation for road object detection or other object detection
WO2023288049A1 (en) * 2021-07-16 2023-01-19 NetraDyne, Inc. Systems and methods for feature-based forward collision detection
CN115358681B (zh) * 2022-10-19 2023-03-24 睿羿科技(山东)有限公司 一种静态障碍物下室内多任务点路径规划方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203381A (zh) * 2016-07-20 2016-12-07 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置
CN107428288A (zh) * 2015-05-18 2017-12-01 御眼视觉技术有限公司 用于车辆的检测和警告潜在碰撞的安全***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8164543B2 (en) 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
US9251708B2 (en) * 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
JP5830876B2 (ja) 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
JP6260215B2 (ja) 2013-11-13 2018-01-17 富士通株式会社 特徴点追跡装置、及び、特徴点追跡方法
JP6473571B2 (ja) * 2014-03-24 2019-02-20 アルパイン株式会社 Ｔｔｃ計測装置およびｔｔｃ計測プログラム
US10275668B1 (en) * 2015-09-21 2019-04-30 Hrl Laboratories, Llc System for collision detection and obstacle avoidance
DE102016218853A1 (de) * 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
EP3435330B1 (en) 2017-07-24 2021-09-29 Aptiv Technologies Limited Vehicule based method of object tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107428288A (zh) * 2015-05-18 2017-12-01 御眼视觉技术有限公司 用于车辆的检测和警告潜在碰撞的安全***
CN106203381A (zh) * 2016-07-20 2016-12-07 北京奇虎科技有限公司 一种行车中障碍物检测方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111572560A (zh) * 2020-05-14 2020-08-25 安徽江淮汽车集团股份有限公司 车辆纵向运动控制方法、装置、设备及存储介质
CN111572560B (zh) * 2020-05-14 2021-06-08 安徽江淮汽车集团股份有限公司 车辆纵向运动控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20190362163A1 (en) 2019-11-28
CN110543807B (zh) 2023-07-14
US11093762B2 (en) 2021-08-17
EP3576007B1 (en) 2023-09-20
EP3576007A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
CN110543807B (zh) 验证障碍物候选的方法
EP4145393B1 (en) Vehicle localization
CN112292711B (zh) 关联lidar数据和图像数据
Gupte et al. Detection and classification of vehicles
CN108363065A (zh) 物体检测***
Erbs et al. Moving vehicle detection by optimal segmentation of the dynamic stixel world
Roth et al. Driver and pedestrian awareness-based collision risk analysis
JP2016148962A (ja) 物体検知装置
CN103578115A (zh) 移动体识别***以及移动体识别方法
WO2005086078A1 (en) Method and apparatus for classifying an object
CN110674705A (zh) 基于多线激光雷达的小型障碍物检测方法及装置
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN103770704A (zh) 用于识别车辆的停车位标志线的***和方法
KR102082254B1 (ko) 차량 인식 시스템
KR101866381B1 (ko) 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
Petrovai et al. A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices
CN105574892A (zh) 雷达图像中的基于多普勒的分割及光流
US10614323B2 (en) Scene analysis method and visual navigation device
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
US10982967B2 (en) Method and device for fast detection of repetitive structures in the image of a road scene
Börcs et al. Dynamic 3D environment perception and reconstruction using a mobile rotating multi-beam Lidar scanner
JP2017211765A (ja) 物体認識装置
Smith et al. A scene segmenter; visual tracking of moving vehicles
KR102424664B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant