CN102542256B - 对陷阱和行人进行前部碰撞警告的先进警告*** - Google Patents

对陷阱和行人进行前部碰撞警告的先进警告*** Download PDF

Info

Publication number
CN102542256B
CN102542256B CN201110404574.1A CN201110404574A CN102542256B CN 102542256 B CN102542256 B CN 102542256B CN 201110404574 A CN201110404574 A CN 201110404574A CN 102542256 B CN102542256 B CN 102542256B
Authority
CN
China
Prior art keywords
model
described image
image point
road surface
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110404574.1A
Other languages
English (en)
Other versions
CN102542256A (zh
Inventor
丹·罗森鲍姆
阿米亚德·古尔曼
吉迪昂·斯坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mobileye Technologies Ltd
Original Assignee
Mobileye Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobileye Technologies Ltd filed Critical Mobileye Technologies Ltd
Priority to CN201710344179.6A priority Critical patent/CN107423675B/zh
Publication of CN102542256A publication Critical patent/CN102542256A/zh
Application granted granted Critical
Publication of CN102542256B publication Critical patent/CN102542256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及使用可装在机动车中的摄像机对陷阱和行人进行前部碰撞警告的先进警告***和方法。该方法按已知间隔获得图像帧。可在至少一个图像帧中选择斑块。可跟踪斑块的多个图像点的图像帧之间的光流。可将图像点拟合到至少一个模型。基于图像点与至少一个模型的拟合，若预期有碰撞，可确定碰撞时间(TTC)。图像点可拟合到路面模型且其部分被建模为成像自路面。基于图像点与路面模型的拟合确定预期不会有碰撞。至少一个模型还可包括混合模型，图像点第一部分可建模为成像自路面，其第二部分可建模为成像自实质上垂直对象。图像点可拟合到垂直表面模型，图像点部分可建模为成像自垂直对象。可基于图像点与垂直表面模型的拟合确定TTC。

Description

对陷阱和行人进行前部碰撞警告的先进警告***
背景
1.技术背景
本发明涉及提供前部碰撞警告的驾驶员辅助***。
2.相关技术的描述
近几年来以摄像机为基础的驾驶员辅助***(driver assistance system，DAS)已经进入市场；该驾驶员辅助***包括车道偏离警告(lane departure warning，LDW)、自动远光控制(Automatic High-beam Control，AHC)、行人识别和前部碰撞警告(forwardcollision warning，FCW)。
车道偏离警告(LDW)***被设计用于在非故意的车道偏离的情况下发出警告。当车辆通过或即将通过车道标志时发出警告。基于转向信号的使用，方向盘的角度的改变、车辆速度和刹车激活来确定驾驶员意图。
在图像处理中，Moravec角点检测算法可能是最早的角点检测算法之一并定义角点是具有较低自相似性的点。Moravec算法通过考虑集中在像素上的斑块(patch)与附近大部分重叠的斑块有多么相似，测试图像中的每一像素来看角点是否存在。通过采用两个斑块之间的平方差和(sum of squared difference，SSD)测量相似性。数字越小说明相似性越大。可选的检测图像中的角点的方法基于由Harris和Stephens提出的方法，该方法是对由Moravec提出的方法的改进。Harris和Stephens通过考虑直接与方向相关的角点分数的微分而非使用Moravec邻近斑块，对Moravec的角点检测算法做了改进。
在计算机视觉中，用于光流估计的广泛使用的微分方法是由Bruce D.Lucas和Takeo Kanade开发的。Lucas-Kanade方法假设光流在考虑中的像素的局部邻域中基本上是不变的，且通过最小二乘准则对该邻域中的所有像素求解基本光流方程。通过综合来自几个邻近像素的信息，Lucas-Kanade方法一般能够解决光流方程的固有二义性。与逐点方法相比，该方法对图像噪声也是不敏感的。另一方面，因为该方法是纯局部方法，所以它不能够提供图像的内部统一区域中的流信息。
概述
根据本发明的特征，提供了用于发出前部碰撞警告信号的不同方法，所述方法使用可安装在机动车中的摄像机。按已知的时间间隔获得多个图像帧。可在至少一个图像帧中选择图像斑块。可在图像帧之间跟踪斑块的多个图像点的光流。图像点可拟合到至少一个模型。基于图像点的拟合，可以确定是否预期有碰撞，以及如果预期有的话，可以确定碰撞时间(TTC)。图像点可拟合到路面模型，且图像点的一部分可建模为如成像自路面。可基于图像点与路面模型的拟合确定预期不会有碰撞。图像点可拟合到垂直表面模型，其中图像点的一部分可建模为成像自垂直对象。可基于图像点与垂直表面模型的拟合确定碰撞时间TTC。图像点可拟合到混合模型，其中图像点的第一部分可建模为成像自路面，且图像点的第二部分可建模为成像自实质上垂直的或直立的对象而非横放路面中的对象。
在图像帧中，可检测行人的候选图像，其中，所述斑块被选择以包括行人的候选图像。当最佳拟合模型是垂直表面模型时，可验证候选图像是直立的行人的图像而非路面中的对象。在图像帧中，可检测垂直线，其中，所述斑块被选择以包括该垂直线。当最佳拟合模型是垂直表面模型时，可验证垂直线是垂直对象的图像而非在路面中的对象的图像。
在不同方法中，可基于碰撞时间小于阈值而发出警告。在不同方法中，可基于图像帧之间的光流确定斑块的相对比例，以及可响应于该相对比例和时间间隔确定碰撞时间(TTC)。该方法可避免在确定相对比例之前在斑块中进行对象识别。
根据本发明的特征，提供了包括摄像机和处理器的***。所述***可用于使用可安装在机动车中的摄像机提供前部碰撞警告。所述***也可用于按已知的时间间隔获得多个图像帧，用于在图像帧的至少一个中选择斑块；用于跟踪斑块的多个图像点的图像帧之间的光流；用于将图像点拟合到至少一个模型并基于图像点与该至少一个模型的拟合确定是否预期会有碰撞，如果被预期有的话则确定碰撞时间(TTC)。所述***还可用于将图像点拟合到路面模型。可以基于图像点与路面模型的拟合确定预期不会有碰撞。
根据本发明的其他实施方式，可选择图像帧中的斑块，该斑块可对应机动车将在预定的时间间隔后所处的位置。可监视该斑块；如果对象成像在该斑块中则发出前部碰撞警告。可通过跟踪在斑块中的对象的多个图像点的图像帧之间的光流来确定对象实质上是否是垂直的、直立的或不在路面中。图像点可拟合到至少一个模型。图像点的一部分可建模为成像自对象。基于图像点与至少一个模型的拟合，确定是否预期会有碰撞，如果预期有的话则确定碰撞时间(TTC)。当最佳拟合模型包括垂直表面模型时可发出前部碰撞警告。图像点可拟合到路面模型。可基于图像点与路面模型的拟合确定预期不会有碰撞。
根据本发明的特征，提供了一种用于在机动车中提供前部碰撞警告的***。所述***包括可安装在机动车中的摄像机和处理器。摄像机可用于按已知的时间间隔获得多个图像帧。处理器可用于选择图像帧中的斑块，该斑块对应机动车将在预定的时间间隔后所处的位置。如果对象成像在斑块中，如果发现对象是直立的和/或不在路面中则可发出前部碰撞警告。处理器还可用于在图像帧之间跟踪斑块中的对象的多个图像点，并将图像点拟合到一个或多个模型。所述模型可包括垂直对象模型、路面模型和/或混合模型，混合模型包括假设来自路面的一个或多个图像点和来自不在路面中的直立对象的一个或多个图像点。基于图像点与模型的拟合，确定是否预期有碰撞，如果预期有碰撞则确定碰撞时间(TTC)。处理器可用于基于TTC小于阈值发出前部碰撞警告。
附图的简要描述
本文仅通过举例的方式参考附图描述本发明，其中：
图1a和1b示意性地示出根据本发明的特征的、当车辆接近金属护栏时从安装在车辆内的前视摄像机捕获的两个图像。
图2a示出根据本发明的特征的、用于使用安装在主车(host vehicle)中的摄像机提供前部碰撞警告的方法。
图2b示出根据本发明的特征的、在图2a中示出的确定碰撞时间的步骤的进一步的细节。
图3a示出根据本发明的特征的、直立表面的图像帧(厢式车的背面)。
图3c示出根据本发明的特征的、主要是路面的矩形区域。
图3b示出根据本发明的特征的、关于图3a的作为垂直图像位置(y)的函数的点的垂直运动δy。
图3d示出根据本发明的特征的、关于图3c的作为垂直图像位置(y)的函数的点的垂直运动δy。
图4a示出根据本发明的特征的、包括具有水平线和矩形斑块的金属护栏的图像的图像帧。
图4b和4c示出根据本发明的特征的、在图4a中示出的矩形斑块的更多细节。
图4d示出根据本发明的特征的、点的垂直运动(δy)相对于垂直的点位置(y)的曲线图。
图5示出根据本发明的特征的、在图像帧中的蜃景的另一例子。
图6示出根据本发明的特征的、用于提供前部碰撞警告陷阱的方法。
图7a和7b示出根据本发明的示例性特征的、针对墙所触发的前部碰撞陷阱警告的例子。
图7c示出根据本发明的示例性特征的、针对盒子所触发的前部碰撞陷阱警告的例子。
图7d示出根据本发明的示例性特征的、针对汽车的侧面所触发的前部碰撞陷阱警告的例子。
图8a示出根据本发明的一方面的、具有在盒子上明显垂直线的对象的例子。
图8b示出根据本发明的一方面的、具有在灯柱上明显垂直线的对象的例子。
图9和10示出根据本发明的一方面的、包括安装在车辆中的摄像机或图像传感器的***。
详细描述
现将详细地参考本发明的特征，其例子在附图中示出，其中相同的参考数字自始至终指相同的元件。下面通过参考图来描述特征以讲解本发明。
在详细地讲解本发明的特征之前，应该理解本发明不受限于其在下面的描述中所陈述的或在附图中所示出的部件的设计和布置的细节上的应用。本发明具有其他特征或能够用不同方式实践或执行。此外，还应该理解本文所使用的措辞和术语是用于描述目的而不应该理解为是限制性的。
通过介绍的方式，本发明的实施方式涉及前部碰撞警告(FCW)***。根据美国专利7113867，前车的图像被识别。车辆的宽度可被用于检测在图像帧之间的比例或相对比例S中的改变，且相对比例用于确定碰撞的时间。具体地，例如前车的宽度具有在第一图像和第二图像中分别用w(t1)和w(t2)表示的长度(正如例如用像素或毫米所测量的长度)。那么可选地，相对比例是S(t)＝w(t2)/w(t1)。
根据美国专利7113867的教导，前部碰撞警告(FCW)***依赖对障碍物或对象的图像的识别，例如，如在图像帧中所识别的前车。在前部碰撞警告***中，如美国专利7113867所公开的，被检测的对象(例如车辆)的尺寸(例如宽度)的比例改变用于计算碰撞时间(TTC)。然而，对象首先被检测并与周围的场景分割。本公开内容描述了使用相对比例改变的***，其基于光流确定碰撞时间TTC和碰撞的可能性，如果需要，发出FCW警告。光流引起蜃景现象(1ooming phenomenon)：随着被成像的对象变得越近，感知的图像显得越大。根据本发明的不同特征，可执行对象检测和/或识别，或者可避免对象检测和/或识别。
在生物学***中已经广泛研究了蜃景现象。蜃景对人似乎是一种非常低水平的视觉注意机制并能触发本能反应。在计算机视觉中有过多种尝试来检测蜃景，甚至有硅传感器设计用于检测纯平移情况下的蜃景。
可在具有不断改变的照明条件、包括了多个对象的复杂场景、和主车的现实环境中执行蜃景检测，该蜃景检测包括平移动和转动。
本文所使用的术语“相对比例”指在一图像帧中的图像斑块和在随后的图像帧中的对应图像斑块的相对尺寸的增加(或减少)。
现参考图9和10，根据本发明的一方面，图9和10示出包括安装在车辆18中的摄像机或图像传感器12的***16。对前方视野成像的图像传感器12实时地传递图像，这些图像以图像帧15的时间序列被捕获。图像处理器14可用于同时地和/或并行地处理图像帧15来为许多驾驶员辅助***服务。可使用具有板载软件的特定硬件电路和/或存储器13中的软件控制算法来实现驾驶员辅助***。图像传感器12可以是单色的或黑白的，即没有色彩分离，或者图像传感器12可以是感色的。通过举图10中的例子，图像帧15用来服务于行人警告(PW)20、车道偏离警告(LDW)21、根据美国专利7113867的教导基于对象检测和跟踪的前部碰撞警告(FCW)22、基于图像蜃景的前部碰撞警告(FCWL)209和/或基于FCW陷阱(FCWT)601的前部碰撞警告601。图像处理器14用于处理图像帧15以检测用于基于图像蜃景和FCWT601的前部碰撞警告209的摄像机12的前方视野中的图像的蜃景。基于图像蜃景的前部碰撞警告209和基于陷阱的前部碰撞警告(FCWT)601可以与传统的FCW 22并行执行，以及与其他驾驶员辅助功能、行人检测(PW)20、车道偏离警告(LDW)21、交通标志检测和自我运动检测并行执行。FCWT 601可用于验证来自FCW 22的常规信号。如本文所使用的术语“FCW信号”指前部碰撞警告信号。本文可互换地使用术语“FCW信号”、“前部碰撞警告”和“警告”。
本发明的特征在示出了光流或蜃景的例子的图1a和1b中示出。当车辆18接近金属护栏30时，显示来自安装在车辆18内的前视摄像机12的被捕获的两个图像。图1a中的图像示出视野和护栏30。图1b中的图像示出相同的特征，其中车辆18更接近金属护栏30，如果观察护栏中的小矩形p 32(用虚线标明)，可能看到在图1b中水平线34似乎随着车辆18接近护栏30有所伸展。
现参考图2a，其示出根据本发明的特征的、用于使用安装在主车18中的摄像机12提供前部碰撞警告209(FCWL 209)的方法201。方法201不依赖车辆18的前方视野中的对象的对象识别。在步骤203中，由摄像机12获得多个图像帧15。在图像帧的捕获之间的时间间隔是Δt。在步骤205中选择图像帧15中的斑块32，且在步骤207中确定斑块32的相对比例(S)。在步骤209中，基于帧15之间的相对比例(S)和时间间隔(Δt)确定碰撞时间(TTC)。
现参考图2b，其示出根据本发明的特征的、在图2a中示出的确定碰撞时间的步骤209的进一步的细节。在步骤211中，可在图像帧15之间跟踪斑块32中的多个图像点。在步骤213中，图像点可拟合到一个或多个模型。第一模型可为垂直表面模型，其可包括诸如行人、车辆、墙、灌木、树或灯柱的对象。第二模型可为路面模型，其考虑在路面上的图像点的特征。混合模型可包括来自道路的一个或多个图像点，以及来自直立的对象的一个或多个图像点。对于至少假设包括直立对象的一部分图像点的模型来说，可计算多个碰撞时间(TTC)。在步骤215中，图像点与路面模型、垂直表面模型或混合模型的最佳拟合使得能够选择碰撞时间(TTC)值。基于小于阈值的碰撞时间(TTC)并且当最佳拟合模型是垂直表面模型或混合模型时，可发出警告。
可选地，步骤213还可包括在图像帧15中的候选图像的检测。候选图像可以是行人或垂直对象例如灯柱的垂直线。在是行人或垂直线的情况下，可选择斑块32以包括候选图像。一旦选定斑块32，那么有可能执行候选图像是直立的行人的图像和/或垂直线的图像的验证。该验证可确认当最佳拟合模型是垂直表面模型时，候选图像不是路面中的对象。
回顾图1a和1b，从图1a中示出的第一图像到图1b中示出的第二图像的斑块32的子像素排列可引起尺寸增加8％或相对比例S增加8％(S＝1.08)(步骤207)。假设图像之间的时间差Δt＝0.5秒，碰撞时间(TTC)可用下面的等式1计算(步骤209)：
如果已知车辆18的速度为v(v＝4.8m/s)，则到目标的距离Z也可用下面的等式2计算：
根据本发明的特征，图3b和3d示出作为垂直的图像位置(y)的函数的点的垂直运动δy。垂直运动δy在水平线处是零，在水平线之下是负值。点的垂直运动δy以下面的等式3示出。
等式(3)是关于y和δy的线性模型并实际上具有两个变量。可使用两个点来求解这两个变量。
对于垂直表面来说，因为所有的点是等距离的，如在图3b中所示出的图像中的距离，运动在水平线(y0)处是零并随图像位置线性改变。对于路面来说，点在图像中越低则越近(Z较小)，如下面的等式4所示出的：
因此，图像运动δy不仅仅以线性率增加，如在下面的等式5中和图3d的图中所示的。
等式(5)是实际上具有两个变量的约束二次等式。
同样，可使用两个点来求解这两个变量。
现参考表示不同的图像帧15的图3a和3c。在图3a和3c中，两个矩形区域以虚线示出。图3a示出直立的表面(厢式车的后面)。正方形点是被跟踪(步骤211)的点，运动与在图3b中相比于点的高度y的图像运动(δy)的图像中所示出的直立表面的运动模型相匹配(步骤213)。在图3a中的三角形点的运动不匹配直立表面的运动模型。现参考图3c，其示出主要是路面的矩形区域。正方形点是与在图3d中相比于点的高度y的图像运动(δy)的图像中所示出的路面模型相匹配的点。三角形点的运动不匹配路面的运动模型且是异常值(outlier)。因此一般来说，这里的任务是确定哪些点属于模型(且属于哪个模型)以及哪些点是异常值，这可通过如下面所说明的鲁棒拟合方法执行。
现参考图4a、4b、4c和4d，它们示出根据本发明的特征的、位于图像中的两个运动模型的混合的典型状况。图4a示出包括金属护栏30的图像和矩形斑块32a的图像帧15，其中金属护栏30的图像具有水平线34。斑块32a的进一步的细节在图4b和4c中示出。图4b示出一个之前的图像帧15中的斑块32a的细节，图4c示出当车辆18更加靠近护栏30时在一个随后的图像帧15中的斑块32a的细节。在图4c和4d中，一些图像点被显示为在直立障碍物30上的正方形、三角形和圆形，而一些图像点被示出在障碍物30前方的路面上。在矩形区域32a内的跟踪点显示出，一些点在对应于道路模型的区域32a的下部分中，而一些点在对应于直立的表面模型的区域32a的上部分中。图4d示出点的垂直运动(δy)相比于垂直的点位置(y)的曲线图。在图4d中，用图示出的被恢复的模型具有两个部分：弯曲(抛物线的)部分38a和线性部分38b。在部分38a和38b之间的过渡点对应直立表面30的底部。该过渡点还通过图4c中的水平虚线36标记。在图4b和4c中有一些通过三角形示出的点，它们被跟踪但不匹配模型，一些匹配模型的被跟踪点通过正方形示出而一些未被良好跟踪的点被示为圆形。
现参考图5，其示出图像帧15中的蜃景的另一例子。在图5的图像帧15中，在斑块32b中没有直立的表面，只有前方无障碍的道路，且在两个模型之间的过渡点在水平线处以虚线50标记。
运动模型和碰撞时间(TTC)的估计
运动模型和碰撞时间(TTC)的估计(步骤215)假设提供一个区域32，例如在图像帧15中的矩形区域。矩形区域的例子是例如在图3和5中所示出的矩形32a和32b。可基于所检测的诸如行人的对象或基于主车18的运动来选择这些矩形。
1.跟踪点(步骤211)：
(a)矩形区域32可被细分为5x20个子矩形格。
(b)可为每一子矩形执行算法以便找到图像的角点，例如使用Harris和Stephens方法，且可跟踪该点。最好使用5x5Harris点，可考虑下面的矩阵的特征值，
并且寻找出两个强特征值。
(c)可通过在具有宽度W和高度H的矩形搜索区域中穷举搜索最佳的一些平方差(SSD)匹配来执行跟踪。在开始时该穷举搜索是很重要的，因为它意味着之前的运动没有采用，且来自所有子矩形的测量在统计学上是更加独立的。在搜索之后是使用了光流估计的微调，其中光流估计使用了例如Lukas Kanade方法。Lukas Kanade方法允许子像素运动。
2.鲁棒的模型拟合(步骤213)：
(a)从100个被跟踪的点中随机选取两个或三个点。
(b)被选取的对的数量(N对)取决于车辆速度(v)，例如通过下式给出：
N对＝min(40，max(5，50-v))(7)
其中v单位为米/秒。三元组(triplet)的数量(N三元组)通过下式给出：
N三元组＝50-N对(8)
(c)对于两个点，它们可拟合两个模型(步骤213)。一个模型假设这两个点在直立的对象上。第二模型假设这两个点都在道路上。
(d)对于三个点，它们也可拟合两个模型。一个模型假设上面的两个点在直立的对象上而第三个(最下面的)点在道路上。第二模型假设最上面的一个点在直立的对象上而下面的两个点在道路上。
两个模型可关于三个点求解，这通过使用两个点求解第一模型(等式3)，然后用结果y0和第三个点求解第二模型(等式5)。
(e)在(d)中的每一个模型都给出碰撞时间TTC值(步骤215)。每一个模型还基于98个其他点与模型拟合得有多好来得到一个分数。通过在点的y运动和预测的模型运动之间的距离的截尾平方和(Sum of the Clipped Square ofthe Distance，SCSD)给出该分数。SCSD值被转化成类似于概率的函数：
其中N是点的数量(N＝98)。
(f)基于TTC值、车辆18的速度并假设这些点在静止的对象上，可以计算到这些点的距离Z＝v x TTC。根据每一图像点距离的x图像坐标，可以计算世界坐标中的横向位置：
(g)因此计算出在时间TTC的横向位置。二进制横向分数要求来自对或三元组的点中的至少一个必须在车辆18的路径中。
3.多帧的分数：在每一帧15可产生新的模型，每一个新的模型具有其相关的TTC和分数。可从之前的4个帧15保留200个最佳(分数最高)的模型，其中分数被加权如下：
分数(n)＝αn分数(12)
其中n＝0.3是分数的年龄(age)，且α＝0:95。
4.FCW判断：如果下面的三个条件中的任何一个发生，则发出真实的FCW警告：
(a)具有最高分数的模型的TTC在TTC阈值之下且分数大于0.75，且
(b)具有最高分数的模型的TTC在TTC阈值之下且
(c)
图3和4已经示出如何为给定的矩形32内的点鲁棒地提供FCW警告。如何限定矩形取决于如通过图7a-7d和8a、8b的其他示例性特征示出的应用。
一般的静止对象的FCW陷阱
现参考图6，其示出根据本发明的特征的、用于提供前部碰撞警告陷阱(FCWT)601的方法601。在步骤203中，通过摄像机12获得多个图像帧15。在步骤605中，选择图像帧15中的斑块32，该斑块对应机动车18将在预定的时间间隔后所处的位置。接着在步骤607中监视斑块32。在判断步骤609中，如果一般对象成像在斑块32中并在其中被检测到，则在步骤611中发出前部碰撞警告。否则图像帧的捕获按步骤203继续。
图7a和7b示出根据本发明的示例性特征的，针对墙70所触发的FCWT 601警告的例子；在图7d中示出根据本发明的示例性特征的、针对汽车72的侧面所触发的警告的例子；并且，在图7c中示出根据本发明的示例性特征的、针对盒子74a和74b所触发的警告的例子。图7a-7d是不要求之前的基于类的检测的、一般的静止对象的例子。虚线矩形区域被限定为在一定距离处的、W＝1m宽的目标，所述距离为主车将在t＝4s后所处的距离。
Z＝vt (16)
其中v是车辆18的速度，H是摄像机12的高度，以及w和y分别是矩形的宽度和在图像中的垂直位置。该矩形区域是FCW陷阱的例子。如果对象“落”入该矩形区域内，则如果TTC小于阈值，FCW陷阱可产生警告。使用多个陷阱改进性能：
为了提高检测率，FCW陷阱可被复制到具有50％重叠部分的5个区域中，以产生3m宽的总陷阱区域。
可以根据偏航率(yaw rate)选择FCW陷阱的动态位置：可基于根据偏航率传感器、车辆18的速度和主车18的动态模型确定的车辆18的路径来横向地平移陷阱区域32。
用于验证前部碰撞警告信号的FCW陷阱
诸如车辆和行人的特殊类对象可使用图案识别技术在图像15中检测到。根据美国专利7113867的教导，这些对象之后随时间跟踪，且使用比例中的改变能够产生FCW 22信号。然而，在发出警告之前重要的是使用独立的技术验证FCW 22信号。如果***16将会激活刹车的话，那么使用独立的技术，例如使用方法209(图2b)来验证FCW 22信号就可能尤为重要。在雷达/视觉融合的***中，独立的验证可来自雷达。在只基于视觉的***16中，独立的验证来自独立的视觉算法。
对象(例如行人、前车)的检测不是问题。能够实现非常高的检测速率而只有非常低的错误率。本发明的一个特征是产生没有太多错误报警的可靠的FCW信号，太多错误警报将使驾驶员烦躁，或更糟糕地会致使驾驶员不必要地刹车。关于传统的行人FCW***的一个可能问题是要避免错误的前部碰撞警告，因为在场景中的行人的数量庞大而真正的前部碰撞情况的数量则非常小。即使5％的错误率也将意味着驾驶员将可能收到频繁的错误警报，而可能从未经历真正的警告。
行人目标对于FCW***来说尤其具有挑战性，因为目标是非刚性的，这使得跟踪困难(根据美国专利7113867的教导)，且比例改变特别会受到很多干扰。因此，鲁棒的模型(方法209)可用于验证针对行人的前部碰撞警告。可通过行人检测***20确定矩形区域32。根据美国专利7113867，只有通过FCW 22执行目标跟踪才可产生FCW信号，且鲁棒的FCW(方法209)给出了比可以或不可以预先确定的一个或多个阈值小的TTC。前部碰撞警告FCW 22可具有与在鲁棒的模型(方法209)中使用的阈值不同的阈值。
可能增加错误警告的数量的因素之一是，行人通常出现在较少结构化的道路中，在这样的道路中驾驶员的驾驶模式可能相当不稳定，其中包括急转弯和变道。因此针对警告的发出可能需要包括一些进一步的约束：
当检测到路缘或车道标志，如果行人在路缘或/和车道的远侧且没有发生下面的条件中的任何一个时，则FCW信号被阻止：
1.行人正在穿过车道标志或路缘(或非常快地接近)。对此，检测行人的脚可能很重要。
2.主车18不是正在穿过车道标志或路缘(例如，如通过LDW 21***所检测的)。
驾驶员的意图较难预测。如果驾驶员正直向驾驶，没有激活转向信号且不预计有另外的车道标记，那么有理由假设驾驶员将继续直向前进。因此，如果有行人在路径中且TTC在阈值之下，则可发出FCW信号。然而，如果驾驶员正在转弯中，那么他/她将继续转弯或停止转弯而继续前行是同样可能的。因此，当检测偏航率时，仅当假设车辆18将以相同的偏航角继续转弯且行人在路径中，以及如果车辆直行且行人在路径中时才发出FCW信号。
FCW陷阱601的概念可延伸到主要包含垂直线(或水平线)的对象。对这样的对象使用基于点的技术的可能问题是，良好的Harris(角点)点通常来说通过将对象的边缘上的垂直线与远处背景的水平线交叉来产生。这些点的垂直运动将类似于远处的路面。
图8a和8b示出具有明显的垂直线82的对象的例子，所述垂直线82在图8b中的灯柱80上和在图8a中的盒子84上。在陷阱区域32中检测到垂直线82。可在图像之间跟踪被检测到的直线82。可通过逐帧地配对直线82并且计算每一直线对的TTC模型，假设垂直对象，然后基于其他直线82的SCSD给出分数，以便执行鲁棒的估算。由于直线的数量可能较小，通常是测试所有组合的可能的线对。只使用有重要的重叠部分的直线对。就水平线而言，和使用点的时候一样，三元组线也给出了两个模型。
本文所使用的不定冠词“一(a)”、“一(an)”，如“一图像”(“an image”)、“一矩形区域”(“a rectangular region”)，具有“一个或多个”的意思，即“一个或多个图像”或“一个或多个矩形区域”。
尽管已经示出和描述了本发明的所选择的特征，但应该理解本发明不受限于所描述的特征。相反，应该意识到，可不偏离本发明的原理和精神对这些特征进行改变，本发明的范围通过权利要求及其等价物限定。

Claims (17)

1.一种用于确定前部碰撞预期的方法，该方法使用了能够安装在机动车中的摄像机，所述方法包括：
按已知的时间间隔获得多个图像帧；
在所述图像帧的至少一个中选择斑块；
跟踪在所述斑块的多个图像点的图像帧之间的光流以产生跟踪的光流；
针对多个模型，拟合所述图像点的至少一部分的所跟踪的光流，以产生到所述多个模型的多个拟合，其中，所述多个模型选自由以下项组成的组：(i)路面模型，其中，所述图像点的一部分被建模为成像自路面，(ii)垂直表面模型，其中所述图像点的一部分被建模为成像自实质上垂直的对象，以及(iii)混合模型，其中所述图像点的第一部分被建模为成像自路面，且所述图像点的第二部分被建模为成像自实质上垂直的对象；
使用所述图像点的至少一部分、对所跟踪的光流与各个模型的拟合进行记分以产生各个分数；以及
通过选择具有一个分数的模型，确定预期是否有碰撞并且确定碰撞时间，所述分数对应于所述图像点与所跟踪的光流的最佳拟合。
2.如权利要求1所述的方法，还包括：
基于所述图像点与对应于所述路面模型的所跟踪的光流的最佳拟合，确定预期不会有碰撞。
3.如权利要求1所述的方法，还包括：
基于所述图像点与对应于所述垂直表面模型或所述混合模型的所跟踪的光流的最佳拟合，确定预期有碰撞。
4.如权利要求3所述的方法，还包括：
在所述斑块中检测行人的候选图像；以及
当最佳拟合模型是所述垂直表面模型时，验证所述候选图像是直立的行人的图像而不是路面中的对象的图像。
5.如权利要求3所述的方法，还包括：
在所述图像帧中检测垂直线，其中选择所述斑块以包括所述垂直线；
当最佳拟合模型是所述垂直表面模型时，验证所述垂直线是垂直的对象的图像而不是路面中的对象的图像。
6.如权利要求1所述的方法，还包括：
基于所述碰撞时间小于阈值而发出警告。
7.如权利要求4所述的方法，还包括：
当所述最佳拟合模型是路面模型时，验证所述候选图像是路面中的对象并且预期不会有碰撞。
8.一种用于确定前部碰撞预期的***，其包括：
摄像机；以及
能够安装在机动车中的处理器；其中所述***被配置为确定前部碰撞预期，
其中所述处理器被配置为按已知的时间间隔获得多个图像帧；
其中所述处理器被配置为在所述图像帧的至少一个中选择斑块；
其中所述处理器被配置为针对多个模型跟踪在所述斑块的多个图像点的图像帧之间的光流，其中所述多个模型选自由以下项组成的组：(i)路面模型，其中，所述图像点的一部分被建模为成像自路面，(ii)垂直表面模型，其中所述图像点的一部分被建模为成像自实质上垂直的对象，以及(iii)混合模型，其中所述图像点的第一部分被建模为成像自路面，且所述图像点的第二部分被建模为成像自实质上垂直的对象；
其中，所述处理器被配置为拟合所述图像点的至少一部分的所跟踪的光流，以产生到所述多个模型的多个拟合；
其中，所述处理器被配置为使用所述图像点的至少一部分并且对所跟踪的光流与各个模型的拟合进行记分以产生各个分数；以及
其中，所述处理器被配置为使用所述图像点的至少一部分、通过选择具有一个分数的模型确定预期是否有碰撞并且确定碰撞时间，所述分数对应于所述图像点与所跟踪的光流的最佳拟合。
9.如权利要求8所述的***，其中，所述处理器被配置为将所述图像点拟合到路面模型；
其中所述处理器被配置为基于所述图像点与所述路面模型的拟合，确定预期不会有碰撞。
10.一种确定前部碰撞预期的方法，该方法使用了能够安装在机动车中的摄像机和处理器，所述方法包括：
按已知的时间间隔获得多个图像帧；
选择图像帧中的斑块，所述斑块对应所述机动车将在预定的时间间隔后所处的位置；
跟踪在所述斑块的多个图像点的图像帧之间的光流以产生跟踪的光流；
针对多个模型，拟合所述图像点的至少一部分的所跟踪的光流，以产生到所述多个模型的多个拟合，其中，所述多个模型选自由以下项组成的组：(i)路面模型，其中，所述图像点的一部分被建模为成像自路面，(ii)垂直表面模型，其中所述图像点的一部分被建模为成像自实质上垂直的对象，以及(iii)混合模型，其中所述图像点的第一部分被建模为成像自路面，且所述图像点的第二部分被建模为成像自实质上垂直的对象；
使用所述图像点的至少一部分、对所跟踪的光流与各个模型的拟合进行记分以产生各个分数；以及
通过选择具有一个分数的模型，确定预期是否有碰撞并且确定碰撞时间，所述分数对应于所述图像点与所跟踪的光流的最佳拟合。
11.如权利要求10所述的方法，还包括：
确定在所述斑块中成像的对象是否包括实质上垂直的部分。
12.如权利要求11所述的方法，还包括：
将所述图像点拟合到路面模型；以及
基于所述图像点与所述路面模型的最佳拟合，确定预期不会有碰撞。
13.如权利要求11所述的方法，还包括：
当最佳拟合模型是垂直表面模型或混合模型时，发出前部碰撞警告。
14.如权利要求10所述的方法，还包括：
从所述图像帧中输入或计算所述机动车的偏航率；以及
基于所述机动车的所述偏航率在所述图像帧上动态横向地平移所述斑块。
15.一种用于在机动车中确定前部碰撞预期的***，所述***包括：
摄像机，其能够安装在所述机动车中，所述摄像机能够操作来按已知的时间间隔获得多个图像帧；
处理器，其被配置为选择图像帧中的斑块，所述斑块对应所述机动车将在预定的时间间隔后所处的位置；其中所述处理器被配置为针对多个模型跟踪在所述斑块的多个图像点的图像帧之间的光流以产生跟踪的光流，其中所述多个模型选自由以下项组成的组：(i)路面模型，其中，所述图像点的一部分被建模为成像自路面，(ii)垂直表面模型，其中所述图像点的一部分被建模为成像自实质上垂直的对象，以及(iii)混合模型，其中所述图像点的第一部分被建模为成像自路面，且所述图像点的第二部分被建模为成像自实质上垂直的对象，
其中，所述处理器被配置为拟合所述图像点的至少一部分的所跟踪的光流，以产生到所述多个模型的多个拟合；
其中，所述处理器被配置为使用所述图像点的至少一部分、对所跟踪的光流与各个模型的拟合进行记分以产生各个分数；以及
其中，所述处理器被配置为通过选择具有一个分数的模型确定预期是否有碰撞并且确定碰撞时间，所述分数对应于所述图像点与所跟踪的光流的最佳拟合。
16.如权利要求15所述的***，其中所述处理器还被配置为当所述图像点与所跟踪的光流的所述最佳拟合是所述垂直表面模型或所述混合模型的最佳拟合时，确定在所述斑块中成像的所述对象是否包括实质上垂直的部分。
17.如权利要求15所述的***，其中所述处理器被配置为基于TTC小于阈值而发出前部碰撞警告。
CN201110404574.1A 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告*** Active CN102542256B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710344179.6A CN107423675B (zh) 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告***

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42040510P 2010-12-07 2010-12-07
US61/420,405 2010-12-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710344179.6A Division CN107423675B (zh) 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告***

Publications (2)

Publication Number Publication Date
CN102542256A CN102542256A (zh) 2012-07-04
CN102542256B true CN102542256B (zh) 2017-05-31

Family

ID=46349111

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110404574.1A Active CN102542256B (zh) 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告***
CN201710344179.6A Active CN107423675B (zh) 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告***

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710344179.6A Active CN107423675B (zh) 2010-12-07 2011-12-07 对陷阱和行人进行前部碰撞警告的先进警告***

Country Status (1)

Country Link
CN (2) CN102542256B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
WO2003093857A2 (en) 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
DE102013213812B4 (de) * 2013-07-15 2024-07-18 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zum Anzeigen einer Verkehrssituation in einem Fahrzeug
WO2015114654A1 (en) * 2014-01-17 2015-08-06 Kpit Technologies Ltd. Vehicle detection system and method thereof
CN109716255A (zh) * 2016-09-18 2019-05-03 深圳市大疆创新科技有限公司 用于操作可移动物体以规避障碍物的方法和***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113867B1 (en) * 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3515926B2 (ja) * 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US7136506B2 (en) * 2003-03-03 2006-11-14 Lockheed Martin Corporation Correlation based in frame video tracker
US7089114B1 (en) * 2003-07-03 2006-08-08 Baojia Huang Vehicle collision avoidance system and method
JP2005226670A (ja) * 2004-02-10 2005-08-25 Toyota Motor Corp 車両の減速制御装置
US8082101B2 (en) * 2004-04-08 2011-12-20 Mobileye Technologies Ltd. Collision warning system
JP4304517B2 (ja) * 2005-11-09 2009-07-29 トヨタ自動車株式会社 物体検出装置
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
CN101261681B (zh) * 2008-03-31 2011-07-20 北京中星微电子有限公司 智能视频监控中的路面图像提取方法及装置
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7113867B1 (en) * 2000-11-26 2006-09-26 Mobileye Technologies Limited System and method for detecting obstacles to vehicle motion and determining time to contact therewith using sequences of images

Also Published As

Publication number Publication date
CN102542256A (zh) 2012-07-04
CN107423675A (zh) 2017-12-01
CN107423675B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN102542256B (zh) 对陷阱和行人进行前部碰撞警告的先进警告***
US10940818B2 (en) Pedestrian collision warning system
EP2993654B1 (en) Method and system for forward collision warning
US11741696B2 (en) Advanced path prediction
US10690770B2 (en) Navigation based on radar-cued visual imaging
RU2629433C2 (ru) Устройство обнаружения трехмерных объектов
CN106663193B (zh) 用于路缘检测和行人危险评估的***和方法
US6191704B1 (en) Run environment recognizing apparatus
US7176959B2 (en) Vehicle surroundings display device and image providing system
US11100806B2 (en) Multi-spectral system for providing precollision alerts
JP5145585B2 (ja) 物標検出装置
US20080036576A1 (en) Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
RU2616538C2 (ru) Устройство обнаружения трехмерных объектов
US20070211919A1 (en) Vehicle surroundings monitoring apparatus
CN106462727A (zh) 用于车道尽头识别的***和方法
RU2635280C2 (ru) Устройство обнаружения трехмерных объектов
US11335100B2 (en) Traffic light recognition system and method thereof
US11961304B2 (en) Systems and methods for deriving an agent trajectory based on multiple image sources
US11961241B2 (en) Systems and methods for deriving an agent trajectory based on tracking points within images
CN111508222A (zh) 提供尖端行人辅助***的方法及装置
JP2007309799A (ja) 車載測距装置
CN113051987A (zh) 信号识别***及其方法
JPH08320999A (ja) 車両認識装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: WUBISHI VISUAL TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: MOBILEYE TECHNOLOGIES LTD.

Effective date: 20141120

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141120

Address after: Israel Jerusalem

Applicant after: MOBILEYE TECHNOLOGIES LTD.

Address before: Cyprus Nicosia

Applicant before: Mobileye Technologies Ltd.

GR01 Patent grant
GR01 Patent grant