CN102859568A - 基于影像的智能机动车控制*** - Google Patents

基于影像的智能机动车控制*** Download PDF

Info

Publication number
CN102859568A
CN102859568A CN2011800186683A CN201180018668A CN102859568A CN 102859568 A CN102859568 A CN 102859568A CN 2011800186683 A CN2011800186683 A CN 2011800186683A CN 201180018668 A CN201180018668 A CN 201180018668A CN 102859568 A CN102859568 A CN 102859568A
Authority
CN
China
Prior art keywords
feature
motor vehicle
drawn
fixed reference
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800186683A
Other languages
English (en)
Other versions
CN102859568B (zh
Inventor
Y·罗
D·赫特泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN102859568A publication Critical patent/CN102859568A/zh
Application granted granted Critical
Publication of CN102859568B publication Critical patent/CN102859568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一种用于机动车的纵向和横向控制的***。所述***包括产生多个代表所述机动车前方视场的图像的摄像机，和接收所述多个图像的控制器。所述控制器探测在多个图像中的物体，从所述多个图像中提取多个特征，基于来自所述多个图像中的一个或多个图像的多个特征的产生参考特征绘图，基于来自所述多个图像中的一个的多个特征产生比较特征绘图，比较所述参考特征绘图和所述比较特征绘图，并且基于所述参考特征绘图和所述比较特征绘图之间的差异，确定所述机动车相对于所述物体的纵向位置。

Description

基于影像的智能机动车控制***
技术领域
本发明涉及一种基于由摄像机获得的图像执行机动车的横向和纵向控制的智能机动车控制***。
背景技术
对于提高驾驶员的经验和降低在各种行驶条件下的压力，存在宽广范围的自动应用。这些应用使用不同的传感器技术，包括基于摄像机的智能***。基于摄像机的智能***（即视觉***）向操作员提供现场图像，并且使用图像处理和图像识别算法来辅助驾驶员横向控制机动车。使用光感测，这些视觉***探测车道并且识别车辆路径上的车辆和其他物体。相反地，机动车纵向控制辅助驾驶员保持安全的跟随距离，提供碰撞警报，辅助刹车等，这些都使用雷达或其他测距仪***（其不依赖于感测光）完成。
发明内容
现在，机动车***常使用视频图像执行横向控制，但使用除影像外的技术执行纵向控制。然而，人类能够使用视觉信息做出横向和纵向控制的复杂行驶决定。在组合其他基于影像的驾驶员辅助功能（例如横向控制）与纵向机动车控制的***能够实现重大优点。这些优点包括降低成本、容易安装和改进功能。
本发明的实施例包括单一摄像机***，其横向和纵向地控制所述机动车以在高速公路或干线道路上跟随目标机动车。行驶车道和机动车被所述***实时探测。所述***的人机界面（例如单个按钮、显示器、语音指令***）能够使驾驶员确认或选择要跟随的目标机动车。一旦选定目标，所述影像***就精确地且连续地测量从宿主机动车到目标机动车的纵向和横向位移。闭环控制***使用测量结果（例如基于视频图像），汽车动态特性（例如速度、横摆角速率）和其他环境变量辅助驾驶员将所述机动车维持在它的车道中，并且维持距离目标机动车的恒定和/或安全的距离。所述***还考虑到自动机动车控制（即在驾驶员不干涉的条件下跟随目标）。
在一个实施例中，本发明提供一种用于纵向和横向控制机动车的***。所述***包括产生代表机动车前方视场的多个图像的摄像机，和接收所述多个图像的控制器。所述控制器探测所述多个图像中的物体，从所述多个图像中提取多个特征，基于来自所述多个图像中的一个或多个图像的多个特征产生参考特征绘图，基于来自所述多个图像中的一个图像的多个特征产生比较特征绘图，比较所述参考特征绘图和所述比较特征绘图，并且基于所述参考特征绘图和所述比较特征绘图之间的差异，确定所述机动车相对于所述物体的纵向位置。
在另一个实施例中，本发明提供了一种使用前视摄像机控制机动车的方法。所述方法包括如下动作，即探测由摄像机产生的多个图像中的物体，从所述多个图像提取多个特征，基于来自所述多个图像中的一个或多个图像的多个特征产生参考特征绘图，基于来自所述多个图像中的一个图像的多个特征产生比较特征绘图，比较所述参考特征绘图和所述比较特征绘图，并且基于所述参考特征绘图和所述比较特征绘图之间的差异，确定所述机动车相对于所述物体的纵向位置。
通过考虑所述详细描述和附图，本发明的其他方面将变得明显。
附图说明
图1是用于使用来自摄像机的图像横向和纵向控制机动车的***的方框图；
图2是由图1的***产生的用于选择要跟随的目标机动车的道路和机动车的示例性图像；
图3A是显示图1的***的人机界面实施例的机动车内部的平面图；
图3B是图3A的人机界面的自旋按钮的实施例的俯视图和侧视图；
图3C是图3A的人机界面的切换键的实施例的俯视图和侧视图；
图4是跟随距离指示器的实施例；
图5A和5B是目标机动车的示例性图像，显示从具有探测的映射关系的图像提取的各种特征；
图6A和6B是从图5A和5B提取的映射特征产生的示例性比较特征绘图；
图7是两幅图像之间比例变化的图示；
图8显示用于使用来自摄像机的图像横向和纵向控制机动车的过程的实施例。
具体实施方式
在详细解释本发明的任何实施例之前，应当理解本发明在它的应用方面不限于下面的描述所阐明的或附图所图示的结构的细节和部件的设置。本发明能够是其他实施例和以其他方式实践或执行。
图1显示合并了本发明的实施例的***100的方框图。***100包括控制器105、摄像机110、人机界面（HMI）115、车道改变辅助***120、转向控制器125和速度控制器130。在一些实施例中，摄像机110是执行合适的光接收技术的单目摄像机（例如CMOS或CCD）。
根据光接收技术的类型，摄像机110捕捉在可见和/或红外光谱中的彩色图像或灰度图像。彩色图像基于物体颜色的差异进行分析，而黑白图像基于灰度进行分析。可见光谱中的图像利用具有人眼可见的频率的反射光来探测。替代地，在近红外光谱中的图像具有比人眼可见的那些光谱的频率更高的频率，并且能够在夜间增加前视距离。不同的摄像机探测一个或多个这些图像。***100能够使用由摄像机110提供的这些图像中的一个或多个来分析物体。
在一些实施例中，摄像机110安装在机动车的挡风玻璃后面的小室中，并产生机动车前面区域的图像。控制器105包括多个模块，其中包括自动目标选择模块（例如基于规则的专家***）、车道标识探测模块、物体/机动车探测模块、特征提取模块、特征绘图产生模块、基于曲线的特征绘图跟踪模块和车道改变目标跟随模块。
机动车控制***100通过跟踪目标机动车进行操作。***100控制机动车以跟随目标机动车并且维持所述机动车与目标机动车相距设定的距离。为了实现这些功能，***100必须知道哪辆机动车是目标机动车。自动目标选择用于识别在所述机动车前方的最相关的潜在目标机动车。***100基于从所述摄像机接收的信息（例如车道标识、物体探测）和关于机动车和驾驶员的信息起作用。关于所述机动车的信息从所述机动车上的传感器或机动车中的传感器获得并且标示例如机动车的速度、机动车的横摆角、车轮的转向角等情况。驾驶员信息包括所述驾驶员是否正在启动或致动转向灯、加速器和/或制动器以及驾驶员视线上的信息（例如驾驶员正在检查侧视镜）
使用这个信息，***100确定所述驾驶员是否正在保持机动车在目前的车道上，移动到另一车道，维持速度和/或改变速度。使用基于规则的专家***，***100选择在摄像机图像中的最可能是目标机动车的机动车。例如，在图2，如果***100确定所述驾驶员正在维持机动车在它目前的车道上，***100识别机动车200作为潜在的目标机动车。如果***100确定机动车100正在改变到左侧车道，一旦完成车道改变，***100识别机动车205作为潜在的目标机动车。使用摄像机图像能够识别车道标识并因而精确地确定所述机动车占用的车道和车道上的每个潜在目标机动车中的每一辆，允许比至少一些基于雷达的***更精确地获得目标。一旦识别了潜在的目标机动车，***100在显示器上强调所述潜在的目标机动车（例如通过显示围绕所述潜在的目标机动车的方框），所述显示器还显示来自摄像机110的图像。然后，所述驾驶员能够选择被强调的机动车作为目标机动车并且能够自动控制。作为选择，所述驾驶员能够选择显示的其他机动车中的一辆作为目标机动车进行自动控制。作为又一选项，所述驾驶员不能选择任何机动车作为目标机动车，而是维持手动控制所述机动车。
HMI 115允许***100和机动车的操作员交换信息（例如目标选择、跟随距离等）。所述信息以语音（例如话音、哗哗声等）、视觉（例如影像、光等）或者触觉（例如方向盘震动）方式被提供给操作员。影像显示器定位在机动车中的一个或多个位置上。例如，影像显示器能够定位在机动车的仪表板上，方向盘上或控制台上。在一些实施例中，影像经由平视显示器提供给所述驾驶员。在一些实施例中，所述影像显示器显示来自摄像机110的原始图像。在其他实施例中，所述影像显示器显示基于由摄像机110捕捉的图像的平面图。所述操作员经由语音、按钮和/或触摸屏向***100提供信息。在一些实施例中，语音指令允许操作员通过颜色或类型（例如小汽车或卡车）识别机动车，以及选择和取消选择目标。
图3A显示HMI115的实施例。HMI115包括影像显示器305和按钮310。能够使操作员向***100提供反馈（例如输入）或信息的其他元件包括加速器315、制动器踏板320、方向盘325和转向灯（未显示）。影像显示器305显示来自摄像机110的图像以及由控制器105提供的附加信息（例如目标识别）。按钮310允许操作员选择目标（例如启动跟随）、取消选择目标（例如解除跟随）和调整跟随距离。在一些实施例中，按钮310具有用于显示多个彩色光的半透明部分。例如，当按钮310是灰色的或无光的时，***100指示***100没有识别出要跟随的目标。当按钮310是暗颜色（例如蓝色）或闪光时，***100指示目标已经被识别（例如显示在显示器305上），并且按压所述按钮将选择所述目标且启动跟随。当按钮310是亮颜色（例如绿色）时，***100指示跟随模式被激活。当跟随模式被激活时，按压按钮310解除所述目标，并且使机动车返回到手动控制。
在一些实施例中，按钮310具有切换或自旋功能。图3A显示具有凸缘350和滚动球355的自旋按钮310’。使用者在任意方向上旋转滚动球355以在显示器305上移动目标机动车识别。当在显示器305上识别预期目标机动车时，使用者向下（见箭头360）按压滚动球355以选择目标机动车。当在跟随模式中指示***100缩小跟随距离（即从所述机动车到目标机动车的距离）时，向上自旋滚动球355（见箭头365）。当在跟随模式中指示***100增加所述跟随距离时，向下自旋滚动球355（见箭头370）。
图3B显示切换键310’’。切换键310’’能够围绕枢转点380旋转。使用者通过按压按钮310’’的向上端部385和向下端部390切换按钮310’’以在显示器305上移动目标机动车识别。当所述预期目标机动车在显示器305上被识别时，使用者按压切换键（见箭头395）以选择目标机动车。当在跟随模式中指示***100缩小跟随距离（即从所述机动车到目标机动车的距离）时，切换按钮310’’的向上端部385。当在跟随模式在指示***100增加所述跟随距离时，切换按钮310’’的向下端部390。
在一些实施例中，按钮310还在机动车太靠近另一机动车（例如紧跟着前车行驶）时通过照亮特定颜色光（例如红色）进行标示。
所述跟随距离经由目标车辆的相对尺寸（例如目标机动车图像越大，距离越近）而在显示器305上标示。另外，显示器305能够包括形式为标示距离目标机动车的距离（例如以英尺计量）的数字读出的跟随距离标识。图4显示跟随距离指示器400的替代实施例，它用于向机动车操作员指示距离目标机动车405的当前距离以及一个或多个推荐的跟随距离410。在一些实施例中，跟随距离指示器400被提供在显示器305上或者作为单独的指示器（例如设置在机动车的仪表板上）。
在一些实施例中，操作员通过平缓地按压加速器315（即缩小跟随距离）或制动器320（即增加所述跟随距离）调整所述跟随距离。另外，更重地推压加速器315或制动器320解除跟随所述目标机动车（例如类似于巡航控制的操作），使所述机动车返回到手动控制。解除所述目标机动车的跟随的其他方法包括转动方向盘325（例如改变车道）和启动转向灯开关。
在一些实施例中，语音指令允许操作员修改***100的操作。例如，语音指令能够用来基于显示器305上物体的颜色或所显示的机动车的类型（例如从小汽车到摩托车）选择潜在的目标机动车。语音指令还用来启动/解除跟随所述目标，修改所述目标的选择，改变跟随距离和指示希望改变车道或使机动车在车道中居中。
***100使用由摄像机110获得的图像识别目标机动车并且维持横向和纵向接近目标机动车。机动车前方（即摄像机110的视场中）的物体被使用例如博世多用途摄像机的基于影像的物体探测***探测。在一些实施例中，由摄像机110执行物体探测。在其他实施例中，由控制器105使用摄像机110提供的图像执行物体探测。***100分析所探测的物体并且从所探测的物体识别目标机动车。一旦操作员选择目标机动车，***100使用特征提取和基于曲线的跟踪横向和纵向接近所述目标机动车。
当目标被选择时，***100使用特征提取产生的参考特征绘图（即基础模型）。例如，图5A显示机动车500的第一图像。***100从所述第一图像提取多个区别性特征505。***100存储每个特征505的属性的描述符和每个特征505的位置。在一些实施例中，***100使用特征分类以核实所提取的特征来自意图的目标物体。
在一些实施例中，所提取的特征能够用作参考特征绘图。在其他实施例中，***100使用多个图像以获得特征和边缘映射并且产生参考特征绘图。图5B显示在时间t+Δt时的机动车的第二图像（即在捕捉第一图像后Δt时间时）。再次，***100从第二图像中提取多个区别性特征505。在图5A和5B中编号的特征505代表由***100提取的用于第一和第二图像的特征。用“x”代表的特征是用***100从所述图像中的一个中而不是从另一个中提取的特征。因为“x”特征在另一图像中没有对应特征，它们被***100抛弃。
***100使用特征映射以使第一图像中的特征f1与第二图像中的特征f2相匹配（即
Figure BDA00002246531300071
）。***100还产生置信度水平的度量，***100具有特征f1和f2映射-conf（f1，f2）。这个置信度水平与特征映射阈值比较，conf(f1,f2)≥阈值。
如果所述置信度水平超过所述阈值，***100确定在f1和f2之间存在映射。所述特征映射阈值被调整以控制特征绘图的大小。例如，所述阈值的水平越高，被发现在第一和第二图像之间映射的特征数量越少。所述阈值的水平被选择成获得有效的特征绘图计算。也就是说，所述阈值的水平被选择成提供足够的特征以精确地识别所述目标同时使用尽可能少数量的特征，从而计算能够被快速地执行。
如图6A和6B所示，***100还产生特征505之间的边缘600。结果是构成为特征平面曲线拓扑图的物体特征绘图。使用边缘映射，***100寻求在第一和第二图像之间匹配的成对的特征：
Figure BDA00002246531300072
其中，fA（1）是来自图像A的第一特征，fA（2）是来自图像A的第二特征，fB（1）是来自图像B的第一特征等。
当发生这些时，在第一图像中的边缘E（fA（1），fA（2））和第二图像中的边缘E（fB（1），fB（2））之间存在映射（即E（fA（1），fA（2））=E（fB（1），fB（2）））。然后，***100产生匹配的特征的映射置信度乘积的边缘置信度水平：
conf(EfA(1),fA(2)),E(fB(1),fB(2)))=conf(fA(1),fB(1))x(fA(2),fB(2))。
使用所述特征和映射边缘推导参考特征绘图。所述特征绘图包括一组具有综合性图像属性的顶点VB的区别性特征，和代表图像空间中特征的位置之间的空间距离的边缘EB。所述特征从图像的目标区域推导出并且能够使用特定的分类技术进行核实以保证它们属于要跟踪的富有意义的物体。
在产生所述参考特征绘图后，紧随着从来自摄像机110的后续图像产生比较特征绘图。所述比较特征绘图包括一组提取的特征，其与参考特征绘图的特征一对一映射。为了实现健壮的特征绘图轨迹而产生与所述参考特征绘图（Graph（VB，EB））完美匹配的最复杂的比较特征绘图（Graph（VD，ED））。然而，由于计算复杂度（例如处理速度和/或乘方）的限制，曲线的尺寸被设限。如果在所述比较特征绘图和参考特征绘图之间不构成完美匹配，所述比较特征绘图的顶点逐渐减小，直到构成对参考特征绘图的子同构现象。如果所述最终匹配的曲线的尺寸小于阈值，所述匹配被认为是不可靠的。在一些实施例中，在出现多个连续的不可靠的匹配后，目标被认为失去。
一旦在比较特征绘图和参考特征绘图之间构成匹配，***100确定所述机动车和目标之间的距离是否已经改变。***100通过比较所述比较特征绘图与所述参考特征绘图之间的比例（例如，如果所述比例没有改变，所述距离没有改变）做出这个确定。为了做出这个确定，***100使用下述等式产生所有产生在所述参考特征绘图和比较特征绘图之间的边缘长度的所有变化的加权测量。
Figure BDA00002246531300081
其中，i是所有匹配的边缘的数量；E表示两个特征点之间的边缘的空间距离，和conf（ED（i），EB（i））是所述参考和比较特征绘图之间的匹配的边缘的置信度。
使用所述比例变化，***100精确地确定跟随时间（例如所述机动车到达目标机动车的当前位置的时间）。另外，使用连续图像特征之间的比例变化计算碰撞时间。参考图7，使用s1与s2的比例变化，***100能够确定距离d1与d2的变化。因为所述目标物体的尺寸没有改变，***100能够计算d1与d2之间的距离的变化。时间dT对应所述图像之间的时间。V是所述机动车接近所述目标物体的速度，和如果所述速度保持不变，TTC则是碰撞时间。
***100连续探测所述比较特征绘图的比例变化，并且控制所述机动车（例如，增加/减小速度）以在受到操作员如上所述的修改时，维持距离所述目标机动车的距离。
尽管所述参考特征绘图在产生后常常保持不变，如果***100确定存在更有效的可用特征，所述参考特征绘图能够被更新。***100使用所述比较特征绘图以确定是否不包括在所述参考特征绘图中的更有效特征一直出现。如果这种特征被发现，所述参考特征绘图被修改以包括这些特征。另外，如果在所述参考特征绘图中存在不是有效的特征（例如在所述比较特征绘图中不总是被发现），***100修改所述参考特征绘图以移除这些特征，因而改进存储和计算效率。
图8代表使用***100横向和纵向控制机动车的方法800。方法800以从前视摄像机110获得影像开始（方框805）。接着，如果目标机动车已经在以前被选择，检查控制器105（方框810）。如果以前没有选择目标，控制器105分析所获得的视频图像以探测识别所述道路中的车道的标识（方框815），并且还分析所获得的机动车的影像（方框820）。基于在步骤815和820执行的分析，控制器105选择由控制器105确定的最可能是目标机动车的影像中的机动车（方框825）。另外，控制器105识别所述视频图像中的其他机动车。控制器105在HMI 115的显示器305上显示所述视频图像，强调所述最可能的目标机动车（方框830）。在一些实施例中，控制器105还强调其他机动车，从而最可能的目标区别于其他机动车。接着控制器105等待使用者确认（选择）所述目标（方框835）。使用者能够选择由控制器105识别的最可能目标外的机动车为目标（例如通过卷动按钮或触摸在触摸屏上的另一机动车）。一旦所述目标被确认，控制器105执行所述特征提取过程（方框840）。使用所提取的特征，控制器105生成所述目标机动车的目标特征绘图（方框845）。从所述目标特征绘图，控制器105产生目标机动车的参考特征绘图（方框850）。然后，控制器105使用所述参考特征绘图探测所述机动车和目标机动车之间的关系的改变（例如横向或纵向移动）。
在方框810，如果以前已经选择了目标，控制器105在目标机动车的图像上执行特征提取（方框855）。使用所提取的特征，所述控制器产生比较特征绘图（方框860）。控制器105使用与所述参考特征绘图中的特征相同的特征（参见步骤840和845）。然后，所述目标特征绘图与所述参考特征绘图比较（方框865）。如果所述差异太大（例如不同于所述目标机动车的机动车位于所述图像中-例如，如果另一小汽车在所述机动车和目标机动车之间移动），控制器105确定所述目标已经被失去。控制器105然后通知使用者所述目标已经被失去（方框870），并且重置所述***，从而没有目标被选择（方框875）。控制器105然后继续在方框805选择新目标。
当所述目标机动车已经被失去（方框865）时，控制器105执行比例变化探测过程（如上所述）以确定所述目标机动车对于所述机动车的位置变化（横向和纵向）。如果所述目标机动车的横向位置相对于所述机动车已经改变，控制器105使用从使用图像摄像机110的车道探测***获得的车道信息（方框885）确定所述目标机动车是否改变车道（方框890）。如果所述目标机动车不改变车道，控制器105使用所述车道信息（方框895）计算所述机动车的横向位置（方框900）并且执行尤其维持所述机动车位于它的车道上的机动车控制功能（方框905）。
在方框890，如果控制器105确定所述目标机动车正在改变车道，控制器105经由车道改变辅助***（或盲点探测***）（方框910）确定所述机动车改变车道是否还安全（即跟随所述目标机动车）。控制器105向操作员提供关于车道改变的信息（例如所述目标正在改变车道，车道改变是否安全等）以确认所述操作员想继续跟随所述目标机动车并且改变车道（方框915）。在一些实施例中，当***100自动控制所述机动车时，所述指示允许所述操作员解除跟随。在这种实施例中，缺少操作员的动作用于确认所述操作员想继续跟随所述目标机动车并且改变车道。如果所述操作员指示所述机动车不应继续跟随所述目标机动车（方框920）并因而不改变车道，控制器105取消选择所述目标机动车（方框925）并且所述机动车的控制返回到所述操作员（即手动控制）。所述操作员能够以无数种方式指示希望跟随或不跟随所述目标机动车，例如转动方向盘，踩踏制动器，踩踏加速器，什么都不做，按压按钮，按压触摸屏上的窗口等。如果所述操作员指示希望跟随所述目标机动车并且改变车道，控制器105使用所述车道信息（方框895）和所述目标机动车信息以计算所述机动车的横向位置（方框900）并且执行尤其将所述机动车驱动到新车道或允许操作员移动所述机动车到新车道的机动车控制功能（方框905）。
另外，如果所述目标机动车被取消选择，控制器105确定所述目标机动车相对于所述机动车的纵向位置（方框930）（即所述跟随距离），并且执行尤其维持所述机动车和目标机动车之间的距离的机动车控制功能（方框905）。
除强调潜在目标和允许所述操作员选择/确认所述目标外，所述人机界面还允许所述操作员取消当前目标（方框950）和调整所述机动车和目标机动车之间的跟随距离（方框955）。当所述跟随距离被调整（方框955）时，控制器105利用比例因子调整所述参考特征绘图（方框850）以反映所述变化（例如对于更短的跟随距离增加所述比例或者对于更长的跟随距离减小所述比例），使用所述调整的参考特征绘图以执行后续比例改变探测（方框880）。
本发明考虑了***100对操作员的辅助（例如反馈）和由***100自动控制的多种组合。在一些实施例中，***100向操作员提供关于所述机动车相对于所述目标机动车的操作的反馈。例如，***100能够通知操作员所述目标机动车正在改变车道，能够使所述操作员将所述机动车移动到所述目标机动车正在移动的车道中，假设这样做是安全的。相反地，如果所述操作员正在将所述机动车移动到新车道（例如漂移）而所述目标机动车不这样做，***100能够警告所述操作员，允许所述操作员改正所述机动车的位置或解除跟随所述目标。在一些实施例中，部分控制由***100自动执行，部分控制由操作员执行（利用来自***100的反馈）。例如，***100能够提供机动车的速度的自动控制以维持对于所述目标的跟随距离同时操作员接收来自***100的反馈并且控制横向位置（例如通过转向）。在一些实施例中，***100能够维持所述车辆位于所述行车车道的中央，而操作员执行转向以改变车道。因而，由***100控制水平的整个范围考虑了从使用来自***100的手动控制到完全由***100自动控制。
因而本发明尤其提供一种用于基于由摄像机获得的图像控制机动车的纵向和横向位置的***。本发明的各种特征和优点在所附权利要求书中阐明。

Claims (23)

1.一种用于机动车的纵向和横向控制的***，所述***包括：
摄像机，其产生多个代表所述机动车前方视场的图像；和
控制器，其接收所述多个图像并且
探测所述多个图像中的物体；
从所述多个图像中提取多个特征；
产生连接所述多个特征的对的多个边缘，所述边缘的长度代表所述多个特征之间的空间距离；
基于来自所述多个图像中的一个或多个的所述多个特征和多个边缘产生参考特征绘图；
基于来自所述多个图像中的一个的所述多个特征和多个边缘产生比较特征绘图，
比较所述参考特征绘图和所述比较特征绘图，以及
基于所述参考特征绘图和所述比较特征绘图之间的差异确定所述机动车相对于所述物体的纵向位置。
2.根据权利要求1所述的***，其特征在于，
基于所述多个图像中的比较特征绘图的位置，所述控制器确定所述机动车相对于所述物体的横向位置。
3.根据权利要求2所述的***，其特征在于，
所述相同图像用于确定所述纵向位置和所述横向位置。
4.根据权利要求2所述的***，其特征在于，
所述控制器调整所述机动车的速度和方向以维持所述机动车相对于所述物体的纵向位置和横向位置。
5.根据权利要求1所述的***，其特征在于，
所述参考特征绘图是使用从所述多个图像中的两个或更多个图像提取的多个特征产生的。
6.根据权利要求5所述的***，其特征在于，
所述参考特征绘图包括从所述多个图像中的两个或更多个图像提取的多个特征，其具有的映射特征的置信度水平超过阈值。
7.根据权利要求1所述的***，其特征在于，
在所述比较特征绘图中使用的多个特征被减小，直到所述比较特征绘图的多个特征匹配所述参考特征绘图的多个特征。
8.根据权利要求7所述的***，其特征在于，
所述***还包括当与所述参考特征绘图的多个特征相匹配的所述比较特征绘图的多个特征小于阈值时，确定所述物体不位于所述多个图像中。
9.根据权利要求1所述的***，其特征在于，
所述参考特征绘图的特征的数量选择成使得所述特征的数量足够大以保证所述物体被精确地识别和所述特征的数量足够小以考虑计算效率。
10.根据权利要求1所述的***，其特征在于，
所述机动车相对于所述物体的纵向位置基于所述比较特征绘图和所述参考特征绘图之间的比例的改变来确定。
11.根据权利要求10所述的***，其特征在于，
所述控制器使用所述参考特征绘图和比较特征绘图之间多个边缘的长度中的变化的加权测量来确定所述比例的变化。
12.根据权利要求1所述的***，其特征在于，
所述***还包括人机界面，所述控制器基于由所述人机界面接收的输入调整所述参考特征绘图的比例。
13.根据权利要求12所述的***，其特征在于，
所述人机界面包括摇臂开关，当所述摇臂开关被向上按压时，所述控制器增加所述参考特征绘图的比例，并且当所述摇臂开关被向下按压时，所述控制器减小所述参考特征绘图的比例。
14.根据权利要求12所述的***，其特征在于，
所述人机界面包括滚轮开关，当所述滚轮开关被在向上方向上滚动时，所述控制器增加所述参考特征绘图的比例，并且当所述滚轮开关被在向下方向上滚动时，所述控制器减小所述参考特征绘图的比例。
15.根据权利要求12所述的***，其特征在于，
所述输入是所述机动车的加速器、机动车的制动器踏板、按钮、语音指令和触摸屏中的至少一个。
16.根据权利要求1所述的***，其特征在于，
所述***的状态包括要跟踪的物体还没有被识别，要跟踪的物体已经被识别但未被选择，物体正在被跟踪和所述机动车离物体太近。
17.根据权利要求16所述的***，其特征在于，
所述***还包括按钮，所述按钮以多个颜色中的一个颜色被照亮以指示所述***的状态。
18.一种用于使用前视摄像机控制机动车的方法，所述方法包括：
使用摄像机产生的多个图像探测物体；
从所述图像提取多个特征；
产生连接所述多个特征的对的多个边缘，所述边缘的长度代表所述多个特征之间的空间距离；
基于来自所述多个图像中的一个或多个的所述多个特征和多个边缘产生参考特征绘图；
基于来自所述多个图像中的一个图像的所述多个特征和多个边缘产生比较特征绘图；
比较所述参考特征绘图和所述比较特征绘图，以及
基于所述参考特征绘图和所述比较特征绘图之间的差异确定所述机动车相对于所述物体的纵向位置。
19.根据权利要求18所述的方法，其特征在于，
所述方法还包括基于所述比较特征绘图在所述多个图像中的位置确定所述机动车相对于所述物体的横向位置。
20.根据权利要求19所述的方法，其特征在于，
所述方法还包括调整所述机动车的速度和方向以维持所述机动车相对于所述物体的纵向位置和横向位置。
21.根据权利要求18所述的方法，其特征在于，
所述方法还包括减小所述比较特征绘图中所用的多个特征，直到所述比较特征绘图的多个特征匹配所述参考特征绘图的多个特征。
22.根据权利要求21所述的方法，其特征在于，
所述方法还包括当与所述参考特征绘图的多个特征相匹配的所述比较特征绘图的多个特征小于阈值时，确定所述物体不位于所述多个图像中。
23.根据权力要求18所述的方法，其特征在于，
所述方法还包括使用所述参考特征绘图和比较特征绘图之间的多个边缘长度的变化的加权测量进行比较以确定比例的变化。
CN201180018668.3A 2010-04-12 2011-04-08 基于影像的智能机动车控制*** Active CN102859568B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/758,394 2010-04-12
US12/758,394 US9165468B2 (en) 2010-04-12 2010-04-12 Video based intelligent vehicle control system
PCT/US2011/031745 WO2011130117A1 (en) 2010-04-12 2011-04-08 Video based intelligent vehicle control system

Publications (2)

Publication Number Publication Date
CN102859568A true CN102859568A (zh) 2013-01-02
CN102859568B CN102859568B (zh) 2016-08-24

Family

ID=44358397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180018668.3A Active CN102859568B (zh) 2010-04-12 2011-04-08 基于影像的智能机动车控制***

Country Status (4)

Country Link
US (1) US9165468B2 (zh)
EP (1) EP2559016B1 (zh)
CN (1) CN102859568B (zh)
WO (1) WO2011130117A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104290730A (zh) * 2014-06-20 2015-01-21 郑州宇通客车股份有限公司 一种应用于高级紧急制动***的雷达与视频信息融合方法
RU2627905C1 (ru) * 2016-07-25 2017-08-14 Александр Валерьевич Погудин Способ повышения активной и пассивной безопасности механических транспортных средств гражданского назначения, имеющих не менее четырех колес и используемых для перевозки грузов
CN107944333A (zh) * 2016-10-12 2018-04-20 现代自动车株式会社 自动驾驶控制设备、具有该设备的车辆及其控制方法
CN110531661A (zh) * 2019-08-22 2019-12-03 浙江吉利汽车研究院有限公司 一种车辆自动跟驰控制方法、装置及设备
CN111791889A (zh) * 2019-03-22 2020-10-20 采埃孚主动安全股份有限公司 用于驾驶机动车的控制***和控制方法
CN113165653A (zh) * 2018-12-17 2021-07-23 宁波吉利汽车研究开发有限公司 跟随车辆

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899243B2 (en) * 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
CN102548821B (zh) * 2010-04-07 2016-01-20 丰田自动车株式会社 车辆行驶辅助装置
US8510012B2 (en) * 2010-12-22 2013-08-13 Bendix Commercial Vehicle Systems Llc Anti-tailgating system and method
US20120314070A1 (en) * 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
US8510029B2 (en) * 2011-10-07 2013-08-13 Southwest Research Institute Waypoint splining for autonomous vehicle following
CN102431553A (zh) * 2011-10-18 2012-05-02 奇瑞汽车股份有限公司 汽车主动安全***及方法
US9586525B2 (en) 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
SE538840C2 (sv) * 2011-11-28 2016-12-27 Scania Cv Ab Säkerhetssystem för ett fordon
US10157241B2 (en) * 2012-01-18 2018-12-18 Toyota Jidosha Kabushiki Kaisha Information processing device and information processing method
DE102012211961A1 (de) 2012-07-10 2014-01-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Berechnen einer Veränderung eines Abbildungsmaßstabs eines Objekts
US20140025270A1 (en) * 2012-07-19 2014-01-23 Bendix Commercial Vehicle Systems Llc Radar initiated foundation braking only for autonomous emergency braking situations
US8971573B2 (en) * 2012-09-12 2015-03-03 Xerox Corporation Video-tracking for video-based speed enforcement
US10678259B1 (en) * 2012-09-13 2020-06-09 Waymo Llc Use of a reference image to detect a road obstacle
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US9378644B2 (en) 2013-03-15 2016-06-28 Honda Motor Co., Ltd. System and method for warning a driver of a potential rear end collision
US9251715B2 (en) 2013-03-15 2016-02-02 Honda Motor Co., Ltd. Driver training system using heads-up display augmented reality graphics elements
US9747898B2 (en) * 2013-03-15 2017-08-29 Honda Motor Co., Ltd. Interpretation of ambiguous vehicle instructions
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9393870B2 (en) 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
US10215583B2 (en) 2013-03-15 2019-02-26 Honda Motor Co., Ltd. Multi-level navigation monitoring and control
DE102013106769B4 (de) * 2013-06-27 2021-06-10 Create Electronic Optical Co., Ltd. Fahrtenschreiber mit der Spurhalte- und Kollisionswarnfunktion
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
JP5821917B2 (ja) * 2013-09-20 2015-11-24 トヨタ自動車株式会社 運転支援装置
KR101604805B1 (ko) * 2013-10-08 2016-03-25 엘지전자 주식회사 카메라 기반의 차량의 하중 추정 장치 및 차량의 하중 추정 방법
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
CN111027420B (zh) 2013-12-04 2023-10-24 移动眼视力科技有限公司 用于模仿前车的***和方法
US9465388B1 (en) 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
US9720410B2 (en) 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9567028B2 (en) * 2014-03-05 2017-02-14 Wesley Zhou Vehicle deceleration warning light
US9604642B2 (en) * 2014-04-29 2017-03-28 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Positioning autonomous vehicles based on field of view
JP6409337B2 (ja) * 2014-05-23 2018-10-24 日本精機株式会社 表示装置
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
JP6205316B2 (ja) * 2014-07-11 2017-09-27 株式会社デンソー 車両制御装置
US9365218B2 (en) * 2014-07-14 2016-06-14 Ford Global Technologies, Llc Selectable autonomous driving modes
JP6327034B2 (ja) * 2014-07-22 2018-05-23 株式会社デンソー 車両用表示制御装置
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
US9881349B1 (en) * 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
JP6661883B2 (ja) * 2015-02-09 2020-03-11 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
KR102034722B1 (ko) * 2015-03-19 2019-10-21 현대자동차주식회사 차량, 차량의 통신 방법 및 차량에 포함된 무선 통신 장치
JP5957745B1 (ja) * 2015-07-31 2016-07-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5945999B1 (ja) * 2015-07-31 2016-07-05 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5910904B1 (ja) * 2015-07-31 2016-04-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5866594B1 (ja) * 2015-07-31 2016-02-17 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
US9620019B1 (en) * 2015-11-03 2017-04-11 Denso International America, Inc. Methods and systems for facilitating vehicle lane change
US9940530B2 (en) * 2015-12-29 2018-04-10 Thunder Power New Energy Vehicle Development Company Limited Platform for acquiring driver behavior data
US10053110B2 (en) 2016-05-06 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methodologies for controlling an autonomous vehicle
US10232711B2 (en) 2016-06-03 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Spatiotemporal displays for set speed deviation of a vehicle
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
US9994221B2 (en) * 2016-07-13 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Presenting travel settings for selection of nearby vehicle to follow
RU2627907C1 (ru) * 2016-07-19 2017-08-14 Александр Валерьевич Погудин Способ повышения активной и пассивной безопасности транспортных средств повышенной проходимости гражданского назначения
RU2628835C1 (ru) * 2016-07-19 2017-08-22 Александр Валерьевич Погудин Способ повышения активной и пассивной безопасности сельскохозяйственных и лесохозяйственных тракторов
RU2628837C1 (ru) * 2016-07-25 2017-08-22 Александр Валерьевич Погудин Способ повышения активной и пассивной безопасности механических транспортных средств гражданского назначения, имеющих не менее четырех колес и используемых для перевозки пассажиров
DE102016009302A1 (de) * 2016-08-01 2018-02-01 Lucas Automotive Gmbh Steuerungs-System und Steuerungs-Verfahren zur Auswahl und Verfolgung eines Kraftfahrzeugs
US10093315B2 (en) * 2016-09-19 2018-10-09 Ford Global Technologies, Llc Target vehicle deselection
US10629079B2 (en) * 2016-12-05 2020-04-21 Ford Global Technologies, Llc Vehicle collision avoidance
JP6963007B2 (ja) * 2017-03-31 2021-11-05 住友建機株式会社 ショベル、ショベルの表示装置及びショベルにおける画像の表示方法
EP3800099B1 (en) * 2018-06-04 2023-03-15 Yamaha Hatsudoki Kabushiki Kaisha Leaning vehicle
US10576894B2 (en) * 2018-06-04 2020-03-03 Fca Us Llc Systems and methods for controlling vehicle side mirrors and for displaying simulated driver field of view
FR3084631B1 (fr) * 2018-07-31 2021-01-08 Valeo Schalter & Sensoren Gmbh Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
DE102019205245A1 (de) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Verfahren und Vorrichtung zur Steuerung eines Geschwindigkeits- oder Abstandsregelungssystems eines einspurigen Kraftfahrzeugs
DE102019206897B4 (de) * 2019-05-13 2022-06-15 Audi Ag Fahrerassistenzsystem für ein Kraftfahrzeug und Kraftfahrzeug
US11140524B2 (en) * 2019-06-21 2021-10-05 International Business Machines Corporation Vehicle to vehicle messaging
CN111923858A (zh) * 2020-07-10 2020-11-13 江苏大学 一种基于地面投影的汽车防碰撞预警装置及方法
US20220153262A1 (en) * 2020-11-19 2022-05-19 Nvidia Corporation Object detection and collision avoidance using a neural network
US11763569B2 (en) * 2021-03-24 2023-09-19 Denso International America, Inc. System for controlling a camera supporting human review of sensor information

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161331A1 (en) * 2005-01-14 2006-07-20 Denso Corporation Drive control system for automotive vehicle
CN101458078A (zh) * 2007-12-10 2009-06-17 鸿富锦精密工业（深圳）有限公司 一种汽车防撞***及方法
CN101465033A (zh) * 2008-05-28 2009-06-24 丁国锋 一种自动追踪识别***及方法
WO2009106162A1 (de) * 2008-02-26 2009-09-03 Robert Bosch Gmbh Verfahren zur unterstützung eines nutzers eines fahrzeugs, steuereinrichtung für ein fahrerassistenzsystem eines fahrzeugs und fahrzeug mit einer derartigen steuereinrichtung

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7322011B2 (en) * 1994-01-06 2008-01-22 Microsoft Corporation System and method of adjusting display characteristics of a displayable data file using an ergonomic computer input device
JP3002721B2 (ja) * 1997-03-17 2000-01-24 警察庁長官 図形位置検出方法及びその装置並びにプログラムを記録した機械読み取り可能な記録媒体
US7268700B1 (en) * 1998-01-27 2007-09-11 Hoffberg Steven M Mobile communication device
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6317691B1 (en) * 2000-02-16 2001-11-13 Hrl Laboratories, Llc Collision avoidance system utilizing machine vision taillight tracking
TW466415B (en) * 2000-08-28 2001-12-01 Compal Electronics Inc Hand-held device with zooming display function
DE10254421A1 (de) 2002-11-21 2004-06-03 Lucas Automotive Gmbh System zur Beeinflussung der Geschwindigkeit eines Kraftfahrzeuges
US7016783B2 (en) * 2003-03-28 2006-03-21 Delphi Technologies, Inc. Collision avoidance with active steering and braking
US20040225434A1 (en) * 2003-05-07 2004-11-11 Gotfried Bradley L. Vehicle navigation and safety systems
JP4246084B2 (ja) 2004-02-17 2009-04-02 日産自動車株式会社 車両用走行制御装置
KR20060049706A (ko) 2004-07-20 2006-05-19 아이신세이끼가부시끼가이샤 차량의 레인주행지원장치
US7480570B2 (en) * 2004-10-18 2009-01-20 Ford Global Technologies Llc Feature target selection for countermeasure performance within a vehicle
JP4887980B2 (ja) 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
EP1995705B1 (en) 2006-03-06 2010-07-07 Hitachi, Ltd. Control device and method for automobile
JP4816248B2 (ja) 2006-05-23 2011-11-16 日産自動車株式会社 車両用運転操作補助装置
US20080043099A1 (en) * 2006-08-10 2008-02-21 Mobileye Technologies Ltd. Symmetric filter patterns for enhanced performance of single and concurrent driver assistance applications
CN100492437C (zh) 2007-06-01 2009-05-27 清华大学 一种目标车换道工况下的快速识别方法
JP5066437B2 (ja) 2007-12-21 2012-11-07 富士重工業株式会社 車両の走行制御装置
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161331A1 (en) * 2005-01-14 2006-07-20 Denso Corporation Drive control system for automotive vehicle
CN101458078A (zh) * 2007-12-10 2009-06-17 鸿富锦精密工业（深圳）有限公司 一种汽车防撞***及方法
WO2009106162A1 (de) * 2008-02-26 2009-09-03 Robert Bosch Gmbh Verfahren zur unterstützung eines nutzers eines fahrzeugs, steuereinrichtung für ein fahrerassistenzsystem eines fahrzeugs und fahrzeug mit einer derartigen steuereinrichtung
CN101465033A (zh) * 2008-05-28 2009-06-24 丁国锋 一种自动追踪识别***及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104290730A (zh) * 2014-06-20 2015-01-21 郑州宇通客车股份有限公司 一种应用于高级紧急制动***的雷达与视频信息融合方法
RU2627905C1 (ru) * 2016-07-25 2017-08-14 Александр Валерьевич Погудин Способ повышения активной и пассивной безопасности механических транспортных средств гражданского назначения, имеющих не менее четырех колес и используемых для перевозки грузов
CN107944333A (zh) * 2016-10-12 2018-04-20 现代自动车株式会社 自动驾驶控制设备、具有该设备的车辆及其控制方法
CN107944333B (zh) * 2016-10-12 2022-03-29 现代自动车株式会社 自动驾驶控制设备、具有该设备的车辆及其控制方法
CN113165653A (zh) * 2018-12-17 2021-07-23 宁波吉利汽车研究开发有限公司 跟随车辆
CN113165653B (zh) * 2018-12-17 2023-10-24 宁波吉利汽车研究开发有限公司 跟随车辆
CN111791889A (zh) * 2019-03-22 2020-10-20 采埃孚主动安全股份有限公司 用于驾驶机动车的控制***和控制方法
CN110531661A (zh) * 2019-08-22 2019-12-03 浙江吉利汽车研究院有限公司 一种车辆自动跟驰控制方法、装置及设备
CN110531661B (zh) * 2019-08-22 2021-06-22 浙江吉利汽车研究院有限公司 一种车辆自动跟驰控制方法、装置及设备

Also Published As

Publication number Publication date
CN102859568B (zh) 2016-08-24
WO2011130117A1 (en) 2011-10-20
US9165468B2 (en) 2015-10-20
EP2559016A1 (en) 2013-02-20
EP2559016B1 (en) 2014-12-03
US20110251768A1 (en) 2011-10-13

Similar Documents

Publication Publication Date Title
CN102859568A (zh) 基于影像的智能机动车控制***
US20220250610A1 (en) Vehicular automated parking system
US11915491B2 (en) Controlling host vehicle based on detected door opening events
US10229654B2 (en) Vehicle and method for controlling the vehicle
US11068726B1 (en) Static obstacle detection
JP7332726B2 (ja) ヒートマップを使用したドライバーの注目の検出
CN107176165B (zh) 车辆的控制装置
US10924679B2 (en) Display device for vehicle and control method thereof
US10286905B2 (en) Driver assistance apparatus and control method for the same
KR101851155B1 (ko) 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법
US10558868B2 (en) Method and apparatus for evaluating a vehicle travel surface
US10836399B2 (en) Vehicle and control method thereof
US9267808B2 (en) Visual guidance system
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
CN105620489A (zh) 驾驶辅助***及车辆实时预警提醒方法
KR102310782B1 (ko) 차량운전 보조장치, 이를 포함하는 차량, 및 차량안전 시스템
US9767370B1 (en) Construction object detection
KR101832224B1 (ko) 주차 난이도를 기초로 운전자를 지원하는 장치 및 방법
CN106515583A (zh) 驾驶者信息方法
KR101850794B1 (ko) 주차 지원 장치 및 방법
KR20170005663A (ko) 차량용 디스플레이 제어 장치 및 그 동작 방법
KR101767507B1 (ko) 차량용 디스플레이 장치 및 그 제어 방법
US20230005249A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
EP3460403B1 (en) Method for controlling operation system of a vehicle
US20210323469A1 (en) Vehicular around view image providing apparatus and vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant