CN105716567B - 通过单眼图像获取设备侦测物体与机动车辆距离的方法 - Google Patents

通过单眼图像获取设备侦测物体与机动车辆距离的方法 Download PDF

Info

Publication number
CN105716567B
CN105716567B CN201510973453.7A CN201510973453A CN105716567B CN 105716567 B CN105716567 B CN 105716567B CN 201510973453 A CN201510973453 A CN 201510973453A CN 105716567 B CN105716567 B CN 105716567B
Authority
CN
China
Prior art keywords
identified
bayes
road
plane
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510973453.7A
Other languages
English (en)
Other versions
CN105716567A (zh
Inventor
斯蒂芬妮·莱斯曼
米尔科·莫伊特
丹尼斯·穆勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delphi Technologies Inc
Original Assignee
Delphi Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delphi Technologies Inc filed Critical Delphi Technologies Inc
Publication of CN105716567A publication Critical patent/CN105716567A/zh
Application granted granted Critical
Publication of CN105716567B publication Critical patent/CN105716567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/12—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with monocular observation at a single point, e.g. coincidence type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Abstract

一种用于确定物体到机动车辆的距离的方法，包含步骤：通过单眼图像获取设备以时间间隔拍摄所述车辆周围的图像；在所述拍摄的图像中识别至少一个感兴趣的物体并且通过图像处理***关联物体种类；根据所拍摄的图像在物体种类的基础上使用针孔照相机模型确定相应的位置数据，位置数据指示所识别的物体上的一参考点相对道路的平面在世界坐标中的位置；在假定所识别的物体的参考点以预定概率位于道路平面上的条件下，通过贝叶斯Bayes估计方法使用位置数据作为观察量来估计针孔照相机模型的换算系数；以及使用针孔照相机模型由所估计的换算系数来计算所识别的物体到机动车辆的距离。

Description

通过单眼图像获取设备侦测物体与机动车辆距离的方法
技术领域
本发明涉及一种通过单眼图像获取设备侦测物体与机动车辆距离的方法，所述设备以在道路平面上预定的高度设置在车辆上，其中车辆环境的图像通过单眼图像获取设备以时间间隔拍摄并且在拍摄的图像中识别至少一个感兴趣的物体并且通过图像处理***与物体种类相关。
背景技术
基于图像的物体识别处理是对在现代机动车辆中各种驾驶员辅助装置例如对于车道变换辅助、距离控制***或者行人包含***而言是重要的。单眼图像获取设备可以是具有单物镜的照相机，其相对于车辆固定并且例如拍摄机动车辆前方的交通状况。载有照相机的机动车辆也称为“主车辆”。计算机辅助图像处理***能够以在这种照相机图像中相对高的可靠性来辨别感兴趣的物体例如道路标志、交通符号、行人和其他车辆并且通过追踪处理来追踪他们。
可靠地估计所识别的物体和主车辆之间的绝对距离对安全相关的***而言是尤其必需的，以便因此例如能够提前避免即将发生的碰撞。已经由单眼图像获取设备拍摄的图像自然不包含任何直接可提取的深度信息，以致于当只使用单眼图像获取设备时确定物体距离是困难的。图像处理***原则上从先验信息能够导出期望的深度信息，例如通过使用假定条件所识别的物体具有预定的标准宽度。然而应当理解的是这种假定条件往往不符合或者在实际中不足够准确地符合并且不可接受的错误由此进入有关计算中。通过使用先验信息的单眼图像获取设备用来确定距离的传统处理尤其是几乎不符合安全关键的应用例如自动驾驶。立体照相机或间隔距离的传感器的使用相比之下由于费用原因而不被看好。
发明内容
因此本发明的目的是提供一种用于侦测物体与机动车辆距离的健壮且准确的方法，所述方法能够特有地使用单眼图像获取设备作为测量装置来实施
该目的通过具有如下特征的方法来满足。
根据本发明的方法提供了根据所拍摄的图像在物体种类的基础上使用针孔照相机模型确定相应的位置数据，位置数据指示所识别的物体上的一参考点相对道路的平面在世界坐标中的位置；在假定所识别的物体的参考点以预定概率位于道路平面上的条件下，通过贝叶斯Bayes估计方法使用位置数据作为观察量来估计针孔照相机模型的换算系数；以及使用针孔照相机模型由所估计的换算系数来计算所识别的物体到机动车辆的距离。
针孔照相机模型通常在技术领域已知并使用，例如在用于反转图像坐标和世界坐标之间的追踪处理中。针孔照相机模型完全通过固定投影中心或者原点以及图像平面来确定。将世界点或场景点投影进图像平面在这方面通过将投影矩阵与对应的世界坐标矢量相乘来描述。因为三维世界到二维图像平面的映象，所以属于明确图片元素的世界坐标不能明白地指示，而是只在未知常数系数的限制条件下。该系数称为换算系数。根据本发明已经识别到通过贝叶斯Bayes估计方法估计该换算系数能够以有效的方式用于侦测物体距离中使用。所识别的物体与使用估计系数的主车辆的绝对距离的确定也就是说可能根据针孔照相机模型的投影方程的相应变换。在换算系数的估计中，识别被用作先验信息，即特定的识别物体例如行人或车辆总是在地上并且因此在地上侧的这种物体的参考点总是在道路平面中。然而这先验信息通常不使用为高度有效的假定条件，原因在于其太频繁并很大程度上被不可避免的错误侵犯，所述错误例如由于图像获取设备的抛扔导致。因此物体相对道路平面的偏离位置所以说使用针孔照相机模型来确定并且用作贝叶斯Bayes估计方法的观察量。针孔照相机模型的换算系数用作待估计的参数，即换算系数最佳地配合观察数据的后验分布据根据贝叶斯Bayes估计方法来确定。确定的后验分布的位置测量接着能够用作实际的估计值。已知的是根据贝叶斯Bayes估计方法估计的换算系数是特别健壮和可靠的并且因此产生距离确定的特别准确的结果。估计的换算系数不能只用于确定物体的距离，而是也有利地直接用于分别追踪相应的物体，例如使用卡尔曼Kalman滤波器。
本发明的改进方案能够从从属权利要求、说明书以及附图中可见。
优选地使用该假定条件作为贝叶斯Bayes估计方法的基础，与物体种类有关的所识别物体的宽度采取至少一个与具有预定概率的物体种类有关的标准值的一个。考虑到环境，通常的图像处理***能够实施相对可靠分类并且因此有相当固定的对在图像中的识别物体的实际宽度先验了解。另一方面，成功识别和分类的物体的宽度通常能够被限制到相对窄的范围。在该实施方式中使用贝叶斯Bayes估计方法来一起融合先验信息的不同且相互独立的原点，即一方面是在道路平面上道路使用者的定位，另一方面分类物体的标准宽度的规格。估计的健壮性能够由于这种融合大量提高。
本发明的改进实施方式提供了如下假定条件，即所识别物体的参考点以预定概率位于道路平面上，该概率根据连续的先验分布模型化得到，然而所识别物体的宽度采取具有预定概率的标准值的假定条件根据离散先验分布来模型化。已知物体宽度通过有限的标准值能够足够准确地指示。贝叶斯Bayes估计方法使得连续的和离散的先验分布信息可能以有利的方式来融合。
位置数据的时间滤波的结果优选地用作贝叶斯Bayes估计方法的观察量，尤其是其中对相应多个连续拍摄的图像的平均时间值来形成用于位置指示。例如照相机抛扔的干扰影响能够由时间平均来补偿，由此估计过程的可靠性相当大地提高。计算平均、中间值或类似值能够根据应用被选择作为的平均值。
针孔照相机的换算系数能够通过确定观察量的后验分布的模型值来确定。换而言之，后验分布的密度函数的最大位置优选地用作换算系数的估计值。这产生特别可靠的估计。期望值、中间值或者其它位置车辆通常也能够用作估计值。
相应的倾斜角度优选地用作位置指示，所述位置指示以相对道路平面采用观察线，所述观察线从机动车辆的车辆中心引出垂直投影到道路平面上或者从以已知距离设置的固定点引出到物体的参考点。该倾斜角能够以简单方式从世界坐标以及从针孔照相机的投影矩阵中导出并且是用于测量物体的位置相对于道路平面上定位的偏差。
正态分布尤其能够围绕零值固定作为倾斜角的先验分布。这有利的确定原因在于倾斜角与零值的偏差基于许多彼此无关的错误。
可以设置这样的规则：所识别物体的运动通过追踪处理来追踪，该追踪处理使用递归状态开关尤其是卡尔曼Kalman滤波器并且所估计的换算系数用作用于递归状态开关的输入。所估计的换算系数通过这种方式也就是说满足双重函数，原因在于一方面其用于确定物体距离，另一方面并且也通过追踪方法用于追踪物体。
所识别的物体能够通过分类器是与机构物体种类之一有关，其中分别的宽度范围和/或一系列分离的宽度值是针对每个物体种类定义用于固定所识别的物体的宽度和先验分布。例如通常分类器是能够可靠地区别行人、自行车、摩托车、轿车、皮卡(厢式货车)以及卡车。这些物体种类的每一个通常特征在于严格限制的宽度范围，以致于先验分布能够以足够的可靠性通过宽度范围或通过每个物体种类的一系列分离宽度值来固定。
根据本发明的特定的实施方式，所识别的物体通过识别器与“四轮车辆”和“两轮车辆”之一有关，其中优选地与物体种类“四轮车辆”有关的识别物体与子种类“轿车”、“厢式货车”和“卡车”之一有关。这种等级分类允许考虑到所有常见的道路使用者，其可能处于来自主车辆的危险中。这些道路使用者也因此被称为“易受伤的道路使用者”或者“VRUs”。如果需要的话，分类器也能够考虑作为物体种类“两轮车”的子分类的“自行车”和“摩托车”和/或物体种类“行人”。物体种类“四轮车辆”和“两轮车辆”的分别对待，其宽度典型地不重叠，允许节省计算步骤并且与通常分类器的模型分类一致。
本发明的进一步的实施方式中提供了，采用分类器的基础规则来解决贝叶斯Bayes估计方法的方程组。基础规则例如能够代表车辆数目，其能够在所有每个物体种类或者物体子种类中被预期。基础规则种类尤其能够用于代表在世界中的实际物体种类，其从由分类器输出的所观察到的物体种类中被描述。这些基础规则种类常表现为种类混合矩阵中的元素。
条件在于：最小的外接矩形用于所识别的物体和尤其是用于每个所识别的物体，利用位于最小外接矩形的下边缘上的基础选择作为所识别物体的参考点。这种最小的外接矩形，即所谓的“包围盒”在许多追踪应用中被定义用于所识别物体。上面称为的基础优选地位于有关的包围盒的下边缘的中间。在识别为道路使用者的物体的基础上，证明了如下假定条件，即所识别的物体以高概率位于道路平面中。
本发明也涉及如下装置，该装置使用单眼图像获取设备用于识别和追踪来自车辆的物体，该设备以在道路平面上预定的高度设置在车辆上并且设定为用于以时间间隔拍摄车辆周围的照片以及具有图像处理***，该***设定用于实施上面描述的方法。该图像处理***也能够尤其是计算机辅助的。
此外，本发明涉及包含程序指令的计算机程序产品，当计算机程序在计算机上运行时，所述程序指令执行上面描述的类型的方法。
附图说明
接下来通过参考附图的实施例来描述本发明。其中：
图1示意性地表现了根据本发明的用于识别和追踪来自机动车辆的物体的装置；
图2示出了，使用针孔照相机模型时，在对应道路平面的物体点的倾斜角和针孔照相机模型的换算系数之间的关系；以及
图3是以简化形式示出的根据本发明的方法的概念用于确定来自机动车辆的物体的距离的图解。
具体实施方式
根据本发明的装置包含单眼图像获取设备11，只在图1中示意性地示出例如数字照相机，以及图像处理***13，优选地是与图像获取设备11有关的计算机辅助图像处理***。图像获取设备11以在道路平面21上的预定高度h(未示出)安装在机动车辆上并且设定用于以规律的时间间隔拍摄车辆的图像。设定图像处理***13使用通过图像获取设备11接收的图像来分类和追踪感兴趣的物体17的图像，所述物体例如行人、其他车辆、道路标志以及类似物。由于简化的原因在图1中以示意性的形式只示出物体17。用于物体识别、物体分类和物体追踪的图像处理***13优选地与至少一个分类器以及至少一个递归状态估计工作，这通常是已知的。
为了确定感兴趣的物体17与机动车辆的距离d而只使用单眼图像获取设备11，所述物体以典型的方式通过图像处理***13首先识别并且与物体类型有关。在该处理框架内，确定最小的包围矩阵，即所谓的“包围盒”并且位于最小包围矩阵中央的下边缘的基础19定义为下一步处理步骤的参考点。图像获取设备11然后通过在图2中展示的针孔照相机模型数学地模型化。
特定观察点的世界坐标xw,yw,zw和相关的图像坐标xi,yi,zi之间的关系通过以下方程在针孔照相机模型中给出：
在此C意味着针孔照相机模型的变化矩阵。图像平面内的图像点的位置(ix,iy)能够接着像如下这样计算：
该在图像平面内的位置同样地每个s≠0。图像坐标矢量与系数s的每次相乘产生同样的图片元素。方程(1)能够写成如下假定条件p＝1/s是相同的并且使用辅助坐标xw',yw',zw',
在此，C-1意味变换矩阵的逆。未知的系数p称为“换算系数”。
根据本发明的方法，针孔照相机模型的换算系数p使用贝叶斯估计方法来估计，其中使用假定条件作为先验知识，所述知识即识别为“道路使用者”的物体17的基础19通常位于道路21的平面中。
因此p是在使用贝叶斯估计方法中的估计的寻求参数。现在应用p＝W/WR，其中p是物体宽度常数，该常数通常用于通过追踪来追踪物体17并且由相应的追踪器提供并且WR是物体17的未知实际宽度。有限的可能的物体宽度WR，以及因此现在由分类器预定的基于不同的物体种类来定义可能的换算系数p，以便于考虑到如下情况，即存在对于特定物体17不可能的频繁的宽度定义。例如一方面能够区分有引擎的两轮车辆和四轮车辆，另一方面四轮车辆与两轮车辆分别对待。
这产生了有限的假设用于当前匹配换算系数p，所述系数通过下标i描述。在基础19和道路车道21之间的倾斜角度能够在每个这些假设pi的时间给出：
在该方面根据图2，就是观察线24采取相对道路21的平面的角度，所述观察线从道路21的平面的原点23引出到物体17的基础19。道路平面21的原点23通过将车辆中心(未示出)垂直投影到道路21的平面上产生。这位于针孔照相机模型相对延伸方向的原点25之后。
通过利用观察的角度α的贝叶斯来估计直接估计换算系数p是不够可靠的被用在驾驶员辅助***中的，原因在于不同样的干扰影响例如不可预测的图像获取方向11的俯仰。例如多个这种角度观察量的算法的平均值因此用于补偿干扰。以下观察量特别地定义为：
其中期望角度α具有道路21的平面的正态分布。
C:＝{CAR,VAN,TRUCK}和{BIKES}的并集能够定义为有限的物体种类，其中CAR代表轿车，VAN代表厢式货车，TRUCK代表卡车并且BIKES代表摩托车和可选择的自行车。贝叶斯估计方法接着使用基础规则种类cgt∈C通过将上面描述的观察量与物体分类cc∈C结合来获得：
在此表示待估计的参数p的分布根据观察角度a和车辆分类cc来表示。以下的关系能够使用基础规则种类来cgtk给出：
当集合贝叶斯估计方法方程时，肯定地假定不同的换算系数pi平均低分布在有限的可能值内。应该知道的是假定条件是任意的并且估计过程能够如需要的那样通过考虑额外的先验知识来改进。
换算系数p现在那个借助于上面给出的方程使用最大值后验过程来估计——在此通过确定观察量的后验分布的模态值。
假设确保P(cc|cgt)≠0,P(pi|cgt)≠0并且对至少一个cgt∈C也P(cgt)≠0，那么能够使用方程(4)的对数版：
在每个时间步骤中使用方程(3)计算对数方程(5)的至少两个被加数能够在过程开始前计算并且能够存储在查找表中，因为他们不依赖时间。P(cc|cgt)从分类器的种类混合矩阵得到并且P(cgt)是特定物体种类的先验概率。P(pi|cgt)以以下方式选择，例如：
其中分别包括物体宽度，所述宽度能够用于各自的车辆类型(CAR,VAN,TRUCK或者BIKE)。不同分布也能够用于每个基础规则种类cgt来代替相应区间的均匀分布。在估计换算系数p之后，车辆的识别物体17的距离d能够如下计算：
另外，估计的换算系数p用作递归状态估计的输入，所述递归状态估计通过追踪过程用于追踪物体17的移动。在此方面尤其能够是卡尔曼Kalman滤波器。
由于当前先验知识的融合当前以不同的形式通过特定的贝叶斯估计方法，特别健壮的估计换算系数并且因此物体距离的特别可靠的确定是可能的，如同在图3中说明的那样。
附图标记
11 图像获取设备
13 图像处理***
17 物体
19 基础
21 道路平面
23 道路平面的原点
24 观察线
25 针孔模型的原点

Claims (19)

1.一种通过单眼图像获取设备(11)确定物体(17)到机动车辆的距离(d)的方法，所述单眼图像获取设备以相对于道路平面的预定高度(h)设置在机车辆上，其特征在于
通过所述单眼图像获取设备(11)以时间间隔拍摄所述车辆周围的图像；
在所拍摄的图像中识别至少一个感兴趣的物体(17)并且通过图像处理***(13)与一物体种类关联；
根据所述拍摄的图像在所述物体种类的基础上使用针孔照相机模型确定相应的位置数据，所述位置数据指示所识别的物体(17)上的一参考点(19)相对所述道路(21)的平面在世界坐标中的位置；
在假定所识别的物体(17)的所述参考点(19)以预定概率位于所述道路平面(21)上的条件下，通过贝叶斯Bayes估计方法使用所述位置数据作为观察量来估计所述针孔照相机模型的换算系数(p)；以及使用所述针孔照相机模型由所估计的换算系数(p)来计算所识别的物体(17)到所述机动车辆的距离(d)。
2.根据权利要求1所述的方法，其特征在于
进一步的假定条件被用作所述贝叶斯Bayes估计方法的基础，即，所识别的物体(17)的与物体种类关联的宽度以预定概率采用与所述物体种类关联的至少一个标准值中的一个。
3.根据权利要求2所述的方法，其特征在于
通过连续的先验分布来模型化如下假定条件：所识别的物体(17)的所述参考点(19)以预定概率位于所述道路平面(21)上，而通过离散的先验分布来模型化如下假定条件：所识别的物体(17)的宽度以预定概率采用一标准值。
4.根据上述权利要求中任一项所述的方法，其特征在于
使用所述位置数据的时间滤波的结果作为所述贝叶斯Bayes估计方法的观察量。
5.根据权利要求4所述的方法，其特征在于
形成相应于多个连续拍摄的图像的平均时间值用于所述位置数据。
6.根据权利要求1-3中任一项所述的方法，其特征在于
所述针孔照相机的换算系数(p)通过确定所述观察量的后验分布的模态值来估计。
7.根据权利要求1-3中任一项所述的方法，其特征在于
与相对于所述道路(21)的平面采用的一观察线(24)相应的倾斜角度被用于作为所述位置指示，所述观察线从所述机动车辆的车辆中心垂直地投影到所述道路(21)的平面上的位置开始或者从以已知距离设置在其上的固定点开始引导至所述物体(17)的所述参考点(19)。
8.根据权利要求7所述的方法，其特征在于
正态分布能够被固定地围绕零值作为所述倾斜角度的一先验分布。
9.根据权利要求1-3中任一项所述的方法，其特征在于
所识别的物体(17)的运动通过追踪处理进行追踪，所述追踪处理使用递归状态开关，并且所估计的换算系数(p)用于作为所述递归状态开关的输入。
10.根据权利要求9所述的方法，其特征在于
递归状态开关包括卡尔曼Kalman滤波器。
11.根据权利要求1-3中任一项所述的方法，其特征在于
通过分类器将所识别的物体(17)与多个物体种类之一关联，其中针对每个物体种类来定义各自的宽度范围和/或各自的一组离散的宽度值，以确定所识别的物体(17)的宽度的先验分布。
12.根据权利要求11所述的方法，其特征在于
通过所述分类器将所识别的物体(17)与物体种类“四轮车辆”和“两轮车辆”之一关联。
13.根据权利要求12所述的方法，其特征在于
将与所述物体种类“四轮车辆”关联的物体与子分类“轿车”、“厢式货车”和“卡车”之一关联。
14.根据权利要求11所述的方法，其特征在于
所述分类器的基本定理用于解决所述贝叶斯Bayes估计方法的方程。
15.根据权利要求12或13所述的方法，其特征在于
所述分类器的基本定理用于解决所述贝叶斯Bayes估计方法的方程。
16.根据权利要求1-3中任一项所述的方法，其特征在于
确定所识别的物体的最小外接矩形，具有位于所述最小外接矩形的下边缘的基础(19)，其被选择作为所所识别的物体(17)的所述参考点。
17.根据权利要求16所述的方法，其特征在于
对于每个所识别的物体(17)，确定最小外接矩形。
18.一种用于从机动车辆上识别和追踪物体(17)的装置，其特征在于，包括单眼图像获取设备(11)，所述单眼图像获取设备以相对于道路(21)的平面的预定高度(h)设置在所述车辆上，并且用于以时间间隔拍摄所述车辆周围的图片；和图像处理***(13)，所述图像处理***用于执行根据上述权利要求中任一项所述的方法。
19.一种包含程序指令的计算机程序产品，其特征在于，当所述计算机程序在计算机上运行时，用于执行根据权利要求1至17中任一项所述的方法。
CN201510973453.7A 2014-12-22 2015-12-22 通过单眼图像获取设备侦测物体与机动车辆距离的方法 Active CN105716567B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14199767.6A EP3038011B1 (de) 2014-12-22 2014-12-22 Verfahren zum Bestimmen des Abstands eines Objekts von einem Kraftfahrzeug mittels einer monokularen Bilderfassungseinrichtung
EP14199767.6 2014-12-22

Publications (2)

Publication Number Publication Date
CN105716567A CN105716567A (zh) 2016-06-29
CN105716567B true CN105716567B (zh) 2019-11-26

Family

ID=52144539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510973453.7A Active CN105716567B (zh) 2014-12-22 2015-12-22 通过单眼图像获取设备侦测物体与机动车辆距离的方法

Country Status (3)

Country Link
US (1) US9862318B2 (zh)
EP (1) EP3038011B1 (zh)
CN (1) CN105716567B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018007287T5 (de) * 2018-03-15 2020-12-10 Harman International Industries, Incorporated Fahrzeugsystem und -verfahren zum erfassen von objekten und einer objektentfernung
KR102524299B1 (ko) * 2018-12-17 2023-04-24 현대자동차주식회사 전방 장애물 검출 거리 추정 방법 및 장치
US11338807B2 (en) 2019-01-30 2022-05-24 Allstate Insurance Company Dynamic distance estimation output generation based on monocular video
US11420623B2 (en) * 2019-03-20 2022-08-23 Honda Motor Co., Ltd. Systems for determining object importance in on-road driving scenarios and methods thereof
CN110533945B (zh) * 2019-08-28 2021-09-10 肇庆小鹏汽车有限公司 交通信号灯的预警方法、***、车辆及存储介质
US11170468B2 (en) * 2019-12-18 2021-11-09 The Boeing Company Systems and methods of determining image scaling
US11798187B2 (en) * 2020-02-12 2023-10-24 Motive Technologies, Inc. Lane detection and distance estimation using single-view geometry
US11827215B2 (en) * 2020-03-31 2023-11-28 AutoBrains Technologies Ltd. Method for training a driving related object detector
KR102131377B1 (ko) * 2020-04-17 2020-07-08 주식회사 파블로항공 감시를 위한 무인 이동체 및 이를 포함하는 시스템
US20210335130A1 (en) * 2020-04-28 2021-10-28 Moj.Io, Inc. Vehicle system with a safety mechanism and method of operation thereof
CN112241806B (zh) * 2020-07-31 2021-06-22 深圳市综合交通运行指挥中心 道路破损概率预测方法、装置终端设备及可读存储介质
CN113446986B (zh) * 2021-05-13 2022-07-22 浙江工业大学 一种基于观测高度改变的目标深度测量方法
DE102021205836A1 (de) * 2021-06-10 2022-12-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Parametrisieren einer Szene
CN113124820B (zh) * 2021-06-17 2021-09-10 中国空气动力研究与发展中心低速空气动力研究所 一种基于曲面镜的单目测距方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562681A1 (de) * 2011-08-25 2013-02-27 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867256A (en) * 1997-07-16 1999-02-02 Raytheon Ti Systems, Inc. Passive range estimation using image size measurements
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
DE102004018813A1 (de) * 2004-04-19 2006-02-23 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung und/oder Verfolgung von Objekten
WO2006093250A1 (ja) * 2005-03-04 2006-09-08 National University Corporation NARA Institute of Science and Technology 動き計測装置、動き計測システム、車載機器、動き計測方法、動き計測プログラム、およびコンピュータ読み取り可能な記録媒体
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
JP5380789B2 (ja) * 2007-06-06 2014-01-08 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
DE102010015532B4 (de) * 2009-04-16 2014-07-10 Ifm Electronic Gmbh Verfahren zur Abstandsbestimmung einer sich relativ zu einer Kameraanordnung bewegenden Objekts
CN103732480B (zh) 2011-06-17 2017-05-17 罗伯特·博世有限公司 用于在行车道上车辆的线路引导中辅助驾驶员的方法和设备
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
US8848978B2 (en) * 2011-09-16 2014-09-30 Harman International (China) Holdings Co., Ltd. Fast obstacle detection
WO2013081984A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
JP5944781B2 (ja) * 2012-07-31 2016-07-05 株式会社デンソーアイティーラボラトリ 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US9210404B2 (en) * 2012-12-14 2015-12-08 Microsoft Technology Licensing, Llc Calibration and registration of camera arrays using a single circular grid optical target
US10029622B2 (en) * 2015-07-23 2018-07-24 International Business Machines Corporation Self-calibration of a static camera from vehicle information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2562681A1 (de) * 2011-08-25 2013-02-27 Delphi Technologies, Inc. Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hit Me If You Can;U Chun Lao, Flavian Hautbois;<<Cornell University Course CS4758/6758:Robot Learning>>;20120516;1-4 *

Also Published As

Publication number Publication date
EP3038011A1 (de) 2016-06-29
US9862318B2 (en) 2018-01-09
CN105716567A (zh) 2016-06-29
US20160180531A1 (en) 2016-06-23
EP3038011B1 (de) 2019-06-05

Similar Documents

Publication Publication Date Title
CN105716567B (zh) 通过单眼图像获取设备侦测物体与机动车辆距离的方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN107230218B (zh) 用于生成对从安装在运载工具上的摄像机捕捉的图像导出的估计的置信度测量的方法和设备
AU2015306477B2 (en) Method and axle-counting device for contact-free axle counting of a vehicle and axle-counting system for road traffic
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
CN107038723B (zh) 棒状像素估计方法和***
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
WO2020048285A1 (en) Estimating two-dimensional object bounding box information based on bird&#39;s-eye view point cloud
EP3678096B1 (en) Method for calculating a tow hitch position
CN108604405A (zh) 利用环境和深度次序探测局部被遮挡的物体
WO2006016663A1 (ja) 物体検出装置
AU2017302833A1 (en) Database construction system for machine-learning
US10832428B2 (en) Method and apparatus for estimating a range of a moving object
JP2016184316A (ja) 車種判別装置および車種判別方法
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及***
JP2021033510A (ja) 運転支援装置
JP2018190082A (ja) 車種判別装置、車種判別方法、および車種判別システム
US20160307055A1 (en) Stereoscopic object detection device and stereoscopic object detection method
EP3486871B1 (en) A vision system and method for autonomous driving and/or driver assistance in a motor vehicle
CN111414857B (zh) 一种基于视觉的多特征融合的前方车辆检测方法
Michalke et al. Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US11521027B2 (en) Method and device for fusion of measurements from different information sources
US20220309776A1 (en) Method and system for determining ground level using an artificial neural network
US20240078749A1 (en) Method and apparatus for modeling object, storage medium, and vehicle control method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant