CN102007521A - 车辆周围监测装置 - Google Patents

车辆周围监测装置 Download PDF

Info

Publication number
CN102007521A
CN102007521A CN2009801130230A CN200980113023A CN102007521A CN 102007521 A CN102007521 A CN 102007521A CN 2009801130230 A CN2009801130230 A CN 2009801130230A CN 200980113023 A CN200980113023 A CN 200980113023A CN 102007521 A CN102007521 A CN 102007521A
Authority
CN
China
Prior art keywords
constantly
monitoring target
vehicle
target zone
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801130230A
Other languages
English (en)
Other versions
CN102007521B (zh
Inventor
长冈伸治
桥本英树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN102007521A publication Critical patent/CN102007521A/zh
Application granted granted Critical
Publication of CN102007521B publication Critical patent/CN102007521B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种车辆周围监测装置，即使被监测对象移动时，其也可以精准地测得该被监测对象的位置。采用具有该功能的车辆周围监测装置(10)时，可求出相隔指定时间间隔ΔT的2个时刻时的监测对象区域的大小变化率Rate(t)。指定时间间隔ΔT的设定要求是，被监测对象在图像中的形状或者姿势类似或一致，在图像中可判别出不同时刻的被监测对象是同一个被监测对象。另外，以监测对象区域在指定时间间隔ΔT内的大小变化率Rate(t)为基础，即使被监测对象移动时，也可以精准地测得从车辆(1)到该被监测对象之间的距离或位置。

Description

车辆周围监测装置
技术领域
本发明涉及一种利用车载摄像装置拍到的图像来监测车辆周围情况的车辆周围监测装置。
背景技术
在现有技术中，有人提出如下一种技术方案，即，根据车载摄像头在不同时刻所拍到的图像测定行人等被监测对象的实际空间位置，再根据所测得的测定结果判定车辆触碰被监测对象的可能性的大小(参照日本发明专利公开公报特开2007-213561号)。由于车辆行驶时被监测对象与该车辆的相对位置会发生改变，所以能够利用拍到的图像中被监测对象的大小变化来测定该被监测对象的实际空间位置。
但如果被监测对象在移动，这时所拍到的图像中的被监测对象的形状或姿势会发生改变，所以有可能将其误判成其他被监测对象，从而会将其从距离检测对象中排除出去。
发明内容
本发明的目的在于提供一种能够解决上述技术问题的车辆周围监测装置，即使被监测对象移动时，也可以精准地测得该被监测对象的位置。
为了实现上述目的，本发明技术方案1所述的车辆周围监测装置，利用一个安装在车辆上的摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况。该车辆周围监测装置包括：第1处理机构，由其在上述图像中将上述检测到的被监测对象所在的区域设定为监测对象区域；第2处理机构，以与上述被监测对象的标准运动周期或者半运动周期相当的指定时间间隔，求出相隔该指定时间间隔的2个时刻间、上述监测对象区域的大小变化率，再根据上述指定时间间隔和上述监测对象区域的大小变化率，测定从上述车辆到上述被监测对象之间的距离。
采用本发明技术方案1所述的车辆周围监测装置时，由于可以以与被监测对象的标准运动周期或半运动周期相当的指定时间间隔，求出相隔该指定时间间隔的2个时刻间、监测对象区域的大小变化率，因此，能精准地求出移动着的被监测对象的大小变化率，图像中的同一被监测对象的形状或者姿势，以指定时间间隔或者接近它的范围内的时间为运动周期或半运动周期而变化。另外，以监测对象区域在指定时间间隔内的大小变化率为基础，即使被监测对象移动时，也可以精准地测得从车辆到该被监测对象之间的距离或位置。另外，所谓“利用车载摄像装置拍到的图像”，除了拍摄到的图像，还包括对拍摄到的图像进行图像处理的图像。
在技术方案1的基础上，本发明技术方案2所述的车辆周围监测装置中，由上述第1处理机构判别上述被监测对象的种类，再根据该被监测对象的种类，从存储装置中读取该被监测对象的标准运动周期或半运动周期，之后再设定上述指定时间间隔。
采用本发明技术方案2所述的车辆周围监测装置时，即使是多种被监测对象分别因其种类的不同而以不同的运动周期移动时，也可以精准地测得从车辆到检测到的各种被监测对象之间的距离或位置。
在技术方案1的基础上，本发明技术方案3所述的车辆周围监测装置中，由上述第1处理机构对第1时刻时上述监测对象区域被放大而获得的放大监测对象区域，和与上述第1时刻相隔上述指定时间间隔的第2时刻时的上述监测对象区域的相关度进行评定，由上述第2处理机构求出上述相关度变得最大时上述第1时刻时的上述监测对象区域放大率，并且将其作为上述监测对象区域的大小变化率。
采用本发明技术方案3所述的车辆周围监测装置时，可求出第1时刻时监测对象区域(下面有时称为第1监测对象区域)被放大而获得的放大监测对象区域，和与第1时刻相隔指定时间间隔后的第2时刻时监测对象区域(下面有时称为第2监测对象区域)相关度最大时的放大率，并且将其作为监测对象区域的大小变化率。与第2监测对象区域相关度最大的放大监测对象区域，就相当于从第1时刻经过指定时间间隔后第2时刻的第1监测对象区域的预测或推测结果。因此，如上所述，以上述变化率和指定时间间隔为基础，即使被监测对象移动时，也可以精准地测得从车辆到该被监测对象之间的距离或位置。
在技术方案1的基础上，本发明技术方案4所述的车辆周围监测装置中，由上述第1处理机构对上述监测对象区域各在多个基准时刻被放大而获得的各个放大监测对象区域，和比上述多个基准时刻靠后的第2时刻时的上述监测对象区域的相关度进行评定，并将上述多个基准时刻中，可获得上述最大相关度的放大监测对象区域的第1时刻和上述第2时刻之间的时间间隔设定为上述指定时间间隔。
采用本发明技术方案4所述的车辆周围监测装置时，可对基准时刻时监测对象区域(下面有时称为基准监测对象区域)被放大而获得的放大监测对象区域，和第2时刻时的基准监测对象区域(下面有时称为第2监测对象区域)的相关度进行评定，并且将多个基准时刻中，可获得与第2监测对象区域的相关度最大的放大监测对象区域的第1时刻，和第2时刻之间的时间间隔设定为指定时间间隔。这样设定指定时间间隔时，图像中的被监测对象的形状或姿势会变得类似或者一致，由此可以判别为不同时刻的被监测对象是同一个被监测对象。
在技术方案4的基础上，本发明技术方案5所述的车辆周围监测装置中，上述第1处理机构以上述第1时刻和不同于上述第1时刻的上述基准时刻时的上述监测对象区域的大小变化率在容许范围内的条件作为必要条件，将上述第1时刻和上述第2时刻之间的间隔时间设定为上述指定时间间隔。
采用本发明技术方案5所述的车辆周围监测装置时，以第1时刻和不同于第1时刻的基准时刻时的监测对象区域的大小变化率处于容许范围内的条件作为必要条件，将第1时刻和第2时刻之间的间隔时间设定为指定时间间隔。因此，与在监测对象区域的大小变化率不在容许范围内的状态，即，在不同时刻的监测对象区域中分别存在不同被监测对象的可能性较大的状态无关，不仅可根据上述监测对象区域的大小变化率设定指定时间间隔，还可以防止从车辆到检测到的被监测对象之间的距离测定精度的明显下降。
附图说明
图1是说明本发明中车辆的结构图。
图2是说明本发明中车辆周围监测装置的结构图。
图3是表示本发明中车辆周围监测装置的功能的流程图。
图4是表示有关监测对象区域设定方法的说明图。
图5是表示有关监测对象区域的大小变化率计算方法的说明图。
图6是表示有关指定时间间隔的说明图。
图7是表示有关指定时间间隔的说明图。
具体实施方式
下面，参照附图说明本发明车辆周围监测装置的实施方式。
图1所示的车辆(四轮汽车)1上搭载有车辆周围监测装置10和单个红外线摄像头(摄像装置)11。另外，也可用将灵敏度调至可见光等其他波长区域的摄像头当作摄像装置，以代替红外线摄像头11。如图1所示，在车辆1上设定实际空间的坐标系，其原点O位于车辆1的前侧，X轴、Y轴和Z轴分别朝向车辆1的左右方向、上下方向和前后方向延伸。为了拍摄车辆1的前方，将红外线摄像头11安装在车辆1的前侧。另外，如图2所示，在车辆1上搭载有：偏航角速度传感器13，车速传感器14和制动传感器15等多种传感器，这些传感器根据车辆1的偏航角速度、速度和制动状态分别输出相应的信号。还有，如图2所示，车辆1上还搭载有发声装置16和图像显示装置17。作为图像显示装置17而言，除可使用安装在车辆1前车窗上用来显示图像的HUD(平视显示器)之外，还可使用显示车辆1的行驶状况的显示仪表或用于导航装置中的显示器装置等。
车辆周围监测装置10用来根据红外线摄像头11拍到的图像监测车辆1的周围情况。其由电脑(由CPU、ROM、RAM以及I/O回路和A/D变换回路等电子电路构成)构成。由红外线摄像头11、偏航角速度传感器13、速度传感器14和制动传感器15等输出的模拟信号经A/D变换回路变为数字信号再输入车辆周围监测装置10。电脑根据该输入数据并依从存储在存储器中的车辆周围监测程序进行如下处理：识别有无行人或其他车辆等被监测对象的处理；判定车辆1触碰被识别到的被监测对象可能性的高低的判定处理；根据该判定结果由发声装置16发出相应的声音，或由图像显示装置17显示出相应的图像。另外，程序可在任何需要的时候从服务器经网络或卫星而下载或传送到车载电脑并存储在其RAM等存储装置中。车辆周围监测装置10可由检测位置用的ECU构成，也可由构成分散控制***的多个ECU构成。
如图2所示，车辆周围监测装置10包括第1处理机构110和第2处理机构120。其中，根据红外线摄像头11拍到的显示车辆1的周围情况的图像，由第1处理机构110在该图像中将检测到的被监测对象所在的区域设定为监测对象区域。由第2处理机构120求出相隔后述指定时间间隔的2个时刻间、监测对象区域的大小变化率，再根据指定时间间隔和监测对象区域的大小变化率，测定从车辆到该被监测对象之间的距离。
下面说明具有上述结构的车辆1和车辆周围监测装置10的功能。
首先，根据红外线摄像头11拍到的图像，由第1处理机构110在图像中设定监测对象区域。具体地讲，对红外线摄像头11的输出信号，即红外线图像进行A/D变换以形成灰色等级图像(图3中的步骤S002)。另外，灰色等级图像经二值图像处理后形成二值图像(图3中的步骤S004)。所谓“二值图像处理”，是指将构成灰色等级图像的各像素根据其辉度是否在阈值以上而分为“1”(白)和“0”(黑)的处理。灰色等级图像和二值图像分别存储在不同图像存储器中。还有，对于构成二值图像高辉度区域的“1”的集中在一起的像素组进行划分，将各像素组划分成在图像的纵向方向(y轴方向)上只有1个像素宽度而沿横向方向(x轴方向)延伸的线条组，线条组中的各线条被转换成由位置(图像中的二维位置)坐标和长度(像素数)构成的游程编码数据(图3中的步骤S006)。接下来对由该游程编码数据表示的线条进行判别，对沿图像纵向方向具有重叠部分的线条组分别标注标签(标识符)(图3中的步骤S008)，以该线条组作为被监测对象而进行检测(图3中的步骤S010)。由此，如图4中(a)所示，二值图像中用斜线表示的被监测对象(二值处理后的被监测对象)就被检测出来。被监测对象除了包括人(行人)等生物外，还包括车辆等人口物品。另外，同一物体中的多个局部部分有时会分别作为被监测对象被检测出来。
另外，由第1处理机构110对被监测对象进行跟踪处理。即，对每个运算处理周期监测到的被监测对象是否是同一被监测对象进行判定处理(图3中的步骤S012)。例如，可以采用日本发明专利公开公报特开2001-6096号所述的方法，根据时刻k-1和时刻k时的两个二值图像中监测到的被监测对象的形状或大小，或根据灰色等级图像中辉度分布的相关性等进行判定处理。接下来，当判定为这些被监测对象是同一被监测对象时，将时刻K时被监测对象标签变为与时刻K-1时被监测对象相同的标签。
还有，根据二值图像中被监测对象的重心位置以及外接四边形的设置形式，由第1处理机构110将灰色等级图像中表示被监测对象的区域设定为监测对象区域(图3中的步骤S014)。具体地讲，首先在显示当前时刻车辆1的周围情况的灰色等级图像中，设定以被监测对象为基准而设置的多个采样框。比如在图4中(a)用斜线表示的被监测对象的上下方向上并排设置多个矩形采样框ai+(i＝1，2…)和aj-(j＝1，2…)。该多个采样框的设置方式为：通过被监测对象的重心或中心，沿图像上下方向设定基准线(单点划线)，多个采样框的中心位置设置在基准线(单点划线)上。另外，在显示过去时刻k-1时车辆1的周围情况的灰色等级图像中，搜索与该多个采样框ai+和aj-的相关度大于阈值的采样框。因此，在图4中(b)所示的过去图像中，与当前图像中的多个采样框ai+和aj的相关度大于阈值的采样框ai+和aj-就被搜索出来。接下来，对含有被监测对象以及该多个采样框，与过去时刻k-1或当前时刻k时图像中的被监测对象(或基准线)的位置关系相同或大致相同，且互相相连的采样框的区域，设定为各个时刻图像中的监测对象区域。因此，如图4中(b)所示，含有被监测对象和在其下方连续设置的采样框a1-～a4-的用双线方框围住的矩形区域就被设定为第一监测对象区域。
另外，由第2处理机构120求出监测对象区域的大小(用监测对象区域的高度、宽度或面积表示)的变化率Rate(图3中的步骤S016)。具体地讲，首先放大第1时刻t1时监测对象区域(第1监测对象区域)A(t1)而获得放大监测对象区域EA(图3中的步骤S026)，因此，例如表示在图5上部的第1监测对象区域A(t1)按多个比例γ1、…、γi、…、γn(1＜γ1＜…＜γi＜…＜γn)进行放大，从而可以获得表示在图5中部的放大监测对象区域EA(γ1)、…、EA(γi)、…、EA(γn)。另外，对多个被放大了的监测对象区域EA和比第1时刻t1靠后的第2时刻t2时的监测对象区域(第2监测对象区域)A(t2)的相关度进行评定，并求出与第2监测对象区域A(t2)相关度最大的被放大的监测对象区域EA中的第1监测对象区域A1的放大率，并且将其作为监测对象区域A的大小变化率Rate(t)(t＝t2)。因此，从表示在图5中部的各个放大监测对象区域EA(γ1)、…、EA(γi)、…、EA(γn)中，求出了与表示在图5下部的第2监测对象区域A(t2)相关度最大的放大监测对象区域EA(γi)的放大率γi，并且将其作为监测对象区域A的大小变化率Rate(t)(＞1)。另外，也可按多个比例缩小第2监测对象区域A(t2)而获得多个缩小监测对象区域，求出从该多个缩小监测对象区域与第1监测对象区域A(t1)相关度最大的缩小监测对象区域的第2监测对象区域的缩小率，并将其倒数作为监测对象区域A的大小变化率Rate(t)(＞1)。
第1时刻t1是第2时刻t2前的时刻，它们之间相隔指定时间间隔ΔT。指定时间间隔ΔT的设定要求是，被监测对象在图像中的的形状或者姿势类似或一致，从图像中可判别出不同时刻的被监测对象是同一个被监测对象。具体地讲，当被监测对象是行人时，指定时间间隔ΔT设定为与人的标准步频或者半个步频一致。如图6所示，图像中被检测到的被监测对象是人(正向)，其形状和姿势在不同时刻t＝t0、t0+α、t0+2α、t0+3α、t0+4α(α＞0)发生改变时，该形状和姿势变为大致相同时的时刻t＝t0和t0+4α之间的时间间隔“4α”被设定为指定时间间隔并被存储到存储装置中。另外，如图7所示，图像中被检测到的被监测对象是人(侧向)，而且其形状和姿势在不同时刻t＝t0、t0+β、t0+2β(β＞0)发生改变时，该形状和姿势变为大致相同时的时刻t＝t0和t0+2β之间的时间间隔“2β”被设定为指定时间间隔而存储到存储装置中。
还有，可以分别根据偏航角速度传感器13和车速传感器14的输出信号测得车辆1的速度和偏航角速度，再对偏航角速度测定值进行积分计算而求出车辆1的偏航角(方位角)(图3中的步骤S018)。另外，包括变化率Rate(t)在内，根据车辆1的速度v(t)和指定时间间隔ΔT，与车辆1的速度v(t)相比，将被监测对象的速度视作较小，甚至可忽略不计。在该情况下按公式(1)测定车辆1到检测到的被监测对象之间的距离Z(t)(图3中的步骤S020)：
【公式1】
Z(t)＝Rate(t)v(t)Δt/(1-Rate(t))…(1)
另外，根据从车辆1到检测到的被监测对象之间的距离Z(t)，可以由车辆周围监测装置10求出该被监测对象在实际空间中的位置P(t)＝(X(t)、Y(t)、Z(t))(图3中的步骤S022)。具体地讲，根据从车辆1到检测到的各被监测对象之间的修正后的距离Z(t)、红外线摄像头11的焦距f、对应于拍到的图像中被监测对象区域的图像坐标x(t)和y(t)，按公式(2)求出实际空间坐标系中的X坐标X(t)和Y坐标Y(t)。拍到的图像的中心、向右方向和向下方向分别被定义为图像坐标系中的原点O、+x方向和+y方向。另外，可根据由偏航角速度传感器15输出的信号而测得的偏航角对各被监测对象的实际空间位置(X(t)、Y(t)、Z(t))的偏航角进行修正。
【公式2】
X(t)＝x(t)·Z(t)/f
Y(t)＝y(t)·Z(t)/f…(2)
另外，可根据不同时刻各被监测对象所在的实际空间位置P(t)，采用例如日本发明专利公开公报特开2001-6096号中所述的判定触碰可能性的方法，判定车辆1触碰各被监测对象的可能性的高低或者有无触碰的可能性(图3中的步骤S024)。接下来，当判定为车辆1触碰被监测对象的可能性较高时(图3中的步骤S024…YES)进行“第1控制处理”(图3中的步骤S026)。具体地讲，与上述触碰可能性判定结果对应的声音和图像(用来突出显示该被监测对象的框架等)，会分别通过发声装置16和图像显示装置17产生。另外，也可只输出该声音和图像中的某一个。还有，可以用执行器对车辆1的转向装置、制动装置和加速装置的一部分或全部进行操作，在有对车辆1进行行驶操作时，实现对车辆行驶状态的控制，用此方法来代替声音和图像的产生或与之并用。具体地讲，为规避触碰被判定为与车辆1触碰可能性较高的被监测对象，或为使驾驶员很容易地规避触碰该被监测对象，可以由车辆控制单元(省略其图示)控制车辆1的转向装置、制动装置和加速装置的一部分或全部的动作。例如可以采用如下控制方法，与无需规避不可能触碰到的被监测对象的通常情况相比，加大操作加速装置时由驾驶员踩踏加速踏板时所需的踩踏力，从而使得车辆1难以加速。或在操作转向装置而进行转向时，为规避车辆1触碰被监测对象，将顺着转向方向转动转向装置中的方向盘所需的操作力设置得比转向相反方向时所需的操作力小，从而使驾驶员易于朝向转向方向操作方向盘。还有，与通常情况相比，可加大随着制动装置的制动踏板的踩踏量变化时的车辆1的制动力的增加速度。通过上述控制操作，会使驾驶员易于对可规避触碰被监测对象的车辆1进行驾驶操作。另外，还可以以下述条件为必要条件来进行第1控制处理，一种是根据制动传感器15的输出情况确认到驾驶员未进行车辆1的制动操作，另一种是根据速度传感器14或加速度传感器(省略其图示)的输出情况确认到车辆1的负加速度小于其阈值。
还有，当判定为车辆1触碰被监测对象的可能性较低时(图3中的步骤S024…NO)进行“第2控制处理”(图3中的步骤S028)。具体地讲，与上述触碰可能性判定结果对应的声音和图像，会分别以不同于第1控制处理的方式通过发声装置16和图像显示装置17产生。另外，可用比第1控制处理小的力对车辆进行操作控制。当然，也可去掉第2控制处理。
采用具有上述功能的车辆周围监测装置10时，可求出相隔指定时间间隔ΔT的2个时刻间、监测对象区域的大小变化率Rate(t)(参照图3中的步骤S016)。具体地讲，可求出第1时刻t1时监测对象区域(第1监测对象区域)A(t1)被放大而获得的放大监测对象区域EA(γi)，和与第1时刻t1相隔指定时间间隔ΔT后的第2时刻t2时的监测对象区域(第2监测对象区域)A(t2)相关度最大时的放大率，并且将其作为监测对象区域A的大小变化率Rate(t)(参照图5)。与第2监测对象区域A(t2)相关度最大的放大监测对象区域EA(γi)，就相当于从第1时刻t1经过指定时间间隔ΔT后第2时刻t2时的第1监测对象区域A(t1)的预测或推测结果。如上所述，指定时间间隔ΔT的设定要求是，被监测对象在图像中的形状或者姿势类似或一致，从图像中可判别出不同时刻的被监测对象是同一个被监测对象。具体地讲，当被监测对象是人时，将指定时间间隔ΔT设定得与人的标准步频(约1秒)或半个步频一致(参照图6、图7)。因此，可以精准地求出移动着的被监测对象的大小变化率Rate(t)，图像中同一被监测对象的形状或者姿势，以指定时间间隔ΔT或者接近它的范围内的时间为周期而变化。另外，以监测对象区域在指定时间间隔ΔT内的大小变化率Rate(t)为基础，即使被监测对象移动时，也可精准地测得从车辆1到该被监测对象之间的距离Z(t)或位置P(t)(参照图3中的步骤S020、S022和图5)。
另外，也可以由第1处理机构110判别被监测对象的种类，再根据该被监测对象的种类，从存储装置中读取该被监测对象的标准运动周期或半运动周期，之后再设定指定时间间隔。例如，可采用对二值图像中被监测对象的形状和存储在存储装置中的多个形状图案进行匹配等方法来判别被监测对象的种类。当采用具有上述结构的车辆周围监测装置时，即使是多种被监测对象(人或鹿等动物)分别因其种类的不同而以不同的运动周期移动时，也可以精准地测得从车辆1到各种被监测对象之间的距离或位置。
另外，也可以由第1处理机构110对监测对象区域各在多个基准时刻被放大而获得的各个放大监测对象区域，和比多个基准时刻后的第2时刻时的监测对象区域的相关度进行评定，并将多个基准时刻中可以获得最大相关度的放大监测对象区域的第1时刻t1和上述第2时刻t2之间的间隔时间设定为指定时间间隔ΔT。当采用具有上述结构的车辆周围监测装置时，图像中的被监测对象的形状或者姿势类似或一致，由此可判别为不同时刻的被监测对象是同一个被监测对象(参照图6、图7)。
还有，也可使第1处理机构110以第1时刻t1和不同于第1时刻t1的基准时刻时的监测对象区域的大小变化率处于其容许范围内的条件作为必要条件，将第1时刻t1和第2时刻t2之间的间隔时间设定为指定时间间隔ΔT。当采用具有上述结构的车辆周围监测装置时，与在监测对象区域的大小变化率不在容许范围内的状态，即，在不同时刻的监测对象区域中分别存在不同被监测对象的可能性较大的状态无关，不仅可根据上述监测对象区域的大小变化率设定指定时间间隔，还可防止从车辆1到被监测对象之间的距离测定精度的明显下降。

Claims (5)

1.一种车辆周围监测装置，利用一个安装在车辆上的摄像装置拍到的显示该车辆周围情况的图像来监测该车辆的周围情况，其特征在于，所述车辆周围监测装置包括：
第1处理机构，其用来在所述图像中将被监测对象所在的区域设定为监测对象区域；
第2处理机构，其用来以与所述被监测对象的标准运动周期或半运动周期相当的指定时间间隔，求出相隔该指定时间间隔的2个时刻间、所述监测对象区域的大小变化率，再根据所述指定时间间隔和所述监测对象区域的大小变化率，测定从所述车辆到所述被监测对象之间的距离。
2.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第1处理机构对所述被监测对象的种类进行判别，再根据所述被监测对象的种类，从存储装置中读取该被监测对象的标准运动周期或半运动周期，之后再设定所述指定时间间隔。
3.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第1处理机构对第1时刻时所述监测对象区域被放大而获得的放大监测对象区域，和与所述第1时刻相隔所述指定时间间隔后的第2时刻时的所述监测对象区域的相关度进行评定，
所述第2处理机构求出所述相关度变得最大时所述第1时刻时的所述监测对象区域放大率，并将其作为所述监测对象区域的大小变化率。
4.根据权利要求1所述的车辆周围监测装置，其特征在于，
所述第1处理机构对所述监测对象区域分别在多个基准时刻被放大而获得的各个放大监测对象区域，和比所述多个基准时刻后的第2时刻时的所述监测对象区域的相关度进行评定，并将所述多个基准时刻中可获得所述最大相关度的放大监测对象区域的第1时刻和所述第2时刻之间的间隔时间设定为所述指定时间间隔。
5.根据权利要求4所述的车辆周围监测装置，其特征在于，
所述第1处理机构以所述第1时刻和，不同于所述第1时刻的所述基准时刻的所述监测对象区域的大小变化率处于容许范围内的条件作为必要条件，将所述第1时刻和所述第2时刻之间的间隔时间设定为所述指定时间间隔。
CN2009801130230A 2008-04-24 2009-01-08 车辆周围监测装置 Expired - Fee Related CN102007521B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-113859 2008-04-24
JP2008113859A JP4271720B1 (ja) 2008-04-24 2008-04-24 車両周辺監視装置
PCT/JP2009/000043 WO2009130827A1 (ja) 2008-04-24 2009-01-08 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN102007521A true CN102007521A (zh) 2011-04-06
CN102007521B CN102007521B (zh) 2013-10-16

Family

ID=40821509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801130230A Expired - Fee Related CN102007521B (zh) 2008-04-24 2009-01-08 车辆周围监测装置

Country Status (5)

Country Link
US (1) US8184862B2 (zh)
EP (1) EP2273470A4 (zh)
JP (1) JP4271720B1 (zh)
CN (1) CN102007521B (zh)
WO (1) WO2009130827A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN104584097A (zh) * 2012-08-09 2015-04-29 丰田自动车株式会社 物体检测装置和驾驶辅助装置
CN104584099A (zh) * 2012-06-11 2015-04-29 斯堪尼亚商用车有限公司 警告***

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011024353A (ja) * 2009-07-16 2011-02-03 Aisin Aw Co Ltd 案内装置、案内方法、及び案内プログラム
US9158738B2 (en) 2010-07-09 2015-10-13 Honda Motor Co., Ltd. Apparatus for monitoring vicinity of a vehicle
CN102985958B (zh) 2010-08-31 2015-04-01 本田技研工业株式会社 车辆周围监测装置
WO2012061549A2 (en) * 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP6564576B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
JP6564577B2 (ja) * 2015-02-16 2019-08-21 修一 田山 自動車における近接体警報知装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US11238292B2 (en) * 2019-11-26 2022-02-01 Toyota Research Institute, Inc. Systems and methods for determining the direction of an object in an image
CN112639910B (zh) * 2020-09-25 2022-05-17 华为技术有限公司 交通元素的观测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028050A (ja) * 1999-05-10 2001-01-30 Honda Motor Co Ltd 歩行者検知装置
CN1383000A (zh) * 2001-04-24 2002-12-04 徐建俊 可与摄象结合监测目标距离的装置及方法
JP2005316607A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 画像処理装置及び画像処理方法
CN1776752A (zh) * 2005-12-06 2006-05-24 北京工业大学 基于视频技术的路侧停车场管理***
CN1928892A (zh) * 2006-09-20 2007-03-14 王枚 一种车牌定位识别、车标定位识别及车型识别的方法及装置
JP2007213561A (ja) * 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0769332B2 (ja) * 1989-04-20 1995-07-26 富士通株式会社 走者のピッチの計測方式
US7483549B2 (en) * 2004-11-30 2009-01-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028050A (ja) * 1999-05-10 2001-01-30 Honda Motor Co Ltd 歩行者検知装置
CN1383000A (zh) * 2001-04-24 2002-12-04 徐建俊 可与摄象结合监测目标距离的装置及方法
JP2005316607A (ja) * 2004-04-27 2005-11-10 Toyota Motor Corp 画像処理装置及び画像処理方法
CN1776752A (zh) * 2005-12-06 2006-05-24 北京工业大学 基于视频技术的路侧停车场管理***
JP2007213561A (ja) * 2006-01-16 2007-08-23 Honda Motor Co Ltd 車両周辺監視装置
CN1928892A (zh) * 2006-09-20 2007-03-14 王枚 一种车牌定位识别、车标定位识别及车型识别的方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN102855774B (zh) * 2011-06-27 2014-12-10 歌乐株式会社 车辆周围监视装置
CN104584099A (zh) * 2012-06-11 2015-04-29 斯堪尼亚商用车有限公司 警告***
CN104584097A (zh) * 2012-08-09 2015-04-29 丰田自动车株式会社 物体检测装置和驾驶辅助装置
CN104584097B (zh) * 2012-08-09 2017-04-05 丰田自动车株式会社 物体检测装置和驾驶辅助装置

Also Published As

Publication number Publication date
JP2009265883A (ja) 2009-11-12
US8184862B2 (en) 2012-05-22
WO2009130827A1 (ja) 2009-10-29
EP2273470A4 (en) 2011-09-28
CN102007521B (zh) 2013-10-16
EP2273470A1 (en) 2011-01-12
JP4271720B1 (ja) 2009-06-03
US20110064275A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
CN102007521B (zh) 车辆周围监测装置
CN101933326B (zh) 车辆周围监测装置、车辆
US8401715B2 (en) Vehicle periphery monitoring device
CN102016954A (zh) 车辆周围监测装置
US11287523B2 (en) Method and apparatus for enhanced camera and radar sensor fusion
US8139821B2 (en) Vehicle periphery monitoring device
CN102855774B (zh) 车辆周围监视装置
US10818109B2 (en) Systems and methods for capturing and offloading different information based on event trigger type
WO2017090410A1 (ja) ステレオカメラ装置
CN101223416A (zh) 物体检测装置
JP2015505759A (ja) 車両の迫っている横転を検知するための方法
CN104012081A (zh) 三维物体检测装置
CN102985958A (zh) 车辆周围监测装置
US8174578B2 (en) Vehicle periphery monitoring device
CN110824188A (zh) 高速公路车辆的测速方法、装置、编解码器及存储装置
Cario et al. Predictive time-to-lane-crossing estimation for lane departure warning systems
CN113267788B (zh) 一种用于激光slam的数据采集及处理方法和装置
JP7500811B2 (ja) 深度情報推定モデル学習のためのデータ処理方法及び装置
Lee et al. Vehicle Distance Estimation from a Monocular Camera for Advanced Driver Assistance Systems. Symmetry 2022, 14, 2657
JP3923181B2 (ja) 車両用距離測定装置
JP2827711B2 (ja) 車両用距離検出装置
JP3406195B2 (ja) 車両用距離測定装置
Lu et al. Driving behavior recognition based on sensors in mobile phone
Lin et al. Object Tracking and Collision Avoidance Using Particle Filter and Vector Field Histogram Methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20131016

Termination date: 20160108