CN104823214B - 车载图像处理装置 - Google Patents

车载图像处理装置 Download PDF

Info

Publication number
CN104823214B
CN104823214B CN201380061995.6A CN201380061995A CN104823214B CN 104823214 B CN104823214 B CN 104823214B CN 201380061995 A CN201380061995 A CN 201380061995A CN 104823214 B CN104823214 B CN 104823214B
Authority
CN
China
Prior art keywords
mentioned
end points
vehicle
image
endpoint location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380061995.6A
Other languages
English (en)
Other versions
CN104823214A (zh
Inventor
宇田川玲
清原将裕
绪方健人
铃木智史
村松彰二
早川泰久
深田修
森本明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of CN104823214A publication Critical patent/CN104823214A/zh
Application granted granted Critical
Publication of CN104823214B publication Critical patent/CN104823214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

即使在摄像机的镜头附着有污垢的情况下，也能可靠地检测停车框。设置于车辆(1)的拍摄部(10)拍摄车辆(1)的周围的图像(I)，白线候选区域检测部(30)从图像(I)中检测构成停车框的白线候选区域，端点位置检测部(40)检测白线候选区域的中心线(M)的两端点，端点移动位置预测部(60)基于由车辆动作测量部(50)所测量的车辆(1)的动作来预测中心线(M)的端点移动的位置，当由端点移动量判断部(70)求出的、所预测的端点和检测到的端点的位置之差大于规定值时，将检测到的端点的位置存储于端点位置存储部(80)，当检测到的端点位于距离存储于端点位置存储部(80)的端点的位置的规定距离以内时，停车框检测部(100)使包含上述端点的白线候选区域的贡献度降低而检测停车框。

Description

车载图像处理装置
技术领域
本发明涉及利用车载摄像机来检测施画在路面上的停车框的位置的车载图像处理装置。
背景技术
近些年，正在研究开发如下的装置，即在车辆上搭载摄像机，利用上述摄像机观测车辆的周围，从所观测到的图像中检测由施画在路面上的白线或黄线所区分出的停车框的位置，并基于如此检测到的停车框的位置来计算车辆的位置和行车线的位置之间的关系而支援停车动作。
就这种***而言，由于会在户外暴露于风雨中的状态下使用，因而在摄像机的镜头上附着污垢的可能性高。另外，若附着污垢，则会难以看见重要的对象物，因而需要检测镜头附着有污垢的情况并进行告知(例如专利文献1)。
(现有技术文献)
(专利文献)
专利文献1：日本特开2012-166705号公报
发明内容
(发明所要解决的问题)
在专利文献1所记载的车载摄像机用异物附着判定装置中，检测长条形状的规定的对象部，并基于其检测状态来判定镜头是否附着有异物。
然而，根据专利文献1所公开的发明，由于基于长条形状的规定的对象物的恒定性的有无来判断镜头是否附着有异物，因而若在所拍摄的图像中不包含长的白线、很多停车框、或者人行横道的路面图案等尽可能多的特征点，则存在无法可靠地识别镜头附着有污垢的问题。
本发明鉴于上述问题而提出，其目的在于提供一种即使在摄像机的镜头上附着有污垢的情况下，并不受该污垢的影响，也能够稳定且可靠地检测画在路面上的停车框的位置的车载图像处理装置。
(用于解决问题的措施)
本发明的车载图像处理装置具有：拍摄部，其设置于车辆，观测上述车辆的周围，并拍摄至少包含路面的图像；白线候选区域检测部，其从由上述拍摄部所拍摄的图像中检测被认为构成停车框的白线候选区域；端点位置检测部，其从检测到的上述白线候选区域中检测将上述白线候选区域中在规定的方向上相邻的像素的亮度与规定值相比显著变亮的正边缘和位于距离上述正边缘规定距离以内的、在上述规定的方向上相邻的像素的亮度与规定值相比显著变暗的负边缘的中点彼此连结而成的中心线的两个端点的位置；车辆动作测量部，其测量上述车辆的动作；端点移动位置预测部，其基于由上述车辆动作测量部所测量的车辆的动作来预测被认为是由上述端点位置检测部所检测到的上述两个端点的位置在规定时间差期间移动的上述图像内的位置；端点移动量判断部，其求出由上述端点移动位置预测部所预测到的端点的位置与由上述端点位置检测部所检测到的端点的位置之差，并判断上述端点的位置之差是否大于规定值；端点位置存储部，其当在上述端点移动量判断部中判断为上述端点的位置之差大于规定值时，存储上述端点的移动前的位置；停车框检测部，其基于上述白线候选区域的位置来检测停车框；以及距离计算部，其计算由上述端点位置检测部所检测到的端点或者具有上述端点的线素和存储于上述端点位置存储部的端点的位置之间的距离，当由上述距离计算部所计算出的距离小于规定值时，上述停车框检测部在进行停车框的检测时，降低包含由上述端点位置检测部所检测到的端点的白线候选区域的贡献度。
根据如此构成的本发明的车载图像处理装置，设置于车辆的拍摄部拍摄车辆的周围的至少包含路面的图像，白线候选区域检测部从所拍摄的图像中检测具有构成停车框的可能性的白线候选区域，端点位置检测部从如此检测到的白线候选区域中将在规定的方向上相邻的像素的亮度与规定值相比显著变亮的正边缘与位于距离上述正边缘规定距离以内的的在上述规定的方向上相邻的像素的亮度与规定值相比显著变暗的负边缘的中点彼此连接而成的中心线的两个端点的位置当作白线候选区域的端点来检测。
另外，端点移动位置预测部基于由车辆动作测量部所测量的车辆的动作，在图像中预测被认为是由端点位置检测部所检测到的两个端点的位置在规定时间差的期间移动的图像内的位置，且端点移动量判断部求出由端点移动位置预测部所预测的端点的位置和在经过了规定时间差的时刻由端点位置检测部实际所检测到的端点的位置之差。
当该差大于规定的值时，将上述端点的移动之前的位置存储于端点位置存储部，停车框检测部将白线候选区域中的由距离计算部判断为上述白线候选区域的端点、或具有上述端点的线素位于距离存储于端点位置存储部的端点的位置在规定距离以内的白线候选区域的贡献度降低，并基于预想为在图像中可观测到的停车框的尺寸来检测停车框，因而即使在拍摄部附着有污垢而白线候选区域发生中断的情况下，也可以稳定且可靠地检测画在路面上的停车框的位置。
(发明效果)
根据本发明的车载图像处理装置，即使在摄像机的镜头上附着有污垢的情况下，并不受该污垢的影响，也能够稳定且可靠地检测画在路面上的停车框的位置。
附图说明
图1为对安装有本发明的一个实施方式的车载图像处理装置的实施例1的车辆进行说明的图。
图2为示出本发明的一个实施方式的实施例1的整体结构的框图。
图3为示出本发明的一个实施方式的实施例1的端点位置遗忘判断部的详细结构的框图。
图4A为示出本发明的一个实施方式的实施例1中所拍摄的图像的一个例子的图。
图4B为示出图4A的图像中的线AB上的亮度分布的图。
图5为对检测到的白线候选区域的结构进行说明的图。
图6A为对随着车辆移动而发生的白线候选区域的端点的位置的移动进行说明的图，是示出车辆正在在画成虚线状的白线的旁边行驶的状态的图。
图6B为说明从图6A的车辆观测到的白线在时间差Δt期间移动的图案的图。
图6C为说明在图6B中拍摄部附着有污垢时的、白线的移动图案的图。
图7A为说明进行固定点的遗忘判断的方法的图，是示出根据车速的中心线观测次数计数器的设定例的图。
图7B为示出固定点的遗忘判断计数器的设定例的图。
图7C为说明基于车速条件来进行固定点的遗忘的步骤的图。
图8A为进行固定点的遗忘判断而利用的中心线观测次数计数器的设定例，是示出基于图像中的端点的位置的中心线观测次数计数器的设定例的图。
图8B为示出基于中心线方向的中心线观测次数计数器的设定例的图。
图8C为示出基于固定点和端点之间的距离的中心线观测次数计数器的设定例的图。
图9为说明端点列表的内容的图。
图10为说明固定点列表的内容的图。
图11为说明本发明的一个实施方式的实施例1的处理流程的流程图。
图12为说明图11的流程图中执行的、进行固定点的遗忘判断的处理流程的流程图。
图13为示出本发明的一个实施方式的实施例2的整体结构的框图。
图14为说明本发明的一个实施方式的实施例2中作为处理对象的图像的范围的图。
图15为说明本发明的一个实施方式的实施例2的处理流程的流程图。
具体实施方式
以下，参照附图对本发明的车载图像处理装置的实施方式进行说明。此外，在以下说明中，将存储于图像中的灰度值称为亮度值。另外，将图像I的像素(x，y)的亮度值用I(x，y)来表示。
(实施例1)
本实施例是将本发明的车载图像处理装置应用于如下***的例子，即，当驾驶员在路面上画有停车框的停车场执行停车动作时，防止在应踩踏刹车踏板的时机(timing)误踩油门踏板而导致车辆在不期望的时机突然开动的、所谓的因踩错踏板而导致的急加速的***。
首先，利用图1至图3来说明本车载图像处理装置的动作。本车载图像处理装置安装于车辆1，如图1所示，具有：前方摄像机10A，用于拍摄车辆1的前方；左方摄像机10B，安装于车辆1的左门后视镜，并用于拍摄车辆1的左方；右方摄像机10C，安装于车辆1的右门后视镜，并用于拍摄车辆1的右方；以及后方摄像机10D，用于拍摄车辆1的后方。可以利用由这四个摄像机构成的拍摄部10来观测车辆1的周围的路面。此外，各摄像机由镜头等具有聚光功能的光学***和C-MOS(互补金属氧化物半导体)等光电转换元件构成。
图2为示出实施例1的整体结构的框图。车载图像处理装置5安装于车辆1(参照图1)，并具有：拍摄部10，用于拍摄包含车辆1周围的路面的区域；图像转换/合成部20，用于将由构成拍摄部10的前方摄像机10A、左方摄像机10B、右方摄像机10C、后方摄像机10D所拍摄的图像分别坐标转换为从上空俯视车辆1的俯视图像，并合成为一幅图像；白线候选区域检测部30，用于从由图像转换/合成部20所合成的图像中检测被认为是构成停车框的白线候选区域；端点位置检测部40，用于从检测到的白线候选区域中检测将正边缘和负边缘的中点彼此相连接的中心线的两端点即两个端点的位置，上述正边缘为在上述白线候选区域中沿着规定的方向(例如，从左到右的水平方向)参照图像的亮度值时所被检测的亮度变亮的边缘，负边缘为在上述白线候选区域中沿着规定的方向(例如，从左到右的水平方向)参照图像的亮度值时所被检测的亮度变暗的边缘；车辆动作测量部50，用于根据车辆1的车速和转向角来测量车辆1的移动量；端点移动位置预测部60，用于根据由车辆动作测量部50所测量的车辆1的动作来预测被认为是由端点位置检测部40所检测到的两个端点的位置移动的图像内的位置；端点移动量判断部70，用于求出由端点移动位置预测部60所预测到的两个端点的位置(以后，称为预测端点位置。)和由端点位置检测部40所检测到的两个端点的位置(以后，称为实际端点位置。)的差异，并判断其差异的大小；端点位置存储部80，用于存储被判断为差异大的端点的位置和此时的车辆动作等；距离计算部75，用于计算存储于端点位置存储部80的端点的位置和由端点位置检测部40所检测到的端点的位置之间的距离，并判断两个端点的接近程度；信息输出部85，用于向车辆1的驾驶员显示停车框已被检测的情况、正在进行抑制发动机输出功率的控制情况，并由显示装置、语音输出装置构成；端点位置遗忘判断部90，当所存储的端点的位置满足规定的条件时，清除该端点的位置；停车框检测部100，用于从图像中检测停车框；油门开度检测部110，用于检测车辆1的油门开度；以及车辆动作控制部120，在由停车框检测部100检测到停车框的情况下，当油门开度被检测为规定值以上时，抑制车辆1的发动机输出功率而防止车辆1的急加速。
进而，白线候选区域检测部30具有：边缘对检测部32，用于检测在规定的方向(例如，图像中，从左到右的水平方向)上相邻的正边缘和负边缘的对(pair)；以及中心线检测部34，用于从各白线候选区域中检测将边缘对彼此相连的线段的中点彼此相连接而构成的中心线。
进而，端点位置存储部80具有：端点列表82，用于存储由端点位置检测部40所检测到的端点的位置，并伴随着车载图像处理装置5的动作而被更新；以及固定点列表84，用于存储由端点位置检测部40所检测到的端点的位置中的、即使车辆1移动也其位置的移动量小的端点的位置(以下，称为固定点Q)，并伴随着车载图像处理装置5的动作而被更新。
进而，端点位置遗忘判断部90具有：基于车速条件的遗忘判断部92，其根据车辆1的车速进行固定点Q的遗忘判断；基于端点位置的遗忘判断部94，其根据构成白线候选区域的端点的在图像内的位置进行固定点Q的遗忘判断；基于中心线方向的遗忘判断部96，其根据构成白线候选区域的中心线的延伸方向进行固定点Q的遗忘判断；基于垂线长度的遗忘判断部98，其根据从固定点Q引至构成白线候选区域的中心线的垂线的长度进行固定点Q的遗忘判断。
以下，依次说明本实施例1的动作概要。在本实施例1中，首先，从由拍摄部10所拍摄的图像中检测被认为是表示停车框的白线候选区域。而且，求出所检测到的白线候选区域的端点的位置，并将其当作代表白线候选区域的点。车辆1在停车场中以与驾驶员的操作相对应的量随时移动，伴随上述移动，被检测到的端点的位置在图像中随时移动。而且，可根据车辆1的动作来预测其移动量。
此时，若在拍摄部10附着有由泥污垢或水滴等引起的污垢时，则由于在附着有污垢的区域中未能映出白线候选区域，因而白线候选区域在污垢的边界线上被切断。该被切断的位置作为上述的端点的位置而被检测。
由于该污垢的位置被认为不随着时间的推移而移动，因而在车辆1移动时，由污垢所切断的端点的位置的动作方式与在路面上所检测到的白线候选区域的端点不同。将该端点称为固定点Q。因此，进行与预测相反的动作的端点被推定为白线候选区域被污垢切断而产生的固定点Q。
在本实施例1中，检测上述固定点Q并且将所检测到的固定点Q当作端点的白线候选区域不利用于停车框的检测中，据此可以可靠地进行停车框的检测。
进而，本实施例1具有持续观测所出现的固定点Q的位置，当满足规定的条件时遗忘该固定点Q的功能。由此，可以防止随着时间的推移固定点Q增加而就连作为停车框的构成要素的原本需要的白线候选区域也被删除，从而无法检测停车框的情况。
接着，对上述的本实施例1的动作概要中的重要部分的内容进行说明。
<白线候选区域检测方法的说明>
首先，利用图4A及图4B来说明在白线候选区域检测部30中所进行的白线候选区域的检测方法。
图4A示出了由前方摄像机10A所拍摄的图像I1、由左方摄像机10B所拍摄的图像I2、由右方摄像机10C所拍摄的图像I3、以及由后方摄像机10D所拍摄的图像I4在图像转换/合成部20中坐标转换为从正上方俯视车辆1的俯视图像，进而合成为一幅图像I的情形。
如图4A所示，图像I是在模仿为车辆1的位置的区域V的周围合成坐标转换为俯视图像的图像I1、图像I2、图像I3及图像I4而构成。上述图像I是由于从正上方俯视车辆1即路面的图像，因而描绘在停在停车框中的车辆1的左右的、向车辆1的前后方向延伸的白线F1、F2、F3在图像I中相互平行地映现。另外，向车辆1的宽度方向上延伸的白线F4与白线F1、F2、F3正交地映现。
此外，将由拍摄部10所拍摄的图像坐标转换为俯视图像并合成为一幅图像的处理为近来作为车辆周围的监视***实用化的公知的技术，因而省略详细的处理方法的说明。
将图像I的左上设为原点(0，0)，将左右方向设为x，并将上下方向设为y。而且，在白线候选区域检测部30(参照图2)中，沿着图像I中的水平方向从左到右(第一方向)，一边参照存储于图像I的亮度值I(x，y)，一边计算相邻的两个像素的亮度值的差值。针对图像I的所有的像素，依次计算相对于所参照的像素(x，y)的亮度差I(x－1，y)－I(x，y)和亮度差I(x，y)－I(x+1，y)。
然后，将亮度值与规定值相比显著变亮的像素、即对于预先设定的亮度差阈值Ith，满足I(x，y)－I(x－1，y)＞Ith的像素检测为第一像素。将该像素称为正边缘。
进而，将亮度值比规定值显著变暗的像素、即满足I(x，y)－I(x+1，y)＞Ith的像素检测为第二像素。将上述像素称为负边缘。
如果是构成停车框的白线，则由于构成正边缘的像素(白线和路面的边界点)与构成负边缘的像素(白线和路面的边界点)的间隔与构成停车框的白线的宽度大致相等，因而当从图像I中被检测到的构成正边缘的像素和与该正边缘相邻而被检测到的构成负边缘的像素的间隔w沿着第一方向在规定距离以内时，判断为上述的构成正边缘的像素和构成负边缘的像素为构成停车框的白线的可能性高，从而对这些像素进行检测。
例如，将存储于图像I的亮度值从图4A的点A朝向点B参照时，如图4B所示，像素S1被检测为正边缘，像素S2被检测为负边缘。
将如此检测到的构成正边缘的像素S1和构成负边缘的像素S2的对称之为边缘对。
如此检测到的边缘对所夹的具有高亮度值的像素形成在图像的上下方向上连续的区域。即，边缘对在与第一方向正交的第二方向上连续地被检测。将如此形成的区域称为白线候选区域。而且，在检测到的白线候选区域中进行贴标签(labeling)处理，并对各个白线候选区域赋予连续编号(serial number)。
<白线候选区域的端点检测方法的说明>
接着，说明从检测到的白线候选区域中检测其端点的方法。在中心线检测部34(参照图2)中，检测作为构成正边缘的像素的集合的白线候选区域边界线L1以及作为构成负边缘的像素的集合的白线候选区域边界线L2的中心线。由此，如图5所示，检测作为构成正边缘的像素P11和与像素P11形成边缘对的、构成负边缘的像素P21的中点的像素m1。另外，以同样的方式，检测作为构成正边缘的像素P1n和构成负边缘的像素P2n的中点的像素mn。将连接如此检测到的像素m1和像素mn的线段作为白线候选区域的中心线M。而且，将中心线M的端点当作白线候选区域的端点。这种情况下，像素m1和像素mn分别成为中心线M的端点。
此外，实际上，从一个白线候选区域中不仅检测作为端点的像素m1、mn，还检测更多的形成边缘对的像素的中点，将这些中点连结而形成中心线M。
<端点的移动量预测方法和移动量判断方法的说明>
接着，对预测如此检测到的端点随着时间的推移而移动的方向和移动量的方法以及所预测的移动量和实际移动量的比较判断方法进行说明。
图6A为示出车辆1在画成虚线状的白线P的旁边行驶的状态的图。图6A示出了车辆1从时刻t＝t0在时间差Δt期间向前方移动了与移动量K相对应的量的情况。
此时，在时刻t＝t0，图6B的左侧所示的图像被拍摄。在时刻t＝t0+Δt，图6B的右侧所示的图像被拍摄。此时，图像中映现的作为白线P的端点的像素m1、mn中、下侧的端点的像素mn在图像中向下方移动与移动量Δk相对应的量的像素。
此外，上述移动量Δk是可以利用由车辆动作测量部50所测量的车速、转向角来预测。即，从时间差Δt期间的车辆1的速度可得知车辆1在时间差Δt期间行驶的距离。而且，能够预测如下情况：计算如此计算出的距离在由前方摄像机10A拍摄而从正上方俯视车辆1的图像中相当于多少像素量的情况，并进而考虑基于车辆1的转向角而所测量的车辆1的移动方向来预测端点的位置在图像I中沿着哪个方向移动多少像素的情况。
而且，此时，当在前方摄像机10A的镜头表面上附着有污垢时，如图6C所示，端点的位置将呈现出与图6B中所说明的移动图案不同的移动图案。
即，当前方摄像机10A的镜头上附着有污垢时，在时刻t＝t0，图6C的左侧所示的图像被拍摄。在所拍摄的图像中因附着于镜头的污垢而生成污垢区域E。而且，作为白线P的近前侧(在图像中下侧)的端点的像素mn在白线P与污垢区域E相交的位置被观测到。
在时刻t＝t0+Δt，图6C的右侧所示的图像被拍摄。此时，在图像中映现的作为白线P的端点的像素m1、mn中、上侧端点的像素m1在图像中向下方移动与移动量Δk相对应的量的像素，但下侧端点的像素mn在图像中没有向下方移动与移动量Δk相对应的量的像素，而是被观测到停留在白线P被污垢区域E切断的位置。即，作为端点的像素mn的位置与在时刻t＝t0的位置几乎相同。这样，在车辆1移动时，当端点的移动量小于所预测的移动量时，判断为该端点是上述的固定点Q。
这样，通过比较基于车辆1的动作来预测的端点的移动量和实际上端点移动的位置来可以判断端点是否被污垢区域E所切断，即，判断端点是否为固定点Q。
此外，由于车辆1的车速高时端点的移动量变大，因而当在车辆动作测量部50中检测到车辆1的车速大于规定值时，不等待时间差Δt的推移，就进行预测端点位置的计算和实际端点位置的计算来评价端点的移动量。由此，即使车速高时，也可以可靠地检测白线候选区域的端点的位置，因而可以更加可靠地进行是否产生了固定点Q的判定。
另外，即使车辆1的车速低，当通过进行转向来改变车辆1的方向时，端点的位置也会大幅地移动。因此，在经过时间差Δt之前，当实际端点位置在图像I中移动了规定像素以上时，也可以在该时刻进行预测端点位置的计算和实际端点位置的计算。由此，即使车辆1在短时间内大幅地改变了方向时，也可以可靠地检测白线候选区域的端点的位置，因而可以更加可靠地进行是否产生了固定点Q的判定。
<固定点的遗忘判断方法的说明>
存储如此检测到的固定点Q的位置，当所检测到的中心线M位于离该固定点Q近的位置时，推定为其中心线M被污垢区域E所切断。因此，当将包含上述中心线M的白线候选区域利用于停车框的检测时，由于其白线候选区域并没有完整地被检测到，因而对检测停车框时的贡献度降低处理。其详细内容将进行后述。
然而，若连续进行上述的图像处理，当在拍摄部10的镜头上附着有污垢时，存在检测到的固定点Q随着时间的推移而增加的可能性。而且，若固定点Q增加，则存在就连原本所需的白线候选区域也被删除的担忧，因而有必要将过去所存储的固定点Q适当地遗忘。
另外，在污垢中，也存在附着于镜头的如水滴那样随着时间的推移而消失的污垢，因而有必要将过去所存储的固定点Q适当地遗忘。
接着，说明固定点Q的遗忘的判断方法。图7A～图7C为说明根据车辆1的速度来遗忘固定点Q的方法的图。图7A为为了进行固定点Q的遗忘判断而根据车辆1的车速来设定的中心线观测次数计数器Cv的设定例，图7B为固定点Q的遗忘判断计数器Cn的设定例。图7C示出了进行固定点Q的遗忘的步骤。以下，依次进行说明。
图7C的时刻t＝t0的栏表示在过去被检测而存储的固定点Q的附近检测到具有作为端点的像素m1和作为端点的像素mn的白线候选区域的中心线M的情况。在这里，在作为中心线M的端点的像素mn的周围设定有半径Δd的区域R。
图7C的时刻t＝t0+Δt的栏表示中心线M在时间差Δt秒钟之后向下方移动的情况。此时，固定点Q位于以作为中心线M的端点的像素mn为中心的区域R的内部，因而当作在固定点Q的附近观测到了白线候选区域的情况来开始进行是否要遗忘固定点Q的判断。此外，固定点Q位于以作为中心线M的端点的像素mn为中心的区域R的内部的情况是由距离计算部75进行判断。
是否要进行遗忘固定点Q的判断是利用两种计数器来进行。一种为对在固定点Q的附近观测到的中心线的次数进行计数的中心线观测次数计数器Cv。另一种为将中心线观测次数计数器Cv的计数值进行累计来判断固定点Q的遗忘的遗忘判断计数器Cn。
图7C示出了当在固定点Q的附近检测到中心线M的端点时，在车辆动作测量部50中检测到车辆1的车速为时速10km，并基于图7A所示的中心线观测次数计数器Cv的设定例来将中心线观测次数计数器Cv设定为3的情况的动作例。
每当在固定点Q的附近检测到中心线M的端点的状态(将其称为遗忘条件)继续时，中心线观测次数计数器Cv递减(decrement)(参照图7C的时刻t＝t0+2Δt的栏、t＝t0+3Δt的栏、t＝t0+4Δt的栏)。
而且，若中心线观测次数计数器Cv变为0，则遗忘判断计数器Cn递增(increment)(参照图7C的时刻t＝t0+4Δt的栏)。
之后，当重复同样的动作而中心线观测次数计数器Cv转了n个循环时，即，当遗忘判断计数器Cn的值为3n时，遗忘固定点Q。即，遗忘判断计数器Cn为对遗忘条件所发生的累积时间进行计数的计数器。
此外，由于存在因突发性的干扰(noise)的混入而在固定点Q的附近未检测到中心线M的端点的情况，因而在遗忘判断的过程中，若在固定点Q的附近未检测到中心线M的端点时就暂停中心线观测次数计数器Cv的递减，而当在固定点Q的附近再次检测到中心线M的端点时恢复递减。
图7A示出了上述的中心线观测次数计数器Cv的设定例。在该设定例中，随着车辆1的车速v变高，中心线观测次数计数器Cv的设定值变小。这是因为当端点已通过了固定点Q的附近时污垢已经消失的可能性高，因而当车速高时，在确认了端点已通过了固定点Q的附近的情况时使固定点Q易于遗忘。
尤其是，在虚线状的白线候选区域通过固定点Q的附近的情况下，根据车速的中心线观测次数计数器Cv的设定变为有效。若车速高时中心线观测次数计数器Cv的递减成为最坏、即仅为一次，因而在不根据车速来设定中心线观测次数计数器Cv的情况下，存在即使长时间在具有虚线的路面上行驶也不会遗忘固定点Q的担忧。
另外，在虚线状的白线候选区域中设定中心线观测次数计数器Cv时，对规定的长度的虚线，根据其虚线的间隔来设定是否继续采用中心线观测次数计数器Cv的计数值也可。例如，相对于虚线的长度以较宽的间隔观测到下一虚线的情况下，将之前的计数值清零(clear)，并根据当前的车速来重新设定计数值。
进而，当车速超过规定值v1时，将中心线观测次数计数器Cv的设定值设定为规定的高的固定值。这是因为当车速高到某种程度时，如果是像水滴一样具有流动性的污垢的话，就会被风压吹走而消失，而在具有粘着性高的污垢的情况下，即使车速高也不会消失，因而当产生这种污垢时使固定点Q不易遗忘。
图7B示出了固定点Q的遗忘判断计数器Cn的设定例。在该设定例中设定为：当满足遗忘条件的状态发生并超过nCv次，并且所发生的遗忘条件的累积时间为t1时，将固定点Q遗忘。
<其他的遗忘判断方法的说明>
固定点Q的遗忘条件除了上述的车辆1的速度条件之外，还可以设定其他的遗忘条件。以下，说明遗忘条件的其他例。
图8A～图8C为进行其他遗忘判断方法时所设定的中心线观测次数计数器的例子。关于图8A，在图像I中，越是产生在图像的中央部的固定点Q就越早遗忘，而产生在图像的角落的固定点Q不易遗忘。
进行这种遗忘判断的原因在于，由于在图像的中央部频繁出现中心线M，因而即使固定点Q易于遗忘，只要附着有污垢，就会立即出现其他的固定点Q而可以检测到新的固定点Q。
当进行该遗忘判断时，如图8A所示，固定点Q越是位于图像I的中央部时将中心线观测次数计数器Cp设定为越小的值，当在图像I中在固定点Q的附近检测到中心线的端点时，判断为遗忘条件成立，并进行中心线观测次数计数器Cp的递减。之后的处理如前文所述。
关于图8B，在图像I中，越是水平或垂直的中心线M在固定点Q的附近被检测时就越早遗忘固定点Q，在图像I中向45°方向或-45°方向延伸的中心线在固定点Q的附近被检测时使固定点Q不易遗忘。
进行这种遗忘判断的原因在于，当车辆1转向移动时，由于中心线M以横穿图像的内部的方式进行移动，从而使斜向(45°方向)的中心线M通过固定点Q之上的概率变高，因而在此状况下易于遗忘固定点Q。
当进行该遗忘判断时，如图8B所示，中心线M的方向在图像I中越接近45°或-45°时，将中心线观测次数计数器Cs设定为越大的值，当在图像I中在固定点Q的附近检测到中心线M时，判断为遗忘条件成立，并进行中心线观测次数计数器Cs的递减。之后的处理如前文所述。此外，关于在固定点Q的附近检测到中心线M是通过确认从固定点Q引至中心线M的垂线的长度S小于规定值来进行判断。
关于图8C，在图像I中，中心线M越是在固定点Q的附近被检测时就越早遗忘固定点Q，而中心线M在距离固定点Q的远处被检测时使固定点Q不易遗忘。
当在固定点Q的附近检测到中心线M时，由于污垢已经消失的可能性高，因而通过进行这种遗忘判断可以使固定点Q易于遗忘。
当进行上述遗忘判断时，如图8C所示，从固定点Q引至中心线M的垂线的长度越短，将中心线观测次数计数器Cd设定为越小的值，当在图像I中在固定点Q的附近检测到中心线M时，判断为遗忘条件成立，并进行中心线观测次数计数器Cd的递减。之后的处理如前文所述。此外，关于在固定点Q的附近检测到中心线M是通过确认从固定点Q引至中心线M的垂线的长度S小于规定值来进行判断。
这样，当中心线M的端点位于固定点Q的附近时，或者当中心线M位于固定点Q的附近时进行遗忘判断，但当固定点Q在图像I中位于隐蔽距离车辆1的远方的位置时和位于隐蔽车辆1的近前的位置时，也可变更遗忘判断的方法。
即，当固定点Q在图像I中位于隐蔽距离车辆1的远方的位置时，由于端点的动作小，因而中心线M的端点保持被污垢隐蔽的状态的可能性高，这种情况下，优选判断中心线M位于固定点Q的附近来进行遗忘判断。
另外，当固定点Q在图像I中位于隐蔽车辆1的近前的位置时，由于端点的动作大，并且其位置也可以精度良好地检测出，因而优选判断中心线M的端点位于固定点Q的附近来进行遗忘判断。
进而，也可以根据固定点Q位于图像I中的哪个位置来变更进行遗忘判断时的设定值。例如，当在靠近车辆1的位置检测到端点时，可将上述半径Δd或上述累积时间t1中的任意一个设定为更大的值而可以使固定点Q易于遗忘。另外，为了实施如上所述的设定值的变更，只要将进行遗忘判断时所利用的设定值表格化，根据作为处理对象的图像的条件并参照上述表格而设定设定值即可。
<遗忘判断方法的具体执行方法的说明>
优选地，一并执行上述的多种遗忘判断方法。这种情况下，构成为当任何一种中心线观测次数计数器Cv、Cp、Cs、Cd为0时使遗忘判断计数器Cn递增(increment)的结构即可。
以下，说明有效地进行该遗忘判断的具体方法。从图像I中检测到的中心线M的端点的位置及固定点Q的位置以列表形式进行存储管理。
图9为表示从图像I中检测到的端点的位置的端点列表82的例子。在端点列表82中记载有所检测到的白线候选区域的每个中心线M的两侧的端点的信息。
具体地，在端点列表82中记载有表示上述端点在检测停车框时是否可以有效利用的有效标志(图9的第1列)、观测到该端点的时刻(图9的第2列)、作为图像中的实际端点的位置的实际端点位置(图9的第3列)、车辆1的移动距离(图9的第5列)、根据车辆1的移动距离来预测的预测端点位置(图9的第4列)、以及针对每个遗忘判断方法而设定的中心线观测次数计数器Cv、Cp、Cs、Cd的计数值(从图9的第6列至第9列)。
在这里，预测端点位置(图9的第4列)是根据过去所检测到的实际端点位置(例如(x11，y11))和车辆1的移动距离(例如，K1)，并基于预先确定的函数f来计算。在图9的第4列中储存有如此计算出的预测端点位置(f(x11，K1)，f(y11，K1))。
与同一中心线M的端点相关的信息以时间序列储存在一个列表中而进行管理(图9的第a行之后)。
图10为表示实际检测到的固定点Q的一览的固定点列表84的例子。在固定点列表84中储存有针对每个固定点Q表示该固定点Q是否有效的有效标志、该固定点Q的位置、与周围的中心线M的位置关系、以及进行遗忘判断时所利用的各计数器的信息。
与同一固定点Q相关的信息以时间序列的方式储存于一个列表中而进行管理。
遗忘判断是利用储存于如此生成的端点列表82和固定点列表84中的信息来进行。当判断为将固定点Q应该遗忘时，将赋予给该固定点Q的有效标志设定为0，由此，以后，该固定点Q在固定点列表84中将不再被参照。
<停车框的检测方法的说明>
接着，说明停车框的检测方法。关于检测停车框的方法有各种方法，可应用任何一种方法。在这里，说明利用停车框的形状特征的检测方法。
停车框的形状特征例如为以下的(1)～(3)。
(1)停车框为夹在由具有规定的间隔和规定的长度的平行的白线所形成的两个线段之间的区域。
(2)存在有由平行的白线形成的两个线段中的一个线段如图4A所示那样被相邻的两个停车框共用的情况，也存在有在相邻的停车框之间画有两个白线的情况。
(3)存在有用白线将平行的白线的端点彼此连接的情况，也存在有如图4A所示那样仅连接停车框的进深侧的情况。另外，也存在有平行的白线的端点彼此未连接的情况。
在本实施例中，首先，存储在图像I中所被观测的停车框的尺寸。停车框的尺寸是指在车辆1停在停车框时，由沿车辆1的前后方向延伸的平行的白线形成的两个线段的长度(也可认为是上述中心线M的长度)和上述两个线段的间隔。
由于图像I为从正上方俯视车辆1的俯视图，因而利用将拍摄到的图像转换为俯视图的参数可以容易地推定图像I观测的范围。因此，可以推定设想的尺寸的停车框在图像I中以多大的大小被观测的情况。在这里，推定为由沿车辆1的前后方向延伸的平行的白线形成的两个线段的长度被观测为第一规定的像素数O1，两个线段的间隔被观测为第二规定的像素数O2。
首先，从由图像I中检测到的白线候选区域中检测其方向几乎相同的多个白线候选区域的对。白线候选区域的方向可以认为是先前检测到的中心线M的方向(连接两个端点的线段的方向)。
当如此检测到的平行的白线候选区域的间隔接近第二规定的像素数O2时，判断为发现了构成停车框的平行的白线候选区域的对。然后，求出如此检测到的白线候选区域的长度。这是当作上述白线候选区域的中心线M的长度来计算。当计算出的中心线M的长度接近先前所设想的停车框的长度、即第一规定的像素数O1的值时，判断为上述白线候选区域构成停车框。实际上，对预想的像素数O1和O2事先设定规定的宽度，当观测到上述宽度的范围内的值时，判断为满足了条件。
此外，此时，为了可靠地检测停车框，包含在固定点Q的附近检测到的中心线M的白线候选区域是在利用于停车框的检测时，将其贡献度降低而进行处理。当将贡献度降低时，也可以该白线候选区域在过去连续多次中在固定点Q的附近所被检测到的作为条件。当检测包含贡献度低的白线候选区域的停车框时，例如，将像素数O1、像素数O2或像素数O1和O2的规定的宽度设定得更小，以便不易检测停车框即可。
符合降低贡献度的条件的白线候选区域是确认上述的端点列表82的有效标志成为0的情况来进行判断。
<实施例1的作用的说明>
接着，利用图11的流程图来说明在实施例1的车载图像处理装置5中进行的一系列的动作的流程。
(步骤S10)基于图2中未图示的车速传感器的输出来检测车辆1的车速。而且，判断所检测到的车速是否不为0且为预先设定的规定的车速以下。当判断为所检测到的车速不为0且为预先设定的规定的车速以下时，进入步骤S20，否则结束图11的处理。
(步骤S20)由拍摄部10拍摄车辆1的周围。
(步骤S30)在图像转换/合成部20中，将由拍摄部10所拍摄到的图像转换为俯视图，进而，合成为图4A所示的一幅图像I。
(步骤S40)在边缘对检测部32中，从图像I中检测构成正边缘和负边缘的边缘构成点。
(步骤S50)在中心线检测部34中，检测由正边缘和负边缘的中点所构成的中心线M，进而，在端点位置检测部40中，检测端点的位置而作为中心线M的端点。此时，也可将端点的位置存在于规定范围内的情况作为条件来检测端点的位置。例如，可以将从所拍摄到的图像I的拍摄区域的边界远离规定距离以上的情况作为检测条件来排除图像I的拍摄区域的边界附近的端点。
(步骤S60)基于由车辆动作测量部50所测量的车辆1的动作，在端点移动位置预测部60中求出在图像I中所要预测的预测端点位置。此时的时间差Δt虽然利用预先设定的规定的值，但如上所述，当检测到车辆1的车速大于规定值时，不等待时间差Δt的经过而进行预测端点位置的计算。另外，即使车速小，在端点的位置移动较大时，也可以如上所述那样在该时刻进行预测端点位置的计算。
(步骤S70)在端点位置检测部40中检测在步骤S60中所预测的时刻的实际端点位置。
(步骤S90)在端点移动量判断部70中计算预测端点位置和实际端点位置的位置的差异。当所计算出的位置的差异为规定值以上时，进入步骤S95，否则进入步骤S120。
(步骤S95)根据在步骤S50、步骤S70中所检测到的端点的位置来更新端点列表82。
(步骤S100)将在步骤S90中所评价的端点的移动之前的位置重新登记在固定点列表84中而更新固定点列表84。
(步骤S110)在端点位置遗忘判断部90中进行固定点Q的遗忘判断。其处理内容在后叙述。
(步骤S120)判断是否针对所有的固定点Q进行了遗忘判断。当满足条件时，进入步骤S130，否则返回到步骤S90。
(步骤S130)在停车框检测部100中，从图像I中检测停车框。详细的处理内容已在前文说明，因而省略其内容。
(步骤S140)判断执行了步骤S130的结果是否发现了停车框。若发现了停车框，则进入步骤S145，若未发现停车框，则返回到步骤S10。
(步骤S145)利用信息输出部85以画面显示或语音向导的方式输出用于提醒不要在停车场弄错油门操作和制动操作的意思的信息而引起驾驶员的注意。
(步骤S150)在油门开度检测部110中，判断油门开度是否为规定值以上。当油门开度为规定值以上时，进入步骤S160，当油门开度不满足规定值时，返回到步骤S10。
(步骤S160)在车辆动作控制部120中进行限制发动机输出功率的控制，以便不输出与实际上踩踏的油门开度相对应的发动机输出功率。之后，返回到步骤S10。
接着，利用图12来说明固定点遗忘判断处理的内容。
(步骤S112)在基于车速条件的遗忘判断部92中，当由端点位置检测部40所检测到的作为端点的像素m1或作为端点的像素mn在距离计算部75中判断为位于固定点Q的附近时，基于车辆1的车速来设定中心线观测次数计数器Cv，从而使中心线观测次数计数器Cv和遗忘判断计数器Cn进行计数。若遗忘判断计数器Cn达到规定值，则遗忘固定点Q。
(步骤S113)在基于端点的位置的遗忘判断部94中，当由端点位置检测部40所检测到的作为端点的像素m1或作为端点的像素mn在距离计算部75中判断为位于固定点Q的附近时，基于固定点Q的位置来设定中心线观测次数计数器Cp，从而使中心线观测次数计数器Cp和遗忘判断计数器Cn进行计数。若遗忘判断计数器Cn达到规定值，则遗忘固定点Q。
(步骤S114)在基于中心线方向的遗忘判断部96中，当由端点位置检测部40所检测到的作为端点的像素m1、作为端点的像素mn、或中心线M在距离计算部75中判断为位于固定点Q的附近时，基于中心线M的方向来设定中心线观测次数计数器Cs，从而使中心线观测次数计数器Cs和遗忘判断计数器Cn进行计数。若遗忘判断计数器Cn达到规定值，则遗忘固定点Q。
(步骤S115)在基于垂线长度的遗忘判断部98中，当由端点位置检测部40所检测到的作为端点的像素m1、作为端点的像素mn、或中心线M在距离计算部75中判断为位于固定点Q的附近时，基于中心线M和固定点Q的距离来设定中心线观测次数计数器Cd，从而使中心线观测次数计数器Cd和遗忘判断计数器Cn进行计数。然后，若遗忘判断计数器Cn达到规定值，则遗忘固定点Q。
(步骤S116)在步骤S112至步骤S115中由端点位置检测部40所检测到的作为端点的像素m1、像素mn、或中心线M在距离计算部75中判断为位于固定点Q的附近时，由停车框检测部100进行停车框的检测时降低具有作为端点的像素m1、像素mn或中心线M的白线候选区域的贡献度。
此时，当固定点Q在图像I中位于隐蔽车辆1的近前的位置时，距离计算部75检测由端点位置检测部40所检测到的作为端点的像素m1或作为端点的像素mn至固定点Q为止在规定时间的期间内位于规定范围内的情况，当固定点Q在图像I中位于隐蔽距离车辆1的远方的位置时，距离计算部75检测由端点位置检测部40所检测到的作为端点的像素m1、像素mn、或中心线M至固定点Q为止在规定时间的期间内位于规定范围内情况，从而降低白线候选区域的贡献度也可。此外，上述规定时间或规定范围是利用上述规定距离来对值进行切换、或者根据上述规定距离来使值连续地变化也可。另外，贡献度所被降低的是通过将端点列表82的有效标志(图9的第1列)设定为0而被存储。
(步骤S117)端点列表82的内容、即端点的有效性、中心线观测次数计数器Cv、Cp、Cs、Cd的值、检测或预测的端点的位置、车辆1的移动量随时被更新。
(步骤S118)固定点列表84的内容、即固定点Q的有效性、到最接近的中心线M为止的距离、固定点Q的位置、中心线观测次数计数器Cv、Cp、Cs、Cd的值、遗忘判断计数器Cn的值随时被更新。之后，进入步骤S120(参照图11)。
如上所述，根据如此构成的本发明的一个实施方式的车载图像处理装置5，设置于车辆1的拍摄部10拍摄车辆1的周围的至少包含路面的图像I，由白线候选区域检测部30从所拍摄的图像I中检测具有构成停车框的可能性的白线候选区域，并由端点位置检测部40从如此检测到的白线候选区域中将正边缘和负边缘的中点彼此连接的中心线M的两个端点的位置当作白线候选区域的端点来检测，上述正边缘由在规定的方向上相邻的像素的亮度值与规定值相比显著变亮的第一像素形成，上述负边缘由从该正边缘位于间隔w以内的在规定的方向上相邻的像素的亮度值与规定值相比显著变暗的第二像素形成。
端点移动位置预测部60基于由车辆动作测量部50所测量的车辆1的动作，在图像I中预测被认为是由端点位置检测部40所检测到的两个端点的位置在规定时间差Δt期间移动的图像内的位置，且端点移动量判断部70求出由端点移动位置预测部60所预测的端点的位置和在经过了规定时间差Δt的时刻由端点位置检测部40实际所检测到的端点的位置之差。
当上述端点的位置之差大于规定的值时，将上述端点的移动之前的位置存储于端点位置存储部80，当由距离计算部75判断为白线候选区域中的、该白线候选区域或其端点位于距离存储在端点位置存储部80的端点的位置在规定距离以内时，由于停车框检测部100将上述白线候选区域的贡献度降低而检测停车框，因而即使在拍摄部10附着有污垢而在白线候选区域发生中断的情况下，也可以稳定且可靠地检测画在路面上的停车框的位置。
另外，根据本发明的一个实施方式的车载图像处理装置5，由车辆动作测量部50所测量的车辆1的车速越高，在端点移动位置预测部60中所设定的、预测作为白线候选区域的中心线M的端点的像素m1或mn移动的位置时的时间差Δt越短，因而即使车速高时，也可以可靠地检测白线候选区域的端点的位置，可以更加可靠地判定是否产生了固定点Q。
另外，根据本发明的一个实施方式的车载图像处理装置5，车辆1在规定的时间差Δt经过之前移动了规定距离时，在端点移动位置预测部60中预测车辆1移动了规定距离的时刻的端点的位置，因而即使车辆1在短时间内大幅地改变方向，也可以可靠地检测白线候选区域的端点的位置，可以更加可靠地判定是否产生了固定点Q。
另外，根据本发明的一个实施方式的车载图像处理装置5，当由距离计算部75判断为存储于端点位置存储部80的端点(固定点Q)的位置与由端点位置检测部40所检测到的作为端点的像素m1或mn的位置的距离、或者与中心线M的距离在规定值以内时，端点位置遗忘判断部90判断其状态是否在规定时间内连续，当在规定时间内连续时，清除存储于端点位置存储部80的固定点Q，因而能够防止随着时间的推移，固定点Q增加而就连作为停车框的构成要素的原本所需的白线候选区域也被清除而不能检测停车框的情况。
另外，根据本发明的一个实施方式的车载图像处理装置5，当车辆1的车速处于规定的车速范围内且车速处于越高的状态时，端点位置遗忘判断部90在越短时间内清除固定点Q的位置，因而当车速高时，若确认了白线候选区域通过固定点Q的附近，则使固定点Q易于遗忘。
另外，根据本发明的一个实施方式的车载图像处理装置5，固定点Q越是位于接近于图像I的中央的位置，端点位置遗忘判断部90在越短时间内清除其端点的位置，因而在频繁出现中心线M的图像I的中央附近，可以使固定点Q易于遗忘。
另外，根据本发明的一个实施方式的车载图像处理装置5，固定点Q和由端点位置检测部40所检测到的端点的距离越近，端点位置遗忘判断部90在越短时间内清除固定点Q的位置，因而在污垢已消失的可能性高时，则可以使固定点Q易于遗忘。
另外，根据本发明的一个实施方式的车载图像处理装置5，白线候选区域的延伸方向越接近于图像I的水平方向，端点位置遗忘判断部90在越短时间内清除固定点Q的位置，因而在中心线M通过固定点Q之上的概率高时，则可以使固定点Q易于遗忘。
另外，根据本发明的一个实施方式的车载图像处理装置5，当由距离计算部75所计算出的、存储于端点位置存储部80的端点(固定点Q)和由端点位置检测部40所检测到的端点的距离小于规定值时，在停车框检测部100中检测停车框之际，在检测包含具有由端点位置检测部40所检测到的端点的白线候选区域的停车框之际，缩窄检测停车框的框的长度的允许范围，因而不受不可靠的白线候选区域的影响而可以稳定地检测停车框。
此外，在实施例1中，检测白线候选区域的中心线M来检测停车框，但并不局限于该方法，即使利用当检测白线候选区域时发现的由正边缘构成的线素或由负边缘构成的线素来以如上所述的方式进行处理，也可取得同样的效果。
这种情况下，构成为由端点位置检测部40检测由正边缘构成的线素的端点或由负边缘构成的线素的端点的结构。另外，寻找仅隔开规定的间隔的由正边缘构成的线素和由负边缘构成的线素的对来检测停车框。
另外，在实施例1中，当白线候选区域的端点或中心线M位于固定点Q的附近时，在检测停车框之际，虽然该白线候选区域也降低了贡献度，但是，在检测停车框之际，不利用该白线候选区域，也可以取得同样的效果。
(实施例2)
接着，说明作为本发明的第二实施例的实施例2。在实施例2中，在由拍摄部10所拍摄的图像中，在距车辆1比规定的距离近的区域的内部，将所拍摄的图像坐标转换为从正上方俯视车辆1的俯视图像，并处理该俯视图像来检测停车框，在比规定的距离远的区域的内部，不将由拍摄部10所拍摄的图像转换为俯视图像，而直接进行图像处理来检测停车框。
另外，与车辆1不使用刮水器时相比，将使用刮水器时的计算预测端点位置时的时间差Δt设定为更短的时间差。
首先，利用图1、图13来说明实施例2的结构。实施例2中所示的车载图像处理装置6安装于车辆1，且如图1所示，具有为了从车辆1不同的四个方向拍摄图像而设置的前方摄像机10A、左方摄像机10B、右方摄像机10C及后方摄像机10D。
图13为示出车载图像处理装置6的整体结构的框图。本车载图像处理装置6除了实施例1的结构之外，还具有：区域辨别部25，基于从拍摄部10到路面的距离来将由拍摄部10所拍摄的图像辨别为接近区域和远方区域；以及刮水器信号检测部130，用于检测表示车辆1使用刮水器的刮水器信号。
以下，以与实施例1的不同点为中心说明实施例2的作用。此外，省略与实施例1的作用重复的部分的说明。
<处理对象图像的区分使用的说明>
利用图14来说明检测停车框的图像的区分使用。在实施例2中，如图14所示，对于由拍摄部10所拍摄到的图像I中、从拍摄部10到路面的距离小于规定距离dth的近距离区域RN，与实施例1相同，处理以从正上方俯视车辆1的方式进行坐标转换的俯视图像，据此来检测停车框，而对于从拍摄部10到路面的距离为规定距离dth以上的远距离区域RF，以不将由拍摄部10所拍摄的图像进行坐标转换的方式进行处理，据此来检测停车框。
如图14所示，该近距离区域RN由近距离区域I1N、近距离区域I2N、近距离区域I3N及近距离区域I4N构成。上述近距离区域I1N为由构成拍摄部10的前方摄像机10A所拍摄的图像I1中从前方摄像机10A到路面的距离小于规定距离dth的区域；上述近距离区域I2N为由左方摄像机10B所拍摄的图像I2中从左方摄像机10B到路面的距离小于规定距离dth的区域；上述近距离区域I3N为由右方摄像机10C所拍摄的图像I3中从右方摄像机10C到路面的距离小于规定距离dth的区域，上述近距离区域I4N为由后方摄像机10D所拍摄的图像I4中从后方摄像机10D到路面的距离小于规定距离dth的区域。
图像I中的近距离区域RN和远距离区域RF的边界线的位置是可利用与图像I的拍摄范围相关的信息和规定距离dth的值来预先计算并求出，因而与实施例1相同，利用图像转换/合成部20将由四个摄像机所拍摄的图像分别坐标转换为俯视图像并进行合成来生成图像I之后，仅对近距离区域RN的内部依次执行在实施例1中说明的白线候选区域的检测、端点的位置的检测、预测端点位置的计算、端点移动量的判断、端点的位置的存储的各个处理。检测固定点Q而将在固定点Q的附近具有端点的白线候选区域不利用于停车框的检测中，并进行固定点Q的遗忘判断。该部分的处理流程和处理内容如实施例1中所述。
另一方面，对于距离拍摄部10的距离在规定距离dth以上的远距离区域RF，不将由拍摄部10所拍摄的图像进行坐标转换而转换为俯视图像，而是直接进行图像处理来检测停车框。
关于上述图像处理，以与针对俯视图像进行的图像处理相同的步骤执行即可，但是由于停车框越远则映现得越小，因而当进行白线候选区域的检测时，将正边缘和负边缘的间隔w的阈值设定为越在远方、即越靠图像的上部就越小。
此外，由于对于路面以外的区域无需寻找白线候选区域，因而优选地从所拍摄的图像中预先提取被认为是映现路面的区域。
进而，在由拍摄部10所拍摄的原本的图像中，与转换为俯视图像时相比，车辆1移动时的端点的移动量变得非常小，因而将计算预测端点位置的时机设定为比处理俯视图像时设定的时间差Δt长的时间。由此，可以正确地检测白线候选区域的端点的位置，因而可以更加可靠地判定是否产生了固定点Q。
在检测到固定点Q之后，与处理俯视图像时相同地，当在上述固定点Q的附近检测到白线候选区域的端点时，在检测停车框时降低上述白线候选区域贡献度而利用。
进而，与实施例1相同地，进行固定点Q的遗忘判断。
<基于刮水器动作的预测时间差的设定法的说明>
当车辆1使用刮水器时，被认为处于降雨状态。当处于降雨状态时，在构成拍摄部的摄像机的镜头附着有水滴的可能性高。水滴与泥污垢一样，若附着于镜头的表面，则在其附着的区域中，停车框的像发生混乱、或者看不到停车框，从而无法通过图像处理来识别其位置。
但是，水滴与泥污垢不同，其流动性高，因而在短时间内沿着镜头落下、或者被车辆1行驶时产生的风压吹走的可能性高。即，即使因水滴而暂时无法识别停车框，也有可能在短时间内恢复到可识别的状态。
因此，与车辆1不使刮水器工作时相比，刮水器在工作时使预测端点位置的计算在更短的时间差内进行。
由此，可在短时间内进行固定点Q的遗忘判断，因而当水滴的附着消失时，可将在水滴的位置观测到的白线候选区域迅速地利用于停车框的检测。
<实施例2的作用的说明>
接着，利用图15的流程图来说明实施例2的车载图像处理装置6的一系列的动作的流程。
(步骤S200)基于图13中未图示的车速传感器的输出来检测车辆1的车速。判断所检测到的车速是否不为0且为预先设定的规定的车速以下。当判断为检测到的车速不为0且为预先设定的规定的车速以下时，进入步骤S210，否则结束图15的处理。
(步骤S210)利用拍摄部10拍摄车辆1的周围。
(步骤S220)在图像转换/合成部20(图像转换部)中，将由拍摄部10所拍摄的图像转换为俯视图，进而合成为图4A所示的一幅图像I。然后，在区域辨别部25中，从如此所生成的图像I中生成仅由近距离区域RN(I1N、I2N、I3N、I4N)(参照图14)构成的图像。
(步骤S230)在区域辨别部25中，从由拍摄部10所拍摄的图像中生成仅由远距离区域RF(I1F、I2F、I3F、I4F)(参照图14)构成的图像。此外，远距离区域RF(I1F、I2F、I3F、I4F)的图像是不将由拍摄部10所拍摄的图像转换为俯视图，且排除了相当于近距离区域RN(I1N、I2N、I3N、I4N)的区域的图像。
(步骤S240)在白线候选区域检测部30、端点位置检测部40中，从近距离区域RN(I1N、I2N、I3N、I4N)的图像和远距离区域RF(I1F、I2F、I3F、I4F)的图像中检测被认为是构成停车框的白线候选区域，进而，从检测到的白线候选区域中检测其中心线而检测其中心线的两端的端点的位置。该一系列的处理流程如在实施例1中所述。此外，关于远距离区域RF(I1F、I2F、I3F、I4F)的图像，越靠远方将正边缘和负边缘的间隔w的阈值设定得越小而进行白线候选区域的检测。
(步骤S250)在刮水器信号检测部130中，判断车辆1的刮水器是否工作。当刮水器工作时，进入步骤S260，当刮水器不工作时，进入步骤S270。
(步骤S260)将计算预测端点位置的时间差设定为Δt＝Δt1。
(步骤S270)将计算预测端点位置的时间差设定为Δt＝Δt2。此外，Δt2为比Δt1短的时间差。
(步骤S280)在端点移动位置预测部60中，针对近距离区域RN(I1N、I2N、I3N、I4N)的图像，以时间差Δt计算预测端点位置，针对远距离区域RF(I1F、I2F、I3F、I4F)的图像，以时间差Δt+Δt3计算预测端点位置。
(步骤S290)在端点位置检测部40中，检测在步骤S280中预测的时刻的实际端点位置。
(步骤S300)在端点移动量判断部70中，计算预测端点位置和实际端点位置的位置的差异。当计算出的位置的差异为规定值以上时，进入步骤S310，否则进入步骤S330。
(步骤S310)将在步骤S300中所评价的端点的移动之前的位置重新登记在固定点列表84而更新固定点列表84。另外，基于在步骤S240、步骤S290中所检测到的端点的位置来更新端点列表82。
(步骤S320)在端点位置遗忘判断部90中，进行固定点Q的遗忘判断。该处理如利用图12来说明的那样。
(步骤S330)判断是否对所有的固定点Q进行了遗忘判断。当满足条件时，进入步骤S340，否则返回到步骤S300。
(步骤S340)合并从近距离区域RN(I1N、I2N、I3N、I4N)的图像检测到的端点列表和从远距离区域RF(I1F、I2F、I3F、I4F)的图像检测到的端点列表而将表示同一中心线的信息汇总成一个。此外，由于预先知道近距离区域RN(I1N、I2N、I3N、I4N)和远距离区域RF(I1F、I2F、I3F、I4F)的边界位置，因而接近该边界位置的端点彼此被判断为表示同一中心线。
(步骤S350)在停车框检测部100中，从图像I中检测停车框。详细的处理内容如前文所述，因而省略。
(步骤S360)判断执行了步骤S350的结果是否发现了停车框。若发现了停车框，则进入步骤S370，若未发现停车框，则返回到步骤S200。
(步骤S370)利用信息输出部85以画面显示或语音向导的方式输出用于提醒在停车场中不要弄错油门操作和制动操作的信息而引起驾驶员的注意。
(步骤S380)在油门开度检测部110中，判断油门开度是否为规定值以上。当油门开度为规定值以上时，进入步骤S390，当油门开度小于规定值时，返回到步骤S200。
(步骤S390)在车辆动作控制部120中进行限制发动机输出功率的控制，以便不输出与实际上踩踏的油门开度相对应的发动机输出功率。之后，返回到步骤S200。
此外，在实施例2中，虽然构成为检测车辆1在使用刮水器的情况而将时间差Δt变更为较短，但并不局限于该实施例。即，也可利用预测具有粘着性的污垢的附着的附着物判定部，当预测到具有粘着性的污垢的附着时，将时间差Δt设定为较长，从而也可以可靠地识别污垢的附着。
此外，关于附着物判定部的构成方法，除了刮水器信号检测部130之外，还可以考虑各种各样的方法，使用任何一种方法也可。
即，对于预测以雨滴为代表的水分的附着，可以利用检测附着于前窗的雨滴的雨滴传感器，也可以利用摩擦系数传感器(μsensor)来测定路面的摩擦而检测摩擦系数低的情况。另外，也可以利用观测路面的摄像机或光传感器来检测路面反射而检测路面反射高的情况。
另一方面，对于预测以泥污垢为代表的具有粘着性的污垢的附着，也可以利用摄像机来观测路面而检测为非公路(off-road，越野)，另外，也可利用ABS(防抱死制动***)、VDC(防侧滑装置)、TCS(牵引力控制***)等的车辆行驶控制装置的输出来进行判断。
如上所述，根据如此构成的本发明的一个实施方式的车载图像处理装置6，在图像中，在距离拍摄部10的距离为规定距离以上的区域中，相对于距离拍摄部10的距离小于规定距离的区域，将规定的时间差Δt设定为更长，因而可以正确地检测白线候选区域的端点的位置，并更加可靠地判定是否产生了固定点Q。
另外，根据本发明的一个实施方式的车载图像处理装置6，具有用于判断在拍摄部10附着有附着物的可能性的刮水器信号检测部130(附着物判定部)，当判断为车辆1在使用刮水器时，即当判断为附着有附着物的可能性高时，将规定的时间差Δt设定为更短，因而可以以短时间进行固定点Q的遗忘判断，因而当水滴的附着消失时，可以将在水滴的位置观测到的白线候选区域迅速地用于停车框的检测。
另外，根据本发明的一个实施方式的车载图像处理装置6，具有将由拍摄部所拍摄的图像转换为从正上方俯视车辆1的俯视图像的图像转换/合成部20(图像转换部)，对于距离拍摄部10的距离在规定距离以内的近距离区域RN，利用由图像转换/合成部20转换的俯视图像来检测停车框，对于距离拍摄部10的距离在规定距离以上的远距离区域RF，不利用图像转换/合成部20转换由拍摄部10所拍摄的图像而检测停车框，因而可以正确地检测白线候选区域的端点的位置而不论与拍摄部10的距离如何，因而可以更加可靠地判定是否产生了固定点Q。
以上，利用附图详细说明了本发明的实施例，但实施例并不局限于本发明的例示，因而本发明不是仅局限于实施例的结构，只要不脱离本发明的要旨的范围的设计的变更等都同样地包含在本发明中。
(相关申请的相互参照)
本申请主张于2012年11月27日向日本国特许厅提出申请的日本特愿2012-258696的优先权，并将其全部公开内容通过参照的方式完全地结合于本说明书中。
(附图标记的说明)
5：车载图像处理装置；10：拍摄部；10A：前方摄像机；10B：左方摄像机；10C：右方摄像机；10D：后方摄像机；20：图像转换/合成部(图像转换部)；30：白线候选区域检测部；32：边缘对检测部；34：中心线检测部；40：端点位置检测部；50：车辆动作测量部；60：端点移动位置预测部；70：端点移动量判断部；75：距离计算部；80：端点位置存储部；82：端点列表；84：固定点列表；85：信息输出部；90：端点位置遗忘判断部；100：停车框检测部；110：油门开度检测部；120：车辆动作控制部。

Claims (12)

1.一种车载图像处理装置，其特征在于，
具有：
拍摄部，其设置于车辆，观测上述车辆的周围，并拍摄至少包含路面的图像；
白线候选区域检测部，其从由上述拍摄部所拍摄的图像中检测被认为是构成停车框的白线候选区域；
端点位置检测部，其从检测到的各个白线候选区域中检测将在规定的方向上相邻的像素的亮度差与亮度差阈值相比大且变亮的正边缘和位于距离上述正边缘规定间隔以内的、在上述规定的方向上相邻的像素的亮度差与亮度差阈值相比大且变暗的负边缘的中点彼此连结而成的中心线的两个端点的位置；
车辆动作测量部，其测量上述车辆的动作；
端点移动位置预测部，其基于由上述车辆动作测量部所测量的车辆的动作来预测被认为是由上述端点位置检测部所检测到的上述两个端点的位置在规定时间差期间移动的上述图像内的位置；
端点移动量判断部，其求出由上述端点移动位置预测部所预测到的端点的位置与由上述端点位置检测部所检测到的端点实际上在规定时间差期间移动的位置之差，并判断上述端点的位置之差是否大于规定值；
端点位置存储部，其当在上述端点移动量判断部中判断为上述端点的位置之差大于规定值时，存储上述端点的移动前的位置；
停车框检测部，其基于上述白线候选区域的位置来检测停车框；以及
距离计算部，其计算由上述端点位置检测部所检测到的端点或者具有上述端点位置检测部检测到的端点的线素和存储于上述端点位置存储部的端点的位置之间的距离，
当由上述距离计算部所计算出的距离在规定范围以内时，上述停车框检测部在进行停车框的检测时，降低包含由上述端点位置检测部所检测到的端点的白线候选区域的贡献度。
2.根据权利要求1所述的车载图像处理装置，其特征在于，由上述车辆动作测量部所测量到的上述车辆的车速越高，则将上述规定时间差设定得越短。
3.根据权利要求1所述的车载图像处理装置，其特征在于，当在上述规定时间差的期间上述车辆移动了规定量时，在上述端点移动位置预测部中预测上述车辆移动了上述规定量的时刻的上述端点的位置。
4.根据权利要求1所述的车载图像处理装置，其特征在于，具有端点位置遗忘判断部，其当判断为由上述距离计算部所计算出的距离在规定时间期间都在规定范围以内时，上述端点位置遗忘判断部将存储于上述端点位置存储部的上述端点的位置清除。
5.根据权利要求4所述的车载图像处理装置，其特征在于，在上述车辆的车速在规定的车速范围内且上述车速处于越高的状态时，上述端点位置遗忘判断部在越短时间内将存储于上述端点位置存储部的上述端点的位置清除。
6.根据权利要求4所述的车载图像处理装置，其特征在于，在存储于上述端点位置存储部的上述端点位于距上述图像的中央越近的位置时，上述端点位置遗忘判断部在越短时间内将存储于上述端点位置存储部的上述端点的位置清除。
7.根据权利要求4所述的车载图像处理装置，其特征在于，由上述距离计算部所计算出的距离越近，上述端点位置遗忘判断部在越短时间内将存储于上述端点位置存储部的上述端点的位置清除。
8.根据权利要求4所述的车载图像处理装置，其特征在于，上述白线候选区域的延伸方向越接近上述图像的水平方向，上述端点位置遗忘判断部在越短时间内将存储于上述端点位置存储部的上述端点的位置清除。
9.根据权利要求1所述的车载图像处理装置，其特征在于，在上述图像中，与距上述拍摄部的距离小于规定距离的区域相比，在距上述拍摄部的距离在规定距离以上的区域中将上述规定时间差设定得更长。
10.根据权利要求1所述的车载图像处理装置，其特征在于，具有用于判定在上述拍摄部附着附着物的可能性的附着物判定部，当使用所述车辆的刮水器时，判断为附着有附着物的可能性高，变更上述规定时间差。
11.根据权利要求1所述的车载图像处理装置，其特征在于，具有将由上述拍摄部所拍摄到的图像转换为从正上方俯视上述车辆的俯视图像的图像转换部，对于距上述拍摄部的距离在规定距离以内的区域，利用上述图像转换部所转换的图像来进行停车框的检测，对于距上述拍摄部的距离在规定距离以上的区域，以不利用上述图像转换部来转换由上述拍摄部所拍摄的图像的方式来进行停车框的检测。
12.根据权利要求1所述的车载图像处理装置，其特征在于，由上述距离计算部所计算出的距离在规定范围以内时，在上述停车框检测部中进行停车框的检测之际，对包含具有上述端点位置检测部所检测到的端点的白线候选区域的停车框进行检测之际，使检测停车框的阈值变得严格。
CN201380061995.6A 2012-11-27 2013-11-21 车载图像处理装置 Active CN104823214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-258696 2012-11-27
JP2012258696A JP5981322B2 (ja) 2012-11-27 2012-11-27 車載画像処理装置
PCT/JP2013/081368 WO2014084113A1 (ja) 2012-11-27 2013-11-21 車載画像処理装置

Publications (2)

Publication Number Publication Date
CN104823214A CN104823214A (zh) 2015-08-05
CN104823214B true CN104823214B (zh) 2017-11-17

Family

ID=50827751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380061995.6A Active CN104823214B (zh) 2012-11-27 2013-11-21 车载图像处理装置

Country Status (5)

Country Link
US (1) US9690996B2 (zh)
EP (1) EP2927862B1 (zh)
JP (1) JP5981322B2 (zh)
CN (1) CN104823214B (zh)
WO (1) WO2014084113A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2899692B1 (en) * 2014-01-28 2019-09-04 Honda Research Institute Europe GmbH Method, system, imaging device, movable device and program product for detecting static elements in video and image sources
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
JP6413474B2 (ja) * 2014-08-21 2018-10-31 スズキ株式会社 駐車支援装置及び駐車枠の横線検出方法
EP3113108B1 (en) * 2015-07-02 2020-03-11 Continental Automotive GmbH Detection of lens contamination using expected edge trajectories
JP6774948B2 (ja) * 2015-07-29 2020-10-28 京セラ株式会社 判定装置、車両および判定方法
DE102015216881A1 (de) * 2015-09-03 2017-03-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum fahrerlosen Führen eines Kraftfahrzeugs innerhalb eines Parkplatzes
BR112018008270B1 (pt) * 2015-10-22 2023-03-21 Nissan Motor Co., Ltd Dispositivo e método de detecção de linha de vaga de estacionamento
KR101832466B1 (ko) 2016-06-14 2018-04-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
JP6336010B2 (ja) * 2016-11-16 2018-06-06 三菱電機株式会社 路上区画線認識装置、路上区画線認識方法、路上区画線認識装置を備えた運転支援装置、および路上区画線認識方法を備えた運転支援方法
JP6798894B2 (ja) * 2017-01-13 2020-12-09 株式会社デンソーテン 位置推定装置、位置推定システム、及び、位置推定方法
JP6905184B2 (ja) * 2017-06-07 2021-07-21 富士通株式会社 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法
JP6932058B2 (ja) * 2017-10-11 2021-09-08 日立Astemo株式会社 移動体の位置推定装置及び位置推定方法
WO2019235433A1 (ja) * 2018-06-04 2019-12-12 日本電信電話株式会社 横断歩道検出装置、方法およびプログラム
JP7131131B2 (ja) * 2018-06-29 2022-09-06 マツダ株式会社 車両用ライン検出装置および該方法
JP7246167B2 (ja) * 2018-11-14 2023-03-27 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7230507B2 (ja) * 2018-12-28 2023-03-01 株式会社デンソーテン 付着物検出装置
CN111488977B (zh) * 2019-01-25 2023-11-07 北京地平线机器人技术研发有限公司 神经网络模型训练方法和装置
JP7229804B2 (ja) * 2019-02-14 2023-02-28 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
CN111429469B (zh) * 2019-04-17 2023-11-03 杭州海康威视数字技术股份有限公司 泊位位置确定方法、装置、电子设备及存储介质
JP7296768B2 (ja) * 2019-04-22 2023-06-23 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7341730B2 (ja) * 2019-05-30 2023-09-11 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP7482054B2 (ja) 2020-02-27 2024-05-13 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2022010577A (ja) * 2020-06-29 2022-01-17 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法
SE2150168A1 (en) * 2021-02-16 2022-08-17 Husqvarna Ab Robotic work tool system and method for determining whether there is an interfering object on a camera unit of a robotic work tool
JP2022136645A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 車両制御装置、及び車両制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置
CN102607573A (zh) * 2007-07-04 2012-07-25 三菱电机株式会社 导航***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3655541B2 (ja) * 2000-09-18 2005-06-02 トヨタ自動車株式会社 レーン検出装置
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
JP5574235B2 (ja) * 2010-10-06 2014-08-20 スズキ株式会社 駐車枠検出装置及び駐車枠検出方法
JP5680436B2 (ja) * 2011-02-15 2015-03-04 アルパイン株式会社 車載カメラレンズ用異物付着判定装置
JP2012175483A (ja) * 2011-02-23 2012-09-10 Renesas Electronics Corp 車線認識装置及び車線認識方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102607573A (zh) * 2007-07-04 2012-07-25 三菱电机株式会社 导航***
CN102194226A (zh) * 2010-03-02 2011-09-21 东芝阿尔派·汽车技术有限公司 摄像机校准装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《自动平行泊车***的研究》;王芳成;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110115(第01期);第1-67页 *

Also Published As

Publication number Publication date
EP2927862B1 (en) 2018-08-01
EP2927862A4 (en) 2016-07-27
WO2014084113A1 (ja) 2014-06-05
EP2927862A1 (en) 2015-10-07
JP2014106703A (ja) 2014-06-09
US20150339535A1 (en) 2015-11-26
US9690996B2 (en) 2017-06-27
JP5981322B2 (ja) 2016-08-31
CN104823214A (zh) 2015-08-05

Similar Documents

Publication Publication Date Title
CN104823214B (zh) 车载图像处理装置
JP4856612B2 (ja) 物体検出装置
EP2871101B1 (en) Vehicle surrounding monitoring device
CN104871523B (zh) 车载用控制装置
CN106489174B (zh) 通过相机***跟踪车辆的方法、相机***以及机动车辆
JP5293815B2 (ja) 画像処理装置、画像処理方法、及び画像処理用プログラム
EP1640937B1 (en) Collision time estimation apparatus and method for vehicles
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及***
JP2010097561A (ja) 車両周辺監視装置
CN110843786B (zh) 用于确定和显示涉水状况的方法和***及具有该***的车辆
JP2009053818A (ja) 画像処理装置及びその方法
JP2014043121A (ja) 車載カメラ装置
CN105320930B (zh) 对象物识别装置
CN105320928B (zh) 对象物识别装置
Kuo et al. Vision-based vehicle detection in the nighttime
CN113988353A (zh) 预测交通参与者的轨迹的方法、装置以及传感器***
US10650250B2 (en) Determination of low image quality of a vehicle camera caused by heavy rain
JP5903901B2 (ja) 車両位置算出装置
KR100976142B1 (ko) 차량검출방법
JP4947592B2 (ja) 車両検出装置
JP2006107000A (ja) 画像異常判定方法及び画像異常判定装置
JP6429101B2 (ja) 画像判定装置、画像処理装置、画像判定プログラム、画像判定方法、移動体
JP7219710B2 (ja) ドライバー・アシスタント・システム用のカメラ撮影を改善するための方法と装置
CN117068147A (zh) 基于双目红外相机的动物避撞方法及***
JP6083695B2 (ja) 動作検出システム

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant