CN105096655B - 物体检测装置、驾驶辅助装置、物体检测方法 - Google Patents
物体检测装置、驾驶辅助装置、物体检测方法 Download PDFInfo
- Publication number
- CN105096655B CN105096655B CN201510247020.3A CN201510247020A CN105096655B CN 105096655 B CN105096655 B CN 105096655B CN 201510247020 A CN201510247020 A CN 201510247020A CN 105096655 B CN105096655 B CN 105096655B
- Authority
- CN
- China
- Prior art keywords
- horizontal edge
- edge
- image
- chosen area
- horizontal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims description 35
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 239000000203 mixture Substances 0.000 claims abstract description 9
- 238000012360 testing method Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 6
- 239000013256 coordination polymer Substances 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- VMXUWOKSQNHOCA-UKTHLTGXSA-N ranitidine Chemical compound [O-][N+](=O)\C=C(/NC)NCCSCC1=CC=C(CN(C)C)O1 VMXUWOKSQNHOCA-UKTHLTGXSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002187 spin decoupling employing ultra-broadband-inversion sequences generated via simulated annealing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
一种物体检测装置，包括：摄像部，其对车辆的周边环境进行摄像；水平边缘提取部，其在所述摄像部拍摄的图像的探索区域中，提取作为大致水平方向成分的特征线的水平边缘；检测对象物识别部，其在以所述水平边缘提取部提取的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物。
Description
技术领域
本发明涉及一种物体检测装置、驾驶辅助装置、物体检测方法。
背景技术
已知一种***，其通过对安装在车辆上的摄像装置拍摄到的图像进行图像处理，来检测车辆的前方车辆，从而进行避免碰撞控制。
与此相关，已知一种安装在车辆上的对象物识别装置，其包括：对象物位置确定机构，其用于确定前方行驶车辆的位置；摄像装置，其用于对车辆的前方进行摄像(拍摄)；处理区域设定机构，其依据确定的前方行驶车辆的位置及预先决定的应识别前方行驶车辆的尺寸，在从摄像装置获取的图像上设定处理区域；边缘提取机构，其依据处理区域所包含的像素的辉度值，从处理区域提取边缘(edge)；边缘判定机构，其判定边缘是否是前方行驶车辆；对象物识别机构，其用于识别前方行驶车辆的外形。(例如，参照日本专利公开2008-293504号公报)。
发明内容
然而，在现有技术中，由于仅是依据边缘这一特征来检测对象物，因而会存在误检测到应检测对象物以外的结构物或道路上的标志物的问题。另外，由于是针对全部边缘来判定是否是应检测对象物，因而存在处理时间较长的问题。另一方面，虽然提出了以下技术方案，即，事先准备检测对象物的模板，对拍摄图像的各图像区域与样本进行比较，通过判定两者的一致度，来检测对象物，但这种情况也存在处理时间较长的问题。
本发明所涉及的技术方案是鉴于该上述问题而做出的，其目的在于提供一种既能够缩短处理时间，也能够提高检测精度的物体检测装置、驾驶辅助装置、物体检测方法及物体检测程序。
为解决上述问题，达到上述目的，本发明采用了以下技术方案。
(1)本发明的一个技术方案所涉及的物体检测装置包括：摄像部，其对车辆的周边进行摄像(拍摄)；水平边缘提取部，其在所述摄像部拍摄到的图像的探索区域中，提取作为大致水平方向成分的特征线的水平边缘；检测对象物识别部，其在以所述水平边缘提取部提取的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物(进行识别检测对象物的处理)。
(2)作为本发明的另一个技术方案，(1)中的物体检测装置中，所述规定条件可以是，在所述水平边缘提取部提取的水平边缘中位于最下侧。
(3)作为本发明的另一个技术方案，(1)或(2)中的物体检测装置中，所述识别区域也可以设定为，(该识别区域的)位于所述规定水平边缘上侧的部分比位于所述规定水平边缘下侧的部分大。
(4))作为本发明的另一个技术方案，在(1)～(3)中的任一物体检测装置的基础上，该物体检测装置还包括从所述摄像部拍摄的图像中提取特征点的特征点提取部，所述检测对象物识别部将所述特征点提取部提取的多个特征点分组，可以在以所述规定水平边缘为基准设定的识别区域内识别所述检测对象物，所述规定水平边缘为，在以被分组的特征点组为基准设定的水平边缘选取区域内由所述水平边缘提取部提取出的水平边缘中满足所述规定条件的水平边缘。
(5)作为本发明的另一个技术方案，在(1)～(4)中的任一物体检测装置中，当所述水平边缘选取区域与检测对象物的设想尺寸不同时，所述检测对象物识别部可以扩大或缩小所述水平边缘选取区域来进行修正，其中，检测对象物的设想尺寸是根据检测对象物在所述摄像部拍摄到的图像中的位置得出的。
(6)作为本发明的另一个技术方案，(1)～(5)中的任一物体检测装置中，当所述水平边缘选取区域被设定为相对于从所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部可以朝向所述摄像部拍摄的图像的中央的方向扩大所述水平边缘选取区域来进行修正。
(7)作为本发明的另一个技术方案，(1)～(6)中的物体检测装置中，当所述水平边缘选取区域被设定为相对于所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部将所述水平边缘选取区域的被所述中央线分割而成的局部区域中范围较大的那一局部区域缩小来进行修正。
(8)作为本发明的另一个技术方案，(1)～(7)中的任一物体检测装置中，当所述水平边缘选取区域被设定为从所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部将所述水平边缘选取区域的被所述中央线分割而成的局部区域中范围较小的那一局部区域扩大来进行修正。
(9)本发明的一个技术方案所涉及的驾驶辅助装置具有(1)～(8)中的任一技术方案的物体检测装置和依据所述物体检测装置的检测结果对所述车辆进行驾驶辅助的驾驶辅助部。
(10)本发明的一个技术方案为一种物体检测方法，该方法利用物体检测装置在摄像部拍摄到的图像的探索区域中提取作为大致水平方向成分的特征线的水平边缘，在以所提取到的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物。
(11)本发明的一个技术方案为具有物体检测程序的计算机能够读取的非暂时性存储介质，所述物体检测程序使物体检测装置的控制计算机，在摄像部拍摄到的图像的探索区域中提取作为大致水平方向成分的特征线的水平边缘，在以所提取到的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物。
若采用上述技术方案(1)、(10)及(11)，由于在摄像部拍摄的图像的探索区域中提取作为大致水平方向成分的特征线的水平边缘，在以所述提取的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物，因而既能够缩短处理时间，又能够提高检测精度。
若采用上述技术方案(2)，通过将规定条件定义为水平边缘提取部提取的水平边缘中位于最下侧的边缘，从而，能够以从保险杠下部及车体的影子等明确显露的水平边缘为基准设定识别区域，因而可以更适当的设定识别区域。
若采用上述技术方案(3)，由于识别区域设定为，位于规定水平边缘上侧的部分大于位于规定水平边缘下侧的部分，因而能够以因为保险杆下部或车体的影子等而明确显现出来的水平边缘为基准，将车体存在的可能性较高的区域设定为识别区域。
若采用上述技术方案(4)，由于具有从摄像部拍摄的图像提取特征点的特征点提取部，并且检测对象物识别部将特征点提取部提取的多个特征点分组，并在以水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物，其中，水平边缘为在以分组的特征点组为基准设定的水平边缘选取区域内由水平边缘提取部提取的边缘，因而能够将推测为实际存在检测对象物的区域设定为识别区域。
若采用上述技术方案(5)～(8)，通过自由修正以特征点为基准设定的水平边缘选取区域，能够在存在检测对象物的可能性较高的图像上的位置上设定水平边缘选取区域，并且能够高精度提取规定水平边缘。
若采用上述技术方案(9)，能够依据由物体检测装置迅速且高精度检测到的对象物体，执行较佳的驾驶辅助。
附图说明
图1是示意性表示具体实施方式中的具有物体检测装置的驾驶辅助装置的结构的一个例子的附图。
图2是表示具有物体检测装置的驾驶辅助装置的功能结构例的附图。
图3是用于说明特征点分组化处理部设定水平边缘选取区域时的处理的附图。
图4是用于说明重合判定部缩小修正水平边缘选取区域时的处理的附图。
图5是用于说明重合判定部朝向拍摄图像的中央方向对水平边缘选取区域进行扩大修正时的处理的附图。
图6是用于说明重合判定部对被中央线分割的水平边缘选取区域的区域中较窄区域进行扩大修正时的处理的附图。
图7是用于说明重合判定部对被中央线分割的水平边缘选取区域的区域中较宽区域进行缩小修正时的处理的附图。
图8是用于说明检测对象物识别部设定识别区域时的处理的附图。
图9是表示具体实施方式的控制装置执行处理的一个例子的流程图。
图10是表示具体实施方式的重合判定部执行修正处理的一个例子的流程图。
图11表示具体实施方式的重合判定部执行的修正处理的另一个例子的流程图。
具体实施方式
下面，参照附图，说明本发明的物体检测装置、驾驶辅助装置、物体检测方法及物体检测程序的具体实施方式。
下面，说明具有本发明的一个实施方式所涉及的物体检测装置5的驾驶辅助装置1的具体实施方式。
图1是示意性地表示具有实施方式所涉及的物体检测装置的驾驶辅助装置的结构的一个例子的附图。驾驶辅助装置1为例如安装在车辆M上的装置，具有摄像头10和控制装置20。下面将安装有物体检测装置5的车辆称为“自身车辆”。另外，将与自身车辆行驶方向相同且在自身车辆的前方行驶的车辆称为“前方车辆”。
摄像头10为利用例如安装在前风挡的上部或车厢内后视镜的背面等上的CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)等的固体摄像元件(solid-state image sensor)的数码摄像头。摄像头10例如以规定周期反复对自身车辆的前方进行摄像，并将拍摄到的图像的图像数据输出至控制装置20。另外，摄像头10也可以是适合夜间使用的红外线摄像头。
控制装置20例如为通过内部总线将处理器、存储装置和通信接口等连接在一起而构成的计算机装置，处理器例如包括CPU(Central Processing Unit)等，存储装置例如包括ROM(Read Only Memory)或RAM(Random Access Memory)、HDD(Hard Disk Drive)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、闪存等，通信接口用于与车辆内其他装置通信。
图2为表示具有物体检测装置的驾驶辅助装置的功能结构例的附图。物体检测装置5的控制装置20具有特征点提取部22、特征点对应判定部24、三维坐标算出部26、特征点分组化处理部28、水平边缘提取部30、重合判定部(重合情况判定部)40、边缘选取处理部42、检测(检出)对象物识别部44以及检测对象物位置算出部46。这些各功能部为例如通过处理器执行存储在存储装置内的程序来实现功能的软件功能部。处理器执行的程序也可以在自身车辆出厂时预先存储在存储装置，也可以将存储在便携式存储介质中的程序安装到控制装置20的存储装置。另外，程序也可以通过车载互联网设备从另一个计算机装置上下载，然后安装到控制装置20的存储装置。另外，上述功能部中的部分或全部也可以是LSI(Large Scale Integration)或ASIC(Application Specific Integrated Circuit)等的硬件功能部。另外，控制装置20与车辆控制部50和显示警告控制部52连接。车辆控制部50和显示警告控制部52也可以是与控制装置20所属相同的计算机的另一种功能，也可以是与控制装置20不同的其他计算机的功能。
首先，说明水平边缘提取部30。水平边缘提取部30在摄像头10拍摄的图像(下面称为“拍摄图像”)的任意的探索区域中提取出大致沿着水平方向分布的特征线水平边缘。水平边缘是指：例如，在将与纵向相邻像素之间的辉度斜率比规定值大的像素连接在一起的线中，方向大致呈水平方向(图像中的横向)的线(的图像)。大致呈水平方向定义为：与图像中的横向的夹角在正负5度以内等。另外，水平边缘也可以是在连接利用与特征点提取部22相同的方法提取出的特征点的线中，方向大致呈水平方向的的线。
特征点提取部22从拍摄图像中提取特征点。特征点是指：例如，与上下左右相邻的像素之间的辉度斜率的平均值(平均值是一个例子)大于规定值的像素。作为提取特征点的方法，可以适当利用例如HARRIS检测算子或SUSAN检测算子等的公知方法或新的方法。
特征点对应判定部(特征点对应关系判定部)24在多个拍摄图像之间(例如，连续的2帧拍摄图像间)，判定特征点提取部22提取的特征点的对应关系。作为判定特征点的对应关系的方法，例如是在连续的2帧图像间对运动的特征点与其他的几乎静止的对象物的特征点分别进行对应关系判定，分别判定它们是否为相同的对象物，上述的运动的特征点例如是拍摄图像中的位移量大于规定值的特征点。可以适当利用公知技术KLT(KanadeLucas Tomasi)追踪方法或新方法。
三维坐标算出部26依据多帧之间图像的特征点的对应关系，算出特征点的三维坐标。例如，特征点的三维坐标可以通过公知技术SFM(Structure From Motion)获取，也可以适当利用其他公知方法或新方法。
特征点分组化处理部28根据三维坐标算出部26算出的各特征点的三维坐标将被推定为同一个物体的特征点分到同一组，并设定包含被分组的特征点组的水平边缘选取区域。
水平边缘选取区域为特征点分组处理部28设定的区域，用于从水平边缘提取部30提取的水平边缘中提取后述的规定水平边缘。图3用于说明，特征点分组化处理部28对拍摄图像IM中的特征点进行分组化处理并设定包含被分组的特征点组的水平边缘选取区域A1时的处理，其中，在分组化处理中，特征点分组化处理部28将被推定为属于同一物体的特征点CP分为一组。当拍摄图像是对检测对象物OB(前方车辆)进行摄像得到的拍摄图像IM时，容易提取到集中于保险杆及号码牌、尾灯等位置处的特征点CP。特征点分组处理部28将通过多个拍摄图像IM提取的、被推测为属于相同物体的特征点分为一组，并设定水平边缘选取区域A1，使其包含被分组的特征点组。特征点分组化处理部28例如根据由SFM法算出的三维坐标来对特征点进行分组化处理，从而将特征点CP分组。在物体例如是前方车辆的情况下，由于其运动与静止物不同，因而能够提取出被推测为“是前方车辆的特征点”的特征点CP。
这里，特征点分组化处理部28将水平边缘选取区域A1设定为，比包含分组的特征点组的最小矩形区域大。由于特征点CP容易是从前方车辆的中央部中检测出的特征点，因而包含被分组的特征点组的最小矩形区域不包含前方车辆整体的可能性较高。
重合判定部40判定水平边缘提取部30提取的水平边缘与特征点分组化处理部28设定的水平边缘选取区域A1的重合度(重合情况)，从而提取出与水平边缘选取区域A1重合的水平边缘。重合判定部40可以提取出一部分与水平边缘选取区域A1重合的水平边缘HE，也可以将该边缘HE排除(不提取)。
在本实施方式中，可以自由地修正以特征点CP为基准设定的水平边缘选取区域A1。当水平边缘选取区域A1与根据在拍摄图像IM中的位置得出的检测对象物OB的设想尺寸不同时，重合判定部40对水平边缘选取区域进行修正，使其扩大或缩小。例如，重合判定部40依据拍摄图像IM中的水平边缘选取区域A1的代表点或边等的位置，对水平边缘选取区域A1进行扩大修正或缩小修正。另外，重合判定部40可以依据三维坐标算出部26算出的各特征点的三维坐标，对特征点分组化处理部28设定的水平边缘选取区域A1，进行基于偏移量的修正。重合判定部40在计算偏移量时，依据水平边缘选取区域A1的代表点的位置或三维坐标算出部26算出的各特征点的三维坐标，算出物体与自身车辆的距离，自身车辆与物体的距离越小，偏移量设定得越大。其原因在于，物体距离自身车辆的位置越近，该物体在拍摄图像IM中的尺寸越大。另外，重合判定部40按照根据偏移量得到的尺寸，对水平边缘选取区域A1进行扩大修正或缩小修正。由此，物体检测装置5能够更准确地检测前方车辆。此外，在后述的图5、6、7中说明的处理中，也可以利用偏移量来决定扩大或缩小的量。此外，也可以并不是在特征点分组化处理部28设定了水平边缘选取区域A1后进行上述修正，而是依据初始时拍摄图像IM中的被分组的特征点组等的位置，来决定水平边缘选取区域A1的尺寸。
另外，当水平边缘选取区域A1大于根据拍摄图像IM中的位置导出的检测对象物OB的设想尺寸时，重合判定部40可以根据与基于上述偏移量的处理相同的方式，对水平边缘选取区域A1进行缩小修正的处理。图4是用于说明重合判定部40缩小修正水平边缘选取区域A1时的处理的图。如图所示，在拍摄图像IM中，设定的水平边缘选取区域A1的尺寸大于根据拍摄图像IM中的水平边缘选取区域A1的代表点(例如重心G、四角、各边的中心点等)的位置导出的检测对象物OB的设想尺寸时，重合判定部40进行缩小修正。例如，重合判定部40假定检测对象物OB的重心G存在于水平边缘选取区域A1的重心G上，导出在该图像的位置上存在的检测对象物OB(前方车辆)的标准图像尺寸(在图像上的标准尺寸)。重合判定部40例如参照规定了重心G的位置与尺寸的关系的表单数据(table data)，导出上述标准的图像上的尺寸。并且，重合判定部40对边缘选取区域A1进行缩小修正，使其缩小到，按照导出的标准图像的尺寸、以重心G为重心在图像上绘制对象物时的区域。在图中，A1#表示修正后的水平边缘选取区域。此外，当水平边缘选取区域A1小于根据拍摄图像IM中的位置导出的检测对象物OB的设想尺寸时，重合判定部40扩大修正水平边缘选取区域A1。
另外，当水平边缘选取区域A1相对于拍摄图像IM的左右方向中央部向左或向右偏移时，重合判定部40也可以朝向拍摄图像IM的中央方向扩大修正水平边缘选取区域A1。图5用于说明重合判定部40朝向拍摄图像IM的中央方向扩大修正水平边缘选取区域A1时的处理的图。如图所示，水平边缘选取区域A1相对于拍摄图像IM的横向上的中央线IM1向左或向右偏离时，重合判定部40朝向拍摄图像IM的中央部扩大修正边缘选取区域A1。可以自由决定朝向的中央部对边缘选取区域A1进行扩大修正的修正量，此外，例如也可以规定扩大修正的限度为至中央线IM1。
另外，当水平边缘选取区域A1相对于拍摄图像IM的左右方向中央部向左或向右偏移时，重合判定部40也可以将以中央线IM1分割水平边缘选取区域A1得到的区域中较窄的区域扩大，以进行上述修正。图6是用于说明重合判定部40扩大修正以中央线IM1分割水平边缘选取区域A1得到的区域中较窄的区域时的处理的附图。
另外，当水平边缘选取区域A1相对于拍摄图像IM的左右方向涉及的中央部向向左或向右偏移时，可以与图6所示的处理相反，重合判定部40缩小修正以中央线IM1分割水平边缘选取区域A1得到的区域中较宽的区域。图7是用于说明表示重合判定部40缩小修正以中央线IM1分割水平边缘选取区域A1得到的区域中较宽的区域时的处理的附图。在图5～7所示的任一情况下，对水平边缘选取区域A1进行修正，使其包含拍摄图像IM的中央部附近的区域。从而，设定水平边缘选取区域A1，使其包含物体识别的必要性最高的自身车辆的行驶方向上存在的前方车辆。由此，物体检测装置5能够更准确地检测前方车辆。
边缘选取处理部42进行进行选取处理，从水平边缘HE中选取满足规定条件的水平边缘(规定水平边缘)。本实施方式中规定条件是指，在特征点分组处理部28设定的水平边缘选取区域A1内的水平边缘HE中，位于最下侧的位置。此外，规定水平边缘也可以定义为，在水平边缘选取区域A1内的水平边缘HE中，位于下数第二、第三位置的水平边缘。进行这样的处理是基于如下考虑，即，水平边缘选取区域A1内的水平边缘HE可以被认为是从同一个物体提取出的边缘，对于从同一个物体提取的水平边缘HE，只选取其中一个边缘作为基准进行识别处理即可，因而，可以只留下最有用的、位于下端的水平边缘HE，剔除其余的水平边缘HE(距离下端有一定高度的图像)。
检测对象物识别部44以边缘选取处理部42选取的规定水平边缘为基准设定识别区域。图8是用于说明检测对象物识别部44设定识别区域A2时的处理的附图。检测对象物识别部44将例如向规定水平边缘HE＊的上侧扩大100像素、从规定水平边缘HE＊的左端向左侧扩大20像素、从规定水平边缘HE＊的右端向右侧扩大20像素以及向规定水平边缘HE＊的下侧扩大10像素的区域设定为识别区域。另外，检测对象物识别部44可以依据规定水平边缘HE＊的图像上的位置，变更设定的识别区域的尺寸。例如，当规定水平边缘HE＊存在于拍摄图像IM的下侧附近时，与上述情况相比，设定范围较广的识别区域，例如，可以将向规定水平边缘HE＊的上侧扩大150像素、从规定水平边缘HE＊的左端向左侧扩大30像素、从规定水平边缘HE＊的右端向右侧扩大30像素以及向规定水平边缘HE＊的下侧扩大15像素的区域设定为识别区域。与之相反，当规定水平边缘HE＊存在于拍摄图像IM的上侧附近时，与上述情况相比，设定范围较小的识别区域，例如，可以将向规定水平边缘HE＊的上侧缩小70像素，从规定水平边缘HE＊的左端向左侧缩小14像素，从规定水平边缘HE＊的右端向右侧缩小14像素及向规定水平边缘HE＊的下侧扩大7像素的区域设定为识别区域。并且，检测对象物识别部44在设定的识别区域A2中，例如，对特征点CP进行模式匹配(模板匹配，即，与模板比较)，从而进行识别处理，以识别检测对象物(检出对象物)。
这里，也可以将水平边缘选取区域A1原封不动地当做识别区域A2，此时，由于特征点CP容易出现在前方车辆的中央部，因而难以设定准确地识别区域A2。因此，在本实施方式的物体检测装置5中，通过以规定水平边缘HE＊为基准设定识别区域A2，能够进行准确地物体识别。
检测对象物位置算出部46判定具有三维坐标的特征点的位置关系，并算出检测对象物的位置(距离及横向位置)。另外，检测对象物位置算出部46根据拍摄检测对象物在每帧图像上的位置变化，来算出检测对象物的速度。
车辆控制部50依据检测对象物位置算出部46算出的检测对象物的位置进行各种安全控制，从而使车辆的驾驶者能够安全驾驶。例如，可以利用控制装置20进行自身车辆的速度控制，以使其与检测到的前方车辆保持一定的车距，也可以依据检测对象物的位置进行自身车辆的自动制动控制或自动转向控制。
显示警告控制部52依据检测对象物位置算出部46算出的检测对象物的位置，在车内的液晶显示器等的显示装置上显示引起车内注意或警告的信息。另外，表示引起注意或警告的信息也可以通过安全带的束紧或报警音、振动等传递给驾驶者。
[控制装置20的动作流程]
图9表示本实施方式的控制装置20执行的处理的一个例子的流程图。本流程例如以规定周期被反复执行。首先，特征点分组处理部28根据三维坐标算出部26算出的各特征点的三维坐标将被推定为属于同一物体的特征点分在同一组(步骤S100)，设定包含被分组的特征点组的水平边缘选取区域(步骤S102)。
之后，重合判定部40对水平边缘选取区域进行修正(步骤S104)。步骤S104的处理的具体内容将在后面利用图10、11说明。此外，也可以省略该步骤S104。之后，水平边缘提取部30提取水平边缘(步骤S106)。之后，边缘选取处理部42判定水平边缘选取区域中是否存在多个水平边缘(步骤S108)。当水平边缘选取区域存在多个水平边缘时，边缘选取处理部42通过从多个水平边缘选取满足规定条件的水平边缘，来选择出规定水平边缘(步骤S110)。
之后，检测对象物识别部44以边缘选取处理部42选取的规定水平边缘为基准设定识别区域设定(步骤S112)。并且，检测对象物识别部44在设定的识别区域中进行识别处理，以识别检测对象物，检测对象物位置算出部46判定具有三维坐标的特征点的位置关系，算出检测对象物的位置(步骤S114)。该一系列的处理也适用于其他分组的特征点组(步骤S116)。由此，结束本流程图的处理。
[重合判定部40的修正动作处理的流程(步骤S104)]
图10表示一个实施方式的重合判定部40执行的修正处理的一个例子的流程图。本流程图的处理相当于图9的流程图中的步骤S104的处理。首先，重合判定部40算出特征点分组化处理部28设定的水平边缘选取区域A1的偏移量(步骤S200)。重合判定部40依据算出的偏移量，对水平边缘选取区域A1进行修正(步骤S202)。
其次，重合判定部40判定水平边缘选取区域A1是否相对于拍摄图像IM的左右方向上的中央部向左或向右偏移(步骤S204)。当没有相对于中央部向左右任一方向偏离时，结束本流程的1个循环。当水平边缘选取区域A1相对于拍摄图像IM的左右方向上的中央部向左或向右偏移时，重合判定部40判定水平边缘选取区域A1是否仅存在于中央线IM1的一侧(任一侧，步骤S206)。当水平边缘选取区域A1仅存在于中央线IM1的一侧时，重合判定部40朝向拍摄图像IM的中央方向扩大修正水平边缘选取区域A1(步骤S208)。当水平边缘选取区域A1横跨中央线IM1、存在于中央线IM1的两侧时，重合判定部40将以中央线IM1分割水平边缘选取区域A1的区域中较窄的区域扩大(步骤S210)。取代步骤S210的处理，重合判定部40也可以缩小修正以中央线IM1分割水平边缘选取区域A1的区域中较宽的区域。
取代图10的处理，重合判定部40也可以进行图11所示的处理。图11是表示本实施方式的重合判定部40执行的修正处理的另一个例子的流程图。首先，重合判定部40判定特征点分组处理部28设定的水平边缘选取区域A1的尺寸是否与拍摄图像IM中的位置导出的检测对象物OB的设想尺寸不同(步骤S200-1)。“不同”可具体被定义为相对于设想尺寸超出容许范围，容许范围是相对于设想尺寸在正/负方向上有一定差值的范围。当特征点分组处理部28设定的水平边缘选取区域A1的尺寸与拍摄图像IM中的位置导出的检测对象物OB的假定尺寸不同时，重合判定部40对水平边缘选取区域A1进行缩小或扩大的修正(步骤S202-1)。此后的处理与图10所示的处理相同，因而省略其说明。
若采用以上说明的一个实施方式的物体检测装置5，由于在摄像部10拍摄的图像的探索区域中，水平边缘提取部30提取作为大致水平方向成分的特征线的水平边缘，检测对象物识别部44以水平边缘提取部提取的水平边缘中满足规定条件的规定水平边缘为基准设定识别区域，并识别检测对象物，因而不会使处理时间大幅增加，并能够实现提高检测率(检出率)、降低误检测。即，既能够缩短处理时间，也能够提高检测精度。
另外，若采用本实施方式的驾驶辅助装置1，车辆控制部50和显示警告控制部52依据检测对象物位置算出部46的算出结果，进行车辆的驾驶辅助，控制自身车辆的速度，从而使其与前方车辆保持一定车距，依据检测对象物的位置进行自身车辆的自动制动控制或自动转向控制，在液晶显示器等的显示装置上显示引起注意或警告的信息，通过以上适当的辅助驾驶，有助于安全驾驶。
上面虽然说明了用于实施本发明的实施方式，当然本发明并不限定于该实施方式，可以在不脱离本发明的主旨范围内，进行各种变形及置换。
Claims (9)
1.一种物体检测装置，其特征在于，
包括：摄像部，其对车辆的周边进行摄像；
特征点提取部，其从所述摄像部拍摄到的图像中提取特征点；
水平边缘提取部，其在所述摄像部拍摄到的图像的探索区域中，提取作为大致水平方向成分的特征线的水平边缘；
检测对象物识别部，其将所述特征点提取部提取的多个特征点分组，在以由所述水平边缘提取部在以被分组的特征点组为基准设定的水平边缘选取区域内提取出的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物。
2.根据权利要求1所述的物体检测装置，其特征在于，
所述规定条件为，在所述水平边缘提取部提取的水平边缘中位于最下侧。
3.根据权利要求1所述的物体检测装置，其特征在于，
所述识别区域设定为，位于所述规定水平边缘上侧的部分比位于所述规定水平边缘下侧的部分大。
4.根据权利要求1所述的物体检测装置，其特征在于，
当所述水平边缘选取区域与检测对象物的设想尺寸不同时，所述检测对象物识别部扩大或缩小所述水平边缘选取区域来对其进行修正，其中，检测对象物的设想尺寸是根据检测对象物在所述摄像部拍摄到的图像中的位置得出的。
5.根据权利要求1所述的物体检测装置，其特征在于，
当所述水平边缘选取区域被设定为相对于所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部朝向所述摄像部拍摄的图像的中央的方向扩大所述水平边缘选取区域来进行修正。
6.根据权利要求1所述的物体检测装置，其特征在于，
当所述水平边缘选取区域被设定为相对于所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部将所述水平边缘选取区域的被所述中央线分割而成的局部区域中范围较大的那一局部区域缩小来进行修正。
7.根据权利要求1～6中任一项所述的物体检测装置，其特征在于，
当所述水平边缘选取区域被设定为从所述摄像部拍摄的图像的位于左右方向中央的中央线向左或向右偏移时，所述检测对象物识别部将所述水平边缘选取区域的被所述中央线分割而成的局部区域中范围较小的那一局部区域扩大来进行修正。
8.一种驾驶辅助装置，其特征在于，
包括：权利要求1～6中任一项所述物体检测装置；以及
驾驶辅助部，其依据所述物体检测装置的检测结果对所述车辆进行驾驶辅助。
9.一种物体检测方法，其特征在于，
利用物体检测装置，
从摄像部拍摄到的图像中提取特征点，
在摄像部拍摄到的图像的探索区域中提取作为大致水平方向成分的特征线的水平边缘，
将所述特征点提取部提取的多个特征点分组，在以所提取到的水平边缘中满足规定条件的规定水平边缘为基准设定的识别区域内，识别检测对象物，
所述规定水平边缘是在以被分组的特征点组为基准设定的水平边缘选取区域内提取出的水平边缘中满足规定条件的水平边缘。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014-103615 | 2014-05-19 | ||
| JP2014103615A JP6163453B2 (ja) | 2014-05-19 | 2014-05-19 | 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105096655A CN105096655A (zh) | 2015-11-25 |
| CN105096655B true CN105096655B (zh) | 2017-10-31 |
Family
ID=54361899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510247020.3A Active CN105096655B (zh) | 2014-05-19 | 2015-05-14 | 物体检测装置、驾驶辅助装置、物体检测方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10325171B2 (zh) |
| JP (1) | JP6163453B2 (zh) |
| CN (1) | CN105096655B (zh) |
| DE (1) | DE102015208782A1 (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015008380A1 (ja) * | 2013-07-19 | 2015-01-22 | 本田技研工業株式会社 | 車両の走行安全装置、車両の走行安全方法および車両の走行安全プログラム |
| CN106573588B (zh) * | 2014-08-21 | 2019-01-25 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助方法和程序 |
| CN108140309B (zh) | 2015-11-20 | 2020-12-08 | 三菱电机株式会社 | 驾驶辅助装置、驾驶辅助***以及驾驶辅助方法 |
| JP6661082B2 (ja) * | 2016-03-30 | 2020-03-11 | 株式会社エクォス・リサーチ | 画像認識装置、及び画像認識プログラム |
| KR101949358B1 (ko) * | 2016-04-04 | 2019-02-18 | 엘지전자 주식회사 | 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량 |
| KR102485317B1 (ko) * | 2016-05-26 | 2023-01-05 | 현대자동차주식회사 | 움직임 정보에 기반한 장애물 검출 시스템 및 방법 |
| KR101795270B1 (ko) * | 2016-06-09 | 2017-11-07 | 현대자동차주식회사 | 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치 |
| US11366481B2 (en) * | 2017-08-07 | 2022-06-21 | Panasonic Holdings Corporation | Mobile body and method of controlling mobile body |
| JP2019160251A (ja) * | 2018-03-16 | 2019-09-19 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム |
| WO2020054260A1 (ja) * | 2018-09-12 | 2020-03-19 | 日立オートモティブシステムズ株式会社 | 画像認識装置 |
| US20220343757A1 (en) * | 2019-10-09 | 2022-10-27 | Sony Group Corporation | Information processing apparatus, information processing system, and information processing method |
| CN112585945A (zh) * | 2020-02-26 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 对焦方法、装置及设备 |
| JP2022014975A (ja) * | 2020-07-08 | 2022-01-21 | トヨタ自動車株式会社 | 車両周辺監視装置 |
| KR20220037531A (ko) * | 2020-09-17 | 2022-03-25 | 현대자동차주식회사 | 차량 및 그 제어방법 |
| JP2022087914A (ja) * | 2020-12-02 | 2022-06-14 | 本田技研工業株式会社 | 車両位置推定装置 |
| JP7324819B2 (ja) * | 2021-10-12 | 2023-08-10 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| CN114162376B (zh) * | 2021-11-24 | 2023-04-25 | 龙岩烟草工业有限责任公司 | 烟包外观质量检测方法以及烟包外观质量检测装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5487116A (en) * | 1993-05-25 | 1996-01-23 | Matsushita Electric Industrial Co., Ltd. | Vehicle recognition apparatus |
| JP3072730B2 (ja) | 1998-10-09 | 2000-08-07 | 日本電気株式会社 | 車両検出方法および装置 |
| DE19926559A1 (de) | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
| JP2001134769A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| JP2001134772A (ja) * | 1999-11-04 | 2001-05-18 | Honda Motor Co Ltd | 対象物認識装置 |
| JP2001331788A (ja) * | 2000-05-22 | 2001-11-30 | Mitsubishi Electric Corp | 車両検出装置 |
| DE10324895A1 (de) | 2003-05-30 | 2004-12-16 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Objektortung für Kraftfahrzeuge |
| JP3864945B2 (ja) | 2003-09-24 | 2007-01-10 | アイシン精機株式会社 | 路面走行レーン検出装置 |
| JP3977802B2 (ja) * | 2003-12-16 | 2007-09-19 | 株式会社東芝 | 障害物検出装置、障害物検出方法および障害物検出プログラム |
| JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
| US7899211B2 (en) | 2005-12-07 | 2011-03-01 | Nissan Motor Co., Ltd. | Object detecting system and object detecting method |
| CN101029824B (zh) | 2006-02-28 | 2011-10-26 | 东软集团股份有限公司 | 基于车辆特征的车辆定位方法和装置 |
| JP4797794B2 (ja) * | 2006-05-24 | 2011-10-19 | 日産自動車株式会社 | 歩行者検出装置および歩行者検出方法 |
| JP4697063B2 (ja) * | 2006-06-20 | 2011-06-08 | 日産自動車株式会社 | 接近車両検出装置 |
| JP4793324B2 (ja) * | 2007-05-30 | 2011-10-12 | 株式会社日立製作所 | 車両監視装置および車両監視方法 |
| DE102008011228A1 (de) | 2008-02-26 | 2009-08-27 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Nutzers eines Fahrzeugs, Steuereinrichtung für ein Fahrerassistenzsystem eines Fahrzeugs und Fahrzeug mit einer derartigen Steuereinrichtung |
| JP4580005B2 (ja) * | 2008-05-30 | 2010-11-10 | 本田技研工業株式会社 | 対象物認識装置 |
| WO2011155152A1 (ja) | 2010-06-07 | 2011-12-15 | 本田技研工業株式会社 | 車両の周辺監視装置 |
| JP5561064B2 (ja) * | 2010-09-24 | 2014-07-30 | トヨタ自動車株式会社 | 車両用対象物認識装置 |
| JP5907700B2 (ja) * | 2011-11-18 | 2016-04-26 | クラリオン株式会社 | 画像処理装置、車両システム、及び、画像処理方法 |
| JP5930806B2 (ja) * | 2012-03-30 | 2016-06-08 | 富士通テン株式会社 | 検知装置、及び検知方法 |
| JP5786793B2 (ja) * | 2012-05-09 | 2015-09-30 | 株式会社デンソー | 車両検出装置 |
| JP2014021510A (ja) * | 2012-07-12 | 2014-02-03 | Jvc Kenwood Corp | 画像処理装置および画像処理方法、ならびに、プログラム |
-
2014
- 2014-05-19 JP JP2014103615A patent/JP6163453B2/ja not_active Expired - Fee Related
-
2015
- 2015-05-12 DE DE102015208782.4A patent/DE102015208782A1/de active Pending
- 2015-05-13 US US14/710,754 patent/US10325171B2/en active Active
- 2015-05-14 CN CN201510247020.3A patent/CN105096655B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015219773A (ja) | 2015-12-07 |
| DE102015208782A1 (de) | 2015-11-19 |
| JP6163453B2 (ja) | 2017-07-12 |
| US20150329049A1 (en) | 2015-11-19 |
| CN105096655A (zh) | 2015-11-25 |
| US10325171B2 (en) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105096655B (zh) | 物体检测装置、驾驶辅助装置、物体检测方法 | |
| JP6942712B2 (ja) | コンテキスト及び深さ順序を用いる、部分的に遮られた物体の検出 | |
| CN107038723B (zh) | 棒状像素估计方法和*** | |
| US9912933B2 (en) | Road surface detection device and road surface detection system | |
| US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
| JP4631096B2 (ja) | 車両周辺監視装置 | |
| US20140071240A1 (en) | Free space detection system and method for a vehicle using stereo vision | |
| CN107924465A (zh) | 物体识别装置、物体识别方法以及物体识别程序 | |
| CN107750213B (zh) | 前方车辆碰撞报警装置及报警方法 | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| CN104981836B (zh) | 障碍物检测装置和障碍物检测方法 | |
| JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
| US11017552B2 (en) | Measurement method and apparatus | |
| US10902632B2 (en) | Position detection apparatus and position detection method | |
| CN113256701B (zh) | 一种距离的获取方法、装置、设备及可读存储介质 | |
| US11889047B2 (en) | Image processing device and image processing method | |
| JP2021033510A (ja) | 運転支援装置 | |
| EP3082069A1 (en) | Stereoscopic object detection device and stereoscopic object detection method | |
| US9639763B2 (en) | Image target detecting apparatus and method | |
| CN108292441B (zh) | 用于机动车辆的视觉***和控制视觉***的方法 | |
| US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
| EP3207523A1 (en) | Obstacle detection apparatus and method | |
| JP7064400B2 (ja) | 物体検知装置 | |
| JP7134780B2 (ja) | ステレオカメラ装置 | |
| JP5958368B2 (ja) | 白線検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |