CN104885122A - 车辆周围监测装置 - Google Patents

车辆周围监测装置 Download PDF

Info

Publication number
CN104885122A
CN104885122A CN201380067434.7A CN201380067434A CN104885122A CN 104885122 A CN104885122 A CN 104885122A CN 201380067434 A CN201380067434 A CN 201380067434A CN 104885122 A CN104885122 A CN 104885122A
Authority
CN
China
Prior art keywords
subject area
recognizer
candidate item
region candidate
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380067434.7A
Other languages
English (en)
Other versions
CN104885122B (zh
Inventor
宫川惠介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN104885122A publication Critical patent/CN104885122A/zh
Application granted granted Critical
Publication of CN104885122B publication Critical patent/CN104885122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供一种车辆周围监测装置。对象物识别部(42)具有对象物的识别处理所需的运算量相对较少的第1识别器(50)和对象物的识别处理所需的运算量相对较多的第2识别器(52)。识别对象区域确定部(40)通过对由第1识别器(50)识别为有对象物(66、68)存在而提取出的多个的区域候选项(74)进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于第2识别器(52)的识别处理的识别对象区域(95-99、105-107、112、113)。

Description

车辆周围监测装置
技术领域
本发明涉及一种根据由车载的拍摄部得到的拍摄图像来检测车辆周围存在的对象物的车辆周围监测装置。
背景技术
在现有技术中,人们公知如下一种技术,即,该技术以对车辆进行行驶辅助等为目的,检测车辆外存在的物体,或者检测物体和自车辆的相对位置关系等。尤其是,在现有技术中,人们提出了各种利用安装在车辆前方的车载摄像头(拍摄部)进行拍摄、并根据拍摄得到的拍摄图像来对物体进行检测等的方法。
例如,在“夜间行人检测”,ViEW2008,视觉技术的实际利用研讨会报告论文集,p.224-p.228中记载了如下方法,即,该方法为,对整个拍摄图像进行运算时间较短且简单的1次识别处理(例如,推进法(Boosting)),提取出多个区域候选项,之后,对各区域候选项依次进行运算时间较长且详细的2次识别处理{例如,SVM(SupportVector machine)}。
虽然通过执行简单的1次识别处理,能够捕捉到(识别出)对象物的形态,但是却不能够正确地检测出对象物的位置。即,即使对于同一对象物,有时也会提取出位置等稍微不同的多个区域候选项。因此,存在如下问题:在进行2次识别处理时,不得不对同一对象物执行实质上无用的运算,从而不能够充分地减少运算量。
发明内容
鉴于上述情况,提出了本发明,本发明的目的在于,提供一种在进行对象物的识别处理时既能够提高识别精度又能够减少运算量的车辆周围监测装置。
本发明所涉及的车辆周围监测装置具有拍摄部、识别对象区域确定部以及对象物识别部,其中,所述拍摄部安装在车辆上,在所述车辆行驶的过程中进行拍摄,得到所述车辆周围的拍摄图像;
所述识别对象区域确定部从由所述拍摄部得到的所述拍摄图像的图像区域中确定识别对象区域;所述对象物识别部对由所述识别对象区域确定部确定的所述识别对象区域内是否存在对象物进行识别,所述对象物识别部具有第1识别器和第2识别器,其中,所述第1识别器对所述对象物进行识别处理所需的运算量相对较少,所述第2识别器对所述对象物进行识别处理所需的运算量相对较多,所述识别对象区域确定部通过对由所述第1识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于所述第2识别器的识别处理的所述识别对象区域。
这样,对象物识别部具有对象物的识别处理所需的运算量相对较少的第1识别器和对象物的识别处理所需的运算量相对较多的第2识别器,识别对象区域确定部通过对由所述第1识别器识别为有所述对象物存在而提取出的多个的区域候选项进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于所述第2识别器的识别处理的识别对象区域。从而,能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理,在进行对象物的识别处理时,既能够提高识别精度,又能够减少运算量。
另外,优选所述识别对象区域确定部将所述图像区域划分为多个子区域,并且对针对每个该子区域算出的所述区域候选项的各代表位置进行有关位置的所述聚类处理,从而确定所述识别对象区域。从而能够减少用于聚类处理的数据量(不同位置的总数),进一步提高运算处理的速度。
再者,优选所述识别对象区域确定部根据尺度将所述多个区域候选项分为2个以上的组,并且对每个该组进行所述聚类处理,从而分别确定所述识别对象区域。这样,通过由第2识别器对根据尺度被适当分组的识别对象区域进行识别处理,从而能够减少因尺度差异而引起的误差因素,进一步提高识别精度。
还有,优选所述识别对象区域确定部通过进行至少有关位置的前期的聚类处理,将所述多个区域候选项分为至少1个位置组,之后,根据尺度,分别将属于所述至少1个位置组的各区域候选项分为所述2个以上的组,分别确定所述识别对象区域。通过使用运算量相对较少的第1识别器,能够在大致相同位置提取出尺度相近的区域候选项。因此,通过将多个区域候选项分为至少1个位置组,能够预先将尺度相近而位置相离的区域候选项除外(即,不作为识别处理对象),从而能够进一步提高识别精度。
采用本发明所涉及的车辆周围监测装置时,对象物识别部具有对象物的识别处理所需的运算量相对较少的第1识别器和对象物的识别处理所需的运算量相对较多的第2识别器,识别对象区域确定部通过对由所述第1识别器识别为有所述对象物存在而提取出的多个区域候选项进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于所述第2识别器的识别处理的识别对象区域。从而,能够由运算量相对较多的第2识别器对被适当分类的识别对象区域进行识别处理,在进行对象物的识别处理时,既能够提高识别精度,又能够减少运算量。
附图说明
图1是表示本发明的实施方式所涉及的车辆周围监测装置的结构的框图。
图2是安装有图1所示的车辆周围监测装置的车辆的大致立体图。
图3是用于说明图1所示的ECU的动作的流程图。
图4A是表示通过摄像头拍摄得到的拍摄图像的一个例子的示意图。图4B是表示通过第1识别处理提取区域候选项的提取结果的示意图。
图5A-图5C是表示关于位置的聚类处理的具体方法的大致说明图。
图6A是表示通过第2识别处理确定识别对象区域的确定结果的示意图。图6B是表示监测对象物的检测结果的示意图。
图7A和图7B是表示聚类处理的结果的一个例子的大致说明图。
图8是用于说明第1改良例的聚类处理的流程图。
图9是表示图8的步骤S74中的尺度划分的具体方法的大致说明图。
图10是表示第2改良例的聚类处理的具体方法的大致说明图。
具体实施方式
下面,参照附图对本发明所涉及的车辆周围监测装置的具体实施方式进行说明。
[车辆周围监测装置10的结构]
图1是表示本实施方式所涉及的车辆周围监测装置10的结构的框图。图2是安装有图1所示的车辆周围监测装置10的车辆12的大致立体图。
如图1和图2所示,车辆周围监测装置10具有:彩色摄像头(下面,仅称为“摄像头14”),其拍摄由多个颜色通道构成的彩色图像(下面称为拍摄图像Im);车速传感器16,其检测出车辆12的车速Vs;偏航角速度传感器18,其检测出车辆12的偏航角速度Yr;制动传感器20,其检测出驾驶员对制动踏板的操作量Br;电子控制装置(下面称为“ECU22”),其控制该车辆周围监测装置10;扬声器24,其用于通过声音发出警报等;显示装置26,其显示由摄像头14输出的拍摄图像等。
摄像头14是主要利用波长处于可见光波长范围的光的摄像头,其作为拍摄车辆12周围的拍摄机构(拍摄部)发挥功能。摄像头14具有如下特性:由被摄物体的表面反射的光量越多,该摄像头14的输出信号水平越高,图像的亮度(例如,RGB值)也随之增加。如图2所示,摄像头14固定配置(安装)在车辆12的前保险杠部的大致中心部。
另外,对车辆12的周围进行拍摄的拍摄机构并不局限于上述结构例(即,单眼摄像头),例如,也可以为复眼摄像头(立体摄像头)。另外,代替彩色摄像头,可以使用黑白摄像头或者红外线摄像头,或者也可以组合使用这些摄像头。还有,在采用单眼摄像头时,可以组合使用其他的测距机构(雷达装置)。
参照图1,扬声器24根据来自ECU22的指令,输出警报音等。扬声器24设置在车辆12的未图示的仪表板上。或者,代替扬声器24,也可以使用其他装置(例如,音频装置或者导航装置)所具有的声音输出功能。
显示装置26(参照图1和图2)为在车辆12的前挡风玻璃上、配置于不妨碍驾驶员的前方视野的位置上的HUD(平视显示器)。显示装置26并不局限于HUD,也可以利用安装在车辆12上的用于显示导航***的地图等的显示器,或者利用设置在仪表单元内等的用于显示油耗等的显示器(MID;多功能信息显示器)。
ECU22基本上具有输入输出部28、运算部30、显示控制部32及存储部34。
来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号通过输入输出部28被输入到ECU22。另外,来自ECU22的各信号通过输入输出部28被输出到扬声器24和显示装置26。输入输出部28具有将所输入的模拟信号转换为数字信号的未图示的A/D转换电路。
运算部30执行基于来自摄像头14、车速传感器16、偏航角速度传感器18及制动传感器20的各信号的运算,并根据运算结果,生成输出给扬声器24和显示装置26的信号。运算部30具有识别对象区域确定部40(识别对象区域确定机构)、对象物识别部42(对象物识别机构)及对象物检测部44的功能。
运算部30的各部的功能是通过读取并执行存储部34内存储的程序来实现的。或者,也可以通过未图示的无线通信装置(移动电话、智能手机等)从外部提供所述程序。
显示控制部32是驱动控制显示装置26的控制电路。显示控制部32通过输入输出部28将用于显示控制的信号输出给显示装置26,以驱动显示装置26。从而使显示装置26能够显示各种图像(拍摄图像Im、标识等)。
存储部34由RAM(Random Access Memory)和ROM(Read OnlyMemory)等构成,其中,RAM存储被转换为数字信号的拍摄信号和用于各种运算处理的临时数据等;ROM存储执行程序、表格或者地图等。
本实施方式所涉及的车辆周围监测装置10基本上如上述那样构成。下面,对该车辆周围监测装置10的动作进行大致说明。
ECU22每隔规定的帧时间间隔或者周期(例如,每秒30帧),将由摄像头14输出的模拟的影像信号转换为数字信号,并将其临时存储在存储部34内。
并且,ECU22对从存储部34中读取出的拍摄图像Im(车辆12的前方图像)进行各种运算处理。ECU22考虑拍摄图像Im的处理结果、根据需要综合考虑表示车辆12的行驶状态的各信号(车速Vs、偏航角速度Yr及操作量Br),检测出车辆12前方存在的人体、动物等,将这些作为要成为监测对象的物体(下面,称为“监测对象物”或者仅称为“对象物”)。
当运算部30判断为车辆12接触监测对象物的可能性较高时,ECU22控制车辆周围监测装置10的各输出部,以唤起驾驶员的注意。ECU22例如通过扬声器24输出警报音(例如,哔哔…等声音),并且,在显示装置26上突出显示可视化后的拍摄图像Im中的该监测对象物的部位。
[车辆周围监测装置10的具体动作]
接下来,参照图3所示的流程图,对车辆周围监测装置10的具体动作进行说明。另外,在车辆12正在行驶时,每拍摄一帧图像,就执行一次本处理的流程。
在步骤S1中,ECU22获取每帧的由摄像头14拍摄到的拍摄图像Im,该拍摄图像Im是关于车辆12前方(规定视角范围)的输出信号。
如图4A所示,通过在任意时刻的拍摄,得到了一帧拍摄图像Im。拍摄图像Im所示的图像区域60呈横向长度较长的矩形(例如,横向1200像素、纵向600像素)。在该图像区域60内,从左侧按顺序分别存在有邮政信箱的图像区域(下面,仅称为“信箱62”)、电线杆的图像区域(下面,仅称为“电线杆64”)、路面的图像区域(下面,仅称为“路面65”)、第1行人的图像区域(下面,仅称为“第1行人66”)及第2行人的图像区域(下面,仅称为“第2行人68”)。
在步骤S2中,运算部30开始对拍摄图像Im进行光栅扫描。这里,光栅扫描是指使拍摄图像Im内的扫描区域70沿规定的扫描方向移动的同时,对拍摄图像Im中是否存在对象物进行依次识别的方法。这里,扫描区域70相当于要对是否存在包括第1行人66在内的对象物或者该对象物的种类进行识别的感兴趣区域。
之后,识别对象区域确定部40依次对当前指定的扫描区域70的位置和尺度(大小)进行确定。在图4A所示的例子中,矩形的扫描区域70(由虚线所示图框内的区域)被设定为包括大致整个第1行人66的区域。并且,扫描区域70的位置能够根据与实际存在的路面和第1行人的接触点相对应的位置(下面,称为接触位置72)来确定。
在步骤S3中,对象物识别部42(第1识别器50)对所确定的扫描区域70内是否存在至少1种对象物进行识别。另外,“第1识别处理”意思是指对象物的识别处理所需的运算量相对较少的识别处理,后面会对该第1识别处理进行详细说明。然后,当识别结果为存在对象物时,区域候选项提取部46提取出该对象物所存在的扫描区域70,将其作为区域候选项74(参照图4B)。
在步骤S4中,识别对象区域确定部40对规定区域内的扫描是否已经全部完成进行判别。当判别结果为规定区域内的扫描还未全部完成时(步骤S4:否),进入下一个步骤(S5)。另外,作为扫描对象的规定区域可以是整个图像区域60,也可以是该图像区域60的一部分区域。
在步骤S5中,识别对象区域确定部40对扫描区域70的位置或者尺度进行变更。具体为,识别对象区域确定部40使当前的扫描区域70向尚未进行扫描的位置移动,具体为沿规定的扫描方向(例如,右方)移动规定量(例如,1像素的量)。
之后,返回步骤S3,运算部30依次反复进行步骤S3-S5,直到规定区域内的扫描全部完成为止。当判别结果为规定区域内的扫描全部完成时(步骤S4:是),运算部30结束对拍摄图像Im的光栅扫描(步骤S6)。
如图4B所示,在图像区域60上提取出了多个区域候选项74。这里,区域候选项群75是至少包括信箱62的部位的区域候选项74的集合体。另外,区域候选项群76是至少包括电线杆64的部位的区域候选项74的集合体。再者,区域候选项群77是至少包括第1行人66的部位的区域候选项74的集合体。还有,区域候选项群78是至少包括第2行人68的部位的区域候选项74的集合体。
这里,可识别的对象物的种类除人体(图4A中的第1行人66)外,还可以为各种动物(具体为,鹿、马、羊、犬、猫等哺乳动物、鸟类等)、人工构造物(具体为,车辆、标识、电线杆、护栏、墙壁等)。在本实施方式中,对象物识别部42要对生物体(人体或者动物)进行检测。这种情况下,通过第1识别处理,能够对第1行人66和第2行人68进行正确地识别,而不能够对作为人工构造物的信箱62和电线杆64进行正确地识别。
另外,对象物识别部42通过进行简单的第1识别处理,能够捕捉到(识别出)对象物的形态,然而却不能够正确地检测出对象物的位置。即,即使对于同一对象物,有时也会提取出位置等稍微不同的多个区域候选项74。具体为,如图4B所示,在1个信箱62附近提取出了位置或者尺度不同的多个区域候选项74,形成区域候选项群75。
在步骤S7中,区域分类部48通过对在步骤S3中提取出的各区域候选项74进行聚类处理,确定至少1个识别对象区域95-98(参照图6A)。这里,聚类处理意思是指将数据集分成或者划分为(多个)子集(类)的处理,其大致分为分层法和非分层法,其中,分层法是以分层方式对数据进行分类的方法;非分层法是按照特定的评价函数对数据进行分类的方法。
区域分类部48例如采用均值漂移法(mean shift算法)和K平均法等,对多个区域候选项74进行有关位置以及/或者尺度的聚类处理,其中,均值漂移法和K平均法等为非分层法。但是,如果采用这种方法的话,运算量与数据数量的平方大致成正比,运算量会增加,因而导致区域候选项74的总数增加时,本处理的运算时间也相应增加。因此,识别对象区域确定部40(区域分类部48)将图像区域60划分为多个子区域80,对针对各子区域80算出(提取出)的区域候选项74的各代表位置进行有关位置的聚类处理。
如图5A所示,通过将图像区域60分割成格子状,以分别定义多个子区域80。在本图所示的例子中,矩形的图像区域60在平面上(二维空间)被平均分割,其行数为5,列数为10。在本图中,确定多个区域候选项74的位置的各候选项位置82在图像区域60上分别被标注出来。由圆圈所示的候选项位置82例如相当于区域候选项74中与路面和对象物之间的接触点相对应的接触位置72。
如图5B所示,预先划分的各子区域80的代表位置被确定。当1个子区域80内存在3个候选项位置82时,计算出这些候选项位置82的统计值(平均值),将其作为该子区域80的代表位置,与候选项位置82的数量(3个)一起存储起来。并且,利用均值漂移法将子区域80中的最多50个代表位置划分为至少1个组。在进行该运算(分类)时,根据候选项位置82的个数,具体而言,根据图5B的矩形方格内标注的数字,分别对评价值进行加权处理。从而能够降低用于聚类处理的数据量(不同位置的总数),进一步提高运算处理的速度。
如图5C所示,聚类处理的结果为,与4个区域候选项群75-78(参照图4B)相对应的候选项位置群85、86、87、88分别被提取出来。并且,确定分别与各候选项位置群85-88相对应的基准位置90、91、92、93。
这样,如图6A所示,识别对象区域确定部40(区域分类部48)根据基准位置90-93在图像区域60上确定4个识别对象区域95、96、97、98。另外,在图5A-图5C中,主要对多个区域候选项74的有关位置(横向和纵向)的聚类处理进行了说明,然而,也可以单独进行有关尺度的聚类处理,或者将两者组合起来使用。另外,适用于聚类处理的空间坐标系可以为三维空间(真实空间)坐标系,也可以为二维空间(例如,拍摄面)坐标系。
在步骤S8中,对象物识别部42(第2识别器52)对由步骤S7确定的识别对象区域95-98内是否存在至少1种对象物进行识别。这里,“第2识别处理”意思是指对象物的识别处理所需的运算量相对较多的识别处理。下面,对第1识别处理和第2识别处理的差异进行说明。
第1识别处理(步骤S3)是运算时间相对较短的简单处理,其能够检测出对象物的形态。另外,第2识别处理(步骤S8)是运算时间相对较长的详细处理,其能够检测出对象物的形态和位置。例如,由于如下情况等而导致运算量相对增多(运算时间变长):[1]运算对象区域大;[2]图像分辨率高;[3]图像特征量的计算方法复杂;[4]图像特征量的种类多;[5]包括对象物的类别在内进行识别;[6]包括第1识别处理的所有内容;或者[7]所使用的内存量多。
第1识别器50(或者第2识别器52)例如输入扫描区域70(或者识别对象区域95-98)的图像特征量,输出对象物的存在与否的信息,其是利用机器学习而构成的。作为机器学习的方法,可以采用监督学习、无监督学习、强化学习中的任意一种算法。学习结构例如有包括AdaBost的推进法(Boosting)、SVM(Support Vector machine)、神经网络(Neural Network)、EM(Expectation Maximization)算法等。
如图6B所示,对象物识别部42(第2识别器52)分别将作为人工构造物的信箱62和电线杆64排除在识别处理对象之外,并且,分别对第1行人66和第2行人68进行识别。这样,对象物识别部42只要对被适当分类的识别对象区域95-98进行第2识别处理即可,与将所有的区域候选项74(参照图4B)作为识别处理对象的情况相比,能够大幅度地削减运算量。
在步骤S9中,对象物检测部44对拍摄图像Im内存在的对象物、在步骤S8中识别出的第1行人66和第2行人68进行检测。可以使用一帧的识别结果,或者综合考虑多帧的识别结果,计算出同一对象物的动作矢量。
在步骤S10中,ECU22将下次运算处理所需的数据存储在存储部34内。例如,该数据为在步骤S9中所得到的对象物(图4A中的第1行人66、第2行人68)的属性以及识别对象区域97-98的位置等。
通过依次进行该动作,车辆周围监测装置10能够间隔规定时间对车辆12前方存在的对象物进行监测。
如上所述,对象物识别部42具有对象物的识别处理所需的运算量相对较少的第1识别器50和对象物的识别处理所需的运算量相对较多的第2识别器52,识别对象区域确定部40通过对由第1识别器50识别为有对象物存在而提取出的多个的区域候选项74进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于第2识别器52的识别处理的识别对象区域95-98。从而,能够由运算量相对较多的第2识别器52对被适当分类的识别对象区域95-98进行识别处理,在进行对象物的识别处理时,既能够提高识别精度,又能够减少运算量。
[聚类处理的改良例]
接下来,对本实施方式所涉及的聚类处理(参照图3中的步骤S7)的改良例进行说明。
如图7A的例子所示,针对同一对象物(第2行人68),提取出了有多个水平(级别)的尺度混在一起(包含多个不同尺度的区域候选项74)的区域候选项群78。这种情况下,对横向、纵向、尺度方向同时进行聚类处理,其结果为,有时可设定具有处于上述多个水平之间的中间水平的尺度的识别对象区域99(参照图7B)。换言之,不区分多个水平的尺度进行处理的话,有时不能够设定适当尺度的识别对象区域。因此,区域分类部48可以根据尺度,将多个区域候选项74分为2个以上的组,并对各组进行聚类处理。从而,通过对根据尺度被适当分组的识别对象区域105等(参照图9)进行第2识别处理,能够减少因尺度差异而引起的误差因素,进一步提高识别精度。
<第1改良例>
首先,参照图8和图9对第1改良例的聚类处理(图3中的步骤S7A)进行说明。图8是用于说明第1改良例的聚类处理的流程图。
在步骤S71中,区域分类部48通过进行至少有关位置的聚类处理(下面,称为1次聚类处理),将各区域候选项74分为至少1个位置组。结果,各区域候选项74被分为1个位置组,即,1个区域候选项群78(图7A)。
在步骤S72中,区域分类部48根据步骤S71的分类结果,开始进行2次聚类处理。下面,对2次聚类处理进行说明。
区域分类部48在选择了1个尚未被选择的位置组、即区域候选项群78后(步骤S73),对属于该位置组的各区域候选项74进行尺度划分(步骤S74)。
如图9所示,区域分类部48根据尺度将以横轴为尺度、纵轴为坐标(位置)的多维坐标上的各标记划分为2个以上的级别。从而,各区域候选项74被分为3个组101、102、103。
之后,区域分类部48对在步骤S73中被划分的各组进行有关位置以及/或者尺度的聚类处理(步骤S75)。该聚类处理与在步骤S7中进行的处理相同,因而省略对其的说明。
之后,区域分类部48返回至步骤S73(步骤S76:否),反复进行之后的步骤S73-S75的处理。然后,当所有的位置组(区域候选项群78)被选择,聚类处理结束时(步骤S76:是),2次聚类处理结束(步骤S77)。
从而,区域分类部48分别确定通过聚类处理被划分的各组101-103的识别对象区域105、106、107。区域分类部48能够针对同一第2行人68分别确定小尺度的识别对象区域105、中间尺度的识别对象区域106以及大尺度的识别对象区域107。
这样,识别对象区域确定部40可以通过进行至少有关位置的前期的聚类处理,将多个区域候选项74分为至少1个位置组,之后,根据尺度,分别将属于至少1个位置组的各区域候选项74分为2个以上的组,以分别确定识别对象区域105-107。
通过使用运算量相对较少的第1识别器50,能够在大致相同位置提取出尺度相近的区域候选项74。因此,通过将多个区域候选项74分为至少1个位置组,能够预先将尺度相近而位置相离的区域候选项74除外(即,不作为识别处理对象),从而能够进一步提高识别精度。
<第2改良例>
接下来,参照图10对第2改良例进行说明。
如图10所示,区域分类部48根据尺度将多个区域候选项74分为2个以上的组。在本图所示的例子中,将多个区域候选项74分为区域候选项群110和区域候选项群111,其中,该区域候选项群110是尺度大于规定阈值的区域候选项74的集合体,区域候选项群111是尺度在规定阈值以下的区域候选项74的集合体。之后,区域分类部48通过对各组进行聚类处理,来确定多个识别对象区域112、113。即,区域分类部48能够针对同一第2行人68,分别确定较小尺度的识别对象区域112和较大尺度的识别对象区域113。
这样,在第2改良例中,只要进行与被划分的组的数量相对应的聚类处理,不仅能够提高识别精度,还能够减少运算量。
[补充]
另外,本发明并不局限于上述实施方式,当然能够在不脱离本发明的主旨的范围内,自由进行变更。
例如,在本实施方式中,对由单眼摄像头(摄像头14)得到的拍摄图像Im进行上述图像处理,然而,不言而喻,使用复眼摄像头(立体摄像头)也能够得到相同的作用效果。

Claims (4)

1.一种车辆周围监测装置(10),其特征在于,具有拍摄部(14)、识别对象区域确定部(40)以及对象物识别部(42),其中,
所述拍摄部(14)安装在车辆(12)上,在所述车辆(12)行驶的过程中进行拍摄,得到所述车辆(12)周围的拍摄图像(Im);
所述识别对象区域确定部(40)从由所述拍摄部(14)得到的所述拍摄图像(Im)的图像区域(60)中确定识别对象区域(95-99、105-107、112、113);
所述对象物识别部(42)对由所述识别对象区域确定部(40)确定的所述识别对象区域(95-99、105-107、112、113)内是否存在对象物(66、68)进行识别,
所述对象物识别部(42)具有第1识别器(50)和第2识别器(52),其中,所述第1识别器(50)对所述对象物(66、68)进行识别处理所需的运算量相对较少,所述第2识别器(52)对所述对象物(66、68)进行识别处理所需的运算量相对较多,
所述识别对象区域确定部(40)通过对由所述第1识别器(50)识别为有所述对象物(66、68)存在而提取出的多个区域候选项(74)进行有关位置以及/或者尺度的聚类处理,来确定至少1个用于所述第2识别器(52)的识别处理的所述识别对象区域(95-99、105-107、112、113)。
2.根据权利要求1所述的车辆周围监测装置(10),其特征在于,
所述识别对象区域确定部(40)将所述图像区域(60)划分为多个子区域(80),对针对每个该子区域(80)算出的所述区域候选项(74)的各代表位置进行有关位置的所述聚类处理,从而确定所述识别对象区域(95-98)。
3.根据权利要求1或2所述的车辆周围监测装置(10),其特征在于,
所述识别对象区域确定部(40)根据尺度将所述多个区域候选项(74)分为2个以上的组(101-103),对每个该组(101-103)进行所述聚类处理,从而分别确定所述识别对象区域(95-98)。
4.根据权利要求3所述的车辆周围监测装置(10),其特征在于,
所述识别对象区域确定部(40)通过进行至少有关位置的前期的聚类处理,将所述多个区域候选项(74)分为至少1个位置组,之后,根据尺度,分别将属于所述至少1个位置组的各区域候选项(74)分为所述2个以上的组(110、111),以分别确定所述识别对象区域(112、113)。
CN201380067434.7A 2012-12-25 2013-09-04 车辆周围监测装置 Active CN104885122B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-280938 2012-12-25
JP2012280938 2012-12-25
PCT/JP2013/073830 WO2014103433A1 (ja) 2012-12-25 2013-09-04 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN104885122A true CN104885122A (zh) 2015-09-02
CN104885122B CN104885122B (zh) 2017-06-23

Family

ID=51020537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380067434.7A Active CN104885122B (zh) 2012-12-25 2013-09-04 车辆周围监测装置

Country Status (6)

Country Link
US (1) US9776564B2 (zh)
EP (1) EP2940656B1 (zh)
JP (1) JP5922257B2 (zh)
CN (1) CN104885122B (zh)
CA (1) CA2896291A1 (zh)
WO (1) WO2014103433A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075648A (zh) * 2021-03-19 2021-07-06 中国舰船研究设计中心 一种无人集群目标定位信息的聚类与滤波方法
CN113240670A (zh) * 2021-06-16 2021-08-10 亿嘉和科技股份有限公司 带电作业场景下针对待作业物体的图像分割方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101543105B1 (ko) * 2013-12-09 2015-08-07 현대자동차주식회사 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
JP6474396B2 (ja) * 2014-06-03 2019-02-27 住友重機械工業株式会社 人検知システム及びショベル
DE102016205339A1 (de) * 2016-03-31 2017-10-05 Siemens Aktiengesellschaft Verfahren und System zum Erkennen von Hindernissen in einem Gefahrraum vor einem Schienenfahrzeug
TWI592883B (zh) 2016-04-22 2017-07-21 財團法人車輛研究測試中心 Image recognition system and its adaptive learning method
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
WO2018173846A1 (ja) 2017-03-22 2018-09-27 日本電気株式会社 物体検出装置、物体検出方法および物体検出プログラム
US10108867B1 (en) * 2017-04-25 2018-10-23 Uber Technologies, Inc. Image-based pedestrian detection
DE102017208718A1 (de) * 2017-05-23 2018-11-29 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Objekten in einem Bild einer Kamera
DE102018209388A1 (de) * 2018-06-13 2019-12-19 Robert Bosch Gmbh Erkennung fahrtrelevanter Situationen auf größere Entfernung
CN112639877A (zh) * 2018-09-12 2021-04-09 日立汽车***株式会社 图像识别装置
CN111242117A (zh) * 2018-11-28 2020-06-05 佳能株式会社 检测装置和方法及图像处理装置和***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280194A (ja) * 2003-03-12 2004-10-07 Toshiba Corp 前方監視装置及びその方法
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
CN101933326A (zh) * 2008-02-13 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆以及车辆周围监测程序
CN101933065A (zh) * 2008-02-04 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
WO2012169119A1 (ja) * 2011-06-10 2012-12-13 パナソニック株式会社 物体検出枠表示装置及び物体検出枠表示方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
JP5083658B2 (ja) * 2008-03-26 2012-11-28 本田技研工業株式会社 車両用車線認識装置、車両、及び車両用車線認識プログラム
JP2010039968A (ja) * 2008-08-08 2010-02-18 Hitachi Ltd オブジェクト検出装置及び検出方法
US8548256B2 (en) * 2010-07-01 2013-10-01 Intellectual Ventures Fund 83 Llc Method for fast scene matching
US8724910B1 (en) * 2010-08-31 2014-05-13 Google Inc. Selection of representative images
JP5580233B2 (ja) * 2011-03-22 2014-08-27 富士重工業株式会社 車外監視装置および車外監視方法
JP5877376B2 (ja) * 2011-06-02 2016-03-08 パナソニックIpマネジメント株式会社 物体検出装置、物体検出方法および物体検出プログラム
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280194A (ja) * 2003-03-12 2004-10-07 Toshiba Corp 前方監視装置及びその方法
JP2005235089A (ja) * 2004-02-23 2005-09-02 Japan Science & Technology Agency 画像認識装置、画像認識方法及びプログラム
CN101933065A (zh) * 2008-02-04 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法
CN101933326A (zh) * 2008-02-13 2010-12-29 本田技研工业株式会社 车辆周围监测装置、车辆以及车辆周围监测程序
CN102248947A (zh) * 2010-05-12 2011-11-23 通用汽车环球科技运作有限责任公司 使用3-d激光测距仪的目标和车辆检测及跟踪
WO2012169119A1 (ja) * 2011-06-10 2012-12-13 パナソニック株式会社 物体検出枠表示装置及び物体検出枠表示方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HENRY A. ROWLEY 等: "Neural Network-Based Face Detection", 《PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
IGNACIO PARRA ALONSO 等: "Combination of Feature Extraction Methods", 《《INTELLIGENT TRANSPORTATION SYSTEMS》》 *
JUNFENG GE 等: "Real-Time Pedestrian Detection and Tracking at Nighttime for Driver-Assistance Systems", 《INTELLIGENT TRANSPORTATION SYSTEMS》 *
党宏社 等: "智能车辆***发展及其关键技术概述", 《公路交通科技》 *
孙焱 等: "基于粒子群优化算法的行人识别与跟踪方法研究", 《计算机工程与设计》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075648A (zh) * 2021-03-19 2021-07-06 中国舰船研究设计中心 一种无人集群目标定位信息的聚类与滤波方法
CN113075648B (zh) * 2021-03-19 2024-05-17 中国舰船研究设计中心 一种无人集群目标定位信息的聚类与滤波方法
CN113240670A (zh) * 2021-06-16 2021-08-10 亿嘉和科技股份有限公司 带电作业场景下针对待作业物体的图像分割方法

Also Published As

Publication number Publication date
US9776564B2 (en) 2017-10-03
JP5922257B2 (ja) 2016-05-24
EP2940656A1 (en) 2015-11-04
EP2940656A4 (en) 2016-10-12
CA2896291A1 (en) 2014-07-03
EP2940656B1 (en) 2024-01-31
CN104885122B (zh) 2017-06-23
JPWO2014103433A1 (ja) 2017-01-12
WO2014103433A1 (ja) 2014-07-03
US20150343948A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN104885122A (zh) 车辆周围监测装置
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN110147706B (zh) 障碍物的识别方法和装置、存储介质、电子装置
WO2019223582A1 (en) Target detection method and system
WO2014084218A1 (ja) 対象物検知装置
JP5856682B2 (ja) 対象物識別装置
CN110298281B (zh) 视频结构化方法、装置、电子设备及存储介质
CN103770704A (zh) 用于识别车辆的停车位标志线的***和方法
CN102073846A (zh) 基于航拍图像的交通信息获取方法
CN109935080A (zh) 一种交通线路上的车流量实时计算的监测***及方法
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法
CN111339834B (zh) 车辆行驶方向的识别方法、计算机设备及存储介质
Surgailis et al. Avoiding forward car collision using stereo vision system
CN113569752B (zh) 车道线结构识别方法、装置、设备及介质
CN113516069A (zh) 基于尺寸鲁棒的道路标识实时检测方法及装置
CN116580369B (zh) 一种用于自动驾驶的车道线端到端实时检测方法
US20240071034A1 (en) Image processing device, image processing method, and program
Shikishima et al. Dynamic 3D-Obstacles Detection by a Monocular Camera and a 3D Map
CN113468908B (zh) 目标识别方法及装置
CN109145715B (zh) 轨道交通的空基行人侵界检测方法、装置和***
US20230316146A1 (en) Data processing method and apparatus for training depth information estimation model

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant