CN111183430A - 识别处理装置、识别处理方法以及识别处理程序 - Google Patents

识别处理装置、识别处理方法以及识别处理程序 Download PDF

Info

Publication number
CN111183430A
CN111183430A CN201980004902.3A CN201980004902A CN111183430A CN 111183430 A CN111183430 A CN 111183430A CN 201980004902 A CN201980004902 A CN 201980004902A CN 111183430 A CN111183430 A CN 111183430A
Authority
CN
China
Prior art keywords
vehicle
person
captured data
detection unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980004902.3A
Other languages
English (en)
Other versions
CN111183430B (zh
Inventor
小仓卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN111183430A publication Critical patent/CN111183430A/zh
Application granted granted Critical
Publication of CN111183430B publication Critical patent/CN111183430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R2021/003—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks characterised by occupant or pedestian
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

识别处理装置(10)包括：影像获取部(11)，获取由远红外相机(20)拍摄自己车辆的周围而得的第一拍摄数据；其他车辆检测部(12)，检测停在自己车辆的周围的其他车辆；热检测部(13)，根据第一拍摄数据的与其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热；以及人检测部(14)，当检测到散热时，对其他车辆附近优先执行人识别来检测人，能够辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人。

Description

识别处理装置、识别处理方法以及识别处理程序
技术领域
本发明涉及识别处理装置、识别处理方法以及识别处理程序。
背景技术
已知有以下的技术：从拍摄了自己车辆的周围的影像中检测其他车辆、人等，并通知给驾驶员。例如，在专利文献1中公开了迅速检测有可能从停车车辆的背后等跑出的行人的技术。
在先技术文献
【专利文献】
专利文献1：日本专利文献特开2017-167608号公报。
发明内容
在自己车辆的行驶方向上停车的(尤其是，在路上停车的)其他车辆大多数是临时停车，有可能从停车的其他车辆中有人下车。然而，在专利文献1记载的技术中，难以辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人。
本发明是为了解决这样的问题而完成的，其目的在于，提供一种能够辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人的识别处理装置、识别处理方法以及识别处理程序。
本发明提供一种识别处理装置，包括：影像获取部，获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；其他车辆检测部，检测停在自己车辆的周围的其他车辆；热检测部，根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及人检测部，当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
另外，本发明提供一种识别处理方法，包括以下步骤：获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；检测停在自己车辆的周围的其他车辆；根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
另外，本发明提供一种识别处理程序，用于使计算机执行以下步骤：获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；检测停在自己车辆的周围的其他车辆；根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
根据本发明，能够提供辨别从所检测到的其他车辆有人下车的可能性而迅速检测到该人的识别处理装置、识别处理方法以及识别处理程序。
附图说明
图1是示出实施方式所涉及的识别***1的简要构成的框图；
图2是示出实施方式所涉及的识别处理方法的处理步骤的流程图；
图3是用于说明实施方式所涉及的远红外图像的热分布的图；
图4是用于说明实施方式所涉及的远红外图像的热分布的图。
具体实施方式
以下，参照附图说明本实施方式所涉及的识别处理装置以及识别处理方法。首先，说明具有本实施方式所涉及的识别处理装置的识别***的构成。
图1是示出本实施方式所涉及的识别***1的简要构成的框图。识别***1是用于车辆中的***，包括识别处理装置10、远红外相机20、可见光相机30、词典数据存储装置40、以及显示装置50等。
识别处理装置(控制装置)10从远红外相机20或者可见光相机30所拍摄的影像中检测其他车辆，该其他车辆停在搭载有识别***1的自己车辆的周边，检测该其他车辆的基于动作的散热(发热)。需要说明的是，车辆的基于动作的散热是指：例如来自车辆前部的机盖或前格栅的散热、来自车辆后部的排气筒(排气口)的散热、来自轮胎及其周边的散热等。另外，如果在夜间，还包含来自前车灯、尾灯的散热。
另外，识别处理装置10在进行基于动作的散热的其他车辆的附近检测人，根据需要将影像或者声音通知给自己车辆的驾驶员。另外，识别处理装置10进行识别***1整体的动作控制。
远红外相机20、可见光相机30例如设置在自己车辆的前格栅或者其周边部分，拍摄自己车辆的周围、尤其是自己车辆的行驶方向的远红外影像(第一拍摄数据)、可见光影像(第二拍摄数据)输出给识别处理装置10。
另外，在本实施方式所涉及的识别***1中，当使用远红外影像、可见光影像两者来检测其他车辆以及人时，优选的是，预先通过标定等明确这些影像中的被拍摄***置的对应关系。
另外，在本实施方式所涉及的识别***1中，代替使用远红外相机20、可见光相机30这两台相机，可以使用兼具远红外相机以及可见光相机的功能的1台相机来分别拍摄红外线影像以及可见光影像，也可以使用能够拍摄包含可见区域以及远红外区域的影像的1台相机进行拍摄之后从该影像中分离可见光影像和远红外影像。
词典数据存储装置40存储车辆检测词典(车辆识别词典)、人检测词典(人识别词典)、上下车者检测词典(上下车者识别词典)等各种检测词典。这些词典是将拍摄有车辆、行人等人、车辆的上下车者的影像(图像)等通过机器学习而制作成的，识别处理装置10用于从远红外影像或者可见光影像检测其他车辆、行人、其他车辆的上下车者时。
例如，上下车者检测词典是从车辆的前方或后方拍摄当人下车时从坐在座位上的状态到站立在车辆外的状态为止的姿势变化的影像、以及当人上车时从站立在车辆外的状态到坐在座位上的状态为止的姿势变化的影像，并将这些影像通过机器学习来制作成的。
显示装置50按照识别处理装置10的控制显示影像以通知自己车辆的驾驶员。
另外，识别处理装置10为了进行上述动作而包括影像获取部11、其他车辆检测部12、热检测部13、人检测部14、通知控制部15、显示控制部16、以及母线17等。
影像获取部11被从远红外相机20、可见光相机30输入远红外影像、可见光影像，对这些影像施加各种的图像处理。
其他车辆检测部12利用从词典数据存储装置40读取的车辆检测词典从远红外影像或者可见光影像中检测自己车辆周边的其他车辆。
热检测部13根据停在自己车辆周边的其他车辆的远红外影像、即热图像中的热分布检测该其他车辆的基于动作的散热。
人检测部14当从停在自己车辆周边的其他车辆检测到基于动作的散热时，利用人检测词典或者上下车者检测词典从远红外影像或者可见光影像的该其他车辆附近区域中检测从该其他车辆下车的人、想要下车的人或者想要上到该其他车辆的人。其他车辆附近区域是指例如距该其他车辆的周围2～3m为止的范围对应的区域。该区域的大小当然可以改变。
另外，人检测部14当从停在自己车辆周边的其他车辆中没有检测到基于动作的散热时，利用人检测词典从远红外影像或者可见光影像的整个帧或者其一部分中检测行人等人。
通知控制部15进行用于将与所检测到的人相关的信息通过声音通知给自己车辆的驾驶员的控制。声音可以从识别处理装置1输出，也可以从显示装置50等识别***1内外的装置输出。
显示控制部16进行用于将与所检测到的人相关的信息通过影像或者图像通知给自己车辆的驾驶员的控制。该影像等显示在显示装置50。
另外，关于识别处理装置10的一部分构成，也可以代用经由通信手段连接的识别***1外的装置等(未图示)。例如，关于其他车辆检测部12、人检测部14可以代用经由通信手段连接的识别***1外的识别服务器。
另外，识别处理装置10所实现的各构成要素例如可以通过作为计算机的识别处理装置10所具备的运算装置(未图示)的控制执行程序来实现。更加具体来说，将保存在存储部(未图示)中的程序加载到主存储装置(未图示)，通过运算装置的控制执行程序来实现识别处理装置10。
另外，各构成要素不限于由程序通过软件来实现，而是可以通过硬件、固件以及软件中的任意的组合来实现。
可以使用各种类型的非临时性计算机可读介质(non-transitory computerreadable medium)来存储上述程序，并将其提供给识别处理装置10。非临时性计算机可读介质包括各种类型的具有实体的记录介质(tangible storage medium)。
非临时性计算机可读介质的示例包括磁记录介质(例如，软盘、磁带、硬盘驱动器)、磁光记录介质(例如，磁光盘)、CD-ROM(Read Only Memory只读存储器)、CD-R、CD-R/W、半导体存储器(例如，掩码ROM、PROM(可编程ROM)、EPROM(可擦除PROM)、闪存ROM、RAM(random access memory，随机存取存储器))。
此外，可以通过各种类型的临时性计算机可读介质(transitory computerreadable medium)将程序提供给识别处理装置10。临时性计算机可读介质的示例包括电信号、光信号和电磁波。临时性计算机可读介质可以经由诸如电线和光纤等的有线通信路径或无线通信路径将程序提供给识别处理装置10。
接下来，说明本实施方式所涉及的识别***1的动作、即识别处理方法。
图2是示出本实施方式所涉及的识别处理方法的处理步骤的流程图。
一旦识别***1开始动作，则远红外相机20、可见光相机30拍摄自己车辆的行驶方向、例如自己车辆的前方的远红外影像、可见光影像，影像获取部11获取这些影像(步骤S10)。另外，远红外影像、可见光影像的拍摄在自己车辆行驶时、停车时均可以进行。
接下来，其他车辆检测部12利用车辆检测词典从远红外影像或者可见光影像中检测其他车辆(步骤S20)。在其他车辆的检测中使用通常的图像识别处理即可。
然后，判断是否检测到其他车辆(步骤S30)，当检测到其他车辆时(步骤S30的“是”)，判断该其他车辆是否停车(步骤S40)。
当判断其他车辆是否停车时，具体来说，将该其他车辆是否停止、另外该其他车辆的位置、状态如何作为判断基准。
例如，当所检测到的其他车辆与其周围的物体(路面、建筑物等)之间的位置关系恒定时，判断为该其他车辆停止。
另外，当停止的其他车辆位于自己车辆的行驶车道的左侧时、横跨着车道外侧线时(道路或车道的路端附近画的区划线)、点亮了双闪灯时、点亮了刹车灯时，将该其他车辆判断为是停着车的。
另外，在所检测到的其他车辆为对面来车时，尤其是，对于在没有车道中央线的道路环境中的对面来车，也可以同样地进行判断。
当检测到的其他车辆被判断为停着车时(步骤S40的“是”)，热检测部13基于远红外图像的该其他车辆的区域的热分布检测来自该其他车辆的散热(步骤S50)。
图3、4是用于说明本实施方式所涉及的远红外图像的热分布的图。在图3、4中，为了使得附图容易理解，在亮度高的区域、即温度高的区域画上了阴影线。
图3是其他车辆200与自己车辆朝向相同方向时的图，排气筒(排气口)、轮胎等的部分通过该其他车辆的基于动作的散热而温度变高。图4是其他车辆300与自己车辆朝向相反方向时的图。机盖、前格栅、轮胎等的部分同样地温度变高。另外，如果在夜间，有时尾灯、前车灯等部分的温度也变高。
接下来，判断该其他车辆是否进行基于动作的散热(步骤S60)。在这里，在图3、4中画上了阴影线的部分的温度比其周边部分、路面的温度等高预定值以上，例如，如果温度高5℃以上，则判断为进行基于动作的散热。换言之，在其他车辆中，在由于进行动作而发热的位置比其他的部分温度相对高的情况下，判断为进行了基于动作的散热。
然后，当判断为该其他车辆进行了基于动作的散热时(步骤S60的“是”)，人检测部14优先将远红外影像或者可见光影像的该其他车辆的附近区域作为检测对象区域，利用从词典数据存储装置40读取的人检测词典或者上下车者检测词典检测该其他车辆的上下车者(步骤S70)。在上下车者的检测中使用通常的图像识别处理即可。若使用上下车者检测词典，则能够更加高精度地检测上下车者。
另外，由于上下车者与行人相比姿势上的变化大，因此人检测部14可以基于多个帧中的人的姿势变化来检测上下车者。人检测部14也可以基于所检测到的人的图像中的高度来辨别该人是上下车者还是行人。
另外，人检测部14可以优先将该其他车辆的附近区域作为检测对象区域，在检测到该其他车辆的上下车者之后(或者，未检测到之后)，将远红外影像或者可见光影像的整个帧或者其一部分作为检测对象区域检测行人等。
另外，当判断为该其他车辆未进行基于动作的散热时(步骤S60的“否”)，人检测部14将远红外影像或者可见光影像的整个帧或者其一部分作为检测对象区域，利用从词典数据存储装置40读取的人检测词典检测行人等(步骤S80)。在行人的检测中也可以使用通常的图像识别处理即可。在步骤S80中，在影像(图像)中，也可以通过边缘检测处理等来确定有可能存在人的范围。
接下来，在步骤S70或步骤S80中，判断是否检测到其他车辆的上下车者、行人等(步骤S90)。
当判断为检测到了上下车者、行人等时(步骤S90的“是”)，通知控制部15通过声音等向自己车辆的驾驶员通知检测到上下车者等或者显示控制部16在显示装置50上显示检测到了上下车者等(步骤S100)。
然后，判断是否结束识别处理方法(步骤S110)，当判断为结束时(步骤S110的“是”)，结束处理，当判断为不结束时(步骤S110的“否”)例如获取下一个影像(步骤S10)。
另外，当其他车辆检测部12没有检测到其他车辆时(步骤S30的“否”)，当判断所检测到的其他车辆没有停车时(步骤S40的“否”)，人检测部14将远红外影像或者可见光影像的各帧的全部或一部分作为检测对象区域来检测行人等(步骤S80)。
另外，当判断为没有检测到上下车者、行人等时(步骤S90的“否”)，判断是否结束识别处理方法(步骤S110)。
如上所述，本实施方式所涉及的识别***1或者识别处理方法基于有无来自从影像检测到的其他车辆的散热辨别从该其他车辆有人下车的可能性，能够迅速地检测到该人。
另外，在本实施方式所涉及的识别***1或者识别方法中可以进行各种追加、修正或者变更。
如上所述，其他车辆检测部12以及人检测部14能够分别使用远红外影像以及可见光影像来检测其他车辆以及人(上下车者、行人等)，但也可以仅利用远红外影像或者可见光影像中的一者来检测其他车辆以及人。例如，也可以利用远红外影像来检测其他车辆，利用可见光影像来检测人。
另外，其他车辆检测部12以及人检测部14也可以仅利用远红外影像来检测其他车辆以及人。此时，不需要可见光影像，进而，也不需要可见光相机30。即，识别***1可以是不具有可见光相机30的构成。
另外，也可以在判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60)，根据其他车辆的哪个部分散热，选择其后的人检测部14的处理(步骤S70、步骤S80)。
例如，也可以在排气筒附近散热时，认为发动机正在动作中或者发动机停止后没有经过时间，优先进行上下车者的检测(步骤70)，当排气筒附近没有散热时，认为从发动机停止经过了时间，进行行人的检测(步骤S80)。
另外，也可以在排气筒附近、轮胎附近同时散热时，认为发动机正在动作中、或者从发动机停止没有经过时间、进而从行驶停止没有经过时间，优先进行上下车者的检测(步骤70)，当排气筒附近散热但轮胎附近未散热时，认为发动机正在动作中、或者从发动机停止没有经过时间、但是从行驶停止经过了时间，进行行人的检测(步骤S80)。
另外，也可以在轮胎附近散热时，认为从行驶停止没有经过时间，优先进行上下车者的检测(步骤70)，当在轮胎附近未散热时，认为从行驶停止经过了时间，进行行人的检测(步骤S80)。
另外，当判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60)，代替基于排气筒、轮胎等部分与周边部分、路面的温度等的比较来进行判断，也可以基于排气筒、轮胎等部分的检测温度来进行判断。例如，可以当排气筒的检测温度为预定值(例如，40℃)以上时，判断为所检测到的其他车辆进行了基于动作的散热。
另外，也可以当判断所检测到的其他车辆是否进行基于动作的散热时(步骤S60)，基于该其他车辆的温度高的部分的范围来进行判断。
另外，识别***1的构成不限于上述，可以是将多个装置、例如识别处理装置10以及词典数据存储装置40一体化，而作为具有词典数据存储部的识别处理装置。另外，可以将识别***1整体结构一体化，而作为具有远红外相机、可见光相机、词典数据存储部、显示部的识别处理装置。
另外，关于自己车辆中的利用，除了将一部分或全部搭载在自己车辆上的方式之外，还可以是能够搬运或能够后来安装的方式搭载到自己车辆上的方式。
另外，其他车辆检测部12、人检测部14代替利用机器学习车辆、人等的图像来制作的词典的图像识别，或者，除了利用机器学习来制作的词典的图像识别之外，例如，可以执行使用例如其他车辆或人等的模板的图案匹配等的其他的图像识别。
以上，如说明的那样，本实施方式所涉及的识别处理装置10包括：影像获取部11，获取由远红外相机20拍摄自己车辆的周围而得的第一拍摄数据；其他车辆检测部12，检测停在自己车辆的周围的其他车辆；热检测部13，根据第一拍摄数据的与该其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热；以及人检测部14，当检测到该散热时，对其他车辆附近优先执行人识别来检测人。
另外，本实施方式所涉及的识别处理装置10也可以是其他车辆检测部12从第一拍摄数据检测其他车辆，人检测部14从第一拍摄数据检测人。
另外，本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据，其他车辆检测部12从第一拍摄数据检测其他车辆，人检测部14从第二拍摄数据检测人。
另外，本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据，其他车辆检测部12从第二拍摄数据检测其他车辆，人检测部14从第一拍摄数据检测人。
另外，本实施方式所涉及的识别处理装置10也可以是影像获取部11还获取由可见光相机30拍摄自己车辆的周围而得的第二拍摄数据，其他车辆检测部12从第二拍摄数据检测其他车辆，人检测部14从第二拍摄数据检测人。
另外，本实施方式所涉及的识别处理装置10也可以是在热检测部13检测到该散热时，人检测部14对其他车辆附近的范围优先执行利用了上下车者识别词典的人识别来检测人。
另外，本实施方式所涉及的识别处理装置10也可以是热检测部13根据第一拍摄数据的与其他车辆对应的区域的热分布的范围检测该其他车辆的基于动作的散热。
另外，本实施方式所涉及的识别处理装置10也可以还具有通知控制部15，当人检测部14检测到人时，通知控制部15将检测到人的情况通知给自己车辆的驾驶员。
另外，本实施方式所涉及的识别处理方法包括：步骤S10，获取由远红外相机20拍摄自己车辆的周围而得的第一拍摄数据；步骤S20，检测停在自己车辆的周围的其他车辆；步骤S50，根据第一拍摄数据的与该其他车辆对应的区域的热分布来检测其他车辆的基于动作的散热；以及步骤S70，当检测到散热时，对其他车辆附近优先执行人识别来检测人。
另外，该申请要求以2018年8月10日申请的日本申请特愿2018-150967为基础的优先权，并将其全部公开内容纳入此处。
实施方式涉及的识别处理装置、识别处理方法或识别处理程序例如在车辆等中使用，能够辨别人从检测到的其他车辆下车的可能性，能够迅速地检测到该人，具有产业上的可利用性。
【符号说明】
1 识别***
10 识别处理装置(控制装置)
11 影像获取部
12 其他车辆检测部
13 热检测部
14 人检测部
15 通知控制部
16 显示控制部
20 远红外相机
30 可见光相机
40 词典数据存储装置
50 显示装置
200、300 其他车辆

Claims (10)

1.一种识别处理装置，包括：
影像获取部，获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；
其他车辆检测部，检测停在自己车辆的周围的其他车辆；
热检测部，根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及
人检测部，当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
2.如权利要求1所述的识别处理装置，其中，
所述其他车辆检测部从所述第一拍摄数据中检测所述其他车辆，
所述人检测部从所述第一拍摄数据中检测所述人。
3.如权利要求1所述的识别处理装置，其中，
所述影像获取部还获取第二拍摄数据，所述第二拍摄数据是由可见光相机拍摄自己车辆的周围而得的，
所述其他车辆检测部从所述第一拍摄数据中检测所述其他车辆，
所述人检测部从所述第二拍摄数据中检测所述人。
4.如权利要求1所述的识别处理装置，其中，
所述影像获取部还获取第二拍摄数据，所述第二拍摄数据是由可见光相机拍摄自己车辆的周围而得的，
所述其他车辆检测部从所述第二拍摄数据中检测所述其他车辆，
所述人检测部从所述第一拍摄数据中检测所述人。
5.如权利要求1所述的识别处理装置，其中，
所述影像获取部还获取第二拍摄数据，所述第二拍摄数据是由可见光相机拍摄自己车辆的周围而得的，
所述其他车辆检测部从所述第二拍摄数据中检测所述其他车辆，
所述人检测部从所述第二拍摄数据中检测所述人。
6.如权利要求1至5中的任一项所述的识别处理装置，其中，
所述人检测部在检测到所述散热时，对所述其他车辆附近的范围优先执行利用上下车者识别词典的人识别来检测人。
7.如权利要求1至6中的任一项所述的识别处理装置，其中，
所述热检测部根据所述第一拍摄数据的因所述其他车辆的动作而发热的区域的热分布来检测所述其他车辆的基于动作的散热。
8.如权利要求1至7中的任一项所述的识别处理装置，其中，
还具有通知控制部，当所述人检测部检测到所述人时，所述通知控制部向自己车辆的驾驶员通知检测到所述人。
9.一种识别处理方法，包括以下步骤：
获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；
检测停在自己车辆的周围的其他车辆；
根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及
当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
10.一种识别处理程序，用于使计算机执行以下步骤：
获取第一拍摄数据，所述第一拍摄数据是由远红外相机拍摄自己车辆的周围而得的；
检测停在自己车辆的周围的其他车辆；
根据所述第一拍摄数据的与所述其他车辆对应的区域的热分布来检测所述其他车辆的基于动作的散热；以及
当检测到所述散热时，对所述其他车辆附近优先执行人识别来检测人。
CN201980004902.3A 2018-08-10 2019-03-12 识别处理装置、识别处理方法以及记录介质 Active CN111183430B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018150967A JP7056458B2 (ja) 2018-08-10 2018-08-10 認識処理装置、認識処理方法及び認識処理プログラム
JP2018-150967 2018-08-10
PCT/JP2019/009896 WO2020031413A1 (ja) 2018-08-10 2019-03-12 認識処理装置、認識処理方法及び認識処理プログラム

Publications (2)

Publication Number Publication Date
CN111183430A true CN111183430A (zh) 2020-05-19
CN111183430B CN111183430B (zh) 2023-10-27

Family

ID=69414656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004902.3A Active CN111183430B (zh) 2018-08-10 2019-03-12 识别处理装置、识别处理方法以及记录介质

Country Status (5)

Country Link
US (1) US11465629B2 (zh)
EP (1) EP3836074A4 (zh)
JP (1) JP7056458B2 (zh)
CN (1) CN111183430B (zh)
WO (1) WO2020031413A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020219694A1 (en) * 2019-04-23 2020-10-29 Apple Inc. Systems and methods for resolving hidden features in a field of view
JP2021135793A (ja) * 2020-02-27 2021-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP7280852B2 (ja) * 2020-04-03 2023-05-24 戸田建設株式会社 人物検知システム、人物検知プログラム、学習済みモデル生成プログラム及び学習済みモデル
JP2022144606A (ja) 2021-03-19 2022-10-03 株式会社Ｊｖｃケンウッド 警告装置及び警告方法
JP2023077489A (ja) * 2021-11-25 2023-06-06 株式会社Ｊｖｃケンウッド 運転支援装置、運転支援方法
KR102363348B1 (ko) * 2021-12-07 2022-02-15 주식회사 두루스코이브이 스토퍼형 충전장치 및 그 장치의 구동방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2009033718A (ja) * 2007-06-28 2009-02-12 Olympus Imaging Corp 電子カメラ
EP2588847A1 (en) * 2010-06-29 2013-05-08 Hager Environmental and Atmospheric Technologies, LLC Device and method for quantification of gases in plumes by remote sensing
CN105551178A (zh) * 2015-12-14 2016-05-04 国网山东省电力公司青岛供电公司 一种电网智能监控告警方法及装置
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN107924465A (zh) * 2016-03-18 2018-04-17 Jvc 建伍株式会社 物体识别装置、物体识别方法以及物体识别程序
CN107953828A (zh) * 2016-10-14 2018-04-24 株式会社万都 车辆的行人识别方法及车辆的行人识别***

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4793638B2 (ja) * 2006-03-27 2011-10-12 マツダ株式会社 車両用歩行者検出装置
US8478480B2 (en) * 2006-10-27 2013-07-02 International Electronic Machines Corp. Vehicle evaluation using infrared data
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
JP5529910B2 (ja) * 2012-03-12 2014-06-25 本田技研工業株式会社 車両周辺監視装置
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
WO2017175025A2 (en) * 2015-12-01 2017-10-12 Yakov Shambik Detecting visual information corresponding to an animal
JP2017167608A (ja) * 2016-03-14 2017-09-21 株式会社Ｊｖｃケンウッド 物体認識装置、物体認識方法及び物体認識プログラム
KR101996419B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP2018150967A (ja) 2017-03-10 2018-09-27 倉敷紡績株式会社 管継手

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350699A (ja) * 2005-06-16 2006-12-28 Nissan Motor Co Ltd 画像処理装置及び方法
JP2007241898A (ja) * 2006-03-10 2007-09-20 Honda Motor Co Ltd 停止車両分別検出装置および車両の周辺監視装置
JP2009033718A (ja) * 2007-06-28 2009-02-12 Olympus Imaging Corp 電子カメラ
EP2588847A1 (en) * 2010-06-29 2013-05-08 Hager Environmental and Atmospheric Technologies, LLC Device and method for quantification of gases in plumes by remote sensing
CN105551178A (zh) * 2015-12-14 2016-05-04 国网山东省电力公司青岛供电公司 一种电网智能监控告警方法及装置
CN107924465A (zh) * 2016-03-18 2018-04-17 Jvc 建伍株式会社 物体识别装置、物体识别方法以及物体识别程序
CN105862556A (zh) * 2016-05-30 2016-08-17 江苏智途科技股份有限公司 智能车载道路信息采集装置以及采集道路信息的方法
CN107953828A (zh) * 2016-10-14 2018-04-24 株式会社万都 车辆的行人识别方法及车辆的行人识别***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIFENN RAULT: "《A survey of energy-efficient context recognition systems using wearable sensors for healthcare applications》", 《PERVASIVE AND MOBILE COMPUTING》, pages 23 *
谷正气: "《一种高分辨率可见光遥感影像中车辆目标检测方法》", 《测绘通报》, no. 1, pages 121 *

Also Published As

Publication number Publication date
EP3836074A1 (en) 2021-06-16
US20200290623A1 (en) 2020-09-17
WO2020031413A1 (ja) 2020-02-13
EP3836074A4 (en) 2021-09-15
JP7056458B2 (ja) 2022-04-19
CN111183430B (zh) 2023-10-27
US11465629B2 (en) 2022-10-11
JP2020027380A (ja) 2020-02-20

Similar Documents

Publication Publication Date Title
CN111183430B (zh) 识别处理装置、识别处理方法以及记录介质
JPWO2020121973A1 (ja) 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
US7418112B2 (en) Pedestrian detection apparatus
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
JP2007172035A (ja) 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
JP2018097766A (ja) 画像処理装置、外界認識装置
WO2005036371A2 (en) Moving object detection using low illumination depth capable computer vision
JP2012131491A (ja) 物体検知システム
KR20150058881A (ko) 영상 인식을 기반으로 하는 차량의 공기순환 제어방법
JP2020137053A (ja) 制御装置及び撮影システム
JP3850021B2 (ja) 赤外線照明付撮影装置
KR101299104B1 (ko) 보행자 검출 장치 및 그 방법
CN113228130B (zh) 图像处理装置
WO2023095397A1 (ja) 運転支援装置、運転支援方法
JP5617678B2 (ja) 車両用表示装置
JP2012008924A (ja) ナンバー読取装置
JP2005176031A (ja) 車載用障害物検出装置
JP7061709B1 (ja) 撮影サポート装置、及び撮影サポート方法
JP2020087233A (ja) 認識処理装置、認識処理方法及びプログラム
WO2022195970A1 (ja) 警告装置及び警告方法
JP2023059552A (ja) 運転支援装置および運転支援方法
JP2016224744A (ja) 注意喚起装置および注意喚起方法
JP2007245970A (ja) 車両用照明装置
KR20170075523A (ko) 차량용 주변 감시 장치 및 방법
JP2016129305A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant