CN107408288A - 警告装置、警告方法以及警告程序 - Google Patents

警告装置、警告方法以及警告程序 Download PDF

Info

Publication number
CN107408288A
CN107408288A CN201680013013.XA CN201680013013A CN107408288A CN 107408288 A CN107408288 A CN 107408288A CN 201680013013 A CN201680013013 A CN 201680013013A CN 107408288 A CN107408288 A CN 107408288A
Authority
CN
China
Prior art keywords
image
warning
unit
detection
multiple images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680013013.XA
Other languages
English (en)
Other versions
CN107408288B (zh
Inventor
斋部觉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015046585A external-priority patent/JP6387869B2/ja
Priority claimed from JP2015046584A external-priority patent/JP6299630B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Publication of CN107408288A publication Critical patent/CN107408288A/zh
Application granted granted Critical
Publication of CN107408288B publication Critical patent/CN107408288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Vascular Medicine (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Abstract

即使是移动体的外部环境难以判别的情况，也可适当地进行基于对象物的检测的警告。本发明涉及的警告装置(10)具备：图像获取单元(11)，获取基于多个滤波特性的每个的多个图像；检测单元(12)，针对获取的多个图像的每个进行预定的对象物的检测；以及警告单元(13)，在从获取的多个图像中的至少一个图像中检测出对象物的情况下，进行预定的警告，警告单元(13)在从多个图像的全部中检测出对象物的情况下，与从多个图像的一部分中检测出对象物的情况相比，提高警告的程度。

Description

警告装置、警告方法以及警告程序
技术领域
本发明涉及警告装置、警告方法以及警告程序。
背景技术
数码相机等拍摄装置一般来说利用使特定波长的光通过的滤波器对拍摄对象的区域进行拍摄。并且，拍摄装置通过利用适于拍摄对象的区域的光量等的滤波器，能够提高拍摄图像的画质。因此，在可见光的量多的白天，使用应用了使可见光区域更多地通过的白天用的滤波器的相机。另一方面，在可见光的量少的夜间，使用应用了使红外线区域更多地通过的夜间用的滤波器的红外线相机。
在专利文献1中公开了与具备红外线传感器和近红外线相机的监控装置有关的技术。专利文献1涉及的监控装置通过近红外线相机拍摄由红外线传感器监控的区域，基于由近红外线相机拍摄的图像来检测监控区域的变化。并且，基于检测出的变化和红外线传感器的输出来判定异常状态。
近年来，开发了以下的警告装置，所述警告装置使用车载相机来拍摄车辆的周边，对所拍摄的图像进行图像识别，作为图像内的对象物检测人物或车等，并向驾驶员发出警告。并且，在专利文献2中公开了与用于从拍摄图像检测人物的人物检测装置有关的技术。专利文献2涉及的人物检测装置基于从图像传感器获取的图像检测对象物的外观，判定与被检测到的对象物的外观有关的参数和与人物有关的比较用参数是否一致，根据一致的程度来运算表示对象物是人物的概率的人物概率，在人物概率大于等于预先设定的人物阈值的情况下，判定为对象物是人物。
在先技术文献
专利文献
专利文献1：日本特开平07-160957号公报；
专利文献2：日本特开2011-146049号公报。
发明内容
这里，在上述的警告装置的情况下，可能有车辆的外部环境难以判别的情况。所谓车辆的外部环境难以判别的情况是例如天气变化的情况、在进入隧道前后周边的亮度急剧变化的场所行驶的情况等。因此，在车辆的外部环境难以判别的情况下，存在有时难以进行基于对象物的检测的警告的问题。
另外，在上述的警告装置中，在车辆的行驶方向存在对象物的情况下，由于有可能碰撞，因此需要向驾驶员进行警告。碰撞的可能性能够根据在车辆的行驶中被连续拍摄的图像的解析结果预测对象物的相对移动速度或移动方向等而求出。但是，在车辆的外部环境难以判别的情况下，对象物的移动的检测精度有可能下降，存在有时难以适当的警告的问题。
另外，在专利文献1涉及的监控装置中，监控区域是设施内的特定区域，未假定外部环境难以判别的情况。另外，专利文献2涉及的人物检测装置是解析对象为单一的图像。因此，例如在由于是外部环境难以判别的情况，而无法使用适当的滤波器的情况下，导致画质降低。并且，在解析对象的图像的画质差的情况下，可妨碍车辆行驶的对象物的检测精度可能降低。因此，无法进行适当的警告。并且，这样的问题不限于车辆，在全部移动体上所搭载的警告装置中也可发生。
本实施方式是鉴于上述的问题而完成的，其目的在于提供警告装置、警告方法以及警告程序，即使是移动体的外部环境难以判别的情况，也可适当地进行基于对象物的检测的警告，并且即使是移动体的外部环境难以判别的情况，也能保持对象物的移动的检测精度，而适当地进行警告。
本实施方式的第一方式提供警告装置，具备：图像获取单元，所述图像获取单元获取基于多个滤波特性的每个的多个图像；检测单元，所述检测单元针对所述获取的多个图像的每个进行预定的对象物的检测；以及警告单元，所述警告单元在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下进行预定的警告，所述警告单元在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
本实施方式的第二方式提供警告方法，其特征在于，包括：图像获取步骤，获取基于多个滤波特性的每个的多个图像；检测步骤，针对所述获取的多个图像的每个进行预定的对象物的检测；以及警告步骤，在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下，进行预定的警告，在所述警告步骤中，在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
本实施方式的第三方式提供警告程序，其特征在于，使计算机执行以下步骤：图像获取步骤，获取基于多个滤波特性的每个的多个图像；检测步骤，针对所述获取的多个图像的每个进行预定的对象物的检测；以及警告步骤，在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下，进行预定的警告，在所述警告步骤中，在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
本实施方式的第四方式提供警告装置，其特征在于，具备：图像获取单元，所述图像获取单元获取由被连续拍摄的多个图像构成的图像组；检测单元，所述检测单元针对所述图像组内的图像的每个进行对象物的检测；判定单元，所述判定单元沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及警告单元，所述警告单元根据所述判定的移动程度来进行警告，所述图像获取单元获取基于多个滤波特性的每个的多个图像组。
本实施方式的第五方式提供警告方法，其特征在于，包括：图像获取步骤，获取由被连续拍摄的多个图像构成的图像组；检测步骤，针对所述图像组内的图像的每个进行对象物的检测；判定步骤，沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及警告步骤，根据所述判定的移动程度来进行警告，所述图像获取步骤获取基于多个滤波特性的每个的多个图像组。
本实施方式的第六方式提供警告程序，其特征在于，使计算机执行以下步骤：图像获取步骤，获取由被连续拍摄的多个图像构成的图像组；检测步骤，针对所述图像组内的图像的每个进行对象物的检测；判定步骤，沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及警告步骤，根据所述判定的移动程度来进行警告，在所述图像获取步骤中，获取基于多个滤波特性的每个的多个图像组。
根据本实施方式，能够提供警告装置、警告方法以及警告程序，即使是移动体的外部环境难以判别的情况，也可适当地进行基于对象物的检测的警告。
另外，根据本实施方式，能够提供警告装置、警告方法以及警告程序，即使是移动体的外部环境难以判别的情况，也可保持对象物的移动的检测精度而适当地进行警告。
附图说明
图1是示出搭载有本实施方式1涉及的警告装置的移动体的整体构成的框图。
图2是示出本实施方式1涉及的警告装置的硬件构成的框图。
图3是用于说明本实施方式1涉及的对象物的检测和警告处理的流程的流程图。
图4是示出本实施方式1涉及的基于第一滤波器的拍摄图像的例子的图。
图5是示出本实施方式1涉及的基于第二滤波器的拍摄图像的例子的图。
图6是用于说明本实施方式1涉及的警告处理的一个例子的流程的流程图。
图7是示出将本实施方式1涉及的对象物的位置强调显示在屏幕上的例子的图。
图8是示出本实施方式2涉及的警告装置的构成的框图。
图9是用于说明本实施方式2涉及的模式设定处理的流程的流程图。
图10是示出本实施方式3涉及的图像获取单元的构成的框图。
图11是示出搭载有本实施方式4涉及的警告装置的移动体的整体构成的框图。
图12是示出本实施方式4涉及的警告装置的硬件构成的框图。
图13是用于说明本实施方式4涉及的从拍摄到警告的处理的流程的流程图。
图14是用于说明本实施方式4的实施例1中的详细处理的流程的流程图。
图15是用于说明本实施方式4的实施例1中的处理的概念的图。
图16是示出在本实施方式4的实施例1中将对象物的位置强调显示在屏幕上的例子的图。
图17是用于说明本实施方式4的实施例2中的详细处理的流程的流程图。
图18是用于说明本实施方式4的实施例2中的处理的概念的图。
图19是用于说明本实施方式4的实施例3中的详细处理的流程的流程图。
图20是用于说明本实施方式4的实施例3中的处理的概念的图。
具体实施方式
下面，参照附图详细说明应用了本发明的具体的实施方式。在各附图中，对相同要素标注相同符号，为了明确说明，根据需要省略重复说明。
发明的实施方式1
图1是示出搭载有本实施方式1涉及的警告装置10的移动体1的整体构成的框图。移动体1搭载有警告装置10、显示装置21以及扬声器22等，并通过驾驶员的操作进行行驶。移动体1例如是汽车等车辆。警告装置10是通过解析在移动体1行驶中被拍摄的图像，检测有可能与移动体1碰撞等风险的周边的对象物，通过显示装置21或扬声器22等对驾驶员进行警告的装置。另外，显示装置21例如是有机EL(electro-luminescence：电致发光)显示器或等离子显示器。
警告装置10包括图像获取单元11、检测单元12以及警告单元13。图像获取单元11在移动体1行驶中根据不同的多个滤波特性拍摄移动体1的周边区域，并作为多个图像获取。即，图像获取单元11获取基于多个滤波特性的每个的多个图像。图像获取单元11具有拍摄装置111和112。拍摄装置111和112对应于多个滤波特性的每个。并且，拍摄装置111和112的每个根据对应的滤波特性进行拍摄。另外，图像获取单元11所具备的拍摄装置不限于两个。例如，图像获取单元11也可以具有与三个以上的滤波特性的每个对应的三个以上的拍摄装置。另外，拍摄装置例如是相机。
检测单元12针对所获取的多个图像的每个进行预定的对象物的检测。这里，对象物的检测是通过图像识别试图检测对象物的外观的处理。
例如，在车辆的行驶方向上由相机拍摄的图像中存在出现道路的形状和横穿马路的人的情况。在这样的情况下，可以检测出横穿马路的人的外观的区域。检测单元12将此时的检测结果生成为指标值。另外，检测单元12也可以如专利文献2所示的那样，检测与对象物的外观有关的参数，并将比较用参数和检测出的参数一致的程度作为检测结果生成。另外，在从各图像检测对象物时生成检测结果的处理不限于此。另外，对象物不限于人，包含动物或其他的车辆等可成为阻碍移动体1的行驶的移动体。或者，对象物可以不是移动体，也可以是站在路上的人等、停止的车辆、示出禁止通行的路牌、放置在路上的障碍物等。另外，作为与外观有关的参数，例如可列举出亮度、色度、边缘或者它们的组合。
警告单元13在从所获取的多个图像中的至少一个图像中检测出对象物的情况下，进行预定的警告。尤其是，本发明的实施方式涉及的警告单元13在从多个图像的全部中检测出对象物的情况下，与从多个图像的一部分中检测出对象物的情况相比，提高警告的程度。这里，提高警告的程度是指如后面所述改变警告单元的动作以便能够进一步识别对象物。
图2是示出本实施方式1涉及的警告装置10的硬件构成的框图。警告装置10包括处理器110、IF(接口)部120、拍摄装置131和132、以及存储部140。
处理器110是CPU(Central Processing Unit：中央处理器)等控制装置。接口部120是与警告装置10的外部进行输入输出的接口。尤其是，接口部120通过处理器110的控制将表示警告的信息输出给显示装置21或扬声器22。
拍摄装置131和132对应于上述的拍摄装置111和112。拍摄装置131具有第一滤波器1311以及第一拍摄元件1312。第一滤波器1311进行选择入射至第一拍摄元件1312的光的波长的处理。即，第一滤波器1311是在拍摄装置131拍摄时被使用的滤波器。第一滤波器1311具有例如截断近红外区域并使可见光区域通过的滤波特性。第一滤波器1311假设是适于至少白天等移动体1的周边区域明亮的情况的滤波器。第一拍摄元件1312是将通过第一滤波器1311的光的强度转换成电信号的元件。
拍摄装置132具有第二滤波器1321和第二拍摄元件1322。第二滤波器1321进行选择入射至第二拍摄元件1322的光的波长的处理。即，第二滤波器1321是在拍摄装置132拍摄时被使用的滤波器。第二滤波器1321具有例如截断近红外区域并使可见光区域通过的滤波特性。第二滤波器1321假设是适于至少夜间等移动体1的周边区域黑暗的情况的滤波器。第二拍摄元件1322是将通过第二滤波器1321的光的強度转换成电信号的元件。
存储部140例如是存储器或硬盘等存储装置。存储部140存储警告程序141、拍摄图像1421和1422、以及指标值1431和1432。警告程序141是安装有本实施方式涉及的警告装置10的对象物的检测以及警告处理、即警告方法的计算机程序。
拍摄图像1421是拍摄装置131通过第一滤波器1311和第一拍摄元件1312拍摄的图像数据。拍摄图像1422是拍摄装置132通过第二滤波器1321和第二拍摄元件1322拍摄的图像数据。指标值1431是表示检测单元12对来自拍摄图像1421的对象物的检测程度的值。指标值1432是表示检测单元12对来自拍摄图像1422的对象物的检测程度的值。指标值1431和1432也可以说是对拍摄图像进行图像识别的情况下的对象物的检测精度的指标值。
处理器110从存储部140读取警告程序141并执行。由此，警告装置10适当使用接口部120、拍摄装置131和132而作为本实施方式涉及的图像获取单元11、检测单元12和警告单元13等动作。
图3是用于说明本实施方式1涉及的对象物的检测和警告处理的流程的流程图。作为前提，假设傍晚等、白天的光量和夜间的光量的中间程度的光量入射至移动体1。
首先，拍摄装置111在移动体1行驶中根据第一滤波特性拍摄移动体1的周边区域，并作为第一图像获取(S111)。此时，警告装置10将获取的第一图像保存在存储部140。然后，检测单元12针对第一图像进行预定的对象物的检测(S112)。这里，图4是示出本实施方式1涉及的基于第一滤波器的拍摄图像30a的例子的图。示出在拍摄图像30a中在移动体1的行进方向上对象物41在一定程度上被检测出的情况。但是，假设检测单元12仅以对象物41无法充分识别。
与步骤S111并行，拍摄装置112在移动体1行驶中根据第二滤波特性拍摄移动体1的周边区域，并作为第二图像获取(S121)。此时，警告装置10将获取的第二图像保存于存储部140。然后，检测单元12针对第二图像进行预定的对象物的检测(S122)。这里，图5是示出本实施方式1涉及的基于第二滤波器的拍摄图像30b的例子的图。示出在拍摄图像30b中在移动体1的行进方向上对象物42稍稍被检测出的情况。但是，拍摄图像30b自身不清楚，因此假设检测单元12不能充分识别对象物42和道路。
在步骤S112和S122之后，警告单元13判定是否从第一图像和第二图像中的一者图像中检测出对象物(S131)。这里，在从一个检测出的情况下，警告单元13进行第一警告处理(S132)。例如，警告单元13将被检测出对象物的图像输出给显示装置21，并显示在屏幕上。例如，在外部环境的光量充足的情况下，在第一图像中清楚地出现对象物，但是在第二图像中对象物无法识别而未被检测出。在这样的情况下，警告单元13将第一图像输出给显示装置21。然后，由于第一图像被显示在屏幕上，因此驾驶员能够识别危险。
在步骤S131中判定为否的情况下，警告单元13判定是否从第一图像和第二图像的两者中检测出对象物(S133)。例如，在上述的图4和图5的拍摄图像30a和30b的情况下，成为从两方检测出对象物的情况。此时，警告单元13进行第二警告处理(S134)。这里，第二警告处理假设是与步骤S132的第一警告相比提高警告的程度的处理。这里，警告的程度高的处理进行说明。例如，警告单元13将第一图像和第二图像中的对象物以更高的精度被检测出的第一图像输出给显示装置21，并显示在屏幕上。此时，警告单元13也可以加工第一图像，将第一图像内的对象物附近强调显示在显示装置21上。另外，所谓强调显示如后面所述例如有由四边的线包围对象物、在对象物或对象物的上方标注标记、或改变对象物的色彩等。或者，警告单元13也可以在基于第一图像的显示的同时，经由扬声器22输出警告音。即，警告单元13使用第一图像和第二图像中的对象物以更高的精度被检测出的图像来进行预定的警告。
另一方面，作为一个例子，对与上述相比警告的程度不高的情况(例如，从第一图像和第二图像的一个检测出对象物的情况)也进行说明。在此情况下，如上所述，将在第一图像和第二图像中出现对象物的图像输出给显示装置21，并显示在屏幕上。此时，在不加工第一图像而显示在显示装置21或者加工图像而显示在显示装置21的情况下，与警告程度高的情况相比，警告单元13进行弄细包围对象物的线、使在对象物的上方标注的标记不同、使改变的对象物的色彩不同等的处理。另外，在警告单元13经由扬声器22输出警告音的情况下，与警告程度高的情况相比，进行使音量不同或改变警告音等的处理。
另外，在步骤S133中判定为否的情况下，结束图3的处理。
这里，在图3的步骤S112和S122中，检测单元12也可以针对所获取的多个图像的每个算出表示对象物的检测程度的指标值。例如，如专利文献2所示的那样，检测单元12也可以检测与对象物的外观有关的参数，将比较用参数和检测出的参数一致的程度作为指标值算出。另外，作为与外观有关的参数，例如可列举出亮度、色度、边缘或它们的组合。另外，从各图像检测对象物时算出指标值的处理不限于此。
并且，假设检测单元12将算出的指标值保存于存储部140。使用图6来说明该情况下的图3的步骤S131至S134的警告处理的一个例子。
首先，警告单元13判定指标值超过预定值的图像是否是一者(S131a)。例如，警告单元13判定从存储部140读取的指标值1431是否超过预定值。同样地，警告单元13判定从存储部140读取的指标值1432是否超过预定值。并且，在指标值1431和1432中的一者超过预定值、另一者为小于等于预定值的情况下，警告单元13将相符的图像、即超过预定值的图像显示在屏幕上(S132a)。步骤S132a是第一警告处理的一个例子。
在步骤S131a中判定为否的情况下，警告单元13判定指标值超过预定值的图像是否是两者(S133a)。在是两者的情况下，警告单元13选择指标值最高的图像(S134a)。例如，在拍摄图像30a和30b的情况下，选择拍摄图像30a。并且，警告单元13使用选择的图像在屏幕上强调显示对象物(S134b)。例如，警告单元13生成包围拍摄图像30a内的对象物41的区域的图像并输出给显示装置21，显示在屏幕上。这里，图7是示出将本实施方式1涉及的对象物的位置强调显示在屏幕上的例子的图。拍摄图像30a内的强调显示区域43是强调显示的一个例子。但是，强调显示不限于此。另外，在步骤S133a中判定为否的情况下，结束图6的处理。
这样，根据本实施方式1，至少可以说是如下的情况。
首先，在如之前那样使用两个滤波特性的任一个拍摄的情况下，如果针对外部环境使用适当的滤波特性，则能够以高的精度检测对象物。但是，在使用了不适当的滤波特性的情况下，对象物的检测精度变低。并且，在移动体处于行驶中的情况下，也可能发生外部环境难以判别的状况。因此，在本实施方式1中，通过预先使用多个滤波特性的每个拍摄周边，能够从至少一个图像中检测对象物的概率提高。因此，对于危险的状况能够将更多的情况警告给驾驶员，从而能够提高安全性。
并且，作为外部环境难以判别的状况，例如有从光量来看难以实施白天和夜间的判别的傍晚等。在这样的状况下，无论使用白天用的滤波器和夜间用的滤波器的哪一者，每个图像均不能达到足够的画质，如果只解析单一图像，则有可能无法以足够的精度来检测。这里，在本实施方式1中，在从针对相同的对象物利用不同的多个滤波特性拍摄到的多个图像的每个中以一定程度的精度检测出对象物的情况下，判定为是危险的状况。尤其是这样的状况与明确是白天还是夜间的情况相比，对于驾驶员来说也有可能难以识别对象物。因此，在这样的状况下与通常相比提高警告的程度，由此能够向驾驶员适当地发出警告。
另外，在警告的程度比第一警告处理高的第二警告处理的情况下，使用在两个图像中对象物以更高的精度被检测出的图像。其理由是，在从两个以上的拍摄图像中检测出对象物的情况下，通过使用检测精度更高的图像来进行警告，由此对于驾驶员来说对象物更容易识别。
发明的实施方式2
本实施方式2是上述的实施方式1的改进例。图8是示出本实施方式2涉及的警告装置10a的构成的框图。警告装置10a是在图1的警告装置10中增加了位置信息获取单元14和设定单元15的装置。因此，在下面的说明中，对于与图1相同的构成省略说明。另外，为了方便说明，在图8中示出了相当于图2的存储部140的存储部16。另外，假设在警告程序141中也安装了与实施方式2对应的功能。
假设存储部16除了图2的存储部140内的构成以外，进一步存储有地图信息161、特定区域162、位置信息163、第一模式164以及第一模式165。地图信息161是以坐标定义了车辆行驶的道路或各设施的位置的信息。另外，地图信息161可以使用在一般的车辆导航***中使用的地图信息。特定区域162是预先定义地图信息161内的一部分的区域的信息。特定区域162例如表示高速公路、一般道路、隧道内、铁道的车站附近等的区域。位置信息163是由位置信息获取单元14获取的、移动体1的当前的位置信息。
第一模式164是定义图像获取单元11根据一个滤波特性进行拍摄的设定信息。第二模式165是定义图像获取单元11根据多个滤波特性进行拍摄的设定信息。
位置信息获取单元14定期地获取移动体1的当前的位置信息。并且，位置信息获取单元14将获取的位置信息保存于存储部16。位置信息获取单元14是例如搭载于车辆上的获取GPS(Global Positioning System：全球定位***)信息的装置。
设定单元15根据预定的条件选择第一模式164或第二模式165，并在图像获取单元11中设定选择出的模式。并且，设定单元15在获取到的位置信息163处于地图信息161上的特定区域162的范围内的情况下，选择第二模式165并在图像获取单元11中进行设定。
这里，作为预定的条件，假设是例如使用位置信息、时间信息、天气、道路信息、或者行驶信息等的一部分或全部的条件。作为使用位置信息的条件，例如是当前位置和特定位置的距离是否处于预定值以内、或者是否处于特定区域的范围内等。另外，作为使用时间信息的条件，例如是基于当前日期的季节的判别条件、基于小时的白天或夜间等时间带的判别条件等。另外，为了使用时间信息，另外需要获取当前时刻的信息的构成等。
另外，作为使用天气的条件，例如是云的状态、天气晴朗、阴、雨等。另外，为了使用天气，另外需要获取天气的信息的构成等。另外，作为使用道路信息的条件，例如是道路种类为高速道路或一般道路、道路的宽度、道路标识、道路形状、路面状态等的判别条件。另外，为了使用道路信息，另外需要获取与行驶中的道路有关的信息的构成等。另外，作为使用行驶信息的条件，是车辆的速度或制动器的控制信息等是否超过预定值等的判别条件。另外，为了使用行驶信息，另外需要从车辆获取速度或制动器的控制信息的构成等。
图9是用于说明本实施方式2涉及的模式设定处理的流程的流程图。首先，位置信息获取单元14定期地获取当前的位置信息(S21)。接着，设定单元15判定获取到的位置信息是否处于特定区域的范围内(S22)。在判定为处于特定区域的范围内的情况下，设定单元15选择第二模式(S23)。另一方面，在判定为处于特定区域的范围外的情况下，设定单元15选择第一模式(S24)。之后，设定单元15在图像获取单元11中设定选择出的模式(S25)。
这样，在本实施方式2中，能够根据情况切换拍摄时使用的滤波器的种类。由此，在容易判别外部环境的情况下，能够使用第一模式来抑制移动体1的消耗电力等。另外，在难以判别外部环境的情况下，能够立即切换到使用多个滤波特性的第二模式。
发明的实施方式3
本实施方式3是上述的实施方式1的变形例。在上述的实施方式1中，图像获取单元11具有两个拍摄装置，但是本实施方式3涉及的图像获取单元11a具有一个拍摄装置。
图10是示出本实施方式3涉及的图像获取单元11a的构成的框图。图像获取单元11a具有一个拍摄装置113。拍摄装置113定期地切换多个滤波特性而进行拍摄。拍摄装置113具备滤波器1131、拍摄元件1132以及切换单元1133。滤波器1131进行选择入射至拍摄元件1132的光的波长的处理。例如，滤波器1131选择可见光区域或近红外区域并使光通过，以入射至拍摄元件1132。另外，滤波器1131可包含红外区域截止滤波器(IR滤波器)、高通滤波器、带通滤波器等。即，滤波器1131能够实现多个种类的滤波特性中的被选择出的滤波器。拍摄元件1132是将通过滤波器1131的光的强度变换为电信号的元件。切换单元1133设定针对滤波器1131选择出的滤波特性。并且，切换单元1133定期地切换滤波特性的选择。另外，切换单元1133假设以与多个拍摄装置根据多个滤波特性同时拍摄同一对象的情况实质上相同的速度切换滤波特性。另外，切换单元具有时钟、并且接收基于时钟的信号，由此定期地进行切换拍摄。
这样，根据本实施方式3，也能够获得与上述的实施方式1同等的效果。
发明的实施方式4
图11是示出搭载有本实施方式4涉及的警告装置10b的移动体1b的整体构成的框图。移动体1b搭载警告装置10b、显示装置21以及扬声器22等并通过驾驶员的操作进行行驶。移动体1b例如是汽车等车辆。警告装置10b是通过解析在移动体1b行驶中被拍摄到的图像，检测有可能与移动体1b碰撞等的周边的对象物，并通过显示装置21或扬声器22等向驾驶员进行警告的装置。另外，显示装置21或扬声器22与图1相同。
警告装置10b包括图像获取单元11b、检测单元12b、判定单元17、以及警告单元13b。图像获取单元11b在移动体1b行驶中根据不同的多个滤波特性连续并列拍摄移动体1b的周边区域。并且，图像获取单元11b获取将拍摄到的多个图像作为针对各滤波特性沿时间序列的多个图像组。换言之，图像获取单元11b获取由连续拍摄的多个图像构成的图像组。并且，图像获取单元11b获取基于多个滤波特性的每个的多个图像组。图像获取单元11b具有拍摄装置111和112。拍摄装置111和112对应于多个滤波特性的每个。并且，拍摄装置111和112的每个根据对应的滤波特性进行拍摄。另外，图像获取单元11b所具备的拍摄装置不限于两个。例如，图像获取单元11b也可以具有与三个以上的滤波特性的每个对应的三个以上的拍摄装置。另外，拍摄装置例如是相机。
检测单元12b针对多个图像组内的图像的每个进行预定的对象物的检测。并且，检测单元12b针对各图像生成检测结果。另外，检测单元12b检测每一个图像中的对象物的方法与上述的检测单元12相同。
判定单元17沿时间序列比较多个图像组中的对象物的检测结果，判定对象物的移动程度。这里，“沿时间序列比较检测结果”表示例如比较拍摄时刻相邻的图像彼此的检测结果。此时，也可以针对各图像组进行比较，也可以比较属于不同的图像组的图像彼此的检测结果。或者，也可以比较相同拍摄时刻的属于不同的图像组的图像彼此的检测结果。并且，也可以算出某个拍摄时刻的属于不同的图像组的图像彼此的检测结果的平均值，比较相邻的拍摄时刻的平均值。
另外，“移动程度”例如包括对象物接近或远离移动体1b的程度、即对象物向移动体1b的接近程度或接近速度、对象物的移动速度或移动方向等。另外，“判定对象物的移动程度”例如包括判定接近速度等是否快于基准值等。或者，在对象物横穿道路而移动的情况下，也可以根据移动方向或移动速度、移动体1b的行驶方向和行驶速度来算出对象物和移动体1b的碰撞概率，判定碰撞概率是否超过基准值等。
警告单元13b根据被判定出的移动程度来进行警告。例如，在根据移动程度而对象物接近移动体1b的情况下，进行警告。尤其是，在接近程度超过基准值的情况下，增大警告程度。另外，在如上所述碰撞概率超过基准值的情况下，也增大警告程度。
图12是示出本实施方式4涉及的警告装置10b的硬件构成的框图。警告装置10b包括处理器110、接口部120、拍摄装置131和132、以及存储部140b。另外，处理器110、接口部120、拍摄装置131和132与图2相同，因此省略详细说明。
存储部140b是存储器等存储装置。存储部140b存储警告程序141b、第一图像组1421b以及第二图像组1422b、检测结果143以及接近速度144。警告程序141b是安装有本实施方式4涉及的警告装置10b的处理即警告方法的计算机程序。
第一图像组1421b是在移动体1b行驶中根据第一滤波特性被连续拍摄移动体1b的周边区域而得的多个拍摄图像14211、14212…的沿时间序列的集合。例如，假设拍摄图像14211、14212、…是以该顺序被连续拍摄而得的图像。另外，第二图像组1422b是与第一图像组1421b的拍摄并行地根据第二滤波特性连续拍摄移动体1b的周边区域而得的多个拍摄图像14221、14222…的沿时间序列的集合。例如，假设拍摄图像14221、14222、…是以该顺序被连续拍摄的图像。即，拍摄图像14211和14221的拍摄时刻对应，拍摄图像14212和14222的拍摄时刻对应。
检测结果143是针对各拍摄图像试图检测对象物的结果。假设检测结果143是针对各拍摄图像而存在的结果。接近速度144是对象物向移动体1b接近程度的一个例子，是对象物相对于移动体1b的相对的移动速度。接近速度144根据拍摄时刻从多个图像的检测结果等算出。
处理器110从存储部140b读取警告程序141b并执行。由此，警告装置10b适当使用接口部120、拍摄装置131和132而作为本实施方式4涉及的图像获取单元11b、检测单元12b、判定单元17和警告单元13b等而动作。
图13是用于说明本实施方式4涉及的从拍摄到警告的处理的流程的流程图。首先，拍摄装置111在移动体1b行驶中根据第一滤波特性连续拍摄移动体1b的周边区域(S41)。然后，图像获取单元11b获取拍摄图像作为第一图像组(S42)。具体地说，图像获取单元11b每当拍摄时将拍摄图像与存储部140b内的第一图像组1421b对应地保存。并且，检测单元12b针对第一图像组的各图像进行预定的对象物的检测(S43)。具体地说，检测单元12b读取与保存于存储部140b的第一图像组1421b对应的拍摄图像14211等，针对各图像进行检测处理，并将检测结果保存于存储部140b。
另外，拍摄装置112与步骤S41并行地，在移动体1b行驶中根据第二滤波特性连续拍摄移动体1b的周边区域(S44)。然后，图像获取单元11b获取拍摄图像作为第二图像组(S45)。具体地说，图像获取单元11b每次拍摄时将拍摄图像与存储部140b内的第二图像组1422b对应地保存。然后，检测单元12b针对第二图像组的各图像进行预定的对象物的检测(S46)。具体地说，检测单元12b读取与保存于存储部140b的第二图像组1422b对应的拍摄图像14221等，针对各图像进行检测处理，并将检测结果保存于存储部140b。
另外，检测单元12b也可以每次通过拍摄装置111和112拍摄时进行步骤S43和S46的检测处理。
之后，判定单元17沿时间序列比较第一图像组和第二图像组中的检测结果，判定对象物的移动程度(S47)。例如，判定单元17基于检测结果算出对象物向移动体1b的接近速度，使用接近速度来判定对象物的移动程度。然后，警告单元13b根据被判定出的移动程度来进行警告(S48)。
这样，在本实施方式4中，当在移动体1b行驶中连续拍摄移动体1b的周边时，根据多个滤波特性并列进行。此时，在各滤波特性不同的图像组中沿时间序列对拍摄图像进行分类。这里，在基于多个滤波特性的拍摄图像中，即使是移动体1b的外部环境难以判别的状况，在各时间带中根据至少一个滤波特性拍摄到的图像的画质保持与基于适当的滤波特性的拍摄图像相当的画质的概率也高。因此，通过沿时间序列比较对各图像的对象物的检测结果，能够判定对象物的移动程度。因此，能够根据对象物的移动程度适当地警告驾驶员。因此，也能够提高安全性。
尤其是，通过使用接近速度来判定移动程度，能够更直接地判定碰撞的危险性，因此也能够提高警告的精度。
接着，下面表示示出上述图13的步骤S47和S48的详细处理的实施例1～3。
实施例1
本实施例1是针对各图像组算出接近速度并基于接近速度更快的图像组进行警告的实施例。下面，基于图14说明实施例1的处理，适当参照图15。图14是用于说明本实施方式4的实施例1中的详细处理的流程的流程图。另外，图15是用于说明本实施方式4的实施例1中的处理的概念的图。另外，假设拍摄图像311～313属于第一图像组31，是分别在时刻t1～t3被拍摄到的图像。另外，假设拍摄图像321～323属于第二图像组32，是分别在时刻t1～t3被拍摄到的图像。
在图14中，首先，判定单元17在第一图像组中的图像之间沿时间序列进行比较，算出接近速度(S51)。在图15的例子中，判定单元17比较属于第一图像组31的拍摄图像311和拍摄图像312的检测结果，并且比较拍摄图像312和拍摄图像313的检测结果，由此求出对象物的移动距离。然后，判定单元17基于移动距离和时刻t1至时刻t3的时间算出第一图像组31中的对象物的接近速度。
同样地，判定单元17在第二图像组中的图像之间沿时间序列进行比较，算出接近速度(S52)。在图15的例子中，判定单元17比较属于第二图像组32的拍摄图像321和拍摄图像322的检测结果，并且比较拍摄图像322和拍摄图像323的检测结果，由此求出对象物的移动距离。然后，判定单元17基于移动距离和时刻t1至时刻t3的时间算出第二图像组32中的对象物的接近速度。另外，步骤S51和S52无需并列执行。即，判定单元17针对各图像组算出接近速度即可。
接着，判定单元17选择在多个图像组中接近速度更快的图像组(S53)。即，判定单元17比较在步骤S51和S52中算出的接近速度，判定接近速度更快的图像组是第一图像组31和第二图像组32的哪一组并进行选择。然后，判定单元17使用选择出的图像组中的接近速度来判定对象物的移动程度(S54)。例如，判定单元17判定选择出的接近速度是否大于等于预定的基准值，在大于等于基准值的情况下，判定为对象物比通常更快地接近移动体1b。
之后，警告单元13b使用被选择出的图像组进行与接近速度相应的警告(S55)。例如，警告单元13b在接近速度大于等于基准值的情况下，与接近速度不足基准值的情况相比提高警告的程度。这里，对警告的程度高的情况进行说明。例如，警告单元13b也可以针对属于被选择出的图像组的图像加工为图像所包含的对象物被强调显示，并输出给显示装置21。另外，所谓强调显示例如有由四边的线包围对象物、在对象物或对象物的上方标注标记、改变对象物的色彩等。即，警告单元13b也可以进行相当于上述的第二警告处理的处理。
图16是示出在本实施方式4的实施例1中将对象物的位置强调显示在屏幕上的例子的图。这里，示出在显示屏幕40上显示有强调显示区域43。另外，提高警告的程度的处理不限于此，例如警告单元13b也可以经由扬声器22输出警告音。
另一方面，作为一个例子，也对警告的程度与上述相比不高的情况(例如接近速度不足基准值的情况)进行说明。在此情况下，将属于被选择出的图像组的图像输出给显示装置21，并显示在屏幕上。此时，警告单元13b在不加工属于被选择出的图像组的图像而显示在显示装置21或在显示装置21上加工图像而显示的情况下，进行与警告程度高的情况相比弄细包围对象物的线、使标注在对象物的上方的标记不同、使改变的对象物的色彩不同等的处理。另外，在警告单元13b经由扬声器22输出警告音的情况下，进行与警告程度高的情况相比使音量不同、改变警告音等的处理。即，警告单元13b也可以进行相当于上述的第一警告处理的处理。
如上地，在本实施方式4的实施例1中，在一定期间的外部环境中，使用基于更适当的滤波器的拍摄图像组来判定对象物的移动程度，因此能够使用检测精度更高的图像进行适当的警告。
这里，属于基于适当的滤波器的拍摄图像组的各图像的对象物的检测精度高，因此在时间序列上相邻的图像之间的对象物的位置差异显著。即，能够明确把握对象物的移动。另一方面，属于基于不适当的滤波器的拍摄图像组的各图像的对象物的检测精度低，因此在时间序列上相邻的图像之间的对象物的位置差异不显著。即，难以判别对象物是否移动。因此，前者与后者相比，接近速度相对快地被算出。因此，在接近速度更快地算出的图像组中，可以说基于滤波器的检测精度也相对高。并且，通过使用检测精度高的图像组输出到屏幕上等，能够使驾驶员可靠地把握危险。
另外，例如，在接近速度超过基准值的情况下，由于紧急性高，通过进一步提高警告的程度，能够适当地警告驾驶员。相反地，即使在某时刻拍摄的图像中检测出对象物，但是在以后的时刻的拍摄图像中未检测出对象物的情况下，对象物是误检测，或者对象物离开移动体1b的可能性高。在这样的情况下，通过判定是警告的对象之外，能够避免过度的警告。
实施例2
接着，本实施例2为了应对外部环境的急剧变化，针对各时间带选择检测精度高的图像。下面，基于图17说明实施例2的处理，适当参照图18。图17是用于说明本实施方式4的实施例2中的详细处理的流程的流程图。另外，图18是用于说明本实施方式4的实施例2中的处理的概念的图。
首先，判定单元17比较与时刻t1对应的图像彼此来选择检测精度高的图像(S61)。例如，在与时刻对应的图像彼此的检测精度的比较中，也可以使用在上述的检测结果时使用的与外观相关的参数和比较用参数通过图案匹配技术等来检测一致的程度，比较其结果。接着，判定单元17比较与时刻t2对应的图像彼此来选择检测精度高的图像(S62)。同样地，判定单元17比较与时刻t3对应的图像彼此来选择检测精度高的图像(S63)。另外，步骤S61～S63的执行顺序不限于此。
在图18的例子中，示出判定单元17比较与时刻t1对应的拍摄图像311和拍摄图像321的检测结果来选择出检测精度更高的拍摄图像311。同样地，示出判定单元17比较与时刻t2对应的拍摄图像312和拍摄图像322的检测结果来选择出检测精度更高的拍摄图像322。并且，示出判定单元17比较与时刻t3对应的拍摄图像313和拍摄图像323的检测结果来选择出检测精度更高的拍摄图像313。
之后，判定单元17在时刻t1～t3的选择图像之间沿时间序列进行比较，算出接近速度(S64)。在图18的例子中，判定单元17将拍摄图像311、拍摄图像322以及拍摄图像313作为一个图像组算出接近速度。
并且，判定单元17使用算出的接近速度来判定对象物的移动程度(S65)。之后，警告单元13b使用被选择出的各图像进行与接近速度相应的警告(S66)。另外，步骤S65和S66也可以在接近速度大于等于基准值的情况下如图16那样提高警告的程度。
这样，在本实施方式4的实施例2中，在一定的期间内外部环境的变化激烈的情况下，适当地判定对象物的移动程度，从而能够进行适当的警告。所谓在一定的期间内外部环境的变化激烈的情况相当于例如进入隧道的前后、或者从隧道出来的前后、天气由于急剧的云的运动而骤变的情况等、周边的亮度急剧地变化的情况。在这样的情况下，到时间序列的某个时间点为止，根据第一滤波特性拍摄到的第一图像组的检测精度高，但是从中途开始第一图像组的检测精度下降，相反地，根据第二滤波特性拍摄到的第二图像组的检测精度可变高。另外，在夕阳和云的关系亮度不稳定的情况下，如图18所示检测精度高的图像组可成为交替。
因此，在本实施例2中，由于针对各拍摄时刻比较检测精度，因此选择对于各拍摄时刻的亮度以适当的滤波特性拍摄的图像，从而能够由所选择的图像的集合构成检测精度高的图像组。因此，能够算出可靠性高的接近速度，能够进行适当的警告。
实施例3
接着，本实施例3在多个滤波特性中难以判别针对外部环境合适的滤波特性的情况下，综合根据各滤波特性拍摄到的图像来提高检测精度。下面，基于图19来说明实施例3的处理，适当参照图20。图19是用于说明本实施方式4的实施例3中的详细处理的流程的流程图。图20是用于说明本实施方式4的实施例3中的处理的概念的图。
首先，判定单元17比较与时刻t1对应的图像彼此，确定对象物在图像内的位置(S71)。接着，判定单元17比较与时刻t2对应的图像彼此，确定对象物在图像内的位置(S72)。同样地，判定单元17比较与时刻t3对应的图像彼此，确定对象物在图像内的位置(S73)。另外，确定位置的处理也可以算出比较对象图像内的对象物的位置的平均值。另外，也可以合成比较对象图像彼此。另外，步骤S71～S73的执行顺序不限于此。
在图20的例子中，示出判定单元17从与时刻t1对应的拍摄图像311和拍摄图像321将对象物的位置确定为它们的中间程度。同样地，示出判定单元17比较与时刻t2对应的拍摄图像312和拍摄图像322，并且比较与时刻t3对应的拍摄图像313和拍摄图像323，分别将对象物的位置确定为它们的中间程度。
之后，判定单元17沿时间序列比较确定的位置，算出接近速度(S74)。在图20的例子中，判定单元17将图像331、332和333作为一个图像组算出接近速度。
并且，判定单元17使用算出的接近速度来判定对象物的移动程度(S75)。之后，警告单元13b使用各时间带确定的对象物的位置进行与接近速度相应的警告(S76)。另外，步骤S75和S76也可以在接近速度大于等于基准值的情况下如图16那样提高警告的程度。
这样，在本实施方式4的实施例3中，从各图像组的检测结果中取平均等，因此能够抑制误判定的影响。另外，例如，在傍晚的情况下，移动体1b的周边的亮度处于白天与夜间之间，因此存在难以判断第一滤波特性和第二滤波特性的哪一个合适的情况。即使是这样的情况下，通过取双方的检测结果的中间，也能够以某种程度合理的精度确定对象物的位置。因此，能够综合地使用多个图像组来保持对象物的检测精度。
发明的实施方式5
本实施方式5是上述的实施方式4的变形例。在上述的实施方式4中，图像获取单元11b具有两个拍摄装置，但是本实施方式5涉及的图像获取单元具有一个拍摄装置。另外，本实施方式5涉及的图像获取单元的构成与上述的图11相同，因此省略图示和详细说明。另外，假设本实施方式5涉及的图像获取单元内的切换单元1133通过定期地切换多个滤波特性而拍摄，能够通过多个拍摄装置实质上并列地拍摄同一对象。
这样，根据本实施方式5也能够获得与上述的实施方式4同等的效果。另外，本实施方式5均能够应用上述的实施例1～3。
另外，上述判定单元12b也可以在各图像组中的图像之间沿所述时间序列比较所述检测结果，针对各所述图像组算出向所述对象物接近的速度，在所述多个图像组中选择所述接近速度最快的图像组，判定所述选择出的图像组中的所述对象物的移动程度。
其他发明的实施方式
另外，上述的各实施例能够适当地进行组合。即，也可以将实施方式2和实施方式3进行组合。
上面，虽然本发明根据上述实施方式进行了说明，但是本发明不仅限于上述实施方式的构成，毋庸置疑，包括本领域的技术人员在本申请权利要求书的范围内可实现的各种变形、修改、组合。
另外，上述的车载装置的任意的处理也能够通过使CPU(Central ProcessingUnit：中央处理器)执行计算机程序来实现。在此情况下，计算机程序可以使用各种类型的非暂时性计算机可读介质(non-transitory computer readable medium)来存储，并提供给计算机。非暂时性计算机可读介质包括各种类型的具有实体的记录介质(tangiblestorage medium)。非暂时性计算机可读介质的例子包括磁存储介质(例如软盘、磁带、硬盘驱动器)、磁光存储介质(例如磁光盘)、CD-ROM(Read Only Memory：只读存储器)、CD-R、CD-R/W、半导体存储器(例如掩模ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、闪存ROM、RAM(random access memory：随机存取存储器))。另外，程序也可以通过各种类型的临时计算机可读介质(transitory computer readable medium：暂时性计算机可读介质)提供给计算机。暂时性计算机可读介质的例子包含电信号、光信号、以及电磁波。暂时性计算机可读介质能够经由电线和光纤等有线通信路径或者无线通信路径将程序提供给计算机。
另外，本发明的实施方式不仅包括通过计算机执行实现上述的实施方式的功能的程序来实现上述的实施方式的功能的情况，还包括该程序与在计算机上运行的OS(Operating System：操作***)或者应用软件共同实现上述实施方式的功能的情况。进一步，该程序的处理的全部或一部分由被***于计算机的功能扩展板或连接于计算机的功能扩展单元来进行，本发明的实施方式还包括实现上述的实施方式的功能的情况。
该申请主张以2015年3月10日申请的日本申请特2015-046584和2015年3月10日申请的日本申请特2015-046585为基础的优先权，该申请的全部公开内容并入本文中。
工业实用性
本发明能够应用于包含车辆的移动体所搭载的警告装置，具有工业实用性。
符号说明
1 移动体
1b 移动体
10 警告装置
10a 警告装置
10b 警告装置
11 图像获取单元
11a 图像获取单元
111 拍摄装置
112 拍摄装置
113 拍摄装置
1131 滤波器
1132 拍摄元件
1133 切换单元
12 检测单元
12b 检测单元
13 警告单元
13b 警告单元
14 位置信息获取单元
15 设定单元
16 存储部
161 地图信息
162 特定区域
163 位置信息
164 第一模式
165 第二模式
17 判定单元
21 显示装置
22 扬声器
110 处理器
120 接口部
131 拍摄装置
1311 第一滤波器
1312 第一拍摄元件
132 拍摄装置
1321 第二滤波器
1322 第二拍摄元件
140 存储部
141 警告程序
1421 拍摄图像
1422 拍摄图像
1431 指标值
1432 指标值
140b 存储部
141b 警告程序
1421b 第一图像组
14211 拍摄图像
14212 拍摄图像
1422b 第二图像组
14221 拍摄图像
14222 拍摄图像
143 检测结果
144 接近速度
30a 拍摄图像
30b 拍摄图像
31 第一图像组
311 拍摄图像
312 拍摄图像
313 拍摄图像
32 第二图像组
321 拍摄图像
322 拍摄图像
323 拍摄图像
331 图像
332 图像
333 图像
40 显示屏幕
41 对象物
42 对象物
43 强调显示区域
t1 时刻
t2 时刻
t3 时刻

Claims (17)

1.一种警告装置，具备：
图像获取单元，所述图像获取单元获取基于多个滤波特性的每个的多个图像；
检测单元，所述检测单元针对所述获取的多个图像的每个进行预定的对象物的检测；以及
警告单元，所述警告单元在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下进行预定的警告，
所述警告单元
在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
2.如权利要求1所述的警告装置，其中，
所述警告单元
在从所述多个图像中的两个以上中检测出所述对象物的情况下，使用其中以更高的精度检测出所述对象物的图像来进行所述预定的警告。
3.如权利要求2所述的警告装置，其中，
所述检测单元
针对所述获取的多个图像的每个算出表示所述对象物的检测程度的指标值，
所述警告单元
将所述指标值超过预定值的图像当作被检测出所述对象物的图像，
在从所述多个图像中的两个以上中检测出所述对象物的情况下，使用其中所述指标值最高的图像来进行所述预定的警告。
4.如权利要求1至3中任一项所述的警告装置，其中，
还包括设定单元，
所述设定单元根据预定的条件选择所述图像获取单元根据一个滤波特性拍摄的第一模式或者所述图像获取单元根据所述多个滤波特性拍摄的第二模式，并在所述图像获取单元中设定选择出的模式。
5.如权利要求4所述的警告装置，其中，
还包括位置信息获取单元，所述位置信息获取单元获取所述警告装置的当前的位置信息，
所述设定单元
在所述获取的位置信息处于地图信息上的特定区域范围内的情况下，选择所述第二模式并在所述图像获取单元中进行设定。
6.如权利要求1至5中任一项所述的警告装置，其中，
所述警告单元
在由所述检测单元检测出所述对象物的情况下，通过将所述检测出的图像上的所述对象物的位置强调显示在画面中，由此进行所述预定的警告。
7.如权利要求1至6中任一项所述的警告装置，其中，
所述图像获取单元
具有与所述多个滤波特性的每个对应的多个拍摄装置，
所述多个拍摄装置的每个
根据对应的滤波特性进行拍摄。
8.如权利要求1至6中任一项所述的警告装置，其中，
所述图像获取单元具有一个拍摄装置，
所述拍摄装置定期地切换所述多个滤波特性而进行拍摄。
9.一种警告方法，其特征在于，包括：
图像获取步骤，获取基于多个滤波特性的每个的多个图像；
检测步骤，针对所述获取的多个图像的每个进行预定的对象物的检测；以及
警告步骤，在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下，进行预定的警告，
在所述警告步骤中，
在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
10.一种警告程序，其特征在于，使计算机执行以下步骤：
图像获取步骤，获取基于多个滤波特性的每个的多个图像；
检测步骤，针对所述获取的多个图像的每个进行预定的对象物的检测；以及
警告步骤，在从所述获取的多个图像中的至少一个图像中检测出所述对象物的情况下，进行预定的警告，
在所述警告步骤中，
在从所述多个图像的全部中检测出所述对象物的情况下，与从所述多个图像的一部分中检测出所述对象物的情况相比，提高警告的程度。
11.一种警告装置，其特征在于，具备：
图像获取单元，所述图像获取单元获取由被连续拍摄的多个图像构成的图像组；
检测单元，所述检测单元针对所述图像组内的图像的每个进行对象物的检测；
判定单元，所述判定单元沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及
警告单元，所述警告单元根据所述判定的移动程度来进行警告，
所述图像获取单元获取基于多个滤波特性的每个的多个图像组。
12.如权利要求11所述的警告装置，其特征在于，
所述判定单元
在所述多个图像组之间比较彼此对应的图像，针对各时间带选择所述检测的精度高的图像，
沿所述时间序列比较所述选择出的各图像，判定所述对象物的移动程度。
13.如权利要求11所述的警告装置，其特征在于，
所述判定单元
在所述多个图像组之间比较彼此对应的图像，针对各时间带确定所述对象物的图像内的位置，
沿所述时间序列比较所述确定的位置，判定所述对象物的移动程度。
14.如权利要求11所述的警告装置，其特征在于，
所述判定单元
在各图像组中的图像之间沿所述时间序列比较所述检测结果，针对所述各图像组算出对所述对象物的接近速度，
在所述多个图像组中选择所述接近速度最快的图像组，
判定所述选择出的图像组中的所述对象物的移动程度。
15.如权利要求11至13中任一项所述的警告装置，其中，
所述判定单元在各图像组中的图像之间沿所述时间序列比较所述检测结果，针对所述各图像组算出对所述对象物的接近速度，
判定所述接近速度是否大于等于基准值，
所述警告单元
在所述接近速度大于等于预定的基准值的情况下，与所述接近速度小于基准值的情况相比，提高警告的程度。
16.一种警告方法，其特征在于，包括：
图像获取步骤，获取由被连续拍摄的多个图像构成的图像组；
检测步骤，针对所述图像组内的图像的每个进行对象物的检测；
判定步骤，沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及
警告步骤，根据所述判定的移动程度来进行警告，
所述图像获取步骤获取基于多个滤波特性的每个的多个图像组。
17.一种警告程序，其特征在于，使计算机执行以下步骤：
图像获取步骤，获取由被连续拍摄的多个图像构成的图像组；
检测步骤，针对所述图像组内的图像的每个进行对象物的检测；
判定步骤，沿时间序列比较所述图像组中的所述对象物的检测结果，判定所述对象物的移动程度；以及
警告步骤，根据所述判定的移动程度来进行警告，
在所述图像获取步骤中，获取基于多个滤波特性的每个的多个图像组。
CN201680013013.XA 2015-03-10 2016-03-02 警告装置、警告方法以及警告程序 Active CN107408288B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015046585A JP6387869B2 (ja) 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム
JP2015046584A JP6299630B2 (ja) 2015-03-10 2015-03-10 警告装置、警告方法及び警告プログラム
JP2015-046585 2015-03-10
JP2015-046584 2015-03-10
PCT/JP2016/001136 WO2016143306A1 (ja) 2015-03-10 2016-03-02 警告装置、警告方法及び警告プログラム

Publications (2)

Publication Number Publication Date
CN107408288A true CN107408288A (zh) 2017-11-28
CN107408288B CN107408288B (zh) 2021-02-12

Family

ID=56879969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013013.XA Active CN107408288B (zh) 2015-03-10 2016-03-02 警告装置、警告方法以及警告程序

Country Status (4)

Country Link
US (3) US10474910B2 (zh)
EP (2) EP4187524A1 (zh)
CN (1) CN107408288B (zh)
WO (1) WO2016143306A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070026A (zh) * 2019-04-17 2019-07-30 中国科学院自动化研究所 基于模式识别的视频图像危险态势感知方法、***、装置
CN111160067A (zh) * 2018-11-07 2020-05-15 北京奇虎科技有限公司 危险识别方法、装置、电子设备及计算机可读存储介质
CN114078317A (zh) * 2020-08-11 2022-02-22 丰田自动车株式会社 警告通知***、警告通知方法及警告通知程序
CN115512569A (zh) * 2021-06-07 2022-12-23 本田技研工业株式会社 警告控制装置、移动体、警告控制方法和计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4187524A1 (en) * 2015-03-10 2023-05-31 JVC Kenwood Corporation Alert device, alert method, and alert program
JP7009057B2 (ja) 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
JP2019185180A (ja) * 2018-04-03 2019-10-24 株式会社Ｊｖｃケンウッド 警告処理装置、警告処理方法およびプログラム
CN109327658A (zh) * 2018-10-09 2019-02-12 西安黑瞳信息科技有限公司 一种基于高速运算的用户人脸抓拍摄像单元及使用方法
JP2023028536A (ja) * 2021-08-19 2023-03-03 トヨタ自動車株式会社 自動車

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246219A (zh) * 2007-02-16 2008-08-20 福特全球技术公司 利用远红外线图像探测物体的方法和***
JP2009055553A (ja) * 2007-08-29 2009-03-12 Fujifilm Corp 複数の撮像素子を搭載した撮像装置
JP2012203884A (ja) * 2011-03-28 2012-10-22 Toyota Central R&D Labs Inc 飛び出し歩行者判定装置及びプログラム
CN102782741A (zh) * 2010-03-03 2012-11-14 本田技研工业株式会社 车辆周围监测装置
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN102881186A (zh) * 2011-07-11 2013-01-16 歌乐株式会社 车辆用外界识别装置及使用了该装置的车辆控制***
US20130279746A1 (en) * 2012-02-09 2013-10-24 Honda Elesys Co., Ltd. Image recoginition device, image recognition method, and image recognition program
US20150062141A1 (en) * 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Alert display device and alert display method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143304B2 (ja) 1993-12-09 2001-03-07 株式会社ユー・エス・ケー 複合型監視装置
JP5110356B2 (ja) * 2007-07-10 2012-12-26 オムロン株式会社 検出装置および方法、並びに、プログラム
US9135510B2 (en) * 2010-08-25 2015-09-15 University Of Sydney Method of processing sensor data for navigating a vehicle
JP2011146049A (ja) 2011-02-04 2011-07-28 Denso Corp 人物検出装置、人物検出プログラム、作動制御装置、および衝突緩和装置
JP5287942B2 (ja) * 2011-06-29 2013-09-11 ブラザー工業株式会社 画像形成装置
EP4187524A1 (en) * 2015-03-10 2023-05-31 JVC Kenwood Corporation Alert device, alert method, and alert program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246219A (zh) * 2007-02-16 2008-08-20 福特全球技术公司 利用远红外线图像探测物体的方法和***
JP2009055553A (ja) * 2007-08-29 2009-03-12 Fujifilm Corp 複数の撮像素子を搭載した撮像装置
CN102782741A (zh) * 2010-03-03 2012-11-14 本田技研工业株式会社 车辆周围监测装置
JP2012203884A (ja) * 2011-03-28 2012-10-22 Toyota Central R&D Labs Inc 飛び出し歩行者判定装置及びプログラム
CN102855774A (zh) * 2011-06-27 2013-01-02 歌乐株式会社 车辆周围监视装置
CN102881186A (zh) * 2011-07-11 2013-01-16 歌乐株式会社 车辆用外界识别装置及使用了该装置的车辆控制***
US20130279746A1 (en) * 2012-02-09 2013-10-24 Honda Elesys Co., Ltd. Image recoginition device, image recognition method, and image recognition program
US20150062141A1 (en) * 2013-09-04 2015-03-05 Toyota Jidosha Kabushiki Kaisha Alert display device and alert display method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARIA JOKELA ET AL: "Road condition monitoring system based on a stereo camera", 《2009 IEEE 5TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTER COMMUNICATION AND PROCESSING》 *
魏晗: "红外图像中车辆目标识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160067A (zh) * 2018-11-07 2020-05-15 北京奇虎科技有限公司 危险识别方法、装置、电子设备及计算机可读存储介质
CN110070026A (zh) * 2019-04-17 2019-07-30 中国科学院自动化研究所 基于模式识别的视频图像危险态势感知方法、***、装置
CN110070026B (zh) * 2019-04-17 2021-01-29 中国科学院自动化研究所 基于模式识别的视频图像危险态势感知方法、***、装置
CN114078317A (zh) * 2020-08-11 2022-02-22 丰田自动车株式会社 警告通知***、警告通知方法及警告通知程序
CN114078317B (zh) * 2020-08-11 2024-01-09 丰田自动车株式会社 警告通知***、警告通知方法及警告通知程序
CN115512569A (zh) * 2021-06-07 2022-12-23 本田技研工业株式会社 警告控制装置、移动体、警告控制方法和计算机可读存储介质
US11922813B2 (en) 2021-06-07 2024-03-05 Honda Motor Co., Ltd. Alert control apparatus, moving body, alert control method, and computer-readable storage medium

Also Published As

Publication number Publication date
EP3270352A4 (en) 2018-08-22
US20200034640A1 (en) 2020-01-30
US20180012087A1 (en) 2018-01-11
US11749112B2 (en) 2023-09-05
US11423664B2 (en) 2022-08-23
EP3270352A1 (en) 2018-01-17
WO2016143306A1 (ja) 2016-09-15
EP3270352B1 (en) 2023-02-22
US10474910B2 (en) 2019-11-12
US20220351528A1 (en) 2022-11-03
EP4187524A1 (en) 2023-05-31
CN107408288B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN107408288A (zh) 警告装置、警告方法以及警告程序
US11790699B2 (en) Systems and methods for traffic violation detection
US10402664B2 (en) Processing apparatus, processing system, processing program, and processing method
JP4456086B2 (ja) 車両周辺監視装置
CN105711498B (zh) 物体检测装置、物体检测***、物体检测方法以及记录介质
JP5171629B2 (ja) 走行情報提供装置
CN105074794B (zh) 信号识别装置
EP2546779B1 (en) Environment recognizing device for a vehicle and vehicle control system using the same
US20140226015A1 (en) Apparatus for monitoring surroundings of vehicle
CA3094424A1 (en) Safety monitoring and early-warning method for man-machine interaction behavior of underground conveyor belt operator
KR101611261B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
JP4807354B2 (ja) 車両検出装置、車両検出システム及び車両検出方法
KR101725130B1 (ko) 차량 충돌 방지를 위한 지능형 신호등 제어 장치 및 방법
JP2007241898A (ja) 停止車両分別検出装置および車両の周辺監視装置
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
JP2008077154A (ja) 車両周辺監視装置
JP4823753B2 (ja) 車両の周辺監視装置
KR101960741B1 (ko) 관심경계에 따른 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
KR20170003030A (ko) 트램 교차로 영상검지장치 및 방법
JP2005092516A (ja) 車載用移動体検出装置
CN113076821A (zh) 一种事件的检测方法及装置
JP6387869B2 (ja) 警告装置、警告方法及び警告プログラム
JP2016186780A (ja) 移動体検出装置
JP2016167173A (ja) 警告装置、警告方法及び警告プログラム
CN117882117A (zh) 图像处理方法、装置和***、可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant