CN110228468A - 周围环境监测设备 - Google Patents

周围环境监测设备 Download PDF

Info

Publication number
CN110228468A
CN110228468A CN201910160140.8A CN201910160140A CN110228468A CN 110228468 A CN110228468 A CN 110228468A CN 201910160140 A CN201910160140 A CN 201910160140A CN 110228468 A CN110228468 A CN 110228468A
Authority
CN
China
Prior art keywords
ambient enviroment
area
image
range
generating unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910160140.8A
Other languages
English (en)
Inventor
佐藤航
渡边宏行
足立淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN110228468A publication Critical patent/CN110228468A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种周围环境监测设备(34)，其包括：判定部(50)，判定部(50)被配置成判定在设置在移动体(10)的周围环境中的判定区域(JA、JAa1、JAa2、JAb1、JAb2、JAc1、JAc2、JAd1、JAd2)中的对象(OB、OB1、OB2)，移动体(10)设置有多个成像部(14、14a、14b、14c、14d)。生成部(52)被配置成在成像部的成像区域(PA、PAa、PAb、PAc、PAd)相互交叠的交叠区域(OA、OA1、OA2、OA3、OA4)中，设置使用捕获图像的使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2、EAa12、EAc12)的范围，并且生成部被配置成生成包括在使用区域中使用的捕获图像的周围环境图像，其中生成部根据对象改变使用区域的范围并且生成周围环境图像。

Description

周围环境监测设备
技术领域
本发明总体涉及周围环境监测设备。
背景技术
已知设备，其连接或接合由设置在包括例如车辆的移动体的***部的多个成像设备所捕获的多个捕获图像，并且生成移动体的周围环境的图像。在分别由相邻成像设备捕获的区域相互交叠的范围中，这种已知设备通过使用由相邻成像设备中的一个所捕获的捕获图像来生成周围环境的图像(例如，将在下文中称为专利参考文献1的JP5104171B)。
然而，根据上述设备，产生的问题是，当在交叠区域附近存在包括三维形状的对象(例如，障碍物)时，生成的是其中由对象产生的盲点导致对象的相对侧落入盲点的周围环境图像，因此不能观察到其他对象。
因此，需要一种即使在移动体的周围环境中存在盲点的情况下也能够生成其中盲点减少的周围环境图像的周围环境监测设备存在。
发明内容
根据本公开内容的方面，周围环境监测设备包括判定部，判定部被配置成判定设置在移动体的周围环境中的判定区域中的对象，该移动体被设置有多个成像部，每个成像部包括成像区域。生成部被配置成在成像部的成像区域相互交叠的交叠区域中，设置使用在成像部处捕获的捕获图像的使用区域的范围，并且生成部被配置成生成移动体的周围环境图像，周围环境图像包括在使用区域中使用的捕获图像。生成部根据对象改变使用区域的范围并生成周围环境图像。
根据上述配置，周围环境监测设备判定在判定区域中是否存在引起盲点的对象。周围环境监测设备根据对象设置使用在交叠区域中彼此交叠的捕获图像的任一个的使用区域的范围。因此，在交叠区域中，周围环境监测设备使用包括较少盲点的捕获图像，并且可以提供盲点减少的周围环境图像。
根据本公开内容的另一方面，在判定区域中不存在对象的情况下，生成部在交叠区域中设置第一使用区域的范围，并且在判定区域中存在对象的情况下，生成部在交叠区域中设置第二使用区域的范围。第一使用区域的范围和第二使用区域的范围是预先确定的，并且生成部生成周围环境图像。
根据上述配置，周围环境监测设备根据是否存在对象来设置第一使用区域的预定范围或第二使用区域的预定范围中的任一者。因此，周围环境监测设备可以提供盲点减少的周围环境图像，同时减少了设置使用区域的范围所需的处理的负担。
根据本公开内容的另一方面，判定部被配置成计算对象在判定区域中的位置，并且生成部被配置成根据对象的位置来设置使用区域的范围，并且生成周围环境图像。
根据上述配置，周围环境监测设备设置根据对象的位置的使用区域的范围。因此，周围环境监测设备可以减少使用或采用图像区域的图像失真较大的外缘部附近的捕获图像。因此，周围环境监测设备可以提供包括高图像质量和减少的盲点的周围环境图像。
根据本公开内容的另一方面，生成部被配置成基于对象的位置计算交叠区域中的盲点，根据盲点设置使用区域的范围，并且生成周围环境图像。
根据上述配置，周围环境监测设备计算在交叠区域中存在的盲点，并且在交叠区域中设置根据盲点的使用区域的范围。因此，周围环境监测设备可以适当地减少周围环境图像中的盲点。
根据本公开内容的另一方面，多个成像部包括一个成像部和与所述一个成像部相邻的另一成像部。在交叠区域中存在一个成像部的盲点的情况下，生成部设置使用另一成像部的捕获图像的使用区域的范围，使得使用区域的范围被设置在与交叠区域中的盲点对应的范围内。
根据上述配置，在交叠区域中，周围环境监测设备以在一个成像部的盲点的位置处使用与一个成像部相邻的前述另一成像部的捕获图像的方式来设置使用区域的范围。因此，即使在其中一个交叠区域中出现多个盲点的情况下，也可以生成包括减少的盲点的周围环境图像。
根据本公开内容的另一方面，生成部被配置成将捕获图像投影在处于虚拟空间中并且包括碗的形状的虚拟投影表面上，并且生成部被配置成生成从虚拟视点看到的俯视图像作为周围环境图像。
根据上述配置，使用未捕获到对象或者对象未被成像的捕获图像，因此可以减少盲点。
附图说明
根据参考附图考虑的以下详细描述，本公开内容的前述和另外的特征以及特性将变得更加明显，在附图中：
图1是有在此公开的实施方式的周围环境监测***被配置成安装在其上的车辆的平面图；
图2是示出根据实施方式的周围环境监测***的整体配置的框图；
图3是说明根据实施方式的周围环境监测***的功能的功能框图；
图4是车辆的周围环境的平面图，该图说明了在不存在对象的情况下的周围环境图像的生成；
图5是车辆的周围环境的平面图，该图说明了在存在对象的情况下的周围环境图像的生成；
图6是根据此处公开的第一实施方式的由处理部执行的周围环境监测处理的流程图；
图7是说明根据此处公开的第二实施方式的在存在对象的情况下设置使用区域的范围的平面图；
图8是根据此处公开的第二实施方式的由处理部执行的周围环境监测处理的流程图；
图9是说明根据此处公开的第三实施方式的在存在对象的情况下设置使用区域的范围的平面图；
图10是根据此处公开的第三实施方式的由处理部执行的周围环境监测处理的流程图；
图11是说明根据此处公开的第四实施方式的在存在对象的情况下设置使用区域的范围的平面图；以及
图12是虚拟空间的侧视图，该图说明了根据此处公开的第五实施方式的生成周围环境图像的方法。
具体实施方式
在下文描述的示例性实施方式中，相似的元件或者部件被设置有共同的附图标记或附图标号，并且可以省略重复的说明。
(第一实施方式)图1是车辆10的平面图，根据此处公开的实施方式的周围环境监测***被安装在车辆10上。车辆10是移动体的示例并且包括驱动源。例如，车辆10可以是其驱动源是内燃机(发动机)的汽车(内燃机车辆)，或者可以是其驱动源是电动电机(电机)的汽车(例如，电动车辆，燃料电池车辆)。例如，车辆10可以是包括内燃机和电动电机二者作为驱动源的汽车(混合动力车辆)。车辆10可以安装有各种传动装置或者变速器和/或致动或驱动内燃机和/或电动电机所需的各种设备(例如，***、元件和部件)。例如，可以以各种方式设置与车辆10的车轮13的驱动相关的设备的类型、数量和/或布局。
如图1所示，车辆10包括：车体11、多个车轮13(例如，在实施方式中的四个车轮)、一个或多个成像部14a、14b、14c、14d(例如，在实施方式中的四个成像部)以及一个或多个距离测量部16a、16b、16c、16d(例如，实施方式中的四个距离测量部)。当不需要将成像部14a、14b、14c、14d相互区分时，成像部将被描述为一个或更多个成像部14。当不需要将距离测量部16a、16b、16c、16d相互区分时，距离测量部将被描述为一个或更多个距离测量部16。
车体11形成使乘员处于其中的车厢。例如，车体11容纳或保持车轮13、成像部14和距离测量部16。
四个车轮13分别设置在车辆10的前侧的左边和右边以及车辆10的后侧的左边和右边。设置在前侧的两个车轮13用作将车辆10的运动方改变成左方向和右方向的转向轮。例如，设置在后侧的两个车轮13用作通过来自包括发动机或者电机的驱动源的驱动力而被驱动旋转的驱动轮。
成像部14是其中包括例如电荷耦合器件(CCD)或者CMOS图像传感器(CIS)的成像元件的数字摄像机。成像部14输出包括以预定的帧速率生成的多帧图像的运动图像的数据或者静止图像的数据。成像部14输出上述数据作为捕获图像的数据。每个成像部14都包括广角透镜或者鱼眼透镜，并且被配置成成像或者捕获水平方向上的140度至190度的范围。成像部14的光轴被设置成向下倾斜。因此，成像部14生成捕获车辆10的周围环境的捕获图像的数据。车辆10的周围环境包括周围环境中的对象和路面。
每个成像部14都设置在车体11的外周，并且用作多视角摄像机(MVC)。例如，成像部14a设置在车体11的前端部(例如，前保险杠)的左右方向上的中心部处以面向前侧。成像部14a生成对车辆10的前方周围环境中的区域(下文中将其称为成像区域)进行成像的捕获图像。成像部14b设置在车体11的后端部(例如，后保险杠)的左右方向上的中心部处以面向后侧。成像部14b生成对车辆10的后方周围环境中的成像区域进行成像的捕获图像。成像部14c设置在车体11的左端部(例如，左侧的后视镜11a)的前后方向上的中心部处以面向左侧。成像部14c生成车辆10的左侧周围环境中的成像区域的捕获图像。成像部14d设置在车体11的右端部(例如，右侧的后视镜11b)的前后方向上的中心部分处以面向右侧。成像部14d生成对在车辆10的右侧周围环境中的成像区域进行成像的捕获图像。由布置成彼此相邻的各个成像部14捕获的成像区域彼此部分交叠。上述交叠的区域将被称为交叠区域。
例如，距离测量部16是声纳，其输出包括超声波的检测波并捕捉由在车辆10的周围环境中存在的对象所反射的检测波。距离测量部16可以是输出和捕捉包括激光束的检测波的激光雷达。距离测量部16生成并输出检测信息。检测信息是与对象在车辆10的周围环境中的方向以及到对象的距离有关的信息。例如，距离测量部16检测在车辆10的周围环境中存在的对象的方向以及从检测波的发送直到由对象反射的检测波的接收的时间段(即，用于计算到对象的距离的发送接收时间段)作为检测信息。距离测量部16设置在车辆10的外周部处，在该位置处，距离测量部16可以对在下面将描述的判定区域中存在的对象进行检测。例如，距离测量部16a设置在车体11的左前部处，生成并输出存在于车辆10的左前侧处的判定区域中的对象的检测信息。距离测量部16b设置在车体11的右前部处，生成并输出存在于车辆10的右前侧处的判定区域中的对象的检测信息。距离测量部16c设置在车体11的左后部处，生成并输出存在于车辆10的左后侧处的判定区域中的对象的检测信息。距离测量部16d设置在车体11的右后部处，生成并输出存在于车辆10的右后侧处的判定区域中的对象的检测信息。
图2是示出根据实施方式的周围环境监测***20的整体配置的框图。周围环境监测***20安装在车辆10上，生成并显示作为车辆10的周围环境的图像的周围环境图像。
如图2所示，周围环境监测***20包括成像部14、监测装置32、周围环境监测设备34和车载网络36。
成像部14将捕获车辆10的周围环境的捕获图像输出到周围环境监测设备34。
距离测量部16经由车载网络36将包括与存在于车辆10的周围环境中的对象的距离以及发送接收时间段的检测信息输出至周围环境监测设备34。
例如，监测装置32设置在车辆10的车厢中的仪表板上。监测装置32包括显示部40、声音输出部42和操作输入部44。
显示部40基于由周围环境监测设备34发送的图像数据来显示图像。显示部40是包括例如液晶显示器(LCD)或者有机电致发光显示器(OELD)的显示设备。例如，显示部40在停车操作期间显示周围环境图像。
声音输出部42基于由周围环境监测设备34发送的声音数据来输出声音。例如，声音输出部42是扬声器。声音输出部42输出与例如停车辅助有关的声音。
操作输入部44接收由乘员产生或者执行的输入。例如，操作输入部44是触摸面板。例如，操作输入部44设置在显示部40的显示屏幕处。操作输入部44被配置成透射式的，即，被配置成使得由显示部40显示的图像能够穿过操作部44。因此，操作部44允许乘员在视觉上识别显示在显示部40的显示器上的图像。操作输入部44接收与周围环境监测有关的指令，并且将指令发送至周围环境监测设备34。该指令由触摸与显示部40的显示屏幕上显示的图像对应的位置的乘员来输入。操作输入部44不限于触摸面板，并且例如可以是按钮类型的硬件按钮。
周围环境监测设备34是包括微计算机的计算机，该微计算机包括例如电子控制单元(ECU)。周围环境监测设备34获取由多个成像部14拍摄的多个捕获图像的数据。周围环境监测设备34根据多个捕获图像生成作为车辆10的周围环境的图像的周围环境图像，并且随后，使生成的图像显示在周围环境监测设备34的显示部40处。周围环境监测设备34将数据发送至监测装置32，该数据与对驾驶员的指令以及包括对驾驶员的通知的图像或者声音有关。
周围环境监测设备34包括CPU(中央处理单元)34a、ROM(只读存储器)34b、RAM(随机存取存储器)34c、显示控制部34d、声音控制部34e以及SSD(固态驱动器)34f。CPU 34a、ROM 34b和RAM 34c可以集成在同一封装中。
CPU 34a是硬件处理器的示例。CPU 34a读取存储在包括ROM 34b的非易失性存储装置中的程序，并且根据该程序执行各种运算处理和控制。例如，CPU 34a执行生成周围环境图像的周围环境监测处理。
例如，ROM 34b存储针对每个程序以及用于程序的执行所需的参数。RAM 34c临时存储用于在CPU 34a处的运算处理的各种数据。在周围环境监测设备34处执行的运算处理中，例如，显示控制部34d主要执行对在成像部14处获得的图像的图像处理，并且对要在显示部40处显示的图像执行数据转换。在周围环境监测设备34处执行的运算处理中，例如，声音控制部34e主要执行对要输出至声音输出部42的声音的处理。SSD 34f是可重写的非易失性存储装置，并且即使在周围环境监测设备34的电源开关关闭的情况下也能保持数据。
车载网络36将距离测量部16、监测装置32的操作输入部44和周围环境监测设备34相连，使得距离测量部16、操作输入部44和周围环境监测设备34可以相互发送和接收信息。
图3是说明周围环境监测设备34的功能的功能框图。如图3所示，周围环境监测设备34包括处理部46和存储部48。
处理部46被实现为CPU 34a和显示控制部34d的功能。处理部46用作判定部50和生成部52。例如，处理部46读取存储在存储部48中的周围环境监测程序54，因此用作判定部50和生成部52。判定部50和生成部52的一部分或全部可以通过包括例如专用集成电路(ASIC)和现场可编程门阵列(FPGA)的电路来配置。
判定部50判定车辆10的周围环境中的判定区域中的对象。具体地，判定部50将能够判定是否由于对象而在交叠区域中出现盲点的区域设置为判定区域。例如，由判定部50设置的判定区域包括各个成像部14的成像区域相互交叠的交叠区域。判定区域还包括形成在交叠区域和各个成像部14之间的区域。交叠区域和判定区域相对于车辆10的位置可以作为交叠区域信息和判定区域信息被预先存储在存储部48中。判定部50基于从距离测量部16获取的检测信息计算距车辆10的周围环境中的包括三维形状的对象的距离。判定部50基于由检测信息指示的对象的方向和计算的距离来识别对象的位置。判定部50判定对象是否存在于判定区域中。在判定部50判定对象存在于判定区域中的情况下，判定部50将包括对象的存在的判定信息和用于识别存在对象的判定区域的识别信息输出至生成部52。
生成部52根据分别从多个成像部14获得的多个图像生成作为车辆10的周围环境的图像的周围环境图像，并且生成部52使生成的图像显示在显示部40处。此处提到的多个图像包括由成像部14捕获的图像以及通过对捕获图像执行例如消除失真的处理和利用映射数据改变视点的图像处理而获得的处理图像。例如，周围环境图像可以是从设置在车辆10上方的虚拟视点观察车辆10的周围环境的俯视图像。生成部52可以生成包括车辆10的完整圆周(即，360度)的周围环境的周围环境图像，或者生成部52可以生成包括车辆10的一部分周围环境的周围环境图像。在多个成像部14中，彼此相邻的成像部14的成像区域包括成像区域相互交叠的交叠区域。当生成周围环境图像时，生成部52设置利用或采用交叠区域中的捕获图像中的一个的使用区域的范围，使得使用区域的范围不相互交叠。生成部52利用包括在已经设置的使用区域的范围内的捕获图像的多个捕获图像来生成周围环境图像。
这里，生成部52根据由从已经判定出对象的存在的判定部50获取的判定信息指示的对象来改变使用区域的范围，并且生成周围环境图像。例如，在判定区域中不存在对象的情况下，生成部52在交叠区域中设置第一使用区域的范围，并且在判定区域中存在对象的情况下，生成部52在交叠区域中设置第二使用区域的范围。第一使用区域的范围和第二使用区域的范围可以作为预定使用区域信息存储在存储部48中。
存储部48被实现为ROM 34b、RAM 34c和SSD 34f的功能。例如，存储部48可以是经由网络连接的外部存储装置。例如，存储部48存储由处理部46执行的程序、执行程序所需的数据和由于执行程序而生成的数据。例如，存储部48存储处理部46执行的周围环境监测程序54。例如，周围环境监测程序54可以被存储在包括光盘只读存储器(CD-ROM)或者数字通用盘只读存储器(DVD-ROM)的、可以由计算机读取的存储介质中，然后被提供。或者，例如，周围环境监测程序54可以经由包括因特网的网络提供。例如，存储部48中存储包括执行周围环境监测程序54所需的交叠区域信息和使用区域信息的数值数据56。存储部48临时存储包括由于周围环境监测程序54的执行而生成的周围环境图像的信息和判定部50的判定信息。
图4是用于说明在不存在对象的情况下生成周围环境图像的车辆10的周围环境的平面图。图4的外框对应于生成为周围环境图像的范围。在下面的说明中，在不需要将成像区域相互区分的情况下，以省略一部分附图标记的方式将成像区域称为成像区域PA。以类似的方式，例如，将交叠区域称为交叠区域OA，将判定区域称为判定区域JA，将使用区域称为使用区域EA，将相应的边界线称为判定边界线JL、边界线BL和使用边界线EL。
将描述每个成像部14的成像区域。
成像部14a在相对于由点划线指示的边界线BLa的前侧处的成像区域PAa内捕获或成像。成像部14b在相对于由另一点划线指示的边界线BLb的后侧处的成像区域PAb内捕获或成像。成像部14c在相对于由另一点划线指示的边界线BLc的左侧处的成像区域PAc内捕获或成像。成像部14d在相对于由另一点划线指示的边界线BLd的右侧处的成像区域PAd内捕获或成像。
成像区域PAa和成像区域PAc包括如由附图中的点阴影示出的、成像区域PAa和成像区域PAc相互交叠的交叠区域OA1。交叠区域OA1位于车辆10的左前侧处。成像区域PAa和成像区域PAd包括如由附图中的点阴影示出的、成像区域PAa和成像区域PAd相互交叠的交叠区域OA2。交叠区域OA2位于车辆10的右前侧处。成像区域PAb和成像区域PAc包括如由附图中的点阴影示出的、成像区域PAb和成像区域PAc相互交叠的交叠区域OA3。交叠区域OA3位于车辆10的左后侧处。成像区域PAb和成像区域PAd包括如由附图中的点阴影示出的、成像区域PAb和成像区域PAd相互交叠的交叠区域OA4。交叠区域OA4位于车辆10的右后侧处。
接下来将描述判定区域。
判定部50设置用于判定成像部14a是否由于包括三维形状的对象而出现盲点的判定区域JAa1和JAa2。判定部50将判定区域JAa1设置在由虚线指示的判定边界线JLa1和相对于成像部14a的左侧处的边界线BLa之间的区域处。判定部50将判定区域JAa2设置在由另一虚线指示的判定边界线JLa2和相对于成像部14a的右侧处的边界线BLa之间的区域处。判定边界线JLa1和JLa2可以是根据预定条件设置的边界线。例如，判定部50可以将判定边界线JLa1和JLa2中的每一个的一端设置在成像部14a处，并且将判定边界线JLa1和JLa2中的每一个的另一端设置于前侧处的边界线BLc和BLd与周围环境图像的范围的外框相交的相应位置处。因此，当周围环境图像的范围由于放大或者缩小而改变时，判定部50可以改变判定区域JAa1和/或JAa2。
判定部50设置用于判定成像部14b是否出现盲点的判定区域JAb1和JAb2。判定部50将判定区域JAb1设置在由虚线指示的判定边界线JLb1和相对于成像部14b的左侧处的边界线BLb之间的区域处。判定部50将判定区域JAb2设置在由另一虚线指示的判定边界线JLb2和相对于成像部14b的右侧处的边界线BLb之间的区域处。判定边界线JLb1和JLb2可以是根据预定条件设置的边界线。例如，判定部50可以将判定边界线JLb1和JLb2中的每一个的一端设置在成像部14b处，并且将判定边界线JLb1和JLb2种的每一个的另一端设置于后侧处的边界线BLc和BLd与周围环境图像的范围的外框相交的相应位置处。因此，当周围环境图像的范围由于放大或者缩小而改变时，判定部50可以改变判定区域JAb1和/或JAb2。
判定部50设置用于判定成像部14c是否出现盲点的判定区域JAc1和JAc2。判定部50将判定区域JAc1设置在由虚线指示的判定边界线JLc1和相对于成像部14c的前侧处的边界线BLc之间的区域处。判定部50将判定区域JAc2设置在由另一虚线指示的判定边界线JLc2与相对于成像部14c的后侧处的边界线BLc之间的区域处。判定边界线JLc1和JLc2可以是根据预定条件设置的边界线。例如，判定部50可以将判定边界线JLc1和JLc2中的每一个的一端设置在成像部14c处，并且将判定边界线JLc1和JLc2中的每一个的另一端设置于左侧处的边界线BLa和BLb与周围环境图像的范围的外框相交的相应位置处。因此，当周围环境图像的范围由于放大或者缩小而改变时，判定部50可以改变判定区域JAc1和/或JAc2。
判定部50设置用于判定成像部14d是否出现盲点的判定区域JAd1和JAd2。判定部50将判定区域JAd1设置在由虚线指示的判定边界线JLd1和相对于成像部14d的前侧处的边界线BLd之间的区域处。判定部50将判定区域JAd2设置在由另一虚线指示的判定边界线JLd2与相对于成像部14d的后侧处的边界线BLd之间的区域处。判定边界线JLd1和JLd2可以是根据预定条件设置的边界线。例如，判定部50可以将判定边界线JLd1和JLd2中的每一个的一端设置在成像部14d处，并且将判定边界线JLd1和JLd2中的每一个的另一端设置与右侧处的边界线BLa和BLb与周围环境图像的范围的外框相交的相应位置处。因此，当周围环境图像的范围由于放大或者缩小而改变时，判定部50可以改变判定区域JAd1和/或JAd2。
换句话说，判定部50针对一个成像部14和与该一个成像部14共享交叠区域OA的另一成像部14中的每一个成像部14设置两个判定区域JA。判定部50将每个判定区域JA设置在判定边界线JL与一个成像部14的成像区域PA的边界线BL之间的区域处，判定边界线JL的一端是一个成像部14并且另一端在所述另一成像部14的边界线BL与周围环境图像的外框相交的位置。
接下来，将描述在判定区域JAa1至JAd2中不存在对象的情况下的预定第一使用区域的范围。
重叠区域OA1的一部分对应于使用由成像部14a拍摄的捕获图像的第一使用区域EAa1的范围，所述一部分位于成像区域PAa的中心线相对于由虚线指示的使用边界线ELac的一侧(即，位于成像部14a的光轴侧的部分)处。交叠区域OA1的另一部分对应于使用由成像部14c拍摄的捕获图像的第一使用区域EAc1的范围，所述另一部分位于成像区域PAc的中心线相对于由虚线指示的使用边界线ELac的一侧处(即，在成像部14c的光轴侧处)。例如，使用边界线ELac可以是穿过边界线BLa和BLc的交叉点并且在将通过围绕交叠区域OA1的边界线BLa和BLc在交叠区域OA1的一侧处形成的交叉角二等分的方向上的线。
交叠区域OA2的一部分对应于使用由成像部14a拍摄的捕获图像的第一使用区域EAa2的范围，所述一部分位于成像区域PAa的中心线相对于由虚线指示的使用边界线ELad的一侧处。交叠区域OA2的另一部分对应于使用由成像部14d拍摄的捕获图像的第一使用区域EAd1的范围，所述另一部分位于成像区域PAd的中心线相对于由虚线指示的使用边界线ELad的一侧(即，在成像部14d的光轴侧处)处。例如，使用边界线ELad可以是穿过边界线BLa和BLd的交叉点并且在将通过围绕交叠区域OA2的边界线BLa和BLd在交叠区域OA2的一侧处形成的交叉角二等分的方向上的线。
交叠区域OA3的一部分对应于使用由成像部14b拍摄的捕获图像的第一使用区域EAb1的范围，所述一部分部分位于成像区域PAb的中心线相对于由虚线指示的使用边界线ELbc的一侧处(即，位于成像部14b的光轴侧处)。交叠区域OA3的另一部分对应于使用由成像部14c拍摄的捕获图像的第一使用区域EAc2的范围，所述另一部分部分位于成像区域PAc的中心线相对于由虚线指示的使用边界线ELbc的一侧处。例如，使用边界线ELbc可以是穿过边界线BLb和BLc的交叉点并且在将通过围绕交叠区域OA3的边界线BLb和BLc在交叠区域OA3的一侧处形成的交叉角二等分的方向上的线。
交叠区域OA4的一部分对应于使用由成像部14b拍摄的捕获图像的第一使用区域EAb2的范围，所述一部分位于成像区域PAb的中心线相对于由虚线指示的使用边界线ELbd的一侧处。交叠区域OA4的另一部分对应于其中使用由成像部14d拍摄的捕获图像的第一使用区域EAd2的范围，所述另一部分位于成像区域PAd的中心线相对于由虚线指示的使用边界线ELbd的一侧处。例如，使用边界线ELbd可以是穿过边界线BLb和BLd的交叉点并且将通过围绕交叠区域OA4的边界线BLb和BLd在交叠区域OA4的一侧处形成的交叉角二等分的方向上的线。
也就是说，交叠区域OA的在一个成像部14的相对于使用边界线EL的一侧的区段处的区段对应于一个成像部14的第一使用区域EA的范围。交叠区域OA的在另一成像部14(与一个成像部14共享交叠区域OA的成像部14)的相对于使用边界线EL的一侧的另一区段对应于所述另一成像部14的第一使用区域EA的范围。在此，使用边界线EL是穿过交叠区域OA的边界线BL的交叉点并且在将在交叠区域OA的一侧处形成的交叉角二等分的方向上的线。
在判定区域JAa1至JAd2中不存在对象的情况下，生成部52通过使用或采用如上文描述的对第一使用区域EAa1至EAd2的范围进行成像的捕获图像来生成周围环境图像。因此，生成部52使用由成像部14a拍摄的对第一使用区域EAa1和EAa2的范围进行成像的捕获图像以及交叠区域OA1之外的捕获图像。生成部52使用由成像部14b拍摄的对第一使用区域EAb1和EAb2的范围进行成像的捕获图像以及交叠区域OA2之外的捕获图像。生成部52使用由成像部14c拍摄的对第一使用区域EAc1和EAc2的范围进行成像的捕获图像以及交叠区域OA3之外的捕获图像。生成部52使用由成像部14d拍摄的对第一使用区域EAd1和EAd2的范围进行成像的捕获图像以及交叠区域OA4之外的捕获图像。生成部52通过以将捕获图像在使用边界线ELac、ELad、ELbc和ELbd处相互接合或者连接的方式合成如上描述的所使用或采用的捕获图像来生成周围环境图像。换句话说，生成部52不使用由成像部14a拍摄的对第一使用区域EAc1和EAd1的范围进行成像的捕获图像来生成周围环境图像。生成部52不使用由成像部14b拍摄的对第一使用区域EAc2和EAd2的范围进行成像的捕获图像来生成周围环境图像。生成部52不使用由成像部14c拍摄的对第一使用区域EAa1和EAb1的范围进行成像的捕获图像来生成周围环境图像。生成部52不使用由成像部14d拍摄的对第一使用区域EAa2和EAb2的范围进行成像的捕获图像来生成周围环境图像。
图5是用于说明在存在对象的情况下生成周围环境图像的车辆10的周围环境的平面图。在图5中，部分地省略了对于说明不必要的附图标记。
在图5所示的情况下，判定部50判定在判定区域JAc1中存在包括三维形状的对象OB。例如，对象OB是从地面沿垂直方向延伸的电线杆。判定部50将包括对象OB的存在的判定信息和识别存在对象OB的判定区域JAc1的信息输出至生成部52作为判定信息。在对象OB存在于判定区域JAc1中的情况下，在包括在判定区域JAc1中的成像部14c的交叠区域OA1中出现盲点。因此，成像部14c不能捕获包括例如存在于盲点中的人Ps的对象的图像。另一方面，因为对成像部14a不会生成该盲点，因此与成像部14c共享交叠区域OA1的成像部14a能够捕获人Ps的图像。
当生成部52从判定部50获取判定信息时，生成部52将使用区域的范围从第一使用区域EAa1和EAc1的范围改变至第二使用区域EAa12的范围。例如，在出现盲点的交叠区域OA1中，生成部52增大使用成像部14a的捕获图像的使用区域的范围，并且减小使用成像部14c的捕获图像的使用区域的范围。具体地，生成部52将采用由成像部14a拍摄的捕获图像的第二使用区域EAa12的范围增大或扩展到整个交叠区域OA1，并且消除采用由成像部14c拍摄的捕获图像的区域。
生成部52根据使用区域EA的范围生成周围环境图像。在由于在判定区域JA中不存在对象OB而未出现盲点的交叠区域OA中，生成部52使用第一使用区域EA的范围的捕获图像来生成周围环境图像。
图6是根据第一实施方式的由处理部46执行的周围环境监测处理的流程图。处理部46通过读出周围环境监测程序54来执行周围环境监测处理。
如图6所示，在周围环境监测处理中，判定部50从每个距离测量部16获取检测信息(S102)。生成部52从每个成像部14获取捕获图像(S104)。
判定部50基于所获取的检测信息判定在任一个判定区域JA中是否存在对象OB(S106)。如果判定部50判定在判定区域JA中存在对象OB(S106：是)，则判定部50将包括在判定区域JA中存在对象OB的判定信息以及识别判定区域JA的信息输出至生成部52(S108)。如果判定部50判定在判定区域JA中不存在对象OB(S106：否)，则判定部50不输出判定信息。
生成部52在每个交叠区域OA中设置使用区域EA的范围(S110)。例如，在生成部52尚未获取到判定信息的情况下，生成部52在每个交叠区域OA中设置通过将交叠区域OA等分为两个而形成的第一使用区域EA的范围。相反，在生成部52已获取到通知在判定区域JA中存在对象OB的判定信息的情况下，生成部52在包括在存在对象OB的判定区域中的交叠区域OA中设置第二使用区域EA的范围。具体地，生成部52将使用或采用其判定区域JA不包括对象OB的成像部14的捕获图像的第二使用区域EA的范围设置在交叠区域OA的整个区域上。
生成部52根据设置的使用区域EA的范围来生成周围环境图像(S112)。具体地，在交叠区域OA中，生成部52采用使用区域EA的范围的捕获图像。在交叠区域OA之外的其他区域中，生成部52采用存在的图像。生成部52将所采用的图像合成并相互接合，从而生成周围环境图像。生成部52将生成的周围环境图像输出至显示部40，以便显示周围环境图像(S114)。
如上文阐述的，在根据第一实施方式的周围环境监测设备34中，判定在判定区域JA中是否存在导致盲点的对象OB。然后，根据对象OB，设置使用在交叠区域OA中交叠的捕获图像中的任一个的使用区域EA的范围。因此，在交叠区域OA中，通过采用包括较少盲点的捕获图像，周围环境监测设备34可以提供其中盲点减少的周围环境图像。
在判定区域JA中不存在对象OB的情况下，周围环境监测设备34设置在交叠区域OA中的预定第一使用区域EA的范围，并且在判定区域JA中存在对象OB的情况下，周围环境监测设备34设置预定第二使用区域EA的范围。通过设置预先确定的第一使用区域EA的范围或者第二使用区域EA的范围，周围环境监测设备34可以提供包括较少盲点的周围环境图像，同时减少了设置使用区域EA的范围所需的处理的负担。
(第二实施方式)根据第二实施方式的周围环境监测设备34根据对象OB在判定区域JA中的位置来设置使用区域EA的范围。下面将具体地描述第二实施方式的周围环境监测设备34的配置。除了功能之外，第二实施方式的每个配置与第一实施方式的每个配置相同，因此在说明中将使用与第一实施方式相同的附图标记。图7是说明根据第二实施方式的在存在对象的情况下设置使用区域EA的范围的平面图。
判定部50从距离测量部16获取检测信息。判定部50基于由检测信息指示的发送接收时间段来计算与对象OB的距离。判定部50基于由检测信息指示的对象OB的方向和计算的距离来计算对象OB的位置。例如，判定部50可以计算对象OB的轮廓的位置，并且识别对象OB的形状和配置以及对象OB的位置。判定部50将对象OB的轮廓的位置输出至生成部52。
在判定区域JA中不存在对象OB并且因此生成部52不获取判定信息的情况下，生成部52设置与第一实施方式的第一使用区域的范围类似的使用区域的范围。
在判定区域JA中存在对象OB并且因此生成部52获取指示对象OB的位置的判定信息的情况下，生成部52设置根据对象OB的位置的使用区域EA的范围并且生成周围环境图像。具体地，生成部52如下来生成周围环境图像。穿过成像部14并且与对象OB的轮廓接触、并且用作盲点的边界的每条线被称为切线Tg。在切线Tg中，生成部52计算位于成像区域PAc的中心线的一侧或较靠近成像区域PAc的中心线的切线Tg(即，位于成像部14c的光轴侧的切线Tg)，作为使用区域EA的使用边界线ELac2。如图7中的双点划线所指示，此处提到的切线Tg是穿过判定区域JA包括对象OB的成像部14的线，也就是与对象OB的轮廓在一点处接触并且在平面图中看时不与对象OB的轮廓相交的线。生成部52利用计算出的使用边界线ELac2来设置存在盲点的交叠区域OA1中的使用区域EA的范围。具体地，生成部52将交叠区域OA的位于不包括盲点的成像部14a的相对于使用边界线ELac2的一侧的一部分设置为使用由成像部14a拍摄的捕获图像的使用区域EAa12的范围。生成部52将交叠区域OA的位于包括盲点的成像部14c的相对于使用边界线ELac2的一侧的一部分设置为使用由成像部14c拍摄的捕获图像的使用区域EAc12的范围。因此，在由于对象OB而使成像部14c出现盲点的区域中，生成部52使用或采用由成像部14a拍摄的捕获图像。
图8是根据第二实施方式的由处理部46执行的周围环境监测处理的流程图。在第二实施方式的说明中，将以简化的方式说明与第一实施方式类似的步骤。
如图8所示，根据第二实施方式的周围环境监测处理，判定部50获取检测信息(S102)。生成部52获取捕获的图像(S104)。判定部50判定在判定区域JA中是否存在对象OB(S106)。如果判定部50判定在判定区域JA中存在对象OB(S106：是)，则判定部50输出指示对象OB的存在和对象OB的位置的判定信息(S108)。
生成部52基于由从判定部50获取的判定信息所指示的对象OB的位置来设置用于设置使用区域EA的范围的使用边界线EL(S220)。具体地，在穿过其判定区域JA包括对象OB的成像部14并且与对象OB的轮廓接触的切线Tg中，生成部52将位于成像部14的成像区域PA的中心线的一侧的切线Tg(即，位于较靠近成像部14的成像区域PA的中心线的切线Tg)设置为使用边界EL。
生成部52设置使用区域EA的范围(S222)。具体地，在判定区域JA中不存在对象OB的交叠区域OA中，生成部52以与第一实施方式的第一使用区域EA的范围类似地使得每个交叠区域OA被二等分的方式设置使用区域EA的范围。相反，在由于在判定区域JA中存在对象OB而生成盲点的交叠区域OA中，生成部52将交叠区域OA的位于有盲点生成的成像部14的成像区域PA的中心线相对于使用边界线EL的一侧处的一部分设置为所述成像部14的使用区域EA的范围。并且在由于在判定区域JA中存在对象OB而生成盲点的交叠区域OA中，生成部52将交叠区域OA的位于没有盲点生成的成像部14的成像区域PA的中心的相对于使用边界线EL的一侧处的另一部分设置为所述成像部14的使用区域EA的范围。
生成部52基于已经设置的使用区域EA的范围生成周围环境图像(S112)。生成部52使生成的周围环境图像在显示部40处显示(S114)。
如上文阐述的，第二实施方式的周围环境监测设备34根据存在于判定区域JA中的对象OB的位置来设置使用区域EA的范围。因此，在捕获图像中，周围环境监测设备34可以减少使用或采用图像区域PA的图像失真较大的外缘部分附近的捕获图像。因此，周围环境监测设备34可以提供具有高图像质量同时减少了盲点的周围环境图像。
(第三实施方式)根据第三实施方式的周围环境监测设备34计算成像部14的盲点并且设置使用区域EA的范围。下面将具体描述根据第三实施方式的周围环境监测设备34的配置。除了功能之外，第三实施方式的每个配置与第一实施方式的每个配置相同，因此在说明中将使用与第一实施方式相同的附图标记。图9是说明根据第三实施方式的在存在对象的情况下设置使用区域的范围的平面图。
如果判定部50判定在判定区域JA中存在对象OB，则判定部50以与第二实施方式类似的方式计算对象OB的位置。然后，判定部50生成指示对象OB的存在和对象OB的位置的判定信息，然后将判定信息输出至生成部52。此处提到的对象OB的位置可以是对象OB的轮廓的每个部分的位置。
生成部52基于对象OB的位置计算交叠区域OA中的盲点，并且根据盲点设置使用区域EA的范围，并且生成周围环境图像。具体地，生成部52计算穿过成像部14、与对象OB的轮廓接触并且用作盲点的边界的两个切线Tg。生成部52将由两个切线Tg围绕的区段的位于在从成像部14观察时比对象OB远的部分计算作为盲点。基于所计算的盲点，生成部52设置每个使用区域EA的范围，使得在出现盲点的交叠区域OA中不包括盲点。在图9中示出的示例中，生成部52将出现盲点的成像部14c的交叠区域OA1的一部分设置为成像部14c的使用区域EAc12的范围，所述一部分位于捕获区域PAc的中心线相对于盲点的一侧(即，在成像部14c的光轴侧)处。并且生成部52将交叠区域OA1的位于捕获区域PAa的中心线相对于盲点的一侧(即，在成像部14a的光轴侧)以及盲点处的另一部分设置为没有盲点生成的成像部14a的使用区域EAa12的范围。
图10是根据第三实施方式的由处理部46执行的周围环境监测处理的流程图。在第三实施方式的说明中，将以简化方式说明与前述实施方式类似的步骤。
如图10所示，根据第三实施方式的周围环境监测处理，判定部50和生成部52执行步骤S102到步骤S108。
生成部52基于判定信息计算盲点(S330)。具体地，生成部52计算每个都与对象OB的轮廓接触的两个切线Tg。生成部52将由两个切线Tg围绕的区段的比对象OB远的一部分计算作为盲点。
生成部52设置使用区域EA的范围(S332)。具体地，在判定区域JA中不存在对象OB的交叠区域OA中，生成部52以与第一实施方式的第一使用区域EA的范围类似地使得每个交叠区域OA被二等分的方式设置使用区域EA的范围。相反，在由于在判定区域JA中存在对象OB而出现盲点的交叠区域OA中，生成部52将判定区域JA设置成使得在交叠区域OA中不包括盲点。例如，生成部52将有盲点生成的成像部14的交叠区域OA1的一部分设置为一个成像部14的使用区域EA的范围，该部分位于一个成像部14的成像区域PA的中心线相对于盲点的一侧处。生成部52将交叠区域OA的剩余部分设置为没有盲点生成的另一成像部14(与一个成像部14共享交叠区域OA的成像部14)的使用区域EA的范围。
生成部52基于设置的使用区域EA的范围来生成周围环境图像(S112)。生成部52使生成的周围环境图像在显示部40处显示(S114)。
如上文阐述的，第三实施方式的周围环境监测设备34计算在交叠区域OA中的盲点，并且在交叠区域OA中设置根据盲点的使用区域EA的范围。因此，周围环境监测设备34能更适当地减少周围环境图像中的盲点。
(第四实施方式)在一个交叠区域OA中有多个盲点生成的情况下，根据第四实施方式的周围环境监测设备34根据盲点设置使用区域EA的范围。下面将具体地描述第四实施方式的周围环境监测设备34的配置。除了功能之外，第四实施方式的每个配置与第一实施方式的每个配置相同，因此在说明中将使用与第一实施方式相同的附图标记。图11是说明根据第四实施方式的在存在对象的情况下设置使用区域的范围的平面图。
如果判定部50判定在判定区域JA中存在多个对象OB1和OB2，则判定部50以与第二实施方式类似的方式计算对象OB1和OB2中的每一个的位置。判定部50生成指示对象OB1和OB2的存在以及对象OB1和OB2的位置的判定信息，并将判定信息输出至生成部52。
在获得对象OB1和OB2的位置时，生成部52针对对象OB1和OB2中的每一个计算两个切线Tg。计算的切线Tg穿过成像部14，与相应对象OB1、OB2的轮廓接触，并且用作盲点的边界。对于对象OB1和OB2中的每一个，生成部52将由两个切线Tg围绕的区段的在从成像部分14观察的情况下比对象OB更远的部分计算作为盲点。基于计算的盲点，生成部52以使得在出现盲点的交叠区域OA中不包括盲点的方式设置每个使用区域EA的范围。具体地，生成部52如下来设置使用区域EA的范围。多个成像部14包括一个成像部14和与一个成像部14相邻的另一成像部14。在一个成像部14的盲点存在于一个成像部14与前述另一成像部14的交叠区域OA中的情况下，生成部52以使用区域EA被设置在与交叠区域OA中的盲点对应的范围内的方式来设置在使用由前述另一成像部14拍摄的捕获图像的使用区域EA的范围。在如图11示出的在成像部分14a和成像部14c的交叠区域OA1中存在盲点的情况下，在对应于成像部14a的盲点的范围内，生成部52设置其使用相邻成像部14c的捕获图像的使用区域EAc12的范围。在对应于成像部14c的盲点的范围中，生成部52设置使用相邻成像部14a的捕获图像的使用区域EAa12的范围。例如，生成部52可以通过切换在第一实施方式中的一个交叠区域OA中的第一使用区域EA的范围来设置使用区域EA的范围。
第四实施方式的周围环境监测处理的流程类似于第三实施方式，因此将省略说明。
如上文阐述的，在根据第四实施方式的周围环境监测设备34中，在在交叠区域OA中的一个成像部14的盲点的位置中，生成部52以使得使用与一个图像部14相邻的另一成像部14的捕获图像的方式来设置使用区域EA的范围。因此，即使在一个交叠区域OA中出现多个盲点的情况下，也可以生成盲点减少的周围环境图像。
(第五实施方式)接下来，将描述作为生成周围环境图像的另一种方法的第五实施方式。图12是用于说明根据第五实施方式的生成周围环境图像的方法的虚拟空间的侧视图。
生成部52可以将捕获图像投影在如图12所示的处于虚拟空间中并且包括碗的形状的虚拟投影表面90上，并且可以生成从车辆10上方的虚拟视点看到的俯视图像作为周围环境图像。虚拟投影表面90包括在虚拟投影表面90的中心部分处的平面90a以及弯曲表面90b，弯曲表面90b被布置成围绕平面90a的外周部或者***并且形成为朝向上方开口越来越宽或者朝向上方扩展。因为在周围环境图像中以扩展或者拉伸的方式指示投影在包括碗的形状的虚拟投影表面90上的对象OB，所以盲点变大。然而，生成部52可以通过执行前述实施方式中描述的处理来减少盲点。
例如，可以在本公开内容的范围内以及在等同于本公开内容的范围的范围内适当地改变和/或省略前述实施方式的配置的功能、连接关系、数量和/或布置。实施方式可以适当地相互或者彼此组合。可以适当地改变每个实施方式的步骤的顺序。
例如，可以适当地改变上述成像部14的数量和布置。可以适当地改变成像部14在水平方向上的视角。
根据前述实施方式，判定部50基于从距离测量部16处获取的检测信息来检测对象OB的存在并且计算对象OB的位置，然而，检测对象OB的存在的方法和计算对象OB的位置的方法不限于前述实施方式。例如，判定部50可以基于捕获图像来判定对象OB的存在并且计算对象OB的位置。在这种情况下，生成部52可以将使用区域的范围设置成使得在捕获图像中捕获的对象OB不出现或不包括在周围环境图像中，并生成周围环境图像。换句话说，生成部52使用或采用其中未捕获对象OB或者未对对象OB成像的捕获图像，并且生成周围环境图像。
在前述实施方式相互组合的情况下，处理部46可以根据从包括驾驶员的乘员处接收的模式来切换设置。例如，当处理部46从乘员处接收到设置第一模式时，处理部46可以利用第一实施方式的设置来生成周围环境图像。当从乘员处接收到设置第二模式时，处理部46可以利用第二实施方式的设置或第三实施方式的设置来生成周围环境图像。
在前述实施方式中，针对移动体是四轮车辆10的情况进行了说明，然而，移动体不限于车辆10。移动体可以是设置有驱动源的设备，例如，移动体可以是包括两个或更多个车轮的车辆、船舶或轮船以及飞机或者飞行器。

Claims (6)

1.一种周围环境监测设备(34)，包括：
判定部(50)，其被配置成判定在设置在移动体(10)的周围环境中的判定区域(JA、JAa1、JAa2、JAb1、JAb2、JAc1、JAc2、JAd1、JAd2)中的对象(OB、OB1、OB2)，所述移动体(10)设置有多个成像部(14、14a、14b、14c、14d)，每个成像部都包括成像区域(PA、PAa、PAb、PAc、PAd)；以及
生成部(52)，其被配置成在其中所述多个成像部(14、14a、14b、14c、14d)的成像区域(PA、PAa、PAb、PAc、PAd)相互交叠的交叠区域(OA、OA1、OA2、OA3、OA4)中，设置使用在所述成像部(14、14a、14b、14c、14d)处捕获的捕获图像的使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2、EAa12、EAc12)的范围，并且所述生成部(52)被配置成生成所述移动体(10)的周围环境图像，所述周围环境图像包括在所述使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2、EAa12、EAc12)中使用的捕获图像，其中，
所述生成部(52)根据所述对象(OB、OB1、OB2)改变所述使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2、EAa12、EAc12)的范围并且生成所述周围环境图像。
2.根据权利要求1所述的周围环境监测设备(34)，其中，
所述生成部(52)在所述判定区域(JA、JAa1、JAa2、JAb1、JAb2、JAc1、JAc2、JAd1、JAd2)中不存在对象(OB、OB1、OB2)的情况下，在所述交叠区域(OA、OA1、OA2、OA3、OA4)中设置第一使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2)的范围，并且所述生成部(52)在所述判定区域(JA、JAa1、JAa2、JAb1、JAb2、JAc1、JAc2、JAd1、JAd2)中存在对象(OB、OB1、OB2)的情况下，在所述交叠区域(OA、OA1、OA2、OA3、OA4)中设置第二使用区域(EA、EAa12、EAc12)的范围，所述第一使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1，EAc2、EAb2、EAd2)的范围和所述第二使用区域(EA、EAa12、EAc12)的范围是预先确定的，并且
所述生成部(52)生成所述周围环境图像。
3.根据权利要求1或2所述的周围环境监测设备(34)，其中，
所述判定部(50)被配置成计算在所述判定区域(JA、JAa1、JAa2、JAb1、JAb2、JAc1、JAc2、JAd1、JAd2)中的对象(OB、OB1、OB2)的位置，并且
所述生成部(52)被配置成根据对象(OB、OB1、OB2)的位置设置所述使用区域(EA、EAa1、EAc1、EAa2、EAd1、EAb1、EAc2、EAb2、EAd2、EAa12、EAc12)的范围并且生成所述周围环境图像。
4.根据权利要求3所述的周围环境监测设备(34)，其中，所述生成部(52)被配置成基于对象(OB、OB1、OB2)的位置计算所述交叠区域(OA、OA1、OA2、OA3、OA4)中的盲点，根据所述盲点设置所述使用区域(EA、EAa12、EAc12)的范围并且生成所述周围环境图像。
5.根据权利要求4所述的周围环境监测设备(34)，其中，
所述多个成像部(14、14a、14b、14c、14d)包括一个成像部(14、14a、14b、14c、14d)和与所述一个成像部(14、14a、14b、14c、14d)相邻的另一成像部(14、14a、14b、14c、14d)，并且
在所述交叠区域(OA、OA1，OA2、OA3、OA4)中存在所述一个成像部(14、14a、14b、14c、14d)的盲点的情况下，所述生成部(52)设置使用所述另一成像部(14、14a、14b、14c、14d)的捕获图像的使用区域(EA、EAa12、EAc12)的范围，使得该使用区域(EA、EAa12、EAc12)的范围被设置在与所述交叠区域(OA、OA1、OA2、OA3、OA4)中的盲点对应的范围内。
6.根据权利要求3所述的周围环境监测设备(34)，其中，
所述生成部(52)被配置成将所述捕获图像投影在虚拟投影表面(90)上，所述虚拟投影表面(90)处于虚拟空间中并且包括碗的形状，并且
所述生成部(52)被配置成生成从虚拟视点看到的俯视图像作为所述周围环境图像。
CN201910160140.8A 2018-03-06 2019-03-04 周围环境监测设备 Pending CN110228468A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-039889 2018-03-06
JP2018039889A JP2019151304A (ja) 2018-03-06 2018-03-06 周辺監視装置

Publications (1)

Publication Number Publication Date
CN110228468A true CN110228468A (zh) 2019-09-13

Family

ID=67842988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910160140.8A Pending CN110228468A (zh) 2018-03-06 2019-03-04 周围环境监测设备

Country Status (3)

Country Link
US (1) US20190275970A1 (zh)
JP (1) JP2019151304A (zh)
CN (1) CN110228468A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助***

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007089081A (ja) * 2005-09-26 2007-04-05 Alpine Electronics Inc 車両用画像表示装置
US20080043113A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP2010087861A (ja) * 2008-09-30 2010-04-15 Nissan Motor Co Ltd 死角画像表示装置および死角画像表示方法
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN103295265A (zh) * 2012-01-30 2013-09-11 哈曼贝克自动***股份有限公司 用于显示车辆的环境的观察***和方法
CN103477634A (zh) * 2011-09-30 2013-12-25 松下电器产业株式会社 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
CN103782591A (zh) * 2011-08-26 2014-05-07 松下电器产业株式会社 驾驶辅助装置
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
JP2016018355A (ja) * 2014-07-08 2016-02-01 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
US20170120817A1 (en) * 2015-10-30 2017-05-04 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4876862B2 (ja) * 2006-11-13 2012-02-15 トヨタ自動車株式会社 画像処理装置
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
JPWO2009141846A1 (ja) * 2008-05-19 2011-09-22 パナソニック株式会社 車両周囲監視装置および車両周囲監視方法
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
US9126525B2 (en) * 2009-02-27 2015-09-08 Magna Electronics Inc. Alert system for vehicle
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
CN102577372B (zh) * 2009-09-24 2015-06-10 松下电器产业株式会社 驾驶辅助显示装置
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
JP5476216B2 (ja) * 2010-06-01 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
CN103987582B (zh) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
WO2015162801A1 (ja) * 2014-04-25 2015-10-29 株式会社小松製作所 周辺監視システム、作業車両、及び周辺監視方法
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007089081A (ja) * 2005-09-26 2007-04-05 Alpine Electronics Inc 車両用画像表示装置
US20080043113A1 (en) * 2006-08-21 2008-02-21 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP2010087861A (ja) * 2008-09-30 2010-04-15 Nissan Motor Co Ltd 死角画像表示装置および死角画像表示方法
CN102473239A (zh) * 2009-08-05 2012-05-23 戴姆勒股份公司 用于监控车辆的周围环境的方法
CN103782591A (zh) * 2011-08-26 2014-05-07 松下电器产业株式会社 驾驶辅助装置
CN103477634A (zh) * 2011-09-30 2013-12-25 松下电器产业株式会社 俯瞰图像生成装置、俯瞰图像生成方法及俯瞰图像生成程序
CN104093600A (zh) * 2011-11-30 2014-10-08 株式会社伊美吉内柯斯特 用于生成车辆环境的三维图像的方法和装置
CN103295265A (zh) * 2012-01-30 2013-09-11 哈曼贝克自动***股份有限公司 用于显示车辆的环境的观察***和方法
JP2016018355A (ja) * 2014-07-08 2016-02-01 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
US20170120817A1 (en) * 2015-10-30 2017-05-04 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995584A (zh) * 2019-12-13 2021-06-18 本田技研工业株式会社 车辆的显示装置和停车辅助***
CN112995584B (zh) * 2019-12-13 2024-03-22 本田技研工业株式会社 车辆的显示装置和停车辅助***

Also Published As

Publication number Publication date
US20190275970A1 (en) 2019-09-12
JP2019151304A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP5439890B2 (ja) 画像処理方法、画像処理装置及びプログラム
US9050931B2 (en) Vehicle periphery monitoring system
EP2763407B1 (en) Vehicle surroundings monitoring device
JP5099451B2 (ja) 車両周辺確認装置
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP6148887B2 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
WO2012172923A1 (ja) 車両周辺監視装置
CN110228468A (zh) 周围环境监测设备
US10909750B2 (en) Periphery monitoring device
JP5495071B2 (ja) 車両周辺監視装置
JP5093611B2 (ja) 車両周辺確認装置
US10930070B2 (en) Periphery monitoring device
JP5622986B2 (ja) 画像表示システム、画像処理装置及び画像表示方法
JP5516998B2 (ja) 画像生成装置
JP2007274377A (ja) 周辺監視装置、プログラム
JP2005242606A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP2012040883A (ja) 車両周囲画像生成装置
CN110857057A (zh) 车辆用周边显示装置
JP2004194071A (ja) 運転支援画像生成装置
JP5500392B2 (ja) 車両周辺監視装置
JP2004350303A (ja) 車両の画像処理装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
JP6234701B2 (ja) 車両用周囲モニタ装置
JP7347330B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kariya City, Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Kariya City, Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha