CN110857057B - 车辆用周边显示装置 - Google Patents

车辆用周边显示装置 Download PDF

Info

Publication number
CN110857057B
CN110857057B CN201910549101.7A CN201910549101A CN110857057B CN 110857057 B CN110857057 B CN 110857057B CN 201910549101 A CN201910549101 A CN 201910549101A CN 110857057 B CN110857057 B CN 110857057B
Authority
CN
China
Prior art keywords
image
vehicle
composite image
region
rearward
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910549101.7A
Other languages
English (en)
Other versions
CN110857057A (zh
Inventor
浅井五朗
窪田阳介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110857057A publication Critical patent/CN110857057A/zh
Application granted granted Critical
Publication of CN110857057B publication Critical patent/CN110857057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种减少切换使显示部显示的图像的频度又使显示图像的辨识人识别车辆周边的状况的车辆用周边显示装置。电子后视镜装置的后方照相机拍摄车辆的后方，左后侧方照相机以及右后侧方照相机拍摄车辆的后侧方，电子后视镜ECU生成将由后方照相机拍摄到的后方图像与由后侧方照相机拍摄到的后侧方图像合成的通常合成图像，使显示部显示。在通常合成图像上未显现的第一死角区域内存在物体的情况下、以及在因尾行车辆的接近而产生的、在通常合成图像上未显现的第二死角区域内存在物体且向车辆接近的情况下，电子后视镜ECU生成将包括与物体对应的图像区域的后侧方图像重叠至后方图像的死角优先合成图像，将使显示部显示的图像切换为死角优先合成图像。

Description

车辆用周边显示装置
技术领域
本公开涉及车辆用周边显示装置。
背景技术
例如，在日本特开2009-081666号公报记载有如下技术，即对是否因尾行车辆的接近而在尾行车辆的侧方产生利用后照相机无法拍摄的死角区域进行判定，在产生死角区域的情况下，使显示器显示将利用后照相机拍摄到的车辆后方的影像与利用右侧照相机、左侧照相机拍摄到的死角区域的影像合成后的显示用影像。
日本特开2009-081666号公报中记载的技术中，每次在因尾行车辆的接近而产生死角区域时切换显示于显示器的图像，因而使辨识显示于显示器的图像的辨识人感到繁琐。另外，图像以高频度切换，因而例如关于存在于车辆的周边的物体的有无、与物体的距离等车辆周边的状况，容易产生辨识人的误识别。
发明内容
本公开获得一种能够既减少切换使显示部显示的图像的频度、又使显示图像的辨识人识别车辆周边的状况的车辆用周边显示装置。
第一形态所涉及的车辆用周边显示装置包括：后方拍摄部，拍摄车辆的后方；后侧方拍摄部，拍摄上述车辆的后侧方；显示控制部，生成将利用上述后方拍摄部拍摄到的后方图像的与利用上述后侧方拍摄部拍摄到的后侧方图像合成后的第一合成图像，并使显示部显示上述第一合成图像；以及切换部，当在处于上述后侧方拍摄部的拍摄范围内且未显现在上述第一合成图像上的第一死角区域内存在物体的情况下、以及在因来自上述车辆的后方的车辆的接近而产生的、处于上述后侧方拍摄部的拍摄范围内且未显现在上述第一合成图像上的第二死角区域内存在物体的情况下，上述切换部生成将包括与上述物体对应的图像区域的上述后侧方图像重叠至上述后方图像后的第二合成图像，将显示于上述显示部的图像切换为上述第二合成图像。
在第一形态中，后方拍摄部拍摄车辆的后方，后侧方拍摄部拍摄车辆的后侧方。另外，显示控制部生成将由后方拍摄部拍摄到的后方图像与由后侧方拍摄部拍摄到的后侧方图像合成后的第一合成图像，使显示部显示第一合成图像。这里，当在后侧方拍摄部的拍摄范围内产生未显现在第一合成图像上的第一死角区域，且有车辆从车辆的后方接近的情况下，在后侧方拍摄部的拍摄范围内还产生未显现在第一合成图像上的第二死角区域。对此，在第一死角区域内存在物体的情况下以及在第二死角区域内存在物体的情况下，切换部生成将包括与上述物体对应的图像区域的后侧方图像重叠至后方图像后的第二合成图像，将显示于显示部的图像切换为第二合成图像。
由此，生成显现出与在存在于第一死角区域内或第二死角区域内的物体对应的图像区域的第二合成图像并显示于显示部。而且，通过辨识该第二合成图像就能够使显示图像的辨识人识别车辆周边的状况即在第一死角区域内或第二死角区域内存在物体的状况。另外，当在第一死角区域内或第二死角区域内存在物体的情况下，将显示于显示部的图像从第一合成图像切换为第二合成图像，因而能够减少切换使显示部显示的图像的频度。因此，能够抑制显示图像的辨识人在图像的切换中感受到繁琐、误识别车辆的周边的状况。
第二形态在第一形态的基础上，上述后方拍摄部与上述后侧方拍摄部的拍摄范围局部重复，上述显示控制部通过将上述后侧方图像中的在假想投影面上与上述后方图像重复的区域删除之后与上述后方图像合成来生成上述第一合成图像。
由此，形成在第一合成图像上后方图像的区域与后侧方图像的区域连续的图像，因而能够使第一合成图像成为近乎目视观察时的图像，能够抑制辨识第一合成图像时误识别车辆的周边的状况。
第三形态在第一或第二形态的基础上，上述切换部以使上述后侧方图像中的与上述后方图像重叠的范围包括上述图像区域的方式使上述重叠的范围移动或在车宽方向上压缩上述后侧方图像，从而生成显现有上述图像区域的上述第二合成图像。
由此，不进行后侧方拍摄部的拍摄方向的变更、拍摄倍率的变更就能够实现显现出与存在于第一死角区域内或第二死角区域内的物体对应的图像区域的第二合成图像的生成，能够避免车辆用周边显示装置的结构复杂化。
第四形态在第一～第三形态中的任一形态的基础上，关于当在上述第二死角区域内存在物体的情况下生成所述第二合成图像并使上述显示部显示的动作，上述切换部在该物体向上述车辆接近时进行。
由此，在危险度更高时即在存在于第二死角区域内的物体向车辆接近时，生成第二合成图像并使显示部显示，从而能够进一步减少将显示图像切换为第二合成图像的频度。
另外，在第一～第四形态中的任一形态的基础上，例如可以像第五形态所记载的那样，上述车辆用周边显示装置是搭载于上述车辆的电子后视镜装置。
本公开具有能够既减少切换使显示部显示的图像的频度、又使显示图像的辨识人识别车辆周边的状况的效果。
基于如下附图对本发明的示例性实施方式详细地进行说明。
附图说明
图1是表示本公开的实施方式所涉及的电子后视镜装置的简要结构的框图。
图2是表示电子后视镜装置的后侧方照相机、显示部的配置位置的立体图。
图3是表示电子后视镜ECU所执行的周边显示处理的流程图。
图4是表示照相机的拍摄范围以及第一死角区域的俯视图。
图5是表示通常合成图像的一个例子的示意图。
图6是表示在第一死角区域存在物体的状况的一个例子的俯视图。
图7是表示存在于第一死角区域的物体在通常合成图像上缺失一部分的状况的一个例子的示意图。
图8是表示在第一死角区域存在物体的状况下从后侧方图像的提取范围的变更的一个例子的俯视图。
图9是表示伴随着图8所示的变更而生成、显示的死角优先合成图像的一个例子的示意图。
图10是表示在第二死角区域存在物体的状况的一个例子的俯视图。
图11是表示存在于第二死角区域的物体在通常合成图像上未显示的状况的一个例子的示意图。
图12是表示在第二死角区域存在物体的状况下从后侧方图像的提取范围的变更的一个例子的俯视图。
图13是表示伴随着图12所示的变更而生成、显示的死角优先合成图像的一个例子的示意图。
具体实施方式
以下，参照附图对本公开的实施方式的一个例子详细地进行说明。图1所示的车载***40包括总线42，在总线42分别连接有多个电子控制单元以及多个传感器单元，它们进行彼此不同的控制。此外，图1仅示出车载***40中的与本公开相关的一部分。各个电子控制单元是包括CPU、存储器以及非易失性的存储部的控制单元，以下，称为ECU(ElectronicControl Unit：电子控制单元)。与总线42连接的多个ECU包括电子后视镜ECU22。
在电子后视镜ECU22分别连接有后方照相机12、左后侧方照相机14、右后侧方照相机16、显示部18以及照相机收纳ACT(促动器)20。上述电子后视镜ECU22、左后侧方照相机14、右后侧方照相机16、显示部18以及照相机收纳ACT20构成电子后视镜装置10，电子后视镜装置10是车辆用周边显示装置的一个例子。此外，在电子后视镜装置10中，后方照相机12是后方拍摄部的一个例子，左后侧方照相机14以及右后侧方照相机16是后侧方拍摄部的一个例子。另外，显示部18是显示部的一个例子，电子后视镜ECU22是显示控制部以及切换部的一个例子。
后方照相机12配置于车辆50(参照图4)的后部，拍摄光轴(透镜)朝向车辆的后方，拍摄车辆50的后方。此外，后方照相机12的配置位置只要是能够拍摄车辆50的后方的位置即可，可以配置于车辆50的后端部(例如后保险杠附近)，也可以配置为穿过后挡风玻璃拍摄车辆50的后方。后方照相机12的透镜设计为固定焦点，也不设置变更拍摄光轴的朝向的机构，拍摄图4所示的一定的拍摄范围60。
如图2所示，在车辆的左侧门(前侧门，图示省略)的车辆上下方向中间部的车辆前侧端部，以照相机支承体32L的前端部向车辆外侧突出的方式安装有照相机支承体32L的基部，该照相机支承体32L大致呈长方体形状且前端部呈圆弧状。在照相机支承体32L的前端部附近安装有左后侧方照相机14，左后侧方照相机14的拍摄光轴(透镜)朝向车辆的左后侧方，拍摄车辆的左后侧方。照相机支承体32L在车辆前后方向上能够转动，通过照相机收纳ACT20的驱动力向收纳位置或恢复位置转动，上述收纳位置是照相机支承体32L的长度方向大致沿着车辆的外侧面的位置，上述恢复位置是左后侧方照相机14拍摄车辆的左后侧方的位置。
左后侧方照相机14的透镜设计为固定焦点，还不设置变更拍摄光轴的朝向的机构，在照相机支承体32L位于恢复位置的状态下，拍摄图4所示的一定的拍摄范围62。如图4所示，左后侧方照相机14的拍摄范围62与后方照相机12的拍摄范围60局部重复。
另外，在车辆的右侧门(前侧门，图示省略)的车辆上下方向中间部的车辆前侧端部安装有与照相机支承体32L左右对称的形状的照相机支承体32R的基部。在照相机支承体32R的前端部附近安装有右后侧方照相机16，右后侧方照相机16的拍摄光轴(透镜)朝向车辆的右后侧方，拍摄车辆的右后侧方。照相机支承体32R也能够在车辆前后方向上转动，通过照相机收纳ACT20的驱动力向收纳位置或恢复位置转动，上述收纳位置是照相机支承体32R的长度方向大致沿着车辆的外侧面的位置，上述恢复位置是右后侧方照相机16拍摄车辆的右后侧方的位置。
右后侧方照相机16的透镜设计为固定焦点，还不设置变更拍摄光轴的朝向的机构，在照相机支承体32R位于恢复位置的状态下，拍摄图4所示的一定的拍摄范围64。如图4所示，右后侧方照相机16的拍摄范围64与后方照相机12的拍摄范围60局部重复。
另外，在车辆的仪表板的中央部设置有中央监视器34，在相对于中央监视器34向车辆上方隔开间隔的位置设置有显示部18。显示部18通过电子后视镜ECU22显示将由后方照相机12拍摄到的后方图像(动态图像)、由左后侧方照相机14拍摄到的左后侧方图像(动态图像)以及由右后侧方照相机16拍摄到的右后侧方图像(动态图像)合成后的图像(后述的通常合成图像或死角优先合成图像)。
如图1所示，电子后视镜ECU22包括CPU24、存储器26以及非易失性的存储部28，在存储部28存储有周边显示程序30。电子后视镜ECU22将周边显示程序30从存储部28读出并加载至存储器26，加载至存储器26的周边显示程序30由CPU24执行，从而进行后述的周边显示处理。
接下来，作为本实施方式的作用，参照图3对由电子后视镜ECU22执行的周边显示处理进行说明。在周边显示处理的步骤100～104中，进行通常时显示于显示部18的通常合成图像的生成、显示。
即，在周边显示处理的步骤100中，电子后视镜ECU22从由左后侧方照相机14拍摄到的左后侧方图像提取删除了在假想投影面66(参照图4)上与由后方照相机12拍摄到的后方图像重复的区域后的图像。左后侧方照相机14的左后侧方图像的拍摄范围62中的在假想投影面66上与后方照相机12的后方图像的拍摄范围60重复的是图4所示的删除区域68。电子后视镜ECU22从左后侧方图像删除删除区域68，从而提取与图4所示的提取区域70相当的图像。
另外，电子后视镜ECU22从由右后侧方照相机16拍摄到的右后侧方图像提取删除了在假想投影面66上与由后方照相机12拍摄到的后方图像重复的区域后的图像。右后侧方照相机16的右后侧方图像的拍摄范围64中的在假想投影面66上与后方照相机12的后方图像的拍摄范围60重复的是图4所示的删除区域72。电子后视镜ECU22从右后侧方图像删除删除区域72，从而提取与图4所示的提取区域74相当的图像。
在下一步骤102中，电子后视镜ECU22将在步骤100中从左后侧方图像提取出的图像合成至后方图像的左侧，并且将在步骤100中从右后侧方图像提取出的图像合成至后方图像的右侧，从而生成通常合成图像。而且，在步骤104中，电子后视镜ECU22使显示部18显示通常合成图像。显示于显示部18的通常合成图像的一个例子如图5所示。
通常合成图像通过将左后侧方图像以及右后侧方图像中的在假想投影面66上与后方图像重复的区域删除之后与后方图像合成而生成。由此，通常合成图像成为后方图像的区域与左后侧方图像的区域以及右后侧方图像的区域平滑地连续的图像，成为接近车辆50的乘员目视观察车辆50的后方以及后侧方的情况的图像。因此，能够抑制车辆50的周边的状况被辨识过显示于显示部18的通常合成图像的乘员误识别。此外，通常合成图像是第一合成图像的一个例子，步骤100～104是与显示控制部相当的处理的一个例子。
在下一步骤106中，电子后视镜ECU22对在车辆50的后方的比较近的距离是否存在尾行车辆52(参照图10)进行判定。此外，尾行车辆52的有无例如能够通过解析后方图像来判定，能够基于与后方图像所包括的尾行车辆52对应的图像区域的尺寸是否为规定值以上对在比较近的距离是否存在尾行车辆52进行判定。另外，步骤106的判定例如也能够基于将车辆50的后方作为检测范围的雷达等的检测结果来进行判定。在该情况下，能够更准确地判定车辆50与尾行车辆52的距离。
在步骤106的判定被否定的情况下，移至步骤108，在步骤108中，电子后视镜ECU22对在通常合成图像中未显现(成为死角)的第一死角区域80(参照图4)是否存在物体进行判定。第一死角区域80通过在通常合成图像的生成时删除左后侧方图像以及右后侧方图像中的在假想投影面66上与后方图像重复的区域而产生。
步骤108的判定能够通过对在左后侧方图像中的在通常合成图像的生成时删除了的区域内与右后侧方图像中的在通常合成图像的生成时删除了区域内的至少一者是否存在与物体(例如二轮车、人)相当的区域进行判定来实现。此外，在存在与物体相当的区域的情况下，可以对该区域中的位于第一死角区域80内的区域的比例是否为规定值以上进行判定。另外，还能够基于将包括车辆50的后侧方的范围作为检测范围的雷达等的检测结果进行判定。
在步骤108的判定被否定的情况下，返回步骤100，在步骤106或步骤108的判定被肯定之前，重复步骤100～步骤108。其间，继续通常合成图像的生成、显示。
另一方面，作为一个例子，如图6所示，在第一死角区域80存在物体(在图6的例中为二轮车54)的情况下，步骤108的判定被肯定，移至步骤112。如图6所示，在第一死角区域80存在二轮车54的情况下，通常合成图像作为示例而如图7所示地成为二轮车54的一部分缺失的图像。由此，存在二轮车54的存在并未被辨识过显示于显示部18的图像的乘员识别出的担忧。因此，在步骤112以后，如后所述，以显现出与二轮车54对应的图像区域的方式生成、显示死角优先合成图像。
另外，在车辆50的后方的比较近的距离存在尾行车辆52的情况下，步骤106的判定被肯定，移至步骤110。在步骤110中，电子后视镜ECU22对物体是否从第二死角区域82(参照图10)接近进行判定。第二死角区域82因在车辆50的后方的比较近的距离存在尾行车辆52而产生，存在于第二死角区域82内的物体未显现在通常合成图像(成为死角)。
步骤110的判定能够通过如下动作实现，即：对在左后侧方图像中的在通常合成图像的生成时删除了的区域内与右后侧方图像中的在通常合成图像的生成时删除了的区域内的至少一者是否存在与物体(二轮车、人)相当的区域，并且该区域的尺寸随着时间经过而变大进行判定。此外，还能够基于将包括车辆50的后侧方的范围作为检测范围的雷达等的检测结果进行判定。
在作为一个例子而如图10所示地在第二死角区域82存在物体(在图10的例中为二轮车54)的情况下，通常合成图像作为示例而如图11所示地成为未显现二轮车54的图像。由此，存在向车辆50接近的二轮车54的存在未被辨识过显示于显示部18的图像的乘员识别出的担忧。因此，在步骤110的判定被肯定的情况下，也移至步骤112。
在步骤112中，电子后视镜ECU22对存在于第一死角区域80内或第二死角区域82内的物体是否位于车辆50的左后侧方进行判定。在步骤112的判定被肯定的情况下，移至步骤114。在步骤114中，电子后视镜ECU22使从左后侧方图像提取图像的范围以包括位于车辆50的左方且与存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的方式向右方移动，从左后侧方图像提取图像。
例如，如图10、12所示，在车辆50的左后侧方的第二死角区域82存在物体(二轮车54)的情况下，将图12与图10进行比较可知：使左后侧方图像的拍摄范围62中的提取区域70的位置向右方移动，使删除区域68向拍摄范围62中的左端侧移动。由此，从左后侧方图像能够提取包括与位于车辆50的左后侧方且存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的图像。
另外，在步骤112的判定被否定的情况下，移至步骤116，在步骤116中，电子后视镜ECU22与生成通常合成图像的情况同样，从左后侧方图像提取删除了与后方图像在假想投影面66上重复的区域后的图像。若进行步骤114或步骤116的处理，则移至步骤118。
在步骤118中，电子后视镜ECU22对存在于第一死角区域80内或第二死角区域82内的物体是否位于车辆50的右后侧方进行判定。在步骤118的判定被肯定的情况下，移至步骤120。在步骤120中，电子后视镜ECU22使从右后侧方图像提取图像的范围以包括与位于车辆50的右后侧方且存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的方式向左方移动，从右后侧方图像提取图像。
例如，如图6、8所示，在车辆50的右后侧方的第一死角区域80存在物体(二轮车54)的情况下，将图8与图6进行比较可知：使右后侧方图像的拍摄范围64中的提取区域74的位置向左方移动，使删除区域72向拍摄范围64中的右端侧移动。由此，从右后侧方图像能够提取包括与位于车辆50的右后侧方且存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的图像。
另外，在步骤118的判定被否定的情况下，移至步骤122，在步骤122中，电子后视镜ECU22与生成通常合成图像的情况同样，从右后侧方图像提取删除了与后方图像在假想投影面66上重复的区域后的图像。若进行步骤120或步骤122的处理，则移至步骤124。
在步骤124中，电子后视镜ECU22将在步骤114或步骤116中从左后侧方图像提取出的图像合成至后方图像的左侧，并且将在步骤120或步骤122中从右后侧方图像提取出的图像合成至后方图像的右侧，从而生成死角优先合成图像。而且，在步骤126中，电子后视镜ECU22使显示部18显示死角优先合成图像。
作为一个例子而如图6所示地在车辆50的右后侧方的第一死角区域80存在物体(在图6的例子中为二轮车54)的情况下，在通常合成图像中，作为示例而如图7所示地成为二轮车54的一部分缺失的图像。与此相对，在上述处理中，如图8所示，右后侧方图像的拍摄范围64中的提取区域74的位置被向左方移动，从而作为示例而如图9所示，在生成并显示于显示部18的死角优先合成图像上显现出二轮车54。由此，二轮车54的存在能够被辨识过显示于显示部18的图像的乘员可靠地识别。
另外，在作为一个例子而如图10所示地在车辆50的左后侧方的第二死角区域82存在物体(在图10的例子中为二轮车54)的情况下，通常合成图像作为示例而如图11所示地成为未显现二轮车54的图像。与此相对，在上述处理中，在二轮车54向车辆50接近的情况下，如图12所示，左后侧方图像的拍摄范围62中的提取区域70的位置被向右方移动，从而作为示例而如图13所示，在生成并显示于显示部18的死角优先合成图像上显现出二轮车54。由此，从车辆50的右后侧方向车辆50接近的二轮车54的存在能够被辨识过显示于显示部18的图像的乘员可靠地识别。
若进行步骤126的处理，则移至步骤128，在步骤128中，电子后视镜ECU22对存在于第一死角区域80内或第二死角区域82内的物体是否从第一死角区域80内或第二死角区域82内消失进行判定。在步骤128的判定被否定的情况下，返回步骤106，在步骤108被否定或步骤128的判定被肯定之前，重复步骤106～步骤128，由此继续死角优先合成图像的生成、显示。而且，在步骤108被否定或步骤128的判定被肯定的情况下，返回步骤100，返回生成、显示通常合成图像的状态。
这样，在本实施方式中，当在第一死角区域80内存在物体的情况下以及在存在于第二死角区域82内的物体向车辆50接近的情况下，生成死角优先合成图像。死角优先合成图像是将包括与存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的后侧方图像重叠至后方图像后的图像，将显示于显示部18的图像从通常合成图像切换为死角优先合成图像。
由此，通过辨识显现出与存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的死角优先合成图像就能够使显示图像的辨识人识别车辆周边的状况，即在第一死角区域80内是否存在物体、存在于第二死角区域82内的物体向车辆50接近的状况。另外，在第一死角区域80内存在物体的情况下以及在存在于第二死角区域82内的物体向车辆50接近的情况下，将显示于显示部18的图像从通常合成图像切换为死角优先合成图像，因而能够减少切换使显示部18显示的图像的频度。由此，能够抑制显示图像的辨识人在图像的切换中感受到繁琐、误识别车辆的周边的状况。
此外，在上文中，对通过使后侧方图像中的与后方图像重叠的提取区域70、74移动来实现显现出与存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的死角优先合成图像的生成的形态进行了说明，但并不限定于此。例如，也可以通过将后侧方图像在车宽方向上压缩并与后方图像重叠来将与后侧方图像的提取区域相当的图像的范围扩大直至显现出与存在于第一死角区域80内或第二死角区域82内的物体对应的图像区域的范围，生成死角优先合成图像。
另外，在上文中，对在存在于第二死角区域82内的物体向车辆50接近的情况下生成死角优先合成图像来显示的形态进行了说明，但并不限定于此。例如，也可以构成为在第二死角区域82内存在物体的情况下，无论该物体是否向车辆50接近，均生成死角优先合成图像来显示。

Claims (3)

1.一种车辆用周边显示装置，其中，包括：
后方拍摄部，拍摄车辆的后方；
后侧方拍摄部，拍摄所述车辆的后侧方；
显示控制部，生成将利用所述后方拍摄部拍摄到的后方图像与利用所述后侧方拍摄部拍摄到的后侧方图像合成后的第一合成图像，并使显示部显示所述第一合成图像；以及
切换部，当在处于所述后侧方拍摄部的拍摄范围内且未显现在所述第一合成图像上的第一死角区域内存在物体的情况下、以及在因来自所述车辆的后方的车辆的接近而产生的、处于所述后侧方拍摄部的拍摄范围内且未显现在所述第一合成图像上的第二死角区域内存在物体的情况下，所述切换部生成将包括与所述物体对应的图像区域的所述后侧方图像重叠至所述后方图像的第二合成图像，将显示于所述显示部的图像切换为所述第二合成图像，
所述后方拍摄部与所述后侧方拍摄部的拍摄范围局部重复，
所述显示控制部通过将所述后侧方图像中的在假想投影面上与所述后方图像重复的区域删除之后与所述后方图像合成来生成所述第一合成图像，
所述切换部以使所述后侧方图像中的与所述后方图像重叠的范围包括所述图像区域的方式，使所述重叠的范围移动或在车宽方向上压缩所述后侧方图像，从而生成显现有所述图像区域的所述第二合成图像。
2.根据权利要求1所述的车辆用周边显示装置，其中，
关于当在所述第二死角区域内存在物体的情况下生成所述第二合成图像并使所述显示部显示的动作，所述切换部在该物体向所述车辆接近时进行。
3.根据权利要求1或2所述的车辆用周边显示装置，其中，
所述车辆用周边显示装置是搭载于所述车辆的电子后视镜装置。
CN201910549101.7A 2018-08-10 2019-06-24 车辆用周边显示装置 Active CN110857057B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018152063A JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置
JP2018-152063 2018-08-10

Publications (2)

Publication Number Publication Date
CN110857057A CN110857057A (zh) 2020-03-03
CN110857057B true CN110857057B (zh) 2023-02-17

Family

ID=69185919

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910549101.7A Active CN110857057B (zh) 2018-08-10 2019-06-24 车辆用周边显示装置

Country Status (4)

Country Link
US (1) US10944918B2 (zh)
JP (1) JP7052632B2 (zh)
CN (1) CN110857057B (zh)
DE (1) DE102019120636A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
DE102020135098B4 (de) 2020-01-08 2023-07-20 Denso Corporation Fahrzeuganzeigesteuervorrichtung, fahrzeuganzeigesteuersystem und fahrzeuganzeigesteuerverfahren
JP7347330B2 (ja) * 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
JP7276262B2 (ja) * 2020-06-29 2023-05-18 トヨタ自動車株式会社 車両用表示装置
JP7314885B2 (ja) * 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
GB2623296A (en) * 2022-10-05 2024-04-17 Continental Automotive Tech Gmbh System and method for evaluation of the driving of a vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN102774325A (zh) * 2012-07-31 2012-11-14 西安交通大学 一种后视倒车辅助***和形成后视障碍图像的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4768499B2 (ja) 2006-04-17 2011-09-07 アルパイン株式会社 車載周辺他車検出装置
JP4731392B2 (ja) 2006-04-26 2011-07-20 アルパイン株式会社 車載周辺状況提示装置
JP4906437B2 (ja) 2006-08-22 2012-03-28 アルパイン株式会社 周辺監視システム
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP5347257B2 (ja) 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
US9013286B2 (en) 2013-09-23 2015-04-21 Volkswagen Ag Driver assistance system for displaying surroundings of a vehicle
JP2016097896A (ja) 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像***及其成像方法
WO2018031673A1 (en) * 2016-08-10 2018-02-15 Surround.IO Corporation Method and system for providing information via collected and stored metadata using inferred attentional model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN102774325A (zh) * 2012-07-31 2012-11-14 西安交通大学 一种后视倒车辅助***和形成后视障碍图像的方法

Also Published As

Publication number Publication date
DE102019120636A1 (de) 2020-02-13
JP2020028027A (ja) 2020-02-20
JP7052632B2 (ja) 2022-04-12
US10944918B2 (en) 2021-03-09
US20200053295A1 (en) 2020-02-13
CN110857057A (zh) 2020-03-03

Similar Documents

Publication Publication Date Title
CN110857057B (zh) 车辆用周边显示装置
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US11433813B2 (en) Vehicular electronic mirror system
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
CN107950023B (zh) 车辆用显示装置以及车辆用显示方法
JP2003219413A (ja) 車両後方モニタシステムおよびモニタ装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2016168877A (ja) 車両用視認装置
JP2019110492A (ja) 画像表示装置
JP2019047463A (ja) 画像表示装置
US20180056870A1 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
CN111032430A (zh) 车辆用视觉识别装置
JP7347330B2 (ja) 車両周辺監視装置
WO2020008419A2 (en) Cameras with scanning optical path folding elements for automotive or surveillance applications
CN111186375B (zh) 车辆用电子镜***
JP6488628B2 (ja) 映像処理装置、及び車載映像処理システム
KR102623156B1 (ko) 가상 카메라를 자동차의 내부 미러를 향해 시프트함으로써 환경의 표현을 생성하기 위한 방법뿐만 아니라, 카메라 장치
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
CN113022590A (zh) 车辆用周边显示装置
CN113051997A (zh) 用于监视车辆周围环境的设备和非暂时性计算机可读介质
CN113928218B (zh) 车辆用显示装置、车辆用显示方法以及存储介质
US20220237923A1 (en) Object detection device, object detection method, and storage medium
US11258963B2 (en) Image creation device and image creation method
JP7353109B2 (ja) 車外モニタ装置
CN117859323A (zh) 车辆用视觉识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant