JP2020028027A - 車両用周辺表示装置 - Google Patents

車両用周辺表示装置 Download PDF

Info

Publication number
JP2020028027A
JP2020028027A JP2018152063A JP2018152063A JP2020028027A JP 2020028027 A JP2020028027 A JP 2020028027A JP 2018152063 A JP2018152063 A JP 2018152063A JP 2018152063 A JP2018152063 A JP 2018152063A JP 2020028027 A JP2020028027 A JP 2020028027A
Authority
JP
Japan
Prior art keywords
image
vehicle
rear side
blind spot
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018152063A
Other languages
English (en)
Other versions
JP7052632B2 (ja
Inventor
五朗 浅井
Goro Asai
五朗 浅井
陽介 窪田
Yosuke Kubota
陽介 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018152063A priority Critical patent/JP7052632B2/ja
Priority to CN201910549101.7A priority patent/CN110857057B/zh
Priority to US16/458,839 priority patent/US10944918B2/en
Priority to DE102019120636.7A priority patent/DE102019120636A1/de
Publication of JP2020028027A publication Critical patent/JP2020028027A/ja
Application granted granted Critical
Publication of JP7052632B2 publication Critical patent/JP7052632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】表示部に表示させる画像を切り替える頻度を低減しつつ、表示画像の視認者に車両周辺の状況を認識させる。【解決手段】電子ミラー装置10の後方カメラ12は車両の後方を撮影し、左後側方カメラ14及び右後側方カメラ16は車両の後側方を撮影し、電子ミラーECU22は、後方カメラ12で撮影された後方画像と後側方カメラ14、16で撮影された後側方画像とを合成した通常合成画像を生成し、表示部18に表示させる。また、電子ミラーECU22は、通常合成画像上に現れない第1死角領域内に物体が存在している場合、及び、後続車両の接近によって発生する、通常合成画像上に現れない第2死角領域内に物体が存在し、かつ当該物体が車両に接近している場合に、前記物体に対応する画像領域を含む後側方画像を後方画像に重畳した死角優先合成画像を生成し、表示部18に表示させる画像を死角優先合成画像に切り替える。【選択図】図1

Description

本発明は車両用周辺表示装置に関する。
特許文献1には、後続車両の接近によって後続車両の側方にリアカメラで撮影できない死角領域が発生しているか否かを判定し、死角領域が発生している場合は、リアカメラで撮影した車両後方の映像と右サイドカメラや左サイドカメラで撮影した死角領域の映像とを合成した表示用映像をディスプレイに表示させる技術が記載されている。
特開2009−081666号公報
特許文献1に記載の技術は、後続車両の接近によって死角領域が発生する都度、ディスプレイに表示される画像が切り替わるので、ディスプレイに表示される画像を視認する視認者に煩雑さを感じさせるという課題がある。また、画像が高頻度で切り替わるために、例えば車両の周辺に存在する物体の有無や物体との距離などの車両周辺の状況に関して視認者の誤認識が生じ易いという課題もある。
本発明は上記事実を考慮して成されたもので、表示部に表示させる画像を切り替える頻度を低減しつつ、表示画像の視認者に車両周辺の状況を認識させることができる車両用周辺表示装置を得ることが目的である。
請求項1記載の発明に係る車両用周辺表示装置は、車両の後方を撮影する後方撮影部と、前記車両の後側方を撮影する後側方撮影部と、前記後方撮影部で撮影された後方画像と前記後側方撮影部で撮影された後側方画像とを合成した第1合成画像を生成し、前記第1合成画像を表示部に表示させる表示制御部と、前記後側方撮影部の撮影範囲内でかつ前記第1合成画像上に現れない第1死角領域内に物体が存在している場合、及び、前記車両の後方からの車両の接近によって発生する、前記後側方撮影部の撮影範囲内でかつ前記第1合成画像上に現れない第2死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む前記後側方画像を前記後方画像に重畳した第2合成画像を生成し、前記表示部に表示させる画像を前記第2合成画像に切り替える切替部と、を含んでいる。
請求項1記載の発明では、後方撮影部が車両の後方を撮影し、後側方撮影部が車両の後側方を撮影する。また表示制御部は、後方撮影部で撮影された後方画像と後側方撮影部で撮影された後側方画像とを合成した第1合成画像を生成し、第1合成画像を表示部に表示させる。ここで、後側方撮影部の撮影範囲内には第1合成画像上には現れない第1死角領域が生じ、車両の後方から車両が接近した場合には、後側方撮影部の撮影範囲内に、第1合成画像上には現れない第2死角領域も発生する。これに対して切替部は、第1死角領域内に物体が存在している場合及び第2死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む後側方画像を後方画像に重畳した第2合成画像を生成し、表示部に表示させる画像を第2合成画像に切り替える。
これにより、第1死角領域内又は第2死角領域内に存在している物体に対応する画像領域が現れた第2合成画像が生成されて表示部に表示されることになる。そして、この第2合成画像が視認されることで、表示画像の視認者に車両周辺の状況、すなわち第1死角領域内又は第2死角領域内に物体が存在している状況を認識させることができる。また、表示部に表示する画像を第1合成画像から第2合成画像に切り替えることを、第1死角領域内又は第2死角領域内に物体が存在している場合に行うので、表示部に表示させる画像を切り替える頻度が低減される。従って、表示画像の視認者が画像の切り替えに煩雑さを感じたり、車両の周辺の状況を誤認識したりすることを抑制することができる。
請求項2記載の発明は、請求項1記載の発明において、前記後方撮影部と前記後側方撮影部とは撮影範囲が一部重複しており、前記表示制御部は、前記後側方画像のうち仮想投影面上で前記後方画像と重複している領域を削除した上で前記後方画像と合成することで、前記第1合成画像を生成する。
これにより、第1合成画像上で後方画像の領域と後側方画像の領域とが連続した画像になるので、第1合成画像を目視した場合に近い画像にすることができ、第1合成画像が視認された際に車両の周辺の状況が誤認識されることを抑制することができる。
請求項3記載の発明は、請求項1又は請求項2記載の発明において、前記切替部は、前記後側方画像のうち前記後方画像に重畳する範囲が前記画像領域を含むように、前記重畳する範囲を移動させるか又は前記後側方画像を車両幅方向に圧縮することで、前記画像領域が現れた前記第2合成画像を生成する。
これにより、第1死角領域内又は第2死角領域内に存在している物体に対応する画像領域が現れた第2合成画像を生成することを、後側方撮影部の撮影方向を変更したり撮影倍率を変更することなく実現することができ、車両用周辺表示装置の構成が複雑化することを回避することができる。
請求項4記載の発明は、請求項1〜請求項3の何れか1項記載の発明において、前記切替部は、前記第2死角領域内に物体が存在している場合に前記第2合成画像を生成して前記表示部に表示させることを、当該物体が前記車両に接近しているときに行う。
これにより、第2合成画像を生成して表示部に表示させることが、より危険度が高いとき、すなわち第2死角領域内に存在している物体が車両に接近しているときに行うようにすることで、表示画像を第2合成画像に切り替える頻度を更に低減することができる。
また、請求項1〜請求項4の何れか1項記載の発明において、例えば請求項5に記載したように、前記車両用周辺表示装置は、前記車両に搭載された電子ミラー装置であってもよい。
本発明は、表示部に表示させる画像を切り替える頻度を低減しつつ、表示画像の視認者に車両周辺の状況を認識させることができる、という効果を有する。
実施形態に係る電子ミラー装置の概略構成を示すブロック図である。 電子ミラー装置の後側方カメラや表示部の配置位置を示す斜視図である。 電子ミラーECUが実行する周辺表示処理を示すフローチャートである。 カメラの撮影範囲及び第1死角領域を示す平面図である。 通常合成画像の一例を示すイメージ図である。 第1死角領域に物体が存在している状況の一例を示す平面図である。 第1死角領域に存在している物体が通常合成画像上で一部欠けている状況の一例を示すイメージ図である。 第1死角領域に物体が存在している状況で後側方画像からの抽出範囲の変更の一例を示す平面図である。 図8に示す変更に伴って生成・表示される死角優先合成画像の一例を示すイメージ図である。 第2死角領域に物体が存在している状況の一例を示す平面図である。 第2死角領域に存在している物体が通常合成画像上で表示されていない状況の一例を示すイメージ図である。 第2死角領域に物体が存在している状況で後側方画像からの抽出範囲の変更の一例を示す平面図である。 図12に示す変更に伴って生成・表示される死角優先合成画像の一例を示すイメージ図である。
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図1に示す車載システム40はバス42を含み、バス42には互いに異なる制御を行う複数の電子制御ユニット及び複数のセンサユニットが各々接続されている。なお、図1は車載システム40のうち本発明に関係する一部のみ示している。個々の電子制御ユニットは、CPU、メモリ及び不揮発性の記憶部を含む制御ユニットであり、以下、ECU(Electronic Control Unit)と称する。バス42に接続されている複数のECUには電子ミラーECU22が含まれている。
電子ミラーECU22には、後方カメラ12、左後側方カメラ14、右後側方カメラ16、表示部18及びカメラ格納ACT(アクチュエータ)20が各々接続されている。これらの電子ミラーECU22、左後側方カメラ14、右後側方カメラ16、表示部18及びカメラ格納ACT20は電子ミラー装置10を構成しており、電子ミラー装置10は車両用周辺表示装置の一例である。なお、電子ミラー装置10のうち、後方カメラ12は後方撮影部の一例であり、左後側方カメラ14及び右後側方カメラ16は後側方撮影部の一例である。また、表示部18は表示部の一例であり、電子ミラーECU22は表示制御部及び切替部の一例である。
後方カメラ12は、車両50(図4参照)の後部に配置されており、撮影光軸(レンズ)が車両の後方へ向けられ、車両50の後方を撮影する。なお、後方カメラ12の配置位置は車両50の後方を撮影可能な位置であればよく、車両50の後端部(例えばリヤバンパ付近)に配置されていてもよいし、リヤウインドシールドガラス越しに車両50の後方を撮影するように配置されていてもよい。後方カメラ12は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、図4に示す一定の撮影範囲60を撮影する。
図2に示すように、車両の左サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、およそ直方体形状で先端部が円弧状とされたカメラ支持体32Lの基部が、当該カメラ支持体32Lの先端部が車両外側へ突出するように取り付けられている。カメラ支持体32Lの先端部付近には左後側方カメラ14が取り付けられており、左後側方カメラ14は撮影光軸(レンズ)が車両の左後側方に向けられ、車両の左後側方を撮影する。カメラ支持体32Lは車両前後方向に回動可能とされており、カメラ格納ACT20の駆動力により、カメラ支持体32Lの長手方向が車両の外側面におよそ沿う格納位置、又は、左後側方カメラ14が車両の左後側方を撮影する復帰位置へ回動される。
左後側方カメラ14は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体32Lが復帰位置に位置している状態で、図4に示す一定の撮影範囲62を撮影する。図4に示すように、左後側方カメラ14の撮影範囲62は、後方カメラ12の撮影範囲60と一部重複している。
また、車両の右サイドドア(フロントサイドドア、図示省略)の車両上下方向中間部の車両前側端部には、カメラ支持体32Lと左右対称の形状のカメラ支持体32Rの基部が取り付けられている。カメラ支持体32Rの先端部付近には右後側方カメラ16が取り付けられており、右後側方カメラ16は撮影光軸(レンズ)が車両の右後側方に向けられ、車両の右後側方を撮影する。カメラ支持体32Rも車両前後方向に回動可能とされており、カメラ格納ACT20の駆動力により、カメラ支持体32Rの長手方向が車両の外側面におよそ沿う格納位置、又は、右後側方カメラ16が車両の右後側方を撮影する復帰位置へ回動される。
右後側方カメラ16は、レンズが固定焦点とされ、撮影光軸の向きを変更する機構も設けられておらず、カメラ支持体32Rが復帰位置に位置している状態で、図4に示す一定の撮影範囲64を撮影する。図4に示すように、右後側方カメラ16の撮影範囲64は、後方カメラ12の撮影範囲60と一部重複している。
また、車両のインストルメントパネルの中央部には中央モニタ34が設けられており、中央モニタ34から車両上方へ間隔を隔てた位置に表示部18が設けられている。表示部18は、電子ミラーECU22により、後方カメラ12によって撮影された後方画像(動画像)、左後側方カメラ14によって撮影された左後側方画像(動画像)及び右後側方カメラ16によって撮影された右後側方画像(動画像)を合成した画像(後述する通常合成画像又は死角優先合成画像)が表示される。
図1に示すように、電子ミラーECU22は、CPU24、メモリ26及び不揮発性の記憶部28を含んでおり、記憶部28には周辺表示プログラム30が記憶されている。電子ミラーECU22は、周辺表示プログラム30が記憶部28から読み出されてメモリ26に展開され、メモリ26に展開された周辺表示プログラム30がCPU24によって実行されることで、後述する周辺表示処理を行う。
次に本実施形態の作用として、図3を参照し、電子ミラーECU22によって実行される周辺表示処理を説明する。周辺表示処理のステップ100〜104では、通常時に表示部18に表示させる通常合成画像の生成・表示を行う。
すなわち、周辺表示処理のステップ100において、電子ミラーECU22は、左後側方カメラ14によって撮影された左後側方画像から、後方カメラ12によって撮影された後方画像と仮想投影面66(図4参照)上で重複する領域を削除した画像を抽出する。左後側方カメラ14による左後側方画像の撮影範囲62のうち、仮想投影面66上で後方カメラ12による後方画像の撮影範囲60と重複するのは、図4に示す削除領域68である。電子ミラーECU22は、左後側方画像から削除領域68を削除することで、図4に示す抽出領域70に相当する画像を抽出する。
また電子ミラーECU22は、右後側方カメラ16によって撮影された右後側方画像から、後方カメラ12によって撮影された後方画像と仮想投影面66上で重複する領域を削除した画像を抽出する。右後側方カメラ16による右後側方画像の撮影範囲64のうち、仮想投影面66上で後方カメラ12による後方画像の撮影範囲60と重複するのは、図4に示す削除領域72である。電子ミラーECU22は、右後側方画像から削除領域72を削除することで、図4に示す抽出領域74に相当する画像を抽出する。
次のステップ102において、電子ミラーECU22は、ステップ100で左後側方画像から抽出した画像を後方画像の左側に合成すると共に、ステップ100で右後側方画像から抽出した画像を後方画像の右側に合成することで、通常合成画像を生成する。そしてステップ104において、電子ミラーECU22は、通常合成画像を表示部18に表示させる。表示部18に表示される通常合成画像の一例を図5に示す。
通常合成画像は、左後側方画像及び右後側方画像のうち仮想投影面66上で後方画像と重複している領域を削除した上で後方画像と合成することで生成される。これにより、通常合成画像は、後方画像の領域と左後側方画像の領域及び右後側方画像の領域とが滑らかに連続した画像になり、車両50の乗員が車両50の後方及び後側方を目視した場合に近い画像になる。従って、表示部18に表示された通常合成画像を視認した乗員により、車両50の周辺の状況が誤認識されることを抑制することができる。なお、通常合成画像は第1合成画像の一例であり、ステップ100〜104は表示制御部に相当する処理の一例である。
次のステップ106において、電子ミラーECU22は、車両50の後方の比較的近い距離に後続車両52(図10参照)が存在しているか否か判定する。なお、後続車両52の有無は、例えば後方画像を解析することで判定することができ、後方画像に含まれる後続車両52に対応する画像領域のサイズが所定値以上か否かに基づいて、比較的近い距離に後続車両52が存在しているか否かを判定することができる。また、ステップ106の判定は、例えば、車両50の後方を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。この場合、車両50と後続車両52との距離をより正確に判定することができる。
ステップ106の判定が否定された場合はステップ108へ移行し、ステップ108において、電子ミラーECU22は、通常合成画像に現れない(死角となる)第1死角領域80(図4参照)に物体が存在しているか否か判定する。第1死角領域80は、通常合成画像の生成に際し、左後側方画像及び右後側方画像のうち仮想投影面66上で後方画像と重複している領域を削除することにより発生する。
ステップ108の判定は、左後側方画像のうち通常合成画像の生成時に削除した領域内と、右後側方画像のうち通常合成画像の生成時に削除した領域内と、の少なくとも一方に、物体(例えば二輪車や人)に相当する領域が存在するか否かを判定することで実現できる。なお、物体に相当する領域が存在する場合に、当該領域のうち第1死角領域80内に位置している領域の割合が所定値以上か否かを判定するようにしてもよい。また、車両50の後側方を含む範囲を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。
ステップ108の判定が否定された場合はステップ100に戻り、ステップ106又はステップ108の判定が肯定される迄、ステップ100〜ステップ108を繰り返す。この間、通常合成画像の生成・表示が継続される。
一方、一例として図6に示すように、第1死角領域80に物体(図6の例では二輪車54)が存在している場合、ステップ108の判定が肯定されてステップ112へ移行する。図6に示すように、第1死角領域80に二輪車54が存在している場合、通常合成画像は、例として図7に示すように二輪車54の一部が欠けた画像となる。これにより、表示部18に表示された画像を視認した乗員により、二輪車54の存在が認識されない虞がある。このため、ステップ112以降では、後述するように、二輪車54に対応する画像領域が現れるように死角優先合成画像を生成・表示する。
また、車両50の後方の比較的近い距離に後続車両52が存在している場合には、ステップ106の判定が肯定されてステップ110へ移行する。ステップ110において、電子ミラーECU22は、第2死角領域82(図10参照)から物体が接近しているか否か判定する。第2死角領域82は、車両50の後方の比較的近い距離に後続車両52が存在していることで発生し、第2死角領域82内に存在している物体は通常合成画像に現れない(死角となる)。
ステップ110の判定は、左後側方画像のうち通常合成画像の生成時に削除した領域内と、右後側方画像のうち通常合成画像の生成時に削除した領域内と、の少なくとも一方に、物体(二輪車や人)に相当する領域が存在し、かつ当該領域のサイズが時間経過に伴って大きくなっているか否かを判定することで実現できる。なお、車両50の後側方を含む範囲を検出範囲とするレーダなどの検出結果に基づいて判定することも可能である。
一例として図10に示すように、第2死角領域82に物体(図10の例では二輪車54)が存在していた場合、通常合成画像は、例として図11に示すように二輪車54が現れない画像となる。これにより、表示部18に表示された画像を視認した乗員により、車両50に接近する二輪車54の存在が認識されない虞がある。このため、ステップ110の判定が肯定された場合にもステップ112へ移行する。
ステップ112において、電子ミラーECU22は、第1死角領域80内又は第2死角領域82内に存在する物体が車両50の左後側方に位置しているか否か判定する。ステップ112の判定が肯定された場合はステップ114へ移行する。ステップ114において、電子ミラーECU22は、左後側方画像から画像を抽出する範囲を、車両50の左方向に位置しかつ第1死角領域80内又は第2死角領域82内に存在する物体に対応する画像領域を含むように右方向へ移動させ、左後側方画像から画像を抽出する。
例えば、図10、12に示すように車両50の左後側方の第2死角領域82に物体(二輪車54)が存在している場合、図12を図10と比較すると明らかなように、左後側方画像の撮影範囲62のうち抽出領域70の位置を右方向へ移動させ、削除領域72を撮影範囲64のうちの左端側へ移動させる。これにより、左後側方画像からは、車両50の左後側方に位置しかつ第1死角領域80内又は第2死角領域82内に存在する物体に対応する画像領域を含む画像が抽出される。
また、ステップ112の判定が否定された場合はステップ116へ移行し、ステップ116において、電子ミラーECU22は、通常合成画像を生成する場合と同様に、左後側方画像から、後方画像と仮想投影面66上で重複する領域を削除した画像を抽出する。ステップ114又はステップ116の処理を行うとステップ118へ移行する。
ステップ118において、電子ミラーECU22は、第1死角領域80内又は第2死角領域82内に存在する物体が車両50の右後側方に位置しているか否か判定する。ステップ118の判定が肯定された場合はステップ120へ移行する。ステップ120において、電子ミラーECU22は、右後側方画像から画像を抽出する範囲を、車両50の右後側方に位置しかつ第1死角領域80内又は第2死角領域82内に存在する物体に対応する画像領域を含むように左方向へ移動させ、右後側方画像から画像を抽出する。
例えば、図6、8に示すように車両50の右後側方の第1死角領域80に物体(二輪車54)が存在している場合、図8を図6と比較すると明らかなように、右後側方画像の撮影範囲64のうち抽出領域74の位置を左方向へ移動させ、削除領域68を撮影範囲62のうちの右端側へ移動させる。これにより、右後側方画像からは、車両50の右後側方に位置しかつ第1死角領域80内又は第2死角領域82内に存在する物体に対応する画像領域を含む画像が抽出される。
また、ステップ118の判定が否定された場合はステップ122へ移行し、ステップ122において、電子ミラーECU22は、通常合成画像を生成する場合と同様に、右後側方画像から、後方画像と仮想投影面66上で重複する領域を削除した画像を抽出する。ステップ120又はステップ122の処理を行うとステップ124へ移行する。
ステップ124において、電子ミラーECU22は、ステップ114又はステップ116で左後側方画像から抽出した画像を後方画像の左側に合成すると共に、ステップ120又はステップ122で右後側方画像から抽出した画像を後方画像の右側に合成することで、死角優先合成画像を生成する。そしてステップ126において、電子ミラーECU22は、死角優先合成画像を表示部18に表示させる。
一例として図6に示すように、車両50の右後側方の第1死角領域80に物体(図6の例では二輪車54)が存在している場合、通常合成画像では、例として図7に示すように二輪車54の一部が欠けた画像となる。これに対して上述の処理では、図8に示すように、右後側方画像の撮影範囲64のうち抽出領域74の位置が左方向へ移動されることで、例として図9に示すように、生成されて表示部18に表示される死角優先合成画像上に二輪車54が現れることになる。これにより、表示部18に表示された画像を視認した乗員により、二輪車54の存在が確実に認識される。
また、一例として図10に示すように、車両50の左後側方の第2死角領域82に物体(図10の例では二輪車54)が存在していた場合、通常合成画像は、例として図11に示すように二輪車54が現れない画像となる。これに対して上述の処理では、二輪車54が車両50に接近していた場合、図12に示すように、肥大後側方画像の撮影範囲62のうち抽出領域70の位置が右方向へ移動されることで、例として図13に示すように、生成されて表示部18に表示される死角優先合成画像上に二輪車54が現れることになる。これにより、表示部18に表示された画像を視認した乗員により、車両50の右後側方から車両50に接近している二輪車54の存在が確実に認識される。
ステップ126の処理を行うとステップ128へ移行し、ステップ128において、電子ミラーECU22は、第1死角領域80内又は第2死角領域82内に存在していた物体が、第1死角領域80内又は第2死角領域82内からいなくなったか否か判定する。ステップ128の判定が否定された場合はステップ106に戻り、ステップ108が否定されるか、又は、ステップ128の判定が肯定される迄、ステップ106〜ステップ128を繰り返すことで、死角優先合成画像の生成・表示が継続される。そして、ステップ108が否定されるか、又は、ステップ128の判定が肯定された場合にはステップ100に戻り、通常合成画像を生成・表示する状態に戻る。
このように、本実施形態では、第1死角領域80内に物体が存在している場合及び第2死角領域82内に存在している物体が車両50に接近している場合に、死角優先合成画像を生成する。死角優先合成画像は、第1死角領域80内又は第2死角領域82内に存在している物体に対応する画像領域を含む後側方画像を後方画像に重畳した画像であり、表示部18に表示する画像を通常合成画像から死角優先合成画像に切り替える。
これにより、第1死角領域80内又は第2死角領域82内に存在している物体に対応する画像領域が現れた死角優先合成画像が視認されることで、表示画像の視認者に車両周辺の状況、すなわち第1死角領域80内に物体が存在しているか、第2死角領域82内に存在している物体が車両50に接近している状況を認識させることができる。また、表示部18に表示する画像を通常合成画像から死角優先合成画像に切り替えることを、第1死角領域80内に物体が存在している場合及び第2死角領域82内に存在している物体が車両50に接近している場合に行うので、表示部18に表示させる画像を切り替える頻度が低減される。これにより、表示画像の視認者が画像の切り替えに煩雑さを感じたり、車両の周辺の状況を誤認識したりすることを抑制することができる。
なお、上記では、第1死角領域80内又は第2死角領域82内に存在している物体に対応する画像領域が現れた死角優先合成画像を生成することを、後側方画像のうち後方画像に重畳する抽出領域70、74を移動させることで実現する態様を説明したが、これに限定されるものではない。例えば、後側方画像を車両幅方向に圧縮して後方画像に重畳することで、第1死角領域80内又は第2死角領域82内に存在している物体に対応する画像領域が現れた死角優先合成画像を生成するようにしてもよい。
また、上記では第2死角領域82内に存在している物体が車両50に接近している場合に、死角優先合成画像を生成して表示する態様を説明したが、これに限定されるものではない。例えば、第2死角領域82内に物体が存在している場合には、当該物体が車両50に接近しているか否かに拘わらず、死角優先合成画像を生成して表示するようにしてもよい。
10 電子ミラー装置
12 後方カメラ(後方撮影部)
14 左後側方カメラ(後側方撮影部)
16 右後側方カメラ(後側方撮影部)
18 表示部
22 電子ミラーECU(表示制御部、切替部)
50 車両
52 後続車両
54 二輪車
60 撮影範囲
62 撮影範囲
64 撮影範囲
70 抽出領域
74 抽出領域
80 第1死角領域
82 第2死角領域

Claims (5)

  1. 車両の後方を撮影する後方撮影部と、
    前記車両の後側方を撮影する後側方撮影部と、
    前記後方撮影部で撮影された後方画像と前記後側方撮影部で撮影された後側方画像とを合成した第1合成画像を生成し、前記第1合成画像を表示部に表示させる表示制御部と、
    前記後側方撮影部の撮影範囲内でかつ前記第1合成画像上に現れない第1死角領域内に物体が存在している場合、及び、前記車両の後方からの車両の接近によって発生する、前記後側方撮影部の撮影範囲内でかつ前記第1合成画像上に現れない第2死角領域内に物体が存在している場合に、前記物体に対応する画像領域を含む前記後側方画像を前記後方画像に重畳した第2合成画像を生成し、前記表示部に表示させる画像を前記第2合成画像に切り替える切替部と、
    を含む車両用周辺表示装置。
  2. 前記後方撮影部と前記後側方撮影部とは撮影範囲が一部重複しており、
    前記表示制御部は、前記後側方画像のうち仮想投影面上で前記後方画像と重複している領域を削除した上で前記後方画像と合成することで、前記第1合成画像を生成する請求項1記載の車両用周辺表示装置。
  3. 前記切替部は、前記後側方画像のうち前記後方画像に重畳する範囲が前記画像領域を含むように、前記重畳する範囲を移動させるか又は前記後側方画像を車両幅方向に圧縮することで、前記画像領域が現れた前記第2合成画像を生成する請求項1又は請求項2記載の車両用周辺表示装置。
  4. 前記切替部は、前記第2死角領域内に物体が存在している場合に前記第2合成画像を生成して前記表示部に表示させることを、当該物体が前記車両に接近しているときに行う請求項1〜請求項3の何れか1項記載の車両用周辺表示装置。
  5. 前記車両用周辺表示装置は、前記車両に搭載された電子ミラー装置である請求項1〜請求項4の何れか1項記載の車両用周辺表示装置。
JP2018152063A 2018-08-10 2018-08-10 車両用周辺表示装置 Active JP7052632B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018152063A JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置
CN201910549101.7A CN110857057B (zh) 2018-08-10 2019-06-24 车辆用周边显示装置
US16/458,839 US10944918B2 (en) 2018-08-10 2019-07-01 Peripheral display device for a vehicle
DE102019120636.7A DE102019120636A1 (de) 2018-08-10 2019-07-31 Periphere anzeigevorrichtung für ein fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018152063A JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置

Publications (2)

Publication Number Publication Date
JP2020028027A true JP2020028027A (ja) 2020-02-20
JP7052632B2 JP7052632B2 (ja) 2022-04-12

Family

ID=69185919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018152063A Active JP7052632B2 (ja) 2018-08-10 2018-08-10 車両用周辺表示装置

Country Status (4)

Country Link
US (1) US10944918B2 (ja)
JP (1) JP7052632B2 (ja)
CN (1) CN110857057B (ja)
DE (1) DE102019120636A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021190776A (ja) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 車両周辺監視装置
JP2022011193A (ja) * 2020-06-29 2022-01-17 トヨタ自動車株式会社 車両用表示装置
CN114103811A (zh) * 2020-09-01 2022-03-01 丰田自动车株式会社 车辆用周边监视装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
DE102020135098B4 (de) 2020-01-08 2023-07-20 Denso Corporation Fahrzeuganzeigesteuervorrichtung, fahrzeuganzeigesteuersystem und fahrzeuganzeigesteuerverfahren
GB2623296A (en) * 2022-10-05 2024-04-17 Continental Automotive Tech Gmbh System and method for evaluation of the driving of a vehicle

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2007295357A (ja) * 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2008052320A (ja) * 2006-08-22 2008-03-06 Alpine Electronics Inc 周辺監視システム
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
US20150084755A1 (en) * 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
CN102774325B (zh) * 2012-07-31 2014-12-10 西安交通大学 一种后视倒车辅助***和形成后视障碍图像的方法
CN105763854B (zh) * 2016-04-18 2019-01-08 扬州航盛科技有限公司 一种基于单目摄像头的全景成像***及其成像方法
CN109906165A (zh) * 2016-08-10 2019-06-18 兹沃公司 使用推断的注意力模型经由收集和存储的元数据提供信息的方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286873A (ja) * 2006-04-17 2007-11-01 Alpine Electronics Inc 車載周辺他車検出装置
JP2007295357A (ja) * 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2008052320A (ja) * 2006-08-22 2008-03-06 Alpine Electronics Inc 周辺監視システム
JP2009081666A (ja) * 2007-09-26 2009-04-16 Nissan Motor Co Ltd 車両用周辺監視装置および映像表示方法
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
US20150084755A1 (en) * 2013-09-23 2015-03-26 Audi Ag Driver assistance system for displaying surroundings of a vehicle
JP2016097896A (ja) * 2014-11-25 2016-05-30 アイシン精機株式会社 画像表示制御装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021190776A (ja) * 2020-05-27 2021-12-13 トヨタ自動車株式会社 車両周辺監視装置
JP7347330B2 (ja) 2020-05-27 2023-09-20 トヨタ自動車株式会社 車両周辺監視装置
JP2022011193A (ja) * 2020-06-29 2022-01-17 トヨタ自動車株式会社 車両用表示装置
JP7276262B2 (ja) 2020-06-29 2023-05-18 トヨタ自動車株式会社 車両用表示装置
CN114103811A (zh) * 2020-09-01 2022-03-01 丰田自动车株式会社 车辆用周边监视装置
JP2022041547A (ja) * 2020-09-01 2022-03-11 トヨタ自動車株式会社 車両用周辺監視装置
JP7314885B2 (ja) 2020-09-01 2023-07-26 トヨタ自動車株式会社 車両用周辺監視装置
CN114103811B (zh) * 2020-09-01 2023-08-01 丰田自动车株式会社 车辆用周边监视装置

Also Published As

Publication number Publication date
CN110857057A (zh) 2020-03-03
US10944918B2 (en) 2021-03-09
JP7052632B2 (ja) 2022-04-12
US20200053295A1 (en) 2020-02-13
DE102019120636A1 (de) 2020-02-13
CN110857057B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
JP7052632B2 (ja) 車両用周辺表示装置
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5347257B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP2009100095A (ja) 画像処理装置及び画像処理方法
JP2007109166A (ja) 運転支援システム
JP2003219413A (ja) 車両後方モニタシステムおよびモニタ装置
JP4606322B2 (ja) 車両運転支援装置
JP2006311272A (ja) 車両用映像表示装置
JP2016168877A (ja) 車両用視認装置
US20190347490A1 (en) Image display apparatus
WO2019163563A1 (ja) 車両用視認装置
JP5640155B2 (ja) 立体画像撮像装置及びその合焦状態確認用画像表示方法
JP2019110492A (ja) 画像表示装置
JP2007110572A (ja) 複数カメラ画像合成表示装置
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP2021013072A (ja) 画像処理装置および画像処理方法
JP2019034692A (ja) 車両用視認装置
KR101614247B1 (ko) 파노라마 영상의 접합면 표시장치
JP2010130413A (ja) 周辺状況表示装置
JP7347330B2 (ja) 車両周辺監視装置
JP2018074503A (ja) 車両用視認装置及び車両用視認画像表示方法
JP5436056B2 (ja) 障害物検出装置および障害物検出方法
KR101941607B1 (ko) 차량용 촬영 표시 장치 및 기록 매체
WO2019155936A1 (ja) 車両用視認装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R151 Written notification of patent or utility model registration

Ref document number: 7052632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151