JP2019151304A - 周辺監視装置 - Google Patents

周辺監視装置 Download PDF

Info

Publication number
JP2019151304A
JP2019151304A JP2018039889A JP2018039889A JP2019151304A JP 2019151304 A JP2019151304 A JP 2019151304A JP 2018039889 A JP2018039889 A JP 2018039889A JP 2018039889 A JP2018039889 A JP 2018039889A JP 2019151304 A JP2019151304 A JP 2019151304A
Authority
JP
Japan
Prior art keywords
area
unit
determination
range
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018039889A
Other languages
English (en)
Inventor
航 佐藤
Wataru Sato
航 佐藤
宏行 渡邉
Hiroyuki Watanabe
宏行 渡邉
足立　淳
Atsushi Adachi
淳 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2018039889A priority Critical patent/JP2019151304A/ja
Priority to US16/287,397 priority patent/US20190275970A1/en
Priority to CN201910160140.8A priority patent/CN110228468A/zh
Publication of JP2019151304A publication Critical patent/JP2019151304A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】移動体の周辺に死角が存在する場合でも、死角を低減した周辺画像を生成できる周辺監視装置を提供する。【解決手段】周辺監視装置は、移動体の周辺に設定された判定領域内の対象物を判定する判定部と、前記移動体に設けられた複数の撮像部の撮像領域が互いに重なる重複領域において、前記撮像部で撮像された撮像画像を採用する採用領域の範囲を設定し、前記移動体の周辺画像であって、前記採用領域で採用された前記撮像画像を含む前記周辺画像を生成する生成部と、を備え、前記生成部は、前記対象物に応じて、前記採用領域の範囲を変更して前記周辺画像を生成する。【選択図】図３

Description

本発明は、周辺監視装置に関する。
車両等の移動体の外周部に設けられた複数の撮像装置が撮像した複数の撮像画像を繋げて、移動体の周辺の画像を生成する装置が知られている。このような装置は、隣接する撮像装置が撮像した領域が互いに重複している領域では、一方の撮像画像を採用して周辺画像を生成している。
特許第５１０４１７１号公報
しかしながら、上述の装置では、重複している領域の近傍に障害物等の立体形状の対象物が存在する場合、対象物による死角によって対象物の反対側が死角となって他の対象物が見えない周辺画像が生成されるといった課題がある。
本発明は、上記に鑑みてなされたものであって、移動体の周辺に死角が存在する場合でも、死角を低減した周辺画像を生成できる周辺監視装置を提供する。
上述した課題を解決し、目的を達成するために、本発明の周辺監視装置は、移動体の周辺に設定された判定領域内の対象物を判定する判定部と、前記移動体に設けられた複数の撮像部の撮像領域が互いに重なる重複領域において、前記撮像部で撮像された撮像画像を採用する採用領域の範囲を設定し、前記移動体の周辺画像であって、前記採用領域で採用された前記撮像画像を含む前記周辺画像を生成する生成部と、を備え、前記生成部は、前記対象物に応じて、前記採用領域の範囲を変更して前記周辺画像を生成する。
このように、本発明の周辺監視装置は、死角の原因となる対象物が判定領域内に存在するか否かを判定し、当該対象物に応じて重複領域で重複する撮像画像のいずれかを採用するための採用領域の範囲を設定している。これにより、周辺監視装置は、重複領域において死角の少ない撮像画像を採用して、死角を低減した周辺画像を提供できる。
本発明の周辺監視装置において、前記生成部は、前記判定領域内に前記対象物が存在しない場合、前記重複領域内に予め定められた第１採用領域の範囲を設定し、前記判定領域内に前記対象物が存在する場合、前記重複領域内に予め定められた第２採用領域の範囲を設定して、前記周辺画像を生成してもよい。
このように、本発明の周辺監視装置は、対象物の存在の有無によって、予め定められた第１採用領域の範囲または第２採用領域の範囲のいずれかを設定することにより、採用領域の範囲の設定に必要な処理負担を低減しつつ、死角を低減した周辺画像を提供できる。
本発明の周辺監視装置において、前記判定部は、前記判定領域内の前記対象物の位置を算出し、前記生成部は、前記対象物の位置に応じた前記採用領域の範囲を設定して、前記周辺画像を生成してもよい。
このように、本発明の周辺監視装置は、判定領域内の対象物の位置に応じた採用領域の範囲を設定している。これにより、周辺監視装置は、撮像画像のうち、画像の歪みの大きい撮像領域の外縁部近傍の撮像画像を採用することを低減できる。この結果、周辺監視装置は、死角を低減しつつ画質の高い周辺画像を提供できる。
本発明の周辺監視装置において、前記生成部は、前記対象物の位置に基づいて前記重複領域内の死角を算出し、前記死角に応じた前記採用領域の範囲を設定して、前記周辺画像を生成してもよい。
このように、本発明の周辺監視装置は、重複領域内の死角を算出して、死角に応じた採用領域の範囲を重複領域内に設定している。これにより、周辺監視装置は、周辺画像からより適切に死角を低減することができる。
本発明の周辺監視装置において、前記生成部は、前記複数の撮像部のうち一の撮像部の前記死角が前記重複領域内にある場合、前記重複領域内の前記死角に対応する範囲に、前記一の撮像部と隣接する他の撮像部の前記撮像画像を採用する前記採用領域の範囲を設定してもよい。
このように、本発明の周辺監視装置は、重複領域内において一の撮像部の死角の位置では隣接する他の撮像部の撮像画像を採用するように採用領域の範囲を設定するので、複数の死角が１つの重複領域内に生じても、死角を低減した周辺画像を生成することができる。
図１は、実施形態の周辺監視システムが搭載される車両の平面図である。 図２は、実施形態の周辺監視システムの全体構成を示すブロック図である。 図３は、周辺監視装置の機能を説明する機能ブロック図である。 図４は、対象物が存在しない場合の周辺画像の生成を説明する車両の周辺の平面図である。 図５は、対象物が存在する場合の周辺画像の生成を説明する車両の周辺の平面図である。 図６は、処理部が実行する第１実施形態の周辺監視処理のフローチャートである。 図７は、対象物が存在する場合の第２実施形態の採用領域の範囲の設定を説明する平面図である。 図８は、処理部が実行する第２実施形態の周辺監視処理のフローチャートである。 図９は、対象物が存在する場合の第３実施形態における採用領域の範囲の設定を説明する平面図である。 図１０は、処理部が実行する第３実施形態の周辺監視処理のフローチャートである。 図１１は、対象物が存在する場合の第４実施形態における採用領域の範囲の設定を説明する平面図である。 図１２は、第５実施形態の周辺画像の生成方法を説明する仮想空間の側面図である。
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
＜第１実施形態＞
図１は、実施形態の周辺監視システムが搭載される車両１０の平面図である。車両１０は、移動体の一例であって、駆動源を有する。車両１０は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよく、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよく、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１０は、種々の変速装置を搭載してよく、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載してよい。また、車両１０における車輪１３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定してよい。
図１に示すように、車両１０は、車体１１と、複数（本実施形態では４個）の車輪１３と、１または複数（本実施形態では４個）の撮像部１４ａ、１４ｂ、１４ｃ、１４ｄと、１または複数（本実施形態では４個）の測距部１６ａ、１６ｂ、１６ｃ、１６ｄとを備える。撮像部１４ａ、１４ｂ、１４ｃ、１４ｄを区別する必要がない場合、撮像部１４と記載する。測距部１６ａ、１６ｂ、１６ｃ、１６ｄを区別する必要がない場合、測距部１６と記載する。
車体１１は、乗員が乗車する車室を構成する。車体１１は、車輪１３、撮像部１４、お及び、測距部１６等を収容または保持する。
４個の車輪１３は、車両１０の前側の左右及び後側の左右に設けられている。前側の２個の車輪１３は、車両１０の左右の進行方向を変化させる転舵輪として機能する。後側の２個の車輪１３は、例えば、エンジンまたはモータ等の駆動源からの駆動力によって回転する駆動輪として機能する。
撮像部１４は、例えば、ＣＣＤ（Charge Coupled Device）、または、ＣＩＳ（CMOS Image Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１４は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを撮像画像のデータとして出力する。撮像部１４は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮影することができる。撮像部１４の光軸は、斜め下方に向けて設定されている。従って、撮像部１４は、周辺の対象物及び路面を含む車両１０の周辺を撮像した撮像画像のデータを生成する。
複数の撮像部１４のそれぞれは、車体１１の周囲に設けられ、ＭＶＣ（Multi View Camera）として機能する。例えば、撮像部１４ａは、車体１１の前端部の左右方向の中央部（例えば、フロントバンパー）に前方に向けて設けられている。撮像部１４ａは、車両１０の前方の周辺の領域（以下、撮像領域）を撮像した撮像画像を生成する。撮像部１４ｂは、車体１１の後端部の左右方向の中央部（例えば、リアバンパー）に後方に向けて設けられている。撮像部１４ｂは、車両１０の後方の周辺の撮像領域を撮像した撮像画像を生成する。撮像部１４ｃは、車体１１の左端部の前後方向の中央部（例えば、左側のサイドミラー１１ａ）に左方に向けて設けられている。撮像部１４ｃは、車両１０の左方の周辺の撮像領域を撮像した撮像画像を生成する。撮像部１４ｄは、車体１１の右端部の前後方向の中央部（例えば、右側のサイドミラー１１ｂ）に右方に向けて設けられている。撮像部１４ｄは、車両１０の右方の周辺の撮像領域を撮像した撮像画像を生成する。ここで、隣接する撮像部１４が撮像する撮像領域の一部は互いに重複している。以下、重複している領域を重複領域と記載する。
測距部１６は、例えば、超音波等の検出波を出力し、車両１０の周辺に存在する対象物が反射した検出波を捉えるソナーである。測距部１６は、レーザ光等の検出波を出力して捉えるレーザレーダであってもよい。測距部１６は、車両１０の周辺の対象物の方向及び対象物までの距離に関する情報である検出情報を生成して出力する。例えば、測距部１６は、車両１０の周辺の対象物の方向、及び、検出波を送信してから対象物によって反射された検出波を受信するまでの時間であって対象物までの距離を算出するための送受信時間を検出情報として検出する。測距部１６は、車両１０の外周部であって、後述する判定領域内の対象物の検出できる位置に設置されている。例えば、測距部１６ａは、車体１１の左前部に設けられ、車両１０の左前方の判定領域内の対象物の検出情報を生成して出力する。測距部１６ｂは、車体１１の右前部に設けられ、車両１０の右前方の判定領域内の対象物の検出情報を生成して出力する。測距部１６ｃは、車体１１の左後部に設けられ、車両１０の左後方の判定領域内の対象物の検出情報を生成して出力する。測距部１６ｄは、車体１１の右後部に設けられ、車両１０の右後方の判定領域内の対象物の検出情報を生成して出力する。
図２は、実施形態の周辺監視システム２０の全体構成を示すブロック図である。周辺監視システム２０は、車両１０に搭載されて、車両１０の周辺の画像である周辺画像を生成して表示する
図２に示すように、周辺監視システム２０は、撮像部１４と、モニタ装置３２と、周辺監視装置３４と、車内ネットワーク３６とを備える。
撮像部１４は、車両１０の周辺を撮像した撮像画像を周辺監視装置３４へと出力する。
測距部１６は、車内ネットワーク３６を介して、車両１０の周辺の対象物までの方向及び送受信時間を含む検出情報を周辺監視装置３４へ出力する。
モニタ装置３２は、車両１０の車室内のダッシュボード等に設けられている。モニタ装置３２は、表示部４０と、音声出力部４２と、操作入力部４４とを有する。
表示部４０は、周辺監視装置３４が送信した画像データに基づいて、画像を表示する。表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、または、有機ＥＬディプレイ（ＯＥＬＤ：Organic Electroluminescent Display）等の表示装置である。表示部４０は、例えば、駐車時等に周辺画像を表示する。
音声出力部４２は、周辺監視装置３４が送信した音声データに基づいて音声を出力する。音声出力部４２は、例えば、スピーカである。音声出力部４２は、例えば、駐車支援等に関する音声を出力する。
操作入力部４４は、乗員の入力を受け付ける。操作入力部４４は、例えば、タッチパネルである。操作入力部４４は、表示部４０の表示画面に設けられている。操作入力部４４は、表示部４０が表示する画像を透過可能に構成されている。これにより、操作入力部４４は、表示部４０の表示画面に表示される画像を乗員に視認させることができる。操作入力部４４は、表示部４０の表示画面に表示された画像に対応した位置を乗員が触れることによって入力した周辺監視等に関する指示を受け付けて、周辺監視装置３４へ送信する。尚、操作入力部４４は、タッチパネルに限らず、押しボタン式等のハードスイッチであってもよい。
周辺監視装置３４は、ＥＣＵ（Electronic Control Unit）等のマイクロコンピュータを含むコンピュータである。周辺監視装置３４は、複数の撮像部１４が撮像した複数の撮像画像のデータを取得する。周辺監視装置３４は、複数の撮像画像から車両１０の周辺の画像である周辺画像を生成してモニタ装置３２の表示部４０に表示させる。周辺監視装置３４は、運転者への指示、及び、運転者への通知等の画像または音声に関するデータをモニタ装置３２へ送信する。
周辺監視装置３４は、ＣＰＵ（Central Processing Unit）３４ａと、ＲＯＭ（Read Only Memory）３４ｂと、ＲＡＭ（Random Access Memory）３４ｃと、表示制御部３４ｄと、音声制御部３４ｅと、ＳＳＤ（Solid State Drive）３４ｆとを備える。ＣＰＵ３４ａ、ＲＯＭ３４ｂ及びＲＡＭ３４ｃは、同一パッケージ内に集積されていてもよい。
ＣＰＵ３４ａは、ハードウェアプロセッサの一例であって、ＲＯＭ３４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出して、当該プログラムにしたがって各種の演算処理及び制御を実行する。ＣＰＵ３４ａは、例えば、周辺画像を生成する周辺監視処理を実行する。
ＲＯＭ３４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ３４ｃは、ＣＰＵ３４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部３４ｄは、周辺監視装置３４での演算処理のうち、主として、撮像部１４で得られた画像の画像処理、表示部４０に表示させる表示用の画像のデータ変換等を実行する。音声制御部３４ｅは、周辺監視装置３４での演算処理のうち、主として、音声出力部４２に出力させる音声の処理を実行する。ＳＳＤ３４ｆは、書き換え可能な不揮発性の記憶装置であって、周辺監視装置３４の電源がオフされた場合にあってもデータを維持する。
車内ネットワーク３６は、測距部１６と、モニタ装置３２の操作入力部４４と、周辺監視装置３４とを互いに情報を送受信可能に接続する。
図３は、周辺監視装置３４の機能を説明する機能ブロック図である。図３に示すように、周辺監視装置３４は、処理部４６と、記憶部４８とを有する。
処理部４６は、ＣＰＵ３４ａ及び表示制御部３４ｄの機能として実現される。処理部４６は、判定部５０と、生成部５２として機能する。処理部４６は、例えば、記憶部４８に格納された周辺監視プログラム５４を読み込むことによって、判定部５０及び生成部５２として機能する。判定部５０及び生成部５２の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等の回路によって構成してもよい。
判定部５０は、車両１０の周辺に判定領域内の対象物を判定する。具体的には、判定部５０は、対象物によって重複領域内に死角が生じるか否かを判定可能な領域を判定領域として設定する。判定部５０は、例えば、各撮像部１４の撮像領域が互いに重なる重複領域、及び、重複領域と撮像部１４との間の領域を含む判定領域を設定する。車両１０に対する重複領域及び判定領域の位置は、予め記憶部４８に重複領域情報及び判定領域情報として格納されていてよい。判定部５０は、測距部１６から取得した検出情報に基づいて、車両１０の周辺の立体形状の対象物までの距離を算出する。判定部５０は、検出情報が示す対象物の方向及び算出した距離に基づいて、対象物の位置を特定する。判定部５０は、当該対象物が判定領域内に存在するか否かを判定する。判定部５０は、対象物が判定領域内に存在すると判定すると、判定領域内に対象物が存在する旨及び対象物が存在する判定領域を特定するための識別情報を含む判定情報を生成部５２へ出力する。
生成部５２は、複数の撮像部１４のそれぞれから取得した複数の撮像画像によって、車両１０の周辺の画像である周辺画像を生成して、表示部４０に表示させる。尚、ここでいう複数の撮像画像は、撮像部１４が撮像した画像と、撮像した画像を歪みを除去する処理及びマッピングデータによって視点変換等の画像処理を実行した処理画像を含む。周辺画像は、例えば、車両１０の上方に設定された仮想視点から車両１０の周辺を見た俯瞰画像であってよい。生成部５２は、車両１０の周辺の全周（即ち、３６０°）を含む周辺画像を生成してもよく、車両１０の周辺の一部の周辺画像を生成してもよい。ここで、複数の撮像部１４のうち隣接する撮像部１４の撮像領域は、互いに重なる重複領域を含む。生成部５２は、周辺画像を生成する際に、重複領域内の一方の撮像画像を採用するための採用領域の範囲を互いに重複しないように設定する。生成部５２は、設定した採用領域の範囲内の撮像画像を含む複数の撮像画像によって周辺画像を生成する。
ここで、生成部５２は、対象物の存在を判定した判定部５０から取得した判定情報が示す対象物に応じて、採用領域の範囲を変更して、周辺画像を生成する。例えば、生成部５２は、対象物が判定領域内に存在しない場合、重複領域内に第１採用領域の範囲を設定し、対象物が判定領域内に存在する場合、重複領域内に第２採用領域の範囲を設定する。第１採用領域の範囲及び第２採用領域の範囲は、予め定められた採用領域情報として記憶部４８に格納されていてよい。
記憶部４８は、ＲＯＭ３４ｂ、ＲＡＭ３４ｃ、及び、ＳＳＤ３４ｆの機能として実現される。記憶部４８は、ネットワーク等を介して接続された外部の記憶装置であってもよい。記憶部４８は、処理部４６が実行するプログラム、プログラムの実行に必要なデータ、及び、プログラムの実行によって生成されたデータ等を記憶する。例えば、記憶部４８は、処理部４６が実行する周辺監視プログラム５４を記憶する。周辺監視プログラム５４は、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）またはＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータにより読み取り可能な記憶媒体に記憶されて提供されてもよく、インターネット等のネットワークを介して提供されてもよい。記憶部４８は、周辺監視プログラム５４の実行に必要な重複領域情報及び採用領域情報等を含む数値データ５６として記憶する。記憶部４８は、周辺監視プログラム５４の実行によって生成された周辺画像、判定部５０の判定情報等の情報を一時的に記憶する。
図４は、対象物が存在しない場合の周辺画像の生成を説明する車両１０の周辺の平面図である。図４における外枠は、周辺画像として生成される範囲である。以下の説明において、撮像領域、重複領域、判定領域、採用領域、境界線のそれぞれを区別する必要がない場合、撮像領域ＰＡ、重複領域ＯＡ、判定領域ＪＡ、採用領域ＥＡ、判定境界線ＪＬ、境界線ＢＬ、採用境界線ＥＬ等のように符号の一部を省略して記載する。
各撮像部１４の撮像領域について説明する。
撮像部１４ａは、一点鎖線で示す境界線ＢＬａよりも前方の撮像領域ＰＡａ内を撮像する。撮像部１４ｂは、一点鎖線で示す境界線ＢＬｂよりも後方の撮像領域ＰＡｂ内を撮像する。撮像部１４ｃは、一点鎖線で示す境界線ＢＬｃよりも左方の撮像領域ＰＡｃ内を撮像する。撮像部１４ｄは、一点鎖線で示す境界線ＢＬｄよりも右方の撮像領域ＰＡｄ内を撮像する。
撮像領域ＰＡａと撮像領域ＰＡｃは、ドットハッチングで示すように車両１０の左前方に互いに重なる重複領域ＯＡ１を含む。撮像領域ＰＡａと撮像領域ＰＡｄは、ドットハッチングで示すように車両１０の右前方に互いに重なる重複領域ＯＡ２を含む。撮像領域ＰＡｂと撮像領域ＰＡｃは、ドットハッチングで示すように車両１０の左後方に互いに重なる重複領域ＯＡ３を含む。撮像領域ＰＡｂと撮像領域ＰＡｄは、ドットハッチングで示すように車両１０の右後方に互いに重なる重複領域ＯＡ４を含む。
次に、判定領域について説明する。
判定部５０は、立体形状の対象物によって撮像部１４ａに死角が生じるか否かを判定するための判定領域ＪＡａ１、ＪＡａ２を、破線で示す判定境界線ＪＬａ１と撮像部１４ａよりも左側の境界線ＢＬａとの間の領域、及び、破線で示す判定境界線ＪＬａ２と撮像部１４ａよりも右側の境界線ＢＬａとの間の領域に設定する。判定境界線ＪＬａ１、ＪＬａ２は、予め定められた条件に基づいて設定された境界線であってよい。判定部５０は、例えば、判定境界線ＪＬａ１、ＪＬａ２の一端は撮像部１４ａであって、他端は前側の境界線ＢＬｃ、ＢＬｄと周辺画像の範囲の外枠とが交差する位置に設定してよい。従って、判定部５０は、拡大または縮小によって周辺画像の範囲が変更されると、判定領域ＪＡａ１、ＪＡａ２を変更してよい。
判定部５０は、撮像部１４ｂに死角が生じるか否かを判定するための判定領域ＪＡｂ１、ＪＡｂ２を、破線で示す判定境界線ＪＬｂ１と撮像部１４ｂよりも左側の境界線ＢＬｂとの間の領域、及び、破線で示す判定境界線ＪＬｂ２と撮像部１４ｂよりも右側の境界線ＢＬｂとの間の領域に設定する。判定境界線ＪＬｂ１、ＪＬｂ２は、予め定められた条件に基づいて設定された境界線であってよい。判定部５０は、例えば、判定境界線ＪＬｂ１、ＪＬｂ２の一端は撮像部１４ｂであって、他端は後側の境界線ＢＬｃ、ＢＬｄと周辺画像の範囲の外枠とが交差する位置に設定してよい。従って、判定部５０は、拡大または縮小によって周辺画像の範囲が変更されると、判定領域ＪＡｂ１、ＪＡｂ２を変更してよい。
判定部５０は、撮像部１４ｃに死角が生じるか否かを判定するための判定領域ＪＡｃ１、ＪＡｃ２を、破線で示す判定境界線ＪＬｃ１と撮像部１４ｃよりも前側の境界線ＢＬｃとの間の領域、及び、破線で示す判定境界線ＪＬｃ２と撮像部１４ｃよりも後側の境界線ＢＬｃとの間の領域に設定する。判定境界線ＪＬｃ１、ＪＬｃ２は、予め定められた条件に基づいて設定された境界線であってよい。判定部５０は、例えば、判定境界線ＪＬｃ１、ＪＬｃ２の一端は撮像部１４ｃであって、他端は左側の境界線ＢＬａ、ＢＬｂと周辺画像の範囲の外枠とが交差する位置に設定してよい。従って、判定部５０は、拡大または縮小によって周辺画像の範囲が変更されると、判定領域ＪＡｃ１、ＪＡｃ２を変更してよい。
判定部５０は、撮像部１４ｄに死角が生じるか否かを判定するための判定領域ＪＡｄ１、ＪＡｄ２を、破線で示す判定境界線ＪＬｄ１と撮像部１４ｄよりも前側の境界線ＢＬｄとの間の領域、及び、破線で示す判定境界線ＪＬｄ２と撮像部１４ｄよりも後側の境界線ＢＬｄとの間の領域に設定する。判定境界線ＪＬｄ１、ＪＬｄ２は、予め定められた条件に基づいて設定された境界線であってよい。判定部５０は、例えば、判定境界線ＪＬｄ１、ＪＬｄ２の一端は撮像部１４ｄであって、他端は右側の境界線ＢＬａ、ＢＬｂと周辺画像の範囲の外枠とが交差する位置に設定してよい。従って、判定部５０は、拡大または縮小によって周辺画像の範囲が変更されると、判定領域ＪＡｄ１、ＪＡｄ２を変更してよい。
換言すれば、判定部５０は、一端を一方の撮像部１４とし他端を重複領域ＯＡを共有する他方の撮像部１４の境界線ＢＬが周辺画像の外枠と交差する位置とする判定境界線ＪＬと、一方の撮像部１４の撮像領域ＰＡの境界線ＢＬとの間の領域に、各撮像部１４の２つの判定領域ＪＡを設定する。
次に、判定領域ＪＡａ１、・・・、ＪＡｄ２内に対象物が存在しない場合の予め定められた第１採用領域の範囲について説明する。
重複領域ＯＡ１のうち、破線で示す採用境界線ＥＬａｃよりも撮像領域ＰＡａの中心線側（即ち、撮像部１４ａの光軸側）が、撮像部１４ａの撮像画像を採用する第１採用領域ＥＡａ１の範囲である。重複領域ＯＡ１のうち、破線で示す採用境界線ＥＬａｃよりも撮像領域ＰＡｃの中心線側（即ち、撮像部１４ｃの光軸側）が、撮像部１４ｃの撮像画像を採用する第１採用領域ＥＡｃ１の範囲である。採用境界線ＥＬａｃは、例えば、重複領域ＯＡ１を囲む境界線ＢＬａ、ＢＬｃの重複領域ＯＡ１側の交差角を二等分した方向であって、境界線ＢＬａ、ＢＬｃの交点を通過する線であってよい。
重複領域ＯＡ２のうち、破線で示す採用境界線ＥＬａｄよりも撮像領域ＰＡａの中心線側が、撮像部１４ａの撮像画像を採用する第１採用領域ＥＡａ２の範囲である。重複領域ＯＡ２のうち、破線で示す採用境界線ＥＬａｄよりも撮像領域ＰＡｄの中心線側（即ち、撮像部１４ｄの光軸側）が、撮像部１４ｄの撮像画像を採用する第１採用領域ＥＡｄ１の範囲である。採用境界線ＥＬａｄは、例えば、重複領域ＯＡ２を囲む境界線ＢＬａ、ＢＬｄの重複領域ＯＡ２側の交差角を二等分した方向であって、境界線ＢＬａ、ＢＬｄの交点を通過する線であってよい。
重複領域ＯＡ３のうち、破線で示す採用境界線ＥＬｂｃよりも撮像領域ＰＡｂの中心線側（即ち、撮像部１４ｂの光軸側）が、撮像部１４ｂの撮像画像を採用する第１採用領域ＥＡｂ１の範囲である。重複領域ＯＡ３のうち、破線で示す採用境界線ＥＬｂｃよりも撮像領域ＰＡｃの中心線側が、撮像部１４ｃの撮像画像を採用する第１採用領域ＥＡｃ２の範囲である。採用境界線ＥＬｂｃは、例えば、重複領域ＯＡ３を囲む境界線ＢＬｂ、ＢＬｃの重複領域ＯＡ３側の交差角を二等分した方向であって、境界線ＢＬｂ、ＢＬｃの交点を通過する線であってよい。
重複領域ＯＡ４のうち、破線で示す採用境界線ＥＬｂｄよりも撮像領域ＰＡｂの中心線側が、撮像部１４ｂの撮像画像を採用する第１採用領域ＥＡｂ２の範囲である。重複領域ＯＡ４のうち、破線で示す採用境界線ＥＬｂｄよりも撮像領域ＰＡｄの中心線側が、撮像部１４ｄの撮像画像を採用する第１採用領域ＥＡｄ２の範囲である。採用境界線ＥＬｂｄは、例えば、重複領域ＯＡ４を囲む境界線ＢＬｂ、ＢＬｄの重複領域ＯＡ４側の交差角を二等分した方向であって、境界線ＢＬｂ、ＢＬｄの交点を通過する線であってよい。
換言すれば、重複領域ＯＡのうち、重複領域ＯＡ側の交差角を二等分した方向であって、重複領域ＯＡの境界線ＢＬの交点を通過する採用境界線ＥＬの一方の撮像部１４側の領域が一方の撮像部１４の第１採用領域ＥＡの範囲となり、採用境界線ＥＬの他方の撮像部１４側の領域が他方の撮像部１４の第１採用領域ＥＡの範囲となる。
生成部５２は、判定領域ＪＡａ１、・・・、ＪＡｄ２内に対象物が存在しない場合、上述の第１採用領域ＥＡａ１、・・・、ＥＡｄ２の範囲内を撮像した撮像画像を採用して周辺画像を生成する。従って、生成部５２は、撮像部１４ａが第１採用領域ＥＡａ１、ＥＡａ２の範囲内を撮像した撮像画像を重複領域ＯＡ１以外の撮像画像とともに採用する。生成部５２は、撮像部１４ｂが第１採用領域ＥＡｂ１、ＥＡｂ２の範囲内を撮像した撮像画像を重複領域ＯＡ２以外の撮像画像とともに採用する。生成部５２は、撮像部１４ｃが第１採用領域ＥＡｃ１、ＥＡｃ２の範囲内を撮像した撮像画像を重複領域ＯＡ３以外の撮像画像とともに採用する。生成部５２は、撮像部１４ｄが第１採用領域ＥＡｄ１、ＥＡｄ２の範囲内を撮像した撮像画像を重複領域ＯＡ４以外の撮像画像とともに採用する。生成部５２は、上述の採用した撮像画像を各採用境界線ＥＬａｃ、ＥＬａｄ、ＥＬｂｃ、ＥＬｂｄで繋ぐように合成して周辺画像を生成する。換言すれば、生成部５２は、撮像部１４ａが第１採用領域ＥＡｃ１、ＥＡｄ１の範囲内を撮像した撮像画像を周辺画像に採用しない。生成部５２は、撮像部１４ｂが第１採用領域ＥＡｃ２、ＥＡｄ２の範囲内を撮像した撮像画像を周辺画像に採用しない。生成部５２は、撮像部１４ｃが第１採用領域ＥＡａ１、ＥＡｂ１の範囲内を撮像した撮像画像を周辺画像に採用しない。生成部５２は、撮像部１４ｄが第１採用領域ＥＡａ２、ＥＡｂ２の範囲内を撮像した撮像画像を周辺画像に採用しない。
図５は、対象物が存在する場合の周辺画像の生成を説明する車両１０の周辺の平面図である。尚、図５において、説明に不要な符号を一部省略する。
図５に示す状況において、判定部５０は、判定領域ＪＡｃ１内に立体形状の対象物ＯＢが存在すると判定する。対象物ＯＢは、例えば、路面から鉛直方向に延びる電柱等である。判定部５０は、判定情報として、対象物ＯＢが存在する旨及び対象物ＯＢが存在する判定領域ＪＡｃ１を識別する情報を含む判定情報を生成部５２へ出力する。尚、判定領域ＪＡｃ１に内に対象物ＯＢが存在すると、当該判定領域ＪＡｃ１に含まれる撮像部１４ｃの重複領域ＯＡ１内に死角が生じる。従って、対応する撮像部１４ｃは死角内の人物Ｐｓ等の物体を撮像することができない。一方、重複領域ＯＡ１を共有する撮像部１４ａは、死角がないので、人物Ｐｓを撮像することができる。
生成部５２は、判定部５０から判定情報を取得すると、採用領域の範囲を第１採用領域ＥＡａ１、ＥＡｃ１の範囲から第２採用領域ＥＡａ１２の範囲へと変更する。例えば、生成部５２は、死角が生じる重複領域ＯＡ１において、撮像部１４ａの撮像画像を採用する採用領域の範囲を増加させて、撮像部１４ｃの撮像画像を採用する採用領域の範囲を減少させる。具体的には、生成部５２は、撮像部１４ａの撮像画像を採用する第２採用領域ＥＡａ１２の範囲を重複領域ＯＡ１の全体に広げ、撮像部１４ｃの撮像画像を採用する領域をなくす。
生成部５２は、当該採用領域ＥＡの範囲に従って、周辺画像を生成する。尚、対象物ＯＢが判定領域ＪＡに存在せず、死角が生じない重複領域ＯＡにおいては、生成部５２は、第１採用領域ＥＡの範囲内の撮像画像を採用して、周辺画像を生成する。
図６は、処理部４６が実行する第１実施形態の周辺監視処理のフローチャートである。処理部４６は、周辺監視プログラム５４を読み込むことによって、周辺監視処理を実行する。
図６に示すように、周辺監視処理では、判定部５０が、各測距部１６から検出情報を取得する（Ｓ１０２）。生成部５２は、各撮像部１４から撮像画像を取得する（Ｓ１０４）。
判定部５０は、取得した検出情報に基づいて、いずれかの判定領域ＪＡ内に対象物ＯＢが存在するか否かを判定する（Ｓ１０６）。判定部５０は、判定領域ＪＡ内に対象物ＯＢが存在すると判定すると（Ｓ１０６：Ｙｅｓ）、判定領域ＪＡに対象物ＯＢが存在する旨及び判定領域ＪＡの識別情報を含む判定情報を生成部５２へ出力する（Ｓ１０８）。判定部５０は、判定領域ＪＡに対象物ＯＢが存在しないと判定した場合（Ｓ１０６：Ｎｏ）、判定情報を出力しない。
生成部５２は、各重複領域ＯＡ内に採用領域ＥＡの範囲を設定する（Ｓ１１０）。例えば、生成部５２は、判定情報を取得していない場合、重複領域ＯＡを二等分した第１採用領域ＥＡの範囲を各重複領域ＯＡ内に設定する。一方、生成部５２は、対象物ＯＢが判定領域ＪＡ内に存在する旨の判定情報を取得している場合、対象物ＯＢが存在する判定領域に含まれる重複領域ＯＡ内に第２採用領域ＥＡの範囲を設定する。具体的には、生成部５２は、判定領域ＪＡ内に対象物ＯＢを含まない撮像部１４の撮像画像を採用する第２採用領域ＥＡの範囲を当該重複領域ＯＡ内の全体に設定する。
生成部５２は、設定した採用領域ＥＡの範囲に基づいて、周辺画像を生成する（Ｓ１１２）。具体的には、生成部５２は、重複領域ＯＡ内では採用領域ＥＡの範囲の撮像画像を採用し、重複領域ＯＡ以外では存在する一の撮像画像を採用し、採用した撮像画像を合成して繋げて、周辺画像を生成する。生成部５２は、生成した周辺画像を表示部４０に出力して表示させる（Ｓ１１４）。
上述したように、第１実施形態の周辺監視装置３４では、死角の原因となる対象物ＯＢが判定領域ＪＡ内に存在するか否かを判定し、当該対象物ＯＢに応じて重複領域ＯＡで重複する撮像画像のいずれかを採用するための採用領域ＥＡの範囲を設定している。これにより、周辺監視装置３４は、重複領域ＯＡにおいて死角の少ない撮像画像を採用して、死角を低減した周辺画像を提供できる。
周辺監視装置３４は、対象物ＯＢが判定領域ＪＡ内に存在しない場合に予め定められた第１採用領域ＥＡの範囲を重複領域ＯＡ内に設定し、対象物ＯＢが判定領域ＪＡ内に存在する場合に予め定められた第２採用領域ＥＡの範囲を設定している。このように、周辺監視装置３４は、予め定められた第１採用領域ＥＡの範囲または第２採用領域ＥＡの範囲のいずれかを設定することにより、採用領域ＥＡの範囲の設定に必要な処理負担を低減しつつ、死角を低減した周辺画像を提供できる。
＜第２実施形態＞
第２実施形態の周辺監視装置３４は、判定領域ＪＡ内の対象物ＯＢの位置に応じて採用領域ＥＡの範囲を設定する。以下、具体的に第２実施形態の周辺監視装置３４の構成について説明する。第２実施形態の各構成は、第１実施形態の各構成と機能以外は同様のため、同じ符号を使用して説明する。図７は、対象物が存在する場合の第２実施形態の採用領域ＥＡの範囲の設定を説明する平面図である。
判定部５０は、検出情報を測距部１６から取得する。判定部５０は、検出情報が示す送受信時間に基づいて、対象物ＯＢまでの距離を算出する。判定部５０は、検出情報が示す対象物ＯＢの方向及び算出した距離に基づいて、対象物ＯＢの位置を算出する。例えば、判定部５０は、対象物ＯＢの外形の位置を算出して、対象物ＯＢの位置とともに形状を特定してよい。判定部５０は、対象物ＯＢの外形の位置を生成部５２へ出力する。
生成部５２は、対象物ＯＢが判定領域ＪＡ内に存在せず、判定情報を取得しない場合、第１実施形態の第１採用領域の範囲と同様の採用領域の範囲を設定する。
生成部５２は、対象物ＯＢが判定領域ＪＡ内に存在し、対象物ＯＢの位置を示す判定情報を取得すると、対象物ＯＢの位置に応じた採用領域ＥＡの範囲を設定して、周辺画像を生成する。具体的には、生成部５２は、撮像部１４を通り対象物ＯＢの外形に接し死角の境界となる線（以下、接線Ｔｇ）のうち、撮像領域ＰＡｃの中心線側（即ち、撮像部１４ｃの光軸側）の接線Ｔｇを採用領域ＥＡの採用境界線ＥＬａｃ２として算出する。ここでいう接線Ｔｇは、図７に二点鎖線で示すように、平面視において、対象物ＯＢが存在する判定領域ＪＡの撮像部１４を通り、対象物ＯＢの外形と一点で接し対象物ＯＢの外形と交差しない線のことである。生成部５２は、算出した採用境界線ＥＬａｃ２によって、死角が存在する重複領域ＯＡ１内の採用領域ＥＡの範囲を設定する。具体的には、生成部５２は、採用境界線ＥＬａｃ２から死角を有さない撮像部１４ａ側を、撮像部１４ａの撮像画像を採用する採用領域ＥＡａ１２の範囲とし、採用境界線ＥＬａｃ２から死角を有する撮像部１４ｃ側を、撮像部１４ｃの撮像画像を採用する採用領域ＥＡｃ１２の範囲とする。これにより、生成部５２は、対象物ＯＢによって撮像部１４ｃに死角が形成される領域は撮像部１４ａの撮像画像を採用する。
図８は、処理部４６が実行する第２実施形態の周辺監視処理のフローチャートである。第１実施形態と同様のステップに関しては、説明を簡略化する。
図８に示すように、第２実施形態の周辺監視処理では、判定部５０は、検出情報を取得する（Ｓ１０２）。生成部５２は、撮像画像を取得する（Ｓ１０４）。判定部５０は、判定領域ＪＡ内に対象物ＯＢが存在するか否かを判定する（Ｓ１０６）。判定部５０は、判定領域ＪＡ内に対象物ＯＢが存在すると判定すると（Ｓ１０６：Ｙｅｓ）、対象物ＯＢが存在する旨及び対象物ＯＢの位置を示す判定情報を出力する（Ｓ１０８）。
生成部５２は、判定部５０から取得した判定情報が示す対象物ＯＢの位置に基づいて、採用領域ＥＡの範囲を設定するための採用境界線ＥＬを設定する（Ｓ２２０）。具体的には、生成部５２は、判定領域ＪＡ内に対象物ＯＢが存在する撮像部１４を通り対象物ＯＢの外形と接する接線Ｔｇのうち、当該撮像部１４の撮像領域ＰＡの中心線側の接線Ｔｇを採用境界線ＥＬとして設定する。
生成部５２は、採用領域ＥＡの範囲を設定する（Ｓ２２２）。具体的には、生成部５２は、判定領域ＪＡ内に対象物ＯＢが存在しない重複領域ＯＡにおいては、第１実施形態の第１採用領域ＥＡの範囲と同様に、各重複領域ＯＡを二等分するように採用領域ＥＡの範囲を設定する。一方、生成部５２は、判定領域ＪＡ内に存在する対象物ＯＢによって死角が形成される重複領域ＯＡにおいては、採用境界線ＥＬから死角が形成される撮像部１４の撮像領域ＰＡの中心線側を当該撮像部１４の採用領域ＥＡの範囲として設定し、採用境界線ＥＬから死角が形成されていない撮像部１４の撮像領域ＰＡの中心線側を当該撮像部１４の採用領域ＥＡの範囲として設定する。
生成部５２は、設定した採用領域ＥＡの範囲に基づいて周辺画像を生成する（Ｓ１１２）。生成部５２は、生成した周辺画像を表示部４０に表示させる（Ｓ１１４）。
上述したように第２実施形態の周辺監視装置３４は、判定領域ＪＡ内の対象物ＯＢの位置に応じた採用領域ＥＡの範囲を設定している。これにより、周辺監視装置３４は、撮像画像のうち、画像の歪みの大きい撮像領域ＰＡの外縁部近傍の撮像画像を採用することを低減できる。この結果、周辺監視装置３４は、死角を低減しつつ画質の高い周辺画像を提供できる。
＜第３実施形態＞
第３実施形態の周辺監視装置３４は、撮像部１４の死角を算出して、採用領域ＥＡの範囲を設定する。以下、具体的に第３実施形態の周辺監視装置３４の構成について説明する。第３実施形態の各構成は、第１実施形態の各構成と機能以外は同様のため、同じ符号を使用して説明する。図９は、対象物が存在する場合の第３実施形態における採用領域の範囲の設定を説明する平面図である。
判定部５０は、判定領域ＪＡ内に対象物ＯＢが存在すると判定すると、第２実施形態と同様に対象物ＯＢの位置を算出して、対象物ＯＢが存在する旨及び対象物ＯＢの位置を示す判定情報を生成して、生成部５２へ出力する。ここでいう対象物ＯＢの位置は、外形の各個所の位置であってよい。
生成部５２は、対象物ＯＢの位置に基づいて重複領域ＯＡ内の死角を算出し、死角に応じた採用領域ＥＡの範囲を設定して、周辺画像を生成する。具体的には、生成部５２は、撮像部１４を通り対象物ＯＢの外形に接し死角の境界となる２本の接線Ｔｇを算出する。生成部５２は、２本の接線Ｔｇで囲まれる領域のうち、撮像部１４から見て対象物ＯＢよりも遠方の領域を死角として算出する。生成部５２は、算出した死角に基づいて、死角が形成される重複領域ＯＡ内に死角を含まないように各採用領域ＥＡの範囲を設定する。図９に示す例では、生成部５２は、死角が形成される撮像部１４ｃの重複領域ＯＡ１のうち死角よりも撮像領域ＰＡｃの中心軸側を当該撮像部１４ｃの採用領域ＥＡｃ１２の範囲として設定し、重複領域ＯＡ１のうち死角よりも撮像領域ＰＡａの中心軸側及び死角を死角が形成されていない撮像部１４ａの採用領域ＥＡａ１２の範囲として設定する。
図１０は、処理部４６が実行する第３実施形態の周辺監視処理のフローチャートである。上述の実施形態と同様のステップに関しては、説明を簡略化する。
図１０に示すように、第３実施形態の周辺監視処理では、判定部５０及び生成部５２がステップＳ１０２からステップＳ１０８まで実行する。
生成部５２は、判定情報に基づいて死角を算出する（Ｓ３３０）。具体的には、生成部５２は、対象物ＯＢの外形に接する２本の接線Ｔｇを算出し、２本の接線Ｔｇに囲まれた領域のうち、対象物ＯＢよりも遠方を死角として算出する。
生成部５２は、採用領域ＥＡの範囲を設定する（Ｓ３３２）。具体的には、生成部５２は、判定領域ＪＡ内に対象物ＯＢが存在しない重複領域ＯＡにおいては、第１実施形態の第１採用領域ＥＡの範囲と同様に、各重複領域ＯＡを二等分するように採用領域ＥＡの範囲を設定する。一方、生成部５２は、判定領域ＪＡ内に存在する対象物ＯＢによって死角が形成される重複領域ＯＡにおいては、重複領域ＯＡのうち死角を含まないように判定領域ＪＡを設定する。例えば、生成部５２は、死角が形成される一方の撮像部１４の重複領域ＯＡのうち、死角よりも一方の撮像部１４の撮像領域ＰＡの中心軸側を一方の撮像部１４の採用領域ＥＡの範囲とし、残りの重複領域ＯＡを死角が形成されていない他方の撮像部１４の採用領域ＥＡの範囲とする。
生成部５２は、設定した採用領域ＥＡの範囲に基づいて周辺画像を生成する（Ｓ１１２）。生成部５２は、生成した周辺画像を表示部４０に表示させる（Ｓ１１４）。
上述したように、第３実施形態の周辺監視装置３４は、重複領域ＯＡ内の死角を算出して、死角に応じた採用領域ＥＡの範囲を重複領域ＯＡ内に設定している。これにより、周辺監視装置３４は、周辺画像からより適切に死角を低減することができる。
＜第４実施形態＞
第４実施形態の周辺監視装置３４は、一の重複領域ＯＡに複数の死角が形成された場合、当該死角に応じた採用領域ＥＡの範囲を設定する。以下、具体的に第４実施形態の周辺監視装置３４の構成について説明する。第４実施形態の各構成は、第１実施形態の各構成と機能以外は同様のため、同じ符号を使用して説明する。図１１は、対象物が存在する場合の第４実施形態における採用領域の範囲の設定を説明する平面図である。
判定部５０は、判定領域ＪＡ内に複数の対象物ＯＢ１、ＯＢ２が存在すると判定すると、第２実施形態と同様に各対象物ＯＢ１、ＯＢ２の位置を算出して、対象物ＯＢ１、ＯＢ２が存在する旨及び各対象物ＯＢ１、ＯＢ２の位置を示す判定情報を生成して、生成部５２へ出力する。
生成部５２は、対象物ＯＢ１、ＯＢ２の位置を取得すると、撮像部１４を通り各対象物ＯＢ１、ＯＢ２の外形に接し死角の境界となる２本の接線Ｔｇを各対象物ＯＢ１、ＯＢ２に対して算出する。生成部５２は、２本の接線Ｔｇで囲まれる領域のうち、撮像部１４から見て対象物ＯＢ１、ＯＢ２よりも遠方の領域を死角として算出する。生成部５２は、算出した死角に基づいて、死角が形成される重複領域ＯＡ内に死角を含まないように各採用領域ＥＡの範囲を設定する。具体的には、生成部５２は、複数の撮像部１４のうち、一の撮像部１４及び一の撮像部１４と隣接する他の撮像部１４との重複領域ＯＡ内に一の撮像部１４の死角がある場合、当該重複領域ＯＡ内の死角に対応する範囲において、一の撮像部１４と隣接する他の撮像部１４の撮像画像を採用する採用領域ＥＡの範囲を設定する。図１１に示すように、撮像部１４ａと撮像部１４ｃとの重複領域ＯＡ１内に死角がある場合、生成部５２は、撮像部１４ａの死角に対応する範囲においては、隣接する撮像部１４ｃの撮像画像を採用する採用領域ＥＡｃ１２の範囲を設定し、撮像部１４ｃの死角に対応する範囲においては、隣接する撮像部１４ａの撮像画像を採用する採用領域ＥＡａ１２の範囲を設定する。例えば、生成部５２は、第１実施形態における１つの重複領域ＯＡ内の第１採用領域ＥＡの範囲を入れ替えて、採用領域ＥＡの範囲を設定してもよい。
第４実施形態の周辺監視処理の流れは第３実施形態と同様のため説明を省略する。
上述したように第４実施形態の周辺監視装置３４では、生成部５２が重複領域ＯＡ内の一の撮像部１４の死角の位置では隣接する他の撮像部１４の撮像画像を採用するように採用領域ＥＡの範囲を設定するので、複数の死角が１つの重複領域ＯＡ内に生じても、死角を低減した周辺画像を生成することができる。
＜第５実施形態＞
次に、周辺画像の生成の他の方法である第５実施形態について説明する。図１２は、第５実施形態の周辺画像の生成方法を説明する仮想空間の側面図である。
生成部５２は、図１２に示すような仮想空間上の椀形状の仮想投影面９０に撮像画像を投影して、車両１０の情報の仮想視点から見た俯瞰画像を周辺画像として生成してよい。尚、仮想投影面９０は、中央部の平面９０ａと、平面９０ａの周辺を囲み上方ほど広がる曲面９０ｂとを有する。椀形状の仮想投影面９０に投影された対象物ＯＢは引き伸ばされて周辺画像に表示されるので、死角が大きくなるが、生成部５２は、上述の実施形態の処理によって死角を低減することができる。
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
例えば、上述の撮像部１４の個数及び配置は適宜変更してよい。また、撮像部１４の水平方向の画角は、適宜変更してよい。
上述の実施形態では、判定部５０は、測距部１６から取得した検出情報に基づいて対象物ＯＢの存在の判定し、対象物ＯＢの位置を算出したが、対象物ＯＢの存在の判定方法及び位置の算出方法はこれに限定されない。例えば、判定部５０は、撮像画像に基づいて、対象物ＯＢの存在を判定し、対象物ＯＢの位置を算出してもよい。この場合、生成部５２は、撮像画像内に写った対象物ＯＢが周辺画像に写らないように採用領域の範囲を設定して、周辺画像を生成してよい。換言すれば、生成部５２は、対象物ＯＢが写っていない撮像画像を採用して周辺画像を生成する。
上述の実施形態を組み合わせる場合、処理部４６は、運転手を含む乗員からのモードに応じて設定を切り替えてもよい。例えば、処理部４６は、乗員から第１モードの設定を受け付けると、第１実施形態の設定によって周辺画像を生成してよく、乗員から第２モードの設定を受け付けると、第２実施形態または第３実施形態の設定によって周辺画像を生成してもよい。
上述の実施形態では、移動体の例として四輪の車両１０を挙げて説明したが、移動体は車両１０に限定されない。移動体は、駆動源を有する装置であればよく、例えば、二輪以上の車両、船舶及び飛行機等であってもよい。
１０：車両、 １４：撮像部、 １６：測距部、 ２０：周辺監視システム、 ３４：周辺監視装置、 ５０：判定部、 ５２：生成部、 ５４：周辺監視プログラム、 ５６：数値データ、 ＥＡ：採用領域、 ＪＡ：判定領域、 ＯＡ：重複領域、 ＯＢ，ＯＢ１，ＯＢ２：対象物、 ＰＡ：撮像領域。

Claims (5)

  1. 移動体の周辺に設定された判定領域内の対象物を判定する判定部と、
    前記移動体に設けられた複数の撮像部の撮像領域が互いに重なる重複領域において、前記撮像部で撮像された撮像画像を採用する採用領域の範囲を設定し、前記移動体の周辺画像であって、前記採用領域で採用された前記撮像画像を含む前記周辺画像を生成する生成部と、を備え、
    前記生成部は、前記対象物に応じて、前記採用領域の範囲を変更して前記周辺画像を生成する
    周辺監視装置。
  2. 前記生成部は、前記判定領域内に前記対象物が存在しない場合、前記重複領域内に予め定められた第１採用領域の範囲を設定し、前記判定領域内に前記対象物が存在する場合、前記重複領域内に予め定められた第２採用領域の範囲を設定して、前記周辺画像を生成する
    請求項１に記載の周辺監視装置。
  3. 前記判定部は、前記判定領域内の前記対象物の位置を算出し、
    前記生成部は、前記対象物の位置に応じた前記採用領域の範囲を設定して、前記周辺画像を生成する
    請求項１または請求項２に記載の周辺監視装置。
  4. 前記生成部は、前記対象物の位置に基づいて前記重複領域内の死角を算出し、前記死角に応じた前記採用領域の範囲を設定して、前記周辺画像を生成する
    請求項３に記載の周辺監視装置。
  5. 前記生成部は、前記複数の撮像部のうち一の撮像部の前記死角が前記重複領域内にある場合、前記重複領域内の前記死角に対応する範囲に、前記一の撮像部と隣接する他の撮像部の前記撮像画像を採用する前記採用領域の範囲を設定する
    請求項４に記載の周辺監視装置。
JP2018039889A 2018-03-06 2018-03-06 周辺監視装置 Pending JP2019151304A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018039889A JP2019151304A (ja) 2018-03-06 2018-03-06 周辺監視装置
US16/287,397 US20190275970A1 (en) 2018-03-06 2019-02-27 Surroundings monitoring apparatus
CN201910160140.8A CN110228468A (zh) 2018-03-06 2019-03-04 周围环境监测设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018039889A JP2019151304A (ja) 2018-03-06 2018-03-06 周辺監視装置

Publications (1)

Publication Number Publication Date
JP2019151304A true JP2019151304A (ja) 2019-09-12

Family

ID=67842988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018039889A Pending JP2019151304A (ja) 2018-03-06 2018-03-06 周辺監視装置

Country Status (3)

Country Link
US (1) US20190275970A1 (ja)
JP (1) JP2019151304A (ja)
CN (1) CN110228468A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021094937A (ja) * 2019-12-13 2021-06-24 本田技研工業株式会社 車両用表示装置及び駐車支援システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
KR102281609B1 (ko) * 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007089081A (ja) * 2005-09-26 2007-04-05 Alpine Electronics Inc 車両用画像表示装置
JP2008123293A (ja) * 2006-11-13 2008-05-29 Toyota Motor Corp 画像処理装置
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置
JP2013501280A (ja) * 2009-08-05 2013-01-10 ダイムラー・アクチェンゲゼルシャフト 車両周辺のモニタ方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
JP4404103B2 (ja) * 2007-03-22 2010-01-27 株式会社デンソー 車両外部撮影表示システムおよび画像表示制御装置
US20110063444A1 (en) * 2008-05-19 2011-03-17 Panasonic Corporation Vehicle surroundings monitoring device and vehicle surroundings monitoring method
JP5217860B2 (ja) * 2008-09-30 2013-06-19 日産自動車株式会社 死角画像表示装置および死角画像表示方法
JP2010093605A (ja) * 2008-10-09 2010-04-22 Sanyo Electric Co Ltd 操縦支援装置
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
KR101123738B1 (ko) * 2009-08-21 2012-03-16 고려대학교 산학협력단 중장비 동작 안전 모니터링 시스템 및 방법
JP4970516B2 (ja) * 2009-09-30 2012-07-11 日立オートモティブシステムズ株式会社 周囲確認支援装置
JP2011091527A (ja) * 2009-10-21 2011-05-06 Panasonic Corp 映像変換装置及び撮像装置
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
US9332229B2 (en) * 2010-06-18 2016-05-03 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine
JP5113220B2 (ja) * 2010-06-28 2013-01-09 本田技研工業株式会社 車両用画像表示装置
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
US10235575B2 (en) * 2011-08-26 2019-03-19 Panasonic Intellectual Property Management Co., Ltd. Driving assistance apparatus
WO2013046593A1 (ja) * 2011-09-30 2013-04-04 パナソニック株式会社 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム
KR101265711B1 (ko) * 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
CN103987582B (zh) * 2011-12-15 2017-02-22 松下知识产权经营株式会社 驾驶辅助装置
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
JP5988683B2 (ja) * 2012-05-15 2016-09-07 日立建機株式会社 自走式産業機械の表示装置
JP5781978B2 (ja) * 2012-05-22 2015-09-24 株式会社小松製作所 ダンプトラック
JP5629740B2 (ja) * 2012-09-21 2014-11-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5643272B2 (ja) * 2012-09-21 2014-12-17 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9975485B2 (en) * 2014-04-25 2018-05-22 Komatsu Ltd. Surroundings monitoring system, work vehicle, and surroundings monitoring method
JP6411100B2 (ja) * 2014-07-08 2018-10-24 アルパイン株式会社 車両周囲画像生成装置および車両周囲画像生成方法
US10055643B2 (en) * 2014-09-19 2018-08-21 Bendix Commercial Vehicle Systems Llc Advanced blending of stitched images for 3D object reproduction
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
US9902322B2 (en) * 2015-10-30 2018-02-27 Bendix Commercial Vehicle Systems Llc Filling in surround view areas blocked by mirrors or other vehicle parts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007089081A (ja) * 2005-09-26 2007-04-05 Alpine Electronics Inc 車両用画像表示装置
JP2008123293A (ja) * 2006-11-13 2008-05-29 Toyota Motor Corp 画像処理装置
JP2013501280A (ja) * 2009-08-05 2013-01-10 ダイムラー・アクチェンゲゼルシャフト 車両周辺のモニタ方法
WO2011036892A1 (ja) * 2009-09-24 2011-03-31 パナソニック株式会社 運転支援表示装置
JP2011254190A (ja) * 2010-06-01 2011-12-15 Clarion Co Ltd 車両用周囲監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021094937A (ja) * 2019-12-13 2021-06-24 本田技研工業株式会社 車両用表示装置及び駐車支援システム
JP6998360B2 (ja) 2019-12-13 2022-01-18 本田技研工業株式会社 車両用表示装置及び駐車支援システム
US11584297B2 (en) 2019-12-13 2023-02-21 Honda Motor Co., Ltd. Display device for vehicle and parking assist system

Also Published As

Publication number Publication date
CN110228468A (zh) 2019-09-13
US20190275970A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP4883977B2 (ja) 車両用画像表示装置
JP5765995B2 (ja) 画像表示システム
JP7222254B2 (ja) 周辺表示制御装置
JP6878196B2 (ja) 位置推定装置
US10625782B2 (en) Surroundings monitoring apparatus
JP2007274377A (ja) 周辺監視装置、プログラム
JP6998360B2 (ja) 車両用表示装置及び駐車支援システム
WO2018150642A1 (ja) 周辺監視装置
JP2012025327A (ja) 画像表示システム、画像処理装置及び画像表示方法
JP2019151304A (ja) 周辺監視装置
JP2008195268A (ja) 車両周辺監視装置
CN112492262A (zh) 图像处理装置
JP2016189576A (ja) 画像表示制御装置
US11292387B2 (en) Towing assistance apparatus
US11214197B2 (en) Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device
JP2018074286A (ja) 運転支援装置
JP2023165721A (ja) 表示制御装置
US20230290154A1 (en) Control device, control method, and computer-readable recording medium
JPWO2017056822A1 (ja) 画像処理装置と画像処理方法および車両制御システム
JP2019069719A (ja) 駐車支援装置
JP5691339B2 (ja) 運転支援装置
JP2022062480A (ja) 車両表示システム及び車両表示方法
JP7228614B2 (ja) 画像表示システム
US20230158957A1 (en) Control device, control method, and storage medium
JP6772716B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220614