JP2020021980A - 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム - Google Patents

俯瞰画像生成装置、俯瞰画像生成方法およびプログラム Download PDF

Info

Publication number
JP2020021980A
JP2020021980A JP2018142139A JP2018142139A JP2020021980A JP 2020021980 A JP2020021980 A JP 2020021980A JP 2018142139 A JP2018142139 A JP 2018142139A JP 2018142139 A JP2018142139 A JP 2018142139A JP 2020021980 A JP2020021980 A JP 2020021980A
Authority
JP
Japan
Prior art keywords
image
vehicle
obstacle
proximity state
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018142139A
Other languages
English (en)
Other versions
JP7180172B2 (ja
Inventor
憲一 加納
Kenichi Kano
憲一 加納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018142139A priority Critical patent/JP7180172B2/ja
Priority to CN201980049562.6A priority patent/CN112470465B/zh
Priority to PCT/JP2019/028285 priority patent/WO2020026836A1/ja
Priority to EP19844974.6A priority patent/EP3817373B1/en
Publication of JP2020021980A publication Critical patent/JP2020021980A/ja
Priority to US17/159,188 priority patent/US11498484B2/en
Application granted granted Critical
Publication of JP7180172B2 publication Critical patent/JP7180172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】車両のどの位置に障害物が近接しているかを、運転者に適切に認識させる。【解決手段】俯瞰画像生成装置は、車両の周辺を撮像した周辺画像を取得する画像取得部と、車両の周辺において検出した障害物の車両への近接状態を示す近接情報を取得する近接情報取得部と、周辺画像から車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像Ａを生成する俯瞰画像生成部と、近接情報に基づき、車両への障害物の近接状態を、車両の鉛直方向における位置毎に示す近接状態画像Ｂを生成する近接状態画像生成部と、俯瞰画像Ａと近接状態画像Ｂとを重畳して表示部に表示させる表示制御部と、を有する。【選択図】図４

Description

本発明は、俯瞰画像生成装置、俯瞰画像生成方法およびプログラムに関する。
運転者に車両の周囲の障害物の情報を認識させるために、車両の俯瞰画像を表示する表示装置がある。例えば、特許文献１には、車両から障害物までの距離の情報を俯瞰画像に表示させる旨が記載されている。
特開２０１８−５０２７７号公報
特許文献１によると、車両の周囲におけるどの位置に障害物が近接しているかを認識することが可能であるが、車両のどの位置に障害物が近接しているかを運転者により詳細に認識させるためには、改善の余地がある。
本発明は、上記課題に鑑み、車両のどの位置に障害物が近接しているかを、運転者に適切に認識させることができる俯瞰画像生成装置、俯瞰画像生成方法およびプログラムを提供することを目的とする。
本発明の一態様にかかる俯瞰画像生成装置は、車両の周辺を撮像した周辺画像を取得する画像取得部と、前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得部と、前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成部と、前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部と、前記俯瞰画像と前記近接状態画像とを重畳して表示部に表示させる表示制御部と、を有する。
本発明の一態様にかかる俯瞰画像生成方法は、車両の周辺を撮像した周辺画像を取得する画像取得ステップと、前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得ステップと、前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成ステップと、前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部ステップと、前記俯瞰画像と前記近接状態画像とを表示部に表示させる表示制御ステップと、を有する。
本発明の一態様にかかるプログラムは、車両の周辺を撮像した周辺画像を取得する画像取得ステップと、前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得ステップと、前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成ステップと、前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部ステップと、前記俯瞰画像と前記近接状態画像とを表示部に表示させる表示制御ステップと、を、コンピュータに実行させる。
本発明によれば、車両のどの位置に障害物が近接しているかを、運転者に適切に認識させることができる。
図１は、第１実施形態に係る車両を示す模式図である。 図２は、第１実施形態に係る車両を示す模式図である。 図３は、第１実施形態に係る俯瞰画像生成システムの模式的なブロック図である。 図４は、第１実施形態に係る表示画像を示す模式図である。 図５は、第１実施形態に係る表示画像を示す模式図である。 図６は、第１実施形態に係る表示画像の表示フローを説明するフローチャートである。 図７は、第１実施形態の表示画像の他の例を示す図である。 図８は、第１実施形態の表示画像の他の例を示す図である。 図９は、第１実施形態の表示画像の他の例を示す図である。 図１０は、第２実施形態に係る表示画像を示す模式図である。 図１１は、第２実施形態に係る表示画像の他の例を示す模式図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
（第１実施形態）
（俯瞰画像生成システムの構成）
図１及び図２は、第１実施形態に係る車両を示す模式図である。図１は、車両Ｖの正面図であり、図２は、車両Ｖの上面図である。図１に示すように、車両Ｖは、第１実施形態に係る俯瞰画像生成システム１が搭載されている。詳しくは後述するが、俯瞰画像生成システム１は、車両Ｖの周辺の状況を示す表示画像Ｐ（図４参照）を生成する。俯瞰画像生成システム１は、車両Ｖに載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。すなわち、俯瞰画像生成システム１は、車両Ｖから着脱可能であってもよい。本実施形態において、車両Ｖは、トラックなどの大型車両であり、運転者が乗車する車両部Ｖ１と、車両部Ｖ１よりも後方側（後述のＸ方向と反対方向側）に設けられるコンテナ部Ｖ２と、を有する。ただし、車両Ｖは、このような大型車両に限られず、任意の種類の車両であってよい。以下、車両Ｖの前進方向をＸ方向とし、鉛直方向の上方に向かう方向（地表から離れる方向）を、Ｚ方向とし、Ｘ方向及びＺ方向に直交する方向を、Ｙ方向とする。以下、適宜、Ｘ方向側を前側とし、Ｘ方向と反対方向側を後ろ側とし、Ｙ方向側を右側とし、Ｙ方向と反対方向側を左側とし、Ｚ方向側を上側（鉛直方向上側）とし、Ｚ方向と反対方向側を下側（鉛直方向下側）として、記載する。
図１及び図２に示すように、俯瞰画像生成システム１は、撮像部１０と、障害物検出部１２と、表示部１４と、俯瞰画像生成装置２０とを有する。撮像部１０は、車両Ｖの周辺を撮像する撮像装置、すなわちカメラである。撮像部１０は、所定のフレーム毎に車両Ｖの周辺を逐次撮像することにより、車両Ｖの周辺の動画像を撮像する。図２に示すように、本実施形態において、撮像部１０は、撮像部１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆを有する。
図２に示すように、撮像部１０Ａは、車両Ｖの前側の箇所に配置される。撮像部１０Ａは、車両Ｖの前方側を中心とした周辺を撮像する。撮像部１０Ｂは、車両Ｖの左前側の箇所に配置される。撮像部１０Ｂは、車両Ｖの左前方を中心とした周辺を撮像する。撮像部１０Ｃは、車両Ｖの右前側の箇所に配置される。撮像部１０Ｃは、車両Ｖの右前方を中心とした周辺を撮像する。撮像部１０Ｄは、車両Ｖの左後側の箇所に配置される。撮像部１０Ｄは、車両Ｖの左後方を中心とした周辺を撮像する。撮像部１０Ｅは、車両Ｖの右後側の箇所に配置される。撮像部１０Ｅは、車両Ｖの右後方を中心とした周辺を撮像する。撮像部１０Ｆは、車両Ｖの後側の箇所に配置される。撮像部１０Ｆは、車両Ｖの後方を中心とした周辺を撮像する。撮像部１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆは、撮像した画像（動画像）を、俯瞰画像生成装置２０に出力する。
撮像部１０は、撮像部１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆにより、車両Ｖの全方位を撮像する。ただし、撮像部１０は、車両Ｖの周辺を撮像するものであれば、備える撮像部の数や設置位置は、任意である。
図２に示すように、障害物検出部１２は、車両Ｖの周辺に障害物があるかを検出する装置である。言い換えれば、障害物検出部１２は、車両Ｖに障害物が近接しているかを検出する装置であり、車両Ｖに障害物が近接しているかを、所定の期間毎に逐次検出する。すなわち、障害物検出部１２は、車両Ｖに対して所定距離以内にある障害物を、車両Ｖに近接する障害物であると検出するものであり、車両Ｖと接触するおそれがある程度に近接している障害物があるかを検出する。本実施形態において、障害物検出部１２は、車両Ｖの周辺に向けて可視光以外の電波を出力し、その電波の反射波によって障害物を検出するセンサである。障害物検出部１２は、例えば、赤外線センサまたは超音波センサ、ミリ波レーダなどであり、これらの組合せで構成されてもよい。ただし、障害物検出部１２は、車両Ｖの周辺に障害物があるかを検出可能な装置であれば、任意のものであってよい。例えば、撮像部１０が、障害物検出部１２としても機能してよい。この場合、障害物検出部１２としての撮像部１０は、撮像した画像に障害物が写っている場合に、障害物があると検出してよい。また、俯瞰画像生成装置２０が、撮像部１０が撮像した画像に基づき、画像に写った障害物と車両Ｖとの距離を算出して、所定距離以内に障害物がある場合に、障害物が存在すると検出してもよいし、撮像部１０自身が、障害物と車両Ｖとの距離を算出することで、障害物が存在すると検出してもよい。
第１実施形態において、障害物検出部１２は、車両Ｖの上側の箇所に障害物に近接している障害物と、車両Ｖの下側の箇所に近接する障害物とを、それぞれ検出する。すなわち、図１及び図２に示すように、障害物検出部１２は、下側障害物検出部１２Ｌと上側障害物検出部１２Ｕとを有し、下側障害物検出部１２Ｌが、車両Ｖの下側の部分に近接する障害物があるかを検出し、上側障害物検出部１２Ｕが、車両Ｖの上側の部分に近接する障害物があるかを検出する。なお、図１及び図２の例では、障害物検出部１２Ａ１、１２Ｂ１、１２Ｃ１、１２Ｄ１、１２Ｅ１、１２Ｆ１、１２Ｇ１、１２Ｈ１、１２Ｉ１、１２Ｊ１が、下側障害物検出部１２Ｌに該当し、障害物検出部１２Ａ２、１２Ｂ２、１２Ｃ２、１２Ｄ２、１２Ｅ２、１２Ｆ２、１２Ｇ２、１２Ｈ２、１２Ｉ２、１２Ｊ２が、上側障害物検出部１２Ｕに該当する。
上側障害物検出部１２Ｕは、下側障害物検出部１２Ｌよりも、車両Ｖの上側に設けられている。すなわち、上側障害物検出部１２Ｕが障害物を検出する基準となる車両Ｖの位置（部分）は、下側障害物検出部１２Ｌが障害物を検出する基準となる車両Ｖの位置（部分）よりも、Ｚ方向側となる。言い換えれば、上側障害物検出部１２Ｕは、車両Ｖの上側の部分に対して所定距離範囲内に障害物があるかを検出し、下側障害物検出部１２Ｌは、上側障害物検出部１２Ｕよりも、車両Ｖの下側の部分に対して所定距離範囲内に障害物があるかを検出するといえる。なお、ここでの車両Ｖの下側の部分（箇所）は、例えば、車両ＶのＺ方向と反対方向側の端部、すなわち車両Ｖの底部から、車両Ｖの鉛直方向における中央位置までの間の部分を指す。また、車両Ｖの上側の部分（箇所）は、例えば、車両Ｖの鉛直方向における中央位置から、車両ＶのＺ方向側の端部、すなわち車両Ｖの上面部までの間の部分を指す。ただし、車両Ｖの上側の部分は、車両Ｖの下側の部分よりも、Ｚ方向側であればよく、車両Ｖの上側の部分と下側の部分との、車両Ｖの鉛直方向における位置は任意であってよい。
以下、それぞれの障害物検出部１２の設置位置について説明する。障害物検出部１２Ａ１は、車両Ｖの前側であって下側の箇所に配置され、車両Ｖの前側であって下側の箇所に近接する障害物を検出する。障害物検出部１２Ａ２は、車両Ｖの前側であって上側の箇所に配置され、車両Ｖの前側であって上側の箇所に近接する障害物を検出する。さらに言えば、障害物検出部１２Ａ２は、障害物検出部１２Ａ１よりも上側に設けられ、障害物検出部１２Ａ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｂ１は、車両Ｖの左前側の角部の下側の箇所に配置され、車両Ｖの左前側の角部の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｂ２は、車両Ｖの左前側の角部の上側の箇所に配置され、車両Ｖの左前側の角部の上側の箇所に近接する障害物を検出する。さらに言えば、障害物検出部１２Ｂ２は、障害物検出部１２Ｂ１よりも上側に設けられ、障害物検出部１２Ｂ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｃ１は、車両Ｖの右前側の角部の下側の箇所に配置され、車両Ｖの右前側の角部の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｃ２は、車両Ｖの右前側の角部の上側の箇所に配置され、車両Ｖの右前側の角部の上側の箇所に近接する障害物を検出する。さらに言えば、障害物検出部１２Ｃ２は、障害物検出部１２Ｃ１よりも上側に設けられ、障害物検出部１２Ｃ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｄ１は、車両Ｖの左前側の下側の箇所に配置され、車両Ｖの左前側の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｄ１は、障害物検出部１２Ｂ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｂ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｄ２は、車両Ｖの左前側の上側の箇所に配置され、車両Ｖの左前側の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｄ２は、障害物検出部１２Ｂ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｂ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｄ２は、障害物検出部１２Ｄ１よりも上側に設けられ、障害物検出部１２Ｄ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｅ１は、車両Ｖの右前側の下側の箇所に配置され、車両Ｖの右前側の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｅ１は、障害物検出部１２Ｃ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｃ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｅ２は、車両Ｖの右前側の上側の箇所に配置され、車両Ｖの右前側の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｅ２は、障害物検出部１２Ｃ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｃ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｅ２は、障害物検出部１２Ｅ１よりも上側に設けられ、障害物検出部１２Ｅ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｆ１は、車両Ｖの左後ろ側の下側の箇所に配置され、車両Ｖの左後ろ側の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｆ１は、障害物検出部１２Ｄ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｄ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｆ２は、車両Ｖの左後ろ側の上側の箇所に配置され、車両Ｖの左後ろ側の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｆ２は、障害物検出部１２Ｄ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｄ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｆ２は、障害物検出部１２Ｆ１よりも上側に設けられ、障害物検出部１２Ｆ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｇ１は、車両Ｖの右後ろ側の下側の箇所に配置され、車両Ｖの右後ろ側の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｇ１は、障害物検出部１２Ｅ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｅ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｇ２は、車両Ｖの右後ろ側の上側の箇所に配置され、車両Ｖの右後ろ側の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｇ２は、障害物検出部１２Ｅ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｅ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｇ２は、障害物検出部１２Ｇ１よりも上側に設けられ、障害物検出部１２Ｇ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｈ１は、車両Ｖの左後ろ側の角部の下側の箇所に配置され、車両Ｖの左後ろ側の角部の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｈ１は、障害物検出部１２Ｆ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｆ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｈ２は、車両Ｖの左後ろ側の角部の上側の箇所に配置され、車両Ｖの左後ろ側の角部の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｈ２は、障害物検出部１２Ｆ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｆ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｈ２は、障害物検出部１２Ｈ１よりも上側に設けられ、障害物検出部１２Ｈ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｉ１は、車両Ｖの右後ろ側の角部の下側の箇所に配置され、車両Ｖの右後ろ側の角部の下側の箇所に近接する障害物を検出する。障害物検出部１２Ｉ１は、障害物検出部１２Ｇ１よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｇ１よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。障害物検出部１２Ｉ２は、車両Ｖの右後ろ側の角部の上側の箇所に配置され、車両Ｖの右後ろ側の角部の上側の箇所に近接する障害物を検出する。障害物検出部１２Ｉ２は、障害物検出部１２Ｇ２よりも車両Ｖの後ろ側に設けられ、障害物検出部１２Ｇ２よりも、車両Ｖの後ろ側の位置へ近接する障害物を検出する。さらに言えば、障害物検出部１２Ｉ２は、障害物検出部１２Ｉ１よりも上側に設けられ、障害物検出部１２Ｉ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
障害物検出部１２Ｊ１は、車両Ｖの後ろ側であって下側の箇所に配置され、車両Ｖの後ろ側であって下側の箇所に近接する障害物を検出する。障害物検出部１２Ｊ２は、車両Ｖの後ろ側であって上側の箇所に配置され、車両Ｖの後ろ側であって上側の箇所に近接する障害物を検出する。さらに言えば、障害物検出部１２Ｊ２は、障害物検出部１２Ｊ１よりも上側に設けられ、障害物検出部１２Ｊ１よりも、車両Ｖの上側の位置へ近接する障害物を検出する。
このように、障害物検出部１２は、複数の障害物検出部を有することで、方向Ｚから見た車両Ｖの周囲の各領域（区間）に近接する障害物があるかを検出する。すなわち、障害物検出部１２は、車両Ｖの全方位にわたって、近接する障害物があるかを検出する。また、障害物検出部１２は、上側障害物検出部１２Ｕと下側障害物検出部１２Ｌとを備えることで、車両Ｖに近接する障害物があるかを、車両ＶのＺ方向（鉛直方向）における位置毎（箇所毎）に、検出することができる。すなわち、障害物検出部１２は、車両Ｖに近接する障害物があるかを、方向Ｚから見た車両Ｖの周囲における位置毎（方向Ｚを中心軸とした車両Ｖの外周の周方向における区間毎）に、かつ、車両ＶのＺ方向における位置毎に、検出しているといえる。なお、障害物検出部１２は、車両Ｖの周囲における位置毎に、かつ、車両ＶのＺ方向における位置毎に、車両Ｖに近接する障害物を検出可能なものであればよく、その数及び設置位置は、以上の説明に限られず任意である。例えば、本実施形態では、障害物検出部１２は、例えばＺ方向において３つ以上配置されることで、Ｚ方向における３つ以上の位置のそれぞれに近接する障害物を検出してよい。すなわち、障害物検出部１２は、車両ＶのＺ方向（鉛直方向）における複数の位置のそれぞれに対して、近接する障害物があるかを検出すればよい。
障害物検出部１２は、検出した車両Ｖの周辺の障害物の情報、すなわち車両Ｖに障害物が近接しているか否かを示す情報を、俯瞰画像生成装置２０に出力する。
表示部１４は、車両Ｖの内部に設けられる。表示部１４は、運転者が視認可能な位置に設けられる。表示部１４は、画像を表示するディスプレイであり、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示部１４は、俯瞰画像生成装置２０から出力された画像信号に基づいて、表示画像Ｐ（図４参照）を表示する。表示部１４は、俯瞰画像生成システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。
俯瞰画像生成装置２０は、車両Ｖの内部に設けられる。俯瞰画像生成装置２０は、撮像部１０が撮像した画像と、障害物検出部１２が検出した障害物の情報とに基づき、表示画像Ｐを生成し、生成した表示画像Ｐを表示部１４に表示させる。以下、俯瞰画像生成装置２０について詳細に説明する。
図３は、第１実施形態に係る俯瞰画像生成システムの模式的なブロック図である。図３に示すように、俯瞰画像生成装置２０は、制御部２２と、記憶部２４とを有する。制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置である。記憶部２４は、俯瞰画像生成装置２０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部２４は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。
制御部２２は、記憶部２４に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。図３に示すように、制御部２２は、画像取得部３０と、近接情報取得部３２と、車両情報取得部３４と、画像生成部３６と、表示制御部３８とを有する。
画像取得部３０は、車両Ｖの周辺を撮影した周辺画像を取得する。より詳しくは、画像取得部３０は、撮像部１０が撮像した画像を、周辺画像として取得する。画像取得部３０は、取得した周辺画像を画像生成部３６に出力する。
近接情報取得部３２は、車両Ｖの周辺において検出した障害物の車両Ｖへの近接状態を示す近接情報を取得する。より詳しくは、近接情報取得部３２は、障害物検出部１２によって検出された車両Ｖに近接する障害物があるかの情報に基づき、障害物の車両Ｖへの近接情報を取得する。車両Ｖへの近接状態とは、車両Ｖに障害物が近接しているかを、車両Ｖの位置毎に示した状態を指し、近接情報とは、障害物が車両Ｖのどの位置に近接しているかを示す情報である。より詳しくは、近接情報取得部３２は、障害物検出部１２の検出した情報に基づき、方向Ｚにおける車両Ｖの各位置のうち、障害物が近接している位置を、近接情報として取得する。そして、近接情報取得部３２は、障害物検出部１２の検出した情報に基づき、方向Ｚから見た車両Ｖの周囲における位置のうち、障害物が近接している位置を、近接情報として取得する。例えば、近接情報取得部３２は、上側障害物検出部１２Ｕによって障害物があると検出された場合、車両Ｖの上側に障害物が近接している旨を、近接情報として取得する。また、近接情報取得部３２は、下側障害物検出部１２Ｌによって障害物があると検出された場合、車両Ｖの下側に障害物が近接している旨を、近接情報として取得する。さらにいえば、近接情報取得部３２は、例えば障害物検出部１２Ａ１によって障害物があると検出された場合、車両Ｖの前側であって下側の箇所に障害物が近接している旨を、近接情報として取得する。
このように、近接情報取得部３２は、障害物検出部１２によって障害物が近接していると検出された位置を、近接情報として取得する。近接情報取得部３２は、取得した近接情報を、画像生成部３６に出力する。なお、近接情報取得部３２は、障害物検出部１２によって障害物が近接していると検出された位置のうち、障害物とその位置との距離が、所定の閾値距離以下となる位置を、近接情報として取得してもよい。すなわち、近接情報取得部３２は、閾値距離を設定することで、近接している障害物があるかの判断基準となる障害物から車両Ｖまでの距離を、より近い距離に設定可能である。
車両情報取得部３４は、車両のギア操作情報など、表示画像Ｐを表示させるためのトリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）や車両の状態をセンシングする各種センサなどから取得する。車両情報取得部３４は、取得した車両情報を画像生成部に出力する。
画像生成部３６は、画像取得部３０が取得した周辺画像と、近接情報取得部３２が取得した近接情報とに基づき、表示画像Ｐを生成する。図３に示すように、画像生成部３６は、俯瞰画像生成部４０と、近接状態画像生成部４２と、表示画像生成部４４とを有する。
俯瞰画像生成部４０は、画像取得部３０が取得した周辺画像から、車両Ｖを鉛直方向上方（Ｚ方向側）から見下ろすように視点変換処理を行った俯瞰画像Ａを生成する。より詳しくは、俯瞰画像生成部４０は、周囲俯瞰画像Ａ１と、自車画像ＡＶ（自車アイコン）とを含んだ画像を、俯瞰画像Ａとして生成する。周囲俯瞰画像Ａ１は、周辺画像に対し、車両Ｖを鉛直方向上方（Ｚ方向側）から見下ろすように視点変換処理を行った画像である。俯瞰画像生成部４０は、撮像部１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、１０Ｅ、１０Ｆのそれぞれで撮影された画像を合成して、周囲俯瞰画像Ａ１を生成する。周囲俯瞰画像Ａ１を生成する方法は、公知のいずれの方法でもよく、限定されない。自車画像ＡＶは、車両Ｖを示す画像であるが、詳しくは後述する。なお、周辺画像は、逐次撮像される動画像であるため、俯瞰画像生成部４０は、周辺画像が更新される毎に、俯瞰画像Ａを更新する。
なお、撮像部１０が車両Ｖから着脱可能である場合、俯瞰画像生成部４０は、撮像部１０が取付けられる度に、撮像部１０の位置を検出して、撮像部１０の位置に基づき、撮像部１０のそれぞれの画像を合成することが好ましい。撮像部１０の位置が分かれば、撮像部１０がどの位置を撮像しているかが分かるため、それぞれの画像を適切に合成して、周囲俯瞰画像Ａ１を適切に生成することが可能となる。位置検出としては、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）など、公知の方法を用いてよい。また、例えば、車両Ｖに、それぞれの撮像部１０を取り付ける基準位置を設定していてもよい。この場合は、撮像部１０を基準位置に取付けることで、撮像部１０の位置が定まるので、位置の再検出が不要となる。
近接状態画像生成部４２は、近接情報取得部３２が取得した近接情報に基づき、近接状態画像Ｂを生成する。近接状態画像Ｂは、車両Ｖへの障害物の近接状態を、車両Ｖの鉛直方向における位置毎に示す画像である。近接状態画像Ｂについては、後述する。なお、障害物検出部１２が障害物を逐次検出するため、近接情報も、逐次取得される。従って、近接状態画像生成部４２は、近接情報が更新（取得）される毎に、近接状態画像Ｂを更新する。ただし、近接状態画像生成部４２は、近接状態が変化した場合に、すなわち、障害物が近接される位置が変化した場合に、近接状態画像Ｂを更新してもよい。
なお、障害物検出部１２が車両Ｖから着脱可能である場合、近接状態画像生成部４２は、障害物検出部１２が取付けられる度に、障害物検出部１２の位置を検出して、障害物検出部１２の位置に基づき、近接状態画像Ｂを生成することが好ましい。障害物検出部１２の位置が分かれば、障害物検出部１２がどの位置への障害物の近接を検出しているかが分かるため、近接状態画像Ｂを適切に生成することが可能となる。位置検出としては、公知の方法を用いてよく、例えば、鉛直方向の位置検出として、気圧センサなどを用いてもよい。また、例えば、車両Ｖに、それぞれの障害物検出部１２を取り付ける基準位置を設定していてもよい。この場合は、障害物検出部１２を基準位置に取付けることで、障害物検出部１２の位置が定まるので、位置の再検出が不要となる。
表示画像生成部４４は、俯瞰画像生成部４０が生成した俯瞰画像Ａと、近接状態画像生成部４２が生成した近接状態画像Ｂとに基づき、表示画像Ｐを生成する。すなわち、表示画像Ｐは、俯瞰画像Ａと近接状態画像Ｂとを含む画像である。より詳しくは、表示画像生成部４４は、俯瞰画像Ａと近接状態画像Ｂとを重畳させた画像を、表示画像Ｐとして生成する。表示画像生成部４４は、生成した表示画像Ｐを、表示制御部３８に出力する。なお、表示画像生成部４４は、俯瞰画像Ａと近接状態画像Ｂとの更新に伴い、表示画像Ｐを更新する。
表示制御部３８は、俯瞰画像Ａと近接状態画像Ｂとを、すなわち表示画像生成部４４が生成した表示画像Ｐを、表示部１４に表示させる。
（表示画像）
俯瞰画像生成システム１は、以上のような構成となっている。次に、表示画像Ｐについて詳細に説明する。図４は、第１実施形態に係る表示画像を示す模式図である。図４に示すように、表示画像Ｐは、俯瞰画像Ａ上に近接状態画像Ｂが重畳した画像である。俯瞰画像Ａは、周囲俯瞰画像Ａ１と、周囲俯瞰画像Ａ１の内側に表示される自車画像ＡＶとを含む。周囲俯瞰画像Ａ１は、車両Ｖの周囲を撮像した周辺画像を、上方から見た俯瞰画像に変換した画像である。本実施形態において、周囲俯瞰画像Ａ１は、中央部が欠けた枠状の画像であり、その欠けた中央部を、自車画像ＡＶが占めている。すなわち、自車画像ＡＶは、周囲俯瞰画像Ａ１に囲われている。周囲俯瞰画像Ａ１の欠けた中央部の位置、すなわち自車画像ＡＶが占めている位置が、表示画像Ｐにおける車両Ｖの位置を示す。なお、自車画像ＡＶと周囲俯瞰画像Ａ１とは、枠線で区切られていてもよい。
周囲俯瞰画像Ａ１は、前方画像Ａ１Ａと、左前方画像Ａ１Ｂと、右前方画像Ａ１Ｃと、左後方画像Ａ１Ｄと、右後方画像Ａ１Ｅと、後方画像Ａ１Ｆとを有する。
前方画像Ａ１Ａは、車両Ｖの前方の俯瞰画像であり、撮像部１０Ａの撮像した画像に基づき生成される。左前方画像Ａ１Ｂは、表示画像Ｐ内で前方画像Ａ１Ａの左後方に位置しており、車両Ｖの左前方の俯瞰画像である。左前方画像Ａ１Ｂは、撮像部１０Ｂの撮像した画像に基づき生成される。右前方画像Ａ１Ｃは、表示画像Ｐ内で前方画像Ａ１Ａの右後方に位置しており、車両Ｖの右前方の俯瞰画像である。右前方画像Ａ１Ｃは、撮像部１０Ｃの撮像した画像に基づき生成される。左後方画像Ａ１Ｄは、表示画像Ｐ内で左前方画像Ａ１Ｂの後方に位置しており、車両Ｖの左後方の俯瞰画像である。左後方画像Ａ１Ｄは、撮像部１０Ｄの撮像した画像に基づき生成される。右後方画像Ａ１Ｅは、表示画像Ｐ内で右前方画像Ａ１Ｃの後方に位置しており、車両Ｖの右後方の俯瞰画像である。右後方画像Ａ１Ｅは、撮像部１０Ｅの撮像した画像に基づき生成される。後方画像Ａ１Ｆは、表示画像Ｐ内で左後方画像Ａ１Ｄ及び右後方画像Ａ１Ｅの後方に位置しており、車両Ｖの後方の俯瞰画像である。後方画像Ａ１Ｆは、撮像部１０Ｆの撮像した画像に基づき生成される。図４の例では、前方画像Ａ１Ａと、左前方画像Ａ１Ｂと、右前方画像Ａ１Ｃと、左後方画像Ａ１Ｄと、右後方画像Ａ１Ｅとは、枠線で区切られているが、実際には区切りが無く連続した画像であってよい。
自車画像ＡＶは、俯瞰画像Ａの中央部、すなわち周囲俯瞰画像Ａ１に囲われた中央部に位置する画像であり、車両Ｖを示す画像である。自車画像ＡＶは、車両Ｖの鉛直方向毎の位置の情報を含んでいる。すなわち、自車画像ＡＶは、車両Ｖの鉛直方向における各部分を、Ｘ−Ｙ平面（Ｘ方向とＹ方向とに平行な平面）上において異なる位置に表示する。一般的に、車両Ｖの画像を俯瞰画像Ａ内に表示する場合、車両Ｖを鉛直方向上方から見た画像となるため、車両Ｖの画像は、鉛直方向上側の面のみを映した画像となる。従って、この場合の車両Ｖの画像は、Ｘ−Ｙ平面（Ｘ方向とＹ方向とに平行な平面）に沿った部分の画像が含まれるが、鉛直方向（Ｚ方向）における各位置の部分の画像は含まれない。それに対し、俯瞰画像生成部４０は、車両Ｖの鉛直方向における各部分を異なる位置に表示するよう自車画像ＡＶを生成することで、自車画像ＡＶを、鉛直方向における各位置の情報を含んだ画像とする。以下、自車画像ＡＶについてより具体的に説明する。
第１実施形態において、俯瞰画像生成部４０は、車両Ｖの鉛直方向上側の面の画像である上面ＡＶ１を中心とした車両Ｖの展開図を、自車画像ＡＶとして生成する。すなわち、自車画像ＡＶは、上面ＡＶ１が中央にあり、上面ＡＶ１を、車両Ｖの上面ＡＶ１以外の面の画像である前面ＡＶ２、左面ＡＶ３、右面ＡＶ４、後面ＡＶ５が囲った画像となる。前面ＡＶ２は、車両Ｖの前側の面の画像であり、自車画像ＡＶにおいて、上面ＡＶ１の前側に位置している。左面ＡＶ３は、車両Ｖの左側の面の画像であり、自車画像ＡＶにおいて、上面ＡＶ１の左側に位置している。右面ＡＶ４は、車両Ｖの右側の面の画像であり、自車画像ＡＶにおいて、上面ＡＶ１の右側に位置している。後面ＡＶ５は、車両Ｖの後側の面の画像であり、自車画像ＡＶにおいて、上面ＡＶ１の後側に位置している。前面ＡＶ２、左面ＡＶ３、右面ＡＶ４、後面ＡＶ５は、上面ＡＶ１側に向けて倒れた画像となっているため、上面ＡＶ１側（中央側）に向かうに従って、車両Ｖの鉛直方向上側の部分を示す画像となっている。
このように、自車画像ＡＶは、車両Ｖの展開図となっており、前面ＡＶ２、左面ＡＶ３、右面ＡＶ４、後面ＡＶ５を含んだ画像となる。前面ＡＶ２、左面ＡＶ３、右面ＡＶ４、後面ＡＶ５は、鉛直方向に延在する面であるため、車両Ｖの鉛直方向における各位置の情報（形状や模様や色などの視覚情報）を含んだ画像であるといえる。従って、展開図である自車画像ＡＶは、車両Ｖの鉛直方向における各位置の情報を含んだ画像になっているといえる。なお、自車画像ＡＶは、車両Ｖの鉛直方向における各位置の情報を含んだ画像となっていれば、車両Ｖの展開図であることに限られない。例えば、自車画像ＡＶは、車両Ｖの鉛直方向下側の箇所を示す画像（以下、下側自車画像と記載）と、下側自車画像よりも車両Ｖの鉛直方向上側の箇所を示す画像（以下、上側自車画像と記載）と、を含んでいればよい。この場合、例えば、自車画像ＡＶは、上側自車画像が、下側自車画像よりも、Ｚ方向から見た放射方向内側に位置していることが好ましい。また、自車画像ＡＶは、内側（中央側）に向かうに従って、車両Ｖの鉛直方向上側の箇所を示すように生成された画像であることが好ましいともいえる。
自車画像ＡＶは、予め生成された静止画像であり、撮像部１０によって撮像された周囲俯瞰画像Ａ１のように、逐次更新される画像ではない。ただし、自車画像ＡＶは、撮像部によって撮像される画像に基づき生成され、逐次更新される画像であってもよい。また、通常、車両Ｖの展開図は、側面の絵が外側に展開される分、車両Ｖを鉛直方向上側から見た場合よりも大きくなる。しかし、自車画像ＡＶは、鉛直方向上側から見た場合の車両Ｖの大きさと同じになるように、縮小されて生成される。すなわち、表示画像Ｐ内において、自車画像ＡＶが占める領域の大きさは、表示画像Ｐの全体の大きさに対して予め設定されている。自車画像ＡＶは、この自車画像ＡＶが占める領域内に収まるように、縮小されて生成される。言い換えれば、表示画像Ｐの全体の大きさと自車画像ＡＶの大きさとの比率は、共通する鉛直方向上方の視点から見た、表示画像Ｐに写る領域全体の大きさと車両Ｖの大きさとの比率に等しくなるように、自車画像ＡＶが生成される。
次に、近接状態画像Ｂについて説明する。近接状態画像Ｂは、車両Ｖへの障害物の近接状態を、車両Ｖの鉛直方向における位置毎に示す画像である。また、近接状態画像Ｂは、車両Ｖへの障害物の近接状態を、車両Ｖの周囲（鉛直方向を中心軸とした車両Ｖの周方向）の位置毎に示す画像である。図４に示すように、近接状態画像Ｂは、枠状の画像である下側近接状態画像Ｂ１と、下側近接状態画像Ｂ１の内側に位置している枠状の画像である上側近接状態画像Ｂ２と、を有する。下側近接状態画像Ｂ１は、車両Ｖの鉛直方向下側の箇所への障害物の近接状態を示す画像である。上側近接状態画像Ｂ２は、車両Ｖの鉛直方向上側の箇所への障害物の近接状態を示す画像であり、さらに言えば、下側近接状態画像Ｂ１よりも車両Ｖの鉛直方向上側への障害物の近接状態を示す画像である。
図４の例では、下側近接状態画像Ｂ１は、下側近接状態画像ＢＡ１、ＢＢ１、ＢＣ１、ＢＤ１、ＢＥ１、ＢＦ１、ＢＧ１、ＢＨ１、ＢＩ１、ＢＪ１を有する。下側近接状態画像ＢＡ１、ＢＢ１、ＢＣ１、ＢＤ１、ＢＥ１、ＢＦ１、ＢＧ１、ＢＨ１、ＢＩ１、ＢＪ１は、それぞれ、車両Ｖの周囲のうちの異なる位置への近接情報を示す画像である。上側近接状態画像Ｂ２は、上側近接状態画像ＢＡ２、ＢＢ２、ＢＣ２、ＢＤ２、ＢＥ２、ＢＦ２、ＢＧ２、ＢＨ２、ＢＩ２、ＢＪ２を有する。上側近接状態画像ＢＡ２、ＢＢ２、ＢＣ２、ＢＤ２、ＢＥ２、ＢＦ２、ＢＧ２、ＢＨ２、ＢＩ２、ＢＪ２は、それぞれ、車両Ｖの周囲のうちの異なる位置への近接情報を示す画像である。
下側近接状態画像ＢＡ１は、車両Ｖの前側であって下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＡ１は、近接情報取得部３２が、車両Ｖの前側であって下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ａ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＡ１は、自車画像ＡＶの前側の位置に重畳して表示される。本実施形態では、下側近接状態画像ＢＡ１は、自車画像ＡＶの前側に沿って左右方向（方向Ｙ）に延在する３重の線で構成される。
下側近接状態画像ＢＡ１は、近接する障害物があると検出された場合と、近接する障害物がないと検出された場合とで、表示内容が異なる。例えば、下側近接状態画像ＢＡ１は、近接する障害物がない場合に、緑色などの所定の色で表示され、近接する障害物がある場合に、例えば黄色など障害物がない場合と異なる色で表示される。また、下側近接状態画像ＢＡ１は、近接する障害物がある場合であっても、障害物までの距離に応じて、表示内容を変更させてもよい。例えば、下側近接状態画像ＢＡ１は、障害物までの距離が第一所定距離未満かつ第一所定距離より小さい第二所定距離以上の場合、黄色で表示され、障害物までの距離が第二所定距離未満の場合、赤色で表示されてもよい。ただし、下側近接状態画像ＢＡの表示内容は、これに限られず任意であり、近接する障害物があると検出された場合と近接する障害物がないと検出された場合とで、表示内容が異なればよい。例えば、下側近接状態画像ＢＡ１は、近接する障害物がある場合と近接する障害物がない場合とで、線の数や形状を変化させてもよいし、近接する障害物がある場合に、障害物がある旨を示す文字やマークなどを表示させてもよい。なお、他の近接状態画像Ｂにおいても、近接する障害物があると検出された場合と、近接する障害物がないと検出された場合との表示の仕方は、下側近接状態画像ＢＡ１と同様である。
上側近接状態画像ＢＡ２は、車両Ｖの前側であって上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＡ２は、近接情報取得部３２が、車両Ｖの前側であって上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ａ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＡ２は、自車画像ＡＶの前側であって下側近接状態画像ＢＡ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＡ２は、自車画像ＡＶの前側に沿って左右方向（方向Ｙ）に延在する３重の線で構成される。
下側近接状態画像ＢＢ１は、車両Ｖの左前側の角部の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＢ１は、近接情報取得部３２が、車両Ｖの左前側の角部の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｂ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＢ１は、自車画像ＡＶの左前側の角部の位置に表示される。本実施形態では、下側近接状態画像ＢＢ１は、自車画像ＡＶの左前側の角部に沿った３重の曲線で構成される。
上側近接状態画像ＢＢ２は、車両Ｖの左前側の角部の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＢ２は、近接情報取得部３２が、車両Ｖの左前側の角部の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｂ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＢ２は、自車画像ＡＶの左前側の角部であって、下側近接状態画像ＢＢ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＢ２は、自車画像ＡＶの左前側の角部に沿った３重の曲線で構成される。
下側近接状態画像ＢＣ１は、車両Ｖの右前側の角部の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＣ１は、近接情報取得部３２が、車両Ｖの右前側の角部の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｃ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＣ１は、自車画像ＡＶの右前側の角部の位置に表示される。本実施形態では、下側近接状態画像ＢＣ１は、自車画像ＡＶの右前側の角部に沿った３重の曲線で構成される。
上側近接状態画像ＢＣ２は、車両Ｖの右前側の角部の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＣ２は、近接情報取得部３２が、車両Ｖの右前側の角部の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｃ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＣ２は、自車画像ＡＶの右前側の角部であって、下側近接状態画像ＢＣ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＣ２は、自車画像ＡＶの右前側の角部に沿った３重の曲線で構成される。
下側近接状態画像ＢＤ１は、車両Ｖの左前側の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＤ１は、近接情報取得部３２が、車両Ｖの左前側の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｄ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＤ１は、自車画像ＡＶの左前側の位置であって、下側近接状態画像ＢＢ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＤ１は、自車画像ＡＶの左側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
上側近接状態画像ＢＤ２は、車両Ｖの左前側の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＤ２は、近接情報取得部３２が、車両Ｖの左前側の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｄ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＤ２は、自車画像ＡＶの左前側であって、上側近接状態画像ＢＢ２より後方側に表示され、下側近接状態画像ＢＤ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＤ２は、自車画像ＡＶの左側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
下側近接状態画像ＢＥ１は、車両Ｖの右前側の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＥ１は、近接情報取得部３２が、車両Ｖの右前側の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｅ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＥ１は、自車画像ＡＶの右前側の位置であって、下側近接状態画像ＢＣ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＥ１は、自車画像ＡＶの右側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
上側近接状態画像ＢＥ２は、車両Ｖの右前側の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＥ２は、近接情報取得部３２が、車両Ｖの右前側の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｅ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＥ２は、自車画像ＡＶの右前側であって、上側近接状態画像ＢＣ２より後方側に表示され、下側近接状態画像ＢＥ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＥ２は、自車画像ＡＶの右側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
下側近接状態画像ＢＦ１は、車両Ｖの左後ろ側の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＦ１は、近接情報取得部３２が、車両Ｖの左後ろ側の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｆ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＦ１は、自車画像ＡＶの左後ろ側の位置であって、下側近接状態画像ＢＤ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＦ１は、自車画像ＡＶの左側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
上側近接状態画像ＢＦ２は、車両Ｖの左後ろ側の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＦ２は、近接情報取得部３２が、車両Ｖの左後ろ側の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｆ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＦ２は、自車画像ＡＶの左後ろ側であって、上側近接状態画像ＢＤ２より後方側に表示され、下側近接状態画像ＢＦ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＦ２は、自車画像ＡＶの左側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
下側近接状態画像ＢＧ１は、車両Ｖの右後ろ側の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＧ１は、近接情報取得部３２が、車両Ｖの右後ろ側の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｇ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＧ１は、自車画像ＡＶの右後ろ側の位置であって、下側近接状態画像ＢＥ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＧ１は、自車画像ＡＶの右側に沿って前後方向（Ｘ方向）に延在する３重の曲線で構成される。
上側近接状態画像ＢＧ２は、車両Ｖの右後ろ側の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＧ２は、近接情報取得部３２が、車両Ｖの右後ろ側の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｇ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＧ２は、自車画像ＡＶの右後ろ側であって、上側近接状態画像ＢＥ２より後方側に表示され、下側近接状態画像ＢＧ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＧ２は、自車画像ＡＶの右側に沿って前後方向（Ｘ方向）に延在する３重の線で構成される。
下側近接状態画像ＢＨ１は、車両Ｖの左後ろ側の角部の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＨ１は、近接情報取得部３２が、車両Ｖの左後ろ側の角部の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｈ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＨ１は、自車画像ＡＶの左後ろ側の角部の位置であって、下側近接状態画像ＢＦ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＨ１は、自車画像ＡＶの左後ろの角部に沿った３重の曲線で構成される。
上側近接状態画像ＢＨ２は、車両Ｖの左後ろ側の角部の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＨ２は、近接情報取得部３２が、車両Ｖの左後ろ側の角部の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｈ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＨ２は、自車画像ＡＶの左後ろ側の角部の位置であって、上側近接状態画像ＢＦ２より後方側に表示され、下側近接状態画像ＢＨ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＨ２は、自車画像ＡＶの左後ろの角部に沿った３重の曲線で構成される。
下側近接状態画像ＢＩ１は、車両Ｖの右後ろ側の角部の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＩ１は、近接情報取得部３２が、車両Ｖの右後ろ側の角部の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｉ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＩ１は、自車画像ＡＶの右後ろの角部の位置であって、下側近接状態画像ＢＧ１より後方側に表示される。本実施形態では、下側近接状態画像ＢＩ１は、自車画像ＡＶの右後ろの角部に沿った３重の曲線で構成される。
上側近接状態画像ＢＩ２は、車両Ｖの右後ろ側の角部の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＩ２は、近接情報取得部３２が、車両Ｖの右後ろ側の角部の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｉ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＩ２は、自車画像ＡＶの右後ろの角部であって、上側近接状態画像ＢＧ２より後方側に表示され、下側近接状態画像ＢＩ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＩ２は、自車画像ＡＶの右後ろの角部に沿った３重の曲線で構成される。
下側近接状態画像ＢＪ１は、車両Ｖの後ろ側の下側の箇所に近接する障害物があるかを示す画像である。下側近接状態画像ＢＪ１は、近接情報取得部３２が、車両Ｖの後ろ側の下側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｊ１によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。下側近接状態画像ＢＪ１は、自車画像ＡＶの後ろ側の位置に表示される。本実施形態では、下側近接状態画像ＢＧ１は、自車画像ＡＶの後ろ側に沿って左右方向（Ｙ方向）に延在する３重の曲線で構成される。
上側近接状態画像ＢＪ２は、車両Ｖの後ろ側の上側の箇所に近接する障害物があるかを示す画像である。上側近接状態画像ＢＪ２は、近接情報取得部３２が、車両Ｖの後ろ側の上側の箇所に障害物が近接している旨の近接情報を取得した場合に、すなわち、障害物検出部１２Ｊ２によって障害物があると検出された場合に、障害物がある旨を報知する画像（アイコン）である。上側近接状態画像ＢＪ２は、自車画像ＡＶの後ろ側であって、下側近接状態画像ＢＪ１よりも内側の位置に表示される。本実施形態では、上側近接状態画像ＢＪ２は、自車画像ＡＶの後ろ側に沿って左右方向（Ｘ方向）に延在する３重の線で構成される。なお、以上説明したそれぞれの近接状態画像Ｂは、３重の線で構成されているが、形状はそれに限られず任意である。
このように、近接状態画像Ｂは、鉛直方向から見た車両Ｖの周囲の区間毎に、区分して表示されており、言い換えれば、自車画像ＡＶの周囲に沿って、複数表示される。従って、この近接状態画像Ｂによると、車両Ｖの周囲のどの位置に障害物が近接しているかを、認識することができる。また、近接状態画像Ｂは、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とを有する。従って、この近接状態画像Ｂによると、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、認識することができる。なお、上側近接状態画像Ｂ２は、下側近接状態画像Ｂ１よりも、表示画像Ｐの内側、すなわち俯瞰画像Ａの中央部側に表示されている。本実施形態では、下側近接状態画像Ｂ１は、自車画像ＡＶ内において、面ＡＶ１よりも外側に表示される。また、上側近接状態画像Ｂ２は、自車画像ＡＶ内において、下側近接状態画像Ｂ１よりも内側に表示され、さらに言えば、面ＡＶ１内に表示される。ただし、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とが表示される位置は、それに限られない。例えば、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とは、少なくとも一方が、自車画像ＡＶ外、すなわち周囲俯瞰画像Ａ１内に表示されてもよい。この場合、例えば、下側近接状態画像Ｂ１が周囲俯瞰画像Ａ１内に表示され、上側近接状態画像Ｂ２が自車画像ＡＶ内に表示されてもよいし、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２との両方が周囲俯瞰画像Ａ１内に表示されてもよい。
なお、近接状態画像Ｂは、車両Ｖの鉛直方向の位置毎の近接状態を示すものであれば、その数及び位置は、以上説明したものに限られず任意である。また、以上の説明では、近接状態画像Ｂは、それぞれの障害物検出部１２の検出結果に対応して生成されるものであった。ただし、近接状態画像Ｂは、複数の障害物検出部１２の検出結果に基づき表示されるものであってもよい。例えば、障害物検出部１２Ａ１、１２Ｂ１、１２Ｃ１の検出結果に基づき、前方の下側近接状態画像Ｂ１Ａが生成されてもよい。また、１つの障害物検出部１２の検出結果に基づき、複数の近接状態画像Ｂを生成してもよい。例えば、障害物検出部１２Ａ１の検出結果に基づき、前方の下側の下側近接状態画像Ｂ１Ａと、前方の上側の上側近接状態画像Ｂ２Ａとが生成されてもよい。
図５は、第１実施形態に係る表示画像を示す模式図である。図４は、車両Ｖに近接する障害物が無い場合の例を示していたが、図５は、車両Ｖに近接する障害物がある場合の表示画像Ｐを示している。ここでは、車両Ｖの左前側の角部の下側に近接する障害物Ｓ１と、車両Ｖの右後ろ側の上側に近接する障害物Ｓ２とがある場合を例にしている（図１を参照）。この場合、図５に示すように、表示画像Ｐは、周囲俯瞰画像Ａ１の左前の角部の位置に、障害物Ｓ１を撮像した画像である障害物画像Ｆ１が表示され、周囲俯瞰画像Ａ１の右後ろの位置に、障害物Ｓ２を撮像した画像である障害物画像Ｆ２が表示される。そして、近接状態画像Ｂは、下側近接状態画像ＢＢ１と上側近接状態画像ＢＧ２とが、近接する障害物がある旨の表示となっている。
表示画像Ｐは、以上のような画像となっている。次に、俯瞰画像生成装置２０の制御部２２による表示画像Ｐの表示フローについて説明する。図６は、第１実施形態に係る表示画像の表示フローを説明するフローチャートである。図６に示すように、制御部２２は、表示画像Ｐの表示を開始するか否かを判定する（ステップＳ１０）。制御部２２は、車両情報取得部３４が取得した車両情報に基づき、表示画像Ｐの表示を開始するかを判定する。例えば、制御部２２は、車両Ｖの後退トリガがある場合に、表示画像Ｐの表示を開示すると判定し、後退トリガが無い場合に、表示画像Ｐの表示を開始しないと判定する。後退トリガとは、例えば、シフトポジションが「リバース」とされたことをいう。または、後退トリガとは、車両Ｖの進行方向が車両Ｖの前後方向の後方となったことをいう。ただし、表示画像Ｐの表示のトリガは、後退トリガに限られず、任意に設定することができる。例えば、表示画像Ｐは、常に表示されていてもよいし、運転者の操作によって表示開始されてもよい。
表示画像Ｐの表示を開始しない場合（ステップＳ１０；Ｎｏ）、ステップＳ１０に戻る。表示画像Ｐの表示を開始する場合（ステップＳ１０；Ｙｅｓ）、制御部２２は、俯瞰画像生成部４０及び近接状態画像生成部４２により、俯瞰画像Ａと近接状態画像Ｂとを生成する（ステップＳ１２）。俯瞰画像生成部４０は、車両Ｖの周囲を鉛直方向上側から見下ろした周囲俯瞰画像Ａ１と、自車画像ＡＶとを重畳した画像を、俯瞰画像Ａとして生成する。近接状態画像生成部４２は、車両Ｖへの障害物の近接状態を、車両Ｖの位置毎に示す画像を、近接状態画像Ｂとして生成する。俯瞰画像Ａと近接状態画像Ｂとを生成したら、制御部２２は、表示画像生成部４４により、俯瞰画像Ａと近接状態画像Ｂとを重畳して、表示画像Ｐを生成し、（ステップＳ１４）表示制御部３８により、生成した表示画像Ｐを表示部１４に表示させる（ステップＳ１６）。その後、制御部２２は、表示画像Ｐの表示を終了するかを判断し（ステップＳ１８）、表示を終了しない場合（ステップＳ１８；Ｎｏ）、ステップＳ１２に戻り、俯瞰画像Ａと近接状態画像Ｂとを更新して、表示画像Ｐを更新表示させる。表示を終了する場合（ステップＳ１８；Ｙｅｓ）、本処理を終了する。
以上説明したように、第１実施形態に係る俯瞰画像生成装置２０は、画像取得部３０と、近接情報取得部３２と、俯瞰画像生成部４０と、近接状態画像生成部４２と、表示制御部３８とを有する。画像取得部３０は、車両Ｖの周辺を撮像した周辺画像を取得する。近接情報取得部３２は、車両Ｖの周辺において検出した障害物の車両Ｖへの近接状態を示す近接情報を取得する。俯瞰画像生成部４０は、周辺画像から車両Ｖを鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像Ａを生成する。近接状態画像生成部４２は、近接情報に基づき、近接状態画像Ｂを生成する。近接状態画像Ｂは、車両Ｖへの障害物の近接状態を、車両Ｖの鉛直方向における位置毎に示す画像である。表示制御部３８は、俯瞰画像Ａと近接状態画像Ｂとを、重畳して表示部１４に表示させる。
従来から、車両Ｖの周囲の状況を示す俯瞰画像を表示して、車両Ｖに近接する障害物があるかを運転者に通知する場合がある。しかし、俯瞰画像は、車両Ｖを鉛直方向上方から見た画像である。そのため、俯瞰画像を用いた場合、車両Ｖの周囲におけるどの位置に障害物が近接しているかについては、運転者に認識させることは可能であるが、車両Ｖの鉛直方向のどの位置に障害物が近接しているかについては、運転者に認識させることが難しい。例えば異なる視点からの映像を複数表示することで、車両Ｖの鉛直方向のどの位置に障害物が近接しているかについても認識させることは可能であるが、複数の映像を同時に見ることは、運転者にとって負担が大きい。それに対し、本実施形態に係る俯瞰画像生成装置２０は、車両Ｖの周辺の俯瞰画像である俯瞰画像Ａと、障害物の近接状態を車両Ｖの鉛直方向における位置毎に示す近接状態画像Ｂとを、重畳して表示する。そのため、この俯瞰画像生成装置２０によると、俯瞰画像Ａと近接状態画像Ｂとが重畳した表示画像Ｐを表示するため、運転者は、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、１つの表示画像Ｐを見るだけで、適切に認識することができる。従って、この俯瞰画像生成装置２０によると、車両Ｖのどの位置に障害物が近接しているかを、運転者に適切に認識させることができる。車両Ｖが大型車両である場合、車両Ｖは鉛直方向に高いものとなるため、この俯瞰画像生成装置２０を用いることが特に有効となる。
また、俯瞰画像生成部４０は、車両Ｖを示す自車画像ＡＶが俯瞰画像Ａの中央部に位置するように、俯瞰画像Ａを生成する。自車画像ＡＶは、車両Ｖの鉛直方向における位置の情報を含んでいる。この俯瞰画像生成装置２０は、近接状態画像Ｂに加え、車両Ｖの鉛直方向毎の位置の情報を含んだ自車画像ＡＶを表示する。従って、運転者は、近接状態画像Ｂと自車画像ＡＶとを同時に視認することで、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、より好適に認識することができる。すなわち、運転者は、近接状態画像Ｂで、近接する障害物の位置をおおよそ視認しつつ、自車画像ＡＶで、その障害物が車両Ｖのどの位置に近接しているかを、認識することができる。
また、俯瞰画像生成部４０は、車両Ｖの鉛直方向上側の面ＡＶ１を中心とした展開図を自車画像ＡＶとして、俯瞰画像Ａを生成する。この俯瞰画像生成装置２０は、自車画像ＡＶを車両Ｖの展開図とすることで、障害物が車両Ｖのどの位置に近接しているかを、より好適に認識させることができる。
また、近接状態画像生成部４２は、鉛直方向から見た車両Ｖの周囲の区間毎に、近接状態画像Ｂを区分して生成する。近接状態画像生成部４２は、車両Ｖの周囲の区間毎に、近接状態画像Ｂを区分することで、車両Ｖの鉛直方向のどの位置であって、車両Ｖの周囲方向のどの位置に障害物が近接しているかを、より好適に認識させることができる。
また、近接状態画像生成部４２は、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とを、近接状態画像Ｂとして生成する。下側近接状態画像Ｂ１は、車両Ｖへの障害物の近接状態を示す画像である。上側近接状態画像Ｂ２は、下側近接状態画像Ｂ１よりも車両Ｖの鉛直方向上側への障害物の近接状態を示す画像である。この俯瞰画像生成装置２０は、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とを表示することで、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、適切に認識させることができる。なお、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２とは、いずれか一方のみを表示するようにしてもよい。この場合、運転者が、下側近接状態画像Ｂ１と上側近接状態画像Ｂ２のいずれか一方のみまたは両方を表示するよう切り替えられるようにしてもよい。
また、近接状態画像生成部４２は、上側近接状態画像Ｂ２を、下側近接状態画像Ｂ１よりも俯瞰画像Ａの中央部側に表示させるように、近接状態画像Ｂを生成する。この俯瞰画像生成装置２０は、鉛直方向上側への近接状態を示す上側近接状態画像Ｂ２を、画面の中央側（内側）に表示することで、運転者に直観的に鉛直方向の近接情報を認識させることが可能となる。
また、俯瞰画像生成システム１は、俯瞰画像生成装置２０と、表示部１４と、車両Ｖの周辺を撮像した周辺画像を取得する撮像部１０と、車両Ｖの周辺における障害物を検出する障害物検出部１２と、を有する。この俯瞰画像生成システム１は、俯瞰画像生成装置２０を備えるため、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、適切に認識させることができる。
なお、表示画像Ｐは、以上説明した第１実施形態と異なる形態となっていてもよい。図７から図９は、第１実施形態の表示画像の他の例を示す図である。第１実施形態において、近接状態画像Ｂは、障害物が無い場合とある場合との両方において、表示されていた。ただし、図７に示すように、近接状態画像Ｂは、障害物が無い場合には表示されず、障害物がある場合に表示されるものであってもよい。この場合であっても、近接状態画像Ｂは、障害物が無い場合とある場合とで、表示内容が異なっているといえる。また、近接状態画像Ｂは、運転者が、直視やサイドミラー等、目視で確認できない範囲のみを表示するようにしてもよい。この場合、目視で確認できない範囲をあらかじめ記憶部２４に保持しておくことが望ましい。
また、第１実施形態において、自車画像ＡＶは、車両Ｖの展開図であったが、上述のように、車両Ｖの鉛直方向毎の位置の情報を含むものであれば、展開図に限られない。例えば、図８に示すように、自車画像ＡＶａは、車両Ｖの鉛直方向下側の箇所を示す下側自車画像ＡＶａ１と、下側自車画像ＡＶａ１よりも車両Ｖの鉛直方向上側の箇所を示す上側自車画像ＡＶａ２、ＡＶａ３とを有していてもよい。下側自車画像ＡＶａ１は、車両Ｖの鉛直方向下側の位置の外周を示す枠線であり、上側自車画像ＡＶａ２、ＡＶａ３は、下側自車画像ＡＶａ１よりも車両Ｖの鉛直方向上側の位置の外周を示す枠線である。上側自車画像ＡＶａ２、ＡＶａ３は、下側自車画像ＡＶａ１よりも自車画像ＡＶａの内側（中央側）に表示されている。すなわち、自車画像ＡＶａは、車両Ｖを等高線状に表示した画像であるともいえる。このように下側自車画像ＡＶａ１と上側自車画像ＡＶａ２、ＡＶａ３とを表示することによっても、車両Ｖの鉛直方向毎の位置の情報を含ませることができるため、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、好適に認識することができる。なお、図８の例では、上側自車画像ＡＶａ２は、車両部Ｖ１の上側を示す枠線であり、上側自車画像ＡＶａ３は、コンテナ部Ｖ２を示す枠線である。
また、図９に示すように、自車画像ＡＶａを、１つの枠線として表示してもよい。すなわち、図９に示す自車画像ＡＶａは、車両Ｖの鉛直方向毎の位置の情報を含まなくてもよい。この場合でも、近接状態画像Ｂにより、車両Ｖの鉛直方向のどの位置に障害物が近接しているかを、好適に認識することができる。
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態においては、表示画像Ｐに表示される障害物画像の表示内容が、第１実施形態と異なる。第２実施形態において、第１実施形態と構成が共通する箇所は、説明を省略する。
図１０は、第２実施形態に係る表示画像を示す模式図である。図１０では、第２実施形態に係る表示画像Ｐａが、周囲俯瞰画像Ａ１に、障害物画像Ｆ２、Ｆ３を表示させている例を示している。障害物画像Ｆ２は、車両Ｖの右後ろ側の上側に近接する障害物Ｓ２の画像であり、障害物画像Ｆ３は、車両Ｖの右後ろの角部の下側に近接する障害物Ｓ３の画像である。第２実施形態において、俯瞰画像生成部４０は、障害物が車両Ｖのどの位置に近接するかに応じて、俯瞰画像Ａ中の障害物画像の表示内容を異ならせる。すなわち、障害物Ｓ２と障害物Ｓ３とは、車両Ｖの鉛直方向において異なる位置に近接している。従って、俯瞰画像生成部４０は、障害物画像Ｆ２と障害物画像Ｆ３との表示内容を異ならせている。具体的には、俯瞰画像生成部４０は、障害物画像Ｆ２と障害物画像Ｆ３との形状については、俯瞰画像Ａの生成時に鉛直方向から見た画像に変換した状態のままとしつつ、形状以外の点で、障害物画像Ｆ２と障害物画像Ｆ３とを、異なる表示とすることが好ましい。例えば、俯瞰画像生成部４０は、障害物画像Ｆ２と障害物画像Ｆ３とを、異なる色で表示してもよい。また、俯瞰画像生成部４０は、障害物画像Ｆ２と障害物画像Ｆ３とに、異なるマークや文字などを付してもよい。なお、障害物Ｓ２と障害物Ｓ３とは、近接する位置が、車両Ｖの鉛直方向に異なっているものであったが、俯瞰画像生成部４０は、車両Ｖの周囲（周方向）において異なる位置に近接する障害物の障害物画像についても、障害物画像Ｆ２及び障害物画像Ｆ３と同様に、表示内容を異ならせてよい。
より詳しくは、第２実施形態において、近接状態画像生成部４２は、車両Ｖの鉛直方向における位置毎に、近接状態画像Ｂの表示内容を異ならせる。そして、俯瞰画像生成部４０は、障害物画像の表示内容を、その障害物画像の撮像元の障害物が近接している箇所の近接状態画像Ｂの表示内容に対応付ける。すなわち、図１０の例では、俯瞰画像生成部４０は、近接状態画像ＢＩ１の位置、すなわち右後ろの角部の下側に近接する障害物Ｓ３の障害物画像Ｆ３を、近接状態画像ＢＩ１の表示内容に対応付ける。同様に、俯瞰画像生成部４０は、近接状態画像ＢＧ２の位置、すなわち右後ろの上側に近接する障害物Ｓ２の障害物画像Ｆ２を、近接状態画像ＢＧ２の表示内容に対応付ける。ここでの表示内容としては、例えば色である。すなわち、俯瞰画像生成部４０は、障害物画像Ｆ３の色を、近接状態画像ＢＩ１の色と同色にし、障害物画像Ｆ２の色を、近接状態画像ＢＧ２の色と同色にする。ただし、表示内容は、色に限られず、例えばマークや文字など任意の表示であってもよい。この場合、俯瞰画像生成部４０は、例えば、障害物画像Ｆ３に付したマークや文字を、近接状態画像ＢＩ１に付したマークや文字と同じにし、障害物画像Ｆ２に付したマークや文字を、近接状態画像ＢＧ２に付したマークや文字と同じにする。なお、図１０の例では、近接状態画像生成部４２は、車両Ｖの鉛直方向における位置毎に、近接状態画像Ｂの表示内容を異ならせていたが、車両Ｖの周囲における位置毎にも、近接状態画像Ｂの表示内容を異ならせてよい。
なお、近接状態画像生成部４２は、位置毎に近接状態画像Ｂの色を異ならせている場合、例えば、障害物が近接している場合としていない場合とで、色以外の表示内容を異ならせることが好ましい。例えば、近接状態画像生成部４２は、障害物が近接していない場合に、同じ色を表示させたままとしつつ、障害物が近接している場合に、近接状態画像Ｂを点滅させてよい。図１１は、第２実施形態に係る表示画像の他の例を示す模式図である。図１１に示すように、近接状態画像生成部４２は、障害物が近接している場合にのみ近接状態画像Ｂを表示させるようにしてもよい。
このように、第２実施形態においては、近接状態画像生成部４２は、車両Ｖの位置毎に、近接状態画像Ｂの表示内容を異ならせる。ここでの車両Ｖの位置とは、車両Ｖの鉛直方向における位置と、車両Ｖの周囲における位置との少なくとも一方を指す。そして、俯瞰画像生成部４０は、障害物を示す画像（障害物画像）の表示内容を、その障害物が近接している位置の近接状態画像Ｂの表示内容に対応付ける。従って、第２実施形態によると、どの障害物がどの位置に近接しているかを、より好適に認識することができる。
また、近接状態画像生成部４２は、車両Ｖの位置毎に、近接状態画像Ｂの色を異ならせ、俯瞰画像生成部４０は、障害物画像の色を、その障害物が近接している位置の近接状態画像Ｂの色と同色にする。第２実施形態によると、色を同色とすることで、どの障害物がどの位置に近接しているかを、より好適に認識することができる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
１ 俯瞰画像生成システム
１０ 撮像部
１２ 障害物検出部
１４ 表示部
２０ 俯瞰画像生成装置
２２ 制御部
３０ 画像取得部
３２ 近接情報取得部
３６ 画像生成部
３８ 表示制御部
４０ 俯瞰画像生成部
４２ 近接状態画像生成部
４４ 表示画像生成部
Ａ 俯瞰画像
Ａ１ 周囲俯瞰画像
ＡＶ 自車画像
Ｂ 近接状態画像
Ｐ 表示画像
Ｖ 車両

Claims (7)

  1. 車両の周辺を撮像した周辺画像を取得する画像取得部と、
    前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得部と、
    前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成部と、
    前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部と、
    前記俯瞰画像と前記近接状態画像とを重畳して表示部に表示させる表示制御部と、
    を有する、俯瞰画像生成装置。
  2. 前記俯瞰画像生成部は、前記車両を示す自車画像が前記俯瞰画像の中央部に位置するように、前記俯瞰画像を生成し、前記自車画像は、前記車両の鉛直方向における位置の情報を含んでいる、請求項１に記載の俯瞰画像生成装置。
  3. 前記俯瞰画像生成部は、前記車両の鉛直方向上側の面を中心とした展開図を前記自車画像として、前記俯瞰画像を生成する、請求項２に記載の俯瞰画像生成装置。
  4. 前記近接状態画像生成部は、前記車両への前記障害物の近接状態を示す下側近接状態画像と、前記下側近接状態画像よりも前記車両の鉛直方向上側への前記障害物の近接状態を示す上側近接状態画像とを、前記近接状態画像として生成し、前記上側近接状態画像を、前記下側近接状態画像よりも前記俯瞰画像の中央部側に表示させる、請求項１から請求項３のいずれか１項に記載の俯瞰画像生成装置。
  5. 前記近接状態画像生成部は、前記車両の位置毎に、前記近接状態画像の表示内容を異ならせ、
    前記俯瞰画像生成部は、前記障害物を示す画像の表示内容を、その障害物が近接している位置の前記近接状態画像の表示内容に対応付ける、請求項１から請求項４のいずれか１項に記載の俯瞰画像生成装置。
  6. 車両の周辺を撮像した周辺画像を取得する画像取得ステップと、
    前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得ステップと、
    前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成ステップと、
    前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部ステップと、
    前記俯瞰画像と前記近接状態画像とを表示部に表示させる表示制御ステップと、
    を含む、俯瞰画像生成方法。
  7. 車両の周辺を撮像した周辺画像を取得する画像取得ステップと、
    前記車両の周辺において検出した障害物の前記車両への近接状態を示す近接情報を取得する近接情報取得ステップと、
    前記周辺画像から前記車両を鉛直方向の上方から見下ろすように視点変換処理を行った俯瞰画像を生成する俯瞰画像生成ステップと、
    前記近接情報に基づき、前記車両への前記障害物の近接状態を、前記車両の鉛直方向における位置毎に示す近接状態画像を生成する近接状態画像生成部ステップと、
    前記俯瞰画像と前記近接状態画像とを表示部に表示させる表示制御ステップと、
    を、コンピュータに実行させる、プログラム。
JP2018142139A 2018-07-30 2018-07-30 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム Active JP7180172B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018142139A JP7180172B2 (ja) 2018-07-30 2018-07-30 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム
CN201980049562.6A CN112470465B (zh) 2018-07-30 2019-07-18 俯瞰图像生成装置以及计算机可读存储介质
PCT/JP2019/028285 WO2020026836A1 (ja) 2018-07-30 2019-07-18 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム
EP19844974.6A EP3817373B1 (en) 2018-07-30 2019-07-18 Overhead image generation apparatus, overhead image generation method, and program
US17/159,188 US11498484B2 (en) 2018-07-30 2021-01-27 Overhead image generation device, overhead image generation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018142139A JP7180172B2 (ja) 2018-07-30 2018-07-30 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020021980A true JP2020021980A (ja) 2020-02-06
JP7180172B2 JP7180172B2 (ja) 2022-11-30

Family

ID=69232490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018142139A Active JP7180172B2 (ja) 2018-07-30 2018-07-30 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム

Country Status (5)

Country Link
US (1) US11498484B2 (ja)
EP (1) EP3817373B1 (ja)
JP (1) JP7180172B2 (ja)
CN (1) CN112470465B (ja)
WO (1) WO2020026836A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022107274B4 (de) 2022-03-28 2024-02-15 BEAMOTIONS Rüddenklau Hänel GbR (vertretungsberechtigte Gesellschafter: Rene Rüddenklau, 80687 München und Christian Hänel, 85586 Poing) System und Verfahren für die Gestenerkennung und/oder Gestensteuerung

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145141A1 (ja) * 2010-05-19 2011-11-24 三菱電機株式会社 車両後方監視装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
JP2016046561A (ja) * 2014-08-20 2016-04-04 日野自動車株式会社 運転支援装置および運転支援システム
JP2016119526A (ja) * 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2018109875A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611598B2 (en) * 2011-07-26 2013-12-17 Harman International (China) Holdings Co., Ltd. Vehicle obstacle detection system
WO2018055873A1 (ja) * 2016-09-20 2018-03-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6730617B2 (ja) 2016-09-20 2020-07-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP6897340B2 (ja) * 2017-06-02 2021-06-30 株式会社アイシン 周辺監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145141A1 (ja) * 2010-05-19 2011-11-24 三菱電機株式会社 車両後方監視装置
JP2012105158A (ja) * 2010-11-11 2012-05-31 Mitsubishi Fuso Truck & Bus Corp 連結車両用鳥瞰図表示システム
JP2016046561A (ja) * 2014-08-20 2016-04-04 日野自動車株式会社 運転支援装置および運転支援システム
JP2016119526A (ja) * 2014-12-19 2016-06-30 アルパイン株式会社 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2018109875A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
EP3817373B1 (en) 2022-12-28
US11498484B2 (en) 2022-11-15
JP7180172B2 (ja) 2022-11-30
CN112470465B (zh) 2023-09-29
EP3817373A4 (en) 2021-07-14
US20210146837A1 (en) 2021-05-20
CN112470465A (zh) 2021-03-09
EP3817373A1 (en) 2021-05-05
WO2020026836A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
US8655019B2 (en) Driving support display device
US9836938B2 (en) Shovel having audio output device installed in cab
US8155385B2 (en) Image-processing system and image-processing method
CN109076195B (zh) 俯瞰影像生成装置、***、方法以及存储介质
WO2011108198A1 (ja) 車両の周辺監視装置
US10518701B2 (en) Image monitoring apparatus, movable object, program and failure determining method
JP2010109452A (ja) 車両周囲監視装置及び車両周囲監視方法
JP2017091284A (ja) 車両用画像処理装置および車両用画像処理システム
JP6182629B2 (ja) 車両用表示システム
EP3418122B1 (en) Position change determination device, overhead view image generation device, overhead view image generation system, position change determination method, and program
JP6045865B2 (ja) ショベル
CN107438538A (zh) 用于显示车辆的车辆周围环境的方法
JP2014225803A (ja) 作業機械用周辺監視装置
JP7196881B2 (ja) 俯瞰映像生成装置および俯瞰映像生成方法
JP5178454B2 (ja) 車両周囲監視装置及び車両周囲監視方法
JPWO2019163378A1 (ja) フォークリフト用の画像処理装置、および制御プログラム
WO2016092967A1 (ja) 画像生成装置及び画像生成方法
JP2015065515A (ja) 車両周囲移動物体検知システム
WO2020026836A1 (ja) 俯瞰画像生成装置、俯瞰画像生成方法およびプログラム
JP5192007B2 (ja) 車両の周辺監視装置
CN117774833A (zh) 可移动设备和摄像装置的安装方法
JP6960827B2 (ja) 路面領域検出装置
KR102190891B1 (ko) 차량의 주변 감시 장치 및 방법
JP5310616B2 (ja) 車両周辺表示装置
JP2017025503A (ja) 建設機器操作アシスト表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150