JP2016063390A - 画像処理装置、及び画像表示システム - Google Patents

画像処理装置、及び画像表示システム Download PDF

Info

Publication number
JP2016063390A
JP2016063390A JP2014189714A JP2014189714A JP2016063390A JP 2016063390 A JP2016063390 A JP 2016063390A JP 2014189714 A JP2014189714 A JP 2014189714A JP 2014189714 A JP2014189714 A JP 2014189714A JP 2016063390 A JP2016063390 A JP 2016063390A
Authority
JP
Japan
Prior art keywords
image
distance
host vehicle
processing apparatus
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014189714A
Other languages
English (en)
Inventor
明英 藤尾
Akihide Fujio
明英 藤尾
山本　幸一
Koichi Yamamoto
幸一 山本
あづさ 美濃出
Azusa Minode
あづさ 美濃出
康 清家
Yasushi Seike
康 清家
吉村　実
Minoru Yoshimura
実 吉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2014189714A priority Critical patent/JP2016063390A/ja
Priority to US14/836,345 priority patent/US10609337B2/en
Publication of JP2016063390A publication Critical patent/JP2016063390A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の周辺の障害物や通行人までの距離や危険度を直観的に把握することが可能な技術を提供する。【解決手段】画像を処理する画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す合成画像を生成する合成手段と、前記合成画像に表示された自車両の周囲を囲むように、該自車両からの距離を示す距離指標を重畳した周辺画像を生成する重畳手段と、前記周辺画像を表示装置に出力して該表示装置に表示させる出力手段と、を備えている。【選択図】図１

Description

本発明は、車両に搭載されたカメラの画像を処理する技術に関する。
従来より、自動車などの車両の周囲を示す画像を生成し、この画像を車両内の表示装置に表示する画像表示システムが知られている。このような画像表示システムを利用することにより、ユーザ（代表的にはドライバ）は、車両の周囲の様子をほぼリアルタイムに認識することができる。また、車両の周囲を示す画像に、距離線を表示することで車両からの距離を視覚的に認識できるようにする技術も知られている（例えば、特許文献１参照）。
特開2011-151489号公報
ところが、車両の周囲を示す画像を表示しただけでは、車両の周囲の様子は認識できるものの、例えば、障害物や通行人が存在する場合などには、その障害物や通行人までの距離感がつかめない場合があった。この場合、ユーザが、障害物や通行人に対してどの程度の危険度があるのか直観的に把握することが困難であった。
また、特許文献１では、車両から離れた位置の大まかな距離を把握することはできても、車両周辺の細かい距離までを把握することはできない。つまり、この場合においても、ユーザが、車両の周辺の障害物や通行人に対してどの程度の危険性があるのか直観的に把握することは困難であった。
本発明は、上記課題に鑑みてなされたものであり、車両の周辺の障害物や通行人までの距離や危険度を直観的に把握することが可能な技術を提供することを目的とする。
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す合成画像を生成する合成手段と、前記合成画像に表示された自車両の周囲を囲むように、該自車両からの距離を示す距離指標を重畳した周辺画像を生成する重畳手段と、前記周辺画像を表示装置に出力して該表示装置に表示させる出力手段と、を備えている画像処理装置である。
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記自車両の走行状況に関する情報を取得する取得手段をさらに備え、前記重畳手段は、前記自車両の走行状況に応じて異なる距離指標を合成画像に重畳する。
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記重畳手段は、前記自車両の走行状況が所定の状況になったときに周辺画像を生成する。
また、請求項４の発明は、請求項２又は３に記載の画像処理装置において、前記距離指標は、前記自車両からの距離を示す距離線を有しており、前記重畳手段は、前記自車両の走行状況に応じて距離線の形状が異なる距離指標を合成画像に重畳する。
また、請求項５の発明は、請求項２ないし４のいずれか１項に記載の画像処理装置において、前記距離指標は、前記自車両からの距離を示す距離線を複数有しており、前記重畳手段は、前記自車両の走行状況に応じて距離線の間隔が異なる距離指標を合成画像に重畳する。
また、請求項６の発明は、請求項２ないし５のいずれか１項に記載の画像処理装置において、前記重畳手段は、前記自車両の走行状況に応じて、前記合成画像の自車両の周囲の一部を囲むように、前記距離指標を重畳した周辺画像を生成する。
また、請求項７の発明は、請求項１ないし６のいずれか１項に記載の画像処理装置において、前記距離指標は、自車両からの距離を示す距離線で囲まれた領域を複数有しており、前記各領域の色が異なっている。
また、請求項８の発明は、請求項１ないし７のいずれか１項に記載の画像処理装置において、前記自車両の近傍に存在する物体を検出する検出手段をさらに備え、前記重畳手段は、前記自車両の近傍に物体が存在する場合に、前記距離指標を合成画像に重畳する。
また、請求項９の発明は、画像表示システムであって、請求項１ないし８のいずれか１項に記載の画像処理装置と、画像を表示する表示装置と、を備えている画像表示システムである。
請求項１ないし９の発明によれば、自車両の周囲を囲むように、自車両からの距離を示す距離指標を重畳した周辺画像を生成して表示するため、自車両の周囲の距離を直観的に把握することができ、その結果、危険度も直観的に把握することが可能になる。
また、特に請求項２の発明によれば、自車両の走行状況に応じて異なる距離指標を重畳した周辺画像を表示することができる。つまり、走行状況に応じた適切な距離指標を重畳した周辺画像を表示することができる。このため、異なる走行状況において、距離や危険度の把握がより容易になる。
また、特に請求項３の発明によれば、自車両の走行状況が所定の状況になったときに周辺画像を生成するので、自車両の周囲の距離や危険度を把握する必要性の高いたきに周辺画像を表示することが可能になる。
また、特に請求項４の発明によれば、自車両の走行状況に応じて距離線の形状が異なる距離指標を用いるので、走行状況に応じて適切な距離指標を用いて周辺画像を生成することができる。
また、特に請求項５の発明によれば、自車両の走行状況に応じて距離線の間隔が異なる距離指標を用いるので、走行状況に応じて適切な距離指標を用いて周辺画像を生成することができる。
また、特に請求項６の発明によれば、自車両の周囲の一部を囲むように距離指標を重畳するため、特に注目すべき部分の距離や危険度を直観的に把握することが可能になる。
また、特に請求項７の発明によれば、距離線で囲まれた複数の領域の色を異ならせることで、各距離の領域を直観的に把握することが可能になる。
また、特に請求項８の発明によれば、自車両の近傍に物体が存在する場合に周辺画像を生成するので、特に危険度を知る必要がある場合にその距離や危険度を把握することが可能になる。
図１は、画像表示システムの概要を示す図である。 図２は、４つのカメラが撮影する方向を示す図である。 図３は、合成画像を生成する手法を説明する図である。 図４は、周辺画像の例を示す図である。 図５は、周辺画像の例を示す図である。 図６は、周辺画像の例を示す図である。 図７は、画像表示システムの処理を示すフローチャートである。 図８は、周辺画像の例を示す図である。 図９は、画像表示システムの概要を示す図である。 図１０は、画像表示システムの処理を示すフローチャートである。 図１１は、周辺画像の例を示す図である。 図１２は、周辺画像の例を示す図である。 図１３は、周辺画像の例を示す図である。 図１４は、周辺画像の例を示す図である。 図１５は、周辺画像の例を示す図である。 図１６は、周辺画像の例を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
＜１．第１の実施の形態＞
＜１−１．システムの構成＞
図１は、第１の実施の形態の画像表示システム１０の構成を示すブロック図である。この画像表示システム１０は、車両（本実施の形態では、自動車）において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。画像表示システム１０のユーザ（代表的にはドライバ）は、この画像表示システム１０を利用することにより、当該車両の周辺の様子をほぼリアルタイムに把握でき、車両周辺の距離を直観的に把握できる。以下、この画像表示システム１０が搭載される車両を「自車両」という。
図１に示すように、画像表示システム１０は、複数のカメラ５、画像処理装置２、表示装置３、及び操作ボタン４を主に備えている。複数のカメラ５はそれぞれ、自車両の周辺を撮影して撮影画像を取得し、取得した撮影画像を画像処理装置２に入力する。画像処理装置２は、自車両の周辺を示す撮影画像を用いて、表示装置３に表示するための周辺画像を生成する。表示装置３は、画像処理装置２で生成された周辺画像を表示する。また、操作ボタン４は、ユーザの操作を受け付ける。
複数のカメラ５はそれぞれ、レンズと撮像素子とを備えており、自車両の周辺を示す撮影画像を電子的に取得する。複数のカメラ５は、フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒを含んでいる。これら４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは、自車両９において互いに異なる位置に配置され、自車両の周辺の異なる方向を撮影する。
図２は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒがそれぞれ撮影する方向を示す図である。フロントカメラ５Ｆは、自車両９の前端に設けられ、その光軸５Ｆａは自車両９の直進方向に向けられる。リアカメラ５Ｂは、自車両９の後端に設けられ、その光軸５Ｂａは自車両９の直進方向の逆方向に向けられる。左サイドカメラ５Ｌは左側の左サイドミラー９３Ｌに設けられ、その光軸５Ｌａは自車両９の左側方（直進方向の直交方向）に向けられる。また、右サイドカメラ５Ｒは右側の右サイドミラー９３Ｒに設けられ、その光軸５Ｒａは自車両９の右側方（直進方向の直交方向）に向けられる。
これらのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ５Ｆ，５Ｂ，５Ｌ，５Ｒは１８０度以上の画角θを有している。このため、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒを利用することで、自車両９の全周囲を撮影することが可能である。
図１に戻り、表示装置３は、例えば、液晶などの薄型の表示パネルを備えており、各種の情報や画像を表示する。表示装置３は、ユーザがその画面を視認できるように、自車両９のインストルメントパネルなどに配置される。表示装置３は、画像処理装置２と同一のハウジング内に配置されて画像処理装置２と一体化されていてもよく、画像処理装置２とは別体の装置であってもよい。
操作ボタン４は、ユーザの操作を受け付ける操作部材である。操作ボタン４は、例えば、自車両９のステアリングホイールに設けられており、主にドライバからの操作を受け付ける。また、操作ボタン４として表示装置３のタッチパネルを用いることもできる。ユーザは、この操作ボタン４や、表示装置３のタッチパネルを介して画像表示システム１０に対する各種の操作を行うことができる。操作ボタン４にユーザの操作がなされた場合は、その操作の内容を示す操作信号が画像処理装置２に入力される。
画像処理装置２は、各種の画像処理が可能な電子装置であり、画像取得部２１と、画像合成部２２と、情報重畳部２３と、画像出力部２４とを備えている。
画像取得部２１は、４つのカメラ５Ｆ，５Ｂ，５Ｌ，５Ｒでそれぞれ得られた撮影画像を取得する。画像取得部２１は、アナログの撮影画像をデジタルの撮影画像に変換する機能などの画像処理機能を有している。画像取得部２１は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を画像合成部２２に入力する。
画像合成部２２は、合成画像を生成するための画像処理を行うハードウェア回路である。画像合成部２２は、複数のカメラ５で取得された複数の撮影画像を合成して、仮想視点からみた自車両９の周辺を示す合成画像を生成する。画像合成部２２は、自車両９の周辺に相当する仮想の投影面に複数の撮影画像のデータを投影し、該投影面上のデータを用いて合成画像を生成する。この合成画像を生成する手法の詳細については後述する。
情報重畳部２３は、画像合成部２２で生成された合成画像に対して、ドライバに必要となる各種の情報を重畳する。情報重畳部２３は、自車両９からの距離の目安となる指標（以下「距離指標」という。）を合成画像に重畳して周辺画像を生成する。本実施の形態では、自車両９の周囲を囲むように示された距離指標を合成画像に重畳して周辺画像を生成する。この周辺画像を生成する手法の詳細についても後述する。
画像出力部２４は、情報重畳部２３で生成された周辺画像を表示装置３に出力して、周辺画像を表示装置３に表示させる。これにより、仮想視点からみた自車両９の周辺を示す画像が表示装置３に表示される。
また、画像処理装置２は、制御部２０と、記憶部２５と、信号受信部２６とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理装置２の全体を統括的に制御する。
記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２７は、ファームウェアとしてのプログラムや、地図データや、画像合成部２２が合成画像を生成するために用いる各種のデータや、情報重畳部２３が周辺画像を生成するために用いる各種のデータを記憶する。例えば、このような周辺画像の生成に用いるデータとして自車両９からの距離の目安を示す距離指標などのデータが含まれる。
信号受信部２６は、画像処理装置２とは別に自車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。このような他の装置とは、例えば、ＧＰＳ（Global positioning system：全地球測位システム）受信機９１、車速センサ９２、方向指示器９３、及びシフトセンサ９４などがある。
信号受信部２６は、ＧＰＳ衛星から受信した信号に基づいて導出された、自車両９の位置情報を示す信号をＧＰＳ受信機９１から受信する。また、信号受信部２６は、自車両９が走行する絶対速度である走行速度（ｋｍ／ｈ）を示す信号を車速センサ９２から受信する。また、信号受信部２６は、ドライバが進路変更の意思を示した方向を示す信号を方向指示器９３から受信する。また、信号受信部２６は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを示す信号をシフトセンサ９４から受信する。
制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す条件判定部２０ａ、指標設定部２０ｂ及び表示制御部２０ｃは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
条件判定部２０ａは、周辺画像を生成して表示する条件を満足しているか否かを判定する。指標設定部２０ｂは、周辺画像に重畳する距離指標の種類などを設定する。また、表示制御部２０ｃは、画像出力部２４を制御して、表示すべき周辺画像を表示装置３に出力させる。これら制御部２０で実現される機能部２０ａ〜２０ｃの処理の詳細については後述する。
＜１−２．合成画像の生成＞
次に、画像合成部２２が、仮想視点からみた自車両９の周辺の様子を示す合成画像を生成する手法について説明する。図３は、画像合成部２２が合成画像を生成する手法を説明する図である。
フロントカメラ５Ｆ、リアカメラ５Ｂ、左サイドカメラ５Ｌ、及び、右サイドカメラ５Ｒのそれぞれで撮影が行われると、自車両９の前方、後方、左側方及び右側方をそれぞれ示す４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲが取得される。これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲには、自車両９の全周囲のデータが含まれている。
画像合成部２２は、まず、これら４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲに含まれるデータ（各画素の値）を、仮想的な三次元空間における投影面ＴＳに投影する。投影面ＴＳは、自車両９の周辺の領域に相当する仮想の立体面である。投影面ＴＳの中心領域は、自車両９の位置となる車両領域Ｒ０として定められている。
投影面ＴＳでは、車両領域（自車両９の位置）Ｒ０には撮影画像のデータは投影されず、車両領域Ｒ０の外側の領域に撮影画像のデータが投影される。以下、投影面ＴＳにおいて、撮影画像のデータが投影される領域（車両領域Ｒ０の外側の領域）を、「投影対象領域」という。
また、車両領域Ｒ０には自車両９の三次元形状を示すポリゴンモデルである車両像ＰＧを仮想的に備えている。構成された車両像ＰＧは、投影面ＴＳが設定される三次元空間において、自車両９の位置と定められた略半球状の中心部分に配置される。
投影面ＴＳの投影対象領域における各位置は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのいずれかと、テーブルデータ等の対応情報によって対応付けられている。画像合成部２２は、４つの撮影画像ＳＦ，ＳＢ，ＳＬ，ＳＲのデータをそれぞれ投影対象領域の対応する部分に投影する。
画像合成部２２は、投影対象領域において自車両９の前方に相当する部分ＰＦに、フロントカメラ５Ｆの撮影画像ＳＦのデータを投影する。また、画像合成部２２は、投影対象領域において自車両９の後方に相当する部分ＰＢに、リアカメラ５Ｂの撮影画像ＳＢのデータを投影する。さらに、画像合成部２２は、投影対象領域において自車両９の左側方に相当する部分ＰＬに左サイドカメラ５Ｌの撮影画像ＳＬのデータを投影し、投影対象領域において自車両９の右側方に相当する部分ＰＲに右サイドカメラ５Ｒの撮影画像ＳＲのデータを投影する。
このように投影面ＴＳの投影対象領域の各部分に撮影画像のデータを投影すると、画像合成部２２は、自車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この自車両９のモデルは、投影面ＴＳが設定される三次元空間における自車両９の位置である車両領域Ｒ０に配置される。
次に、画像合成部２２は、制御部２０の制御により、三次元空間に対して仮想視点ＶＰを設定する。画像合成部２２は、三次元空間における任意の視点位置に任意の視線方向に向けて仮想視点ＶＰを設定できる。そして、画像合成部２２は、投影面ＴＳのうち、設定した仮想視点ＶＰからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、画像合成部２２は、設定した仮想視点ＶＰに応じて自車両９のモデルに関してレンダリングを行い、その結果となる二次元の車両像９０を、切り出した画像に対して重畳する。これにより、画像合成部２２は、仮想視点ＶＰからみた自車両９及び自車両９の周辺の領域を示す合成画像ＣＰを生成する。
例えば図３に示すように、視点位置を自車両９の直上、視線方向を直下とした仮想視点ＶＰａを設定した場合には、自車両９及び自車両９の周辺の領域を俯瞰する合成画像（俯瞰画像）ＣＰａが生成される。また、視点位置を自車両９の後斜め上方、視線方向を自車両９の前斜め下方向とした仮想視点ＶＰｂを設定した場合には、自車両９を後ろ上方から見た際の周辺の領域を表示する合成画像ＣＰｂが生成される。
＜１−３．周辺画像の生成及び表示＞
次に、周辺画像を生成する処理と表示する処理について説明する。図４〜図６は、生成及び表示される周辺画像の例を示す図である。本実施の形態では、自車両９の位置や走行状況に応じて異なる３種類の周辺画像（図４〜図６に示す、第１周辺画像〜第３周辺画像）を生成して表示するようになっている。
図４〜図６に示すように、周辺画像は、自車両９の上方を仮想視点として下方を見た俯瞰画像を合成画像とし、自車両９の周囲に距離指標が重畳表示された画像である。すなわち、周辺画像は、自車両９の周囲を囲むように距離指標が表示された画像である。
また、この距離指標は、自車両９から所定距離の位置を線で囲んだものである。つまり、この距離線が、自車両９からの距離を示す指標となっている。また、距離指標としては、距離線に対応する距離（数字）を併せて表示してもよいし、距離線で囲まれた各領域を種々の色や柄で表示してもよい。これにより、ドライバは、表示装置３に表示された周辺画像を見るだけで、直観的に自車両９からの距離を把握することが可能になる。
ここで、周辺画像を生成する処理について説明する。画像取得部２１が撮影画像を取得すると、指標設定部２０ｂは、自車両９の車両情報（例えば、位置情報や車速情報やシフト情報）を取得し、それら車両情報に基づいて合成画像に重畳する距離指標を選択する。
記憶部２５には、第１周辺画像、第２周辺画像及び第３周辺画像に用いる距離指標のデータとして、第１距離指標、第２距離指標及び第３距離指標が記憶されている。第１距離指標〜第３距離指標は、各距離線の間隔や、各距離線で囲む領域の形状が異なっている画像データである。
具体的には、第１距離指標は、略長方形状の距離線が０．５ｍ間隔で２〜３本表示されている画像データである。第２距離指標は、略楕円形状の距離線が１．０ｍ間隔で２〜３本表示されている画像データである。第３距離指標は、略長方形の距離線が２．０ｍ間隔で２〜３本表示されている画像データである。つまり、第１距離指標の距離線の間隔が最も狭く、第３距離指標の距離線の間隔が最も広くなっている。
また、第１距離指標と第３距離指標は、略長方形状であるため自車両９から距離線までの距離が、自車両９の前後方向及び左右方向で同じである。例えば、第１距離指標では、自車両９の前後方向及び左右方向の距離線は、自車両９から０．５ｍ、１．０ｍといったように等距離である。
これに対して、第２距離指標は、略楕円形状であり、第１距離指標及び第３距離指標と形状が異なっている。つまり、第２距離指標では、自車両９の前後方向の距離線は自車両９から１．０ｍとなっているものの、左右方向の距離線は（１．０＋α）ｍとなっている。これは、後述するように、第２距離指標は自車両９が右左折する際に用いられるものであるため、車両の内輪差を考慮した形状となっている。指標設定部２０ｂは、このような違いも考慮しつつ、車両情報に基づいて使用する距離指標を決定し、これらの中から該当する距離指標を選択する。
本実施の形態では、上述したように、自車両９の位置や走行状況に応じて表示する周辺画像を異ならせている。つまり、選択する距離指標を異ならせている。例えば、自車両９が駐車場に存在している場合には、第１周辺画像を表示する。つまり、指標設定部２０ｂは、距離線の間隔が最も狭い第１距離指標を選択する。これは、自車両９が駐車場を走行する場合には、自車両９の近傍に存在する障害物を特に注意する必要があるためである。
そして、情報重畳部２３は、画像合成部２２が生成した合成画像に、指標設定部２０ｂが選択した第１距離指標を重畳して第１周辺画像を生成する。すなわち、情報重畳部２３は、第１距離指標の画像データの位置と合成画像の自車両９の位置とが合うようにして第１周辺画像を生成する。
また、例えば、自車両９が交差点などで右折又は左折をしている場合には、第２周辺画像を表示する。つまり、指標設定部２０ｂは、距離線が略楕円形状の第２距離指標を選択する。これは、車両が右折又は左折をする際には、自車両９の近傍に存在する通行人やバイクを巻き込んだり障害物に乗り上げたりする危険性があるため、これらの危険を把握できるように内輪差を考慮した第２距離指標を選択している。そして、情報重畳部２３は、上記と同様に、画像合成部２２が生成した合成画像に、指標設定部２０ｂが選択した第２距離指標を重畳して第２周辺画像を生成する。
また、第１周辺画像及び第２周辺画像のいずれも表示しない場合には、第３周辺画像を表示する。つまり、指標選択部２０ｂは、距離線の間隔が最も広い第３距離指標を選択する。そして、情報重畳部２３は、上記と同様に、画像合成部２２が生成した合成画像に、指標設定部２０ｂが選択した第３距離指標を重畳して第３周辺画像を生成する。
これにより、図４〜図６に示すような第１〜第３周辺画像が生成される。そして、表示制御部２０ｃが画像出力部２４を制御して、生成した周辺画像を表示装置３に出力し、表示装置３がこれら第１〜第３周辺画像を表示する。
なお、周辺画像を生成する際には、距離指標が背景画像の下になるようにすることが好ましい。道路の白線や障害物などの現実に存在する背景が距離指標の下に隠れて見えなくなると、逆に危険になる可能性もあるからである
＜１−４．システムの処理＞
次に、画像表示システム１０の処理について説明する。図７は、画像表示システム１０の処理の流れを示すフローチャートである。
画像表示システム１０の処理は、例えば、システムの起動により開始する。処理が開始されると、画像表示システム１０は、車両情報を取得する（ステップＳ１１）。この車両情報は、位置情報と車速情報とシフト情報である。すなわち、信号受信部２６が、ＧＰＳ受信機９１から自車両９の位置情報を取得して制御部２０に入力する。また、信号受信部２６が、車速センサ９２から自車両９の車速情報を取得して制御部２０に入力する。また、信号受信部２６が、シフトセンサ９４からシフトポジションの情報を取得して制御部２０に入力する。
次に、画像表示システム１０は、表示条件が成立しているか否かを判定する（ステップＳ１２）。これは、取得した車両情報に基づいて、周辺画像を表示するか否かを判定する処理である。条件判定部２０ａは、以下の（ａ１）〜（ａ３）の少なくとも１つの条件を満足した場合に、表示条件が成立していると判定する。
（ａ１）現在地が駐車場又は細街路である
（ａ２）車速が２０ｋｍ／ｈ以下である
（ａ３）シフトレバーの位置がリバース（Ｒ）である
これら（ａ１）〜（ａ３）の条件は、いずれも周辺画像を表示することが好ましい状況であるか否かを判定する条件である。本実施の形態では、自車両９が低速で走行している、又は走行する可能性が高い場合に、周辺画像を表示することが好ましい状況であるとしている。これは、高速で走行している場合には、周辺画像を表示して周辺の危険性を確認するような状況ではない可能性が高いのに対して、低速で走行している場合には、周囲に障害物などが存在しているような場所を走行している可能性があるためである。
具体的には、（ａ１）は、一般的に車両が低速で走行すると考えられる場所であるか否かを判定するための条件である。したがって、駐車場や細街路に限定されるものではなく、車両が低速で走行するであろう場所であれば他の場所を条件にしてもよい。条件判定部２０ａは、信号受信部２６から取得した位置情報と、記憶部２５に記憶されている地図データとに基づいて条件を満足するか否かを判定する。
また、（ａ２）は、自車両が低速で走行しているか否かを判定するための条件である。すなわち、周辺画像を表示することが好ましい速度で走行しているか否かを判定している。なお、周辺画像を表示することが好ましい速度は、適宜設定可能である。つまり、条件となる速度は、２０ｋｍ／ｈ以下に限定されるものではなく、例えば、１５ｋｍ／ｈ以下や１０ｋｍ／ｈ以下などとすることもできる。
また、（ａ３）も自車両が低速で走行するか否かを判定するための条件である。つまり、自車両のシフトレバーの位置がＲになっているということは、バックで走行することを意味しているので、低速で走行する可能性が高いまた、駐車場などのように周辺画像を表示することが好ましい状況である可能性が高い。
この判定処理において、これら表示条件が成立していない場合には（ステップＳ１２でＮｏ）、画像表示システム１０は処理を終了する。一方、表示条件が成立している場合には（ステップＳ１２でＹｅｓ）、次に、指標設定部２０ｂは、現在地が駐車場又は細街路であるか否かを判定する（ステップＳ１３）。これは、表示する周辺画像を第１周辺画像とするか否かを決める処理である（つまり、選択する距離指標を第１距離指標とするか否かを決める処理でもある）。駐車場又は細街路であるか否かは、上述した（ａ１）条件を判定する際に用いた情報に基づいて判定することができる。
現在地が駐車場又は細街路である場合には（ステップＳ１３でＹｅｓ）、指標設定部２０ｂは第１距離指標を選択し、情報重畳部２３は上述した手法で第１周辺画像を生成する（ステップＳ１４）。
一方、現在地が駐車場又は細街路でない場合には（ステップＳ１３でＮｏ）、指標設定部２０ｂは、自車両９が右折又は左折のタイミングであるか否かを判定する（ステップＳ１５）。これは、表示する周辺画像を第２周辺画像にするか第３周辺画像にするかを決める処理である（つまり、選択する距離指標を第２距離指標とするか第３距離指標とするかを決める処理でもある）。
右折又は左折のタイミングである場合とは、自車両９が交差点の手前を走行している場合や、交差点内を走行している場合である。この右左折のタイミングであるか否かは、方向指示器から受信した進路変更の信号の有無やその方向に基づいて判定することができる。
右左折のタイミングである場合には（ステップＳ１５でＹｅｓ）、指標設定部２０ｂは第２距離指標を選択し、情報重畳部２３は上述した手法で第２周辺画像を生成する（ステップＳ１６）。一方、右左折のタイミングでない場合には（ステップＳ１５でＮｏ）、指標設定部２０ｂは第３距離指標を選択し、情報重畳部２３は上述した手法で第３周辺画像を生成する（ステップＳ１７）。
情報重畳部２３が第１周辺画像、第２周辺画像又は第３周辺画像を生成すると、表示装置３は周辺画像を表示する（ステップＳ１８）。つまり、表示制御部２０ｃが、画像出力部２４を制御して、情報重畳部２３が生成した周辺画像を表示装置３に出力させる。そして、表示装置３は、画像出力部２４から入力した周辺画像を表示する。
次に、表示切替指示の有無を判定する（ステップＳ１９）。表示の切り替えとは、仮想視点の異なる他の合成画像を用いて作成した周辺画像に切り替えて表示することである。例えば、図４のような自車両９を上方から見た合成画像を用いて生成した周辺画像を表示している場合に、図８のような自車両９を後斜め上方から見た合成画像を用いて生成した周辺画像に切り替えて表示することである。切り替える際の仮想視点は、上方や後斜め上方に限らず任意でよい。また、表示切替指示の有無の判定は、例えば、ユーザが操作ボタン４等を操作して入力した表示切替の指示を示す信号を用いて行うことができる。
表示切替の指示がない場合には（ステップＳ１９でＮｏ）、周辺画像の表示の切り替えを行うことなく処理を終了する。一方、表示切替の指示がある場合には（ステップＳ１９でＹｅｓ）、表示装置３は、表示していた周辺画像から新たに生成した周辺画像に切り替えて表示する（ステップＳ２０）。
すなわち、画像合成部２２が指示のあった仮想視点から見た合成画像を生成し、情報重畳部２３がその合成画像に距離指標を重畳して新たな周辺画像を生成すると、表示制御部２０ｃが、画像出力部２４を制御して、新たな周辺画像を表示装置３に出力させる。そして、表示装置３が、画像出力部２４から入力した周辺画像を表示する。例えば、図４に示す周辺画像を表示しているときに、自車両の後斜め上方を仮想視点にした周辺画像に切り替える旨の指示が入力されると、新たに図８に示す周辺画像を作成して表示する。
以上のように、自車両９の周辺に仮想的に距離指標を表示することで、自車両９近傍の距離を直観的に把握することが可能になるとともに、自車両９の周辺の危険度も直観的に把握することが可能になる。
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態では、（ａ１）〜（ａ３）のいずれかの表示条件が成立した場合に周辺画像を表示する構成について説明したが、これに限定されるものではない。例えば、上述した表示条件が成立することの他に、自車両の近傍に障害物などの物体が存在することを条件に加えた構成であってもよい。このため、第２の実施の形態では、この構成について説明する。なお、以下では、第１の実施の形態と異なる点を中心に説明し、同様の点については説明を省略する場合がある。
＜２−１．システムの構成＞
図９は、第２の実施の形態の画像表示システム１１の構成を示すブロック図である。本実施の形態の画像表示システム１１は、第１の実施の形態の画像表示システム１０と同様に、車両において用いられるものであり、車両の周辺の領域を示す画像を生成して車室内に表示する機能を有している。
また、図９に示すように、画像表示システム１１は、複数のカメラ５、画像処理装置６、表示装置３、及び操作ボタン４を主に備えている。これらカメラ５と、表示装置３と操作ボタン４とは第１の実施の形態の画像表示システム１０が備える各構成と同様の構成であるため説明を省略し、以下では画像処理装置６について説明する。
本実施の形態の画像処理装置６においても、各種の画像処理が可能な電子装置である。また画像処理装置６は、画像取得部２１と、画像合成部２２と、情報重畳部２３と、画像出力部２４と、記憶部２５とを備えており、これらは第１の実施の形態の各構成と同様である。
また、画像処理装置６は、制御部２０と、信号受信部２６とをさらに備えている。制御部２０は、例えば、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理装置６の全体を統括的に制御する。
信号受信部２６は、画像処理装置６とは別に自車両９に設けられる他の装置からの信号を受信して、制御部２０に入力する。このような他の装置としては、第１の実施の形態で説明した各装置の他に、例えば、障害物センサ９５がある。障害物センサ９５は、例えば、超音波センサやレーダ装置などであり、信号受信部２６は、障害物から反射した超音波などの信号を障害物センサ９５から受信する。
制御部２０の各種の機能は、記憶部２５に記憶されたプログラムに従ってＣＰＵが演算処理を行うことで実現される。図中に示す条件判定部２０ａ、指標設定部２０ｂ、表示制御部２０ｃ及び障害物検出部２０ｄは、プログラムに従ってＣＰＵが演算処理を行うことで実現される機能部の一部である。
条件判定部２０ａ、指標設定部２０ｂ及び表示制御部２０ｃは、第１の実施の形態と同様の機能である。障害物検出部２０ｄは、画像取得部２１が取得した撮影画像や、信号受信部２６が障害物センサ９５から受信した信号などに基づいて、自車両９の周辺に存在する障害物を検出する。
＜２−２．システムの処理＞
次に、第２の実施の形態における画像表示システムの処理について説明する。図１０は、画像表示システムの処理の流れを示すフローチャートである。
画像表示システム１１の処理は、例えば、システムの起動により開始する。処理が開始されると、画像表示システム１１は、車両情報を取得する（ステップＳ２１）。そして、画像表示システム１１は、表示条件が成立しているか否かを判定する（ステップＳ２２）これら、各処理は、第１の実施の形態のステップＳ１１及びステップＳ１２の処理と同様である。
次に、画像表示システム１１は、自車両９の近傍に障害物などの物体が存在するか否かを判定する（ステップＳ２３）。例えば、障害物検出部２０ｄが、撮影画像や障害物センサ９５の結果を用いて障害物の有無を判定する。具体的には、障害物検出部２０ｄは、撮影画像のデータ解析により障害物を検出したり、超音波センサやレーダ装置から取得した情報に基づいて障害物を検出するなど、既存の手法を用いることができる。
自車両９の近傍に障害物が存在しない場合には（ステップＳ２３でＮｏ）、画像表示システム１１は処理を終了する。一方、自車両９の近傍に障害物が存在する場合には（ステップＳ２３でＹｅｓ）、表示する周辺画像を生成する処理を実行する（ステップＳ２４〜ステップＳ２８）。これらステップＳ２４〜ステップＳ２８の処理は、第１の実施の形態のステップＳ１３〜ステップＳ１７の処理と同様である。
そして、第１周辺画像〜第３周辺画像のいずれかが生成されると、表示装置３が周辺画像を表示する（ステップＳ２９）。つまり、表示制御部２０ｃが、画像出力部２４を制御して、情報重畳部２３が生成した周辺画像を表示装置３に出力させる。そして、表示装置３は、画像出力部２４から入力した周辺画像を表示する。
ここで、本実施の形態における周辺画像の表示処理について説明する。図１１及び図１２は、周辺画像の表示例である。
本実施の形態では自車両周辺に障害物が存在する場合に周辺画像を表示するため、図１１に示すように、周辺画像には障害物が表示されている。このように、障害物と共に距離指標も表示することで、障害物までの距離を容易に把握することが可能になる。
なお、周辺画像を表示する際には、単に距離指標を表示するのみならず、障害物が存在する距離の領域を点滅表示するなどしてもよい。図１１の場合では、距離が１ｍまでの領域（内側領域）と１ｍ〜２ｍまでの領域（外側領域）とのうち、障害物が存在する外側領域を点滅表示させて、内側領域は通常の表示をさせる構成である。逆に、障害物が内側領域に存在する場合には、内側領域を点滅表示させて外側領域は通常の表示をさせる構成になる。
距離線が２本の場合に限らず、３本以上であっても同様である。つまり、距離を示す領域が内側領域と外側領域の２つでなく３つ以上であっても同様である。距離を示す領域が複数ある場合には、障害物が存在する領域を点滅表示すればよい。これにより、障害物が存在する位置をより直観的に把握することが可能になる。
また、障害物が存在する領域よりも外側の距離指標を表示させない構成としてもよい。例えば、障害物が内側領域に存在する場合には、外側領域は表示させない構成である。具体的には、図１２に示すように、障害物が自車両の１ｍ以内の領域に存在する場合に、１ｍの距離指標は表示して、その外側の領域である１ｍ〜２ｍの距離指標は非表示とする。つまり、自車両が図１１に示す状態から図１２に示す状態に変化した場合を例に挙げると、障害物が外側領域に存在するときは外側領域と内側領域とを表示して（図１１）、障害物が内側領域に移動したときは内側領域のみを表示して外側領域を非表示としている（図１２）。
なお、距離線が２本の場合に限らず、３本以上であっても同様である。つまり、距離を示す領域が内側領域と外側領域の２つでなく３つ以上であっても同様である。距離を示す領域が複数ある場合には、障害物が存在する領域とそれよりも内側の領域を表示させて、外側の領域を非表示とすればよい。例えば、距離を示す領域が３の場合（距離線が３本の場合）であって、その２番目の領域に障害物が存在する場合には、障害物が存在する２番目の領域とその内側の領域は表示して、一番外側の領域は非表示となる。
したがって、障害物が自車両に徐々に近づいてくるような場合には、外側の領域から段階的に非表示になる。逆に、近づいてきた障害物が自車両から遠ざかっていくような場合には、一度非表示になった外側の領域が段階的に再度表示されることになる。このように、自車両９の近傍に障害物が存在する場合に、その存在する領域を最も外側の領域として表示することで、障害物までの距離の把握が容易になる。
次に、図１０に戻り、表示切替指示の有無を判定する（ステップＳ３０）。表示切替の指示がない場合には（ステップＳ３０でＮｏ）、周辺画像の表示の切り替えを行うことなく処理を終了する。一方、表示切替の指示がある場合には（ステップＳ３０でＹｅｓ）、表示装置３は、新たに作成された周辺画像を切替表示する（ステップＳ３１）。これらステップＳ３０及びステップＳ３１は、第１の実施の形態のステップＳ１９及びステップＳ２０と同様の処理である。
なお、周辺画像を生成する際には、障害物と重なる部分の距離指標を非表示することが好ましい。障害物が距離指標の下に隠れて見えなくなると、逆に危険になる可能性もあるからである
＜３．第３の実施の形態＞
次に、第３の実施の形態について説明する。第１及び第２の実施の形態では、自車両の全周囲を囲む距離指標を重畳した周辺画像を表示する構成について説明したが、これに限定されるものではない。自車両が走行する状況に応じて自車両の周囲の一部を囲む距離指標を重畳した周辺画像を表示する構成であってもよい。このため、第３の実施の形態では、この構成について説明する。なお、以下では第１及び第２の実施の形態と異なる点を中心に説明し、同様の点については説明を省略する場合がある。
＜３−１．システムの構成＞
第３の実施の形態の画像表示システムは、第１の実施の形態で説明した画像表示システム１０及び第２の実施の形態で説明した画像表示システム１１のいずれの構成でも適用可能である。ただし、本実施の形態では、情報重畳部の処理が、第１及び第２の実施の形態の情報重畳部２３と一部異なる。
具体的には、本実施の形態の情報重畳部は、表示する距離指標を合成画像に重畳して周辺画像を生成する点においては、第１及び第２の実施の形態の情報重畳部２３と同様である。これに加えて、本実施の形態の情報重畳部は、自車両が走行する状況に応じて距離指標の一部だけを合成画像に重畳して周辺画像を生成する。つまり、本実施の形態では、情報重畳部は、自車両の走行状況に応じて、自車両の全周囲を囲む距離指標を重畳した周辺画像を生成したり、自車両の周囲の一部を囲む距離指標を重畳した周辺画像を生成したりする。
周辺画像の例について図１３及び図１４を用いて説明する。図１３に示すように、例えば、自車両が交差点において左折をする際には、情報重畳部は、自車両の左側だけを囲む距離指標を重畳した周辺画像を生成する。また、図１４に示すように、例えば、自車両の周辺に障害物が存在する場合には、情報重畳部は、障害物の存在する方向の距離指標だけを重畳した周辺画像を生成する。
＜３−２．システムの処理＞
次に、画像表示システムの処理について説明する。本実施の形態では、図７及び図１０のいずれのフローチャートでも適用可能であるが、第１〜第３周辺画像を生成する処理（ステップＳ１４、Ｓ１６、Ｓ１７、Ｓ２５、Ｓ２７、Ｓ２８）にて、自車両の周囲を一部だけを囲むような距離指標を重畳した周辺画像を生成する。
具体的には、情報重畳部は、周辺画像を生成する際に、自車両の走行状況を取得して、自車両の周囲を一部だけを囲むか否かを判定する。これは、信号受信部２６が受信した情報や、記憶部２５の地図データなどを用いて行うことができる。
そして、自車両の周囲を一部だけ囲む距離指標を重畳する場合には、情報重畳部は、自車両の走行状況に応じて重畳する距離指標の大きさと範囲を決定する。そして、情報重畳部は、上記各実施の形態と同様にして指標設定部２０ｂが選択した距離指標に対して、決定した大きさと範囲に加工した距離指標を合成画像に重畳して周辺画像を生成する。
例えば、図７のステップＳ１６の第２周辺画像生成処理において、自車両が左折する状況である場合には、情報重畳部は、指標設定部２０ｂが選択した略楕円形状の距離指標を、左側のみの距離指標に加工する。そして、情報重畳部は、その加工した距離指標を合成画像に重畳して第２周辺画像を生成する（図１３）。
また、図１０のステップＳ２８の第３周辺画像生成処理において、自車両の近傍に障害物が存在する場合には、情報重畳部は、指標設定部２０ｂが選択した略長方形状の距離指標を、障害物が存在する方向だけの距離指標に加工する。そして、情報重畳部は、その加工した距離指標を合成画像に重畳して第３周辺画像を生成する（図１４）。このような構成とすることにより、特に注意すべき方向の距離を直観的に把握することが可能になる。
なお、情報重畳部が距離指標の一部だけを重畳するのは、自車両が右左折時である場合や自車両の近傍に障害物が存在する場合に限定されるものではなく、他の走行状況であっても適用可能である。また、距離指標の一部を重畳する際においては、その表示する部分の大きさや範囲も任意に設定可能である。
また、本実施の形態では、情報重畳部が自車両の走行状況に応じて、表示する距離指標の大きさや範囲を決定していたがこれに限定されるものではない。例えば、予め所定の形状に加工された距離指標の画像データを記憶部に記憶させておき、指標設定部が、その加工された距離指標を選択する構成としてもよい。この場合、情報重畳部は、距離指標を加工することなく、上記実施の形態のように選択された距離指標を合成画像に重畳するだけである。
具体的に例を挙げて説明する。略楕円形状の左側だけの距離指標の画像データが記憶されているとする。この場合に、自車両が左折をする際には、指標設定部は、この左側だけの距離指標を選択する。そして、情報重畳部は、選択された距離指標を合成画像に重畳するといった構成である。この場合には、情報重畳部が重畳する距離指標の大きさや範囲を決定する必要がないため処理負荷が低減される。
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記各実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、第１周辺画像と第３周辺画像とに用いる距離指標の形状を略長方形としていたがこれに限定されるものではない。例えば、図１５に示すように、略長方形の角を丸めた形状のものとしてもよい。また、第１周辺画像〜第３周辺画像の全ての周辺画像において、距離指標の各距離線で囲まれた領域を任意の色で着色してもよいし、任意の柄で表示してもよい。
また、図１６に示すように、上記第１周辺画像〜第３周辺画像に用いる距離指標を距離線のみで表示してもよい。つまり、距離線で囲まれた領域を着色したり柄で表示したりすることなく、枠線のみとする構成である。この場合、線種を距離線毎に変えてもよい。このように、距離指標の形状等はユーザが適宜カスタマイズすることができる。
また、上記実施の形態では、距離指標の距離線が０．５ｍ間隔で２〜３本表示されている例などを挙げて説明したがこれに限定されるものではない。距離指標の距離線の間隔や本数は任意に設定可能である。
また、周辺画像を拡大して表示する場合に、拡大率に応じて距離指標の距離線の間隔を変える構成としてもよい。例えば、距離線の間隔が２ｍの周辺画像を拡大して表示する場合に、距離線の間隔を１ｍにして表示するなどである。拡大表示することで、より細かい間隔の距離指標を表示することが可能になるためである。
また、上記実施の形態では、右左折のタイミングでない場合に（ステップＳ１５及びＳ２５でＮｏの場合）、第３周辺画像を生成する処理を実行していたが、これに限定されるものではない。さらに自車両が走行中であるか否かを判定し、その結果に応じて別々の周辺画像を生成する構成としてもよい。具体的には、自車両が右左折のタイミングでないときに、自車両が走行中か停止中かを判定する。そして、走行中の場合には第３周辺画像を生成し、停止中の場合には第３周辺画像よりも距離線の間隔が広い第４周辺画像を生成する構成などである。
また、上記各実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
２・６ 画像処理装置
３ 表示装置
４ 操作ボタン
５ カメラ
１０・１１ 画像表示システム

Claims (9)

  1. 画像を処理する画像処理装置であって、
    自車両に搭載されたカメラの撮影画像を取得する画像取得手段と、
    前記撮影画像に基づいて、仮想視点から見た自車両の周辺を示す合成画像を生成する合成手段と、
    前記合成画像に表示された自車両の周囲を囲むように、該自車両からの距離を示す距離指標を重畳した周辺画像を生成する重畳手段と、
    前記周辺画像を表示装置に出力して該表示装置に表示させる出力手段と、
    を備えていることを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記自車両の走行状況に関する情報を取得する取得手段をさらに備え、
    前記重畳手段は、前記自車両の走行状況に応じて異なる距離指標を合成画像に重畳することを特徴とする画像処理装置。
  3. 請求項２に記載の画像処理装置において、
    前記重畳手段は、前記自車両の走行状況が所定の状況になったときに周辺画像を生成することを特徴とする画像処理装置。
  4. 請求項２又は３に記載の画像処理装置において、
    前記距離指標は、前記自車両からの距離を示す距離線を有しており、
    前記重畳手段は、前記自車両の走行状況に応じて距離線の形状が異なる距離指標を合成画像に重畳することを特徴とする画像処理装置。
  5. 請求項２ないし４のいずれか１項に記載の画像処理装置において、
    前記距離指標は、前記自車両からの距離を示す距離線を複数有しており、
    前記重畳手段は、前記自車両の走行状況に応じて距離線の間隔が異なる距離指標を合成画像に重畳することを特徴とする画像処理装置。
  6. 請求項２ないし５のいずれか１項に記載の画像処理装置において、
    前記重畳手段は、前記自車両の走行状況に応じて、前記合成画像の自車両の周囲の一部を囲むように、前記距離指標を重畳した周辺画像を生成することを特徴とする画像処理装置。
  7. 請求項１ないし６のいずれか１項に記載の画像処理装置において、
    前記距離指標は、自車両からの距離を示す距離線で囲まれた領域を複数有しており、
    前記各領域の色が異なっていることを特徴とする画像処理装置。
  8. 請求項１ないし７のいずれか１項に記載の画像処理装置において、
    前記自車両の近傍に存在する物体を検出する検出手段をさらに備え、
    前記重畳手段は、前記自車両の近傍に物体が存在する場合に、前記距離指標を合成画像に重畳することを特徴とする画像処理装置。
  9. 画像表示システムであって、
    請求項１ないし８のいずれか１項に記載の画像処理装置と、
    画像を表示する表示装置と、
    を備えていることを特徴とする画像表示システム。
JP2014189714A 2014-09-18 2014-09-18 画像処理装置、及び画像表示システム Pending JP2016063390A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014189714A JP2016063390A (ja) 2014-09-18 2014-09-18 画像処理装置、及び画像表示システム
US14/836,345 US10609337B2 (en) 2014-09-18 2015-08-26 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014189714A JP2016063390A (ja) 2014-09-18 2014-09-18 画像処理装置、及び画像表示システム

Publications (1)

Publication Number Publication Date
JP2016063390A true JP2016063390A (ja) 2016-04-25

Family

ID=55526989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014189714A Pending JP2016063390A (ja) 2014-09-18 2014-09-18 画像処理装置、及び画像表示システム

Country Status (2)

Country Link
US (1) US10609337B2 (ja)
JP (1) JP2016063390A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全***
JP2020182220A (ja) * 2016-09-20 2020-11-05 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP2021014243A (ja) * 2019-07-16 2021-02-12 アイシン精機株式会社 車両周辺表示装置
JP2021513152A (ja) * 2018-01-30 2021-05-20 コノート エレクトロニクス リミテッド 画像内のバーチャル細長距離目印と、コンピュータプログラム製品と、ディスプレイシステムとによって自動車の環境領域を表示する方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148421A1 (en) * 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
JP6390645B2 (ja) * 2016-03-07 2018-09-19 マツダ株式会社 車両周辺画像表示装置
CN112208438B (zh) * 2019-07-10 2022-07-29 台湾中华汽车工业股份有限公司 行车辅助影像产生方法及***
JP7331511B2 (ja) * 2019-07-16 2023-08-23 株式会社アイシン 車両周辺表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7423521B2 (en) * 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
JP2008034964A (ja) 2006-07-26 2008-02-14 Toyota Motor Corp 画像表示装置
JP5112998B2 (ja) * 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP2011151489A (ja) 2010-01-19 2011-08-04 Denso Corp 車両周辺表示装置
US20140293051A1 (en) * 2011-05-13 2014-10-02 Hitachi Construction Machinery Co., Ltd. Device for displaying rearward field of view of hydraulic shovel
US9019347B2 (en) * 2011-10-13 2015-04-28 Aisin Seiki Kabushiki Kaisha Image generator
WO2013168230A1 (ja) * 2012-05-08 2013-11-14 トヨタ自動車株式会社 俯瞰画像表示装置
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP5776995B2 (ja) * 2014-03-11 2015-09-09 クラリオン株式会社 車両用周辺監視装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全***
JP2020182220A (ja) * 2016-09-20 2020-11-05 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
JP7196881B2 (ja) 2016-09-20 2022-12-27 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置および俯瞰映像生成方法
JP2021513152A (ja) * 2018-01-30 2021-05-20 コノート エレクトロニクス リミテッド 画像内のバーチャル細長距離目印と、コンピュータプログラム製品と、ディスプレイシステムとによって自動車の環境領域を表示する方法
JP7341149B2 (ja) 2018-01-30 2023-09-08 コノート エレクトロニクス リミテッド 画像内のバーチャル細長距離目印と、コンピュータプログラム製品と、ディスプレイシステムとによって自動車の環境領域を表示する方法
US11816787B2 (en) 2018-01-30 2023-11-14 Connaught Electronics Ltd. Method for representing an environmental region of a motor vehicle with virtual, elongated distance markers in an image, computer program product as well as display system
JP2021014243A (ja) * 2019-07-16 2021-02-12 アイシン精機株式会社 車両周辺表示装置
JP7358811B2 (ja) 2019-07-16 2023-10-11 株式会社アイシン 車両周辺表示装置

Also Published As

Publication number Publication date
US10609337B2 (en) 2020-03-31
US20160088260A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
JP6014442B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP2016063390A (ja) 画像処理装置、及び画像表示システム
CA3069114C (en) Parking assistance method and parking assistance device
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP5681569B2 (ja) 情報処理システム、サーバ装置、および、車載装置
WO2010137684A1 (ja) 画像生成装置及び画像表示システム
WO2010137685A1 (ja) 画像生成装置及び画像表示システム
US20120249794A1 (en) Image display system
JP2007121001A (ja) ナビゲーション装置
JP2011015174A (ja) 画像生成装置及び画像表示システム
JP6084097B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
JP5776995B2 (ja) 車両用周辺監視装置
JP7443705B2 (ja) 周辺監視装置
JP2011148369A (ja) 運転支援装置
JP5977130B2 (ja) 画像生成装置、画像表示システム、および、画像生成方法
JP2012001126A (ja) 車両用周辺監視装置
JP7028609B2 (ja) 画像表示装置、及び画像表示システム
JP2012065225A (ja) 車載用画像処理装置、周辺監視装置、および、車両
JP6065766B2 (ja) 情報提供装置および情報提供方法
JP2012046124A (ja) 画像表示システム、画像処理装置、および、画像表示方法
CN110293840B (zh) 用于示出涉及车辆运行的信息的方法和显示***
JP2013211035A (ja) 車両周辺表示装置
US20200231099A1 (en) Image processing apparatus