WO2019026246A1

WO2019026246A1 - 車両周辺画像表示装置および車両周辺画像表示方法

Info

Publication number: WO2019026246A1
Application number: PCT/JP2017/028273
Authority: WO
Inventors: 健太大西; 加藤　陽一; 成晃竹原
Original assignee: 三菱電機株式会社
Priority date: 2017-08-03
Filing date: 2017-08-03
Publication date: 2019-02-07
Also published as: US10960820B2; CN110945866B; CN110945866A; US20200215977A1; JP6741364B2; DE112017007812T5; JPWO2019026246A1

Abstract

駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供する。複数の撮影機器で撮影された駐車場における自車両の周囲画像を継続して入力し、前記周囲画像を記憶し、入力された周辺画像において、欠落した画像部分を記憶された画像で補填し、補填された画像と前記入力された周辺画像を合成し、前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成し、前記トップビュー画像を含めた表示画像を生成し、生成された表示画像を表示する、ことを備えた。

Description

車両周辺画像表示装置および車両周辺画像表示方法

　この発明は、車両周辺画像表示装置および車両周辺画像表示方法、特に駐車操作時の運転者への操作支援に関するものである。

　下記特許文献１に係る従来技術は、サイドカメラが映す映像が運転者から見て自然な角度になるように、すなわち運転者の視点から見たように、画像を変換して表示して、運転者にタイヤの角度と枠線の状況を認知させる車両周辺観視システムである。

　下記特許文献２に係る従来技術は、前方、後方のカメラ映像を履歴情報として残し、バック時等に死角になる部分を履歴情報から画像を持ち寄り、現在の画像のどの部分にあたるかを表示する車両周辺画像表示装置である。

特許第５１３４５０４号公報特開２０１５－１５４１２５号公報

　特許文献１に係る従来技術は、運転者が現在のタイヤと枠線の角度等を認知し易いように映像が加工されている。しかし、映っている車体とタイヤから、車体全体が枠線に対してどのように傾いているかが運転者にとって分かり難いという課題がある。

　特許文献２に係る従来技術は、前方および後方のカメラにより得られた画像の履歴情報から周囲にある障害物を認識しようと試みている。しかし、サイドカメラを使用しておらず、サイドカメラと後方カメラ等の画像による、車両の天頂部からの車両の画像であるトップビュー等の、複合画像を使用して、運転者の認知向上をはかることができないという課題がある。

　さらにまた、特許文献２に係る従来技術では、周囲にある移動物体および障害物への認識をするものであり、駐車操作時の枠線に対する処置は何も行っていない。したがって、駐車操作時の枠線と自車のずれを運転者にわかり易く伝えることができない。

　この発明は、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供すること等を目的とする。

　この発明は、駐車場における自車両の周辺を撮影する複数の撮影機器と、前記複数の撮影機器で撮影される前記自車両の周辺画像の画像信号を継続して入力する画像信号入力部と、前記画像信号入力部に入力された画像信号を前記撮影機器ごとに周辺画像として記憶する履歴記憶部と、前記画像信号入力部に入力された周辺画像において、欠落した画像部分を前記履歴記憶部で記憶された画像で補填し、補填された画像と前記画像信号入力部に入力された周辺画像を合成する画像補填処理部と、前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成するトップビュー画像生成部と、前記トップビュー画像生成部で生成されたトップビュー画像を含めた表示画像を生成する表示画像生成部と、前記表示画像生成部で生成された表示画像を表示する表示装置と、を備えた車両周辺画像表示装置等にある。

　この発明では、画像信号入力部に入力された周辺画像において、欠落した画像部分を履歴記憶部で記憶された画像で補填し、補填された画像と画像信号入力部に入力された周辺画像を合成し、合成された周辺画像からトップビュー画像を生成して表示装置に表示することで、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供できる。

この発明による車両周辺画像表示装置の構成の一例を示すブロック図である。この発明による車両周辺画像表示装置の自車両に取り付ける各ビデオカメラの設置例を示す図である。この発明の実施の形態１における後ろ向き並列駐車操作時および実施の形態３における縦列駐車操作時の動作フローチャートである。この発明の実施の形態１における後ろ向き並列駐車操作を行う際の自車両周囲の模式図である。この発明の実施の形態１における後ろ向き並列駐車操作時のトップビュー画像の一例を示す図である。この発明の実施の形態１における後ろ向き並列駐車操作時のトップビュー画像で駐車枠部分が透けて見えている様子を示す図である。この発明の実施の形態１における駐車モード時でない後方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明の実施の形態１における駐車モード時の後方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明の実施の形態２における前向き並列駐車操作時の動作フローチャートである。この発明の実施の形態２における前向き並列駐車操作を行う際の自車両周囲の模式図である。この発明の実施の形態２における前向き並列駐車操作時のトップビュー画像の一例を示す図である。この発明の実施の形態２における前向き並列駐車操作時のトップビュー画像で駐車枠部分が透けて見えている様子を示す図である。この発明の実施の形態２における駐車モード時でない前方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明の実施の形態２における駐車モード時の前方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明の実施の形態３における縦列駐車操作を行う際の自車両周囲の模式図である。この発明の実施の形態３における縦列駐車操作時のトップビュー画像の一例を示す図である。この発明の実施の形態３における縦列駐車操作時のトップビュー画像で駐車枠部分が透けて見えている様子を示す図である。この発明の実施の形態３における駐車モード時でない側方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明の実施の形態３における駐車モード時の側方ビデオカメラの撮影画像の表示画像の一例を示す図である。この発明による車両周辺画像表示装置の制御部のハードウェア構成の一例を示す図である。

　この発明は、駐車操作時の駐車枠と自車両のずれを運転者にわかり易く認識させる車両周辺画像表示装置および車両周辺画像表示方法を提供する。
　例えば、運転者が駐車場における駐車操作時に左右の側方ビデオカメラおよび前後のビデオカメラからの映像から得られるトップビュー等の画像により自車両と駐車枠がどの程度傾いているかを、運転者は画像から容易に理解できるようにする。
　また、駐車操作の際に運転者からの死角領域はリアルタイムで変わっていくので、ビデオカメラ画像だけではなくトップビュー画像等を利用することにより、視覚的に駐車枠と自車両との傾きのずれがわかり易いようにする。

　さらにまた、トップビュー画像および各ビデオカメラの画像において自車両の画像により路面の状態が認識し難くなるのを、自車両部分の画像を透過させ、路面の画像を重畳させることにより、運転者に運転者からの死角になっている部分を認識し易くする。

　以下、この発明による車両周辺画像表示装置および車両周辺画像表示方法を各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、また重複する説明は省略する。

　図１はこの発明による車両周辺画像表示装置の構成の一例を示すブロック図である。この発明では、自車両の前方に前方ビデオカメラ２ＦＯ、左右の側方に側方ビデオカメラ２ＬＥ，２ＲＩ、後方に後方ビデオカメラ２ＲＥを取り付ける。前方ビデオカメラ２ＦＯは、自車両の前方の予め定められた設定角度範囲を撮影できる場所に取り付ける。側方ビデオカメラ２ＬＥ，２ＲＩは、一般的な駐車場の通路から左右の枠線が視認できる左右の予め定められた設定角度範囲が撮像できる位置に取り付ける。後方ビデオカメラ２ＲＥは、後方の予め定められた設定角度範囲が撮像できる位置に取り付ける。各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩ，２ＲＥの自車両１００での取付け位置の例を図２に示す。上述の撮像設定角度範囲を満たす場所であれば、図２に示す位置以外にビデオカメラを取り付けても問題ない。
　各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩ，２ＲＥはそれぞれ撮像機器を構成する。

　図１の画像生成表示制御部３０は、各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩおよび２ＲＥからの自車両の周辺画像を入力する。そして周辺画像に予め定められた処理を施して、駐車操作時の駐車枠と自車両のずれを運転者によりわかり易く認識させる表示を、表示装置を構成する表示モニタ６に表示させる。画像生成表示制御部３０は画像生成表示処理部１０および画像表示制御入力部２１を備える。
　画像生成表示処理部１０は、画像信号入力部１１、停車位置路面画像抽出部１２、枠線輪留め検出部１３、画像補填処理部１４、トップビュー画像生成部１５、表示画像生成部１６、画像透過処理部１７、駐車状態検出部１８、および履歴記憶部２０を含む。
　画像表示制御入力部２１は、装置外部から以下の信号を入力する。
　Ｈ／Ｉ(ヒューマンインターフェース)７を運転者が操作することによって入力される表示切替指令等を入力する。
　また、自車両の速度、ハンドル舵角、ギア情報、サイドブレーキ情報等を含む車両情報ＣＡＩを入力する。

　この発明における車両周辺画像表示装置の処理について説明する。
　まず、駐車場内において駐車する場所を探す際、側方ビデオカメラ２ＬＥ，２ＲＩによって駐車枠部分の撮影を行う。撮影された自車両の周辺画像の画像信号は画像信号入力部１１により入力される。入力された画像信号はビデオカメラごとに周辺画像として履歴記憶部２０に保管される。撮影は自車両が駐車枠に完全停車するまで続ける。履歴記憶部２０に保管された周辺画像は、撮影した駐車枠、より詳細には駐車枠の枠線および輪留めの少なくとも一方、および路面の映像を含み、過去の設定された期間の間の画像データが常に保管されるようにして更新される。

　表示モニタ６には画像生成表示処理部１０の制御により、自車両の天頂部から見たトップビュー画像および各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩ，２ＲＥの周辺画像が表示される。トップビュー画像はトップビュー画像生成部１５により生成される。表示モニタ６の表示形態は、運転者がＨ／Ｉ７を操作することによって入力される表示切替指令によって変更可能である。駐車操作時には画像補填処理部１４および画像透過処理部１７等により画像に補填処理、透過処理が施され、自車両部分が透けた状態に透過して表示される。駐車操作時以外では自車両部分は透過せずに表示される。

　枠線輪留め検出部１３は撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線および輪留めを検出する。枠線および輪留めがなければ駐車する方向に位置する図６にＷで示す壁等の障害物を検知する。
　表示画像生成部１６は、入力される自車両の車両情報ＣＡＩおよび表示切替指令、画像生成表示処理部１０における処理状態に従って、トップビュー画像および各ビデオカメラの画像、さらにそれぞれの補填処理、透過処理が施された画像を切り替えたり、または合成して表示モニタ６に表示させる表示画像を生成する。枠線輪留め検出部１３で駐車枠と判断されるものを検知した場合は、表示画像生成部１６は、トップビュー画像および各ビデオカメラの画像を表示する際に、ビデオカメラの画像の駐車枠の部分に枠線検知の表示を行う。

　駐車状態検出部１８は、自車両が駐車操作時かどうかを判断する。駐車状態検出部１８は、前向き並列駐車の場合は、前方ビデオカメラ２ＦＯに映った駐車枠の枠線と自車両の位置が予め定められた閾値以下の距離まで縮まった時に自車両が駐車操作状態にあると判断する。後ろ向き並列駐車時は、車両情報ＣＡＩが「Ｒ」で示されるバックのギアに入れたことを示す時、自車両が駐車操作状態にあると判断する。
　縦列駐車の場合は、駐車状態検出部１８は、後ろ向き並列駐車時と同じく車両情報ＣＡＩがバック「Ｒ」のギアに入れたことを示す時に自車両が駐車操作状態にあると判断する。後ろ向き並列駐車時と縦列駐車時の処理は表示モニタ６に表示する映像以外は同じである。
　また駐車状態検出部１８は、枠線輪留め検出部１３で駐車枠が検出されると、撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める。各ビデオカメラの画像は常に度更新されているので、１フレーム前の画像と現在の画像から、自車両が駐車枠に向かっていると判断された際に駐車操作状態にあると判断する。

　駐車操作に移行した場合、後述する図８，１４に例示するように、表示画像生成部１６により、各ビデオカメラの画像には自車両の車輪の位置１００ａがリアルタイムで重畳表示、更新される。これは各ビデオカメラ生画像、各ビデオカメラ鳥瞰図画像、トップビュー画像それぞれで重畳表示される。

　また、この発明の車両周辺画像表示装置は駐車操作時に前方ビデオカメラ２ＦＯまたは後方ビデオカメラ２ＲＥでの輪留めを検知する機能を有する。駐車状態検出部１８は、自車両から後述する図４に例示した輪留めＳＴＰまでの距離、角度を計算する。そして自車両の車体等で遮られて肉眼およびビデオカメラでも見えなくなった場合に、画像透過処理部１７で自車両を透過して見えるようにし、表示画像生成部１６により表示画像を生成し、輪止めの位置を運転者が確認できるようにする。

　駐車操作時の各ビデオカメラでの周辺画像およびトップビュー画像の表示の際にも、枠線輪留め検出部１３による枠線、輪留めの検知は行っており、表示画像生成部１６は枠線、輪留めの検知の結果を表示モニタ６の画面に表示する。そして、駐車操作時には、その枠線または輪留めと車両情報ＣＡＩから得られる自車両のタイヤの向きおよびハンドル舵角から、自車両と枠線のずれを画面に表示する。
　これにより、駐車枠と自車両の傾き具合を運転者が認知できるため、駐車操作時の切り返し等の回数が減り、運転者の負担が少なくなる。

　以下、この発明による各実施の形態における駐車操作時の車両周辺画像表示装置の基本的動作を説明する。

　実施の形態１．
　後ろ向き駐車操作時の場合
　図３はこの発明の実施の形態１における後ろ向き並列駐車操作時、および実施の形態３における縦列駐車操作時の動作フローチャートである。また図４は、実施の形態１における後ろ向き並列駐車操作を行う際の自車両周囲の模式図である。図４において１００が自車両、１０１Ｒが自車両の進行方向、１０２ＲＥが後方ビデオカメラ２ＲＥの撮影範囲、１１０が駐車している他車両、１２０が駐車枠および枠線を示す。

　図３に従って、画像生成表示処理部１０において、車両情報ＣＡＩからの自車両１００の車速が例えば２０ｋｍ／ｈ以下で、側方ビデオカメラ２ＬＥ，２ＲＩの画像に他車が複数並んでいれば(ステップＳ１)、枠線輪留め検出部１３による駐車枠検出状態となる(ステップＳ２)。
　表示画像生成部１６は、表示モニタ６にトップビュー画像または各ビデオカメラ画像を表示する(ステップＳ３)。この表示モニタ６の表示形式は運転者がＨ／Ｉ７により随時変更可能である。
　履歴記憶部２０は各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩおよび２ＲＥの画像を随時保管する(ステップＳ４)。

　駐車状態検出部１８は、後ろ向き駐車操作時の場合、自車両が駐車操作時にギアをバックギア「Ｒ」に入れるのを検知し(ステップＳ５)、駐車操作モードに移行する(ステップＳ６)。
　そして表示画像生成部１６およびトップビュー画像生成部１５より、駐車操作モード時の表示モニタ６の画面は基本的にはトップビュー画像で表示される。そして、停車位置路面画像抽出部１２、画像補填処理部１４、および画像透過処理部１７により、自車両部分が透過されて自車両の下側の路面部分が透けて見える表示が行われる。これにより運転者は、自車両の下の路面部分が確認できるようになる。この際、履歴記憶部２０の画像と現状のビデオカメラの画像を組み合わせトップビュー画像での透過表示を行う(ステップＳ７)。画像は運転者が任意に変更することができる。また、各ビデオカメラ２ＦＯ、２ＬＥ，２ＲＩおよび２ＲＥの画像も同様に透過処理を行って表示される(ステップＳ８)。

　表示モニタ６に表示される画像は例えば、「トップビュー画像」→「後方ビデオカメラ鳥瞰図画像」→「後方ビデオカメラ生画像」と、Ｈ／Ｉ７の操作により運転者が任意に変更できる。トップビュー画像と後方ビデオカメラ鳥瞰図画像は、自車両の部分を透過画像にすることで、自車両で遮られた路面部分が自車両を透過して見えるように表示する。

　そして駐車操作が完了して、自車両のギアがパーキングギア「Ｐ」となり、サイドブレーキがかかると、駐車状態検出部１８は駐車操作完了と判断する(ステップＳ９)。

　図５はこの発明の実施の形態１における後ろ向き並列駐車操作時のトップビュー画像の一例を示す図である。図６はこの発明の実施の形態１における後ろ向き並列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両１００の部分が透過されており、図６では自車両１００の部分で下の枠線１２０が透けて見えるように表示されている。

　図７はこの発明の実施の形態１における駐車モード時でない後方ビデオカメラの撮影画像の表示画像の一例を示す図である。図８はこの発明の実施の形態１における駐車モード時の後方ビデオカメラの撮影画像の表示画像の一例を示す図である。図７の画像の上下部分ＩＶは自車両で見えなくなっている。後ろ向き並列駐車操作時の空いている駐車枠の様子が見えない。これに対して図８では、画像の上下部分ＰＥが透過表示され、空いている駐車枠の枠線１２０が見易くなっている。また表示画像生成部１６は、自車両の車輪の位置１００ａを表示してもよい。

　実施の形態２．
　前向き駐車操作時の場合
　図９はこの発明の実施の形態２における前向き並列駐車操作時の動作フローチャートである。また図１０は実施の形態２における前向き並列駐車操作を行う際の自車両周囲の模式図である。図１０において１００が自車両、１０１Ｆが自車両の進行方向、１０２ＦＯが前方ビデオカメラ２ＦＯの撮影範囲、１１０が駐車している他車両、１２０が駐車枠および枠線を示す。
　前向き駐車操作時の場合、図９のステップＳ５ａにおいて、駐車状態検出部１８は、自車両１００と駐車枠の枠線１２０の距離が予め定められた閾値以下の距離まで縮まった場合に駐車モードに移行する。そして、駐車モードのときの表示モニタ６の画面表示は後ろ向き駐車操作時と同じく基本的にトップビュー画像で表示され、自車両１００の部分が透過されて路面部分が透けて見える表示が行われ、自車両の下の路面部分が確認できるようになる。

　図１１はこの発明の実施の形態２における前向き並列駐車操作時のトップビュー画像の一例を示す図である。図１２はこの発明の実施の形態２における前向き並列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両１００の部分が透過されており、図１２では自車両１００の部分で下の枠線１２０が透けて見えるように表示されている。

　図１３はこの発明の実施の形態２における駐車モード時でない前方ビデオカメラ２ＦＯの撮影画像の表示画像の一例を示す図である。図１４はこの発明の実施の形態２における駐車モード時の前方ビデオカメラの撮影画像の表示画像の一例を示す図である。図１３の画像の下部分ＩＶは自車両で見えなくなっている。前向き並列駐車操作時の空いている駐車枠の様子が見えない。これに対して図１４では、画像の下部分ＰＥが透過表示され、空いている駐車枠の枠線１２０が見易くなっている。また表示画像生成部１６は、自車両の車輪の位置１００ａを表示してもよい。

　実施の形態３．
　縦列駐車操作時の場合
　この発明の実施の形態３における縦列駐車操作時の動作フローチャートは図３と同じである。また図１５はこの発明の実施の形態３における縦列駐車操作を行う際の自車両周囲の模式図である。図１５において１００が自車両、１０１Ｒが自車両の進行方向、１０２ＲＥが後方ビデオカメラ２ＲＥの撮影範囲、１０２ＬＥが右側の側方ビデオカメラ２ＬＥの撮影範囲、１１０が駐車している他車両、１２０が駐車枠および枠線を示す。
　縦列駐車操作の場合、実施の形態１の後ろ向き駐車操作時と同じく、駐車状態検出部１８は、ステップＳ５で自車両が駐車操作時にギアをバックギア「Ｒ」に入れるのを検知し、駐車操作モードに移行する。

　表示画像生成部１６による表示モニタ６に表示する画像は、後ろ向き駐車操作時の画像に加え、側方ビデオカメラ２ＬＥ，２ＲＩの画像が追加されて表示される。これは、縦列駐車操作時の後退時に前の車両との距離間がわからず、ぶつかってしまう可能性があることに対処のため、側方ビデオカメラ２ＬＥ，２ＲＩの画像も流す。

　側方ビデオカメラ２ＬＥ，２ＲＩの画像を流す場合、表示画像生成部１６により、側方ビデオカメラ２ＬＥ，２ＲＩの画像を運転者から見て認識し易い角度に変換する処理を行う。角度変換処理により、側方ビデオカメラの画像を一見した際に自車両と相手車との距離、角度および位置の状況が理解し易くなり、駐車の難易度が下がる。

　図１６はこの発明の実施の形態３における縦列駐車操作時のトップビュー画像の一例を示す図である。図１７はこの発明の実施の形態３における縦列駐車操作時のトップビュー画像で駐車枠部分が透けている様子を示す図である。自車両１００の部分が透過されており、図１７では自車両１００の部分で下の枠線１２０が透けて見えるように表示されている。

　図１８はこの発明の実施の形態３における駐車モード時でない側方ビデオカメラの撮影画像の表示画像の一例を示す図である。図１９はこの発明の実施の形態３における駐車モード時の側方ビデオカメラの撮影画像の表示画像の一例を示す図である。図１８の画像の下部分ＩＶは自車両で見えなくなっている。縦列駐車操作時の空いている駐車枠の様子が見えない。これに対して図１９では、画像の下部分ＰＥが透過表示され、空いている駐車枠の枠線１２０が見易くなっている。

　この発明では以上の実施の形態により、周辺監視用のビデオカメラにおける鳥瞰図画像等からなるトップビュー画像および各ビデオカメラ画像において、ビデオカメラの画像内に映った自車両部分で死角となる路面の枠線および自車両の下の状況を、自車両部分を透過処理し透過処理した部分をビデオカメラ画像で補填して重畳させて表示することにより、運転者に自車両と駐車枠周りの状態を認知し易くさせ、自車両の駐車操作時に枠線と自車両の位置のずれをなくせるようにする車両周辺画像表示装置および車両周辺画像表示方法を提供できる。

　撮影機器を構成するそれぞれのビデオカメラ２ＦＯ、２ＬＥ，２ＲＩ，２ＲＥは、駐車場における自車両の周辺を撮影する。画像信号入力部１１は、複数の撮影機器２で撮影される自車両の周辺画像の画像信号を継続して入力する。履歴記憶部２０は、画像信号入力部１１に入力された画像信号を撮影機器２ごとに周辺画像として記憶する。画像補填処理部１４は、画像信号入力部１１に入力された周辺画像において、欠落した画像部分を履歴記憶部２０で記憶された画像で補填し、補填された画像と画像信号入力部１１に入力された周辺画像を合成する。トップビュー画像生成部１５は、合成された周辺画像から自車両の天頂部から見たトップビュー画像を生成する。表示画像生成部１６は、トップビュー画像生成部１５で生成されたトップビュー画像を含めた表示画像を生成する。そして表示モニタ６は、表示画像生成部１６で生成された表示画像を表示する。

　また、画像補填処理部１４で補填される画像部分は駐車枠の枠線または輪止めが含まれる部分であり、画像透過処理部１７は、駐車操作時に補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する。

　ここでトップビュー画像の場合を例に挙げる地と、画像補填処理部１４は、画像信号入力部１１に入力された周辺画像において、欠落した例えば図６に示した周辺画像の中心の自車両１００の部分の画像を履歴記憶部２０で記憶された以前の画像で補填する。そし、補填された画像と画像信号入力部１１に入力された周辺画像を合成する。トップビュー画像生成部１５は、合成された周辺画像からトップビュー画像を生成する。そして画像透過処理部１７は、補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する。すなわち、図６に示した、自車両１００の部分の周囲の輪郭１００ｅは残して内側部分に、補填して得られた自車両の下側の駐車枠の枠線１２０等を含む路面部分が透けて見えるように透過処理を行う。これにより運転者は、表示モニタ６の画面表示から自車両１００と枠線１２０の傾きが確認できるようになる。

　また、枠線輪留め検出部１３は撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線または輪留めを検出すると、駐車状態検出部１８が、撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める。これにより表示画像生成部１６は、自車両と前記駐車枠の枠線または輪留めとの距離を含めて表示画像を生成する。
　また、停車位置路面画像抽出部１２は、枠線輪留め検出部１３および駐車状態検出部１８の検出結果に基づいて、撮影された画像から、駐車しようとする駐車枠の路面の画像を抽出する。

　また、停車位置路面画像抽出部１２の抽出画像により、画像補填処理部１４で補填処理が行われ、画像透過処理部１７で透過処理が行われ、表示画像生成部１６では、駐車しようとする駐車枠の路面の画像で補填および透過処理されたトップビュー画像または複数の撮影機器２で撮影された周辺画像による表示画像の生成を行う。

　履歴記憶部２０は、複数の撮影機器２の撮影された周辺画像を履歴として保存し、枠線輪留め検出部１３が、履歴記憶部２０の周辺画像から自車両の駐車しようとする駐車枠の枠線または輪留めを検出する。

　枠線輪留め検出部１３は、自車両が駐車しようとする駐車枠を探す際、複数の撮影機器２で撮影される各方向の周辺画像の中の駐車枠と、自車両のハンドル舵角と、ギア情報と、駐車枠に自車両の幅以上のスペースがあることを検出して駐車の目標となる枠線を検出し、さらに駐車枠内の輪留め、または輪留めがなければ駐車する方向に位置する障害物を検出する。
　複数の撮影機器２は、自車両の前後左右に取り付けたビデオカメラで構成される。

　なお上記各実施の形態において、図１に示された各機能ブロックで示された画像生成表示制御部３０は、別々の制御回路で構成してもよく、また１つの制御回路でまとめて構成してもよい。
　この点に関し、これらの機能を実現する処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵ(Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう)であっても構成可能である。

　図２０の(ａ)はこれらの機能をハードウェアで構成した場合、(ｂ)はソフトウェアで構成した場合の、ハードウェア構成を概略的に示す。
　上記各部の機能を図２０の(ａ)に示すハードウェアで構成した場合、処理回路１０００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものが該当する。上記各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて処理回路で実現してもよい。

　上記各部の機能を図２０の(ｂ)に示すＣＰＵで構成した場合、上記各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ２１００に格納される。処理回路であるプロセッサ２０００は、メモリ２１００に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。これらのプログラムは、上記各部の手順および方法をコンピュータに実行させるものであるともいえる。ここで、メモリ２１００とは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリー、ＥＰＲＯＭ、およびＥＥＰＲＯＭ等の、不揮発性または揮発性の半導体メモリ、または磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、およびＤＶＤ等が該当する。

　なお、上記各部の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。

　このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　また処理に必要な各種情報は、ハードウェア構成の場合は回路に予め設定され、またソフトウェア構成の場合にはメモリに予め記憶させておく。

産業上の利用の可能性

　この発明による車両周辺画像表示装置および車両周辺画像表示方法は種々の分野、種々の形態の車両に適用可能である。

　２ＦＯ　前方ビデオカメラ、２ＲＥ　後方ビデオカメラ、２ＬＥ，２ＲＩ　側方ビデオカメラ、６　表示モニタ、７　Ｈ／Ｉ(ヒューマンインターフェース)、１０　画像生成表示処理部、１１　画像信号入力部、１２　停車位置路面画像抽出部、１３　枠線輪留め検出部、１４　画像補填処理部、１５　トップビュー画像生成部、１６　表示画像生成部、１７　画像透過処理部、１８　駐車状態検出部、２０　履歴記憶部、２１　画像表示制御入力部、３０　画像生成表示制御部、１００　自車両、１２０　枠線(駐車枠)、１０００　処理回路、２０００　プロセッサ、２１００　メモリ。

Claims

　駐車場における自車両の周辺を撮影する複数の撮影機器と、
　前記複数の撮影機器で撮影される前記自車両の周辺画像の画像信号を継続して入力する画像信号入力部と、
　前記画像信号入力部に入力された画像信号を前記撮影機器ごとに周辺画像として記憶する履歴記憶部と、
　前記画像信号入力部に入力された周辺画像において、欠落した画像部分を前記履歴記憶部で記憶された画像で補填し、補填された画像と前記画像信号入力部に入力された周辺画像を合成する画像補填処理部と、
　前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成するトップビュー画像生成部と、
　前記トップビュー画像生成部で生成されたトップビュー画像を含めた表示画像を生成する表示画像生成部と、
　前記表示画像生成部で生成された表示画像を表示する表示装置と、
　を備えた車両周辺画像表示装置。
　前記画像補填処理部で補填される画像部分が駐車枠の枠線または輪止めが含まれる部分であり、駐車操作時に補填された画像部分を駐車枠の枠線または輪止めが透けて見えるように画像を透過処理する画像透過処理部を備えた、請求項１に記載の車両周辺画像表示装置。
　撮影された画像から、自車両の駐車しようとする駐車枠を決めるために駐車枠の枠線または輪留めを検出する枠線輪留め検出部と、
　撮影された画像から、自車両と駐車しようとする駐車枠の枠線または輪留めとの距離を求める駐車状態検出部と、
　を備え、
　前記表示画像生成部が、自車両と前記駐車枠の枠線または輪留めとの距離を含めて表示画像を生成する、
　請求項２に記載の車両周辺画像表示装置。
　前記枠線輪留め検出部および前記駐車状態検出部の検出結果に基づいて、撮影された画像から、駐車しようとする駐車枠の路面の画像を抽出する停車位置路面画像抽出部を備えた、請求項３に記載の車両周辺画像表示装置。
　前記停車位置路面画像抽出部の抽出画像により、前記画像補填処理部で補填処理が行われ、前記画像透過処理部で透過処理が行われ、
　前記表示画像生成部で、駐車しようとする駐車枠の路面の画像で補填および透過処理された前記トップビュー画像または前記複数の撮影機器で撮影された周辺画像による表示画像の生成が行われる、
　請求項４に記載の車両周辺画像表示装置。
　前記履歴記憶部は、前記複数の撮影機器の撮影された周辺画像を履歴として保存し、
　前記枠線輪留め検出部が、前記履歴記憶部の周辺画像から自車両の駐車しようとする駐車枠の枠線または輪留めを検出する、請求項３から５までのいずれか１項に記載の車両周辺画像表示装置。
　前記枠線輪留め検出部が、自車両が駐車しようとする駐車枠を探す際、前記複数の撮影機器で撮影される各方向の周辺画像の中の駐車枠と、自車両のハンドル舵角と、ギア情報と、駐車枠に自車両の幅以上のスペースがあることを検出して駐車の目標となる枠線を検出し、さらに駐車枠内の輪留め、または輪留めがなければ駐車する方向に位置する障害物を検出する、
　請求項３から６までのいずれか１項に記載の車両周辺画像表示装置。
　前記複数の撮影機器は、自車両の前後左右に取り付けたビデオカメラで構成される、請求項１から７までのいずれか１項に記載の車両周辺画像表示装置。
　複数の撮影機器で撮影された駐車場における自車両の周囲画像を継続して入力し、
　前記周囲画像を記憶し、
　入力された周辺画像において、欠落した画像部分を記憶された画像で補填し、補填された画像と前記入力された周辺画像を合成し、
　前記合成された周辺画像から前記自車両の天頂部から見たトップビュー画像を生成し、
　前記トップビュー画像を含めた表示画像を生成し、
　生成された表示画像を表示する、
　ことを備えた、車両周辺画像表示方法。