JP5031801B2 - 車載用画像表示装置 - Google Patents

Description

本発明は、車載カメラで撮像した画像を表示する車載用画像表示装置に関する。

広角なカメラを車両に装着して、運転席の側に備え付けられたモニタ上にカメラの映像を表示し、運転者の周囲確認を支援する車両周囲の表示システムが普及している。運転席に備え付けられるモニタは、車両の室内のスペースの制約から画面の大きさが７〜１０インチ程度のコンパクトなものが一般的である。

車両周囲の表示システムでは、車両の装着するカメラの数は１台あるいは２台以上である。車両周囲の表示システムで２台以上のカメラを車両に装着する場合、運転席の側に備え付けられたモニタには、カメラの映像を運転者の手動の操作により切り換えて表示したり、２つ以上のカメラの映像を並べて表示したり、あるいは画像処理によって２つ以上のカメラの映像を合成処理して一つの画面にまとめて表示することが行われている。

特許文献１には、自車の前側、後側、左側、右側の４つの側面に備え付けた広角なカメラの映像を信号処理装置によって処理し、車両を真上方向の仮想的な視点から見下ろすように視点変換したトップビュー映像を表示するとともに、前側、後側、左側、右側のカメラのうち１つ以上のカメラの映像をトップビュー映像の横に並べて表示する技術が開示されている。

トップビュー映像は自車周辺の地上面を基準に、自車の前側、後側、左側、右側のカメラの映像を貼り合わせた映像である。トップビュー映像には、一目することで運転者が自車の全周囲の状況を把握できるメリットがある一方で、立体物が視点変換の結果歪んで表示されてしまうこと、および地上面よりも高いところの映像は表示されないことにデメリットがある。

特許文献１では、自車の前側、後側、左側、右側に取り付けたカメラで撮影した映像をトップビュー映像の隣に表示することで、上記したトップビュー映像のデメリットを補っている。特許文献１では、自車の車速や進行方向に応じて、トップビュー映像の隣に映像を表示するカメラを選択する技術が開示されてあり、たとえば自車が右後に進行する場合には、自車の右側および後側のカメラが選択される。

トップビュー映像を用いた車両周囲の表示システムについて、特許文献２では、自車に備え付けた障害物センサを利用し、障害物センサが自車の周囲に障害物を検知した場合には、トップビュー映像のうち自車の検知した障害物の付近を拡大して表示する方法が開示されている。

特開２００７−２８８６１１号公報 特許第３３００３３４号公報

特許文献１の技術では、車両の進行方向を基準にして、トップビュー映像の隣に映像を表示するカメラを切り換える。しかしながら、車両の運転において運転者は車両の進行方向だけではなく、車両の前部、後部、左部、右部のどこの部分も、周囲の構造物や他の車両と接触しないように車両の全周囲に注意を向ける必要がある。そして、特に運転者が車両との接触を注意する部分は、車両の運転状態に応じて刻々と変化する。したがって、特許文献１に示された技術では、運転者にとって必要な映像が不足するおそれがある（第１の課題）。

また、特許文献１の技術では、トップビュー映像および、自車の前側、後側、左側、右側のカメラ映像という視点の異なる映像をみたときに、運転者が対応関係を容易にとれないおそれがある（第２の課題）。特に、駐車時のように運転者が自車の操舵や、駐車する駐車枠との位置関係などに注意を向ける状況では、第２の課題は大きな問題になると考えられる。

次に、特許文献２の技術では、トップビュー映像を障害物の付近に拡大しすぎると、運転者が見たときに障害物が自車からみてどこにあるのかが把握困難となる。一方で、トップビュー映像の拡大の程度が小さいと、運転者は注意を強くむけないと障害物を目視で確認できない。先述の通り、車両周囲の表示システムにおいて、モニタは現状７〜１０インチと小型であり、また設置スペースの制約から今後も大きくなる可能性が小さいので、特許文献２の技術では、自車と障害物の位置関係を把握することと、障害物の詳細な映像を表示することの両立が第３の課題となる。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、運転状態に応じて変化する車両周囲の映像から運転者が必要とする部分の映像を自車との位置関係がわかるように適切なタイミングで提供することができる車載用画像表示装置を提供することにある。

上記課題を解決する本発明の周囲画像表示装置は、複数の車載カメラで撮像された画像を表示する車載用画像表示装置であって、前記車載カメラで撮像した画像を取得する画像取得部と、該画像取得部で取得した画像に基づいて自車の周囲画像を生成する周囲画像生成部と、前記自車の運転状態に基づいて自車周囲の物体と接触する可能性のある自車の接触注意部分を選定する接触注意部分選定部と、前記画像取得部により取得した画像を画像処理することにより、前記接触注意部分選定部で選定された自車の接触注意部分の周辺の拡大画像を生成する拡大画像生成部と、該拡大画像生成部で生成された拡大画像と前記自車周囲画像生成部で生成された自車周囲画像とを互いの位置関係が関連付けされた形で表示可能な合成表示画像を生成する合成表示画像生成部と、該合成表示画像生成部により生成された合成表示画像を表示する表示部を有することを特徴とする。

本発明によれば、自車の運転状態に基づいて自車周囲の物体と接触する可能性のある自車の接触注意部分を選定し、その選定した自車の接触注意部分の周辺の拡大画像と自車周囲画像とを互いの位置関係が関連付けされた形で表示するので、運転状態に応じて変化する車両周囲の映像から運転者が必要とする部分の映像を自車との位置関係がわかるように適切なタイミングで提供することができる。

実施例１における周囲画像表示装置の機能ブロック図。 並列駐車（左後）時の運転状態を推定する状態遷移図。 並列駐車（左後）時の運転状態の遷移を示す図。 並列駐車（左後）時の運転状態の遷移を示す図。 並列駐車（左後）時の運転状態の遷移を示す図。 並列駐車（左後）時の運転状態の遷移を示す図。 並列駐車（左後）時の運転状態の遷移を示す図。 すり抜け（左寄せ）時の運転状態を推定する状態遷移図。 すり抜け（左寄せ）時の運転状態の遷移を示す図。 すり抜け（左寄せ）時の運転状態の遷移を示す図。 すり抜け（左寄せ）時の運転状態の遷移を示す図。 すり抜け（左寄せ）時の運転状態の遷移を示す図。 縦列駐車（左側）時の運転状態を推定する状態遷移図。 縦列駐車（左側）時の運転状態の遷移を示す図。 縦列駐車（左側）時の運転状態の遷移を示す図。 縦列駐車（左側）時の運転状態の遷移を示す図。 縦列駐車（左側）時の運転状態の遷移を示す図。 縦列駐車（左側）時の運転状態の遷移を示す図。 前進駐車時の運転状態を推定する状態遷移図。 前進駐車時の運転状態の遷移を示す図。 前進駐車時の運転状態の遷移を示す図。 前進駐車時の運転状態の遷移を示す図。 前進駐車時の運転状態の遷移を示す図。 前進駐車時の運転状態の遷移を示す図。 車両の内輪差を説明する図。 運転状態に応じた接触注意部分を示す参照表の一例を示す図。 車両の接触注意部分の一覧の一例を示している。 自車に対するカメラの取り付け位置の一例を示す図。 自車の接触注意部分に応じて、対応するカメラと、該カメラにより撮像した画像の切り出し領域を規定した対応表の一例を示す図。 拡大画像生成部によって拡大画像を生成する方法の一例を説明する図。 合成表示生成部によって生成された合成表示画像の一例を示す図。 合成表示生成部によって生成された合成表示画像の他の例を示す図。 合成表示生成部によって生成された合成表示画像の他の例を示す図。 表示部に表示されるメニュー画面の一例を示す図。 実施例２における車載用画像表示装置の機能ブロック図。 実施例２の車載用画像表示装置に対する比較例の機能ブロック図。 実施例３における車載用画像表示装置の機能ブロック図。 車両信号推定部により車両信号を推定する方法を説明するフローチャート。

以下、本発明にかかる車載用画像表示装置の具体的な実施の形態について、図面を参照しながら説明する。なお、本実施の形態では、車両の一例として自動車を挙げて説明するが、本発明にかかる「車両」とは自動車に限定されるものではなく、地表を走行するあらゆる種類の移動体を含む。

[実施例１]
図１は、実施例１における車載用画像表示装置の機能ブロック図である。車載用画像表示装置は、車両に取り付けられた少なくとも一つ以上の車載カメラ（以下、カメラという）、カメラ内あるいは車両内の少なくとも一つ以上に搭載された演算装置、主記憶、記憶媒体を有す計算機、カーナビゲーションのようなモニタ画面あるいはスピーカの少なくとも一つ以上を有す車両において実現される。

車載用画像表示装置は、図１に示すように、車両信号取得部１、運転状態推定部２、接触注意部分選定部３、画像取得部４、周囲画像生成部５、拡大画像生成部６、合成表示生成部７、表示部８の各機能を有している。

そして、車両信号取得部１、運転状態推定部２、接触注意部分選定部３、画像取得部４、周囲画像生成部５、拡大画像生成部６、合成表示生成部７の各機能は、カメラ内あるいは車両内のいずれかあるいは両方の計算機で実現され、表示部８の機能はカーナビゲーションのような車内のモニタ画面あるいはスピーカの少なくとも一つ以上で実現される。

車載用画像表示装置は、車両信号取得部１で自車の車両信号を取得し、運転状態推定部２で車両信号の時系列に基づいて自車の運転状態を推定し、接触注意部分選定部３で自車の運転状態に基づいて予め設定された参照表を参照することにより、自車の車両部分であって周囲の物体と接触する可能性のある部分を接触注意部分として選定する処理を行う。

そして、画像取得部４で自車に取り付けられたカメラの画像を取得し、周囲画像生成部５でカメラの画像に基づいて自車の周囲画像を生成し、拡大画像生成部６で接触注意部分の周辺を拡大した拡大画像を生成する。

そして、合成表示生成部７で自車周囲画像と拡大画像の両方を有しかつ周囲画像と拡大画像との対応関係が示される合成表示画像、換言すると、周囲画像と拡大画像とを互いの位置関係が関連付けされた形で表示可能な合成表示画像を生成し、表示部８で合成表示画像を表示する処理を行う。

次に、上記した各機能について詳細に説明する。
車両信号取得部１は、自車の車輪等の車速センサから車速、ギアの制御装置からギアの状態、操舵角センサから操舵角といったように、自車のセンサや制御装置から、車速やギアの状態や操舵角といった車両信号を、所定の時間間隔で取得する。

運転状態推定部２は、車両信号取得部１で取得した車両信号を、所定の時間間隔で常時読み込み、車両信号の時系列から自車の運転状態を推定する。運転状態推定部２では、例えば、並列駐車時の運転状態（図２および図３）、幅寄せ時の運転状態（図４および図５）、縦列駐車時の運転状態（図６および図７）、前進駐車時の運転状態（図８および図９）の運転状態を推定することができる。

まず、並列駐車（左後）を行う場合の運転状態を推定する方法について図２および図３を用いて説明する。図２は、並列駐車（左後）時における自車の運転状態の遷移を示す状態遷移図、図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅは、並列駐車（左後）を行う場合における自車の運転状態の遷移を順番に示す図であり、並列駐車（左後）の運転状態およびその前後の運転状態のシーケンスの一例である。

図３で符号４１は自車、符号４０は移動前の自車、符号６０は側溝、符号６１、６２は自車４１が駐車する駐車枠の左右両側に駐車されている駐車車両、符号７０は自車４１が駐車する駐車枠である。そして、駐車枠７０と通路を挟んで対向する位置には、蓋なしの側溝６０が存在している。

運転状態推定部２は、自車４１のエンジンが始動してから停止するまでの間、車両信号取得部１が取得する車両信号の時系列に基づいて常に状態遷移の判定を継続する。図２の状態遷移図では、最初の状態は初期状態Ｃ１にある。

図２の状態遷移図では、車両信号取得部１の車両信号から自車４１のギアがバックに入れられ、車速が０以上と判断すると、初期状態Ｃ１から後退状態Ｃ２に状態が遷移する。図３Ａ〜図３Ｅに示す並列駐車（左後）の運転状態およびその前後の運転状態のシーケンスの一例では、図３Ａの場面に該当する。後退状態Ｃ２では、運転者は駐車枠７０と自車４１の位置関係を把握しながら、操舵を開始するタイミングを図っているものと推定する。後退状態Ｃ２では自車４１はほぼ真後ろに進むため、自車４１の後部３７が周囲の物体と接触する可能性がある。

図２の状態遷移図において、後退状態Ｃ２になった後、左向きに操舵角Ｓａ以上の操舵角で後退することが時間Ｔａ以上継続すると並列進入状態Ｃ３に遷移する。そして、操舵角が左向きに操舵角Ｓａ以上の間は、並列進入状態Ｃ３を継続する。

図３Ａ〜図３Ｅの並列駐車（左後）の運転状態およびその前後の運転状態のシーケンスの一例では、図３Ｂ、図３Ｃの場面に該当する。なお、操舵角Ｓａおよび継続時間Ｔａは、予め設定されている閾値であり、操舵角Ｓａは、並列駐車において自車４１の後部３７を駐車枠７０に向けて旋回するときのある程度以上に大きな操舵角を想定し、継続時間Ｔａは、運転者の瞬間的な操舵の調整に反応することを抑止するための継続時間を想定して定めておく。

並列進入状態Ｃ３では、自車４１は左に向けて大きな操舵角で旋回し、駐車枠７０に自車４１の後部３７から進入している最中と推定する。図３Ｂの場面は、自車４１の左後部３４が駐車枠７０に入るタイミングであり、自車４１の左後部３４が車両６１と接触する可能性があるとともに、自車４１の右前部３２が側溝６０と接触する可能性がある。

自車４１の左後部３４と車両６１との接触は衝突事故につながり、自車４１の右前部３２と側溝６０との接触は脱輪につながる可能性があり、運転者は注意する必要がある。図３Ｃの場面は、図３Ｂよりも自車４１が深く駐車枠７０に進入した状態であり、自車の右後部３３と車両６２とが接触する可能性がある。

図２の状態遷移図では、並列進入状態Ｃ３において操舵角が左向きに操舵角Ｓａ未満となると、後退状態Ｃ４に遷移する。図２の状態遷移図において、遷移状態が後退状態Ｃ４になった後は、自車４１が後退し続ける間、後退状態Ｃ４を取り続ける。

後退状態Ｃ４は、運転者が大きく操舵角をとることで、自車４１が駐車枠７０とほぼ平行になった後に、自車４１が奥に進入している状態と推定する。図３Ａ〜図３Ｅの並列駐車（左後）の運転状態およびその前後の運転状態のシーケンスの一例では、図３Ｄおよび図３Ｅが、後退状態Ｃ４の場面の一例である。

図３Ｄは、図３Ｃの場面の後に操舵を戻しながら自車４１が駐車枠７０の奥に進入する場面である。図３Ｅは、自車４１の後部３７が駐車枠７０の後端に付近に来るように、停止位置を調整している場面である。図３Ｄ、図３Ｅの場面では、自車４１はほぼ真後ろに進行するので、自車４１の後部３７が駐車枠７０の後部にある物体、例えば縁石や壁（図示せず）に接触する可能性がある。

図２の状態遷移図では、後退状態Ｃ４において自車４１が停止あるいはギアをバックからフロントに変えることにより、自車４１の駐車枠７０への進入が完了したものあるいは、一度前進して自車４１を駐車枠７０に入れ直そうとしている状態と推定して、並列駐車（左後）の運転状態が完了したものと判断する。これにより、状態遷移は、初期状態Ｃ１に戻る。

次に、運転状態の推定例の一つとして、狭い道路において自車４１を左に幅寄せして対向車の脇をすり抜ける場合の運転状態を推定する方法について図４および図５を用いて説明する。図４は、運転状態推定部が狭い道路において自車を左に幅寄せして対向車の脇をすり抜ける運転状態およびその前後の運転状態のシーケンスを推定する状態遷移図を示している。図５Ａ、図５Ｂ、図５Ｃ、図５Ｄは、すり抜け運転を行う場合における自車の運転状態の遷移を順番に示す図であり、すり抜け運転状態およびその前後の運転状態のシーケンスの一例である。図５Ａ、図５Ｂ、図５Ｃ、図５Ｄにおいて、符号４５は対向車、符号６３はガードレール、符号３６は自車４１の右部、符号３８は自車４１の左部、符号３１は自車４１の左前部である。

運転状態推定部２は、自車４１のエンジンが始動してから停止するまでの間、車両信号取得部１が取得する車両信号の時系列に基づいて常に状態遷移の判定を継続する。図４の状態遷移図では、最初の状態は初期状態Ｃ１１にある。

図４の状態遷移図では、初期状態Ｃ１１にあるとき、車速Ｖが車速Ｖａ以上になると、通常走行状態Ｃ１２に遷移する。車速Ｖａは予め設定された閾値であり、公道を円滑に走行しているとみなせる最低の車速を見積もって設定しておく。図４の状態遷移図において、通常走行状態Ｃ１２では、自車４１は円滑に走行していると考える。

図４の状態遷移図では、通常走行状態Ｃ１２にあるときに、車両信号の車速Ｖが車速Ｖｂ以下になると、減速走行状態Ｃ１３に遷移する。車速Ｖｂは予め設定された閾値であり、運転者が周りのものと接触しないように注意しながら走行するときの車速を見積もって設定しておく。

図４の状態遷移図において、通常走行状態Ｃ１２から減速走行状態Ｃ１３に変わると、渋滞の末尾に到達したときの減速や、信号での停止するための減速など目的はわからないが、運転者はなんらかの目的で自車４１を減速させたものとみなす。

減速走行状態Ｃ１３は、図５のすり抜け（左寄せ）の運転状態およびその前後の運転状態のシーケンスの一例では、図５Ａの場面に該当し、運転者は対向車４５の脇をすり抜けるのに供えて自車４１を減速させている。

図４の状態遷移図において、減速走行状態Ｃ１３にあるときに、車両信号の操舵角Ｓが左向きで０よりも大きくかつ操舵角Ｓｂ以下である状態が継続時間Ｔｂ以上続くと、すり抜け（左寄せ）状態Ｃ１４に遷移する。

操舵角Ｓｂは予め設定された閾値であり、運転者が車線内における自車４１の横方向の位置を微調整するような幅寄せのときの操舵角を見積もって設定しておく。また、操舵角Ｓｂは交差点で左折するときのような大きな操舵角よりも小さく設定しておく。

継続時間Ｔｂは、予め設定された閾値であり、車線変更のように瞬間的な操舵に要する時間よりも長く設定しておく。図４の状態遷移図において、すり抜け状態Ｃ１４にあるときは、車両信号の車速Ｖが所定車速Ｖａを超えるまでの間、すり抜け状態Ｃ１４を継続する。

すり抜け状態Ｃ１４では、運転者は自車４１の車速を落として操舵を微調整しながら、対向車４５の脇を注意して通過しているものと推測する。すり抜け状態Ｃ１４は、図５のすり抜け（左寄せ）の運転状態およびその前後の運転状態のシーケンスの一例では、図５Ｂと図５Ｃの場面に該当する。

図５Ｂでは、自車４１が対向車４５と離れてガードレール６３の方向に向かうように操舵されている状態が示され、図５Ｃでは、自車４１が操舵を戻しながら対向車４５とガードレール６３の間を通り抜ける状態が示されている。

図５Ｂの場面では、自車４１の左前部３１がガードレール６３と接触する可能性があり、図５Ｃの場面では自車４１の右部３６および左部３８の両方が、対向車４５およびガードレール６３に接触する可能性がある。

図４の状態遷移図において、すり抜け（左寄せ）状態Ｃ１４にあるときに、車両信号の車速Ｖが車速Ｖａを超えると、すり抜け状態Ｃ１４が完了したものとみなして、状態は初期状態Ｃ１１に戻る。図５Ａ〜図５Ｄのすり抜け運転状態およびその前後の運転状態のシーケンスの一例では、図５Ｂと図５Ｃの場面に該当し、自車４１は対向車４５の脇を通り抜けることを終えて走行している。

なお、図４の状態遷移図において、減速走行状態Ｃ１３にあるときに、車両信号の車速Ｖが車速Ｖａ以上に上昇した場合、あるいは車両信号の操舵角Ｓが左向きに操舵角Ｓｂを超過した場合、すり抜け（左寄せ）とは異なる運転状態に遷移したと推定して、初期状態Ｃ１１に戻る。

次に、運転状態の推定例の一つとして、縦列駐車を行う場合の運転状態を推定する方法について図６と図７を用いて説明する。図６は、自車が左側の駐車枠に縦列駐車するときにおける縦列駐車（左側、前半）および縦列駐車（左側、後半）の運転状態およびその前後の運転状態のシーケンスを推定する状態遷移図を示している。

図７Ａ〜図７Ｅは、縦列駐車（左側、前半）および縦列駐車（左側、後半）の運転状態およびその前後の運転状態のシーケンスの一例であり、符号８０は自車４１が駐車する駐車枠、８１と８２は駐車枠８０の左側と右側の駐車枠に駐車された駐車車両、８３は縁石である。

運転状態推定部２は、自車４１のエンジンが始動してから停止するまでの間、車両信号取得部１の車両信号の時系列から常に状態遷移の判定を継続する。図６の状態遷移図では、最初の状態は初期状態Ｃ２１にある。

図６の状態遷移図では、車両信号取得部１の車両信号から自車４１のギアがバックに入れられ、車速が０以上と判断すると、初期状態Ｃ２１から後退状態Ｃ２２に状態が遷移する。図７Ａ〜図７Ｅに示す縦列駐車の運転状態およびその前後の運転状態のシーケンスの一例では、図７Ａの場面に該当する。後退状態Ｃ２２では、運転者は駐車枠８０と自車４１の位置関係を把握しながら、操舵を開始するタイミングを図っているものと推定する。後退状態Ｃ２２では自車４１はほぼ真後ろに進むため、自車４１の後部３７が周囲の物体と接触する可能性がある。

図６の状態遷移図において、後退状態Ｃ２２になった後、左向きに操舵角Ｓｃ以上の操舵角で後退することが時間Ｔｃ以上継続すると縦列駐車（左側、前半）状態Ｃ２３に遷移する。そして、操舵角が左向きに操舵角Ｓｃ以上の間は、縦列駐車（左側、前半）状態Ｃ２３を継続する。図７Ａ〜図７Ｅに示す縦列駐車の運転状態およびその前後の運転状態のシーケンスの一例では、図７Ｂの場面に該当する。なお、操舵角Ｓｃおよび継続時間Ｔｃは、予め設定された閾値であり、操舵角Ｓｃは、縦列駐車において自車４１の後部３７を駐車枠８０に向けて旋回させるときのある程度大きな操舵角を想定し、継続時間Ｔｃは、運転者の瞬間的な操舵の調整ではなく、縦列駐車のための操舵をしていると判断するのに十分な継続時間を想定して定めておく。

縦列駐車（左側、前半）状態Ｃ２３では、自車４１が左に旋回しながら後部３７を駐車枠８０に進入させている最中と推定する。図７Ｂの場面は、自車の左後部３４が駐車枠８０に入ろうとしているタイミングであり、自車４１の左後部３４が車両８１と接触する可能性があるとともに、自車４１の右前部３２が縁石８４と接触する可能性がある。自車４１と車両６１および自車と縁石８４の接触は、衝突事故および自車４１の損傷につながるので、運転者は注意する必要がある。

図６の状態遷移図では、縦列駐車（左側、前半）状態Ｃ２３において左向きの操舵角が操舵角Ｓｃ未満となると、後退状態Ｃ２４に遷移する。図６の状態遷移図において、後退状態Ｃ２４になった後は、自車４１が後退し続ける間は、後退状態Ｃ２４を取り続ける。図７のシーケンスでは、図７Ｃの場面に該当する。

後退状態Ｃ２４は、運転者が縦列駐車（左側、前半）状態Ｃ２３から操舵を戻して、右方向に操舵を切り返すタイミングを計っていると状態と推定する。後退状態Ｃ２４では、自車４１はほぼ真後ろに後退するので、自車４１の後部３７が周囲の物体と接触する可能性がある。

図６の状態遷移図において、後退状態Ｃ２４になった後、右向きに操舵角Ｓｃ以上の操舵角で後退することが時間Ｔｃ以上継続すると、後退状態Ｃ２４から縦列駐車（左側、後半）状態Ｃ２５に遷移する。

そして、自車４１が後退を継続する間は、縦列駐車（左側、後半）状態Ｃ２５を継続する。図７のシーケンスでは、図７Ｄ、図７Ｅの場面に該当する。縦列駐車（左側、後半）状態Ｃ２５において、自車４１は、自車４１と駐車枠８０が平行になるように右方向に操舵しながら、駐車枠８０の後方に進行している最中と推定する。

図７Ｄの場面は、図７Ｃの場面から自車４１が右方向に操舵を開始した場面であり、自車４１の左前部３１が車両８１と接触する可能性がある。図７Ｅの場面は、図７Ｄの場面から後退を継続して駐車枠８０の後方に後退している場面であり、自車４１の左後部３４が縁石８３と接触する可能性があるとともに、自車４１の後部３７が車両８２と接触する可能性がある。自車４１と車両８２および自車４１と縁石８３の接触は、衝突事故および自車４１の損傷につながるので、運転者は注意する必要がある。

図６の状態遷移図では、縦列駐車（左側、後半）状態Ｃ２５において自車４１が停止あるいはギアがバックからフロントに変わると、自車４１の駐車枠８０への進入が完了したものあるいは、一度前進して自車４１を駐車枠８０に入り直そうとしている状態と推定して、縦列駐車の運転状態が完了したものと判断し、遷移状態は初期状態Ｃ２１に戻る。

次に、運転状態の推定例の一つとして、前進駐車を行う場合の運転状態を推定する方法について図８および図９を用いて説明する。図８は、自車が左前の駐車枠に前進して駐車するときの前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスを推定する状態遷移図を示している。

図９Ａ〜図９Ｅは、前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスの一例であり、９０は自車４１が駐車する駐車枠、９１と９２は駐車枠９０の左側と右側の駐車枠に駐車された車両、９３は壁である。

運転状態推定部２は、自車４１のエンジンが始動してから停止するまでの間、車両信号取得部１の車両信号の時系列から常に状態遷移の判定を継続する。図８の状態遷移図では、最初の状態は初期状態Ｃ４１にある。

図８の状態遷移図では、車両信号取得部１の車両信号から自車４１が前進かつ車速Ｖが車速Ｖｄ以下と判断すると、初期状態Ｃ４１から低速前進状態Ｃ４２に遷移する。図９の前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスでは、図９Ａの場面に該当する。

なお、車速Ｖｄは、予め設定された閾値であり、自車４１が周囲に注意しながら前進駐車を行っているとみなす速度に定めておく。低速前進状態Ｃ４２では、運転者は駐車枠９０と自車４１の位置関係を把握しながら、操舵を開始するタイミングを図っているものと推定する。低速前進状態Ｃ４２では、自車４１はほぼまっすぐ前に進むため、自車４１の前部３５が周囲の物体と接触する可能性がある。

図８の状態遷移図において、低速前進状態Ｃ４２になった後、左向きに操舵角Ｓｄ以上の操舵角で前進することが時間Ｔｄ以上継続すると、低速前進状態Ｃ４２から前進駐車（左側）状態Ｃ４３に遷移する。

そして、操舵角が左向きに操舵角Ｓｄ以上を継続する間は、前進駐車（左側）状態Ｃ４３を継続する。図９の前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスでは、図９Ｂ、図９Ｃの場面に該当する。なお、操舵角Ｓｄおよび継続時間Ｔｄは、予め設定された閾値であり、操舵角Ｓｄは、前進駐車において自車４１の前部３５を駐車枠９０に向けて旋回させるときのある程度大きな操舵角を想定し、継続時間Ｔｄは運転者の瞬間的な操舵の調整ではなく、前進駐車のために操舵をしていると判断するのに十分な継続時間を想定して定めておく。

前進駐車（左前）状態Ｃ４３では、自車４１が左に旋回しながら前部３５を駐車枠９０に進入させている最中と推定する。図９Ｂの場面は、自車４１の左前部３１が駐車枠９０に入ろうとしているタイミングであり、自車４１の左前部３１が車両９２と接触する可能性がある。

図９Ｃの場面は、図９Ｂの場面から自車４１が駐車枠９０の奥に向かっている場面であり、自車４１の右前部３２が車両９１と接触する可能性があるとともに、自車４１の左部３８が車両９２と接触する可能性がある。

なお、前進駐車では内輪差によって、車両の前方よりも車両の後方の方が旋回の内側を通るので、図９Ｂで左前部３１と車両９２が接触しない時においても、図９Ｃの場面にて左部３８と車両９２が接触する可能性がある。

図１０は、車両の内輪差を説明する図である。図１０で符号１０００は旋回の中心、符号１００１、１００４は自車４１の左前、左後のタイヤであり、符号１０１１、１０１４は自車４１の左前のタイヤ１００１、左後のタイヤ１００４の回転弧（軌跡）である。

一般的な自動車では、図１０のように、操舵しても自車４１との向きが変わらない左後のタイヤ１００４の回転弧１０１４は、操舵により自車４１の左方向を向く左前のタイヤ１００１の回転弧１０１１よりも半径が小さくなり、これが内輪差である。内輪差によって、自車４１の左側は、自車の後方に向かうほど旋回の中心１０００に近くなる。また、内輪差によって、図９Ｃにおいて、自車４１の左部３８は前方よりも後方のほうが旋回の中心に近くなる。この内輪差によって、図９Ｃの場面では、自車４１の左部３８は前方よりも後方のほうが車両９２に近づくので、運転者は自車４１と車両９２が接触しないように注意する必要がある。

図８の状態遷移図では、前進駐車（左前）状態Ｃ４３において、操舵角が左向きに操舵角Ｓｄ未満となると、減速前進状態Ｃ４４に遷移する。図８の状態遷移図において、前進駐車（左前）状態Ｃ４３から減速前進状態Ｃ４４になった後は、自車４１が車速Ｖｄ以下で前進し続ける間、減速前進状態Ｃ４４の状態を取り続ける。

減速前進状態Ｃ４４では、運転者が大きく操舵角をとることで、自車４１が駐車枠９０と平行に近づいた後に、自車４１が駐車枠９０の奥に進入している状態と推定する。図９の前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスの一例では、図９Ｄ、図９Ｅが、減速前進状態Ｃ４４の場面に相当する。

図９Ｄは、図９Ｃの場面の後に操舵を戻しながら自車４１が駐車枠９０の奥に進入している場面である。図９Ｄは、図９Ｃの場面の後に、自車４１が駐車枠９０とほぼ平行になった後に、自車４１の前部３５が駐車枠９０の後端の付近に来るように、停止位置を調整している場面である。図９Ｄ、図９Ｅの場面では、自車４１はほぼまっすぐ前に進行するので、自車４１の前部３５が駐車枠９０の後部にある壁９３に接触する可能性がある。

図８の状態遷移図では、減速前進状態Ｃ４４において、自車４１が停止あるいは自車４１のギアがフロントから変わったとき、自車４１の駐車枠９０への駐車が完了したものあるいは、自車４１が一度後退して自車４１を駐車枠９０に入れ直そうとしている状態と推定して、前進駐車（左前）の運転状態が完了したものと推定して、遷移状態は初期状態Ｃ４１に戻る。

なお、図２、図４、図６、図８の各々の状態遷移図において、状態遷移の過程において、車両信号取得部１の車両信号が、状態の継続あるいは状態の遷移の条件を満たさない場合、初期の状態Ｃ１１、Ｃ２１、Ｃ３１、Ｃ４１に遷移して、状態遷移はリセットされる。

運転状態推定部２は、図２に示した並列進行（左後）の運転状態およびその前後の運転状態のシーケンスの状態遷移、図４に示したすり抜け（左寄せ）の運転状態およびその前後の運転状態のシーケンスの状態遷移、図６に示した縦列駐車（左側、前半）および縦列駐車（左側、後半）の運転状態およびその前後の運転状態のシーケンスの状態遷移、図８に示した前進駐車（左前）の運転状態およびその前後の運転状態のシーケンスの状態遷移のような、あらかじめ登録された１つ以上の運転状態のシーケンスの状態遷移を、車両のエンジンがオンになってからオフになるまでの間、車両信号取得部１の車両信号を入力として所定の時間周期で繰り返す。

なお、運転状態推定部２に登録される運転状態のシーケンスは、図２に示した並列駐車（左後）、図４に示したすり抜け（左寄せ）、図６に示した縦列駐車、図８に示した前進駐車に限られず、車両信号の時系列から推定可能な任意の運転状態を登録することができる。なお、運転状態推定部２に２つ以上の複数の運転状態のシーケンスの状態遷移が登録された場合には、個別の運転状態のシーケンスの状態遷移をそれぞれ独立に推定する。運転状態推定部２は、推定した運転状態を接触注意部分選定部３に出力する。

接触注意部分選定部３は、運転状態推定部２が推定した運転状態に応じて、予め設定された参照表を参照し、周囲の物体と接触する可能性のある自車４１の部分を求めて、接触注意部分として出力する。参照表は、例えば計算機のＲＯＭやＲＡＭなどの図示していない記憶手段に記憶されている。

図１１は、接触注意部分選定部３が参照する運転状態に応じた接触の可能性がある部分の参照表、図１２は、車両４１の接触注意部分となる可能性がある候補部分の一覧の一例を示している。図１２において、符号３１、３２、３３、３４は、順に自車４１の左前部、右前部、右後部、左後部を示し、符号３５、３６、３７、３８は、順に自車４１の前部、右部、後部、左部を示す。

例えば運転状態が後退にあるときは、図３Ａ、図３Ｄ、図３Ｅの場面の例のように、自車４１の後部３７が周囲の物体と接触する可能性があるので、参照表では、図１２に示す複数の候補部分の中から、後部３７を接触注意部分として規定している。

例えば運転状態が並列駐車（左後）にあるときは、図３Ｂの場面の例のように、右前部３２や左後部３４に接触の可能性があり、図３Ｃの場面の例のように、右後部３３に特に接触の可能性があるので、右前部３２、右後部３３、左後部３４の３か所を接触注意部分として規定している。

運転状態がすり抜け（左寄せ）にあるときは、図５Ｂの場面の例のように左前部３１に接触の可能性があり、また、図５Ｃの場面の例のように右部３６および左部３８に接触の可能性があるので、左前部３１、右部３６、左部３８を接触注意部分として規定している。

運転状態が縦列駐車（左側、前半）にあるときは、図７Ｂの場面の例のように右前部３２や左後部３４に接触の可能性があるので、右前部３２、左後部３４の２か所を接触注意部分として規定している。

運転状態が縦列駐車（左側、後半）にあるときは、図７Ｄ、図７Ｅの場面の例のように左前部３１や左後部３４や後部３７に接触の可能性があるので、左前部３１、左後部３４、後部３７の３か所を接触注意部分として規定している。

運転状態が低速前進にあるときは、図９Ａ、図９Ｄ、図９Ｅの場面の例のように、前部３５に接触の可能性があるので、前部３５の１か所を接触注意部分として規定している。

運転状態が前進駐車（左前）にあるときは、図９Ｂ、図９Ｃの場面の例のように左前部３１や右前部３２や左部３８に接触の危険があるので、左前部３１、右前部３２、左部３８の３か所を接触注意部分として規定している。

画像取得部４は、自車４１に取り付けられたカメラの映像を取得する。図１３は、自車４１に取り付けたカメラの一例を示し、符号５１、５２、５３、５４は順に前部のカメラ、右部のカメラ、後部のカメラ、左部のカメラである。

各カメラ５１〜５４は広角であり、それぞれ自車４１の前部３５、右部３６、後部３７、左部３８の付近を画角内に捉えて撮像するように取り付けられている。また、前部のカメラ５１と左部のカメラ５４のどちらか一方あるいは両方の１つ以上のカメラは、自車４１の左前部３１の付近を画角内に捉えて撮像するように取り付けられている。

同様に、前部のカメラ５１と右部のカメラ５２、右部のカメラ５２と後部のカメラ５３、後部のカメラ５３と左部のカメラ５４のどちらか一方あるいは両方の１つ以上のカメラは、自車４１の右前部３２、右後部３３、左後部３４の付近を画角内に捉えて撮像するように取り付けられている。

周囲画像生成部５は、画像取得部４が取得した映像から、自車４１の周囲の画像（自車周囲画像）を所定の周期で生成する。周囲画像生成部５は、自車４１の前部、右部、後部、左部のカメラ５１，５２，５３，５４で撮影した画像を画像処理することによって、自車４１の上空の仮想視点から見下ろしたように視点変換したトップビュー画像を、自車４１の周囲の地面を基準に生成する。視点変換に必要な幾何データは、あらかじめ計算しておいたものを用いる。

拡大画像生成部６は、画像取得部４により取得した画像を画像処理することで、接触注意部分選定部３が出力した自車４１の接触の可能性がある接触注意部分に応じて、自車４１の特定の部分の付近の拡大画像を生成する。

図１４は、拡大画像生成部６内の対応表の一例であり、左前部３１や右前部３２などの自車４１の部分に応じて、対応するカメラと、カメラの画像内の切り出し領域を規定した一覧を示している。

図１５は、拡大画像生成部６によって拡大画像を生成する方法を説明する図であり、符号１５１は、左部のカメラ５４で撮像した画像を示し、符号１３１は座標Ｐ１（Xfl0,Yfl0）と座標Ｐ２（Xfl1,Yfl1）の２つの頂点を持つ矩形の切り出し領域を示し、符号２３１は切り出し領域１３１を拡大した拡大画像である。

接触注意部分選定部３が接触注意部分として左前部３１を出力したとき、拡大画像生成部６は、図１４の対応表を参照して、図１５に示す左部のカメラ５４の画像１５１から、切り出し領域１３１を切り出して拡大することによって拡大画像２３１を生成する。

なお、図１４の対応表はあくまで一例であり、自車４１の接触注意部分とカメラの対応を図１４とは異なるように定めてもよい。例えば、前部のカメラ５１が左前部３１の付近を画角内にとらえる場合には、左前部３１に対応するカメラを前部のカメラ５１としてもよい。また自車４１の部分を複数のカメラがとらえる場合には、２つのカメラの映像を仮想視点からみたように合成表示してもよい。

合成表示生成部７は、周囲画像生成部５により生成した自車周囲画像と、拡大画像生成部６により生成した自車４１の特定の部分の付近の拡大画像とを有する合成表示画像を生成する。

図１６は、合成表示生成部によって生成された合成表示画像の一例を模式的に示す図である。図１６に示す合成表示画像１０２は、接触注意部分選定部３が自車４１の右前部３２、右後部３３、左後部３４を接触注意個所として出力した状況において、ある一つのレイアウトで生成した合成表示画像である。

図１６において、符号１００は周囲画像生成部５の生成した自車４１の周囲の画像（トップビュー画像）、符号１０１は自車周囲画像１００の隣の表示スペース、符号１４１は自車周囲画像１００上に表示される自車４１のアイコン、符号３３２、３３３、３３４は順番に右前部３２、右後部３３、左後部３４を指し示すマーカである。そして、符号２３２、２３３、２３４は、順番に拡大画像生成部６が生成した右前部３２、右後部３３、左後部３４の付近の拡大画像、符号４３２、４３３、４３４は、順番にマーカ３３２、３３３、３３４と拡大画像２３２、２３３、２３４をつなぐ接続線である。

合成表示画像１０２は、自車周囲画像１００と拡大画像２３２、２３３、２３４とを互いの位置関係が関連付けされた形で表示する。具体的には、合成表示画像１０２は、拡大画像２３２、２３３、２３４によって、自車４１の接触注意部分の周辺を詳細に表示するとともに、接続線４３２、４３３、４３４によって、自車周囲画像１００上のマーカ３３２、３３３、３３４と、表示スペース１０１に示される拡大画像２３２、２３３、２３４との間を結ぶことによって、拡大画像２３２、２３３、２３４が自車４１のどこの部分の近辺を拡大しているものか、その対応関係を一目して把握できるように表示している。

なお、合成表示生成部７は、接続線４３２、４３３、４３４を描画する代わりに、マーカ３３２、３３３、３３４の色や線の種類といったデザインと、拡大画像２３２、２３３、２３４の外枠の色や線の種類といったデザインを揃えて、拡大画像２３２、２３３、２３４が自車４１のどこの部分の近辺を拡大しているものなのかを対応付けてもよい。

また、合成表示生成部７では、拡大画像２３４等の上下や左右が自車周囲画像１００と揃うように、回転や反転等の加工を施す処理を行ってもよい。また、合成表示生成部７は、図１６において、拡大画像２３２等と自車周囲画像１００の見え方がそろうように、拡大画像２３２等を自車周囲画像１００の仮想視点あるいは自車周囲画像１００の仮想視点に近い仮想視点に視点変換するなどの加工を施す処理を行ってもよい。

図１７Ａ、図１７Ｂは、合成表示生成部７が生成する合成表示画像の他の例を示す図である。図１７Ａは、自車４１の左後部３４を拡大表示する場面の合成画像の例を示している。図１７Ａにおいて、符号１５４は、自車周囲画像１００上における自車４１のアイコン１４１の左後部を中心として描画された円弧状のガイド線である。ガイド線１５４は、径方向に等距離の間隔で複数本描画されており、自車４１から離間距離に応じて線種が異なるように描画されている。

符号２５４は、拡大画像２３４内において、おおよそ同心円のガイド線１５４と自車４１からの距離が同じくらい離れているところに描画された楕円状のガイド線である。自車周囲画像１００のガイド線１５４と拡大画像２３４のガイド線２５４の数は同一であり、また線の種類や色も同一である。

図１７Ａの合成表示画像１０２では、自車周囲画像１００のガイド線１５４と拡大画像２３４のガイド線２５４によって、自車４１からの離間距離が示され、拡大画像２３４中の周囲の物体と自車４１の距離感を表すことが可能になる。また、図１７Ａの合成表示画像１０２によれば、自車周囲画像１００のガイド線１５４と拡大画像２３４のガイド線２５４によって、拡大画像２３４における上方向が、自車周囲画像１００のどの方向に対応するかを、運転者が一目して把握ことができる。

なお、図１７Ａにおいて、自車周囲画像１００のガイド線１５４と拡大画像２３４のガイド線２５４の数は、図示した３本以外でもよい。また、自車周囲画像１００のガイド線１５４や拡大画像２３４のガイド線２５４である個々の円や楕円は、シンプルな描画となるように全て同じ線の種類や色で描画してもよい。また、図１７Ａでは、自車周囲画像１００のガイド線１５４と拡大画像２３４のガイド線２５４により、拡大画像２３４が自車周囲画像１００のどの部分を拡大表示しているかが明確なので、マーカ３３４の描画や接続線４３４の描画を省いてもよい。

図１７Ｂは、合成表示生成部７により合成される合成表示画像１０２のもう一つの例を示すものであり、図１７Ａと同様に、自車４１の左後部３４を拡大表示する場面の合成画像の例を示している。

図１７Ｂにおいて、符号１６４は自車周囲画像１００上における自車４１のアイコン１４１の左後部を半透明にした半透明像であり、符号２６４は、拡大画像２３４上にアイコン１４１の半透明部１６４に相当する自車４１の部分を模式的に表した半透明像である。

図１７Ｂに示す合成表示画像１０２では、アイコン１４１の半透明部１６４と自車４１の半透明像２６４によって、拡大画像２３４が自車４１のどの部分を拡大表示しているかを対応付けて表すことができる。

また、図１７Ｂに示す合成表示画像１０２によれば、アイコン１４１の半透明部１６４と自車４１の半透明像２６４の向きによって、拡大画像２３４における上方向が、自車周囲画像１００のどの方向に対応するかを、運転者が一目で把握することができる。

なお、図１７Ｂでは、自車４１の半透明像２６４をアイコン１４１の半透明部１６４と同様に自車４１を真上からみたもので描画しているが、拡大画像２３４がトップビューでなければ自車４１を斜め上方から見下ろしたような立体的な像で描画してもよい。

また、図１７Ｂでは、アイコン１４１の半透明部１６４と自車４１の半透明な像２６４によって、拡大画像２３４が自車周囲画像１００のどの部分を拡大表示しているかが明確なので、マーカ３３４の描画や接続線４３４の描画を省いてもよい。

なお、図１７Ａに示したガイド線１５４とガイド線２５４、および図１７Ｂに示したアイコン１４１の半透明部１６４と自車４１の半透明な像２６４は同一のモニタ上に同時に描画してもよい。

合成表示生成部７は、所定の動作周期で周囲画像生成部５および拡大画像生成部６から画像を読み込んで表示する画像を更新する。また、運転状態推定部２が推定する運転状態が変更し、接触注意部分選定部３が接触の可能性がある接触注意部分を変更するごとに、合成表示のレイアウトを更新する。

なお、合成表示生成部７において、自車周囲画像１００と表示スペース１０１のレイアウトは図１６、図１７Ａ、図１７Ｂに示す例に限られるものではなく、表示スペース１０１が自車周囲画像１００の右側に配置されるなど他のレイアウトを構成してもよい。

また、表示スペース１０１は、拡大画像２３２、２３３、２３４等の表示がない間は、任意の映像を常時表示しておいてもよい。たとえば、後部のカメラ５３で撮像した画像を表示スペース１０１に常時表示したり、カーナビゲーションの画面を表示スペース１０１に常時表示しておき、所定の運転状態にのみ、拡大画像を表示する構成としてもよい。

表示部８は、合成表示生成部７が合成した合成表示画像１０２を運転者に向けて表示する。なお、表示部８は２つ以上の複数の画面から構成されていてもよい。たとえば、自車周囲画像１００をカーナビゲーションの画面に出力し、拡大画像２３２等を液晶表示の車速メータの脇などに表示してもよい。

本実施例１では、以上説明した機能構成によって、自車４１の運転状態に応じて自車４１の接触の可能性がある接触注意部分を推定し、その接触注意部分の附近の拡大画像と、自車４１の周囲の画像上における接触注意部分へのマーカの描画と、自車４１の周囲のマーカと拡大画像との対応関係を示す接続線などを描画する。

したがって、運転中の適切なタイミングで自動的に、接触注意部分の付近の詳細な拡大画像２３２等、および拡大画像２３２等と自車４１との位置関係を、運転者が一目で把握できる合成表示画像１０２を表示させることができる。

上記した本実施例１の車載用画像表示装置によれば、特許文献１の技術と比較した場合、例えば図３Ｂに示すシーンにおいて、車両の進行方向を基準に表示するカメラを切り替える特許文献１の技術では、自車４１が後ろ向きに動くので反対側の自車４１の右前部３２の表示がなく、運転者は自車４１の右前部３２と周囲に構造物とが接触しないかを確認することが困難である。

これに対して、本実施例１の車載用画像表示装置では、同じく図３Ｂのシーンにおいて、運転状態推定部２が並列進入（左後）の運転状態を推定することで、自車４１の進行方向の右後部３３および左後部３４とともに自車４１の進行方向と反対側の自車４１の右前部３２が拡大表示されるので、運転者は自車４１の右前部３２と周囲のものとが接触しないかを容易に確認することできる。

なお、実施例１の説明において図１３に自車４１へのカメラの取り付けの例を示したが、本発明において自車４１にとりつけるカメラの数および位置は、図８のように４つのカメラを前部、右部、後部、左部に５１、５２、５３，５４のようにとりつける以外であってもよい。

例えば、自車４１の右後部３３、後部３７、左後部３４の付近をカバーする広角なカメラを自車４１の後部に１台取り付けて、運転状態推定部２が推定した運転状態に応じて接触注意部分選定部３が右後部３３あるいは後部３７あるいは左後部３４を接触注意部分に指定するときは、右後部３３あるいは後部３７あるいは左後部３４の拡大画像を、図１６のように自車周囲画像１００と表示スペース１０１に合成表示してもよい。

なお、自車４１に取り付けたカメラが自車４１の全周囲をカバーせず死角がある場合、接触注意部分選定部３が死角の部分を接触注意部分に指定するときは、拡大画像生成部６および合成表示生成部７は拡大画像および合成画像の生成を除外する（生成を行わない）。また、自車４１に取り付けたカメラが自車４１の全周囲をカバーせず死角がある場合、周囲画像生成部５は、自車周囲画像１００における死角部分をブランクにする。

実施例１の説明において、周囲画像生成部５が生成する自車周囲画像１００は、前部、右部、後部、左部のカメラ５１、５２、５３，５４を入力としたトップビュー画像としたが、カメラ５１、５２、５３，５４を自車４１のアイコン１４１の周囲にならべて、自車４１の周囲を一目できるような画像であれば、トップビュー画像以外の方法で周囲画像生成部５は自車周囲画像１００を生成してもよい。

また、実施例１において、運転状態推定部２は、表示部８に表示される図１８（ａ）のようなメニュー画面Ｇ１を用いて、運転状態推定部２による運転状態の推定に用いられる操舵角Ｓａや車速ＶａなどのパラメータＧ２を運転者が調整できるように、スライドバーＧ３を用いて調整できるようなメニュー機能を持たせてもよい。

運転状態推定部２のパラメータの調整のユーザインタフェース画面は、メニュー画面Ｇ１の例に限られず、たとえば図１８（ｂ）のようにパラメータＧ１２を、メニュー画面Ｇ１１のように操舵角、車速、継続時間のようにいくつかのグループにわけて、グループ毎にスライドバーＧ１３に応じて一定の比率でパラメータを調整するようにしてもよい。

また、運転状態推定部２のパラメータの調整には、図１８（ｃ）のユーザインタフェース画面のように全てのパラメータＧ２２をメニュー画面Ｇ２１のように一括して、スライドバーＧ２３に応じて運転状態推定部２のパラメータの各々のパラメータを一定の比率で調整するようにしてもよい。

なお、パラメータＧ２，Ｇ１２、Ｇ２２や文字はあくまで一例であり、他のものでもよい。また、スライドバーＧ３、Ｇ１３、Ｇ２３は、メニューボタンのように他のグラフィカルユーザインタフェースを使ってもよい。

運転者は、メニュー画面Ｇ１、Ｇ１１、Ｇ２１を用いて、運転状態推定部２のパラメータＧ２、Ｇ１２、Ｇ２２を調整することにより、運転者毎の運転に応じて、拡大画像２３４等が適切なタイミングで表示されるように調整することができる。
図１８(ａ)のユーザインタフェース画面Ｇ１および図１８（ｂ）のユーザインタフェース画面Ｇ１１は、常時表示しておく必要はなく、表示部８に設けたスイッチ（図示せず）により表示のＯＮ／ＯＦＦを切り替えるようにしてよい。

[実施例２]
次に、実施例２について説明する。
図１９は、実施例２における車載用画像表示装置の機能ブロック図である。なお、実施例１と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。

周囲物認識部９および周囲物センサ１０は、いずれかの一方あるいは両方が、実施例２の機能構成に含まれ、物体検知部を構成する。周囲物認識部９は、画像取得部４が取得したカメラの映像を入力として、画像認識によって自車４１の付近に存在する物体のうち、自車４１との接触が無視できない種種の物体を認識する。

周囲物認識部９は、非特許文献１に記された自車４１の移動に伴う運動視差を用いた立体物の検出方法によって、例えば図３、図５、図７、図９に示すように自車４１の周囲の車両４５、６１、６２、８１、８２、９１、９２や、ガードレール６３のような自車４１の周囲の立体物を認識する（非特許文献１：井口晃ほか、“単眼の運動視差を利用したステレオカメラによる奥行き推定”、情報科学技術フォーラム２００２年予稿集）。また、周囲物認識部９は、ハフ変換のような直線抽出の方法によって、側溝６０や駐車枠７０の枠線などの物体を認識する。

周囲物認識部９は、自車４１の周囲に物体を検知したとき、前部のカメラ５１や右部のカメラ５２といった自車４１に取り付けられたカメラと自車４１と位置関係から、検知した物体が左前部３１や後部３７のように自車４１のいずれの接触注意部分の付近にあるかを特定する。周囲物認識部９は周囲の物体を検知したこと、および、検知した物体が自車４１のどの部分の付近にあるかの情報を接触注意部分選定部３ｂに出力する。

周囲物センサ１０は、測距レーザや超音波などを用いた自車の周囲の物体を検知するセンサを用いて、例えば車両４５、６１、６２やガードレール６３等（図３、図５、図７、図９を参照）の自車４１の周囲の立体物を認識する。

また、周囲物センサ１０に用いるセンサは、自車４１のどの部分に取り付けられて自車４１のどの部分を計測しているかといった自車４１と位置関係があらかじめ求められている。周囲物センサ１０は、自車４１の周囲の物体を検知したとき、自車４１とセンサの位置関係から、検知した物体が左前部３１や後部３７のように自車４１に対してどの方向にあるかを特定する。周囲物センサ１０は周囲の物体を検知したことと、検知した物体が自車４１のどの部分にあるかを出力する。

接触注意部分選定部３ｂは、上記した実施例１の接触注意部分選定部３の機能に加えて、運転状態に応じて設定された自車４１の接触注意部分の中から、周囲物認識部９あるいは周囲物センサ１０によって自車４１の周囲に物体が検出された部分に絞り込む機能を持つ。具体的には、運転状態に応じて設定された自車４１の少なくとも一つの接触注意部分を、自車に対して接触注意部分となる可能性がある候補部分とし、その候補部分の中から、周囲物センサ１０等の物体検知部によって物体が検知された位置の近傍に位置する候補部分を、接触注意部分として選定する処理を行う。

例えば、図３Ｃの場面において、運転状態推定部２が推定した運転状態が並列駐車（左後）にあり、周囲物認識部９が自車４１の右後部３３に立体物を検出した場合には、接触注意部分選定部３ｂは、図１１の参照表に示す並列駐車（左後）の運転状態に応じた接触注意部分の右前部３２、右後部３３、左後部３４のうち、左後部３４のみを自車４１の接触注意部分として出力する。

接触注意部分選定部３ｂが出力した、自車４１の接触注意部分の情報は、拡大画像生成部６が生成する拡大画像、及び合成表示生成部７が生成する自車４１の周囲の画像と拡大画像生成部６が生成する拡大画像の合成表示に反映される。

例えば、並列駐車（左後）の運転状態にあり、周囲物認識部９が自車の右後部３３の付近に物体を検出した場合には、並列駐車（左後）の運転状態にある図１６の合成画像においては、マーカ３３３、接続線４３３、拡大画像２３３は表示されるが、マーカ３３２、３３４、接続線４３２、４３４、拡大画像２３２、２３４は表示されない。

なお、周囲物認識部９あるいは周囲物センサ１０によって自車４１の周囲に物体を検出することができなかった場合は、接触注意部分選定部３ｂは、運転状態によらず自車４１の接触注意部分はないという情報を出力する。

また、周囲物認識部９あるいは周囲物センサ１０の両方が実施例２の機能構成に含まれる場合には、接触注意部分選定部３ｂは、周囲物認識部９あるいは周囲物センサ１０の少なくともどちらかが一方が物体を検出した部分に、接触注意部分を絞り込む。

実施例２の機能構成では、運転状態に応じた接触注意部分のうち、自車４１の周囲に物体が存在する部分に絞り込むことで、実際には接触の可能性がない部分（接触の可能性が低い部分）を、合成表示生成部７により合成する合成画像中の拡大画像から省くことができる。

したがって、接触の可能性がない部分の付近の拡大画像をみる運転者のわずらわしさを軽減することができ、運転者は、接触の可能性がある部分付近の目視確認に注意を向けることができる。

なお、周囲物認識部９あるいは周囲物センサ１０の単体でも、自車４１と接触の可能性がある部分を特定する機能があるので、比較のために実施例２から車両信号取得部１、運転状態推定部２、接触注意部分選定部３ｂを省いた比較例の機能構成を、図２０の機能ブロック図に示す。図２０において、４，５，６，７，８の各機能は、実施例１と同一である。図２０の機能構成には、周囲物認識部９あるいは周囲物センサ１０のすくなくとも一方が含まれる。

図２０に示す比較例では、周囲物認識部９あるいは周囲物センサ１０が自車の周囲に物体を検出した場合に、物体の近傍に位置する自車４１の部分を特定部分として、拡大表示生成部６によりその特定部分の付近の拡大画像を生成する。そして、合成表示生成部７により、周囲画像生成部５の自車４１の周囲の画像と、拡大表示生成部６の自車４１の特定部分の付近の拡大画像を合成表示する。

図２０に示す比較例と図１９に示す実施例２の機能構成を比較すると、図２０に示す比較例では、周囲に物体が存在すれば、自車４１との接触の危険がない場合であっても、その物体付近の拡大画像が表示されてしまい、運転者が煩わしさを感じる状況が発生する。

例えば、自車４１の右部３６と左部３８の立体物を検知して自車４１の特定部分を設定すると、交通量が多い道路では信号で停止するたびに周囲の車両を検知して、頻繁に自車４１の右部３６や左部３８の拡大画像が表示されてしまい、運転者は煩わしさを感じる。

実施例２の機能構成では、運転状況に応じて接触の可能性がある自車４１の部分が限定されるので、図２０の機能構成のように信号停止など不要なタイミングで拡大画像が表示されることはない。したがって、実施例２の車載用画像表示装置によれば、運転者は煩わしさを感じることはなく、使い勝手がよい。

[実施例３]
本発明の実施例３の機能構成を図２１に示す。図２１において、２、３ｂ、４、５、６、７、８、９、１０の各機能は、実施例２と共通である。実施例３では、周囲物認識部９と周囲物センサ１０の機能は両方ともあり、どちらか一つあり、両方ともないのいずれでもよく、周囲物認識部９と周囲物センサ１０の機能（物体検知部）が両方ともないときには、接触注意部分選定部３ｂの機能は実施例１における接触注意部分選定部３と同じになる。

実施例３では、車両信号推定部１１が画像取得部４のカメラの映像の時間的な変化から、画像認識によって車速、ギア、操舵角を推定し、車両信号として運転状態推定部２に出力する。実施例３の運転状態推定部２は、車両信号推定部１１から実施例１の車両信号取得部１と同等の車両信号が出力されるものとして、実施例１と同じ機能により車両の運転状態を推定する。

図２２は、車両信号推定部１１により車両信号を推定する方法を説明するフローチャートである。図２２のフローチャートは、所定の処理周期で繰り返され、処理周期の毎に、車両信号として車速、ギアの状態、操舵角を推測して出力する。

まず、ステップＳ１では、自車４１に取り付けたカメラ５１、５２、５３、５４のうち１台以上のカメラで撮像した画像を用いて、上空の仮想視点から地上面を基準に変換したトップビュー画像を作成する。ステップＳ１のトップビュー画像は、図１６に示す自車周囲画像１００と同じように、画像１００の上方向が自車４１の前方向に、自車周囲画像１００の右方向が自車４１の右方向に一致するように作る。

次に、ステップＳ２では、現在の処理周期と前の処理周期で作成したトップビュー画像の変位から、トップビュー画像上の各画素において、画像の縦方向および横方向のオプティカルフローを求める。

次に、ステップＳ３では、ステップＳ２で求めた各画素のオプティカルフローの分布の中央値から、自車４１の前方向の変位Ｖ、ならびに自車４１の右方向の変位Ｕを求める。自車４１の前方向の変位Ｖの符号は、自車が前に進むときは正、後ろに進むときは負とし、自車４１の右方向の変位Ｕは、自車が右に進むときは正、左に進むときは負とする。

ステップＳ３において、ステップＳ１で作成するトップビュー画像は地上面を基準とするので、ステップＳ２のオプティカルフローは立体物の部分を除いて、地上面の動きとみなせる。

ステップＳ３では、ステップＳ１のトップビュー画像において、立体物の面積よりも地表面の面積のほうが狭いことを前提として、ステップＳ２で求めた各画素のオプティカルフローの分布の中央値をとることで、自車４１に対する地面の動きを求める。地面の動きと反対方向、たとえば地面が右方向に動くときは、自車４１は左方向に動くものとする。

そして、ステップＳ４では、自車４１の前方向の変位Ｖの絶対値｜Ｖ｜を、処理周期で除算することで、車速を推定する。

次に、ステップＳ５では、自車４１のギアの状態を推定する。ここでは、自車４１の前方向の変位Ｖが０より大きいときにはドライブ（前進）、自車４１の前方向の変位Ｖが０より小さいときはバック（後退）、自車４１の前方向の変位Ｖが０程度であれば不定とする。

ステップＳ６では、下記の式（１）によって、自車４１の前方向の変位Ｖと、自車４１の右方向の変位Ｕの成す角度θを求めて、自車４１の操舵角を推定する。

［数１］
θ = tan-1( Ｕ／｜Ｖ｜) …（１）

なお、図２２に示した車両信号推定部１１の画像認識および車速、ギアの状態、操舵角の車両信号の推定方法はあくまで一例であり、車速、ギアの状態、操舵角を推定できるものであれば、他の画像認識の手法や、他の画像認識の結果から車速、ギアの状態、操舵角の車両信号の推定する方法でも同様に実現できる。

実施例３では、車速センサや操舵角センサやギアの制御装置などから車両信号を取得できない場合でも、画像取得部４の映像を入力とした画像認識により車両信号を推定することによって、実施例１および実施例２の機能構成を実現することができる。したがって、車載用画像表示装置の車両への取り付けが容易で、簡単に後付けすることができる。

１ 車両信号取得部
２ 運転状態推定部
３ 接触注意部分参照部
４ 画像取得部
５ 周囲画像生成部
６ 拡大画像生成部
７ 合成表示生成部
８ 表示部
９ 周囲物認識部
１０ 周囲物センサ
１１ 車両信号推定部
４１ 自車（車両）
４５ 対向車
６０ 側溝
６１、６２、８１、８２、９１、９２ 駐車車両
６３ ガードレール
７０、８０、９０ 駐車枠
８３ 縁石
１００ 自車周囲画像（トップビュー画像）
１０１ 表示スペース
１０２ 合成表示画像
１４１ アイコン
１５４ 円弧線
１６４ 半透明部
２３２、２３３、２３４ 拡大画像
２５４ 楕円線
２６４ 半透明像
３３２、３３３、３３４ マーカ
４３２、４３３、４３４ 接続線

Claims (10)

1. 複数の車載カメラで撮像された画像を表示する車載用画像表示装置であって、
   前記車載カメラで撮像した画像を取得する画像取得部と、
   該画像取得部で取得した画像に基づいて自車の周囲画像を生成する周囲画像生成部と、
   前記自車の運転状態に基づいて自車周囲の物体と接触する可能性のある自車の接触注意部分を選定する接触注意部分選定部と、
   前記画像取得部により取得した画像を画像処理することにより、前記接触注意部分選定部で選定された自車の接触注意部分の周辺の拡大画像を生成する拡大画像生成部と、
   該拡大画像生成部で生成された拡大画像と前記周囲画像生成部で生成された自車周囲画像とを互いの位置関係が関連付けされた形で表示可能な合成表示画像を生成する合成表示画像生成部と、
   該合成表示画像生成部により生成された合成表示画像を表示する表示部と、
   自車の車両信号に基づいて自車の運転状態を推定する運転状態推定部と、を有し、
   前記表示部は、前記自車の運転状態を推定するパラメータを設定するメニュー画面を表示し、
   前記運転状態推定部は、前記メニュー画面により設定されたパラメータに応じて自車の運転状態の推定を調整することを特徴とする車載用画像表示装置。
2. 自車の周囲に存在する物体を検知する物体検知部を有し、
   前記接触注意部分選定部は、前記自車に対して前記接触注意部分となる可能性がある候補部分の中から、前記物体検知部によって前記物体が検知された位置の近傍に位置する候補部分を、前記接触注意部分として選定することを特徴とする請求項１に記載の車載用画像表示装置。
3. 前記物体検知部は、前記自車の周囲に存在する物体を検知する周囲物検知センサと、前記自車周囲画像に基づいて自車の周囲に存在する物体を認識する周囲物認識部の少なくとも一方を有することを特徴とする請求項２に記載の車載用画像表示装置。
4. 自車の車両信号を取得する車両信号取得部を有し、
   前記運転状態推定部は、前記車両信号取得部により取得した車両信号に基づいて自車の運転状態を推定し、
   前記接触注意部分選定部は、前記運転状態推定部により推定した前記自車の運転状態に基づいて前記接触注意部分の選定を行うことを特徴とする請求項１に記載の車載用画像表示装置。
5. 前記画像取得部により取得した画像を入力とした画像認識により前記自車の車両信号を推定する車両信号推定部を有し、
   前記運転状態推定部は、前記車両信号推定部により推定した車両信号に基づいて自車の運転状態を推定し、
   前記接触注意部分選定部は、前記運転状態推定部により推定した前記自車の運転状態に基づいて前記接触注意部分を選定することを特徴とする請求項１に記載の車載用画像表示装置。
6. 前記周囲画像生成部は、前記自車周囲画像として前記自車を真上方向の仮想的な視点から見下ろすように視点変換したトップビュー画像を生成し、
   前記合成表示画像生成部は、前記周囲画像生成部によって生成されたトップビュー画像と前記拡大画像生成部で生成された拡大画像とが並べて配置される合成表示画面を生成することを特徴とする請求項１から請求項５のいずれか一項に記載の車載用画像表示装置。
7. 前記合成表示画像には、
   前記トップビュー画像上に前記接触注意部分の位置を示すマーカが示されるとともに、
   前記マーカと該マーカによって指し示される前記接触注意部分の拡大画像との間を接続する接続線が表示されることを特徴とする請求項６に記載の車載用画像表示装置。
8. 前記合成表示画像生成部は、前記拡大画像と前記自車周囲画像の少なくとも一方に、前記自車からの離間距離を示すガイド線が描画された合成表示画像を生成することを特徴とする請求項６または７に記載の車載用画像表示装置。
9. 前記合成表示画像生成部は、前記拡大画像と前記自車周囲画像の少なくとも一方に、前記自車の半透明像が重畳して描画された合成表示画像を生成することを特徴とする請求項６又は７に記載の車載用画像表示装置。
10. 前記運転状態推定部は、前記推定する運転状態が並列駐車、縦列駐車、前進駐車、すり抜けの少なくとも一つであることを特徴とする請求項１から請求項９のいずれか一項に記載の車載用画像表示装置。

Images