JP6413477B2 - 画像表示制御装置および画像表示システム - Google Patents

Description

本発明の実施形態は、画像表示制御装置および画像表示システムに関する。

従来、車内からの視線でピラーが透けた画像を作成して表示する車両の画像処理装置が知られている。

特開２００３−１９６６４５号公報

この種の装置では、例えば車体と車外との位置関係をより認識しやすい表示形態が得られれば、有意義である。

実施形態の画像表示制御装置は、車体に設けられた撮像部で撮像された画像に基づいて車両の少なくとも後方を示す鏡像を作成する鏡像作成部と、上記鏡像作成部によって作成された上記鏡像と車体の少なくとも一部を示す車体画像とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記車体画像とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、を備え、上記車体画像の輝度および色のうち少なくとも一方が、上記鏡像に対応して調整され、上記車体画像は、車両の下部に対応した、複数の車両前後方向に沿った線および複数の車幅方向に沿った線を含む。よって、本実施形態によれば、例えば、鏡像に対応した車体画像の輝度および色のうち少なくとも一方の調整によって、車体画像の識別性が高まりやすい。また、車両の下部に対応した線を含むことにより、床面のような車両の下部の識別性がより高まりやすい。

また、上記画像表示制御装置では、例えば、上記複数の車両前後方向に沿った線は、車幅方向の特定位置を通る線を含み、上記複数の車幅方向に沿った線は、車両前後方向の特定位置を通る線を含む。よって、例えば、車体の車幅方向の位置や、車体の車両前後方向の位置を認識しやすい。

また、上記画像表示制御装置では、例えば、上記車体画像の、窓に対応する枠の線の外側の領域は、車外画像を透過する状態で塗り潰され、上記車外画像の境界線よりも上側の領域における上記車体画像の輝度が、上記境界線よりも下側の領域における上記車体画像の輝度よりも低い。よって、例えば、車体画像の識別性がより高まりやすい。

また、上記画像表示制御装置では、例えば、上記境界線は、地面と空との境界線である。よって、例えば、車体画像の識別性がより高まりやすい。

また、実施形態の画像表示制御システムは、例えば、車体に設けられた車両の少なくとも後方を撮像する撮像部と、表示装置と、画像表示制御装置と、を備え、上記画像表示制御装置は、上記撮像部で撮像された画像に基づいて車両の少なくとも後方を示す鏡像を作成する鏡像作成部と、上記鏡像作成部によって作成された上記鏡像と車体の少なくとも一部を示す車体画像とを重畳する画像重畳部と、上記画像重畳部によって上記鏡像と上記車体画像とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、を備え、上記車体画像の輝度および色のうち少なくとも一方が、上記鏡像の特性に対応して設定され、上記車体画像は、車両の下部に対応した、複数の車両前後方向に沿った線および複数の車幅方向に沿った線を含む。よって、本実施形態によれば、例えば、鏡像に対応した車体画像の輝度および色のうち少なくとも一方の調整によって、車体画像の識別性が高まりやすい。また、車両の下部に対応した線を含むことにより、床面のような車両の下部の識別性がより高まりやすい。

図１は、実施形態の画像表示システムの例示的な概略構成図である。 図２は、実施形態の画像表示システムの表示装置で表示される画像の一例が示された図である。 図３は、実施形態の画像表示システムの撮像部による撮像範囲の一例の平面図である。 図４は、実施形態の画像表示システムの撮像部による撮像範囲の一例の側面図である。 図５は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の平面図である。 図６は、実施形態の画像表示システムの撮像部による撮像範囲の別の一例の側面図である。 図７は、実施形態の画像表示システムで得られる車外画像の全域と表示範囲との例示的な説明図である。 図８は、実施形態の画像表示システムで得られる車外画像中の表示範囲の一例が示された図である。 図９は、実施形態の画像表示システムの表示装置で表示される車体画像の一例が示された図である。 図１０は、実施形態の画像表示システムに含まれる制御部の例示的なブロック図である。 図１１は、実施形態の画像表示システムの処理手順の例示的なフローチャートである。 図１２は、駐車時における車両の位置と当該位置での実施形態の画像表示システムの表示装置で表示される画像（出力画像）とを含む例示的な概念図であって、車両が駐車目標位置に到達する前の状態での図である。 図１３は、実施形態の画像表示システムの表示装置で表示される画像の一例が示された図であって、道路走行中の状態での図である。 図１４は、実施形態の画像表示システムの車体画像の一例が示された図である。 図１５は、実施形態の画像表示システムの車体画像の別の一例が示された図である。

以下、本発明の例示的な実施形態および変形例が開示される。以下に示される実施形態および変形例の構成、ならびに当該構成によってもたらされる作用、結果、および効果は一例である。本発明は、以下の実施形態および変形例に開示される構成以外によっても実現可能である。また、本発明によれば、構成によって得られる種々の効果や派生的な効果のうち少なくとも一つを得ることが可能である。

また、以下に開示される実施形態や例示には、同様の構成要素が含まれる。以下では、同様の構成要素には共通の符号が付与されるとともに、重複する説明が省略される。

＜実施形態＞
車両１に装備される画像表示システム１００は、図１に示されるように、表示装置としての表示部１０ａに表示される画像を制御するＥＣＵ１１（electronic control unit）を備えている。ＥＣＵ１１は、表示制御部あるいは画像表示制御装置の一例である。表示部１０ａは、例えば、車室内の前部かつ上部に設けられた後方視認用の不図示のルームミラーに替えて設けられる。表示部１０ａには、撮像部１２で撮像された画像に基づいて、図２に例示されるような、車室内の前部かつ上部に設けられたルームミラーに映る鏡像に似せた画像が表示される。運転者等の乗員は、表示部１０ａをルームミラーとして、あるいはルームミラーの代わりに用いることができる。なお、ルームミラーはバックミラーとも称されうる。

ルームミラーが設けられている車両１の場合、筐体１０の表示部１０ａは、例えば、ルームミラーの鏡面を覆うように取付具やアタッチメント等によってルームミラーに装着されうる。表示部１０ａには、車外すなわち車室外に設けられた撮像部１２で撮像された画像とは左右逆の画像が表示される。表示部１０ａは、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electro-luminescent display）、プロジェクタ装置等として、構成されうる。ＥＣＵ１１は、表示部１０ａの筐体１０内に収容されてもよいし、表示部１０ａとは別の場所に設けられた筐体内に収容されてもよい。なお、表示部１０ａの表面側すなわち後側には、不図示のハーフミラーが設けられてもよい。この場合、画像表示システム１００が使用されず表示部１０ａに画像が表示されていない状態では、当該ハーフミラーがルームミラーとして用いられうる。また、筐体１０には、室内画像を撮像する図３〜６に示されるような撮像部１２Ｉが設けられてもよい。

図２に例示されるように、表示部１０ａで表示される画像としての出力画像Ｉｍには、実線で示される車外画像Ｉｍｏと破線で示される車体画像Ｉｍｉとが含まれている。車外画像Ｉｍｏは、一つまたは複数の撮像部１２によって取得された画像から生成されうる。撮像部１２は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１２は、所定のフレームレートで画像データすなわち動画データを出力することができる。図３〜６の例では、撮像部１２には、車体の後方すなわち車室外の後方を撮像する撮像部１２Ｒと、車体の側方すなわち車室外の側方を撮像する撮像部１２Ｓと、が含まれうる。撮像部１２Ｒ，１２Ｓは、それぞれ、車体の後方および側方の双方が含まれる画像を撮像してもよい。撮像部１２は、広角レンズまたは魚眼レンズであってもよい。ＥＣＵ１１は、複数の撮像部１２で取得された画像を公知の技術で合成して、図７に例示されるような一連の車外画像Ｉｍｏを得ることができる。車外画像Ｉｍｏは、パノラマ画像であってもよい。本実施形態では、比較的広い範囲の各位置での車外画像Ｉｍｏを、表示部１０ａで表示することができるよう、複数の撮像部１２によって、車両１の後方かつ側方の比較的広い範囲が撮像される。そして、図８に示されるように、広い範囲の中の一部が、出力画像Ｉｍとしての合成画像に用いられる、すなわち表示される。図３，４の例では、車外を撮像する撮像部１２は、車両１の左右それぞれに設けられるとともに、車両１の後端部１ｂに設けられている。具体的には、車室外の側方および後方を撮像する撮像部１２Ｓは、ドアミラーに設けられ、車室外の後方および側方を撮像する撮像部１２Ｒは、リヤハッチに設けられている。また、図５，６の例では、車外を撮像する撮像部１２は、車両１の後端部１ｂの左端および右端にそれぞれ設けられるとともに、車両１の後端部１ｂに設けられている。また、複数の撮像部１２のそれぞれの撮像範囲が上下に異なっている。具体的には、車室外の側方および後方を撮像する撮像部１２Ｓは、車体の後側の左右のコーナー部の上部にそれぞれ設けられ、車室外の後方および側方を撮像する撮像部１２Ｒは、リヤバンパに設けられている。なお、車外画像Ｉｍｏは、一つの撮像部１２が撮像した画像またはその一部に基づく画像であってもよい。車外画像Ｉｍｏは、鏡像の一例である。また、図２等では、図面中で車外画像Ｉｍｏと区別するため、便宜上、車外画像Ｉｍｏが実線で示され、車体画像Ｉｍｉが破線で示されている。実際の車外画像Ｉｍｏは、実線には限定されないし、車体画像Ｉｍｉは、破線には限定されない。また、撮像部１２は、車室内に設けられてもよい。

図２，９の例では、車体画像Ｉｍｉには、車体の構造を示す立体的なフレーム状に描かれた表示要素としての輪郭線Ｌｏまたは縁が含まれている。輪郭線Ｌｏによって示される車体構成要素は、例えば、車体の角部、縁部、窓、ピラー、ドア、床、天井、トリム、車輪、車軸、ディファレンシャルギヤ等である。車体画像Ｉｍｉは、乗員が車両１の位置や形状を大まかに認識できるものであればよく、必ずしも車体形状そのものでなくてもよい。車体画像Ｉｍｉは、模式化されたものであってもよい。輪郭線Ｌｏの間の領域は、車外画像Ｉｍｏが透過される状態で着色されてもよい。

また、図２，９の例では、車体画像Ｉｍｉは、線画（線図）である。線画に含まれる表示要素としての線は、種々の表示態様を有することができる。表示態様としては、例えば、種類、面密度、幅、太さ、濃度、透過度、色、模様等がある。種類には、例えば、実線や、破線、一点鎖線、二点鎖線、折れ線、ギザギザ線、波線等がある。面密度は、画面または画像の単位面積あたりの密度である。例えば、同じ太さの場合、実線の面密度が破線の面密度よりも大きい。また、線画には、局所的に表示態様の異なる複数の線が含まれうる。また、線画には、部分的に、点や、記号、文字、図形等も含まれうる。これらの線画の表示態様は、例えば、走行状態や操作状態等の車両状態に応じて、設定されうるし、変更されうる。

図２に例示されるように、表示部１０ａに車外画像Ｉｍｏとともに車体画像Ｉｍｉが表示されることで、乗員は、車両１と車外の物体Ｂとの相対的な位置や、車両１と物体Ｂとの距離、物体Ｂの方向、物体Ｂの大きさ等を認識しやすい。また、車体画像Ｉｍｉには、図２，９に示されるように、車体の車幅方向の端部を示す部分Ｐｗ、車体の後端部を示す部分Ｐｒ、ならびに車体の下部を示す部分Ｐｂが、含まれうる。さらに、車体画像Ｉｍｉには、車体の下部の車幅方向の端部を示す部分Ｐｂｗや、車体の下部の車両前後方向の後端部を示す部分Ｐｂｒ、車体の側部の車両前後方向の後端部を示す部分Ｐｓｒ等が、含まれうる。また、車体画像Ｉｍｉは、車体の少なくとも下部が平面的すなわち二次元的に認識できるよう作成されている。よって、乗員は、例えば、車体の平面的な大きさや、形状、部位等を認識しやすい。また、乗員は、例えば、車体画像Ｉｍｉを基準として、車室外の物体Ｂの大きさや、高さ、物体Ｂの水平方向の位置関係等を認識しやすい。

車体画像Ｉｍｉは、不揮発性の記憶部に予め記憶されている。記憶部には、複数の車種毎の車体画像Ｉｍｉが記憶されうる。この場合、合成画像には、例えば車両１の車種や使用者の嗜好等に応じて選択された車体画像Ｉｍｉが用いられうる。なお、記憶部は、例えば、図１に示されるＳＳＤ１１ｄ等であってもよい。また、ＥＣＵ１１は、キャリブレーション等の設定作業における操作入力部１０ｂでの入力指示や操作等に基づいて、車体画像Ｉｍｉを変形することができる。具体的には、例えば、車体画像Ｉｍｉは、上側に向かうほど左右に引き延ばされたり、上下に引き延ばされたり、上下左右の位置を変更されたり、というように、変形されたり、位置が変更されたりする。この場合、変更された車体画像Ｉｍｉが記憶部に記憶され、合成画像には、当該変更された車体画像Ｉｍｉが用いられる。なお、車体画像Ｉｍｉとして、撮像部１２Ｉが撮像した室内画像や、当該室内画像が変更された画像等が用いられてもよい。

ＥＣＵ１１は、車体画像Ｉｍｉの透過度αすなわち車外画像Ｉｍｏとの合成比率を設定したり変更したりすることができる。比較的簡単な例では、車外画像Ｉｍｏと車体画像Ｉｍｉとが互いに位置合わせされた状態での各点について、車体画像Ｉｍｉの輝度がｘ１、車外画像Ｉｍｏの輝度がｘ２、透過度がα（０≦α≦１）である場合に、当該各点での重ね合わせた合成画像の輝度ｘは、ｘ＝（１−α）×ｘ１＋α×ｘ２であることができる。なお、透過度αは、任意の値に設定することができる。

また、ＥＣＵ１１は、車両１の状況に応じて、合成画像としての出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄを変更することができる。ＥＣＵ１１は、表示範囲Ａｄを変更するトリガとなる信号あるいはデータとして、各種のセンサの検出結果や、指示信号等を用いることができる。検出結果は、例えば、図１に示される非接触計測装置１３や、前輪用の舵角センサ１４、後輪操舵システム１５の舵角センサ１５ａ、ＧＰＳ１６（global positioning system）、車輪速センサ１７、ブレーキシステム１８のブレーキセンサ１８ａ、アクセルセンサ１９、前輪操舵システム２０のトルクセンサ２０ａ、シフトセンサ２１等の検出結果である。指示信号は、例えば、方向指示器２２や、操作入力部２４ｂ等から取得した指示信号である。なお、指示信号は、例えば、制御信号や、切替信号、操作信号、入力信号、指示データ等とも称されうる。

また、ＥＣＵ１１は、図１０に示される物体検出部１１１による検出結果や、車両位置取得部１１３による車両１の位置、背景検出部１１４による検出結果等に応じて、出力画像Ｉｍおよび車外画像Ｉｍｏの表示範囲Ａｄや、車体画像Ｉｍｉの透過度α、色（色相）、輝度、彩度等を、設定したり変更したりすることができる。また、車体画像Ｉｍｉが線画の場合、ＥＣＵ１１は、車体画像Ｉｍｉの輪郭線Ｌｏの太さや陰影の有無等を設定したり変更したりしてもよい。

図１に示されるように、画像表示システム１００に含まれる電気部品は、例えば、車内ネットワーク２３を介して電気的にあるいは通信可能に接続される。電気部品は、例えば、非接触計測装置１３や、舵角センサ１４、舵角センサ１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２、操作入力部２４ｂ等である。車内ネットワーク２３は、例えば、ＣＡＮ（controller area network）である。なお、各電気部品は、ＣＡＮ以外を介して電気的にあるいは通信可能に接続されてもよい。

非接触計測装置１３は、例えば、超音波や電波を発射してその反射波を捉えるソナーやレーダ等である。ＥＣＵ１１は、非接触計測装置１３の検出結果により、車両１の周囲に位置された図２に示されるような障害物としての物体Ｂの有無や物体Ｂまでの距離を測定することができる。すなわち、非接触計測装置１３は、測距部、物体検出部の一例である。

舵角センサ１４は、操舵部としての不図示のステアリングホイールの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。また、舵角センサ１５ａは、後輪２Ｒの操舵量を検出するセンサであり、例えば、ホール素子などを用いて構成される。なお、操舵量は、例えば、回転角度として検出される。

車輪速センサ１７は、車輪２（２Ｆ，２Ｒ）の回転量や単位時間当たりの回転数を検出するセンサであり、例えば、ホール素子などを用いて構成される。ＥＣＵ１１は、車輪速センサ１７から取得したデータに基づいて車両１の移動量などを演算することができる。車輪速センサ１７は、ブレーキシステム１８に設けられる場合もある。

ブレーキシステム１８は、ブレーキのロックを抑制するＡＢＳ（anti-lock brake system）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：electronic stability control）、ブレーキ力を増強する電動ブレーキシステム、ＢＢＷ（brake by wire）等である。ブレーキシステム１８は、不図示のアクチュエータを介して、車輪２に制動力を与え、車両１を減速する。ブレーキセンサ１８ａは、例えば、ブレーキペダルの操作量を検出するセンサである。

アクセルセンサ１９は、アクセルペダルの操作量を検出するセンサである。トルクセンサ２０ａは、運転者が操舵部に与えるトルクを検出する。シフトセンサ２１は、例えば、変速操作部の可動部の位置を検出するセンサであり、変位センサなどを用いて構成される。可動部は、例えば、レバーや、アーム、ボタン等である。なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は一例であって、種々に設定したり変更したりすることができる。方向指示器２２は、方向指示用のライトの点灯、消灯、点滅等を指示する信号を出力する。

また、表示部１０ａは、透明な操作入力部１０ｂで覆われうる。操作入力部１０ｂは、例えば、タッチパネル等である。乗員等は、操作入力部１０ｂを介して表示部１０ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部１０ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部１０ｂを触れたり押したり動かしたりして操作することで、画像表示システム１００における種々の操作入力を実行することができる。

また、車内には、表示部１０ａとは別の表示部２４ａや、音声出力装置２４ｃが設けられている。表示部２４ａは、例えば、ＬＣＤや、ＯＥＬＤ等である。音声出力装置２４ｃは、例えば、スピーカである。さらに、表示部２４ａは、透明な操作入力部２４ｂで覆われている。操作入力部２４ｂは、例えば、タッチパネル等である。乗員等は、操作入力部２４ｂを介して表示部２４ａの表示画面に表示される画像を視認することができる。また、乗員等は、表示部２４ａの表示画面に表示される画像に対応した位置にて手指等で操作入力部２４ｂを触れたり押したり動かしたりして操作することで、操作入力を実行することができる。そして、これら表示部２４ａや、操作入力部２４ｂ、音声出力装置２４ｃ等は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に位置されたモニタ装置２４に設けられうる。モニタ装置２４は、例えば、スイッチや、ダイヤル、ジョイスティック、押しボタン等の図示されない操作入力部を有することができる。モニタ装置２４は、ナビゲーションシステムやオーディオシステムと兼用されうる。なお、ＥＣＵ１１は、モニタ装置２４の表示部２４ａに、表示部１０ａと同様の画像を表示させることができる。

ＥＣＵ１１は、例えば、ＣＰＵ１１ａ（central processing unit）や、ＲＯＭ１１ｂ（read only memory）、ＲＡＭ１１ｃ（random access memory）、ＳＳＤ１１ｄ（solid state drive）、表示制御部１１ｅ、音声制御部１１ｆ等を有している。ＳＳＤ１１ｄは、フラッシュメモリであってもよい。ＣＰＵ１１ａは、各種演算を実行することができる。ＣＰＵ１１ａは、ＲＯＭ１１ｂやＳＳＤ１１ｄ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。ＲＡＭ１１ｃは、ＣＰＵ１１ａでの演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ１１ｄは、書き換え可能な不揮発性の記憶部であり、ＥＣＵ１１の電源がオフされた場合にあってもデータを記憶することができる。また、表示制御部１１ｅは、ＥＣＵ１１での演算処理のうち、主として、撮像部１２で得られた画像データを用いた画像処理や、表示部１０ａ，２４ａで表示される画像データの画像処理等を実行する。画像処理は例えば合成等である。また、音声制御部１１ｆは、ＥＣＵ１１での演算処理のうち、主として、音声出力装置２４ｃで出力される音声データの処理を実行する。なお、ＣＰＵ１１ａや、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等は、同一パッケージ内に集積されることができる。また、ＥＣＵ１１は、ＣＰＵ１１ａに替えて、ＤＳＰ（digital signal processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１１ｄに替えてＨＤＤ（hard disk drive）が設けられてもよいし、ＳＳＤ１１ｄやＨＤＤは、ＥＣＵ１１とは別に設けられてもよい。

また、本実施形態では、例えば、表示部１０ａには、ＥＣＵ１１の画像処理によって、ルームミラーの鏡像に対応した出力画像Ｉｍが表示される。この場合、車外画像Ｉｍｏからルームミラーの写像に対応した出力画像Ｉｍへの座標変換を行う関数や、係数、定数、データ等は、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。なお、関数は、変換式や、変換行列等であってもよい。また、出力画像Ｉｍは、例えば、ルームミラーの写像に似た画像や、位置合わせされた画像、適合した画像等である。また、車体画像Ｉｍｉの合成位置や、大きさ、形状等も、車外や車内に実際に配置した複数のマーカのルームミラーの写像中での位置を実際に取得したり、撮像によるキャリブレーションを行ったり、幾何学的な演算を行ったりすることによって、得ることができる。

また、本実施形態では、例えば、ＥＣＵ１１は、ハードウエアとソフトウエア（プログラム）との協働によって、画像表示制御装置の少なくとも一部として機能する。すなわち、本実施形態では、例えば、図１０に示されるように、ＥＣＵ１１は、図１にも示されている表示制御部１１ｅならびに音声制御部１１ｆの他、車外画像作成部１１０や、物体検出部１１１、画像作成部１１２、車両位置取得部１１３、背景検出部１１４、表示態様変更部１１５、表示範囲決定部１１６、追加画像作成部１１７等として機能する。なお、プログラムには、例えば、図１０に示される各ブロックに対応したモジュールが含まれうる。また、画像処理は、表示制御部１１ｅの他、ＣＰＵ１１ａでも実行されうる。車外画像作成部１１０は、鏡像作成部の一例であり、画像作成部１１２は、画像重畳部の一例である。

車外画像作成部１１０は、例えば、車外の撮像部１２で撮像された複数（例えば三つ）の画像を、それらの境界部分を合成することで繋ぎ、一連の車外画像Ｉｍｏを作成する。この際、車外画像作成部１１０は、撮像部１２で撮像された画像または合成された画像を座標変換等することで、乗員の視線によるルームミラーの鏡像に似せた車外画像Ｉｍｏを作成する。なお、位置合わせに関しては、撮像部１２から得られた車外画像Ｉｍｏの座標は、予め取得された実験結果等を元に、車体画像Ｉｍｉと対応する座標に変換される。また、車外画像Ｉｍｏにおける物体Ｂの画像Ｉｍｂの大きさ等については、非接触計測装置１３による物体Ｂまでの距離の測定結果を用いて補正することができる。なお、車外画像Ｉｍｏは、視認する乗員にとって違和感が少ないまたは無いものであれば良く、ルームミラーが設けられた場合の鏡像と完全に位置合わせされている必要は無い。

物体検出部１１１は、例えば、車外画像作成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、車外の物体Ｂを検出する。物体Ｂは、例えば、車両や、物、人等である。物体Ｂの検出に際しては、例えば、パターンマッチング等が用いられうる。また、物体検出部１１１は、非接触計測装置１３から得られたデータから、車外の物体Ｂを検出することができるし、車外画像Ｉｍｏを画像処理した結果と非接触計測装置１３から得られたデータとから、車外の物体Ｂを検出することができる。また、物体検出部１１１は、車外画像Ｉｍｏを画像処理した結果あるいは非接触計測装置１３から得られたデータから、車両１から物体Ｂまでの距離を取得してもよい。

画像作成部１１２は、車体画像Ｉｍｉと車外画像Ｉｍｏとが重ね合わせられた合成画像を含む出力画像Ｉｍを、少なくとも表示部１０ａで表示される表示範囲Ａｄについて作成する。なお、画像作成部１１２は、さらに、車室内を撮像する撮像部１２Ｉ（図３〜６等参照）に基づく室内画像を合成してもよい。この場合、例えば、画像処理により窓の部分がくり抜かれた室内画像が、透過画像として重畳されうる。

車両位置取得部１１３は、例えば、ＧＰＳ１６からのデータや、非接触計測装置１３の検出結果、車輪速センサ１７によって検出された車輪速、舵角センサ１４，１５ａによって検出された舵角、撮像部１２が取得した車外画像Ｉｍｏの画像処理結果等から、車両１の位置を取得することができる。

背景検出部１１４は、例えば、車体画像Ｉｍｉの背景となる車外画像作成部１１０で作成された車外画像Ｉｍｏを画像処理することにより、背景の画像の特性を検出する。検出される画像の特性は、例えば、画像の色や、輝度、彩度等である。背景検出部１１４は、車外画像Ｉｍｏの一部の領域の画像の特性を取得することができる。例えば、背景検出部１１４は、車体画像Ｉｍｉと重なる領域およびそれに隣接する領域の、画像の属性を取得することができる。また、背景検出部１１４は、部分毎、例えば予め設定された区画毎に、画像の特性を取得することができる。なお、背景検出部１１４は、車外画像Ｉｍｏの全体についての画像の特性の平均値または合計値を検出してもよい。

表示態様変更部１１５は、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置等の車両状態を示す情報、背景検出部１１４の検出結果等に応じて、車体画像Ｉｍｉおよび車外画像Ｉｍｏのうち少なくとも一方の表示態様を変更することができる。表示態様変更部１１５は、例えば、車体画像Ｉｍｉの透過率αや、色、輝度、彩度等を変更することができる。また、合成画像に室内画像が含まれる場合、表示態様変更部１１５は、室内画像の透過度等を変更することができる。

表示範囲決定部１１６は、例えば、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置等に応じて、表示範囲Ａｄを変更することができる。

追加画像作成部１１７は、例えば、出力画像Ｉｍに、追加画像Ｉｍａを追加することができる。追加画像Ｉｍａは、例えば、物体検出部１１１によって検出された物体の強調表示や、車線や駐車枠等の線の表示など、人工的な画像である。強調表示は、例えば、枠や塗りつぶし等である。

本実施形態にかかる画像表示システム１００は、例えば、図１１に示されるような手順で処理を実行することができる。まず、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置、背景検出部１１４の検出結果等を取得して、それぞれの参照値と比較して、表示範囲Ａｄを変更する条件を満たすか否かを判断する（Ｓ１）。表示範囲Ａｄを変更する条件が満たされる場合、ＥＣＵ１１は、表示範囲決定部１１６として機能し、表示範囲Ａｄを当該条件に応じた位置や広さに変更する（Ｓ２）。次に、ＥＣＵ１１は、非接触計測装置１３や、舵角センサ１４，１５ａ、ＧＰＳ１６、車輪速センサ１７、ブレーキセンサ１８ａ、アクセルセンサ１９、トルクセンサ２０ａ、シフトセンサ２１、方向指示器２２等から取得した検出結果や、信号、データ、操作入力部２４ｂ等の指示信号、物体検出部１１１の検出結果、車両位置取得部１１３によって取得された車両１の位置、背景検出部１１４の検出結果等を取得して、それぞれの参照値と比較して、表示態様を変更する条件を満たすか否かを判断する（Ｓ３）。表示態様を変更する条件が満たされる場合、ＥＣＵ１１は、表示態様変更部１１５として機能し、当該条件に応じた表示態様に変更する（Ｓ４）。なお、Ｓ４の例については、後述する。そして、ＥＣＵ１１は、車外画像作成部１１０や、物体検出部１１１等として機能するとともに、画像作成部１１２として機能し、設定（変更）された表示態様ならびに表示範囲Ａｄに対応する出力画像Ｉｍを作成する（Ｓ５）。なお、Ｓ５では、追加画像Ｉｍａを含む出力画像Ｉｍを作成することができる。そして、表示制御部１１ｅは、作成された出力画像Ｉｍが表示されるよう、表示部１０ａを制御する（Ｓ６）。

本実施形態では、車体画像Ｉｍｉには、図２，９に示されるように、車両１の下部に対応した、複数の車両前後方向に沿った線Ｌｌ、複数の車幅方向に沿った線Ｌｗ、車幅方向の特定位置を通る車両前後方向に沿った線Ｌｃｌ、および車両前後方向の特定位置、例えば後側ピラーまたは後輪の位置を通る車幅方向に沿った線Ｌｓｗが含まれている。また、線Ｌｌと線Ｌｗとは、枠状あるいは格子状に配置され、車体の下部に対応した表示領域Ａｂが形成されている。また、線Ｌｃｌ，Ｌｓｗの表示態様は、他の線Ｌｌ，Ｌｗの表示態様とは異なる。具体的には、線Ｌｃｌ，Ｌｓｗの幅（太さ）が線Ｌｌ，Ｌｗの幅より大きく、線Ｌｃｌ，Ｌｓｗの輝度が線Ｌｌ，Ｌｗの輝度より高い。また、車体画像Ｉｍｉには、車体の側部または後部に、車両上下方向に沿った線Ｌｖ（部分Ｐｓｒ）が含まれている。また、車体画像Ｉｍｉには、車両後方に向かうほど間隔が狭くなる複数の表示要素としての線Ｌｌ，Ｌｗが含まれている。それぞれの特徴により、乗員は、例えば、車体の床の位置を認識しやすい。また、乗員は、例えば、車体の車両前後方向の位置や、車体の車幅方向の位置を認識しやすい。また、乗員は、例えば、車体の下部に対応した高さで車両前後方向の位置や車幅方向の位置を認識できるため、他の高さ位置に線Ｌｃｌ，Ｌｓｗが設けられた場合に比べて、物体Ｂの車両前後方向または車幅方向の位置をより精度良く認識しやすい。また、乗員は、例えば、車体の車両上下方向の位置を認識しやすい。よって、乗員は、例えば、物体Ｂとの相対的な位置や、物体Ｂの大きさ等をより精度良くあるいはより容易に認識しやすい。線Ｌｌ，Ｌｗ，Ｌｃｌ，Ｌｓｗ，Ｌｖは、表示要素の一例である。表示領域Ａｂは、領域の一例である。また、線Ｌｌ，Ｌｗ，Ｌｃｌ，Ｌｓｗ，Ｌｖや表示領域Ａｂは、スケールの一例である。なお、線Ｌｖは、鉛直方向に延びている必要は無く、鉛直方向に対して傾斜していてもよい。また、複数の線Ｌｖが、他の線Ｌｌ，Ｌｗに沿って目盛りのように間隔をあけて配置されてもよい。

図１２には、例えば、車両１が左側に旋回しながら到達予想位置まで後進する駐車を行う場合の出力画像Ｉｍが示されている。図１２に例示されるように、追加画像作成部１１７は、検出された物体Ｂの画像Ｉｍｂに、当該画像Ｉｍｂを取り囲む枠状の強調表示Ｉｍｆ１を追加し、路面の枠線Ｌの画像Ｉｍｌに、当該画像Ｉｍｌと重なった帯状の強調表示Ｉｍｆ２を追加し、現在位置から所定距離後方に離間した到達予想位置を示す画像Ｉｍｆ３を追加し、さらに、到達予想位置や舵角等から予想される移動経路を示す線状の画像Ｉｍｆ４を追加している。画像Ｉｍｆ３，Ｉｍｆ４は、車体の下部に対応した表示領域Ａｂに対応する。例えば、画像Ｉｍｆ３，Ｉｍｆ４の側縁は、到達予想位置での表示領域Ａｂの側縁と一致するように、描画されうる。本実施形態によれば、例えば、運転者は、車両１の周囲や、進行する方向の車外の状況、駐車目標位置Ｐ、到達予想位置、移動経路等を、より認識しやすい。また、本実施形態によれば、例えば、乗員は、表示領域Ａｂを含む車体画像Ｉｍｉと、表示領域Ａｂに対応した画像Ｉｍｆ３，Ｉｍｆ４とによって、予想される車両１の移動経路を把握しやすい。

図１３には、例えば、車両１が進行方向右側、すなわち図１３では左側のレーンに車線変更を行う前の、路面走行状態での出力画像Ｉｍが示されている。図１３に例示されるように、表示態様変更部１１５は、車体画像Ｉｍｉの色や、輝度、彩度等を、その背景としての車外画像Ｉｍｏに応じて、場所毎に異ならせている。具体的には、表示態様変更部１１５は、車外画像Ｉｍｏのうち地平線よりも上の空の領域に重なる部分では、車体画像Ｉｍｉの色を例えば黒色に設定し、車外画像Ｉｍｏのうち地平線よりも下の路面の領域に重なる部分では、車外画像Ｉｍｉの色を例えば白色に設定している。なお、図１３中では、破線および白抜き線で表現している。このように、背景すなわち車外画像Ｉｍｏに応じて車体画像Ｉｍｉの色や、輝度、彩度等を設定することで、車体画像Ｉｍｉの識別性が高まりやすい。また、表示態様変更部１１５は、表示態様調整部、表示態様設定部、表示態様決定部と称することができる。

表示態様変更部１１５は、車体画像Ｉｍｉの背景としての車外画像Ｉｍｏの特性、すなわち、色や、輝度、彩度等に応じて、車体画像Ｉｍｉの特性、すなわち、色や、輝度、彩度等を調整することができる。例えば、車体画像Ｉｍｉの輝度は、車外画像Ｉｍｏの輝度との差が所定値以上となるよう、設定される。これにより、例えば、車外画像Ｉｍｏが暗い場合には、車体画像Ｉｍｉが明るくなり、車外画像Ｉｍｏが明るい場合には、車体画像Ｉｍｉが暗くなる。また、車外画像Ｉｍｏの暗い領域と重なる車体画像Ｉｍｉの部分は明るくなり、車外画像Ｉｍｏの明るい領域と重なる車体画像Ｉｍｉの部分は暗くなる。すなわち、車外画像Ｉｍｏと車体画像Ｉｍｉとの明度差としてのコントラストが所定値以上に高く設定される。よって、車体画像Ｉｍｉの識別性が高まりやすい。

また、例えば、車外画像Ｉｍｏの色（色相）と車体画像Ｉｍｉの色（色相）とは、色相環の反対色、すなわち補色に設定されてもよい。これにより、車外画像Ｉｍｏの色相と車体画像Ｉｍｉの色相とに差が生じる。よって、車体画像Ｉｍｉの識別性が高まりやすい。なお、補色同士の組み合わせでなく、例えば、補色となる二色のそれぞれの近傍の色の組み合わせなど、色相環の反対側の色の組み合わせであってもよい。また、車外画像Ｉｍｏに、例えば空等の明るい水色や白色の領域が含まれる場合、車外画像Ｉｍｉの当該領域と重なる部分は、黒色であってもよい。

また、例えば、車体画像Ｉｍｉの色の彩度は、車外画像Ｉｍｏの色の彩度との差が所定値以上となるよう、設定されてもよい。これにより、彩度の差が低い場合に比べて、車外画像Ｉｍｏと車体画像Ｉｍｉとが識別されやすくなる場合がある。よって、車体画像Ｉｍｉの識別性が高まりやすい場合がある。また、色や、輝度、彩度等の調整とともに、線の太さや、線種、陰影の有無等が調整されてもよい。

表示態様変更部１１５は、記憶部としての例えばＳＳＤ１１ｄに記憶された情報としてのマップや、テーブル等に基づいて、車外画像Ｉｍｏの特性に対応した車体画像Ｉｍｉの特性を取得することができる。また、表示態様変更部１１５は、車外画像Ｉｍｏの特性と車体画像Ｉｍｉの特性との関係を示す関数から、車外画像Ｉｍｏの特性に対応した車体画像Ｉｍｉの特性を取得することができる。また、表示態様変更部１１５は、色、輝度、および彩度の少なくとも一つによって、車外画像Ｉｍｏと車体画像Ｉｍｉとの識別性を高めてもよいし、色、輝度、および彩度のうち少なくとも二つの組み合わせによって、車外画像Ｉｍｏと車体画像Ｉｍｉとの識別性を高めてよい。また、車外画像Ｉｍｏは、経時的に変化する。よって、表示態様変更部１１５は、例えば、車外画像Ｉｍｏが更新される毎に車体画像Ｉｍｉの特性を決定したり、所定の時間間隔で車体画像Ｉｍｉの特性を決定したりすることができる。あるいは、不図示の輝度センサや、照度センサ等、背景の明るさを検出するセンサが設けられている場合、表示態様変更部１１５は、当該センサの検出結果に基づいて車体画像Ｉｍｉの特性を決定してもよい。この場合、ＥＣＵ１１の表示態様変更部１１５は、例えば、記憶された複数の車体画像Ｉｍｉの中から、検出結果に対応する車体画像Ｉｍｉを選択してもよい。この場合、演算処理が簡素化されやすい。なお、本実施形態では、撮像部１２および背景検出部１１４によって明るさセンサが構成されていると言うこともできる。

図１４には、領域Ａ１〜Ａ３毎に特性が異なる車体画像Ｉｍｉが、例示されている。図１４の例では、領域Ａ１の車体画像Ｉｍｉの線Ｌｏ１の輝度が最も高く、領域Ａ２の車体画像Ｉｍｉの線Ｌｏ２の輝度が線Ｌｏ１の輝度よりも低く、領域Ａ３の車体画像Ｉｍｉの線Ｌｏ３の輝度が線Ｌｏ２の輝度よりも低く設定されている。この例のように、車体画像Ｉｍｉの特性には、三段階以上の変化を与えることができる。また、車体画像Ｉｍｉの特性は、徐々に変化してもよい。この場合、車体画像Ｉｍｉには、グラデーションが生じる。

図１５には、線画ではなく、透過画像として構成された車体画像Ｉｍｉが、例示されている。図１５の例では、車体画像Ｉｍｉは、窓に対応する枠の線Ｌｏｗの外側の領域で、図１５には不図示の車外画像Ｉｍｏを透過度αで透過する状態で、塗り潰している。そして、車外画像の境界線ＰＬより上側の領域Ａ４での車体画像Ｉｍｉの輝度が、境界線ＰＬより下側の領域Ａ５での車体画像Ｉｍｉの輝度よりも低い。このような例でも、車体画像Ｉｍｉの識別性が高まりやすい。なお、境界線ＰＬは、例えば、傾斜した地面と空との境界線である。また、車体画像Ｉｍｉでは少なくとも部分的に輪郭線は無くてもよい。

以上、説明したように、本実施形態では、車体画像Ｉｍｉの輝度および色のうち少なくとも一方が、車外画像Ｉｍｏ（鏡像）に対応して調整される。よって、本実施形態によれば、例えば、車外画像Ｉｍｏに対応した車体画像Ｉｍｉの輝度および色のうち少なくとも一方の調整によって、車体画像Ｉｍｉの識別性が高まりやすい。

また、本実施形態では、車体画像Ｉｍｉの輝度および色のうち少なくとも一方が、当該車体画像Ｉｍｉの場所に応じて異なる。すなわち、車体画像Ｉｍｉの場所毎に、車外画像Ｉｍｏ（鏡像）に対応して輝度および色のうち少なくとも一方が調整される。よって、例えば、車体画像Ｉｍｉの識別性がより高まりやすい。

また、本実施形態では、車体画像Ｉｍｉの輝度および色のうち少なくとも一方が、車外画像Ｉｍｏの変化に応じて変化する。よって、例えば、車外画像Ｉｍｏ（鏡像）の経時変化に応じて、車体画像Ｉｍｉの輝度および色のうち少なくとも一方が調整されるため、車体画像Ｉｍｉの識別性がより高まりやすい。

また、本実施形態では、車体画像Ｉｍｉの輝度が、車外画像Ｉｍｏの輝度との差が所定値以上となるように設定される。よって、例えば、車外画像Ｉｍｏ（鏡像）の輝度と車体画像Ｉｍｉの輝度との差によって、車体画像Ｉｍｉの識別性がより高まりやすい。

また、本実施形態では、車体画像Ｉｍｉの色が、車外画像Ｉｍｏの車体画像Ｉｍｉが重なる部分の色の補色に設定される。よって、例えば、車外画像Ｉｍｏ（鏡像）の色相と車体画像Ｉｍｉの色相との差によって、車体画像Ｉｍｉの識別性がより高まりやすい。

以上、本発明の実施形態を例示したが、上記実施形態は一例であって、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各例の構成や形状は、部分的に入れ替えて実施することも可能である。また、各構成や形状等のスペック（構造や、種類、方向、形状、大きさ、長さ、幅、厚さ、高さ、数、配置、位置、材質等）は、適宜に変更して実施することができる。

表示部１０ａは、フロントウインドウや車内のスクリーン等に画像を映し出す装置であってもよいし、車内のダッシュボードやセンターコンソール等に設けられた表示パネルであってもよい。なお、表示パネルは、コックピットモジュール、インストルメントパネル、フェイシア等に設けられてもよい。

また、運転者の運転操作に伴って得られる信号は、上述した方向指示器２２ならびにシフトレバー以外の、例えば、ステアリングホイールや、シフトスイッチ、ブレーキペダル、クラッチペダル、アクセルペダル等の運転操作を行う操作部に対する操作に伴って得られる信号であってもよい。また、操作部の操作に対する表示態様の調整あるいは変更は、種々に設定することができる。例えば、ブレーキペダルの操作に応じて、表示態様を変更（調整）したり、すなわち、例えば、色や輝度を変更したり、表示範囲Ａｄを拡大したりすることができる。

１…車両（車体）、１０ａ…表示部（表示装置）、１１…ＥＣＵ（画像表示制御装置）、１１ｅ…表示制御部、１２，１２Ｒ，１２Ｓ…撮像部、１００…画像表示システム、１１０…車外画像作成部（鏡像作成部）、１１２…画像作成部（画像重畳部）、Ｉｍｉ…車体画像、Ｉｍｏ…車外画像（鏡像）。

Claims (8)

1. 車体に設けられた撮像部で撮像された画像に基づいて車両の少なくとも後方を示す鏡像を作成する鏡像作成部と、
   前記鏡像作成部によって作成された前記鏡像と車体の少なくとも一部を示す車体画像とを重畳する画像重畳部と、
   前記画像重畳部によって前記鏡像と前記車体画像とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、
   を備え、
   前記車体画像の輝度および色のうち少なくとも一方が、前記鏡像に対応して調整され、
   前記車体画像は、車両の下部に対応した、複数の車両前後方向に沿った線および複数の車幅方向に沿った線を含む、画像表示制御装置。
2. 前記複数の車両前後方向に沿った線は、車幅方向の特定位置を通る線を含み、
   前記複数の車幅方向に沿った線は、車両前後方向の特定位置を通る線を含む、請求項１に記載の画像表示制御装置。
3. 前記車体画像の、窓に対応する枠の線の外側の領域は、車外画像を透過する状態で塗り潰され、
   前記車外画像の境界線よりも上側の領域における前記車体画像の輝度が、前記境界線よりも下側の領域における前記車体画像の輝度よりも低い、請求項１または２に記載の画像表示制御装置。
4. 前記境界線は、地面と空との境界線である、請求項３に記載の画像表示制御装置。
5. 車体に設けられた車両の少なくとも後方を撮像する撮像部と、
   表示装置と、
   画像表示制御装置と、
   を備え、
   前記画像表示制御装置は、
   前記撮像部で撮像された画像に基づいて車両の少なくとも後方を示す鏡像を作成する鏡像作成部と、
   前記鏡像作成部によって作成された前記鏡像と車体の少なくとも一部を示す車体画像とを重畳する画像重畳部と、
   前記画像重畳部によって前記鏡像と前記車体画像とが重畳された画像が表示されるよう表示装置を制御する表示制御部と、
   を備え、
   前記車体画像の輝度および色のうち少なくとも一方が、前記鏡像の特性に対応して設定され、
   前記車体画像は、車両の下部に対応した、複数の車両前後方向に沿った線および複数の車幅方向に沿った線を含む、画像表示システム。
6. 前記複数の車両前後方向に沿った線は、車幅方向の特定位置を通る線を含み、
   前記複数の車幅方向に沿った線は、車両前後方向の特定位置を通る線を含む、請求項５に記載の画像表示システム。
7. 前記車体画像の、窓に対応する枠の線の外側の領域は、車外画像を透過する状態で塗り潰され、
   前記車外画像の境界線よりも上側の領域における前記車体画像の輝度が、前記境界線よりも下側の領域における前記車体画像の輝度よりも低い、請求項５または６に記載の画像表示システム。
8. 前記境界線は、地面と空との境界線である、請求項７に記載の画像表示システム。

Images