JP4329525B2 - 車外情報表示装置 - Google Patents

Description

この発明は、車両に搭載された画像表示装置に係り、詳しくは、車体の透過画像を表示する車外情報表示装置に関するものである。

従来、自動車の運転者が、車両の周囲を視認する際、車体自体の影となって視覚が遮られ、認識できない死角領域が、車両の周囲に存在する。従来では、運転操作の補助として死角領域をカメラ等の画像取得機器で取得し、画像を車内のモニターに映し出す構成が提案されている。例えば、車両後尾に、車両の後尾に近接した領域を映し出すカメラを設置し、後退時には自動的に車内モニターに後方の撮影画像が映し出される構成などが提案されている。
特開２００２−２６２２８０

特許文献１に代表されるように、画像が映し出されるモニターは、車両側に固定されている。このため、肉眼で確認したい方向と、モニターの設置位置が一致しない場合には、肉眼で車外を確認し、かつモニターに顔を向けて死角領域を確認するといった煩わしい動作を行う必要がある。

例えば、車両後方の死角領域を映し出すバックモニターでは、後退時に後方を肉眼で確認するために、顔をバックシートの方向へ向けつつ操舵するとともに、死角領域の確認をする際には、運転席の前方に配置されたモニターを見る必要がある。この様に、後退時には、顔を前後に頻繁に向き直らせなければならず、かえって操作がやりづらくなるといった問題がある。

また、従来の装置ではモニターは固定されているので、運転者が見たいところを見るためには、本体やリモコンに設置されたジョイスティックやタッチパネル装置を用いてメニュー画面からカメラを切り替え、或は、カメラをパン・チルトさせるといった手段を取っていた。運転者はこれらの手段により、カメラ画像をスクロールさせ、或は、カメラ画像の切り替えを行う必要があり、運転者にとっては大変煩わしいものであった。

この発明は、任意の方向の車外状況を、使用者の視点位置から見た画像として、使用者の視線上に表示できる車外情報表示装置を提供することを目的とする。

以上のような問題を解決する本発明は、以下のような構成を有する。
（１） 車両の周囲を撮像する撮像手段と、
画像表示面を有するディスプレイと、
予め定められた起点と前記ディスプレイとの位置関係を検出する位置検出手段と、
前記撮像手段によって撮像された画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイ方向へ向かう線の延長線上に存在する車両周囲の画像を、抽出する画像抽出手段と、
前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、を有することを特徴とする車外情報表示装置。

（２）前記基準点は、運転者の視点位置を仮想的に想定した位置であることを特徴とする上記（１）に記載の車外情報表示装置。

（３）前記起点は、前記ディスプレイの保持位置であることを特徴とする上記（１）又は（２）に記載の車外情報表示装置。

（４） 車両の周囲を撮像する撮像手段と、
画像表示面を有するディスプレイと、
予め定められた起点に対する前記ディスプレイの位置関係を検出する位置検出手段と、
前記位置検出手段によって検出された位置関係に基づき、前記ディスプレイを使用している使用者の視点位置を特定する視点位置特定手段と、
前記視点位置特定手段によって特定された視点とディスプレイの位置から、視点から前記ディスプレイへ向かう方向を検出する方向検出手段と、
前記撮像手段によって撮像された画像から、前記方向検出手段によって検出された方向に対応する車両周囲の画像を抽出する画像抽出手段と、
前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段とを有することを特徴とする車外情報表示装置。

（５） 前記視点位置から、位置特定された前記ディスプレイの位置する方向を視認した場合の画像に、前記画像抽出手段によって抽出した画像を視点変換処理する視点変換手段とを有する上記（２）又は（４）に記載の車外情報表示装置。

（６） 車両内における前記ディスプレイ表示面の傾き及び回転角を検出する角度検出手段と、を備え、
前記画像抽出手段は、さらに、前記角度検出手段により検出された角度に基づき抽出することを特徴とする上記（１）又は上記（４）に記載の車外情報表示装置。

（７） 車両の輪郭を記憶する車両情報記憶手段と、
前記車両情報記憶手段に記憶されている車両の輪郭情報に基づき、視点位置から視認した場合の車両輪郭を形成する輪郭形成手段と、
前記輪郭形成手段によって形成された車両の輪郭を前記表示手段に表示される画像に合成する画像合成手段とを有する上記（１）〜（６）のいずれか１に記載の車外情報表示装置。

（８） 前記撮像手段は、異なる方向へ向けて複数設けられており、
視点位置から前記ディスプレイの位置へ向かう線と、撮像手段の光軸との成す角度が最も小さい方向の撮像手段を、前記複数の撮像手段から1つ選択する選択
手段を有し、
前記画像抽出手段は、該選択された撮像手段が取得した画像から画像を抽出する上記（１）〜（７）のいずれか１に記載の車外情報表示装置。

（９） 車両の周囲を撮像する撮像手段と、
画像表示面を有するディスプレイと、
前記ディスプレイ表示面の傾き及び回転角を検出する角度検出手段と、
前記角度検出手段により検出したディスプレイの傾き及び回転角に基づき、前記撮像手段によって撮像された画像から、この表示面の裏面に対向する画像を抽出する画像抽出手段と、
前記画像抽出手段に基づいて抽出された画像を前記表示手段に表示する表示手段とを有することを特徴とする車外情報表示装置。

請求項１に記載の発明によれば、基準点を起点としてディスプレイ方向の延長線上に存在する車両周囲の画像がディスプレイに写し出されるので、車両の陰になって死角となる領域の状況を正確に把握することができる。
請求項２に記載の発明によれば、基準点を、運転者の視点位置を仮想的に想定した位置とすることによって、表示されている画像の向きと、使用者が向いている向きが合致し、あたかも画面に車両の透視画像が表示されるように認識でき、使用者の方向感覚や距離感覚に合致した画像を表示することができる。

請求項３に記載の発明によれば、通常ディスプレイが保持されている保持位置を起点とし、基準点及び視点位置が規定されるので、座標表示が簡単となり、基準点や視点位置の算出が容易となる。
請求項４に記載の発明によれば、起点を基準にして、起点に対するディスプレイの相対位置が規定され、規定された相対位置に基づき視点位置が特定され、その後、視点位置からディスプレイへ向かう方向を検出する。視点位置からディスプレイへ向かう方向の車両周囲画像が抽出されるので、使用者がディスプレイを見ている視線方向の死角領域がディスプレイに表示されることとなる。このため、表示されている画像の内容について、使用者の位置している場所からの相対位置が感覚的に把握し易い。

請求項５に記載の発明によれば、撮像手段が取得した画像を、その画像を映した撮像手段の位置から使用者の視点位置に変換し、その変換画像をディスプレイに変換するので、ディスプレイに表示されている画像が、あたかも車両の車体を透過して映し出されているように認識することができ、実際に肉眼で視認した場合に近いに感覚で車両周囲の状況を視覚的に把握することができる。

請求項６に記載の発明によれば、ディスプレイ表示面の傾きや回転角に基づき抽出する画像を決定するので、使用者がディスプレイの傾きや回転角を操作して、任意の方向の車体透過画像をディスプレイに写し出すことができる。
請求項７に記載の発明によれば、車両の輪郭が画像に合成して表示されるため、ディスプレイに表示された車両周囲の状況と車両との位置関係が把握し易い。

請求項８に記載の発明によれば、視点位置からディスプレイに向かう視線の方向に最も近い方向に向いている撮像手段を選択し、その撮像手段の画像を用いるので、画像処理が容易で、画像処理によって生じる画像の歪みも抑制することができる。
請求項９に記載の発明によれば、画像表示面の傾きや回転角に基づき抽出する画像を決定するので、使用者がディスプレイの傾きや回転角を操作して、視点位置とディスプレイの位置関係を換えることなく、任意の方向の車体透過画像をディスプレイに写し出すことができる。

次にこの発明の車外情報表示装置１の好適実施形態について説明する。本発明の車外情報表示装置１は、自動車に搭載され、画像取得装置１Ａと画像表示装置１Ｂとを有している。図１は、画像取得装置１Ａの構成を示すブロック図である。画像取得装置１Ａは、車両２に取り付けられ車両の周囲を撮像する撮像手段である複数のカメラ３Ｆ〜３Ｂと、画像処理等の演算及び制御を行う演算処理装置４Ａと、メモリ５Ａと、画像表示装置１Ｂとの通信を行う通信装置６１Ａと、画像表示装置１Ｂの接続を行う接続部６２Ａと、これらの装置の通信を媒体するシステムバス１１Ａとを備えている。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、図２に示されているように、車両１０の側面に、外側に向けて設けられている。車両１０において、カメラ３Ｆは車体前部中央に、カメラ３Ｂは、車体後部中央に、カメラ３Ｒは、車体右側面運転席側方に、カメラ３Ｌは、車体左側面運転席側方にそれぞれ設けられている。本実施形態での各カメラは、魚眼レンズであり、１８０°の画角を有している。側面に設けられたカメラ３Ｒ、３Ｌは、車体の中央部でなく、運転席の側方に設けられている。これは、本装置を使用するのは運転者であることが多いので、カメラ３Ｒ、３Ｌの撮影位置を、使用者（運転者）の視点位置に近づけるために、そのような位置としている。後述する視点変換処理をする際に、変換処理の負担が軽減されるとともに、変換後の画像の歪みも抑えることができるからである。

カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、それぞれ魚眼レンズを用いており、例えばＣＣＤ（Charge-Coupled Devices）により、光（画像）信号を電気信号に変換する構成を備えている。それぞれのカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂは、Ａ/Ｄ変換
器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂを介してシステムバス１１Ａに各々接続される。カメラ３Ｆは、車両１０の前方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｒは、車両１０の右側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｌは、車両１０の左側方にレンズの光軸を向け、その周囲の景色を画像として取得する。カメラ３Ｂは、車両１０の後方にレンズの光軸を向け、その周囲の景色を画像として取得する。

各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂから出力された画像信号は、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂによって、それぞれデジタル信号に変換される。
また、接続されたカメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが、デジタル信号出力が可能なものである場合には、Ａ／Ｄ変換器３１Ｆ、３１Ｒ、３１Ｌ、３１Ｂには不要である。なお、本実施形態では、上述のように、撮像手段は、魚眼レンズを用いたカメラ４つを有しているが、車両の周囲３６０°の画像を取得できれば、どのようなカメラを用いても構わない。例えば、５つ以上の複数のカメラを、車両の外側に向けて設置してもよく、また、３６０°の画像を取得できるカメラを１つ用いてもよい。

演算処理装置４Ａは、中央処理装置［ＣＰＵ（Central Processing Unit）
］４１Ａと、リードオンリーメモリ［ＲＯＭ］４２Ａと、ランダムアクセスメモリ［ＲＡＭ］４３Ａとを備えている。中央処理装置４１は、例えば、画像取込装置１Ａと、画像表示装置１Ｂとの相対位置を演算し、或は、各カメラから取得された画像に基づいて、車体１０周囲の３６０°画像を合成し、或は、合成した画像から画像表示装置１Ｂへ送る画像を切り取り（抽出し）、また、切り取った画像を使用者の視点位置に視点変換し、切り取った画像に、車両の輪郭を合成する、或は画像表示装置１Ｂとのデータの送受信などの処理及び演算を行う。
ＲＯＭ４２には、例えば、中央処理装置４１が画像処理を行うためのソフトウエア等が格納されており、ＲＡＭ４３は、例えば、各種画像処理等を行う場としてのワーキングエリアとして使用される。

メモリ５Ａは、各カメラ３Ｆ、３Ｒ、３Ｌ、３Ｂが撮影した画像を経時的に連続してそれぞれ記録するカメラ画像バッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂと、描画用画像バッファ５２と、画像処理情報メモリ５３と、車両情報記憶手段である車体データメモリ５４と、ワークメモリ５５とを備えている。

描画用画像バッファ５２には、カメラ画像に画像処理を施して生成した画像が保存される。画像処理情報メモリ５３には、視点変換、歪み補正、合成等画像処理を実行するために必要な変数が保存される。例えば、ＧＵＩで構成されたメニュー画面等を介して設定値の入力や変更は適宜可能となっている。車体データメモリ５４には、表示画像に重ねて、車体透過イメージを作るために必要な輪郭情報が格納されている。輪郭情報には、車体の輪郭やタイヤ位置等を表現した3Dモデリングデータまたは3Dに見えるように描かれたビットマップデータなどが保存されている。この車体データメモリ５４に保存されるデータには、カメラ画像または画像処理後のカメラ画像と合成するために使用するマスクデータも含まれる。

通信装置６１Ａは、画像表示装置１Ｂからのセンサデータ受信、画像表示装置１Ｂへの描画用画像データ送信を行う。通信手段としては、有線と無線があるが、無線の場合は、無線ＬＡＮ（ＩＥＥＥ802．11ａ／ｂ／ｇ）、Ｂｌｕｅｔｏｏ
ｔｈ、赤外線（ＩｒＤＡ）、小電力ＦＭトランスミッター、ＵＷＢ（Ultra Wide Band）、スペクトラム拡散（ＳＳ）等が考えられる。

接続部６２Ａは、接続端子を備え、画像表示装置１Ｂの接続部６２Ｂに設けられた接続端子と接続するものである。画像表示装置１Ｂの接続部６２Ｂと接続することによって、通信装置６１Ａと同様の作用をする。この接続部６２Ａは、例えば、画像表示装置１Ｂと接続するための保持位置として機能する。

一方、画像表示装置１Ｂは、画像処理等の演算及び制御を行う演算処理装置４Ｂと、通信装置６１Ｂと、接続部６２Ｂと、メモリ５Ｂと、位置・角度検出装置７と、Ａ/Ｄ変換装置７１と、表示装置８と、Ｄ／Ａ変換装置８１と、これらの
装置の通信を媒体するシステムバス１１Ｂを有している。図３は、画像表示装置１Ｂの構成を示すブロック図である。

演算処理装置４Ｂは、中央処理装置［ＣＰＵ（Central Processing Unit）
］４１Ｂと、リードオンリーメモリ［ＲＯＭ］４２Ｂと、ランダムアクセスメモリ［ＲＡＭ］４３Ｂとを備えている。中央処理装置４１Ｂは、例えば、位置・角度検出装置７からの位置と角度のデータ等(センサデータ)をメモリ５Ｂへ書き込みおよび演算、データ送受信の制御、画像の描画等を行う。通信装置６１Ｂは、画像取込装置１Ａへのセンサデータ送信、画像表示装置１Ａからの描画用画像データ受信を行う。接続部６２Ｂは、接続端子を備え、画像取得装置１Ａの接続部６２Ａに設けられた接続端子と接続することによって、通信装置６１Ｂと同様の作用をする。

本願発明の位置検出手段および角度検出手段である位置・角度検出装置７は、画像表示装置１Ｂの基準点からの位置および角度を検出する。位置・角度検出装置７は、ジャイロセンサ、加速度センサ、地磁気センサ等により構成される。これらのセンサは画像取得装置1Ａと画像表示装置1Ｂとの相対距離(位置関係)及び相対角度(方向)を算出するために用いるものであり、相対距離及び相対角度を算出できるものであれば、上述のセンサのうち１つの使用でも複数の使用でもかまわない。さらに、本発明は上述のセンサに限られるものではなく、相対距離及び相対角度を検出できるものであれば、どのようなセンサを用いてもかまわない。

ジャイロセンサ、地磁気センサによって、画像表示装置１Ｂの向きが検出され、加速度センサによって移動距離や角度（仰角・俯角）が検出される。さらに、車内に設けられた３つの測量点から、電波・超音波等によって画像表示装置１Ｂの位置を三点測量し、位置検出する方法などが採られる。具体的には、上記センサ類による位置検出と、三点測量による位置検出とを複合的に用いて、位置検出が行われる。この位置検出の演算は、センサ類が検出したデータに基づく演算及び三点測量による演算は、画像取得装置１Ａの中央処理装置１Ａで行われる。さらに、画像表示装置１Ｂの姿勢は、ＧＰＳや電波測量と同じように、画像表示装置１Ｂ側の３点の位置をそれぞれ検出することによっても、検出することができる。

Ａ/Ｄ変換器７１は、アナログ出力であるセンサ出力を中央処理装置１Ｂが扱
えるようにデジタルデータに変換する。なお、位置・角度検出装置７からの出力が予めデジタル出力の場合には、Ａ/Ｄ変換器７１は不要である。

本発明の表示手段である表示装置８は、受信した描画用画像データを表示する。表示装置８は、ディプレイ画面を備え、ディスプレイ画面は、例えば液晶パネルやＥＬパネル等が用いられる。Ｄ／Ａ変換器８１は、表示装置８がアナログ入力の場合、中央処理装置１Ｂが扱うデジタルデータをアナログデータに変換する。表示装置８がデジタル入力対応であれば不要となる。メモリ５Ｂは、センサデータや受信した画像データのバッファリングに用いられる。

以上のように構成された本発明の車外情報表示装置１の作用について、図４に示されているフローチャートに基づき説明する。
システムが起動すると、まず画像取込装置１Ａ及び画像表示装置１Ｂの初期化処理が行われる（ステップＳ１０１、Ｓ２０１）。システム起動は、イグニッションON、スイッチ操作等によって行われ、シフトポジションや車速に応じて動作するといった動作制限を設けても良い。或は、車両の方向を転換する予備動作として行われる動作を検出して、システムが起動する構成としてもよい。また、画像表示装置1Ｂを保持位置（接続部６２Ａ）から離脱させた場合に、即ち、接続
部６２Ａと接続部６２Ｂの接続が切り離された場合に、システム起動する構成としてもよい。

画像取込装置１Ａの初期化処理としては、カメラ電源のオンや明るさ・コントラスト設定等のカメラの初期化を行い、画像取込のための準備を行う。また、画像処理に必要となるパラメータを、メモリ５Ａに格納されたデフォルト値を読み出し、或はユーザー入力を促す等の方法で設定する。また、画像表示装置１Ｂの初期化処理としては、位置・角度検出のために用いるセンサ類の初期化が行われ、測定基準点である起点は、保持位置に設定される。

画像取込装置１Ａと画像表示装置１Ｂとの間で、通信回線の接続処理を行う（ステップＳ１０３、Ｓ２０３）。そして、回線が確立すると、画像取込装置１Ａ側では、各カメラから画像取込を開始する（ステップＳ１０５）。取込まれた画像データはメモリ５Ａに確保されたバッファ５１Ｆ、５１Ｒ、５１Ｌ、５１Ｂに随時格納される。また、画像表示装置１Ｂでは、位置・角度検出装置７により画像表示装置1Ｂの位置・角度の情報を取得する（ステップＳ２０５）。取得され
る値は、ディスプレイ画面の仰角又は俯角、画面の向き（車に対しての水平方向の回転角度）、移動距離等に関する値である。取得されたデータは、通信装置６１Ｂを介して、画像取込装置１Ａに送信される（ステップＳ２０７）。画像取込装置1Ａ側では、通信装置６１Ａを介して、画像表示装置１Ｂから送信されたセ
ンサデータを受信する（ステップＳ１０７）。受信するセンサデータには、ジャイロセンサによって検出されるディスプレイ画面の角度（仰角又は俯角）、及び画面回転角（車両に対しての水平方向の回転角度）に関するデータ、地磁気センサによってディスプレイ画面の方向（ディスプレイ画面に垂直な直線を水平面内に投影した線Ｌ１の向きに関するデータ、などがある。

供給されたデータに基づいて、画像抽出処理が行われる（ステップＳ１０９）。この画像抽出処理は、図６に示されているサブルーチンに基づき説明する。位置・角度検出装置７に基づき、３点測量により画像表示装置１Ｂの３次元位置を検出する（ステップＳ３０１）。画像表示装置１Ｂの３次元位置は、図５に示されているように、画像表示装置１Ｂの保持位置１０１を起点（Ｘ，Ｙ，Ｚ＝０，０，０）として、ステップＳ１０７で受信した画像表示装置1Ｂの位置・角度検
出装置７からの位置の情報、または三点測量等を用いて相対位置を算出することによって、位置特定される（Ｘ，Ｙ，Ｚ＝ｘ1，ｙ1，ｚ1）。このステップＳ３
０１によって位置検出手段が構成される。起点は、保持位置でなくとも良く、車内空間の４隅のいずれか、車内空間の中央、ハンドルの位置、運転手の視点位置、バックミラーの位置等、いずれでもよい。

また、画像表示装置１Ｂに設けられたジャイロセンサや加速度センサ、地磁気センサからの値に基づいて、画像表示装置1Ｂの姿勢が特定される（ステップＳ
３０２）。姿勢とは、画像表示装置1Ｂのディスプレイ画面の向いている方向で
あり、この姿勢の特定によって、ディスプレイ画面の仰角又は俯角（傾き）及び回転角が特定される。

ステップＳ３０１及びステップＳ３０２で決定された位置及び姿勢から視点位置を特定する（ステップＳ３０３）。この実施形態では、視点位置は、各座席毎に予め定められており、視点位置としての座標が画像処理情報メモリ５３に記憶されている。例えば、運転席１１１には、視点位置Ｅ1が予め座標（ｘｅ1，ｙｅ1，ｚｅ1）として記憶されている。助手席１１２には、視点位置Ｅ2が座標（ｘ
ｅ2，ｙｅ2，ｚｅ2）として、その他３人掛けの後部座席１１３には、視点位置
Ｅ３、Ｅ４、Ｅ５が、座席１１４には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ予め決められており、それぞれ固有の座標が記憶されている。そして、各視点位置に応じた領域が予め定められており、どの領域内に画像表示装置1Ｂが含まれて
いるかを判断し、その領域に対応した視点位置が決定される。

この領域は、各座席毎に設定され、座席の第１列目の背もたれよりも前方側の領域であって、運転席と助手席に対応した領域、この領域には、視点位置Ｅ１、Ｅ２がそれぞれ対応している。
第２列目の座席１１３の背もたれと、第１列目の座席１１１、１１２の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ３、Ｅ４、Ｅ５がそれぞれ対応している。
第３列目の座席１１４の背もたれと、第２列目の座席１１３の背もたれとの間に設けられた領域であって、乗車する人間が座る位置に応じて設けられた３つの領域には、視点位置Ｅ６、Ｅ７、Ｅ８がそれぞれ対応している。

そして、各領域の境目に画像表示装置1Ｂが位置する場合には、表示装置であ
るディスプレイ８が表示する側にある視点位置が選択される。このような作用を有するステップＳ３０３によって、視点位置特定手段が構成される。このように、画像表示装置1Ｂの位置と、姿勢が特定されると、視点位置が決定される。この実施形態では、運転席の運転手の視点位置Ｅ１となる。

視点位置の特定方法として、既述のように、予め座席位置に応じた視点位置の座標を決めておき、これを記憶しておく構成の他、位置特定された画像表示装置１Ｂのディスプレイ画面８の中心を通る垂直線（軸線）上に位置し、ディスプレイ画面８から所定の距離（例えば、３５〜５０ｃｍ程度の範囲内で予め定められた距離）離れて位置する点を視点位置と想定し、その位置の座標を算出する方法を摂ってもよい。さらに他の方法としては、ディスプレイ画面８が設けられている側において、画像表示装置１Ｂに最も近い視点位置を、８つの視点位置の中から選択する方法としてもよい。

以上のとおり、視点位置Ｅ１が特定されると、該視点位置Ｅ１と、ディスプレイの中央部とを結ぶ直線が特定され、この直線の延長線上において、視点位置Ｅ１からディスプレイ８へ向かう方向が、画像を取得する方向として特定される（ステップＳ３０４）。このステップＳ３０４によって方向検出手段が構成される。

次に、視点位置Ｅ１とディスプレイ８とを結ぶ直線を平面に投影した場合の直線Ｌ1と、車両の軸線（Ｙ軸）との成す角α（回転角）を算出する（ステップＳ
３０５）。ステップＳ３０２及びステップＳ３０５により本願発明の角度検出手段が構成される。

次に、角度αに基づき、抽出画像を抽出する画像を取り込むカメラを選択する（ステップＳ３０７）。このステップＳ３０７によって、選択手段が構成される。
角度αについては、図２に示されているように、カメラレンズの光軸の交差点を中心として、前方を0°後方を±180°、左方向をマイナス値、右方向をプラス値と設定する。そして、- 25°<α< 25°の場合には、前方カメラ３Ｆ、-160°<α<-25°の場合には、左側方カメラ３Ｌ、25°<α<160°の場合には、右側方カメラ３Ｒ、-160°<α<-180°の場合又は160°<α<180°の場合には、後方カメラ３Ｂを選択する。このように、切り出す画像の領域、車両の側面のカメラ３Ｒ、３Ｌで取得された画像がより広く、車両の前後のカメラ３Ｆ、３Ｂで取得された画像が狭く構成されている。車両に並走する自転車やオートバイを捕えるためには、側面のカメラの画像が有用であるからである。換言すると、側面のカメラ３Ｒ、３Ｌを原則として用い、これらのカメラで捕えられない領域、即ち、真正面、真後などの領域では、前方に設けられたカメラＦと後方に設けられたカメラＢを用いる。

この他、ステップＳ３０７によって構成さる選択手段の他の実施形態として、撮像方向に向けられたカメラレンズの光軸（ベクトル）と、特定された視点位置から画像表示装置１Ｂへ向かう延長線（ベクトル）との交差角度が、最も小さいカメラを選択する構成としてもよい。カメラの光軸と視線とが最も平行に近いカメラが選択されるので、視点変換された画像の歪みが抑制され、より鮮明な画像を得ることができる。このような選択方法は、魚眼レンズを有さないカメラを多数設け、これらのカメラ画像を繋ぎ合わせて画像を構成する場合に特に有用である。

さらに、その他の方法として、直線Ｌ１が、車体の側面の輪郭線と交差する場合には、側面に設けられたカメラ３Ｒ、３Ｌを選択し、車体の正面の輪郭と交差する場合には、正面のカメラ３Ｆを選択し、車体の背面の輪郭と交差する場合には、背面のカメラ３Ｂを選択する構成としてもよい。また、ステップＳ３０５によって検出された角度αではなく、車両に対するディスプレイの向いている方向のカメラを選択する構成としてもよい。

次に、選択されたカメラの魚眼画像内において、抽出する画像の抽出位置を決定する（ステップＳ３０９）。図７に示されているように、選択されたカメラ画像（魚眼画像Ｐｃ１）から、抽出画像Ｐｃ２を決定する。具体的には、カメラ選択に使用した角度αを魚眼画像Ｐｃ１の横方向の座標に変換する。魚眼画像の縦方向の座標については、画像表示装置の仰角または俯角に対応させる。例えば、α=-70°、センサの俯角データが-20°であれば、魚眼画像内の位置では、水平
方向20°（＝90°−70°）、垂直方向-20°となる。（ただし、魚眼画像の中心
を0°とし、中心から右・上方向を＋値、左・下方向を−値とした場合。）
このようにして抽出される画像の中心点Ｐ０が決定される（ステップＳ３０９）。そして、この中心点Ｐ０を中心とした抽出画像Ｐｃ２が抽出される（ステップＳ３１１）。このステップＳ３０１〜Ｓ３１１によって、画像抽出手段が構成される。

次に、抽出された画像の画像処理が行われる（ステップＳ１１１）。図８は、ステップＳ１１１の画像処理の内容を示すサブルーチンである。抽出画像Ｐｃ２に正像変換処理を行うことで、歪みを補正する（ステップＳ４０１）。次に視点変換処理（ステップＳ４０３）を行い、車体データを合成する画像合成処理（ステップＳ４０５）を行う。

ステップＳ３０３において決められた視点位置（図５においては、運転車の視点位置Ｅ1）が基準点とされる。この視点位置に基づき、ステップＳ４０１で処
理された画像を、アフィン変換により、カメラ視点の画像から決められた視点位置からの視点画像になるように画像処理する（ステップＳ４０３）。これにより、取得された画像が、特定された視点位置から見た場合の画像に変換される。このステップＳ４０３によって視点変換手段が構成される。

以上のように視点変換処理を行った後、画像合成処理を行う（ステップＳ４０５）。図９は、画像合成処理の内容を示すフローチャートである。車体データメモリ５４に格納されている車体輪郭データ、タイヤ設置位置データ等を読み出す（ステップＳ５０１）。これらのデータは、車体輪郭やタイヤなどを、画面に映し出す画像化するために必要なデータである。これらのデータを用いて、ステップＳ３０１〜３０９で得られた画像抽出方向のデータに基づき、ステップＳ３１１で抽出される画像と同じ視線方向の車体輪郭画像を生成する（ステップＳ５０３）。

車体輪郭画像とは、具体的には、例えば、車体の輪郭を示すワイヤーフレーム画像、或は、車体内部を映した半透明画像などがある。これらの画像は、車体全部を表している必要はなく、車体の一部であってもよい。車体と外部状況との位置関係が把握できる程度のものでよい。例えば、窓枠、車輪、テールランプ、ヘッドランプなどの内の１つ又は２つ以上のワイヤーフレーム（又は、半透明画像）でもよい。

生成された車体輪郭画像について、ステップＳ４０３で決定された視点位置に基づき、視点変換処理を行う（ステップＳ５０５）。変換方法は、ステップＳ４０３で行った変換方法と同様である。ステップＳ５０１〜Ｓ５０５によって、輪郭形成手段が構成される。

また、輪郭形成手段は、上記ワイヤーフレームの画像を各使用者毎(座席毎)に格納されていてもよく、その場合には、ステップＳ３０３にて特定された使用者（視点位置）に応じたワイヤーフレームを読み込み合成する。こうすることにより画像処理負荷を軽減することが可能である。

ステップＳ５０５で得られた車体輪郭画像を、視点変換処理（ステップＳ４０３）が終了した、車外画像に合成する（ステップＳ５０７）。このように合成された画像は、車体の輪郭が把握できるとともに、車体を透視して視認できる車外状況が同時に把握できる画像である。ステップＳ５０７によって、画像合成手段が構成される。

上記画像処理におけるステップＳ４０１〜Ｓ４０５は、必ずしも上記順番で行われる必要はなく、これらの３つの処理が行われるのであれば、処理の順番は、特に限定されない。例えば、視点変換、画像合成をした後、正像変換してもよく、最初又は最後に視点変換を行ってもよい。

以上のように生成された描画データを、通信装置６１Ａを介して、画像表示装置１Ｂへ送信する（ステップＳ１１３）。画像表示装置１Ｂでは、画像取込装置1Ａから送信された描画データを通信装置６１Ｂを介して受信する（ステップＳ
２０９）。受信した描画データをディスプレイ画面８に画像表示する（ステップＳ２１１）。このステップＳ２１１によって表示手段が構成される。図１１に示されているように、ディスプレイ画面８に表示された画像８２は、そのディスプレイ画面８を見ている使用者にとっては、その視線の延長線上にある車外画像に、車体の輪郭Ｂｄが重ねて表示されたものである。つまり、車体によって死角となっている車外の状況を把握することができ、かつ、車体との位置関係も把握することが容易となる。

その後、画像取込装置1Ａ及び画像表示装置1Ｂともに、終了トリガーが検出されたか判断する（ステップＳ１１５及びＳ２１３）。終了トリガーには、スイッチのＯＦＦ操作、イグニッションスイッチのＯＦＦ、シフトポジションや車速が予め定められた動作条件からはずれた場合、或は、画像表示装置１Ｂの保持位置（接続部６２Ａ）へのセット等がある。これらの動作があった場合には、画像取込装置1Ａと画像表示装置1Ｂとの通信は必要がなくなったものとして、通信装置６１Ａと通信装置６１Ｂと通信回線は絶たれる（ステップＳ１１７及びＳ２１５）。
終了トリガーが検出されない場合には、画像取込装置1Ａでは、ステップＳ１
０７へ、画像表示装置1Ｂでは、ステップＳ２０７へ、それぞれリターンされ、
画像表示動作が継続される。

既述のように、画像表示装置１Ｂは、保持位置に対して着脱自在に構成されている。そして、保持位置に固定された状態では、より鮮明な画像を画像表示面に表示することができるとともに、画像表示装置１Ｂのみを、他の装置の表示画面として用いることもできる。

画像取込装置の構成を示すブロック図である。 カメラ取り付け位置を示す、車両の平面図である。 画像表示装置の構成を示すブロック図である。 フローチャートである。 車内の座席配置を示す模式図である。 画像抽出処理の内容を示すフローチャートである。 魚眼レンズの画像図である。 画像処理の内容を示すフローチャートである。 画像合成処理の内容を示すフローチャートである。 表示画像図である。

符号の説明

１Ａ 画像取込装置
１Ｂ 画像表示装置
３Ｆ、３Ｒ、３Ｌ、３Ｂ カメラ
８ 表示装置（ディスプレイ）

Claims (9)

1. 車両の周囲を撮像する撮像手段と、
   画像表示面を有するディスプレイと、
   予め定められた起点と前記ディスプレイとの位置関係を検出する位置検出手段と、
   前記撮像手段によって撮像された画像から、前記位置検出手段により検出した位置関係に基づき、基準点からディスプレイ方向へ向かう線の延長線上に存在する車両周囲の画像を、抽出する画像抽出手段と、
   前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段と、を有することを特徴とする車外情報表示装置。
2. 前記基準点は、運転者の視点位置を仮想的に想定した位置であることを特徴とする請求項１に記載の車外情報表示装置。
3. 前記起点は、前記ディスプレイの保持位置であることを特徴とする請求項１又は２に記載の車外情報表示装置。
4. 車両の周囲を撮像する撮像手段と、
   画像表示面を有するディスプレイと、
   予め定められた起点に対する前記ディスプレイの位置関係を検出する位置検出手段と、
   前記位置検出手段によって検出された位置関係に基づき、前記ディスプレイを使用している使用者の視点位置を特定する視点位置特定手段と、
   前記視点位置特定手段によって特定された視点とディスプレイの位置から、視点から前記ディスプレイへ向かう方向を検出する方向検出手段と、
   前記撮像手段によって撮像された画像から、前記方向検出手段によって検出された方向に対応する車両周囲の画像を抽出する画像抽出手段と、
   前記画像抽出手段に基づいて抽出された画像を前記ディスプレイに表示する表示手段とを有することを特徴とする車外情報表示装置。
5. 前記視点位置から、位置特定された前記ディスプレイの位置する方向を視認した場合の画像に、前記画像抽出手段によって抽出した画像を視点変換処理する視点変換手段とを有する請求項２又は４に記載の車外情報表示装置。
6. 車両内における前記ディスプレイ表示面の傾き及び回転角を検出する角度検出手段と、を備え、
   前記画像抽出手段は、さらに、前記角度検出手段により検出された角度に基づき抽出することを特徴とする請求項１又は請求項４に記載の車外情報表示装置。
7. 車両の輪郭を記憶する車両情報記憶手段と、
   前記車両情報記憶手段に記憶されている車両の輪郭情報に基づき、視点位置から視認した場合の車両輪郭を形成する輪郭形成手段と、
   前記輪郭形成手段によって形成された車両の輪郭を前記表示手段に表示される画像に合成する画像合成手段とを有する請求項１〜６のいずれか１に記載の車外情報表示装置。
8. 前記撮像手段は、異なる方向へ向けて複数設けられており、 視点位置から前記ディスプレイの位置へ向かう線と、撮像手段の光軸との成す角度が最も小さい方向の撮像手段を、前記複数の撮像手段から1つ選択する選択
   手段を有し、
   前記画像抽出手段は、該選択された撮像手段が取得した画像から画像を抽出する請求項１〜７のいずれか１に記載の車外情報表示装置。
9. 車両の周囲を撮像する撮像手段と、
   画像表示面を有するディスプレイと、
   前記画像表示面の傾き及び回転角を検出する角度検出手段と、
   前記角度検出手段により検出した画像表示面の傾き及び回転角に基づき、前記撮像手段によって撮像された画像から、この画像表示面の裏面に対向する画像を抽出する画像抽出手段と、
   前記画像抽出手段に基づいて抽出された画像を前記表示手段に表示する表示手段とを有することを特徴とする車外情報表示装置。

Images