JP3960153B2

JP3960153B2 - 車両周辺監視装置

Info

Publication number: JP3960153B2
Application number: JP2002207358A
Authority: JP
Inventors: 和久松本
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-07-16
Filing date: 2002-07-16
Publication date: 2007-08-15
Anticipated expiration: 2022-07-16
Also published as: JP2004056219A

Description

【０００１】
【発明の属する技術分野】
本発明は、運転者から見えにくい車両周辺の状況を車内の表示装置に表示する車両周辺監視装置に関するものである。
【０００２】
【従来の技術】
従来から車両後方にカメラを設置して、運転者から見えにくい後方の画像を車内のモニタ画面に表示する各種の車両後方監視システムが知られている。例えば、特開平７−２３９９９９号公報に開示された車両後方監視装置は、シフトレバーをバック位置に操作したときに、ディスプレイの表示を車両後方の画像に切り替え、しかも記憶しておいたマーキングポイントを目印にして車両を後退させることができる。
【０００３】
【発明が解決しようとする課題】
ところで、上述した車両後方監視装置においては、マーキングポイントは、全て地面上の車体後端位置から後方の所定距離に対する目安である。車両後方の他の車両のバンパー部など地面から離れて存在する、つまり地上高のある部位を目標に車両を接近させる場合は、画像のマーキングポイントが目標の部位を実際より遠くにあると錯覚させてしまうため、適切な判断を得られない可能性がある。したがって本発明の目的は、上記の問題に鑑み、地上高のある目標に対する適切な距離目安となるマーキングポイントを表示できる車両周辺監視装置を提供することである。
【０００４】
【課題を解決するための手段】
このため、本発明は、車両周囲を撮影する撮像手段と、３次元座標における車両を基準にした水平方向に所定位置でかつ所定地上高を有する地上高マーカ位置を前記撮像手段から見た撮像面座標上に設定する演算手段と、前記撮像面座標上の地上高マーカ位置に、地上高マーカ画像を生成するマーカ発生器と、前記撮像手段で撮像した画像とマーカ発生器で生成した画像とを重ね合わせて出力するスーパーインポーザと、該スーパーインポーザの出力を表示する表示手段とを有し、前記所定位置が車体側面、サイドドアを全開したときの該サイドドアの先端に対応する位置、またはバックドアを全開したときの該バックドアの先端に対応する位置であるものとした。
【０００５】
【発明の効果】
本発明では、３次元座標において車両を基準にした水平方向に所定位置でかつ所定地上高を有する地上高マーカ位置を撮像手段から見た２次元の撮像面座標に座標変換し、地上高のあるマーカとして表示するので、運転者が表示手段の画像の地上高を有する目標を見て車両を運転するときに、目標の地上高と対応する高さの地上高マーカとの位置を直接比較することで容易に距離が把握できる。
【０００６】
【発明の実施の形態】
以下本発明の実施の形態を図面に基づいて実施例により説明する。
図１は車両後方をカメラ装置で映して、その画像を車内に設置されたディスプレイに表示する第１の実施例の構成を示すブロック図である。なお、図１には主要部品の設置位置を示すため、車体イメージを破線で示している。
本実施例では、ナビゲーション装置１８およびＴＶチューナ１７と共用するディスプレイ２として例えば液晶表示装置が、インストルメントパネルなど車室内前部に配置されている。
車両２０の後部で中段から上方の略中央に、カメラ装置１が設置されている。カメラ装置１は図示しないレンズを車体後方地面を撮影可能に斜め下方に向けてあり、カメラ装置１の図示しないケースの撮影窓にはガラスまたは透明樹脂のシールドを設けてカメラ装置１を保護し、レンズに水滴や汚れが付着しないようにしてある。カメラ装置１は、図示しない撮像面に例えばＣＣＤ素子を使用する。カメラ装置１はスーパーインポーザ１３に接続される。
【０００７】
車両のステアリング２３に設けられ操舵角を検出する操舵角センサ７が演算部１１に接続され、演算部１１はマーカ発生器１２を制御する。演算部１１にはその制御用にロータリ型、押しボタン型またはタッチパネル型の操作スイッチ６と、データ入力のための数字キーボードのデータ入力部８が接続されている。
マーカ発生器１２はスーパーインポーザ１３に接続され、スーパーインポーザ１３はカメラ装置１からのカメラ画像とマーカ発生器１２からのマーカの画像とを重ね合わせて監視画像とする。
上記、演算部１１、マーカ発生器１２、スーパーインポーザ１３は、モニタコントロールユニット（以後「ＭＣＵ」と称する）４として、マイクロコンピュータを用いて構成される。
【０００８】
演算部１１に接続された操作スイッチ６には、ＭＣＵ４の電源のオン／オフ機能の他に、マーカデータ入力モード選択機能がある。このマーカデータ入力モード選択状態で、カメラ装置１を車両に設置したときに、データ入力部８のキーボードから、マーカ発生器１２で発生させる各種のマーカの３次元座標データおよびカメラ装置１の後述する位置（０，０，ｚ_０）、光軸ピッチ角θ_Ｐ、ヨー角θ_Ｙおよびカメラの焦点距離ｆなどを入力する。
演算部１１は後述のように座標変換計算をしてマーカ画像化データを内部メモリ１９に記憶する。
マーカ発生器１２は演算部１１からの制御指令により指定のマーカを発生させるため、内部メモリ１９からマーカ画像化データを読み出し、具体的なマーカ画像を発生させる。
【０００９】
ナビゲーション装置１８において、ディスプレイ２に接続された映像切換器３に、スーパーインポーザ１３、ナビゲーションモジュール１６およびＴＶチューナ１７が接続され、映像切換器３はスーパーインポーザ１３からの画像信号Ｓ１と、ナビゲーションモジュール１６からのナビゲーション情報や画像信号Ｓ２またはＴＶチューナ１７からの画像信号Ｓ３から１を選択してディスプレイ２に送出する。すなわち、ディスプレイ２はスーパーインポーザ１３からの画像を表示するとき車両周辺監視装置の表示手段となり、ナビゲーションモジュール１６からの画像などを表示するときナビゲーション装置１８の表示手段となり、ＴＶチューナ１７からの画像を表示するときＴＶの表示手段となる。
映像切換器３には、その制御用にロータリ型、押しボタン型またはタッチパネル型の操作スイッチ１５と変速機の後進段を検出するギアシフトポジションセンサ５が接続されている。
【００１０】
カメラ装置１の撮影画像による車両後方監視の作用を説明する。ここでカメラ装置１はレンズ収差などの影響はなくディスプレイ２の表示画面ではレンズからの距離に関係なく明瞭な画像が表示されているものとして説明する。
ギアシフトポジションセンサ５が変速ギアの後進段を検出した時、ナビゲーション装置１８の映像切換器３は、操作スイッチ１５によってナビゲーション情報、画像またはＴＶ画像が選ばれていようと、スーパーインポーザ１３からの画像に切換える。
ＭＣＵ４のマーカ発生器１２は内部メモリ１９のマーカ画像化データから地面上のマーカとして図２のような車体後方への車両２０の左右後端の直延長線である延長線３０と、操舵角センサ７からの信号に応じて、可変の左右後端の予想進路線３１と予想進路線３１を左右間で結ぶ距離目安線３２を生成する。さらに、マーカ発生器１２は前記３つの地面上の延長線３０、予想進路線３１、距離目安線３２に対して、地面から所定の高さ位置に対応する延長線４０、予想進路線４１、左右の予想進路線４１を結ぶ距離目安線４２、予想進路線３１と４１を垂直に結ぶ高さ補助線４３を生成する。これらのマーカが描かれたマーカ画像をスーパーインポーザ１３に送る。
【００１１】
ここでマーカ発生器１２は、予め設定され固定されたマーカ、例えば延長線３０については内部メモリ１９に記憶したマーカ画像化データをそのまま使用する。しかし、例えば操舵角センサ７の信号に応じて表示される予想進路線３１、４１と距離目安線３２、４２および高さ補助線４３については、後述するように演算部１１で予めカメラ設置時に離散的な操舵角に対応するマーカ画像化データを計算して内部メモリ１９に記憶しておく。マーカ発生器１２は車両運転時の実際の操舵角に応じて、予め記憶された最寄りの操舵角のマーカ画像化データを内部メモリ１９から読み出し、内挿、外挿計算をしてマーカ画像を発生する。
【００１２】
本実施例における、マーカ画像化対象の３次元座標からディスプレイ２に表示されるときの２次元の撮像画面座標への変換の方法についてさらに詳細に説明する。これらの座標変換計算は前述のように操作スイッチ６によりＭＣＵ４をデータ入力モードに切り替え、データ入力部８のキーボードを使用して、演算部１１において行われる。先ず地面上のマーカベース位置を設定する場合を説明する。図３に示すような、車両を真上から見た平面で説明する。ここで、マーカ画像化されるマーカは３種類あり、車両幅で後方へ直延長した延長線５０、車両が後進する時の左右後端の予想進路線５１、車両後端からの所定距離例えば１ｍ、２ｍ、３ｍの位置の目安となる距離目安線５２である。
【００１３】
予想進路線５１および距離目安線５２は操舵角に応じて形状、位置が変化するものであり、以下の要領で求める。
いま操舵角をθ_Ｓ、ホィールベースをＬ_Ｈ、ステアリングギア比をｎとすると、左右後輪の中間点における旋回半径Ｒは次式で与えられる。ここで、右旋回のときθ_Ｓは正とする。
Ｒ＝Ｌ_Ｈ／ｔａｎ（θ_Ｓ／ｎ） …（１）
なお、旋回時にはタイヤの横滑りによる影響が車速の２乗で発生するが、本車両周辺監視装置が使用されるのは約１０ｋｍ／ｈ以下の低速であるため、この影響は無視できる。またＲが正のときは右旋回、負のときは左旋回とする。よってリアトレッドをＷとすると、左後輪位置の旋回半径Ｒ_Ｌ、右後輪位置の旋回半径Ｒ_Ｒは以下の式で与えられる。
Ｒ_Ｌ＝Ｌ_Ｈ／ｔａｎ（θ_Ｓ／ｎ）＋Ｗ／２ …（２）
Ｒ_Ｒ＝Ｌ_Ｈ／ｔａｎ（θ_Ｓ／ｎ）−Ｗ／２ …（３）
次に予想進路線５１の短半径側（図３の場合は左後輪側）の車両後端から予想進路線の周長が１ｍ、２ｍ、３ｍのところに距離目安線５２を左右の予想進路線５１同士を結ぶ法線とし設定する。車両が真後ろへ後進するときは、延長線５０と予想進路線５１は重なり、距離目安線５２は車体左右方向に平行で車両後端から１ｍ、２ｍ、３ｍの所に左右の予想進路線５１を結ぶように設定する。
図３および式（２）、（３）では車輪幅で延長線５０、予想進路線５１を説明しているが、マーカ画像化するときはＷを車両後部の車両幅として座標設定する。
【００１４】
次にこれらの線で構成されたマーカ画像化対象をカメラ画像に重畳する地面上のマーカとするために、カメラ装置位置から見た画面に変換する。即ちカメラ装置直下の地面を原点とした３次元座標から撮像面座標に変換する。その方法を図４、図５を用いて説明する。
図４は、車両後部中段から上の略車両左右中心に固定したカメラ装置１の直下の地面位置を原点とする３次元座標（ｘ，ｙ，ｚ）とカメラ座標（ｘ’，ｙ’，ｚ’）の関係を示す。３次元座標のＸ軸は助手席側が正、Ｙ軸は後進方向が正、Ｚ軸は地面より上方を正とする。ここでカメラ装置の位置であるが、レンズ位置を３次元座標で（０，０，ｚ_０）とし、カメラレンズの光軸はＸ’軸回りのピッチ角θ_Ｐ（上側を正）であり、Ｚ軸回りのヨー角および光軸周りのロール角を０度とする。カメラ座標（ｘ’，ｙ’，ｚ’）はカメラレンズの中心を原点とし、ｙ’軸はカメラ光軸で後方撮影方向を正とする。
この時、３次元座標からカメラ座標への座標変換の行列式は次のとおりである。
【数１】

【００１５】
図５にカメラ座標（ｘ’，ｙ’，ｚ’）と２次元の撮像面座標の関係を示す。撮像面座標（ｘ”，ｚ”）はカメラ装置のＣＣＤ素子撮像面の中心を原点Ｏ”とし、水平方向をｘ”軸、垂直方向をｚ”軸とする。カメラ座標から撮像面座標への座標変換はカメラ装置の焦点距離をｆとすると次式で表される。
ｘ”＝ｆｘ’／ｙ’ …（５）
ｚ”＝ｆｚ’／ｙ’ …（６）
そこで図４の３次元座標におけるマーカ画像化対象である例えば距離目安線５２’の一端の座標を（ｘ_Ｍ，ｙ_Ｍ，ｚ_Ｍ）とすると、（４）式から（６）式により撮像画面座標に変換され、次式で表される。
ｘ_Ｍ”＝ｆｘ／（ｙ_Ｍｃｏｓθ_Ｐ−ｚ_Ｍｓｉｎθ_Ｐ） …（７）
ｚ_Ｍ”＝ｆ（ｙ_Ｍｓｉｎθ_Ｐ−（ｚ_Ｍ−ｚ_０）ｃｏｓθ_Ｐ）／（ｙ_Ｍｃｏｓθ_Ｐ−ｚ_Ｍｓｉｎθ_Ｐ） …（８）
（７）式および（８）式において、ｚ_Ｍ＝０とした場合がマーカ画像化対象が地面上のマーカベースの撮像画面座標である。図３に示した延長線５０、予想進路線５１、距離目安線５２は撮像画面座標に変換され、これらのマーカは図６に示すようにディスプレイ２上に延長線３０、予想進路線３１、距離目安線３２として表示される。
同様にして延長線５０、予想進路線５１、距離目安線５２のような地面上のマーカベース位置を任意の地上高位置に垂直に平行移動しｚ＝ｚ_Ｍ（ｚ_Ｍ＞０）に設定した延長線５０’、予想進路線５１’、距離目安線５２’についても、撮像画面座標に変換でき、それを先の図２のように延長線４０、予想進路線４１、距離目安線４２とする。さらに、図２で示すように距離目安線３２、４２を高さ補助線４３で結ぶ。
【００１６】
上記マーカのうち予想進路線３１、４１、距離目安線３２、４２、高さ補助線４３は後進時の旋回半径に応じて可変である。そこで、車両後進時の操舵角の変化ごとにこれらのマーカ画像をその都度座標変換計算しているとマーカ画像の表示が遅れるので、演算部１１で予めテーブルルックアップ方式マーカ画像化データまたは操舵角をパラメータとした相関式の係数の形のマーカ画像化データとして計算して内部メモリ１９に記憶しておく。マーカ発生器１２は演算部１１からの操舵角情報に応じて、内部メモリ１９に記憶されたマーカ画像化データから適切なデータを読み出し、計算を行いリアルタイムの操舵角に対応するマーカ画像を発生する。
【００１７】
すなわち、操舵角を左一杯、直進、右一杯を含めて離散的に複数選び、離散的な操舵角ごとに予想進路線３１、４１、距離目安線３２、４２、高さ補助線４３を計算してマーカ画像化データとして、例えば１つのマーカに対して各直線部の起点、折れ点と終点の撮像面座標として記憶しておく。マーカ発生器１２は車両運転時の実際の操舵角に応じて、最寄りの予め計算された離散的な操舵角のマーカ画像化データを内部メモリ１９から読み出し、マーカ発生器１２で実際の操舵角に応じた位置のマーカ画像とするため内挿、外挿計算をしてマーカ画像を発生する。
【００１８】
先の図２は、これまで説明したマーカ発生の要領にしたがってカメラ装置１の画像にマーカ画像を重畳したディスプレイ２に表示される画像を示す。図２は地面上のマーカおよび地上高のあるマーカの両方を表示した例であり、この図では操舵角は０度であり延長線３０と予想進路線３１が重なっており、また延長線４０と予想進路線４１も重なっている。
ここで、地面上に対応するマーカとしての延長線３０、予想進路線３１、距離目安線３２と、地上高のあるマーカとしての延長線４０、予想進路線４１、距離目安線４２を異なる色で表示する。また、高さ補助線４３はこれらと異なる色で表示する。
さらに、マーカ画像に遠近感をつけるため、カメラ座標の原点に近いマーカの部位ほど太く、遠いマーカ部位ほど細く表示することにより、全体としてマーカ画像を遠近感、立体感のあるものとする。
【００１９】
上記第１の実施例において、カメラ装置１は本発明における撮像手段に、演算部１１は演算手段に、ディスプレイ２は表示手段に対応する。
【００２０】
次に本実施例における作用について説明する。図７は車両２０が後方に停止している他の車両２２に対して、後方に直進接近し、バックドア２１を開放できる距離を確保して駐車したい場合の比較説明図である。図中、車両２０のバックドア２１を開いた状態を破線で示している。図７の（ａ）は、地面上に対応するマーカのみ画面表示される場合を示す。距離Ｌ_Ｂはバックドア開放に必要な他車との距離を示す。Ａは車両２０後端から距離Ｌ_Ｂ後方の地面上のマーカである距離目安線３２の示す実際の位置を示し、Ｃは後進時に運転者が目標としている他の車両のバンパー位置を示す。ディスプレイ画面表示上で、距離目安線３２が目標Ｃの画像部位と重なるまで後進すると、実際には位置Ａは目標Ｃを通り過ぎ目標Ｃの下にもぐりこんでおり，距離Ｌ_Ｂを確保出来ていない。
【００２１】
これに対し図７の（ｂ）は地面上に対応するマーカおよび地上高のあるマーカの両方が画面表示される場合を示す。Ｂは車両２０後端から距離Ｌ_Ｂ後方の他の車両２２のバンパー高さＨ_Ｂに対応するマーカである、距離目安線４２の示す実際の位置を示す。ディスプレイ画面表示上で、目標Ｃの画像部位と距離目安線４２が重なった時に、位置Ｂは目標Ｃと同じ位置にあり、距離Ｌ_Ｂが確保できている。
【００２２】
本実施例によれば、地上高のあるマーカが地面上に対応するマーカとは別に表示されているので、地面からの高さのある目標に対して、２次元のディスプレイ画面上で相対距離を把握しやすい。特に、図２の例では、鉛直マーカである高さ補助線４３を距離目安線３２、４２の両端を結ぶように追加したので、マーカ画像が立体的に認識しやすくなっている。
さらに、距離目安線３２、４２を車両後部からの単位距離例えば１ｍごとに表示することによって、地上高のある目標部位との水平距離が後進運転中に認識しやすくなる。
【００２３】
図７および図２は、車両を後方に直進させるときの例であるが、図３のように後進しながらハンドルを切り他の車両を避ける場合にも、同様の効果がある。すなわち、予想進路線３１、４１と距離目安線３２、４２および高さ補助線４３が表示され、予想進路線４１は目標としている後方車両のバンパー高さと同じ高さを示し、かつ車両２０の後部車体の左右外側線を示しているので、この予想進路線４１が後方車両のバンパーより手前側に表示されていれば、この後方車両を避けて通過できることが把握できる。
【００２４】
一方、地上高のある目標、例えば他の車両のバンパー高さＨ_Ｂは車型によって異なる。これに対応するため、変形例として高さｚ_Ｍを運転者が可変に設定できるようにすることができる。
高さｚ_Ｍを運転者が可変に設定するため、ＭＣＵ４に接続された操作スイッチ６のマーカデータ入力モードを選択し、データ入力部８から予め複数の高さ設定データを入力し、演算部１１で予め個々の高さごとの地上高のあるマーカ（延長線４０、予想進路線４１、距離目安線４２、高さ補助線４３）のマーカ画像化データを計算し内部メモリ１９に記憶させる。操作スイッチ６にマーカ地上高選択機能をもたせ、例えばロータリ型選択スイッチのそれぞれの地上高選択位置に対応して記憶しておく。例えば（１）大型トラック用、（２）小型トラック・ＳＵＶ用、（３）乗用車用と３段階の設定ができるようにし、各々地上高が０．６ｍ、０．５ｍ、０．４ｍとすると、ほとんどの車両に対して対応できる。
通常使用時、運転者は操作スイッチ６のロータリ型選択スイッチを操作して所定のマーカ地上高を選択することにより、演算部１１はマーカ発生器１２に選択されたマーカ高さのデータを出力する。
これにより、目標とする他の車両の部位の地上高に応じた適切なマーカがディスプレイに表示され、地上高のある目標に対する、より正確な距離が把握できる。
【００２５】
また、高さｚ_Ｍの設定を運転者が可変に設定することもできる。
この場合、マーカの地上高を複数予め設定する前述の変形例に従い、延長線４０、予想進路線４１、距離目安線４２、高さ補助線４３を予め設定した地上高ごとに、前述のような操作で演算部１１で計算し、操作スイッチ６のロータリ型選択スイッチのマーカ高さごとに対応してマーカ画像データとして記憶しておいたものを利用する。操作スイッチ６のロータリ型選択スイッチにマーカ高さとして前述の（１）、（２）、（３）の位置に加えて、（４）「高さ入力」の選択位置を用意し、データ入力部８からマーカ地上高ｚ_Ｍを入力できるようにする。マーカ発生器１２は運転手が入力した地上高ｚ_Ｍに最寄りのマーカ画像化データを、内部メモリ１９から読み出し、目的の地上高のマーカ画像化データに内挿、外挿計算してマーカ画像を発生する。
これにより、運転者がディスプレイ２の画像中の目標対象としたいものが任意の地上高を有している場合に、より正確な地上高のマーカを発生できて、ディスプレイ画面上での距離把握がしやすくなる。
【００２６】
次に、第２の実施例について説明する。
本実施例では図１および図８に示すように、超音波センサを用いた物体検出器９を、後部バンパーのコーナ付近に配置してある。この物体検出器９はある程度の広がりをもって後方に音波を放射し、後方障害物からの反射信号を受信する。物体検出器９の受信信号は演算部１１に送られる。演算部１１は、物体検出器９の受信信号に対し所定の閾値を設けて、閾値より高い受信信号がないときは、車両２０の後方には障害物がないと判断する。演算部１１は、判断結果をマーカ発生器１２に送り地上高のあるマーカを発生させず延長線３０、予想進路線３１、距離目安線３２だけをカメラ装置１の撮影画像に重畳して表示する。
逆に、物体検出器９の受信信号によって、演算部１１が閾値より高い応答があると判断したときは、地上高のあるマーカ（延長線４０、予想進路線４１、距離目安線４２、高さ補助線４３）の内少なくとも予想進路線４１、距離目安線４２は延長線３０、予想進路線３１、距離目安線３２と共にマーカ発生させる。その他の構成は第１の実施例と同じである。
ここで、超音波センサの代わりに、超短波センサを用いてもよい。
本実施例では物体検出器９が本発明の物体検出手段に対応する。
【００２７】
第２の実施例によれば、車両２０の後方に物体が存在せず地面上の目標物を頼って後進する場合、地面上のマーカのみが表示され、地上高のあるマーカは表示されないので後方監視画像が見やすい。また、後方に物体がある場合のみ地上高のあるマーカも自動的に表示され後方監視画像が見やすくなる。
【００２８】
第３の実施例を説明する。この実施例では、第２の実施例における物体検出器９の代わりに測距センサ９’を演算部１１に接続してある。
図９に示すように後方監視用のカメラ装置１と同一場所に例えばレーザーレーダまたはフェーズドアレイレーダのようなビーム状に電磁波を放射して反射波を受信する測距センサ９’を設置する。測距センサ９’の受信信号は演算部１１に送られる。測距センサ９’はカメラ装置１の水平視野範囲内で、水平方向に例えば中央後方を含む右後方２方向、左後方２方向の計５方位を設定し、カメラ装置１の垂直視野範囲と略同等で車両２０の車体を含まない範囲でビーム２８を縦方向に走査し、一番左側後方から順次右後方へ選択方位を切換えて縦方向の走査を繰り返す。
【００２９】
演算部１１は、後方各方位の縦方向走査に対して、測距センサ９’の受信信号が連続的な距離の変化を示し、所定の閾値を越える距離のジャンプがない場合は、図９に示すような地面からのみの応答、または図１０に示すような地面から立ち上がった壁２９のような構造物と判断する。その場合、演算部１１は延長線３０、予想進路線３１、距離目安線３２だけをカメラ装置１からの画像に重畳して表示するようにマーカ発生器１２を制御する。
【００３０】
一方、後方に他の車両２２が存在する場合は、図１１に示すように後方各方位の縦方向走査の少なくとも１つで、測距センサ９’の受信信号において所定の閾値を越えた距離のジャンプを示す。例えばバンパーの下端を境として上側のビーム２８ａと下側のビーム２８ｂは、測距センサ９’の受信信号に対応する距離が不連続なジャンプをする。これにより車両２０の後方に地面から離れて高さを有する物体が存在することを検知できる。この時、演算部１１は測距センサ９’からの受信信号に対応する距離のジャンプを生じたときの縦方向走査時のビーム角度から図１１中の角度θを求め、距離のジャンプ量Ｌ_ＪとからＬ_Ｊｓｉｎθを計算すればバンパー高さＨ_Ｂが求まる。この結果に基づき、演算部１１は表示すべき地上高のあるマーカ設定高さＨ_Ｂをマーカ発生器１２に指令し、マーカ発生器１２はＨ_Ｂに応じて自動的にマーカ（延長線４０、予想進路線４１、距離目安線４２、高さ補助線４３）を前述の第１の実施例の変形例の場合と同様に内部メモリ１９に記憶されたマーカ画像化データから内挿、外挿により発生させる。
この時、延長線４０、予想進路線４１、距離目安線４２のみを表示し、このマーカが地上高のあるマーカであることを示すために地面上のマーカとは異なる色で表示する。
本実施例では測距センサ９’が本発明の距離検出手段に対応する。
【００３１】
第３の実施例によれば、ディスプレイ２に車両２０の後方に、距離センサ９’の受信信号から距離のジャンプが検出される、すなわち地上高のある障害物がある場合だけ、地上高のあるマーカだけを表示する。後方に障害物がないか距離のジャンプを生じるような障害物がない場合は地面上のマーカだけを表示する。
その結果、自動的にマーカ表示を切換えて見やすくすることができる。さらに、地上高のあるマーカ表示のとき、測定した障害物の高さに応じた地上高マーカとなるので、距離把握が正確にできる。
【００３２】
本実施例では、地上高のある障害物がある場合、地上高のあるマーカだけを表示するとしているが、第２の実施例のように、地上高のあるマーカ（延長線４０、予想進路線４１、距離目安線４２）の内少なくとも予想進路線４１、距離目安線４２と地面上のマーカ（延長線３０、予想進路線３１、距離目安線３２）および高さ補助線４３を共にマーカ発生させて、地面上のマーカとは色を変えてもよい。
【００３３】
第４の実施例として左前方監視について説明する。以下に構成作用は第１の実施例と異なる点のみを説明する。ここでは、右ハンドル車において、運転席から見にくい左前方を撮影するものとする。
カメラ装置１は図１に示した第１の実施例の車体後部の代りに、左ドア２５ａに取り付けられたミラー２４ａのケース内に装着されている。カメラ装置１は図示しないレンズを車体左の前輪周辺部を含む前方を撮影可能に向けてあり、ドアミラーケースの図示しない撮影窓にはガラスまたは透明樹脂のシールドを設けてカメラ装置１を保護し、レンズに水滴や汚れが付着しないようにしてある。演算部１１はマーカ発生器１２を制御して、左前方監視用マーカを発生させる。
【００３４】
図１２は本実施例によるマーカ画像化対象を示す。
マーカ画像化対象の第１は車両２０の左車体側端線５４で、ドアミラー２４ａの左先端から鉛直に下ろした地面上の位置を通り、車体前後方向と平行に引いた直線であり、この直線の前端は車両先端から余裕代としてさらに例えば１０ｃｍ前方に伸ばした位置としてある。
さらに第２のマーカ画像化対象の線は、この左車体側端線５４の前端から、右側に直角に短い直線を引きこれを左角車体先端線５５と呼ぶ。
第３のマーカ画像化対象は左停車余地ガイド線５６で、左側サイドドア全開時の先端から鉛直に下ろした地面上の位置を通り、車体前後方向と平行に前方に引いた直線である。
【００３５】
これらの３次元座標の原点はカメラ装置１の鉛直下の地面であり，カメラ装置１のレンズ位置を３次元座標で（０，０，ｚ_０）とし、３次元座標のＸ軸は運転席側が正、Ｙ軸は前進方向が正、Ｚ軸は地面より上方を正とする。カメラレンズの光軸は（０，０，ｚ_０）の位置にありＸ’軸回りのピッチ角θ_Ｐ（上側を正）であり、Ｚ軸回りのヨー角θ_Ｙ（右側を正）で、カメラは光軸周りのロール角を０度とする。ここで、カメラ装置１は車体前方方向よりやや右側に向いており，車両２０の左先端部を映すのに適するように固定されている。カメラ座標（ｘ’，ｙ’，ｚ’）はカメラレンズの中心を原点とし、前輪近傍が原点位置に来るようにカメラ装置１の光軸のピッチ角とヨー角を設定し、ｙ’軸はカメラ光軸で前方撮影方向を正とする。
【００３６】
カメラにヨー角θ_Ｙがかかっているので、その点式（４）の行列Ｔが異なるが、３次元座標からカメラの撮像面座標に変換する方法は基本的に第１の実施例と同じである。
こうして、第１の実施例と同様に演算部１１において、地面上に対応したマーカおよび地上高のあるマーカのマーカ画像化データを予め計算し、内部メモリ１９に記憶する。演算部１１の制御によってマーカ発生器１２が内部メモリ１９からデータを読み出し、マーカを生成する。
【００３７】
図１４は、図１３に示すように縦列駐車した状態から前方に停車している車両の後部をかすめて右側に出ようとする場合のマーカ例を示す。すなわち、ディスプレイには図１２に示した地面上の左車体側端線５４に対応する左車体側端線３４、左角車体先端線５５に対応する左角車体先端線３５、左停車余地ガイド線５６に対応する左停車余地ガイド線３６と、それらの線と平行に所定の高さＨ_Ｂ位置に垂直に移動したそれぞれの線に対応するマーカ（左車体側端線４４、左角車体先端線４５、左停車余地ガイド線４６）が表示される。さらに立体的に見やすいように左車体側端線３４と４４をおよび左停車余地ガイド線３６と４６をそれぞれ高さ補助線４７で結んでいる。
【００３８】
図１３においてＡ’はディスプレイ上の左角車体先端線３５に対応する実際の位置を示し、Ｂ’は左角車体先端線４５に対応する実際の位置を示す。前方に停車している他の車両２２のバンパーの高さ位置Ｈ_Ｂに対応した左角車体先端線４５のマーカがディスプレイ画面上で、前方の他の車両２２のバンパーより下にあれば、車両２２の後方をクリアできると判断できる。
【００３９】
本実施例は以上のように、２次元画面のディスプレイ上で、目標物と同じ地上高のあるマーカを表示しているので、画面上で目標との相対位置が容易に把握できる。
【００４０】
また、左停車余地ガイド線３６、４６を参照して左側に車体を寄せれば、左側の地上高のある物体（例えば他の車両）との間隔を、サイドドア２５ａ全開の余地を残して、最低限の距離で駐停車が可能となる。
【００４１】
地上高のあるマーカの高さ設定については、第１の実施例の２つの変形例と同様に予め設定した地上高からの選択、または任意の地上高入力も可能である。
その場合、地上高のあるマーカの高さ設定を選択可能または任意の数値入力可能とすることによって、より一層、ディスプレイ画面で精度の高い目標との距離把握ができる。
【００４２】
なお、本発明の第１の実施例から第３の実施例のいずれかと、第４の実施例とを組み合わせることもできる。
その場合、図１においてギアシフトポジションセンサ５は映像切換器３だけでなく、演算部１１にも接続され、変速ギア後進段を検知したとき、マーカ発生器１２に後方監視用のマーカを発生するように制御させ、カメラ画像を後方監視用カメラ装置からのものに切換える。また、後方監視用のカメラ装置と左前方監視用のカメラ装置の画像も切換えてスーパーインポーザ１３に送られる。さらには、演算部１１に接続された操作スイッチ６を用いて後方監視／左前方監視を切換え、演算部１１を介してカメラ装置の画像を切換えることができる。
これによって，本発明の後方監視と左前方監視を必要に応じて切換使用できる車両周辺監視装置が実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の全体構成を示す図である。
【図２】車両後方画像にマーカを重ね合わせた監視画像を示す図である。
【図３】後輪の予測通過軌跡の算出要領を示す説明図である。
【図４】３次元座標とカメラ座標の関係の説明図である。
【図５】カメラ座標と撮像面座標の関係の説明図である。
【図６】マーカ発生器で生成する地面上のマーカ画像例を示す説明図である。
【図７】第１の実施例の作用を示す比較説明図である。
【図８】第２の実施例を示す説明図である。
【図９】第３の実施例において、測距センサの地面からの反射信号を示す図である。
【図１０】第３の実施例において、測距センサの地面と壁からの反射信号を示す図である。
【図１１】第３の実施例において、測距センサの後方に車両が存在する場合の、反射信号を示す図である。
【図１２】第４の実施例におけるマーカ画像化対象を説明する図である。
【図１３】第４の実施例の作用説明図である。
【図１４】第４の実施例における監視画像を示す図である。
【符号の説明】
１カメラ装置
２ディスプレイ
３映像切換器
４モニタコントロールユニット
５ギアシフトポジションセンサ
６操作スイッチ
７操舵角センサ
８データ入力部
９物体検出器
９’ 測距センサ
１１演算部
１２マーカ発生器
１３スーパーインポーザ
１５映像切換スイッチ
１６ナビゲーションモジュール
１７ＴＶチューナ
１８ナビゲーション装置
１９内部メモリ
２０車両
２１バックドア
２２他の車両
２３ステアリング
２４ａドアミラー
２５ａサイドドア
２８、２８ａ、２８ｂビーム
２９壁
３０、４０延長線
３１、４１予想進路線
３２、４２距離目安線
３４、４４左車体側端線
３５、４５左角車体先端線
３６、４６左停車余地ガイド線
４３、４７高さ補助線
５０、５０’ 延長線
５１、５１’ 予想進路線
５２、５２’ 距離目安線
５４左車体側端線
５５左角車体先端線
５６左停車余地ガイド線

Claims

車両周囲を撮影する撮像手段と、
３次元座標における車両を基準にした水平方向に所定位置でかつ所定地上高を有する地上高マーカ位置を前記撮像手段から見た撮像面座標上に設定する演算手段と、
前記撮像面座標上の地上高マーカ位置に、地上高マーカ画像を生成するマーカ発生器と、
前記撮像手段で撮像した画像とマーカ発生器で生成した画像とを重ね合わせて出力するスーパーインポーザと、
該スーパーインポーザの出力を表示する表示手段とを有し、
前記所定位置が車体側面、サイドドアを全開したときの該サイドドアの先端に対応する位置、またはバックドアを全開したときの該バックドアの先端に対応する位置であることを特徴とする車両周辺監視装置。
前記演算手段は、車両を基準にした水平方向に前記所定位置の地面上に対応させて前記撮像面座標上にマーカベース位置を設定し、
前記マーカ発生器はさらに、前記マーカベース位置に、地面マーカ画像を生成することを特徴とする請求項１記載の車両周辺監視装置。
前記マーカ発生器はさらに、前記地面マーカ画像と地上高マーカ画像の上下に対応する端点を結ぶ高さ補助線画像を生成することを特徴とする請求項２記載の車両周辺監視装置。
前記演算手段は、さらにデータ入力部を備えて、前記所定位置および所定の地上高として任意の値を入力可能となっていることを特徴とする請求項１から３のいずれか１に記載の車両周辺監視装置。
前記演算手段は、さらに複数の地上高マーカ位置を設定して内部メモリに記憶し、該記憶された中から任意の地上高マーカ画像位置を選択可能に構成されていることを特徴とする請求項１から３のいずれか１に記載の車両周辺監視装置。
前記マーカ発生器が生成するマーカ画像は、前記撮像手段に対応する位置に近いほど太く、遠いほど細いことを特徴とする請求項１から５のいずれか１に記載の車両周辺監視装置。
車両周囲を撮影する撮像手段と、
３次元座標における車両を基準にした水平方向における所定位置の地面上のマーカベース位置と該マーカベース位置を所定の地上高だけ垂直方向に移動させた地上高マーカ位置とを前記撮像手段から見た撮像面座標上に設定する演算手段と、
前記撮像面座標上のマーカベース位置と地上高マーカ位置に、地面マーカ画像と地上高マーカ画像を生成するマーカ発生器と、
前記撮像手段で撮像した画像とマーカ発生器で生成した画像とを重ね合わせて出力するスーパーインポーザと、
該スーパーインポーザの出力を表示する表示手段と、
前記所定位置方向に信号を送出し物体から反射した信号を受信して物体を検出する物体検出手段とを備え、
前記マーカ発生器は、前記物体検出手段の受信信号が所定のしきい値以上の場合に前記地面マーカ画像および地上高マーカ画像を生成し、物体検出手段の受信信号が所定のしきい値より低い場合は前記地面マーカ画像のみを生成することを特徴とする車両周辺監視装置。
車両周囲を撮影する撮像手段と、
３次元座標における車両を基準にした水平方向における所定位置の地面上のマーカベース位置と該マーカベース位置を所定の地上高だけ垂直方向に移動させた地上高マーカ位置とを前記撮像手段から見た撮像面座標上に設定する演算手段と、
前記撮像面座標上のマーカベース位置と地上高マーカ位置に、地面マーカ画像と地上高マーカ画像を生成するマーカ発生器と、
前記撮像手段で撮像した画像とマーカ発生器で生成した画像とを重ね合わせて出力するスーパーインポーザと、
該スーパーインポーザの出力を表示する表示手段と、
前記所定位置方向において上下に走査する信号を送出し、物体から反射した信号を受信して物体までの距離を検出する距離検出手段とを備え、
前記マーカ発生器は、前記距離検出手段で検出した距離の前記走査方向における変化が所定のしきい値より大きい場合は、少なくとも前記地上高マーカ画像を生成し、距離検出手段で検出した距離の前記走査方向における変化が所定のしきい値以下の場合は、前記地面マーカ画像のみを生成することを特徴とする車両周辺監視装置。
前記演算手段は、前記マーカベース位置を車両の予測進路にそって所定間隔で複数設定することを特徴とする請求項７または８記載の車両周辺監視装置。
前記マーカ発生器はさらに、前記地面マーカ画像と地上高マーカ画像の上下に対応する端点を結ぶ高さ補助線画像を生成することを特徴とする請求項７から９のいずれか１に記載の車両周辺監視装置。
前記演算手段は、さらにデータ入力部を備えて、前記所定位置および所定の地上高として任意の値を入力可能となっていることを特徴とする請求項７から１０のいずれか１に記載の車両周辺監視装置。
前記演算手段はさらに複数の地上高マーカ位置を設定して内部メモリに記憶し、該記憶された中から任意の地上高マーカ画像位置を選択可能に構成されていることを特徴とする請求項７から１１のいずれか１に記載の車両周辺監視装置。