JP2003115100A

JP2003115100A - 車両周辺画像処理装置

Info

Publication number: JP2003115100A
Application number: JP2001307532A
Authority: JP
Inventors: Masakazu Takeichi; 真和竹市; Yoshihisa Sato; 善久佐藤; Katsuyuki Imanishi; 勝之今西
Original assignee: Denso Corp; Nippon Soken Inc
Current assignee: Denso Corp; Soken Inc
Priority date: 2001-10-03
Filing date: 2001-10-03
Publication date: 2003-04-18

Abstract

(57)【要約】【課題】ユーザにとって利便性の高い車両周辺画像処理
装置を提供する。【解決手段】カメラで撮像した車両後方の画像をタッチ
パネル付きモニタに（ａ）に示すように表示する。タッ
チパネル付きモニタから駐車目標位置が入力された場
合、画像処理ユニットは画面上の位置座標に対応する駐
車可能領域から自車両に向けて誘導ラインを算出し、ス
テアリングセンサから取得した操舵角に基づいて自車両
予想進路を算出して（ｂ）に示すようにタッチパネル付
きモニタへ表示させる。また、自車位置と駐車目標位置
がの距離が短くなるにつれ、自車位置及び駐車目標位置
が画面内に入りきりかつできるだけ表示画面内に大きく
表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】車両周辺画像処理装置に関す
る。

【０００２】

【従来の技術及び発明が解決しようとする課題】従来よ
り自車周辺の画像をカメラで撮像し、その撮像画像に基
づいて鳥瞰図画像を生成して表示するとともに、予め設
定された位置に対して誘導を行う車両周辺画像処理装置
が知られている。このような車両周辺画像処理装置は、
すでに装置内で予め決められた位置への誘導を行うこと
はできるが、ユーザが希望する任意の位置への誘導をす
ることができないという問題があった。

【０００３】また、カメラを用いた車両周辺画像処理装
置で、撮像画像から鳥瞰図画像を生成し、車両の動きか
らカメラの視野外に消える領域を記憶し、新たに撮像し
て鳥瞰図生成した画像と合わせて表示する装置を開発し
ているが、自車が駐車目標位置から遠い場合には、広範
囲の車両周辺の画像を表示し、また自車が駐車目標位置
に近づいてきた場合には、自車近傍を表示するために、
車両移動中にユーザが表示範囲を切り替える必要がある
という問題があった。

【０００４】そこで本発明は、上述した問題点を解決
し、ユーザにとって利便性の高い車両周辺画像処理装置
を提供することを目的とする。

【０００５】

【課題を解決するための手段及び発明の効果】上述した
問題点を解決するためになされた請求項１に記載の車両
周辺画像処理装置によれば、車両周辺の画像の鳥瞰図画
像が表示され、表示された鳥瞰図画像中から駐車目標位
置の入力があった場合、鳥瞰図画像に誘導ラインが表示
される。したがって、ドライバに対して、ドライバが指
定した駐車目標位置に対して車両を駐車させる際の車両
操作の目安を提供することができる。このように装置が
予め設定した位置ではなくドライバの意図する位置への
誘導ラインが表示されるためユーザの利便性を高めるこ
とができる。なお、鳥瞰図画像とは、一定の角度から見
下ろした画像をいい、例えば撮像画像がすでに鳥瞰図画
像である場合にはそのままの画像を鳥瞰図画像としても
よいし、所定角度から見下ろした画像を鳥瞰図画像とし
てもよいし、真上から見下ろした画像を鳥瞰図画像とし
てもよい。すなわち、ドライバが周囲の状況を把握しや
すいように鳥瞰図画像を生成すればよい。

【０００６】こうした誘導ラインは例えば請求項２に示
すようにして算出することができる。入力された駐車目
標位置に直接誘導するのではなく、入力された駐車目標
位置に基づき駐車可能領域を推定してその領域に進入可
能な誘導ラインを算出するので、ドライバは厳密に駐車
目標位置を指定する必要がなくなり、利便性が高くな
る。

【０００７】誘導ラインは、例えば請求項３に示すよう
にして、車輪軌跡を誘導ラインとして表示させることが
できる。このようにすれば、ドライバに対して車両の移
動イメージや具体的なステアリングの操作イメージを分
かりやすく提供することができる。

【０００８】こうした誘導ラインは例えば現在の車両位
置と駐車目標位置を結ぶ直線や曲線として表示すること
ができる。但し、求めた線に自車の最小回転半径未満の
部分があると、表示された誘導ラインの通りに車両を動
かすことができない。そこで請求項４に示すようにし
て、自車の最小回転半径を加味して誘導ラインを算出す
るとよい。

【０００９】さらに請求項５に示すようにして、障害物
を検知した場合にその位置を避けるように誘導ラインを
算出するとよい。このようにすれば、ドライバに対して
より適切に誘導ラインを報知することができる。そし
て、誘導ラインに加え、請求項６に示すようにして自車
両の予想進路を表示するとよい。このようにすれば、誘
導ラインに予想進路を合わせるように操舵するだけで、
駐車目標位置に車両を導くことができる。

【００１０】さらに、例えば請求項７に示すように自車
位置を鳥瞰図画像中に表示させれば、ドライバは自車位
置と周囲の位置関係を容易に把握できる。また請求項８
のようにして、自車両の移動に伴い自動的に鳥瞰図画像
の表示範囲を最適に変えていくことで、ドライバが運転
中に表示範囲を手動で切り替える必要をなくし、利便性
を高めることができる。なお、駐車目標位置及び自車位
置は前部が入りきるように表示範囲を調整してもよい
し、その一部が入りきるように表示範囲を調整してもよ
い。つまりドライバが駐車目標位置と自車位置との位置
関係を把握しやすいように表示範囲を決定すればよい。

【００１１】そして請求項９に示すようにして、請求項
８に記載の機能を請求項１〜７に記載の車両周辺画像処
理装置に備えることで、ドライバが運転中に表示範囲を
手動で切り替える必要がなくなるとともに、誘導ライン
や予想進路をドライバに見やすく表示させることができ
る。

【００１２】

【発明の実施の形態】以下、本発明が適用された実施例
について図面を用いて説明する。なお、本発明の実施の
形態は、下記の実施例に何ら限定されることなく、本発
明の技術的範囲に属する限り種々の形態を採りうること
は言うまでもない。

【００１３】図１は、本実施例の車両周辺画像処理装置
１の構成を示すブロック図である。車両周辺画像処理装
置１は、カメラ１０、測距センサ１２、測距センサ処理
ユニット１４、操舵角を検出するステアリングセンサ１
６、タッチパネル付きモニタ１８、画像処理ユニット２
０を備える。

【００１４】図２に示すように、カメラ１０は、車両の
後方を撮像するように設置され、画像処理ユニット２０
に接続されている。また測距センサ１２は、車両後方の
障害物までの距離を出力する複数のセンサから構成され
ており、測距センサ処理ユニット１４に接続されてい
る。そして測距センサ処理ユニット１４は、測距センサ
１２からの複数の距離センサをその設置位置に基づいて
障害物の位置座標を算出して、画像処理ユニット２０に
出力する。

【００１５】また画像処理ユニット２０は、カメラ１
０、測距センサ処理ユニット１４、ステアリングセンサ
１６、タッチパネル付きモニタ１８に接続されており、
これらの装置から情報を入力し、またこれらの装置を制
御する処理を行う。画像処理ユニット２０は、ＣＰＵ，
ＲＯＭ，ＲＡＭ，Ｉ／Ｏを備えたマイコンで構成されて
おり、カメラ１０によって撮像された撮像画像を入力
し、その撮像画像に対して公知の鳥瞰図変換処理を行
い、鳥瞰図画像に変換してタッチパネル付きモニタ１８
へ表示させる。

【００１６】図３（ａ）は車両を後進させて駐車枠内に
車両を駐車させようとした際のカメラ１０で捉えた撮像
画像の例である。画像処理ユニット２０は、この撮像画
像を入力し、鳥瞰図変換処理（例えば特開平１０−２１
１８４９号公報に記載の技術）によって、地上面を真上
から見下ろした鳥瞰図画像に変換し、変換された鳥瞰図
画像を図３（ｂ）に示すようにタッチパネル付きモニタ
１８に表示する。こうした鳥瞰図画像がタッチパネル付
きモニタ１８に表示されるので、ドライバは自車と駐車
枠との位置関係を容易に知ることができ、ドライバの運
転を支援することができる。

【００１７】さらに車両周辺画像処理装置１は、このよ
うにタッチパネル付きモニタ１８に表示した鳥瞰図画像
中からドライバによって指定された駐車目標位置への誘
導ラインを表示する。ドライバの駐車目標位置の指定
は、タッチパネル付きモニタ１８に表示された鳥瞰図画
像内をタッチすることで行う。例えば、タッチパネル付
きモニタ１８に図４（ａ）に示すように鳥瞰図画像が表
示された際に、図４（ａ）中の「手のアイコンの指先部
分」で示されるポインタで示す位置に駐車したい場合に
は、その部分をタッチする。タッチパネル付きモニタ１
８は、タッチされた画面上の位置座標を画像処理ユニッ
ト２０へ送信し、画像処理ユニット２０ではこの画面上
の位置座標に対応する駐車領域から自車両に向けて図４
（ｂ）に示すような誘導ラインを算出してタッチパネル
付きモニタ１８へ表示させる。

【００１８】また、ステアリングセンサ１６から入力し
た操舵角に基づき図４（ｂ）に示すような自車の予想進
路を算出してタッチパネル付きモニタ１８へ表示させ
る。このような画像処理ユニット２０で実行される一連
の車両周辺画像処理を図５のフローチャートを参照して
説明する。

【００１９】図５のＳ１１０では、カメラ１０からの撮
像画像信号を入力し、続くＳ１２０で鳥瞰図画像に変換
する。そしてＳ１３０では、車両目標位置の変更指示が
図示しないタッチパネル付きモニタ１８の変更指示入力
ボタンから入力されたか否かを判定し、変更指示が入力
された場合には（Ｓ１３０：ＹＥＳ）Ｓ１４０へ移行
し、変更指示が入力されていない場合には（Ｓ１３０：
ＮＯ）Ｓ１５０へ移行する。

【００２０】Ｓ１４０では、タッチパネル付きモニタ１
８から駐車目標位置の入力を受け付け、タッチパネル付
きモニタ１８においてタッチされた座標を入力して記憶
する。Ｓ１５０では、Ｓ１４０で記憶された座標と予め
記憶されたカメラ１０の取り付け位置情報や車両のサイ
ズ等の車両特性情報に基づき駐車可能領域と自車の位置
を算出する。

【００２１】続くＳ１６０では、測距センサ処理ユニッ
ト１４から障害物の位置座標を取得し、Ｓ１７０で誘導
ラインを算出する。Ｓ１８０ではステアリングセンサ１
６から操舵角を取得し、続くＳ１９０で自車両の予想進
路を算出する。そして、Ｓ２００では、Ｓ１５０で算出
した駐車可能領域と自車位置との位置関係に基づいて鳥
瞰図の表示範囲を変更するか否かを判定し、変更する場
合には（Ｓ２００：ＹＥＳ）Ｓ２１０へ移行し、変更し
ない場合には（Ｓ２００：ＮＯ）Ｓ２２０へ移行する。

【００２２】Ｓ２１０では、車両の現在位置と駐車可能
領域との双方がタッチパネル付きモニタ１８への表示画
面内に入り、かつできるだけ大きく表示されるように表
示範囲を設定する。すなわち、図６（ａ）→（ｂ）→
（ｃ）に示すように自車位置を駐車可能領域が近づくに
つれ、表示範囲を狭くし、表示される画像のスケールを
拡大する。例えば、車両端部と駐車可能領域の端部が画
面の周辺部分になるように拡大する。

【００２３】Ｓ２２０では、Ｓ２１０で設定された表示
範囲の鳥瞰図画像と自車位置を示す自車のアイコンと駐
車可能領域と、Ｓ１７０で算出した誘導ライン及びＳ１
９０で算出した自車両予想進路を描画して、タッチパネ
ル付きモニタ１８へ表示させる。そして、再びＳ１１０
へ戻り、繰り返し処理を行う。

【００２４】次に、Ｓ１５０〜Ｓ１７０の処理につい
て、図７及び図８を参照して詳細な例を説明する。図７
は、Ｓ１５０〜Ｓ１７０の誘導ラインの算出処理の一例
として、誘導ラインとして車輪軌跡を表示させる場合の
処理を示すフローチャートである。現在の車両位置と目
標駐車位置との関係が図８のような関係である場合にこ
の処理により誘導ラインを算出する例を併せて説明す
る。

【００２５】図７のＳ３１０では、タッチパネル付きモ
ニタ１８から入力された駐車目標位置に対応する鳥瞰図
画像中の位置から、その位置の周囲に向けて白線部分を
探索し、その白線の内部に、自車両の車幅及び全長に基
づいて自車両が駐車可能な駐車可能領域を決定する。一
般的に駐車場には車両の駐車領域を示す白線が引かれて
いるのでこれを利用して駐車可能領域を算出するのであ
る。そして、図８のように、その駐車可能領域の車幅方
向の中心線である駐車可能領域中心線を求める。また車
両の車幅方向の中心線である車両中心軸線を求め、その
車両中心軸線と車両の後輪軸との交点（図８における点
Ａ（ｘ，ｙ））を通り、駐車可能領域中心線に接する円
を求める（図８において２点鎖線で示す半径Ｒの円）。

【００２６】そして続くＳ３２０では、この円に対し、
車両中心軸線から左右のタイヤまでの距離ｄをオフセッ
トとして、図８に示すように駐車可能領域から車両後端
に向けて左右の車輪の軌跡を算出する。続くＳ３３０で
は、この車輪の軌跡が、最小回転半径未満で車両が動い
た場合でしか取り得ない軌跡であるか否かを判定し、最
小回転半径未満でなければ取り得ない軌跡であれば（Ｓ
３３０：ＹＥＳ）Ｓ３７０へ移行し、そうでない場合に
は（Ｓ３３０：ＹＥＳ）Ｓ３４０へ移行する。

【００２７】Ｓ３４０では、表示軌跡を算出軌跡に設定
し、Ｓ３５０で算出軌跡の範囲内に障害物があるか否か
を測距センサ処理ユニット１４から取得した障害物の位
置座標から判定し、算出軌跡エリア内に障害物がある場
合には（Ｓ３５０：ＹＥＳ）Ｓ３６０へ移行し、障害物
がない場合には（Ｓ３５０：ＮＯ）Ｓ３９０へ移行す
る。Ｓ３６０では算出軌跡の半径を変更してＳ３３０へ
移行する。

【００２８】一方、Ｓ３７０では、表示軌跡を算出軌跡
ではなく、最大切れ角時の軌跡に設定する。すなわち最
小回転半径での軌跡に設定するのである。そして、Ｓ３
８０で、この算出した最大切れ角時の軌跡のエリア内に
障害物があるか否かを測距センサ処理ユニット１４から
取得した障害物の位置座標に基づいて判定し、エリア内
に障害物がある場合には（Ｓ３８０：ＹＥＳ）Ｓ４００
へ移行して誘導ラインを非表示に設定する。一方、エリ
ア内に障害物がない場合には（Ｓ３８０：ＮＯ）Ｓ３９
０へ移行する。

【００２９】Ｓ３９０では、表示軌跡を誘導ラインとし
て設定する。そして、図５のＳ１８０の処理へ移行し
て、前述のような処理を行い、Ｓ２２０の処理の結果、
Ｓ３９０で設定した誘導ライン（図８中の誘導ライン）
がタッチパネル付きモニタ１８に表示される。

【００３０】このようにして、ドライバが指定した駐車
目標位置に対して車両を駐車させる際の車両操作の目安
である誘導ラインを表示させることができる。ドライバ
はタッチパネル付きモニタ１８に表示された鳥瞰図画
像、誘導ライン、自車予想進路を参考にして、駐車のた
めの運転操作を行うことができる。また、誘導ラインに
自車予想進路が合うようにステアリングを動かすこと
で、容易に白線内に駐車することができる。したがって
目標駐車位置に容易に駐車することができるようにな
る。さらに、図６のように駐車目標位置に近づくにつ
れ、自動的に拡大表示されるので、画面を拡大させる操
作をする必要がなく、ドライバの利便性が高い。また、
自車位置が駐車目標位置に近づくにつれ、車両周辺のよ
り詳細な情報を得ることができる。

【００３１】なお、自車両中心線、駐車可能領域中心線
など、その他の補助線もタッチパネル付きモニタ１８に
表示してもよい。また自車のアイコンはタッチパネル付
き液晶モニタ１８の上方に自車の前方部分がくるように
表示するとよい。そして、自車のアイコンは全体を表示
するのではなく、一部のみを表示するようにしてもよ
い。

【００３２】また、誘導ラインの算出方法は上述した方
法に限らず種々の方法で行うことができる。また、図６
の画像の表示範囲についても、自車位置と駐車可能領域
との距離が何メートルから何メートルはこの範囲、何メ
ートルから何メートルはこの範囲というように予め区切
った範囲で変更してもよいし、連続的にスムーズに表示
範囲を変更してもよい。

【００３３】また図５に示した処理は、常にループさせ
て実行するのではなく、所定時間毎に繰り返し実行して
もよい。さらに、自車の移動を検出する車速、車輪速、
操舵角、ヨーレイト、オプティカルフロー、測距センサ
等の情報を取得して、これらから車両の移動を検出し、
移動があった場合にのみ実行させてもよい。

【００３４】また、自動操舵、自動ブレーキを持ったシ
ステムなら誘導ラインの情報をこれらに対して出力して
もよい。測距センサ処理ユニット１４は画像処理ユニッ
ト２０に組み込んでもよい。本実施例において、カメラ
１０が撮像手段に相当し、タッチパネル付きモニタ１８
及び画像処理ユニット２０が表示手段及び駐車目標位置
入力手段に相当する。また、画像処理ユニット２０が鳥
瞰図画像生成手段、誘導ライン算出手段、予想進路算出
手段に相当し、測距センサ１２、測距センサ処理ユニッ
ト１４、画像処理ユニット２０が障害物検知手段に相当
する。

【００３５】そして、Ｓ１２０の処理が鳥瞰図画像生成
手段としての処理に相当し、Ｓ１４０の処理が駐車目標
位置入力手段としての処理に相当し、Ｓ１５０〜Ｓ１７
０の処理が誘導ライン算出手段としての処理に相当し、
Ｓ１９０の処理が予想進路算出手段としての処理に相当
し、Ｓ２００〜Ｓ２２０の処理が表示手段としての処理
に相当する。

【図面の簡単な説明】

【図１】実施例の車両周辺画像処理装置の構成を示すブ
ロック図である。

【図２】実施例の車両周辺画像処理装置の車両への設置
状態を示す説明図である。

【図３】撮像画像と鳥瞰図画像を示す説明図である。

【図４】駐車目標位置、誘導ライン、自車両予想進路の
モニタへの表示例を示す説明図である。

【図５】車両周辺画像処理の流れを説明するフローチャ
ートである。

【図６】モニタへの鳥瞰図画像の表示範囲を示す説明図
である。

【図７】誘導ラインとして車両軌跡を表示させる処理を
説明するフローチャートである。

【図８】誘導ラインの算出方法の例を示す説明図であ
る。

【符号の説明】

１…車両周辺画像処理装置１０…カメラ１２…測距センサ１４…測距センサ処理ユニット１６…ステアリングセンサ１８…タッチパネル付きモニタ２０…画像処理ユニット

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０９Ｇ 5/36 ５１０Ｇ０９Ｇ 5/36 ５２０Ｆ (72)発明者佐藤善久愛知県刈谷市昭和町１丁目１番地株式会社デンソー内 (72)発明者今西勝之愛知県西尾市下羽角町岩谷14番地株式会社日本自動車部品総合研究所内Ｆターム(参考） 5B057 AA16 AA19 BA02 BA11 CA12 CA16 CB12 CB16 CE08 5C082 AA00 AA21 AA27 BA12 BB02 BB42 CA33 CA56 CA81 CB05 DA22 DA42 DA73 DA86 MM05 MM09 MM10 5H180 AA01 CC04 LL02 LL08 LL17

Claims

【特許請求の範囲】

【請求項１】車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づく鳥瞰図画
像を生成する鳥瞰図画像生成手段と、前記鳥瞰図画像生成手段によって生成された鳥瞰図画像
を表示する表示手段を備える車両周辺画像処理装置にお
いて、前記表示手段によって表示された前記鳥瞰図画像の中か
ら駐車目標位置を入力する駐車目標位置入力手段と、前記駐車目標位置入力手段によって入力された駐車目標
位置に基づき前記鳥瞰図画像上での誘導ラインを算出し
て前記表示手段に表示させる誘導ライン算出手段とを備
えることを特徴とする車両周辺画像処理装置。
【請求項２】請求項１に記載の車両周辺画像処理装置に
おいて、前記誘導ライン算出手段は、前記駐車目標位置入力手段
によって入力された駐車目標位置に基づき駐車可能領域
を推定し、推定した駐車可能領域に進入可能な前記誘導
ラインを算出することを特徴とする車両周辺画像処理装
置。
【請求項３】請求項１または２に記載の車両周辺画像処
理装置において、前記誘導ライン算出手段は、前記誘導ラインを車輪軌跡
として算出することを特徴とする車両周辺画像処理装
置。
【請求項４】請求項１〜３のいずれかに記載の車両周辺
画像処理装置において、前記誘導ライン算出手段は、自車の最小回転半径を加味
して前記誘導ラインを算出することを特徴とする車両周
辺画像処理装置。
【請求項５】請求項１〜４のいずれかに記載の車両周辺
画像処理装置において、障害物の位置を検知する障害物検知手段を備え、前記誘導ライン算出手段は、前記障害物検知手段によっ
て障害物が検知された場合には、誘導ラインに従って走
行した車両が当該障害物の位置を通らないように前記誘
導ラインを算出することを特徴とする車両周辺画像処理
装置。
【請求項６】請求項１〜５のいずれかに記載の車両周辺
画像処理装置において、現在の操舵角に基づき自車両の予想進路を前記表示手段
に表示させる予想進路算出手段を備えることを特徴とす
る車両周辺画像処理装置。
【請求項７】請求項１〜６のいずれかに記載の車両周辺
画像表示装置において、前記表示手段は、自車位置を前記鳥瞰図画像中に表示す
ることを特徴とする車両周辺画像処理装置。
【請求項８】車両の周辺を撮像する撮像手段と、前記撮像手段によって撮像された画像に基づいて、その
鳥瞰図画像を生成する鳥瞰図画像生成手段と、前記鳥瞰図画像生成手段によって生成された鳥瞰図画像
を表示する表示手段を備える車両周辺画像処理装置にお
いて、前記表示手段は、設定された駐車目標位置と自車位置と
の位置関係に基づき、前記鳥瞰図画像の表示範囲を前記
駐車目標位置及び前記自車位置が表示画面内に入りき
り、かつできるだけ前記表示画面内に大きく表示される
ように前記鳥瞰図画像の表示範囲を調整することを特徴
とする車両周辺画像処理装置。
【請求項９】請求項１〜７のいずれかに記載の車両周辺
画像処理装置において、前記表示手段は、駐車目標位置入力手段によって入力さ
れた駐車目標位置と自車位置との位置関係に基づき、前
記鳥瞰図画像の表示範囲を前記駐車目標位置及び前記自
車位置が表示画面内に入りきり、かつできるだけ前記表
示画面内に大きく表示されるように前記鳥瞰図画像の表
示範囲を調整することを特徴とする車両周辺画像処理装
置。