JP4092479B2

JP4092479B2 - 車両用運転支援装置

Info

Publication number: JP4092479B2
Application number: JP2003001564A
Authority: JP
Inventors: 吉孝上村; 隆資菅野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-01-07
Filing date: 2003-01-07
Publication date: 2008-05-28
Anticipated expiration: 2023-01-07
Also published as: JP2004213489A

Description

【０００１】
【発明の属する技術分野】
本発明は、自車両周囲の障害物の視認を補助して車両の走行を支援する車両用運転支援装置であって、特に駐車の際に有効な車両用運転支援装置に関する。
【０００２】
【従来の技術】
従来、この主の運転支援装置としては、例えば特許文献１に記載されているようなものがある。この運転支援装置は、自車両に設置された複数台のカメラを用いて車外を撮像し、その複数のカメラからの入力画像を、特定の仮想視点からみた画像に視点変換すると共に合成し、その合成画像をモニタ装置に表示する方式のものであって、上記画像合成の際に、障害物たる立体物付近で合成画像が不連続となるように合成処理を行うことで、運転者に対して、この不連続部分から立体物の位置を推定させ、これによって、運転者による障害物の視認を補助しようとするものである。
【０００３】
【特許文献１】
特開２００２−１６６８０２号公報
【０００４】
【発明が解決しようとする課題】
しかし、画像を立体物付近で不連続となるように合成するため、その合成画像を見た運転者は、表示画像中の不連続部分に対し違和感を感じる。
カメラからの入力画像に対し視点変換処理を行うと画像内に表示される障害物が歪んで表示される場合があるが、障害物内の模様が歪んで表示されることによっても、運転者に違和感を与える。
【０００５】
また、障害物となる立体物付近で不連続面を作成するために、複数のカメラからの画像を合成する構成を採用せざるを得ず、必ず複数台のカメラを必要とするという問題もある。
本発明は、上記のような点に着目したもので、不要な表示情報を運転者に提示しないことで、運転者に与える違和感を抑えることが可能な車両用運転支援装置を提供することを課題としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明は、自車両に設置された撮像装置からの入力画像を、特定の仮想視点からの画像に視点変換処理を行い、その視点変換した画像を画像表示手段に表示して視界の補助を行う車両用運転支援装置であって、
上記視点変換処理後の画像内の上記入力画像に含まれていた障害物像にマスキング処理を施し、上記画像表示手段への障害物の表示を、その外周輪郭位置のみが認識可能な状態にすることを特徴とするものである。そして、上記障害物が車両と判定した場合には、上記入力画像に含まれていた車体表示部分についてマスキング処理を行い、上記入力画像に含まれていた車輪表示部分については、その少なくとも一部をマスキング処理から除外することを特徴とするものである。
【０００７】
本発明によれば、入力画像に対して視点変換処理を行って、例えば運転者が認識しやすい画像に変換する際に、画像中の障害物が歪んで表示されることもあるが、その障害物内の情報がマスキングされて運転者には提示されないことで、上記歪による運転者への違和感を軽減することが可能となる。
また、本発明によれば、障害物が車両の場合には、表示されている車輪部分についてマスキング処理の対象から除外するようにすることで、多少歪んで表示されても、運転者に余り違和感を与えない車輪部分のみを表示することができ、停車した際の自車両に最も接近する部分の位置を正確に表示できる。
【０００８】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照しつつ説明する。
図１に、本実施形態の車両用運転支援装置の概略構成図を示す。
図中、符号１は、自車両の車体であって、その車体１の後部上側部分に、撮像装置を構成するＣＣＤカメラ２が設置されている。該ＣＣＤカメラ２は、車外である車両後側位置における自車両周囲部分を撮像し、撮像した画像情報をアシストコントローラ３に出力する。また、車内には、画像表示手段を構成するモニタ４が設置されている。
【０００９】
また、車体１の両側部には、それぞれ測距手段を構成する測距センサ５が設置されている。測距センサ５は、車両周囲である車両側方に位置する障害物までの距離及び当該測距センサ５に対する障害物の方向（角度）を検出する。測距センサ５としては、超音波、マイクロ波、ミリ波、光などを放射し、その反射波を受信するまでの往復時間を測定して距離を測定するものや、三角測量の原理を利用したものなどが例示できる。
【００１０】
また、車両には、ステアリングホイールの舵角を検出する操舵センサ６、車輪速を検出する車輪速センサ７、及びシフトレバーのシフト位置を検出するシフト位置検出センサ８が設けられている。
また、運転席近傍には、駐車の際に後方視認の支援を必要とするか否かを指示するための駐車アシストスイッチ９、及び、後方視認の画像に対して視点変換をするか否かの視点変換スイッチ１０を備え、各スイッチ９、１０からの信号は、アシストコントローラ３に出力される。
【００１１】
アシストコントローラ３は、コントローラ本体部３Ａ、自社両位置把握処理部３Ｂ、及び障害物地図作成手段を構成する周囲地図作成部３Ｃを備える。
自社両位置把握処理部３Ｂは、コントローラ本体部３Ａからの指令によって作動を開始し、作動開始時における、自車両の位置を原点とするグローバル座標を設定し、所定サンプリング時間毎に、上記操舵センサ６、車輪速センサ７からの検出信号に基づき自車両の上記グローバル座標における位置及び方向を求めて、メモリに記憶する。
【００１２】
また、周囲地図作成部３Ｃでは、図２に示す処理が行われる。すなわち、先ずステップＳ２００にて、測距センサ５をＯＮとして当該測距センサ５による検出を開始してステップＳ２１０に移行する。
ステップＳ２１０では、左右の測距センサ５からの信号に基づき、自車両位置から所定距離内において、自車両側方に駐車車両などの障害物があるか否かを判定し、障害物があると判定した場合にはステップＳ２２０に移行し、障害物がないと判定した場合にはステップＳ２３０に移行する。
【００１３】
ステップＳ２２０では、測距センサ５からの信号に基づき、自車両と障害物との間の距離や向き関係を求め、自社両位置把握処理部３Ｂで算出したそのときの自車両の位置及び方向の情報に基づき、その障害物位置がグローバル座標上のどこに存在するかを特定して、メモリに記憶した後に、ステップＳ２３０に移行する。
【００１４】
ステップＳ２３０では、シフト位置センサからの信号に基づき、シフト位置が「Ｒ」か否かを、つまり車両が後進走行可能な状態に切り替わったか否かを判定し、シフト位置が「Ｒ」の場合には、ステップＳ２４０に移行して終了処理を行うが、シフト位置が「Ｒ」で無い場合には、上記ステップＳ２１０に戻って、上述の障害物の検出を繰り返す。
【００１５】
ここで、上記障害物位置の検出処理は、ほぼ所定のサンプリング時間毎に実施されるので、例えば図３のように、自車両の前進走行方向左側に複数の駐車車両が並列して存在する場合には、各駐車車両における自車側面に対向した面部分（図３では駐車車両の前面部分）について、自車両の走行方向に沿って複数点、障害物位置として検出される。図中、符号Ｐが障害物位置を示す。
【００１６】
ステップＳ２４０では、図３（ｂ）のように、検出された複数の障害物位置（グローバル座標での座標点）に対し続計処理を行ってグルーピング化を行い、つまり、各塊の各障害物毎に障害物位置をグルーピング化し、そのグルーピング化した各障害物位置群にごとに、それぞれ最小二乗法などによって直線近似して各障害物の対向面位置を特定した後、処理を終了して復帰する。
【００１７】
なお、障害物が駐車車両の場合には、図３（ｂ）のように、上記求めた各直線は、駐車車両面の位置（例えば前面位置）を表し、その線分は駐車車両の車幅を表している。また、駐車場への駐車を想定すると、走行する自車両と対向する障害物は、通常、駐車車両や塀・壁などであるので、通常、上記障害物の対向面は直線近似が可能である。もっとも、障害物における自車両と対向する面が、所定曲率以上の曲面となっているために直線近似が不能と判定した場合には、その部分については、例えば検出した障害物位置をプロットすると共に隣り合う障害物位置間を結ぶようにして対向面位置を特定させておけばよい。
【００１８】
また、コントローラ本体部３Ａは、上記駐車アシストスイッチ９からの作動信号を入力すると起動して、図４に示す処理を行う。
すなわち、まず、ステップＳ５にて、上記自社両位置把握処理部３Ｂを起動して、運転支援処理中においては、設定したグローバル座標系における自車両の位置・向きの把握を常時可能な状態となるようにして、ステップＳ１０に移行する。
【００１９】
ステップＳ１０では、上記周囲地図作成部３Ｃを起動して周囲地図データを作成した後に、ステップＳ２０に移行する。
ステップＳ２０では、シフト位置検出手段の信号に基づきシフト位置が「Ｒ」か否かを判定し、シフト位置が「Ｒ」で無ければステップＳ１２０に移行する。一方、シフトレバーの位置が「Ｒ」と判定すれば、ステップＳ３０に移行する。
【００２０】
ステップＳ３０では、カメラ２が撮像した画像を入力した後にステップＳ４０に移行し、ステップＳ４０にて、視点変換スイッチがオンか否かを判定し、視点変換スイッチがオフの場合には、ステップＳ５０に移行して、上記カメラ２からの入力画像をそのままモニタ４に表示してステップＳ１２０に移行する。
一方、ステップＳ４０で視点変換スイッチがオンと判定されるとステップＳ６０に移行して、当該ステップＳ６０にて、カメラ２からの入力画像に視点変換処理を施し、図５に示すように、車両後部側上方位置に設定した仮想視点から垂直下方に眺めた状態の画像に変換し、もって、駐車のためなどに車両を後進走行させる際に、運転者が車両後方の状況を認識しやすい画像（後方の距離感が掴み易い画像）にして、ステップＳ７０に移行する。上記ステップＳ６０は、視点変換処理手段を構成する。
【００２１】
ステップＳ７０では、上記視点変換した画像に対し、自車両の位置をイラスト表示してステップＳ８０に移行する。
この処理は、仮想視点から実際に撮像した画像には、自車両の屋根部が映るはずであるが、車両後方に設置したカメラ２では自車両の屋根部を撮像できず、視点変換した後の画像には自車両の屋根部が表示されないことを考慮したものである。自車両後方部位置をイラスト表示することで、モニタ４表示における自車両の位置を特定させるものである。自車両のイラストの大きさに関しては、自車両の幅および長さ共に数センチ余裕を持たせたサイズでイラストしておく。
【００２２】
ステップＳ８０では、上記視点変換後の画像内に障害物（主として駐車車両）があるか否かを判定し、障害物表示が無い場合には、ステップＳ１１０に移行し、障害物表示がある場合には、ステップＳ９０に移行する。
ステップＳ９０では、上記画像入力時における自車両の位置および向きと、上記作成した周囲地図データに基づき、直線近似した障害物位置を上記画像上に太点線でプロットしてステップＳ１００に移行する。ステップＳ１００とステップＳ１１０は、補正手段を構成する。
【００２３】
ステップＳ１００では、画像上の障害物に対して公知のマスキング処理を施して、その外周輪郭だけが視認できるように、つまり障害物内の表示情報を消すように、その外周輪郭内を１色でべた塗りしたような表示に変換した後にステップＳ１１０に移行する。ステップＳ１００は、マスキング手段を構成する。
この処理で、各障害物における外周輪郭内にある歪んだ模様等が視認不可な表示状態となる。
【００２４】
ここで、本実施形態では、障害物の面位置に沿った上記太点線位置に近似する、障害物の外周輪郭の辺部分については、上記太点線位置を優先するように、当該外周輪郭を補正した後に、つまり当該太点線位置を障害物の外周輪郭位置と見なして上記マスキング処理を施す。
ステップＳ１１０では、上記各種の処理を施した画像をモニタ４に表示する画像としてモニタ４に出力してステップＳ１２０に移行する。これによって、視点変換スイッチがオフであれば、そのままの画像が、視点変換スイッチがオンであれば、上記各種の変換処理が行われた後の画像が、モニタ４上に表示される。
【００２５】
ステップＳ１２０では、シフト位置が「Ｐ」か否かを判定し、「Ｐ」と判定した場合、つまり駐車処理が終了したことを検出した場合には、ステップＳ１３０に移行して、車両後方の視認を補助する運転支援処理の終了処理をしたのち、アシスト処理を停止する。終了処理としては、例えば上記自社両位置把握処理部３Ｂに作動停止指令を出力するなどである。
【００２６】
一方、シフトレバーの位置が「Ｐ」でない場合には、ステップＳ２０に移行して、上記処理を繰り返すことで、所定サイクリングタイム毎にモニタ４に表示される画像が切り替わる。
次に、上記運転支援装置の動作や作用・効果などについて説明する。
以下に説明する例は、複数台の車両が駐車している駐車場に自車両を駐車する場合である。
【００２７】
自車両が駐車場に進入して、運転者が、駐車アシストを利用すると考えて駐車アシストスイッチ９をオンにすると、グローバル座標を設定して自車両の位置を把握すると共に、自車両の前進走行中に、周囲地図データ作成のために、車両周囲の存在した障害物（主として駐車車両）における対向する面位置が取得され、シフト位置が「Ｒ」に変更された時点で、上記複数の障害物検出データに基づき、所定のグローバル座標に対する周辺地図データが作成される。
【００２８】
続いて、車両が駐車のために上記シフトレバーが「Ｒ」となっている間、つまり車両が後進走行が可能な状態及び実際に後進走行している状態では、後部のカメラ２で車両後方が撮影され、車内のモニタ４にその画像が表示されて、車両後部の後部視認を補助して運転を支援する。
このとき、運転者が、後方の距離感が把握しにくいと感じて、視点変換スイッチをＯＮにした場合には、上記カメラ２が撮像した画像を、車両後部上方の仮想視点から下方を見た画像に変換する。このとき、駐車車両などの障害物像が大きく歪んでしまう。これは、単一のカメラ２では距離・高さが判断できないためである。
【００２９】
これに対し、本実施形態では、上記障害物像については、外周輪郭部分の情報だけにすべく、その外周輪郭部分内を１色でべた塗りしたような表示に変換して、障害物情報をモニタ４に表示させる。
これによって、モニタ４を見る運転者に対して、障害物が歪んで表示されることによる違和感を軽減することができる。また、障害物像内の歪んだ模様を不表示とすることで、つまり、不要な情報をモニタ４に表示することが無いため、自車両と障害物の距離などが分かりやすくなるなど、より運転者が車両後方の障害物の視認が行い易くなる。
【００３０】
また、使用するカメラ２も１台だけで済む。勿論複数台使用しても構わない。さらに、上記周辺地図データを参照することで、図７、図８のように、障害物における、後退する車両後部に近い辺の位置が補正されることで、視点変換で画像内の障害物に歪が発生していても、少なくとも補正された部分ついては障害物の位置が適正化される。
【００３１】
また、上記仮想視点から撮像した画像には、図６のように、自車両の屋根部が映るはずであるが、車両後方に設置したカメラ２では自車両の屋根部を撮像できず、視点変換した際、自車両の屋根部が映らないが、図７のように、自車両後方部をイラストしてモニタ４に表示することで、障害物と後退する自車両後部との相対位置関係の把握も容易となる。
【００３２】
このとき、自車両のイラストの大きさについて、自車両の幅及び長さ共に数センチ余裕を持たせた寸法とすることで、自車両と障害物との衝突をその分避け易くなる。
なお、カメラ２の設置位置などから、自車両のイラストの位置を容易に特定して表示することは可能である。
【００３３】
そして、駐車操作が終了してシフトレバーが「Ｐ」つまりパーキングとなったら、上記処理を止める。
ここで、上記駐車動作中に、シフトレバーが「Ｒ」から「Ｄ」などの前進走行に一時的に走行状態が変更された場合には、車両前進走行状態では、上記運転支援は不要であるので、モニタ４への後方の画像表示も一時的に不表示とする。もちろん、一時的な前進走行時にもモニタ４表示をするようにしても良いが、前進走行時には、自車両前方の画像を表示する場合もある。
【００３４】
また、障害物が車両の場合には、表示されている車輪部分について上記マスキング処理の対象から除外するようにしても良い。すなわち、画像中の障害物から駐車車両を抽出し、抽出した駐車車両から、表示されている車輪部分を上記マスキング対象から除外してマスキング処理を行う。ここで、車輪については、多少歪んで表示されても、運転者に余り違和感を与えないと思われる。なお、上記マスキング処理からの除外部分は、上記表示されている車輪部分の一部だけ（例えば外周輪郭近傍の部分だけ）であっても良い。
【００３５】
このように、車輪部分をマスキングしないことで、停車した際の自車両に最も接近する部分の位置を正確に表示することが可能となる。
なお、上記実施形態では、自車両が駐車するスペースの両側に駐車車両がある場合の例であるが、車庫内などに駐車する場合には、自車両が駐車するスペースの両側の障害物は、壁や塀などになる。
【００３６】
また、上記実施形態では、自車両が駐車する場合について説明しているが、本運転支援装置の適用は、これに限定されるわけではない。要は、自車両が後進走行する場合であれば、適用可能である。
また、上記実施形態では、周辺地図データを作成する場合を例示しているが、周辺地図データを作ることなく、単に視点変換した画像中の障害物に対して上記マスキング処理を行うような装置構成としても良い。
また、上記実施形態では、後進走行時の後方視野の補助による運転支援を想定したシステムを例に挙げているが、前進走行時の前方視野の補助による運転支援に適用しても構わない。
【図面の簡単な説明】
【図１】本発明に基づく実施形態に係る装置構成を示す概略図である。
【図２】本発明に基づく実施形態に係る周囲地図作成部の処理を示す図である。
【図３】本発明に基づく実施形態に係る周囲地図作成の処理を説明する図であり、（ａ）は自車両と障害物との関係を、（ｂ）はグローバル座標系における障害位置を示す図である。
【図４】本発明に基づく実施形態に係るコントローラ本体部の処理を示す図である。
【図５】本発明に基づく実施形態に係る仮想視点を説明する図である。
【図６】仮想視点から撮像したとした場合の図である。
【図７】視点変換した場合の図である。
【図８】マスキング後の画像を示す図である。
【符号の説明】
１車体
２ＣＣＤカメラ（撮像装置）
３アシストコントローラ
３Ａコントローラ本体部
３Ｂ自社両位置把握処理部
３Ｃ周囲地図作成部
４モニタ
５測距センサ（測距手段）
６操舵センサ
７車輪速センサ
８シフト位置検出センサ
９駐車アシストスイッチ
１０視点変換スイッチ

Claims

自車両に設置された撮像装置からの入力画像を、特定の仮想視点からの画像に視点変換処理を行い、その視点変換した画像を画像表示手段に表示して視界の補助を行う車両用運転支援装置であって、
上記視点変換処理後の画像内の上記入力画像に含まれていた障害物像にマスキング処理を施し、上記画像表示手段への障害物の表示を、その外周輪郭位置のみが認識可能な状態にし、
上記障害物が車両と判定した場合には、上記入力画像に含まれていた車体表示部分についてマスキング処理を行い、上記入力画像に含まれていた車輪表示部分については、その少なくとも一部をマスキング処理から除外することを特徴とする車両用運転支援装置。
自車両に設置されて車外を撮像可能な撮像装置と、撮像装置からの入力画像を特定の仮想視点からの画像に視点変換処理を行う視点変換処理手段と、視点変換処理手段による視点変換後の画像に対し当該画像内の上記入力画像に含まれていた障害物の表示を、その外周輪郭位置のみが認識可能な状態に変換するマスキング手段と、マスキング手段による処理後の画像を表示可能な画像表示手段とを備え、
上記マスキング手段は、障害物が車両と判定した場合には、上記入力画像に含まれていた車体表示部分について処理対象とし、上記入力画像に含まれていた車輪表示部分についてはその少なくとも一部を処理対象から除外することを特徴とする車両用運転支援装置。
自車両に搭載されて車両周囲の障害物と自車両との相対位置関係を検出する測距手段と、測距手段の検出情報に基づき、障害物位置を同一座標上で表して、障害物の存在状況を表す障害物地図データを作成する障害物地図作成手段とを備え、
障害物地図作成手段が作成する障害物地図データに基づき、上記視点変換後の画像中の上記入力画像に含まれていた障害物像の外周輪郭を補正する補正手段を備えることを特徴とする請求項２に記載した車両用運転支援装置。
上記障害物地図作成手段は、自車両が前進走行可能状態のときに、障害物地図データを作成するための情報を測距手段から取得することを特徴とする請求項３に記載した車両用運転支援装置。
上記撮像装置は、車体後部に設置されて自車両後方を撮影可能となっており、少なくとも車両が後進走行可能な状態の場合に、上記画像表示手段への画像表示を行うことを特徴とする請求項２〜請求項４のいずれかに記載した車両用運転支援装置。