JP3951734B2 - 車両用外界認識装置 - Google Patents
車両用外界認識装置 Download PDFInfo
- Publication number
- JP3951734B2 JP3951734B2 JP2002034930A JP2002034930A JP3951734B2 JP 3951734 B2 JP3951734 B2 JP 3951734B2 JP 2002034930 A JP2002034930 A JP 2002034930A JP 2002034930 A JP2002034930 A JP 2002034930A JP 3951734 B2 JP3951734 B2 JP 3951734B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pitch angle
- obstacle
- recognition device
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Regulating Braking Force (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
本発明は、自車進行方向の状況を撮像するカメラを搭載する車両において、自車の縦方向(車間距離方向)の運動が急であるため、自車のピッチング変化が大きく生じ得る走行制御系のための車両用外界認識装置に関する。
【0002】
【従来の技術】
従来、自車走行レーンの白線をカメラ画像にて検出し、その白線形状から自車のピッチ角を検出し、これによりピッチ角変動に対応する外界認識系が提案されている(特開平11−203445号公報)。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来の車両用外界認識系にあっては、通常、検知したくない対象(地面やガードレールなどの背景:ノイズ)の影響を除去し、検知すべき対象(白線:シグナル)をより注視する(S/N比を向上する)ため、撮像画面の中に白線があるべきエリアを絞り込む。このため、白線形状から自車のピッチ角を推定する前にエリア外へ白線が出てしまうような急なピッチ角変化には対応できない、という課題がある。
【0004】
また、検知すべき対象が含まれる領域と新規に取り込んだ(絞り込まない)映像との相関演算(パターンマッチング)を常時行うことで自車のピッチング変動を観測し、この観測値を用いることで、よりロバストな画像処理を実現することが可能となる。しかし、この場合、演算時間が膨大になる等の問題がある。
【0005】
本発明の目的は、演算処理への負担を抑え、絞り込み領域を広げることなく(S/N比を下げることなく)、タイヤの空気圧や乗員変動の変化にロバストで、急なピッチ変動に対応できる車両用外界認識装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明では、
(1) 将来における自車のピッチ角変化を予測する。ピッチ角の変化は、車速の変化(加速度)と比較して位相が遅れているため、予測することは容易である。
(2) ピッチ角変化が生じることを予測した場合には、現在、捕捉されている物体の画像領域を記憶する。
(3) 所定時間後に、その時の撮像結果と以前記憶した領域との相関演算から自車のピッチ角を演算し、推定値との誤差を算出する。
(4) 以降はピッチ角の誤差を考慮して領域の絞り込みを行う。これら(1)〜(4)を達成する手段とした。
【0007】
【発明の作用および効果】
本発明にあっては、処理時間の重い相関演算(パターンマッチング)を、ピッチ変化が予測されるときにのみ行うため、常時、相関演算を行う場合に比べ、演算負荷の負担が軽くなる。
【0008】
さらに、パターンマッチング後の処理では、推定ピッチ誤差を反映する(自車のピッチ角推定に用いる動的モデル誤差をも考慮できる)ため、領域の絞り込みに関する精度が高められ、検知すべき対象が絞り込み領域の外側に外れる程度・頻度を低減することができる。
【0009】
以上により、演算処理への負担を抑え、絞り込み領域を広げることなく(S/N比を下げることなく)、タイヤの空気圧や乗員変動の変化にロバストで、急なピッチ変動に対応できる、という効果が得られる。
【0010】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づいて説明する。
図1は本発明の車両用外界認識装置を示す基本構成図である。
構成を説明すると、図1において、101は撮像手段(カメラ)、102は障害物候補検知手段、103は自車挙動情報検知手段、104は自車ピッチ角推定手段、105は障害物検知領域補正手段である。
【0011】
前記撮像手段101は、自車前方の状況を撮像する。前記障害物候補検知手段102は、前記撮像手段101の出力から自車前方の障害物候補を検知する。前記自車挙動情報検知手段103は、自車の挙動情報(車速など)を検知する。前記自車ピッチ角推定手段104は、前記自車挙動情報検知手段103の出力から自車のピッチ角を推定する。前記障害物検知領域補正手段105は、前記自車ピッチ角推定手段104の出力に応じて、前記障害物候補検知手段102の処理領域を補正する。
【0012】
図1において、106は将来ピッチ角予測手段、107は撮像領域記憶手段、108は自車ピッチ角検知手段、109は自車ピッチ角誤差算出手段、110は2次補正量算出手段である。
【0013】
前記将来ピッチ角予測手段106は、自車のピッチ角の将来値を予測する。そして、前記撮像領域記憶手段107以降は、将来ピッチ角予測手段106の出力結果をトリガーにして実施される処理である。
【0014】
前記撮像領域記憶手段107は、将来ピッチ角予測手段106の出力によりピッチ角変化(設定閾値以上)が生じると予測される場合には、前記障害物候補検知手段102から障害物候補の撮像領域を記憶する。
【0015】
前記自車ピッチ角検知手段108は、撮像領域記憶手段107が記憶した時点の所定時間後に前記撮像手段101が撮像した映像との相関演算を行い自車のピッチ角を検知する。
【0016】
前記自車ピッチ角誤差算出手段109は、自車ピッチ角検知手段108の出力と前記自車ピッチ角推定手段104の出力の差から自車のピッチ角の誤差を算出する。
【0017】
前記2次補正量算出手段110は、自車ピッチ角誤差算出手段109の出力に基づき、ピッチ角の2次的な補正量を算出し、前記障害物検知領域補正手段105に反映する。
【0018】
以下、本発明の車両用外界認識装置を実現する実施の形態を、第1実施例に基づいて説明する。
【0019】
(第1実施例)
この第1実施例は、レーザレーダの測距結果から、CCDカメラ画像の処理が起動し、その後は、レーザがロストした場合でも画像によるトラッキング処理により、ピッチ角変化にロバストな外界認識を行う例である。
【0020】
まず、構成を説明する。
図2は第1実施例の車両用外界認識装置を示す全体システム図であり、図中1はレーザレーダ、2はレーダ処理装置、3はCCDカメラ(撮像手段)、4は画像処理装置、5は外界認識装置、6は車速検出装置(自車挙動情報検知手段)、7は操舵角検出装置(自車挙動情報検知手段)、8は自動ブレーキ制御装置、9は負圧ブレーキブースタ、10は前後加速度演算装置(自車挙動情報検知手段)である。
【0021】
前記レーザレーダ1で測距した結果から前方車両を検知するレーダ処理装置2が接続され、このレーダ処理装置2では、一つ又は複数の障害物候補に対して自車両を原点とする2次元座標値の算出も実施される。
【0022】
また、自車前方の状況を正確に把握するCCDカメラ3(撮像手段)が搭載され、この撮像結果が画像処理装置4に入力される。この画像処理装置4では、画像処理により、自車レーンの白線を検知したり、その曲率等を算出する。
【0023】
前記外界認識装置5には、レーダ処理装置2の出力、画像処理装置4の出力、従属左右車輪速度を検出する車速検出装置6の出力、前輪操舵角を検出する操舵角検出装置7の出力、車速を微分処理することにより前後加速度を算出する前後加速度演算装置10の出力が取り込まれる。
【0024】
このようなハード構成から、将来ピッチ角予測手段や自車ピッチ角検出手段等の演算処理が行われ、これにより、車両用外界認識システムとしての外界認識処理が実施される。
【0025】
前記外界認識装置5の出力は、自動ブレーキ制御装置8に取り込まれる。そして、前後輪には任意な制動力を発生させる負圧ブースタ9が接続され、この負圧ブースタ9のソレノイドバルブに自動ブレーキ制御装置8からの制動力指令電圧が印加されることにより自動ブレーキ制御が実行される。
【0026】
なお、前述したレーダ処理装置2や自動ブレーキ制御装置8は、それぞれマイクロコンピュータとその周辺部分や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【0027】
次に、作用を説明する。
【0028】
図3は第1実施例の外界認識装置5にて実行される外界認識処理の手順を示すフローチャートで、以下、各ステップについて説明する。
なお、このフローチャートの処理は、設定されたサンプリング周期(=ビデオレート:30[Hz]≒33.33[ms])毎に実施される。
【0029】
ステップ201では、車速検出装置6からの車速Viと、操舵角検出装置7からの舵角Sと、前後加速度演算装置10からの加速度Vi_dotを読み込む。以下、前後加速度を単に加速度という。
【0030】
ステップ202では、次式(1)で表される演算により、加速度Vi_dotを入力して自車の推定ピッチ角度P_estを算出する(自車ピッチ角推定手段)。
P_est=G(Z)・u ...(1)
G(Z)=(cZ2+dZ+c)/(Z2-aZ+b)
u=func1(Vi_dot)
ここで、G(Z)は自車のピッチ角運動に関する公称モデルを表す伝達関数であり、Zは進み演算子、係数a,b,c,dは正数である。
【0031】
uはスカラーの値を持つ中間変数であり、物理的には現在の加速度で生じる定常的なピッチ角を意味する。ここで、func1は、図4に示されるような特性を有する関数であり、iの代わりに加速度Vi_dotを用いることで、定常的な推定ピッチ角uが算出される。
【0032】
ステップ203では、ビデオレートである33.33msに1回実施される処理であり、車載のCCDカメラ3からの撮像結果をメモリに読み込む。
【0033】
ステップ204では、レーダ処理装置2のデータ更新周期である100ms毎に(サンプリング周期が10msなので、10回に1回)実施される処理で、自車前方の検知物体の相対位置(Px,Py)と相対速度(rVy)について、捕捉した前方車の数だけレーダ処理装置2から読み込む。
【0034】
なお、レーダ処理装置2は、複数の物体について位置と相対速度を求めるだけでなく、現在の走行状況から最も自車に接触するおそれがある1物体を障害物として選択する機能を有する。以下に、複数の障害物候補の中から障害物として選択する具体例を示す。
【0035】
例えば、自車と障害物候補との相対速度ベクトルの方向に基づく方法や、自車の将来の移動軌跡と障害物候補の位置に基づく方法、等の複数の方法により障害物認識度を算出し、これらの値に重み付けした加重平均演算を行って最終的な障害物認識度を求め、障害物認識度が最も高い障害物候補を自車に接触するおそれがある障害物と判断する。
【0036】
例えば、自車と障害物候補との相対速度ベクトルに基づいて、障害物候補の過去の接触可能性と将来の接触可能性を算出し、自車の挙動状態や障害物候補との相対位置や相対速度等により障害物判断度を算出し、過去と将来の接触可能性のうち重視された一方の接触可能性が障害物判断度以上であるとき、障害物候補を自車に接触するおそれがある障害物と判断する。
【0037】
このステップ204で、レーザレーダ1が何も捕捉していなく、かつ、後述するカメラ捕捉中フラグがOFFの場合には、ステップ217へ進み、そうでない場合にはステップ205へ進む。
【0038】
次のステップ205とステップ206が、図1における障害物候補検知手段102と障害物検知領域補正手段105を表す。
【0039】
ステップ205では、ステップ204で検知した先行車の位置情報からステップ203の撮像画面上の位置情報(Px,Py)へ座標変換を行う。例えば、次式(2)により、レーザレーダ1で検知した障害物候補付近の位置から座標変換を行うことにより、障害物候補の存在する画面上の領域へ絞り込みを行う。
【0040】
ただし、レーザレーダ1がロスト中で、CCDカメラ3のみがトラッキングしている場合には、次式以降で、
obj_Y=CamTate
obj_X=CamYoko
obj_rV={obj_Y(Z0)-obj_Y(Z-1)}/0.03333
となる。
【0041】
disp_obj_YA=(yo+(focusV*CAM_h2/obj_Y))-pitch_pix
disp_obj_YB=(yo+(focusV*CAM_h/obj_Y))-pitch_pix
disp_obj_XL=(xo+(focusH/obj_Y*obj_X))-(focusH*wide/obj_Y)
disp_obj_XR=(xo+(focusH/obj_Y* obj_X))+(focusH*wide/obj_Y) ...(2)
ここで、disp_obj_**とは、絞り込んだ矩形領域の画面上の座標値であって、disp_obj_YAは矩形の上側、disp_obj_YBは矩形の下側、disp_obj_XLは矩形の左側、disp_obj_XRは矩形の右側を表している。
【0042】
また、yoは消失点の縦座標[pix]を、xoは消失点の横座標[pix]を(yo,xoはカメラ取付位置と向きで決まるパラメータ)、focusVは画素換算したカメラの鉛直方向の焦点距離[pix]であり、focusHは画素換算したカメラの水平方向の焦点距離[pix]であり、受光面が正方格子である場合には、focusV=focusHである(focusVとfocusHは画角と解像度で決まるパラメータ)。
【0043】
また、obj_Yとobj_Xは注視したい物体までの縦距離(車間距離方向)[m]と横距離(車幅方向)[m]であり、本実施例では、レーザレーダ1(ロスト中はCCDカメラ3)から得られる。
【0044】
CAM_Hはカメラの取付高さ[m]で、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さobj_H[m]を減算した値であり、wideはレーザレーダ1の横方向位置の検知精度(標準偏差[m])と障害物として考慮すべき物体の最大値との和で決まる幅[m]の半分の値を画素換算した値[pix]である。
【0045】
そして、pitch_pixとはステップ202で求めた自車の推定ピッチ角を画素換算した値[pix]であって、図1における障害物検知領域補正手段105に相当する。
【0046】
なお、本実施例の場合には、車載ナビゲーションユニットから、現在に自車の走行地点における道路勾配とそこからobj_Yだけ前方の地点での勾配の差△slopeを角度から画素へ単位換算し、これを推定ピッチ角画素換算値pitch_pixに加える(障害物検知領域補正手段に相当)。
【0047】
さらに、推定ピッチ角画素換算値pitch_pixには、後述する2次補正実施済みフラグがONの場合のみ、式(8)における△Y(=P_compを[deg]→[pix]に単位換算したもの)を加える。
【0048】
ステップ206では、ステップ205で絞り込んだ矩形領域において、その微分画像をsobelフィルターなどにより求める(sobelフィルターとは、ある画素に隣接する画素同士の輝度変化を求める演算)。そして、求めた微分画像の輝度に関する平均値と分散値を用いて設定で2値化する(2値化とは、各画素の輝度=ここで輝度変化が閾値以下の弱い場合には黒色、閾値変化の強い場合には白色と、2色に離散化する処理)。そして、2値化した画像の投影処理(輝度変化の強い白色の画素の数を画面の水平・垂直方向にそれぞれカウントする。すると車両が存在する場合には背景と車両の輝度変化が強いため、白色の画素が他の場所より多くカウントされること)によりエッジペアを検出し、前方車の画像内位置を求める。
【0049】
このとき、レーザレーダ1が捕捉中で縦距離obj_Y[m]が得られ、かつ、カメラ画像からエッジペアを検出した場合には、次式(3)により、レーザレーダ1のスキャニングで検知できる物体の幅[m]よりも相当正確な物体の幅[m]を算出することができる。
【0050】
RealWidth=EdgeWidth*obj_Y/focusH ...(3)
ここで、EdgeWidthとは、投影処理により検出したエッジペアの間隔[pix]である。
【0051】
そして、次回以降では、レーザレーダ1が急制動などによるノーズダイブで障害物候補をロストした場合でも、次式(4)により物体との縦距離[m]と横距離[m]を算出することができる。
【0052】
CamTate=(focusV*RealWidth)/(EdgeWidth)
CamYoko=((((SideEdge_R+ SideEdge_L)/2)-xo)*CamTate)/focusH ...(4)
ここで、SideEdge_RとSideEdge_Lは、投影処理にて検出したエッジペアの各々の水平方向座標値であり、EdgeWidth=SideEdge_R−SideEdge_Lの関係がある。
【0053】
なお、本実施例では、エッジペアとして縦方向のエッジ(車両の左右端に相当するもの)のみ検知して、そのエッジペアの間隔から物体との相対位置を算出しているが、横方向のエッジペア(車両の上下端に相当するもの)の間隔から算出しても良い。しかし、横方向のエッジは、道路のつなぎ目から始まり、車両の下影、及び、バンパーやテールランプ・トランク・リアワイパー・ウインドウなどと非常の多くのエッジペア候補が検出され易く、その位置も密集しているため、同じエッジペアをトラッキングすることが困難であり、遠方まで高精度な物***置を算出することができない。
【0054】
もし、カメラ画像内から本当に検知したい対象物が外れる等でエッジペアが検出できない場合には、カメラでの縦距離・横距離の算出ができないので、後述するタイマーカウンタTcを無効にし、カメラ捕捉中フラグをOFFとする。一方、エッジペアを検出した場合には、カメラ捕捉中フラグをONとする。
【0055】
以上により、画像から算出した障害物候補との相対位置の大きさ(幅)等を、後段の処理(例えば、障害物判断等)へ出力する。
【0056】
ステップ207では、ステップ202で求めた自車の推定ピッチ角度P_estが略ゼロの場合で、かつ、後述する2次補正済みフラグがONの場合には、2次補正済みフラグをリセット(=OFF)し、後述するタイマーカウンタTcも無効にする。
【0057】
ステップ208では、レーザレーダ1が捕捉中の場合は、ステップ204で取り込んだレーザレーダ1の縦距離、レーザレーダ1がロスト中でカメラ捕捉中の場合には、ステップ206で求めたカメラからの縦距離と、ピッチングによるロストが許されない距離とを比較し、ロストが許されない距離の方が大きい場合にはステップ217へ、そうでない場合にはステップ209へ進む。
【0058】
なお、本実施例におけるロストが許されない距離Lthとは、次式(5)により算出する。
【0059】
Lth=Vi*T-0.5*Ac*T2 ...(5)
T=Vi/Ac
ここで、Viはステップ201で検出した自車の車速[m/s]であり、Acは後段の制御系が発生可能な最大減速度[m/s2]であり、システムの仕様により決まる定数である。
【0060】
ステップ209では、後述する2次補正済みフラグがONの場合には、ステップ217へ、そうでない場合にはステップ210へ進む。
【0061】
ステップ210では、後述するタイマーカウンタTcが有効にセットされている場合には、本実施例のサンプリング周期である33msをインクリメントする。このタイマーカウンタTcが、後述する所定時間Δt以上の場合にはステップ215へ、それ以外の場合にはステップ211へ進む。
【0062】
ステップ211では、ステップ201の出力から将来の自車のピッチ角変化を予測する(図1の将来ピッチ角予測手段106に相当)。本実施例では、式(1)の定常的な推定ピッチ角度uの値と推定ピッチ角度P_estの値の差=△P[deg]を求めることで、将来のピッチ角変化を予測する。
【0063】
ステップ212では、ステップ212で算出したピッチ角度差=△Pの絶対値と、次式で算出されるピッチ変化閾値Pthを比較する。ここで、△P>Pthの場合にはステップ213へ、そうでない場合にはステップ217へ進む Pth=K・arctan(obj_H/obj_Y) ...(6)ここで、Kは絞り込み領域から検知したい対象物が外れても許容できる割合を示していて、本実施例では、K=0.3(絞り込み領域の外に30%までなら対象物が出ても許容可能)とする。また、obj_Hは画像領域の高さ、obj_Yは対象物までの縦距離を示す。
【0064】
ステップ213では、ステップ205で求めた絞り込んだ矩形領域の画面上の上側座標値disp_obj_YAと絞り込んだ矩形領域の画面上の下側座標値disp_obj_YB、及び、ステップ206で求めた投影処理にて検出したエッジペアの各々の水平方向座標値SideEdge_RとSideEdge_Lで、更に絞り込んだ矩形領域を基準テンプレートとして記録する。これと同時に、タイマーカウンタTcを有効とし、ゼロクリアする。
【0065】
ステップ214では、ステップ213で有効にセットされたタイマーカウンタTcの値の比較閾値である所定時間△tを、次式(7)により設定する。
【0066】
△t=func2(dist/obj_rV,Tpd) ...(7)
ここで、Tpdは自車のピッチ角ダイナミクスモデルの時定数に基づき算出する定数であり、本実施例では、Tpd=0.2[s]とする。また、distはパターンマッチアルゴリズムで許容できる基準テンプレートの対象物体の大きさとサーチエリア内の対象物体の大きさとの差を距離に換算したものであり、本実施例ではdist=2.5[m]とする。
【0067】
そして、obj_rVはステップ204で検知した物体との相対速度[m/s]である。そして、func2(j,k)とは、j>kならkを返し、それ以外はjを返す関数である。
【0068】
つまり、相対速度が45km/h以上では、所定時間△tは相対速度に応じて、パターンマッチングが可能な範囲で、なるべくピッチ角変化を大きく発生させるように機能し(これにより誤差の吸収分が大きくなり、2次補正の効果が大きくなる)、それ以外の範囲では、ピッチ角変化が大きすぎてパターンマッチングをする前にレーダもカメラ画像も物体を見失うことが無いように、ピッチ角挙動から制限を設ける。
【0069】
なお、本実施例では、所定時間△tは相対速度に応じて可変としたが、検知物体との縦距離との関数としても良いし、また、適当な定数としても良い。これにより、所定時間△tが設定されたら、ステップ217へ進む。
【0070】
ステップ215では、今回の処理においてステップ203で撮像したカメラ入力画像と△t秒前にステップ213で記憶した基準テンプレートとのパターンマッチングを行い、カメラ画像入力における最も相関が高い座標(Xpm,Ypm)を得る。この縦方向座標Ypmと基準テンプレートの中心座標における縦方向座標Ysとの差△Y[pix]から、次式(8)により所定時間△t秒間に変化した自車のピッチ角P_detect[deg]を計測する。
【0071】
P_detect=△Y*iAv/iSv ...(8)
ここで、iAvとはCCDカメラ3の鉛直方向の画角[deg]を表し、iSvはCCDカメラ3の鉛直方向の有効画素数[pix]を表していて、どちらも動的にズーム制御を行わない限りには定数パラメータである。
【0072】
そして、今回のサンプリングにおける推定ピッチ角度P_estと上式(8)で求めた検出ピッチ角P_detectの差であるピッチ角差P_compを求め、2次補正済みフラグをONとする。
【0073】
ステップ216では、ステップ214で求めた所定時間△tと、ステップ215で求めたピッチ角差P_compから、次式により式(1)の伝達関数の係数a,b,c,dを変更する。」
【0074】
temp=func3(△t,P_comp)
a=func4(temp)
b=func5(temp)
c=func6(temp)
d=func7(temp)
ここで、func3は図5で記述される特性を有する関数、func4は図6で記述される特性を有する関数、func5は図7で記述される特性を有する関数、func6は図8で記述される特性を有する関数、func7は図9で記述される特性を有する関数である。
【0075】
なお、本実施例では、自車ピッチ角モデルをセルフチューニングする構成にしたが、ノミナルモデルから時不変な構成にしても良い。
【0076】
ステップ217では、自車ピッチ角推定モデルなどで用いる変数の過去値を更新して、今回のサンプリング周期における処理を終了する。
【0077】
[障害物検知領域補正作用]
先行車等の障害物候補が、レーザレーダ1でもCCDカメラ3でも何も捕捉していない場合には、図3にフローチャートにおいて、ステップ201→ステップ202→ステップ203→ステップ204へと進み、このステップ204からステップ217へ進み、過去値が更新される。
【0078】
そして、先行車等の障害物候補が、レーザレーダ1かCCDカメラ3かの少なくとも何れかで捕捉された場合には、図3にフローチャートにおいて、ステップ204からステップ205へと進み、ステップ205において、レーザレーダ1またはCCDカメラ3の測距結果から、入力画像に絞り込みが行われる。
【0079】
そして、先行車等の障害物候補のロスト禁止距離(ピッチングによるロストが許されない距離)が測距距離以下の場合、図3にフローチャートにおいて、ステップ205からステップ206→ステップ207→ステップ208→ステップ209→ステップ210→ステップ211へと進み、ステップ211において、将来のピッチ角変化が予測される。
【0080】
そして、ステップ212において、将来のピッチ角変化量△Pがピッチ変化閾値Pthを超えたと判断された場合、ステップ213において、基準テンプレートが記憶され、同時に、タイマーカウンタTcが有効とされる。次のステップ214において、タイマーカウンタTcの値の比較閾値である所定時間△tが設定される。
【0081】
そして、この状態のままタイマーカウンタTcが所定時間△t以上になると、ステップ210からステップ215へ進み、ステップ215において、パターンマッチングにより2時補正するピッチ角△P[pix]とピッチ角誤差P_comp[deg]を算出し、2次補正実施済みフラグがONとされる。次のステップ216では、ピッチ角誤差P_compから、自車のピッチ角推定モデルをセルフチューニングする。
【0082】
そして、ステップ215において、2次補正実施済みフラグがONとされると、次のサンプリング周期では、図3にフローチャートにおいて、ステップ201→ステップ202→ステップ203→ステップ204→ステップ205→ステップ206→ステップ207→ステップ208→ステップ209→ステップ217へと進む流れとなる。すなわち、ピッチ角誤差P_compを考慮して領域の絞り込みを行うパターンマッチングによる2次補正は、ステップ208とステップ209とステップ210の各条件を共に満足するときに1回だけ行われる。
【0083】
その後、推定ピッチ角が略ゼロになると、ステップ207において、2次補正済みフラグをOFFとし、タイマーカウンタTcも無効にされる。
【0084】
以上により、レーダで検知した最も注目すべき障害物候補に対してカメラ画像内で大雑把な領域に絞り込み、その後、自車の急激なピッチ角変化が予測される場合にのみ、更に絞り込んだ領域を基準テンプレートとして記憶する。そして、所定時間△t秒後に入力されたカメラ画像と基準テンプレートとの比較を行い、実際のピッチ角を検出する。そして、検出ピッチ角と推定ピッチ角との差を考慮して、その後は領域の絞り込みを実施する。さらには、推定モデルを調整する。
【0085】
これにより、急制動などが発生するシーンで、レーダの鉛直方向の視野角を超えるピッチ角変動が生じた場合でも、入力画像の絞り込み領域は推定ピッチ角で1次補正され、さらに、検出ピッチ角と推定ピッチ角との誤差に基づき2次補正される。さらには、そのピッチ誤差に基づき自車の推定モデルもより適切なものへ調整される。そして、この補正量を決定する処理は、急なピッチ角変動の発生が予測されるときにのみ機能するため、演算時間の増加を抑えることができる。
【0086】
このため、大きなピッチ角変化に対応しながらも、処理速度の増加を抑えた外界認識システムの構成が可能である。
【0087】
[具体例]
まず、自車の加速度に関する動特性モデルから自車のピッチ角を推定し、これにより映像画面無いの絞り込むエリアの位置を補正する場合、タイヤの空気圧変化、積載物の位置による重心点の変化などにより、動特性モデルと実際の挙動とのズレが生じるため、特に、急な加減速に対して瞬間的な実ピッチ角と推定ピッチ角との誤差が大きくなり、絞り込むエリアの位置に誤りが生じ、検知すべき対象がエリアから外れる場合がある。
【0088】
例えば、図10に示すように、車両の加速度が急激に立ち上がる急な加速時の場合で、連続的なピッチ角誤差を観測すると、時刻t1(仮に本実施例の処理を行った場合、将来のピッチ変化予測値△P>Pthとなる時刻)では、ピッチ角実測値とピッチ角推定値とのピッチ角誤差ε1は小さい。
【0089】
次に、時刻t2(仮に本実施例の処理を行った場合、タイマーカウンタTc>△tとなる時刻=パターンマッチングを行う時刻)では、ピッチ角実測値とピッチ角推定値とのピッチ角誤差ε2(>ε1)となり、時間の経過と共に誤差が拡大する。
【0090】
次に、誤差が最大となる時刻t3では、ピッチ角誤差ε3は(w1+w2)となる。ここで、w1は画像処理アルゴリズムでそもそも有するピッチ角変動の許容範囲、w2は画像処理アルゴリズムで許容できない範囲、つまり、ロスト範囲である。
【0091】
そこで、本実施例によりモデルを調整した場合には、図11に示すように、将来のピッチ変化予測値△P>Pthとなる時刻t1では、ピッチ角実測値とピッチ角推定値とのピッチ角誤差ε1は、初期的なものでその誤差幅も小さいため許容できる。
【0092】
次に、時刻t2では、ピッチ角実測値とピッチ角推定値とのピッチ角誤差ε2(>ε1)となり、タイマーカウンタTc>△tとなり、パターンマッチングによる2次補正が開始される。
【0093】
次に、連続的なピッチ角誤差を観測している場合に誤差が最大となる時刻t3では、ピッチ角誤差ε3'は(=w1−w2)、つまり、画像処理アルゴリズムでそもそも有するピッチ角変動の許容範囲w1未満となる。
【0094】
このように、w2<ε2であれば、2次補正により、画像処理アルゴリズムで許容できない範囲を無くすことができ、検知すべき対象がエリアから外れるロストを解消できる。
【0095】
次に、効果を説明する。
第1実施例の車両用外界認識装置にあっては、下記に列挙する効果を得ることができる。
【0096】
(1) ステップ212において、ピッチ角変化が生じると予測される場合、ステップ213において、障害物候補の撮像領域としての基準テンプレートを記憶し、それから所定時間△t秒後にステップ215及びステップ216において、記憶した基準テンプレートとカメラ画像とのパターンマッチングを行うことにより自車のピッチ角を検出し、この検出ピッチ角とノミナルモデルから算出した推定ピッチ角との誤差を求め、その誤差に基づき注視すべき絞り込み領域を補正するようにした。
【0097】
これにより、推定ピッチ角と実際のピッチ角との誤差の把握からノミナルモデルに含まれるモデル化誤差の影響を低減でき、かつ、その誤差の把握は、ピッチ角変化が生じると予測される場合にのみ実施するために演算負荷増加は小さく、自車の急なピッチ角変動に対応することが可能となる。
【0098】
(2) ステップ212において、将来のピッチ変化予測値△P>Pthのときにのみ、ステップ213以降の2次補正処理を実施するようにしたため、処理時間の重いパターンマッチング演算負荷を大幅に軽減することができる。
【0099】
(3) ステップ216において、基準テンプレートを記憶してからパターンマッチングを行うまでの所定時間△tとピッチ角誤差P_compに基づき、自車ピッチ角ダイナミクスを同定し、変更するようにした。
【0100】
これにより、ダイナミクスに含まれるタイヤ空気圧変化や車両重量変化等によるモデル化誤差を吸収するための、障害物検知領域補正において、より高精度な補正を行うことができ、自車の急なピッチ角変動に対応することが可能となる。
【0101】
(4) ステップ212において、ピッチ角変化量の設定閾値Pthを、障害物候補検知手段で物体を検知するために処理する画像領域(=絞り込み領域)の高さと、検知したい物体までの距離とに応じて決定する。
【0102】
これにより、絞り込み領域内に物体を所定以上の割合で収めたい場合の許容ピッチ角が定量化できるため、適切な閾値Pthを設定することができる。
【0103】
(5) ステップ208において、後段の走行制御系にとってピッチング変動でのロストが許される領域(遠方)では、大きなピッチング変動が予測される場合でもステップ209以降の処理を実施しない。
【0104】
これにより、走行制御系では問題とならない状況ではロストを許容することで、画像処理の演算速度を上げることができるため、将来起こり得る予期せぬブライドコーナから停止車両の急な出現など、走行制御系で必要なシーンで素早く対応することができる。
【0105】
(6) ステップ215において、ピッチ角の2次補正を1回実施すると、2次補正済みフラグをONとし、ステップ207において、推定ピッチ角が略ゼロになるまでは、ステップ209からステップ217へ進む流れとし、2回目の補正は実施しない。
【0106】
このため、連続的にピッチ角変化が大きいことが予測される場合でも、演算時間の重いパターンマッチング処理は、1回のみ実施するため、画像処理の負担を低減することができる。
【0107】
(7) ステップ214において、基準テンプレートを記憶してからパターンマッチングを行うまでの所定時間△tの長さを、物体と自車との相対速度に基づいて設定する。
【0108】
これにより、撮像領域記憶手段が記憶した注目領域のパターンと、△t秒後の撮像結果における注目領域のパターンとの画像上の大きさ変化を制限することができるため、パターンマッチングを精度良く実施し易い。
【0109】
(8) ステップ205において、自車のピッチ角に加えてナビ情報やインフラ情報などからの道路勾配変化を考慮して絞り込み領域の補正を行う。
【0110】
このため、自車の位置と注視すべき物体の位置において、道路勾配が異なる場合にも高精度な補正を行うことができる。
【0111】
(他の実施例)
以上、本発明の車両用外界認識装置を第1実施例に基づき説明してきたが、具体的な構成については、この第1実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【図面の簡単な説明】
【図1】本発明実施の形態の車両用外界認識装置を示す基本構成図である。
【図2】第1実施例の車両用外界認識装置を示す全体システム図である。
【図3】第1実施例の外界認識装置にて実行される外界認識処理の手順を示すフローチャートである。
【図4】第1実施例装置の外界認識処理にて用いられる関数1(func1)の特性を表す図である。
【図5】第1実施例装置の外界認識処理にて用いられる関数3(func3)の特性を表す図である。
【図6】第1実施例装置の外界認識処理にて用いられる関数4(func4)の特性を表す図である。
【図7】第1実施例装置の外界認識処理にて用いられる関数5(func5)の特性を表す図である。
【図8】第1実施例装置の外界認識処理にて用いられる関数6(func6)の特性を表す図である。
【図9】第1実施例装置の外界認識処理にて用いられる関数7(func7)の特性を表す図である。
【図10】急に車両の加速度を立ち上げた場合の加速度特性とピッチ角実測値およびピッチ角推定値の対比特性を示すタイムチャートである。
【図11】第1実施例の外界認識処理を実行した場合のピッチ角実測値およびピッチ角推定値の対比特性を示すタイムチャートである。
【符号の説明】
1 レーザレーダ
2 レーダ処理装置
3 CCDカメラ
4 画像処理装置
5 外界認識装置
6 車速検出装置
7 操舵角検出装置
8 自動ブレーキ制御装置
9 負圧ブレーキブースタ
10 前後加速度演算装置
101 撮像手段
102 障害物候補検知手段
103 自車挙動情報検知手段
104 自車ピッチ角推定手段
105 障害物検知領域補正手段
106 将来ピッチ角予測手段
107 撮像領域記憶手段
108 自車ピッチ角検知手段
109 自車ピッチ角誤差算出手段
110 2次補正量算出手段
Claims (7)
- 自車前方の状況を撮像する撮像手段と、
前記撮像手段の出力から自車前方の障害物候補を検知する障害物候補検知手段と、
自車の挙動情報を検知する自車挙動情報検知手段と、
前記自車挙動情報検知手段の出力から自車のピッチ角の推定値である推定ピッチ角度を算出する自車ピッチ角推定手段と、
前記自車ピッチ角推定手段の出力に応じて、前記障害物候補検知手段の処理領域を補正する障害物検知領域補正手段と、
を備えた車両用外界認識装置において、
現在の加速度で生じる自車の定常的な推定ピッチ角と前記推定ピッチ角度との差を将来のピッチ角変化量として算出する将来ピッチ角予測手段と、
前記将来ピッチ角予測手段により算出されたピッチ角変化量が設定閾値以上のときにのみ、ピッチ角変化が生じると予測し、前記障害物候補検知手段から障害物候補の撮像領域を記憶する撮像領域記憶手段と、
前記撮像領域記憶手段が記憶した時点から、自車と障害物候補との相対関係に基づき設定された当該障害物候補を見失うことなく相関演算可能な最長の許容時間である所定時間後に前記撮像手段が撮像した映像との相関演算を行い自車のピッチ角を検知する自車ピッチ角検知手段と、
前記自車ピッチ角検知手段の出力と前記自車ピッチ角推定手段の出力の差から自車のピッチ角の誤差を算出する自車ピッチ角誤差算出手段と、
前記自車ピッチ角誤差算出手段の出力に基づき、ピッチ角の2次的な補正量を算出し、前記障害物検知領域補正手段に反映する2次補正量算出手段と、
を設けたことを特徴とする車両用外界認識装置。 - 請求項1に記載の車両用外界認識装置において、
前記2次補正量算出手段は、前記自車ピッチ角誤差算出手段の出力値と前記所定時間に基づき、前記自車ピッチ角推定手段の持つ自車ピッチ角ダイナミクスモデルを変更することを特徴とする車両用外界認識装置。 - 請求項1または請求項2に記載の車両用外界認識装置において、
前記撮像領域記憶手段は、ピッチ角変化量の設定閾値を、前記障害物候補検知手段で物体を検知するために処理する領域の高さと、検知したい物体までの距離とに応じて決定することを特徴とする車両用外界認識装置。 - 請求項1ないし請求項3の何れか1項に記載の車両用外界認識装置において、
ピッチング変動により前記障害物候補検知手段が障害物候補を見失う状態であるロストが許されない、減速で前記障害物候補を回避不能と予測される距離に対して、検知したい物体までの距離が自車に接近した場合にのみ、前記撮像領域記憶手段以降の処理を実施することを特徴とする車両用外界認識装置。 - 請求項1ないし請求項4の何れか1項に記載の車両用外界認識装置において、
前記撮像領域記憶手段以降の処理は、1回実施すると自車のピッチ角が略ゼロになるまで2回目以降の実施を行わないことを特徴とする車両用外界認識装置。 - 請求項1ないし請求項5の何れか1項に記載の車両用外界認識装置において、
前記自車ピッチ角検知手段は、所定時間を物体との相対速度に基づいて設定することを特徴とする車両用外界認識装置。 - 請求項1ないし請求項6の何れか1項に記載の車両用外界認識装置において、
前記障害物検知領域補正手段は、自車のピッチ角だけでなく、自車の位置から障害物候補の位置までの距離における道路の勾配の変化に基づき、障害物検知領域の補正を行うことを特徴とする車両用外界認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002034930A JP3951734B2 (ja) | 2002-02-13 | 2002-02-13 | 車両用外界認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002034930A JP3951734B2 (ja) | 2002-02-13 | 2002-02-13 | 車両用外界認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003237509A JP2003237509A (ja) | 2003-08-27 |
JP3951734B2 true JP3951734B2 (ja) | 2007-08-01 |
Family
ID=27777263
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002034930A Expired - Fee Related JP3951734B2 (ja) | 2002-02-13 | 2002-02-13 | 車両用外界認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3951734B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101257871B1 (ko) * | 2011-08-05 | 2013-04-23 | 엘지전자 주식회사 | 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007058751A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2007266930A (ja) * | 2006-03-28 | 2007-10-11 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
JP2014145731A (ja) * | 2013-01-30 | 2014-08-14 | Toyota Motor Corp | 物標検出装置及び物標検出方法 |
JP6409711B2 (ja) * | 2015-08-07 | 2018-10-24 | 株式会社デンソー | 走行環境認識装置 |
JP7145770B2 (ja) * | 2019-01-25 | 2022-10-03 | 株式会社デンソーアイティーラボラトリ | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3765862B2 (ja) * | 1996-02-15 | 2006-04-12 | 本田技研工業株式会社 | 車両用環境認識装置 |
JPH1021411A (ja) * | 1996-07-05 | 1998-01-23 | Nissan Motor Co Ltd | 走行路認識装置 |
JPH1139464A (ja) * | 1997-07-18 | 1999-02-12 | Nissan Motor Co Ltd | 車両用画像処理装置 |
JP3606039B2 (ja) * | 1998-03-31 | 2005-01-05 | 日産自動車株式会社 | 道路形状検出装置 |
JP3808287B2 (ja) * | 2000-06-27 | 2006-08-09 | 本田技研工業株式会社 | 位置検出装置 |
JP2002039747A (ja) * | 2000-07-24 | 2002-02-06 | Fuji Electric Co Ltd | 距離測定装置 |
-
2002
- 2002-02-13 JP JP2002034930A patent/JP3951734B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101257871B1 (ko) * | 2011-08-05 | 2013-04-23 | 엘지전자 주식회사 | 소실점 및 광류를 기반으로 한 검출 장치 및 검출 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2003237509A (ja) | 2003-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10620000B2 (en) | Calibration apparatus, calibration method, and calibration program | |
EP1361543B1 (en) | Determining object motion from optical flow analysis | |
WO2019116958A1 (ja) | 車載環境認識装置 | |
JP4052650B2 (ja) | 障害物検出装置、方法及びプログラム | |
JP5089545B2 (ja) | 道路境界検出判断装置 | |
JP3776094B2 (ja) | 監視装置、監視方法および監視用プログラム | |
JP5251800B2 (ja) | 対象物追跡装置及びプログラム | |
US20060115115A1 (en) | Vehicle surroundings monitoring apparatus | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
JP2002352225A (ja) | 障害物検出装置及びその方法 | |
JP4670528B2 (ja) | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 | |
JP4967758B2 (ja) | 物体移動の検出方法及び検出装置 | |
JP6768554B2 (ja) | キャリブレーション装置 | |
JP4256992B2 (ja) | 障害物検出装置 | |
JP7137464B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム | |
JP3951734B2 (ja) | 車両用外界認識装置 | |
JP2005170290A (ja) | 障害物検出装置 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
JP2019129341A (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム | |
US7899212B2 (en) | Image processing apparatus and image processing method | |
JP2013148355A (ja) | 車両位置算出装置 | |
JP4847303B2 (ja) | 障害物検出方法、障害物検出プログラムおよび障害物検出装置 | |
JP2020087210A (ja) | キャリブレーション装置及びキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041027 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070416 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |