JP4868964B2 - 走行状態判定装置 - Google Patents

Description

本発明は、例えば車両に搭載されたカメラにより撮像される進行方向前方の道路画像から、特に白線等のレーンマーカーが検出されない場合であっても上記車両の蛇行を検出するに好適な走行状態判定装置に関する。

車両に搭載されたカメラにより撮像される進行方向前方の道路画像から該車両の蛇行を検出する技術として、道路に付されたレーンマーカーである白線を検出し、その白線情報から自車位置を求めることが提唱されている（例えば特許文献１〜３を参照）。また車両の蛇行状態から運転者の覚醒状態を推定し、居眠り運転防止の為の警報を発することも提唱されている。
特開２００５−２６７３８４号公報 特開２００５−２５８９３６号公報 特開２００５−２８４３３９号公報

しかしながら雪道や非舗装道路を走行中の場合には、その道路画像から白線を検出することが困難である。そしてこの場合には、自車位置を検出する上での指標となる白線位置を特定することができないので、蛇行を検出することができないと言う問題がある。特に車両に搭載されたカメラにより撮像される進行方向前方の道路画像は、該車両の進行方向（ヨー角θ）や前後方向の傾き（ピッチ角ψ）等の車両姿勢の影響を受けて変化し易いので、上述した指標としての白線が検出できない場合には、その画像処理自体に支障が生じることになる。

本発明はこのような事情を考慮してなされたもので、その目的は、例えば車両に搭載されたカメラにより撮像される進行方向前方の道路画像である路面を撮像した鳥瞰画像から白線等のレーンマーカーが検出されない場合であっても、上記車両の進行に伴う横ずれ量を、ひいては該車両の蛇行を確実に検出することのできる走行状態判定装置を提供することにある。

上述した目的を達成するべく本発明に係る走行状態判定装置は、移動体が進行する路面を平面と看做し得ること、および平面同氏の比較処理は負担が軽く、リアルタイム性に優れていることに着目したものであって、
基本的には車両等の移動体に搭載されて該移動体が進行する路面を、好ましくは進行方向前方の道路を斜め上方から撮像してその鳥瞰画像を得るカメラと、前記路面が平面であると看做して上記鳥瞰画像を座標変換して前記路面をその直上から視野した俯瞰画像を求める座標変換手段とを具備して構成される。

そして特に本発明に係る走行状態判定装置は、
第１の撮像タイミングで得られた鳥瞰画像から第１の俯瞰画像を求めると共に、上記第１の撮像タイミングと所定時間異なる第２の撮像タイミングで得られた鳥瞰画像から、前記所定時間における前記移動体の前記路面上での進行状態の変化を複数仮定し、これらの複数の仮定に基づいて前記第１の俯瞰画像と同一路面領域と看做し得る第２の俯瞰画像をそれぞれ求め［第１ステップ］、
前記第１の俯瞰画像と上記複数の第２の俯瞰画像との類似度をそれぞれ計算し［第２ステップ］、
これらの類似度を相互に比較してその類似度が最大となる第２の俯瞰画像を求め［第３ステップ］、
上記類似度が最大となる第２の俯瞰画像を得たときに仮定した前記進行状態の変化から該移動体の進行状態の変化を求める［第４ステップ］
ことを特徴としている。

好ましくは前記第１の俯瞰画像と前記第２の俯瞰画像との類似度の計算は、俯瞰画像間の差分絶対値和［ＳＡＤ；Sum of Absolute Difference］、換言すれば対応画素間の差の絶対値の総和を計算することにより実行される。そしてその類似度が最大となるもの、つまり計算されたＳＡＤ値が最小となる第２の俯瞰画像を、上記第１の俯瞰画像と同一路面領域を示すものとして求める。

また前記座標変換手段は、前記移動体が進行する路面を平面と看做し、上記路面を一定の高さｈから一定の伏角φで撮像して求められる平面画像と前記路面との幾何学的位置関係を示すホモグラフィＨを用いて鳥瞰画像を俯瞰画像に変換するものとして実現される。ちなみに前記第１の俯瞰画像を求めるホモグラフィＨ_Ｐは、その内部パラメータ行列Ａが既知であるとして次のように求められる。

また前記第２の俯瞰画像を求めるホモグラフィＨ_Ｎは、前記所定時間における前記移動体の移動距離がＬ、その進行方向をヨー角θとして次のように求められる。そして前述した移動体の仮定される進行方向毎に前記第１の俯瞰画像と同一路面領域と看做し得る第２の俯瞰画像は、上記ヨー角θを変えることにより複数枚求められる。尚、前記所定時間における前記移動体の移動距離Ｌは、速度センサにより計測される該移動体の移動速度から求められる。

また本発明に係る走行状態判定装置は、移動体の進行方向（車両の前後方向）の傾き姿勢（ピッチ角）を考慮して、前記第２の撮像タイミングで得られた鳥瞰画像から、予め仮定した前記移動体の進行方向毎の該移動体の前後の傾き姿勢毎に前記第１の俯瞰画像と同一路面領域と看做し得る第２の俯瞰画像をそれぞれ求め［第１ステップ］、
前記第１の俯瞰画像と上記複数の第２の俯瞰画像との類似度を相互に比較してその類似度が最大となる第２の俯瞰画像を特定し、この第２の俯瞰画像を得た前記移動体の進行方向とその傾き姿勢をそれぞれ求める［第２〜４ステップ］
ことを特徴としている。

このときの前記第２の俯瞰画像を求めるホモグラフィＨ_Ｎは、前記移動体の前後の傾き姿勢をピッチ角ψとしたとき、前記カメラの撮像光軸と路面とのなす角度が、移動体に対するカメラの取り付け角度によって定まる前述した伏角φに上記ピッチ角ψが加わったものとして示されるので、次のように求められる。そして前述した如く仮定した移動体の進行方向毎の該移動体の前後の傾き姿勢に応じた前記第１の俯瞰画像と同一路面領域と看做し得る複数の第２の俯瞰画像は、上記ヨー角θとピッチ角ψとをそれぞれ変えることにより求められる。

上述した構成の走行状態判定装置によれば、移動体が進行する路面を平面と看做し、上記路面を斜め上方から撮像した鳥瞰画像を座標変換して上記路面をその直上から視野した俯瞰画像に変換するので、その画像位置の違いに拘わることなくその画像情報を遠近感のない同一スケールのものとして捉えることが可能となる。その上で第１の撮像タイミングにて求められた鳥瞰画像を座標変換した求められた第１の俯瞰画像を基準とし、上記第１の撮像タイミングと所定時間異なる第２の撮像タイミングで得られた鳥瞰画像から、前記所定時間における前記移動体の前記路面上での進行状態の変化を複数仮定し、これらの複数の仮定に基づいて前記第１の俯瞰画像と同一路面領域と看做し得る第２の俯瞰画像を複数枚求め、これらの第２の俯瞰画像と前記第１の俯瞰画像との類似度からその類似度が最も高い第２の俯瞰画像を、前記第１の俯瞰画像と同一路面領域のものであるとして検出するので、この第２の俯瞰画像を求めたときに仮定した条件、上記所定時間における移動体の進行状態の変化として最も確からしいものを上記複数の仮定の中から抽出する。

従って路面を撮像した鳥瞰画像から白線等の指標が検出できない場合であっても、撮像タイミングの異なる複数の路面画像情報から移動体の進行状態の変化を簡易に、しかも精度良く検出することができる。特に鳥瞰画像を座標変換して求めた俯瞰画像を用いるので、撮像タイミングの異なる画像間での比較処理が鳥瞰画像を用いる場合に比較して簡単であり、その処理負担（計算量）を大幅に軽減することができる。

ちなみに鳥瞰画像においては路面情報が遠近表示され、画像の縦方向の位置に応じてその距離スケールが変化するので、撮像タイミングの異なる鳥瞰画像間で画像マッチングを行う場合には上記撮像タイミングのずれ（移動体の進行距離）に応じた画像情報の縮小・拡大変換処理が必要となる。しかも移動体の進行方向のずれに応じた画像補正も必要となるので、その計算量が膨大化することが否めない。この点、本装置によれば路面をその直上から視野した俯瞰画像を用いるので、その計算量を大幅に少なくすることができる。また鳥瞰画像を座標変換して俯瞰画像を得るに際しても、カメラの光軸が移動体の進行方向と常に一致していると言う仮定の下で簡易に実行することもできるので、この点でもその計算量を減らすことができ、車両の走行中にその横ずれ量、ひいては蛇行の有無を略リアルタイムに判定する上で非常に好ましい等の効果が奏せられる。

以下、図面を参照して本発明の実施形態に係る走行状態判定装置について、車両に搭載されたカメラを用いてその進行方向前方の道路画像を撮像し、撮像した道路画像から上記車両の幅方向（車両進行方向と直交する方向）への横ずれ量を検出する場合を例に説明する。
図１は車両（トラック）１に搭載したカメラ２と、このカメラ２が撮像する車両進行方向前方の道路３の撮像領域との関係を示している。カメラ２は、例えば車両１の運転席上方の位置に、その進行方向の道路３を斜め上方から所定の角度で視野するようにその光軸が調整されて固定されている。このカメラ２により撮像される車両進行方向前方の道路画像（カメラ画像）は、高さｈの位置から該カメラ２の光軸と道路３の面とがなす角度、つまり伏角φが一定の、いわゆる遠近感のある鳥瞰画像である。

そして走行状態判定装置は、図２にその基本的な構成を示すようにカメラ２から得られた鳥瞰画像Ｇを後述するように座標変換して、前記道路３をその直上から視野した俯瞰画像Ｐ,Ｎを求める座標変換部４と、後述するように撮像タイミングを異にする複数の鳥瞰画像からそれぞれ求められた俯瞰画像Ｐ,Ｎ間の類似度を計算して前記車両１の進行方向θとその横ずれ量Ｗを検出する横ずれ量検出部５とを備えて構成される。特にこの横ずれ量検出部５は、基準タイミングでの第１の俯瞰画像Ｐと、車両１の進行方向に応じて求めた複数の第２の俯瞰画像Ｎとの類似度をそれぞれ計算し、これらの類似度を相互に比較することによって前記第１の俯瞰画像Ｐと同一路面領域を示している第２の俯瞰画像Ｎを求め、その第２の俯瞰画像Ｎを求めた前記座標変換の情報から前記車両１の進行方向θとその横ずれ量Ｗを検出するように構成される。

尚、前記車両１が該車両１の傾き姿勢を検出する姿勢センサ（図示せず）を搭載している場合には、該センサを用いて検出される傾き姿勢に応じて前述した座標変換部４で用いられる座標変換式に対する姿勢角補正を行うようにしても良い。このような車両１の姿勢角補正を施して前述した鳥瞰画像Ｇから俯瞰画像Ｐ,Ｎをそれぞれ求めるようにすれば、その変換精度を高めることができるので、より精度の高い車両１の横ずれ量の検出、ひいてはカーブ量や蛇行量の検出を行うことが可能となる。尚、横ずれ量、カーブ量、蛇行量については後述する。

ちなみに上記横ずれ量検出部５にて検出された車両１の横ずれ量は、例えば居眠り検知装置６に与えられて該車両１の運転者の覚醒度の判定に供される。この居眠り検知装置６の詳細な説明については省略するが、居眠り検知装置６は車両１の蛇行状態から運転者の運転集中力低下を判定（推定）し、運転者が眠気を催しているとき、つまり覚醒度が低下していると推定されるときに警報を発するものである。また前記横ずれ量検出部５にて、後述するように車両１の前後方向の傾き姿勢（ピッチ角）が検出される場合には、例えばその情報がヘッドランプレベリング制御装置７に与えられてヘッドランプ（図示せず）の照射方向の角度制御に、つまり上向き角度の自動調整に利用される。

図３は、基本的には上述したように座標変換部４と横ずれ量検出部５とを備えて構成される走行状態判定装置での、横ずれ量検出の概略的な処理手順を示している。この走行状態判定装置においては、例えば１／３０秒のフレーム周期で連続的に道路画像を撮像する前記カメラ２のフレーム画像（鳥瞰画像）から、横ずれ量検出の基準となる第１の撮像タイミング、およびこの第１の撮像タイミングから所定時間後の第２の撮像タイミングにおいてそれぞれ求められるフレーム画像（鳥瞰画像）、例えば現フレーム画像とその次のフレーム画像とから第１の俯瞰画像Ｐおよび第２の俯瞰画像Ｎをそれぞれ求めるものとなっている。現フレーム画像からの第１の俯瞰画像Ｐの生成は、前述したカメラの取り付け高さｈと、道路３を視野する伏角（カメラ２の光軸と道路面とがなす角度）φとに従って決定される鳥瞰画像と俯瞰画像との関係を示す下記に示すホモグラフィＨ_Ｐに従って上記現フレーム画像（鳥瞰画像）を座標変換することによって行われる［ステップＳ１］。

尚、上記ホモグラフィＨ_Ｐは、２枚の平面間で得られる座標の１対１の対応関係、或いはその関係を表す行列であり、図４に示すように道路３を平面と看做したとき、その道路面をカメラ画像である画像平面に投影したものとして捉えることができる。従ってこのような２枚の平面間の幾何学的位置関係をホモグラフィＨ_Ｐとして予め求めておけば、このホモグラフィＨ_Ｐを用いてフレーム画像（鳥瞰画像）から道路３の平面画像を示す俯瞰画像を容易に求めることができる。

また次フレーム画像からの第２の俯瞰画像Ｎの生成は、前述したカメラの取り付け高さｈと、道路３を視野する伏角（カメラ２の光軸と道路面とがなす角度）φに加えて、現フレーム画像と次フレーム画像間の時間差（所定時間）に車両１が進行した距離Ｌと、予め仮定した該車両１の進行方向、具体的には車両１の向きを示すヨー角θとに従って決定される鳥瞰画像と俯瞰画像との関係を示す下記に示すホモグラフィＨ_Ｎに従って現フレーム画像を座標変換することによって行われる［ステップＳ２］。

尚、車両１が進行した距離Ｌは、速度センサ（図示せず）により検出される車速Ｖと上記フレーム画像間の時間差（所定時間）とから求められる。またここでは車両１は平面上を走行してカメラ２の高さｈは変化せず、またカメラ２の回転は車両１の向きと一体に生じて、その光軸は図５に示すように車両１の向きにより示される進行方向と常に一致していると仮定している。また車両１の進行方向（ヨー角θ）については上記時間差（所定時間）において変化し得る車両１の向き（カメラ２の向き）として、例えば所定の角度おきに複数のヨー角θとして仮定される。従って第２の俯瞰画像Ｎは、図６にその概念を示すように仮定した車両１の向き（ヨー角θ）に応じて複数枚求められる。

そしてこれらの複数枚の第２の俯瞰画像Ｎ_−ｎ,〜Ｎ_０,〜Ｎ_＋ｎと前述した第１の俯瞰画像Ｐとの類似度が、例えばその画像間の差分の絶対値和（ＳＡＤ）としてそれぞれ計算され［ステップＳ３］、これらの類似度（ＳＡＤ値）を相互に比較することで、その類似度が最大となる第２の俯瞰画像Ｎ_ｋを、つまりＳＡＤ値が最小となる第２の俯瞰画像Ｎ_ｋを前記第１の俯瞰画像Ｐと同一路面領域を示しているものとして求める［ステップＳ４］。

即ち、距離Ｌを進行した車両１の向きが前述した如く仮定した車両１の向きに合致している場合には、そのヨー角θ（車両１の向き）を踏まえて座標変換して求められる第２の俯瞰画像Ｎの路面領域と第１の俯瞰画像Ｐの路面領域とが等しくなる。しかし仮定した車両１の向きが実際の車両１の向きと異なる場合には、仮定した向きについて求めた第２の俯瞰画像Ｎの路面領域は、第１の俯瞰画像Ｐの路面領域に比較して幅方向にずれることになる。そして路面領域のずれ量は、仮定した車両１の向きと実際の車両１の向きとのずれ角が大きい程大きくなり、その俯瞰画像間の異なりが顕著になる。

従って第１の俯瞰画像Ｐに対して最も類似度の高い第２の俯瞰画像Ｎ_ｋを求めれば、その第２の俯瞰画像Ｎ_ｋの生成に用いた座標変換条件、つまり前述したホモグラフィＨ_Ｎに導入したヨー角θから車両１の向きを正確に求めることが可能となる。そしてこのようにして車両１の向き（ヨー角θ）が求められたならば、その向きに車両１が距離Ｌだけ進行したときの該車両１の横方向のずれ量Ｗを、例えばＷ＝Ｌsinθとして計算することが可能となる［ステップＳ５］。

かくして車両１が距離Ｌを進行したときの第１および第２の俯瞰画像Ｐ,Ｎ間の類似度から、上述したようにして車両１の向き（ヨー角θ）を求め、更にその横ずれ量Ｗを求める走行状態判定装置によれば、道路３を撮像したカメラ画像（鳥瞰画像）から白線等の指標が検出できないような場合であっても、つまり雪道や未舗装道路を走行するような場合であっても、その道路画像が有する全体的な画像情報から車両１の横ずれ量を該車両１のヨー角θに基づいて正確に検出することができる。従ってカメラ画像から白線等の指標を検出する必要がないので、道路環境の影響を受けることなく常に安定に車両１の横ずれ量を利用した制御を実行することが可能となる。

例えば図９(ａ)に示すように検出された横ずれ量Ｗから所定の低周波数成分を抽出することにより、車両１が走行する道路のカーブ量を図９(ｂ)に示すように求めることができる。そしてそのカーブ量に基づいて車両１のヘッドランプの光軸を、上記カーブに合わせて左右方向に制御することが可能である。また前記横ずれ量Ｗから所定の高周波数成分を抽出することで、車両１の蛇行量を図９(ｃ)に示すように求めることができる。そしてこの蛇行量に基づいて車両１の運転者の注意力の低下（覚醒度）を推定し、注意力が低下している場合には警報を鳴らすことが可能である。

図７はコンピュータグラフィックを用いて作成した合成画像を用い、カメラ２の取り付け高さｈを２.０ｍ、その伏角φを８.３１°として本装置による横ずれ検出をシミュレーションした結果を示している。尚、図７において曲線Ａは予め設定した蛇行パターンを示しており、Ｂ１はまだら模様のようなテクスチャを付した道路面を形成した合成画像から求めた蛇行検出結果、Ｂ２は上記道路面にガードレールとを加えた合成画像から求めた蛇行検出結果、そしてＢ３は上記道路面に白線とガードレールとを加えた合成画像から求めた蛇行検出結果をそれぞれ示している。

この実験結果によれば、基準とするフレームからの経過時間が大きくなる程、予め設定した蛇行パターンＡからのずれ量が大きくなるが、合成画像に白線やガードレールが存在するか否かに拘わりなく、その横ずれ量（カーブ量・蛇行量）を正確に検出し得ることが明らかとなった。尚、上記蛇行パターンＡからのずれ量の増大は、基準フレームからの時間経過に伴って車両１の進行に伴う第１の俯瞰画像と第２の俯瞰画像との位置ずれ（低周波ノイズによる誤差）が蓄積していく為であると考えられる。

従ってフレーム画像の周期が１／３０秒である場合、例えば１フレーム当たり１.２ｍｍ以下（標準的には０.７ｍｍ）の精度で横ずれ量を検出できるので、第１の俯瞰画像を得るフレーム画像と第２の俯瞰画像を得るフレーム画像との時間差を３００フレーム（１０秒）程度として設定しておけば、実用上、全く問題のない範囲で車両１の横ずれ量を精度良く検出することができる。また蛇行検出においては、専ら、横ずれの振幅を評価することになるので、実際には上述したずれ量の検出誤差が問題となることは殆どない。しかし蛇行パターンＡからのずれ量の増大の要因となる低周波ノイズを取り除く場合には、周波数帯域フィルタを用いたり、その評価区間を短くする等の対策を講じるようにすれば良い。

また図８は車両１に搭載したカメラ２により撮像された実画像を用いた実験結果を示すもので、図８(ａ)は高速道路走行時のカメラ画像から求めた従来の白線を利用した蛇行量検出結果（破線Ｙ）と、本装置による蛇行検出結果（実線Ｘ）とを対比して示している。また図８(ｂ)は雪道を直進走行した時におけるカメラ画像から求めた本装置による蛇行検出結果を示している。この高速道路での実験結果からは、白線を利用した横ずれ検出に比較して本装置により検出された横ずれ量には平均誤差２０７ｍｍ、標準偏差１５８ｍｍのずれが生じたが、水平位置の追従と言う点ではほぼ真値に近い値を検出していると認められる。また雪道での実験結果からは、直進していると看做し得る車両１の軌跡をほぼ良好に推定しており、その平均誤差は３３５ｍｍ、標準偏差は２３１ｍｍであった。従ってこの実験結果から、本装置の有用性を十分に確認することができた。

尚、前述した処理については、実際には仮定したヨー角θについて求めた第２の俯瞰画像Ｎと第１の俯瞰画像Ｐとの類似度を評価した後、仮定するヨー角θを変更して上記類似の評価を繰り返し実行することにより行われる。従ってヨー角θの可変幅と、その可変量Δθの大きさを変更することで、その計算コスト（１フレーム当たりの計算処理時間）を低減することができる。特に高速道路の走行時にはハンドルの操舵角が小さいので、ヨー角θの可変幅（θの探索幅）を狭くすることができる。次表はヨー角θの可変幅と、その可変量Δθの大きさの違いによる１フレーム当たりの計算処理時間の例を示している。

従って、例えば高速道路の走行時においては、ハンドルの操舵角が小さいことを考慮して［-0.5°≦θ≦0.5°］の範囲で［Δθ＝0.05°］として車両１の進行方向（ヨー角θ）の探索を行うならば、その演算処理時間を１フレーム当たり［0.25秒］とすることができ、殆ど時間遅れなく車両１の横ずれ量の検出、ひいては蛇行検出を行うことが可能となる。特に前述したフレーム画像（鳥瞰画像）間で直接類似度計算を行おうとした場合、フレーム画像間での車両１の移動距離Ｌを考慮した画像補正に多大な処理時間が掛かるので、本装置による横ずれ量検出はその処理負担（処理時間）の点でも非常に優れていると言える。

ところで上述した説明においては、所定時間後の車両１の向き（ヨー角θ）を仮定して第２の俯瞰画像Ｎを求めて上記車両１の向き（ヨー角θ）を探索したが、同時に車両１の前後方向の傾きであるピッチ角ψを探索するようにしても良い。この場合には、所定時間後の車両１の向き（ヨー角θ）を仮定すると共にそのピッチ角ψを仮定し、これらの仮定したヨー角θとピッチ角ψとの組み合わせに応じた第２の俯瞰画像をそれぞれ求めるようにすれば良い。この場合には、カメラ２の撮像光軸と路面とのなす角度が、カメラ２の取り付け角度によって定まる前述した伏角φに上記ピッチ角ψが加わったものとして示されるので、前記第２の俯瞰画像を求めるホモグラフィＨ_Ｎは次のように求められる。

そしてこれらの第２の俯瞰画像Ｎと前述した第１の俯瞰画像Ｐとの類似度（ＳＡＤ値）をそれぞれ計算し、類似度が最も高くなって第１の俯瞰画像Ｐと同一路面領域を示す第２の俯瞰画像Ｎを求めれば、その第２の俯瞰画像Ｎを求めた座標変換条件である前述したホモグラフィＨ_Ｎから、車両１の向きを示すヨー角θとその傾きを示すピッチ角ψをそれぞれ求めることができる。従ってこのようにして求められるピッチ角ψから車両１の平均的な傾きを求めれば、専用のピッチ角センサを備えなくても車両１の前後方向の傾き角（ピッチ角ψ）を推定し、例えば車両１に組み込まれたヘッドランプレベリング制御装置７にその情報を与えてヘッドランプ（図示せず）の照射方向、つまり上向き角度を自動調整することが可能となる。特に車両１がトラックである場合、その積載重量によって車両姿勢（前後方向の傾き）が変化するので、ヘッドランプレベリング制御装置７の制御に有効利用することが可能となる。

尚、本発明は上述した実施形態に限定されるものではない。例えばヨー角θの可変幅やその可変量Δθについては車両１の走行条件等に応じて変更したり、カメラ１の画像分解能に応じて定めるようにすれば十分である。またここでは車両（トラック）１の蛇行検出を例に説明したが、一般的な乗用車に組み込むことも可能であり、自動走行ロボットの蛇行検出に用いることもできる。また車両進行方向の前方の道路画像ではなく、車両進行方向の後方の道路画像から車両の横ずれ量検出を同様に行うことが可能となことは言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。

車両に搭載したカメラと、このカメラにより撮像する進行方向前方の道路面との関係を示す図。 本発明の一実施形態に係る走行状態判定装置の基本的な構成を示す図。 図２に示す走行状態判定装置における横ずれ量検出の概略的な処理手順を示す図。 鳥瞰画像から俯瞰画像を得る座標変換の概念を示す図。 第１および第２の撮像タイミングにおけるカメラの向きと車両の進行方向との関係を示す図。 第１の俯瞰画像と複数の第２の俯瞰画像との類似度計算による車両進行方向の特定処理の概念を示す図。 合成画像を用いたシミュレーション結果を示す図。 実画像を用いた実験結果を示す図。 横ずれ量とカーブ量および蛇行量との関係を示す図。

符号の説明

１ 車両（移動体）
２ カメラ
３ 道路
４ 座標変換部
５ 横ずれ量検出部
６ 居眠り検知装置
７ ヘッドランプレベリング制御装置
Ｓ１ 第１の俯瞰画像を求める座標変換手段
Ｓ２ 第２の俯瞰画像を求める座標変換手段
Ｓ３ 類似度（ＳＡＤ値）計算手段
Ｓ４ 類似度評価手段
Ｓ５ ヨー角・横ずれ量の検出手段

Claims (9)

1. 移動体に搭載されて該移動体が進行する路面を斜め上方から撮像した鳥瞰画像を得るカメラと、
   上記鳥瞰画像を座標変換して前記路面をその直上から視野した俯瞰画像を求める座標変換手段と、
   前記カメラによる第１の撮像タイミングでの第１の鳥瞰画像を求めると共に、上記第１の撮像タイミングから所定時間だけ異なる第２の撮像タイミングでの第２の鳥瞰画像を求める鳥瞰画像取得手段と、
   前記座標変換手段を用いて前記第１の鳥瞰画像から第１の俯瞰画像を求めると共に、前記第２の鳥瞰画像から前記所定時間における前記移動体の前記路面上での進行状態の変化を複数仮定し、これらの仮定に基づいて前記第１の俯瞰画像と同一路面領域であると看做し得る第２の俯瞰画像をそれぞれ求める俯瞰画像取得手段と、
   前記第１の俯瞰画像と上記複数の第２の俯瞰画像との類似度をそれぞれ計算し、これらの類似度を相互に比較してその類似度が最大となる第２の俯瞰画像を求め、上記類似度が最大となる第２の俯瞰画像を得たときに仮定した進行状態の変化から該移動体の進行状態の変化を求める進行状態変化算出手段と
   を具備したことを特徴とする走行状態判定装置。
2. 前記第１の俯瞰画像と前記第２の俯瞰画像との前記類似度は、俯瞰画像間の差分絶対値和を計算することにより実行され、
   前記第１の俯瞰画像に対する前記類似度が最大となる前記第２の俯瞰画像は、上記差分絶対値和の値が最小となる前記第２の俯瞰画像として求められるものである請求項１に記載の走行状態判定装置。
3. 前記座標変換手段は、前記移動体が進行する路面を平面と看做し、上記路面を一定の高さｈから一定の伏角φで撮像して求められるカメラ画像と前記路面との幾何学的位置関係を示すホモグラフィＨを用いて前記鳥瞰画像を前記俯瞰画像に変換するものであって、
   前記第１の俯瞰画像を求めるホモグラフィＨ_Ｐ、および前記第２の俯瞰画像を求めるホモグラフィＨ_Ｎは、その内部パラメータ行列Ａが既知であるとき、前記所定時間における前記移動体の移動距離がＬ、その進行方向をヨー角θとして
   

   

   

   なる関係として求められるものである請求項１に記載の走行状態判定装置。
4. 前記所定時間における前記移動体の移動距離Ｌは、速度センサにより計測される該移動体の移動速度から求められるものである請求項３に記載の走行状態判定装置。
5. 請求項１に記載の走行状態判定装置において、
   更に前記第２の鳥瞰画像から、予め仮定した前記移動体の進行方向毎の該移動体の前後の傾き姿勢毎に前記第１の俯瞰画像と同一路面領域となる前記第２の俯瞰画像をそれぞれ求め、
   前記第１の俯瞰画像と上記複数の第２の俯瞰画像との前記類似度を相互に比較してその類似度が最大となる前記第２の俯瞰画像を特定し、この第２の俯瞰画像を得た前記移動体の進行方向とその傾き姿勢をそれぞれ求めることを特徴とする走行状態判定装置。
6. 前記第２の俯瞰画像を求めるホモグラフィＨ_Ｎは、前記移動体の前後の傾き姿勢をピッチ角ψとして
   

   

   なる関係として求められるものである請求項５に記載の走行状態判定装置。
7. 前記カメラは、車両の進行方向前方の道路画像を撮像するものであって、
   前記進行状態変化算出手段が求めた前記移動体の進行状態の変化に基づいて前記移動体の進行方向に対する横ずれ量を算出する横ずれ量算出手段を更に備え、
   前記横ずれ量算出手段が算出する横ずれ量のうち、前記車両の運転手の注意力低下に基づく横ずれ量を抽出して前記車両の蛇行検出に用いることを特徴とする請求項１〜６のいずれかに記載の走行状態判定装置。
8. 前記移動体は車両であり、
   前記ピッチ角ψに基づいて前記車両のヘッドランプの照射方向を調整する照射方向調整手段を備えたことを特徴とする請求項１〜６のいずれかに記載の走行状態判定装置。
9. 前記移動体は車両であり、
   前記横ずれ量算出手段は、前記横ずれ量の時間的変化に基づいて前記車両の走行する道路のカーブに基づく横ずれ量を抽出すると共に、該抽出した横ずれ量に基づいて前記カーブの方向を推定し、
   前記推定されたカーブの方向に基づいて前記車両のヘッドランプの照射方向を調整する照射方向調整手段を備えたことを特徴とする請求項１〜６のいずれかに記載の走行状態判定装置。

Images