JP2007272461A - 運動推定装置、方法及びプログラム - Google Patents

Abstract

【課題】コストをかけることなく、画像から正確な運動状態を推定する。
【解決手段】カメラ１０は、時刻Ｔの画像Ｉ₀と時刻（Ｔ＋ΔＴ）の画像Ｉ₁を撮影する。演算回路２０は、時刻（Ｔ＋ΔＴ）の画像Ｉ₁と、時刻Ｔの仮想運動量である回転成分Ｒ及び並進成分Ｔとに基づいて、時刻Ｔの仮想画像Ｉ’ ₀を生成する。演算回路２０は、回転成分Ｒ及び並進成分Ｔを変えながら仮想画像Ｉ’₀を３次元微小移動させて、時刻Ｔの画像Ｉ₀と仮想画像Ｉ’₀とのずれ量を示す評価値ＳＳを算出する。評価値ＳＳの算出では、垂直エッジがある場合には上記ずれ量の重み付けを重くする。そして、演算回路２０は、評価値ＳＳが最小値となる状態の回転成分Ｒ及び並進成分Ｔを時刻Ｔの運動量として推定する。
【選択図】図１

Description

本発明は、運動推定装置、方法及びプログラムに係り、特に、画像の変化から運動状態を推定する運動推定装置に関する。

自動車の安全運転の運転者支援や自律移動車の自動運転を実現するために、車載ステレオカメラにより、道路平面領域並びに、先行車、対向車、駐車車輌、歩行者など道路上に存在する全ての障害物を検出する技術が開示されている。

特許文献１では、道路に沿って移動する輸送手段のエゴモーション（セルフモーション）に関する予測を生成するためのエゴモーション判定システムにおいて、前記輸送手段が道路に沿って移動するときに記録される、一連の少なくとも２つのイメージに関連するイメージ情報を受け取るように構成されたイメージ情報レシーバと、前記イメージ情報レシーバによって受け取られたイメージ情報を処理し、前記輸送手段のエゴモーション予測を生成するように構成されたプロセッサと、を含むシステムが開示されている。この特許文献１の技術は、イメージ情報により表される路面領域を領域毎に分割し、領域毎に重みを設定することにより自車の運動を推定する。領域重み付けとしては、道路の投影とみなされる重みα、勾配強度の重みβ、路面でない重みλが用いられている。

特許文献２では、カメラで周辺領域を撮影した画像に映った物体を画像処理により認識する方法が開示されている。具体的には、特許文献２の技術は、一台のカメラにより移動しながら撮影された一連の画像列を取得するステップと、前記画像に映った物体候補を特定し、特定した物体候補を前記一連の画像列中で追跡し、追跡により得られた物体候補画像の変化情報から物体に関する３次元情報を求める認識処理ステップと、を含んでいる。

特許文献３では、自動車に搭載される撮像手段によって撮影された、基準画像と参照画像から構成されるステレオ動画像のみを利用して、走行可能な道路平面領域及び道路面上に存在する全ての障害物を検出できるようにしたステレオ画像を用いた道路平面領域並びに障害物検出方法が開示されている。具体的には、特許文献３の技術は、道路面に対する射影変換行列を動的に推定する第１のステップと、第１のステップで求まった前記射影変換行列を用いて、走行可能な平面領域を抽出する第２のステップと、第１のステップで求まった前記射影変換行列を分解することにより道路面の傾きを算出する第３のステップと、第３のステップで算出された前記道路面の傾きを基に道路面を上方から見た仮想投影面画像を生成する第４のステップと、第４のステップで生成された前記仮想投影面画像の上で、前記走行可能な平面領域と自車輌の位置と方向を算出する第５のステップと、を有している。
特表２００３−５１５８２７号公報（式（１９）） 特開２００１−２６６１６０号公報 特開２００５−２１７８８３号公報

しかし、特許文献１の技術は、上述した３つのパラメータのうちαのみが領域の濃度値の変化を利用したものであるが、道路の投影判断のみに使用されているに過ぎず、車両の運動状態を具体的に推定することができない。特許文献２の技術は、２枚の画像からオプティカルフローを計算しているが、自車の運動については車両センサ情報を利用しており、画像から運動状態を推定していない。また、特許文献３の技術は、２つのカメラを用いてステレオ画像を生成しているので、車両に搭載する際にコストがかかってしまい、さらにスペースを大きくとるという問題がある。

本発明は、上述した課題を解決するために提案されたものであり、コストをかけることなく、画像から正確な運動状態を推定する運動推定装置、方法及びプログラムを提供することを目的とする。

本発明に係る運動推定装置は、第１の時刻における第１の画像と、第１の時刻から所定時間経過後の第２の画像を入力する画像入力手段と、前記画像入力手段により入力された第２の画像と、前記第１の時刻における仮想運動量を表す運動量パラメータと、に基づいて、前記第１の時刻における仮想画像を生成する仮想画像生成手段と、所定の分割領域毎に、前記画像入力手段により入力された第１の画像と前記仮想画像生成手段により生成された仮想画像の濃度差を算出し、かつ前記濃度差の大きさに応じた重み付け及び濃度差の方向に応じた重み付けを行うことによって、前記第１の画像と前記仮想画像とのずれ量を表す評価値を算出する評価値算出手段と、前記運動量パラメータを変えながら、評価値算出手段により算出された評価値が最も小さくなるときの前記運動量パラメータが示す仮想運動量を、第１の時刻における運動量として推定する運動量推定手段と、を備えている。

画像入力手段は、第１の時刻における第１の画像と、第１の時刻から所定時間経過後の第２の画像を入力する。第１及び第２の画像は、撮像手段によってリアルタイムに撮像されたものでもよいし、予め用意された画像であってもよい。

仮想画像生成手段は、第２の画像と、前記第１の時刻における仮想運動量を表す運動量パラメータと、に基づいて、第１の時刻における仮想画像を生成する。すなわち、仮想画像生成手段は、運動量パラメータを用いて、第２の画像から所定時間遡った仮想画像を生成する。

評価値算出手段は、画像の所定の分割領域毎に、第１の画像と前記仮想画像とのずれ量を評価する評価値を算出する。このとき、評価値には、第１の画像と前記仮想画像との濃度差の大きさに応じた重み付け、濃度差の方向に応じた重み付けが施されている。濃度差の方向に応じた重み付けを行うのは、濃度差の方向と運動方向に関連があり、所定の濃度差の方向に運動量が反映されるからである。

運動量推定手段は、運動量パラメータを変えながら、評価値が最も小さくなるとき、すなわち第１の画像と前記仮想画像とが最も近づいたときの運動量パラメータが示す仮想運動量を、第１の時刻における運動量として推定する。

したがって、上記運動推定装置は、第１の画像と仮想画像の濃度差を用いて濃度差の大きさに応じた重み付け及び濃度差の方向に応じた重み付けを行うことによって評価値を算出し、その評価値が最も小さくなるときの運動量パラメータが示す仮想運動量を第１の時刻における運動量として推定することにより、画像から正確に運動状態を推定することができる。なお、本発明は、運動推定方法及びプログラムにも適用可能である。

本発明に係る運動推定装置、方法及びプログラムは、コストをかけることなく、画像から正確な運動状態を推定することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る車両運動推定装置の構成を示すブロック図である。車両運動推定装置は、例えば車両に搭載され、車両前方を撮影するカメラ１０と、カメラ１０により撮像された画像に基づいて車両の運動状態を推定する演算を行う演算回路２０と、を備えている。

カメラ１０は、被写体からの撮像光に応じた画像を生成するＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１により生成された画像をアナログ信号からディジタル信号に変換するＡ／Ｄ変換器１２と、を備えている。演算回路２０は、Ａ／Ｄ変換器１２から供給された画像に基づいて、車両の運動状態を推定する。

図２は、一般のカメラ座標系を示す図である。カメラ座標系は、運動量パラメータである並進成分Ｔ及び回転成分Ｒを有する座標系である。並進成分Ｔ（Ｔｘ、Ｔｙ、Ｔｚ）は、カメラ座標系のＸｃ軸、Ｙｃ軸、Ｚｃ軸の移動量である。回転成分Ｒ（Ｗｘ、Ｗｙ、Ｗｚ）は、カメラ座標系のＸｃ軸、Ｙｃ軸、Ｚｃ軸周りの回転量（ピッチ（pitch）、ヨー（yaw）、ロール（roll））である。ここで、路面方程式を式（１）とする。

このとき、道路面の法線ベクトルＮを（ａ、ｂ、ｃ）とすると、式（２）となる

ここで、ｘ及びｙは、画像座標である。また、カメラ１０のレンズの焦点距離をｆとすると、ａ＝Ａ／ｆ、ｂ＝Ｂ／ｆ、ｃ＝Ｃである。

以上のように構成された車両運動推定装置の演算回路２０は、次の運動推定ルーチンを実行する。図３は、演算回路２０による運動推定ルーチンを示すフローチャートである。

ステップＳ１では、演算回路２０は、カメラ１０から時刻Ｔの画像Ｉ₀を入力し、時間ΔＴ経過後、時刻（Ｔ＋ΔＴ）の画像Ｉ₁を入力して、ステップＳ２に進む。ここで、図４は、時刻Ｔの画像Ｉ₀を示す図である。図５は、時刻（Ｔ＋ΔＴ）の画像Ｉ₁を示す図である。

ステップＳ２では、演算回路２０は、時刻Ｔの仮想運動量を示す運動量パラメータである回転成分Ｒ、並進成分Ｔに対して、それぞれの初期値Ｒ₀、Ｔ₀を設定して、ステップＳ３に進む。

ステップＳ３では、演算回路２０は、時刻（Ｔ＋ΔＴ）における画像Ｉ₁と、初期値Ｒ₀、Ｔ₀とに基づいて、時刻Ｔにおける仮想画像Ｉ’₀を生成する。すなわち、演算回路２０は、初期値Ｒ₀、Ｔ₀を用いて画像Ｉ₁を変形して、時間ΔＴだけ遡った仮想画像Ｉ’₀を生成して、ステップＳ４に進む。

図６は、時刻Ｔの仮想画像Ｉ’₀を示す図である。図４と図６とを比較すると、同じ時刻Ｔの画像であっても、少し異なっているのが分かる。以下これらの画像を比較する。

ステップＳ４では、演算回路２０は、画像Ｉ₀と仮想画像Ｉ’₀の下側中央部の領域を複数の分割領域に分割して、ステップＳ５に進む。

図７は、分割対象領域を複数の分割領域に分割した状態を示す図である。ここでは、後述の残差演算を考慮して、画像Ｉ₀と仮想画像Ｉ’₀との差分画像に分割領域が表示されている。ここで、分割対象領域として画像下側中央部の領域を用いたのは、その領域に最も変化が現れやすいためである。

ステップＳ５では、演算回路２０は、画像Ｉ₀と仮想画像Ｉ’₀のずれ量を表す評価値を計算する。具体的には、次の評価ルーチンが実行される。

図８は、評価ルーチンを示すフローチャートである。すなわち、ステップＳ５では、次のステップＳ１１以降の処理が実行される。

ステップＳ１１では、演算回路２０は、初期値Ｒ₀、Ｔ₀を設定し、初期値カウント値を０に設定して（Count＝０）、ステップＳ１２に進む。ここで、カウント値とは、評価値がほぼ最小になったと考えられる回数である。

ステップＳ１２では、演算回路２０は、分割領域番号ｉ＝０、残差積算値ＳＳ＝０に設定して、ステップＳ１３に進む。

ステップＳ１３では、演算回路２０は、分割領域番号ｉの分割領域における画像Ｉ₀と仮想画像Ｉ’₀の残差Ｓｉを計算する。具体的には、次の式（３）を計算する。

ｆは画像Ｉ₀の座標（ｘ、ｙ）における濃度値（輝度値）であり、ｇは仮想画像Ｉ’₀の座標（ｘ、ｙ）における濃度値である。そして、演算回路２０は、式（３）を計算して、ステップＳ１４に進む。

ステップＳ１４では、演算回路２０は、分割領域番号ｉにおける残差Ｓｉを積算して評価値ＳＳを算出すべく、式（４）を計算する。

式（４）は、評価値を算出するための評価関数である。αｉは、濃度値の変化の強度（大きさ）に応じた重み付け係数である。βｉは、濃度勾配の方向に応じた重み付け係数である。

αｉは、例えば、画像Ｉ₀と仮想画像Ｉ’₀との濃度値の差が大きくなるに従って大きな値になり、その差が小さくなるに従って小さな値になる。

βｉは、進行方向に垂直な垂直エッジ（横エッジ）が存在するとき（横方向に比べて縦方向の濃度値変化が大きいとき）に大きな値になり、垂直エッジが存在しないときに小さな値になる。すなわち、βｉは、分割領域に垂直エッジが存在するときは、画像Ｉ₀と仮想画像Ｉ’ ₀のずれ量の重みを大きくしている。その理由は、垂直エッジは、車両進行方向に垂直なエッジであるため、進行方向のずれ量を検出しやすいからである。

図９は、αｉの算出方法の一例を示す図である。演算回路２０は、例えば、分割領域内の各点における残差の合計値に応じてαｉを算出してもよいし、分割領域内の標準偏差を使用してαｉを算出してもよい。また、また、エッジフィルタでＳｏｂｅｌやＣａｎｎｙにおけるエッジ強度を使用してもよい。また、βｉは、例えば次のように求められる。

図１０は、走行路上にある垂直エッジを示す図である。走行路には、走行レーンに直交する方向に影による垂直エッジが生じることがある。この垂直エッジを検出するために、演算回路２０は次の処理を行う。

図１１は、βｉの算出方法の一例を示す図である。ｘ方向（横方向）の濃度値の強度（変化の大きさ）をｄｘ、ｙ方向（縦方向）の濃度値の強度をｄｙ、ｘ方向に対する強度方向のなす角をθとする。このとき、演算回路２０は、ｄｙ／ｄｘ（＝tanθ）を演算する。

ここで、垂直エッジの場合、ｘ方向の変化に比べてｙ方向の変化が大きくなる。また、進行方向に平行な進行方向エッジ（縦エッジ）の場合、その逆になる。よって、垂直エッジの場合はtanθの値は大きくなり、進行方向エッジの場合はtanθの値は小さくなる。

図１２は、ｘｙ平面上におけるβｉの区分を示す図である。tanθの値は、図１２のｘｙ平面における傾きを表している。領域（ａ）は、ｘ方向の変化に比べてｙ方向の変化が大きいので、垂直エッジを示している。逆に、領域（ｂ）は、垂直エッジ以外の領域を示している。また、領域（ａ）のβｉは、領域（ｂ）のβｉに比べて例えば１０倍の値に設定されている。そこで、演算回路２０は、tanθの値が領域（ａ）、（ｂ）のいずれに属するかを判定し、その判定結果に基づいてβｉを決定する。

ステップＳ１５では、演算回路２０は、最後の分割領域について処理をしたか否か、すなわち分割領域番号ｉが最後の番号であるか否かを判定し、肯定判定のときはステップＳ１７に進み、否定判定のときはステップＳ１６に進む。

ステップＳ１６では、演算回路２０は、次の分割領域のデータを読み込んで（ｉ＝ｉ＋１）、ステップＳ１３に戻る。これにより、演算回路２０は、再びステップＳ１３からステップＳ１６の処理を繰り返し行って、すべての分割領域について処理を実行した後、ステップＳ１７に進む。

ステップＳ１７では、演算回路２０は、回転成分Ｒ及び並進成分Ｔはそれぞれ初期値Ｒ₀、Ｔ₀であるか否かを判定し、肯定判定のときはステップＳ２２に進み、否定判定の時はステップＳ１８に進む。

ステップＳ１８では、演算回路２０は、今回算出した評価値ＳＳと前回算出した評価値ｐｒｅｖＳＳとの差の絶対値ΔＳＳを算出し（ΔＳＳ＝｜ＳＳ−ｐｒｅｖＳＳ｜）、ステップＳ１９に進む。

ステップＳ１９では、演算回路２０は、ΔＳＳが予め設定された閾値Ａ以下であるか否かを判定し、肯定判定のときはステップＳ２０に進み、否定判定のときはステップＳ２１に進む。ここで、閾値Ａは十分小さい値である。よって、ΔＳＳが閾値Ａ以下であるときは、評価関数により得られる評価値がほぼ最小値になった状態である。

ステップＳ２０では、演算回路２０は、カウント値を１つ上げるようにカウント値を更新して（Count＝Count＋１）、ステップＳ２１に進む。

ステップＳ２１では、演算回路２０は、カウント値が設定値Ｂ以上であるか否かを判定し、肯定判定のときは本ルーチンの処理を終了して、図４に示すステップＳ６に進み、否定判定のときはステップＳ２２に進む。カウント値が設定値Ｂ以上になったときは、評価値が収束してほぼ最小値に達したと考えられるので、処理を終了する。

ステップＳ２２では、演算回路２０は、回転成分Ｒに微小変化ΔＲを、並進成分Ｔに微小変化ΔＴを与える（Ｒ→Ｒ＋ΔＲ、Ｔ→Ｔ＋ΔＴ）。そして、演算回路２０は、新たな回転成分Ｒ及び並進成分Ｔを用いて新たな仮想画像Ｉ’₀を生成する。つまり、仮想画像Ｉ’₀を３次元微小移動させる。さらに、演算回路２０は、評価値ＳＳを前回の評価値を示しパラメータであるｐｒｅｖＳＳに代入して、ステップＳ１２に戻る。

以上のように、演算回路２０は、回転成分Ｒ及び並進成分Ｔを変えながら仮想画像Ｉ’₀を３次元微小移動させて、画像Ｉ₀と仮想画像Ｉ’₀とのずれ量を示す評価値ＳＳを算出し、評価値ＳＳが最小値となる状態を検出する。

一方、図４に示すステップＳ６では、演算回路２０は、評価値ＳＳが最小値となるときの回転成分Ｒ及び並進成分Ｔを抽出し、この回転成分Ｒ及び並進成分Ｔを自車の時刻Ｔにおける運動量と推定して、本ルーチンを終了する。

図１３は、カメラ１０によって生成された画像Ｉ₀及びその分割領域の一例を示す図である。この画像Ｉ₀には、進行方向に平行な白線、進行方向に垂直な影などが存在する。

図１４は、従来の手法を用いて分割領域に重み付けを行った状態を示す図である。図１５は、本実施形態に係る車両運動推定装置が分割領域に重み付けを行った状態を示す図である。図１４及び図１５を比較すると、垂直エッジの存在する４つの分割領域の重みが大きくなったことが分かる。

以上のように、第１の実施形態に係る車両運動推定装置は、時刻（Ｔ＋ΔＴ）の画像Ｉ₁と、時刻Ｔの仮想運動量である回転成分Ｒ及び並進成分Ｔとに基づいて、時刻Ｔの仮想画像Ｉ’ ₀を生成する。そして、車両運動推定装置は、回転成分Ｒ及び並進成分Ｔを変えながら仮想画像Ｉ’₀を３次元微小移動させて、時刻Ｔの画像Ｉ₀と仮想画像Ｉ’₀とのずれ量を示す評価値ＳＳを算出し、評価値ＳＳが最小値となる状態の回転成分Ｒ及び並進成分Ｔを時刻Ｔの運動量として推定する。

特に、車両運動推定装置は、垂直エッジがある場合には上記ずれ量の重み付けを重くして評価値ＳＳを算出することにより、車両進行方向のずれ量をよく反映して、正確な運動量を推定することができる。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、重複する説明は省略する。また、第２の実施形態に係る車両運動推定装置は、第１の実施形態と同様に、図１に示すように構成されている。

図２に示したカメラ座標系は、パラメータの数が多い。このため、第２の実施形態では、パラメータの数を減らして演算負荷を低減させる。

図１６は、第２の実施形態のカメラ座標系を示す図である。このカメラ座標系では、道路面とカメラ１０の光軸とが直交するように、カメラ１０が設置されている。すなわち、道路面の法線ベクトルＮとカメラ１０の光軸とが直交している。これにより、並進成分の（Ｔｘ、Ｔｙ）は（０、０）となり、回転成分（Ｗｚ）は（０）となる。また、道路面の法線ベクトルＮは（０、ｂ、０）となる。すなわち、運動量パラメータとして、Ｗｘ、Ｗｙ、Ｔｚのみを用いることができる。このように、カメラと路面の拘束条件によって、パラメータを削減できる。

すなわち、車両運動推定装置の演算回路２０は、上記の３つの運動量パラメータを用いて、図３に示す運動推定ルーチンを実行する。よって、回転成分Ｒの初期値Ｒ₀は（０、０、Ｗｚ）、並進成分Ｔの初期値Ｔ₀は（Ｔｘ、Ｔｙ、０）となる。ただし、図３のステップＳ５では、次の評価ルーチンが実行される。

図１７及び図１８は、第２の実施形態に係る評価ルーチンを示すフローチャートである。ここでは、主に図８と異なるステップのみ説明する。以下では、図１７を第１ルーチン、図１８を第２ルーチンという。

第１ルーチンは、図１２に示す領域（ａ）に属する分割領域の重みを０、領域（ｂ）に属する分割領域の重みを１に設定して、評価値が最小値になるときのＷｘ、Ｗｙを求める。

具体的には、図１７のステップＳ３１〜Ｓ４２は、図８のステップＳ１１〜Ｓ２２にほぼ対応している。但し、図１７のステップＳ３１では、演算回路２０は、回転成分Ｒ、並進成分Ｔの初期値Ｒ₀、Ｔ₀として、Ｗｘ、Ｗｙ、Ｔｚをそれぞれ設定し、カウント値を０に設定する。

ステップＳ３３では、演算回路２０は、上述した式（３）に従って、垂直エッジの存在しない（進行方向エッジを含む。）分割領域間の残差Ｓｉを計算する。

また、ステップＳ４２では、演算回路２０は、回転成分ＲのＷｘに微小変化ΔＷｘを、Ｗｙに微小変化ΔＷｙを与える（Ｗｘ→Ｗｘ＋ΔＷｘ、Ｗｙ→Ｗｙ＋ΔＷｙ）。そして、演算回路２０は、新たな回転成分Ｒを用いて新たな仮想画像Ｉ’₀を生成する。さらに、演算回路２０は、評価値ＳＳを前回の評価値を示しパラメータであるｐｒｅｖＳＳに代入する。

図１９は、第１ルーチンで使用された各分割領域の重みを示す図である。ここでは、濃度変化の大きい分割領域の重みが大きくなり、濃度変化の小さい領域の重みが小さくなっている。

次に、第２ルーチンは、第１ルーチンで求められたＷｘ、Ｗｙを固定して、図１２に示す領域（ａ）に属する分割領域の重みを１、領域（ｂ）に属する分割領域の重みを０に設定して、評価値が最小となるときのＴｚを求める。このときは、図１２の領域（ａ）に属する領域を用いて評価値ＳＳが最小値になるようにしてＴｚを求める。

具体的には、図１８のステップＳ５１〜Ｓ６２は、図８のステップＳ１１〜Ｓ２２にほぼ対応している。但し、図１８のステップＳ５１では、演算回路２０は、回転成分Ｒ、並進成分Ｔの初期値Ｒ₀、Ｔ₀として、第１ルーチンで決定されたＷｘ及びＷｙを設定し、さらに所定のＴｚを設定し、カウント値を０に設定する。

ステップＳ５３では、演算回路２０は、上述した式（３）に従って、垂直エッジが存在する分割領域間及び垂直エッジの存在しない分割領域間の残差Ｓｉを計算する。

また、ステップＳ６２では、演算回路２０は、並進成分ＴのＴｚに微小変化ΔＴｚを与える（Ｔｚ→Ｔｚ＋ΔＴｚ）。そして、演算回路２０は、新たな並進成分Ｔを用いて新たな仮想画像Ｉ’₀を生成する。さらに、演算回路２０は、評価値ＳＳを前回の評価値を示しパラメータであるｐｒｅｖＳＳに代入する。

図２０は、第２ルーチンで使用された各分割領域の重みを示す図である。ここでは、垂直エッジの存在する分割領域の重みが大きくなり、垂直エッジの存在しない分割領域の重みが小さくなっている。

そして、演算回路２０は、第１及び第２ルーチンを終了すると、図３に示すステップＳ６を実行する。なお、第２の実施形態では、演算回路２０は、第１ルーチンの後に第２ルーチンを実行したが、先に第２ルーチンを実行し、その後第１ルーチンを実行してもよい。

以上のように、第２の実施形態に係る車両運動推定装置は、道路面とカメラ１０の光軸とが直交するようにカメラ座標系を設定することにより、３つの運動量パラメータＷｘ、Ｗｙ、Ｔｚのみを用いることができるので、演算負荷を大幅に低減することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

例えば上述した実施形態では、βｉは垂直エッジが存在するか否かの２段階に分けられていたが、本発明はこれに限定されるものではない。βｉは、例えば、エッジの方向が車両進行方向（縦方向）に近づくに従って大きな値になり、エッジの方向が車両進行方向に垂直な方向に近づくに従って小さな値になってもよい。

また、上述した実施形態では、車両に搭載される車両運動推定装置を例に挙げて説明したが、本発明は車両に限らず他の移動体の運動状態を推定することができるのは勿論である。

本発明の第１の実施形態に係る車両運動推定装置の構成を示すブロック図である。 一般のカメラ座標系を示す図である。 演算回路による運動推定ルーチンを示すフローチャートである。 時刻Ｔの画像Ｉ₀を示す図である。 時刻（Ｔ＋ΔＴ）の画像Ｉ₁を示す図である。 時刻Ｔの仮想画像Ｉ’₀を示す図である。 分割対象領域を複数の分割領域に分割した状態を示す図である。 評価ルーチンを示すフローチャートである。 αｉの算出方法の一例を示す図である。 走行路上にある垂直エッジを示す図である。 βｉの算出方法の一例を示す図である。 ｘｙ平面上におけるβｉの区分を示す図である。 カメラによって生成された画像Ｉ₀及びその分割領域の一例を示す図である。 従来の手法を用いて分割領域に重み付けを行った状態を示す図である。 車両運動推定装置が分割領域に重み付けを行った状態を示す図である。 第２の実施形態のカメラ座標系を示す図である。 第２の実施形態に係る評価ルーチンを示すフローチャートである。 評価ルーチンを示すフローチャートである。 第１ルーチンで使用された各分割領域の重みを示す図である。 第２ルーチンで使用された各分割領域の重みを示す図である。

符号の説明

１０ カメラ
１１ ＣＣＤイメージセンサ
１２ Ａ／Ｄ変換器
２０ 演算回路

Claims (5)

1. 第１の時刻における第１の画像と、第１の時刻から所定時間経過後の第２の画像を入力する画像入力手段と、
   前記画像入力手段により入力された第２の画像と、前記第１の時刻における仮想運動量を表す運動量パラメータと、に基づいて、前記第１の時刻における仮想画像を生成する仮想画像生成手段と、
   所定の分割領域毎に、前記画像入力手段により入力された第１の画像と前記仮想画像生成手段により生成された仮想画像の濃度差を算出し、かつ前記濃度差の大きさに応じた重み付け及び濃度差の方向に応じた重み付けを行うことによって、前記第１の画像と前記仮想画像とのずれ量を表す評価値を算出する評価値算出手段と、
   前記運動量パラメータを変えながら、評価値算出手段により算出された評価値が最も小さくなるときの前記運動量パラメータが示す仮想運動量を、第１の時刻における運動量として推定する運動量推定手段と、
   を備えた運動推定装置。
2. 前記濃度差の方向に応じた重み付けは、画像の縦方向に比べて画像の横方向の重みを重くする
   請求項１に記載の運動推定装置。
3. 前記運動量パラメータは、３次元方向の各々の移動量と、３次元方向の各々の回転軸周りの回転量と、である
   請求項１または請求項２に記載の運動推定装置。
4. 第１の時刻における第１の画像と、第１の時刻から所定時間経過後の第２の画像を入力し、
   前記入力された第２の画像と、前記第１の時刻における仮想運動量を表す運動量パラメータと、に基づいて、前記第１の時刻における仮想画像を生成し、
   所定の分割領域毎に、前記第１の画像と前記仮想画像の濃度差を算出し、かつ前記濃度差の大きさに応じた重み付け及び濃度差の方向に応じた重み付けを行うことによって、前記第１の画像と前記仮想画像とのずれ量を表す評価値を算出し、
   前記運動量パラメータを変えながら、前記評価値が最も小さくなるときの前記運動量パラメータが示す仮想運動量を、第１の時刻における運動量として推定する
   運動推定方法。
5. コンピュータに、
   第１の時刻における第１の画像と、第１の時刻から所定時間経過後の第２の画像を入力させ、
   前記入力された第２の画像と、前記第１の時刻における仮想運動量を表す運動量パラメータと、に基づいて、前記第１の時刻における仮想画像を生成させ、
   所定の分割領域毎に、前記第１の画像と前記仮想画像の濃度差を算出し、かつ前記濃度差の大きさに応じた重み付け及び濃度差の方向に応じた重み付けを行うことによって、前記第１の画像と前記仮想画像とのずれ量を表す評価値を算出させ、
   前記運動量パラメータを変えながら、前記評価値が最も小さくなるときの前記運動量パラメータが示す仮想運動量を、第１の時刻における運動量として推定させる
   運動推定プログラム。