JP5962331B2 - 速度推定装置及び速度推定方法 - Google Patents

Description

本発明は、例えば、車両に搭載したカメラによって車両の走行中に撮影した複数の画像に基づいて車両の速度を推定する速度推定装置及び速度推定方法に関する。

近年、加速度センサまたはグローバルポジショニングシステム(Global Positioning System, GPS)対応の位置センサを搭載し、それらのセンサからの信号に基づいて車速を推定するドライブレコーダ（以下、簡易ドライブレコーダと呼ぶ）が市販されている。簡易ドライブレコーダは、車両本体から車速を表す信号を受け取る必要が無いので、車両に簡単に取り付けられるという利点を有する。

ドライブレコーダは、事故証拠の記録を目的に、急ブレーキ時など車両の大きな揺れを加速度センサで検知し、それをトリガとして、その前後３０秒程度の周囲映像データと自車の加速度及び速度などの車両挙動データとを記録する装置である。最近は、このドライブレコーダで記録される映像および車両挙動データを活用して、危険発生時の運転行動を分析して安全運転の実現に向けた状況見える化または教育に活用する事例が増えつつある。この危険分析に必要となる危険場面の特定及び状況解析では、車両の挙動を詳細に解析することが必要であるため、解析にあたっては高精度な車速情報が必要となっている。しかし、GPS信号に基づいて車速を推定する方法では、GPS信号による位置の解像度が不十分であるため、得られる車速情報の精度が不十分である。

これに対し、加速度センサを用いて車速を推定する方法が提案されている（例えば、特許文献１を参照）。しかしながら、この方法では、路面の凹凸による車両の振動またはカーブ走行時の遠心力の影響などにより、車速の推定値の誤差が大きくなるおそれがあった。

また、移動体に搭載された撮像手段により取得された画像に基づいて移動体の運動を推定する運動計測装置が提案されている（例えば、特許文献２を参照）。この運動計測装置は、撮像手段により取得された画像を複数の部分画像に分割し、各部分画像から外界中にある不動点の候補とすべき特徴点を抽出してその特徴点を経時的に追跡した結果に基づいて、その不動点に対する移動体の運動を推定する。

特開平１０−９８７７号公報 特開２００６−３５０８９７号公報

上記の運動計測装置では、移動体の運動の推定精度を高めるために、各部分画像から抽出される特徴点の数が偏らないことが必要である。各部分画像から抽出される特徴点の数が偏ると、移動体の運動の推定精度が低下するおそれがあるためである。

しかし、車両が走行する路面の模様は乏しく、車載カメラにより取得された画像上で路面が写っている領域から抽出できる特徴点の数は、例えば、ビルまたは看板が写っている画像上の他の領域から抽出される特徴点の数よりも少ないことがある。また、路面は、通常、車載カメラにより取得された画像の下側に写る。そのため、抽出される特徴点は、例えば、画像の上半分に偏在することになる。

そこで本明細書は、車載カメラにより撮影された複数の画像から抽出した特徴点が偏在していても、それらの画像に基づく車速の推定精度を向上できる速度推定装置を提供することを目的とする。

一つの実施形態によれば、速度推定装置が提供される。この速度推定装置は、車両の進行方向に対して垂直かつ路面に平行な方向の加速度を検出する加速度検出部と、車両が第１の地点から第２の地点へ移動したときに、第１の地点において車両の周囲の少なくとも一部が写った第１の画像を生成し、第２の地点において車両の周囲の少なくとも一部が写った第２の画像を生成する撮像部と、車両の周囲にある複数の点のそれぞれについて、第１の画像上の対応する特徴点を抽出し、かつ、第２の画像上の対応する特徴点を抽出する追跡部と、加速度に基づいて、第１の地点から第２の地点へ向かう車両の進行方向が取り得る範囲を特定する進行方向範囲算出部と、進行方向が取り得る範囲内で推定した車両の進行方向に応じて第１の画像及び第２の画像のうちの一方の画像について抽出された複数の特徴点のそれぞれを第１の画像及び第２の画像のうちの他方の画像へ投影し、投影された複数の特徴点のそれぞれと他方の画像上の対応する特徴点間の位置の誤差を表す評価値が最小となるように車両の進行方向を推定し、推定された進行方向に基づいて車両の速度を推定する速度推定部とを有する。

本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示された速度推定装置は、車載カメラにより撮影された複数の画像から抽出した特徴点が偏在していても、それらの画像に基づく車速の推定精度を向上できる。

（ａ）は、特徴点の偏りが少ない場合の特徴点とエピポーラ線の一例を示す図であり、（ｂ）は、特徴点が偏っている場合の特徴点とエピポーラ線の一例を示す図である。 一つの実施形態による速度推定装置が実装された簡易ドライブレコーダの概略構成図である。 車両内における簡易ドライブレコーダの配置の一例を示す図である。 制御部の機能ブロック図である。 車両の並進方位角と旋回角の関係を表す図である。 静止物体である被写体の一点と、現画像及び過去画像における対応する特徴点及びエピポーラ線の関係を示す図である。 評価値と並進方位角との関係を表す概念図である。 並進方位角が取り得る値の範囲と撮像部により生成された画像との関係の一例を示す図である。 速度推定処理を含む、画像記録判定処理の動作フローチャートである。

以下、図を参照しつつ、一つの実施形態による速度推定装置について説明する。最初に、画像上で特徴点が偏在することによる弊害について詳しく説明する。
車両が互いに異なる位置にある時に撮影された複数の画像を用いてその車両の運動を推定するためには、物体上の同一の点に対応する各画像上の特徴点の組が複数抽出される。そして、その特徴点の組ごとに、エピポーラ線が求められる。エピポーラ線は、ある物体上の一点を互いに異なる２地点に位置するカメラによって撮影した場合に、その２地点のうちの一方に位置するカメラにより撮影された画像上に投影された、その物体上の点と他方の地点とを結ぶ線である。そして特徴点の組ごとのエピポーラ線の交点（エピポーラと呼ばれる）が求められる。画像上のエピポーラの位置は車両の進行方向に対応する。

図１（ａ）は、特徴点の偏りが少ない場合の特徴点とエピポーラ線の一例を示す図であり、図１（ｂ）は、特徴点が偏っている場合の特徴点とエピポーラ線の一例を示す図である。図１（ａ）に示された画像１００では、特徴点１０１〜１０５は、比較的画像１００全体に分布している。一方、図１（ｂ）に示された画像１５０では、特徴点１５１〜１５３は、画像の右端の中央付近に偏在している。
エピポーラ線の特性上、各特徴点の位置が離れていれば、特徴点ごとのエピポーラ線の傾きの差は大きくなる。そのため、図１（ａ）に示されるように、各特徴点１０１〜１０５について算出されたエピポーラ線１１１〜１１５同士がなす角も比較的大きくなる。一方、各特徴点が近ければ、特徴点ごとのエピポーラ線の傾きの差は小さい。したがって、画像上で特徴点が偏在していると、図１（ｂ）に示されるように、各特徴点１５１〜１５３について算出されたエピポーラ線１６１〜１６３同士がなす角も比較的小さくなる。

各特徴点が正確に抽出されていれば、交差する角度が小さいエピポーラ線同士を用いても、エピポーラの位置は正確に求められる。しかし、一般的に画像から求めた特徴点の抽出位置には誤差が含まれる。また、特徴点の組に対応する物体が移動物体であることもある。このような場合、その特徴点の組について求められるエピポーラ線も不正確となる。その際、エピポーラ線同士の角度差が大きければ、エピポーラの位置のずれは比較的少ない。例えば、図１（ａ）において、特徴点１０２について誤ったエピポーラ線１１２’が求められているとする。この場合、特徴点１０２と比較的離れた位置にある特徴点１０４についてのエピポーラ線１１４とエピポーラ線１１２の交点１２１と、エピポーラ線１１４と誤ったエピポーラ線１１２’の交点１２２間の位置ずれは比較的小さい。

一方、エピポーラ線同士の角度差が小さければ、エピポーラ線の僅かな誤差によっても、エピポーラの位置は大きくずれる。例えば、図１（ｂ）において、特徴点１５２について誤ったエピポーラ線１６２’が求められているとする。この場合、特徴点１５２と比較的近い特徴点１５３についてのエピポーラ線１６３とエピポーラ線１６２の交点１７１と、エピポーラ線１６３と誤ったエピポーラ線１６２’の交点１７２間の位置ずれは大きい。このように、エピポーラの位置が大きくずれると、車両の運動推定の結果も不正確となる。

そこでこの速度推定装置は、車両の直進方向及び路面鉛直方向と直交する方向の加速度を検知する加速度センサにより検知された加速度に基づいて、撮影が行われた２地点間の車両の進行方向を表す並進方位角の取り得る範囲を限定する。そしてこの速度推定装置は、その取り得る範囲内で並進方位角を推定し、推定された並進方位角に基づいて車速を推定する。これにより、この速度推定装置は、２地点のそれぞれで撮影された画像から抽出される特徴点が画像上で偏在していても、エピポーラの位置の精度を向上し、その結果として車速の推定精度を向上する。

本実施形態では、速度推定装置は、簡易ドライブレコーダ、または、車両の危険挙動を詳細に解析したり、危険でない不要なデータを削除するソフトウェアまたは装置に実装されるものとする。しかし速度推定装置は、車両本体から車速信号を受け取らずに、その車両の速度を利用する様々な装置、例えば、自律航法併用型のナビゲータに利用可能である。

図２は、一つの実施形態による速度推定装置が実装された簡易ドライブレコーダの概略構成図である。図３は、車両内における簡易ドライブレコーダの配置の一例を示す図である。簡易ドライブレコーダ１は、撮像部２と、加速度検出部３と、位置検出部４と、一時記憶部５と、記憶部６と、制御部７とを有する。撮像部２、加速度検出部３、位置検出部４、一時記憶部５、記憶部６及び制御部７は、一つの筐体（図示せず）に収容される。あるいは、加速度検出部３、位置検出部４、一時記憶部５、記憶部６及び制御部７が一つの筐体内に収容され、撮像部２は、その筐体と信号線を介して接続されてもよい。そして簡易ドライブレコーダ１は、図３に示されるように、例えば、車両１０の車室内のフロントガラスの上端近傍に設置される。

撮像部２は、２次元アレイ状に並べられた固体撮像素子のイメージセンサと、そのイメージセンサ上に被写体の像を結像する結像光学系とを有する。そして撮像部２は、車両１０の周囲の少なくとも一部、例えば、車両１０の前方を撮影可能なように設置され、所定の撮影レート（例えば、10〜30フレーム／秒）で周期的に、車両１０の前方が写った画像を生成する。なお、撮像部２が生成する画像はカラー画像であってもよく、あるいは、グレー画像であってもよい。撮像部２は、画像を生成する度に、その画像を制御部７へ渡す。

加速度検出部３は、例えば、加速度センサを有し、車両１０の直進方向及び路面鉛直方向と直行する方向にかかる加速度である横加速度を随時検出する。この加速度センサは、半導体式、光学式または機械式の何れの加速度センサであってもよい。そして加速度検出部３は、横加速度を検出する度に、その横加速度を制御部７へ通知する。

位置検出部４は、例えば、ＧＰＳ受信機及び測位情報受信用アンテナを有する。そして位置検出部４は、ＧＰＳ衛星から送信される測位情報に基づいて、車両１０の現在位置の経度及び緯度を求める。そして位置検出部４は、車両１０の現在位置を表す情報を制御部７へ渡す。

一時記憶部５は、例えば、リングバッファを有し、撮像部２により生成され、制御部７を介して受け取った画像を一時的に記憶する。そして一時記憶部５は、新たな画像を制御部７から受け取る度に、最も古い画像を廃棄することで、最新の所定の期間、例えば、10秒〜20秒間に含まれる画像を記憶する。

記憶部６は、例えば、一時記憶部５の記憶容量よりも大きい記憶容量を持つ不揮発性の半導体メモリを有する。そして記憶部６は、一時記憶部５から制御部７を介して受け取った、所定の期間分の画像の組を、少なくとも一つ記憶する。また記憶部６は、車両１０のホイールベース、最大操舵角、及び地図情報といった、車速の推定に利用される車両１０に関するデータを記憶してもよい。

制御部７は、例えば、少なくとも一つのプロセッサと、揮発性の読み書き可能なメモリと、周辺回路とを有し、簡易ドライブレコーダ１全体を制御する。そして制御部７は、撮像部２から画像を受け取る度に、その画像を一時記憶部５に記憶させる。
また制御部７は、車両１０が他の物体と衝突するといった事故が発生した時、あるいは、車両１０が事故に巻き込まれる可能性がある危険挙動を行った時を検知して、その検知した時の前後の所定期間の画像を一時記憶部５から読み出して、記憶部６に保存させる。さらに制御部７は、撮像部２から得られた画像及び加速度検出部３から得られた車両１０の横加速度に基づいて、車両１０の速度を推定する。

図４は、制御部７の機能ブロック図である。制御部７は、追跡部２１と、進行方向範囲算出部２２と、速度推定部２３と、記録判定部２４とを有する。制御部７が有するこれらの各部は、例えば、制御部７上で実行されるコンピュータプログラムにより実現される。なお、制御部７が有するこれらの各部は、制御部７が有するプロセッサとは別個に、これらの各部の機能を実現する集積回路として、簡易ドライブレコーダ１に実装されてもよい。また、制御部７が有するこれらの各部のうち、追跡部２１、進行方向範囲算出部２２及び速度推定部２３が、速度推定装置の構成要素である。

追跡部２１は、制御部７が撮像部２から画像を受け取る度に、その画像に写っている車両１０の周囲にある被写体上の複数の特徴的な点をそれぞれ特徴点として抽出する。そして追跡部２１は、撮像部２から取得した最新の画像（以下では、便宜上、現画像と呼ぶ）において抽出された特徴点に対応する、所定フレーム数前の画像（以下、便宜上、過去画像と呼ぶ）における特徴点を特定する。すなわち、追跡部２１は、過去画像及び現画像の両方に写っている、車両１０の周囲にある被写体上の複数の点のそれぞれに対応する、過去画像上の特徴点及び現画像上の特徴点を抽出する。なお、所定フレーム数は、例えば、事故発生時または危険挙動時における車両１０の速度変動を正確に検出できる時間、例えば、1〜3に設定される。

例えば、追跡部２１は、現画像に対して、HarrisオペレータまたはFoerstnerオペレータといったコーナー検出フィルタを用いたフィルタリング処理を行って、コーナー状の特徴を有する点を特徴点として抽出する。なお、撮像部２により生成された画像がカラー画像である場合、追跡部２１は、その画像の画素の値を例えばHSV表色系の値に変換し、明度を表す画素値に対して、フィルタリング処理を行ってもよい。
あるいは、追跡部２１は、特徴点として、その他の特徴的な点、例えば、周囲の画素の値よりも高いまたは低い画素値を持つ画素を、そのような特徴点に相当するテンプレートと画像との間でテンプレートマッチングを行うことによって抽出してもよい。

さらに、追跡部２１は、過去画像において、現画像から抽出された複数の特徴点のそれぞれについて、その特徴点と被写体上の同一の点に対応する特徴点を特定する。そして追跡部２１は、現画像上のその注目する特徴点と対応する過去画像上の特徴点との組を求める。

本実施形態では、追跡部２１は、例えば、Kanade Lucas Tomasi Tracker(KLT)法といったトラッキング技術を用いて、そのような特徴点の組を求める。あるいは、追跡部２１は、勾配法またはブロックマッチング法といった、公知の様々なトラッキング法の何れかを用いてそのような特徴点の組を求めてもよい。
なお、追跡部２１は、過去画像に対してHarrisオペレータなどを適用して特徴点を抽出し、KLT法に従って過去画像上の特徴点に対応する現画像上の特徴点を抽出してもよい。
追跡部２１は、特徴点の組ごとに、その特徴点の組に含まれる二つの特徴点の位置などの情報を含む特徴点情報を生成する。そして追跡部２１は、特徴点情報を速度推定部２３へ渡す。

進行方向範囲算出部２２は、現画像取得時における、加速度検出部３により検出された車両１０の横加速度に基づいて、並進方位角の取り得る範囲、すなわち、車両１０の進行方向が取り得る範囲を特定する。

図５は、車両１０の並進方位角と旋回角の関係を表す図である。この例では、過去画像取得時の時刻t₀から現画像取得時の時刻t₁までの間、車両１０は、回転半径Lで旋回角αだけ回転しているとする。この場合において、並進方位角γは、時刻t₀における車両の位置から時刻t₁における車両の位置へ向かう方向と、時刻t₀における車両１０の直進方向とのなす角である。すなわち、並進方位角γは、車両１０の進行方向を表している。
車両１０の並進方位角γは、次式で表される。
ここで、αは、車両１０の旋回角である。Gは車両１０の横加速度であり、tは、過去画像の取得時と現画像の取得時との間の時間間隔を表す。またvは車両１０の速度を表す。

（１）式から明らかなように、車両１０の速度が速いほど、並進方位角γは小さくなる。一方、車両１０の速度は、車両１０が通行する道路の状況、その道路について認められている速度の上限値によって制限される。
そこで進行方向範囲算出部２２は、（１）式に従って、車両１０の最高速度v_maxに対応する並進方位角を、並進方位角が取り得る値の最小値γ_minとして、次式のように設定する。
進行方向範囲算出部２２は、記憶部６から読み込んだ地図と、位置検出部４から受け取った車両１０の現在位置を表す情報を参照して、車両１０が走行中の道路を特定し、その道路の上限速度を、（２）式における最高速度v_maxに設定する。
なお、変形例によれば、車両１０の最高速度v_maxは、例えば、一般的に認められている車道の最高速度（例えば、100km/hあるいは60km/h）に設定されてもよい。この場合には、位置検出部４は省略されてもよい。

次に、並進方位角が取り得る値の上限値γ_maxについて説明する。
ここで、横加速度Gと回転半径Lとの関係は、次式で表される。
ただし、ωは、車両１０の旋回角速度である。また、車両１０の速度vと回転半径Lとの関係は次式で表される。
さらに、旋回角αは、旋回角速度ωを用いて次式のように表される。

したがって、（３）式〜（５）式に基づいて（１）式から速度vを消去することにより、並進方位角γは、回転半径L及び横加速度Gを用いて次式にように表される。

（６）式から明らかなように、車両１０の回転半径が小さいほど、並進方位角γは大きくなる。一方、車両１０の構造に応じて、車両１０の最小回転半径は予め決まっている。したがって、並進方位角γの取り得る値の最大値γ_maxは、車両１０の最小回転半径を用いて次式にように表される。
ここで、Hは、車両１０のホイールベースであり、sは、車両１０の最大操舵角である。

進行方向範囲算出部２２は、（２）式及び（７）式により算出された並進方位角の取り得る最小値γ_min及び最大値γ_maxを速度推定部２３へ通知する。
なお、進行方向範囲算出部２２は、（２）式及び（７）式において、横加速度Gを、過去画像の取得時から現画像の取得時までの間に計測された横加速度の平均値としてもよい。あるいは、進行方向範囲算出部２２は、（２）式及び（７）式において、横加速度Gを、現画像の取得時の横加速度としてもよい。

速度推定部２３は、並進方位角の取り得る範囲内で、現画像と過去画像から抽出された複数の特徴点の組に基づいて車両１０の並進方位角を推定し、その並進方位角に基づいて車両１０の速度を推定する。
まず、並進方位角の推定について説明する。本実施形態では、速度推定部２３は、推定した車両１０の進行方向に応じて現画像について抽出された複数の特徴点のそれぞれを過去画像へ投影する。そして速度推定部２３は、投影された複数の特徴点のそれぞれと過去画像上の対応する特徴点間の位置の誤差を表す評価値が最小となるように車両の進行方向を推定する。

車両１０の並進方位角が求められている場合、その並進方位角に対応する並進移動量を表す大きさ1の単位ベクトルTは、次式に従って表される。
また、路面鉛直方向を軸とする、現画像取得時における撮像部２の像面から過去画像取得時における撮像部２の像面までの回転量を表す回転行列Rは、現画像時における撮像部２の像面から過去画像時における撮像部２の像面までの回転角Dから次式で表される。もちろん、回転行列の表現はこれに限ったものではない。
したがって、[T]xを並進移動量Tの歪対称行列とすれば、静止物体である被写体上の同一の点に対応する現画像上の特徴点pと過去画像上の特徴点p'間の関係を規定する基礎行列Eは、次式で表される。

図６は、静止物体である被写体の一点と、現画像及び過去画像における対応する特徴点及びエピポーラ線との関係を示す図である。
被写体上の点６００は、実空間座標系(x,y,z)において、座標(x₀,y₀,z₀)の位置にあるとする。ただし、路面鉛直方向がy軸であり、撮像部２の光軸に平行な方向がz軸であるとする。この場合において、その点６００に対応する現画像６１０上の特徴点pは、その画像６１０の水平方向をu軸、垂直方向をv軸として座標(u₁,v₁)に位置するとする。一方、その点６００に対応する過去画像６２０上の特徴点p'は、その画像６２０の水平方向をu'軸、垂直方向をv'軸として座標(u'₂,v'₂)に位置するとする。ここで、現画像６１０上の特徴点pに対応する、過去画像６２０上のエピポーラ線l(p){au'+bv'+c=0}は、基礎行列Eを用いて次式で表される。

もし、基礎行列Eが正しければ、エピポーラ線の定義により、特徴点p'は、エピポーラ線l(p)上に位置する。そのため、p'^tEp=0という関係が成立する。
一方、基礎行列Eが誤差を含んでいれば、その誤差に相当する距離だけ、特徴点p'はエピポーラ線l(p)から離れる。したがって、p'^tEpの絶対値は、基礎行列Eの誤差に応じて大きくなる。

そこで速度推定部２３は、次式に従って、基礎行列Eの正確さ、すなわち、並進方位角の正確さを表す評価値S(γ)を算出する。
ここで、nは、過去画像及び現画像から抽出された、特徴点の組の総数である。また、a_i,b_iは、それぞれ、特徴点p_iについて算出されたエピポーラ線が{a_iu'+b_iv'+c=0}で表されるときの、エピポーラ線の傾きを表す係数である。（１２）式から明らかなように、本実施形態では、評価値S(γ)は、各特徴点の組における過去画像上の特徴点と、現画像上の対応する特徴点から算出された過去画像上のエピポーラ線との距離の総和として表される。

速度推定部２３は、最初に、並進方位角γの値が取り得る範囲内でその並進方位角γの初期値を設定し、その初期値及び（１０）式に基づいて現画像上の特徴点を過去画像に投影したものと対応する過去画像上の特徴点間の距離の総和が最小となるように、回転角Dを決定する。そして速度推定部２３は、並進方位角γの値が取り得る範囲内で、並進方位角γの値を変えつつ評価値S(γ)を求めることにより、評価値S(γ)が最小となる並進方位角を、車両１０の並進方位角の推定値γ*として求める。

速度推定部２３は、例えば、最急降下法に従って並進方位角γの値を変更することにより、その並進方位角の推定値γ*を算出する。あるいは、速度推定部２３は、並進方位角γが取り得る値の範囲内で、その値の範囲の下限値γ_minから順に、並進方位角をΔγずつ変化させつつ評価値S(γ)を算出し、算出された評価値のうちの最小値に対応する並進方位角をその推定値γ^*として求めてもよい。あるいは、速度推定部２３は、他の最適解算出方法に従って、並進方位角の推定値γ^*を求めてもよい。なお、速度推定部２３は、並進方位角γとともに回転角Dも変化させて、並進方位角γの値が取り得る範囲内で評価値S(γ)の最小値を求めてもよい。

図７は、評価値S(γ)と並進方位角γの関係を表す概念図である。図７において横軸は並進方位角γを表し、縦軸は評価値S(γ)を表す。そしてグラフ７００は、並進方位角γと評価値S(γ)の関係の一例を表す。
グラフ７００に示されるように、評価値S(γ)は、並進方位角が取り得る値の範囲γ_min〜γ_maxから外れた値γ₀にて最小値となる。そのため、並進方位角が取り得る値の範囲が定められていなければ、並進方位角の推定値はγ₀となり、そのγ₀に応じて誤った車速が推定される。
しかし本実施形態では、速度推定部２３は、並進方位角γが取り得る値の範囲内で、評価値S(γ)が最小値となる並進方位角を、車両１０の並進方位角の推定値として求める。そのため、図７の例では、並進方位角が取り得る値の範囲γ_min〜γ_max内で評価値S(γ)が最小となる、並進方位角γ₁が車両１０の並進方位角として推定される。その結果として、速度推定部２３は、車両１０の速度を正確に推定できる。

図８は、並進方位角が取り得る値の範囲と撮像部２により生成された画像との関係の一例を示す図である。画像８００において、特徴点の組に誤差が含まれており、車両１０の横加速度に基づいて特定される並進方位角が取り得る値の範囲８１０が考慮されないとする。この場合、評価値S(γ)の最小値に対応する、車両１０の進行方向を表すエピポールは、並進方位角が取り得る値の範囲８１０から外れた位置８０１に設定される可能性がある。一方、並進方位角が取り得る値の範囲８１０内で並進方位角が探索されれば、その範囲８１０内でエピポール８０２が推定される。

速度推定部２３は、次式に従って、並進方位角の推定値γ*に対応する車両１０の車速の推定値v*を求める。
速度推定部２３は、車速の推定値v*を、現画像の取得時刻と関連付けて、制御部７が有するメモリに記憶する。

記録判定部２４は、推定された車速の変化に基づいて、記録に残すべき時刻を表す録画時刻を決定し、その録画時刻の前後の一定期間に含まれる画像を一時記憶部５から読み出して記憶部６に保存させる。
そのために、記録判定部２４は、例えば、メモリを参照して、現画像の取得時における車速の推定値v*_tと、所定フレーム数（例えば、3〜5フレーム）前の過去の画像の取得時における車速の推定値v*_t-mとを比較する。そして記録判定部２４は、過去の画像の取得時における車速の推定値v*_t-mから現画像の取得時における車速の推定値v*_tの差(v*_t-m-v*_t)が所定の閾値よりも大きい場合、現画像の取得時を録画時刻として決定する。なお、記録判定部２４は、例えば、録画時刻の10秒前から、録画時刻の5秒後までの期間を、記憶部６に画像を保存する期間とする。また、所定の閾値は、例えば、ドライバが急ブレーキを掛けた場合の、上記のフレーム数に相当する時間の間の減速量に設定される。

図９は、速度推定処理を含む、画像記録判定処理の動作フローチャートである。なお、制御部７は、撮像部２が画像を生成する度に以下の動作フローチャートに従って画像記録判定処理を実行する。

制御部７は、撮像部２から現画像を取得し、加速度検出部３から車両１０の横加速度を取得し、位置検出部４から車両１０の現在位置を表す情報を取得する（ステップＳ１０１）。

追跡部２１は、現画像から特徴点を抽出する（ステップＳ１０２）。そして追跡部２１は、現画像から抽出された特徴点ごとに、その特徴点に対応する被写体上の点に対応する過去画像上の特徴点を特定する。これにより追跡部２１は、現画像と過去画像の間で被写体の同一の点に対応する特徴点の組を複数求める（ステップＳ１０３）。

一方、進行方向範囲算出部２２は、現画像の取得時における、横加速度に基づいて、車両１０の並進方位角の取り得る範囲を決定する（ステップＳ１０４）。

速度推定部２３は、並進方位角の取り得る範囲内で設定された並進方位角の注目値に対応する並進移動量及び回転量を算出する（ステップＳ１０５）。そして速度推定部２３は、並進移動量及び回転量に基づいて、基礎行列を算出する（ステップＳ１０６）。さらに速度推定部２３は、基礎行列に基づいて、各特徴点の組における過去画像上の特徴点と現画像の特徴点から算出されたエピポーラ線との距離の総和である評価値S(γ)を算出する（ステップＳ１０７）。そして速度推定部２３は、並進方位角の注目値に対応する評価値S(γ)が、現時点での評価値の最小値Sminよりも小さいか否か判定する（ステップＳ１０８）。評価値S(γ)が最小値Sminより小さい場合（ステップＳ１０８−Ｙｅｓ）、速度推定部２３は、その注目する並進方位角をメモリに記憶するとともに、その評価値S(γ)を最小値Sminに設定する（ステップＳ１０９）。

ステップＳ１０９の後、あるいはステップＳ１０８にて評価値S(γ)が最小値Smin以上である場合（ステップＳ１０８−Ｎｏ）、速度推定部２３は、適用される最適解算出方式に従って、注目する並進方位角を変更するか否か判定する（ステップＳ１１０）。注目する並進方位角を変更する場合（ステップＳ１１０−Ｙｅｓ）、速度推定部２３は、注目する並進方位角を、その最適解算出方式に従って変更する（ステップＳ１１１）。その後、速度推定部２３は、ステップＳ１０５〜Ｓ１１０の処理を繰り返す。

一方、並進方位角の注目値を変更しない場合（ステップＳ１１０−Ｎｏ）、速度推定部２３は、その時点でメモリに記憶されている評価値の最小値Sminに対応する並進方位角を車両１０の並進方位角として、車両１０の速度v*_tを推定する（ステップＳ１１２）。

その後、記録判定部２４は、過去の画像の取得時における車速の推定値v*_t-mから現画像の取得時における車速の推定値v*_tの差(v*_t-m-v*_t)が所定の閾値Thよりも大きいか否か判定する（ステップＳ１１３）。その差(v*_t-m-v*_t)が閾値Thよりも大きい場合（ステップＳ１１３−Ｙｅｓ）、記録判定部２４は、現画像の取得時を録画時刻としてその前後の一定期間に含まれる画像を一時記憶部５から読み出して、記憶部６に保存させる（ステップＳ１１４）。

ステップＳ１１４の後、あるいは、ステップＳ１１３においてその差(v*_t-m-v*_t)が閾値Th以下の場合（ステップＳ１１３−Ｎｏ）、制御部７は、記録判定処理を終了する。
なお、制御部７は、ステップＳ１０２及びＳ１０３の処理とステップＳ１０４の処理の順序を入れ換えてもよく、あるいは、ステップＳ１０２及びＳ１０３の処理とステップＳ１０４の処理を並列に実行してもよい。

以上に説明してきたように、速度推定装置の一実施形態である簡易ドライブレコーダは、車両の横加速度に基づいて車両の並進方位角が取り得る値の範囲を限定する。そしてこの簡易ドライブレコーダは、並進方位角が取り得る値の範囲内で、異なる時刻に撮影された二つの画像から抽出された特徴点の組に基づいて並進方位角を推定する。そのため、画像上で特徴点が偏在することにより、各特徴点の組に含まれる僅かな位置の誤差によって、評価値が最小となる並進方位角が本来の並進方位角から大きくずれたとしても、この簡易ドライブレコーダは、そのような誤った並進方位角の値を検出しない。したがって、この簡易ドライブレコーダは、車速の推定精度を向上できる。

変形例によれば、速度推定部２３は、過去画像上の特徴点に対応するエピポーラ線を現画像上で求め、現画像上の対応する特徴点とそのエピポーラ線間の距離の総和を評価関数としてもよい。この場合には、速度推定部２３は、並進方位角γを(-γ)として、基礎行列を算出すればよい。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

以上説明した実施形態及びその変形例に関し、更に以下の付記を開示する。
（付記１）
車両の進行方向に対して垂直かつ路面に平行な方向の加速度を検出する加速度検出部と、
前記車両の周囲の少なくとも一部が写った画像を順次生成する撮像部と、
前記撮像部により生成された画像を一定期間の間記憶する一時記憶部と、
前記一時記憶部の記憶容量以上の記憶容量を持つ記憶部と、
前記車両が第１の地点から第２の地点へ移動したときに、前記車両の周囲にある複数の点のそれぞれについて、前記第１の地点で前記撮像部により生成された第１の画像上の対応する特徴点を抽出し、かつ、前記第２の地点で前記撮像部により生成された第２の画像上の対応する特徴点を抽出し、
前記加速度に基づいて、前記第１の地点から前記第２の地点へ向かう前記車両の進行方向が取り得る範囲を特定し、
前記範囲内で推定した前記車両の進行方向に応じて前記第１の画像及び前記第２の画像のうちの一方の画像について抽出された複数の前記特徴点のそれぞれを前記第１の画像及び前記第２の画像のうちの他方の画像へ投影し、該投影された複数の前記特徴点のそれぞれと前記他方の画像上の対応する前記特徴点間の位置の誤差を表す評価値が最小となるように前記車両の進行方向を推定し、該推定された進行方向に基づいて前記車両の速度を推定し、
前記車両の速度の変化が所定の条件を満たした時点で、当該時点の前後の前記一定期間に含まれる画像を前記一時記憶部から読み出し、該一定期間に含まれる画像を前記記憶部に保存させる制御部と、
を有するドライブレコーダ。

１ 簡易ドライブレコーダ（速度推定装置）
２ 撮像部
３ 加速度検出部
４ 位置検出部
５ 一時記憶部
６ 記憶部
７ 制御部
１０ 車両
２１ 追跡部
２２ 進行方向範囲算出部
２３ 速度推定部
２４ 記録判定部

Claims (5)

1. 車両の進行方向に対して垂直かつ路面に平行な方向の加速度を検出する加速度検出部と、
   前記車両が第１の地点から第２の地点へ移動したときに、前記第１の地点において前記車両の周囲の少なくとも一部が写った第１の画像を生成し、前記第２の地点において前記車両の周囲の少なくとも一部が写った第２の画像を生成する撮像部と、
   前記車両の周囲にある複数の点のそれぞれについて、前記第１の画像上の対応する特徴点を抽出し、かつ、前記第２の画像上の対応する特徴点を抽出する追跡部と、
   前記加速度に基づいて、前記第１の地点から前記第２の地点へ向かう前記車両の進行方向が取り得る範囲を特定する進行方向範囲算出部と、
   前記範囲内で推定した前記車両の進行方向に応じて前記第１の画像及び前記第２の画像のうちの一方の画像について抽出された複数の前記特徴点のそれぞれを前記第１の画像及び前記第２の画像のうちの他方の画像へ投影し、該投影された複数の前記特徴点のそれぞれと前記他方の画像上の対応する前記特徴点間の位置の誤差を表す評価値が最小となるように前記車両の進行方向を推定し、該推定された進行方向に基づいて前記車両の速度を推定する速度推定部と、
   を有する速度推定装置。
2. 前記速度推定部は、前記一方の画像上の複数の前記特徴点のそれぞれに対応する前記他方の画像上のエピポーラ線と当該一方の画像上の特徴点に対応する前記他方の画像上の前記特徴点との間の距離の総和を前記評価値として算出する、請求項１に記載の速度推定装置。
3. 前記進行方向範囲算出部は、前記車両の最小回転半径が小さくなるほど前記第１の地点において前記車両が直進する方向と前記進行方向のなす角の最大値が大きくなるように、当該最大値を算出する、請求項１または２に記載の速度推定装置。
4. 前記車両の位置を検出する位置検出部と、
   地図情報を記憶する記憶部とをさらに有し、
   前記進行方向範囲算出部は、前記第１の地点における前記車両の位置及び前記地図情報を参照することにより、前記第１の地点が属する道路について規定された最高速度を求めて、該最高速度が速くなるほど前記第１の地点において前記車両が直進する方向と前記進行方向のなす角の最小値が小さくなるように、当該最小値を算出する、請求項１〜３の何れか一項に記載の速度推定装置。
5. 車両の進行方向に対して垂直かつ路面に平行な方向の加速度を検出し、
   前記車両が第１の地点から第２の地点へ移動したときに、前記第１の地点において前記車両の周囲の少なくとも一部が写った第１の画像を生成し、前記第２の地点において前記車両の周囲の少なくとも一部が写った第２の画像を生成し、
   前記車両の周囲にある複数の点のそれぞれについて、前記第１の画像上の対応する特徴点を抽出し、かつ、前記第２の画像上の対応する特徴点を抽出し、
   前記加速度に基づいて、前記第１の地点から前記第２の地点へ向かう前記車両の進行方向が取り得る範囲を特定し、
   前記範囲内で推定した前記車両の進行方向に応じて前記第１の画像及び前記第２の画像のうちの一方の画像について抽出された複数の前記特徴点のそれぞれを前記第１の画像及び前記第２の画像のうちの他方の画像へ投影し、該投影された複数の前記特徴点のそれぞれと前記他方の画像上の対応する前記特徴点間の位置の誤差を表す評価値が最小となるように前記車両の進行方向を推定し、
   前記推定された進行方向に基づいて前記車両の速度を推定する、
   ことを含む速度推定方法。