JP2008158640A - 移動物体検出装置 - Google Patents
移動物体検出装置 Download PDFInfo
- Publication number
- JP2008158640A JP2008158640A JP2006344362A JP2006344362A JP2008158640A JP 2008158640 A JP2008158640 A JP 2008158640A JP 2006344362 A JP2006344362 A JP 2006344362A JP 2006344362 A JP2006344362 A JP 2006344362A JP 2008158640 A JP2008158640 A JP 2008158640A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target image
- processing target
- moving object
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】監視領域を撮像してその撮像画像中から移動物体を的確に検出し、かつ、処理速度を向上することが可能な移動物体検出装置を提供する。
【解決手段】移動物体検出装置1は、ステレオカメラ2と、一対の撮像画像から距離データdpを算出するステレオ画像処理部6と、ステレオカメラ2の運動状態を検出する運動状態検出手段14、15と、一方の画像を処理対象画像T0とし、ある時刻に撮像された処理対象画像T0における所定の画素の画素座標に静止物体が存在するとみなした場合に、距離データdpとステレオカメラ2の運動状態に基づいて次時刻までに静止物体が処理対象画像T0上で見かけ上移動する画像座標を予測する予測部12と、予測された画像座標における輝度値p1ijと、次時刻に撮像された処理対象画像T1の画素座標における輝度値との差分に基づいて処理対象画像T1中から移動物体を検出する検出部13とを備える。
【選択図】図1
【解決手段】移動物体検出装置1は、ステレオカメラ2と、一対の撮像画像から距離データdpを算出するステレオ画像処理部6と、ステレオカメラ2の運動状態を検出する運動状態検出手段14、15と、一方の画像を処理対象画像T0とし、ある時刻に撮像された処理対象画像T0における所定の画素の画素座標に静止物体が存在するとみなした場合に、距離データdpとステレオカメラ2の運動状態に基づいて次時刻までに静止物体が処理対象画像T0上で見かけ上移動する画像座標を予測する予測部12と、予測された画像座標における輝度値p1ijと、次時刻に撮像された処理対象画像T1の画素座標における輝度値との差分に基づいて処理対象画像T1中から移動物体を検出する検出部13とを備える。
【選択図】図1
Description
本発明は、移動物体検出装置に係り、特に、周囲をステレオカメラで撮像しその撮像画像中から移動物体を検出する移動物体検出装置に関する。
従来より、車両や移動可能なロボット等にステレオカメラを搭載して、その前方領域などの周囲の監視領域を撮像し、それにより得られた情報に基づいて、監視領域内の状況を三次元的に認識する外界監視装置が注目されている(例えば、特許文献1等参照)。
このような外界監視装置を用いれば、例えば、自動車等の車両では、車両の前方や側方の監視領域内から車両や障害物を検出し、それらとの衝突を回避するため、運転者に警報を発したり、自動的に自車両のブレーキを作動させて減速や停止をさせたりすることが可能となる(例えば、特許文献2乃至特許文献8参照)。
また、例えば、このような外界監視装置をロボットに搭載すれば、監視領域内に検出した物体との接触を回避し、或いはその物体に対向してその物体を詳しく観察するという判断が可能となる。さらに、例えば、このような外界監視装置をパン・チルト式の監視カメラに搭載した場合、監視領域内を移動する物体を検出して、その物体を追跡したりズームアップして記録したりすることも可能となる。
外界監視装置による外界認識方法としては、撮像画像に基づいて対象物のオプティカルフローを求める方法が知られている。例えば、特許文献9では、自車両の車速やヨーレートから得られた自車両の運動情報と、距離画像を用いて算出した3次元の移動成分フローに基づいて、地面に対して移動する物体と静止する物体とを検出する手法が提案されている。また、特許文献10には、撮像時間に時間差がある第1画像と第2画像との画像データを比較してオプティカルフローを求める際、第1画像のバターンマッチングを行う画像領域を制限し分割して行う手法が記載されている。
特開2001−84383号公報
特開平5−114099号公報
特開平5−265547号公報
特開平6−266828号公報
特開平10−283461号公報
特開平10−283477号公報
特開平11−213138号公報
特開2001−92970号公報
特開2006−134035号公報
特開平10−222665号公報
ところで、特許文献9に記載された移動物体検出装置では、地面に対して移動する物体と静止する物体とを的確に検出することが可能となる。しかし、オプティカルフローを算出する際、異なる時刻で撮像された2つの撮像画像のうち、一方の撮像画像中の一部分について他方の撮像画像の全画像範囲を対象としてパターンマッチングを行い、それを前記一方の撮像画像の各部分について行うため、撮像画像によってはパターンマッチングの演算処理が増大して処理量が多くなる場合があり、移動物体や静止物体を検出するまでに要する時間が必ずしも短くならない場合があった。
その点、特許文献10に記載された画像認識装置では、撮像画像の画像領域を制限したり分割したりしてオプティカルフローを求めることで演算量が低減され処理速度が向上されるとされる。しかし、画像領域を、検出対象となる移動物体の各方向における考え得る速度範囲から定まる画像の移動可能範囲に制限するため、新たに撮像画像中に現れる移動物体、すなわち例えば車両の前方に飛び出してくる歩行者などを的確に検出することが困難である。また、そのような新たな移動物体を把握しようとすれば、オプティカルフローを求めるべき画像領域は拡大せざるを得ず、その演算量が必ずしも低減できないという問題があった。
このように、撮像画像中から移動物体を検出する際にパターンマッチングによりオプティカルフローを算出する手法は、演算量の増大の問題を回避することは難しく、例えば単位時間当たりに何枚も画像を撮像し、そのつど撮像画像中から移動物体を検出してリアルタイムに物体を追跡していくことは必ずしも容易に行えない。
そこで、本発明は、監視領域を撮像してその撮像画像中から移動物体を的確に検出し、かつ、パターンマッチングによるオプティカルフローを用いることなく処理速度を向上することが可能な移動物体検出装置を提供することを目的とする。特に、ステレオカメラの前方を横方向に移動する移動物体を検出可能な移動物体検出装置を提供することを目的とする。
前記の問題を解決するために、第1の発明は、
移動物体検出装置において、
一対の撮像画像を時系列的に出力するステレオカメラと、
前記一対の撮像画像を処理して距離データを算出するステレオ画像処理部と、
前記ステレオカメラの運動状態を検出する運動状態検出手段と、
前記ステレオカメラにより撮像された一対の撮像画像のうちの一方の画像を処理対象画像とし、ある時刻に撮像された前記処理対象画像における所定の画素についてその画素座標に静止物体が存在するとみなした場合に、前記距離データと前記ステレオカメラの運動状態に基づいて次時刻までに前記静止物体が前記処理対象画像上で見かけ上移動する画像座標を予測し、当該予測した画像座標と前記画素の輝度値とを対応付けて保存する予測部と、
前記予測部により予測された前記画像座標における前記輝度値と、前記次時刻に実際に撮像された処理対象画像の画素座標における輝度値との差分に基づいて、前記処理対象画像中から移動物体を検出する検出部と
を備えることを特徴とする。
移動物体検出装置において、
一対の撮像画像を時系列的に出力するステレオカメラと、
前記一対の撮像画像を処理して距離データを算出するステレオ画像処理部と、
前記ステレオカメラの運動状態を検出する運動状態検出手段と、
前記ステレオカメラにより撮像された一対の撮像画像のうちの一方の画像を処理対象画像とし、ある時刻に撮像された前記処理対象画像における所定の画素についてその画素座標に静止物体が存在するとみなした場合に、前記距離データと前記ステレオカメラの運動状態に基づいて次時刻までに前記静止物体が前記処理対象画像上で見かけ上移動する画像座標を予測し、当該予測した画像座標と前記画素の輝度値とを対応付けて保存する予測部と、
前記予測部により予測された前記画像座標における前記輝度値と、前記次時刻に実際に撮像された処理対象画像の画素座標における輝度値との差分に基づいて、前記処理対象画像中から移動物体を検出する検出部と
を備えることを特徴とする。
第2の発明は、第1の発明の移動物体検出装置において、
前記予測部は、前記予測した画像座標に前記画素の輝度値を配置した予測画像を新たに生成し、
前記検出部は、前記予測部で生成された前記予測画像と、前記次時刻に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、前記処理対象画像中から移動物体を検出することを特徴とする。
前記予測部は、前記予測した画像座標に前記画素の輝度値を配置した予測画像を新たに生成し、
前記検出部は、前記予測部で生成された前記予測画像と、前記次時刻に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、前記処理対象画像中から移動物体を検出することを特徴とする。
第3の発明は、第1または第2の発明の移動物体検出装置において、
前記運動状態検出手段は、前記ステレオカメラの運動状態として前記ステレオカメラの移動速度およびヨーレートを検出し、
前記予測部は、前記処理対象画像中の静止物体とみなされた物体が、前記ステレオカメラ自体の前後方向の移動およびヨーイング運動により、前記ある時刻から前記次時刻までの間に前記処理対象画像中を見かけ上移動する見かけ上の移動フローを算出し、前記ある時刻に撮像された前記処理対象画像中の画像座標に前記見かけ上の移動フローを加算して、前記次時刻における画像座標を予測することを特徴とする。
前記運動状態検出手段は、前記ステレオカメラの運動状態として前記ステレオカメラの移動速度およびヨーレートを検出し、
前記予測部は、前記処理対象画像中の静止物体とみなされた物体が、前記ステレオカメラ自体の前後方向の移動およびヨーイング運動により、前記ある時刻から前記次時刻までの間に前記処理対象画像中を見かけ上移動する見かけ上の移動フローを算出し、前記ある時刻に撮像された前記処理対象画像中の画像座標に前記見かけ上の移動フローを加算して、前記次時刻における画像座標を予測することを特徴とする。
第4の発明は、第1から第3のいずれかの発明の移動物体検出装置において、前記処理対象画像における所定の画素は、前記ステレオ画像処理部により前記距離データが算出された画素であることを特徴とする。
第5の発明は、第1から第4のいずれかの発明の移動物体検出装置において、
前記ステレオ画像処理部により算出された前記距離データに基づいて前記処理対象画像中から立体物を検出する立体物検出部を有し、
前記予測部は、検出された立体物を静止物体とみなした場合に、前記立体物が次時刻において前記処理対象画像上で見かけ上移動する画像座標を予測し、
前記検出部は、検出された立体物のうち移動物体として検出した立体物の情報を出力することを特徴とする。
前記ステレオ画像処理部により算出された前記距離データに基づいて前記処理対象画像中から立体物を検出する立体物検出部を有し、
前記予測部は、検出された立体物を静止物体とみなした場合に、前記立体物が次時刻において前記処理対象画像上で見かけ上移動する画像座標を予測し、
前記検出部は、検出された立体物のうち移動物体として検出した立体物の情報を出力することを特徴とする。
第1の発明によれば、ステレオカメラの運動状態に基づく静止物体の処理対象画像上での見かけ上の移動を予測する際に、理論的に求められた式に車速とヨーレートと距離データを代入するだけで容易に見かけ上の移動フローを算出することが可能となり、処理速度を向上させることが可能となる。また、処理対象画像のうち、距離データが算出された所定の画素についてのみ前記式に従って見かけ上の移動フローを算出すればよいため、処理速度がより向上される。
また、ある撮像タイミングで撮像された撮像画像中の立体物をすべて静止物体であると仮定して見かけ上の移動フローを求め、その移動フローに基づいて立体物を見かけ上移動させた画像と、次時刻に実際に撮像した画像の輝度値の差分を算出することで、実際に静止している物体に対応する輝度値はキャンセルされ、移動している物体に対応する輝度値のみがキャンセルされずに残る。そのため、移動物体を非常に容易に検出することが可能となるとともに、撮像画像中から移動物体を的確に検出することが可能となる。
さらに、ステレオカメラの前方を横方向に移動する移動物体は処理対象画像上での見かけ上の位置が大きく変化する。そのため、ステレオカメラの前方を横方向に移動する移動物体については、前記輝度値の差分のキャンセルの有無が明確に現れるため、特にそのように横方向に移動する移動物体を確実に検出することが可能となる。
第2の発明によれば、新たに生成された予測画像と、次時刻に実際に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、差分の算出を容易かつ確実に行うことが可能となり、前記第1の発明の効果がより的確に発揮される。
第3の発明によれば、ステレオカメラの移動速度とヨーレートとを検出して、静止物体とみなされた物体の処理対象画像中での見かけ上の移動フローを算出することで、ステレオカメラ自体の前後方向の移動およびヨーイング運動を的確に捉え、静止物体とみなされた物体の見かけ上の移動を正確に算出することが可能となる。そのため、前記各発明の効果がより的確に発揮される。
第4の発明によれば、処理対象画像における所定の画素をステレオ画像処理部により距離データが算出された画素に限定することで、距離データを用いて見かけ上の移動フローを正確に算出することが可能となるとともに、距離データが算出されていない画素については処理を行わないため、前記各発明の効果がより正確に発揮され、処理速度がより向上される。
第5の発明によれば、処理対象画像中から予め立体物を検出しておき、それらの立体物についてだけ前記演算処理を行って静止物体か移動物体かを判定することが可能となるため、無駄な演算処理を行う必要がなくなり、前記各発明の効果がより的確に発揮され、処理速度がより向上される。
以下、本発明に係る移動物体検出装置の実施の形態について、図面を参照して説明する。本実施形態では、装置を車両に搭載し、車両前方を撮像した撮像画像中から移動物体、特に歩行者を検出する移動物体検出装置について説明する。
本実施形態に係る移動物体検出装置1は、図1に示すように、主に、ステレオカメラ2と、ステレオ画像処理部6と、移動物体検出部8等で構成されている。
なお、ステレオカメラ2から距離データメモリ7までの構成は、前記引用文献5、6等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
ステレオカメラ2は、本実施形態では、互いに同期が取られたCCDやCMOSセンサ等のイメージセンサがそれぞれ内蔵され例えばルームミラー近傍に車幅方向に所定の間隔をあけて取り付けられた一対のメインカメラ2aおよびサブカメラ2bで構成されており、所定のサンプリング周期で車両前方の道路を含む風景を撮像して一対の撮像画像を時系列的に出力するようになっている。一対のステレオカメラのうちメインカメラ2aは、運転者に近い側のカメラであり、処理の対象となる図2に示すような処理対象画像T0を撮像するようになっている。なお、サブカメラ2bで撮像された画像を比較画像という。
メインカメラ2aとサブカメラ2bから出力された画像データは、変換部3であるA/Dコンバータ3a、3bでアナログ画像から画素ごとに輝度値p1ijを有するデジタル画像にそれぞれ変換され、画像補正部4で、ずれやノイズの除去等の画像補正が行われ、画像データメモリ5に格納されると同時に移動物体検出部8に送信されるようになっている。
ステレオ画像処理部6では、処理対象画像T0と比較画像の各画像データにステレオマッチング処理を施して実空間上の距離データZに対応する視差dpを算出するようになっている。以下、視差dpが割り当てられた画像を距離画像という。このようにして算出された視差dpの情報すなわち距離画像は、距離データメモリ7に格納されるようになっている。
なお、前記一対のカメラ2a、2bの中央真下の道路面の点を原点とし、自車両の車幅方向をX軸方向、車高方向をY軸方向、車長方向をZ軸方向とした場合の実空間上の点(X,Y,Z)は、視差dpと距離画像上の点(i,j)とにより、下記(1)〜(3)式で表される座標変換により一意に対応づけられる。
X=CD/2+Z×PW×(i−IV) …(1)
Y=CH+Z×PW×(j−JV) …(2)
Z=CD/(PW×(dp−DP)) …(3)
X=CD/2+Z×PW×(i−IV) …(1)
Y=CH+Z×PW×(j−JV) …(2)
Z=CD/(PW×(dp−DP)) …(3)
ここで、前記各式において、CDは一対のカメラの間隔、PWは1画素当たりの視野角、CHは一対のカメラの取り付け高さ、IVおよびJVは自車両正面の無限遠点の距離画像上のi座標およびj座標、DPは消失点視差を表す。
また、ステレオ画像処理部6は、視差dpの信頼性を向上させるため、前記のようにして求めた視差dpに対してフィルタリング処理を施し、有効とされた視差dpのみを出力するようになっている。すなわち、例えば道路面の映像のように画素の輝度値p1ijの特徴が乏しい画素領域では前記ステレオマッチング処理の結果の信頼性が低い。そのため、そのような画素領域では視差dpは前記フィルタリング処理で無効とされ、視差dpの値として0を出力するようになっている。
したがって、ステレオ画像処理部6から出力される処理対象画像T0の各画素の距離データすなわち視差dpは、通常、処理対象画像T0の左右方向に隣り合う画素間で輝度値p1ijの差が大きいいわゆるエッジ部分等の特徴的な画素領域についてのみ有効な値を持つデータとなる。
移動物体検出部8は、図示しないCPUやROM、RAM、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、移動物体検出部8には、ステレオカメラ2の運動状態すなわち本実施形態ではステレオカメラ2を搭載した車両の運動状態を検出する運動状態検出手段としての車速検出手段14およびヨーレート検出手段15が接続されている。
本実施形態では、車速検出手段14には車速センサが用いられ、ヨーレート検出手段15にはヨーレートセンサが用いられており、車速センサからはステレオカメラ2の移動速度として自車両の車速Vが、また、ヨーレートセンサからはステレオカメラ2のヨーレートすなわち自車両のヨーレートωが入力されるようになっている。
なお、ヨーレート検出手段15として、ヨーレートセンサの代わりに、例えば自車両の車速V等からヨーレートを推定する装置を用いたり、ヨーレートセンサの値を自車両の車速V等を用いて修正する装置を用いたりすることも可能である。
移動物体検出部8は、図1に示すように、認識部9と、フロー算出部10と、予測画像形成部11と、検出部13とを備えており、さらに図示しないメモリを備えている。なお、本実施形態では、フロー算出部10と予測画像形成部11とにより本発明の予測部12が構成されている。
以下、本実施形態に係る移動物体検出部8における移動物体検出処理の手順を、図3に示すフローチャートに基づいて説明する。
移動物体検出部8の認識部9は、道路形状認識部9aと立体物検出部9bとで構成されている。本実施形態では、道路形状認識部9aは前記引用文献8に記載の車線認識装置をベースに構成されており、立体物検出部9bは前記引用文献5、6等の車外監視装置をベースに構成されている。詳細な説明はそれらの公報に委ねるが、以下、簡単に説明する。
認識部9の道路形状認識部9aは、まず自車両の左右の道路面に標示された追い越し禁止線や路側帯との区分線等の車線を検出し、その情報に基づいて道路モデルを形成して道路形状を認識するようになっている(ステップS1)。
具体的には、道路形状認識部9aは、画像データメモリ5から処理対象画像T0の各画素の輝度値p1ijの情報を読み出し、図4に示すように処理対象画像T0上の1画素幅の水平ラインj上を左右方向に1画素ずつオフセットしながら探索して輝度値p1ijが隣接する画素の輝度値から閾値以上に大きく変化する等の条件を満たす画素を車線候補点(Ij,Jj)としてそれぞれ検出する。しかし、距離データメモリ7から読み出された車線候補点(Ij,Jj)における視差dpの情報および過去の道路モデル(後述)に基づいて、検出された車線候補点が道路面にない場合は車線候補点から除外して車線候補点としては検出しないようになっている。
そして、道路形状認識部9aは、水平ラインjを処理対象画像T0の下側から上向きに1画素幅ずつオフセットさせながら順次車線候補点の検出を行い、自車両の左右にそれぞれ車線候補点を検出していく。その際、水平ラインj上に検出された車線候補点が処理対象画像T0のより下側の領域で検出された車線候補点と整合性が取れない場合には水平ラインj上の車線候補点は破棄される。このようにして検出された車線候補点を結ぶことで、図5に示すように処理対象画像T0上で自車両の左右に右車線位置LRおよび左車線位置LLが検出される。検出された左右の車線位置LR、LLは前記(1)〜(3)式に従って三次元の実空間上に変換される。
また、道路形状認識部9aは、検出した左右の車線位置LR、LLや車線候補点の情報に基づいて道路モデルを三次元的に形成するようになっている。本実施形態では、道路形状認識部9aは、自車両の左右の車線を所定区間ごとに三次元の直線式で近似し、それらを折れ線状に連結して表現した道路モデルを形成するようになっている。
具体的には、道路形状認識部9aは、自車両前方の実空間を自車両の位置からの所定の距離ごとに複数の区間に分け、検出した車線候補点の実空間上の位置(X,Y,Z)や車線位置LR、LLの情報に基づいてそれぞれの区間内の車線候補点を最小二乗法で直線近似するなどして近似し、各区間ごとに下記の(4)〜(7)式のパラメータaR、bR、aL、bL、cR、dR、cL、dLを算出し、道路モデルを形成して道路形状を認識する。
[水平形状モデル]
右車線 X=aR・Z+bR …(4)
左車線 X=aL・Z+bL …(5)
[道路高モデル]
右車線 Y=cR・Z+dR …(6)
左車線 Y=cL・Z+dL …(7)
右車線 X=aR・Z+bR …(4)
左車線 X=aL・Z+bL …(5)
[道路高モデル]
右車線 Y=cR・Z+dR …(6)
左車線 Y=cL・Z+dL …(7)
認識部9の立体物検出部9bは、ステレオ画像処理部6により算出された距離データである視差dpに基づいて処理対象画像T0中から道路面より上方に存在する立体物を検出するようになっている(図3のステップS2)。
具体的には、立体物検出部9bは、距離データメモリ7から前述した距離画像を読み出して、距離画像を垂直方向に延びる所定画素幅で短冊状の区分に分割し、短冊状の各区分に属する各視差dpを前記(3)式に従ってそれぞれ距離Zに変換し、各距離Zのうち前記形成された道路モデルに基づいて道路面より上方に存在すると位置付けられる距離に関してヒストグラムを作成して、度数が最大の区間までの距離をその短冊状の区分における立体物までの代表距離とする。これを全区分について行う。以下、各区分の代表距離を代表距離Zという。
例えば、図2に示した処理対象画像T0から作成された距離画像に対して前記代表距離Zの算出を行い、算出された各区分ごとの代表距離Zを実空間上にプロットすると、図6に示すように自車両前方の立体物の自車両MCに面した部分に対応する部分に多少バラツキを持って各点としてプロットされる。
立体物検出部9bは、このようにプロットされる各点を近接する各点の距離や方向性に基づいて互いに隣接する各点をそれぞれグループ化し、図7に示すように、グループ内の各点が自車両の車幅方向に略平行に並ぶグループには“物体”O1、O2とラベルし、グループ内の各点が自車両の進行方向に略平行な並ぶグループには“側壁”S1〜S4とラベルして分類する。立体物検出部9bは、このようにして、[側壁S1]、[物体O1、側壁S2]、[物体O2]、[側壁S3]、[側壁S4]をそれぞれ立体物として検出するようになっている。
また、立体物検出部9bは、この検出結果に基づいて、図8に示すように処理対象画像T0上で検出された立体物O1、O2、S1〜S4を枠線で囲い、以下の移動物体検出処理のためにその枠線の内部領域を移動物体の検出範囲として決定するようになっている(図3のステップS3)。
認識部9は、道路形状認識部9aで検出した左右の車線位置LR、LLや車線候補点の情報および道路モデルの各パラメータaR〜dL等と、立体物検出部9bで検出した枠線を含む立体物の情報等とをそれぞれメモリに保存するとともに、予測部12の予測画像形成部11に送信するようになっている。
図3に示したフローチャートに従って、続いて、予測部12のフロー算出部10で、処理対象画像T0中に検出された立体物をすべて静止物体とみなした場合に、その静止物体がステレオカメラ2自体の前後方向の移動およびヨーイング運動、すなわち本実施形態ではステレオカメラ2を搭載した自車両自体の前後方向の移動およびヨーイング運動により、次の撮像タイミングまでの間に処理対象画像T0中を見かけ上移動する見かけ上の移動フローが算出されるようになっている(ステップS4)。
ここで、処理対象画像T0において距離データすなわち視差dpが算出されている所定の画素座標(i,j,dp)に対応する立体物が静止していると仮定し、車速検出手段14から入力される自車両の車速をV、ヨーレート検出手段15から入力される自車両のヨーレートをωとした場合、自車両自体の前後方向の移動およびヨーイング運動により次の撮像タイミングまでの間に処理対象画像T0中を見かけ上移動する見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jはそれぞれ下記(8)、(9)式によって表される。
ここで、iおよびjは処理対象画像T0における無限遠点を原点としたときのi座標およびj座標に変換された値であり、Wiはi方向の撮像素子ピッチ、fはメインカメラ2aおよびサブカメラ2bの焦点距離、Lはメインカメラ2aとサブカメラ2bとの距離を表す。
本実施形態では、フロー算出部10は、前記立体物検出部9bにより決定された移動物体の検出範囲、すなわち検出された立体物を囲む処理対象画像T0上の枠線の内部領域に存在する視差dpが算出されている各画素座標(i,j,dp)について前記(8)、(9)式に従ってそれぞれ見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jを算出するようになっている。また、フロー算出部10は、各枠線の各頂点の画素座標についても同様にして見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jを算出するようになっている。
フロー算出部10は、このようにして算出した各枠線および各枠線内の各画素座標の見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jをメモリに保存するとともに、予測部12の予測画像形成部11に送信するようになっている。
図3に示したフローチャートに従って、続いて、予測部12の予測画像形成部11で、前記画像データメモリ5から処理対象画像T0の画素の輝度値の情報が読み出され、認識部9から送信されてきた前記各枠線の情報に基づいて処理対象画像T0中から各枠線の内部領域が切り出されて、フロー算出部10で算出された各枠線および各枠線内の各画素座標についての見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jに基づいて、静止物体とみなされた各立体物が次の撮像タイミング時刻で処理対象画像T0上のどの画像座標に見かけ上移動するかを予測して予測画像が形成されるようになっている(ステップS5)。
具体的には、予測画像形成部11は、図8に示したように現在の時刻において処理対象画像T0から立体物が検出され、それを囲って移動物体の検出範囲が決定されると、図9に示すように処理対象画像T0中から各枠線の内部領域を切り出す。そして、各枠線や各枠線内の各画素座標についての見かけ上の移動フローのi方向成分Fst_iおよびj方向成分Fst_jに基づいてそれらの画素座標が見かけ上移動する画像上の位置を算出して、元の画素座標における輝度値を移動先の画素座標に移動させて配置して図10に示すような予測画像T0estを新たに生成する。
予測画像形成部11は、このようにして移動後の予測画像T0est上の各枠線や各枠線内の各画素座標と各画素座標の輝度値とを対応付けてメモリに保存するようになっている。
図3に示したフローチャートに従って、続いて、検出部13では、予測部12により予測された予測画像T0estの各枠線中の画像座標における輝度値と、次の撮像タイミングで撮像された処理対象画像T1の対応する画素座標における輝度値との差分が算出されるようになっている(ステップS6)。
具体的には、検出部13は、図11に示すような次の撮像タイミングで実際に撮像され、[側壁S11]、[物体O11]、[物体O21、側壁S21]、[物体O31]、[側壁S31]、[側壁S41]として検出された立体物がそれぞれ枠線で囲まれた処理対象画像T1が入力されると、メモリから前回の予測画像T0estの情報を読み出して、処理対象画像T1と予測画像T0estの対応する枠線、すなわち図11の処理対象画像T1と図10の予測画像T0estの場合には枠線S11と枠線S1est、枠線O211と枠線O1est、枠線S21と枠線S2est、枠線O31と枠線O2est、枠線S31と枠線S3est、枠線S41と枠線S4estとの重なり合う部分について、各枠線中の同じ画像座標における輝度値同士の差分を算出する。[物体O21、側壁S21]は、物体O21と側壁S21とで1つの立体物が構成されていることを示す。
すると、枠線S11と枠線S1est、枠線O211と枠線O1est、枠線S21と枠線S2est、枠線S31と枠線S3est、枠線S41と枠線S4estのように、立体物に実空間上での動きがなく、次の撮像タイミングで撮像された立体物の処理対象画像T1上での位置と、前回の処理対象画像T0上の位置から自車両自体の前後方向の移動およびヨーイング運動により見かけ上移動した位置とが一致する場合には、同じ画素座標における輝度値がそれぞれキャンセルして差分が0になる。
しかし、枠線O31と枠線O2estのように、枠線内の立体物が実空間上で移動し、次の撮像タイミングで撮像された立体物の処理対象画像T1上での位置と、前回の処理対象画像T0上の位置から自車両自体の前後方向の移動およびヨーイング運動により見かけ上移動した位置とが一致しない場合には、同じ画素座標における輝度値がキャンセルされず、図12に示すように、差分が0ではない部分が生じる。なお、図12では、差分が0でない部分が黒く表されている。
検出部13は、この差分が0でない部分を図11に示した処理対象画像T1上の立体物を囲った枠線に対応させる。そして、この場合は差分が0でない部分が枠線O31に対応するため、検出部13は、枠線O31に対応する立体物を移動物体として検出するようになっている(図3のステップS7)。
ただし、処理対象画像T0を撮像したタイミングから次の撮像タイミングまでに自車両周囲の明るさが変化している場合など、静止物体であっても差分が0にならない状況がある。そのため、本実施形態では、移動物体を検出する閾値として、差分0を基準に正と負の方向にそれぞれ所定のマージンを持たせた範囲を予め設定し、この設定した範囲外の差分を有する立体物を移動物体として検出するようになっている。
また、本実施形態では、検出部13は、前回の処理対象画像T0中に検出されず枠線が設定されておらず、次の撮像タイミングで撮像された立体物の処理対象画像T1中に初めて検出された立体物、すなわち図11の処理対象画像T1では枠線O11で表される立体物についても移動物体として検出するようになっている。
検出部13は、以上のようにして検出した移動物体すなわち上記の例では移動物体O31、O11の情報をメモリに保存するとともに、処理対象画像T1の情報やその中に設定された枠線や立体物等の情報とともに出力するようになっている。
なお、本実施形態では、枠線に囲まれて特定される立体物の情報にIDナンバーを付した状態で情報が出力されるようになっており、IDナンバーで特定される立体物の情報の例えばヘッダ部分にそのi方向やj方向の画素座標等とともに移動物体であることを示す情報が書き込まれて出力されるようになっている。
また、移動物体として検出された立体物の画像上または実空間上の移動方向を特定することも可能である。立体物の移動方向は、例えば、立体物を囲む枠線の動きを追跡することによって特定することができる。
本実施形態に係る移動物体検出装置1の作用については、上記構成で説明したとおりであり、説明を省略する。
以上のように、本実施形態に係る移動物体検出装置1によれば、ステレオカメラ2の運動状態に基づく静止物体の処理対象画像上での見かけ上の移動を予測する際に、パターンマッチングによって見かけ上の移動フローを求めるのではなく、理論的に求められた式に車速Vとヨーレートωと視差dpを代入するだけで容易に見かけ上の移動フローFst_i、Fst_jを算出することが可能となり、処理速度を向上させることが可能となる。
また、その際、処理対象画像のうち、視差dpすなわち距離データが算出された所定の画素についてのみ前記式に従って見かけ上の移動フローを算出するため、処理対象画像の全画素について見かけ上の移動フローを算出するのに比べて、処理速度がより向上される。そのため、処理対象画像中から移動物体を検出する処理を、1秒間に数回〜数十回撮像するCCDカメラ等の撮像タイミングに合わせて行うことが可能となる。
さらに、ある撮像タイミングで撮像された撮像画像中の立体物をすべて静止物体であると仮定して見かけ上の移動フローを求め、その移動フローに基づいて立体物を見かけ上移動させた画像と、次時刻に実際に撮像した画像の輝度値の差分を算出することで、実際に静止している物体に対応する輝度値はキャンセルされ、移動している物体に対応する輝度値のみがキャンセルされずに残る。そのため、移動物体を非常に容易に検出することが可能となるとともに、撮像画像中から移動物体を的確に検出することが可能となる。
また、ステレオカメラと同じ方向に移動する移動物体は、処理対象画像上で見かけ上の位置があまり変化しないが、ステレオカメラの前方を横方向に移動する移動物体は処理対象画像上での見かけ上の位置が大きく変化する。そのため、ステレオカメラの前方を横方向に移動する移動物体については、前記輝度値の差分のキャンセルの有無が明確に現れるため、本実施形態に係る移動物体検出装置1では、特にそのように横方向に移動する移動物体を確実に検出することが可能となる。
そのため、本実施形態のように移動物体検出装置1を車両前方の監視に用いた場合、車両前方を横断する歩行者や道路脇から飛び出してくる歩行者を的確に捉えることが可能となり、車両の安全走行に大いに寄与するものとなる。
なお、移動物体検出装置1は、本実施形態のように車両に搭載可能であるだけでなく、例えば移動可能なロボットに搭載してロボットの周囲の移動物体を検出したり、パン・チルト式の監視カメラに搭載して監視領域内を移動する物体を検出し、追跡するように用いることも可能である。
また、本実施形態では、演算量を軽減し、他の用途への活用を図るため、自車両の左右の車線位置を検出して道路形状を認識して、その上方に存在する立体物のみを移動物体検出の対象とする場合について述べたが、本発明は、道路面や基準面の上方に存在する立体物のみを対象とする場合に限定されず、例えば、車線等を含めて処理対象画像中に撮像されている物体すべてを移動物体検出の対象とすることも可能である。また、道路面や基準面を他の手法で検出し認識するように構成することも可能である。
1 移動物体検出装置
2 ステレオカメラ
9b 立体物検出部
12 予測部
13 検出部
14 車速検出手段(運動状態検出手段)
15 ヨーレート検出手段(運動状態検出手段)
dp 視差(距離データ)
Fst_i、Fst_j 見かけ上の移動フロー
p1ij 輝度値
T0 処理対象画像
T1 次時刻に撮像された処理対象画像
T0est 予測画像
V 車速(移動速度)
ω ヨーレート
2 ステレオカメラ
9b 立体物検出部
12 予測部
13 検出部
14 車速検出手段(運動状態検出手段)
15 ヨーレート検出手段(運動状態検出手段)
dp 視差(距離データ)
Fst_i、Fst_j 見かけ上の移動フロー
p1ij 輝度値
T0 処理対象画像
T1 次時刻に撮像された処理対象画像
T0est 予測画像
V 車速(移動速度)
ω ヨーレート
Claims (5)
- 一対の撮像画像を時系列的に出力するステレオカメラと、
前記一対の撮像画像を処理して距離データを算出するステレオ画像処理部と、
前記ステレオカメラの運動状態を検出する運動状態検出手段と、
前記ステレオカメラにより撮像された一対の撮像画像のうちの一方の画像を処理対象画像とし、ある時刻に撮像された前記処理対象画像における所定の画素についてその画素座標に静止物体が存在するとみなした場合に、前記距離データと前記ステレオカメラの運動状態に基づいて次時刻までに前記静止物体が前記処理対象画像上で見かけ上移動する画像座標を予測し、当該予測した画像座標と前記画素の輝度値とを対応付けて保存する予測部と、
前記予測部により予測された前記画像座標における前記輝度値と、前記次時刻に実際に撮像された処理対象画像の画素座標における輝度値との差分に基づいて、前記処理対象画像中から移動物体を検出する検出部と
を備えることを特徴とする移動物体検出装置。 - 前記予測部は、前記予測した画像座標に前記画素の輝度値を配置した予測画像を新たに生成し、
前記検出部は、前記予測部で生成された前記予測画像と、前記次時刻に撮像された処理対象画像との各画素座標における輝度値の差分を算出することで、前記処理対象画像中から移動物体を検出することを特徴とする請求項1に記載の移動物体検出装置。 - 前記運動状態検出手段は、前記ステレオカメラの運動状態として前記ステレオカメラの移動速度およびヨーレートを検出し、
前記予測部は、前記処理対象画像中の静止物体とみなされた物体が、前記ステレオカメラ自体の前後方向の移動およびヨーイング運動により、前記ある時刻から前記次時刻までの間に前記処理対象画像中を見かけ上移動する見かけ上の移動フローを算出し、前記ある時刻に撮像された前記処理対象画像中の画像座標に前記見かけ上の移動フローを加算して、前記次時刻における画像座標を予測することを特徴とする請求項1または請求項2に記載の移動物体検出装置。 - 前記処理対象画像における所定の画素は、前記ステレオ画像処理部により前記距離データが算出された画素であることを特徴とする請求項1から請求項3のいずれか一項に記載の移動物体検出装置。
- 前記ステレオ画像処理部により算出された前記距離データに基づいて前記処理対象画像中から立体物を検出する立体物検出部を有し、
前記予測部は、検出された立体物を静止物体とみなした場合に、前記立体物が次時刻において前記処理対象画像上で見かけ上移動する画像座標を予測し、
前記検出部は、検出された立体物のうち移動物体として検出した立体物の情報を出力することを特徴とする請求項1から請求項4のいずれか一項に記載の移動物体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344362A JP2008158640A (ja) | 2006-12-21 | 2006-12-21 | 移動物体検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006344362A JP2008158640A (ja) | 2006-12-21 | 2006-12-21 | 移動物体検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008158640A true JP2008158640A (ja) | 2008-07-10 |
Family
ID=39659501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006344362A Pending JP2008158640A (ja) | 2006-12-21 | 2006-12-21 | 移動物体検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008158640A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010113240A1 (ja) * | 2009-03-31 | 2010-10-07 | コニカミノルタホールディングス株式会社 | 3次元情報算出装置および3次元情報算出方法 |
WO2012059955A1 (ja) * | 2010-11-04 | 2012-05-10 | トヨタ自動車株式会社 | 道路形状推定装置 |
JP2014179052A (ja) * | 2013-02-13 | 2014-09-25 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 |
JP2019028311A (ja) * | 2017-07-31 | 2019-02-21 | キヤノン株式会社 | 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム |
JP2019133440A (ja) * | 2018-01-31 | 2019-08-08 | 富士通株式会社 | 判定プログラム、判定方法および判定装置 |
CN110929567A (zh) * | 2019-10-17 | 2020-03-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及*** |
CN111278708A (zh) * | 2017-11-28 | 2020-06-12 | 宝马股份公司 | 用于辅助驾驶的方法和装置 |
US10776946B2 (en) | 2016-02-08 | 2020-09-15 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium |
WO2020195965A1 (ja) * | 2019-03-28 | 2020-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2021092996A (ja) * | 2019-12-11 | 2021-06-17 | 国立大学法人 東京大学 | 計測システム、車両、計測方法、計測装置及び計測プログラム |
CN113467603A (zh) * | 2020-03-31 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 音频处理方法、装置、可读介质及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004013400A (ja) * | 2002-06-05 | 2004-01-15 | Fuji Heavy Ind Ltd | 対象物認識装置および対象物認識方法 |
JP2006134035A (ja) * | 2004-11-05 | 2006-05-25 | Fuji Heavy Ind Ltd | 移動物体検出装置および移動物体検出方法 |
-
2006
- 2006-12-21 JP JP2006344362A patent/JP2008158640A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004013400A (ja) * | 2002-06-05 | 2004-01-15 | Fuji Heavy Ind Ltd | 対象物認識装置および対象物認識方法 |
JP2006134035A (ja) * | 2004-11-05 | 2006-05-25 | Fuji Heavy Ind Ltd | 移動物体検出装置および移動物体検出方法 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010113240A1 (ja) * | 2009-03-31 | 2010-10-07 | コニカミノルタホールディングス株式会社 | 3次元情報算出装置および3次元情報算出方法 |
JP5256508B2 (ja) * | 2009-03-31 | 2013-08-07 | コニカミノルタ株式会社 | 3次元情報算出装置および3次元情報算出方法 |
WO2012059955A1 (ja) * | 2010-11-04 | 2012-05-10 | トヨタ自動車株式会社 | 道路形状推定装置 |
JPWO2012059955A1 (ja) * | 2010-11-04 | 2014-05-12 | トヨタ自動車株式会社 | 道路形状推定装置 |
JP5569591B2 (ja) * | 2010-11-04 | 2014-08-13 | トヨタ自動車株式会社 | 道路形状推定装置及び道路形状推定方法 |
JP2014179052A (ja) * | 2013-02-13 | 2014-09-25 | Ricoh Co Ltd | 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 |
US10776946B2 (en) | 2016-02-08 | 2020-09-15 | Ricoh Company, Ltd. | Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium |
JP2019028311A (ja) * | 2017-07-31 | 2019-02-21 | キヤノン株式会社 | 視差情報生成装置および視差情報生成方法、撮像装置、移動装置、プログラム |
CN111278708A (zh) * | 2017-11-28 | 2020-06-12 | 宝马股份公司 | 用于辅助驾驶的方法和装置 |
US11748974B2 (en) | 2017-11-28 | 2023-09-05 | Bayerische Motoren Werke Aktiengesellschaft | Method and apparatus for assisting driving |
JP2019133440A (ja) * | 2018-01-31 | 2019-08-08 | 富士通株式会社 | 判定プログラム、判定方法および判定装置 |
JP7047418B2 (ja) | 2018-01-31 | 2022-04-05 | 富士通株式会社 | 判定プログラム、判定方法および判定装置 |
US20220165066A1 (en) * | 2019-03-28 | 2022-05-26 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
JP7363890B2 (ja) | 2019-03-28 | 2023-10-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2020195965A1 (ja) * | 2019-03-28 | 2020-10-01 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN110929567B (zh) * | 2019-10-17 | 2022-09-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及*** |
CN110929567A (zh) * | 2019-10-17 | 2020-03-27 | 北京全路通信信号研究设计院集团有限公司 | 基于单目相机监控场景下目标的位置速度测量方法及*** |
JP2021092996A (ja) * | 2019-12-11 | 2021-06-17 | 国立大学法人 東京大学 | 計測システム、車両、計測方法、計測装置及び計測プログラム |
CN113467603A (zh) * | 2020-03-31 | 2021-10-01 | 北京字节跳动网络技术有限公司 | 音频处理方法、装置、可读介质及电子设备 |
CN113467603B (zh) * | 2020-03-31 | 2024-03-08 | 抖音视界有限公司 | 音频处理方法、装置、可读介质及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008158640A (ja) | 移動物体検出装置 | |
JP6344638B2 (ja) | 物体検出装置、移動体機器制御システム及び物体検出用プログラム | |
JP4714104B2 (ja) | 物体傾き検出装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP4914233B2 (ja) | 車外監視装置 | |
JP5073548B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP4901275B2 (ja) | 走行誘導障害物検出装置および車両用制御装置 | |
JP6014440B2 (ja) | 移動物体認識装置 | |
JP2010198552A (ja) | 運転状況監視装置 | |
JP2008219063A (ja) | 車両周辺監視装置及び方法 | |
JP2009176087A (ja) | 車両用環境認識装置 | |
JP2006134035A (ja) | 移動物体検出装置および移動物体検出方法 | |
JP2008257378A (ja) | 物体検出装置 | |
JP2014006885A (ja) | 段差認識装置、段差認識方法及び段差認識用プログラム | |
JP2010256995A (ja) | 物体認識装置 | |
JP2009053818A (ja) | 画像処理装置及びその方法 | |
US8160300B2 (en) | Pedestrian detecting apparatus | |
JP2008117073A (ja) | 割り込み車両検出装置 | |
JP4721278B2 (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
JP4956099B2 (ja) | 壁検出装置 | |
JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
JP6204782B2 (ja) | オフロードダンプトラック | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP4274071B2 (ja) | 物体検出装置 | |
JP2009237938A (ja) | 運転支援装置および運転支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111004 |