JP3988574B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3988574B2 JP3988574B2 JP2002230993A JP2002230993A JP3988574B2 JP 3988574 B2 JP3988574 B2 JP 3988574B2 JP 2002230993 A JP2002230993 A JP 2002230993A JP 2002230993 A JP2002230993 A JP 2002230993A JP 3988574 B2 JP3988574 B2 JP 3988574B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- target
- interest
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、連続して撮像された視差画像に基づいて、追跡する注目対象までの距離を測定する画像処理装置に関する。
【０００２】
【従来の技術】
複数の画像を用いて観測対象の奥行き方向の情報を求める画像処理は、コンピュータビジョンやマシンビジョンの分野において、対象の立体構造を復元し、外界認識の一助を担っている人工的な視覚機能を実現するための重要な手法の一つである。異なる視差画像を用いて対象の奥行き情報を抽出、復元する手法の代表的なものとしては、ステレオ画像処理がある。ここで、視差画像とは、異なる場所に設置した２台以上のカメラによって、同一物体あるいは同一シーンを撮影した画像である。ステレオ画像処理とは、複数の視差画像を用いて、観測対象までの距離や奥行き情報を抽出する処理である。
【０００３】
複数のカメラを用いる従来のステレオ画像処理では、それぞれのカメラで撮影した画像の中から、同一の対象物の結像位置を特定し、三角測量の原理に基づき対象までの距離を測定する。ここでは、簡単のために２台のカメラにより撮像した２枚の視差画像を用いる二眼のステレオ視について説明する。
【０００４】
距離を測定したい注目対象ＯＢＪを異なる視点より２台のカメラ１およびカメラ２で撮像する。このとき、カメラ１およびカメラ２の相対位置関係等のカメラ・パラメータは既知である。カメラ１により撮像した画像Ｉ１中における注目対象ＯＢＪを含む領域Ｗ１に対応する領域Ｗ２を、カメラ１とは異なる視点から注目対象ＯＢＪを撮像するカメラ２の画像Ｉ２中より求める。これにより、それぞれの画像Ｉ１、Ｉ２中における領域Ｗ１の位置と領域Ｗ２の位置、およびカメラ・パラメータから、注目対象ＯＢＪまでの距離を三角測量の原理に基づいて算出する。
【０００５】
画像Ｉ１中の注目対象ＯＢＪを含む領域Ｗ１に対応した領域Ｗ２を、画像Ｉ２上で特定するために、ブロックマッチング等のマッチング処理が用いられる。マッチング処理は、複数の視差画像間の画素、あるいは領域毎の対応関係を決定する処理である。このマッチング処理では、相関値やＳＡＤ（Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、差の絶対値和）がマッチングの度合いを示す指標として用いられる。
【０００６】
一方、視差画像を取得する他の方法としては、単眼カメラを移動させることにより視差画像を獲得する手法がある。この単眼カメラの移動により視差画像を獲得する手法は、モーションステレオと呼ばれている。
【０００７】
【発明が解決しようとする課題】
上記複眼式のステレオ画像処理では、複数の視差画像において、比較的視差が小さく、エッジやパターン等の特徴点の出現順序などに変化の少ない場合は、画像Ｉ１中の領域Ｗ１に対応した領域Ｗ２を画像Ｉ２中より求めることは比較的容易である。また、画像Ｉ２中において領域Ｗ２を探索する際の探索範囲を小さくすることができるので、距離を算出する際の演算量を抑えることが可能となる。
【０００８】
しかしながら、画像Ｉ１と画像Ｉ２間の視差が大きい場合は、特徴点が一方の画像にはあるが、他方の画像には無いというオクルージョンに代表される不対応問題が生じていた。さらに、画像間の視差が大きいゆえに、対応領域の探索範囲が大きくなるため、特徴点の対応付けが困難になっていた。特に、注目する領域が繰り返しパターンの一部となる場合には、探索領域内に繰り返しパターンが含まれることがあった。このため、探索領域内で注目対象を一意に決定できない場合や、誤った対応付けをしてしまうといった誤対応が生じるおそれがあった。
【０００９】
このような場合には、特開２００１−１８４４９７号公報、特開２００１−１５３６３３号公報、特開２０００−１２１３１９号公報、特開平１０−２８９３１６号公報等に記載されたような、誤対応を防ぐ、あるいは誤対応を検出する付加処理が必要になっていた。もしくは、柔軟な対応付けを行う複雑なエラスティック・マッチングアルゴリズムの付加処理が必要になっていた。このような付加処理を行うことは、注目対象までの距離を算出する上記一連の画像処理が煩雑化し、負荷が増大するといった不具合を招いていた。
【００１０】
一方、単眼式のモーションステレオにおいては、カメラを移動させながら、順次視差画像を取得していくことで、画像間変化の少ない連続的な視差画像を得ることができる。しかしその反面、カメラを移動させる機構が必要になるため、装置が大きくなるという問題があった。
【００１１】
さらに、動く注目対象までの距離や奥行き情報を取得する際には、注目対象の移動速度よりも速いオーダで視点を移動させなければならなかった。このため、移動する注目対象までの正確な距離や奥行き情報が得られなかった。
【００１２】
また、距離、奥行き情報を例えば車両の運転制御等に用いる場合は、制御周期内で距離情報を獲得しなくてはならないので、高速に連続視差画像を取得するとともに、視差画像の取得周期内におさまるように迅速に距離を演算しなければならないといった不具合を招いていた。
【００１３】
そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、視差画像の不対応問題を回避し、注目対象までの距離を迅速に求める画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明の課題を解決する手段は、車両前方の画像を撮像する撮像手段と、前記撮像手段が撮像する方向を制御する撮像方向制御手段と、前記撮像手段が画像を撮像する撮像速度および前記撮像方向制御手段が撮像方向を変化させる速度を、前記撮像手段に対して追跡する注目対象が静止している状態に近似できる速度に調整する撮像速度調整手段と、前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第１の画像の中から追跡する前記注目対象を抽出する第１の抽出手段と、前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第２の画像から追跡する前記注目対象を抽出する領域を決定する領域決定手段と、前記撮像手段が撮像した前記第２の画像における、前記領域決定手段により決定された領域の中から、追跡する前記注目対象を抽出する第２の抽出手段と、前記第１の抽出手段により前記第１の画像から抽出された前記注目対象の画像情報と、前記第２の抽出手段により前記第２の画像から抽出された前記注目対象の画像情報とに基づいて、前記撮像方向制御手段が制御する撮像方向の走査位置および走査タイミングに同期して前記撮像手段の画像読み出し位置を変化させ、前記撮像手段と前記注目対象との距離を算出する距離算出手段とを有することを特徴とする。
【００１５】
【発明の効果】
以上説明したように、本発明によれば、視差画像の不対応問題を回避し、注目対象までの距離を迅速に求める画像処理装置を提供することができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態を説明する。
【００１７】
図１は本発明の一実施形態に係る画像処理装置の構成を示す図である。図１に示す実施形態の画像処理装置は、レンズ１１、液晶シャッターやＰＬＺＴ光シャッターのように開口部の位置を電気的に任意に制御することができる光シャッター１２、ＣＭＯＳ、ＣＣＤのように光電変換を行う撮像装置１３、撮像装置１３により撮像された画像を記憶するフレームメモリ１４、演算装置１５、光シャッター１２の開口部の位置、撮像装置１３の画像読み出し位置、ならびに距離演算部１５２の演算タイミングを制御する駆動装置１６を備えて構成されている。
【００１８】
演算部１５は、距離を算出しようとする注目対象を追跡して十分な視差が得られた連続視差画像を取得するために必要となる処理を行う追跡処理部１５１と、追跡処理部１５１で取得された連続視差画像間における像位置の変化量、焦点距離、ならびに眼距離に基づいて注目対象までの３次元位置情報として距離を算出する距離算出部１５２を備えて構成されている。
【００１９】
撮像装置１３は、画像を撮像する撮像手段として機能する。光シャッター１２は、撮像装置１３が撮像する方向を制御する撮像方向制御手段として機能する。駆動装置１６は、撮像装置１３が撮像するタイミングと、撮像装置１３が撮像する方向の変化量を制御するタイミング制御手段として機能する。演算装置１５の追跡処理部１５１は、撮像装置１３が撮像した第１の画像の中から追跡する注目対象を抽出する第１の抽出手段、撮像装置１３が撮像する方向の変化量に基づいて、撮像装置１３が撮像した第２の画像から追跡する注目対象を抽出する領域を決定する領域決定手段、ならびに撮像装置１３が撮像した第２の画像における、領域決定手段により決定された領域の中から、追跡する注目対象を抽出する第２の抽出手段として機能する。演算装置１６の距離演算部１５２は、追跡処理部１５１により第１の画像から抽出された注目対象の画像情報と、追跡処理部１５１により第２の画像から抽出された注目対象の画像情報とに基づいて、撮像装置１３と注目対象との距離を算出する距離算出手段として機能する。
【００２０】
次に、モーションステレオの原理を用いて、注目対象までの距離を測定する例を、モーションステレオの原理を説明するための図２、及びステレオ画像処理における対応点探索処理を説明するための図３を参照して説明する。
【００２１】
図２に示すように、カメラ位置Ｃ１において画像Ｉ１を得た後、位置Ｃ１からカメラを移動し、位置Ｃ２において画像Ｉ２を得る。異なる視差画像Ｉ１、Ｉ２から注目する対象（領域）の対応関係を求め、対象までの距離を算出する過程を、図３における画像Ｉ１内の領域Ｗ１までの距離を算出する場合を一例として説明する。
【００２２】
図３において、画像Ｉ１における領域Ｗ１に対応する領域Ｗ２を画像Ｉ２中に求めるためには、例えば領域Ｗ１をテンプレートとし、画像Ｉ２中の探索領域Ｓ内に領域Ｗ１に対応する領域Ｗを仮定する。そして、探索領域Ｓ内で領域Ｗを左から右へと微少量（例えば１画素づつ）走査しながら、領域Ｗと領域Ｗ１の相関値を算出し、相関値の一致度（あるいはマッチングエラー）を定量化して図３（ｃ）に示す相関図を得る。
【００２３】
図３（ｃ）において、一致度が最も高い領域Ｗを、画像Ｉ１中の注目領域Ｗ１に対応する画像Ｉ２中の領域Ｗ２であるとする。領域Ｗ１の画像Ｉ１上での画素位置を（ｘ１、ｙ１）、領域Ｗ２の画像Ｉ２上での位置を（ｘ２、ｙ２）とすると、カメラを光軸に垂直な方向に距離Ｈだけ移動させた際に、注目領域Ｗ１の３次元空間での座標（ｘ、ｙ、ｚ）は、
【数１】
ｘ＝ｘ１・Ｈ／（ｘ１−ｘ２）
ｙ＝ｙ１・Ｈ／（ｘ１−ｘ２）
＝ｙ２・Ｈ／（ｘ１−ｘ２）
ｚ＝ｆ・Ｈ／（ｘ１−ｘ２）
として算出される。ここで、ｆは焦点距離である。
【００２４】
視差画像を得る手法としては、上述したようにカメラ位置を移動させて視差画像を得る手法の他に、図４に示すように、異なるシャッター開口位置と画像の読み出し位置により実現する手法がある。図４においては、光シャッター１２の開口部Ｂ１を開いたときの撮像装置１３上での結像領域Ｃ１と、開口部Ｂ２を開いたときの撮像装置１３上での結像領域Ｃ２の画像をそれぞれ読み出し、読み出した画像から異なる視差画像を得ている。
【００２５】
一方、光シャッター１２の複数の開口部を開き、撮像装置１３上の異なる位置に結像された画像をそれぞれ読み出す場合には、複眼式のステレオ画像処理と同様な視差画像の取得方法となる。光シャッター１２の開口部を走査させて異なる視差画像を得る場合には、モーションステレオによる視差画像の取得方法と同様となる。
【００２６】
ステレオ画像処理において、観測点からの注目対象までの距離等の相対的な３次元位置情報を取得するためには、視差画像間における注目対象の対応関係を求める処理が必須である。この異なる視差画像間の対応関係を求める処理は、視差を少しずつ変化させて連続的に得た連続視差画像を用いることで、対応関係の信頼性を向上させることができるとともに、処理負荷を低減させることができる。
【００２７】
図３に示すように、参照領域Ｗ１に対応する領域Ｗ２を画像Ｉ２中に求める場合であって、カメラの光軸方向が常に平行である場合には、視差が大きいと注目する対象の特徴（領域）の見え方、および画像上の位置が画像間で大きく異なる。このため、対応領域Ｗ２を探索する探索領域Ｓを大きく設定する必要がある。探索領域Ｓが大きくなると、注目する対象の特徴と類似の特徴の双方が探索領域Ｓ内に含まれる場合が生じる。このため、誤対応の可能性が出てくるとともに、マッチング処理の繰り返し回数が増加し、演算量が増加してしまう。
【００２８】
一方、視差が比較的小さく、注目する特徴の出現順序や変形が少ない場合には、対応領域Ｗ２を探索する探索領域Ｓを比較的小さく設定することで、探索領域Ｓ内に注目する対象の特徴と類似の特徴が含まれる可能性を排除することが可能となる。また、マッチング処理の回数も少なく抑えられるので、比較的容易に対応付けを行うことができる。このような理由により、連続視差画像を用いることがステレオ画像処理においては、有用であることが分かる。
【００２９】
複眼のステレオ方式により連続視差画像を取得するためには、図５に示すように、視差が小さくなるように位置をずらして複数台のカメラＢ１、Ｂ２、Ｂ３を配置し、画像を取得する必要がある。一方、モーションステレオ方式により連続視差画像を取得するためには、図６に示すように、ひとつのカメラユニットを用いて、カメラ位置をＢ１→Ｂ２→Ｂ３へと連続的に移動させながら画像を取得する。あるいは、図７に示すように、駆動装置１６の制御の下に、光シャッター１２の開口部を開口部Ｂ１から開口部Ｂ２へと開口部を少しずつ連続的に移動させ、開口部の位置と同期して、駆動装置１６の制御の下に撮像装置１３の画像の読出し位置を結像領域Ｃ１から結像領域Ｃ２へと走査することにより連続視差画像を取得する。
【００３０】
このような連続視差画像の取得方法において、注目対象が移動しない場合には、取得した連続視差画像に対して、対応点検出処理を行い、特徴点の対応付けを行った後に、特徴点の３次元座標を算出すればよい。このため、各視差画像を取得する時間的なずれは問題とはならない。
【００３１】
一方、対象が移動する場合には、対象の移動速度よりも高速に連続視差画像を取得することが求められる。したがって、連続視差画像を取得する過程で、対象の動きが無視できない状態では、対象までの距離の算出に誤差を生じる。あるいは、距離が求められない場合が発生する。
【００３２】
例えば図８（ａ）に示すように、撮像位置がＢ１からＢ２、Ｂ３へと移動する間に、注目対象がＡ１からＡ２、Ａ３へと移動する場合には、連続視差画像と撮像位置の関係から算出される注目対象Ａの位置は、実際の位置よりも遠くの位置に算出される。逆に、連続視差画像を得る速さよりも、画像上における注目対象Ａの結像の移動速度が速い場合は、負の距離が算出されことになる。また、撮像位置の変化に伴い図８（ｂ）に示すように、注目対象がＡ１からＡ２、Ａ３へと変化する場合、すなわち連続視差画像間における注目対象Ａの結像位置が変化しない場合には、注目対象Ａの３次元位置を算出できなくなる。
【００３３】
このような状態は、注目対象が移動していないと近似できる程度に速く連続視差画像を得ながら、注目対象を追跡することにより回避することができる。図９に示すように、注目対象Ａが位置Ａ１からＡ２、Ａ３へと移動する速度よりも速く、撮像位置がＣ１からＣ２、Ｃ３へと移動することにより、算出される注目対象の位置は、実際の注目対象Ａの位置とほぼ同じとなる。このように、視差の移動が速くなればなるほど、算出位置の誤差は小さくなる。
【００３４】
視差の移動を速くするために、カメラ位置を高速で走査することは、その機構からも現実的ではない。しかし、この実施形態に使用する光シャッター１２の場合には、電気的に開口位置を任意に制御することができるので、開口位置を高速に走査することが可能となる。
【００３５】
光シャッター１２の開口部を高速に走査しながら連続視差画像を取得するには、光シャッター１２の開口部の走査速度と同期した高いフレームレートでの画像の読出しが必要となる。注目対象の移動が無視できる（静止している状態と近似できる）フレームレートでの撮像は、注目対象の追跡処理にも多大な効果がある。撮像装置１３のフレームレートを高くすることで、注目対象の像上における移動量は少なくなる。これは、時間的に連続する視差画像間において、注目対象を探索する探索領域が極めて狭い範囲に限定できることを意味する。
【００３６】
図１０に光シャッター１２の開口部の移動量と、撮像装置１３の撮像面における結像位置の関係を示す。光シャッター１２の開口部が固定の場合に、フレームレートが注目対象の移動速度と比較して十分に高いときは、撮像面における注目対象の移動に伴う結像位置の変化は微小であり、ほぼ無視できる。
【００３７】
次に、図１０（ａ）に示すように、連続する時間で光シャッター１２の開口部をＣ（ｔ）からＣ（ｔ＋Δｔ）へと移動させた場合に、注目対象の撮像面上における結像位置Ｐは、Ｐ（ｔ）からＰ（ｔ＋Δｔ）へと移動する。このとき、フレームレートは十分に高いのでΔｔは微小であり、結像位置Ｐの変化は微小である。これにより、結像位置Ｐ（ｔ＋Δｔ）を探索する探索範囲Ｓ（ｔ＋Δｔ）をＰ（ｔ）の周囲近傍に限定することができる。この探索範囲Ｓ（ｔ＋Δｔ）が小さくできるほど、視差画像間において対応点を探索するマッチング処理の回数が減少する。さらに、余分な情報が探索領域Ｓ（ｔ＋Δｔ）に入らないことから誤対応の発生を回避することができる。
【００３８】
上述したことは、光シャッター１２の開口部と撮像装置１３の読出し位置を高速に走査し、連続視差画像を得るモーションステレオについても同様に成り立つ。このため、注目対象の追跡による連続視差画像間の対応関係について、その一意性が保証されることになる。
【００３９】
次に、注目対象の距離を算出する過程を、図１１に示すフローチャートを参照して説明する。
【００４０】
図１１において、ステップＳ１では、注目対象を撮像装置１３で撮像する。続いてステップＳ２では、撮像した画像中から注目する領域を規定する。注目する領域は、画像全体を等サイズで矩形領域に分割した個々の領域（複数）でもよい。次に、ステップＳ３では、ステップＳ２で規定した個々の領域を、後述するステップＳ７のマッチング処理の際に用いる参照画像としてパターン登録する。参照画像は、濃淡画像でもよいし、エッジ抽出処理を行った画像、あるいは２値化画像でもかまわない。次に、ステップＳ４では、続いて取得される視差画像内における各参照領域に対応する領域を探索するための探索領域を規定する。高速で連続視差画像を取得する場合は、連続する視差画像間での注目領域の移動が少ないことから、例えばステップＳ２で規定した各注目領域を近傍数画素拡大した領域に拡大して設定してもよいし、あるいは走査方向のみに数画素拡大した領域を探索領域としてもよい。
【００４１】
次に、ステップＳ５では、光シャッター１２の開口部を微少量（光シャッター１２が例えば液晶シャッターの場合は数ピクセル分）だけ移動させ、続いてステップＳ６にて撮像する。ステップＳ６では、撮像範囲を光シャッター１２の開口位置に連動させて画像を読み出し、フレームメモリ１４に記憶する。次に、ステップＳ７では、ステップＳ３で登録した個々の対象パターンについて、ステップＳ４にて規定した各対象パターンに対応する探索領域中から、一致度が最も高くなる位置を検出し、各注目する領域がステップＳ６で獲得した画像中のどの位置に対応しているかを求める。全ての対応領域について対応関係が求まると、ステップＳ８にて、ステップＳ４と同様に、続いて取得される視差画像内における各参照領域に対応する領域を探索するための探索領域を新たに規定する。
【００４２】
次に、ステップＳ９では、各注目する領域について十分な視差が得られているか否かを判定する。十分な視差が得られていると判定された領域については、連続視差画像間における像位置の変化量および焦点距離、眼距離に基づき対象領域の３次元位置情報として注目対象までの距離を算出する。十分な視差が得られていないと判定された領域については、ステップＳ５へ戻り、光シャッター１２の開口位置をさらに微少量だけ移動する。その後、ステップＳ９までの処理を繰り返し行う。ステップＳ９において、光シャッター１２の開口部の走査範囲が限界に到達している場合は、それまで得られた情報を用いて各領域の３次元位置情報として注目対象までの距離を算出する。
【００４３】
上記第１の実施形態においては、十分な視差が得られた連続視差画像が取得されるので、注目対象までの距離を正確かつ迅速に求めることができる。また、光シャッター１２の開口部を高速に移動させ、光シャッター１２の開口部の移動と同期して高速に撮像装置１３の画像読み出し位置を移動させることで、注目対象の追跡において、連続する視差画像間における対応領域の探索範囲が小さくなり、探索範囲内に含まれる余分な情報が減少する。これにより、連続視差画像間における誤対応を回避することができる。
【００４５】
次に、この発明の第２の実施形態について説明する。
【００４６】
この第２の実施形態の特徴とするところは、上述したようにして取得された連続視差画像において、画像上の特徴として、エッジ情報を用いる場合に、そのエッジの向き（方向）に対応して光シャッター１２の開口部を走査する方向を設定するようにしたことにある。注目するエッジが１次元方向にしか分布を持たない場合には、エッジに平行な移動成分を検出することは困難である。
【００４７】
図１２に示すように、例えば車両のルーフ部の横エッジを特徴点として着目したときに、横エッジがｙ方向のみの分布を持つ場合は、横エッジと平行な方向に光シャッター１２の開口部を走査すると、図１２（ａ）ならびに同図（ｂ）の視差画像が得られる。得られた視差画像間において、注目領域Ｗ１およびＷ２の対応付けを行うことは、注目しているエッジが単一方向にしか分布を持たないので、エッジと平行な方向に対して位置を限定する特徴がなく、対応関係を一意に求めることは困難である。このように、注目対象の特徴が１次元の分布しか持たず、その特徴の一部しか捉えていない場合には、分布方向の移動成分を抽出できないという「窓問題」が生じる。
【００４８】
この窓問題を回避するためには、２次元の分布を持つ特徴のみを用いることが考えられる。しかし、特徴が１次元分布しか持たない箇所においては、追跡できる部位と追跡できない部位が生じる。光シャッター１２の開口部の走査方向は、追跡する注目対象の特徴（エッジ）に関して視差画像間での視差を生じさせる方向に対応する。したがって、窓問題を回避するためには、特徴が持つ１次元分布と直交する方向に光シャッター１２の開口部を走査し、または撮像装置１３を移動する必要がある。そして、走査方向あるいは移動方向に対応した視差画像を得て、視差画像間における注目する特徴（エッジ）に対して直交する方向の移動量を求めればよいことになる。すなわち、視差画像間における特徴の対応付け処理は、その特徴について視差が生じる方向についてのみ行えばよい。
【００４９】
これにより、光シャッター１２の開口部および画像の読み出し位置の走査方向を、特徴の持つ１次元分布に直交する方向に設定することで、注目する特徴（エッジ）までの距離を得ることができる。したがって、図１３に示すように、着目する特徴が縦エッジの場合は横方向に走査し、着目する特徴が横エッジの場合には縦方向に走査する。このようにして視差画像を得ることで、注目する特徴（エッジ）までの距離を算出しやすくすることが可能となる。
【００５０】
上記第２の実施形態においては、注目対象の特徴として、縦エッジが強く観測される場合は、光シャッター１２の開口部および撮像装置１３の画像読み出し位置を横方向に移動し、横エッジが強く観測される場合には、光シャッター１２の開口部および撮像装置１３の画像読み出し位置を縦方向に移動させる。すなわち、強い特徴の分布（主軸）方向とは直交する方向に光シャッター１２の開口部および撮像装置１３の画像の読み出し位置を走査する。これにより、注目する特徴の走査方向の変化を追跡する性能が向上し、注目する特徴の位置をより正確に観測することが可能となる。したがって、注目対象までの距離を正確に算出することができる。
【００５２】
次に、この発明の第３の実施形態について説明する。
【００５３】
追跡する注目対象を一定のステップ幅で走査するモーションステレオにおいて、異なる位置にある複数の注目対象を追跡する際に、注目対象までの距離に応じて注目対象の撮像面上での移動量が異なる。比較的観測点に近いところに存在する注目対象の像上での移動量は大きくなり、遠いところに存在する対象の像上での移動量は小さくなる。図５にその様子を示す。
【００５４】
図５において、一定の移動幅ＨでカメラをＢ１からＢ３まで走査する。このとき、注目対象Ａ１、Ａ２の像上での位置はそれぞれ、Ｃ１１→Ｃ１２→Ｃ１３、Ｃ２１→Ｃ２２→Ｃ２３へと移動する。注目対象Ａ１、Ａ２までの距離を測定したい場合に、注目対象Ａ２の移動量が少なくなるように光シャッター１２の開口部の走査幅を設定すると、注目対象Ａ１の像上での移動量は微小となる。このため、算出される注目対象Ａ１までの距離を精度良く検出できる視差が得られるまで走査を繰り返さなくてはならない。
【００５５】
注目対象Ａ２までの距離を精度良く算出できる視差が得られた後は、走査幅を注目対象Ａ１の像上での移動量が探索領域Ｓ中に収まる範囲で最大に設定する。これにより、注目対象Ａ１までの距離を迅速に算出することができる。すなわち、観測する注目対象がひとつの場合は、走査幅を対象の像上での移動量が探索領域Ｓ中に収まる範囲で最大になるように設定する。一方、観測する注目対象が複数の場合には、観測点に近い対象ほど像上での移動量が大きくなるので、最初は観測点に近い対象の像上の移動量が探索領域Ｓ中に納まるように設定して近い対象までの距離を算出する。続いて、次に近い対象の移動量が探索領域Ｓ中に納まるように走査幅を設定して、注目対象までの距離を算出していく。このように、近い位置に存在する注目対象から遠い位置に存在する注目対象へと順次注目対象を変更しながら走査幅を最適化していくことにより、注目対象までの距離を迅速に算出することができる。
【００５６】
上記第３の実施形態においては、光シャッター１２の開口部および画像読み出し位置の走査ステップ幅に応じて、注目対象の像上での移動量を観測する。走査ステップ幅が小さく注目対象の移動量が極めて小さい場合は、走査ステップ幅を大きくすることで走査速度を向上させるように、像上での対象の移動量に応じて走査ステップ幅を変化させる。これにより、注目対象の追跡処理を高速化することができ、注目対象までの距離を迅速に算出することが可能となる。
【００５８】
次に、この発明の第４の実施形態について説明する。
【００５９】
この第４の実施形態の特徴とするところは、視差の変化に伴い、注目対象が隠蔽される場合、ならびに新たに注目対象が出現する場合に、注目対象の位置を正確に検出するようにしたことにある。視差の変化に伴い、注目対象が隠蔽される過程、新たに注目対象が出現する過程での注目対象の検出について、図１４を参照して説明する。
【００６０】
図１４において、撮像位置Ｂ１にて取得した画像をＩ１、撮像位置Ｂ２にて取得した画像をＩ２、撮像位置Ｂ３にて取得した画像をＩ３とする。注目領域Ｗについて、撮像位置をＢ３→Ｂ２→Ｂ１と移動させながら撮像する場合に、注目領域Ｗは撮像位置がＢ２からＢ１に変化する際に車両Ａ１に隠蔽される。注目領域Ｗをマッチング処理で追跡することにより、一致度が閾値よりも低くなった時点で注目領域Ｗが隠蔽されたことにより消失したと判定できる。
【００６１】
逆に、撮像位置がＢ１からＢ２に変化することで注目領域Ｗは新たに出現することになる。特に注目領域を限定せず、全画像上を均等にブロックに区分し、各ブロックについて連続視差画像間で追跡処理を行う場合は、視差画像を得る途中で新たに出現した領域には新たに監視領域を設定する。新たに設定された監視領域についても続く連続視差画像間で追跡処理を行うことにより、視差画像間の対応関係より距離を算出することが可能となる。すなわち、注目対象が隠蔽される場合ならびに新たに出現する場合の双方ともに、対象が見えている視差画像Ｉ２、Ｉ３を用いることによって注目領域Ｗまでの距離を得ることができる。
【００６２】
上記第４の実施形態においては、注目対象を連続的に追跡し、注目対象が隠蔽される直前までの画像情報を用いて注目対象までの距離を算出している。これにより、複眼スレテオ視で発生する、一方の画像で観測される特徴が他方の画像中には存在しないといった不対応問題を回避することが可能となる。
【００６３】
また、走査の過程で新たに出現した注目対象を最大走査範囲内で追跡するようにしているので、複眼スレテオ視で発生する、一方の画像で観測される特徴が他方の画像中には存在しないといった不対応問題を回避することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】モーションステレオの原理を説明するための図である。
【図３】ステレオ画像処理における対応点探索処理を説明するための図である。
【図４】開口部の走査によりモーションステレオの原理を説明するための図である。
【図５】モーションステレオにより得られる連続視差画像を説明するための図である。
【図６】モーションステレオのステップ幅の変更を説明するための図である。
【図７】連続視差画像の取得原理を説明するための図である。
【図８】注目対象の移動により測定位置に誤りを生じる場合を説明するための図である。
【図９】走査速度を速くすることにより測定位置誤差を小さくなる場合を説明するための図である。
【図１０】注目対象の追跡処理を説明するための図である。
【図１１】注目対象までの距離を算出する処理を示すフローチャートである。
【図１２】窓問題を説明するための図である。
【図１３】特徴方向と走査方向の関係を示す図である。
【図１４】対象が隠蔽、出現する場合について説明するための図である。
【符号の説明】
１１ レンズ
１２ 光シャッター
１３ 撮像装置
１４ フレームメモリ
１５ 演算装置
１６ 駆動装置
１５１ 追跡処理部
１５２ 距離算出部
【発明の属する技術分野】
本発明は、連続して撮像された視差画像に基づいて、追跡する注目対象までの距離を測定する画像処理装置に関する。
【０００２】
【従来の技術】
複数の画像を用いて観測対象の奥行き方向の情報を求める画像処理は、コンピュータビジョンやマシンビジョンの分野において、対象の立体構造を復元し、外界認識の一助を担っている人工的な視覚機能を実現するための重要な手法の一つである。異なる視差画像を用いて対象の奥行き情報を抽出、復元する手法の代表的なものとしては、ステレオ画像処理がある。ここで、視差画像とは、異なる場所に設置した２台以上のカメラによって、同一物体あるいは同一シーンを撮影した画像である。ステレオ画像処理とは、複数の視差画像を用いて、観測対象までの距離や奥行き情報を抽出する処理である。
【０００３】
複数のカメラを用いる従来のステレオ画像処理では、それぞれのカメラで撮影した画像の中から、同一の対象物の結像位置を特定し、三角測量の原理に基づき対象までの距離を測定する。ここでは、簡単のために２台のカメラにより撮像した２枚の視差画像を用いる二眼のステレオ視について説明する。
【０００４】
距離を測定したい注目対象ＯＢＪを異なる視点より２台のカメラ１およびカメラ２で撮像する。このとき、カメラ１およびカメラ２の相対位置関係等のカメラ・パラメータは既知である。カメラ１により撮像した画像Ｉ１中における注目対象ＯＢＪを含む領域Ｗ１に対応する領域Ｗ２を、カメラ１とは異なる視点から注目対象ＯＢＪを撮像するカメラ２の画像Ｉ２中より求める。これにより、それぞれの画像Ｉ１、Ｉ２中における領域Ｗ１の位置と領域Ｗ２の位置、およびカメラ・パラメータから、注目対象ＯＢＪまでの距離を三角測量の原理に基づいて算出する。
【０００５】
画像Ｉ１中の注目対象ＯＢＪを含む領域Ｗ１に対応した領域Ｗ２を、画像Ｉ２上で特定するために、ブロックマッチング等のマッチング処理が用いられる。マッチング処理は、複数の視差画像間の画素、あるいは領域毎の対応関係を決定する処理である。このマッチング処理では、相関値やＳＡＤ（Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、差の絶対値和）がマッチングの度合いを示す指標として用いられる。
【０００６】
一方、視差画像を取得する他の方法としては、単眼カメラを移動させることにより視差画像を獲得する手法がある。この単眼カメラの移動により視差画像を獲得する手法は、モーションステレオと呼ばれている。
【０００７】
【発明が解決しようとする課題】
上記複眼式のステレオ画像処理では、複数の視差画像において、比較的視差が小さく、エッジやパターン等の特徴点の出現順序などに変化の少ない場合は、画像Ｉ１中の領域Ｗ１に対応した領域Ｗ２を画像Ｉ２中より求めることは比較的容易である。また、画像Ｉ２中において領域Ｗ２を探索する際の探索範囲を小さくすることができるので、距離を算出する際の演算量を抑えることが可能となる。
【０００８】
しかしながら、画像Ｉ１と画像Ｉ２間の視差が大きい場合は、特徴点が一方の画像にはあるが、他方の画像には無いというオクルージョンに代表される不対応問題が生じていた。さらに、画像間の視差が大きいゆえに、対応領域の探索範囲が大きくなるため、特徴点の対応付けが困難になっていた。特に、注目する領域が繰り返しパターンの一部となる場合には、探索領域内に繰り返しパターンが含まれることがあった。このため、探索領域内で注目対象を一意に決定できない場合や、誤った対応付けをしてしまうといった誤対応が生じるおそれがあった。
【０００９】
このような場合には、特開２００１−１８４４９７号公報、特開２００１−１５３６３３号公報、特開２０００−１２１３１９号公報、特開平１０−２８９３１６号公報等に記載されたような、誤対応を防ぐ、あるいは誤対応を検出する付加処理が必要になっていた。もしくは、柔軟な対応付けを行う複雑なエラスティック・マッチングアルゴリズムの付加処理が必要になっていた。このような付加処理を行うことは、注目対象までの距離を算出する上記一連の画像処理が煩雑化し、負荷が増大するといった不具合を招いていた。
【００１０】
一方、単眼式のモーションステレオにおいては、カメラを移動させながら、順次視差画像を取得していくことで、画像間変化の少ない連続的な視差画像を得ることができる。しかしその反面、カメラを移動させる機構が必要になるため、装置が大きくなるという問題があった。
【００１１】
さらに、動く注目対象までの距離や奥行き情報を取得する際には、注目対象の移動速度よりも速いオーダで視点を移動させなければならなかった。このため、移動する注目対象までの正確な距離や奥行き情報が得られなかった。
【００１２】
また、距離、奥行き情報を例えば車両の運転制御等に用いる場合は、制御周期内で距離情報を獲得しなくてはならないので、高速に連続視差画像を取得するとともに、視差画像の取得周期内におさまるように迅速に距離を演算しなければならないといった不具合を招いていた。
【００１３】
そこで、本発明は、上記に鑑みてなされたものであり、その目的とするところは、視差画像の不対応問題を回避し、注目対象までの距離を迅速に求める画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、本発明の課題を解決する手段は、車両前方の画像を撮像する撮像手段と、前記撮像手段が撮像する方向を制御する撮像方向制御手段と、前記撮像手段が画像を撮像する撮像速度および前記撮像方向制御手段が撮像方向を変化させる速度を、前記撮像手段に対して追跡する注目対象が静止している状態に近似できる速度に調整する撮像速度調整手段と、前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第１の画像の中から追跡する前記注目対象を抽出する第１の抽出手段と、前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第２の画像から追跡する前記注目対象を抽出する領域を決定する領域決定手段と、前記撮像手段が撮像した前記第２の画像における、前記領域決定手段により決定された領域の中から、追跡する前記注目対象を抽出する第２の抽出手段と、前記第１の抽出手段により前記第１の画像から抽出された前記注目対象の画像情報と、前記第２の抽出手段により前記第２の画像から抽出された前記注目対象の画像情報とに基づいて、前記撮像方向制御手段が制御する撮像方向の走査位置および走査タイミングに同期して前記撮像手段の画像読み出し位置を変化させ、前記撮像手段と前記注目対象との距離を算出する距離算出手段とを有することを特徴とする。
【００１５】
【発明の効果】
以上説明したように、本発明によれば、視差画像の不対応問題を回避し、注目対象までの距離を迅速に求める画像処理装置を提供することができる。
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態を説明する。
【００１７】
図１は本発明の一実施形態に係る画像処理装置の構成を示す図である。図１に示す実施形態の画像処理装置は、レンズ１１、液晶シャッターやＰＬＺＴ光シャッターのように開口部の位置を電気的に任意に制御することができる光シャッター１２、ＣＭＯＳ、ＣＣＤのように光電変換を行う撮像装置１３、撮像装置１３により撮像された画像を記憶するフレームメモリ１４、演算装置１５、光シャッター１２の開口部の位置、撮像装置１３の画像読み出し位置、ならびに距離演算部１５２の演算タイミングを制御する駆動装置１６を備えて構成されている。
【００１８】
演算部１５は、距離を算出しようとする注目対象を追跡して十分な視差が得られた連続視差画像を取得するために必要となる処理を行う追跡処理部１５１と、追跡処理部１５１で取得された連続視差画像間における像位置の変化量、焦点距離、ならびに眼距離に基づいて注目対象までの３次元位置情報として距離を算出する距離算出部１５２を備えて構成されている。
【００１９】
撮像装置１３は、画像を撮像する撮像手段として機能する。光シャッター１２は、撮像装置１３が撮像する方向を制御する撮像方向制御手段として機能する。駆動装置１６は、撮像装置１３が撮像するタイミングと、撮像装置１３が撮像する方向の変化量を制御するタイミング制御手段として機能する。演算装置１５の追跡処理部１５１は、撮像装置１３が撮像した第１の画像の中から追跡する注目対象を抽出する第１の抽出手段、撮像装置１３が撮像する方向の変化量に基づいて、撮像装置１３が撮像した第２の画像から追跡する注目対象を抽出する領域を決定する領域決定手段、ならびに撮像装置１３が撮像した第２の画像における、領域決定手段により決定された領域の中から、追跡する注目対象を抽出する第２の抽出手段として機能する。演算装置１６の距離演算部１５２は、追跡処理部１５１により第１の画像から抽出された注目対象の画像情報と、追跡処理部１５１により第２の画像から抽出された注目対象の画像情報とに基づいて、撮像装置１３と注目対象との距離を算出する距離算出手段として機能する。
【００２０】
次に、モーションステレオの原理を用いて、注目対象までの距離を測定する例を、モーションステレオの原理を説明するための図２、及びステレオ画像処理における対応点探索処理を説明するための図３を参照して説明する。
【００２１】
図２に示すように、カメラ位置Ｃ１において画像Ｉ１を得た後、位置Ｃ１からカメラを移動し、位置Ｃ２において画像Ｉ２を得る。異なる視差画像Ｉ１、Ｉ２から注目する対象（領域）の対応関係を求め、対象までの距離を算出する過程を、図３における画像Ｉ１内の領域Ｗ１までの距離を算出する場合を一例として説明する。
【００２２】
図３において、画像Ｉ１における領域Ｗ１に対応する領域Ｗ２を画像Ｉ２中に求めるためには、例えば領域Ｗ１をテンプレートとし、画像Ｉ２中の探索領域Ｓ内に領域Ｗ１に対応する領域Ｗを仮定する。そして、探索領域Ｓ内で領域Ｗを左から右へと微少量（例えば１画素づつ）走査しながら、領域Ｗと領域Ｗ１の相関値を算出し、相関値の一致度（あるいはマッチングエラー）を定量化して図３（ｃ）に示す相関図を得る。
【００２３】
図３（ｃ）において、一致度が最も高い領域Ｗを、画像Ｉ１中の注目領域Ｗ１に対応する画像Ｉ２中の領域Ｗ２であるとする。領域Ｗ１の画像Ｉ１上での画素位置を（ｘ１、ｙ１）、領域Ｗ２の画像Ｉ２上での位置を（ｘ２、ｙ２）とすると、カメラを光軸に垂直な方向に距離Ｈだけ移動させた際に、注目領域Ｗ１の３次元空間での座標（ｘ、ｙ、ｚ）は、
【数１】
ｘ＝ｘ１・Ｈ／（ｘ１−ｘ２）
ｙ＝ｙ１・Ｈ／（ｘ１−ｘ２）
＝ｙ２・Ｈ／（ｘ１−ｘ２）
ｚ＝ｆ・Ｈ／（ｘ１−ｘ２）
として算出される。ここで、ｆは焦点距離である。
【００２４】
視差画像を得る手法としては、上述したようにカメラ位置を移動させて視差画像を得る手法の他に、図４に示すように、異なるシャッター開口位置と画像の読み出し位置により実現する手法がある。図４においては、光シャッター１２の開口部Ｂ１を開いたときの撮像装置１３上での結像領域Ｃ１と、開口部Ｂ２を開いたときの撮像装置１３上での結像領域Ｃ２の画像をそれぞれ読み出し、読み出した画像から異なる視差画像を得ている。
【００２５】
一方、光シャッター１２の複数の開口部を開き、撮像装置１３上の異なる位置に結像された画像をそれぞれ読み出す場合には、複眼式のステレオ画像処理と同様な視差画像の取得方法となる。光シャッター１２の開口部を走査させて異なる視差画像を得る場合には、モーションステレオによる視差画像の取得方法と同様となる。
【００２６】
ステレオ画像処理において、観測点からの注目対象までの距離等の相対的な３次元位置情報を取得するためには、視差画像間における注目対象の対応関係を求める処理が必須である。この異なる視差画像間の対応関係を求める処理は、視差を少しずつ変化させて連続的に得た連続視差画像を用いることで、対応関係の信頼性を向上させることができるとともに、処理負荷を低減させることができる。
【００２７】
図３に示すように、参照領域Ｗ１に対応する領域Ｗ２を画像Ｉ２中に求める場合であって、カメラの光軸方向が常に平行である場合には、視差が大きいと注目する対象の特徴（領域）の見え方、および画像上の位置が画像間で大きく異なる。このため、対応領域Ｗ２を探索する探索領域Ｓを大きく設定する必要がある。探索領域Ｓが大きくなると、注目する対象の特徴と類似の特徴の双方が探索領域Ｓ内に含まれる場合が生じる。このため、誤対応の可能性が出てくるとともに、マッチング処理の繰り返し回数が増加し、演算量が増加してしまう。
【００２８】
一方、視差が比較的小さく、注目する特徴の出現順序や変形が少ない場合には、対応領域Ｗ２を探索する探索領域Ｓを比較的小さく設定することで、探索領域Ｓ内に注目する対象の特徴と類似の特徴が含まれる可能性を排除することが可能となる。また、マッチング処理の回数も少なく抑えられるので、比較的容易に対応付けを行うことができる。このような理由により、連続視差画像を用いることがステレオ画像処理においては、有用であることが分かる。
【００２９】
複眼のステレオ方式により連続視差画像を取得するためには、図５に示すように、視差が小さくなるように位置をずらして複数台のカメラＢ１、Ｂ２、Ｂ３を配置し、画像を取得する必要がある。一方、モーションステレオ方式により連続視差画像を取得するためには、図６に示すように、ひとつのカメラユニットを用いて、カメラ位置をＢ１→Ｂ２→Ｂ３へと連続的に移動させながら画像を取得する。あるいは、図７に示すように、駆動装置１６の制御の下に、光シャッター１２の開口部を開口部Ｂ１から開口部Ｂ２へと開口部を少しずつ連続的に移動させ、開口部の位置と同期して、駆動装置１６の制御の下に撮像装置１３の画像の読出し位置を結像領域Ｃ１から結像領域Ｃ２へと走査することにより連続視差画像を取得する。
【００３０】
このような連続視差画像の取得方法において、注目対象が移動しない場合には、取得した連続視差画像に対して、対応点検出処理を行い、特徴点の対応付けを行った後に、特徴点の３次元座標を算出すればよい。このため、各視差画像を取得する時間的なずれは問題とはならない。
【００３１】
一方、対象が移動する場合には、対象の移動速度よりも高速に連続視差画像を取得することが求められる。したがって、連続視差画像を取得する過程で、対象の動きが無視できない状態では、対象までの距離の算出に誤差を生じる。あるいは、距離が求められない場合が発生する。
【００３２】
例えば図８（ａ）に示すように、撮像位置がＢ１からＢ２、Ｂ３へと移動する間に、注目対象がＡ１からＡ２、Ａ３へと移動する場合には、連続視差画像と撮像位置の関係から算出される注目対象Ａの位置は、実際の位置よりも遠くの位置に算出される。逆に、連続視差画像を得る速さよりも、画像上における注目対象Ａの結像の移動速度が速い場合は、負の距離が算出されことになる。また、撮像位置の変化に伴い図８（ｂ）に示すように、注目対象がＡ１からＡ２、Ａ３へと変化する場合、すなわち連続視差画像間における注目対象Ａの結像位置が変化しない場合には、注目対象Ａの３次元位置を算出できなくなる。
【００３３】
このような状態は、注目対象が移動していないと近似できる程度に速く連続視差画像を得ながら、注目対象を追跡することにより回避することができる。図９に示すように、注目対象Ａが位置Ａ１からＡ２、Ａ３へと移動する速度よりも速く、撮像位置がＣ１からＣ２、Ｃ３へと移動することにより、算出される注目対象の位置は、実際の注目対象Ａの位置とほぼ同じとなる。このように、視差の移動が速くなればなるほど、算出位置の誤差は小さくなる。
【００３４】
視差の移動を速くするために、カメラ位置を高速で走査することは、その機構からも現実的ではない。しかし、この実施形態に使用する光シャッター１２の場合には、電気的に開口位置を任意に制御することができるので、開口位置を高速に走査することが可能となる。
【００３５】
光シャッター１２の開口部を高速に走査しながら連続視差画像を取得するには、光シャッター１２の開口部の走査速度と同期した高いフレームレートでの画像の読出しが必要となる。注目対象の移動が無視できる（静止している状態と近似できる）フレームレートでの撮像は、注目対象の追跡処理にも多大な効果がある。撮像装置１３のフレームレートを高くすることで、注目対象の像上における移動量は少なくなる。これは、時間的に連続する視差画像間において、注目対象を探索する探索領域が極めて狭い範囲に限定できることを意味する。
【００３６】
図１０に光シャッター１２の開口部の移動量と、撮像装置１３の撮像面における結像位置の関係を示す。光シャッター１２の開口部が固定の場合に、フレームレートが注目対象の移動速度と比較して十分に高いときは、撮像面における注目対象の移動に伴う結像位置の変化は微小であり、ほぼ無視できる。
【００３７】
次に、図１０（ａ）に示すように、連続する時間で光シャッター１２の開口部をＣ（ｔ）からＣ（ｔ＋Δｔ）へと移動させた場合に、注目対象の撮像面上における結像位置Ｐは、Ｐ（ｔ）からＰ（ｔ＋Δｔ）へと移動する。このとき、フレームレートは十分に高いのでΔｔは微小であり、結像位置Ｐの変化は微小である。これにより、結像位置Ｐ（ｔ＋Δｔ）を探索する探索範囲Ｓ（ｔ＋Δｔ）をＰ（ｔ）の周囲近傍に限定することができる。この探索範囲Ｓ（ｔ＋Δｔ）が小さくできるほど、視差画像間において対応点を探索するマッチング処理の回数が減少する。さらに、余分な情報が探索領域Ｓ（ｔ＋Δｔ）に入らないことから誤対応の発生を回避することができる。
【００３８】
上述したことは、光シャッター１２の開口部と撮像装置１３の読出し位置を高速に走査し、連続視差画像を得るモーションステレオについても同様に成り立つ。このため、注目対象の追跡による連続視差画像間の対応関係について、その一意性が保証されることになる。
【００３９】
次に、注目対象の距離を算出する過程を、図１１に示すフローチャートを参照して説明する。
【００４０】
図１１において、ステップＳ１では、注目対象を撮像装置１３で撮像する。続いてステップＳ２では、撮像した画像中から注目する領域を規定する。注目する領域は、画像全体を等サイズで矩形領域に分割した個々の領域（複数）でもよい。次に、ステップＳ３では、ステップＳ２で規定した個々の領域を、後述するステップＳ７のマッチング処理の際に用いる参照画像としてパターン登録する。参照画像は、濃淡画像でもよいし、エッジ抽出処理を行った画像、あるいは２値化画像でもかまわない。次に、ステップＳ４では、続いて取得される視差画像内における各参照領域に対応する領域を探索するための探索領域を規定する。高速で連続視差画像を取得する場合は、連続する視差画像間での注目領域の移動が少ないことから、例えばステップＳ２で規定した各注目領域を近傍数画素拡大した領域に拡大して設定してもよいし、あるいは走査方向のみに数画素拡大した領域を探索領域としてもよい。
【００４１】
次に、ステップＳ５では、光シャッター１２の開口部を微少量（光シャッター１２が例えば液晶シャッターの場合は数ピクセル分）だけ移動させ、続いてステップＳ６にて撮像する。ステップＳ６では、撮像範囲を光シャッター１２の開口位置に連動させて画像を読み出し、フレームメモリ１４に記憶する。次に、ステップＳ７では、ステップＳ３で登録した個々の対象パターンについて、ステップＳ４にて規定した各対象パターンに対応する探索領域中から、一致度が最も高くなる位置を検出し、各注目する領域がステップＳ６で獲得した画像中のどの位置に対応しているかを求める。全ての対応領域について対応関係が求まると、ステップＳ８にて、ステップＳ４と同様に、続いて取得される視差画像内における各参照領域に対応する領域を探索するための探索領域を新たに規定する。
【００４２】
次に、ステップＳ９では、各注目する領域について十分な視差が得られているか否かを判定する。十分な視差が得られていると判定された領域については、連続視差画像間における像位置の変化量および焦点距離、眼距離に基づき対象領域の３次元位置情報として注目対象までの距離を算出する。十分な視差が得られていないと判定された領域については、ステップＳ５へ戻り、光シャッター１２の開口位置をさらに微少量だけ移動する。その後、ステップＳ９までの処理を繰り返し行う。ステップＳ９において、光シャッター１２の開口部の走査範囲が限界に到達している場合は、それまで得られた情報を用いて各領域の３次元位置情報として注目対象までの距離を算出する。
【００４３】
上記第１の実施形態においては、十分な視差が得られた連続視差画像が取得されるので、注目対象までの距離を正確かつ迅速に求めることができる。また、光シャッター１２の開口部を高速に移動させ、光シャッター１２の開口部の移動と同期して高速に撮像装置１３の画像読み出し位置を移動させることで、注目対象の追跡において、連続する視差画像間における対応領域の探索範囲が小さくなり、探索範囲内に含まれる余分な情報が減少する。これにより、連続視差画像間における誤対応を回避することができる。
【００４５】
次に、この発明の第２の実施形態について説明する。
【００４６】
この第２の実施形態の特徴とするところは、上述したようにして取得された連続視差画像において、画像上の特徴として、エッジ情報を用いる場合に、そのエッジの向き（方向）に対応して光シャッター１２の開口部を走査する方向を設定するようにしたことにある。注目するエッジが１次元方向にしか分布を持たない場合には、エッジに平行な移動成分を検出することは困難である。
【００４７】
図１２に示すように、例えば車両のルーフ部の横エッジを特徴点として着目したときに、横エッジがｙ方向のみの分布を持つ場合は、横エッジと平行な方向に光シャッター１２の開口部を走査すると、図１２（ａ）ならびに同図（ｂ）の視差画像が得られる。得られた視差画像間において、注目領域Ｗ１およびＷ２の対応付けを行うことは、注目しているエッジが単一方向にしか分布を持たないので、エッジと平行な方向に対して位置を限定する特徴がなく、対応関係を一意に求めることは困難である。このように、注目対象の特徴が１次元の分布しか持たず、その特徴の一部しか捉えていない場合には、分布方向の移動成分を抽出できないという「窓問題」が生じる。
【００４８】
この窓問題を回避するためには、２次元の分布を持つ特徴のみを用いることが考えられる。しかし、特徴が１次元分布しか持たない箇所においては、追跡できる部位と追跡できない部位が生じる。光シャッター１２の開口部の走査方向は、追跡する注目対象の特徴（エッジ）に関して視差画像間での視差を生じさせる方向に対応する。したがって、窓問題を回避するためには、特徴が持つ１次元分布と直交する方向に光シャッター１２の開口部を走査し、または撮像装置１３を移動する必要がある。そして、走査方向あるいは移動方向に対応した視差画像を得て、視差画像間における注目する特徴（エッジ）に対して直交する方向の移動量を求めればよいことになる。すなわち、視差画像間における特徴の対応付け処理は、その特徴について視差が生じる方向についてのみ行えばよい。
【００４９】
これにより、光シャッター１２の開口部および画像の読み出し位置の走査方向を、特徴の持つ１次元分布に直交する方向に設定することで、注目する特徴（エッジ）までの距離を得ることができる。したがって、図１３に示すように、着目する特徴が縦エッジの場合は横方向に走査し、着目する特徴が横エッジの場合には縦方向に走査する。このようにして視差画像を得ることで、注目する特徴（エッジ）までの距離を算出しやすくすることが可能となる。
【００５０】
上記第２の実施形態においては、注目対象の特徴として、縦エッジが強く観測される場合は、光シャッター１２の開口部および撮像装置１３の画像読み出し位置を横方向に移動し、横エッジが強く観測される場合には、光シャッター１２の開口部および撮像装置１３の画像読み出し位置を縦方向に移動させる。すなわち、強い特徴の分布（主軸）方向とは直交する方向に光シャッター１２の開口部および撮像装置１３の画像の読み出し位置を走査する。これにより、注目する特徴の走査方向の変化を追跡する性能が向上し、注目する特徴の位置をより正確に観測することが可能となる。したがって、注目対象までの距離を正確に算出することができる。
【００５２】
次に、この発明の第３の実施形態について説明する。
【００５３】
追跡する注目対象を一定のステップ幅で走査するモーションステレオにおいて、異なる位置にある複数の注目対象を追跡する際に、注目対象までの距離に応じて注目対象の撮像面上での移動量が異なる。比較的観測点に近いところに存在する注目対象の像上での移動量は大きくなり、遠いところに存在する対象の像上での移動量は小さくなる。図５にその様子を示す。
【００５４】
図５において、一定の移動幅ＨでカメラをＢ１からＢ３まで走査する。このとき、注目対象Ａ１、Ａ２の像上での位置はそれぞれ、Ｃ１１→Ｃ１２→Ｃ１３、Ｃ２１→Ｃ２２→Ｃ２３へと移動する。注目対象Ａ１、Ａ２までの距離を測定したい場合に、注目対象Ａ２の移動量が少なくなるように光シャッター１２の開口部の走査幅を設定すると、注目対象Ａ１の像上での移動量は微小となる。このため、算出される注目対象Ａ１までの距離を精度良く検出できる視差が得られるまで走査を繰り返さなくてはならない。
【００５５】
注目対象Ａ２までの距離を精度良く算出できる視差が得られた後は、走査幅を注目対象Ａ１の像上での移動量が探索領域Ｓ中に収まる範囲で最大に設定する。これにより、注目対象Ａ１までの距離を迅速に算出することができる。すなわち、観測する注目対象がひとつの場合は、走査幅を対象の像上での移動量が探索領域Ｓ中に収まる範囲で最大になるように設定する。一方、観測する注目対象が複数の場合には、観測点に近い対象ほど像上での移動量が大きくなるので、最初は観測点に近い対象の像上の移動量が探索領域Ｓ中に納まるように設定して近い対象までの距離を算出する。続いて、次に近い対象の移動量が探索領域Ｓ中に納まるように走査幅を設定して、注目対象までの距離を算出していく。このように、近い位置に存在する注目対象から遠い位置に存在する注目対象へと順次注目対象を変更しながら走査幅を最適化していくことにより、注目対象までの距離を迅速に算出することができる。
【００５６】
上記第３の実施形態においては、光シャッター１２の開口部および画像読み出し位置の走査ステップ幅に応じて、注目対象の像上での移動量を観測する。走査ステップ幅が小さく注目対象の移動量が極めて小さい場合は、走査ステップ幅を大きくすることで走査速度を向上させるように、像上での対象の移動量に応じて走査ステップ幅を変化させる。これにより、注目対象の追跡処理を高速化することができ、注目対象までの距離を迅速に算出することが可能となる。
【００５８】
次に、この発明の第４の実施形態について説明する。
【００５９】
この第４の実施形態の特徴とするところは、視差の変化に伴い、注目対象が隠蔽される場合、ならびに新たに注目対象が出現する場合に、注目対象の位置を正確に検出するようにしたことにある。視差の変化に伴い、注目対象が隠蔽される過程、新たに注目対象が出現する過程での注目対象の検出について、図１４を参照して説明する。
【００６０】
図１４において、撮像位置Ｂ１にて取得した画像をＩ１、撮像位置Ｂ２にて取得した画像をＩ２、撮像位置Ｂ３にて取得した画像をＩ３とする。注目領域Ｗについて、撮像位置をＢ３→Ｂ２→Ｂ１と移動させながら撮像する場合に、注目領域Ｗは撮像位置がＢ２からＢ１に変化する際に車両Ａ１に隠蔽される。注目領域Ｗをマッチング処理で追跡することにより、一致度が閾値よりも低くなった時点で注目領域Ｗが隠蔽されたことにより消失したと判定できる。
【００６１】
逆に、撮像位置がＢ１からＢ２に変化することで注目領域Ｗは新たに出現することになる。特に注目領域を限定せず、全画像上を均等にブロックに区分し、各ブロックについて連続視差画像間で追跡処理を行う場合は、視差画像を得る途中で新たに出現した領域には新たに監視領域を設定する。新たに設定された監視領域についても続く連続視差画像間で追跡処理を行うことにより、視差画像間の対応関係より距離を算出することが可能となる。すなわち、注目対象が隠蔽される場合ならびに新たに出現する場合の双方ともに、対象が見えている視差画像Ｉ２、Ｉ３を用いることによって注目領域Ｗまでの距離を得ることができる。
【００６２】
上記第４の実施形態においては、注目対象を連続的に追跡し、注目対象が隠蔽される直前までの画像情報を用いて注目対象までの距離を算出している。これにより、複眼スレテオ視で発生する、一方の画像で観測される特徴が他方の画像中には存在しないといった不対応問題を回避することが可能となる。
【００６３】
また、走査の過程で新たに出現した注目対象を最大走査範囲内で追跡するようにしているので、複眼スレテオ視で発生する、一方の画像で観測される特徴が他方の画像中には存在しないといった不対応問題を回避することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を示す図である。
【図２】モーションステレオの原理を説明するための図である。
【図３】ステレオ画像処理における対応点探索処理を説明するための図である。
【図４】開口部の走査によりモーションステレオの原理を説明するための図である。
【図５】モーションステレオにより得られる連続視差画像を説明するための図である。
【図６】モーションステレオのステップ幅の変更を説明するための図である。
【図７】連続視差画像の取得原理を説明するための図である。
【図８】注目対象の移動により測定位置に誤りを生じる場合を説明するための図である。
【図９】走査速度を速くすることにより測定位置誤差を小さくなる場合を説明するための図である。
【図１０】注目対象の追跡処理を説明するための図である。
【図１１】注目対象までの距離を算出する処理を示すフローチャートである。
【図１２】窓問題を説明するための図である。
【図１３】特徴方向と走査方向の関係を示す図である。
【図１４】対象が隠蔽、出現する場合について説明するための図である。
【符号の説明】
１１ レンズ
１２ 光シャッター
１３ 撮像装置
１４ フレームメモリ
１５ 演算装置
１６ 駆動装置
１５１ 追跡処理部
１５２ 距離算出部
Claims (6)
- 車両前方の画像を撮像する撮像手段と、
前記撮像手段が撮像する方向を制御する撮像方向制御手段と、
前記撮像手段が画像を撮像する撮像速度および前記撮像方向制御手段が撮像方向を変化させる速度を、前記撮像手段に対して追跡する注目対象が静止している状態に近似できる速度に調整する撮像速度調整手段と、
前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第１の画像の中から追跡する前記注目対象を抽出する第１の抽出手段と、
前記撮像速度調整手段により調整された速度に基づいて前記撮像手段が撮像した第２の画像から追跡する前記注目対象を抽出する領域を決定する領域決定手段と、
前記撮像手段が撮像した前記第２の画像における、前記領域決定手段により決定された領域の中から、追跡する前記注目対象を抽出する第２の抽出手段と、
前記第１の抽出手段により前記第１の画像から抽出された前記注目対象の画像情報と、前記第２の抽出手段により前記第２の画像から抽出された前記注目対象の画像情報とに基づいて、前記撮像方向制御手段が制御する撮像方向の走査位置および走査タイミングに同期して前記撮像手段の画像読み出し位置を変化させ、前記撮像手段と前記注目対象との距離を算出する距離算出手段と
を有することを特徴とする画像処理装置。 - 前記撮像方向制御手段は、
開口部の位置を電気的に任意に移動させることにより、前記撮像手段が撮像する方向を変える光シャッターである
ことを特徴とする請求項１記載の画像処理装置。 - 前記注目対象として縦エッジ情報が強い場合は、前記撮像方向制御手段の撮像方向を横方向に走査し、
前記注目対象として横エッジ情報が強い場合は、前記撮像方向制御手段の撮像方向を縦方向に走査する
ことを特徴とする請求項１又は２に記載の画像処理装置。 - 前記撮像装置に最も近い位置の前記注目対象から最も遠い前記注目対象へと順次注目対象を変え、それぞれの前記注目対象との距離に応じて前記撮像方向制御手段における撮像方向の移動量を最適化する
ことを特徴とする請求項１，２および３のいずれか１項に記載の画像処理装置。 - 前記撮像方向制御手段の走査による視線の変化に伴い、前記注目対象が隠蔽される場合は、前記注目対象が隠蔽されるまでに得られた視差画像に基づいて前記注目対象までの距離を算出する
ことを特徴とする請求項１，２，３および４のいずれか１項に記載の画像処理装置。 - 前記撮像方向制御手段の走査による視線の変化に伴い、前記注目対象が出現する場合は、前記注目対象が出現した位置における前記撮像方向制御手段の撮像方向から、前記撮像方向制御手段の最大走査位置までに得られた視差画像、もしくは前記注目対象が隠蔽されるまでに得られた視差画像に基づいて前記注目対象までの距離を算出する
ことを特徴とする請求項１，２，３，４および５のいずれか１項に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230993A JP3988574B2 (ja) | 2002-08-08 | 2002-08-08 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002230993A JP3988574B2 (ja) | 2002-08-08 | 2002-08-08 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004069583A JP2004069583A (ja) | 2004-03-04 |
| JP3988574B2 true JP3988574B2 (ja) | 2007-10-10 |
Family
ID=32016887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002230993A Expired - Fee Related JP3988574B2 (ja) | 2002-08-08 | 2002-08-08 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3988574B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2872728B1 (fr) * | 2004-07-06 | 2006-09-15 | Commissariat Energie Atomique | Procede de saisie d'un objet par un bras de robot muni d'une camera |
| JP4545503B2 (ja) * | 2004-07-14 | 2010-09-15 | オリンパス株式会社 | 画像生成装置およびその方法 |
| JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
| JP4765726B2 (ja) * | 2006-03-31 | 2011-09-07 | トヨタ自動車株式会社 | 画像処理装置および方法 |
| JP4889351B2 (ja) * | 2006-04-06 | 2012-03-07 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP5362189B2 (ja) * | 2006-05-10 | 2013-12-11 | 株式会社トプコン | 画像処理装置及びその処理方法 |
| JP4899647B2 (ja) * | 2006-06-05 | 2012-03-21 | 富士通株式会社 | 距離測定プログラム、距離測定装置、距離測定方法 |
| WO2010044127A1 (ja) * | 2008-10-16 | 2010-04-22 | 三菱電機株式会社 | 車外障害物高度検出装置 |
| JP5009962B2 (ja) * | 2009-09-18 | 2012-08-29 | 三菱電機株式会社 | 環境計測装置、設備制御システム、環境計測方法、及び環境計測プログラム |
| JP5409481B2 (ja) * | 2010-03-29 | 2014-02-05 | 富士フイルム株式会社 | 複眼撮影装置及びプログラム |
| WO2014046213A1 (ja) * | 2012-09-21 | 2014-03-27 | 株式会社タダノ | 作業車の周囲情報取得装置 |
| WO2017056821A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報取得装置と情報取得方法 |
| CN114877974B (zh) * | 2022-06-08 | 2022-12-23 | 广州计量检测技术研究院 | 量入式玻璃量器的液面自动调定方法及装置、设备 |
-
2002
- 2002-08-08 JP JP2002230993A patent/JP3988574B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004069583A (ja) | 2004-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6271609B2 (ja) | 立体カメラのためのオートフォーカス | |
| US6118475A (en) | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape | |
| EP2824417B1 (en) | Distance calculation device and distance calculation method | |
| JP4963964B2 (ja) | 物体検出装置 | |
| KR101964861B1 (ko) | 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법 | |
| EP2426642A1 (en) | Method, device and system for motion detection | |
| EP1966648A1 (en) | Method and device for controlling auto focusing of a video camera by tracking a region-of-interest | |
| JP3988574B2 (ja) | 画像処理装置 | |
| JP2006226965A (ja) | 画像処理装置、コンピュータプログラム、及び画像処理方法 | |
| JP2006331108A (ja) | 画像処理装置、画像処理方法、および、プログラム | |
| JP2001266128A (ja) | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 | |
| JP6602286B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP4337203B2 (ja) | 距離画像生成装置および距離画像生成方法、並びにプログラム提供媒体 | |
| JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
| JPH07181024A (ja) | ３次元形状計測方法および装置 | |
| JP6734994B2 (ja) | ステレオ計測装置及びシステム | |
| JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
| Sato et al. | Efficient hundreds-baseline stereo by counting interest points for moving omni-directional multi-camera system | |
| JP2012018013A (ja) | 測距装置及び撮像装置 | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JPH08329110A (ja) | 画像処理方法 | |
| JP2001319224A (ja) | ３次元物体検出装置と３次元物体検出方法及び記録媒体 | |
| JPH1194527A (ja) | 画像処理を用いたステレオ計測方法及び装置 | |
| JP2013190938A (ja) | ステレオ画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |