JP2004093457A

JP2004093457A - 画像処理装置、及び画像処理方法

Info

Publication number: JP2004093457A
Application number: JP2002256896A
Authority: JP
Inventors: Kenichi Kitahama; 北浜　謙一
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-09-02
Filing date: 2002-09-02
Publication date: 2004-03-25

Abstract

【課題】物体までの距離を高精度に測定することである。
【解決手段】本発明に係る距離測定装置１は、ステレオカメラ１１ａ，１１ｂとカメラ制御部１３と距離計算部１５とを備える。ステレオカメラ１１ａ，１１ｂは同一の物体を撮影する。カメラ制御部１３は、ステレオカメラ１１ａ，１１ｂにより物体を同時に撮影可能な範囲内で、各ステレオカメラ１１ａ，１１ｂの距離間隔を延長する。距離計算部１５は、カメラ制御部１３により距離間隔が延長されたステレオカメラ１１ａ，１１ｂによる撮影結果に基づいて、物体までの距離を算出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラにより撮影された画像を使用して、撮像対象物としての物体までの距離を測定する三次元計測技術が提案されている。例えば、特開平１１−３９５９６号公報においては、遠距離用のステレオカメラと近距離用のステレオカメラとを同時に使用し、より広範囲の立体物を同時に検出する車外監視装置が開示されている。
【０００３】
【特許文献１】
特開平１１−３９５９６号公報（第３図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術では以下に示す様な問題点があった。すなわち、遠距離用と近距離用の二種類のステレオカメラが必要になるだけでなく、測定可能な距離の範囲が狭いため、広範囲に渡って精度良く距離を測定することは困難であった。また、ステレオカメラでは、撮影された一対の画像の中から物体に対応する点を探索するが、特にステレオカメラの間隔が広い場合には、この対応点を探索する処理に時間が掛かり、探索誤差も大きくなる場合が多い。
【０００５】
そこで、本発明は、物体までの距離を高精度に測定する画像処理装置、及び画像処理方法を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、物体を撮影する複数の撮影手段と、前記複数の撮影手段の距離間隔が短い状態で前記物体の画像上の対応点を探索する探索手段と、前記複数の撮影手段により前記物体を同時に撮影可能な範囲内で前記距離間隔を延長する制御を行う制御手段と、前記制御手段により距離間隔が延長された際に、前記複数の撮影手段により撮影された前記物体の画像中に、前記対応点に相当する点を追跡する追跡手段と、前記追跡手段により追跡された点（距離間隔の延長に伴って移動した対応点）を利用して、前記物体の画像から、前記物体までの距離を算出する算出手段とを備える。
【０００７】
本発明に係る画像処理方法は、複数の撮影手段により物体を撮影する撮影ステップと、前記複数の撮影手段の距離間隔が短い状態で前記物体の画像上の対応点を探索する探索ステップと、前記複数の撮影手段により前記物体を同時に撮影可能な範囲内で前記距離間隔を延長する制御を行う制御ステップと、前記制御ステップにて距離間隔が延長された際に、前記複数の撮影手段により撮影された前記物体の画像中に、前記対応点に相当する点を追跡する追跡ステップと、前記追跡ステップにて追跡された点（距離間隔の延長に伴って移動した対応点）を利用して、前記物体の画像から、前記物体までの距離を算出する算出ステップとを含む。
【０００８】
これらの発明によれば、複数の撮影手段の距離間隔は制御手段により可変的に制御される。例えば、探索手段により対応点を探索する際には、対応点の探索誤差を低減すると共に、探索範囲が狭まる様に距離間隔を短くとる。一方、算出手段により物体との距離を算出する際には、測定距離の誤差を低減すると共に、視差の読取り誤差の影響が小さくなる様に距離間隔を長くとる。その結果、物体までの距離を高精度に測定することが可能となる。
【０００９】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における距離測定装置１の機能的構成を示すブロック図である。図１に示す様に、距離測定装置１（画像処理装置に対応）は、撮像部１１と、対応点探索部１２（探索手段に対応）と、カメラ制御部１３（制御手段に対応）と、対応点追跡部１４（追跡手段に対応）と、距離計算部１５（算出手段に対応）とを備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１０】
撮像部１１は、同一の物体を異なる視点から撮影可能な２台のステレオカメラ１１ａ，１１ｂ（複数の撮影手段に対応）により構成される。各ステレオカメラ１１ａ，１１ｂは、それぞれ画角及び画素数が等しく、撮像方向と垂直な方向の距離間隔（以下、「基線長」と記す。）は可変的に設定可能である。
【００１１】
対応点探索部１２は、撮像部１１のステレオカメラ１１ａ，１１ｂにより撮影された一対の画像の中から、物体に相当する画像上の点（以下、「対応点」と記す。）を探索する。
カメラ制御部１３は、撮像部１１のステレオカメラ１１ａ，１１ｂの位置を撮像方向と垂直な方向（図３のＸ軸方向）に移動させる制御を行う。
対応点追跡部１４は、ステレオカメラ１１ａ，１１ｂが移動した結果、対応点が撮像面の端部に到達したか否かを判定する。
【００１２】
距離計算部１５は、対応点探索部１２により探索された対応点を基に、ステレオカメラ１１ａ，１１ｂの前端部と対応点との撮像方向（図３のＺ軸方向）の距離を算出する。また、距離計算部１５は、当該算出結果を参照して、周知の三角測量法により物体の三次元位置を推定する。
【００１３】
次に、図２〜図６を参照して、本実施の形態における距離測定装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
まず図２のＳ１では、カメラ制御部１３は、ステレオカメラ１１ａ，１１ｂ間の基線長が短く設定されているか否かを判定し、設定されていなければ基線長を短く設定する。
【００１４】
図３は、基線長がＬに設定されている場合におけるカメラと物体との位置関係を示す図である。図３に示す様に、基線長Ｌは、ステレオカメラ１１ａによる撮影画像（左像）とステレオカメラ１１ｂによる撮影画像（右像）との間における視差θが充分に小さくなる程度に短い値に設定される。
【００１５】
例えば、対応点Ａ２に関する視差θは、ステレオカメラ１１ａの撮像方向（Ｌ１）とステレオカメラ１１ａから対応点Ａ２に向かう方向（Ｌ２）との為す鋭角をθ_Ｌとし、ステレオカメラ１１ｂの撮像方向（Ｒ１）とステレオカメラ１１ｂから対応点Ａ２に向かう方向（Ｒ２）との為す鋭角をθ_Ｒとした場合に、θ＝｜θ_Ｌ−θ_Ｒ｜により表される。
【００１６】
また、ステレオカメラ１１ａ，１１ｂの前端部と撮像面Ｍ１，Ｍ２とのＹ軸方向の距離を焦点距離ｆとすると、ステレオカメラ１１ａ，１１ｂの前端部と対応点とのＹ軸方向の測定距離Ｚは、Ｚ＝ｆＬ／θ…（式１）により表される。したがって、視差θが測定距離Ｚに及ぼす誤差△Ｚは、△Ｚ＝ｄＺ／ｄθ＝２Ｚ^２／ｆＬ…（式２）により表される。
【００１７】
図４は、図３の撮像面Ｍ１，Ｍ２に写像された対応点Ａ１，Ａ２の位置関係を示す図である。図４を参照すると、図３に示した視差θが小さい程、対応点の探索範囲が狭くなる。すなわち、基線長をＬの様に短くとると、対応点の探索範囲が狭くなり、これにより、対応点探索処理の高速化及び高精度化を図ることができる。その反面、上記式１及び式２から明らかな様に、基線長が短い程、誤差△Ｚは増大し、測定距離Ｚは視差θに過敏に反応する。その結果、ノイズに対する測定距離のロバスト性は低下する。
【００１８】
図２に戻りＳ２では、撮像部１１は、現時点における基線長Ｌを維持して、物体を撮影する。
続いて、対応点探索部１２は、Ｓ２で撮影された一対の画像（撮像面Ｍ１，Ｍ２に相当）の中から、正規化相互相関法や二乗残差法などの数学的手法を用いて対応点Ａ１，Ａ２を探索する（Ｓ３）。
【００１９】
Ｓ４では、カメラ制御部１３は、撮像部１１のステレオカメラ１１ａの位置をＸ軸の負方向に移動させると共に、ステレオカメラ１１ｂの位置をＸ軸の正方向に移動させる。このとき、各カメラ１１ａ，１１ｂは、中心点を図３の点Ｃに維持したまま、等速に等距離移動するように制御される。カメラの移動中、対応点追跡部１４は、撮像面Ｍ１，Ｍ２内にそれぞれ写像される対応点Ａ１，Ａ２を追跡する。
【００２０】
Ｓ５では、対応点追跡部１４は、ステレオカメラ１１ａ，１１ｂが移動した結果、各対応点Ａ１，Ａ２が撮像面Ｍ１，Ｍ２の端部に到達したか否かを判定する。当該判定の結果、各対応点Ａ１，Ａ２が撮像面Ｍ１，Ｍ２の端部に到達した場合、すなわち双方のカメラ１１ａ，１１ｂが対応点Ａ１，Ａ２を同時に撮影可能な限界の位置まで移動した場合には、Ｓ３に示した処理が再実行される。
【００２１】
詳細には、対応点探索部１２は、現時点における延長された基線長を維持して、Ｓ２で撮影された一対の画像（撮像面Ｍ１，Ｍ２に相当）の中から、追跡された対応点Ａ１，Ａ２を再度探索する（Ｓ６）。
【００２２】
図５は、ステレオカメラ１１ａ，１１ｂがそれぞれ△Ｌずつ移動した場合におけるカメラと物体との位置関係を示す図である。図５に示す様に、基線長Ｌ＋２△Ｌは、左像と右像との間における視差θが充分に大きくなる程度に長い値に変更される。このため、上述した式１及び式２から明らかな様に、基線長が長い程、誤差△Ｚ、及び視差θが測定距離Ｚに与える影響は低減する。その結果、ノイズに対する測定距離のロバスト性は向上する。
【００２３】
なお、Ｓ６においては、基線長の変更値から、撮像面上における対応点の探索範囲を決定することも可能である。以下、図６を参照して、かかる探索範囲の決定方法について説明する。図６に示す様に、基線長が△Ｌ延長された場合、撮像面Ｍ１上を対応点Ａ１が移動する距離Ｔ１は、Ｔ１＝ｆ△Ｌ／Ｚ＋θ_Ｒにより表される。同様に、基線長が△Ｌ延長された場合、撮像面Ｍ２上を対応点Ａ２が移動する距離Ｔ２は、Ｔ２＝ｆ△Ｌ／Ｚ＋θ_Ｌにより表される。
【００２４】
したがって、測定距離Ｚの誤差率をｋ（定数）とすると、移動前のＡ１からＸ軸の負方向にＴ１移動した位置を中心として、２ｆ△Ｌ（ｋ△Ｚ）／（Ｚ^２−（ｋ△Ｚ）^２）の範囲内が、移動後の対応点Ａ１の探索範囲となる。同様に、移動前のＡ２からＸ軸の正方向にＴ２移動した位置を中心として、２ｆ△Ｌ（ｋ△Ｚ）／（Ｚ^２−（ｋ△Ｚ）^２）の範囲内が、移動後の対応点Ａ１の探索範囲となる。これにより、対応点探索部１２は、上述の様に特定された探索範囲から対応点Ａ１，Ａ２を探索すればよく、他の範囲を含んで探索する場合と比較して、再探索処理の高速化及び高精度を図ることができる。
【００２５】
Ｓ７では、距離計算部１５は、追跡及び再探索された対応点と、Ｓ２で撮影された一対の画像とを用いて、ステレオカメラ１１ａ，１１ｂの前端部と対応点とのＺ軸方向の距離を算出する。更に、距離計算部１５は、当該算出結果を参照して、周知の三角測量法により物体の三次元位置を推定する。
【００２６】
以下、本発明に係る距離測定装置１の奏する効果について説明する。本発明は、ステレオカメラ間の距離間隔が短い場合と長い場合におけるそれぞれの長所を活かすべく、当該距離間隔を可変的に制御するという着想に基づくものである。具体的には、基線長が短い時には、視差が小さく探索範囲も狭いので、対応点の探索に適する。これに対して、基線長が長い時には、測定距離の誤差が小さいので、距離の測定に適する。そこで、まず基線長を短く設定して対応点を検出した後に、対応点を探索可能な範囲内で基線長を長く変更して距離を測定する。精度の高い対応点に基づく距離の測定は、高精度な距離測定に資する。その結果、物体までの距離を高速かつ高精度に測定することが可能となる。
【００２７】
なお、本実施の形態では、Ｚ軸方向の距離測定を想定したが、Ｘ軸方向、Ｙ軸方向に関しても同様の技術を適用可能であることは勿論である。更に、本実施の形態では、ステレオカメラ１１ａ，１１ｂをＸ軸方向のみに移動させる態様を例示した。しかし、かかる態様に限らず、Ｘ，Ｙ，Ｚ軸方向の中から適宜選択された一又は複数の方向にカメラ１１ａ，１１ｂを移動させることにより、パン、チルト、ズーム、輻輳などの多様な動作に関して、本発明を適用することも可能である
【００２８】
【発明の効果】
本発明によれば、複数の撮影手段の距離間隔は制御手段により可変的に制御される。例えば、対応点を探索する際には、対応点の探索誤差を低減する為に、探索範囲が狭まる様に距離間隔を短くとる。一方、物体との距離を測定する際には、測定距離の誤差を低減する為に、視差の読取り誤差の影響が小さくなる様に距離間隔を長くとる。その結果、物体までの距離を高精度に測定することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る距離測定装置の機能的構成を示すブロック図である。
【図２】距離測定処理を説明する為のフローチャートである。
【図３】基線長がＬに設定されている場合におけるカメラと物体との位置関係を示す図である。
【図４】撮像面に写像された対応点の位置関係を示す図である。
【図５】ステレオカメラがそれぞれ△Ｌずつ移動した場合におけるカメラと物体との位置関係を示す図である。
【図６】探索範囲の決定方法を説明する為の図である。
【符号の説明】
１…距離測定装置、１１…撮像部、１１ａ，１１ｂ…ステレオカメラ、１２…対応点探索部、１３…カメラ制御部、１４…対応点追跡部、１５…距離計算部

Claims

物体を撮影する複数の撮影手段と、
前記複数の撮影手段の距離間隔が短い状態で、前記物体の画像上の対応点を探索する探索手段と、
前記複数の撮影手段により前記物体を同時に撮影可能な範囲内で、前記距離間隔を延長する制御を行う制御手段と、
前記制御手段により距離間隔が延長された際に、前記複数の撮影手段により撮影された前記物体の画像中に、前記対応点に相当する点を追跡する追跡手段と、
前記追跡手段により追跡された点を利用して、前記物体の画像から、前記物体までの距離を算出する算出手段と
を備えることを特徴とする画像処理装置。
複数の撮影手段により物体を撮影する撮影ステップと、
前記複数の撮影手段の距離間隔が短い状態で、前記物体の画像上の対応点を探索する探索ステップと、
前記複数の撮影手段により前記物体を同時に撮影可能な範囲内で、前記距離間隔を延長する制御を行う制御ステップと、
前記制御ステップにて距離間隔が延長された際に、前記複数の撮影手段により撮影された前記物体の画像中に、前記対応点に相当する点を追跡する追跡ステップと、
前記追跡ステップにて追跡された点を利用して、前記物体の画像から、前記物体までの距離を算出する算出ステップと
を含むことを特徴とする画像処理方法。