JP2004086484A - Image processor and image processing method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processor and an image processing method capable of easily and precisely restoring an object. <P>SOLUTION: An object restoring device 1 is provided with an image pickup part 11, a plane defining part 12, a projection converting part 13, a projecting point comparing part 14, and an object storing part 17. The imaging part 11 photographs an object A. The plane defining part 12 defines a plurality of planes on a three-dimensional space. The projection converting part 13 projection-converts each photographed image of the object A into a plurality of planes. The projecting point comparing part 14 compares the pixel values of the respective projection-converted images. The object restoring part 17 restores the group of points whose pixel values are matched as the object B on the three-dimensional space as the result of comparison by the projecting point comparing part 14. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、ステレオカメラにより撮影された画像を使用して、対象物の三次元位置を計測する技術が提案されている。例えば、特開２０００−２９３６９３号公報においては、以下に示す障害物検出方法及び装置が開示されている。当該方法及び装置は、三次元空間上の一点に関して、複数のステレオカメラにより撮影された画像間で対応付け（所謂対応点の探索）を行い、周知の三角測量法を用いて三次元位置を計測するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、かかる計測技術を実現する為には、各ステレオカメラの位置、撮像方向、レンズの焦点距離、各カメラ間の相対位置などの諸データは元より、各データを用いた関係式のパラメータを予め算出しておく必要がある。ところが、パラメータを算出する処理（キャリブレーション）を実行するには、三次元空間上に既知の点を多数用意しておく必要があり、多大な労力と時間を要する。
【０００４】
この様な難点に鑑みて、複雑なキャリブレーションを行うことなく障害物を検出可能な平面投影ステレオ法が提案されている。平面投影ステレオ法は周知慣用な位置計測技術であるので詳細な説明は省略するが、三次元空間上に定義された平面上の点に関して、所定の変換式を用いて対応点を算出し、各点の画素値の異同に基づいて上記平面上に位置しない物体を検出する技術である。
【０００５】
これにより、例えば道路を平面と定義した場合に、当該平面上に位置しない点の集合が障害物として検出される。
ところが、かかる手法でも対応点の探索が必要となる。また、対象物を検出することは可能であっても、三次元空間上に存在する対象物を精確に復元することはできない。
【０００６】
そこで、本発明は、容易かつ精確に物体を復元可能な画像処理装置、及び画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、対象物を撮影する第１及び第２の撮影手段と、前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、第１及び第２の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段とを備える。
【０００８】
本発明に係る画像処理方法は、画像処理装置が、第１及び第２の撮影手段により対象物を撮影する撮影ステップと、前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップとを含む。
【０００９】
これらの発明によれば、まず、空間上に複数の平面が定義される。続いて、第１及び第２の撮影手段により撮影された同一対象物の各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が画素毎に比較され、画素値が一致する、前記各画像上の点の集合が、前記空間上の物体として復元される。したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、空間上に定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。その結果、容易かつ精確に物体を復元することが可能となる。
【００１０】
本発明に係る画像処理装置において好ましくは、前記対象物のエッジを検出する検出手段を更に備え、前記定義手段は、前記検出手段により検出された前記エッジを使用して複数の平面を定義する。
【００１１】
本発明によれば、対象物のエッジが検出され、このエッジに基づいて複数の平面が定義される。すなわち、エッジが検出されることにより、対象物の端部が明確になり、平面を定義すべき範囲を精度良く認識することが可能となる。したがって、認識された範囲内で（対象物の端部を限界として）平面を定義することにより、撮影された対象物の画像が投影変換されることのない平面を定義するという無駄な処理を省略できる。その結果、物体の復元処理効率が向上される。
【００１２】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図１は、本実施の形態における物体復元装置１の機能的構成を示すブロック図である。図１に示す様に、物体復元装置１（画像処理装置に対応）は、撮像部１１と、投影変換部１３（投影変換手段に対応）と、平面定義部１２（定義手段に対応）と、投影点比較部１４（比較手段に対応）と、投票部１５と、定義平面制御部１６と、物体復元部１７（復元手段に対応）とを備える。好適には、物体復元装置１はエッジ検出部１８（検出手段に対応）を更に備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【００１３】
撮像部１１は、同一の撮像対象物Ａ（対象物に対応）を異なる視点から撮影可能な２台の平行ステレオカメラ１１ａ，１１ｂ（第１及び第２の撮影手段に対応）により構成される。各カメラ１１ａ，１１ｂは、それぞれ画角及び画素数が等しく、撮像方向と垂直な方向の距離間隔は可変である。撮像部１１は、各カメラ１１ａ，１１ｂにより撮影されたステレオ画像を投影変換部１３に出力する。
【００１４】
平面定義部１２は、対象物Ａの存在するＸＹＺの三次元空間上に、Ｘ軸方向に所定の間隔を有するＹＺ平面を複数定義する。所定の間隔とは、撮像対象物Ａのサイズや撮影された画像の縮尺などにより異なるが、物体復元処理の精度を向上する観点から、短い間隔であることが望ましい。同様に、平面定義部１２は、ＸＹＺの三次元空間上に、Ｙ，Ｚ軸方向に所定の間隔を有するＸＺ，ＸＹ平面を複数定義する。
【００１５】
投影変換部１３は、撮像部１１から入力された各ステレオ画像を、平面定義部１２により定義されたＹＺ，ＸＺ，ＸＹのそれぞれの平面に投影変換する。投影変換の具体的手法については、動作説明において後述する。
【００１６】
投影点比較部１４は、各ステレオ画像からＹＺ，ＸＺ，ＸＹの各平面の略同位置に投影された全ての点（以下、「投影点」と記す。）の画素値を比較する。投影点比較部１４は、平面定義部１２により定義された全ての平面について、画素値の差が近似する投影点を検出する。
【００１７】
投票部１５は、投影点比較部１４により検出された投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。
定義平面制御部１６は、投影変換先の定義平面を層方向（例えば、定義平面がＹＺ平面の場合にはＸ軸方向）に移動する必要があるか否かを判定する。また、定義平面制御部１６は、当該判定の結果に応じて、定義平面を層方向に所定距離分移動させる。
【００１８】
物体復元部１７は、投影点比較部１４による比較の結果、画素値が一致する点の集合を三次元空間上の物体Ｂ（物体に対応）として復元する。
エッジ検出部１８は、撮像部１１により撮影された対象物Ａの画像から、周知慣用の手法によりエッジを検出し、対象物Ａの端部を特定する。
【００１９】
次に、図２〜図７を参照して、本実施の形態における物体復元装置１の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
まず図２のＳ１では、撮像部１１は、ステレオカメラ１１ａ，１１ｂにより対象物Ａを撮影する。その結果、２つのステレオ画像が取得される。
【００２０】
続くＳ２では、平面定義部１２は、ＸＹＺの三次元空間上に、Ｘ軸に垂直なＹＺ平面を定義する。
Ｓ３では、投影変換部１３は、平面定義部１２によりＳ２で定義されたＹＺ平面に、一方のステレオ画像（ステレオカメラ１１ａによる撮影画像）を平面投影ステレオ法により投影変換する。
【００２１】
かかる投影変換処理は、周知慣用の座標系変換処理であるので、図示を含む詳細な説明は省略し、好適な処理例を以下簡略に説明する。すなわち、画像を平面に投影する際の座標系変換行列Ｈは、Ｈ＝Ｒ＋ｔｎ^Ｔ／ｄにより表される。ここで、Ｒはステレオカメラ１１ａ，１１ｂ間の回転行列であり、ｔはステレオカメラ１１ａ，１１ｂ間における平行移動量、ｎはキャリブレーション平面の法線ベクトル、ｄは０からキャリブレーション平面までの距離である。
【００２２】
平面投影ステレオ法による座標系変換は、変換前の座標をｇとし、変換後の座標をｇ’とすると、変換式ｇ’＝Ｈｇにより可能である。この座標系変換行列Ｈは、定義されたＹＺ平面上の４点以上の座標により算出可能である。ここで、定義されたＹＺ平面はＸ軸方向に移動することからＲは無視できる。したがって、ｄを一定量毎に変化させることにより、定義されたＹＺ平面を移動させることができる。座標系変換は、ＹＺ平面に限らず、ＸＺ平面、ＸＹ平面に関しても同様に可能である。
【００２３】
Ｓ４では、投影変換部１３は、Ｓ３と同一の手法を用いて、平面定義部１２によりＳ２で定義されたＹＺ平面に、他方のステレオ画像（ステレオカメラ１１ｂによる撮影画像）を平面投影ステレオ法により投影変換する。
【００２４】
Ｓ５では、投影点比較部１４は、Ｓ３及びＳ４において各ステレオ画像からＹＺ平面の略同位置に投影された全ての投影点の画素値を比較する。ここで、略同位置の点には、座標が完全に同一の点のみならず、一方の点から所定の範囲内（例えば５画素以内）に投影された周辺の点を含む。また、画素値は例えば、輝度（明度）、彩度などである。
Ｓ５における比較の結果、Ｓ２で定義された平面に関して、画素値の差が一定値以下である投影点が検出される。
【００２５】
Ｓ６では、投票部１５は、検出されたこれらの投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。図３は、定義平面Ｃ上に検出された複数の投影点Ｄ１，Ｄ２，Ｄ３を、三次元空間Ｅ上に投票する様子を概念的に示す図である。図３に示す様に、三次元空間Ｅは、多数の立方体（以下、「ボクセル」と記す。）により構成される。投影点Ｄ１，Ｄ２，Ｄ３は、三次元空間Ｅ上において同一の座標を有するボクセルに投票される。
【００２６】
Ｓ７では、定義平面制御部１６は、現時点で投影変換先となっている定義平面を層方向（例えば、ＹＺ平面の場合にはＸ軸方向，ＸＺ平面の場合にはＹ軸方向，ＸＹ平面の場合にはＺ軸方向）に移動する必要があるか否かを判定する。当該判定の結果、層方向への移動が必要であれば（Ｓ７；Ｙ）、定義平面制御部１６は、定義平面を層方向に所定距離分移動させる（Ｓ８）。
【００２７】
図４は、定義されたＹＺ平面の例を示す図である。図４に示す様に、ＹＺ平面は、Ｘの値を任意に設定することにより複数定義することが可能である。この様に、ＹＺ平面は、投票点を増やして物体の復元精度を高める為に、物体復元装置１の処理負荷及び速度を勘案した範囲内で極力多数定義されることが望ましい。なお、ＹＺ平面Ｘ１，Ｘ２の距離間隔ｄ１と、ＹＺ平面Ｘ２，Ｘ３の距離間隔ｄ２とは、必ずしも同一である必要はない。また、ｄ１，ｄ２は、ボクセルの一辺とは独立に決定される。
移動後は、Ｓ３に戻り、移動した定義平面に関して、上述したＳ３〜Ｓ７の一連の処理が実行される。
【００２８】
Ｓ７における判定の結果、層方向への移動が不要となった場合（Ｓ７；Ｎ）には、Ｓ９以降の処理に移行する。ここで、定義平面の移動の要否を判断する基準の好適な例について、図５を参照して説明する。図５は、検出されたエッジと接する様に定義されたＹＺ平面と対象物との位置関係を概念的に示す図である。図５において、エッジ検出部１８により、対象物Ｈのエッジ（境界線）が検出され、端部Ｇ１，Ｇ２が特定されている。
【００２９】
また、ＹＺ平面Ｘ４，Ｘ５は、端部Ｇ１，Ｇ２に接する様に定義されている。換言すれば、対象物ＨのＸ軸方向の最長距離ＬとＹＺ平面Ｘ４，Ｘ５間の距離Ｌ’とは等しい。すなわち、ＹＺ平面Ｘ４よりもＸ軸正方向には対象物Ｈは存在せず、ＹＺ平面Ｘ５よりもＸ軸負方向には対象物Ｈは存在しない。したがって、ＹＺ平面Ｘ４，Ｘ５をＸ軸方向の両端の定義平面（移動の限界）とすることにより、投影点の存在し得ない平面を定義することがない。これにより、必要最小限の定義平面を利用して、効率的な物体復元処理を実現できる。
なお、ＹＺ平面について代表的に説明したが、ＸＺ，ＸＹ平面に関しても同様の処理により同様の効果が得られる。
【００３０】
Ｓ９では、定義平面制御部１６は、現時点で投影変換先となっている定義平面を中心軸方向（例えば、ＹＺ平面の場合にはＺ軸を回転軸として，ＸＺ平面の場合にはＸ軸を回転軸として）に回転する必要があるか否かを判定する。当該判定の結果、軸方向への回転が必要であれば、定義平面制御部１６は、軸を中心に定義平面を所定角度（例えば９０度）分回転させる（Ｓ１０）。
回転後は、再びＳ３に戻り、回転された定義平面に関して、上述したＳ３〜Ｓ９の一連の処理が実行される。
【００３１】
例えば、Ｓ１０におけるＺ軸への回転角度が９０度（又は２７０度）、かつ、Ｓ８におけるＹ軸方向への移動距離がｄ３，ｄ４である場合には、図６に示す様に、多層のＸＺ平面Ｙ１，Ｙ２，Ｙ３が定義される。
なお、ｄ３とｄ４とは必ずしも同一である必要はない。また、ｄ３，ｄ４は、ボクセルの一辺とは独立に決定される。
【００３２】
同様に、Ｓ１０におけるＸ軸への回転角度が９０度（又は２７０度）、かつ、Ｓ８におけるＺ軸方向への移動距離がｄ５，ｄ６である場合には、図７に示す様に、多層のＸＹ平面Ｚ１，Ｚ２，Ｚ３が定義される。
なお、ｄ５とｄ６とは必ずしも同一である必要はない。また、ｄ５，ｄ６は、ボクセルの一辺とは独立に決定される。
【００３３】
図３に戻り、例えば各定義面の移動量ｅとボクセルの一辺長ｆとが等しい（ｅ＝ｆ）場合には、定義平面を三軸方向に設定した結果、三次元空間Ｅを構成するボクセルへの投票は、１ボクセル当たり３回ずつ行われる。これら３回の投票によるボクセルの画素値は、投票元の空間内の同一の点から得られた画素値であるので、同一のボクセルに関しては同一の画素値が得られる筈である。このため、異なる画素値が得られた場合には、投票元の空間内の点はノイズとして検出される。
【００３４】
同一のボクセルに関して、投票回数が４回以上の場合や２回以下の場合にも、投票元の空間内の点はノイズとして検出される。これにより、三次元空間Ｅの各ボクセルには、信頼度が所定値以上の点のみ投票されることになり、信頼性の高い投票点が復元物体Ｂを構成することになる。
【００３５】
また、例えば、各定義平面の移動量ｅよりもボクセルの一辺長ｆを長くとった場合（ｅ＜ｆ）には、同一の定義平面から得られた複数の画素値が１つのボクセルに投票されるので、ノイズの影響を低減できる。
Ｓ９における判定の結果、所定軸を中心とした回転が不要となった場合（Ｓ９；Ｎ）には、一連の物体復元処理に終了する。
【００３６】
以上説明した様に、本発明は、対象物が存在する座標が定義平面上の略同位置に投影変換される点に鑑みて、平面投影ステレオ法を用いた平面領域の検出技術を三次元物体の復元に応用する。すなわち、本発明に係る物体復元装置１は、対象物Ａの存在する三次元空間上にＹＺ，ＸＺ，ＸＹの平面が定義され、２台のステレオカメラ１１ａ，１１ｂにより撮影された対象物Ａの各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が比較され、画素値が一致する点の集合が、三次元空間Ｅ上の物体Ｂとして復元される。
【００３７】
したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。例えば、物体復元装置１を、車両が自動駐車処理を実行する際の障害物検出に適用することにより、容易かつ精確に駐車経路を計画することができる。
【００３８】
なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることも可能である。例えば、本実施の形態では、まず一つの平面を定義し、その平面に対して移動処理及び回転処理を繰り返し実行することにより、複数の平面から画素値を投票するものとした。しかし、所定の距離間隔及び向きを有する複数の平面を予め定義しておき、それぞれの平面から同時に画素値を投票するものとしてもよい。
【００３９】
【発明の効果】
本発明によれば、容易かつ精確に物体を復元することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る物体復元装置の機能的構成を示すブロック図である。
【図２】物体復元処理を説明する為のフローチャートである。
【図３】画素値が近似する投影点を三次元空間上に投票する様子を概念的に示す図である。
【図４】定義されるＹＺ平面の例を示す図である。
【図５】検出されたエッジに接する様に定義されたＹＺ平面と対象物との位置関係を概念的に示す図である。
【図６】定義されるＸＺ平面の例を示す図である。
【図７】定義されるＸＹ平面の例を示す図である。
【符号の説明】
１…物体復元装置、１１…撮像部、１１ａ，１１ｂ…ステレオカメラ、１２…平面定義部、１３…投影変換部、１４…投影点比較部、１７…物体復元部、１８…エッジ検出部、Ａ…撮像対象物、Ｂ…復元物体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device and an image processing method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique for measuring a three-dimensional position of an object using an image captured by a stereo camera has been proposed. For example, Japanese Patent Application Laid-Open No. 2000-293693 discloses the following obstacle detection method and apparatus. The method and the apparatus associate a single point in a three-dimensional space between images captured by a plurality of stereo cameras (search for a corresponding point) and measure a three-dimensional position using a well-known triangulation method. Is what you do.
[0003]
[Problems to be solved by the invention]
However, in order to realize such a measurement technique, various data such as the position of each stereo camera, the imaging direction, the focal length of the lens, and the relative position between the cameras, as well as the parameters of the relational expression using each data, are used. It must be calculated in advance. However, in order to execute a process of calculating a parameter (calibration), it is necessary to prepare a number of known points in a three-dimensional space, which requires a great deal of labor and time.
[0004]
In view of such difficulties, a planar projection stereo method capable of detecting an obstacle without performing complicated calibration has been proposed. Since the plane projection stereo method is a well-known and conventional position measurement technique, detailed description is omitted, but for points on a plane defined in a three-dimensional space, corresponding points are calculated using a predetermined conversion formula, and This is a technique for detecting an object that is not located on the plane based on the difference between pixel values of points.
[0005]
Thus, for example, when a road is defined as a plane, a set of points not located on the plane is detected as an obstacle.
However, even with such a method, it is necessary to search for a corresponding point. In addition, even though the object can be detected, the object existing in the three-dimensional space cannot be accurately restored.
[0006]
Therefore, an object of the present invention is to provide an image processing apparatus and an image processing method that can easily and accurately restore an object.
[0007]
[Means for Solving the Problems]
The present invention has the following features to solve the above problems.
An image processing apparatus according to the present invention includes first and second photographing means for photographing an object, definition means for defining a plurality of planes to which the image of the object is projected and converted, and first and second photographing means. Projection conversion means for projecting and transforming each image of the object photographed by the photographing means to a plurality of planes defined by the definition means; and a pixel value of each image projected and transformed by the projection transformation means for each pixel. And a restoring means for restoring a set of points whose pixel values match as a result of the comparison by the comparing means as an object in space.
[0008]
In the image processing method according to the present invention, the image processing apparatus may include a photographing step of photographing an object by first and second photographing means, and the image processing apparatus may include a plurality of images to be projected and converted to an image of the object. A definition step of defining a plane, and the image processing apparatus, a projection conversion step of projecting and converting each image of the object captured in the imaging step to a plurality of planes defined in the definition step, A comparison step in which the image processing device compares pixel values of each image projected and transformed in the projection transformation step for each pixel, and a result of the comparison in the comparison step, in which the pixel values match. Restoring a set of points as an object in space.
[0009]
According to these inventions, first, a plurality of planes are defined in the space. Subsequently, each image of the same object photographed by the first and second photographing means is projected and transformed into a plurality of defined planes. Then, the pixel values of the projected and transformed images are compared for each pixel, and a set of points on each of the images at which the pixel values match is restored as an object in the space. Therefore, when the object existing in the space is restored, it is not necessary to search for the corresponding point which has been conventionally required. Further, since the number and direction of the planes defined in the space are arbitrary, the restoration accuracy of the object is improved by taking many definition planes or taking the direction of the definition plane parallel to the boundary surface of the object. As a result, the object can be easily and accurately restored.
[0010]
Preferably, the image processing apparatus according to the present invention further includes a detecting unit that detects an edge of the object, and the defining unit defines a plurality of planes using the edge detected by the detecting unit.
[0011]
According to the present invention, an edge of an object is detected, and a plurality of planes are defined based on the edge. That is, by detecting the edge, the end of the object becomes clear, and the range in which the plane should be defined can be accurately recognized. Therefore, by defining a plane within the recognized range (with the end of the object as a limit), a wasteful process of defining a plane on which a captured image of the object is not projected and transformed is omitted. it can. As a result, the object restoration processing efficiency is improved.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a functional configuration of an object restoration device 1 according to the present embodiment. As shown in FIG. 1, the object restoration device 1 (corresponding to an image processing device) includes an imaging unit 11, a projection conversion unit 13 (corresponding to a projection conversion unit), a plane definition unit 12 (corresponding to a definition unit), It includes a projection point comparison unit 14 (corresponding to a comparison unit), a voting unit 15, a definition plane control unit 16, and an object restoration unit 17 (corresponding to a restoration unit). Preferably, the object restoration device 1 further includes an edge detection unit 18 (corresponding to a detection unit). These units are electrically connected so that various signals can be input and output.
[0013]
The imaging unit 11 includes two parallel stereo cameras 11a and 11b (corresponding to first and second photographing units) that can photograph the same imaging target A (corresponding to the target) from different viewpoints. The cameras 11a and 11b have the same angle of view and the number of pixels, respectively, and the distance between them in the direction perpendicular to the imaging direction is variable. The imaging unit 11 outputs a stereo image captured by each of the cameras 11a and 11b to the projection conversion unit 13.
[0014]
The plane definition unit 12 defines a plurality of YZ planes having a predetermined interval in the X-axis direction on the XYZ three-dimensional space where the object A exists. The predetermined interval varies depending on the size of the imaging target A, the scale of the captured image, and the like, but is preferably a short interval from the viewpoint of improving the accuracy of the object restoration processing. Similarly, the plane defining unit 12 defines a plurality of XZ and XY planes having predetermined intervals in the Y and Z axis directions on the XYZ three-dimensional space.
[0015]
The projection conversion unit 13 performs a projection conversion of each stereo image input from the imaging unit 11 onto each of YZ, XZ, and XY planes defined by the plane definition unit 12. A specific method of the projection conversion will be described later in the description of the operation.
[0016]
The projection point comparison unit 14 compares the pixel values of all points (hereinafter, referred to as “projection points”) projected from each stereo image at substantially the same position on each of the YZ, XZ, and XY planes. The projection point comparison unit 14 detects a projection point having a similar pixel value difference for all the planes defined by the plane definition unit 12.
[0017]
The voting unit 15 votes the pixel values at all positions in the three-dimensional space corresponding to the projection points detected by the projection point comparison unit 14.
The definition plane control unit 16 determines whether it is necessary to move the definition plane of the projection transformation destination in the layer direction (for example, in the case of the YZ plane, the X-axis direction). The definition plane control unit 16 moves the definition plane by a predetermined distance in the layer direction according to the result of the determination.
[0018]
The object restoring unit 17 restores a set of points whose pixel values match as a result of the comparison by the projection point comparing unit 14 as an object B (corresponding to an object) in the three-dimensional space.
The edge detection unit 18 detects an edge from the image of the object A captured by the imaging unit 11 by a well-known method, and specifies an end of the object A.
[0019]
Next, the operation of the object restoration device 1 according to the present embodiment will be described with reference to FIGS. In addition, each step of the image processing method according to the present invention will be described.
First, in S1 of FIG. 2, the imaging unit 11 captures an image of the object A using the stereo cameras 11a and 11b. As a result, two stereo images are obtained.
[0020]
In the following S2, the plane definition unit 12 defines a YZ plane perpendicular to the X axis on the three-dimensional space of XYZ.
In S3, the projection conversion unit 13 performs projection conversion of one stereo image (the image captured by the stereo camera 11a) onto the YZ plane defined in S2 by the plane definition unit 12 by the plane projection stereo method.
[0021]
Since such projection conversion processing is a well-known and commonly used coordinate system conversion processing, detailed description including illustration is omitted, and a preferred processing example will be briefly described below. That is, the coordinate system transformation matrix H when projecting an image on a plane is represented by H = R + tn ^T / d. Here, R is a rotation matrix between the stereo cameras 11a and 11b, t is an amount of translation between the stereo cameras 11a and 11b, n is a normal vector of the calibration plane, and d is a distance from 0 to the calibration plane. It is.
[0022]
The coordinate system conversion by the plane projection stereo method can be performed by a conversion equation g ′ = Hg, where g is the coordinate before the conversion and g ′ is the coordinate after the conversion. This coordinate system conversion matrix H can be calculated from the coordinates of four or more points on the defined YZ plane. Here, R can be ignored since the defined YZ plane moves in the X-axis direction. Therefore, by changing d every fixed amount, the defined YZ plane can be moved. The coordinate system conversion is not limited to the YZ plane, but can be similarly performed on the XZ plane and the XY plane.
[0023]
In S4, the projection conversion unit 13 uses the same technique as S3 to apply the other stereo image (the image captured by the stereo camera 11b) to the YZ plane defined in S2 by the plane definition unit 12 by the planar projection stereo method. Perform projection transformation.
[0024]
In S5, the projection point comparison unit 14 compares the pixel values of all the projection points projected at substantially the same position on the YZ plane from each stereo image in S3 and S4. Here, the points at substantially the same position include not only points whose coordinates are completely the same but also peripheral points projected within a predetermined range (for example, within 5 pixels) from one point. The pixel value is, for example, luminance (brightness), saturation, or the like.
As a result of the comparison in S5, a projection point having a pixel value difference equal to or smaller than a certain value is detected with respect to the plane defined in S2.
[0025]
In S6, the voting unit 15 votes the pixel values at all positions in the three-dimensional space corresponding to the detected projection points. FIG. 3 is a diagram conceptually showing a state in which a plurality of projection points D1, D2, and D3 detected on the definition plane C are voted on the three-dimensional space E. As shown in FIG. 3, the three-dimensional space E is composed of a large number of cubes (hereinafter, referred to as “voxels”). The projection points D1, D2, D3 are voted for voxels having the same coordinates in the three-dimensional space E.
[0026]
In S7, the definition plane control unit 16 sets the definition plane that is the projection conversion destination at this time in the layer direction (for example, the X axis direction in the case of the YZ plane, the Y axis direction in the case of the XZ plane, and the XY plane). In this case, it is determined whether or not it is necessary to move in the Z-axis direction). As a result of the determination, if movement in the layer direction is necessary (S7; Y), the definition plane control unit 16 moves the definition plane by a predetermined distance in the layer direction (S8).
[0027]
FIG. 4 is a diagram illustrating an example of the defined YZ plane. As shown in FIG. 4, a plurality of YZ planes can be defined by arbitrarily setting the value of X. As described above, it is desirable that as many YZ planes as possible are defined within a range in which the processing load and the speed of the object restoring device 1 are considered in order to increase the voting points and increase the object restoration accuracy. The distance d1 between the YZ planes X1 and X2 and the distance d2 between the YZ planes X2 and X3 do not necessarily have to be the same. Further, d1 and d2 are determined independently of one side of the voxel.
After the movement, the process returns to S3, and the above-described series of processing from S3 to S7 is performed on the moved definition plane.
[0028]
As a result of the determination in S7, when the movement in the layer direction becomes unnecessary (S7; N), the process proceeds to S9 and subsequent steps. Here, a preferred example of a criterion for determining whether or not the definition plane needs to be moved will be described with reference to FIG. FIG. 5 is a diagram conceptually showing a positional relationship between a target object and a YZ plane defined so as to be in contact with the detected edge. In FIG. 5, the edge (boundary line) of the object H is detected by the edge detection unit 18, and the ends G1 and G2 are specified.
[0029]
The YZ planes X4 and X5 are defined so as to be in contact with the ends G1 and G2. In other words, the longest distance L of the object H in the X-axis direction is equal to the distance L 'between the YZ planes X4 and X5. That is, the target object H does not exist in the positive X-axis direction than the YZ plane X4, and does not exist in the negative X-axis direction than the YZ plane X5. Therefore, by defining the YZ planes X4 and X5 as defining planes (movement limits) at both ends in the X-axis direction, there is no need to define a plane where a projection point cannot exist. As a result, an efficient object restoration process can be realized using the minimum necessary definition plane.
Although the YZ plane has been representatively described, the same effect can be obtained by performing the same processing on the XZ and XY planes.
[0030]
In S9, the definition plane control unit 16 sets the definition plane that is the projection conversion destination at the present time in the center axis direction (for example, the Z axis is used as the rotation axis in the case of the YZ plane, and the X axis is used in the case of the XZ plane). (As a rotation axis). As a result of the determination, if rotation in the axial direction is necessary, the definition plane control unit 16 rotates the definition plane about the axis by a predetermined angle (for example, 90 degrees) (S10).
After the rotation, the process returns to S3 again, and the above-described series of processing of S3 to S9 is performed on the rotated definition plane.
[0031]
For example, when the rotation angle to the Z axis in S10 is 90 degrees (or 270 degrees) and the movement distance in the Y axis direction in S8 is d3, d4, as shown in FIG. Planes Y1, Y2, and Y3 are defined.
Note that d3 and d4 need not necessarily be the same. Further, d3 and d4 are determined independently of one side of the voxel.
[0032]
Similarly, when the rotation angle to the X axis in S10 is 90 degrees (or 270 degrees) and the movement distance in the Z axis direction in S8 is d5, d6, as shown in FIG. An XY plane Z1, Z2, Z3 is defined.
Note that d5 and d6 need not necessarily be the same. Further, d5 and d6 are determined independently of one side of the voxel.
[0033]
Returning to FIG. 3, for example, when the movement amount e of each definition plane is equal to the side length f of the voxel (e = f), the definition plane is set in the three-axis direction, and as a result, the voxels forming the three-dimensional space E are set. Voting is performed three times per voxel. The pixel values of the voxel by these three votes are pixel values obtained from the same point in the space of the voting source, and therefore, the same pixel value should be obtained for the same voxel. For this reason, when a different pixel value is obtained, a point in the voting source space is detected as noise.
[0034]
Regarding the same voxel, even when the number of votes is four or more or two or less, a point in the voting source space is detected as noise. As a result, only points whose reliability is equal to or more than a predetermined value are voted for each voxel in the three-dimensional space E, and the voting points having high reliability constitute the restored object B.
[0035]
Further, for example, when one side length f of a voxel is longer than the movement amount e of each definition plane (e <f), a plurality of pixel values obtained from the same definition plane are voted for one voxel. Therefore, the influence of noise can be reduced.
As a result of the determination in S9, when the rotation about the predetermined axis becomes unnecessary (S9; N), the series of object restoration processing ends.
[0036]
As described above, the present invention provides a technique for detecting a plane area using a plane projection stereo method in view of the point that coordinates at which an object is present are projected and converted to substantially the same position on a definition plane. Applied to the restoration of That is, the object restoring device 1 according to the present invention defines the planes YZ, XZ, and XY in the three-dimensional space where the object A exists, and the object A captured by the two stereo cameras 11a and 11b. Each image is projected onto a plurality of defined planes. Then, the pixel values of each of the projected and transformed images are compared, and a set of points having the same pixel value is restored as the object B in the three-dimensional space E.
[0037]
Therefore, when the object existing in the space is restored, it is not necessary to search for the corresponding point which has been conventionally required. Also, since the number and direction of the planes to be defined are arbitrary, the restoration accuracy of the object is improved by adopting many definition planes or by taking the direction of the definition plane parallel to the boundary surface of the object. For example, by applying the object restoring device 1 to obstacle detection when a vehicle executes an automatic parking process, a parking route can be planned easily and accurately.
[0038]
Note that the present invention is not limited to the above-described embodiment, and it is possible to appropriately adopt modified embodiments without departing from the gist of the present invention. For example, in the present embodiment, one plane is first defined, and the movement process and the rotation process are repeatedly performed on the plane, thereby voting the pixel values from a plurality of planes. However, a plurality of planes having a predetermined distance interval and direction may be defined in advance, and pixel values may be simultaneously voted from each plane.
[0039]
【The invention's effect】
According to the present invention, it is possible to easily and accurately restore an object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an object restoration device according to the present invention.
FIG. 2 is a flowchart illustrating an object restoration process.
FIG. 3 is a diagram conceptually showing a state of voting a projection point having an approximate pixel value on a three-dimensional space.
FIG. 4 is a diagram illustrating an example of a defined YZ plane.
FIG. 5 is a diagram conceptually showing a positional relationship between a target object and a YZ plane defined so as to be in contact with a detected edge.
FIG. 6 is a diagram illustrating an example of a defined XZ plane.
FIG. 7 is a diagram illustrating an example of a defined XY plane.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Object restoration apparatus, 11 ... Imaging part, 11a, 11b ... Stereo camera, 12 ... Plane definition part, 13 ... Projection conversion part, 14 ... Projection point comparison part, 17 ... Object restoration part, 18 ... Edge detection part, A … Imaging object, B… Reconstructed object

Claims (3)

対象物を撮影する第１及び第２の撮影手段と、
前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、
第１及び第２の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、
前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、
前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段と
を備えることを特徴とする画像処理装置。First and second photographing means for photographing an object;
Definition means for defining a plurality of planes to be the projection transformation destination of the image of the object,
Projecting conversion means for projecting and converting each image of the object photographed by the first and second photographing means to a plurality of planes defined by the defining means;
A comparison unit that compares pixel values of each image projected and converted by the projection conversion unit for each pixel,
An image processing apparatus comprising: a restoration unit that restores a set of points having the same pixel value as a result of the comparison by the comparison unit as an object in space. 前記対象物のエッジを検出する検出手段を更に備え、
前記定義手段は、前記検出手段により検出された前記エッジを使用して、複数の平面を定義することを特徴とする請求項１に記載の画像処理装置。Further comprising a detecting means for detecting an edge of the object,
The image processing apparatus according to claim 1, wherein the definition unit defines a plurality of planes using the edge detected by the detection unit. 画像処理装置が、第１及び第２の撮影手段により対象物を撮影する撮影ステップと、
前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、
前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、
前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、
前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップと
を含むことを特徴とする画像処理方法。A photographing step in which the image processing device photographs an object by the first and second photographing means;
The image processing apparatus, a definition step of defining a plurality of planes to be a projection transformation destination of the image of the object,
A projection conversion step in which the image processing apparatus projects and converts each image of the target object shot in the shooting step to a plurality of planes defined in the definition step;
A comparison step in which the image processing device compares pixel values of each image projected and transformed in the projection transformation step for each pixel;
A restoring step of restoring, as a spatial object, a set of points whose pixel values match as a result of the comparison in the comparing step.

Images