JP2004086484A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2004086484A JP2004086484A JP2002245584A JP2002245584A JP2004086484A JP 2004086484 A JP2004086484 A JP 2004086484A JP 2002245584 A JP2002245584 A JP 2002245584A JP 2002245584 A JP2002245584 A JP 2002245584A JP 2004086484 A JP2004086484 A JP 2004086484A
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- planes
- projection
- definition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 6
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 abstract description 14
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000003708 edge detection Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、画像処理装置、及び画像処理方法に関する。
【0002】
【従来の技術】
従来、ステレオカメラにより撮影された画像を使用して、対象物の三次元位置を計測する技術が提案されている。例えば、特開2000−293693号公報においては、以下に示す障害物検出方法及び装置が開示されている。当該方法及び装置は、三次元空間上の一点に関して、複数のステレオカメラにより撮影された画像間で対応付け(所謂対応点の探索)を行い、周知の三角測量法を用いて三次元位置を計測するものである。
【0003】
【発明が解決しようとする課題】
しかしながら、かかる計測技術を実現する為には、各ステレオカメラの位置、撮像方向、レンズの焦点距離、各カメラ間の相対位置などの諸データは元より、各データを用いた関係式のパラメータを予め算出しておく必要がある。ところが、パラメータを算出する処理(キャリブレーション)を実行するには、三次元空間上に既知の点を多数用意しておく必要があり、多大な労力と時間を要する。
【0004】
この様な難点に鑑みて、複雑なキャリブレーションを行うことなく障害物を検出可能な平面投影ステレオ法が提案されている。平面投影ステレオ法は周知慣用な位置計測技術であるので詳細な説明は省略するが、三次元空間上に定義された平面上の点に関して、所定の変換式を用いて対応点を算出し、各点の画素値の異同に基づいて上記平面上に位置しない物体を検出する技術である。
【0005】
これにより、例えば道路を平面と定義した場合に、当該平面上に位置しない点の集合が障害物として検出される。
ところが、かかる手法でも対応点の探索が必要となる。また、対象物を検出することは可能であっても、三次元空間上に存在する対象物を精確に復元することはできない。
【0006】
そこで、本発明は、容易かつ精確に物体を復元可能な画像処理装置、及び画像処理方法を提供することを課題とする。
【0007】
【課題を解決するための手段】
本発明は、上記課題を解決する為、以下の様な特徴を備えている。
本発明に係る画像処理装置は、対象物を撮影する第1及び第2の撮影手段と、前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、第1及び第2の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段とを備える。
【0008】
本発明に係る画像処理方法は、画像処理装置が、第1及び第2の撮影手段により対象物を撮影する撮影ステップと、前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップとを含む。
【0009】
これらの発明によれば、まず、空間上に複数の平面が定義される。続いて、第1及び第2の撮影手段により撮影された同一対象物の各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が画素毎に比較され、画素値が一致する、前記各画像上の点の集合が、前記空間上の物体として復元される。したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、空間上に定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。その結果、容易かつ精確に物体を復元することが可能となる。
【0010】
本発明に係る画像処理装置において好ましくは、前記対象物のエッジを検出する検出手段を更に備え、前記定義手段は、前記検出手段により検出された前記エッジを使用して複数の平面を定義する。
【0011】
本発明によれば、対象物のエッジが検出され、このエッジに基づいて複数の平面が定義される。すなわち、エッジが検出されることにより、対象物の端部が明確になり、平面を定義すべき範囲を精度良く認識することが可能となる。したがって、認識された範囲内で(対象物の端部を限界として)平面を定義することにより、撮影された対象物の画像が投影変換されることのない平面を定義するという無駄な処理を省略できる。その結果、物体の復元処理効率が向上される。
【0012】
【発明の実施の形態】
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
図1は、本実施の形態における物体復元装置1の機能的構成を示すブロック図である。図1に示す様に、物体復元装置1(画像処理装置に対応)は、撮像部11と、投影変換部13(投影変換手段に対応)と、平面定義部12(定義手段に対応)と、投影点比較部14(比較手段に対応)と、投票部15と、定義平面制御部16と、物体復元部17(復元手段に対応)とを備える。好適には、物体復元装置1はエッジ検出部18(検出手段に対応)を更に備える。これら各部は、各種信号の入出力が可能な様に電気的に接続されている。
【0013】
撮像部11は、同一の撮像対象物A(対象物に対応)を異なる視点から撮影可能な2台の平行ステレオカメラ11a,11b(第1及び第2の撮影手段に対応)により構成される。各カメラ11a,11bは、それぞれ画角及び画素数が等しく、撮像方向と垂直な方向の距離間隔は可変である。撮像部11は、各カメラ11a,11bにより撮影されたステレオ画像を投影変換部13に出力する。
【0014】
平面定義部12は、対象物Aの存在するXYZの三次元空間上に、X軸方向に所定の間隔を有するYZ平面を複数定義する。所定の間隔とは、撮像対象物Aのサイズや撮影された画像の縮尺などにより異なるが、物体復元処理の精度を向上する観点から、短い間隔であることが望ましい。同様に、平面定義部12は、XYZの三次元空間上に、Y,Z軸方向に所定の間隔を有するXZ,XY平面を複数定義する。
【0015】
投影変換部13は、撮像部11から入力された各ステレオ画像を、平面定義部12により定義されたYZ,XZ,XYのそれぞれの平面に投影変換する。投影変換の具体的手法については、動作説明において後述する。
【0016】
投影点比較部14は、各ステレオ画像からYZ,XZ,XYの各平面の略同位置に投影された全ての点(以下、「投影点」と記す。)の画素値を比較する。投影点比較部14は、平面定義部12により定義された全ての平面について、画素値の差が近似する投影点を検出する。
【0017】
投票部15は、投影点比較部14により検出された投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。
定義平面制御部16は、投影変換先の定義平面を層方向(例えば、定義平面がYZ平面の場合にはX軸方向)に移動する必要があるか否かを判定する。また、定義平面制御部16は、当該判定の結果に応じて、定義平面を層方向に所定距離分移動させる。
【0018】
物体復元部17は、投影点比較部14による比較の結果、画素値が一致する点の集合を三次元空間上の物体B(物体に対応)として復元する。
エッジ検出部18は、撮像部11により撮影された対象物Aの画像から、周知慣用の手法によりエッジを検出し、対象物Aの端部を特定する。
【0019】
次に、図2〜図7を参照して、本実施の形態における物体復元装置1の動作を説明する。併せて、本発明に係る画像処理方法の各ステップについて説明する。
まず図2のS1では、撮像部11は、ステレオカメラ11a,11bにより対象物Aを撮影する。その結果、2つのステレオ画像が取得される。
【0020】
続くS2では、平面定義部12は、XYZの三次元空間上に、X軸に垂直なYZ平面を定義する。
S3では、投影変換部13は、平面定義部12によりS2で定義されたYZ平面に、一方のステレオ画像(ステレオカメラ11aによる撮影画像)を平面投影ステレオ法により投影変換する。
【0021】
かかる投影変換処理は、周知慣用の座標系変換処理であるので、図示を含む詳細な説明は省略し、好適な処理例を以下簡略に説明する。すなわち、画像を平面に投影する際の座標系変換行列Hは、H=R+tnT/dにより表される。ここで、Rはステレオカメラ11a,11b間の回転行列であり、tはステレオカメラ11a,11b間における平行移動量、nはキャリブレーション平面の法線ベクトル、dは0からキャリブレーション平面までの距離である。
【0022】
平面投影ステレオ法による座標系変換は、変換前の座標をgとし、変換後の座標をg’とすると、変換式g’=Hgにより可能である。この座標系変換行列Hは、定義されたYZ平面上の4点以上の座標により算出可能である。ここで、定義されたYZ平面はX軸方向に移動することからRは無視できる。したがって、dを一定量毎に変化させることにより、定義されたYZ平面を移動させることができる。座標系変換は、YZ平面に限らず、XZ平面、XY平面に関しても同様に可能である。
【0023】
S4では、投影変換部13は、S3と同一の手法を用いて、平面定義部12によりS2で定義されたYZ平面に、他方のステレオ画像(ステレオカメラ11bによる撮影画像)を平面投影ステレオ法により投影変換する。
【0024】
S5では、投影点比較部14は、S3及びS4において各ステレオ画像からYZ平面の略同位置に投影された全ての投影点の画素値を比較する。ここで、略同位置の点には、座標が完全に同一の点のみならず、一方の点から所定の範囲内(例えば5画素以内)に投影された周辺の点を含む。また、画素値は例えば、輝度(明度)、彩度などである。
S5における比較の結果、S2で定義された平面に関して、画素値の差が一定値以下である投影点が検出される。
【0025】
S6では、投票部15は、検出されたこれらの投影点に対応する三次元空間上の全ての位置に、上記画素値を投票する。図3は、定義平面C上に検出された複数の投影点D1,D2,D3を、三次元空間E上に投票する様子を概念的に示す図である。図3に示す様に、三次元空間Eは、多数の立方体(以下、「ボクセル」と記す。)により構成される。投影点D1,D2,D3は、三次元空間E上において同一の座標を有するボクセルに投票される。
【0026】
S7では、定義平面制御部16は、現時点で投影変換先となっている定義平面を層方向(例えば、YZ平面の場合にはX軸方向,XZ平面の場合にはY軸方向,XY平面の場合にはZ軸方向)に移動する必要があるか否かを判定する。当該判定の結果、層方向への移動が必要であれば(S7;Y)、定義平面制御部16は、定義平面を層方向に所定距離分移動させる(S8)。
【0027】
図4は、定義されたYZ平面の例を示す図である。図4に示す様に、YZ平面は、Xの値を任意に設定することにより複数定義することが可能である。この様に、YZ平面は、投票点を増やして物体の復元精度を高める為に、物体復元装置1の処理負荷及び速度を勘案した範囲内で極力多数定義されることが望ましい。なお、YZ平面X1,X2の距離間隔d1と、YZ平面X2,X3の距離間隔d2とは、必ずしも同一である必要はない。また、d1,d2は、ボクセルの一辺とは独立に決定される。
移動後は、S3に戻り、移動した定義平面に関して、上述したS3〜S7の一連の処理が実行される。
【0028】
S7における判定の結果、層方向への移動が不要となった場合(S7;N)には、S9以降の処理に移行する。ここで、定義平面の移動の要否を判断する基準の好適な例について、図5を参照して説明する。図5は、検出されたエッジと接する様に定義されたYZ平面と対象物との位置関係を概念的に示す図である。図5において、エッジ検出部18により、対象物Hのエッジ(境界線)が検出され、端部G1,G2が特定されている。
【0029】
また、YZ平面X4,X5は、端部G1,G2に接する様に定義されている。換言すれば、対象物HのX軸方向の最長距離LとYZ平面X4,X5間の距離L’とは等しい。すなわち、YZ平面X4よりもX軸正方向には対象物Hは存在せず、YZ平面X5よりもX軸負方向には対象物Hは存在しない。したがって、YZ平面X4,X5をX軸方向の両端の定義平面(移動の限界)とすることにより、投影点の存在し得ない平面を定義することがない。これにより、必要最小限の定義平面を利用して、効率的な物体復元処理を実現できる。
なお、YZ平面について代表的に説明したが、XZ,XY平面に関しても同様の処理により同様の効果が得られる。
【0030】
S9では、定義平面制御部16は、現時点で投影変換先となっている定義平面を中心軸方向(例えば、YZ平面の場合にはZ軸を回転軸として,XZ平面の場合にはX軸を回転軸として)に回転する必要があるか否かを判定する。当該判定の結果、軸方向への回転が必要であれば、定義平面制御部16は、軸を中心に定義平面を所定角度(例えば90度)分回転させる(S10)。
回転後は、再びS3に戻り、回転された定義平面に関して、上述したS3〜S9の一連の処理が実行される。
【0031】
例えば、S10におけるZ軸への回転角度が90度(又は270度)、かつ、S8におけるY軸方向への移動距離がd3,d4である場合には、図6に示す様に、多層のXZ平面Y1,Y2,Y3が定義される。
なお、d3とd4とは必ずしも同一である必要はない。また、d3,d4は、ボクセルの一辺とは独立に決定される。
【0032】
同様に、S10におけるX軸への回転角度が90度(又は270度)、かつ、S8におけるZ軸方向への移動距離がd5,d6である場合には、図7に示す様に、多層のXY平面Z1,Z2,Z3が定義される。
なお、d5とd6とは必ずしも同一である必要はない。また、d5,d6は、ボクセルの一辺とは独立に決定される。
【0033】
図3に戻り、例えば各定義面の移動量eとボクセルの一辺長fとが等しい(e=f)場合には、定義平面を三軸方向に設定した結果、三次元空間Eを構成するボクセルへの投票は、1ボクセル当たり3回ずつ行われる。これら3回の投票によるボクセルの画素値は、投票元の空間内の同一の点から得られた画素値であるので、同一のボクセルに関しては同一の画素値が得られる筈である。このため、異なる画素値が得られた場合には、投票元の空間内の点はノイズとして検出される。
【0034】
同一のボクセルに関して、投票回数が4回以上の場合や2回以下の場合にも、投票元の空間内の点はノイズとして検出される。これにより、三次元空間Eの各ボクセルには、信頼度が所定値以上の点のみ投票されることになり、信頼性の高い投票点が復元物体Bを構成することになる。
【0035】
また、例えば、各定義平面の移動量eよりもボクセルの一辺長fを長くとった場合(e<f)には、同一の定義平面から得られた複数の画素値が1つのボクセルに投票されるので、ノイズの影響を低減できる。
S9における判定の結果、所定軸を中心とした回転が不要となった場合(S9;N)には、一連の物体復元処理に終了する。
【0036】
以上説明した様に、本発明は、対象物が存在する座標が定義平面上の略同位置に投影変換される点に鑑みて、平面投影ステレオ法を用いた平面領域の検出技術を三次元物体の復元に応用する。すなわち、本発明に係る物体復元装置1は、対象物Aの存在する三次元空間上にYZ,XZ,XYの平面が定義され、2台のステレオカメラ11a,11bにより撮影された対象物Aの各画像が、定義された複数の平面に投影変換される。そして、投影変換された各画像の画素値が比較され、画素値が一致する点の集合が、三次元空間E上の物体Bとして復元される。
【0037】
したがって、空間上に存在する物体の復元に際して、従来必要であった対応点の探索を行う必要がない。また、定義される平面の数や向きは任意であるので、定義平面を多く採ったり、定義平面の向きを物体の境界面と平行に採ることにより、物体の復元精度が向上する。例えば、物体復元装置1を、車両が自動駐車処理を実行する際の障害物検出に適用することにより、容易かつ精確に駐車経路を計画することができる。
【0038】
なお、本発明は、上述した実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲において、適宜変形態様を採ることも可能である。例えば、本実施の形態では、まず一つの平面を定義し、その平面に対して移動処理及び回転処理を繰り返し実行することにより、複数の平面から画素値を投票するものとした。しかし、所定の距離間隔及び向きを有する複数の平面を予め定義しておき、それぞれの平面から同時に画素値を投票するものとしてもよい。
【0039】
【発明の効果】
本発明によれば、容易かつ精確に物体を復元することが可能となる。
【図面の簡単な説明】
【図1】本発明に係る物体復元装置の機能的構成を示すブロック図である。
【図2】物体復元処理を説明する為のフローチャートである。
【図3】画素値が近似する投影点を三次元空間上に投票する様子を概念的に示す図である。
【図4】定義されるYZ平面の例を示す図である。
【図5】検出されたエッジに接する様に定義されたYZ平面と対象物との位置関係を概念的に示す図である。
【図6】定義されるXZ平面の例を示す図である。
【図7】定義されるXY平面の例を示す図である。
【符号の説明】
1…物体復元装置、11…撮像部、11a,11b…ステレオカメラ、12…平面定義部、13…投影変換部、14…投影点比較部、17…物体復元部、18…エッジ検出部、A…撮像対象物、B…復元物体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device and an image processing method.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a technique for measuring a three-dimensional position of an object using an image captured by a stereo camera has been proposed. For example, Japanese Patent Application Laid-Open No. 2000-293693 discloses the following obstacle detection method and apparatus. The method and the apparatus associate a single point in a three-dimensional space between images captured by a plurality of stereo cameras (search for a corresponding point) and measure a three-dimensional position using a well-known triangulation method. Is what you do.
[0003]
[Problems to be solved by the invention]
However, in order to realize such a measurement technique, various data such as the position of each stereo camera, the imaging direction, the focal length of the lens, and the relative position between the cameras, as well as the parameters of the relational expression using each data, are used. It must be calculated in advance. However, in order to execute a process of calculating a parameter (calibration), it is necessary to prepare a number of known points in a three-dimensional space, which requires a great deal of labor and time.
[0004]
In view of such difficulties, a planar projection stereo method capable of detecting an obstacle without performing complicated calibration has been proposed. Since the plane projection stereo method is a well-known and conventional position measurement technique, detailed description is omitted, but for points on a plane defined in a three-dimensional space, corresponding points are calculated using a predetermined conversion formula, and This is a technique for detecting an object that is not located on the plane based on the difference between pixel values of points.
[0005]
Thus, for example, when a road is defined as a plane, a set of points not located on the plane is detected as an obstacle.
However, even with such a method, it is necessary to search for a corresponding point. In addition, even though the object can be detected, the object existing in the three-dimensional space cannot be accurately restored.
[0006]
Therefore, an object of the present invention is to provide an image processing apparatus and an image processing method that can easily and accurately restore an object.
[0007]
[Means for Solving the Problems]
The present invention has the following features to solve the above problems.
An image processing apparatus according to the present invention includes first and second photographing means for photographing an object, definition means for defining a plurality of planes to which the image of the object is projected and converted, and first and second photographing means. Projection conversion means for projecting and transforming each image of the object photographed by the photographing means to a plurality of planes defined by the definition means; and a pixel value of each image projected and transformed by the projection transformation means for each pixel. And a restoring means for restoring a set of points whose pixel values match as a result of the comparison by the comparing means as an object in space.
[0008]
In the image processing method according to the present invention, the image processing apparatus may include a photographing step of photographing an object by first and second photographing means, and the image processing apparatus may include a plurality of images to be projected and converted to an image of the object. A definition step of defining a plane, and the image processing apparatus, a projection conversion step of projecting and converting each image of the object captured in the imaging step to a plurality of planes defined in the definition step, A comparison step in which the image processing device compares pixel values of each image projected and transformed in the projection transformation step for each pixel, and a result of the comparison in the comparison step, in which the pixel values match. Restoring a set of points as an object in space.
[0009]
According to these inventions, first, a plurality of planes are defined in the space. Subsequently, each image of the same object photographed by the first and second photographing means is projected and transformed into a plurality of defined planes. Then, the pixel values of the projected and transformed images are compared for each pixel, and a set of points on each of the images at which the pixel values match is restored as an object in the space. Therefore, when the object existing in the space is restored, it is not necessary to search for the corresponding point which has been conventionally required. Further, since the number and direction of the planes defined in the space are arbitrary, the restoration accuracy of the object is improved by taking many definition planes or taking the direction of the definition plane parallel to the boundary surface of the object. As a result, the object can be easily and accurately restored.
[0010]
Preferably, the image processing apparatus according to the present invention further includes a detecting unit that detects an edge of the object, and the defining unit defines a plurality of planes using the edge detected by the detecting unit.
[0011]
According to the present invention, an edge of an object is detected, and a plurality of planes are defined based on the edge. That is, by detecting the edge, the end of the object becomes clear, and the range in which the plane should be defined can be accurately recognized. Therefore, by defining a plane within the recognized range (with the end of the object as a limit), a wasteful process of defining a plane on which a captured image of the object is not projected and transformed is omitted. it can. As a result, the object restoration processing efficiency is improved.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a functional configuration of an
[0013]
The imaging unit 11 includes two
[0014]
The
[0015]
The
[0016]
The projection
[0017]
The
The definition
[0018]
The object restoring unit 17 restores a set of points whose pixel values match as a result of the comparison by the projection
The edge detection unit 18 detects an edge from the image of the object A captured by the imaging unit 11 by a well-known method, and specifies an end of the object A.
[0019]
Next, the operation of the
First, in S1 of FIG. 2, the imaging unit 11 captures an image of the object A using the
[0020]
In the following S2, the
In S3, the
[0021]
Since such projection conversion processing is a well-known and commonly used coordinate system conversion processing, detailed description including illustration is omitted, and a preferred processing example will be briefly described below. That is, the coordinate system transformation matrix H when projecting an image on a plane is represented by H = R + tn T / d. Here, R is a rotation matrix between the
[0022]
The coordinate system conversion by the plane projection stereo method can be performed by a conversion equation g ′ = Hg, where g is the coordinate before the conversion and g ′ is the coordinate after the conversion. This coordinate system conversion matrix H can be calculated from the coordinates of four or more points on the defined YZ plane. Here, R can be ignored since the defined YZ plane moves in the X-axis direction. Therefore, by changing d every fixed amount, the defined YZ plane can be moved. The coordinate system conversion is not limited to the YZ plane, but can be similarly performed on the XZ plane and the XY plane.
[0023]
In S4, the
[0024]
In S5, the projection
As a result of the comparison in S5, a projection point having a pixel value difference equal to or smaller than a certain value is detected with respect to the plane defined in S2.
[0025]
In S6, the
[0026]
In S7, the definition
[0027]
FIG. 4 is a diagram illustrating an example of the defined YZ plane. As shown in FIG. 4, a plurality of YZ planes can be defined by arbitrarily setting the value of X. As described above, it is desirable that as many YZ planes as possible are defined within a range in which the processing load and the speed of the
After the movement, the process returns to S3, and the above-described series of processing from S3 to S7 is performed on the moved definition plane.
[0028]
As a result of the determination in S7, when the movement in the layer direction becomes unnecessary (S7; N), the process proceeds to S9 and subsequent steps. Here, a preferred example of a criterion for determining whether or not the definition plane needs to be moved will be described with reference to FIG. FIG. 5 is a diagram conceptually showing a positional relationship between a target object and a YZ plane defined so as to be in contact with the detected edge. In FIG. 5, the edge (boundary line) of the object H is detected by the edge detection unit 18, and the ends G1 and G2 are specified.
[0029]
The YZ planes X4 and X5 are defined so as to be in contact with the ends G1 and G2. In other words, the longest distance L of the object H in the X-axis direction is equal to the distance L 'between the YZ planes X4 and X5. That is, the target object H does not exist in the positive X-axis direction than the YZ plane X4, and does not exist in the negative X-axis direction than the YZ plane X5. Therefore, by defining the YZ planes X4 and X5 as defining planes (movement limits) at both ends in the X-axis direction, there is no need to define a plane where a projection point cannot exist. As a result, an efficient object restoration process can be realized using the minimum necessary definition plane.
Although the YZ plane has been representatively described, the same effect can be obtained by performing the same processing on the XZ and XY planes.
[0030]
In S9, the definition
After the rotation, the process returns to S3 again, and the above-described series of processing of S3 to S9 is performed on the rotated definition plane.
[0031]
For example, when the rotation angle to the Z axis in S10 is 90 degrees (or 270 degrees) and the movement distance in the Y axis direction in S8 is d3, d4, as shown in FIG. Planes Y1, Y2, and Y3 are defined.
Note that d3 and d4 need not necessarily be the same. Further, d3 and d4 are determined independently of one side of the voxel.
[0032]
Similarly, when the rotation angle to the X axis in S10 is 90 degrees (or 270 degrees) and the movement distance in the Z axis direction in S8 is d5, d6, as shown in FIG. An XY plane Z1, Z2, Z3 is defined.
Note that d5 and d6 need not necessarily be the same. Further, d5 and d6 are determined independently of one side of the voxel.
[0033]
Returning to FIG. 3, for example, when the movement amount e of each definition plane is equal to the side length f of the voxel (e = f), the definition plane is set in the three-axis direction, and as a result, the voxels forming the three-dimensional space E are set. Voting is performed three times per voxel. The pixel values of the voxel by these three votes are pixel values obtained from the same point in the space of the voting source, and therefore, the same pixel value should be obtained for the same voxel. For this reason, when a different pixel value is obtained, a point in the voting source space is detected as noise.
[0034]
Regarding the same voxel, even when the number of votes is four or more or two or less, a point in the voting source space is detected as noise. As a result, only points whose reliability is equal to or more than a predetermined value are voted for each voxel in the three-dimensional space E, and the voting points having high reliability constitute the restored object B.
[0035]
Further, for example, when one side length f of a voxel is longer than the movement amount e of each definition plane (e <f), a plurality of pixel values obtained from the same definition plane are voted for one voxel. Therefore, the influence of noise can be reduced.
As a result of the determination in S9, when the rotation about the predetermined axis becomes unnecessary (S9; N), the series of object restoration processing ends.
[0036]
As described above, the present invention provides a technique for detecting a plane area using a plane projection stereo method in view of the point that coordinates at which an object is present are projected and converted to substantially the same position on a definition plane. Applied to the restoration of That is, the
[0037]
Therefore, when the object existing in the space is restored, it is not necessary to search for the corresponding point which has been conventionally required. Also, since the number and direction of the planes to be defined are arbitrary, the restoration accuracy of the object is improved by adopting many definition planes or by taking the direction of the definition plane parallel to the boundary surface of the object. For example, by applying the
[0038]
Note that the present invention is not limited to the above-described embodiment, and it is possible to appropriately adopt modified embodiments without departing from the gist of the present invention. For example, in the present embodiment, one plane is first defined, and the movement process and the rotation process are repeatedly performed on the plane, thereby voting the pixel values from a plurality of planes. However, a plurality of planes having a predetermined distance interval and direction may be defined in advance, and pixel values may be simultaneously voted from each plane.
[0039]
【The invention's effect】
According to the present invention, it is possible to easily and accurately restore an object.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an object restoration device according to the present invention.
FIG. 2 is a flowchart illustrating an object restoration process.
FIG. 3 is a diagram conceptually showing a state of voting a projection point having an approximate pixel value on a three-dimensional space.
FIG. 4 is a diagram illustrating an example of a defined YZ plane.
FIG. 5 is a diagram conceptually showing a positional relationship between a target object and a YZ plane defined so as to be in contact with a detected edge.
FIG. 6 is a diagram illustrating an example of a defined XZ plane.
FIG. 7 is a diagram illustrating an example of a defined XY plane.
[Explanation of symbols]
DESCRIPTION OF
Claims (3)
前記対象物の画像の投影変換先となる複数の平面を定義する定義手段と、
第1及び第2の撮影手段により撮影された対象物の各画像を、前記定義手段により定義された複数の平面に投影変換する投影変換手段と、
前記投影変換手段により投影変換された各画像の画素値を画素毎に比較する比較手段と、
前記比較手段による比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元手段と
を備えることを特徴とする画像処理装置。First and second photographing means for photographing an object;
Definition means for defining a plurality of planes to be the projection transformation destination of the image of the object,
Projecting conversion means for projecting and converting each image of the object photographed by the first and second photographing means to a plurality of planes defined by the defining means;
A comparison unit that compares pixel values of each image projected and converted by the projection conversion unit for each pixel,
An image processing apparatus comprising: a restoration unit that restores a set of points having the same pixel value as a result of the comparison by the comparison unit as an object in space.
前記定義手段は、前記検出手段により検出された前記エッジを使用して、複数の平面を定義することを特徴とする請求項1に記載の画像処理装置。Further comprising a detecting means for detecting an edge of the object,
The image processing apparatus according to claim 1, wherein the definition unit defines a plurality of planes using the edge detected by the detection unit.
前記画像処理装置が、前記対象物の画像の投影変換先となる複数の平面を定義する定義ステップと、
前記画像処理装置が、前記撮影ステップにて撮影された対象物の各画像を、前記定義ステップにて定義された複数の平面に投影変換する投影変換ステップと、
前記画像処理装置が、前記投影変換ステップにて投影変換された各画像の画素値を画素毎に比較する比較ステップと、
前記画像処理装置が、前記比較ステップにおける比較の結果、画素値が一致する点の集合を空間上の物体として復元する復元ステップと
を含むことを特徴とする画像処理方法。A photographing step in which the image processing device photographs an object by the first and second photographing means;
The image processing apparatus, a definition step of defining a plurality of planes to be a projection transformation destination of the image of the object,
A projection conversion step in which the image processing apparatus projects and converts each image of the target object shot in the shooting step to a plurality of planes defined in the definition step;
A comparison step in which the image processing device compares pixel values of each image projected and transformed in the projection transformation step for each pixel;
A restoring step of restoring, as a spatial object, a set of points whose pixel values match as a result of the comparison in the comparing step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002245584A JP2004086484A (en) | 2002-08-26 | 2002-08-26 | Image processor and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002245584A JP2004086484A (en) | 2002-08-26 | 2002-08-26 | Image processor and image processing method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004086484A true JP2004086484A (en) | 2004-03-18 |
Family
ID=32053738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002245584A Pending JP2004086484A (en) | 2002-08-26 | 2002-08-26 | Image processor and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004086484A (en) |
-
2002
- 2002-08-26 JP JP2002245584A patent/JP2004086484A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Micusik et al. | Estimation of omnidirectional camera model from epipolar geometry | |
US10484665B2 (en) | Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus | |
US9589326B2 (en) | Depth image processing apparatus and method based on camera pose conversion | |
JP4825980B2 (en) | Calibration method for fisheye camera. | |
JP3859574B2 (en) | 3D visual sensor | |
JP4814669B2 (en) | 3D coordinate acquisition device | |
US20180316905A1 (en) | Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus | |
JP2019024196A (en) | Camera parameter set calculating apparatus, camera parameter set calculating method, and program | |
JP5992184B2 (en) | Image data processing apparatus, image data processing method, and image data processing program | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
CN110070598B (en) | Mobile terminal for 3D scanning reconstruction and 3D scanning reconstruction method thereof | |
JP5455124B2 (en) | Camera posture parameter estimation device | |
JP4825971B2 (en) | Distance calculation device, distance calculation method, structure analysis device, and structure analysis method. | |
CN111754579B (en) | Method and device for determining external parameters of multi-view camera | |
CN110022444B (en) | Panoramic photographing method for unmanned aerial vehicle and unmanned aerial vehicle using panoramic photographing method | |
JP2008506953A5 (en) | ||
JPH08233556A (en) | Picked-up image processor and picked-up image processing method | |
JPH10221072A (en) | System and method for photogrammetry | |
CN111489288B (en) | Image splicing method and device | |
CN113538587A (en) | Camera coordinate transformation method, terminal and storage medium | |
CN113436267B (en) | Visual inertial navigation calibration method, device, computer equipment and storage medium | |
JP2018173882A (en) | Information processing device, method, and program | |
JP2007025863A (en) | Photographing system, photographing method, and image processing program | |
JP2002267441A (en) | Stereo matching apparatus and monitor | |
JP4006296B2 (en) | Displacement measuring method and displacement measuring apparatus by photogrammetry |