JP3870255B2 - 3次元復元方法及び装置 - Google Patents
3次元復元方法及び装置 Download PDFInfo
- Publication number
- JP3870255B2 JP3870255B2 JP2002047591A JP2002047591A JP3870255B2 JP 3870255 B2 JP3870255 B2 JP 3870255B2 JP 2002047591 A JP2002047591 A JP 2002047591A JP 2002047591 A JP2002047591 A JP 2002047591A JP 3870255 B2 JP3870255 B2 JP 3870255B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- correspondence
- constraint condition
- relationship
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、ステレオ画像において、セグメントの連結性に基づく平面拘束から視差を修正し、3次元幾何形状を高精度に復元するための手法、及び装置に関する。
【0002】
【従来の技術】
本出願人は、先に3次元幾何形状復元に有用なステレオ画像の輝度修正技術を提案した(特許第2958462号公報参照)。ステレオ画像からそのシーンに存在する3次元幾何形状を復元する手法は、撮影時のカメラの相対位置関係が既知である場合、画像間で各画素の対応を探索し、三角測量の原理によって3次元情報を復元するものである。3次元の情報を復元するためには、対応点間の視差から計算でき、例えば次のような手法が知られている。
【0003】
(1)第1に、単純に視差のみから復元する手法である。エッジ検出時の誤差などで生じる視差の誤差が復元精度に大きく影響し、3次元的には大きながたつきが生じる。
【0004】
(2)第2に、近傍点を利用して平滑化し、誤差を軽減する手法である。しかしながら、大きながたつきがなくなるわけではなく、本質的な解決にはならない。
【0005】
(3)第3に、対応するセグメントそれぞれに最小二乗法などで直線や曲線を当てはめ、セグメントを構成する点群のがたつきをなくす手法である。この手法ではセグメント内の点群のぶれがなくなるが、セグメント個々についての改善であり、頂点部分の位置がずれてしまうため、隣接するセグメントとねじれの位置関係になる場合が多く、対応点の3次元位置の連続性が保証されない。
【0006】
(4)第4に、このようなねじれの位置関係にはならないように、頂点間を連結する手法である。この手法ではエピポーラ条件を満足する、つまり、頂点における3次元位置の連続性は保証されるが、エッジ検出過程において頂点自身の位置検出の不安定さがある点や、中間部分の情報が生かされない点などの問題がある。
【0007】
【発明が解決しようとする課題】
従来の3次元幾何形状を復元する手法では、高精度に復元することは困難であった。
本発明は、以上のような点を鑑み、上記のような3次元幾何形状の復元精度が良くない問題点に着目してなされたもので、セグメントの連結関係から平面拘束条件を求め、平面拘束条件を満たすように対応点を修正し、3次元幾何形状を高精度に復元することを目的としている。
【0008】
【課題を解決するための手段】
本発明に係る3次元高精度復元方法は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める工程と、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める工程と、ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う工程と、前記対応関係に基づき、対応部分から対応点を計算する工程と、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める工程と、ステレオ画像において、平面拘束条件を満たすように対応点を修正する工程と、ステレオ画像において、対応点の関係から3次元形状を復元する工程と、3次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う工程を有するようにしたものである。
【0009】
また、本発明に係る3次元高精度復元装置は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める手段と、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める手段と、ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う手段と、前記対応関係に基づき、対応部分から対応点を計算する手段と、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める手段と、ステレオ画像において、平面拘束条件を満たすように対応点を修正する手段と、ステレオ画像において、対応点の関係から3次元形状を復元する手段と、3次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う手段を備えたものである。
【0010】
【発明の実施の形態】
以下、例示に基づき本発明を説明する。図1は3次元復元の工程を示す工程図である。本発明に係る3次元復元方法及び装置は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求め、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求め、対応関係を求めやすくするため座標系の変換を行い、対応部分から対応点を計算し、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求め、ステレオ画像において、平面拘束条件を満たすように対応点を修正し、対応点の関係から3次元形状を復元し、セグメントの属性に応じて直・曲線当てはめを行うものである。
【0011】
以下、図2〜図9の各図とともにステレオ画像における3次元高精度復元過程について、順を追って説明する。
(1)エッジ検出(S1)
各画像で、輝度変化が大きい部分で、エッジを検出する。例えば、Sobelオペレータの積和を各点で計算し、非極大値を消去した後、閾値と比較した結果により延長の画像処理を施すことによって、エッジ部分を抽出する。ここで言うエッジは、画素点の集まり、つまり、点列である。
【0012】
(2)セグメント抽出(S2)
検出されたエッジをその局所的形状により、分岐点、屈折点、変曲点、遷移点などの特徴点でセグメントに分割する。この特徴点間の点の集まりによって構成される線分をセグメントと呼ぶ。
【0013】
(3)セグメント情報獲得(S3)
各セグメントは点の集まりである点列によって構成され、セグメントの形状、長さ、方向、輝度などの各セグメントが有する特徴量を計算する。
【0014】
(4)標準カメラモデル座標系変換(S4)
ステレオ画像において、参照画像での対応計算を簡単にするため、あらかじめ計算しておいたカメラキャリブレーションデータから、撮影画像を図2に示すような標準ステレオカメラモデル系の画像に仮想的に変換する。標準ステレオカメラモデルは、基準・参照カメラの焦点中心をそれぞれOL、ORとし、線分OLORに対して垂直方向の距離f(焦点距離)に画像面が存在するとしたカメラモデルである。このモデルにおいて、観測点Pの基準・参照画像上での投影点はそれぞれPL、PRとなる。つまり、基準画像上で観測された点PLに対応する参照画像上の点PRは、点OL、OR、P(PL)の3点で求まる平面と、参照画像面が交差する直線上に存在する。これをエピポーラ線と呼び、対応点探索は画像全体ではなく、このエピポーラ線上のみを探索すればよい。これをエピポーラ条件と呼ぶ。このモデルにおいては、エピポーラ条件は画像面上の点のY座標値が一定となり、この変換を行うことでステレオ画像における対応探索がしやすくなる。
【0015】
これにより、セグメントに属する画像上の各点(col,row)は、
【数1】
で標準ステレオカメラ系の座標(X,Y)に変換される。また、焦点距離fは、変換後の画像サイズが元の画像のサイズにほぼ同一になるように定める。以後、画像の座標に関しては、標準カメラモデル座標系の座標値に変換したものを扱う。例えば、図3のステレオ画像に対して、標準ステレオカメラモデル系に変換を施した画像は図4となる。この変換により、4角形の頂点は変換前の図3では基準・参照画像ではrow値は一致していないが、変換後の図4では一致するようになる。
【0016】
また、ステレオにおいては、エピポーラ線と平行なセグメントは対応関係が不定になりやすいため、ステップS2で求めたセグメントの構成する点列のY値から、水平セグメントと非水平セグメントに分割し、さらに非水平セグメントに対して、極大/極小点で再分割する。これらの処理により、非水平セグメントにおいては、構成する点列はY値について見ると単調増加(減少)が保証される。
【0017】
(5)セグメント対応(S5)
ステップS4で求めたセグメントを対応単位として対応を求める。まず、エピポーラ条件を満たすセグメントを選択し、形状、方向、輝度などの特徴が類似しているセグメントを対応候補として求める。次に、求めた対応候補同志の連結性を調べ、連結性を基に、基準画像の境界線と類似したセグメントの集まりを参照画像中から求める処理を行い、その類似度を計算する。そして、求めた類似度を評価基準として、選ばれた対応候補の中から対応が重なり合わない、つまり、対応関係が一対一になる正しい対応を求める。
【0018】
(6)対応点計算(S6)
次に、対応セグメント上の各点の対応点を求める。対応点はエピポーラ条件を満足するので、図2の標準カメラモデル座標系の基準・参照画像ではそれぞれ(XL,Y),(XR,Y)となる。ただし、実際の処理においてはセグメンテーションは原画像で行い、点の座標値のみを標準カメラモデル座標系に変換している。例えば、図3の原画像を図4のような標準カメラモデル座標系に基づく画像に変換すると、画像全体を変換するため処理時間がかかる点や、画像が平滑化されてしまう欠点がある。対象点の座標値のみの変換をすることで、これらの欠点を克服できる。しかしながら、点の座標値のみの変換のため、図5に示すように、基準画像のセグメントを構成する各白丸点○のY値は、参照画像のセグメント上の点のY値と通常は一致しない。ステップS4において、非水平セグメントにおけるY値は単調増加(減少)を保証するように分割しているので、Y を挟み込む連続する2つの黒丸点●(XR1,YR1),(XR2,YR2)を結んだ直線がYとなる点×(XR,Y)を計算し、この点を(XL,Y)の対応点とする。水平セグメントに関してはYは一定となるため、この処理は必要ない。図3の4角形の4辺部分の対応点間の標準カメラモデル座標系における視差は図6であり、対象が直線であるにもかかわらずがたつきがある。
【0019】
(7)平面拘束条件計算(S7)
セグメント間の対応を求める方法は連結性に基づいた手法であるため、隣接セグメントとの連結性を容易に得ることができる。故に、対象セグメントと連結セグメントの組合わせで求まる平面に点列が存在する場合は、その平面上に投影することで、法線方向の誤差を軽減できる。対象セグメントと連結セグメントが平面上に存在するかどうかは、平面拘束定理「標準カメラモデルにおいて、平面上の任意の図形の一方のカメラ画像上の投影像と、他方のカメラの画像上の投影像とはアフィン変換可能である。」により調べることができる。この平面拘束により、対応点の補正が可能で、また、従来の手法において、連結すべきセグメントが3次元的にねじれの位置に復元される問題も解決できる。
【0020】
図7に示すような、対応する基準、参照画像のセグメントSLi,SRjに属する対応点(点数:n)を(XLik,Y),(XRjk,Y)とし、それらが平面上に存在するならば、平面拘束定理から、
【数2】
というアフィン変換が成立する。各セグメントに対して、以下のアルゴリズムで連結するセグメントの情報を使用して平面拘束条件、つまり、アフィン変換行列Aを計算する。
【0021】
(a)対象セグメントの組(SLi,SRj)に対し、連結する前後のセグメントの組(SLi-1,SRj-1),(SLi+1,SRj+1)の存在を調べる。
【0022】
(b)対象セグメントと連結するセグメントが同一直線上に存在する場合は、それらを1つの対象セグメントの組(SLi’,SRj’)と見なして、(a)に戻り連結性を調べ直す。
【0023】
(c)選択したセグメントの組の対応点から、「数3」のεを最小にする行列Aを求める。
【数3】
ただし、連結性がなく(SLi,SRj)だけの場合、それが曲線セグメントならば単独で平面を定義できるが、直線セグメントの場合はa=1として、視差をYの1次関数で表現、つまり直線フィットを行う。
【0024】
(d)誤差Eを「数4」で定義した場合、Eがしきい値以下であれば、「数3」を満足するとしてステップS8の対応点修正に進む。それ以外は、そのセグメントの組合せでは平面が構成されないとし、連結するセグメントの組で、Eが大きくなる原因の組の方を除いて(c)に戻る。対象セグメントの組だけになった場合はステップS8の対応点修正に進む。
【数4】
【0025】
(8)対応点修正(S8)
ステップS7で平面拘束条件が成立するための行列Aが求まったので、平面拘束条件を満たすように対応点修正を行う。具体的には、対象セグメントの参照画像の対応点のXRを「数2」を利用してXR’に変換する。
【数5】
【0026】
(9)3次元復元(S9)
対象セグメントの(XL,Y)と、補正した対応点(XR’,Y)が求まるので、標準ステレオカメラモデルでの基線長をb、焦点距離をf、観測点の3次元座標値を(x,y,z)とすると、この2点は
【数6】
と表すことができ、これを変形すると観測点は
【数7】
から計算できる。これにより求めた点列は平面拘束からセグメントの組合わせによって決まる平面上に投影されるので、その法線方向に対する誤差が軽減される。
【0027】
次に、平面上での誤差を軽減する処理を行う。対象が直線セグメントの場合は、各画像で共にエピポーラ線に平行でない(Y≠一定)直線に投影されているならば、3次元的にも直線であることから、その平面上に投影された点列に対して直線を当てはめ、3次元空間において直線になるように変換を行う。曲線においても同様に平面上で曲線フィットを行う。
【0028】
図8は図2の図形に対し、ステップ6で求めた対応点の座標値を「数6」に適用して得られた3次元形状復元結果を左斜め上方の視点から観測した結果であり、図6の視差グラフで示したように、3次元的な、特に奥行き方向に、がたつきが見られる。一方、本発明を適用した結果を同視点から観測したものが図9である。連結性を考慮して平面拘束した直線当てはめになるため、隣接するセグメントとはねじれの位置関係になることなく、より高精度に4角形が復元されている。
【0029】
【発明の効果】
以上のように、本発明によれば、ステレオ画像において、セグメントの連結性に基づく平面拘束から視差を修正することができ、3次元幾何形状を高精度に復元できるという効果があり、産業用視覚システムやロボットに視覚を与えるために利用することができる。
【図面の簡単な説明】
【図1】本発明に係る3次元復元を示す工程図である。
【図2】標準ステレオカメラモデルを示す図である。
【図3】原画像を示す図である。
【図4】標準ステレオカメラモデル系に変換を施した画像を示す図である。
【図5】対応点を示す図である。
【図6】対応点間の視差を示す図である。
【図7】連結する前後のセグメントの組を示す図である。
【図8】対応点間の視差から3次元幾何形状復元した結果を示す図である。
【図9】本発明の手法を適用し、3次元幾何形状復元した結果を示す図である。
Claims (5)
- ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める工程と、
前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める工程と、
ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う工程と、
前記対応関係に基づき、対応部分から対応点を計算する工程と、
前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める工程と、
ステレオ画像において、平面拘束条件を満たすように対応点を修正する工程と、
ステレオ画像において、対応点の関係から3次元形状を復元する工程と、
3次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う工程と、
を備えた3次元復元方法。 - 前記セグメントの連結関係から平面拘束条件を求める工程は、対象セグメントと連結するセグメントで平面拘束定理を満たす変換が成立するものを選択し、平面拘束条件を求めることから成る請求項1に記載の3次元復元方法。
- 前記平面拘束条件を満たすように対応点を修正する工程は、平面拘束条件が成立する対応点変換を用いて参照画像の対応点を変換することから成る請求項1又は請求項2に記載の3次元復元方法。
- 前記セグメントの属性に応じて直・曲線当てはめを行う工程は、平面拘束条件を満たすように変換した後の結果に対し、平面上での誤差を軽減するために対象となるセグメントの属性に応じて直・曲線当てはめ処理を行うことから成る請求項1〜請求項3のいずれかに記載の3次元復元方法。
- ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める手段と、
前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める手段と、
ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う手段と、
前記対応関係に基づき、対応部分から対応点を計算する手段と、
前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める手段と、
ステレオ画像において、平面拘束条件を満たすように対応点を修正する手段と、
ステレオ画像において、対応点の関係から3次元形状を復元する手段と、
3次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う手段と、を備えた3次元復元装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002047591A JP3870255B2 (ja) | 2002-02-25 | 2002-02-25 | 3次元復元方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002047591A JP3870255B2 (ja) | 2002-02-25 | 2002-02-25 | 3次元復元方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003248814A JP2003248814A (ja) | 2003-09-05 |
JP3870255B2 true JP3870255B2 (ja) | 2007-01-17 |
Family
ID=28660609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002047591A Expired - Lifetime JP3870255B2 (ja) | 2002-02-25 | 2002-02-25 | 3次元復元方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3870255B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100899422B1 (ko) | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
JP6080407B2 (ja) | 2012-07-03 | 2017-02-15 | キヤノン株式会社 | 3次元計測装置及びロボット装置 |
JP2024089707A (ja) * | 2022-12-22 | 2024-07-04 | 株式会社Jvcケンウッド | 三次元情報補正装置及び三次元情報補正方法 |
-
2002
- 2002-02-25 JP JP2002047591A patent/JP3870255B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003248814A (ja) | 2003-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105374019B (zh) | 一种多深度图融合方法及装置 | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
US10469828B2 (en) | Three-dimensional dense structure from motion with stereo vision | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
US6438507B1 (en) | Data processing method and processing device | |
JP3347508B2 (ja) | 撮像画像処理装置および撮像画像処理方法 | |
US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
JP4095491B2 (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
EP2751521B1 (en) | Method and system for alignment of a pattern on a spatial coded slide image | |
US9025862B2 (en) | Range image pixel matching method | |
JP2005308553A (ja) | 三次元画像計測装置及び方法 | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
CN111123242B (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
US10192141B2 (en) | Determining scale of three dimensional information | |
JP2019016308A (ja) | 物体検出装置及び方法 | |
JP3668769B2 (ja) | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
CN112767481A (zh) | 一种基于视觉边缘特征的高精度定位及建图方法 | |
JP3870255B2 (ja) | 3次元復元方法及び装置 | |
JP7230722B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
JP2008224323A (ja) | ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060601 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3870255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |