JP3870255B2

JP3870255B2 - ３次元復元方法及び装置

Info

Publication number: JP3870255B2
Application number: JP2002047591A
Authority: JP
Inventors: 良浩河井; 文明富田
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2002-02-25
Filing date: 2002-02-25
Publication date: 2007-01-17
Anticipated expiration: 2022-02-25
Also published as: JP2003248814A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像において、セグメントの連結性に基づく平面拘束から視差を修正し、３次元幾何形状を高精度に復元するための手法、及び装置に関する。
【０００２】
【従来の技術】
本出願人は、先に３次元幾何形状復元に有用なステレオ画像の輝度修正技術を提案した（特許第２９５８４６２号公報参照）。ステレオ画像からそのシーンに存在する３次元幾何形状を復元する手法は、撮影時のカメラの相対位置関係が既知である場合、画像間で各画素の対応を探索し、三角測量の原理によって３次元情報を復元するものである。３次元の情報を復元するためには、対応点間の視差から計算でき、例えば次のような手法が知られている。
【０００３】
（１）第１に、単純に視差のみから復元する手法である。エッジ検出時の誤差などで生じる視差の誤差が復元精度に大きく影響し、３次元的には大きながたつきが生じる。
【０００４】
（２）第２に、近傍点を利用して平滑化し、誤差を軽減する手法である。しかしながら、大きながたつきがなくなるわけではなく、本質的な解決にはならない。
【０００５】
（３）第３に、対応するセグメントそれぞれに最小二乗法などで直線や曲線を当てはめ、セグメントを構成する点群のがたつきをなくす手法である。この手法ではセグメント内の点群のぶれがなくなるが、セグメント個々についての改善であり、頂点部分の位置がずれてしまうため、隣接するセグメントとねじれの位置関係になる場合が多く、対応点の３次元位置の連続性が保証されない。
【０００６】
（４）第４に、このようなねじれの位置関係にはならないように、頂点間を連結する手法である。この手法ではエピポーラ条件を満足する、つまり、頂点における３次元位置の連続性は保証されるが、エッジ検出過程において頂点自身の位置検出の不安定さがある点や、中間部分の情報が生かされない点などの問題がある。
【０００７】
【発明が解決しようとする課題】
従来の３次元幾何形状を復元する手法では、高精度に復元することは困難であった。
本発明は、以上のような点を鑑み、上記のような３次元幾何形状の復元精度が良くない問題点に着目してなされたもので、セグメントの連結関係から平面拘束条件を求め、平面拘束条件を満たすように対応点を修正し、３次元幾何形状を高精度に復元することを目的としている。
【０００８】
【課題を解決するための手段】
本発明に係る３次元高精度復元方法は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める工程と、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める工程と、ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う工程と、前記対応関係に基づき、対応部分から対応点を計算する工程と、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める工程と、ステレオ画像において、平面拘束条件を満たすように対応点を修正する工程と、ステレオ画像において、対応点の関係から３次元形状を復元する工程と、３次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う工程を有するようにしたものである。
【０００９】
また、本発明に係る３次元高精度復元装置は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める手段と、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める手段と、ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う手段と、前記対応関係に基づき、対応部分から対応点を計算する手段と、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める手段と、ステレオ画像において、平面拘束条件を満たすように対応点を修正する手段と、ステレオ画像において、対応点の関係から３次元形状を復元する手段と、３次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う手段を備えたものである。
【００１０】
【発明の実施の形態】
以下、例示に基づき本発明を説明する。図１は３次元復元の工程を示す工程図である。本発明に係る３次元復元方法及び装置は、ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求め、前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求め、対応関係を求めやすくするため座標系の変換を行い、対応部分から対応点を計算し、前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求め、ステレオ画像において、平面拘束条件を満たすように対応点を修正し、対応点の関係から３次元形状を復元し、セグメントの属性に応じて直・曲線当てはめを行うものである。
【００１１】
以下、図２〜図９の各図とともにステレオ画像における３次元高精度復元過程について、順を追って説明する。
（１）エッジ検出（Ｓ１）
各画像で、輝度変化が大きい部分で、エッジを検出する。例えば、Ｓｏｂｅｌオペレータの積和を各点で計算し、非極大値を消去した後、閾値と比較した結果により延長の画像処理を施すことによって、エッジ部分を抽出する。ここで言うエッジは、画素点の集まり、つまり、点列である。
【００１２】
（２）セグメント抽出（Ｓ２）
検出されたエッジをその局所的形状により、分岐点、屈折点、変曲点、遷移点などの特徴点でセグメントに分割する。この特徴点間の点の集まりによって構成される線分をセグメントと呼ぶ。
【００１３】
（３）セグメント情報獲得（Ｓ３）
各セグメントは点の集まりである点列によって構成され、セグメントの形状、長さ、方向、輝度などの各セグメントが有する特徴量を計算する。
【００１４】
（４）標準カメラモデル座標系変換（Ｓ４）
ステレオ画像において、参照画像での対応計算を簡単にするため、あらかじめ計算しておいたカメラキャリブレーションデータから、撮影画像を図２に示すような標準ステレオカメラモデル系の画像に仮想的に変換する。標準ステレオカメラモデルは、基準・参照カメラの焦点中心をそれぞれＯL、ＯRとし、線分ＯLＯRに対して垂直方向の距離ｆ（焦点距離）に画像面が存在するとしたカメラモデルである。このモデルにおいて、観測点Ｐの基準・参照画像上での投影点はそれぞれＰL、ＰRとなる。つまり、基準画像上で観測された点ＰLに対応する参照画像上の点ＰRは、点ＯL、ＯR、Ｐ（ＰL）の３点で求まる平面と、参照画像面が交差する直線上に存在する。これをエピポーラ線と呼び、対応点探索は画像全体ではなく、このエピポーラ線上のみを探索すればよい。これをエピポーラ条件と呼ぶ。このモデルにおいては、エピポーラ条件は画像面上の点のＹ座標値が一定となり、この変換を行うことでステレオ画像における対応探索がしやすくなる。
【００１５】
これにより、セグメントに属する画像上の各点（cｏｌ，ｒｏｗ）は、
【数１】

で標準ステレオカメラ系の座標（Ｘ，Ｙ）に変換される。また、焦点距離ｆは、変換後の画像サイズが元の画像のサイズにほぼ同一になるように定める。以後、画像の座標に関しては、標準カメラモデル座標系の座標値に変換したものを扱う。例えば、図３のステレオ画像に対して、標準ステレオカメラモデル系に変換を施した画像は図４となる。この変換により、４角形の頂点は変換前の図３では基準・参照画像ではｒｏｗ値は一致していないが、変換後の図４では一致するようになる。
【００１６】
また、ステレオにおいては、エピポーラ線と平行なセグメントは対応関係が不定になりやすいため、ステップＳ２で求めたセグメントの構成する点列のＹ値から、水平セグメントと非水平セグメントに分割し、さらに非水平セグメントに対して、極大／極小点で再分割する。これらの処理により、非水平セグメントにおいては、構成する点列はＹ値について見ると単調増加（減少）が保証される。
【００１７】
（５）セグメント対応（Ｓ５）
ステップＳ４で求めたセグメントを対応単位として対応を求める。まず、エピポーラ条件を満たすセグメントを選択し、形状、方向、輝度などの特徴が類似しているセグメントを対応候補として求める。次に、求めた対応候補同志の連結性を調べ、連結性を基に、基準画像の境界線と類似したセグメントの集まりを参照画像中から求める処理を行い、その類似度を計算する。そして、求めた類似度を評価基準として、選ばれた対応候補の中から対応が重なり合わない、つまり、対応関係が一対一になる正しい対応を求める。
【００１８】
（６）対応点計算（Ｓ６）
次に、対応セグメント上の各点の対応点を求める。対応点はエピポーラ条件を満足するので、図２の標準カメラモデル座標系の基準・参照画像ではそれぞれ（ＸL，Ｙ），（ＸR，Ｙ）となる。ただし、実際の処理においてはセグメンテーションは原画像で行い、点の座標値のみを標準カメラモデル座標系に変換している。例えば、図３の原画像を図４のような標準カメラモデル座標系に基づく画像に変換すると、画像全体を変換するため処理時間がかかる点や、画像が平滑化されてしまう欠点がある。対象点の座標値のみの変換をすることで、これらの欠点を克服できる。しかしながら、点の座標値のみの変換のため、図５に示すように、基準画像のセグメントを構成する各白丸点○のＹ値は、参照画像のセグメント上の点のＹ値と通常は一致しない。ステップＳ４において、非水平セグメントにおけるＹ値は単調増加（減少）を保証するように分割しているので、Ｙを挟み込む連続する２つの黒丸点●（ＸR1，ＹR1），（ＸR2，ＹR2）を結んだ直線がＹとなる点×（ＸR，Ｙ）を計算し、この点を（ＸL，Ｙ）の対応点とする。水平セグメントに関してはＹは一定となるため、この処理は必要ない。図３の４角形の４辺部分の対応点間の標準カメラモデル座標系における視差は図６であり、対象が直線であるにもかかわらずがたつきがある。
【００１９】
（７）平面拘束条件計算（Ｓ７）
セグメント間の対応を求める方法は連結性に基づいた手法であるため、隣接セグメントとの連結性を容易に得ることができる。故に、対象セグメントと連結セグメントの組合わせで求まる平面に点列が存在する場合は、その平面上に投影することで、法線方向の誤差を軽減できる。対象セグメントと連結セグメントが平面上に存在するかどうかは、平面拘束定理「標準カメラモデルにおいて、平面上の任意の図形の一方のカメラ画像上の投影像と、他方のカメラの画像上の投影像とはアフィン変換可能である。」により調べることができる。この平面拘束により、対応点の補正が可能で、また、従来の手法において、連結すべきセグメントが３次元的にねじれの位置に復元される問題も解決できる。
【００２０】
図７に示すような、対応する基準、参照画像のセグメントＳLi，ＳRjに属する対応点（点数：ｎ）を（ＸLik，Ｙ），（ＸRjk，Ｙ）とし、それらが平面上に存在するならば、平面拘束定理から、
【数２】

というアフィン変換が成立する。各セグメントに対して、以下のアルゴリズムで連結するセグメントの情報を使用して平面拘束条件、つまり、アフィン変換行列Ａを計算する。
【００２１】
（ａ）対象セグメントの組（ＳLi，ＳRj）に対し、連結する前後のセグメントの組（ＳLi-1，ＳRj-1），（ＳLi+1，ＳRj+1）の存在を調べる。
【００２２】
（ｂ）対象セグメントと連結するセグメントが同一直線上に存在する場合は、それらを１つの対象セグメントの組（ＳLi’，ＳRj’）と見なして、（ａ）に戻り連結性を調べ直す。
【００２３】
（ｃ）選択したセグメントの組の対応点から、「数３」のεを最小にする行列Ａを求める。
【数３】

ただし、連結性がなく（ＳLi，ＳRj）だけの場合、それが曲線セグメントならば単独で平面を定義できるが、直線セグメントの場合はａ＝１として、視差をＹの１次関数で表現、つまり直線フィットを行う。
【００２４】
（ｄ）誤差Ｅを「数４」で定義した場合、Ｅがしきい値以下であれば、「数３」を満足するとしてステップＳ８の対応点修正に進む。それ以外は、そのセグメントの組合せでは平面が構成されないとし、連結するセグメントの組で、Ｅが大きくなる原因の組の方を除いて（ｃ）に戻る。対象セグメントの組だけになった場合はステップＳ８の対応点修正に進む。
【数４】

【００２５】
（８）対応点修正（Ｓ８）
ステップＳ７で平面拘束条件が成立するための行列Ａが求まったので、平面拘束条件を満たすように対応点修正を行う。具体的には、対象セグメントの参照画像の対応点のＸRを「数２」を利用してＸR’に変換する。
【数５】

【００２６】
（９）３次元復元（Ｓ９）
対象セグメントの（ＸL，Ｙ）と、補正した対応点（ＸR’，Ｙ）が求まるので、標準ステレオカメラモデルでの基線長をｂ、焦点距離をｆ、観測点の３次元座標値を（ｘ，ｙ，ｚ）とすると、この２点は
【数６】

と表すことができ、これを変形すると観測点は
【数７】

から計算できる。これにより求めた点列は平面拘束からセグメントの組合わせによって決まる平面上に投影されるので、その法線方向に対する誤差が軽減される。
【００２７】
次に、平面上での誤差を軽減する処理を行う。対象が直線セグメントの場合は、各画像で共にエピポーラ線に平行でない（Ｙ≠一定）直線に投影されているならば、３次元的にも直線であることから、その平面上に投影された点列に対して直線を当てはめ、３次元空間において直線になるように変換を行う。曲線においても同様に平面上で曲線フィットを行う。
【００２８】
図８は図２の図形に対し、ステップ６で求めた対応点の座標値を「数６」に適用して得られた３次元形状復元結果を左斜め上方の視点から観測した結果であり、図６の視差グラフで示したように、３次元的な、特に奥行き方向に、がたつきが見られる。一方、本発明を適用した結果を同視点から観測したものが図９である。連結性を考慮して平面拘束した直線当てはめになるため、隣接するセグメントとはねじれの位置関係になることなく、より高精度に４角形が復元されている。
【００２９】
【発明の効果】
以上のように、本発明によれば、ステレオ画像において、セグメントの連結性に基づく平面拘束から視差を修正することができ、３次元幾何形状を高精度に復元できるという効果があり、産業用視覚システムやロボットに視覚を与えるために利用することができる。
【図面の簡単な説明】
【図１】本発明に係る３次元復元を示す工程図である。
【図２】標準ステレオカメラモデルを示す図である。
【図３】原画像を示す図である。
【図４】標準ステレオカメラモデル系に変換を施した画像を示す図である。
【図５】対応点を示す図である。
【図６】対応点間の視差を示す図である。
【図７】連結する前後のセグメントの組を示す図である。
【図８】対応点間の視差から３次元幾何形状復元した結果を示す図である。
【図９】本発明の手法を適用し、３次元幾何形状復元した結果を示す図である。

Claims

ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める工程と、
前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める工程と、
ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う工程と、
前記対応関係に基づき、対応部分から対応点を計算する工程と、
前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める工程と、
ステレオ画像において、平面拘束条件を満たすように対応点を修正する工程と、
ステレオ画像において、対応点の関係から３次元形状を復元する工程と、
３次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う工程と、
を備えた３次元復元方法。
前記セグメントの連結関係から平面拘束条件を求める工程は、対象セグメントと連結するセグメントで平面拘束定理を満たす変換が成立するものを選択し、平面拘束条件を求めることから成る請求項１に記載の３次元復元方法。
前記平面拘束条件を満たすように対応点を修正する工程は、平面拘束条件が成立する対応点変換を用いて参照画像の対応点を変換することから成る請求項１又は請求項２に記載の３次元復元方法。
前記セグメントの属性に応じて直・曲線当てはめを行う工程は、平面拘束条件を満たすように変換した後の結果に対し、平面上での誤差を軽減するために対象となるセグメントの属性に応じて直・曲線当てはめ処理を行うことから成る請求項１〜請求項３のいずれかに記載の３次元復元方法。
ステレオ画像において、エッジを検出して局所的形状によりセグメントに分割し、セグメントの特徴量を求める手段と、
前記特徴量に基づき、セグメントを対応単位とするステレオ対応探索処理によりステレオ画像間の対応関係を求める手段と、
ステレオ画像において、対応関係を求めやすくするため座標系の変換を行う手段と、
前記対応関係に基づき、対応部分から対応点を計算する手段と、
前記対応関係に基づき、セグメントの連結関係から平面拘束条件を求める手段と、
ステレオ画像において、平面拘束条件を満たすように対応点を修正する手段と、
ステレオ画像において、対応点の関係から３次元形状を復元する手段と、
３次元形状を復元するに際し、セグメントの属性に応じて直・曲線当てはめを行う手段と、を備えた３次元復元装置。