JP4424797B2

JP4424797B2 - 3D shape detection method

Info

Publication number: JP4424797B2
Application number: JP33571599A
Authority: JP
Inventors: 収文中山; 守人塩原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-11-26
Filing date: 1999-11-26
Publication date: 2010-03-03
Anticipated expiration: 2019-11-26
Also published as: JP2001153633A

Description

【０００１】
【発明の属する技術分野】
本発明は、立体映像通信や、立体映像放送、立体画像生成、３次元形状計測、３次元物体認識、移動ロボット用ナビゲーションなど、ステレオ画像に基づく３次元情報の抽出を行なう広範囲の産業分野で利用することができる、両眼視差を用いて立体の３次元位置や形状を安定に検出する立体形状検出方法に関する。
【０００２】
【従来の技術】
従来より、２つあるいは３つ以上の撮像手段により得た２つあるいは３つ以上の画像による両眼視差を利用して立体の形状を検出する方法が各種提案されている。この種の立体形状検出方法の原理を、最も基本となる２つの撮像手段による場合について図１４を用いて説明する。
テレビカメラのような一対の撮像手段（以下カメラという）１−１，１−２の撮像面Ｉ１、Ｉ２に対してレンズＬ１、Ｌ２を通じて物体上の同一点Ｐが投影されている。ここで、撮像面Ｉ１、Ｉ２は互いに同一平面上に配置され、各撮像面から対応するレンズ間での焦点距離ｆは等しく、さらにカメラ１−１，１−２の光軸は互いに平行でｂだけ離れて設置してあるとする。
【０００３】
もし、一対の撮像手段１−１，１−２が任意の配置となっていても、カメラ間の幾何関係をあらかじめ測定しておくことで、撮像された画像を上記状態で得られた画像に変換することは可能である。したがって、上記状態を基準に話を進める。このとき、物体上の点Ｐは撮像された画像ではそれぞれｐ1 （ｐ1x，ｐ1y）、ｐ2 （ｐ2x，ｐ2y）の位置で観測される。ここで、両画像で対応する点の画像上での位置のずれを視差ｄとよぶ。ここでは、ｄ＝ｐ2x−ｐ1xとなる。
一方のカメラ（ここではカメラ１−１とする) から見た時の物体点ｐの３次元座標（Ｘ１，Ｙ１，Ｚ１）は以下の式(1a)〜(1c)のように表される。
【０００４】
Ｚ１＝ｆ・（ｂ／ｄ） …(1a)
Ｘ１＝ｐ1x・（ｂ／ｄ）…(1b)
Ｙ１＝ｐ1y・（ｂ／ｄ）…(1c)
【０００５】
ここで、Ｚ１はカメラ１−１からの距離、ｆはカメラの焦点距離、ｂは両カメラ間距離、ｄは視差、Ｘ１はカメラ１−１からの３次元Ｘ座標、ｐ1xは画像中心からのＸ座標、Ｙ１はカメラ１−１からの３次元ｙ座標, ｐ1yは画像中心からのＹ座標である。
このように、３次元情景中の任意の点に対する両画像での投影点を定めれば、投影点の画像での座標値と視差値が求められるので、上式(1a)〜(1c)により３次元位置を求めることができる。これが両眼視による３次元位置算出の原理である。なお、３つ以上の撮像手段を用いた場合でも、任意の２つの撮像手段を考えれば、上記と同じとなる。
【０００６】
上記原理より明らかなように、視差を用いて３次元位置を求めるためには、両画像で対応する同一物体の投影点を求めることが必要である。これを「対応探索問題」と呼ぶ。
以下、「対応探索問題」についてさらに詳しく説明する。
いま、一対の撮像手段により得られたステレオ画像を考える。一方の画像( ここでは左画像とする) のある点ｐ1 に着目する。このとき、他方画像（ここでは右画像とする) でのｐ1 に対応する点ｐ2 は、２つのカメラの位置関係より決定されるエピポーラ線と呼ばれる拘束線上に位置する。
【０００７】
ここでは２つのカメラの光軸は互いに平行と等価な場合に画像変換を行なうので、エピポーラ線は同一走査線( 同一ｙ座標) で、かつ、ｐ2 はｐ1 を他方画像へ写した位置より左方に位置する。したがって、対応点探索には左画像の各位贋（ｐ1 ）に対して、右画像での同一走査線上を、ｐ1 のｘ座標より左方に向けてある探索範囲Ｒだけ走査しながら最も類似した箇所を定めることで対応する組みが得られる。このとき、点のみで類似度を定めるのは困難なため、点を含む一定の範囲の情報を利用して類似度を求める。
一般には、探索範囲には複数の対応候補が存在するので、真の対応箇所を定めることは容易ではなく、いかに正しく対応箇所を得るかが両眼視差を用いる３次元距離計測の要点である。
【０００８】
これまで提案された代表的な方式としては以下のものに大別できる。
(1) 画像の各位置で独立に対応を求める方法。
(2) 画像の各位置で周囲の一定範囲あるいは画像全体での何らかの支持を元に対応を求める方法。
上記(1) の代表的なものとしては、一方の画像を一定の大きさを持つ小領域に区切り各小領域に対して、あるいは一方の画像の各画素に対して、あるいは一方の画像の特徴点に対して、他方画像を走査して小領域内の輝度分布の類似性を、正規化相関、輝度差の絶対値和（ＳＡＤ）、輝度値の差の２乗和（ＳＳＤ）などで評価して最も類似した部分と対応を付けるものがある。
【０００９】
上記(2) では以下のものなどがある。
(a) 近傍の距離変化は小さいとして視差変化の大きさに制限を設ける方法。
(b) 局所的な領域で求めた対応度合（対応エネルギー）と隣り合う領域の視差の違いで定義される歪みエネルギーの画像全体の総和を弛緩的に最小化することで全体で最も良い対応を得るエネルギー最小化法。
(c) 対応付ける特徴量の信頼性に着目して高信頼なエッジ点から順に対応を求めていき、より信頼性が低いエッジ点の対応に既に求まったより信頼性の高いエッジ点の対応情報を利用するもの。
【００１０】
ここでは、(c) 特徴の信頼性に基づく方法（山口・中山・白井・浅田「信頼性の高い対応を優先した多段階ステレオ法」電子情報通信学会論文誌、Vo1,J74-D-II、No.7,1991 ）について説明する。
これによれば、輝度値の急変する部分（エッジ点) を対応付ける特徴点とするとき、次の２つの特長を持つ。
i)エッジ点の位置情報は輝度変化（コントラスト）が大きいほど確かで逆に低いほど不安定なる。
ii) 画像においてコントラストが大きいエッジ点の個数は少ないので対応候補が少なく容易に対応付けられる。
これら特長に着目し、あらかじめエッジをコントラスト値の大きさで複数のグループに分類しておき、まず、最もコントラストの高いグループに属す信頼が高く容易に対応付けられるエッジ点の対応を求め、順によりコントラストの低いグループのエッジ点を対応付ける。
【００１１】
【発明が解決しようとする課題】
まず、前記(1) の画像の各位置で独立に対応を求める方法では、画像の各位置で独立に対応を求めている。しかし、独立に対応付けたのでは、対象情景中に類似した形状の立体が複数あったり繰り返し模様を含む物体があると、真に対応する部分と偽の対応の部分との類似度の違いはわずかであるため、画像のノイズや照明の影響により容易に誤った部分と対応してしまう。実際には物体のない位置の距離を示すことがある。
次に、前記(2) の周囲の何らかの支持を元に対応を求める方法の問題について述べる。
【００１２】
まず、前記(a) の方法では、着目部分の対応を独立に求めるのではなく、近接領域との視差変化の大きさに制限を設けて周囲の対応状況を反映させることで安定した対応を得ている。
しかし、画像中に設けた着目部分をあらかじめ決められた順序で走査して、対応付けの難易度に無関係に処理するものがほとんどであり、繰り返しパターンがあるなど対応付けが困難な部分を先に対応付けてしまい、もしその部分が誤対応となれば、その影響が後段に伝わり、結果として広い範囲で誤った対応を生じる。
【００１３】
次に前記(b) の方法では、エネルギー最小化により画像の部分でなく全体の対応の一貫性を考えることで、矛盾のない対応を得ているが、一般にエネルギー最小化には多くの繰り返し演算が必要であり実用的でない。
また前記(c) の方法では、グループ分けはコントラストの大きさにより分けているが、同一コントラスト群に属すエッジ点については、従来の固定的な順序で対応を求めているので、繰り返しパターンでの順序性による誤対応伝播の問題がある。
しかも、高コントラストのエッジの対応に誤りを生じると、その情報が後段のよりコントラストの低いエッジ点への対応付けに利用され、結果として誤った情報が広範囲に伝播して誤対応が増加する。さらに、対応付けの初期段階では高コントラストの少量のエッジ点しか用いないので、視差のヒストグラムに投票するエッジ点の個数が少なくヒストグラム形状が不安定となり、繰り返しパターンにより弱くなるという問題もある。
【００１４】
本発明は上記した事情を考慮してなされたものであって、従来では対応付けが困難であった繰り返しパターン部の対応を安定に得ることができ、画像全体から正しい対応を得ることができる立体形状検出方法を提供することである。
【００１５】
【課題を解決するための手段】
立体の３次元情報獲得する方法を基本である２つの撮像装置を用いた場合について本発明を説明する。
２次元の配列で各要素に値を持つ形式の情報を画像と定義する。図１に示すように、一対のテレビカメラなどの撮像手段１−１，１−２を用いて対象情景を撮像して２つの画像を得る。これをステレオ画像と呼ぶ。もし、一対の撮像手段１−１，１−２の光軸が互いに平行でかつ撮像面が同一平面上にないならば、画像補正部３で取得したカメラの外部（幾何）パラメータおよびカメラ内部パラメータを用いて、互いに平行に置かれた一対の撮像手段１−１，１−２で得られた画像と等価となるように画像補正を行ない、特徴抽出部４において２つの画像毎に特徴画像を抽出する。
【００１６】
次いで、上記特徴画像を入力とし、ステレオ対応付け部５で情景中にある立体２の２つの画像での投影点を定めることで２つの画像を対応付け、２つの画像間での位置のずれ（両眼視差：以下では単に視差と呼ぶ) を求め、距離変換部６において前記した式(1a)〜(1c)によりカメラ１−１からの３次元位置を定める。
２つの画像での同一立体２の投影点は、一方の画像のある部分ついて他方面像中から似通った部分を探索することで得る。ここで、対象情景中に類似した形状の立体が複数あったり、繰り返し模様を含む物体があると、それら類似パターンのために似通った部分が複数存在して対応が曖昧となる。このような場合に、最も似通った部分と対応付けると、画像のノイズや照明の影響により容易に誤った部分と対応して、実際とは異なった３次元位置を算出する可能性がある。
【００１７】
そこで、本発明では、両画像間での対応の唯一性を対応の安定度の指標として、対象領域の位置によらず、対応の安定度（唯一度）の高い順序で対応付けることで、従来手法の問題である固定の走査順序による誤った対応情報の伝播を防ぐ。これにより繰り返しパターンの存在下でも安定な対応は他の影響を受けず正しい対応を得ることを可能とする。
また、繰り返しパターン部など局所的には類似したパターンがあり安定度が低い部分の対応を求めるときには、周囲にある既に対応の求まった安定度の高い部分の視差値の助けを得ることで対応情報を伝播していき、徐々に安定した対応を得る。このように、対応が唯一で曖昧性がないという意味で最適な順序で対応を求めているので、繰り返しパターンの存在下でも安定した対応が得られる。
上記対応の唯一性は次のように求める。一方の画像の着目領域と他方画像での対応候補領域とで定義される何らかの類似度を、候補領域を走査しながら求めた類似度分布について、類似度が最も高い部分が次に高い部分に比べて突出しているほど唯一性が高いとする。
【００１８】
すなわち、本発明においては、図１に示すように、ステレオ対応付け部５に、撮像した同じ物体を含む情景の画像を小領域に分割する小領域分割手段５ａと、一方の画像の各小領域に対して、他方画像の探索範囲内における局所画像の対応の唯一性を評価して対応度を定める対応度計算部５ｂと、上記対応度に基づき処理順序を決定する処理順序決定部５ｃと、上記処理順序で上記両小領域を対応付ける小領域対応付け部５ｄを設ける。そして、対応度計算部５ｂにおいて、対応の求まっていない小領域毎に探索領域内での類似度の分布を作成し、該類似度の分布から対応可能性を決める対応度を求める。次いで、処理順序決定部５ｃで対応度のよいものから順番に並べ、小領域対応付け部５ｄにおいて安定した対応が得られる部分から順に対応を求めていく。
また、類似パターンなどで局所的には対応が求まらない部分については、周囲にある既に対応が求まった部分の対応情報を利用することで徐々に安定した対応を得る。
【００１９】
対応付ける特徴量としては、エッジを用いる場合にはコントラストによらず着目領域内の全てのエッジ点を用い、輝度値を用いる場合には、着目領域内の輝度値分布をそのまま利用することで、十分な数の特徴により安定した類似度分布を得て、正しい対応の取得を可能となる。
これにより、対応が明らかな部分は他に影響されず安定に対応が求まり、繰り返しパターンなどで対応が不明確な部分は周囲からの既に対応の求まった小領域の対応情報を使用することで安定した対応を得ることができる。
したがって、画像全体に渡って安定して正しい視差が得られるので、立体の３次元位置や形状を正しく求めることが可能となる。
また、上記において、一方の画像から同一画像へ対応を求めた場合の自己対応度と、一方の画像から他方の画像へ対応を求めた場合の他己対応度を用いて小領域の対応度を求めてもよい。
【００２０】
【発明の実施の形態】
図２は本発明の実施例のシステムの構成例を示す図である。同図において、１１はＣＰＵ、１２はＣＲＴ、液晶ディスプレイ等の表示装置、キーボード、マウス等の入力装置から構成される入出力装置、１３はＲＯＭ、ＲＡＭ等から構成されるメモリ、１４はプログラム、データ等を記憶する外部記憶装置、１５は電話回線を使用してデータ通信をするためのモデム、ＬＡＮ等のネットワークを使用してデータ通信を行うためのネットワークカード等を含む通信インタフェースである。
【００２１】
撮像装置（以下カメラという）１−１，１−２で撮像された対象情景は、インタフェースＩ／Ｆを介してＣＰＵ１１に入力される。外部記憶装置１４には本発明の処理を行うためのプログラムが格納されており、ＣＰＵ１１に入力された対象情景は上記プログラムで処理されて立体形状が検出され、処理結果が外部記憶装置１４に格納され、また入出力装置１１から出力される。また、第３のカメラ１−３を設け、第３のカメラ１−３で撮像された対象情景をＣＰＵ１１に入力し、上記カメラ１−１，１−２で撮像された対象情景に加えて、カメラ１−３で撮像された対象情景を利用して立体形状を検出するようにしてもよい。
【００２２】
次に本発明の第１の実施例の対応付け処理の概略を図３により説明する。なお、ここでは２台のカメラを用いて対象情景を撮像した場合について説明するが、上記のように３台以上のカメラを用い、これらのカメラで撮像された対象情景のそれぞれの対応を取り、より対応度の高いものを用いて立体形状を検出するようにしてもよい。
図３において、カメラ１−１，１−２により対象情景を撮像し、その結果であるａ，ｂの２つの濃淡画像（左右濃淡画像) を得る。ここで、一対のカメラ１−１，１−２間の位置関係は任意とするが、あらかじめ何らかの手段によって２つのカメラ間の幾何的な関係は求まっているものとする。なお、ここでは便宜上カメラ１−１を左カメラ、カメラ１−２を右カメラと呼ぶ。以下ではこの規則にのっとり、左と右の接頭文字を付けて２つのカメラの出力を区別する。
【００２３】
次に、画像補正部３では、２つのカメラ１−１，１−２で撮像された２つの画像について、２つのカメラ１−１，１−２の光軸が平行で、しかも撮像面が同一平面となるような関係（基準配置) にしたときに観測できる画像となるように、画像補正部３においてカメラ間の幾何関係を用いて２つの濃淡画像ａ、ｂを補正し、左右補正濃淡画像ｃ，ｄを得る。
上記補正は、任意位置でのカメラに対する基準配置のカメラのＸ，Ｙ，Ｚ軸それぞれの回転角度をθ、φ、ξとし、２次歪み係数をκとすると、基準配置での画像の座標ｐc （ｘc ，ｙc ）は、任意位置で撮像された画像の座標ｐo （ｘo ，ｙo ）を用いて以下の式(2a)，（2b) のように表される。
【００２４】
【数１】

【００２５】
この関係式により任意配置のカメラで撮像された両画像を基準配置のカメラで撮像した画像に変換できる。これら補正濃淡画像ｃ，ｄより特徴抽出部４で２つの画像毎に特徴画像ｅ，ｆ（エッジ点、エッジ強度、エッジ方向) を求める。
エッジ点、エッジ強度、エッジ方向を求める手段についてはここでは言及しないが、例えばエッジ点は濃淡画像にラプラシアンガウシアンを積和的に作用させたもののゼロ交差点から得られ、エッジ強度は濃淡画像にグラーディエントガウシアンを積和的に作用させて得られたベクトルの大きさで、また、エッジ方向はそのベクトルの方向でそれぞれ得ることもできる。
ステレオ対応付け部５では、これら特徴画像ｅ，ｆを入力として２つの画像のエッジ点間の対応付け処理を行ない、各エッジ点位置について視差値を持つ視差画像ｇを得る。この視差画像ｇより距離変換部６で前記式(1a)〜(1c)で示した関係式を用いて対象物の距離ｈを算出する。
【００２６】
次に、図３におけるステレオ対応付け処理部５の詳細について図４により説明する。
ステレオ対応付け処理部５では、図４に示すように、まず左特徴画像を、小領域分割部５ａにおいて一定の大きさの小領域に分割する。このとき、小領域は互いに重ならないように配置しても良いし、互いにある程度重なるように小領域を配置しても良い。ここでは、小領域の一辺の大きさの１／２だけずらしながら配置したものを考える。
次に、対応度計算部５ｂでは、対応の求まっていない小領域（以下では未対応小領域と呼ぶ) 毎に、属するエッジ点と、その対応候補点を用いて対応可能性の善し悪しを決める対応度を求める。ここで、対応候補点とは、他方特徴画像（右特徴画像) のエピポーラ線上で対応探索範囲にあるエッジ点群でエッジの属性（エッジ強度とエッジ方向) が対応付ける対象のエッジと類似しているものを指す。また、対応度を求めるとは、小領域を代表する視差（代表視差と呼ぶ) を求めるとともに、その視差がどれだけ安定しているかを定めることを意味する。
【００２７】
これに続き、対応度による処理順序決定部５ｃでは、未対応小領域について対応度の良いものから順に並べ、その上位α％を「対応付け処理対象小領域」とする。ここで、上位α％の代わりに、上位β個としても良い。
次に、上記「対応付け処理対象小領域」とされた各小領域について、小領域対応付け部５ｄにおいて、小領域に属す各エッジ点について、他方特徴画像を調べ。そして、小領域の代表視差に相当する位置に実際にエッジ点があれば、それらエッジ点対を対応付ける。これにより、各エッジ点毎の視差値が求まる。それを前記した視差画像ｇに書き込む。さらに、実際に対応付けたエッジ点があれば、その旨を記録しておく。
次いで、対応点が一点以上求まったかを調べ、対応点が一点以上求まった場合には、前記対応度計算部５ｂに戻り、その周囲の未対応小領域に周囲伝播（後述する）させ、さらに対応度の良いものから悪いものへの一連の処理を繰り返す。そして対応点が求まらなくなったら処理を終了する。
【００２８】
次に、上記対応度計算部５ｂについて図５を用いて説明する。対応度計算部５ｂにおいては、まず、小領域の中から未対応であってまだ対応度を計算していないものがあるかを調べ、未対応領域を求める（５ｂ−１）。
そして、未対応領域について視差のヒストグラムを作成し、対応の類似度分布を求める（５ｂ−２）。
続いて対応度計算処理部５ｂ−３で小領域の代表視差および対応度を実際に計算する。この操作を対応度を求めていない未対応小領域について繰り返す。
【００２９】
ここで、上述した視差のヒストグラムの作成方法について図６により説明する。ここでは左画像のある小領域について考える。
左画像の小領域に属す全てのエッジ点について次の操作を行なう。まず、あるエッジ点ＰＬi に着目する。ここでは、左右補正画像は光軸が平行で撮像面が同一平面に位置するカメラで撮像された場合と同じとなるように補正されているので、ＰＬi のエピポーラ線は水平線となり、ＰＬi を右画像に投影するとＰＬi'の位置となる。
ＰＬi の対応点はＰＬi'と同一水平線上で、かつ、ＰＬi'よりも左側に位置する。ここで、探索範囲をＲとして、ＰＬi'から左に最大Ｒまで走査していき、得られたエッジ点の中で、ＰＬi と属性値であるエッジ強度とエッジ方向が類似したエッジ点を対応候補点として抽出する。そして、これら対応点対とで定義される視差値でもって、横軸を視差値とし縦軸を頻度とする視差のヒストグラムに投票する。
【００３０】
図６では、ＰＲ１〜ＰＲ３がＰＬi のエピポーラ線上から得られ、ＰＲ２、ＰＲ３は属性値が類似していたので対応候補となったが、ＰＲ１は属性値が異なっていたので対応候補とならなかった場合を示している。対応候補点ＰＲ２、ＰＲ３については、同図に示すようにそれぞれ視差がｄ１，ｄ２となり、これを視差のヒストグラムに投票する。
同様の操作を、左小領域内の各エッジ点について行なうことにより、図６に示すような類似度分布として視差のヒストグラムが得られる。
【００３１】
次に、図５に示した対応度計算処理部５ｂ−３について図７により説明する。まず、図６に示した類似度分布に基づいて対応度算出部５ｂ−３１で対応度を計算する。対応度が閾値以下ならば周囲視差伝播部５ｂ−３２で周囲の小領域の対応情報を元に代表視差を決定するとともに対応度を再計算する。もし、対応度が閾値以上ならばその対応度を採用する。
以下、対応度算出部５ｂ−３１について更に詳述する。
ここで、図８に示すような類似度分布があったとする。ここでは、類似度分布のピークの大きさの大きい順にＰ１，Ｐ２，…とし、それを与える視差値をｄ１，ｄ２…とし、最大ピークＰ１の左右それぞれでの谷の位置をｖ１，ｖ２としている。ここで、最大ピーク値（Ｐｍ）、ピーク比（Ｐｒ）、尖度（Ｐｋ）、対応集中度（Ｐｃ）を以下のように定義する。
【００３２】
Ｐｍ＝Ｐ１／（小領域の一辺の大きさ）…(3a)
Ｐｒ＝１−Ｐ２／Ｐ１…(3b)
Ｐｋ＝ｍ（４）／〔ｍ（２）・ｍ（２）〕−３…(3c)
Ｐｃ＝（ｖ１〜ｖ２までの面積）／（少領域内のエッジ点の個数）…(3d)
【００３３】
ただし、ｍ（ｋ）は以下の式(3e)(3f)に示すように、視差値をｄとしてｖ１〜ｖ２までの値を用いた視差頻度のｋ次モーメントを表す。なお、式(3e)(3f)において、ｄは視差値、ｄｖは視差値の平均、Ｐ（ｄ）は視差ｄでの頻度、ｖ１は最小視差値、ｖ２は最大視差値を表す。
【００３４】
【数２】

【００３５】
そして、対応度Ｓｍは、Ｐｍ，Ｐｒ，Ｐｋ，Ｐｃと任意の混合関数ｆ（・）を用いて以下の式(3g)のように定義する。
Ｓｍ＝ｆ（Ｐｍ，Ｐｒ，Ｐｋ，Ｐｃ）…(3g)
ここで、ｆ（・）は任意であるが、一例として、次の式(3h)のように定義できる。ただし、ｋ１〜ｋ４は任意の混合係数である。
ｆ（Ｐｍ，Ｐｒ，Ｐｋ，Ｐｃ）
＝ｋ１・Ｐｍ＋ｋ２・Ｐｒ＋ｋ３・Ｐｋ＋ｋ４・Ｐｃ…(3h)
【００３６】
次に、図７に示した周囲視差伝播部５ｂ−３２について説明する。図９に示すように着目小領域の周囲のある一定範囲に存在するＮｗ個の小領域をＷｎ（ｉ）｛ｉ：ｊ＝１〜Ｎｗ｝、その中で既に対応の求まったＮｍ個の小領域群（図９の斜線を付した領域）をＷｍ（ｉ）｛ｉ：ｊ＝１〜Ｎｍ｝とし、Ｗｍ（ｉ）が持つ代表視差値を周囲小領域視差ｄｍ（ｉ）｛ｉ：ｊ＝１〜Ｎｍ｝とする。
次に、図１０に示すように周囲小領域視差ｄｍ（ｉ）を横軸にとり、縦軸に頻度を取った周囲小領域視差ｄｍ（ｉ）の値のヒストグラムを作成する。このヒストグラムの最大ピークをＰｄ１、次ピークをＰｄ２として、最大ピークを与える視差をｄｎとする。
ここで、対応率Ｎｍ／Ｎｗが閾値以上で、かつ、図１０に示すｄｍ（ｉ）のヒストグラムの最大ピークが次ピークに比べ十分大きいなら、そのピークを与える視差値ｄｎを周囲代表視差とする。
【００３７】
次に、図１１に示すように、着目小領域の視差のヒストグラムについて、第１、第２、第３ピークそれぞれの左右の谷部を求め、それに挟まれる領域を第１山（ｖ１１〜ｖ１２）、第２山（ｖ２１〜ｖ２２）、第３山（ｖ３１〜ｖ３２）とする。
周囲の小領域から求めた代表視差ｄｎが第１山、第２山、第３山のいずれかに含まれるなら、その山の最大値を与える視差を代表視差とする。また、その時の対応度をＷｍ（ｉ）の対応度の平均値とする。
【００３８】
以上説明したように、本実施例においては、対応度、代表視差を求めて対応度の順に処理順序を決定して２つの画像のエッジ点を対応付け、各エッジ点位置について視差値を持つ視差画像を得ているので、従来手法の問題である固定の走査順序による誤った対応情報の伝播を防ぐことができ、正しい対応を得ることができる。また、局所的には対応が求まらない部分については、周囲にある既に対応が求まった部分の対応情報を利用して、徐々に安定した対応を得ているので、繰り返しパターンなどの存在下でも安定した対応を得ることができる。
【００３９】
上述した第１の実施例では、類似度をエッジを用いて求めているが、類似度として輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の２乗和（ＳＳＤ）のいずれかの値を用いることもできる。
以下、輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の２乗和（ＳＳＤ）を用いる本発明の第２に実施例について説明する。
本実施例の処理は、前記図２〜図１１により説明した第１の実施例の処理と基本的には同じであるが、前記図８に示した類似度分布を、輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ) もしくは輝度値の差の２乗和（ＳＳＤ）を用いて求める。
【００４０】
すなわち、図１２に示すように、一方画像の対応付け対象の小領域Ａに対して、他方画像の探索領域に設けた同形状の小領域Ｂとで計算される輝度の正規化相関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の２乗和（ＳＳＤ）のいずれかの値をＶとするとき、（Ｃ−Ｖ）を類似度として、探索領域内での小領域を走査しながら類似度分布を作成する。なお、Ｃは類似度を負値にしないための任意の定数である。それ以外の処理は、第１の実施例と同様であり、上記類似度に基づき対応度を計算して処理順序を決定し対応付けを行う。
【００４１】
以下に、上記正規化相関値、輝度差の絶対値和（ＳＡＤ) 、輝度値の差の２乗和（ＳＳＤ）について説明する。
▲１▼正規化相関
左画像の小領域内の各位置（ｉ，ｊ）での輝度値をｑ_L（ｉ，ｊ）、右画像の小領域Ｂの各位置（ｉ，ｊ）での輝度値をｑ_R（ｉ，ｊ）、小領域の一辺の大きさをｗとして、正規化相関値は次の式(4a)〜(4c)で表される。
【００４２】
【数３】

【００４３】
▲２▼輝度値の絶対和（ＳＡＤ）
上記▲１▼と同じ記号を用いると輝度差の絶対値和Ｅ２は次の式(5a)で表される。
【００４４】
【数４】

【００４５】
▲３▼輝度差の２乗和（ＳＳＤ）
上記▲１▼と同じ記号を用いると輝度差の２乗和Ｅ３は次の式(6a)で表される。
【００４６】
【数５】

【００４７】
以上の実施例では、図７に示した対応度算出部５ｂ−３１で対応度を計算する際、一方の画像から他方の画像への対応を求めた場合の他己対応度を用いているが、他己対応度に加え、一方の画像から同一画像へ対応を求めた場合の自己対応度を用い、その両者から対応度を求めることもできる。
以下、上記自己対応度を用いた本発明の第３の実施例について説明する。
本実施例の処理は、前記図２〜図１１により説明した第１の実施例の処理と基本的には同じであるが、上記したように他己対応度Ｓ１に加え、自己対応度Ｓ２を導入する。
自己対応度Ｓ２は図１３に示すように左画像中の小領域Ａと同一左画像の左探索範囲内の候補領域Ｃとで定められる類似度ヒストグラムより同様に計算される。図１３に示す左探索範囲は、着目小領域Ａを挟んで左右に同じだけ右画像の探索範囲分の幅を持つ。また、他己対応度Ｓ１は図１３に示すように左画像での小領域Ａと右画像の右探索範囲内の候補領域Ｂとで定められる類似度ヒストグラムより前記実施例で定義された方法で計算される。
【００４８】
対応度算出部５ｂ−３１における対象小領域Ａの対応度の算出は、上記２つの対応度Ｓ１，Ｓ２からｆ２（Ｓ１，Ｓ２）の混合関数を用いた値として算出される。ここで、ｆ（・）は任意であるが、例えば以下のようなものが考えられる。
ｆ２（Ｓ１，Ｓ２）＝Ｃ１・Ｓ１＋Ｃ２・Ｓ２
ここで、Ｃ１，Ｃ２は任意の混合係数である。
本実施例においては、以上のようにして算出された対応度を用いて、前記第１の実施例で説明した手法により対応付け処理を行い、以下第１の実施例と同様な処理を行って視差画像を得る。
【００４９】
【発明の効果】
以上のように本発明においては、以下の効果を得ることができる。
（１）両画像間の対応付けを、画像の位置によらず対応の唯一性に基づいて正しい対応が得られる順序で行うことにより、従来方式の問題であった、固定の走査順序による誤った対応情報の伝播を防ぐことができる。さらに、類似パターンなどで安定度が低く対応付けが困難な部分については、周囲にある安定度の高い対応の視差値を参考に対応を求めることで、従来では対応付けが困難であった繰り返しパターン部の対応を安定に得ることができ、画像全体について正しい対応を得ることができる。
（２）対応付ける特徴量としては、エッジを用いる場合にはコントラストによらず着目領域内の全てのエッジ点を用い、輝度値を用いる場合には着目領域内の輝度値分布をそのまま利用することで、十分な数の特徴を使用して安定した類似度分布形状を得ることができる。
これにより、高コントラストのエッジ点など一部の特徴を用いた際に起こり得る少量の偽の部分による顕著な類似度ピークの形成の阻害がなくなり、画像全体から正しい対応を得ることができる。
【図面の簡単な説明】
【図１】本発明の原理を説明する図である。
【図２】本発明の実施例のシステムの構成例を示す図である。
【図３】第１の実施例の対応付け処理の概略を示す図である。
【図４】図３に示したステレオ対応付け処理部の詳細を示す図である。
【図５】図４に示した対応度計算部の詳細を示す図である。
【図６】視差のヒストグラムの作成方法を説明する図である。
【図７】図５に示した対応度計算処理部の詳細を示す図である。
【図８】類似度分布とピークとの関係を示す図である。
【図９】対象小領域と周囲小領域の関係を示す図である。
【図１０】周囲小領域の視差のヒストグラムを示す図である。
【図１１】対象少領域の視差のヒストグラムと山との関係を示す図である。
【図１２】相関値／ＳＳＤ値／ＳＡＤ値を用いた類似度分布の作成を説明する図である。
【図１３】自己対応度と他己対応度の関係を示す図である。
【図１４】ステレオ距離計測の原理を説明する図である。
【符号の説明】
１−１〜１−３撮像手段（カメラ）
２立体
３画像補正部
４特徴抽出部
５ステレオ対応付け部
５ａ小領域分割手段
５ｂ対応度計算部
５ｃ処理順序決定部
５ｄ小領域対応付け部
６距離変換部[0001]
BACKGROUND OF THE INVENTION
The present invention is used in a wide range of industrial fields for extracting 3D information based on stereo images, such as 3D video communication, 3D video broadcasting, 3D image generation, 3D shape measurement, 3D object recognition, and navigation for mobile robots. 3D shape detection that can stably detect the 3D position and shape of a 3D object using binocular parallax Method About.
[0002]
[Prior art]
Conventionally, various methods for detecting a three-dimensional shape using binocular parallax based on two or three or more images obtained by two or three or more imaging means have been proposed. The principle of this type of three-dimensional shape detection method will be described with reference to FIG.
The same point P on the object is projected through the lenses L1 and L2 onto the imaging surfaces I1 and I2 of a pair of imaging means (hereinafter referred to as cameras) 1-1 and 1-2 such as a television camera. Here, the imaging surfaces I1 and I2 are arranged on the same plane, the focal lengths f between the corresponding lenses from each imaging surface are equal, and the optical axes of the cameras 1-1 and 1-2 are parallel to each other and b. Suppose that they are installed only apart.
[0003]
Even if the pair of imaging units 1-1 and 1-2 is arbitrarily arranged, by measuring the geometric relationship between the cameras in advance, the captured image can be converted into an image obtained in the above state. It is possible to convert. Therefore, the discussion proceeds based on the above state. At this time, the point P on the object is observed at the positions of p1 (p1x, p1y) and p2 (p2x, p2y) in the captured image. Here, the positional shift on the image of the corresponding points in both images is called parallax d. Here, d = p2x−p1x.
The three-dimensional coordinates (X1, Y1, Z1) of the object point p when viewed from one camera (here, camera 1-1) are expressed as the following equations (1a) to (1c).
[0004]
Z1 = f · (b / d) (1a)
X1 = p1x. (B / d) (1b)
Y1 = p1y · (b / d) (1c)
[0005]
Here, Z1 is the distance from the camera 1-1, f is the focal distance of the camera, b is the distance between both cameras, d is the parallax, X1 is the three-dimensional X coordinate from the camera 1-1, and p1x is from the center of the image. The X coordinate, Y1 is the three-dimensional y coordinate from the camera 1-1, and p1y is the Y coordinate from the center of the image.
Thus, if the projection point in both images for an arbitrary point in the three-dimensional scene is determined, the coordinate value and the parallax value in the image of the projection point can be obtained, so the above formulas (1a) to (1c) A three-dimensional position can be obtained. This is the principle of three-dimensional position calculation by binocular vision. Even when three or more image pickup means are used, if any two image pickup means are considered, it is the same as described above.
[0006]
As is apparent from the above principle, in order to obtain a three-dimensional position using parallax, it is necessary to obtain the corresponding projection points of the same object in both images. This is called a “correspondence search problem”.
Hereinafter, the “correspondence search problem” will be described in more detail.
Consider a stereo image obtained by a pair of imaging means. Attention is paid to a point p1 in one image (here, left image). At this time, the point p2 corresponding to p1 in the other image (here, the right image) is located on a constraint line called an epipolar line determined from the positional relationship between the two cameras.
[0007]
Here, since the image conversion is performed when the optical axes of the two cameras are equivalent to each other, the epipolar line is the same scanning line (the same y coordinate), and p2 is to the left of the position where p1 is copied to the other image. Located in. Therefore, in the corresponding point search, for each position (p1) of the left image, the most similar part is scanned on the same scanning line in the right image while scanning only the search range R toward the left from the x coordinate of p1. A corresponding set can be obtained. At this time, since it is difficult to determine the degree of similarity using only points, the degree of similarity is obtained using information within a certain range including the points.
In general, since a plurality of correspondence candidates exist in the search range, it is not easy to determine a true correspondence location, and how to obtain the correspondence location correctly is the main point of three-dimensional distance measurement using binocular parallax.
[0008]
The typical methods proposed so far can be broadly classified as follows.
(1) A method for obtaining the correspondence independently at each position of the image.
(2) A method for obtaining a response at each position of an image based on some support in the surrounding area or the entire image.
As a typical example of the above (1), one image is divided into small regions having a certain size, for each small region, for each pixel of one image, or characteristics of one image. The other image is scanned with respect to the point, and the similarity of the luminance distribution in the small area is evaluated by normalized correlation, the sum of absolute values of luminance differences (SAD), the sum of squares of differences of luminance values (SSD), etc. Some of them correspond to the most similar parts.
[0009]
The above (2) includes the following.
(a) A method of limiting the magnitude of parallax change assuming that the distance change in the vicinity is small.
(b) The best overall response is achieved by loosely minimizing the total sum of distortion energy defined by the difference in correspondence (corresponding energy) obtained in the local area and the difference in parallax between adjacent areas. Obtaining energy minimization method.
(c) Focusing on the reliability of the feature value to be matched, the correspondence is obtained in order from the highly reliable edge point, and the correspondence information of the edge point having higher reliability already obtained for the correspondence of the edge point having lower reliability is used. What to do.
[0010]
Here, (c) Method based on feature reliability (Yamaguchi, Nakayama, Shirai, Asada “Multistage Stereo Method Prioritizing Highly Reliable Response”, IEICE Transactions, Vo1, J74-D-II, No. 7, 1991) will be described.
According to this, there are the following two features when the feature point (edge point) where the brightness value changes suddenly is used as the feature point to be associated.
i) The position information of the edge point is more reliable as the luminance change (contrast) is larger, and is more unstable as the luminance information is lower.
ii) Since the number of edge points with high contrast in the image is small, the number of correspondence candidates is small and the correspondence can be easily performed.
Focusing on these features, the edges are classified into multiple groups according to the size of the contrast value in advance, and first, the correspondence of edge points that belong to the group with the highest contrast and can be easily associated is determined. Associate edge points of low contrast groups.
[0011]
[Problems to be solved by the invention]
First, in the method (1) for obtaining the correspondence independently at each position of the image, the correspondence is obtained independently at each position of the image. However, if they are independently associated, if there are multiple objects with similar shapes in the target scene or there are objects that contain repeated patterns, the difference in similarity between the true corresponding part and the false corresponding part is Since it is slight, it easily corresponds to an erroneous portion due to the noise of the image and the influence of illumination. It may actually indicate the distance of the position where there is no object.
Next, the problem of a method for obtaining a response based on some support around (2) will be described.
[0012]
First, in the method (a), instead of obtaining the correspondence of the target portion independently, a stable correspondence is obtained by limiting the magnitude of the parallax change with the adjacent area and reflecting the surrounding correspondence situation. ing.
However, in most cases, the target portion provided in the image is scanned in a predetermined order and processed regardless of the difficulty level of the association. If the corresponding part is mis-corresponding, the influence is transmitted to the subsequent stage, and as a result, mis-corresponding in a wide range occurs.
[0013]
Next, in the method (b), there is a consistent response by considering the consistency of the entire response, not the image part, by energy minimization. Is necessary and impractical.
In the method (c), the grouping is divided according to the size of the contrast, but since the edge points belonging to the same contrast group are determined in the conventional fixed order, the repeated pattern is used. There is a problem of mis-response propagation due to order.
In addition, when an error occurs in correspondence with a high-contrast edge, the information is used for associating with an edge point having a lower contrast in the subsequent stage, and as a result, erroneous information is propagated over a wide range and the miscorrespondence increases. Furthermore, since only a small amount of edge points with high contrast are used in the initial stage of association, there is a problem that the number of edge points to vote for the parallax histogram is small, the histogram shape becomes unstable, and it becomes weak due to the repeated pattern.
[0014]
The present invention has been made in consideration of the above-described circumstances, and it is possible to stably obtain the correspondence of the repeated pattern portion, which has conventionally been difficult to associate, and to obtain the correct correspondence from the entire image. Shape detection Method Is to provide.
[0015]
[Means for Solving the Problems]
The present invention will be described in the case of using two imaging devices that are based on a method of acquiring three-dimensional three-dimensional information.
Information in a form having a value for each element in a two-dimensional array is defined as an image. As shown in FIG. 1, the target scene is imaged using imaging means 1-1 and 1-2 such as a pair of television cameras to obtain two images. This is called a stereo image. If the optical axes of the pair of imaging units 1-1 and 1-2 are parallel to each other and the imaging surfaces are not on the same plane, the camera external (geometric) parameters and camera internal parameters acquired by the image correction unit 3 are used. Is used to correct the image so as to be equivalent to the image obtained by the pair of imaging units 1-1 and 1-2 placed in parallel with each other, and the feature extraction unit 4 obtains a feature image for every two images. Extract.
[0016]
Next, the feature image is used as an input, and the stereo correspondence unit 5 associates the two images by determining projection points of the two images of the solid 2 in the scene, and a positional shift between the two images ( Binocular parallax (hereinafter simply referred to as parallax) is obtained, and the distance conversion unit 6 determines the three-dimensional position from the camera 1-1 according to the above equations (1a) to (1c).
The projection point of the same solid 2 in the two images is obtained by searching for a similar part from the other side image for a certain part of one image. Here, if there are a plurality of solids having a similar shape in the target scene or an object including a repetitive pattern, there are a plurality of similar parts due to the similar patterns, and the correspondence becomes ambiguous. In such a case, if it is associated with the most similar part, there is a possibility that a three-dimensional position different from the actual one is calculated in correspondence with an erroneous part easily due to the influence of image noise or illumination.
[0017]
Therefore, in the present invention, the uniqueness of correspondence between the two images is used as an index of stability of correspondence, and the correspondence is made in the order of high degree of correspondence stability (uniqueness) regardless of the position of the target region. This prevents the propagation of incorrect correspondence information due to the fixed scanning order. This makes it possible to obtain a correct response without being affected by other effects even in the presence of a repetitive pattern.
In addition, when finding the correspondence of parts with locally similar patterns such as repeated pattern parts and low stability, the correspondence information is obtained with the help of the disparity values of the parts with high stability that have already been found. And gradually get a stable response. In this way, since the correspondence is obtained in the optimum order in the sense that the correspondence is unique and there is no ambiguity, a stable correspondence can be obtained even in the presence of a repetitive pattern.
The uniqueness of the above correspondence is obtained as follows. In the similarity distribution obtained by scanning the candidate area with some similarity defined by the target area in one image and the corresponding candidate area in the other image, the highest similarity part is compared to the next highest part. It is assumed that the more prominent it is, the higher the uniqueness.
[0018]
That is, in the present invention, as shown in FIG. 1, the stereo association unit 5 includes a small area dividing unit 5a that divides a captured scene image including the same object into small areas, and each small area of one image. On the other hand, a correspondence calculation unit 5b that evaluates the uniqueness of the correspondence of the local image within the search range of the other image and determines the correspondence, a processing order determination unit 5c that determines the processing order based on the correspondence, A small region association unit 5d that associates the small regions with each other in the processing order is provided. Then, the correspondence degree calculation unit 5b creates a similarity distribution in the search area for each small area for which correspondence is not obtained, and obtains a correspondence degree that determines the possibility of correspondence from the distribution of similarity degrees. Next, the processing order determination unit 5c arranges the components in order from the one with the best correspondence, and the small region association unit 5d sequentially obtains the correspondence from the portion where the stable correspondence is obtained.
In addition, for a portion of the similar pattern or the like for which correspondence is not obtained locally, a correspondence that is gradually stabilized can be obtained by using correspondence information of a portion in the surrounding that has already been obtained.
[0019]
When using edges, all feature points in the region of interest are used regardless of contrast. When using luminance values, the luminance value distribution in the region of interest is used as is. It is possible to acquire a stable correspondence by obtaining a stable similarity distribution with a large number of features.
As a result, the part where the correspondence is clear can be found stably without being influenced by others, and the part where the correspondence is unclear due to the repeated pattern etc. is stable by using the correspondence information of the small area from which the correspondence has already been obtained. Can be obtained.
Therefore, since the correct parallax can be stably obtained over the entire image, the three-dimensional position and shape of the solid can be obtained correctly.
Also, in the above, the degree of correspondence of the small area is calculated using the degree of self-correspondence when the correspondence from one image is obtained to the same image and the degree of self-correspondence when the correspondence is obtained from one image to the other image. You may ask for it.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 2 is a diagram showing a configuration example of the system according to the embodiment of the present invention. In the figure, 11 is a CPU, 12 is a display device such as a CRT or liquid crystal display, an input / output device composed of input devices such as a keyboard and a mouse, 13 is a memory composed of ROM, RAM, etc., 14 is a program, An external storage device 15 for storing data and the like is a communication interface 15 including a modem for performing data communication using a telephone line, a network card for performing data communication using a network such as a LAN, and the like.
[0021]
The target scene imaged by the imaging devices (hereinafter referred to as cameras) 1-1 and 1-2 is input to the CPU 11 via the interface I / F. A program for performing the processing of the present invention is stored in the external storage device 14. The target scene input to the CPU 11 is processed by the above program to detect a three-dimensional shape, and the processing result is stored in the external storage device 14. And output from the input / output device 11. In addition, the third camera 1-3 is provided, the target scene imaged by the third camera 1-3 is input to the CPU 11, and in addition to the target scene imaged by the cameras 1-1 and 1-2, You may make it detect a solid shape using the object scene imaged with the camera 1-3.
[0022]
Next, the outline of the association processing of the first embodiment of the present invention will be described with reference to FIG. In addition, although the case where the target scene is imaged using two cameras will be described here, the correspondence of each of the target scenes captured by these cameras using three or more cameras as described above, You may make it detect a solid shape using a thing with a higher correspondence degree.
In FIG. 3, the target scene is imaged by the cameras 1-1 and 1-2, and two gray images (right and left gray images) as a result are obtained. Here, the positional relationship between the pair of cameras 1-1 and 1-2 is arbitrary, but it is assumed that the geometric relationship between the two cameras is obtained in advance by some means. Here, for convenience, the camera 1-1 is called a left camera, and the camera 1-2 is called a right camera. In the following, according to this rule, the left and right prefixes are used to distinguish the outputs of the two cameras.
[0023]
Next, in the image correction unit 3, the optical axes of the two cameras 1-1 and 1-2 are parallel and the imaging surfaces of the two images captured by the two cameras 1-1 and 1-2 are the same. The image correction unit 3 corrects the two gray images a and b using the geometric relationship between the cameras so as to obtain an image that can be observed when the relationship becomes a plane (reference arrangement), and the right and left corrected gray images. c and d are obtained.
In the above correction, if the rotation angles of the X, Y, and Z axes of the camera in the reference position relative to the camera at an arbitrary position are θ, φ, ξ, and the secondary distortion coefficient is κ, the image coordinates pc in the reference position (Xc, yc) is expressed by the following equations (2a) and (2b) using the coordinates po (xo, yo) of the image captured at an arbitrary position.
[0024]
[Expression 1]

[0025]
With this relational expression, both images captured by an arbitrarily arranged camera can be converted into an image captured by a referencely arranged camera. The feature extraction unit 4 obtains feature images e and f (edge points, edge strength, and edge direction) for each of the two images from the corrected grayscale images c and d.
The method for obtaining the edge point, edge strength, and edge direction is not mentioned here.For example, the edge point is obtained from the zero crossing point of Laplacian Gaussian applied to the grayscale image, and the edge strength is obtained from the grayscale image. It is also possible to obtain the magnitude of a vector obtained by multiply-acting Deent Gaussian and the edge direction in the direction of the vector.
The stereo associating unit 5 performs associating processing between the edge points of the two images using the feature images e and f as inputs, and obtains a parallax image g having a parallax value for each edge point position. From the parallax image g, the distance conversion unit 6 calculates the distance h of the object using the relational expressions shown in the expressions (1a) to (1c).
[0026]
Next, details of the stereo correspondence processing unit 5 in FIG. 3 will be described with reference to FIG.
As shown in FIG. 4, the stereo association processing unit 5 first divides the left feature image into small regions of a certain size in the small region dividing unit 5a. At this time, the small areas may be arranged so as not to overlap each other, or the small areas may be arranged so as to overlap each other to some extent. Here, what is arranged by shifting by half the size of one side of the small area is considered.
Next, in the correspondence degree calculation unit 5b, for each small region for which correspondence is not obtained (hereinafter referred to as an unsupported small region), the correspondence between the edge points to which the correspondence belongs and the correspondence candidate points are used to determine whether the correspondence is good or bad. Find the degree. Here, the correspondence candidate point is similar to the edge to be matched with the edge attributes (edge strength and edge direction) in the edge point group in the correspondence search range on the epipolar line of the other feature image (right feature image). Refers to things. Finding the correspondence level means obtaining a parallax representing a small area (referred to as a representative parallax) and determining how stable the parallax is.
[0027]
Subsequently, in the processing order determination unit 5c based on correspondence, the non-corresponding small regions are arranged in descending order of correspondence, and the higher α% is set as “corresponding processing target small region”. Here, instead of the upper α%, the upper β may be used.
Next, for each of the small areas designated as “corresponding processing target small areas”, the small area associating unit 5d checks the other feature image for each edge point belonging to the small area. Then, if there is actually an edge point at a position corresponding to the representative parallax of the small area, the edge point pair is associated. Thereby, the parallax value for each edge point is obtained. It is written in the parallax image g described above. Further, if there is an actually associated edge point, that fact is recorded.
Next, it is checked whether or not one or more corresponding points have been obtained. If one or more corresponding points are obtained, the corresponding degree calculation unit 5b returns to the surrounding non-corresponding small region (described later) to further deal with it. Repeat a series of processes from good to bad. When no corresponding point can be obtained, the process is terminated.
[0028]
Next, the correspondence calculation unit 5b will be described with reference to FIG. In the correspondence level calculation unit 5b, first, it is checked whether there is a small region that is not yet supported and the correspondence level has not yet been calculated, and an uncorresponding region is obtained (5b-1).
Then, a disparity histogram is created for the unsupported region, and a corresponding similarity distribution is obtained (5b-2).
Subsequently, the correspondence calculation processing unit 5b-3 actually calculates the representative parallax and the correspondence of the small area. This operation is repeated for non-corresponding small areas for which the correspondence level is not obtained.
[0029]
Here, a method of creating the above-described parallax histogram will be described with reference to FIG. Here, a small area with a left image is considered.
The following operation is performed for all edge points belonging to the small area of the left image. First, attention is paid to a certain edge point PLi. Here, the right and left corrected images are corrected so that they are the same as when captured by a camera whose optical axis is parallel and the imaging surface is located on the same plane, so the epipolar line of PLi is a horizontal line, and PLi is the right image. When projected onto, it becomes the position of PLi '.
The corresponding point of PLi is located on the same horizontal line as PLi ′ and on the left side of PLi ′. Here, assuming that the search range is R, scanning is performed from PLi ′ to the maximum R to the left, and among the obtained edge points, edge points whose edge strength and edge direction are similar to PLi and attribute values are correspondence candidates. Extract as a point. Then, with the parallax values defined by these corresponding point pairs, a vote is given for a parallax histogram with the parallax value on the horizontal axis and the frequency on the vertical axis.
[0030]
In FIG. 6, PR1 to PR3 are obtained from the epipolar line of PLi, and PR2 and PR3 are corresponding candidates because the attribute values are similar, but PR1 is not a corresponding candidate because the attribute values are different. Shows the case. For the corresponding candidate points PR2 and PR3, the parallaxes are d1 and d2, respectively, as shown in the figure, and these are voted on the parallax histogram.
By performing the same operation for each edge point in the left small region, a parallax histogram is obtained as a similarity distribution as shown in FIG.
[0031]
Next, the correspondence calculation processing unit 5b-3 illustrated in FIG. 5 will be described with reference to FIG. First, the correspondence level is calculated by the correspondence level calculation unit 5b-31 based on the similarity distribution shown in FIG. If the correspondence level is equal to or less than the threshold value, the peripheral parallax propagation unit 5b-32 determines the representative parallax based on the correspondence information of the surrounding small areas and recalculates the correspondence level. If the correspondence level is equal to or higher than the threshold value, the correspondence level is adopted.
Hereinafter, the correspondence calculation unit 5b-31 will be described in further detail.
Here, it is assumed that there is a similarity distribution as shown in FIG. Here, P1, P2,... Are set in descending order of the peak size of the similarity distribution, the parallax values giving them are d1, d2,..., And the valley positions at the left and right of the maximum peak P1 are v1, v2. . Here, the maximum peak value (Pm), peak ratio (Pr), kurtosis (Pk), and corresponding concentration (Pc) are defined as follows.
[0032]
Pm = P1 / (size of one side of small area) (3a)
Pr = 1-P2 / P1 (3b)
Pk = m (4) / [m (2) · m (2)]-3 (3c)
Pc = (area from v1 to v2) / (number of edge points in the small area) (3d)
[0033]
However, m (k) represents the k-th moment of the parallax frequency using the values from v1 to v2, where the parallax value is d, as shown in the following formulas (3e) and (3f). In equations (3e) and (3f), d is the parallax value, dv is the average of the parallax values, P (d) is the frequency at the parallax d, v1 is the minimum parallax value, and v2 is the maximum parallax value.
[0034]
[Expression 2]

[0035]
The degree of correspondence Sm is defined as in the following equation (3g) using Pm, Pr, Pk, Pc and an arbitrary mixing function f (•).
Sm = f (Pm, Pr, Pk, Pc) (3 g)
Here, f (•) is arbitrary, but can be defined as the following equation (3h) as an example. However, k1 to k4 are arbitrary mixing coefficients.
f (Pm, Pr, Pk, Pc)
= K1 · Pm + k2 · Pr + k3 · Pk + k4 · Pc (3h)
[0036]
Next, the peripheral parallax propagation unit 5b-32 illustrated in FIG. 7 will be described. As shown in FIG. 9, Nw small areas existing in a certain range around the target small area are Wn (i) {i: j = 1 to Nw}, among which Nm small areas whose correspondence has already been obtained. The area group (area with hatching in FIG. 9) is Wm (i) {i: j = 1 to Nm}, and the representative parallax value of Wm (i) is Surrounding small area parallax dm (i) {i: j = 1 to Nm}.
Next, as shown in FIG. small Area parallax dm (i) is plotted on the horizontal axis and frequency is plotted on the vertical axis Surrounding small area parallax dm (i) The value of the Create a histogram for. The maximum peak of this histogram is Pd1, the next peak is Pd2, and the parallax that gives the maximum peak is dn.
Here, if the correspondence rate Nm / Nw is equal to or greater than the threshold and the maximum peak of the dm (i) histogram shown in FIG. 10 is sufficiently larger than the next peak, the parallax value dn that gives that peak is taken as the representative representative parallax. .
[0037]
Next, as shown in FIG. 11, the left and right troughs of the first, second, and third peaks are obtained for the parallax histogram of the target small region, and the region between the first and second peaks (v11 to v12) is determined. , Second mountain (v21 to v22), third mountain (v31 to v32).
If the representative parallax dn obtained from the surrounding small area is included in any of the first mountain, the second mountain, and the third mountain, the parallax that gives the maximum value of the mountain is set as the representative parallax. Further, the correspondence level at that time is the average value of the correspondence levels of Wm (i).
[0038]
As described above, in the present embodiment, the correspondence degree and the representative parallax are obtained, the processing order is determined in the order of the correspondence degree, the edge points of the two images are associated, and the parallax having the parallax value for each edge point position Since the image is obtained, it is possible to prevent propagation of incorrect correspondence information due to a fixed scanning order, which is a problem of the conventional method, and to obtain a correct correspondence. In addition, for parts that cannot be found locally, the correspondence information of the parts that have already been found in the surrounding area is used to gradually obtain stable correspondence. But you can get a stable response.
[0039]
In the first embodiment described above, the similarity is obtained by using an edge. As the similarity, the normalized correlation value of luminance, the absolute value sum of luminance differences (SAD), the square sum of the luminance value differences (SAD) Any value of (SSD) can also be used.
The second embodiment of the present invention using the normalized correlation value of luminance, the sum of absolute values of luminance differences (SAD), and the square sum of differences of luminance values (SSD) will be described below.
The processing of this embodiment is basically the same as the processing of the first embodiment described with reference to FIGS. 2 to 11, but the similarity distribution shown in FIG. The sum of absolute values of luminance differences (SAD) or the sum of squares of differences of luminance values (SSD) is used.
[0040]
That is, as shown in FIG. 12, the normalized correlation value of the luminance and the luminance calculated from the small region A to be associated with one image with the small region B having the same shape provided in the search region of the other image When any one of the sum of absolute values of differences (SAD) and the sum of squares of differences of luminance values (SSD) is V, (C−V) is used as a similarity, and a small region in the search region is scanned. While creating the similarity distribution. C is an arbitrary constant for preventing the similarity from being a negative value. The other processes are the same as those in the first embodiment, and the correspondence order is calculated based on the similarity, the processing order is determined, and the association is performed.
[0041]
The normalized correlation value, the absolute value sum of luminance differences (SAD), and the square sum of the luminance value differences (SSD) will be described below.
(1) Normalized correlation
The luminance value at each position (i, j) in the small area of the left image is q _L (I, j), the luminance value at each position (i, j) in the small area B of the right image is q _R The normalized correlation value is expressed by the following equations (4a) to (4c) where (i, j) and the size of one side of the small region are w.
[0042]
[Equation 3]

[0043]
(2) Absolute sum of luminance values (SAD)
When the same symbols as in the above (1) are used, the absolute value sum E2 of the luminance difference is expressed by the following equation (5a).
[0044]
[Expression 4]

[0045]
(3) Sum of squares of luminance difference (SSD)
When the same symbols as in the above (1) are used, the square sum E3 of the luminance difference is expressed by the following equation (6a).
[0046]
[Equation 5]

[0047]
In the above embodiment, when the correspondence level calculation unit 5b-31 shown in FIG. 7 calculates the correspondence level, the other degree of correspondence when the correspondence from one image to the other image is obtained is used. In addition to the degree of self-correspondence, the degree of correspondence can be obtained from both by using the degree of self-correspondence when the correspondence is obtained from one image to the same image.
The third embodiment of the present invention using the above self-correspondence will be described below.
The processing of this embodiment is basically the same as the processing of the first embodiment described with reference to FIGS. 2 to 11, but as described above, the self-correspondence S2 is set in addition to the other-self correspondence S1. Introduce.
Self-response S2 is FIG. As shown in FIG. 5, the calculation is similarly performed from the similarity histogram determined by the small area A in the left image and the candidate area C in the left search range of the same left image. FIG. The left search range shown in FIG. 5 has the same width as the search range of the right image on the left and right sides of the target small area A. Also, the self-correspondence degree S1 is FIG. As shown in FIG. 6, the calculation is performed by the method defined in the above embodiment from the similarity histogram defined by the small area A in the left image and the candidate area B in the right search range of the right image.
[0048]
The calculation of the degree of correspondence of the target small area A in the degree-of-correspondence calculation unit 5b-31 is calculated as a value using the mixed function of the two correspondence degrees S1, S2 to f2 (S1, S2). Here, f (•) is arbitrary, but for example, the following can be considered.
f2 (S1, S2) = C1 · S1 + C2 · S2
Here, C1 and C2 are arbitrary mixing coefficients.
In the present embodiment, using the correspondence degree calculated as described above, the association processing is performed by the method described in the first embodiment, and the same processing as in the first embodiment is performed thereafter. A parallax image is obtained.
[0049]
【The invention's effect】
As described above, the following effects can be obtained in the present invention.
(1) The correspondence between the two images is performed in the order in which the correct correspondence is obtained based on the uniqueness of the correspondence regardless of the position of the image. Propagation of correspondence information can be prevented. Furthermore, for similar patterns, etc., where the stability is low and difficult to associate, the repetitive pattern, which was difficult to associate in the past, is determined by referring to the corresponding disparity values with high stability in the surrounding area. It is possible to stably obtain the correspondence of the parts, and to obtain the correct correspondence for the entire image.
(2) As feature quantities to be associated, when using edges, all edge points in the region of interest are used regardless of contrast, and when using luminance values, the luminance value distribution in the region of interest is used as it is. Using a sufficient number of features, a stable similarity distribution shape can be obtained.
Thereby, there is no hindrance to the formation of a remarkable similarity peak due to a small amount of false portions that may occur when some features such as high-contrast edge points are used, and correct correspondence can be obtained from the entire image.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is a diagram illustrating a configuration example of a system according to an embodiment of this invention.
FIG. 3 is a diagram illustrating an outline of association processing according to the first embodiment;
4 is a diagram illustrating details of a stereo association processing unit illustrated in FIG. 3; FIG.
FIG. 5 is a diagram illustrating details of a correspondence calculation unit illustrated in FIG. 4;
FIG. 6 is a diagram illustrating a method of creating a parallax histogram.
7 is a diagram showing details of a correspondence degree calculation processing unit shown in FIG. 5;
FIG. 8 is a diagram illustrating a relationship between a similarity distribution and a peak.
FIG. 9 is a diagram illustrating a relationship between a target small area and a surrounding small area.
FIG. 10 is a diagram illustrating a parallax histogram of surrounding small regions.
FIG. 11 is a diagram showing a relationship between a parallax histogram of a target small region and a mountain;
FIG. 12 is a diagram illustrating creation of a similarity distribution using correlation values / SSD values / SAD values.
FIG. 13 is a diagram showing a relationship between a self-correspondence level and another self-correspondence level.
FIG. 14 is a diagram illustrating the principle of stereo distance measurement.
[Explanation of symbols]
1-1 to 1-3 Imaging means (camera)
2 solid
3 Image correction unit
4 Feature extraction unit
5 Stereo mapping part
5a Small area dividing means
5b Correspondence level calculation part
5c Processing order determination unit
5d Small region association part
6 Distance converter

Claims

２つ以上の撮像手段により同じ物体を含む情景の映像を撮影したステレオ画像について、一方の画像の各局所領域に対して、他方画像の探索範囲内における局所映像の対応の唯一性を評価して対応度を定め、上記対応度に基づき、対応が容易に得られる順序で一方の画像の各局所領域と他方の画像の局所領域とを対応付ける方法であって、
対応が唯一に定まらない局所領域に関しては、該局所領域の対応可能性情報に加えて、該局所領域から一定範囲にある周辺の局所領域で既に対応の求まっている局所領域の対応可能性情報を用いて唯一の対応を求め、該対応付けに基づき立体形状を検出する
ことを特徴とする立体形状検出方法。For a stereo image obtained by photographing a scene image including the same object by two or more imaging means, the uniqueness of the correspondence of the local image within the search range of the other image is evaluated for each local region of one image. defining a degree of correspondence, based on the correspondence degree, a method of Ru associates the local area of each local region and the other image of one image in the sequence corresponding is easily obtained,
For a local region whose correspondence is not uniquely determined, in addition to the correspondence information on the local region, correspondence information on the local region that has already been found to be supported in the surrounding local region within a certain range from the local region. A three-dimensional shape detection method characterized in that a unique correspondence is obtained by using and a three-dimensional shape is detected based on the correspondence.

対応が唯一に求まらない局所領域の持つ対応可能性情報と、その局所領域から一定範囲にある既に対応の求まっている局所領域の対応可能性情報とを個別に扱い、Dealing with the possibility information of a local area where the correspondence is not uniquely determined, and the possibility information of the local area that is already in the fixed range from the local area,
それぞれの対応可能性の組み合わせから算出した唯一の対応を決定するDetermine the only response calculated from the combination of each response possibility
ことを特徴とする請求項１の立体形状検出方法。The three-dimensional shape detection method according to claim 1.

２つ以上の撮像手段により同じ物体を含む情景の映像を撮影したステレオ画像について、一方の画像の各局所領域に対して、他方画像の探索範囲内における局所映像の対応の唯一性を評価して対応度を定め、上記対応度に基づき、対応が容易に得られる順序で一方の画像の各局所領城と他方の画像の局所領域とを対応付ける方法であって、
一方の画像から他方画像へ対応を求めた場合の他己対応度に加えて、一方の画像から同一画像へ対応を求めた場合の自己対応度を用いて定義した対応度を使用する
ことを特徴とする立体形状検出方法。 For a stereo image obtained by photographing a scene image including the same object by two or more imaging means , the uniqueness of the correspondence of the local image within the search range of the other image is evaluated for each local region of one image. It is a method of determining the correspondence and associating each local castle of one image with the local region of the other image in the order in which correspondence is easily obtained based on the correspondence.
Use the degree of correspondence defined using the degree of self-correspondence when seeking correspondence from one image to the same image in addition to the degree of other self-correspondence when seeking correspondence from one image to the other image <br / > A solid shape detection method characterized by that.

請求項１または請求項２のいずれかの立体形状検出方法と、請求項３に記載の立体形状検出方法を組み合わせたThe solid shape detection method according to claim 1 and the solid shape detection method according to claim 3 are combined.
ことを特徴とする立体形状検出方法。A solid shape detection method characterized by the above.