JPH0778406B2 - 多視点距離データの統合方法 - Google Patents
多視点距離データの統合方法Info
- Publication number
- JPH0778406B2 JPH0778406B2 JP3070472A JP7047291A JPH0778406B2 JP H0778406 B2 JPH0778406 B2 JP H0778406B2 JP 3070472 A JP3070472 A JP 3070472A JP 7047291 A JP7047291 A JP 7047291A JP H0778406 B2 JPH0778406 B2 JP H0778406B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- areas
- obtaining
- regions
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、産業用視覚システムや
ロボットに視覚を与えるために必要な物体認識とか、C
AD/CAMにおける物体表面上の点の三次元データ入
力に有用な、多視点距離データの統合方法に関する。
ロボットに視覚を与えるために必要な物体認識とか、C
AD/CAMにおける物体表面上の点の三次元データ入
力に有用な、多視点距離データの統合方法に関する。
【0002】
【従来の技術】人間が外界から得る情報の大部分は視覚
によっており、生活する上において大変重要な役割を果
たしていることは言うまでもない。このような視覚機能
を計算機に持たせることで自動化できる分野は極めて多
岐に亙り、かつ、将来的にもその必要性は大きい。特
に、対象となる物体が三次元物体である場合の計測や処
理技術が重要であって、従来からも他方面から種々の研
究がなされている。例えば特公昭50−36374号公
報に示されているように、三次元物体の計測の一手法と
して、レーザ光を物体に当て、三角測量の原理で物体表
面の三次元形状を測定する手法があり、また、この手法
を行なう装置として、レンジファインダと呼ばれるもの
がある。レンジファインダ自体としてならば、上記以外
にも種々のタイプのものがあるが、いずれの場合も、得
られた三次元距離データはレンジデータと呼ばれ、物体
の表面形状を表現している。したがって、このデータを
適当に処理すれば、三次元物体の当該形状を求めること
ができる。
によっており、生活する上において大変重要な役割を果
たしていることは言うまでもない。このような視覚機能
を計算機に持たせることで自動化できる分野は極めて多
岐に亙り、かつ、将来的にもその必要性は大きい。特
に、対象となる物体が三次元物体である場合の計測や処
理技術が重要であって、従来からも他方面から種々の研
究がなされている。例えば特公昭50−36374号公
報に示されているように、三次元物体の計測の一手法と
して、レーザ光を物体に当て、三角測量の原理で物体表
面の三次元形状を測定する手法があり、また、この手法
を行なう装置として、レンジファインダと呼ばれるもの
がある。レンジファインダ自体としてならば、上記以外
にも種々のタイプのものがあるが、いずれの場合も、得
られた三次元距離データはレンジデータと呼ばれ、物体
の表面形状を表現している。したがって、このデータを
適当に処理すれば、三次元物体の当該形状を求めること
ができる。
【0003】
【発明が解決しようとする課題】しかしながら、三次元
物体は、単なる一方向からの計測では裏側の部分や、視
線上に他の部分による隠れ(オクルージョン)があると
き、全体の形状を得ることができない。換言すれば、三
次元物体全体の詳細な形状を知るためには、物体を互い
に異なる複数方向から計測する必要があり、そのように
して得られた複数のデータを統合して始めて、当該対象
物体としての三次元物体の形状を正確に求めることがで
きる。してみるに、従来開発されてきた技法は、対象物
体が簡単な平面や簡単な曲面で構成されている場合にの
み、適用できると言って良く、自己オクルージョンが生
じ易い物体に適しているとは言えない。さらに、複雑な
物体を取扱う場合、測定位置を最初から求めておく限
り、その位置関係を用いてデータの統合を行なうという
手法はあったが、その前提が崩れた場合、すなわち、相
互の位置関係が未知な異なる視点から得られるデータを
統合することはできなかった。本発明はまさしくこの点
に鑑みて成されたもので、位置関係が未知な異なる視点
から得られた複数の三次元距離データをも統合可能な手
法を提供せんとするものである。
物体は、単なる一方向からの計測では裏側の部分や、視
線上に他の部分による隠れ(オクルージョン)があると
き、全体の形状を得ることができない。換言すれば、三
次元物体全体の詳細な形状を知るためには、物体を互い
に異なる複数方向から計測する必要があり、そのように
して得られた複数のデータを統合して始めて、当該対象
物体としての三次元物体の形状を正確に求めることがで
きる。してみるに、従来開発されてきた技法は、対象物
体が簡単な平面や簡単な曲面で構成されている場合にの
み、適用できると言って良く、自己オクルージョンが生
じ易い物体に適しているとは言えない。さらに、複雑な
物体を取扱う場合、測定位置を最初から求めておく限
り、その位置関係を用いてデータの統合を行なうという
手法はあったが、その前提が崩れた場合、すなわち、相
互の位置関係が未知な異なる視点から得られるデータを
統合することはできなかった。本発明はまさしくこの点
に鑑みて成されたもので、位置関係が未知な異なる視点
から得られた複数の三次元距離データをも統合可能な手
法を提供せんとするものである。
【0004】
【課題を解決するための手段】上記目的を達成するた
め、本発明では、相互の位置関係が未知であっても、異
なる複数の視点から得られた複数のレンジデータ(三次
元距離データ)間にて対応領域を求め、これにより上記
複数の視点間を移動するに要する平行移動成分と回転移
動成分とから成る移動量を求め、当該求めた移動量に基
づき、複数の多視点距離データの統合を行なう。なお、
上記における「複数の視点間を移動するに要する平行移
動成分と回転移動成分とから成る移動量」とは、視点を
固定して考え、三次元対象物体の方が動いたとするなら
ば、相対的な問題として単に移動の方向が逆になるだけ
で、上記対応領域間の平行移動成分と回転移動成分とか
ら成る移動量でもある。いずれにしてもこのような定義
に従う移動量は、以下では単に「移動量」と記す。本発
明はまた、より下位の発明として、対応領域の決定方法
についての発明も開示する。すなわち、異なる方向から
撮った三次元距離データを、各データにおいて領域分割
を行なう。そして、他の視点からでも見える確率の高い
領域を複数選択する。次に、その領域の特徴量を計算
し、各データから複数の領域の組を選び、それにより構
成された相似な図形を検索する。その上で、対応する領
域を領域対応表に記載し、これを繰返して対応数の多い
領域を一致する領域として決定する。さらに、本発明
は、移動量の抽出に関しても、一つの望ましい手順とし
て、次のような手順を提案する。まず、対応する領域同
志の重心が一致するように移動パラメータ(すなわち上
記の平行移動成分と回転移動成分)を求め、このパラメ
ータを繰返し処理で重心同志のずれを最小にするように
図る。また、本発明の一態様においては、各データを小
領域に分割してそれらに共に面を当てはめ、そのずれが
最小となるように移動パラメータを改善する。さらに繰
返し処理すれば、移動パラメータの精度を一層上げるこ
とができる。こうした手法により得られた移動量に基づ
き、複数の多視点距離データを統合する。
め、本発明では、相互の位置関係が未知であっても、異
なる複数の視点から得られた複数のレンジデータ(三次
元距離データ)間にて対応領域を求め、これにより上記
複数の視点間を移動するに要する平行移動成分と回転移
動成分とから成る移動量を求め、当該求めた移動量に基
づき、複数の多視点距離データの統合を行なう。なお、
上記における「複数の視点間を移動するに要する平行移
動成分と回転移動成分とから成る移動量」とは、視点を
固定して考え、三次元対象物体の方が動いたとするなら
ば、相対的な問題として単に移動の方向が逆になるだけ
で、上記対応領域間の平行移動成分と回転移動成分とか
ら成る移動量でもある。いずれにしてもこのような定義
に従う移動量は、以下では単に「移動量」と記す。本発
明はまた、より下位の発明として、対応領域の決定方法
についての発明も開示する。すなわち、異なる方向から
撮った三次元距離データを、各データにおいて領域分割
を行なう。そして、他の視点からでも見える確率の高い
領域を複数選択する。次に、その領域の特徴量を計算
し、各データから複数の領域の組を選び、それにより構
成された相似な図形を検索する。その上で、対応する領
域を領域対応表に記載し、これを繰返して対応数の多い
領域を一致する領域として決定する。さらに、本発明
は、移動量の抽出に関しても、一つの望ましい手順とし
て、次のような手順を提案する。まず、対応する領域同
志の重心が一致するように移動パラメータ(すなわち上
記の平行移動成分と回転移動成分)を求め、このパラメ
ータを繰返し処理で重心同志のずれを最小にするように
図る。また、本発明の一態様においては、各データを小
領域に分割してそれらに共に面を当てはめ、そのずれが
最小となるように移動パラメータを改善する。さらに繰
返し処理すれば、移動パラメータの精度を一層上げるこ
とができる。こうした手法により得られた移動量に基づ
き、複数の多視点距離データを統合する。
【0005】
【実施例】本発明の多視点距離データの統合方法は、手
順を大きく二分すると、上述した通り、異なる視点から
得られた三次元距離データ(レンジデータ:以下では単
にデータと呼ぶこともある)の対応領域を求めるステッ
プと、その対応領域から移動量を求めるステップとにな
る。以降、添付の図面に即し、本発明の具体的な実施例
に関して説明する。図2は、本実施例で複雑な三次元の
対象物体として用いた「あじさいの花」である。本図
は、通常のビデオカメラによって撮影された映像に相当
する。図3は、データ獲得方法ないし装置系の一例を示
しており、撮像装置としてビデオカメラ(512×48
0画素のものを例示)を有するレーザレンジファンダを
用いたデータ撮影部分を表している。このような手段に
よってデータ獲得を異なる視点から行ない、物体表面上
の三次元距離データであるレンジデータを複数得る。図
4は、図3に示されるような手法ないし装置系を利用し
て得られた、ある一方向からのレンジデータの一例を示
している。もちろん、撮像装置は上記のビデオカメラに
限定されるものではなく、レンジデータを獲得するため
に対象物体を撮像可能であり、当該三次元情報を得るこ
とができれば良い。
順を大きく二分すると、上述した通り、異なる視点から
得られた三次元距離データ(レンジデータ:以下では単
にデータと呼ぶこともある)の対応領域を求めるステッ
プと、その対応領域から移動量を求めるステップとにな
る。以降、添付の図面に即し、本発明の具体的な実施例
に関して説明する。図2は、本実施例で複雑な三次元の
対象物体として用いた「あじさいの花」である。本図
は、通常のビデオカメラによって撮影された映像に相当
する。図3は、データ獲得方法ないし装置系の一例を示
しており、撮像装置としてビデオカメラ(512×48
0画素のものを例示)を有するレーザレンジファンダを
用いたデータ撮影部分を表している。このような手段に
よってデータ獲得を異なる視点から行ない、物体表面上
の三次元距離データであるレンジデータを複数得る。図
4は、図3に示されるような手法ないし装置系を利用し
て得られた、ある一方向からのレンジデータの一例を示
している。もちろん、撮像装置は上記のビデオカメラに
限定されるものではなく、レンジデータを獲得するため
に対象物体を撮像可能であり、当該三次元情報を得るこ
とができれば良い。
【0006】次に、図1に即し、本発明の手順の中でも
特に重要なステップとなる対応領域の決定までにつき、
説明する。まず、図1の最初の手続にて「データ獲得」
と記されているように、図3に示したレンジファインダ
により、視点方向が大幅に変化しない程度に移動した別
の視線方向から対象物体を計測し、この手続きを繰返し
て複数方向からのそれぞれのレンジデータを得る。次
に、図1中にて「領域分割」と記されているように、前
処理として、各レンジデータにおいて領域分割を行な
う。これは例えば、データの各点について距離の近いも
のに同一のラベルを付すというラベル付けにより行なう
ことができ、この処理により、同一ラベルであるものを
一領域とする。ただし、このような距離の近さに鑑みて
の領域分割に代え、点の連続性、面の連続性等に着目し
ての領域分割も可能である。いずれにしても、分割され
た領域で点数の少ないものは利用価値が低いので、ノイ
ズとして除去する。次の「領域選択」工程では、この分
割された領域の中、他視点からのデータでも見える確率
の高いもの、つまり、領域対応に関して信頼性が高いと
考えられる領域を幾つか選択する。具体的に言えば、一
般に撮像装置(カメラ)に近いもの(前面にある領域)
は、他の領域によるオクルージョンの影響が少ないと考
えられるので、そのような領域を選択する。その外、注
目する領域の周りには他の領域がない,という条件を満
足する領域を選択するという手法も可能である。
特に重要なステップとなる対応領域の決定までにつき、
説明する。まず、図1の最初の手続にて「データ獲得」
と記されているように、図3に示したレンジファインダ
により、視点方向が大幅に変化しない程度に移動した別
の視線方向から対象物体を計測し、この手続きを繰返し
て複数方向からのそれぞれのレンジデータを得る。次
に、図1中にて「領域分割」と記されているように、前
処理として、各レンジデータにおいて領域分割を行な
う。これは例えば、データの各点について距離の近いも
のに同一のラベルを付すというラベル付けにより行なう
ことができ、この処理により、同一ラベルであるものを
一領域とする。ただし、このような距離の近さに鑑みて
の領域分割に代え、点の連続性、面の連続性等に着目し
ての領域分割も可能である。いずれにしても、分割され
た領域で点数の少ないものは利用価値が低いので、ノイ
ズとして除去する。次の「領域選択」工程では、この分
割された領域の中、他視点からのデータでも見える確率
の高いもの、つまり、領域対応に関して信頼性が高いと
考えられる領域を幾つか選択する。具体的に言えば、一
般に撮像装置(カメラ)に近いもの(前面にある領域)
は、他の領域によるオクルージョンの影響が少ないと考
えられるので、そのような領域を選択する。その外、注
目する領域の周りには他の領域がない,という条件を満
足する領域を選択するという手法も可能である。
【0007】次に、図1中に「領域の組合せ決定」と示
されている工程に移るが、そのためには、選択した各領
域について特徴量を計算する。特徴量としては、面積
(点の数)と重心等が一般的に選び易いが、法線と隣接
関係等、他の基準を採用することもできる。求めた特徴
量に基づき、データの選択された二領域間の対応を求め
る。ここで、特徴量として面積,重心を特徴量の計算基
準とした場合につき説明すると、領域の当該重心位置や
面積比は、他視点から得られたそれらとは若干のずれが
あるが、大幅に変わるものではないので、それらによっ
てマッチングを取ることができる。次に、図5に示され
ているように、上記で選択した複数の領域の数を越えな
い数の領域、例えば三領域を選び、それらの重心で三角
形を構成する。各領域の面積比をも含み、この三角形が
相似となるものを見付けることで、対応領域を求める。
もっとも、上記で選択する領域の数はもっと多くて良
く、重心を結んだ線分のなす形状も一般的に多角形とな
っていて良いが、当然のことながら、選択する領域の数
が増える程、計算コストに跳ね返る。逆に、三領域程度
であっても、精度としては一応十分と言えることが本発
明者の実験により分かっているので、その意味からは、
三角形の相似形状を見付けるのが、計算負担と信頼性の
両天秤のバランスを取った最も合理的な場合であるとも
言える。相似図形の検索は、二つのデータ領域間の対応
表を利用して行なえる。一例につき説明すると、領域対
応表を作成し、当初、ある値(一般には零が普通と考え
られるので、この実施例でもそのようにする)で初期化
しておく。そして、一致する図形が見付かったとき、対
応表中の該当欄に単位度数を加算し、これを全ての組合
せに対して繰返す。単位度数は、簡単には1であって良
く、したがって、対応する図形が見付かるたびに、該当
欄の数値は+1づつインクリメントされて行く。その結
果、対応数の多いものを一致領域とする。これにより、
二つのデータ間の対応領域が決まる。
されている工程に移るが、そのためには、選択した各領
域について特徴量を計算する。特徴量としては、面積
(点の数)と重心等が一般的に選び易いが、法線と隣接
関係等、他の基準を採用することもできる。求めた特徴
量に基づき、データの選択された二領域間の対応を求め
る。ここで、特徴量として面積,重心を特徴量の計算基
準とした場合につき説明すると、領域の当該重心位置や
面積比は、他視点から得られたそれらとは若干のずれが
あるが、大幅に変わるものではないので、それらによっ
てマッチングを取ることができる。次に、図5に示され
ているように、上記で選択した複数の領域の数を越えな
い数の領域、例えば三領域を選び、それらの重心で三角
形を構成する。各領域の面積比をも含み、この三角形が
相似となるものを見付けることで、対応領域を求める。
もっとも、上記で選択する領域の数はもっと多くて良
く、重心を結んだ線分のなす形状も一般的に多角形とな
っていて良いが、当然のことながら、選択する領域の数
が増える程、計算コストに跳ね返る。逆に、三領域程度
であっても、精度としては一応十分と言えることが本発
明者の実験により分かっているので、その意味からは、
三角形の相似形状を見付けるのが、計算負担と信頼性の
両天秤のバランスを取った最も合理的な場合であるとも
言える。相似図形の検索は、二つのデータ領域間の対応
表を利用して行なえる。一例につき説明すると、領域対
応表を作成し、当初、ある値(一般には零が普通と考え
られるので、この実施例でもそのようにする)で初期化
しておく。そして、一致する図形が見付かったとき、対
応表中の該当欄に単位度数を加算し、これを全ての組合
せに対して繰返す。単位度数は、簡単には1であって良
く、したがって、対応する図形が見付かるたびに、該当
欄の数値は+1づつインクリメントされて行く。その結
果、対応数の多いものを一致領域とする。これにより、
二つのデータ間の対応領域が決まる。
【0008】このようにして、対応領域決定に成功すれ
ば、次のようにして移動パラメータを求めることができ
る。まず、各データの重心を一致させる処理を行なう。
例えば、νabをデータaの領域bの重心ベクトルとし
て、重心間ベクトルのずれが最小となるような回転移動
成分RO を下記数式1)の評価関数を用いて最小二乗法
の繰返しで求める。
ば、次のようにして移動パラメータを求めることができ
る。まず、各データの重心を一致させる処理を行なう。
例えば、νabをデータaの領域bの重心ベクトルとし
て、重心間ベクトルのずれが最小となるような回転移動
成分RO を下記数式1)の評価関数を用いて最小二乗法
の繰返しで求める。
【0009】
【数1】
【0010】次に、χを移動前のベクトル、χ’を移動
後のベクトルとして、 χ’=RO χ+tO により、平行移動成分tO を計算する。なお、上記評価
関数による最小二乗法の繰返し処理の外にも、重心が一
致するような処理は可能であるが、本例が簡単で良い。
本実施例では、このようにして求めたRO ,tO を初期
値とし、ずれが最小になるように繰返し処理を行ない、
移動パラメータR,tを計算し、その精度を上げるよう
にしている。また、この実施例では、先に少し触れたよ
うに、データは二次元テーブル512×480で表さ
れ、各点は三次元座標を持っている。そこで、図6に示
すように、これを適当な分割数、例えば16×16の小
領域に分割し、比較するデータにおいて、図7に示すよ
うに、その領域が後の処理に利用できる条件を満足して
いるか否かを調べる。ここでは次のような四つの条件を
挙げて見る。 条件(1) 領域内の測定点の数がしきい値以上あること。 条件(2) 領域の測定点の数の差がしきい値以下であるこ
と。 条件(3) 領域の重心の距離がしきい値以下であること。 条件(4) 領域に対して面を当てはめたときのずれの分散
がしきい値以下であること。 そして、このような条件をクリアし、求めた各領域に対
して面を当てはめる。なお、当てはめる面は平面、n次
曲面等でも良いが、本実施例では領域の重心点近傍の点
からzを手前方向として、2次曲面z=f(x,y)を
当てはめ、次のデータ1,2を用意する。 データ1:R,tで移動した点により、f1(x,y)を
計算。 データ2:f2(x,y)を計算(この面は固定)。 しかるに、選択された領域の面のずれを最小にすること
で、データ間の移動パラメータの精度を上げることがで
きるので、本実施例ではωr を領域rへの重みとして、
下記のようなずれの評価関数Eを用い、最小二乗法を適
用する。 E=Σωr Σ|f1(x,y)−f2(x,y)|2 このEについて、θを回転移動成分パラメータ、tを平
行移動成分パラメータとし、下記数式2)が満たされる
とき、当該Eは最小となる。
後のベクトルとして、 χ’=RO χ+tO により、平行移動成分tO を計算する。なお、上記評価
関数による最小二乗法の繰返し処理の外にも、重心が一
致するような処理は可能であるが、本例が簡単で良い。
本実施例では、このようにして求めたRO ,tO を初期
値とし、ずれが最小になるように繰返し処理を行ない、
移動パラメータR,tを計算し、その精度を上げるよう
にしている。また、この実施例では、先に少し触れたよ
うに、データは二次元テーブル512×480で表さ
れ、各点は三次元座標を持っている。そこで、図6に示
すように、これを適当な分割数、例えば16×16の小
領域に分割し、比較するデータにおいて、図7に示すよ
うに、その領域が後の処理に利用できる条件を満足して
いるか否かを調べる。ここでは次のような四つの条件を
挙げて見る。 条件(1) 領域内の測定点の数がしきい値以上あること。 条件(2) 領域の測定点の数の差がしきい値以下であるこ
と。 条件(3) 領域の重心の距離がしきい値以下であること。 条件(4) 領域に対して面を当てはめたときのずれの分散
がしきい値以下であること。 そして、このような条件をクリアし、求めた各領域に対
して面を当てはめる。なお、当てはめる面は平面、n次
曲面等でも良いが、本実施例では領域の重心点近傍の点
からzを手前方向として、2次曲面z=f(x,y)を
当てはめ、次のデータ1,2を用意する。 データ1:R,tで移動した点により、f1(x,y)を
計算。 データ2:f2(x,y)を計算(この面は固定)。 しかるに、選択された領域の面のずれを最小にすること
で、データ間の移動パラメータの精度を上げることがで
きるので、本実施例ではωr を領域rへの重みとして、
下記のようなずれの評価関数Eを用い、最小二乗法を適
用する。 E=Σωr Σ|f1(x,y)−f2(x,y)|2 このEについて、θを回転移動成分パラメータ、tを平
行移動成分パラメータとし、下記数式2)が満たされる
とき、当該Eは最小となる。
【0011】
【数2】
【0012】しかし、実際には上記数式2)の通りに全
て零にはならないので、本実施例ではiを繰返しの回数
として、下式3),4)により、ηの値を更新して行
く。
て零にはならないので、本実施例ではiを繰返しの回数
として、下式3),4)により、ηの値を更新して行
く。
【0013】
【数3】
【0014】
【数4】
【0015】他にもηの値を更新して行く手法はあり、
このこと自体は当業者に自明であるが、さらに本実施例
ではκの値も自動的に調整し、Eが発散した場合にはそ
の値を半分にして再計算し、また、Eが振動した場合に
はκの値を徐々に小さくし、振動を抑えるようにしてい
る。他の手法として、Eの発散や振動に対して強いよう
に、κの値を小さな一定値に設定することもできるが、
本発明者の実験においては上記の自動変動性のκを用い
ている。このように更新した値ηでR,tを計算し、デ
ータ1を移動して面当てはめを行ない、データ2と比較
しながら処理を繰返す。この繰返し処理は、終了条件
(1) Eが零ないしほぼ零,終了条件(2) ΔEが零ないし
ほぼ零,終了条件(3) 繰返し回数が規定値を越えたと
き,のいずれかを満たしたときに終了する。ただし、終
了条件としては、他にも例えば、終了条件(4) Eやηの
振動が収まったとき,等も用いることができる。本実施
例では上記の通り、三つの条件(1) 〜(3) を用いている
が、この処理により、回転移動成分Rと平行移動成分t
とを決定することができる。
このこと自体は当業者に自明であるが、さらに本実施例
ではκの値も自動的に調整し、Eが発散した場合にはそ
の値を半分にして再計算し、また、Eが振動した場合に
はκの値を徐々に小さくし、振動を抑えるようにしてい
る。他の手法として、Eの発散や振動に対して強いよう
に、κの値を小さな一定値に設定することもできるが、
本発明者の実験においては上記の自動変動性のκを用い
ている。このように更新した値ηでR,tを計算し、デ
ータ1を移動して面当てはめを行ない、データ2と比較
しながら処理を繰返す。この繰返し処理は、終了条件
(1) Eが零ないしほぼ零,終了条件(2) ΔEが零ないし
ほぼ零,終了条件(3) 繰返し回数が規定値を越えたと
き,のいずれかを満たしたときに終了する。ただし、終
了条件としては、他にも例えば、終了条件(4) Eやηの
振動が収まったとき,等も用いることができる。本実施
例では上記の通り、三つの条件(1) 〜(3) を用いている
が、この処理により、回転移動成分Rと平行移動成分t
とを決定することができる。
【0016】先に図4に示した一方向からのデータと、
位置関係が未知なデータとの移動パラメータに関し、こ
こで具体的な計算例を挙げてみる。対応領域の部分では
選択された20領域の中、7領域が一致し、その重心同
志を一致させるようにすることで求めた移動パラメータ
は、 (θx,θy,θz,tx,ty,tz) =(-0.38°, 7.19°,-1.18°,-29.39mm,-0.36mm,12.39mm) であったが、データを小領域に分割して面を張り、その
ずれが最小になるように繰返し処理を施した結果は、 (θx,θy,θz,tx,ty,tz) =(-0.13°, 6.82°,-0.02°,-27.59mm,-0.40mm,11.16mm) となり、このパラメータによる統合後のずれが減少し
た。
位置関係が未知なデータとの移動パラメータに関し、こ
こで具体的な計算例を挙げてみる。対応領域の部分では
選択された20領域の中、7領域が一致し、その重心同
志を一致させるようにすることで求めた移動パラメータ
は、 (θx,θy,θz,tx,ty,tz) =(-0.38°, 7.19°,-1.18°,-29.39mm,-0.36mm,12.39mm) であったが、データを小領域に分割して面を張り、その
ずれが最小になるように繰返し処理を施した結果は、 (θx,θy,θz,tx,ty,tz) =(-0.13°, 6.82°,-0.02°,-27.59mm,-0.40mm,11.16mm) となり、このパラメータによる統合後のずれが減少し
た。
【0017】このようにして、隣接した各データについ
て上記手法で移動パラメータを求める。対応が採れない
データ間の移動パラメータについては、既知のデータを
経由して行くことでその間の移動パラメータR,tを計
算する。そして、あるデータの座標系を基準とし、デー
タを座標変換することで統合して行く。図2に示される
「あじさいの花」に関し、左から右にほぼ7°程度づつ
移動しながら全部で9つの三次元距離データを取り、そ
れらを上記手法に従って統合した結果を図8に示してお
く。図4に示されるような一方向からのみで得られたレ
ンジデータに基づいては見ることのできなかった左右の
部分が、本発明を適用して統合された図8では見えてい
る。
て上記手法で移動パラメータを求める。対応が採れない
データ間の移動パラメータについては、既知のデータを
経由して行くことでその間の移動パラメータR,tを計
算する。そして、あるデータの座標系を基準とし、デー
タを座標変換することで統合して行く。図2に示される
「あじさいの花」に関し、左から右にほぼ7°程度づつ
移動しながら全部で9つの三次元距離データを取り、そ
れらを上記手法に従って統合した結果を図8に示してお
く。図4に示されるような一方向からのみで得られたレ
ンジデータに基づいては見ることのできなかった左右の
部分が、本発明を適用して統合された図8では見えてい
る。
【0018】
【発明の効果】本発明では、相互の位置関係が既知では
なく、未知であっても、異なる視点から得られた複数の
三次元距離データにあって対応領域を求めることによ
り、その移動量を計算しているので、当該データの統合
により物体の詳細な形状情報を得ることができる。ま
た、任意の方向から得た三次元距離データの領域対応を
採ることができるため、未知の観測系自体の移動パラメ
ータを求めることができる。例えばロボットの目として
応用すると、当該ロボット自体の移動パラメータを自動
的に計測することもできる。この外、CADやCAMに
おいての対象物体の三次元距離データの自動入力等にも
有効に利用することができ、極めて広い範囲の応用が考
えられる。
なく、未知であっても、異なる視点から得られた複数の
三次元距離データにあって対応領域を求めることによ
り、その移動量を計算しているので、当該データの統合
により物体の詳細な形状情報を得ることができる。ま
た、任意の方向から得た三次元距離データの領域対応を
採ることができるため、未知の観測系自体の移動パラメ
ータを求めることができる。例えばロボットの目として
応用すると、当該ロボット自体の移動パラメータを自動
的に計測することもできる。この外、CADやCAMに
おいての対象物体の三次元距離データの自動入力等にも
有効に利用することができ、極めて広い範囲の応用が考
えられる。
【図1】本発明の多視点距離データの統合方法に従う一
実施例の重要なステップ部分の説明図である。
実施例の重要なステップ部分の説明図である。
【図2】本発明の具体的な実施例を説明するため、対象
物体の一例として採用したあじさいの花を、ビデオカメ
ラにより一方向から撮像したときの映像に相当する図で
ある。
物体の一例として採用したあじさいの花を、ビデオカメ
ラにより一方向から撮像したときの映像に相当する図で
ある。
【図3】三次元距離データないしレンジデータを獲得す
るための手法及び装置系の説明図である。
るための手法及び装置系の説明図である。
【図4】対象物体としてのあじさいの花に関し、一方向
から採られたレンジデータ例の説明図である。
から採られたレンジデータ例の説明図である。
【図5】本発明一実施例における対応領域の求め方の説
明図である。
明図である。
【図6】本発明一実施例において移動パラメータの改善
処理を行なうときに利用する小領域分割に関する説明図
である。
処理を行なうときに利用する小領域分割に関する説明図
である。
【図7】分割された小領域の性質の一例を示す説明図で
ある。
ある。
【図8】本発明の一実施例に従い、全部で9つのレンジ
データを統合した結果を示す説明図である。
データを統合した結果を示す説明図である。
Claims (8)
- 【請求項1】 相互の位置関係が未知の異なる複数の視
点から得られた複数の三元距離データの各々にそれぞれ
複数の領域を設定し、該異なる視点から得られた該複数
のデータ間の上記複数の領域同志の対応関係を求めるこ
とにより、上記複数の視点間を移動するに要する平行移
動成分と回転移動成分とから成る移動量を求め、該求め
た移動量に基づき、上記各データを統合すること; を特徴とする多視点距離データの統合方法。 - 【請求項2】 上記領域同志の対応関係を求めるに際
し、上記複数の領域の中、他の視点からでも見える確率
の高い領域を幾つか選択し、それら領域の対応関係を求
める工程を有すること;を特徴とする請求項1に記載の
方法。 - 【請求項3】 上記領域同志の対応関係を求めるに際
し、上記複数の領域の各々の特徴量を計算し、上記各デ
ータからそれぞれ複数の領域の組を選び、それにより構
成された相似な図形を検索する工程を有すること;を特
徴とする請求項1また2に記載の方法。 - 【請求項4】 上記領域同志の対応関係を求めるに際
し、領域対応表を作成して上記対応する領域を該領域対
応表に記載する処理を繰返し、対応数の多い領域を一致
する領域として決定する工程を有すること;を特徴とす
る請求項1,2または3に記載の方法。 - 【請求項5】 上記移動量を求めるに際し、上記対応す
る領域の重心が一致するようにすることでずれを最小と
して、上記平行移動成分と回転移動成分を求めること; を特徴とする請求項1,2,3または4に記載の方法。 - 【請求項6】 上記平行移動成分と回転移動成分を求め
るに際し、繰返し処理によりずれを最小とすること; を特徴とする請求項5に記載の方法。 - 【請求項7】 上記平行移動成分と回転移動成分を求め
るに際し、上記各データを小領域に分割して面を当ては
めることで該平行移動成分と回転移動成分の精度を上げ
ること; を特徴とする請求項5または6に記載の方法。 - 【請求項8】 上記移動量を求めるに際し、繰返し処
理によりずれを最小とすること;を特徴とする請求項
5,6または7に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3070472A JPH0778406B2 (ja) | 1991-03-11 | 1991-03-11 | 多視点距離データの統合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3070472A JPH0778406B2 (ja) | 1991-03-11 | 1991-03-11 | 多視点距離データの統合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0618221A JPH0618221A (ja) | 1994-01-25 |
JPH0778406B2 true JPH0778406B2 (ja) | 1995-08-23 |
Family
ID=13432504
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3070472A Expired - Lifetime JPH0778406B2 (ja) | 1991-03-11 | 1991-03-11 | 多視点距離データの統合方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0778406B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112006003363B4 (de) | 2005-12-16 | 2016-05-04 | Ihi Corporation | Verfahren und Vorrichtung zur Identifizierung der Eigenposition, und Verfahren und Vorrichtung zur Messung einer dreidimensionalen Gestalt |
CN101331381B (zh) | 2005-12-16 | 2011-08-24 | 株式会社Ihi | 三维形状数据的位置对准方法和装置 |
WO2007069721A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置 |
JP5380792B2 (ja) * | 2007-06-15 | 2014-01-08 | 株式会社Ihi | 物体認識方法および装置 |
WO2012141235A1 (ja) * | 2011-04-13 | 2012-10-18 | 株式会社トプコン | 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム |
US12014459B2 (en) | 2019-09-12 | 2024-06-18 | Sony Interactive Entertainment Inc. | Image processing device, image processing method, and program for forming an accurate three-dimensional map |
-
1991
- 1991-03-11 JP JP3070472A patent/JPH0778406B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0618221A (ja) | 1994-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4865557B2 (ja) | 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム | |
US4893183A (en) | Robotic vision system | |
US8032327B2 (en) | Auto-referenced sensing method for three-dimensional scanning | |
Dang et al. | Continuous stereo self-calibration by camera parameter tracking | |
CN102472609B (zh) | 位置和姿势校准方法及设备 | |
Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
US6381302B1 (en) | Computer assisted 2D adjustment of stereo X-ray images | |
US20040170315A1 (en) | Calibration apparatus, calibration method, program for calibration, and calibration jig | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
US11328478B2 (en) | System and method for efficient 3D reconstruction of objects with telecentric line-scan cameras | |
Muñoz-Bañón et al. | Targetless camera-LiDAR calibration in unstructured environments | |
Remondino | 3-D reconstruction of static human body shape from image sequence | |
US6175648B1 (en) | Process for producing cartographic data by stereo vision | |
CN111750804A (zh) | 一种物体测量的方法及设备 | |
CN116309813A (zh) | 一种固态激光雷达-相机紧耦合位姿估计方法 | |
CN111429571B (zh) | 一种基于时空图像信息联合相关的快速立体匹配方法 | |
Yamauchi et al. | Calibration of a structured light system by observing planar object from unknown viewpoints | |
JPH0778406B2 (ja) | 多視点距離データの統合方法 | |
Loaiza et al. | Matching segments in stereoscopic vision | |
JP2802034B2 (ja) | 三次元物体の計測方法 | |
JP3728460B2 (ja) | ステレオカメラの最適配置決定方法とそのシステム | |
Feng et al. | The comparison of camera calibration methods based on structured-light measurement | |
Pedersini et al. | Multi-camera parameter tracking | |
Kumar et al. | Real Time Incremental Foveal Texture Mapping for Autonomous Vehicles | |
Yuen et al. | Natural landmark based localisation system using panoramic images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
EXPY | Cancellation because of completion of term |