JP2016197287A - 情報処理装置、情報処理方法、プログラム - Google Patents
情報処理装置、情報処理方法、プログラム Download PDFInfo
- Publication number
- JP2016197287A JP2016197287A JP2015076076A JP2015076076A JP2016197287A JP 2016197287 A JP2016197287 A JP 2016197287A JP 2015076076 A JP2015076076 A JP 2015076076A JP 2015076076 A JP2015076076 A JP 2015076076A JP 2016197287 A JP2016197287 A JP 2016197287A
- Authority
- JP
- Japan
- Prior art keywords
- image
- orientation
- target object
- shadow
- measurement target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 31
- 238000003672 processing method Methods 0.000 title description 2
- 238000005259 measurement Methods 0.000 claims abstract description 107
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims 3
- 238000004364 calculation method Methods 0.000 description 76
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000001028 reflection method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
【解決手段】 撮像装置により撮像された、計測対象物体を含む画像を取得し、前記計測対象物体の概略位置姿勢情報を取得し、前記撮像装置の位置に基づいて、前記画像における前記計測対象物体の影の方向を推定し、前記概略位置姿勢に基づき前記複数の幾何特徴を2次元平面に投影し、前記影の方向に基づいて前記幾何特徴ごとに前記計測対象物体の影に対応する可能性があるかを判定し、該可能性があると判定された幾何特徴に対して第1のフラグを設定し、前記画像から複数の画像特徴を検出し、前記概略位置姿勢に基づいて前記複数の幾何特徴を前記画像に投影し、前記設定手段で設定された第1のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づける対応づけ手段と、前記対応付け手段で対応付けされた結果に基づいて、前記計測対象物体の位置姿勢を導出する。
【選択図】 図2
Description
図1は、第1の実施形態における情報処理装置104を用いたシステム構成の模式図である。
Z. Zhang,“A flexible new technique for camera calibration,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.22,no.11,pp.1330−1334,2000
次に、情報処理装置104の機能構成例について説明する。
M、Kimura、“Projector Calibration using Arbitrary Planes and Calibrated Camera”Computer Vision and Pattern Recognition、CVPR、2007.
概略位置姿勢取得部203は、撮像装置102に対する計測対象物体101の位置及び姿勢の概略値を取得する(概略位置姿勢取得)。入力された概略位置姿勢は、計測対象物体101の位置姿勢を求める為の繰り返し演算の初期値として与えられるものである。本実施形態では、情報処理装置104は時間軸方向に連続して計測を行うものとして、前回(前時刻)の計測値を概略の位置及び姿勢として用いる。
まず、ステップS301においては、後の位置姿勢の算出に必要な情報が取得される。具体的には、計測情報、装置情報、概略位置姿勢、モデル情報が取得される。これらの情報は、それぞれ計測情報取得部201、装置情報取得部202、概略位置姿勢取得部203、モデル情報取得部204によって取得される。取得された情報については、エッジ点算出部205へ送られる。ここで、計測情報である濃淡画像は、投影装置103を用いて照明を照射した計測対象物体101を、撮像装置102で撮影された画像である。しかしながら、予め外部のメモリやネットワーク上に保持しておいたものを計測情報入力部201が読み込んだものであってもよい。また、ステップS301において取得される情報について、取得されるタイミングは、情報処理装置104の処理速度性能によって、同時であっても、順番に取得されても良く、取得される順番についても任意である。
次に、ステップS302において、エッジ検出部205によって3次元モデルと濃淡画像についてエッジの情報が算出される。
次に、ステップS303において、影方向算出部206によってモデル情報のエッジについて影が発生すると推測される方向が算出され、モデル情報に付与される。本実施形態では、算出される影方向ベクトルは、投影装置103から仮想的に設定した概略位置姿勢の3次元モデルに向かう方向ベクトルを、撮像装置102の画像面に投影したものとする。
(式1)
(式2)
ここでは、カメラ座標系を世界座標系と設定する。これにより、プロジェクション行列Pは(式3)となる。なお、カメラパラメータKの各要素a、b、c、d、eは、カメラ固有のパラメータであり上記のように予め求めておく。
(式3)
次に、プロジェクション行列P、3次元モデルの3次元位置の斉次座標(Xo、Yo、Zo、1)と撮像装置102の3次元位置の斉次座標(Xp、Yp、Zp、1)、及びそれぞれを画像面に投影した点の斉次座標(uo、vo、1)、(up、vp、1)の関係式(式4)、(式5)から、3次元モデルの画像面での位置(uo、vo)と投影装置103の画像面での位置(up、vp)を求める。そして、3次元モデルの画像面での位置(uo、vo)から投影装置103の画像面での位置(up、vp)へのベクトルr’=(up−uo、vp−vo)を求め、更に単位ベクトルr=r’/|r’|に変換し、これを影方向とする。
(式4)
(式5)
次に、画像面上での3次元モデルのエッジ点を影方向と関連付ける。この関連付けにより、以降のステップ304における誤対応箇所の抽出が可能となる。
次に、ステップS304において、誤対応箇所検出部207は、ステップS303で3次元モデルのエッジ点ごとに算出した影方向の情報に基づき、誤対応箇所として影由来のエッジ(影に起因したエッジ)に誤って対応づく可能性のあるエッジ点を抽出する。
まず、誤対応箇所検出部207は、概略位置姿勢に基づいて仮想的に設定された3次元モデルについて、モデルの面上の任意の点を撮像装置102の画像面上に投影する。3次元モデルの面上への点の設定方法としては、例えば面上で等間隔になるように設定する方法が良い。また、投影した画像面上で等間隔になるように、逆算的に3次元モデルの面上の点を求めても良い。
次に、誤対応箇所検出部207は、画像面上に設定した点から、対応する3次元モデル上の点までの距離を算出する。ここで、距離計算の対象となる点は、ステップS401において設定した3次元モデルの面に対応する点と、ステップS302において設定した3次元モデルのエッジに対応する点の両方である。つまり、ステップS402においては、撮像装置102が計測対象物体101についての距離画像を取得するように、仮想的に設定した空間上で、3次元モデルに関しての距離画像を取得するのと等価な処理を行っている。算出された距離値については、対応する画像面上の点に紐づけて保存する。
次に、誤対応箇所検出部207は、着目するエッジ点について画像面上での影方向に画像面上での近傍点を探索し、対応する距離値を取得する。ここで取得する距離値はステップS402において求めたものである。
次に、誤対応箇所検出部207は、着目するエッジ点について、次の2つの条件のいずれかを満たすかどうかを判定する。この条件は、着目するエッジ点を境界として影方向に大きな段差が存在するかを判定している。言い換えると、仮想的に設定した空間上で、着目するエッジ点近傍に影が発生しうるかを判定することで、後述の位置姿勢算出処理において誤って対応付く可能性の有無を判定している。
条件(a):影方向の近傍点が存在しない
条件(b):着目するエッジ点の距離値と近傍点の距離値の差分が閾値以上
条件(a)を満足する場合、(投影された点Pa(着目幾何特徴)から影の方向に所定の範囲を探索した結果、Pa以外(着目幾何特徴以外)のエッジ点が検出されない場合)、画像面上では点Paと背景が接して見えており、点Pから見て影方向に影が発生する可能性がある。図13(a)は条件(a)を満足する例である。一方、条件(b)を満足する場合、3次元モデルが大きな段差をもつ形状であり、点Pが段差のエッジとなっていると考えられる。この場合についても、点Pから見て影方向に影が発生する可能性がある。図13(b)は条件(b)を満足する例である。この場合、閾値と比較する値はdPb+1とdPbの差分である。条件(a)もしくは条件(b)を満足する場合、ステップS405に進み、それ以外の場合はステップS406に進む。
ステップS404において条件(a)もしくは条件(b)を満足する場合、着目するエッジ点(着目幾何特徴)の近傍には影が発生する可能性があるため、計測対象物体101の位置姿勢を算出する際には誤って対応づいてしまう可能性が生じる。よって、ステップS405では、誤対応箇所検出部207は、誤対応する可能性のある点について誤対応箇所として新たにフラグ情報を付与する。
ステップS406では、誤対応箇所検出部207は、全エッジ点について誤対応箇所であるかどうかの判定がされたかをチェックする。全エッジ点について判定がされた場合は、ステップS303の処理を終了してステップS304に移行する。一方、まだ判定がされていないエッジ点が存在する場合は、ステップS403に移行して、ステップS404からステップS406の処理を繰り返す。
次に、ステップS305において、誤対応箇所検出部207は、ステップ304で抽出したエッジ点の情報を用いて、以下で説明する処理により計測対象物体101の位置姿勢を算出する。
ステップS501において、位置姿勢算出部208が、初期化を行う。ここでは、ステップS301で取得された概略位置姿勢を3次元モデルの位置姿勢として設定する。また、モデル上のエッジ点の情報や、濃淡画像上のエッジ点の情報、および誤対応箇所に関する情報も取得する。
ステップS502において、位置姿勢算出部208は、3次元モデル上のエッジ点からステップS304で抽出した誤対応箇所と判定された点を以降の計算に反映させる処理を行う。これらの点については、フラグ情報が付与されているために容易に抽出が可能である。反映方法としては、本実施形態では、誤対応箇所の点を不活性化して以降の計算に用いないようにする。そのため、フラグ情報が付与されている点については、ステップS503で対応付けを行わない。しかしながら必ずしも不活性化する必要はない。不活性化する以外の反映方法としては、例えば後述のステップS503において、位置姿勢計測のための重み係数の値へ反映させてもよい。具体的には、誤対応箇所の点に対応する重み係数の値を誤対応箇所以外の点に対応する重み係数よりも低く設定することにより、誤対応箇所の位置姿勢算出結果への寄与を低くすることができる。
ステップS503において、位置姿勢算出部208が、エッジの対応付けを行う。図6はエッジの対応付け方法を示す図である。図6(a)は濃淡画像上に3次元モデルのエッジを投影した図である。まず画像上(画像中)に投影されたエッジ601上の制御点602ごとに、投影されたエッジ601の法線方向に探索ライン603をとる。次に、制御点を原点とした探索ラインの所定の範囲内で1次元のエッジの検出を行い、検出されたエッジの中で制御点に最も近い点を対応点として保持する。図6(b)は原点が制御点で、横軸に探索ライン、縦軸に輝度勾配の絶対値をとるグラフである。先の画像上にエッジは画素値の輝度勾配の絶対値の極値として検出される。ここでは輝度勾配の絶対値の極値が所定の閾値605よりも大きく、且つ最も制御点に近い点604を対応点とする。
ステップS504において、位置姿勢算出部208は、線形連立方程式を解くための係数行列と誤差ベクトルの算出を行う。ここで係数行列の各要素は、位置姿勢の推定値の微小変化に対する一次の偏微分係数であり、具体的には画像座標の偏微分係数である。誤差ベクトルは、投影されたエッジと検出されたエッジの画像上での距離である。
と表せる(θは定数)。ここで、
(定数)とした。制御点の画像上での位置は計測対象物体101の位置姿勢により変化する。また、計測対象物体101の位置姿勢の自由度は6自由度である。すなわちsは6次元ベクトルであり、計測対象物体101の位置を表す3つの要素と、姿勢を表す3つの要素からなる。姿勢を表す3つの要素は、例えばオイラー角による表現や、方向が回転軸を表して大きさが回転角を表す3次元ベクトルなどによって表現される。位置姿勢により変化する制御点の画像座標(u、v)は(u0、v0)の近傍で1次のテイラー展開によって(式8)のように近似できる。但しΔsi(i=1、2、・・・、6)はsの各成分の微小変化を表す。
正しいsによって得られる制御点の画像上での位置は数6が表す直線上にあると仮定できる。(式8)によって近似されるu、vを(式7)に代入することにより、(式9)が得られる。
ただし、
(定数)とした。
(式9)はステップS502において対応付けが行われたすべてのエッジについて成り立つため、(式11)のようなΔsiに関する線形連立方程式が成り立つ。
ここで(式11)を(式12)のように表す。
(式12)の線形連立方程式の係数行列Jを算出するための偏微分係数の算出は、例えば、以下の文献に記載されている方法で行う。
V.Lepetit and P.Fua、“Keypoint recognition using randomized trees、”IEEE Transactions on Pattern Analysis and Machine Intelligence、vol.28、no.9、2006.
(ステップS505)
ステップS505において、位置姿勢算出部208が、(式12)をもとに、行列Jの一般化逆行列(JT・J)−1・JTを用いてΔsを求める。
c1、c2は定数である。なお、重みを与える関数はTukeyの関数である必要はなく、例えばHuberの関数など、誤差が大きいデータには小さな重みを与え、誤差が小さいデータには大きな重みを与える関数であればなんでもよい。
重み行列Wは、対角成分以外はすべて0の正方行列であり、対角成分には重みwiが入る。この重み行列Wを用いて、(式11)を(式14)のように変形する。
(式16)のように(式15)を解くことにより補正値Δsを求める。
上記演算を、ステップS504で得られた距離画像についての対応付けについても行うことにより、濃淡画像だけでなく、距離画像を用いて精度の良い補正値を得ることができる。具体的には、距離画像も併用することによって、面方向だけでなく、奥行き方向についての位置姿勢の算出の精度が向上するという効果を得ることができる。
ステップS506では、位置姿勢算出部208が、ステップS505において算出された位置姿勢の補正値Δsにより、位置姿勢をs+Δsに更新する。
ステップS507では、位置姿勢算出部208が、位置姿勢が収束したか否かの判定を行い、収束したと判定された場合はその時の位置姿勢をフィッティング結果として処理を終了する。収束していないと判定された場合は収束するまでS502〜S506を繰り返し行う。収束判定では、S506の補正量が所定の値以下でほぼ変化がないと判定された場合に収束したと判定する。なお、収束判定の方法はこの方法に限定されるものではなく反復回数が所定回数に達した場合には、収束したものと判定してもよい。
第1の実施形態のその他の変形例としては、誤対応箇所の抽出方法として、概略位置姿勢の3次元モデルの各エッジ点について、あらかじめ影が発生しうる方向を算出しておき、影方向の情報と合わせて判定することで、誤対応箇所を抽出することができる。
第1の実施形態では、概略位置姿勢取得部203で取得する概略位置姿勢が、計測対象物体101の位置姿勢を求める演算を実施する度に任意の概略位置姿勢を取得することを想定しており、影方向算出部は演算の度に新たに影方向を算出する必要がある。一方で、計測対象物体の形状や配置の方法などによって、計測対象物体101の位置姿勢がおおよそ何通りかに決まってしまっている場合には、計算処理時間の短縮のために、あらかじめ想定される概略位置姿勢について誤って対応づく可能性のあるエッジ点を抽出しておくことが可能である。
第1の実施形態では、ステップS302において3次元モデルについて算出したエッジ点について誤対応箇所の抽出を行った。
まず、影方向算出部206は、3次元モデルのエッジ点について影方向を算出する。ステップS1201における影方向の算出方法は、第1の実施形態における、ステップS303と同様である。算出された影方向は、3次元モデルのエッジ点に紐づけられて保存される。
次に、影方向算出部206は、影方向を算出した3次元モデルのエッジ点について、濃淡画像のエッジ点との対応付けを行う。ステップS1202における対応付けの方法は、第1の実施形態における、ステップS503と同様である。
次に、影方向算出部206は、ステップS1202において対応づけられた濃淡画像のエッジ点について、ステップS1201で算出された影方向を紐づけて保存する。
次に、影方向算出部206は、3次元モデルの全エッジ点について、ステップS1201からステップS1203までの処理が完了したかをチェックする。全ての3次元モデルのエッジ点について処理が完了している場合は、ステップS1205に進む。一方、まだ処理が完了されていない3次元モデルのエッジ点が存在する場合は、ステップS1201からステップS1204の処理を繰り返す。
次に、影方向算出部206は、対応付けられていない濃淡画像のエッジ点が残っているかどうかを判定する。残っていない場合は、以降の処理を省略し、影算出の処理は終了する。残っている場合は、ステップS1206に進む。
ステップS1206では、影方向算出部206は、対応付けられていない濃淡画像のエッジ点の影方向を、既に対応付けられていている近傍のエッジ点の影方向の情報を参照して決定する。影方向の決定方法としては、例えば既に対応付けられているエッジ点のうち、最も近傍にあるエッジ点に紐づいている影方向としてよい。また、近傍の所定の領域内に複数の対応づけられたエッジ点が存在する場合は、それらのエッジ点に紐づく影方向の平均値としてもよい。ステップS1206で影方向を決定した後は、ステップS1205に戻る。
まず、誤対応箇所検出部207は、濃淡画像中の着目するエッジ点について、影方向に近傍(周囲)の画素を探索し、それらの輝度値(画素値)を取得する。ここで用いる濃淡画像は第1の実施形態において、3次元モデルとの位置姿勢算出に用いたものと同じであって構わない。
次に、誤対応箇所検出部207は、着目するエッジ点を境界として、取得した輝度値が影方向に増大しているかどうかを判定する。具体的には、図9(b)に示すような輝度プロファイルが得られた場合、着目するエッジ点Pに対する影方向の近傍に存在する画素P+1、P−1に対応する輝度値LP+1、LPー1について比較し、LP+1>LPー1の関係にあるかどうかを判定する。判定の結果、輝度値が増大していれば誤対応箇所の候補としてステップS803に進み、それ以外の場合にはステップS803からステップS806までの処理を省略してステップS807に進む。
ステップS803では、誤対応箇所検出部207は、着目するエッジ点を起点として、影方向とは逆の方向へ別のエッジ点が存在するかどうかを探索し、結果を出力する。具体的には、図9(b)のエッジ点Pを起点に影方向とは逆の方向へ探索し、探索する画素がエッジ点P´のようなエッジ点である場合は、フラグ情報を新たに付与して出力する。
ステップS804では、誤対応箇所検出部207は、ステップS803探索の結果を参照し、別のエッジ点が発見されたと判定した場合は、エッジ点P´について影方向の近傍画素の輝度値を取得してステップS805に進む。近傍に別のエッジ点が発見されなかった場合は、着目するエッジ点は誤対応箇所の候補から外れたと判定し、ステップS805とステップS806の処理を省略してステップS807に進む。
ステップS805では、誤対応箇所検出部207は、ステップS803で発見した別のエッジ点を境界として、取得した輝度値が影方向に低下しているかどうかを判定する。具体的には、図9(b)のエッジ点P´に対する影方向の近傍に存在する画素P´+1、P´−1に対応する輝度値LP´+1、LP´−1について比較し、LP´+1<LP´−1の関係にあるかどうかを判定する。判定の結果、輝度値が低下していれば誤対応箇所としてステップS806に進み、それ以外の場合には着目するエッジ点は誤対応箇所の候補から外れたと判断してステップS807に進む。
ステップS806では、誤対応箇所検出部207は、ステップS805において誤対応箇所として判定されたエッジ点について、新たにフラグ情報を付与する。なお、ステップS806での処理内容は、第1の実施形態におけるステップS405の処理内容と同様である。
ステップS807では、誤対応箇所検出部207は、全エッジ点について誤対応箇所であるかどうかの判定がされたかをチェックする。全エッジ点について判定がされた場合は、誤対応箇所抽出の処理を終了して位置姿勢の算出のための処理に移行する。一方、まだ判定がされていないエッジ点が存在する場合は、ステップS801に移行して、ステップS801からステップS807の処理を繰り返す。なお、ステップS807での処理内容は、第1の実施形態におけるステップS406の処理内容と同様である。
本実施形態は、3次元モデル上のエッジ点と対応づく濃淡画像上のエッジ点について誤対応箇所であるかどうかの判定を行い、誤対応箇所と判定された場合には、第1の実施形態と同様に以降の位置姿勢算出に反映させる、という処理を行うものである。位置姿勢算出における変形例としては、誤対応箇所について以降の計算への反映を行わずに対応づけを実施し、3次元モデルのエッジ点と濃淡画像の誤対応箇所が対応づいている場合には、近傍の別のエッジ点と置き換えるという方法を用いても良い。
第1の実施形態では、3次元モデル上のエッジ点について誤対応箇所の抽出を行った。一方、第2の実施形態では、計測情報取得部で取得した濃淡画像上のエッジ点について、誤対応箇所の抽出を行った。これらに対し、本発明における第3の実施形態では、それぞれについて誤対応箇所の抽出を行った上で、位置姿勢算出の計算を行う。本実施形態は、第1の実施形態と第2の実施形態とを組み合わせることで、それぞれの方法において発生しうる課題をお互いに補うことを可能としている。
ステップS1101では、位置姿勢導出部205が初期化を行う。概略位置姿勢やエッジ点の情報を取得する点は第1の実施形態、第2の実施形態と同様である。ただし、本実施形態では他の実施形態と異なり、3次元モデル上のエッジ点において抽出した誤対応箇所と濃淡画像上のエッジ点において抽出した誤対応箇所の両方を取得する。
ステップS1102では、位置姿勢導出部205は、3次元モデル上のエッジ点から抽出した誤対応箇所と濃淡画像上のエッジ点から抽出した誤対応箇所の点の位置を比較し、画像面上で一致する点があるかどうかを判定する。2種類の誤対応箇所の点の位置は完全に一致していなくても、着目する点間の距離がある許容範囲内であれば、一致するとみなしても良い。その場合、点間距離の許容範囲をあらかじめ設定しておく必要があり、また、点間距離を算出するステップが別途必要となる。ステップS1102において、2種対の誤対応箇所が一致すると判定された場合はステップS1103へ進み、それ以外の場合は、誤対応箇所ではないと判定してステップS1104へ進む。
ステップS1103では、位置姿勢導出部205は、ステップS1102において一致した誤対応箇所について、以降の計算に反映させる処理を行う。ここで、反映させるのは3次元モデル上のエッジ点と濃淡画像上のエッジ点の両方についてであるが、片方を反映させることで位置姿勢算出の結果に十分に効果があるのであれば、どちらか一方だけを反映させる処理であっても良い。
ステップS1104からステップS1108までにかけての処理は、第1の実施形態、第2の実施形態におけるステップS503からステップS507までにかけての処理と同様であるため、説明を省略する。
本実施形態においては、3次元モデルのエッジ点についての誤対応箇所の検出と、濃淡画像のエッジ点についての誤対応箇所の検出を独立に行っていたが、処理時間短縮のためには、必ずしも独立に実施する必要はない。例えば、どちらか一方の検出処理を先に行ってから対応付けを行い、対応付けの結果、誤対応箇所と対応づいたエッジ点が存在する場合に限り、そのエッジ点が誤対応箇所であるかどうかの判定を行ってもよい。本変形例においては、2つの誤対応箇所が一致するかどうかの判定を行わずに済むため、処理時間の短縮効果が期待できる。
第1の実施形態では、3次元モデル上のエッジ点について、影の発生する方向と概略位置姿勢の情報を用いて誤って影由来のエッジに対応づく可能性があるかどうかを判定し、位置姿勢算出において反映させることで位置姿勢計測の安定性を向上させ、ロバスト性の高い位置姿勢計測が可能となる。
また、本発明は、以下の処理を実行することによっても実現される。
Claims (12)
- 撮像装置により撮像された、計測対象物体を含む画像を取得する取得手段と、
前記計測対象物体の概略位置姿勢情報を取得する概略位置姿勢取得手段と、
前記計測対象物体の複数の幾何特徴を表す3次元モデル情報を保持する保持手段と、
前記撮像装置の位置に基づいて、前記画像における前記計測対象物体の影の方向を推定する推定手段と、
前記概略位置姿勢に基づき前記複数の幾何特徴を2次元平面に投影し、前記影の方向に基づいて前記幾何特徴ごとに前記計測対象物体の影に対応する可能性があるかを判定し、該可能性があると判定された幾何特徴に対して第1のフラグを設定する第1の設定手段と、
前記画像から複数の画像特徴を検出する検出手段と、
前記概略位置姿勢に基づいて前記複数の幾何特徴を前記画像に投影し、前記設定手段で設定された第1のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づける対応づけ手段と、
前記対応付け手段で対応付けされた結果に基づいて、前記計測対象物体の位置姿勢を導出する導出手段とを有することを特徴とする情報処理装置。 - 前記導出手段は、前記対応づけられた前記画像特徴と前記幾何特徴とのずれを小さくするように前記概略位置姿勢を更新することにより、前記計測対象物体の位置姿勢を導出することを特徴とする請求項1に記載の情報処理装置。
- 前記設定手段は、前記概略位置姿勢に基づき前記複数の幾何特徴を前記2次元平面に投影し、該投影された複数の幾何特徴のうちの着目幾何特徴から前記影の方向に所定の範囲内で探索を行った結果、前記着目幾何特徴以外の他の幾何特徴が検出されなかった場合に、前記計測対象物体の影に対応する可能性があると判定し前記第1のフラグを設定することを特徴とする請求項1に記載の情報処理装置。
- 前記設定手段は、前記概略位置姿勢に基づき三次元空間に配置された前記複数の幾何特徴を前記2次元平面に投影し、前記2次元平面における前記投影された複数の幾何特徴のうちの着目幾何特徴の方向と前記影の方向とに基づいて、前記計測対象物体の影に対応する可能性があると判定し前記フラグを設定することを特徴とする請求項1または2に記載の情報処理装置。
- 更に、前記検出手段によって検出された複数の画像特徴に対して、該画像特徴の近傍の画素値に基づいて、該画像特徴が前記計測対象物体の影に起因する画像特徴かを判定し、該影に起因する画像特徴と判定された場合に前記画像特徴に対して第2のフラグを設定する第2の設定手段を備え、
前記対応付け手段は、更に前記第2のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づけることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。 - 前記対応付け手段は、前記第1のフラグが設定されている幾何特徴については、前記画像特徴との対応付けを行わないことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 撮像装置により撮像された、計測対象物体を含む画像を取得する取得手段と、
前記計測対象物体の概略位置姿勢情報を取得する概略位置姿勢取得手段と、
前記計測対象物体の複数の幾何特徴を表す3次元モデル情報を保持する保持手段と、
前記撮像装置の位置に基づいて、前記画像における前記計測対象物体の影の方向を推定する推定手段と、
前記画像から複数の画像特徴を検出する検出手段と、
前記検出手段によって検出された複数の画像特徴に対して、前記複数の画像特徴それぞれの位置から前記影の方向に存在する画素値に基づいて、前記複数の画像特徴それぞれが前記計測対象物体の影に起因する画像特徴かを判定し、影に起因する画像特徴と判定された場合に該画像特徴に対して第2のフラグを設定する第2の設定手段と、
前記概略位置姿勢に基づいて前記複数の幾何特徴を前記画像に投影し、前記設定手段で設定された第2のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づける対応づけ手段と、
前記対応付け手段で対応付けされた結果に基づいて、前記計測対象物体の位置姿勢を導出する導出手段とを有することを特徴とする情報処理装置。 - 前記対応付け手段は、前記第2のフラグが設定されている画像特徴については、前記幾何特徴との対応付けを行わないことを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記対応付け手段は、前記幾何特徴と対応付けられた画像特徴に前記第2のフラグが設定されている場合、前記画像特徴とは異なる画像特徴を抽出し、該抽出した画像特徴と前記幾何特徴とを対応付けることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 計測対象物体を含む画像を取得する取得工程と、
前記計測対象物体の概略位置姿勢情報を取得する概略位置姿勢取得工程と、
前記撮像装置の位置に基づいて、前記画像における前記計測対象物体の影の方向を推定する推定手段と、
前記概略位置姿勢に基づき前記計測対象物体を表す複数の幾何特徴を2次元平面に投影し、前記影の方向に基づいて前記幾何特徴ごとに前記計測対象物体の影に対応する可能性があるかを判定し、該可能性があると判定された幾何特徴に対して第1のフラグを設定する第1の設定工程と、
前記画像から複数の画像特徴を検出する検出工程と、
前記概略位置姿勢に基づいて前記複数の幾何特徴を前記画像に投影し、前記設定手段で設定された第1のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づける対応づけ工程と、
前記対応付け手段で対応付けされた結果に基づいて、前記計測対象物体の位置姿勢を導出する導出工程とを有することを特徴とする情報処理方法。 - 撮像装置により撮像された、計測対象物体を含む画像を取得する取得工程と、
前記計測対象物体の概略位置姿勢情報を取得する概略位置姿勢取得工程と、
前記撮像装置の位置に基づいて、前記画像における前記計測対象物体の影の方向を推定する推定手段と、
前記画像から複数の画像特徴を検出する検出手段と、
前記検出手段によって検出された複数の画像特徴に対して、前記複数の画像特徴それぞれの位置から前記影の方向に存在する画素値に基づいて、前記複数の画像特徴それぞれが前記計測対象物体の影に起因する画像特徴かを判定し、影に起因する画像特徴と判定された場合に該画像特徴に対して第2のフラグを設定する設定工程と、
前記概略位置姿勢に基づいて前記計測対象物体を表す複数の幾何特徴を前記画像に投影し、前記設定工程において設定された第2のフラグに基づいて該投影された複数の幾何特徴と前記複数の画像特徴とを対応づける対応づけ工程と、
前記対応付け工程で対応付けされた結果に基づいて、前記計測対象物体の位置姿勢を導出する導出工程とを有することを特徴とする情報処理装置。 - コンピュータを、請求項1乃至9のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076076A JP6736257B2 (ja) | 2015-04-02 | 2015-04-02 | 情報処理装置、情報処理方法、プログラム |
DE102016003294.4A DE102016003294A1 (de) | 2015-04-02 | 2016-03-17 | Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Speichermedium |
CN201610191851.8A CN106052646B (zh) | 2015-04-02 | 2016-03-30 | 信息处理装置及信息处理方法 |
US15/087,482 US10332275B2 (en) | 2015-04-02 | 2016-03-31 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015076076A JP6736257B2 (ja) | 2015-04-02 | 2015-04-02 | 情報処理装置、情報処理方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016197287A true JP2016197287A (ja) | 2016-11-24 |
JP6736257B2 JP6736257B2 (ja) | 2020-08-05 |
Family
ID=57017366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015076076A Expired - Fee Related JP6736257B2 (ja) | 2015-04-02 | 2015-04-02 | 情報処理装置、情報処理方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10332275B2 (ja) |
JP (1) | JP6736257B2 (ja) |
CN (1) | CN106052646B (ja) |
DE (1) | DE102016003294A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020144784A1 (ja) * | 2019-01-09 | 2020-07-16 | 株式会社Fuji | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
US11170528B2 (en) * | 2018-12-11 | 2021-11-09 | Ubtech Robotics Corp Ltd | Object pose tracking method and apparatus |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017182274A (ja) * | 2016-03-29 | 2017-10-05 | セイコーエプソン株式会社 | 情報処理装置およびコンピュータープログラム |
JP6744747B2 (ja) * | 2016-04-01 | 2020-08-19 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US10621751B2 (en) | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
US10970425B2 (en) * | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
CN108245893B (zh) * | 2018-02-09 | 2021-06-29 | 腾讯科技(深圳)有限公司 | 三维虚拟环境中虚拟对象的姿态确定方法、装置及介质 |
US10311833B1 (en) | 2018-03-27 | 2019-06-04 | Seiko Epson Corporation | Head-mounted display device and method of operating a display apparatus tracking an object |
JP7257752B2 (ja) * | 2018-07-31 | 2023-04-14 | 清水建設株式会社 | 位置検出システム |
JP7190919B2 (ja) * | 2019-01-25 | 2022-12-16 | 株式会社ソニー・インタラクティブエンタテインメント | 画像解析システム |
KR102208708B1 (ko) * | 2019-08-14 | 2021-01-28 | 한국과학기술연구원 | 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치 |
JP7310526B2 (ja) * | 2019-10-14 | 2023-07-19 | 株式会社デンソー | 障害物識別装置および障害物識別プログラム |
US11348280B2 (en) | 2020-01-24 | 2022-05-31 | Seiko Epson Corporation | Method and computer readable medium for pose estimation |
CN111862199B (zh) * | 2020-06-17 | 2024-01-09 | 北京百度网讯科技有限公司 | 定位方法、装置、电子设备和存储介质 |
JP7163947B2 (ja) * | 2020-10-22 | 2022-11-01 | セイコーエプソン株式会社 | 投写領域の設定支援方法、設定支援システム、及びプログラム |
CN112633372B (zh) * | 2020-12-22 | 2023-03-24 | 三星电子(中国)研发中心 | 一种ar设备的光源估计方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012042396A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2015090560A (ja) * | 2013-11-05 | 2015-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004023322A1 (de) * | 2004-05-07 | 2005-11-24 | Daimlerchrysler Ag | Lage- und Positionsvermessung von Objekten mittels Bildverarbeitungsverfahren |
JP2011175477A (ja) * | 2010-02-24 | 2011-09-08 | Canon Inc | 3次元計測装置、処理方法及びプログラム |
US8165351B2 (en) * | 2010-07-19 | 2012-04-24 | General Electric Company | Method of structured light-based measurement |
JP6092530B2 (ja) * | 2012-06-18 | 2017-03-08 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP5711702B2 (ja) * | 2012-08-23 | 2015-05-07 | 日本電信電話株式会社 | 投影型3次元形状復元装置、投影型3次元形状復元方法及び投影型3次元形状復元プログラム |
-
2015
- 2015-04-02 JP JP2015076076A patent/JP6736257B2/ja not_active Expired - Fee Related
-
2016
- 2016-03-17 DE DE102016003294.4A patent/DE102016003294A1/de not_active Withdrawn
- 2016-03-30 CN CN201610191851.8A patent/CN106052646B/zh active Active
- 2016-03-31 US US15/087,482 patent/US10332275B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012042396A (ja) * | 2010-08-20 | 2012-03-01 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2015090560A (ja) * | 2013-11-05 | 2015-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170528B2 (en) * | 2018-12-11 | 2021-11-09 | Ubtech Robotics Corp Ltd | Object pose tracking method and apparatus |
WO2020144784A1 (ja) * | 2019-01-09 | 2020-07-16 | 株式会社Fuji | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
CN113196337A (zh) * | 2019-01-09 | 2021-07-30 | 株式会社富士 | 图像处理装置、作业机器人、基板检查装置及检体检查装置 |
JPWO2020144784A1 (ja) * | 2019-01-09 | 2021-09-30 | 株式会社Fuji | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
JP7174074B2 (ja) | 2019-01-09 | 2022-11-17 | 株式会社Fuji | 画像処理装置、作業ロボット、基板検査装置および検体検査装置 |
CN113196337B (zh) * | 2019-01-09 | 2023-08-29 | 株式会社富士 | 图像处理装置、作业机器人、基板检查装置及检体检查装置 |
US11972589B2 (en) | 2019-01-09 | 2024-04-30 | Fuji Corporation | Image processing device, work robot, substrate inspection device, and specimen inspection device |
Also Published As
Publication number | Publication date |
---|---|
US20160292889A1 (en) | 2016-10-06 |
JP6736257B2 (ja) | 2020-08-05 |
US10332275B2 (en) | 2019-06-25 |
CN106052646B (zh) | 2019-01-04 |
CN106052646A (zh) | 2016-10-26 |
DE102016003294A1 (de) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6736257B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
JP6348093B2 (ja) | 入力データから検出対象物の像を検出する画像処理装置および方法 | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
JP5832341B2 (ja) | 動画処理装置、動画処理方法および動画処理用のプログラム | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
JP6092530B2 (ja) | 画像処理装置、画像処理方法 | |
JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
JP2016103230A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5290865B2 (ja) | 位置姿勢推定方法および装置 | |
JP2015532077A (ja) | 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法 | |
JP6860620B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
JP2016148956A (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6890422B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
JP2011174878A (ja) | 位置姿勢計測装置 | |
CN118154693A (zh) | 相机内参标定方法、终端设备及存储介质 | |
JP2019168473A (ja) | 位置姿勢計測装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200616 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6736257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |