JP5430456B2 - 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 - Google Patents
幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 Download PDFInfo
- Publication number
- JP5430456B2 JP5430456B2 JP2010059923A JP2010059923A JP5430456B2 JP 5430456 B2 JP5430456 B2 JP 5430456B2 JP 2010059923 A JP2010059923 A JP 2010059923A JP 2010059923 A JP2010059923 A JP 2010059923A JP 5430456 B2 JP5430456 B2 JP 5430456B2
- Authority
- JP
- Japan
- Prior art keywords
- geometric feature
- shape model
- curved surface
- feature extraction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
本発明は、観測方向に依存したパラメトリック形状モデル等からの幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置に関する。
濃淡画像や距離画像に含まれる計測対象物体の像から認識や位置姿勢計測を行う方法としてModel−Based Visionがある。距離画像とは、各画素が奥行きの情報を持つ画像である。この方法は、撮像画像から検出される幾何特徴と、計測対象物体の3次元形状モデルから抽出される幾何特徴との対応を求め、その対応間の距離を評価関数として、認識や位置姿勢計測のパラメータを推定するものである。この技術ではあらかじめ計測対象物体の3次元形状モデルが必要となる。この3次元形状モデルとして、CADソフトによる設計データを流用する方法はCAD−Based Visionと呼ばれる。
一般的に、物体の形状を表すCADデータは、パラメトリック形状モデルにより表現されている場合が多い。パラメトリック形状モデルとは、B−Spline曲面、NURBS(Non−Uniform Rational B−Spline)曲面などのパラメトリック曲面を複数組み合わせて形状を表現するモデルである。パラメトリック曲面は、基底関数とパラメータとの組み合わせによって曲面を定義するため、少ない情報量で複雑な曲面形状を表現できるという長所を持つ。従って、物体の認識や位置姿勢計測に、設計時の形状情報をコンパクトに保持するパラメトリック形状モデルを用いれば、モデル上の幾何特徴を高精度に算出できるため、処理を精度よく行うことが可能となる。
例えば、非特許文献1では、パラメトリック形状モデルを用いて撮像した距離画像から対象物体の位置および姿勢を推定する方法として、Iterative Closest Point(ICP)アルゴリズムが開示されている。具体的には、距離画像から変換された3次元点群データに物体の3次元形状モデルを当てはめることにより物体の位置および姿勢を推定する。位置および姿勢の概略値に基づいて各3次元点に最も近い形状モデルの幾何特徴の探索を行い、点と形状モデルの幾何特徴との距離の総和が最小となるような位置および姿勢の更新を繰り返し行うという方法である。
P. J. Besl and N. D. McKay, "A method for registration of 3-D shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.14, no.2, pp.239-256, 1992.
一般的に、パラメトリック形状モデルは、複数のパラメータによる複雑な幾何演算や積和演算を必要とするため、曲面上の幾何特徴を逐次探索する場合の計算に時間を要する。そのため、パラメトリック形状モデルと撮像画像上との対応を求める際に処理時間が大きくなることが課題となる。例えば、前述したパラメトリック形状モデルを利用した位置あわせ手法(非特許文献1参照)では、距離画像から変換された3次元点群とパラメトリック形状モデルとで幾何特徴の対応を求める。その際に、パラメトリック曲面上の幾何特徴を逐次探索する必要がある。この幾何特徴を逐次探索する際に、パラメトリック曲面上の点の座標や法線を計算するための処理時間が長くなる。従って、特に撮像画像との対応を利用して3次元計測を行うようなリアルタイムでの処理における応答時間に影響を及ぼすことになる。
また特許文献1には、撮像画像中の幾何特徴が検出されやすい領域を形状モデル上からあらかじめ抽出する方法が開示されている。この方法では、撮像画像で計測が安定しやすい領域として、形状モデル上で曲率の小さい領域を幾何特徴として抽出する。しかし、この方法では、計測対象物体に対する撮像装置の位置および姿勢を考慮していない。形状モデルと撮像画像とで対応付けられるエッジや面などの幾何特徴は、計測対象物体の観測方向、すなわち計測対象物体に対する撮像装置の位置および姿勢によって大きく変化する。そのため、特許文献1の方法では、撮像装置が計測対象物体に対して傾いた位置にある場合、抽出した幾何特徴の精度が悪くなってしまうという課題がある。
また、特許文献2では、パラメトリック形状モデルを単純な等価曲面にパラメータ変換して、モデル上の幾何特徴の算出を高速化する手法が開示されている。しかし、この方法は、パラメトリック形状モデルを高速に描画することを目的としており、計測点との対応を求めるためには、結局逐次探索処理が必要となる。
上記の課題に鑑み、本発明は、パラメトリック形状モデルを用いた物体の認識や位置および姿勢計測において、撮像画像との対応関係を利用するための幾何特徴を物体の観測方向に基づいて効率的に求めることを目的とする。
上記の目的を達成する本発明に係る幾何特徴抽出装置は、
計測対象物体の3次元形状モデルを入力する第1入力手段と、
前記3次元形状モデルを構成する曲面パッチに対応する2次元のパラメータ平面を作成する作成手段と、
前記曲面パッチ上の点の法線ベクトルを算出する第1算出手段と、
前記パラメータ平面と前記法線ベクトルとを対応づけて保持する保持手段と、
前記計測対象物体を観測位置から観測する観測方向ベクトルを入力する第2入力手段と、
前記法線ベクトルと前記観測方向ベクトルとが予め定められた角度条件となる領域を、 前記パラメータ平面から選択する選択手段と、
前記選択手段により選択された領域に対応する3次元形状モデル上の座標を、前記観測位置から観測可能な3次元形状モデル上の幾何特徴領域を構成する座標として算出する第2算出手段と、
を備えることを特徴とする。
計測対象物体の3次元形状モデルを入力する第1入力手段と、
前記3次元形状モデルを構成する曲面パッチに対応する2次元のパラメータ平面を作成する作成手段と、
前記曲面パッチ上の点の法線ベクトルを算出する第1算出手段と、
前記パラメータ平面と前記法線ベクトルとを対応づけて保持する保持手段と、
前記計測対象物体を観測位置から観測する観測方向ベクトルを入力する第2入力手段と、
前記法線ベクトルと前記観測方向ベクトルとが予め定められた角度条件となる領域を、 前記パラメータ平面から選択する選択手段と、
前記選択手段により選択された領域に対応する3次元形状モデル上の座標を、前記観測位置から観測可能な3次元形状モデル上の幾何特徴領域を構成する座標として算出する第2算出手段と、
を備えることを特徴とする。
本発明によれば、パラメトリック形状モデルに対し、観測方向に応じて幾何特徴を高速に抽出することが可能になる。
(第1実施形態)
第1実施形態では、まず3次元形状モデル、特にパラメトリック形状モデルの各曲面パッチに対して、対応する法線マップを作成しておく。そして、観察位置からの計測対象物体の観測方向と法線マップとに基づいて、モデル上の幾何特徴を高速に抽出し、抽出した幾何特徴と撮像した距離画像とを対応付けることで物体の位置姿勢を計測する場合について説明する。
第1実施形態では、まず3次元形状モデル、特にパラメトリック形状モデルの各曲面パッチに対して、対応する法線マップを作成しておく。そして、観察位置からの計測対象物体の観測方向と法線マップとに基づいて、モデル上の幾何特徴を高速に抽出し、抽出した幾何特徴と撮像した距離画像とを対応付けることで物体の位置姿勢を計測する場合について説明する。
図1を参照して、第1実施形態に係る幾何特徴抽出処理部100および三次元計測装置109の構成について説明する。図1に示すように、幾何特徴抽出処理部100は、形状モデル入力部101と、法線情報保持部102と、観測方向入力部103と、特徴領域選択部104と、幾何特徴算出部105とを備える。また、三次元計測装置109は、幾何特徴抽出処理部100と、画像入力部106と、対応探索部107と、位置姿勢算出部108とを備える。各処理部は不図示のCPU等により演算が実行される。以下、幾何特徴抽出処理部100および三次元計測装置109を構成する各処理部について説明する。
第1入力手段として機能する形状モデル入力部101では、計測対象物体の形状を表すパラメトリック表現のモデルを入力する。ここで、パラメトリック表現とは、uv平面内の領域を動く2つのパラメータをu,vとして、3次元空間の点Pの座標(x,y,z)を3つの連続関数x=f(u,v)、y=g(u,v)、z=h(u,v)によって表現する方法である。図4(a)に示すように、パラメトリック形状モデルを構成する曲面パッチ400は、ベースとなるパラメトリック曲面401とuv曲線402とによって定義される。ここでuv曲線402とは、パラメトリック曲面401において有効な領域をuv平面上の輪郭で表現するものである。本実施形態では、ベースとなるパラメトリック曲面401としてB−Spline曲面を用いる。
各B−Spline曲面はuv平面に対応する碁盤の目状に配置されたn×m個の制御点列と、u方向(n+p個)及びv方向(m+q個)のノット列とによって定義される。例えば図4(b)に示すように、p1、p2、…、p8は、図4(a)の曲面パッチ400のベース曲面であるパラメトリック曲面401(B−spline曲面)を定義する制御点を示している。しかし、ベースとなるパラメトリック曲面401は、2次元パラメータ(u,v)から3次元座標(x,y,z)への写像を行う曲面であればよい。すなわちパラメトリック曲面401は、ベジェ曲面であっても、NURBS(Non−Uniform Rational B−Spline)曲面であっても、解析曲面であってもよい。また、ポリゴンモデルを上述したパラメトリック曲面401へ変換したものであってもよい。さらに、このベース曲面であるパラメトリック曲面401に対して、曲面上で有効となる領域をuv平面により定義するuv曲線402を用いて一つの曲面パッチ400を表現する。uv曲線402は方向を持つ一本の閉曲線により構成され、uv平面上を閉曲線に沿って進んだときに左側に存在する領域を曲面上で有効な領域とする。
作成手段、第1算出手段、及び保持手段として機能する法線情報保持部102は、パラメトリック形状モデルを構成する各曲面パッチについて、対応する法線マップ画像を作成する。より具体的には、各画素に対して3値を保持するような2次元画像を作成し、この画像を各曲面パッチに対応するu,vのパラメータ空間(パラメータ平面)とみなす。そして、画像上の各画素(u,v)に対して3次元パラメトリック曲面上の点の法線(nx, ny, nz)Tを算出する。さらに、求めた法線(nx, ny, nz)Tの3値をu,vの2次元画像上の対応する画素(u,v)に対して保持することで法線マップ画像を作成する。ここで作成した各曲面の法線マップ画像は、特徴領域選択部104において、観測画像上で有効な幾何特徴となる領域を選択する際に用いられる。あらかじめ曲面パッチの3次元法線ベクトルを、2次元の法線マップに集約して作成しておくことでランタイムでの法線の算出を省くことが可能となる。
第2入力手段として機能する観測方向入力部103は、計測対象物体を撮像する撮像装置の計測対象物体に対する方向を入力する。ここで、撮像装置の計測対象物体に対する方向とは、撮像装置の座標系を基準とした場合の計測対象物体の概略位置姿勢を表す。本実施形態では、ここで入力される概略位置姿勢を手がかりとして、抽出したモデル上の幾何特徴を利用して、撮像装置を基準とした場合の計測対象物体の位置姿勢を高精度に計測する。従って、概略位置姿勢は撮像装置に対する計測対象物体のおおよその位置姿勢であればよい。なお、位置姿勢の計測は時間軸方向に連続して行うものとし、前回(前時刻)の概略位置姿勢の計測結果を用いて現在時刻の計測物体の観測方向として用いる。しかしながら、計測対象物体の観測方向の入力方法はこれに限るものではない。例えば、過去の計測値から物体の運動の速度や角速度を線形フィルタやカルマンフィルタなど時系列フィルタリング処理により推定し、推定された速度や角速度によって現在の時刻における物体の計測物体の観測方向を予測したものを用いてもよい。また、他のセンサによる計測対象物体の観測方向の計測が可能である場合には、他のセンサによる出力値を計測対象物体の観測方向として用いてもよい。センサは、例えばトランスミッタが発する磁界を物体に装着するレシーバで検出することにより姿勢を計測する磁気式センサであってもよい。その他、物体の概略位置姿勢を計測するセンサであればいかなるセンサであってもよい。また、計測対象物体の置かれているおおよその位置姿勢があらかじめわかっている場合には、その値を用いてもよい。あるいは、計測対象物体を含む情景を撮影した画像や、距離画像から物体認識技術を利用して計測対象物体の観測方向を推定してもよい。観測方向入力部103により入力された計測対象物体の観測方向は、特徴領域選択部104で用いられる。
選択手段として機能する特徴領域選択部104は、観測方向入力部103により入力された観測位置からの観測方向より求まる視線ベクトル(観測方向ベクトル)と、法線情報保持部102の保持する各曲面パッチの法線とを比較する。そして、観測画像上で可観測となるモデル上の特徴領域をuv平面において判定する。
第2算出手段として機能する幾何特徴算出部105は、特徴領域選択部104により選択されたuv平面の領域に対して、対応するパラメトリック曲面の幾何特徴を算出する。具体的には、2次元パラメータ(u,v)から対応する曲面上の点の3次元座標(x,y,z)を3次元形状モデル上の幾何特徴領域を構成する座標として算出する。あるいは、2次元パラメータ(u,v)から3次元座標(x,y,z)をあらかじめ算出したものをテーブルとして保持し、テーブルを参照してもよい。
上述における各処理部が、幾何特徴抽出に関する処理を行う。本実施形態における各処理部を用いて実際の距離画像から物体の位置姿勢を求めるために、画像入力部106、対応探索部107、位置姿勢算出部108が用いられる。
画像入力部106は、距離画像を撮像する距離センサである。距離画像とは、各画素が奥行きの情報を持つ画像である。距離センサとしては、対象に照射したレーザ光やスリット光の反射光をカメラで撮影し、三角測量により距離を計測するアクティブ式のものが利用できる。しかしながら、距離センサはこれに限るものではなく、光の飛行時間を利用するTime−of−flight方式であってもよい。また、ステレオカメラが撮影する画像から三角測量によって各画素の奥行きを計算するパッシブ式であってもよい。その他、距離画像を計測するものであればいかなるものであっても本発明の本質を損なうものではない。
対応探索部107は、画像入力部106により入力された画像上の幾何特徴と、幾何特徴算出部105で算出した幾何特徴との対応付けを行う。具体的な幾何特徴の対応付け方法としては、例えば、[Chen, Y. and Medioni, G. “Object Modeling by Registration of Multiple Range Images,” Proc. IEEE Conf. on Robotics and Automation,1991.]に紹介されているような手法がある。この方法により、算出した点から法線方向に探索を行い、距離画像の計測点を連結したメッシュとの交点を求め、交点を対応付けてもよい。あるいは、概略位置姿勢に基づいて算出した幾何特徴を投影し、距離画像上で、計測点と同じ画素に投影されたものを対応付けてもよい。あるいは、算出した点に対し、法線方向に3次元空間上を探索し、距離画像のメッシュとの交差判定を行って、交差したメッシュとの対応を利用してもよい。
位置姿勢算出部108は、対応探索部107において対応付けられた形状モデルの幾何特徴と距離画像上の幾何特徴との組を用いて、計測対象物体の位置姿勢を推定する。計測対称物体の位置姿勢の算出方法としては、繰り返し最適化により、対応付けられた形状モデルの幾何特徴と距離画像上の幾何特徴との組の3次元空間中での位置の差異を最小化することによって行う。なお、ここで述べた画像入力部106、対応探索部107、位置姿勢算出部108は一例であって、距離画像とモデルを利用する位置あわせ処理との組み合わせであっても構わない。
本発明に係る幾何特徴抽出装置により、観測方向に則した幾何特徴を高速に抽出できるため、位置姿勢計測も高速に行うことが可能となる。
次に、図2を参照して、第1実施形態において、計測対象物体のパラメトリック形状モデルから幾何特徴を抽出する処理手順を示すフローチャートについて説明する。
次に、図2を参照して、第1実施形態において、計測対象物体のパラメトリック形状モデルから幾何特徴を抽出する処理手順を示すフローチャートについて説明する。
ステップS201において、形状モデル入力部101により計測対象物体のパラメトリック形状モデルを入力する。本実施形態において、モデルは複数のB−Spline曲面パッチにより表されるものとする。
ステップS202において、パラメトリック形状モデルの各曲面パッチに対して法線マップ画像を作成する。ここで、図3(a)はステップS202における法線マップ作成の処理手順を説明するフローチャートである。以下、各処理について説明する。
ステップS301において、各曲面パッチに対応したuv平面を表現する画像をそれぞれ作成する。このとき、各曲面パッチのモデル上でのスケールに応じて、モデル上で面積が大きいものは高解像度で、小さいものは低解像度でuv平面を作成することにより、モデル上での幾何特徴の密度が均一になるようにする。より具体的には、各曲面パッチを表すuvのパラメータ空間が0≦u≦1、0≦v≦1に正規化されているものとする。例えば、図4(a)のベース曲面(パラメトリック曲面401)を定義する図4(b)の制御点に対し、uv平面の四隅の点が対応するとする。すなわち、(u,v)=(0,0)、(0,1)、(1,1)、(1,0)に対応する制御点がそれぞれp1=(x1,y1,z1)、p4=(x4,y4,z4)、p8=(x8,y8,z8)、p5=(x5,y5,z5)であるとする。このとき、各曲面パッチを表すuv平面の画像解像度比U:Vを、以下の式(1)のように決定する。
ただし、画像解像度の決定方法には、例えば、制御点の代わりにuv平面の四隅に対応した曲面上の点を使用してもよいし、uv平面の解像度をすべて同一にしてもよい。その他、画像解像度の決定方法はいかなる方法であってもよい。
ステップS302において、各曲面パッチのuv平面を表す画像に対して当該曲面パッチの輪郭を描画して、図5(a)に示されるように、パラメトリック曲面401の有効領域を設定する。具体的には、まず、画像座標を0≦u≦1、0≦v≦1となるよう正規化した上で、uv平面上に曲面パッチ400の輪郭であるuv曲線402を描画する。このとき、方向を持つuv曲線402がuv平面上を進行するとして、左側に存在する領域を有効領域、右側に存在する領域を無効領域とする。そして、無効領域に属する各画素に対して無効領域であることを示すため、法線では3値のノルムが1であるのに対し、それと区別が出来るよう各画素に対して格納する3値をそれぞれ0として記録しておく。
ステップS303において、ステップS302で有効領域であると判定されたuv平面の各画素(u,v)に対して、対応する曲面パッチ上の点pのモデル座標系における法線を算出し、画素(u,v)に対応付けて登録しておく。具体的には、各画素(u,v)に対し、対応する各曲面上の点の法線をn(u,v)=(nx,ny,nz)Tと表す場合、n(u,v)は以下の式(2)により求まる。
ここで、Ψ=Ψ(u,v)は、パラメータ(u,v)に対応する曲面上の点pの座標(x,y,z)を表す。なお、求めた法線ベクトルn(u,v)は、ノルムが1となるよう正規化して単位法線ベクトルとする。次に、式(2)により求めたn(u,v) = (nx,ny,nz)Tの3値を画素(u,v)に対応させて保持しておく。より具体的には、例えば、当該画素(u,v)の画素値(r,g,b)を、算出した単位法線ベクトル(nx,ny,nz)Tによりr=nx、g=ny、b=nzと置く。そして図5(b)に示されるようなUV法線マップとして保持しておく。ただし、各画素に対する法線の保持の仕方はこの限りではない。例えば、曲面上で有効領域と判定されたuv平面の画素のみを抽出して、各画素に対する法線ベクトルn(u,v)を対応付けてテーブルに保持してもよい。
本実施形態では、曲面の有効領域をあらかじめuv平面で表現し、さらに各画素(u,v)に対応付けて法線ベクトルをあらかじめ求めておく。これにより、輪郭線による曲面の有効領域の判定や法線の算出をリアルタイムで行う必要がないため、処理の高速化が可能となる。
法線マップの作成後、図2のフローチャートに戻りステップS203において、計測対象物体の観測方向を観測方向入力部103により幾何特徴抽出処理部100に入力する。前述したように、物体の位置及び姿勢の概略値としては、前の時刻において計測された位置及び姿勢を用いることができる。また、速度や角速度などの運動の推定結果を加味した位置及び姿勢の予測値、他のセンサによる計測値、そして2次元画像や距離画像からの物体認識結果などを用いることもできる。本実施形態では前の時刻において計測された位置及び姿勢を用いる。
ステップS204において、ステップS203で入力された計測対象物体の観測方向およびステップS202で作成された法線マップに基づいて、パラメトリック形状モデル上から幾何特徴となる領域を選択する。ここで図3(b)を参照して、ステップS204における幾何特徴領域選択の処理手順を示すフローチャートについて説明する。
ステップS351において、観測方向および撮像装置の内部パラメータ(焦点距離、主点位置)に基づき、撮像装置の視線ベクトル(観測方向ベクトル)e =(ex,ey,ez)Tを算出する。ここで、視線ベクトルとは、撮像装置の座標系を基準とした場合の、撮像画像の画像中心に対する方向を示すベクトルである。この視線ベクトルe =(ex,ey,ez)Tを、回転成分r11〜r33と並進成分tx、ty、tzとから成る変換行列Rを用いて変換する。具体的には、撮像装置の座標系表現からパラメトリック形状モデルの座標系表現へと変換した視線ベクトルe’=(ex’,ey’,ez’)Tを式(3)により求める。
なお、モデル座標系表現に変換した視線ベクトルe’は、ノルムが1となるよう正規化する。ただし、視線ベクトルをパラメトリック形状モデル座標系へ変換せず、あるいは、法線マップの法線を撮像装置の座標系へ変換してもよい。
ステップS352において、観測可能な曲面パッチを選択する。すなわち、パラメトリック形状モデルを構成する全曲面パッチの中から、入力された観測方向からはセルフオクルージョンにより観測されない曲面パッチをカリングし、撮像画像上で観測される曲面パッチのみを選択する。具体的には、オフライン処理として、予め多数の方向からパラメトリック曲面モデルを描画し、各方向において観測される曲面パッチのみを方向ごとに登録しておく。そして、オンライン処理では、ステップS351において算出された視線ベクトルに対して、登録しておいた方向の中から最も近いものを選択し、当該方向に登録されている曲面パッチを選択する。ただし、撮像画像上で観測される曲面パッチの選択方法はこの限りではない。例えば、パラメトリック曲面モデルを描画した画像に対してデプスマップを参照し、セルフオクルージョンとなる画素領域を各曲面パッチの法線マップ上に登録したものを方向別に保持してもよい。
ステップS353において、ステップS352で選択された曲面パッチの各法線マップに対して、法線マップの中からステップS302で有効領域と設定された画素(u,v)の法線ベクトルnとステップS351で求めた視線ベクトルe'との内積を算出する。そして、入力された観測方向においてモデル上から観測される幾何特徴領域を判定する。
図6を参照して、計測対象物体の観測方向に基づいて各曲面パッチ上の幾何特徴を抽出する仕組みについて説明する。図6(a)は、撮像装置600により、ある観測方向からひとつの曲面パッチを撮像する様子を示している。また、図6(b)は、図6(a)の様子を断面線604により分割した断面図を表している。そして、図6(c)はこのときの撮像画像620を示している。撮像画像620において物体曲面の表側が可観測となる領域622は、曲面の法線ベクトルと視線ベクトルとのなす角度をθ(0°≦θ≦180°)とすると、θ>90°となる領域613に対応する。これに対して、θ≦90°となる輪郭エッジ領域614及び非観測領域615については、曲面パッチのエッジおよび裏側が観測され、曲面の表側は観測されない。そこで、視線ベクトルe’と、各画素に対応づけられた曲面の法線ベクトルnとの内積n・e’を利用して、観測方向において可観測となる角度条件を曲面パッチ上の領域を法線マップ上で判定する。具体的には、内積n・e’を以下の式(4)により求める。
この式(4)で求めた内積n・e’に対して、方向ベクトルに対して表面が観測される領域を判定するため、ある閾値(threshold)を予め定め、以下の式(5)を満たす画素(u,v)を撮像画像上で可観測な局所領域と判定する。
この閾値には、十分に小さい値を利用する。撮像装置の視線ベクトルに基づき、上述の式(5)により可観測となる特徴領域を判定することで、撮像装置と計測対象物体との位置関係により変化する幾何特徴を、パラメトリック形状モデルから高速かつ精度よく抽出することが可能となる。
上記のように特徴領域を選択した後、図2のステップS205において、幾何特徴算出部105により、可観測な局所領域であると判定された法線マップ中の画素(u,v)に対して対応する曲面上の点の座標(x,y,z)を求める。ここで座標が求められた点を、撮像画像上の幾何特徴と対応付けて位置姿勢推定に利用する。
ステップS206において、画像入力部106により距離センサからの奥行き情報が格納された距離画像を撮影し、三次元計測装置109に入力する。
ステップS207において、対応探索部107を用いて、ステップS205で算出した形状モデル上の幾何特徴と、ステップS206で撮像した距離画像上の幾何特徴とを対応付け、対応付けた形状モデルの幾何特徴と距離画像上の幾何特徴の組を出力する。
ステップS208において、位置姿勢算出部108を用いて、非線型最適化手法により計測対象物体の位置及び姿勢を更新する。
ステップS209において、収束判定を行い、収束していれば終了し、収束していなければステップS203に戻る。収束判定では、例えば、位置及び姿勢の更新前後の誤差ベクトルの二乗和の差を用いて判定する。
以上述べたように、第1実施形態では、各曲面パッチに対して法線マップを作成しておき、計測対象物体の観測方向と法線方向との内積に基づいて、位置姿勢推定において距離画像上の幾何特徴と対応付けるための幾何特徴を高速に抽出できる。
(第2実施形態)
第1実施形態においては、撮像装置の視線ベクトルと各曲面パッチの法線との内積n・e’を求めてn・e’の値がある閾値以下となる画素は画像上で可観測な面領域と判定し、距離画像での位置あわせに有効な幾何特徴として抽出した。しかし、その一方で、法線ベクトルと視線ベクトルとが直交する領域は、図6(b)でみられるように、輪郭エッジ領域614となる。従って、輪郭エッジとなる領域を2次元画像との位置あわせに有効なエッジ幾何特徴として利用してもよい。具体的には、ある小さな値である閾値(threshold)を定めておき、以下の式(6)を満たす画素については輪郭エッジ領域と判定する。
第1実施形態においては、撮像装置の視線ベクトルと各曲面パッチの法線との内積n・e’を求めてn・e’の値がある閾値以下となる画素は画像上で可観測な面領域と判定し、距離画像での位置あわせに有効な幾何特徴として抽出した。しかし、その一方で、法線ベクトルと視線ベクトルとが直交する領域は、図6(b)でみられるように、輪郭エッジ領域614となる。従って、輪郭エッジとなる領域を2次元画像との位置あわせに有効なエッジ幾何特徴として利用してもよい。具体的には、ある小さな値である閾値(threshold)を定めておき、以下の式(6)を満たす画素については輪郭エッジ領域と判定する。
その後、輪郭エッジ領域であると判定された画素に対して、ステップS205と同様の処理により、曲面上の点の座標(x,y,z)を求める。ここで座標が求められた点を、撮像画像上の幾何特徴と対応付けて位置姿勢推定に利用する。具体的には、形状モデルの幾何特徴上の点を2次元画像上に投影し、投影された点の周辺領域に対応する幾何特徴を2次元画像上で探索することにより、形状モデルの幾何特徴と2次元画像上での幾何特徴とを対応付ける。さらに、具体的な位置姿勢の算出方法としては、繰り返し最適化により、対応付けられた形状モデルの幾何特徴と撮像した2次元画像上の幾何特徴との組の2次元画像上での距離の総和を評価関数とすることで最適化演算を行うことが可能である。
あるいは、法線マップ上の近傍4画素(u−1,v−1)、(u,v−1)、(u−1,v)、(u,v)に対して n・e’の符号に着目してもよい。すなわち、この内積の符号の切り替わる領域に輪郭エッジ領域が存在すると判定して、4画素の内積の補間により輪郭エッジとなる画素(u’,v’)を求めてもよい。具体的には、例えば、同一の行に存在する画素の内積の符号がそれぞれ同一であり、かつ、2つの行で符号が異なる場合、行間に輪郭エッジが存在すると判定する。このとき、各画素の内積値から符号が0となる画素を補間して求めることで輪郭エッジとなる画素(u’,v’)と、エッジの方向とを算出することが可能である。この場合、表面パッチ上における輪郭エッジを、点の座標とエッジの方向により、エッジ線分として検出可能となる。従って、形状モデル上の輪郭エッジである点の座標とエッジの方向とを2次元画像上に投影し、投影されたエッジ線分の垂直方向に対し、対応する幾何特徴を1次元的に探索することにより、形状モデルの幾何特徴と2次元画像上での幾何特徴とを対応付ける。その後の位置姿勢推定は第1実施形態で述べた方法により同様に行うことが可能である。
(第3実施形態)
第1実施形態においては、計測対象物体の観測方向に基づき、撮像画像の視線ベクトルを求め、各曲面パッチの法線マップと視線ベクトルとの内積により幾何特徴を判定した。しかしながら、撮像装置の観測方向に基づき、撮像画像の各画素に対する方向ベクトルを求め、これを視線ベクトルの代わりに用いてもよい。具体的には、法線マップの各画素(u,v)に対し、法線n= (nx, ny, nz)Tとともに、対応する曲面上の点の座標(x,y,z)を算出しておき、法線と対応付けて保持する。特徴領域選択部104では、算出しておいた点を撮像装置の概略位置姿勢およびカメラ内部パラメータに基づいて撮像画像上に投影し、投影された点の画像座標を求める。次に、投影された点の画像座標に対する方向ベクトルを求め、モデル座標系に変換する。さらに、曲面上の点が投影された画像座標に対する方向ベクトルと、投影した曲面上の点の法線ベクトルとの内積を求め、第1実施形態と同様の方法により幾何特徴領域を判定する。この例では、視線ベクトルではなく、各曲面上の点を画像上に投影した画素に対する方向ベクトルを用いることで、撮像画像上で可観測となる幾何特徴をより高精度に判定することが可能である。さらに、曲面上の点の法線だけでなく曲面上の点の座標もあらかじめ算出しておくことで、幾何特徴抽出時に点の座標算出処理を行う必要がなく、さらに高速に幾何特徴を抽出することが可能となる。ただし、方向ベクトルと法線ベクトルとの対応の求め方はこの限りではない。例えば、各曲面パッチに対してパッチを覆うBounding Boxを設定しておき、各画素への方向ベクトルとBounding Boxとの交差判定を行う。その後、交差したBounding Boxに対応する曲面パッチの各法線ベクトルと、交差した方向ベクトルとの内積により幾何特徴領域を判定してもよい。あるいは、各曲面パッチに対してパッチの重心座標を求めておき、曲面上の点の座標を投影する代わりに重心座標を代表として用いてもよい。その他、各曲面パッチ上の点の法線ベクトルと観測方向を表すベクトルとの対応関係を求める方法であればいかなる方法であってもよい。
第1実施形態においては、計測対象物体の観測方向に基づき、撮像画像の視線ベクトルを求め、各曲面パッチの法線マップと視線ベクトルとの内積により幾何特徴を判定した。しかしながら、撮像装置の観測方向に基づき、撮像画像の各画素に対する方向ベクトルを求め、これを視線ベクトルの代わりに用いてもよい。具体的には、法線マップの各画素(u,v)に対し、法線n= (nx, ny, nz)Tとともに、対応する曲面上の点の座標(x,y,z)を算出しておき、法線と対応付けて保持する。特徴領域選択部104では、算出しておいた点を撮像装置の概略位置姿勢およびカメラ内部パラメータに基づいて撮像画像上に投影し、投影された点の画像座標を求める。次に、投影された点の画像座標に対する方向ベクトルを求め、モデル座標系に変換する。さらに、曲面上の点が投影された画像座標に対する方向ベクトルと、投影した曲面上の点の法線ベクトルとの内積を求め、第1実施形態と同様の方法により幾何特徴領域を判定する。この例では、視線ベクトルではなく、各曲面上の点を画像上に投影した画素に対する方向ベクトルを用いることで、撮像画像上で可観測となる幾何特徴をより高精度に判定することが可能である。さらに、曲面上の点の法線だけでなく曲面上の点の座標もあらかじめ算出しておくことで、幾何特徴抽出時に点の座標算出処理を行う必要がなく、さらに高速に幾何特徴を抽出することが可能となる。ただし、方向ベクトルと法線ベクトルとの対応の求め方はこの限りではない。例えば、各曲面パッチに対してパッチを覆うBounding Boxを設定しておき、各画素への方向ベクトルとBounding Boxとの交差判定を行う。その後、交差したBounding Boxに対応する曲面パッチの各法線ベクトルと、交差した方向ベクトルとの内積により幾何特徴領域を判定してもよい。あるいは、各曲面パッチに対してパッチの重心座標を求めておき、曲面上の点の座標を投影する代わりに重心座標を代表として用いてもよい。その他、各曲面パッチ上の点の法線ベクトルと観測方向を表すベクトルとの対応関係を求める方法であればいかなる方法であってもよい。
(第4実施形態)
第1実施形態においては、各曲面パッチの法線マップの画像解像度は、モデル中での曲面パッチの相対的な面積比に応じてサイズを決定していた。しかし、これに加えて、撮像画像の視点を考慮して使用する法線マップの画像解像度を切り替えてもよい。具体的には、まず曲面パッチの法線マップの解像度を階層的に設定して複数作成しておく。そして、観測方向入力部103により入力される撮像装置の概略位置姿勢に基づき、計測対象物体と撮像装置との距離が離れている場合には、解像度の低い法線マップを使用して幾何特徴の判定を行う。これにより、視点が遠い場合には粗くサンプリングして作成した低解像度の法線マップを利用することで処理を減らし、高速に幾何特徴を求めることが可能となる。また、視点が近い場合は細かくサンプリングして作成した高解像度の法線マップに基づいて高精度に幾何特徴を求めることが可能となる。
第1実施形態においては、各曲面パッチの法線マップの画像解像度は、モデル中での曲面パッチの相対的な面積比に応じてサイズを決定していた。しかし、これに加えて、撮像画像の視点を考慮して使用する法線マップの画像解像度を切り替えてもよい。具体的には、まず曲面パッチの法線マップの解像度を階層的に設定して複数作成しておく。そして、観測方向入力部103により入力される撮像装置の概略位置姿勢に基づき、計測対象物体と撮像装置との距離が離れている場合には、解像度の低い法線マップを使用して幾何特徴の判定を行う。これにより、視点が遠い場合には粗くサンプリングして作成した低解像度の法線マップを利用することで処理を減らし、高速に幾何特徴を求めることが可能となる。また、視点が近い場合は細かくサンプリングして作成した高解像度の法線マップに基づいて高精度に幾何特徴を求めることが可能となる。
(第5実施形態)
第1実施形態では、パラメトリック形状モデルに対して、位置姿勢推定時に使用する幾何特徴を観測方向に基づいて高速に抽出する場合について説明した。第2実施形態では、異なる多数の視点の観測画像においてパラメトリック形状モデルから抽出される曲面上の点の曲率を事前に計算して、この曲率を用いて、距離画像から計測対象物体の「認識」を行う場合について説明する。ここで、「認識」とは、撮像画像上にどのような物体が存在していて、さらにその物体がどのような位置姿勢であるか、すなわちおおよその位置姿勢を求めることを意味する。
第1実施形態では、パラメトリック形状モデルに対して、位置姿勢推定時に使用する幾何特徴を観測方向に基づいて高速に抽出する場合について説明した。第2実施形態では、異なる多数の視点の観測画像においてパラメトリック形状モデルから抽出される曲面上の点の曲率を事前に計算して、この曲率を用いて、距離画像から計測対象物体の「認識」を行う場合について説明する。ここで、「認識」とは、撮像画像上にどのような物体が存在していて、さらにその物体がどのような位置姿勢であるか、すなわちおおよその位置姿勢を求めることを意味する。
図7を参照して、第5実施形態における幾何特徴抽出処理部700および物体認識装置709の構成について説明する。幾何特徴抽出処理部700の構成は、第1実施形態における幾何特徴抽出処理部100と同様であり、形状モデル入力部701と、法線情報保持部702と、観測方向入力部703と、特徴領域選択部704と、幾何特徴算出部705とを備える。また、物体認識装置709は、幾何特徴抽出処理部700と、画像入力部706と、類似度算出部707と、認識判定部708とを備える。以下、幾何特徴抽出処理部700および物体認識装置709を構成する各処理部について説明する。なお、形状モデル入力部701、法線情報保持部702、特徴領域選択部704、画像入力部706は、第1実施形態の各対応する処理部と同様であるため、説明を省略する。
観測方向入力部703は、計測対象物体を撮像する観測方向を入力する。ここで、観測方向とは、ある視点から計測対象物体への方向を意味する。物体認識では、物体がどのような位置姿勢で存在するかを求めるために、あらかじめ複数の視点から対象物体を観測した画像をデータベースとして複数保持しておく。そしてデータベースの複数の画像と入力画像との幾何特徴の類似度を判定して、最も類似度の高い画像を選択することにより、物体のおおまかな位置姿勢を認識する。観測方向入力部703では、データベースとして保持する複数の観測画像を生成するため、計測対象物体を観測する視点として、観測時の概略位置姿勢を入力する。一般的に、計測対象物体を観測する視点には計測対象物体を覆う、ある大きさのGeodesic domeのような多面体を仮定し、多面体の各頂点を設定する。ただし、視点の設定方法はこれに限るものではない。例えば、計測対象物体を覆う、ある大きさの球を仮定して地球儀のような緯度経度を割り当て、緯度方向、経度方向に等間隔に視点を取る方法なども用いることができる。その他、物体の認識に有効な観測視点を設定できる方法であればいかなる方法でもよい。
幾何特徴算出部705は、特徴領域選択部704の選択した可観測領域となる曲面上の点に対して、物体認識に使用する幾何特徴を導出する。具体的には、[Paul J. Besl, “Surfaces in Range Image Understanding” Springer-Verlag, pp.63-115, 1988.]に記載されているような方法により、法線マップ上の近傍画素に対応する曲面上の各点の座標(x,y,z)および法線(nx,ny,nz)Tを用いて、ガウス曲率、主曲率、平均曲率を導出する。ただし、導出する幾何特徴はガウス曲率に限るものではない。例えば、第1実施形態で求めたような輪郭エッジであってもよい。その後、求めた幾何特徴を対応する画素(u,v)に対して登録しておく。
類似度算出部707は、幾何特徴算出部705により算出された幾何特徴と、画像入力部706により入力される画像上とで幾何特徴の類似度を算出する。具体的には、まず、幾何特徴算出部705により算出された各画素の幾何特徴を、画像を部分領域に分割したブロック単位で求める。そして、ブロック領域の各画素の幾何特徴と、入力画像上の同一領域に存在するブロックの各画素とで、幾何特徴の差異を算出する。
認識判定部708は、類似度算出部707により算出された多数のデータベースと入力画像との類似度から、最も類似度の高いものを出力することにより、撮像画像上に含まれる物体と、その概略位置姿勢を出力する。
認識判定部708は、類似度算出部707により算出された多数のデータベースと入力画像との類似度から、最も類似度の高いものを出力することにより、撮像画像上に含まれる物体と、その概略位置姿勢を出力する。
次に図8を参照して、第5実施形態において、計測対象物体のパラメトリック形状モデルから幾何特徴を抽出する処理手順を示すフローチャートについて説明する。なお、ステップS801は第1実施形態と同様であるため、説明を省略する。
ステップS802において、ステップS801で入力されたパラメトリック形状モデルの各曲面パッチに対して法線マップ画像を作成する。基本的な処理は第1実施形態で説明したステップS202と同様であるため、説明を省略する。なお、本実施形態では、第3実施形態と同様に、法線n=(nx,ny,nz)Tに加えて、対応する曲面上の点の座標(x,y,z)を導出しておき、各画素(u,v)と対応付けて保持しておく。
ステップS803において、観測方向入力部103により計測対象物体の観測方向を幾何特徴抽出処理部700に入力する。
ステップS804において、入力する観測方向におけるパラメトリック形状モデルの観測画像上から、認識に有効となる特徴領域を選択する。具体的には、第3実施形態と同様の方法で、ステップS802で算出された曲面上の点の座標(x,y,z)を観測方向およびカメラ内部パラメータに基づいて撮像画像上に投影して画像座標を求め、投影された各画素に対する方向ベクトルを求める。ここで、曲面上の点の法線と点を投影した画素に対する方向ベクトルとの内積を計算し、第1実施形態と同様の方法により画像上で可観測となる点を求める。
ステップS805において、幾何特徴算出部705により、各視点における観測画像に対し、画素ごとのガウス曲率あるいは平均曲率を導出して保持する。具体的には、可観測であると判定された領域の画素(u,v)に対して、uv平面上の近傍画素にそれぞれ対応する曲面上の点の座標(x,y,z)および法線(nx,ny,nz)Tを用いる。そして、各視点における観測画像に対し、画素ごとのガウス曲率あるいは平均曲率を導出して保持する。
ステップS806において、設定している全視点に対して処理を終えたか否かを判定する。全視点に対して処理を終えていなければ(ステップS806;NO)ステップS803に戻り、終えていれば(ステップS806;YES)ステップS807へ進む。
ステップS807において、認識の対象としている全物体に対して処理を終えたか否かを判定する。終えていなければ(ステップS806;NO)ステップS801に戻り、終えていれば(ステップS806;YES)ステップS808へ進む。
ステップS808において、画像入力部706により撮像画像を入力する。
ステップS809において、類似度算出部707は、ステップS805で作成された、多数の物体の、多数の視点における観測画像中の幾何特徴のデータベースと、入力される画像との幾何特徴の類似度を算出する。
ステップS810において、全データベースに対して類似度を算出しているか否かの判定を行う。全データベースに対して類似度を算出していなければ(ステップS810;NO)ステップS809に戻り、算出していれば(ステップS809;YES)ステップS811に進む。
ステップS811において、ステップS810で算出された各データベースの画像に対する類似度のうち、最も類似度の高いものを出力することで、撮像画像中に含まれる物体と、その概略位置姿勢を出力する。
以上のように、本実施形態においては、異なる多数の観測方向における観測画像において、観測される曲面パッチの点の曲率を抽出して、物体の認識に使用することができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (8)
- 計測対象物体の3次元形状モデルを入力する第1入力手段と、
前記3次元形状モデルを構成する曲面パッチに対応する2次元のパラメータ平面を作成する作成手段と、
前記曲面パッチ上の点の法線ベクトルを算出する第1算出手段と、
前記パラメータ平面と前記法線ベクトルとを対応づけて保持する保持手段と、
前記計測対象物体を観測位置から観測する観測方向ベクトルを入力する第2入力手段と、
前記法線ベクトルと前記観測方向ベクトルとが予め定められた角度条件となる領域を、 前記パラメータ平面から選択する選択手段と、
前記選択手段により選択された領域に対応する3次元形状モデル上の座標を、前記観測位置から観測可能な3次元形状モデル上の幾何特徴領域を構成する座標として算出する第2算出手段と、
を備えることを特徴とする幾何特徴抽出装置。 - 前記角度条件は、前記法線ベクトルと前記観測方向ベクトルとの内積が閾値より小さいことを条件とすることを特徴とする請求項1に記載の幾何特徴抽出装置。
- 前記保持手段は、前記3次元形状モデルの点の法線とともに、前記点の座標も保持することを特徴とする請求項1又は2に記載の幾何特徴抽出装置。
- 前記第2算出手段は、前記選択手段により選択された領域における表面の曲率を算出することを特徴とする請求項1乃至3の何れか1項に記載の幾何特徴抽出装置。
- 請求項1乃至4の何れか1項に記載の幾何特徴抽出装置を有することを特徴とする三次元計測装置。
- 請求項1乃至4の何れか1項に記載の幾何特徴抽出装置を有することを特徴とする物体認識装置。
- 第1入力手段が、計測対象物体の3次元形状モデルを入力する第1入力工程と、
作成手段が、前記3次元形状モデルを構成する曲面パッチに対応する2次元のパラメータ平面を作成する作成工程と、
第1算出手段が、前記曲面パッチ上の点の法線ベクトルを算出する第1算出工程と、
保持手段が、前記パラメータ平面と前記法線ベクトルとを対応づけて保持する保持工程と、
第2入力手段が、前記計測対象物体を観測位置から観測する観測方向ベクトルを入力する第2入力工程と、
選択手段が、前記法線ベクトルと前記観測方向ベクトルとが予め定められた角度条件となる領域を、前記パラメータ平面から選択する選択工程と、
第2算出手段が、前記選択工程により選択された領域に対応する3次元形状モデル上の座標を、前記観測位置から観測可能な3次元形状モデル上の幾何特徴領域を構成する座標として算出する第2算出工程と、
を備えることを特徴とする幾何特徴抽出方法。 - 請求項7に記載の幾何特徴抽出方法をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010059923A JP5430456B2 (ja) | 2010-03-16 | 2010-03-16 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
US13/575,994 US8792726B2 (en) | 2010-03-16 | 2011-03-09 | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus |
PCT/JP2011/056134 WO2011115143A1 (en) | 2010-03-16 | 2011-03-09 | Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010059923A JP5430456B2 (ja) | 2010-03-16 | 2010-03-16 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011192214A JP2011192214A (ja) | 2011-09-29 |
JP5430456B2 true JP5430456B2 (ja) | 2014-02-26 |
Family
ID=44649227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010059923A Active JP5430456B2 (ja) | 2010-03-16 | 2010-03-16 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8792726B2 (ja) |
JP (1) | JP5430456B2 (ja) |
WO (1) | WO2011115143A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011175477A (ja) | 2010-02-24 | 2011-09-08 | Canon Inc | 3次元計測装置、処理方法及びプログラム |
JP5430456B2 (ja) * | 2010-03-16 | 2014-02-26 | キヤノン株式会社 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
JP5615055B2 (ja) * | 2010-06-18 | 2014-10-29 | キヤノン株式会社 | 情報処理装置及びその処理方法 |
DE102010038507A1 (de) * | 2010-07-28 | 2012-02-02 | Robert Bosch Gmbh | Parallele Online-Offline Rekonstruktion für drei-dimensionale Raumvermessung |
US8525836B1 (en) * | 2012-02-07 | 2013-09-03 | Google Inc. | Systems and methods for representing information associated with objects in an area |
JP6323993B2 (ja) | 2012-08-28 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
JP6032163B2 (ja) * | 2013-09-11 | 2016-11-24 | トヨタ自動車株式会社 | 三次元物体認識装置、三次元物体認識方法、及び移動体 |
KR101364375B1 (ko) | 2013-10-25 | 2014-02-18 | 중앙대학교 산학협력단 | 3차원 데이터로부터 특정 객체를 추출하는 시스템 및 방법. |
JP6429450B2 (ja) | 2013-10-31 | 2018-11-28 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
GB2518019B (en) | 2013-12-13 | 2015-07-22 | Aveva Solutions Ltd | Image rendering of laser scan data |
US9280825B2 (en) * | 2014-03-10 | 2016-03-08 | Sony Corporation | Image processing system with registration mechanism and method of operation thereof |
US9098754B1 (en) * | 2014-04-25 | 2015-08-04 | Google Inc. | Methods and systems for object detection using laser point clouds |
JP6317618B2 (ja) * | 2014-05-01 | 2018-04-25 | キヤノン株式会社 | 情報処理装置およびその方法、計測装置、並びに、作業装置 |
CN107615338B (zh) * | 2015-02-17 | 2023-08-04 | 纳维曼德资本有限责任公司 | 用于生成和使用降低分辨率图像并且/或者将这样的图像传送到重放或内容分发设备的方法和装置 |
US10436238B2 (en) * | 2016-04-04 | 2019-10-08 | The Hillman Group, Inc. | Screw type fastener |
US9984496B1 (en) * | 2016-08-23 | 2018-05-29 | Bentley Systems, Incorporated | Technique for compact and accurate encoding trim geometry for application in a graphical processing unit |
FR3055721B1 (fr) * | 2016-09-05 | 2019-10-18 | Ingenico Group | Procede de reconnaissance de caracteres en reliefs, produit programme d'ordinateur et dispositif correspondants |
KR101821065B1 (ko) * | 2016-12-23 | 2018-01-23 | 세종대학교산학협력단 | 3차원 기하 표현 방법 및 장치 |
KR101856426B1 (ko) | 2017-11-27 | 2018-06-20 | 세종대학교산학협력단 | 3차원 기하 증강 방법 및 그 장치 |
KR101853237B1 (ko) | 2017-11-29 | 2018-04-27 | 세종대학교산학협력단 | 딥 러닝을 이용한 3차원 기하 디노이징 방법 및 그 장치 |
KR102419011B1 (ko) | 2018-04-06 | 2022-07-07 | 지멘스 악티엔게젤샤프트 | 종래의 cad 모델들을 사용한 이미지들로부터 객체 인식 |
US11507052B2 (en) | 2018-09-24 | 2022-11-22 | The Boeing Company | System and method of voxel based parametric specification for manufacturing a part |
JP2021000435A (ja) * | 2019-06-19 | 2021-01-07 | 株式会社リコー | 情報処理装置、生体情報計測装置、空間領域値の表示方法およびプログラム |
JP7345306B2 (ja) * | 2019-07-30 | 2023-09-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6690841B2 (en) | 1997-07-07 | 2004-02-10 | General Electric Company | Method and apparatus for image registration |
US6600485B1 (en) * | 1998-07-03 | 2003-07-29 | Sega Enterprises, Ltd. | Polygon data generation method and image display apparatus using same |
JP3639475B2 (ja) * | 1999-10-04 | 2005-04-20 | シャープ株式会社 | 3次元モデル生成装置および3次元モデル生成方法ならびに3次元モデル生成プログラムを記録した記録媒体 |
JP4549523B2 (ja) | 2000-12-15 | 2010-09-22 | キヤノンファインテック株式会社 | 記録装置 |
EP1586020A2 (en) * | 2003-01-25 | 2005-10-19 | Purdue Research Foundation | Methods, systems, and data structures for performing searches on three dimensional objects |
JP2004271222A (ja) * | 2003-03-05 | 2004-09-30 | Daihatsu Motor Co Ltd | 立体形状評価装置 |
JP4717622B2 (ja) * | 2005-12-15 | 2011-07-06 | 株式会社バンダイナムコゲームス | プログラム、情報記録媒体および画像生成システム |
JP2010121999A (ja) * | 2008-11-18 | 2010-06-03 | Omron Corp | 3次元モデルの作成方法および物体認識装置 |
US8442304B2 (en) * | 2008-12-29 | 2013-05-14 | Cognex Corporation | System and method for three-dimensional alignment of objects using machine vision |
JP2011175477A (ja) | 2010-02-24 | 2011-09-08 | Canon Inc | 3次元計測装置、処理方法及びプログラム |
JP5746477B2 (ja) | 2010-02-26 | 2015-07-08 | キヤノン株式会社 | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム |
JP5430456B2 (ja) * | 2010-03-16 | 2014-02-26 | キヤノン株式会社 | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 |
JP5496008B2 (ja) | 2010-08-06 | 2014-05-21 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
-
2010
- 2010-03-16 JP JP2010059923A patent/JP5430456B2/ja active Active
-
2011
- 2011-03-09 WO PCT/JP2011/056134 patent/WO2011115143A1/en active Application Filing
- 2011-03-09 US US13/575,994 patent/US8792726B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20120294534A1 (en) | 2012-11-22 |
JP2011192214A (ja) | 2011-09-29 |
WO2011115143A1 (en) | 2011-09-22 |
US8792726B2 (en) | 2014-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
CN112785702B (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
JP6323993B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
JP6426968B2 (ja) | 情報処理装置およびその方法 | |
JP5548482B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体 | |
Newcombe et al. | Kinectfusion: Real-time dense surface mapping and tracking | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
Zhou | A new minimal solution for the extrinsic calibration of a 2D LIDAR and a camera using three plane-line correspondences | |
KR101925862B1 (ko) | 3차원 라이다를 이용한 실시간 3차원 지도 생성 방법 및 장치 | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
Zhou et al. | T-LOAM: Truncated least squares LiDAR-only odometry and mapping in real time | |
Lins et al. | Vision-based measurement for localization of objects in 3-D for robotic applications | |
Takimoto et al. | 3D reconstruction and multiple point cloud registration using a low precision RGB-D sensor | |
Vidas et al. | Real-time mobile 3D temperature mapping | |
Serafin et al. | Using extended measurements and scene merging for efficient and robust point cloud registration | |
Lei et al. | A CNN-based 3D patch registration approach for integrating sequential models in support of progress monitoring | |
JP2012026974A (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP2011174880A (ja) | 位置姿勢推定方法及びその装置 | |
JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
WO2008032375A1 (fr) | Dispositif et procédé de correction d'image, et programme informatique | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
Günen et al. | Comparison of point cloud filtering methods with data acquired by photogrammetric method and RGB-D sensors | |
JP5030183B2 (ja) | 3次元物***置姿勢計測方法 | |
JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
Kwon et al. | Rescan strategy for time efficient view and path planning in automated inspection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131203 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5430456 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |