JP3764773B2 - 注視点を用いた頑健な認識装置 - Google Patents
注視点を用いた頑健な認識装置 Download PDFInfo
- Publication number
- JP3764773B2 JP3764773B2 JP04341996A JP4341996A JP3764773B2 JP 3764773 B2 JP3764773 B2 JP 3764773B2 JP 04341996 A JP04341996 A JP 04341996A JP 4341996 A JP4341996 A JP 4341996A JP 3764773 B2 JP3764773 B2 JP 3764773B2
- Authority
- JP
- Japan
- Prior art keywords
- object model
- parameter
- space
- voting
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は文書構造理解処理、マニピュレータによる物体の操作や移動ロボットのナビゲーションなどに用いられ、例えば環境中に存在する物体の重心などを認識するための頑健な認識装置に関する。
【0002】
更に詳しくは、物体や図形の形状情報を物体モデルとして保持し、環境の観測によって得られた特徴点に基づいて、環境内に存在する物体、または図形の種類や位置姿勢などの、環境を記述するパラメータを推定する頑健な認識装置に関する。
【0003】
【従来の技術】
近年このような認識装置を搭載した機器が広範に用いられるようになっており、それに伴いこのような機器によって取り扱われる環境の範囲は整備され、固定された環境から、整備されておらず、不確実性の高い環境も含むようになってきている。従って不確実な環境であっても、対象を正しく認識することができる頑健な認識装置が、これらの機器の構成要素として重要な役割を期待されるようになっている。
【0004】
例えばカメラによって撮影された画像から、環境中に存在する物体を認識する認識装置、特にノイズなどが存在する環境においても、正しく対象を認識することができる頑健な認識装置を実現するための技術の代表例として、一般化ハフ変換に基づく頑健な認識装置が広く知られている。この認識装置の文献を次に示す。
【0005】
D.H. Ballard:“Generalizing the Hough transform to detect arbitrary shapes", Pattern Recognition, Vol.13, No.2, pp111-122 (1981)
図27はこのような頑健な認識装置の従来例、すなわち一般化ハフ変換に基づく頑健な認識装置の基本構成ブロック図である。同図において、従来の認識装置は1つ以上の物体の形状情報を保持する物体モデル保持部101、環境を記述するパラメータの空間を保持するパラメータ空間保持部102、例えば画像データから抽出された特徴点、すなわち観測された1つ以上の特徴点と、物体モデル保持部101に保持されている物体モデルに基づいて、パラメータ空間上の投票空間、例えばパラメータ空間をメッシュ状に区切った投票空間上に投票を行う投票実行部103、投票空間上に得られた投票値からパラメータの推定値を出力するパラメータ推定部104を備えている。
【0006】
図28は、図27の認識装置におけるパラメータ推定法のフローチャートである。同図において処理が開始されると、まずステップS101で、環境の観測によって得られた1つ以上の観測特徴点の集合の入力に対して、各観測特徴点について物体モデルと整合性がとれるパラメータ空間中の部分集合が求められ、その部分集合に対する投票が行われる。続いてステップS102で、パラメータ空間上に得られた投票値から環境を記述するパラメータ、例えば物体の重心座標の位置などの推定が行われ、処理が終了する。
【0007】
図27、および図28で説明した認識装置の従来例の動作を、物体モデルの具体例を用いて更に説明する。図29は複数の2次元図形が含まれている文書を示し、この文書を認識対象の環境として、認識装置の動作を説明する。
【0008】
図30は、図27の物体モデル保持部101に保持されている物体モデルの例である。物体モデル保持部101には一般に複数の物体のモデルが保持されているが、図30はその1つを示し、ハート形2次元図形に対する物体モデルであり、この物体モデルの形状情報として、ハート形の輪郭上の点がある間隔でとられた黒丸の位置が保持されている。
【0009】
図29のような文書から、ハート形の図形の重心を、環境を記述するパラメータとして、その推定値を出力する場合を考える。図29の文書に対する画像データに対して、例えばエッジ抽出を行い、データを2値化することによって、各2次元図形を構成する輪郭点の位置が観測特徴点として得られたものとする。図31はこのような観測特徴点を示し、ここでは簡単のためにハートマークと円形マークとのそれぞれに対する輪郭点が、観測特徴点として得られたものとする。
【0010】
図31で観測特徴点のうち、A,B,C、およびDを考える。これらの観測特徴点が得られた段階では、これらの4つの点のうちどれが図29の文書内のハートマーク上の輪郭点に対応するかは不明であるが、ここではA,B、およびCがハートマークの輪郭点であり、Dは円形マークの輪郭点であるとする。図31にこの様子を示す。
【0011】
前述のように、この例ではハートマークの重心位置をパラメータとして推定することにする。そこで4つの観測特徴点A,B,C、およびDのそれぞれについて、その点が図30に示した物体モデルの輪郭上の点のいずれかに一致した場合のその輪郭点に対応する重心の位置を求め、1つの観測特徴点がハートマークの輪郭上で次々と移動した時に、その重心が描く軌跡を求める。そのような軌跡を図32に示す。
【0012】
1つの観測特徴点に対応する重心の軌跡は、丁度図30の物体モデルを上下に反転させた逆向きハートマークとなり、A,B,C、及びDのそれぞれの観測特徴点に対して4つの逆向きハートマークがxy平面上に描かれる。
【0013】
図32において、図31の円形マークの輪郭点Dに対応する逆向きハートマークは他の3つのハートマークとは共通の交点を持たない。これは観測特徴点Dが、ここでパラメータとして重心の値が推定されるハートマーク上に存在しないためである。これに対して他の観測特徴点A,B、およびCに対応する3つの逆向きハートマークは1箇所(図の黒丸印)で交わり、この点が推定値としての真の重心の位置を示すことになる。このパラメータ推定値を求めるためには、xy平面を細かいメッシュに区切り、それぞれのメッシュを逆向きハートマークが通った時にそのメッシュに対する投票数を1として、3つの逆向きハートマークに対応してメッシュ空間に投票を行うことにより、投票数として3を得た点が図29の文書内のハートマークの重心位置、すなわちパラメータ推定値として出力される。
【0014】
【発明が解決しようとする課題】
以上説明したように、例えば図32でxy平面上のパラメータ、すなわち文書中に存在するハートマークの重心の位置を求めるためには、その重心が存在する可能性がある部分、すなわちパラメータ空間を細かいメッシュに分割して投票空間とし、その投票空間に対する投票を行うことによってパラメータの推定値を求めることになる。そこで重心の位置を精度よく求めるためには、このメッシュ分割を細かく行わなければならず、投票空間、すなわちパラメータ空間を表現するために必要なメモリ消費量が膨大になってしまうという問題点があった。
【0015】
例えば縦 100mm、横 100mmの文書上にハートマークがあり、その重心を 0.1mmの精度で求める必要がある場合には、パラメータ空間を1,000 ×1,000 個のメッシュに分割する必要があり、その分割数に対応するメモリ領域が必要となる。文書の大きさが大きくなるほど、また重心の位置の精度を高くするほどメモリ消費量は膨大なものとなり、実用的な認識装置を構成することは困難となる。
【0016】
本発明は、パラメータ空間の表現に必要なメモリ消費量を大幅に削減し、高精度でパラメータの推定を行うことができる頑健な認識装置を提供することを目的とする。
【0017】
【課題を解決するための手段】
図1は本発明の認識装置の原理構成ブロック図である。同図は、環境の観測によって得られた特徴点の集合と、その環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータ、例えば文書内の2次元図形の重心位置を推定する、注視点を用いた頑健な認識装置の原理構成ブロック図である。
【0018】
図1において制約パラメータ空間保持手段1は、物体モデルに基づくパラメータ空間としての制約パラメータ空間を保持するものである。この制約パラメータ空間は環境を記述するパラメータの空間があらかじめ与えられている注視点の情報によって制約されたものであり、この注視点情報は、物体モデルとしての形状情報に対応する情報である。
【0019】
投票実行手段2は、制約パラメータ空間保持手段1に保持されている制約パラメータ空間内の部分パラメータ集合に対して投票を行うものであり、この部分パラメータ集合は特徴点のそれぞれに対して物体モデルと整合性を有する制約パラメータ空間内の部分領域である。
【0020】
更にパラメータ推定手段3は、特徴点の全てに対する投票実行手段2による制約パラメータ空間への投票の終了後に、制約パラメータ空間上の投票空間に対してなされた投票の結果に応じて、環境を記述するパラメータの推定値を出力するものである。
【0021】
本発明においては、図1の構成要素に加えて、更に例えば物体モデルとしての形状情報を保持する物体モデル保持手段が備えられる。この物体モデル保持手段は、物体モデルとしての形状情報を制約パラメータ空間保持手段1、および投票実行手段2に出力するものである。
【0022】
本発明においては、従来技術で説明したパラメータ空間を大幅に狭めるために、例えばユーザによって指定される注視点が用いられる。この注視点は、例えば図29〜図32で説明した2次元図形としてのハートマークに対してはそのハートマークの輪郭上の1つの点であり、この点の座標があらかじめ与えれらることによって、パラメータ空間が大幅に制約され、制約パラメータ空間が得られる。
【0023】
例えば図32では、パラメータ空間は観測特徴点のそれぞれに対する逆向きハートマークが描かれる可能性があるxy平面上の範囲の全てに渡り、投票を行うためにこの領域が細かいメッシュに分割される。
【0024】
これに対して本発明では、画像上の1つの点が注視点として与えられ、この注視点がその重心の位置を認識すべきハートマーク上に必ず存在するという知識が前もって与えられる。このため、この注視点に対応する逆向きハートマーク上に推定すべきパラメータとしての真の重心が存在することが明白であるため、この逆向きハートマークが通る位置のみを投票空間として、他の観測特徴点に対応する逆向きハートマークが注視点に対応する逆向きハートマークと交わる位置に対してのみ投票を行えばよいことになる。
【0025】
このように本発明によれば、推定すべきパラメータの空間としての制約パラメータ空間が従来のパラメータ空間に比べて大幅に小さくなる。例えば図32で説明した例では、従来技術におけるパラメータ空間はxy平面をメッシュ状に区切った2次元空間であるのに対して、本発明における制約パラメータ空間は注視点に対応する逆向きハートマークの輪郭線のみであり、この輪郭線上の点の位置を、例えばハートマークの輪郭線の長さに対応させれば、実質的に制約パラメータ空間は1次元となる。
【0026】
【発明の実施の形態】
図2は本発明の頑健な認識装置の基本構成ブロック図である。同図において物体モデル保持部11は、一般に複数の物体の物体モデルとしての物体の形状情報を保持する。この形状情報は、例えばハートマークの輪郭線上の点を一定間隔でとった点の2次元座標値を表す。
【0027】
制約パラメータ空間保持部12は、物体モデル保持部11に保持されている物体モデルに対応する制約パラメータ空間を保持する。この制約パラメータ空間は、物体モデルに対応して、例えばその物体の重心の位置が存在する可能性のあるパラメータ空間が、例えばその物体の輪郭線上に存在する1つの注視点によって制約されたものであり、この注視点は例えばユーザによって指定される。
【0028】
投票実行部13は、物体モデル保持部11に保持されている物体モデルと、観測された特徴点のそれぞれに対して、制約パラメータ空間に対する投票を実行し、全ての観測特徴点に対する投票が終了した後に、パラメータ推定部14が制約パラメータ空間上の投票空間に投票された投票結果に応じて、環境を記述するパラメータの推定値を出力する。
【0029】
図3は、図2の認識装置の構成に対応して、その認識装置で実行される環境記述パラメータの推定方法のフローチャートである。同図において処理が開始されると、まずステップS1で与えられた注視点と物体モデルとに基づいて、制約パラメータ空間が生成される。図32の例では、注視点に対応する逆向きハートマークが制約パラメータ空間として生成される。
【0030】
ステップS2では、各観測特徴点について物体モデルと整合性のとれた制約パラメータ空間内の部分集合が求められ、投票が実行される。この部分集合はステップS1で生成された制約パラメータ空間、例えば注視点に対応する逆向きハートマークと、任意の観測特徴点に対応する逆向きハートマークとの、一般に2つの交点として求められる。
【0031】
続いてステップS3で、制約パラメータ空間上に得られた投票値から環境記述パラメータ、例えば重心の位置が推定されて処理を終了する。
図4は本発明を実現するためのコンピュータシステムの構成を示すブロック図である。同図においてシステムは全体を制御する中央処理装置(CPU)15、物体モデルとしての形状情報や、制約パラメータ空間のデータが格納されるランダムアクセスメモリ(RAM)16、認識プログラムなどを格納するリードオンリメモリ(ROM)17、カメラによって撮影された画像データを格納するフレームバッファ(FRAM)18、およびパラメータの推定結果、例えば物体の位置と姿勢に応じて、例えば推定対象物体を色付けした画像データをディスプレイ上に表示させるにあたり、その画像データを格納するビデオランダムアクセスメモリ(VRAM)19を備えている。
【0032】
図5は、図4のRAM16上に展開されるデータのうちで、制約パラメータ空間上の投票空間としての配列データのデータ構造である。メモリ上には制約パラメータ空間が区切られたメッシュのそれぞれに対応して、投票数が格納される配列のデータが展開される。注視点と観測特徴点とのデータに基づいて投票される配列要素が決定され、その配列要素に対応する投票値が1だけ増加される。
【0033】
続いて本発明の実施例を説明する。図6は本発明の第1の実施例を説明するための認識装置の構成ブロック図である。同図を図2と比較すると、物体モデル保持部11が保持する物体モデルが図形の輪郭点の2次元位置座標であることと、観測特徴点が文書内の(図形の)輪郭点の2次元位置座標である点が異なっている。これは、第1の実施例では図29で説明したような文書中に含まれる2次元図形を認識し、その図形のパラメータとして、その図形の位置姿勢の推定値を出力する動作が行われるためである。すなわち第1の実施例では、図30に示したような物体モデルが図6の物体モデル保持部11に保持され、図29に示したような文書中のハートマークの位置姿勢の推定が行われ、ハートマークを他の図形と分離することが可能となる。
【0034】
物体モデルは、文書から検出したい図形の形状モデルのことである。ここでは、図形の輪郭点の集合により表現する。これにより、輪郭点の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Kの物体モデルMは、図形KのNM 個の輪郭点のそれぞれの物体モデル座標系における2次元座標、すなわち
【0035】
【数1】
【0036】
で表現できる。
図形Kの位置姿勢パラメータは、図形Kの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置2次元と姿勢1次元、すなわち
(X,Y,Θ) (2)
により表現される。第1の実施例の認識装置の目的は、文書中に配置された図形Kの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭点のうちの1つを指定されたとして、この注視点を輪郭点の一部として含む図形Kの位置姿勢パラメータを推定する。
【0037】
物体モデルとその位置姿勢について、図7と図8を用いて更に説明する。図7はハートマークの物体モデルとしての輪郭線上の点、すなわち代表点の例である。ここではNM =24であって、24個の代表点でハートマークの形状が近似的に表現されている。本来はハートマークの輪郭線上の点を連続的に表現することが望ましいが、一般に任意の形状を持つ物体を方程式などの形で表すことは困難であるため、輪郭線上の点をある間隔で選び、その点集合を物体の形状情報、すなわち物体モデルを表す代表点とみなすことにする。
【0038】
図8は図形Kの位置姿勢パラメータの説明図である。同図において、図7の物体モデルを移動させる並進ベクトルのx方向成分X、y方向成分Yと、移動結果の回転角Θとを用いて、文書中の図形の位置姿勢パラメータが表現される。
【0039】
第1の実施例の目的は、前述のように文書中に配置された図形Kの位置姿勢パラメータを推定することであるが、本実施例では文書から得られた輪郭点のうちの1つが例えばユーザによって注視点として指定された時、この注視点を輪郭点の一部として含む図形Kの位置姿勢パラメータの推定が行われる。すなわち、この注視点が1つの輪郭点として含まれる図形Kの位置姿勢パラメータの範囲が求められ、その範囲が制約パラメータ空間とされる。
【0040】
観測特徴点は、2次元図形が含まれる文書の画像データに対してエッジ抽出を行い、データの2値化を行うことによって得られるものであり、図形の輪郭を構成する輪郭点を示す。このエッジ抽出において、例えば sobelフィルタが用いられる。一般に輪郭点においては画像の濃度が急激に変化する性質があり、輪郭点の近傍における濃度勾配を求めることにより、輪郭点の有無を調べることができる。濃淡画像f(x,y)のx方向とy方向の単位ベクトルを 外1 (以下ベクトルiと表記する)、 外2 (以下ベクトルjと表記する)とする時、画像
【0041】
【外1】
【0042】
【外2】
【0043】
の濃度勾配は次式で表される。
【0044】
【数2】
【0045】
ディジタル化された画像においては、濃度勾配の大きさを示す微分係数を差分演算で近似することにより、濃度勾配の大きさが求められる。この差分近似の方法には幾通りかの方法があり、各種の差分フィルタが考えられる。更に平滑化フィルタと差分フィルタの線形合成によって新たな差分フィルタを構成することができ、その代表的なものが sobelフィルタである。 sobelフィルタを用いると、輪郭点を求める場合における雑音の影響を軽減することができる。
【0046】
第1の実施例において、観測特徴点は2次元位置座標によって表現され、ND 個の観測特徴点は文書上に設定される作業座標系における2次元座標を用いて、次式のように表現できる。
【0047】
【数3】
【0048】
次に制約パラメータ空間の生成と、投票実行部による投票とについて説明する。
注視点 外3 (以下ベクトルxA と表記する)の文書上に設定される作業座
【0049】
【外3】
【0050】
標系における2次元座標を、(xA ,yA )とする。
制約パラメータ空間保持部12は、初期化時に、物体モデルと注視点から制約パラメータ空間Cを生成する。制約パラメータ空間Cは、注視点を輪郭として含む、形状が図形Kである物体の位置姿勢パラメータの集合である。物体モデルの代表点 外4 (以下ベクトルxM と表記する)、注視点ベクトルxA 、制約パ
【0051】
【外4】
【0052】
ラメータ空間Cの代表点 外5 (以下(ベクトルxC ,θC )=(xC ,yC ,θC )と表記する)の間の関係は、座標変換の式から、回転行列 外6 (以
【0053】
【外5】
【0054】
下Rθと表記する)を用いて、
【0055】
【外6】
【0056】
【数4】
【0057】
で表すことができる。
θC を[0,2π]で量子化し、代表点を、
【0058】
【数5】
【0059】
とすると、制約パラメータ空間Cは、物体モデルMと姿勢パラメータθC の代表点を用いて、
【0060】
【数6】
【0061】
と表現できる。従って制約パラメータ空間上の投票空間は、2次元配列、
【0062】
【数7】
【0063】
で離散的に表現できる。ここで、NM は物体モデルの代表点の数、 外7 (以下Nθと表記する)は姿勢パラメータの量子化数である。
【0064】
【外7】
【0065】
従来技術では、投票空間が位置姿勢パラメータ空間3次元をそのまま離散化した3次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【0066】
観測特徴点 外8 が与えられた時の投票実行部13による投票は、以下のよ
【0067】
【外8】
【0068】
うに行う。
観測特徴点 外9 (以下ベクトルxj D と表記する)と物体モデルMにより
【0069】
【外9】
【0070】
作られる位置姿勢パラメータの可能性集合Cj は、注視点の場合と同様の考え方により、
【0071】
【数8】
【0072】
と表現できる。
投票実行部13は、制約パラメータ空間Cと、観測特徴点ベクトルxj D による可能性集合Cj との交わりに投票する。
【0073】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Cj と交わったCの代表点を表す2次元座標(i,k)に対して、
H(i,k):=H(i,k) +1 (9)
とすることにより投票を行う。
【0074】
パラメータ推定部14は、投票実行部13により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【0075】
制約パラメータ空間の生成と投票の実行について、フローチャートを用いて更に説明する。図9は制約パラメータ空間生成処理のフローチャートである。同図において処理が開始されると、まずステップS11で投票空間H(i,k)と、制約パラメータ空間Cの代表点 外10 (以下ベクトルP(i,k)と表記する)との格納領域がメモリ上に確保される。制約パラメータ空間の生成とは、具
【0076】
【外10】
【0077】
体的には投票空間としての2次元配列H(i,k)と、パラメータ空間中の代表点の座標値ベクトルP(i,k)の組を、iとkとの値の組としてのインデックス(i,k)(i=1,…,NM ,k=1,…,Nθ)に対して生成することであり、ステップS11ではこれらの空間に対する領域がメモリ上に確保される。
【0078】
続いて図9において、ステップS12でこのインデックス(i,k)に対してステップS13の処理が行われる。ステップS13では投票空間H(i,k)の値が0に初期化されると共に、ベクトルP(i,k)の値が求められる。
【0079】
制約パラメータ空間Cの代表点ベクトルP(i,k)は、(6)式で説明したように3次元で表現される。(6)式において、θk C は1次元の姿勢パラメータθの量子化後の代表点であり、次式によって計算できる。
【0080】
【数9】
【0081】
また、Rθは2次元回転行列であり、次式によって与えられる。
【0082】
【数10】
【0083】
これらを用いて、ベクトルP(i,k)は次式のように計算できる。
【0084】
【数11】
【0085】
なお(10)式において、姿勢パラメータθの量子化を行うための分割数Nθとしては通常 100〜1000位の数をとることによって、十分な姿勢精度が確保される。本来は0〜2πの間を連続して取り扱うことが望ましいが、コンピュータで演算を行うためにこのような量子化が必要となる。
【0086】
図10は投票処理の詳細フローチャートである。同図において処理が開始されると、まずステップS15で観測特徴点のそれぞれに対して、ステップS16〜S22の処理が実行される。
【0087】
まずステップS16で可能性集合Cj の生成が行われ、その後この可能性集合を用いて、ステップS17で全てのインデックス、すなわち(i,k)の組についてステップS18以降の処理が行われる。
【0088】
ステップS18では、まずフラグが0とされ、ステップS19で全ての(i′,k′)の組についてステップS20、およびS21の処理が行われる。ステップS20では、制約パラメータ空間上の代表点ベクトルP(i,k)と可能性集合の要素 外11 (以下ベクトルPj (i′,k′)と表記する)との距離の
【0089】
【外11】
【0090】
計算が行われ、ステップS21ではこの距離が量子化距離εより小さい場合にフラグの値が1とされる。その後ステップS22でフラグの値が1である時に制約パラメータ空間上の代表点のインデックス(i,k)に対応する投票空間上の投票値H(i,k)が1だけ増加されて、処理を終了する。
【0091】
図10のステップS16で行われる可能性集合の生成は、前述のように制約パラメータ空間の生成におけると同様に行われ、可能性集合は次式によって与えられる。
【0092】
【数12】
【0093】
ステップS20における距離の計算で用いられるノルムとしては、シティブロック距離、またはユークリッド距離などが用いられる。2つのベクトル 外12、 外13 の間のシティブロック距離とユークリッド距離とは、それぞれ次
【0094】
【外12】
【0095】
【外13】
【0096】
式で与えられる。
【0097】
【数13】
【0098】
投票処理が終了した後のパラメータの推定においては、投票結果によって得られた投票数を示す配列H(i,k)の中から最大の値となっている 外14 が
【0099】
【外14】
【0100】
探索され、このインデックス 外15 に対する制約パラメータ空間の代表点
【0101】
【外15】
【0102】
外16 がパラメータ推定値として出力される。なおステップS20の距離の比
【0103】
【外16】
【0104】
較で用いられる量子化距離εは、例えば物体モデルの代表点の間隔dM と、姿勢パラメータの量子化精度 外17 とを用いて、次式によって求められる。
【0105】
【外17】
【0106】
【数14】
【0107】
次に第1の実施例によるメモリ消費量の削減について説明する。図11は注視点によって制約される以前、すなわち元々の3次元パラメータ空間を示す。前述のように、第1の実施例における図形Kの位置姿勢パラメータは、位置2次元(x,y)と姿勢1次元(θ)、すなわち3次元パラメータ空間として表現される。
【0108】
図12は、第1の実施例における制約パラメータ空間を概念的に示したものである。前述のように、制約パラメータ空間はインデックス(i,k)としてのiとkとの値の組に対して表現され、一般的に図12のような座標空間内の曲面によって表現される。
【0109】
図13は、図12の制約パラメータ空間上の投票空間を平面的に表したものである。これは図12の制約パラメータ空間を、例えば平面に伸ばしたものと解釈することができる。投票空間上のメッシュの数はNi ×Nk となる。ここでNi は物体モデルの代表点の数、Nk は姿勢パラメータの量子化数である。
【0110】
図14は投票対象空間、すなわち図13の投票空間上で投票が行われるメッシュの位置の決定法の説明図である。同図において、制約パラメータ空間を表す2次元曲面と、観測特徴点による可能性空間を表す2次元曲面との交線が投票対象空間として決定される。
【0111】
図15はこの2次元投票空間への投票の説明図である。図14で決定された投票対象空間、すなわち観測特徴点による可能性空間との交線上にある制約パラメータ空間上の位置に対応するメッシュへの投票が行われる。
【0112】
図16は従来技術を用いる場合の投票空間を示し、これは図11の元々の3次元パラメータ空間をNx ×Ny ×Nθの個数のメッシュに区切ったものである。このように従来技術を用いると投票空間が3次元となるのに対して、第1の実施例では、図13で説明したように投票空間が2次元となるために、従来技術と比較してメモリ消費量を大幅に削減することが可能となる。
【0113】
続いて本発明の第2の実施例について説明する。第2の実施例では、第1の実施例におけると同様に、2次元図形が含まれる文書から指定された図形Kの位置姿勢パラメータの推定が行われるが、図形の輪郭法線が用いられる点が第1の実施例と異なっている。
【0114】
図17は第2の実施例における認識装置の構成を示すブロック図である。第1の実施例に対する図6と異なる点は、物体モデル保持部11に保持されている物体モデルとしての形状情報が図形の輪郭法線の位置姿勢であり、また画像データから得られる観測特徴点が文書内の(図形の)輪郭法線の位置姿勢になっていることである。
【0115】
第2の実施例の物体モデルは、図形の輪郭法線の位置姿勢の集合により表現される。これにより、輪郭法線の量子化精度の範囲内で任意の形状の図形をモデル化することができる。図形Kの物体モデルMは、図形KのNM 個の輪郭法線のそれぞれの位置姿勢の物体モデル座標系における2次元位置座標と1次元姿勢、すなわち
【0116】
【数15】
【0117】
で表現できる。
図形Kの位置姿勢パラメータは、図形Kの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置2次元と姿勢1次元、すなわち
(X,Y,Θ) (17)
により表現される。第2の実施例の認識装置の目的は、文書中に配置された図形Kの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として文書から得られた輪郭法線のうちの1つを指定されたとして、この注視点を輪郭法線の一部として含む図形Kの位置姿勢パラメータを推定する。
【0118】
図形の輪郭法線について、図18および図19を用いて更に説明する。図18は、図7におけると同様に、物体としてのハートマークの輪郭線上の点における輪郭法線を示す。その輪郭法線は、輪郭線上の点の位置と、その点における法線の姿勢との組で表現されるものであり、図形の形状を第1の実施例におけるよりも詳しく表現したものである。
【0119】
図18におけるように、輪郭法線は輪郭線上の代表点から伸び、輪郭線と直交する方向を持つ矢印として、幾何学的に表現される。
図19は輪郭法線の定量的な表現法の説明図である。同図において、法線の矢印の出発点としての代表点の物体モデル座標系での位置座標(x,y)と、法線がx軸方向となす角θを用いて、輪郭法線が定量的に(x,y,θ)によって表現される。
【0120】
観測特徴点は、文書を sobelフィルタを用いるなどしてエッジ抽出し、2値化することにより得られる輪郭を構成する輪郭法線のこととする。この場合、観測特徴点は、位置(2次元)と姿勢(1次元)により表現され、ND 個の観測特徴点は、文書上に設定される作業座標系における2次元位置座標と1次元姿勢により、
【0121】
【数16】
【0122】
と表現できる。
注視点ベクトルxA の文書上に設定される作業座標系における位置姿勢を、(xA ,yA ,θA )とする。
【0123】
制約パラメータ空間保持部11は、初期化時に、物体モデルと注視点から制約パラメータ空間Cを生成する。制約パラメータ空間Cは、注視点を輪郭として含む、形状が図形Kである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルxM 、注視点ベクトルxA 、制約パラメータ空間Cの代表点(ベクトルxC ,θC )=(xC ,yC ,θC )の間の関係は、座標変換の式から、回転行列Rθを用いて、
【0124】
【数17】
【0125】
で表すことができる。
従って、制約パラメータ空間Cは、物体モデルMの代表点を用いて、
【0126】
【数18】
【0127】
と表現できる。従って制約パラメータ空間上の投票空間は、1次元配列、
{H(i)|i=1・・・NM } (21)
で離散的に表現できる。ここで、NM は物体モデルの代表点の数である。
【0128】
従来技術では、投票空間が位置姿勢パラメータ空間3次元をそのまま離散化した3次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【0129】
観測特徴点(ベクトルxj D ,θj D )=(xj D ,yj D ,θj D )が与えられた時の投票実行部13による投票は、以下のように行う。
観測データ(ベクトルxj D ,θj D )と物体モデルMにより作られる位置姿勢パラメータの可能性集合Cj は、注視点の場合と同様の考え方により、
【0130】
【数19】
【0131】
と表現できる。
投票実行部13は、制約パラメータ空間Cと、観測特徴点による可能性集合Cj との交わりに投票する。
【0132】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Cj と交わったCの代表点を表す1次元座標(i)に対して、
H(i):=H(i) +1 (23)
とすることにより投票を行う。
【0133】
パラメータ推定部14は、投票実行部13により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【0134】
このように第2の実施例では、制約パラメータ空間上の投票空間は1次元配列H(i)によって表される。これに対して前述の第1の実施例では投票空間は2次元であり、H(i,k)で表された。その理由について図20、および図21を用いて説明する。
【0135】
本発明においては注視点が1つ与えられ、その注視点が物体モデルの代表点の1つに対応するものと考えて、物体の位置姿勢パラメータの可能性空間、すなわち制約パラメータ空間が生成される。
【0136】
第1の実施例においては、注視点としてその位置のみが与えられているにすぎないために、図20に示すようにその注視点を中心とする回転の自由度が残っていることになる。
【0137】
従って制約パラメータ空間は、代表点の移動に伴う自由度1つ(i)と、回転による姿勢の変化に伴う自由度1つ(k)の合計2つの自由度(i,k)を持つことになり、制約パラメータ空間は2次元、すなわち曲面となり、対応する投票空間も2次元配列となる。
【0138】
これに対して第2の実施例においては、注視点、すなわち注視法線の情報として、輪郭上の点の位置に加えて、法線の姿勢も指定されているために、この注視法線を物体モデルの1つとしての輪郭法線に対応させることにより、図21に示すように、2つの法線が一致するような1つの位置姿勢に限定されるようにしか、物体が存在することができなくなる。従って制約パラメータ空間は、代表点の移動に伴う1つの自由度(i)のみを持つこととなり、対応する投票空間も1次元配列となる。
【0139】
なお第2の実施例では、物体モデルの代表点の量子化は行われているが、姿勢パラメータの量子化は行われていない。
次に本発明の第3の実施例について説明する。第3の実施例では、3次元物体が含まれる環境から、指定された物体Kの位置姿勢パラメータの推定が行われる。図22は、第3の実施例における認識装置の構成を示すブロック図である。例えば第1の実施例に対応する図6と比較すると、物体モデル保持部11が物体の表面上の点の3次元位置を物体の形状情報として保持し、観測特徴点が環境中の(物体の)表面上の点の3次元位置を表すことと、パラメータ推定部14が3次元物体の位置姿勢の推定値を出力する点が異なっている。
【0140】
第3の実施例の物体モデルは、物体の表面上の点を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Kの物体モデルMは、物体KのNM 個の表面上の点のそれぞれの物体モデル座標系における3次元位置座標、すなわち、
【0141】
【数20】
【0142】
で表現できる。
物体Kの位置姿勢パラメータは、物体Kの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置3次元と姿勢3次元、すなわち
(X,Y,Z,Θ) (25)
により表現される。Θは、物体Kの姿勢を表し、例えばオイラー角を用いるなどして3次元の成分を持つ。
【0143】
第3の実施例の認識装置の目的は、環境中に配置された物体Kの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面上の点のうちの1つを指定されたとして、この注視点を表面の一部として含む物体Kの位置姿勢パラメータを推定する。
【0144】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面を構成する特徴点のこととする。この場合、観測特徴点は、位置(3次元)により表現され、ND 個の観測特徴点は、環境上に設定される作業座標系における3次元位置座標により、
【0145】
【数21】
【0146】
と表現できる。
ここでレンジファインダ、あるいはステレオ視による特徴点の観測について、図23,図24を用いて説明する。図23はレンジファインダによる特徴点の観測法の説明図である。レンジファインダによれば、視点から観測特徴点までの距離と、その方向を測定することができるため、図に示すように観測特徴点の位置を求めることができる。
【0147】
図24はステレオ視の説明図である。2つの視点から観測特徴点の方向を測定することにより、三角測量の原理を用いて観測特徴点の位置を求めることができる。
【0148】
次に、制約パラメータ空間の生成について説明する。まず、注視点ベクトルxA の位置、すなわち環境上に設定される作業座標系における位置を、(xA ,yA ,zA )とする。
【0149】
制約パラメータ空間保持部12は、初期化時に、物体モデルと注視点から制約パラメータ空間Cを生成する。制約パラメータ空間Cは、注視点を表面として含む形状が物体Kである物体の位置姿勢パラメータの集合である。物体モデルの代表点ベクトルxM 、注視点ベクトルxA 、制約パラメータ空間Cの代表点 外18 (以下ベクトルxC ,ΘC )=(xC ,yC ,zC ,ΘC )と表記する)の
【0150】
【外18】
【0151】
間の関係は、座標変換の式から、回転作用素 外19 (以下RΘと表記する)
【0152】
【外19】
【0153】
を用いて、
【0154】
【数22】
【0155】
で表すことができる。
ここでオイラー角と、回転作用素RΘについて更に説明する。ここではオイラー角の表現の例としてロール、ピッチ、およびヨーによる表現を説明する。この表現では、基準座標軸に対して3つの回転を順次行った場合の結果としての座標軸の姿勢が表現される。まず第1に、x軸の回りの回転としてヨー(角度ψ)が定義され、その回転の後に更にy軸の回りの回転としてピッチ(角度θ)が定義され、更にその後にz軸の回りの回転としてのロール(角度φ)が定義される。この表現を用いることにより、3次元の姿勢ΘはΘ=(ψ,θ,φ)と表すことができる。また前述の回転作用素RΘは、次式によって求められる。
【0156】
【数23】
【0157】
従って、制約パラメータ空間Cは、物体モデルMの代表点と姿勢パラメータの代表点を用いて、
【0158】
【数24】
【0159】
と表現できる。従って制約パラメータ空間上の投票空間は、2次元配列、
【0160】
【数25】
【0161】
で離散的に表現できる。ここで、NM は物体モデルの代表点の数、Nθは姿勢パラメータの量子化数である。物体モデルの代表点は物体表面を覆っているため2次元、姿勢パラメータは3次元の広がりを持つと考えられるので、制約パラメータ空間は5次元の広がりを持つと考えられる。
【0162】
従来技術では、投票空間が位置姿勢パラメータ空間6次元をそのまま離散化した6次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【0163】
観測特徴点ベクトルxj D =(xj D ,yj D ,zj D )が与えられた時の投票実行部13による投票は、以下のように行う。
観測特徴点ベクトルxj D と物体モデルMにより作られる位置姿勢パラメータの可能性集合Cj は、注視点の場合と同様の考え方により、
【0164】
【数26】
【0165】
と表現できる。
投票実行部13は、制約パラメータ空間Cと、観測特徴点ベクトルxj D による可能性集合Cj との交わりに投票する。
【0166】
交わりの判定は、それぞれの代表点間の距離と量子化距離を比較することにより行い、量子化距離より小さい場合に交わっていると判定する。そして、Cj と交わったCの代表点を表す2次元座標(i,k)に対して、
H(i,k):=H(i,k) +1 (32)
とすることにより投票を行う。
【0167】
パラメータ推定部14は、投票実行部13により全ての観測特徴点に対する投票が完了した後に、制約パラメータ空間の代表点のうち投票数の最も多いものを選択し、この位置姿勢をパラメータの推定値とする。
【0168】
第3の実施例における制約パラメータ空間および投票空間の次元数と、メモリ容量の削減について更に説明する。例えば前述の第1の実施例では元々のパラメータ空間が位置2次元、姿勢1次元の合計3次元、制約パラメータ空間が物体モデルの自由度1次元、姿勢の自由度1次元の計2次元であった。
【0169】
これに対して第3の実施例では、元々のパラメータ空間は位置3次元、姿勢3次元の合計6次元となっている。これは環境が2次元から3次元になったためである。制約パラメータ空間のCの式は、第1の実施例における(6)式と類似した式となっているが、インデックスとしてのiとkの次元数が第1の実施例とは異なってくる。
【0170】
iは物体モデルの代表点を示すインデックスであり、第3の実施例では代表点は物体表面を覆う点を示し、インデックスiは本来2次元のインデックスを1つの数で代用したものと考えられる。またkは姿勢の代表点のインデックスであり、オイラー角が3つの数で表現されることから、インデックスkは元々3次元のインデックスを1つの数で代用したものと考えられる。従って制約パラメータ空間は、第3の実施例では5次元となる。
【0171】
一方投票空間の次元数と制約パラメータ空間の次元数とは同じであり、第3の実施例における投票空間は5次元となる。前述の説明では投票空間はH(i,k)と表現され、2次元配列のように見えるが、前述のようにiが2次元、kが3次元のインデックスと考えれらるために、H(i,k)で示した投票空間も5次元となる。
【0172】
このように第3の実施例では元々のパラメータ空間が6次元であるのに対して、投票空間は5次元となり、1次元分のメモリ容量の削減が実現される。1次元あたりの量子化数は 100〜1000程度であるために、メモリ容量を1/100 〜1/1000に削減することが可能となり、これは認識装置の実用化の可否を左右する重要な進歩と考えられる。
【0173】
最後に本発明の第4の実施例について説明する。第4の実施例では、第3の実施例におけると同様に、3次元物体が含まれる環境から指定された物体Kの位置姿勢パラメータの推定が行われるが、物体の表面法線が形状情報として用いられる点が異なっている。
【0174】
図25は第4の実施例における認識装置の構成を示すブロック図である。第3の実施例に対応する図22と比較すると、物体モデル保持部11が、物体モデルとしての形状情報として、物体の表面法線の6次元位置姿勢を保持し、また観測特徴点が環境中の(物体の)表面法線の6次元位置姿勢を表す点が異なっている。
【0175】
すなわち第4の実施例においては物体の表面法線が形状情報として用いられるが、この表面法線とは物体表面上の点から出発し、その表面に垂直な法線を意味する。物体モデルは物体の表面をある密度で覆うような表面法線の集合で表される。定量的には表面法線の出発点の位置座標3次元と、法線の姿勢3次元の合計6次元の量として、表面法線が表される。
【0176】
第4の実施例の物体モデルは、物体の表面法線を特徴点としてこの特徴点の集合により表現される。これにより、特徴点の量子化精度の範囲内で任意の形状の物体をモデル化することができる。物体Kの物体モデルMは、物体KのNM 個の表面法線のそれぞれの位置姿勢を示す、物体モデル座標系における3次元位置座標、およびオイラー角などの3次元姿勢座標、すなわち
【0177】
【数27】
【0178】
で表現できる。
物体Kの位置姿勢パラメータは、物体Kの物体モデル座標系から環境中に仮想的に設定した作業座標系への座標変換パラメータであり、位置3次元と姿勢3次元、すなわち
(X,Y,Z,Θ) (34)
により表現される。Θは、物体Kの姿勢を表し、例えばオイラー角を用いるなどして3次元の成分を持つ。
【0179】
第4の実施例の認識装置の目的は、環境中に配置された物体Kの位置姿勢パラメータを推定することにある。さらに詳しくは、注視点として環境から得られた表面法線のうちの1つを指定されたとして、この注視点を表面法線の一部として含む物体Kの位置姿勢パラメータを推定する。
【0180】
観測特徴点は、環境をレンジファインダあるいはステレオ視を行うことにより観測し、距離画像を取得することにより得られる物体表面法線のこととする。この場合、観測特徴点は、位置(3次元)および姿勢(3次元)により表現され、ND 個の観測特徴点は、環境上に設定される作業座標系における6次元位置姿勢座標により、
【0181】
【数28】
【0182】
と表現できる。
注視点ベクトルxA の環境上に設定される作業座標系における位置姿勢を、(xA ,yA ,zA ,ΘA )とする。
【0183】
制約パラメータ空間保持部12は、初期化時に、物体モデルと注視点から制約パラメータ空間Cを生成する。制約パラメータ空間Cは、注視点を表面法線として含む、形状が物体Kである物体の位置姿勢パラメータの集合である。物体モデルの代表点(ベクトルxM ,ΘM )、注視点(ベクトルxA ,ΘA )、制約パラメータ空間Cの代表点(ベクトルxC ,ΘC )=(xC ,yC ,zC ,ΘC )の間の関係は、座標変換の式から、回転作用素RΘを用いて、
【0184】
【数29】
【0185】
と表すことができる。
従って、制約パラメータ空間Cは、物体モデルMの自由度2次元と、姿勢パラメータの自由度1次元の合計3次元の広がりを持ち、投票空間は、3次元配列で離散的に表現できる。
【0186】
従来技術では、投票空間が位置姿勢パラメータ空間6次元をそのまま離散化した6次元配列であったから、本実施例によりメモリ消費量が大幅に削減できていることがわかる。
【0187】
投票実行部13による投票、パラメータ推定部14によるパラメータの推定は、第1〜第3の実施例と同様にして行うことができる。
この第4の実施例では注視点、すなわち注視表面法線は位置と姿勢の情報を持つ。この注視点に対して物体の代表点の1つを対応させる場合を考えると、図26に示すように物体の自由度は注視法線を中心とする回転の自由度1つを持つことになる。一方物体表面上の代表点は物体の表面に存在するために、2つの自由度を持つ。従って制約パラメータ空間の自由度は合計3つとなり、また投票空間の自由度も同様に3次元となる。
【0188】
【発明の効果】
以上詳細に説明したように、本発明によれば雑音や隠蔽などによって認識したい物体の観測特徴点の情報が欠落していたり、余計なにせの情報が混入している場合でも、環境記述パラメータを正しく推定することができ、また従来の方法に比較してパラメータ空間の表現に必要なメモリの消費量を著しく削減することが可能となる。従って、不確実性の高い環境に対しても実用的なメモリ消費量で動作することができる頑健な認識システムを構築することができ、対象認識技術の向上に寄与するところが大きい。
【図面の簡単な説明】
【図1】本発明の認識装置の原理構成を示すブロック図である。
【図2】本発明の頑健な認識装置の基本構成を示すブロック図である。
【図3】図2の認識装置における環境記述パラメータの推定方法のフローチャートである。
【図4】本発明を実現するためのコンピュータシステムの構成を示すブロック図である。
【図5】制約パラメータ空間上の投票空間としての配列を説明する図である。
【図6】第1の実施例における認識装置の構成を示すブロック図である。
【図7】物体モデルの代表点の例を示す図である。
【図8】2次元図形の位置姿勢パラメータを説明する図である。
【図9】制約パラメータ空間生成処理のフローチャートである。
【図10】投票処理の詳細フローチャートである。
【図11】注視点によって制約される以前のパラメータ空間を示す図である。
【図12】制約パラメータ空間の概念を示す図である。
【図13】制約パラメータ空間上の投票空間を示す図である。
【図14】投票対象空間としてのメッシュの位置の決定法を説明する図。
【図15】2次元投票空間への投票の説明図である。
【図16】従来における投票空間を示す図である。
【図17】第2の実施例における認識装置の構成を示すブロック図である。
【図18】物体モデルとしての輪郭法線を示す図である。
【図19】輪郭法線の定量的な表現法を説明する図である。
【図20】第1の実施例における注視点を中心とする物体の回転の説明図である。
【図21】第2の実施例における注視点と物体との対応を説明する図である。
【図22】第3の実施例における認識装置の構成を示すブロック図である。
【図23】レンジファインダによる特徴点の観測法の説明図である。
【図24】ステレオ視による特徴点の観測法の説明図である。
【図25】第4の実施例における認識装置の構成を示すブロック図である。
【図26】第4の実施例における注視法線を中心とする物体の回転を説明する図である。
【図27】頑健な認識装置の従来例の構成を示すブロック図である。
【図28】図27の認識装置におけるパラメータ推定法のフローチャートである。
【図29】複数の2次元図形が含まれている文書の例を示す図である。
【図30】物体モデルの例を示す図である。
【図31】文書の観測によって得られた特徴点の例を示す図である。
【図32】図31のハートマークの重心の推定法を説明する図である。
【符号の説明】
1 制約パラメータ空間保持手段
2 投票実行手段
3 パラメータ推定手段
11 物体モデル保持部
12 制約パラメータ空間保持部
13 投票実行部
14 パラメータ推定部
15 中央処理装置(CPU)
16 ランダムアクセスメモリ(RAM)
17 リードオンリメモリ(ROM)
18 フレームメモリ(FRAM)
19 ビデオランダムアクセスメモリ(VRAM)
Claims (9)
- 環境の観測によって得られた特徴点の集合と、該環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータを推定する認識装置において、
該物体モデルとしての形状情報に対応する情報であって、ユーザによって与えられる、該物体モデルが環境中を移動してパラメータ空間を生成する場合の該物体モデルの移動範囲の制約となる注視点に関する情報によって、制限された前記パラメータの空間としての制約パラメータ空間を保持する制約パラメータ空間保持手段と、
該制約パラメータ空間内で前記特徴点のそれぞれに対して前記物体モデルと整合性を有する部分パラメータ集合に対して投票を行う投票実行手段と、
該特徴点の全てに対する投票の終了後に、該制約パラメータ空間上の投票空間に対してなされた投票結果に応じて、環境を記述するパラメータの推定値を出力するパラメータ推定手段と
を備えたことを特徴とする注視点を用いた頑健な認識装置。 - 前記物体モデルとしての形状情報を保持し、該形状情報を前記制約パラメータ空間保持手段と投票実行手段とに出力する物体モデル保持手段を更に備えたことを特徴とする請求項1記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が2次元物体の輪郭点の位置座標の集合であることと、前記注視点情報が該輪郭点のうちの任意の1つの位置座標を示すことを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が2次元物体の輪郭法線の位置姿勢の集合であることと、前記注視点情報が該輪郭法線のうちの任意の1つの位置姿勢を示すことを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が3次元物体の表面上の点の位置座標の集合であることと、前記注視点情報が該表面上の点のうちの任意の1つの位置座標を示すことを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 前記物体モデルとしての形状情報が3次元物体の表面上の法線の位置姿勢の集合であることと、前記注視点情報が該表面上の法線のうちの任意の1つの位置姿勢を示すことを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 前記パラメータ推定手段が出力するパラメータ推定値が、前記物体の重心の位置座標の推定値であることを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 前記パラメータ推定手段が出力するパラメータ推定値が、前記物体に対する物体モデル座標系から前記環境中に設定される作業座標系への変換パラメータとしての、該物体の位置姿勢の推定値であることを特徴とする請求項1、または2記載の注視点を用いた頑健な認識装置。
- 環境の観測によって得られた特徴点の集合と、該環境中に存在すると予想される物体の形状情報を示す物体モデルとを用いて、環境を記述するパラメータを推定する機能をコンピュータに実行させるための記憶媒体であって、
該物体モデルとしての形状情報に対応する情報であって、ユーザによって与えられる、該物体モデルが環境中を移動してパラメータ空間を生成する場合の該物体モデルの移動範囲の制約となる注視点に関する情報によって、制限された前記パラメータの空間としての制約パラメータ空間と、該制約パラメータ空間上の空間であって、前記特徴点のそれぞれに対して前記物体モデルと整合性を有する部分パラメータ集合に対して投票が行われる投票空間とを保持し、該特徴点の全てに対する投票の終了後に、該制約パラメータ空間に対してなされた投票結果に応じて、環境を記述するパラメータの推定値の出力を実現させることを特徴とする記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04341996A JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
US08/758,310 US5864779A (en) | 1996-02-29 | 1996-12-03 | Strict recognizing apparatus using observation point |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04341996A JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09237342A JPH09237342A (ja) | 1997-09-09 |
JP3764773B2 true JP3764773B2 (ja) | 2006-04-12 |
Family
ID=12663195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04341996A Expired - Fee Related JP3764773B2 (ja) | 1996-02-29 | 1996-02-29 | 注視点を用いた頑健な認識装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5864779A (ja) |
JP (1) | JP3764773B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
US7013035B2 (en) * | 1998-09-25 | 2006-03-14 | Canon Kabushiki Kaisha | Image processing method for setting an extraction area, and apparatus and recording medium |
US6763148B1 (en) * | 2000-11-13 | 2004-07-13 | Visual Key, Inc. | Image recognition methods |
US6826311B2 (en) * | 2001-01-04 | 2004-11-30 | Microsoft Corporation | Hough transform supporting methods and arrangements |
US7308131B2 (en) * | 2002-12-03 | 2007-12-11 | Ntt Docomo, Inc. | Representation and coding of panoramic and omnidirectional images |
US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
US7545307B2 (en) * | 2005-12-15 | 2009-06-09 | Raytheon Company | Target recognition system and method with unknown target rejection |
US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
JP5526942B2 (ja) * | 2010-03-31 | 2014-06-18 | ソニー株式会社 | ロボット装置、ロボット装置の制御方法およびプログラム |
EP2385483B1 (en) * | 2010-05-07 | 2012-11-21 | MVTec Software GmbH | Recognition and pose determination of 3D objects in 3D scenes using geometric point pair descriptors and the generalized Hough Transform |
US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
US9868212B1 (en) * | 2016-02-18 | 2018-01-16 | X Development Llc | Methods and apparatus for determining the pose of an object based on point cloud data |
WO2019232782A1 (zh) * | 2018-06-08 | 2019-12-12 | 深圳蓝胖子机器人有限公司 | 一种物体特征的识别方法、视觉识别装置及机器人 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2885823B2 (ja) * | 1989-04-11 | 1999-04-26 | 株式会社豊田中央研究所 | 視覚認識装置 |
JPH03125585A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 画像信号の符号復号化器 |
JPH0467275A (ja) * | 1990-07-06 | 1992-03-03 | Matsushita Electric Ind Co Ltd | 認識方法及び認識装置 |
EP0514688A2 (en) * | 1991-05-21 | 1992-11-25 | International Business Machines Corporation | Generalized shape autocorrelation for shape acquisition and recognition |
JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
JP2626528B2 (ja) * | 1993-11-22 | 1997-07-02 | 日本電気株式会社 | 図形認識装置 |
US5638465A (en) * | 1994-06-14 | 1997-06-10 | Nippon Telegraph And Telephone Corporation | Image inspection/recognition method, method of generating reference data for use therein, and apparatuses therefor |
-
1996
- 1996-02-29 JP JP04341996A patent/JP3764773B2/ja not_active Expired - Fee Related
- 1996-12-03 US US08/758,310 patent/US5864779A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5864779A (en) | 1999-01-26 |
JPH09237342A (ja) | 1997-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11565407B2 (en) | Learning device, learning method, learning model, detection device and grasping system | |
JP3764773B2 (ja) | 注視点を用いた頑健な認識装置 | |
US20160253807A1 (en) | Method and System for Determining 3D Object Poses and Landmark Points using Surface Patches | |
Faugeras et al. | The representation, recognition, and locating of 3-D objects | |
CN100559398C (zh) | 自动的深度图像配准方法 | |
Campbell et al. | A survey of free-form object representation and recognition techniques | |
US9087232B2 (en) | 3D object recognition | |
US8280150B2 (en) | Method and apparatus for determining similarity between surfaces | |
JP5759161B2 (ja) | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム | |
JP6483832B2 (ja) | Rgb−dセンサを使用して物体を走査する方法とシステム | |
CN111178250A (zh) | 物体识别定位方法、装置及终端设备 | |
JP5251080B2 (ja) | 物体認識方法 | |
Wyngaerd et al. | Automatic crude patch registration: Toward automatic 3D model building | |
Mokhtarian et al. | Multi-scale free-form 3D object recognition using 3D models | |
Malassiotis et al. | Snapshots: A novel local surface descriptor and matching algorithm for robust 3D surface alignment | |
JP6487642B2 (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
WO2009124139A1 (en) | Methods and systems of comparing face models for recognition | |
CN110363817A (zh) | 目标位姿估计方法、电子设备和介质 | |
CN112651944B (zh) | 基于cad模型的3c部件高精度六维位姿估计方法及*** | |
Kroemer et al. | Point cloud completion using extrusions | |
Pottmann et al. | Line geometry for 3D shape understanding and reconstruction | |
JP4921847B2 (ja) | 対象物の三次元位置推定装置 | |
Ibrayev et al. | Recognition of curved surfaces from “one-dimensional” tactile data | |
JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060123 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |