JP2022139158A - テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム - Google Patents
テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム Download PDFInfo
- Publication number
- JP2022139158A JP2022139158A JP2021039417A JP2021039417A JP2022139158A JP 2022139158 A JP2022139158 A JP 2022139158A JP 2021039417 A JP2021039417 A JP 2021039417A JP 2021039417 A JP2021039417 A JP 2021039417A JP 2022139158 A JP2022139158 A JP 2022139158A
- Authority
- JP
- Japan
- Prior art keywords
- template
- predetermined object
- region
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012795 verification Methods 0.000 title abstract description 13
- 238000005259 measurement Methods 0.000 claims abstract description 81
- 230000036544 posture Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
【課題】物体のテンプレートと画像とを照合する場合に、照合の精度を向上できる技術を提供する。【解決手段】所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成装置は、前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成手段と、前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段と、前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成手段と、を有する。【選択図】図1
Description
本発明は、テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラムに関する。
各姿勢の或る物体の特徴を示すテンプレートと、撮像装置が当該物体を撮像(計測)して取得した画像(計測画像)とを照合することによって、当該物体の位置姿勢を認識することが行われている。
特許文献1では、物体の形状を示すテンプレートを記憶して、計測画像における物体のうち最も大きい平面とテンプレートを照合することで、対象物の認識のための照合処理を効率化することが行われている。
しかし、特許文献1では、最も大きい平面とテンプレートとを照合することにより照合処理の効率化を図れるものの、当該平面の一部が遮蔽物などに隠されて撮像装置によって撮像できなかった場合などに、照合の精度が低下してしまう。
そこで、本発明は、物体のテンプレートと画像とを照合する場合に、照合の精度を向上できる技術を提供することを目的とする。
上記目的を達成するために本発明は、以下の構成を採用する。
すなわち、本発明の一側面に係るテンプレート生成装置は、所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成装置であって、前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成手段と、前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段と、前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成手段と、を有することを特徴とするテンプレート生成装置である。
このような構成によれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、領域の注目度に応じた適切な特徴量のテンプレートを用いて照合ができる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記3次元モデルにおいて、他の領域よりも注目度の低い第1の領域を設定する設定手段をさらに有し、前記特徴量取得手段は、前記第1の領域の特徴を抑制した特徴量を取得してもよい。これによれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、テンプレートのうち注目度の低い領域を重
視せずに照合できる。従って、テンプレートと計測画像とを精度高く照合することができる。
視せずに照合できる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記設定手段は、ユーザが指定した領域を前記第1の領域として設定してもよい。
上記テンプレート生成装置において、前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第1の値以上である領域を前記第1の領域として設定してもよい。これによれば、所定の物体において普遍的に存在する領域を、照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記設定手段は、前記3次元モデルおいて、前記第1の領域よりも注目度の高い第2の領域を設定し、前記特徴量取得手段は、前記第2の領域の特徴を強調した特徴量を取得してもよい。これによれば、テンプレート生成装置が生成したテンプレートを用いた照合装置は、テンプレートのうち注目度の高い領域を重視して照合できる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記設定手段は、凹凸形状の領域を前記第2の領域として設定してもよい。これによれば、一般的に特徴的な領域である凹凸形状の領域を、照合において重視するようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第2の値以下である領域を前記第2の領域として設定してもよい。これによれば、所定の物体における特徴的な領域を、照合において重視するようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。
上記テンプレート生成装置において、前記計測画像は、被写体までの距離を各画素が表す距離画像であってもよい。
上記テンプレート生成装置において、前記第1の生成手段は、それぞれが互いに異なる姿勢の前記所定の物体を2次元画像として表す複数の前記投影画像を生成し、前記第2の生成手段は、前記複数の投影画像のそれぞれについて、前記テンプレートを生成してもよい。これによれば、様々な視点から見た所定の物体のテンプレートを生成することができるため、照合装置は、多くのパターンのテンプレートを用いた照合が可能になる。
上記テンプレート生成装置と、上記テンプレート生成装置が生成したテンプレートと、計測範囲を計測した結果を表す計測画像とを照合する照合装置と、を有することを特徴とする照合システムであってもよい。
上記照合システムにおいて、前記照合装置は、前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、を有していてもよい。これによれば、照合装置は、照合において重視すべきではない、他の物体によって所定の物体が隠れてしまう領域(いわゆるオクルージョン領域)を照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。
また、本発明の一側面に係る照合装置は、所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段と、前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、前記更新手段が更新したテンプレートと前記計測画像とを照合する照合手段と、を有することを特徴とする照合装置である。これによれば、照合装置は、照合において重視すべきではない、他の物体によって所定の物体が隠れてしまう領域(いわゆるオクルージョン領域)を照合において重視しないようにできる。従って、テンプレートと計測画像とを精度高く照合することができる。
本発明は、上記手段の少なくとも一部を有する装置として捉えてもよいし、電子機器や制御システム、情報処理システム、情報処理装置、認識装置、認識システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む制御方法、テンプレート生成方法、照合方法、認識方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体(記憶媒体)として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。
本発明によれば、物体のテンプレートと画像とを照合する場合に、照合の精度が向上する。
以下、本発明を実施するための実施形態について図面を用いて記載する。
<適用例>
以下では、或る物体の3次元モデルまたは2次元画像に基づく当該物体の特徴量を示すテンプレートと、撮像装置が当該物体を計測して得た画像(計測画像)とを照合する照合システム1は、注目度に応じて特徴量を補正したテンプレートを取得する。例えば、照合システム1は、注目度が低い領域の特徴を抑えるように特徴量を補正し、注目度が高い領域の特徴を強調するように特徴量を補正する。そして、照合システム1は、テンプレートと計測画像とを照合した結果を算出する。
以下では、或る物体の3次元モデルまたは2次元画像に基づく当該物体の特徴量を示すテンプレートと、撮像装置が当該物体を計測して得た画像(計測画像)とを照合する照合システム1は、注目度に応じて特徴量を補正したテンプレートを取得する。例えば、照合システム1は、注目度が低い領域の特徴を抑えるように特徴量を補正し、注目度が高い領域の特徴を強調するように特徴量を補正する。そして、照合システム1は、テンプレートと計測画像とを照合した結果を算出する。
ここで、注目度の高い領域とは、例えば、凹凸形状がある領域や、多色によって彩られている領域など特徴的な領域である。また、注目度の低い領域とは、同様の特徴を持つ領域が他にも多く存在する領域や、他の物体が重畳して隠れてしまう可能性が高い領域などである。なお、これらの領域は、ユーザの指示(操作;指定)によって設定することができる。
これによれば、照合システム1は、テンプレートのうち注目度の低い領域を重視せずに照合できる。このため、注目度の低い領域を重視せずに、注目度の高い領域を用いた照合によって、照合システム1は、計測画像とテンプレートとを適切に照合することができる。従って、テンプレートと計測画像とを精度高く照合することができる。
<実施形態1>
[照合システムの構成]
図1を参照して、実施形態1に係る照合システム1の構成を説明する。照合システム1は、物体2についてのテンプレートと物体2を計測した計測画像とを照合することによって、計測画像における物体2の位置姿勢を認識する。照合システム1は、撮像センサ10、テンプレート生成装置20、照合装置30、記憶装置40を有する。なお、位置姿勢とは、本実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。
[照合システムの構成]
図1を参照して、実施形態1に係る照合システム1の構成を説明する。照合システム1は、物体2についてのテンプレートと物体2を計測した計測画像とを照合することによって、計測画像における物体2の位置姿勢を認識する。照合システム1は、撮像センサ10、テンプレート生成装置20、照合装置30、記憶装置40を有する。なお、位置姿勢とは、本実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。
撮像センサ10は、物体2を含む計測範囲を計測することによって計測画像を取得する。本実施形態では、撮像センサ10は、左レンズを介して被写体を撮像した画像と右レンズを介して被写体を撮像した画像を取得し、その2つの画像(左右画像)の差異を比較することによって、距離画像を計測画像として取得する3次元センサである。距離画像は、各画素が撮像センサ10から被写体までの距離を示す。なお、撮像センサ10は、三角測量計測やToF(Time of Flight)方式など任意の方法によって、距離画像を取得してもよい。また、計測画像は、各画素が被写体の温度を示す温度画像であってもよいし、通常の光学画像(被写体の色や輝度を表現した画像)であってもよい。
テンプレート生成装置20は、物体2を事前に計測した3次元モデル、または、物体2を設計する際に用いた物体2の3次元モデルに基づき、物体2の特徴量を示すテンプレートを生成する。3次元モデル(3次元データ)は、点群データによって物体2を表現するデータであり得る。
照合装置30は、撮像センサ10が取得した計測画像と、テンプレート生成装置20が生成したテンプレートとを用いて、照合処理を行う。また、照合装置30は、照合結果に基づき、物体2の現在の位置姿勢を認識する。従って、照合装置30は、物体2の位置姿勢を認識する認識装置であるともいえる。
記憶装置40は、物体2の3次元モデル、テンプレート生成装置20が生成したテンプレート、照合装置30が照合した照合結果、または/および照合装置30が認識した物体2の位置姿勢の情報を記憶(記録)する。記憶装置40は、ハードディスク(HDD)やメモリ(RAM;Ramdom Access Memory)を有するサーバなどであり得る。また、記憶装置40は、テンプレート生成装置20および照合装置30に対して抜き差し可能な記憶媒体であってもよい。記憶装置40には、互いに異なる姿勢の物体2(互いに異なる視点から見た物体2)の特徴量を表す複数のテンプレートが記憶される。
(テンプレート生成装置の内部構成)
図2を参照して、テンプレート生成装置20の内部構成を説明する。テンプレート生成装置20は、制御部201、情報取得部202、領域設定部203、投影画像生成部204、特徴量算出部205、テンプレート生成部206、情報出力部207を有する。
図2を参照して、テンプレート生成装置20の内部構成を説明する。テンプレート生成装置20は、制御部201、情報取得部202、領域設定部203、投影画像生成部204、特徴量算出部205、テンプレート生成部206、情報出力部207を有する。
制御部201は、非一時的に記憶媒体に記憶されたプログラムに従って、テンプレート生成装置20の各機能部を制御する。
情報取得部202は、物体2の3次元モデルを取得する。情報取得部202は、物体2の3次元モデルを、記憶装置40から取得してもよいし、他の外部装置から取得してもよい。また、情報取得部202は、撮像センサ10の撮像パラメータ(カメラ焦点距離、画像の中心座標、レンズ歪みの補正係数)を取得する。
領域設定部203は、3次元モデルに対して、注目度の高い領域(注目領域)や注目度の低い領域(非注目領域)を設定する。
投影画像生成部204は、3次元モデルを2次元画像に変換することによって投影画像を生成する。具体的には、投影画像生成部204は、撮像センサ10で計測する場合における各姿勢の物体2を2次元画像によって表した投影画像を生成する。このとき、撮像センサ10の撮像パラメータによって計測画像が変化するため、投影画像生成部204は、撮像パラメータによって補正した投影画像を生成する。
特徴量算出部205(特徴量取得部)は、3次元モデルまたは投影画像に基づき、投影画像における各画素(各領域)の特徴量を算出(取得)する。ここで、特徴量とは、エッジ特徴量(エッジ方向ヒストグラム)や、法線特徴量(法線方向ヒストグラム)でありえる。しかし、これに限らず、特徴量は、距離情報、温度情報、色彩情報であってもよい。そして、特徴量算出部205は、注目度の高い領域(注目領域)や注目度の低い領域(非注目領域)などが設定されている場合には、注目度に応じて補正した当該領域の特徴量を取得する。
テンプレート生成部206は、特徴量算出部205が算出(補正)した特徴量を各画素が示す2次元画像であるテンプレートを生成する。また、テンプレート生成部206は、テンプレートの基となった投影画像に対応する物体2の姿勢の情報を、当該テンプレートに付加する。
情報出力部207は、テンプレート生成部206が生成したテンプレートを記憶装置40に出力する。
なお、本実施形態では、投影画像生成部204は、3次元モデルから複数の投影画像を生成する。このとき、複数の投影画像は、互いに異なる姿勢の物体2を(互いに異なる視点から見た物体2を)2次元画像によって表した画像である。その後、特徴量算出部205は、複数の投影画像のそれぞれに対して、特徴量を算出する。そして、テンプレート生成部206は複数の投影画像のそれぞれについてテンプレートを生成して、情報出力部207は、複数のテンプレートを記憶装置40に出力する。
(照合装置の内部構成)
図2を参照して、照合装置30の内部構成について説明する。照合装置30は、制御部301、画像取得部302、情報取得部303、特徴量算出部304、領域設定部305、テンプレート更新部306、照合部307、認識部308、結果出力部309を有する。
図2を参照して、照合装置30の内部構成について説明する。照合装置30は、制御部301、画像取得部302、情報取得部303、特徴量算出部304、領域設定部305、テンプレート更新部306、照合部307、認識部308、結果出力部309を有する。
制御部301は、非一時的に記憶媒体に記憶されたプログラムに従って、照合装置30の各機能部を制御する。
画像取得部302は、撮像センサ10から計測画像を取得する。なお、画像取得部302は、撮像センサ10から計測画像を取得する必要はなく、例えば、記憶装置40に記憶された計測画像を取得してもよい。
情報取得部303は、記憶装置40から複数のテンプレートを取得する。
特徴量算出部304は、計測画像の各画素(各領域)の特徴量を算出する。
領域設定部305は、制御部301(認識部308)が大まかに推定した物体2の位置姿勢に応じて、計測画像において物体2の領域のうち他の物体によって隠されている領域(オクルージョン領域;重畳領域)を判定する。そして、領域設定部305は、オクルージョン領域を、注目度の低い非注目領域として設定する。
テンプレート更新部306は、複数のテンプレートにおける特徴量を更新する。具体的には、テンプレート更新部306は、領域設定部305が非注目領域(オクルージョン領域)として設定した領域について、テンプレートにおける特徴量を補正(更新)する。
照合部307は、複数のテンプレートのそれぞれと、計測画像との照合を行う。具体的には、照合部307は、テンプレートの特徴量と計測画像の特徴量との合致度(類似度)を算出する。そして、照合部307は、評価値が所定値よりも大きければ、照合が成功したと判定する。一方、照合部307は、評価値が所定値よりも以下であれば、照合が失敗したと判定する。なお、特徴量を用いた照合の方法には、任意の照合方法を用いてもよい。
認識部308は、照合部307によって照合が成功したと判定された際のテンプレートから、物体2を撮像した際の物体2の位置姿勢を認識する。具体的には、認識部308は、テンプレートに付加された物体2の位置姿勢の情報に基づき、撮像時の物体2の位置姿勢を認識することができる。また、認識部308は、後述するように、テンプレートを用いた位置姿勢を初期値とした物体2の3次元モデルを計測画像における物体2に合わせ込むことによって、さらに詳細に物体2の位置姿勢を認識してもよい。
結果出力部309は、照合結果や物体2の位置姿勢の認識結果を記憶装置40や外部装置に出力する。例えば、物体2を駆動するためのロボットなどに結果出力部309が認識結果を出力すれば、ロボットは、物体2の位置姿勢に応じて、物体2を所定の位置姿勢にするための制御を行うことができる。また、結果出力部309は、更新したテンプレートの情報を記憶装置40などに出力してもよい。
また、テンプレート生成装置20および照合装置30は、例えば、CPU(プロセッサ)、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図2に示す構成は、ストレージに格納されたプログラムをメモリにロードし、CPUが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図2に示す構成の全部または一部を、ASICやFPGAなどで構成してもよい。あるいは、図2に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
また、テンプレート生成装置20が、照合装置30の各機能部を有していてもよい。つまり、テンプレート生成装置20が、計測画像に応じてテンプレートを生成(更新)してもよいし、照合や認識の処理を行ってもよい。
[テンプレート生成装置の処理]
図3のフローチャートを用いて、テンプレート生成装置20の処理を詳細に説明する。図3のフローチャートの各処理は、制御部201がプログラムに従って動作することによ
って実現される。
図3のフローチャートを用いて、テンプレート生成装置20の処理を詳細に説明する。図3のフローチャートの各処理は、制御部201がプログラムに従って動作することによ
って実現される。
ステップS1001において、制御部201は、情報取得部202を制御して、物体2の3次元モデルおよび、撮像センサ10の撮像パラメータを取得する。ここで、3次元モデルは、上述のように、物体2を事前に計測した3次元モデル、または、物体2を設計する際に用いた物体2の3次元モデル(CADデータ)であり得る。
ステップS1002において、制御部201は、物体2において注目領域または非注目領域を識別することが可能か否かを判定する。例えば、ユーザによって、注目領域または非注目領域の情報が予め入力されていれば、制御部201は、物体2において注目領域または非注目領域を識別することが可能であると判定する。物体2において注目領域または非注目領域を識別することが可能であると判定された場合にはステップS1003に進み、そうでない場合にはステップS1005に進む。
また、ステップS1002では、制御部201が、物体2の3次元モデルに基づき、注目領域または非注目領域を識別することが可能か否かを判定してもよい。具体的には、制御部201は、注目領域または非注目領域に設定すべき領域があれば、注目領域または非注目領域を識別することが可能と判定してもよい。例えば、制御部201は、物体2の3次元モデルにおいて、凹凸形状などの特殊な特徴(ユニークな特徴)の領域がある場合には、当該領域を注目領域すべきである。または、制御部201は、物体2の3次元モデルにおいて或る第1の特徴を有する領域の面積(表面積)が、3次元モデルの物体2全体の領域の面積(表面積)の第1の割合以上(例えば、70%以上)であれば、第1の特徴を有する領域を非注目領域に設定すべきである。さらに、制御部201は、物体2の3次元モデルにおいて或る第2の特徴を有する領域の面積が、3次元モデルの物体2全体の領域の面積の第2の割合以下(例えば、10%以下)であれば、第2の特徴を有する領域を注目領域に設定すべきである。
ステップS1003において、制御部201は、領域設定部203を制御して、注目領域または/および非注目領域を設定する。具体的には、領域設定部203は、ユーザによって、予め注目領域または非注目領域の情報が入力されていれば、その情報に従って注目領域または非注目領域を設定する。また、ステップS1002において制御部201が注目領域または非注目領域とすべき領域を判定していれば、領域設定部203は、その領域を注目領域または非注目領域に設定する。なお、領域設定部203は、注目領域または非注目領域を設定するのではなく、投影画像における各領域について注目度(重要度)を設定してもよい。
ステップS1004において、制御部201は、投影画像生成部204を制御して、3次元モデルに基づき、物体2の各姿勢に応じた複数の2次元画像を投影画像として生成する。つまり、複数の投影画像は、物体2をその周囲の各視点から見た2次元画像である。ステップS1005は、ステップS1004と同様である。
ステップS1006において、制御部201は、特徴量算出部205を制御して、3次元モデルまたは投影画像に基づき、各投影画像の各画素(領域)における特徴量を抽出(取得)する。ここで、特徴量は、法線ベクトルを表す法線特徴量、またはエッジベクトルを表すエッジ特徴量であり得るが任意の特徴量であってよい。
なお、ステップS1006では、特徴量算出部205は、3次元モデルの各領域の注目度に応じて補正した特徴量を取得(算出)する。具体的には、特徴量算出部205は、非注目領域については、3次元モデルまたは投影画像から抽出した特徴を抑制するような補正(フィルタ処理)をして、特徴量を取得する。例えば、特徴量算出部205は、3次元
モデルまたは投影画像から抽出した特徴量に対して注目度に対応した所定の値(1未満の正の数)を掛けた量を取得することや、当該非注目領域の周囲の領域の平均の特徴量を取得することによって、補正した特徴量を取得する。または、特徴量算出部205は、3次元モデルにおける非注目領域に対して、ぼかす処理を行った後に、非注目領域から特徴量を抽出してもよい。
モデルまたは投影画像から抽出した特徴量に対して注目度に対応した所定の値(1未満の正の数)を掛けた量を取得することや、当該非注目領域の周囲の領域の平均の特徴量を取得することによって、補正した特徴量を取得する。または、特徴量算出部205は、3次元モデルにおける非注目領域に対して、ぼかす処理を行った後に、非注目領域から特徴量を抽出してもよい。
ここで、例えば、テンプレートと計測画像との照合においてエッジ特徴量を用いる場合、互いに類似し、かつ、顕著な(エッジ強度が強い)エッジ特徴量を有する領域(位置)同士を対応付けることによって、照合の処理が行われる。しかし、テンプレートの非注目領域のエッジ特徴量が顕著なものである場合には、本来的に対応付くべき領域(位置)でない計測画像における領域(位置)とテンプレートの当該非注目領域が対応付けられる可能性がある。つまり、照合の精度が下がってしまう可能性がある。これに対して、本実施形態のように、特徴量算出部205が非注目領域について特徴を抑制するような補正(フィルタ処理)をして、特徴量を取得すれば、非注目領域のエッジ特徴量が低くなる。このため、照合に非注目領域のエッジ特徴量が用いられる可能性が低減し、または、当該エッジ特徴量が照合に影響を及ぼす可能性が低減する。つまり、テンプレートを用いた照合の精度が向上する。
一方で、特徴量算出部205は、注目領域について、3次元モデルまたは投影画像から抽出した特徴を強調するような補正をして、特徴量を取得してもよい。これによれば、例えば、エッジ特徴量を照合に用いる場合に、照合において注目領域の特徴量が用いられやすくなる。このため、照合に好適な特徴量を用いた照合が可能になるため、テンプレートを用いた照合の精度が向上する。なお、この特徴の抑制度合いや強調度合いは、注目度に応じた度合いであるとよい。
ステップS1007では、制御部201は、特徴量算出部205を制御して、注目度に応じた補正をすることなく、3次元モデルまたは投影画像に基づき、各投影画像の各画素(領域)における特徴量を抽出(取得)する。
ステップS1008において、制御部201は、テンプレート生成部206を制御して、複数の投影画像それぞれについてテンプレートを生成する。具体的には、テンプレート生成部206は、複数の投影画像それぞれについて、各画素がステップS1006において取得した特徴量を示すような2次元画像をテンプレートとして生成する。
ステップS1009において、制御部201は、ステップS1008と同様に、テンプレート生成部206を制御して、複数の投影画像それぞれに対して、互いに異なるテンプレートを生成する。
ステップS1010において、制御部201は、情報出力部207を制御して、テンプレート生成部206が生成した複数のテンプレートを記憶装置40に出力する。これによって、記憶装置40に、物体2についての複数のテンプレートが記憶される。
なお、制御部201は、ステップS1004の後に、複数の投影画像ごとに、当該投影画像に現れる物体2の面積に対する同一の特徴を有する領域の面積の割合に応じて、非注目領域および注目領域を設定(判定)してもよい。つまり、制御部201は、投影画像に現れる物体2において或る第1の特徴を有する領域の面積が、投影画像に現れる物体2全体の領域の面積の第1の割合以上(例えば、70%以上)であれば、第1の特徴を有する領域を非注目領域に設定してもよい。さらに、制御部201は、投影画像に現れる物体2において或る第2の特徴を有する領域の面積が、投影画像に現れる物体2全体の領域の面積の第2の割合以下(例えば、10%以下)であれば、第2の特徴を有する領域を注目領
域に設定してもよい。
域に設定してもよい。
[照合装置の処理]
図4のフローチャートを用いて、照合装置30の処理を詳細に説明する。図4のフローチャートの各処理は、制御部301がプログラムに従って動作することによって実現される。
図4のフローチャートを用いて、照合装置30の処理を詳細に説明する。図4のフローチャートの各処理は、制御部301がプログラムに従って動作することによって実現される。
ステップS2001において、制御部301は、画像取得部302を制御して、撮像センサ10から計測画像を取得する。具体的には、撮像センサ10は、左右画像の2つの間の対応する画素を特定して、対応する画素の位置の差を算出する。そして、撮像センサ10は、対応する画素の位置の差と、左右のレンズの位置の差とに基づき、三角測量の技術を用いて、被写体までの距離を計測する。これによって、撮像センサ10は、例えば、点群データを有するような距離画像である計測画像を取得できる。
また、制御部301は、情報取得部303を制御して、記憶装置40から物体2についての複数のテンプレートを取得する。なお、複数のテンプレートのそれぞれは、テンプレート生成装置20において特徴量が補正されたテンプレートであってもよいし、テンプレート生成装置20において特徴量が補正されていないテンプレートであってもよい。さらに、制御部301は、画像取得部302を制御して撮像センサ10の撮像パラメータを取得してもよいし、情報取得部303を制御して物体2の3次元モデルを取得してもよい。
ステップS2002において、制御部301は、特徴量算出部304を制御して、計測画像(距離画像)から特徴量を算出する。
ステップS2003において、制御部301は、物体2の位置姿勢を推定する。例えば、制御部301は、照合部307および認識部308を制御して、非注目領域または注目領域の情報を考慮していない(特徴量の補正をしていない)テンプレートを用いた照合を計測画像に対して行って、物体2の位置姿勢を推定する。制御部301は、過去の物体2の位置姿勢の情報に基づき、物体2の位置姿勢を推定してもよい。ここでは、大まかな物体2の位置姿勢が推定できればよいため、任意の方法によって推定されてよい。
ステップS2004において、制御部301は、計測画像において物体2が他の物体によって隠されている領域(オクルージョン領域;重畳領域)があるか否かを判定する。制御部301は、事前に設定された物体2の周囲の物体の位置情報、および推定した物体2の位置姿勢に基づき、オクルージョン領域を判定することができる。オクルージョン領域があると判定されればステップS2005に進み、そうでなければS2007に進む。
ステップS2005において、制御部301は、領域設定部305を制御して、ステップS2004において判定したオクルージョン領域を非注目領域として設定する。
ステップS2006において、制御部301は、テンプレート更新部306を制御して、テンプレートを更新する。具体的には、テンプレート更新部306は、各テンプレートに対して、オクルージョン領域を非注目領域として、オクルージョン領域(非注目領域)の特徴を抑制するように特徴量を補正(更新)する。
このように、ステップS2005,S2006では、領域設定部305がテンプレートに対して非注目領域を設定し、テンプレート更新部306は、当該テンプレートの非注目領域の特徴量を補正する。しかし、ステップS2005,S2006では、領域設定部305が3次元モデルに対して非注目領域を設定し、テンプレート更新部306は、3次元モデルの非注目領域から改めて補正した特徴量を取得してもよい。
なお、ステップS2003~S2006の処理は行われなくてもよく、ステップS2002の処理が終了すると、ステップS2007に進んでもよい。
ステップS2007において、制御部301は、照合部307を制御して、複数のテンプレートのそれぞれと計測画像との照合を行う。ここで、照合部307は、計測画像の特徴量とテンプレートの特徴量を照合(比較)することによって合致度(類似度)を取得する。例えば、照合部307は、テンプレートと計測画像との間において、互いに対応する各画素の特徴量の差分Dの総合計Sum(D)の逆数1/Sum(D)を合致度として取得してよい。
ステップS2008において、制御部301は、認識部308を制御して、物体2の位置姿勢を認識する。具体的には、認識部308は、照合部307が取得した合致度が最も高くなるテンプレートに対応する姿勢を物体2の姿勢として認識し、計測画像において当該テンプレートと最も照合する位置に基づき物体2の位置を認識する。
また、認識部308は、テンプレートによって認識した物体2の位置姿勢をさらに精度よく認識するために、テンプレートによって認識した物体2の位置姿勢を初期値として、3次元モデルを計測画像における物体2に合わせ込むことによって、詳細な物体2の位置姿勢を認識してもよい。この場合には、認識部308は、3次元モデルの各点と計測画像の物体2の各点との対応関係を算出することによって、3次元モデルを計測画像に合わせ込むことが可能である。各点の対応関係の算出には、例えば、ICP(Iterative Closest Point)アルゴリズムを用いることができる。
ステップS2009において、制御部301は、結果出力部309を制御して、物体2の位置姿勢の情報を、記憶装置40に出力する。これによって、物体2の位置姿勢の情報が記憶装置40に記憶される。
本実施形態によれば、照合装置30は、注目度に応じて特徴量が補正されたテンプレートを用いて、照合を行うことができる。従って、照合装置30は、重要な領域(注目すべき領域)については照合においてより重視し、重要でない領域については照合において重視しないようにできるので、より照合結果を正確に得ることができる。このため、照合装置30は、より精度高く、物体2の位置姿勢を認識することができる。
<実施形態2>
実施形態2では、図5に示すように、把持物体3の位置姿勢をロボット60が制御することによって、把持物体3を物体2に接続させるような照合システム1(ロボット制御システム)について説明する。照合システム1は、照合システム1の構成に加えて、ロボット制御装置50とロボット60を有する。本実施形態では、撮像センサ10、テンプレート生成装置20、照合装置30、記憶装置40の構成は、実施形態1に係る構成と同じである。
実施形態2では、図5に示すように、把持物体3の位置姿勢をロボット60が制御することによって、把持物体3を物体2に接続させるような照合システム1(ロボット制御システム)について説明する。照合システム1は、照合システム1の構成に加えて、ロボット制御装置50とロボット60を有する。本実施形態では、撮像センサ10、テンプレート生成装置20、照合装置30、記憶装置40の構成は、実施形態1に係る構成と同じである。
ロボット制御装置50は、物体2(物体2および把持物体3)の位置姿勢の認識結果に基づき、ロボット60の姿勢を制御する。ロボット制御装置50は、ロボット60の把持部61によって把持された把持物体3を物体2に接続するようにロボット60を制御する。
ロボット60は、ロボット制御装置50によって姿勢が制御される。ロボット60は、把持物体3を把持する把持部61を有する。また、把持部61の一部において、撮像センサ10が接続(固定)される。つまり、本実施形態では、ロボット60の姿勢の変化に従
って、撮像センサ10の位置姿勢が変化する。しかし、撮像センサ10の位置姿勢は、ロボット60の姿勢に関わらず、固定の位置姿勢であってもよい。
って、撮像センサ10の位置姿勢が変化する。しかし、撮像センサ10の位置姿勢は、ロボット60の姿勢に関わらず、固定の位置姿勢であってもよい。
[テンプレート生成装置の処理]
実施形態2では、テンプレート生成装置20は、実施形態1に係る処理と同様に物体2のテンプレートを生成する。そして、テンプレート生成装置20は、物体2のテンプレートを生成する処理と同様の処理(図3のフローチャートに示す各処理)を把持物体3に対しても実行する。これによって、テンプレート生成装置20は、把持物体3のテンプレートを生成する。
実施形態2では、テンプレート生成装置20は、実施形態1に係る処理と同様に物体2のテンプレートを生成する。そして、テンプレート生成装置20は、物体2のテンプレートを生成する処理と同様の処理(図3のフローチャートに示す各処理)を把持物体3に対しても実行する。これによって、テンプレート生成装置20は、把持物体3のテンプレートを生成する。
[照合装置の処理]
また、照合装置30の処理が実施形態1とは異なるので、図4のフローチャートを用いて、実施形態2に係る照合装置30の処理を詳細に説明する。なお、以下では、ステップS2003,S2004について説明する。ステップS2005~S2009については、実施形態1では「物体2」についてのみ処理をしていたのに対して、「物体2および把持物体3のそれぞれ」について処理を行えばよいので説明を省略する。また、ステップS2001,S2002については、実施形態1に係る同一符号のステップと同様であるため、説明を省略する。
また、照合装置30の処理が実施形態1とは異なるので、図4のフローチャートを用いて、実施形態2に係る照合装置30の処理を詳細に説明する。なお、以下では、ステップS2003,S2004について説明する。ステップS2005~S2009については、実施形態1では「物体2」についてのみ処理をしていたのに対して、「物体2および把持物体3のそれぞれ」について処理を行えばよいので説明を省略する。また、ステップS2001,S2002については、実施形態1に係る同一符号のステップと同様であるため、説明を省略する。
ステップS2003において、制御部301は、実施形態1と同様の方法によって、物体2および把持物体3の位置姿勢を推定する。
ステップS2004において、制御部301は、計測画像において、物体2と把持物体3との間で一方が他方によって隠れている領域(オクルージョン領域;重畳領域)が存在するか否かを判定する。ここで、制御部301は、把持部61によって、計測画像において物体2と把持物体3とのいずれかが隠されている領域がある場合にも、当該領域をオクルージョン領域として判定する。オクルージョン領域が存在する場合にはステップS2005に進み、オクルージョン領域が存在しない場合にはステップS2007に進む。
なお、本実施形態では、物体2と把持物体3とが接続するように、ロボット制御装置50がロボット60の姿勢を制御する必要がある。このため、物体2および把持物体3の位置姿勢の認識結果に基づき、照合装置30によって物体2と把持物体3とが接続されたと判定されるまで、図4の処理(ステップS2001~S2009)の処理は繰り返される。
本実施形態では、照合装置30は、物体2と把持物体3との間で生じるオクルージョン領域(非注目領域)を、物体2と把持物体3の推定位置姿勢に基づき判定(設定)できる。このため、物体2と把持物体3との間で生じるオクルージョン領域を照合において重視してしまうことを防ぐことができる。従って、照合装置30は、より精度高く、物体2の位置姿勢を認識することができる。ひいては、照合システム1(物体移動システム)は、精度よく把持物体3を物体2に接続させることができる。
なお、上述の各実施形形態では、照合システム1は、ユーザによる指示や3次元モデル、オクルージョン領域などに基づき、非注目領域および注目領域(各領域の注目度)を設定したが、その他の方法により非注目領域および注目領域を設定してもよい。例えば、照合システム1は、複数回(網羅的に)、ランダムに非注目領域および注目領域を設定して物体2の位置姿勢を認識した結果のうち、実際の物体2の位置姿勢に近似する位置姿勢を認識した際の非注目領域および注目領域を、その後の認識にも用いるようにしてもよい。
なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定され
るものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。
るものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。
(付記1)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置(30)に用いられる前記テンプレートを生成するテンプレート生成装置(20)であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成手段(204)と、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段(205)と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成手段(206)と、
を有することを特徴とするテンプレート生成装置(20)。
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置(30)に用いられる前記テンプレートを生成するテンプレート生成装置(20)であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成手段(204)と、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段(205)と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成手段(206)と、
を有することを特徴とするテンプレート生成装置(20)。
(付記2)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段(302,303)と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段(301)と、
前記推定手段(301)が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段(301)と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段(306)と、
前記更新手段(306)が更新したテンプレートと前記計測画像とを照合する照合手段(308)と、
を有することを特徴とする照合装置(30)。
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段(302,303)と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段(301)と、
前記推定手段(301)が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段(301)と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段(306)と、
前記更新手段(306)が更新したテンプレートと前記計測画像とを照合する照合手段(308)と、
を有することを特徴とする照合装置(30)。
(付記3)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置(30)に用いられる前記テンプレートを生成するテンプレート生成方法であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成ステップ(S1004)と、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得ステップ(S1006)と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成ステップ(S1008)と、
を有することを特徴とするテンプレート生成方法。
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置(30)に用いられる前記テンプレートを生成するテンプレート生成方法であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成ステップ(S1004)と、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得ステップ(S1006)と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成ステップ(S1008)と、
を有することを特徴とするテンプレート生成方法。
(付記4)
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得ステップ(S2001)と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定ステップ(S2003)と、
前記推定ステップにおいて推定された前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定ステップ(S2004)と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新ステップ(S2006)と、
前記更新ステップにおいて更新されたテンプレートと前記計測画像とを照合する照合ステップ(S2007)と、
を有することを特徴とする照合方法。
所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得ステップ(S2001)と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定ステップ(S2003)と、
前記推定ステップにおいて推定された前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定ステップ(S2004)と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新ステップ(S2006)と、
前記更新ステップにおいて更新されたテンプレートと前記計測画像とを照合する照合ステップ(S2007)と、
を有することを特徴とする照合方法。
1:照合システム、2:物体、10:撮像センサ、20:テンプレート生成装置、
30:照合装置、40:記憶装置、201:制御装置、202:情報取得部、
203:領域設定部、204:投影画像生成部、205:特徴量算出部、
206:テンプレート生成部、207:情報出力部、301:制御部、
302:画像取得部、303:情報取得部、304:特徴量算出部、
305:領域設定部、306:テンプレート更新部、307:照合部、
308:認識部、309:結果出力部
30:照合装置、40:記憶装置、201:制御装置、202:情報取得部、
203:領域設定部、204:投影画像生成部、205:特徴量算出部、
206:テンプレート生成部、207:情報出力部、301:制御部、
302:画像取得部、303:情報取得部、304:特徴量算出部、
305:領域設定部、306:テンプレート更新部、307:照合部、
308:認識部、309:結果出力部
Claims (16)
- 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成装置であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成手段と、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得手段と、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成手段と、
を有することを特徴とするテンプレート生成装置。 - 前記3次元モデルにおいて、他の領域よりも注目度の低い第1の領域を設定する設定手段をさらに有し、
前記特徴量取得手段は、前記第1の領域の特徴を抑制した特徴量を取得する、
ことを特徴とする請求項1に記載のテンプレート生成装置。 - 前記設定手段は、ユーザが指定した領域を前記第1の領域として設定する、
ことを特徴とする請求項2に記載のテンプレート生成装置。 - 前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第1の値以上である領域を前記第1の領域として設定する、
ことを特徴とする請求項2または3に記載のテンプレート生成装置。 - 前記設定手段は、前記3次元モデルおいて、前記第1の領域よりも注目度の高い第2の領域を設定し、
前記特徴量取得手段は、前記第2の領域の特徴を強調した特徴量を取得する、
ことを特徴とする請求項2から4のいずれか1項に記載のテンプレート生成装置。 - 前記設定手段は、凹凸形状の領域を前記第2の領域として設定する、
ことを特徴とする請求項5に記載のテンプレート生成装置。 - 前記設定手段は、前記所定の物体に対する、前記所定の物体において同一の特徴を有する領域の割合が第2の値以下である領域を前記第2の領域として設定する、
ことを特徴とする請求項5または6に記載のテンプレート生成装置。 - 前記計測画像は、被写体までの距離を各画素が表す距離画像である、
ことを特徴とする請求項1から7のいずれか1項に記載のテンプレート生成装置。 - 前記第1の生成手段は、それぞれが互いに異なる姿勢の前記所定の物体を2次元画像として表す複数の前記投影画像を生成し、
前記第2の生成手段は、前記複数の投影画像のそれぞれについて、前記テンプレートを生成する、
ことを特徴とする請求項1から8のいずれか1項に記載のテンプレート生成装置。 - 請求項1から9のいずれか1項に記載のテンプレート生成装置と、
前記テンプレート生成装置が生成したテンプレートと、前記計測画像とを照合する照合装置と、
を有することを特徴とする照合システム。 - 前記照合装置は、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、
前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、
を有する、
ことを特徴とする請求項10に記載の照合システム。 - 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得手段と、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定手段と、
前記推定手段が推定した前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定手段と、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新手段と、
前記更新手段が更新したテンプレートと前記計測画像とを照合する照合手段と、
を有することを特徴とする照合装置。 - 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを照合する照合装置に用いられる前記テンプレートを生成するテンプレート生成方法であって、
前記所定の物体の3次元モデルに基づき、前記所定の物体を2次元画像として表す投影画像を生成する第1の生成ステップと、
前記3次元モデルまたは前記投影画像に基づき、前記3次元モデルの各領域の注目度に応じて補正した特徴量を取得する特徴量取得ステップと、
前記投影画像に対応する前記特徴量を示す、前記テンプレートを生成する第2の生成ステップと、
を有することを特徴とするテンプレート生成方法。 - 所定の物体を含む計測範囲を計測した結果を表す計測画像と前記所定の物体の特徴量を示すテンプレートとを取得する取得ステップと、
前記計測画像に基づき、前記所定の物体の位置姿勢を推定する推定ステップと、
前記推定ステップにおいて推定された前記所定の物体の位置姿勢に基づき、前記計測画像において前記所定の物体に対して他の物体が重畳する重畳領域を判定する判定ステップと、
前記重畳領域に対応する前記テンプレートの領域の特徴を抑制するように、前記テンプレートを更新する更新ステップと、
前記更新ステップにおいて更新されたテンプレートと前記計測画像とを照合する照合ステップと、
を有することを特徴とする照合方法。 - 請求項13に記載のテンプレート生成方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項14に記載の照合方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039417A JP2022139158A (ja) | 2021-03-11 | 2021-03-11 | テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム |
PCT/JP2021/047102 WO2022190533A1 (ja) | 2021-03-11 | 2021-12-20 | テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム |
CN202180092548.1A CN116783615A (zh) | 2021-03-11 | 2021-12-20 | 模板生成装置、对照***、对照装置、模板生成方法、对照方法及程序 |
US18/546,006 US20240095950A1 (en) | 2021-03-11 | 2021-12-20 | Template generation device, collation system, collation device, template generation method, collation method, and program |
EP21930378.1A EP4273795A1 (en) | 2021-03-11 | 2021-12-20 | Template generation device, collation system, collation device, template generation method, collation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021039417A JP2022139158A (ja) | 2021-03-11 | 2021-03-11 | テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022139158A true JP2022139158A (ja) | 2022-09-26 |
Family
ID=83226514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021039417A Pending JP2022139158A (ja) | 2021-03-11 | 2021-03-11 | テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240095950A1 (ja) |
EP (1) | EP4273795A1 (ja) |
JP (1) | JP2022139158A (ja) |
CN (1) | CN116783615A (ja) |
WO (1) | WO2022190533A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015137997A1 (en) * | 2013-03-15 | 2015-09-17 | Compology, Inc. | System and method for waste management |
JP6410411B2 (ja) * | 2013-06-20 | 2018-10-24 | キヤノン株式会社 | パターンマッチング装置及びパターンマッチング方法 |
JP6491517B2 (ja) * | 2015-03-31 | 2019-03-27 | Kddi株式会社 | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 |
JP6489243B2 (ja) | 2018-01-17 | 2019-03-27 | セイコーエプソン株式会社 | 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット |
-
2021
- 2021-03-11 JP JP2021039417A patent/JP2022139158A/ja active Pending
- 2021-12-20 US US18/546,006 patent/US20240095950A1/en active Pending
- 2021-12-20 CN CN202180092548.1A patent/CN116783615A/zh active Pending
- 2021-12-20 WO PCT/JP2021/047102 patent/WO2022190533A1/ja active Application Filing
- 2021-12-20 EP EP21930378.1A patent/EP4273795A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116783615A (zh) | 2023-09-19 |
EP4273795A1 (en) | 2023-11-08 |
US20240095950A1 (en) | 2024-03-21 |
WO2022190533A1 (ja) | 2022-09-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4556873B2 (ja) | 画像照合システム及び画像照合方法 | |
US9881204B2 (en) | Method for determining authenticity of a three-dimensional object | |
KR101997500B1 (ko) | 개인화된 3d 얼굴 모델 생성 방법 및 장치 | |
US6819782B1 (en) | Device and method for recognizing hand shape and position, and recording medium having program for carrying out the method recorded thereon | |
JP4459137B2 (ja) | 画像処理装置及びその方法 | |
JP5772821B2 (ja) | 顔特徴点位置補正装置、顔特徴点位置補正方法および顔特徴点位置補正プログラム | |
JP4709668B2 (ja) | 3次元物体認識システム | |
JP6318162B2 (ja) | 3次元の顔モデルを生成する方法 | |
JP2007004767A (ja) | 画像認識装置、方法およびプログラム | |
KR20120048370A (ko) | 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법 | |
JP2002298141A (ja) | パターン照合装置とそのパターン照合方法、及びパターン照合プログラム | |
JPWO2015146101A1 (ja) | 顔照合装置、方法、及び、記録媒体 | |
CN113393524B (zh) | 一种结合深度学习和轮廓点云重建的目标位姿估计方法 | |
JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP2002063567A (ja) | 物***置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 | |
JP4921847B2 (ja) | 対象物の三次元位置推定装置 | |
WO2022190533A1 (ja) | テンプレート生成装置、照合システム、照合装置、テンプレート生成方法、照合方法およびプログラム | |
JP6604008B2 (ja) | 画像処理装置、画像処理プログラム、及び画像処理方法 | |
JP4876742B2 (ja) | 画像処理装置及び画像処理プログラム | |
CN103034859B (zh) | 一种获取姿势模型的方法及装置 | |
WO2022190534A1 (ja) | 認識装置、ロボット制御システム、認識方法、およびプログラム | |
JP5213778B2 (ja) | 顔認識装置及び顔器官の特徴点特定方法 | |
JP2008003800A (ja) | 画像処理装置及び画像処理プログラム | |
JP4687579B2 (ja) | 画像処理装置及び画像処理プログラム | |
KR20190076202A (ko) | 3차원 손 자세 인식 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240116 |