JP5468824B2 - 3次元における形状の一致を判定する方法および装置 - Google Patents
3次元における形状の一致を判定する方法および装置 Download PDFInfo
- Publication number
- JP5468824B2 JP5468824B2 JP2009147561A JP2009147561A JP5468824B2 JP 5468824 B2 JP5468824 B2 JP 5468824B2 JP 2009147561 A JP2009147561 A JP 2009147561A JP 2009147561 A JP2009147561 A JP 2009147561A JP 5468824 B2 JP5468824 B2 JP 5468824B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- point
- shape
- determining
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
たとえば、特許文献1に記載される方法では、3次元形状を撮影した輝度画像から輝度分布を求め、この輝度分布に基づいて特徴量を決定し、決定された特徴量を基準として一致を判定する。
他の具体例として、撮影のアングルが異なる場合が挙げられる。2次元画像は、判定対象の物体とカメラとの相対的な位置および姿勢によって大きく変化する。このため、同一の物体であっても異なる角度から撮影すれば異なる画像となり、精度の高い一致判定を行うことができない。なお、3次元の位置関係の変化による画像の変化は、単なる2次元画像の回転またはスケール変化の範囲を超えるものであるため、2次元画像の回転およびスケール変化に対して頑健な方法を用いるだけでは、この問題を解消することができない。
他の形状について、少なくとも1つの特徴点を抽出するステップと、他の形状の特徴点について、特徴量を決定するステップと、他の形状の特徴量を記憶するステップとをさらに含んでもよい。このようにすると、2つの形状について同じ方法で決定された特徴量を用いて判定を行うことができる。
特徴量はベクトルの形式によって表されてもよい。
形状のそれぞれの間の一致を判定するステップは、形状のそれぞれの特徴量を表すベクトルの間のユークリッド距離を算出するステップを含んでもよい。
形状の少なくとも1つは距離画像によって表されてもよい。
実施の形態1.
図1は、この発明に係る判定装置10の構成を示す。判定装置10は、3次元における形状の一致を判定する装置であり、3次元における形状の一致を判定する方法を実行するものである。物体40は3次元における形状を有し、この形状が本実施形態において一致判定の対象となる。ここでは、物体40を判定対象としての第一の物体とする。
コンピュータ30は、演算を行う演算手段31と、情報を記憶する記憶手段32とを備える。演算手段31はたとえば周知のプロセッサであり、記憶手段32はたとえば周知の半導体メモリ装置または磁気ディスク装置である。
まず、判定装置10は、第一の形状を有する第一の物体として、物体40について処理を行う(ステップS1〜S4)。
ここで、まず判定装置10は、物体40について、その形状を表す距離画像を作成する(ステップS1)。このステップS1において、カメラ制御手段33が距離画像カメラ20を制御して距離画像を撮影させ、距離画像のデータを距離画像カメラ20から受信して記憶手段32に記憶する。すなわち、記憶手段32は図3に示すような距離画像のデータを記憶することになる。
この特徴点はどのような方法で抽出されてもよいが、以下に例を示す。距離画像は2次元の画像であるので、距離を輝度として解釈すれば、形式的には2次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、図3の例では、距離が近い点を輝度の高い点とし、距離が遠い点を輝度の低い点として表しているが、この輝度による表示をそのまま輝度画像として用いることができる。このため、物体40の形状について特徴点を抽出する方法として、2次元の輝度画像から特徴点を抽出する周知の方法をそのまま応用することができる。
ここでは、図1に示す特徴点41が抽出されたものとし、以下のステップS3およびS4では特徴点41を例にとって説明する。なお、複数の特徴点が抽出された場合、ステップS3およびS4の処理は特徴点のそれぞれについて実行される。
図5は、ステップS3に含まれる処理の詳細を示すフローチャートであり、図6は、図1の特徴点41の近傍を拡大して示す図である。
次に、このステップS3において、特徴量決定手段35は、接平面42の法線の方向を算出する(ステップS32)。
なお、距離画像は特徴点41およびその周辺の形状を表す情報を含んでいるので、ステップS31およびS32において接平面42およびその法線の方向を算出する処理は、当業者であれば適宜設計することができる。このようにすると、距離画像カメラ20の位置やアングルによらず、特徴点41における形状に関連する方向を特定することができる。
次に、特徴量決定手段35は、各表面点の深さ(デプス)を算出する(ステップS35)。深さは、表面点と、これに対応する投影点との間の距離として算出される。たとえば表面点43の深さは深さdである。
このステップS36において、特徴点41のスケールはどのような方法で決定されてもよいが、以下に例を示す。各投影点は接平面42上において2次元の座標によって表すことができ、また、各投影点に対応する表面点の深さはスカラー値である。このため、深さを輝度として解釈すれば、形式的には2次元の輝度画像と同一の構成を有するデータとみることができる。すなわち、各投影点について深さを表すデータを、そのまま輝度画像として用いることができる。このため、特徴点41のスケールを決定する方法として、2次元の輝度画像における特徴点のスケールを決定する周知の方法をそのまま応用することができる。
このステップS37において、特徴点41の方向はどのような方法で決定されてもよいが、ステップS36と同様にして、非特許文献1および2に記載されるSIFTによる方法を用いることができる。すなわち、特徴量決定手段35は、SIFTによる方法を用いて、各表面点の深さに基づき、接平面42における特徴点41の方向を決定する。SIFTによる方法では、各画素の輝度勾配(本実施形態では、各表面点における深さ勾配)を求め、この勾配と、特徴点41を中心としスケールに応じたガウス関数との畳み込み演算を行い、畳み込みの結果を離散化した方向ごとのヒストグラムに表し、ヒストグラムにおいて最も勾配が大きい方向を特徴点41の方向として決定する。
なお、図6の例では特徴点41の方向は方向Aのみであるが、1つの特徴点が複数の方向を有してもよい。SIFTによれば、深さ勾配が所定値を超える極値を持つ複数の方向が得られる場合があるが、このような場合であっても以下の処理を同様に行うことができる。
続いて、判定装置10は、第二の形状を有する第二の物体について、上記ステップS1〜S4と同様の処理を行う(ステップS5〜S8)。ステップS5〜S8の処理はそれぞれステップS1〜S4と同様であるので説明を省略する。
なお、上記の手法において、各種パラメータすなわちN1,N2,N3,DおよびXは、当業者であれば実験的に適切な値を決定することができる。
また、撮影のアングルが異なる場合であっても、適切に一致を判定することができる。同一の物体であれば、撮影のアングルが異なっても形状は変化しないので、同じ特徴点であれば法線方向および深さ勾配は不変であり、特徴量も不変となる。このため、それぞれの距離画像に共通の特徴点が含まれている限り、特徴量の一致により特徴点の対応を適切に検出することができる。
上述の実施の形態1では、判定装置は、2つの形状をそれぞれ撮影して特徴量を決定する。実施の形態2では、第一の形状についてはあらかじめ特徴量を記憶しておき、第二の形状についてのみ撮影および特徴量の決定を行うものである。
実施の形態2における判定装置の動作は、図4の処理のうちステップS1〜S3を省略したものである。すなわち、第一の形状については特徴量の決定を行わず、外部(たとえば他の判定装置)で決定された特徴量を入力として受け取り、これを記憶する。これはたとえばモデルデータの入力に相当する。ステップS4以降の処理は実施の形態1と同様であり、第二の形状について撮影、特徴点の抽出、特徴量の決定を行った後、第一の形状と第二の形状との一致を判定する。
Claims (6)
- 3次元における形状の一致を判定する方法であって、
少なくとも1つの形状について、少なくとも1つの特徴点を抽出するステップと、
抽出された前記特徴点について、特徴量を決定するステップと、
決定された前記特徴量と、他の形状について記憶された前記特徴量とに基づいて、前記形状のそれぞれの間の一致を判定するステップと、
を含む方法において、
前記特徴量は立体的形状を表し、
前記特徴量を決定する前記ステップは、
前記特徴点のそれぞれについて、その特徴点を含む平面に対する法線の方向を算出するステップと、
前記形状の表面を構成する表面点を抽出するステップと、
前記表面点を前記法線の方向に沿って前記平面に投影した投影点を特定するステップと、
前記表面点と前記投影点との距離を、前記表面点の深さとして算出するステップと、
複数の前記表面点の前記深さに基づいて、前記特徴点のスケールを決定するステップと、
複数の前記表面点の前記深さに基づいて、前記平面における前記特徴点の方向を決定するステップと、
前記特徴点の位置と、前記特徴点のスケールと、前記特徴点の方向とに基づいて、特徴記述領域を決定するステップと、
前記特徴記述領域内の前記表面点の前記深さに基づいて、前記特徴量を算出するステップと、
を含むことを特徴とする、方法。 - 前記他の形状について、少なくとも1つの特徴点を抽出するステップと、
前記他の形状の前記特徴点について、特徴量を決定するステップと、
前記他の形状の特徴量を記憶するステップと
をさらに含む、請求項1に記載の方法。 - 前記特徴量はベクトルの形式によって表される、請求項1または2に記載の方法。
- 前記形状のそれぞれの間の一致を判定する前記ステップは、前記形状のそれぞれの前記特徴量を表す前記ベクトルの間のユークリッド距離を算出するステップを含む、請求項3に記載の方法。
- 前記形状の少なくとも1つは距離画像によって表される、請求項1〜4のいずれか一項に記載の方法。
- 3次元における形状の一致を判定する装置であって、
前記形状の距離画像を作成する、距離画像作成手段と、
前記距離画像および前記特徴量を記憶する記憶手段と、
前記距離画像によって表される前記形状について、請求項1〜5のいずれか一項に記載の方法を用いて一致を判定する演算手段と
を備える装置。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009147561A JP5468824B2 (ja) | 2009-06-22 | 2009-06-22 | 3次元における形状の一致を判定する方法および装置 |
US13/264,803 US20120033873A1 (en) | 2009-06-22 | 2010-06-04 | Method and device for determining a shape match in three dimensions |
CN201080021842.5A CN102428497B (zh) | 2009-06-22 | 2010-06-04 | 判定三维形状一致的方法以及装置 |
KR1020117028830A KR20120023052A (ko) | 2009-06-22 | 2010-06-04 | 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치 |
PCT/JP2010/059540 WO2010150639A1 (ja) | 2009-06-22 | 2010-06-04 | 3次元における形状の一致を判定する方法および装置 |
DE112010002677T DE112010002677T5 (de) | 2009-06-22 | 2010-06-04 | Verfahren und vorrichtung zum bestimmen einer formübereinstimmung in drei dimensionen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009147561A JP5468824B2 (ja) | 2009-06-22 | 2009-06-22 | 3次元における形状の一致を判定する方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011003127A JP2011003127A (ja) | 2011-01-06 |
JP5468824B2 true JP5468824B2 (ja) | 2014-04-09 |
Family
ID=43386411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009147561A Expired - Fee Related JP5468824B2 (ja) | 2009-06-22 | 2009-06-22 | 3次元における形状の一致を判定する方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20120033873A1 (ja) |
JP (1) | JP5468824B2 (ja) |
KR (1) | KR20120023052A (ja) |
CN (1) | CN102428497B (ja) |
DE (1) | DE112010002677T5 (ja) |
WO (1) | WO2010150639A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9053562B1 (en) | 2010-06-24 | 2015-06-09 | Gregory S. Rabin | Two dimensional to three dimensional moving image converter |
JP2013172211A (ja) * | 2012-02-17 | 2013-09-02 | Sharp Corp | 遠隔操作装置、遠隔操作システム |
US9992021B1 (en) | 2013-03-14 | 2018-06-05 | GoTenna, Inc. | System and method for private and point-to-point communication between computing devices |
CN104616278B (zh) | 2013-11-05 | 2020-03-17 | 北京三星通信技术研究有限公司 | 三维点云兴趣点检测方法和*** |
US9547901B2 (en) | 2013-11-05 | 2017-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds |
SG11201707200PA (en) * | 2015-03-24 | 2017-10-30 | Kla Tencor Corp | Method for shape classification of an object |
US10215560B2 (en) | 2015-03-24 | 2019-02-26 | Kla Tencor Corporation | Method for shape classification of an object |
US10587858B2 (en) * | 2016-03-14 | 2020-03-10 | Symbol Technologies, Llc | Device and method of dimensioning using digital images and depth data |
US20230252813A1 (en) * | 2022-02-10 | 2023-08-10 | Toshiba Tec Kabushiki Kaisha | Image reading device |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002511175A (ja) | 1998-03-23 | 2002-04-09 | 松下電器産業株式会社 | 画像認識方法 |
JP2000113192A (ja) * | 1998-10-08 | 2000-04-21 | Minolta Co Ltd | 3次元形状データの解析方法および記録媒体 |
JP2001143073A (ja) * | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 物体の位置姿勢決定の方法 |
RU2216781C2 (ru) * | 2001-06-29 | 2003-11-20 | Самсунг Электроникс Ко., Лтд | Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта |
JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
-
2009
- 2009-06-22 JP JP2009147561A patent/JP5468824B2/ja not_active Expired - Fee Related
-
2010
- 2010-06-04 US US13/264,803 patent/US20120033873A1/en not_active Abandoned
- 2010-06-04 KR KR1020117028830A patent/KR20120023052A/ko not_active Application Discontinuation
- 2010-06-04 WO PCT/JP2010/059540 patent/WO2010150639A1/ja active Application Filing
- 2010-06-04 DE DE112010002677T patent/DE112010002677T5/de not_active Withdrawn
- 2010-06-04 CN CN201080021842.5A patent/CN102428497B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2010150639A1 (ja) | 2010-12-29 |
CN102428497B (zh) | 2015-04-15 |
CN102428497A (zh) | 2012-04-25 |
KR20120023052A (ko) | 2012-03-12 |
DE112010002677T5 (de) | 2012-11-08 |
JP2011003127A (ja) | 2011-01-06 |
US20120033873A1 (en) | 2012-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5468824B2 (ja) | 3次元における形状の一致を判定する方法および装置 | |
Buch et al. | Pose estimation using local structure-specific shape and appearance context | |
JP5384746B2 (ja) | プルーニング機能、画像スケーリング、および、空間制約付き特徴マッチングによる画像認識アルゴリズムの性能の改善 | |
David et al. | Object recognition in high clutter images using line features | |
Kurz et al. | Inertial sensor-aligned visual feature descriptors | |
CN109479082B (zh) | 图象处理方法及装置 | |
JP5261501B2 (ja) | 不変の視覚場面及び物体の認識 | |
JP5631086B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
US20190019030A1 (en) | Imaging system and method for object detection and localization | |
KR20120130788A (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
JP2012043308A (ja) | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム | |
Uchiyama et al. | Toward augmenting everything: Detecting and tracking geometrical features on planar objects | |
CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
KR101868740B1 (ko) | 파노라마 이미지 생성 방법 및 장치 | |
CN113298871B (zh) | 地图生成方法、定位方法及其***、计算机可读存储介质 | |
Nascimento et al. | GEOBIT: A geodesic-based binary descriptor invariant to non-rigid deformations for RGB-D images | |
CN112036398B (zh) | 一种文本校正方法及其*** | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
JP2015007919A (ja) | 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法 | |
Feng et al. | Research on an image mosaic algorithm based on improved ORB feature combined with surf | |
Noury et al. | How to overcome perceptual aliasing in ASIFT? | |
Xing et al. | An improved algorithm on image stitching based on SIFT features | |
JP2020096254A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6278757B2 (ja) | 特徴量生成装置、特徴量生成方法、およびプログラム | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130822 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |