JP2012022411A - 情報処理装置及びその制御方法、プログラム - Google Patents
情報処理装置及びその制御方法、プログラム Download PDFInfo
- Publication number
- JP2012022411A JP2012022411A JP2010158263A JP2010158263A JP2012022411A JP 2012022411 A JP2012022411 A JP 2012022411A JP 2010158263 A JP2010158263 A JP 2010158263A JP 2010158263 A JP2010158263 A JP 2010158263A JP 2012022411 A JP2012022411 A JP 2012022411A
- Authority
- JP
- Japan
- Prior art keywords
- target object
- partial
- images
- information
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】 3次元空間内の対象物体の位置姿勢を推定する情報処理装置であって、複数の撮影位置から対象物体を撮影して得られた複数の撮影画像を入力する入力手段と、入力された複数の撮影画像の各々から、3次元空間内の所定の部分空間が占める領域に対応する部分画像を切り出す切出手段と、複数の撮影画像からそれぞれ切り出された複数の部分画像の特徴を示す特徴情報を、当該複数の部分画像から抽出する抽出手段と、物体の位置姿勢と、当該位置姿勢に対応する当該物体の特徴情報とを関連づけて示す辞書情報を記憶する記憶手段と、抽出手段が抽出した対象物体の特徴情報と、辞書情報に示される特徴情報とを比較して、該対象物体の位置姿勢を推定する推定手段とを備える。
【選択図】 図1
Description
3次元空間内の対象物体の位置姿勢を推定する情報処理装置であって、
複数の撮影位置から前記対象物体を撮影して得られた複数の撮影画像を入力する入力手段と、
入力された前記複数の撮影画像の各々から、前記3次元空間内の所定の部分空間が占める領域に対応する部分画像を切り出す切出手段と、
前記複数の撮影画像からそれぞれ切り出された複数の部分画像の特徴を示す特徴情報を、当該複数の部分画像から抽出する抽出手段と、
物体の位置姿勢と、当該位置姿勢に対応する当該物体の特徴情報とを関連づけて示す辞書情報を記憶する記憶手段と、
前記抽出手段が抽出した前記対象物体の特徴情報と、前記辞書情報に示される特徴情報とを比較して、該対象物体の位置姿勢を推定する推定手段と
を備える。
本実施形態では、3次元空間内の対象物体の位置姿勢を推定する構成を説明する。
図1は、本実施形態による物体認識手法の基本的な処理手順を説明する処理フロー図である。101は入力画像群(入力撮影画像群)であり、例えば、図3に示すように同一の対象物を複数のカメラ(撮影装置)で撮影した複数の画像のことである。なお、本実施形態では101は複数のカメラで撮影した複数の画像群を想定している。しかし、実施形態3に述べるように1つのカメラで複数回撮影した画像群を用いても構わない。
図2は、本実施形態に係る物体認識手法を実行する情報処理装置の構成を示すブロック図である。図2のように情報処理装置は、外部記憶装置201、中央処理装置(CPU)202、メモリ203、入出力装置204を備える。
図3は実施形態1における複数のカメラ(撮影装置)による対象物体の撮影の様子を示す図である。実施形態1においては、複数のカメラを用いて複数の撮影位置から複数の撮影画像を取得して情報処理装置に入力する。図3では3台のカメラで対象物を撮影する例を示している。実施形態1においては、図3のように、対象物体301とカメラ間の距離はある程度離れている。具体的には、対象物体が奥行き方向に移動しても、それぞれのカメラで撮影された対象物体の形が大きさしか変化しないと見なせる程度に、対象物体とカメラとの間の距離は離れている。
次に、図4を参照して、注目投射領域切り出しステップ102での処理を説明する。図4は3次元空間における対象物体とカメラの相対位置を示した図である。
図5は図1を参照して説明した処理を実現するために、情報処理装置が実行する処理手順を示すフローチャートである。このフローチャートの各ステップの処理は、情報処理装置の中央処理装置(CPU)202の制御に基づいて実行される。
[非特許文献1] D. G. Lowe, “Object recognition from local scale-invariant features”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999.
[非特許文献2] N. Dalel, B. Triggs, “Histograms of oriented gradientsfor fuman detection”, Proc. of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 886-893, 2005.
次に、S508で、抽出した対象物体の特徴情報と、辞書情報に示される特徴情報とを比較して、該対象物体の位置姿勢を推定する推定処理を行う。すなわち、辞書と特徴ベクトルをマッチングすることによって、入力画像に対する認識結果を取得する。その結果、信頼度(適合度)が予め定められたしきい値以上の場合は、当該注目枠に対象物体が認識した種類、姿勢で存在するとして結果ファイルに書き込む。
実施形態1においては、対象物体とカメラ間の距離はある程度離れていることを前提としていたが、本実施形態では対象物体とカメラ間の距離が近接している場合においても対象物体の位置姿勢を高精度に検出可能な構成を説明する。
図6を参照して、実施形態2における登録画像群(登録撮影画像群)を取得する手法を説明する。図6は、図4(c)のように対象物体存在範囲とカメラとの位置関係を上方(y軸正方向)から見た様子を模式的に示す図である。601は対象物体の存在領域であり、図4の401に対応する。604は注目枠であり、図4の402に対応する。
図7は実施形態2の処理フロー図である。701、702、703はそれぞれ図1の101、102、103に対応し、704、705、706はそれぞれ図1の106、107、108に対応する。このため、701〜706については説明を省略する。図1では110の辞書が1つであったが、図7では707にあるように辞書群となっている点が図1と異なる。
実施形態1、実施形態2においては、カメラの数と撮影画像の数が一致していることを前提としていたが、本実施形態においては1つのカメラで複数の画像を撮影して、複数の撮影画像を取得・入力する。具体的には、ロボットハンド上にカメラを固定して、それを操作することにより異なる視点からの対象物体の撮影を実現する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (11)
- 3次元空間内の対象物体の位置姿勢を推定する情報処理装置であって、
複数の撮影位置から前記対象物体を撮影して得られた複数の撮影画像を入力する入力手段と、
入力された前記複数の撮影画像の各々から、前記3次元空間内の所定の部分空間が占める領域に対応する部分画像を切り出す切出手段と、
前記複数の撮影画像からそれぞれ切り出された複数の部分画像の特徴を示す特徴情報を、当該複数の部分画像から抽出する抽出手段と、
物体の位置姿勢と、当該位置姿勢に対応する当該物体の特徴情報とを関連づけて示す辞書情報を記憶する記憶手段と、
前記抽出手段が抽出した前記対象物体の特徴情報と、前記辞書情報に示される特徴情報とを比較して、該対象物体の位置姿勢を推定する推定手段と
を備えることを特徴とする情報処理装置。 - 前記切出手段は、前記複数の撮影画像の各々から、複数の前記部分空間のそれぞれに対応する部分画像を切り出し、
前記抽出手段は、前記部分空間毎に、該部分空間に対応する複数の部分画像からなる集合の特徴を示す特徴情報を抽出し、
前記推定手段は、前記部分空間毎に抽出された前記特徴情報の各々と、前記辞書情報に示される特徴情報とを比較して、該辞書情報に示される特徴情報との適合度が最も高い特徴情報が抽出された前記部分画像の集合に基づいて、前記対象物体の位置姿勢を推定する
ことを特徴とする請求項1に記載の情報処理装置。 - 前記記憶手段は前記部分空間毎に前記辞書情報を記憶し、
前記推定手段は、前記部分空間毎に抽出された前記特徴情報の各々と、該部分空間に対応する前記辞書情報に示される特徴情報とを比較して、前記対象物体の位置姿勢を推定する
ことを特徴とする請求項2に記載の情報処理装置。 - 前記情報処理装置は、前記適合度が予め定められたしきい値以上の前記部分空間の位置を前記対象物体の位置と推定することを特徴とする請求項2に記載の情報処理装置。
- 前記情報処理装置は、前記部分空間に対応する複数の部分画像の全てに前記対象物体が占める全領域が表されている場合は、当該部分空間の位置を前記対象物体の位置と推定することを特徴とする請求項2に記載の情報処理装置。
- 前記抽出手段は、前記複数の部分画像を融合して単一画像を生成し、当該単一画像の特徴を示す情報を前記特徴情報として抽出することを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
- 前記記憶手段は物体の種類毎に前記辞書情報を記憶し、
前記推定手段は、前記抽出された特徴情報の各々と、前記物体の種類毎の辞書情報に示される特徴情報の各々とを比較して、前記対象物体の位置姿勢及び種類を推定する
ことを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。 - 前記入力手段は、互いに異なる撮影位置に設けられた複数の撮影手段により撮影された画像を前記複数の撮影画像として入力する請求項1から7のいずれか1項に記載の情報処理装置。
- 前記入力手段は、同一の撮影手段により複数の撮影位置から撮影された複数の画像を前記撮影画像として入力する請求項1から7のいずれか1項に記載の情報処理装置。
- 物体の位置姿勢と当該位置姿勢に対応する当該物体の特徴情報とを関連づけて示す辞書情報を記憶する記憶手段を備えた、3次元空間内の対象物体の位置姿勢を推定する情報処理装置の制御方法であって、
入力手段が、複数の撮影位置から前記対象物体を撮影して得られた複数の撮影画像を入力する入力工程と、
切出手段が、入力された前記複数の撮影画像の各々から、前記3次元空間内の所定の部分空間が占める領域に対応する部分画像を切り出す切出工程と、
抽出手段が、前記複数の撮影画像からそれぞれ切り出された複数の部分画像の特徴を示す特徴情報を、当該複数の部分画像から抽出する抽出工程と、
推定手段が、前記抽出工程において抽出された前記対象物体の特徴情報と、前記辞書情報に示される特徴情報とを比較して、該対象物体の位置姿勢を推定する推定工程と
を有することを特徴とする情報処理装置の制御方法。 - コンピュータを請求項1から9のいずれか1項に記載の情報処理装置が備える各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010158263A JP5631086B2 (ja) | 2010-07-12 | 2010-07-12 | 情報処理装置及びその制御方法、プログラム |
US13/165,917 US9053546B2 (en) | 2010-07-12 | 2011-06-22 | Information processing apparatus, control method therefor, and computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010158263A JP5631086B2 (ja) | 2010-07-12 | 2010-07-12 | 情報処理装置及びその制御方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012022411A true JP2012022411A (ja) | 2012-02-02 |
JP5631086B2 JP5631086B2 (ja) | 2014-11-26 |
Family
ID=45438617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010158263A Expired - Fee Related JP5631086B2 (ja) | 2010-07-12 | 2010-07-12 | 情報処理装置及びその制御方法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9053546B2 (ja) |
JP (1) | JP5631086B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018207426A1 (ja) * | 2017-05-09 | 2018-11-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10909717B2 (en) | 2018-06-29 | 2021-02-02 | National University Corporation Nagoya University | Viewpoint recommendation apparatus, recommendation method thereof, and non-transitory computer readable medium |
JP2021108934A (ja) * | 2020-01-09 | 2021-08-02 | 株式会社ProjectA | 遊技用システム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5914992B2 (ja) * | 2011-06-02 | 2016-05-11 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
IN2013MU01192A (ja) * | 2013-03-28 | 2015-04-24 | Tata Consultancy Services Ltd | |
JP2016139957A (ja) * | 2015-01-28 | 2016-08-04 | オリンパス株式会社 | 撮像装置、撮像方法及び撮像プログラム |
KR20180068578A (ko) | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법 |
KR20180075224A (ko) * | 2016-12-26 | 2018-07-04 | 삼성전자주식회사 | 객체의 인식 결과를 제공하는 방법 및 전자 장치 |
US10237614B2 (en) * | 2017-04-19 | 2019-03-19 | Cisco Technology, Inc. | Content viewing verification system |
CN109598757A (zh) * | 2017-09-30 | 2019-04-09 | 爱唯秀股份有限公司 | 一种用于在空间中捕获物件的3d模型的方法 |
JP2022552835A (ja) * | 2019-10-09 | 2022-12-20 | ロス リバー、インコーポレイテッド | 在庫及び製品ライフサイクル遠隔監視するためのシステム及び方法 |
JP7036783B2 (ja) * | 2019-10-09 | 2022-03-15 | 株式会社 ミックウェア | 位置推定システム、位置推定方法、及び位置推定プログラム |
WO2022226225A2 (en) * | 2021-04-21 | 2022-10-27 | Maplebear Inc. (Dba Instacart) | System for item recognition using computer vision |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271928A (ja) * | 2002-03-13 | 2003-09-26 | Nippon Hoso Kyokai <Nhk> | 三次元モデリング装置及びその方法及びそのプログラム |
JP2010146303A (ja) * | 2008-12-18 | 2010-07-01 | Fuji Electric Holdings Co Ltd | 3次元物体姿勢・位置検出装置、方法、およびプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3252941B2 (ja) | 1994-11-29 | 2002-02-04 | 日本電信電話株式会社 | 画像切り出し認識装置 |
JP2003022442A (ja) | 2001-07-10 | 2003-01-24 | Nippon Telegr & Teleph Corp <Ntt> | 物体検出/位置測定方法およびその装置、ならびにこの方法の実行プログラムおよびその記録媒体 |
JP4556146B2 (ja) * | 2008-04-11 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに情報処理システム |
US9533418B2 (en) * | 2009-05-29 | 2017-01-03 | Cognex Corporation | Methods and apparatus for practical 3D vision system |
JP5361664B2 (ja) * | 2009-10-30 | 2013-12-04 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
2010
- 2010-07-12 JP JP2010158263A patent/JP5631086B2/ja not_active Expired - Fee Related
-
2011
- 2011-06-22 US US13/165,917 patent/US9053546B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003271928A (ja) * | 2002-03-13 | 2003-09-26 | Nippon Hoso Kyokai <Nhk> | 三次元モデリング装置及びその方法及びそのプログラム |
JP2010146303A (ja) * | 2008-12-18 | 2010-07-01 | Fuji Electric Holdings Co Ltd | 3次元物体姿勢・位置検出装置、方法、およびプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018207426A1 (ja) * | 2017-05-09 | 2018-11-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2018207426A1 (ja) * | 2017-05-09 | 2020-03-12 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
EP3624060A4 (en) * | 2017-05-09 | 2020-03-25 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
US11263777B2 (en) | 2017-05-09 | 2022-03-01 | Sony Corporation | Information processing apparatus and information processing method |
US10909717B2 (en) | 2018-06-29 | 2021-02-02 | National University Corporation Nagoya University | Viewpoint recommendation apparatus, recommendation method thereof, and non-transitory computer readable medium |
JP2021108934A (ja) * | 2020-01-09 | 2021-08-02 | 株式会社ProjectA | 遊技用システム |
JP7406995B2 (ja) | 2020-01-09 | 2023-12-28 | 株式会社ProjectA | 遊技用システム |
Also Published As
Publication number | Publication date |
---|---|
JP5631086B2 (ja) | 2014-11-26 |
US20120008830A1 (en) | 2012-01-12 |
US9053546B2 (en) | 2015-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5631086B2 (ja) | 情報処理装置及びその制御方法、プログラム | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
WO2019042426A1 (zh) | 增强现实场景的处理方法、设备及计算机存储介质 | |
JP5771413B2 (ja) | 姿勢推定装置、姿勢推定システム、および姿勢推定方法 | |
EP3547256B1 (en) | Extracting a feature descriptor for an image feature | |
JP5715833B2 (ja) | 姿勢状態推定装置および姿勢状態推定方法 | |
US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
JP2021527877A (ja) | 3次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体 | |
JP4709668B2 (ja) | 3次元物体認識システム | |
US20140198951A1 (en) | Image processing apparatus and image processing method | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
WO2021218568A1 (zh) | 图像深度确定方法及活体识别方法、电路、设备和介质 | |
JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
JP2014134856A (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
CN116051736A (zh) | 一种三维重建方法、装置、边缘设备和存储介质 | |
JP6558803B2 (ja) | 幾何検証装置及びプログラム | |
JP2012113438A (ja) | 姿勢推定装置および姿勢推定プログラム | |
JP6016242B2 (ja) | 視点推定装置及びその分類器学習方法 | |
US20230100238A1 (en) | Methods and systems for determining the 3d-locations, the local reference frames and the grasping patterns of grasping points of an object | |
JP3940690B2 (ja) | 画像処理装置及びその方法 | |
Fehr | Covariance based point cloud descriptors for object detection and classification | |
Hui et al. | Determining motion directly from normal flows upon the use of a spherical eye platform | |
KR20090115738A (ko) | 정보 추출 방법, 등록 장치, 대조 장치 및 프로그램 | |
JP2005031044A (ja) | 三次元誤差測定装置 | |
KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140228 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141007 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5631086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |