JP5620741B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、およびプログラム Download PDFInfo
- Publication number
- JP5620741B2 JP5620741B2 JP2010178070A JP2010178070A JP5620741B2 JP 5620741 B2 JP5620741 B2 JP 5620741B2 JP 2010178070 A JP2010178070 A JP 2010178070A JP 2010178070 A JP2010178070 A JP 2010178070A JP 5620741 B2 JP5620741 B2 JP 5620741B2
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- dimensional
- line
- model
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
Landscapes
- Engineering & Computer Science (AREA)
- Image Generation (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
Description
対象物体の3次元形状情報を示す3次元モデルを取得するモデル取得手段と、
前記3次元モデルの位置および姿勢を入力する位置姿勢入力手段と、
前記対象物体の位置および姿勢に基づいて、前記3次元モデルを構成するモデル線分を、当該3次元モデルまでの奥行き情報が各画素に保持された2次元画像上に、投影線分として投影する投影手段と、
前記2次元画像上で投影線分の周辺領域の奥行き情報を参照することにより、前記投影手段により投影された投影線分のうちから、前記対象物体の特徴を示すエッジとなる投影線分を抽出する抽出手段と、
前記3次元モデルを構成する線分から、前記抽出された投影線分に対応するモデル線分以外の線分を削除する削除手段と、
前記削除手段により前記抽出された投影線分に対応するモデル線分以外の線分が削除された後の前記3次元モデルを構成する線分データを出力する出力手段と
を備えることを特徴とする。
本実施形態では、本発明に係る情報処理装置を、実写画像に対する3次元モデルフィッティングのための3次元ライン抽出装置として適用した場合について説明する。3次元ライン抽出装置は、対象物体の3次元形状情報を示す3次元モデルを構成する線分から2次元画像上で、対象物体の特徴を示すエッジとして観察される線分を抽出する。
第1実施形態では、ステップS405において、3次元ライン周辺のデプスバッファの距離値の2次微分値を算出することにより、3次元ラインの輪郭判定を行っていた。しかし、3次元ラインの輪郭判定は、これに限るものでなく、例えば、デプスバッファ全体からエッジ検出を行って生成されたエッジ画像を利用してもよい。具体的には、ステップS403において、3次元形状モデルのCG描画によりデプスバッファを取得した後、デプスバッファ全体に対してエッジ検出処理を行う。エッジ検出処理は、例えば公知の手法であるCannyのエッジ検出器を用いる。そして、ステップS405のエッジ判定処理では、3次元ラインの2次元位置に対応するデプスバッファのエッジ検出結果を参照し、デプスバッファ上でエッジになっている場合は、その3次元ラインをエッジと判定する。なお、3次元ラインのエッジ判定は、以上に挙げた方法に限るものでなく、3次元ライン周辺の形状の不連続性に基づいて判定処理を行う限り、いずれの手法を用いてもよい。
第1実施形態では、ステップS404において、2次元画面上の重複フラグマップを作成することで、2次元画面上での3次元ラインの重複を除去していた。しかし、3次元ラインの重複除去は、これに限るものでなく、例えば、3次元ライン間の2次元距離を計算して判定してもよい。具体的には、既に確定した3次元ラインの投影像と、着目する3次元ラインの投影像との間の2次元距離を算出し、閾値以下の近傍に他の3次元ラインがある場合には、着目する3次元ラインを3次元ラインリストから除去する処理である。また、3次元ライン間の近傍探索処理は、基本的に全探索になるため、k‐dツリーを利用して3次元ラインのデータ構造を保持して、探索の効率化を図ってもよい。以上に示すように、2次元画面上で3次元ラインの近傍を判定することが出来る限り、いずれの手法でもよく、手法の選択に特に制限はない。
第1実施形態では、3次元ラインは、長さのない局所ラインデータとして処理・出力を行っていた。しかし、3次元ラインのデータ形式は、これに限るものでなく、始点と終点の端点によって記述されるような、有限の長さをもつ線分データとして扱ってもよい。例えば、線分を示すデータ形式が、当該線分を構成する始点および終点の各端点の位置情報により記述される構成とすればよい。具体的には、ステップS402において、3次元モデルデータ10から抽出された長さのない局所的な直線データではなく、3次元モデルデータ10を構成する各線分そのものを3次元ラインとして登録する。ただし、このときにステップS402の処理と同様の手法により各線分から分割した局所線分のデータも保持してもよい。以降の処理は、第1実施形態と同様に、線分から分割された局所線分データごとに処理を行う。そして、ステップS405の処理が終了した時点で、エッジでないと判定された局所線分データを含む3次元ラインは削除し、エッジとなる3次元ラインのみを位置姿勢推定装置11に出力する。以上に示すように、3次元ラインとして取り扱うラインデータは、輪郭またはルーフエッジとして観察される3次元的直線を記述可能であって、位置姿勢推定装置11が対応できる形式であれば、いずれの形式でもよい。
第1実施形態では、観察方向に応じた輪郭となる3次元ラインを位置姿勢推定装置11にランタイムで出力していた。しかし、予め様々な方向から観察した3次元ラインのデータを作成しておき、位置姿勢推定装置11に出力してもよい。具体的には対象物体を取り囲むGeodesic Domeを、半径を変えて複数設定し、対象物体の観察方向および観察距離を、Geodesic Dome上で均等になるように設定する。そして、各Geodesic Domeの各点に相当する位置及び姿勢を観察視点として、エッジとなる3次元ラインの抽出を行い、対象物体の観察方向と観察距離の情報とともに3次元ラインのデータを保存する。位置姿勢推定装置11は、方向別の3次元ラインデータから、前時刻の対象物体の位置姿勢に最も近い3次元ラインのデータを選択して、位置姿勢推定に用いる。この方式は、ランタイムに3次元ラインを選出する方式と比較して、保持するデータ量が増える代わりに、ランライム時の計算量が削減される特徴がある。これら方式の選択は、利用シーンに応じて選択すればよい。
第1実施形態では、3次元モデルデータ10は、点、面、および線分により構成されたメッシュデータであった。しかし、3次元モデルデータ10のデータ形式は、これに限るものではなく、例えば、NURBS曲面などで表現されるパラメトリックモデルでもよい。この場合、ステップS402において、パラメトリックモデルから3次元線分を算出する処理が必要となる。この処理は、例えば、パラメトリックモデルの法線マップからエッジ検出を行い、法線が急激に変化する部分の座標と方向を抽出することにより、3次元線分を算出する処理である。以上に示すように、3次元モデルデータ10として取り扱うデータ形式は、対象物体の形状を表現できる限り、いずれの形式でもよい。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (12)
- 対象物体の3次元形状情報を示す3次元モデルを取得するモデル取得手段と、
前記3次元モデルの位置および姿勢を入力する位置姿勢入力手段と、
前記対象物体の位置および姿勢に基づいて、前記3次元モデルを構成するモデル線分を、当該3次元モデルまでの奥行き情報が各画素に保持された2次元画像上に、投影線分として投影する投影手段と、
前記2次元画像上で投影線分の周辺領域の奥行き情報を参照することにより、前記投影手段により投影された投影線分のうちから、前記対象物体の特徴を示すエッジとなる投影線分を抽出する抽出手段と、
前記3次元モデルを構成する線分から、前記抽出された投影線分に対応するモデル線分以外の線分を削除する削除手段と、
前記削除手段により前記抽出された投影線分に対応するモデル線分以外の線分が削除された後の前記3次元モデルを構成する線分データを出力する出力手段と
を備えることを特徴とする情報処理装置。 - 前記抽出手段により抽出された投影線分の3次元位置と、前記奥行き情報が示す位置とを比較して、当該奥行き情報が示す位置よりも奥に存在する投影線分を陰線として、前記抽出手段により抽出された投影線分から除去する除去手段をさらに備えることを特徴とする請求項1に記載の情報処理装置。
- 前記削除手段は、前記投影線分のうち前記2次元画像上で重複する線分を、1つ残して削除することを特徴とする請求項1または2に記載の情報処理装置。
- 前記削除手段は、
前記投影線分のうち、前記2次元画像上で当該投影線分の1つから所定領域の範囲に存在する投影線分を、前記2次元画像上で重複する投影線分として、1つを残して削除することを特徴とする請求項3に記載の情報処理装置。 - 前記抽出手段は、
前記削除手段により削除された後の投影線分に対して、当該投影線分を構成する点が示す位置から当該線分と直交する方向に所定画素分当該画素の奥行き情報を取得する取得手段と、
前記直交する方向に対する、前記取得手段により取得された奥行き情報の2次微分値を算出する算出手段と、
前記2次微分値の絶対値が閾値以上であるか否か判断する判断手段と、を備え、
前記判断手段により前記2次微分値の絶対値が閾値以上であると判断された場合、当該線分を、前記2次元画像上において前記対象物体の特徴を示すエッジとなる投影線分として抽出することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 前記線分を示すデータ形式が、当該線分に対応する前記投影線分が等間隔となるように前記線分を分割した分割点の位置情報および当該線分の3次元方向により記述されることを特徴とする請求項1乃至5の何れか1項に記載の情報処理装置。
- 前記線分を示すデータ形式が、当該線分を構成する始点および終点の各端点の位置情報により記述されることを特徴とする請求項1乃至6の何れか1項に記載の情報処理装置。
- 物体を含む画像を取得する画像取得手段と、
前記物体の概略位置姿勢を取得する概略位置姿勢取得手段と、
請求項1乃至7のいずれか1項に記載の情報処理装置の出力手段により出力された線分データを取得する取得手段と、
前記画像から前記物体の特徴を取得する特徴取得手段と、
前記概略位置姿勢に基づいて、前記線分データと前記特徴とを対応づけることにより、前記物体の位置姿勢を導出する導出手段とを備えることを特徴とする位置姿勢推定装置。 - 対象物体の3次元形状情報を示す3次元モデルを構成する線分から2次元画像上で前記対象物体の特徴を示すエッジとして観察される線分を抽出する情報処理方法であって、
位置姿勢入力手段が、対象物体の3次元形状情報を示す保持手段に保持された3次元モデルの位置および姿勢を入力する位置姿勢入力工程と、
投影手段が、前記対象物体の位置および姿勢に基づいて、前記3次元モデルを構成するモデル線分を、当該3次元モデルまでの奥行き情報が各画素に保持された2次元画像上に、投影線分として投影する投影工程と、
抽出手段が、前記2次元画像上で投影線分の周辺領域の奥行き情報を参照することにより、前記投影手段により投影された投影線分のうちから、前記対象物体の特徴を示すエッジとなる投影線分を抽出する抽出工程と、
削除手段が、前記3次元モデルを構成する線分から、前記抽出された投影線分に対応するモデル線分以外の線分を削除する削除工程と、
出力手段が、前記削除工程により前記抽出された投影線分に対応するモデル線分以外の線分が削除された後の前記3次元モデルを構成する線分データを出力する出力工程と
を有することを特徴とする情報処理方法。 - 位置姿勢推定方法であって、
画像取得手段が、物体を含む画像を取得する画像取得工程と、
概略位置姿勢取得手段が、前記物体の概略位置姿勢を取得する概略位置姿勢取得工程と、
取得手段が、請求項9に記載の情報処理方法の出力工程で出力された線分データを取得する取得工程と、
特徴取得手段が、前記画像から前記物体の特徴を取得する特徴取得工程と、
導出手段が、前記概略位置姿勢に基づいて、前記線分データと前記特徴とを対応づけることにより、前記物体の位置姿勢を導出する導出工程と
を有することを特徴とする位置姿勢推定方法。 - コンピュータを、
対象物体の3次元形状情報を示す3次元モデルを取得するモデル取得手段、
前記3次元モデルの位置および姿勢を入力する位置姿勢入力手段、
前記対象物体の位置および姿勢に基づいて、前記3次元モデルを構成するモデル線分を、当該3次元モデルまでの奥行き情報が各画素に保持された2次元画像上に、投影線分として投影する投影手段、
前記2次元画像上で投影線分の周辺領域の奥行き情報を参照することにより、前記投影手段により投影された投影線分のうちから、前記対象物体の特徴を示すエッジとなる投影線分を抽出する抽出手段、
前記3次元モデルを構成する線分から、前記抽出された投影線分に対応するモデル線分以外の線分を削除する削除手段、
前記削除手段により前記抽出された投影線分に対応するモデル線分以外の線分が削除された後の前記3次元モデルを構成する線分データを出力する出力手段
として機能させるためのプログラム。 - コンピュータを、
物体を含む画像を取得する画像取得手段、
前記物体の概略位置姿勢を取得する概略位置姿勢取得手段、
請求項11に記載の出力手段により出力された線分データを取得する取得手段、
前記画像から前記物体の特徴を取得する特徴取得手段、
前記概略位置姿勢に基づいて、前記線分データと前記特徴とを対応づけることにより、前記物体の位置姿勢を導出する導出手段
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010178070A JP5620741B2 (ja) | 2010-08-06 | 2010-08-06 | 情報処理装置、情報処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010178070A JP5620741B2 (ja) | 2010-08-06 | 2010-08-06 | 情報処理装置、情報処理方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012038105A JP2012038105A (ja) | 2012-02-23 |
JP5620741B2 true JP5620741B2 (ja) | 2014-11-05 |
Family
ID=45850042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010178070A Active JP5620741B2 (ja) | 2010-08-06 | 2010-08-06 | 情報処理装置、情報処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5620741B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6717425B2 (ja) | 2017-04-03 | 2020-07-01 | 富士通株式会社 | 距離情報処理装置、距離情報処理方法および距離情報処理プログラム |
CN109448115B (zh) * | 2018-10-31 | 2023-10-27 | 广州凡拓动漫科技有限公司 | 三维模型的处理方法、装置和计算机设备 |
CN113592928A (zh) * | 2021-07-26 | 2021-11-02 | 北京小米移动软件有限公司 | 图像处理方法、图像处理装置及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0520464A (ja) * | 1991-07-09 | 1993-01-29 | Nec Corp | 表示要素選択表示装置 |
JPH05307589A (ja) * | 1992-04-17 | 1993-11-19 | Sanyo Electric Co Ltd | Cadシステム間のデータ転送方式 |
JP3094381B2 (ja) * | 1996-10-31 | 2000-10-03 | 株式会社超高速ネットワーク・コンピュータ技術研究所 | 輪郭抽出方法 |
JP3252788B2 (ja) * | 1998-03-13 | 2002-02-04 | 日本電気株式会社 | メッシュ生成方式及び方法 |
JP2002319031A (ja) * | 2001-04-24 | 2002-10-31 | Taito Corp | 画像処理装置におけるポリゴンモデル輪郭線検出方式 |
ATE325399T1 (de) * | 2003-07-28 | 2006-06-15 | Dassault Systemes | Verfahren zur bereitstellung eines vektorbildes mit entfernten versteckten linien |
JP2005100177A (ja) * | 2003-09-25 | 2005-04-14 | Sony Corp | 画像処理装置およびその方法 |
JP5253066B2 (ja) * | 2008-09-24 | 2013-07-31 | キヤノン株式会社 | 位置姿勢計測装置及び方法 |
-
2010
- 2010-08-06 JP JP2010178070A patent/JP5620741B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012038105A (ja) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Skeleton-based 3D reconstruction of as-built pipelines from laser-scan data | |
JP5713159B2 (ja) | ステレオ画像による3次元位置姿勢計測装置、方法およびプログラム | |
JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
JP5248806B2 (ja) | 情報処理装置、情報処理方法 | |
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
JP4940461B2 (ja) | 3次元物体認識装置及び3次元物体認識方法 | |
JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP6723061B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
US20170308736A1 (en) | Three dimensional object recognition | |
JP6880618B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP2006214893A (ja) | 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム | |
US20210350115A1 (en) | Methods and apparatus for identifying surface features in three-dimensional images | |
JP6172432B2 (ja) | 被写体識別装置、被写体識別方法および被写体識別プログラム | |
KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
JP5620741B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6347610B2 (ja) | 画像処理装置および3次元空間情報取得方法 | |
JP7298687B2 (ja) | 物体認識装置及び物体認識方法 | |
JP2017199285A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4714050B2 (ja) | 3次元形状モデル生成システム | |
JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
JPH06176107A (ja) | 距離画像処理方法及び装置 | |
JP6910622B2 (ja) | 画像処理システム | |
JP2013053920A (ja) | 3次元物***置検出装置、そのプログラム | |
JP3870255B2 (ja) | 3次元復元方法及び装置 | |
JP7024401B2 (ja) | 情報処理装置、プログラム、及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140919 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5620741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |