JP2016527574A - プリミティブの組を用いてデータをレジストレーションする方法 - Google Patents
プリミティブの組を用いてデータをレジストレーションする方法 Download PDFInfo
- Publication number
- JP2016527574A JP2016527574A JP2015561464A JP2015561464A JP2016527574A JP 2016527574 A JP2016527574 A JP 2016527574A JP 2015561464 A JP2015561464 A JP 2015561464A JP 2015561464 A JP2015561464 A JP 2015561464A JP 2016527574 A JP2016527574 A JP 2016527574A
- Authority
- JP
- Japan
- Prior art keywords
- primitives
- coordinate system
- point
- frame
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
3Dセンサーを用いて3Dポイントクラウドを取得するシステムは、いくつかの3D対応を所与として、追跡問題をレジストレーション問題に帰着する。ICP方法は、カメラ動き予測によって与えられた初期姿勢推定値から開始して、点対点又は点対面の対応を反復的に突き止める。ICPは、走査マッチングとしても知られる、モバイルロボティクスにおけるライン走査3Dセンサーのために広く用いられ、完全な3Dポイントクラウドを生成する奥行きカメラ及び3Dセンサーのためにも広く用いられている。特許文献1は、Kinect(登録商標)カメラの姿勢追跡のために、ICP方法を用いた点対面の対応を用いる。マップの表現はボクセルの組である。各ボクセルは、最近傍表面点への距離のためのトランケートされた符号付き距離関数を表す。その方法は、3Dポイントクラウドから面を抽出するのではなく、ローカル近傍を用いて3D点の法線を求めることによって点対面の対応が確立される。そのようなICPベースの方法は、正確なレジストレーションの場合にシーンが十分な幾何学的変動を有することを必要とする。
いくつかのSLAMシステムにおいて面特徴が用いられている。カメラ姿勢を求めるために、法線がR3にまたがる少なくとも3つの面が必要とされる。このため、面のみを用いることによって、特に、視野(FOV:field of view)又はセンサー範囲がKinect(登録商標)におけるように小さいとき、多くの縮退問題が生じる。大きなFOVのライン走査3Dセンサー及び小さな視野(FOV)の奥行きカメラの組み合わせによって、更なるシステムコストを伴うが縮退を回避することができる。
好ましいシステムでは、RGB−Dカメラ102はKinect(登録商標)又はASUS(登録商標)Xtion PRO LIVEであり、一連のフレーム101を必要とする。本発明ではキーフレームベースのSLAMシステムを用い、キーフレームとして幾つかの代表的なフレームを選択し、マップ内の単一の大域座標系内にレジストレーションされたキーフレームを記憶する。点のみを用いる従来技術のSLAMと対照的に、本発明ではシステムの全てのプロセスにおいて点及び面をプリミティブとして用いる。各フレーム内の点及び面は測定値と呼ばれ、キーフレームからの測定値はランドマークとしてマップに記憶される。
図1に示すように、現在のフレーム101は、シーン103の赤、緑、青及び奥行き(RGB−D)カメラ102によって取得される(110)。フレームを取得するときのカメラの姿勢が予測され(120)、これを用いて、フレームとマップ194との間の点及び面の対応が突き止められる(130)。点及び面の対応は、RANdom SAmple Consensus(RANSAC)フレームワーク140において、フレームをマップにレジストレーションするのに用いられる。レジストレーションが失敗した場合(150)、連続した失敗の数をカウントし(154)、偽(F)である場合、次のフレームに続き、そうではなく真(T)である場合、カメラ動き予測を用いることなく大域レジストレーション方法を用いてカメラを位置再特定する(158)。
上記で述べたように、本発明による追跡は、点及び面の双方を含む特徴を用いる。追跡は、予測及び補正方式に基づき、これは以下のように要約することができる。フレームごとに、カメラモーションモデルを用いて姿勢を予測する。予測姿勢に基づいて、マップ内の点ランドマーク及び面ランドマークに対応するフレーム内の点測定値及び面測定値を突き止める。点及び面の対応を用いてRANSACベースのレジストレーションを行う。姿勢がマップ内に現在記憶されているいずれのキーフレームの姿勢とも異なる場合、追加の点測定値及び面測定値を抽出し、新たなキーフレームとしてフレームをマップに追加する。
k番目のフレームの姿勢を以下のように表す。
図2に示すように、予測姿勢
マップ内の全てのランドマークを用いて上記のプロセスを実行することは非効率的である可能性がある。したがって、現在のフレームに最も近い単一のキーフレーム内に現れるランドマークを用いる。最も近いキーフレームは、追跡プロセスの前に、前のフレームTk−1の姿勢を用いることによって選択される。
予測ベースの対応探索は、点対点及び面対面の対応の候補を提供する。これらの候補は外れ値を含む場合がある。このため、RANSACベースのレジストレーションを行ってインライアを求め、カメラ姿勢を求める。姿勢を明確に求めるために、少なくとも3つの対応を必要とする。このため、対応の候補が3つ未満である場合、即座に追跡失敗であると判断する。また、正確なカメラ追跡のために、僅かな数の対応候補しかないとき、追跡失敗であると判断する。
推定姿勢Tkがマップ内の任意の既存のキーフレームの姿勢と十分異なる場合、k番目のフレームをキーフレームであると判断する。この条件をチェックするために、例えば、並進における100mmの閾値及び回転における5度の閾値を用いることができる。新たなキーフレームのために、RANSACベースのレジストレーションにおけるインライアとして突き止められた点及び面の測定値は、対応するランドマークに関連付けられる一方、外れ値として突き止められた点及び面の測定値は廃棄される。次に、このフレーム内に新たに現れる追加の点及び面の測定値を抽出する。追加の点測定値は、いかなる既存の点測定値にも近くないピクセルに対し、Scale−Invariant Feature Transform(SIFT)及びSpeeded Up Robust Features(SURF)等のキーポイント検出器を用いて抽出される。追加の面測定値は、任意の既存の面測定値のインライアでないピクセルに対しRANSACベースの面当てはめを用いることによって抽出される。追加の点測定値及び面測定値は、新たなランドマークとしてマップに加えられる。さらに、フレーム内の全ての点測定値について、SIFT及びSURF等の特徴記述子を抽出し、これらが位置再特定に用いられる。
Claims (15)
- プリミティブの組を用いてデータをレジストレーションする方法であって、前記データは3次元(3D)を有し、前記プリミティブは点及び面を含み、前記方法は、
第1の座標系における前記データからプリミティブの第1の組を選択するステップであって、前記プリミティブの第1の組は、少なくとも3つのプリミティブを含み、少なくとも1つの面を含む、ステップと、
前記第1の座標系から第2の座標系への変換を予測するステップと、
前記変換を用いて、前記プリミティブの第1の組を前記第2の座標系に変換するステップと、
前記第2の座標系に変換された前記プリミティブの第1の組に従ってプリミティブの第2の組を求めるステップと、
互いに対応する前記第1の座標系における前記プリミティブの第1の組と前記第2の座標系における前記プリミティブの第2の組とを用いて、前記第2の座標系を前記第1の座標系にレジストレーションするステップと、を含み、
前記ステップはプロセッサにおいて実行される、プリミティブの組を用いてデータをレジストレーションする方法。 - 前記プリミティブの第1の組は、前記第1の座標系における少なくとも1つの点及び少なくとも1つの面を含み、前記プリミティブの第2の組は、前記第2の座標系における少なくとも1つの点及び少なくとも1つの面を含む、請求項1に記載の方法。
- 前記データは移動可能なカメラによって取得される、請求項1に記載の方法。
- 前記データはテクスチャ及び奥行きを含む、請求項1に記載の方法。
- 前記レジストレーションすることは、RANdom SAmple Consensus(RANSAC)を用いる、請求項1に記載の方法。
- 前記データは、カメラによって取得されるフレームシーケンスの形態をとる、請求項1に記載の方法。
- 前記フレームシーケンスからキーフレームとしてフレームの組を選択することと、
前記キーフレームをマップに記憶することであって、前記キーフレームは前記点及び前記面を含み、前記点及び前記面は前記マップ内にランドマークとして記憶されることと、
を更に含む、請求項6に記載の方法。 - フレームごとにカメラの姿勢を予測することと、
前記レジストレーションすることに従って、フレームごとに前記カメラの前記姿勢を求めて前記カメラを追跡することと、
を更に含む、請求項7に記載の方法。 - 前記レジストレーションすることはリアルタイムで行われる、請求項1に記載の方法。
- 前記点及び前記面を用いてバンドル調整を適用し、前記マップ内の前記ランドマークを精緻化することを更に含む、請求項7に記載の方法。
- 前記予測することは一定の速度推定を用いる、請求項8に記載の方法。
- オプティカルフロー手順を用いて前記フレーム内の前記点を突き止める、請求項6に記載の方法。
- 前記面の対応は、前記点の対応よりも優先される、請求項1に記載の方法。
- 前記レジストレーションすることは、Simultaneous Localization and Mapping(SLAM)に用いられる、請求項1に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/921,296 | 2013-06-19 | ||
US13/921,296 US9420265B2 (en) | 2012-06-29 | 2013-06-19 | Tracking poses of 3D camera using points and planes |
PCT/JP2014/065026 WO2014203743A1 (en) | 2013-06-19 | 2014-05-30 | Method for registering data using set of primitives |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016527574A true JP2016527574A (ja) | 2016-09-08 |
JP6228239B2 JP6228239B2 (ja) | 2017-11-08 |
Family
ID=50979838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015561464A Active JP6228239B2 (ja) | 2013-06-19 | 2014-05-30 | プリミティブの組を用いてデータをレジストレーションする方法 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP6228239B2 (ja) |
CN (1) | CN105339981B (ja) |
DE (1) | DE112014002943T5 (ja) |
WO (1) | WO2014203743A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017156162A (ja) * | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018027206A1 (en) | 2016-08-04 | 2018-02-08 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
CN106780601B (zh) * | 2016-12-01 | 2020-03-27 | 北京未动科技有限公司 | 一种空间位置追踪方法、装置及智能设备 |
EP3333538B1 (en) * | 2016-12-07 | 2020-09-09 | Hexagon Technology Center GmbH | Scanner vis |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237845A (ja) * | 2008-03-27 | 2009-10-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2010288112A (ja) * | 2009-06-12 | 2010-12-24 | Nissan Motor Co Ltd | 自己位置推定装置及び自己位置推定方法 |
JP2012088114A (ja) * | 2010-10-18 | 2012-05-10 | Topcon Corp | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム |
WO2012106068A2 (en) * | 2011-01-31 | 2012-08-09 | Microsoft Corporation | Mobile camera localization using depth maps |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103123727B (zh) * | 2011-11-21 | 2015-12-09 | 联想(北京)有限公司 | 即时定位与地图构建方法和设备 |
-
2014
- 2014-05-30 JP JP2015561464A patent/JP6228239B2/ja active Active
- 2014-05-30 CN CN201480034631.3A patent/CN105339981B/zh active Active
- 2014-05-30 WO PCT/JP2014/065026 patent/WO2014203743A1/en active Application Filing
- 2014-05-30 DE DE112014002943.2T patent/DE112014002943T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009237845A (ja) * | 2008-03-27 | 2009-10-15 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
JP2010288112A (ja) * | 2009-06-12 | 2010-12-24 | Nissan Motor Co Ltd | 自己位置推定装置及び自己位置推定方法 |
JP2012088114A (ja) * | 2010-10-18 | 2012-05-10 | Topcon Corp | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム |
WO2012106068A2 (en) * | 2011-01-31 | 2012-08-09 | Microsoft Corporation | Mobile camera localization using depth maps |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017156162A (ja) * | 2016-02-29 | 2017-09-07 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112014002943T5 (de) | 2016-03-10 |
CN105339981B (zh) | 2019-04-12 |
CN105339981A (zh) | 2016-02-17 |
JP6228239B2 (ja) | 2017-11-08 |
WO2014203743A1 (en) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
US9697607B2 (en) | Method of estimating imaging device parameters | |
CN101630406B (zh) | 摄像机的标定方法及摄像机标定装置 | |
US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
KR20180087947A (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
Vidas et al. | Real-time mobile 3D temperature mapping | |
US20120268567A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
CN104715479A (zh) | 基于增强虚拟的场景复现检测方法 | |
Ataer-Cansizoglu et al. | Tracking an RGB-D camera using points and planes | |
GB2580691A (en) | Depth estimation | |
WO2013112749A1 (en) | 3d body modeling, from a single or multiple 3d cameras, in the presence of motion | |
CN111062966B (zh) | 基于l-m算法和多项式插值对相机跟踪进行优化的方法 | |
JP5439277B2 (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
Ataer-Cansizoglu et al. | Calibration of non-overlapping cameras using an external SLAM system | |
JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
TWI599987B (zh) | 點雲拼接系統及方法 | |
CN110310325B (zh) | 一种虚拟测量方法、电子设备及计算机可读存储介质 | |
Pollok et al. | A visual SLAM-based approach for calibration of distributed camera networks | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
KR101896183B1 (ko) | 카메라 모션 추정을 위한 3차원 직선 검출 방법 | |
CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170120 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171012 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6228239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |