JP2007040980A - 情報処理方法および装置 - Google Patents
情報処理方法および装置 Download PDFInfo
- Publication number
- JP2007040980A JP2007040980A JP2006163399A JP2006163399A JP2007040980A JP 2007040980 A JP2007040980 A JP 2007040980A JP 2006163399 A JP2006163399 A JP 2006163399A JP 2006163399 A JP2006163399 A JP 2006163399A JP 2007040980 A JP2007040980 A JP 2007040980A
- Authority
- JP
- Japan
- Prior art keywords
- index
- image
- objective viewpoint
- candidate
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】 撮像装置130の撮像画像から情景中の指標を検出する主観視点指標検出部110と、検出された指標の画像座標に関する情報を用いて撮像装置130の位置及び姿勢を推定する位置姿勢推定部120と、情景中に設置された客観視点カメラ180によって撮像装置130上の指標を観測し指標候補を検出する客観視点指標候補検出部140と、検出された指標候補の画像座標に関する情報を用いて位置拘束条件を算出する位置拘束条件算出部150と、撮像装置130の推定位置姿勢と客観視点指標候補の位置拘束条件とに基づいて客観視点指標を同定する客観視点指標同定部190を有する。
【選択図】 図1
Description
現実空間を撮像するカメラなどの撮像部(以下適宜カメラと言い換える)の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。このような従来技術として、現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の特徴点(以下、マーカと特徴点を合わせて指標という)を用いて、カメラの位置姿勢を測定する位置姿勢センサの計測誤差を補正する方法がある。これらの方法は、特許文献1乃至2および非特許文献1において開示されている。
一方で、非特許文献2乃至3において開示されているように、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う方法も知られている。そして、これら非特許文献においては、正方形の指標を利用し、正方形の4頂点の座標を基にして、カメラの位置姿勢を推定している。ただし、正方形はその中心点(対角線の交点)を通り、面に垂直な軸を回転軸として90°毎の回転対称形であることから、頂点の座標からだけでは上下左右の判定を行うことができない。そのため、正方形の指標内部に、上下左右の判定を行うためのさらなる画像特徴が設けられている。さらに、指標を複数利用する場合に、カメラで撮像した画像のみに基づいて複数の指標のどれを捉えているのかを識別する必要があるため、指標の内部にはさらに指標毎に異なる固有のパターンや符号などの図形情報が埋め込まれている。
また、現実空間に配置した位置姿勢が既知の複数の撮像部によって、対象物上での位置が既知の複数の指標を撮像して、対象物の位置姿勢を推定する方法が知られている。従来技術3では、検出した指標が複数の指標のどれに対応するのかを求める手段として、指標となるLED毎に発光タイミングを制御することが行われている。
本実施形態に係る情報処理装置は、撮像装置の推定位置に基づいて指標の同定を行う。
本実施形態に係る情報処理装置は、第1の実施形態の情報処理装置にさらにもう1台の客観視点カメラを追加した構成となっている。
第1の実施形態では、空間中を移動する撮像装置に客観視点指標が設定されていた。本実施形態に係る情報処理装置は、任意の対象物体に客観視点指標が設定された情報処理装置であって、第1の実施形態の情報処理装置に対象物体を追加した構成となっている。
上記の実施形態の夫々において、撮像装置に慣性センサを装着して、例えば非特許文献6の手法によって、撮像装置の位置及び姿勢を推定してもよい。この場合、撮像装置によって取得される主観視点画像上において、少なくとも2個以上の主観視点指標が常に観測されるように設定されていればよい。そして、この場合には、画像情報のみを用いる場合と比較して、撮像装置の位置及び姿勢を安定的に推定することができる。
上記の実施形態の夫々で用いる主観視点カメラまたは客観視点カメラには、可視光とは異なる波長の光を撮像するカメラを用いることも可能である。例えば、客観視点カメラとして赤外光を撮像するカメラを用い、客観視点指標として赤外光を発光または反射する指標を用いてもよい。この場合、主観視点指標は客観視点カメラには写らないため、客観視点画像上で主観視点指標を誤検出することがなくなるという効果がある。
上記の実施形態の夫々における客観視点指標同定部では、客観視点指標の推定位置との距離が所定の範囲内である指標候補を客観視点指標であると判定していたが、全ての指標候補と推定位置との距離を求め、それが最小であるものを客観視点指標と判定してもよい。また、最小の距離が閾値以上の場合には、客観視点指標に対応する指標候補が無いと判断してもよい。
上記の実施形態の夫々における客観視点指標同定部では、客観視点指標の推定位置と指標候補との3次元距離を求めて指標の同定を行っていたが、客観視点画像上の2次元距離を求めて指標の同定を行ってもよい。すなわち、客観視点カメラの世界座標における位置及び姿勢をデータ記憶部170から入力し、これらの情報に基づいて客観視点指標の推定位置を客観視点画像上に投影し、その画像座標と指標候補の画像座標との2次元距離を求めて指標の同定を行ってもよい。この場合、位置拘束条件算出部が不要となることは言うまでもない。
上記の実施形態の夫々における客観視点指標同定部では、客観視点指標の画像座標をI/F1009を介して外部へと出力していた。しかし、外部に出力する情報は客観視点指標の画像座標に限定されるものではない。例えば特許文献3の方法によって、客観視点指標の画像座標と主観視点指標の画像座標とに基づいて撮像装置(または対象物体)の位置姿勢を算出し、それを外部へと出力してもよい。
上記の実施形態の夫々では、まず主観視点画像の情報を用いて撮像装置(または対象物体)の位置及び姿勢を推定し、その位置及び姿勢に基づいて客観視点指標の同定を行っていた。しかし、主観視点画像の情報を利用して客観視点指標の同定を行う方法は、これに限定されるものではない。
上記の実施形態の夫々では、各主観視点指標が何らかの方法で識別可能である場合について説明したが、客観視点指標と同様に各主観視点指標も識別できなくてもよい。つまり、図1または図5または図8において、主観視点指標Qk(k=1〜4)を、略同一色を有する円形状のマーカや、エッジ等の自然特徴によって構成してもよい。この場合には、以下に述べるような方法で客観視点指標を同定することができる。
変形例7では、客観視点指標候補の3次元位置が算出可能な場合、つまり客観視点カメラが複数台の場合について説明したが、客観カメラは1台であってもよい。この場合には、以下に述べるような方法で客観視点指標を同定することができる。
変形例7のステップS13020や変形例8のステップS14030における主観視点指標と主観視点指標候補とを対応付ける方法は、非特許文献7の方法に限らない。例えば、撮像装置に慣性センサを装着して傾斜角の絶対値を計測して方位角のみを未知とすることで、より効率的な対応付けをおこなうことができる。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
Claims (16)
- 情景を撮像する撮像装置で撮像された第1の画像を入力する第1の画像入力工程と、
前記撮像装置を客観視点位置から撮像する客観視点撮像手段で撮像された第2の画像を入力する第2の画像入力工程と、
前記第1の画像入力工程で入力された第1の画像から、前記情景中の第1の指標の画像座標に関わる特徴量を検出する第1の検出工程と、
前記第2の画像入力工程で入力された第2の画像から、前記撮像装置上の第2の指標に関わる候補領域の画像座標に関わる特徴量を検出する第2の検出工程と、
前記第1の検出工程で検出された第1の指標の画像座標に関わる特徴量と、前記第2の指標に関わる候補領域の画像座標に関わる特徴量とに基づいて、該候補領域を該第2の指標と同定する同定工程と
を備えることを特徴とする情報処理方法。 - 対象物体に装着した、情景を撮像する撮像装置で撮像された第1の画像を入力する第1の画像入力工程と、
前記対象物体を客観視点位置から撮像する客観視点撮像手段で撮像された第2の画像を入力する第2の画像入力工程と、
前記第1の画像入力工程で入力された第1の画像から、前記情景中の第1の指標の画像座標に関わる特徴量を検出する第1の検出工程と、
前記第2の画像入力工程で入力された第2の画像から、前記対象物体上の第2の指標に関わる候補領域の画像座標に関わる特徴量を検出する第2の検出工程と、
前記第1の検出工程で検出された第1の指標の画像座標に関わる特徴量と、前記第2の指標に関わる候補領域の画像座標に関わる特徴量とに基づいて、該候補領域を該第2の指標と同定する同定工程と
を備えることを特徴とする情報処理方法。 - 前記第1の指標の画像座標に関わる特徴量を用いて前記撮像装置の推定位置姿勢を算出し、該推定位置姿勢に基づいて前記第2の指標の推定位置を算出する指標位置推定工程と、前記第2の検出工程で検出された第2の指標に関わる候補領域の画像座標に関わる特徴量を用いて、該候補領域の位置に関わる拘束条件を算出する拘束条件算出工程とをさらに有することを特徴とする、請求項1又は2に記載の情報処理方法。
- 前記第2の指標に関わる候補領域の位置に関わる拘束条件が位置を拘束する直線であって、前記同定工程は、前記第2の指標の推定位置と該直線との距離に基づいて、該候補領域を該第2の指標と同定することを特徴とする、請求項3に記載の情報処理装置。
- 前記客観視点撮像手段が複数のカメラからなり、前記第2の指標に関わる候補領域の位置に関わる拘束条件が3次元位置であって、前記同定工程は、前記第2の指標の推定位置と該3次元位置との距離に基づいて、該候補領域を該第2の指標と同定することを特徴とする、請求項3に記載の情報処理装置。
- 前記客観視点撮像手段が前記情景中に固定されていることを特徴とする、請求項1乃至5の何れか1項に記載の情報処理方法。
- コンピュータに、請求項1乃至6の何れか1項に記載の情報処理方法を実行させるためのコンピュータプログラム。
- 請求項7に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記録媒体。
- 情景を撮像する撮像装置で撮像された第1の画像を入力する第1の画像入力手段と、
前記撮像装置を客観視点位置から撮像する客観視点撮像手段で撮像された第2の画像を入力する第2の画像入力手段と、
前記第1の画像入力工程で入力された第1の画像から、前記情景中の第1の指標の画像座標に関わる特徴量を検出する第1の検出手段と、
前記第2の画像入力工程で入力された第2の画像から、前記撮像装置上の第2の指標に関わる候補領域の画像座標に関わる特徴量を検出する第2の検出手段と、
前記第1の検出工程で検出された第1の指標の画像座標に関わる特徴量と、前記第2の指標に関わる候補領域の画像座標に関わる特徴量とに基づいて、該候補領域を該第2の指標と同定する同定手段とを備えることを特徴とする情報処理装置。 - 対象物体に装着された、情景を撮像する撮像装置で撮像された第1の画像を入力する第1の画像入力手段と、
前記対象物体を客観視点位置から撮像する客観視点撮像手段で撮像された第2の画像を入力する第2の画像入力手段と、
前記第1の画像入力工程で入力された第1の画像から、前記情景中の第1の指標の画像座標に関わる特徴量を検出する第1の検出手段と、
前記第2の画像入力工程で入力された第2の画像から、前記対象物体上の第2の指標に関わる候補領域の画像座標に関わる特徴量を検出する第2の検出手段と、
前記第1の検出工程で検出された第1の指標の画像座標に関わる特徴量と、前記第2の指標に関わる候補領域の画像座標に関わる特徴量とに基づいて、該候補領域を該第2の指標と同定する同定手段とを備えることを特徴とする情報処理装置。 - 情景を撮像する撮像装置で撮像された第1の画像を入力する第1の画像入力工程と、
前記撮像装置を客観視点位置から撮像する客観視点撮像手段で撮像された第2の画像を入力する第2の画像入力工程と、
前記第2の画像入力工程で入力された第2の画像から、前記撮像装置上の第2の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、
前記第1の画像入力工程で入力された第1の画像に基づいて、該第2の指標に関わる候補領域を該第2の指標と同定する同定工程とを備えることを特徴とする情報処理方法。 - 前記第1の検出工程において検出された第1の指標を、前記第1の検出工程において同定することを特徴とする、請求項1に記載の情報処理装置。
- 前記第1の検出工程において検出された第1の指標を、前記同定工程において同定することを特徴とする、請求項1に記載の情報処理装置。
- 情景を撮像する撮像装置で撮像された画像を入力する画像入力工程と、
前記画像入力工程で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出工程と、
前記撮像装置の位置に関わる情報を計測する位置計測装置から位置計測値を入力する位置入力工程と、
前記撮像装置の傾斜角に関わる情報を計測する傾斜角計測装置から傾斜角計測値を入力する傾斜角入力工程と、
前記撮像装置の方位角を複数仮定した上で、前記検出工程で検出された指標に関わる候補領域の画像座標に関わる特徴量と、前記位置入力工程で入力された位置計測値と、前記傾斜角入力工程で入力された傾斜角計測値とに基づいて、該仮定した方位角の中から方位角を選択する算出工程とを備えることを特徴とする情報処理方法。 - 前記位置入力工程で、前記撮像装置の候補位置に関わる情報を計測する候補位置計測装置から候補位置計測値が入力され、
前記算出工程で、前記撮像装置の方位角を複数仮定した上で、前記検出工程で検出された指標に関わる候補領域の画像座標に関わる特徴量と、前記位置入力工程で入力された候補位置計測値と、前記傾斜角入力工程で入力された傾斜角計測値とに基づいて、該仮定した方位角の中から方位角を選択するとともに、前記候補位置の中から位置を選択することを特徴とする請求項14に記載の情報処理方法。 - 情景を撮像する撮像装置で撮像された画像を入力する画像入力手段と、
前記画像入力手段で入力された画像から、前記情景中の指標に関わる候補領域の画像座標に関わる特徴量を検出する検出手段と、
前記撮像装置の位置に関わる情報を計測する位置計測装置から位置計測値を入力する位置入力手段と、
前記撮像装置の傾斜角に関わる情報を計測する傾斜角計測装置から傾斜角計測値を入力する傾斜角入力手段と、
前記撮像装置の方位角を複数仮定した上で、前記検出手段で検出された指標に関わる候補領域の画像座標に関わる特徴量と、前記位置入力手段で入力された位置計測値と、前記傾斜角入力手段で入力された傾斜角計測値とに基づいて、該仮定した方位角の中から方位角を選択する算出手段とを備えることを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006163399A JP5127165B2 (ja) | 2005-06-28 | 2006-06-13 | 情報処理方法および装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005188296 | 2005-06-28 | ||
JP2005188296 | 2005-06-28 | ||
JP2006163399A JP5127165B2 (ja) | 2005-06-28 | 2006-06-13 | 情報処理方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007040980A true JP2007040980A (ja) | 2007-02-15 |
JP5127165B2 JP5127165B2 (ja) | 2013-01-23 |
Family
ID=37799069
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006163399A Expired - Fee Related JP5127165B2 (ja) | 2005-06-28 | 2006-06-13 | 情報処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5127165B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899301A (zh) * | 2020-06-02 | 2020-11-06 | 广州中国科学院先进技术研究所 | 一种基于深度学习的工件6d位姿估计方法 |
-
2006
- 2006-06-13 JP JP2006163399A patent/JP5127165B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111899301A (zh) * | 2020-06-02 | 2020-11-06 | 广州中国科学院先进技术研究所 | 一种基于深度学习的工件6d位姿估计方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5127165B2 (ja) | 2013-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4599184B2 (ja) | 指標配置計測方法、指標配置計測装置 | |
US9325969B2 (en) | Image capture environment calibration method and information processing apparatus | |
JP5036260B2 (ja) | 位置姿勢算出方法及び装置 | |
JP4926817B2 (ja) | 指標配置情報計測装置および方法 | |
JP4739004B2 (ja) | 情報処理装置及び情報処理方法 | |
JP4532982B2 (ja) | 配置情報推定方法および情報処理装置 | |
KR100821431B1 (ko) | 정보 처리 방법, 정보 처리 장치, 및 기록매체 | |
US7676079B2 (en) | Index identification method and apparatus | |
JP4574473B2 (ja) | 情報処理装置および方法 | |
JP5196825B2 (ja) | 画像処理装置、画像処理方法 | |
JP2007033257A (ja) | 情報処理方法および装置 | |
JP2008309631A (ja) | 情報処理方法及び情報処理装置 | |
JP4502361B2 (ja) | 指標姿勢検出方法および装置 | |
JP2005351886A (ja) | 位置姿勢計測方法および情報処理装置 | |
JP5127165B2 (ja) | 情報処理方法および装置 | |
JP4282067B2 (ja) | 指標識別方法および装置 | |
JP2008140047A (ja) | 情報処理方法、情報処理装置 | |
JP4497880B2 (ja) | 指標識別方法および装置 | |
JP2007064807A (ja) | 指標位置計測方法および装置 | |
JP2010118002A (ja) | 情報処理装置及び情報処理方法 | |
JP2016065830A (ja) | 画像処理装置、画像処理方法 | |
JP2006318096A (ja) | 画像処理方法、画像処理装置 | |
JP2014215821A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090615 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110524 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121030 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5127165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151109 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |