JP2005050189A - 画像処理装置およびその方法並びにプログラムコード、記憶媒体 - Google Patents
画像処理装置およびその方法並びにプログラムコード、記憶媒体 Download PDFInfo
- Publication number
- JP2005050189A JP2005050189A JP2003282560A JP2003282560A JP2005050189A JP 2005050189 A JP2005050189 A JP 2005050189A JP 2003282560 A JP2003282560 A JP 2003282560A JP 2003282560 A JP2003282560 A JP 2003282560A JP 2005050189 A JP2005050189 A JP 2005050189A
- Authority
- JP
- Japan
- Prior art keywords
- update
- calculation information
- orientation
- information
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 慣性センサによる視点の位置、姿勢の計測誤差、特に時間経過に伴って生じる蓄積誤差の補正を行い、位置ずれのないMRを実現すること。
【解決手段】 計測対象との間の位置関係が固定されている撮像装置と、撮像視点の位置、姿勢を計測する計測装置と、計測対象の位置、姿勢を、計測装置の出力に基づいて算出するための算出情報を更新する手段と、算出情報の更新内容を記憶、あるいは、推定する更新推定手段と、計測値と更新手段によって更新された算出情報に基づいて計測対象の位置、姿勢を算出する算出手段とを備え、更新手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には撮像画像を基に算出情報を更新し、含まれない時には更新推定手段の推定結果を基に算出情報を更新し、更新推定手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には算出情報の更新内容を記憶し、含まれない時には算出情報を推定する。
【選択図】 図3
【解決手段】 計測対象との間の位置関係が固定されている撮像装置と、撮像視点の位置、姿勢を計測する計測装置と、計測対象の位置、姿勢を、計測装置の出力に基づいて算出するための算出情報を更新する手段と、算出情報の更新内容を記憶、あるいは、推定する更新推定手段と、計測値と更新手段によって更新された算出情報に基づいて計測対象の位置、姿勢を算出する算出手段とを備え、更新手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には撮像画像を基に算出情報を更新し、含まれない時には更新推定手段の推定結果を基に算出情報を更新し、更新推定手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には算出情報の更新内容を記憶し、含まれない時には算出情報を推定する。
【選択図】 図3
Description
本発明は、計測対象の位置および/または姿勢を出力する画像処理装置およびその方法並びにプログラムコード、記憶媒体に関するものである。
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感(以下、「MR」(Mixed Reality)と称す)に関する研究が盛んになっている。
MRとは、現実空間の映像に仮想空間の映像を重ね合わせて、MRを体験するユーザの頭部に装着されたHMD(Head Mounted Display)に提示する技術のことである。MRは、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティの世界と現実空間との共存を目的とし、バーチャルリアリティを増強する技術として注目されている。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがあり、今までのバーチャルリアリティとは質的に全く異なった新たな分野での利用が期待されている。
このMRの実現において、もっとも重要な課題となっているのが、現実空間と仮想空間との位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。この問題は、カメラなどでリアルタイムに撮影した現実空間の映像と仮想空間の映像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のMRの場合には、撮影視点の位置姿勢を求める問題となり、HMDに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間の映像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のMRの場合には、観察者視点の位置姿勢を求める問題となる。
撮影視点、もしくは、観察者視点の位置および姿勢を求める方法には、磁気センサ(例えば特許文献1)や超音波センサを利用する方法など様々考えられるが、その中の一つに、ジャイロセンサによって計測する姿勢変化の角速度と加速度センサによって計測する移動加速度から位置および姿勢を得る、「慣性航法」と呼ばれる方法がある。また、ジャイロセンサのみを用いて姿勢を計測し、位置は既知の情報としてあらかじめ保持しておく方法もある。こうした、ジャイロセンサや加速度センサといった慣性センサを利用する方法は、磁気センサや超音波センサを利用する方法とは異なり、場所を選ばずに利用することができるので、特に屋外においてMRを実現する場合などに有効な方法である。ただし、位置および/または姿勢を算出する過程にセンサ出力値を積分する処理が含まれるため、得られる位置および/または姿勢にセンサ出力値の誤差が蓄積していくという欠点がある。よって、慣性センサを利用してMRを実現するためには、この誤差を取り除く処理が必要となる。
視点の位置および/または姿勢の計測に蓄積する誤差を取り除く処理としては、慣性センサによる計測以外の方法で得る視点の位置および姿勢に関する情報も利用することで、慣性センサによる計測によって算出した視点の位置および/または姿勢を補正したり、視点の位置および/または姿勢の真値を推定したりする方法がある。
例えば、慣性センサによる計測以外の方法で得る位置および姿勢に関する情報として、現実空間中の位置が既知の特定点の、視点位置から撮影した現実空間画像中の位置を利用することができる。この場合、その特定点を算出した視点の位置および/または姿勢に従って現実空間画像上に投影した位置と、実際に現実空間画像に写る特定点の位置のずれ量から、算出した視点の位置および/または姿勢の補正値を決定することが可能である。また、カルマンフィルタを利用し、現実空間画像に写る特定点の位置を観測値として、視点の位置および/または姿勢の真値を推定するようなシステムを組むことも可能である。
特開2002−228442号公報
しかし、上記の誤差を取り除く処理には、慣性センサによる計測以外の方法で視点の位置および姿勢に関する情報を取得できなければ、処理が行えないという欠点がある。先に挙げた例で言えば、視点位置から撮影した現実空間画像内に現実空間中の位置が既知の特定点が写っていなければ、視点の位置および/または姿勢の補正や真値の推定を行うことができない。その間に得られる視点の位置および/または姿勢には、刻々と誤差が蓄積していく。
本発明は、以上の問題を鑑みてなされたものであり、視点の位置および/または姿勢の計測を行うことを目的とし、特に、慣性センサによって得られる位置および/または姿勢の誤差を補正することを目的とする。
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
すなわち、計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および/または姿勢を計測する計測装置と、前記計測対象の位置および/または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および/または姿勢を算出する算出手段とを備え、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする。
なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。
(1)計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および/または姿勢を計測する計測装置と、前記計測対象の位置および/または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および/または姿勢を算出する算出手段とを備える画像処理装置であって、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理装置。
(2)前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻情報と共に記憶することを特徴とする前記(1)に記載の画像処理装置。
(3)前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻の温度情報と共に記憶することを特徴とする前記(1)又は(2)に記載の画像処理装置。
(4)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(5)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の最新時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(6)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(7)前記更新推定手段は、前記算出情報の更新内容を推定する時刻における温度に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(4)のいずれかに記載の画像処理装置。
(8)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった最新の時刻における前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(9)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった時刻での前記算出情報の更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(10)前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度に近い温度であった1つ以上の時刻での前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記(1)乃至(3)のいずれかに記載の画像処理装置。
(11)前記更新推定手段は、前記算出情報の更新量の時間変化は温度に対して比例関係にあるものとして、前記算出情報の更新内容を推定することを特徴とする前記(10)に記載の画像処理装置。
(12)計測対象との間の位置関係が固定されている撮像装置によって撮像画像を撮像する撮像工程と、前記撮像装置の撮像視点の位置および/または姿勢を計測する計測工程と、前記計測対象の位置および/または姿勢を、前記計測工程で計測した計測値に基づいて算出するための算出情報を記憶する記憶工程と、前記記憶工程で記憶された前記算出情報を更新する更新工程と、前記更新工程による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定工程と、前記計測値と前記更新工程によって更新された前記算出情報に基づいて前記計測対象の位置および/または姿勢を算出する算出工程とを備える画像処理方法であって、前記更新工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定工程での推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新工程での前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理方法。
(13)前記(12)に記載の画像処理方法を実行することを特徴とするプログラムコード。
(14)前記(13)に記載のプログラムコードを格納することを特徴とする記憶媒体。
以上の説明により、本発明によって、慣性センサによる視点の位置および/または姿勢の計測誤差の補正、特に時間経過に伴って生じる蓄積誤差の補正を行うことができ、位置ずれのないMRを実現することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
[第1の実施形態]
本実施形態では、ジャイロセンサおよび加速度センサを含む慣性航法装置によるカメラ視点の位置姿勢計測誤差を補正することで、位置ずれのないMR空間の提示を実現する画像処理装置について説明する。
本実施形態では、ジャイロセンサおよび加速度センサを含む慣性航法装置によるカメラ視点の位置姿勢計測誤差を補正することで、位置ずれのないMR空間の提示を実現する画像処理装置について説明する。
まず、慣性航法装置を備えたHMDの位置姿勢に応じて、現実空間の画像に仮想空間の画像を重畳描画する画像処理装置の構成を図1に示す。
同図のHMD100はビデオシースルー方式のものであって、画像を表示するディスプレイ101と、このHMD100を装着した観察者の視点位置から現実空間を撮像するカメラ102(観察者視点カメラ)と、カメラ102の視点の位置姿勢を計測する慣性航法装置103を備えている。
慣性航法装置103は、ジャイロセンサ104、加速度センサ105、慣性演算モジュール106を含む一般的な慣性航法装置で、カメラ102の視点の位置姿勢値(カメラ102の視点の位置および姿勢に相当する6変数)を出力する。その仕組み等については公知であるので、ここでは簡単な説明に留める。ジャイロセンサ104は、3軸方向の角速度を計測するために複数のジャイロセンサで構成され、加速度センサ105も、同様に3軸方向の加速度を計測するために複数の加速度センサで構成されている。慣性演算モジュール106は、ジャイロセンサ104から3軸方向の角速度出力を受け取り、装置起動時(もしくは姿勢初期化時)よりの角速度を積分していき、その積分値をカメラ102の視点の姿勢値として出力する。場合によっては、加速度センサ105から受け取る加速度出力も用いて姿勢値を算出する。また、慣性演算モジュール106は、加速度センサ105から3軸方向の加速度出力を受け取り、これを、先に算出しておいた姿勢値を基に、現実空間に固定された世界座標系に対する加速度に変換する。そして、装置起動時(もしくは位置初期化時)よりの加速度を、重力加速度成分を除いて積分していき、その積分値をカメラ102の視点の位置として出力する。なお、慣性航法装置103は、フィルターを利用したセンサ出力のノイズ除去や、加速度出力から検知する重力方向に基づく算出姿勢の補正や、温度ドリフトの補正などの処理を行う、図示してないモジュールを含んでいても良い。
図1に示した画像処理装置110は、慣性航法装置103から出力される位置姿勢値を入力する位置姿勢入力モジュール111、カメラ102から現実空間の撮影画像を入力する画像入力モジュール113、位置姿勢入力モジュール111から入力したカメラ102の視点の位置姿勢値に基づいてカメラ102の視点の位置姿勢を表す情報(例えば4×4のモデルビュー行列)を算出する視点位置姿勢算出モジュール112、視点位置姿勢算出モジュール112により算出された視点の位置姿勢を表す情報に基づいて現実空間の画像に仮想空間の画像を重畳描画した画像を生成する画像生成モジュール114から構成されており、ディスプレイ101に提示画像を表示する。この場合、時間経過に伴って、慣性航法装置103内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ101に表示される。視点位置姿勢算出モジュール112によって行われる、位置姿勢値(位置および姿勢を示す6変数)からモデルビュー行列のような位置姿勢を表す情報を算出する方法については公知であるので、ここでの説明は省略する。
次に、図1に示した構成に慣性航法装置103内のセンサ出力誤差を取り除くための補正値算出モジュールを加えた構成を図2に示す。図1と同じ部分には同じ番号を付けており、また、図1と同じ部分については説明を省略する。
図2に示した画像処理装置210は、図1に示した画像処理装置110に補正値算出モジュール215を付加し、さらに、視点位置姿勢算出モジュール112を視点位置算出モジュール212に変更した装置の構成となっている。
補正値算出モジュール215は、画像入力モジュール113から入力した撮影画像と位置姿勢入力モジュール111から入力したカメラ102の視点の位置姿勢値に基づいて、後述する補正値算出処理によってカメラ102の視点の位置姿勢を表す情報の補正値(例えば補正行列)を生成し、その補正値を視点位置姿勢算出モジュール212へと出力する。
視点位置姿勢算出モジュール212は、位置姿勢入力モジュール111から入力したカメラ102の視点の位置姿勢値に基づいて算出した位置姿勢情報を、補正値算出モジュール215から入力した補正値に基づいて補正して、補正後の位置姿勢情報(例えば補正後のモデルビュー行列)を生成する。
補正値算出モジュール215が行う補正値算出処理は、位置姿勢の計測対象である視点においてカメラ102により撮影された撮影画像に含まれる位置姿勢に関する情報と、慣性航法装置103により計測された計測対象の視点位置姿勢の計測値に基づいて行われる。例えば、現実空間上の位置が既知である特定点に対して、位置姿勢入力モジュール111が受け取るカメラ102の視点の位置姿勢値に基づいて予測した画像上の特定点の観測予測位置と、画像処理によって実際に検出される当該特定点の画像上における観測位置のずれ量から、観測予測位置を観測位置に重ねるために必要なカメラ102の視点の位置姿勢を表す情報の変化量が求められ、それが補正値として算出される。また別の例では、現実空間上の位置が既知である特定点の画像上における観測位置を観測値とした視点位置姿勢を推定するカルマンフィルタによって、カメラ102の視点の位置姿勢を表す情報の真値を推定し、その推定値と位置姿勢入力モジュール111から受け取るカメラ102の視点の位置姿勢値から算出するカメラ102の視点の位置姿勢を表す情報の差から、カメラ102の視点の位置姿勢を表す情報の補正値が算出される。
しかしながら、補正値算出モジュール215が行う補正値算出処理によって補正値が算出されるのは、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれている場合に限られている。上記の例では、現実空間上の位置が既知である特定点が写っていなければ、補正値を算出することができない。よって、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれておらず、補正値の算出が行えない場合には、過去に算出した最新の補正値が、更新されずにそのまま利用される。
以上により、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置103内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ101に表示され、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間には、時間経過に伴って変化する慣性航法装置103内のセンサ出力誤差に応じて変化すべき補正値が更新されないため、時間経過に伴って、そのセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ101に表示される。
次に、HMD100に繋いだ本実施形態における画像処理装置の構成を図3に示す。図2と同じ部分には同じ番号を付けており、また、図2と同じ部分については説明を省略する。
図3に示した画像処理装置310は、図2に示した画像処理装置210に補正値推定モジュール316を付加し、さらに、補正値算出モジュール215を補正値算出モジュール315に変更した装置の構成となっている。
補正値算出モジュール315は、補正値算出モジュール215と同様に、画像入力モジュール113から入力した撮影画像と位置姿勢入力モジュール111から入力したカメラ102の視点の位置姿勢値に基づいて、前述した補正値算出処理によってカメラ102の視点の位置姿勢を表す情報の補正値の算出を試みる。そして、補正値を算出できた場合、すなわち画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれていた場合には、算出した補正値を視点位置姿勢算出モジュール212および補正値推定モジュール316へと出力する。画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれず、補正値の算出が行えなかった場合には、補正値推定モジュール316から補正値の推定値を受け取り、これを補正値として視点位置姿勢算出モジュール212へと出力する。
補正値推定モジュール316は、補正値算出モジュール315より補正値の入力がある場合には、補正値算出モジュール315から入力したカメラ102の視点の位置姿勢を表す情報の補正値に基づいて、その補正値の時間当たりの変化量を算出し、算出した時刻やその時の温度と対にして内部に保持しておく。そして、補正値算出モジュール315において補正値の算出が行えなかった場合に、記憶しておいた補正値の時間当たりの変化量を基に、後述する補正値推定処理によってカメラ102の視点の位置姿勢を表す情報の補正値の推定を行い、その推定値を補正値算出モジュール315に提供する。なお、補正値の時間当たりの変化量の算出および保持は、位置姿勢を表す情報のままで行っても良いし、位置姿勢値やセンサ出力値に変換してから行っても良い。変換を施した場合には、補正値算出モジュール315に推定値を提供する際に、位置姿勢を表す情報へ戻るよう逆変換を施す。
補正値推定モジュール316が行う補正値推定処理は、慣性航法装置103が出力するカメラ102の視点の位置姿勢値に含まれる慣性航法装置103内のセンサ出力誤差が、慣性航法装置103の位置や姿勢によらず、時間経過に対して一定の割合で蓄積していくという仮定に基づく。具体的な推定方法について、以下に3つの方法を説明する。なお、説明で利用する変数として、時刻tにおける補正値算出モジュール315が算出した補正値、その変化量、補正値の推定値をそれぞれ、M(t)、ΔM(t)、M´(t)とする。
[第一の推定方法]
第一の推定方法では、最新の補正値変化量を用いて補正値を推定する。つまり、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の、時刻t1における補正値の推定値M´(t1)は、
第一の推定方法では、最新の補正値変化量を用いて補正値を推定する。つまり、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の、時刻t1における補正値の推定値M´(t1)は、
[第二の推定方法]
第二の推定方法では、過去に得られた補正値変化量に対する、平均値、中央値、最頻値等の、統計値を使って補正値を推定する。補正値変化量に対する統計値をΔMSとすると、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の、時刻t1における補正値の推定値M´(t1)は、
第二の推定方法では、過去に得られた補正値変化量に対する、平均値、中央値、最頻値等の、統計値を使って補正値を推定する。補正値変化量に対する統計値をΔMSとすると、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の、時刻t1における補正値の推定値M´(t1)は、
[第三の推定方法]
第三の推定方法は温度変化によるセンサ出力ドリフトを考慮した方法である。時刻tにおける温度をT(t)と表記すると、この推定方法を実行する場合には、あらかじめ補正値算出モジュール315より補正値の入力がある段階で、補正値の時間当たりの変化量ΔM(t)と、その時点の温度T(t)とを対にして内部に保持しておく。そして、ある時刻t1においては、その時刻t1における温度T(t1)に対応した補正値を推定する。すなわち、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の時刻taと時刻t0以前の時刻tbにおいてT(ta)=T(tb)の関係があるとき、時刻ta直後の時刻ta+dtにおける補正値の推定値M´(ta+dt)は、時刻taにおける補正値の推定値M´(ta)を用いて、
第三の推定方法は温度変化によるセンサ出力ドリフトを考慮した方法である。時刻tにおける温度をT(t)と表記すると、この推定方法を実行する場合には、あらかじめ補正値算出モジュール315より補正値の入力がある段階で、補正値の時間当たりの変化量ΔM(t)と、その時点の温度T(t)とを対にして内部に保持しておく。そして、ある時刻t1においては、その時刻t1における温度T(t1)に対応した補正値を推定する。すなわち、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以降の時刻taと時刻t0以前の時刻tbにおいてT(ta)=T(tb)の関係があるとき、時刻ta直後の時刻ta+dtにおける補正値の推定値M´(ta+dt)は、時刻taにおける補正値の推定値M´(ta)を用いて、
と表すことができる。T(ta)=T(tb)となる時刻tbが過去にない場合には、補正値変化量と温度は比例関係にあると仮定して、得られている他の温度に対応する補正値変化量から時刻taにおける補正値の推定値を求める。例えば、最後に補正値算出モジュール315が補正値の算出を行った時刻t0以前の時刻tcおよび時刻tdに対する温度および補正値変化量を利用すると、時刻ta直後の時刻ta+dtにおける補正値の推定値M´(ta+dt)は、時刻taにおける補正値の推定値M´(ta)を用いて、
と表すことができる。なお、温度Tに対してT=T(t)となる時刻tが複数存在する場合には、温度Tに対応する補正値変化量には最も新しい時刻の補正値変化量を利用しても良いし、T=T(t)となる全ての時刻tにおける補正値変化量ΔM(t)の平均値、中央値、最頻値等の統計値を利用しても良いし、ロバスト推定の手法を利用して求めても良い。
なお、上記の説明では、補正値推定モジュール316が補正値を推定するよりも過去の時点で補正値算出モジュール315が補正値を算出していることが暗黙の前提となっているが、過去に補正値算出モジュール315が補正値を算出していない場合には、過去のすべての時刻における補正値は0(補正なし)であるとすれば良い。
以上により、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置103内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ101に表示され、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール316によって推定する補正値の利用により、慣性航法装置103内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ101に表示される。
以上、説明した本実施形態における画像処理のフローチャートを図4に示し、以下に説明する。
処理が始まると、まず、慣性航法装置103が出力するカメラ102の視点の位置姿勢値を、位置姿勢入力モジュール111が取得する(ステップS401)。続いて、視点位置姿勢算出モジュール212において、カメラ102の視点の位置姿勢値に基づいてカメラ102の視点の位置姿勢を表す情報が算出される(ステップS402)。これと同時に、補正値算出モジュール215においては、カメラ102の視点の位置姿勢値に基づいてカメラ102の視点の位置姿勢を表す情報が算出された上で、この位置姿勢を表す情報を補正する補正値の算出が行われる(ステップS403)。さらに補正値算出モジュール215では、補正値の算出が行えたか否かの判定が行われる(ステップS404)。補正値の算出が行えた場合には、処理はステップS405へと進み、補正値の算出が行えなかった場合には、処理はステップS409へと進む。
補正値算出モジュール215において補正値の算出を行えた場合には、その補正値に基づき、視点位置姿勢算出モジュール112において算出されたカメラ102の視点の位置姿勢を表す情報が補正される(ステップS405)。これと同時に、補正値は補正値推定モジュール316へと送られ、そこで単位時間当たりの補正値の変化量が算出され、算出した時刻やその時の温度と対にして内部に保持される(ステップS406)。補正値変化量の保持方法は、ステップS409で行われる補正値の推定方法に応じて異なる。ステップS409において先に述べた[第一の推定方法]を行う場合には、最新の補正値変化量のみを内部に保持する。[第二の推定方法]を行う場合には、補正値変化量と、それを算出した時刻を対にしてテーブルに保持する。[第三の補正方法]を行う場合には、補正値変化量と、それを算出した時刻と、その時刻の温度を対にしてテーブルに保持する。
ステップS406を終えると、ステップS405で補正されたカメラ102の視点の位置姿勢を表す情報を利用して、画像生成モジュール114においてCG画像が生成され、その画像が画像入力モジュール113を介して入力されるカメラ102で撮影された画像に重ね合わされ、ディスプレイ101に表示される(ステップS407)。
ステップS404において、補正値算出モジュール215において補正値の算出を行えなかったと判定した場合には、処理は補正値推定処理へと進む(ステップS409)。この処理では、前述した[第一の推定方法]、[第二の推定方法]、[第三の推定方法]のいずれかを行う。ここで求まった補正値の推定値は、補正値算出モジュール315へと送られ、そこで、この推定値を用いて、視点位置姿勢算出モジュール112において算出されたカメラ102の視点の位置姿勢を表す情報が補正される(ステップS410)。その後は、ステップS407へと進み、ステップS410で補正されたカメラ102の視点の位置姿勢を表す情報を利用して、画像生成モジュール114においてCG画像が生成され、その画像が画像入力モジュール113を介して入力されるカメラ102で撮影された画像に重ね合わされ、ディスプレイ101に表示される(ステップS407)。
[第2の実施形態]
第1の実施形態においては、MRシステムにおけるカメラ視点の位置および姿勢の計測を行ったが、MRシステムにおけるカメラの視点の姿勢のみを計測する形態であっても良い。その場合の構成を図5に示す。図3と同じ部分には同じ番号を付けている。
第1の実施形態においては、MRシステムにおけるカメラ視点の位置および姿勢の計測を行ったが、MRシステムにおけるカメラの視点の姿勢のみを計測する形態であっても良い。その場合の構成を図5に示す。図3と同じ部分には同じ番号を付けている。
図5に示した画像処理装置510は、図3に示した慣性航法装置103を姿勢計測装置503に変更し、さらに、視点位置姿勢入力モジュール111を視点位置姿勢入力モジュール511に変更した構成となっている。
姿勢計測装置503は、ジャイロセンサ504、慣性演算モジュール506を含む一般的な姿勢計測装置で、カメラ102の視点の姿勢値(カメラ102の視点の姿勢に相当する3変数)を位置姿勢入力モジュール511に対して出力する。その仕組み等については公知であるので、ここでは省略する。位置姿勢入力モジュール511は、内部にあらかじめカメラ102の視点の位置(カメラ102の視点の位置に相当する3変数)を保持し、姿勢計測装置503より入力した姿勢値と共に、位置姿勢算出モジュール212および補正値算出モジュール315へと出力する。
図3と同じ番号が付けられた残りの部分については、上記の変更に対応する部分の読み替えを行えば、第1の実施例と同様であるので説明は省略する。
以上により、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、姿勢計測装置503内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ101に表示され、画像入力モジュール113から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール316によって推定する補正値の利用により、姿勢計測装置503内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ101に表示される。
なお、画像処理装置510で行われる画像処理の流れは、図4中のステップS401として示した部分が、「姿勢計測装置503が出力するカメラ102の視点の姿勢値を、位置姿勢入力モジュール511が取得し、さらに位置姿勢入力モジュール511は内部に保持したカメラ102の視点の位置を取得する」と変わる以外は同様である。よって、説明は省略する。
[変形例1]
上記実施形態においては、MRシステムにおけるカメラ視点の位置姿勢または姿勢の計測を行ったが、本発明の適応範囲はこれに留まるものではなく、カメラの視点の位置姿勢または姿勢を計測するいずれの用途に用いることも可能であることはいうまでもない。
上記実施形態においては、MRシステムにおけるカメラ視点の位置姿勢または姿勢の計測を行ったが、本発明の適応範囲はこれに留まるものではなく、カメラの視点の位置姿勢または姿勢を計測するいずれの用途に用いることも可能であることはいうまでもない。
[変形例2]
上記実施例においては、ビデオシースルー方式のMRシステムにおける視点の位置姿勢または姿勢の計測を行ったが、光学シースルー方式のMRシステムであっても、本発明の画像処理装置による位置姿勢または姿勢の計測を行うことができる。この場合、HMDに慣性航法装置または姿勢計測装置を装着するとともに、計測対象であるところの観察者の視点位置との相対的な位置姿勢関係が既知であるような位置に固定されるように、HMDにカメラを装着する。そして、上記実施形態と同様な手法によってカメラの位置姿勢または姿勢を算出し、さらにその値を変換することで、観察者視点の位置姿勢または姿勢を算出する。また、本発明の適用範囲は計測対象物体に限定されるものではなく、いずれの計測対象物体であっても、同様にカメラおよび慣性航法装置または姿勢計測装置を装着することで、その位置姿勢または姿勢を計測することができる。
上記実施例においては、ビデオシースルー方式のMRシステムにおける視点の位置姿勢または姿勢の計測を行ったが、光学シースルー方式のMRシステムであっても、本発明の画像処理装置による位置姿勢または姿勢の計測を行うことができる。この場合、HMDに慣性航法装置または姿勢計測装置を装着するとともに、計測対象であるところの観察者の視点位置との相対的な位置姿勢関係が既知であるような位置に固定されるように、HMDにカメラを装着する。そして、上記実施形態と同様な手法によってカメラの位置姿勢または姿勢を算出し、さらにその値を変換することで、観察者視点の位置姿勢または姿勢を算出する。また、本発明の適用範囲は計測対象物体に限定されるものではなく、いずれの計測対象物体であっても、同様にカメラおよび慣性航法装置または姿勢計測装置を装着することで、その位置姿勢または姿勢を計測することができる。
[他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の上記記憶媒体に適用する場合、その記憶媒体には先に説明した図4に示したフローチャートに対応するプログラムコードが格納されることになる。
100 HMD
101 ディスプレイ
102 カメラ(観察者視点カメラ)
103 慣性航法装置
104 ジャイロセンサ
105 加速度センサ
106 慣性演算モジュール
110 画像処理装置
111 位置姿勢入力モジュール
112 視点位置姿勢算出モジュール
113 画像入力モジュール
114 画像生成モジュール
210 画像処理装置
212 視点位置算出モジュール
215 補正値算出モジュール
310 画像処理装置
315 補正値算出モジュール
316 補正値推定モジュール
503 姿勢計測装置
504 ジャイロセンサ
506 慣性演算モジュール
510 画像処理装置
511 視点位置姿勢入力モジュール
101 ディスプレイ
102 カメラ(観察者視点カメラ)
103 慣性航法装置
104 ジャイロセンサ
105 加速度センサ
106 慣性演算モジュール
110 画像処理装置
111 位置姿勢入力モジュール
112 視点位置姿勢算出モジュール
113 画像入力モジュール
114 画像生成モジュール
210 画像処理装置
212 視点位置算出モジュール
215 補正値算出モジュール
310 画像処理装置
315 補正値算出モジュール
316 補正値推定モジュール
503 姿勢計測装置
504 ジャイロセンサ
506 慣性演算モジュール
510 画像処理装置
511 視点位置姿勢入力モジュール
Claims (14)
- 計測対象との間の位置関係が固定されている撮像装置と、
前記撮像装置の撮像視点の位置および/または姿勢を計測する計測装置と、
前記計測対象の位置および/または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、
前記記憶手段に記憶されている前記算出情報を更新する更新手段と、
前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、
前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および/または姿勢を算出する算出手段とを備える画像処理装置であって、
前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、
前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理装置。 - 前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻情報と共に記憶することを特徴とする請求項1に記載の画像処理装置。
- 前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻の温度情報と共に記憶することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の最新時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、前記算出情報の更新内容を推定する時刻における温度に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至4のいずれかに記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった最新の時刻における前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった時刻での前記算出情報の更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度に近い温度であった1つ以上の時刻での前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項1乃至3のいずれかに記載の画像処理装置。
- 前記更新推定手段は、前記算出情報の更新量の時間変化は温度に対して比例関係にあるものとして、前記算出情報の更新内容を推定することを特徴とする請求項10に記載の画像処理装置。
- 計測対象との間の位置関係が固定されている撮像装置によって撮像画像を撮像する撮像工程と、
前記撮像装置の撮像視点の位置および/または姿勢を計測する計測工程と、
前記計測対象の位置および/または姿勢を、前記計測工程で計測した計測値に基づいて算出するための算出情報を記憶する記憶工程と、
前記記憶工程で記憶された前記算出情報を更新する更新工程と、
前記更新工程による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定工程と、
前記計測値と前記更新工程によって更新された前記算出情報に基づいて前記計測対象の位置および/または姿勢を算出する算出工程とを備える画像処理方法であって、
前記更新工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定工程での推定結果を基に前記算出情報を更新することを特徴とし、
前記更新推定工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新工程での前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理方法。 - 請求項12に記載の画像処理方法を実行することを特徴とするプログラムコード。
- 請求項13に記載のプログラムコードを格納することを特徴とする記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003282560A JP2005050189A (ja) | 2003-07-30 | 2003-07-30 | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003282560A JP2005050189A (ja) | 2003-07-30 | 2003-07-30 | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005050189A true JP2005050189A (ja) | 2005-02-24 |
Family
ID=34267742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003282560A Withdrawn JP2005050189A (ja) | 2003-07-30 | 2003-07-30 | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005050189A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007303839A (ja) * | 2006-05-08 | 2007-11-22 | Konica Minolta Sensing Inc | 三次元形状測定システム |
JP2016502210A (ja) * | 2012-12-21 | 2016-01-21 | クアルコム,インコーポレイテッド | 別個のコンピュータ視覚ベース姿勢および慣性センサベース姿勢の表示 |
WO2017061388A1 (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
CN107533230A (zh) * | 2015-03-06 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器用追踪*** |
JP2019519842A (ja) * | 2016-05-18 | 2019-07-11 | フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー.ファオ. | バーチャル環境表示における視方向の設定方法 |
-
2003
- 2003-07-30 JP JP2003282560A patent/JP2005050189A/ja not_active Withdrawn
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007303839A (ja) * | 2006-05-08 | 2007-11-22 | Konica Minolta Sensing Inc | 三次元形状測定システム |
JP4677613B2 (ja) * | 2006-05-08 | 2011-04-27 | コニカミノルタセンシング株式会社 | 三次元形状測定システム |
JP2016502210A (ja) * | 2012-12-21 | 2016-01-21 | クアルコム,インコーポレイテッド | 別個のコンピュータ視覚ベース姿勢および慣性センサベース姿勢の表示 |
US10444845B2 (en) | 2012-12-21 | 2019-10-15 | Qualcomm Incorporated | Display of separate computer vision based pose and inertial sensor based pose |
JP2018514017A (ja) * | 2015-03-06 | 2018-05-31 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイの追跡システム |
CN107533230A (zh) * | 2015-03-06 | 2018-01-02 | 索尼互动娱乐股份有限公司 | 头戴式显示器用追踪*** |
US10684485B2 (en) | 2015-03-06 | 2020-06-16 | Sony Interactive Entertainment Inc. | Tracking system for head mounted display |
JP2017072560A (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
CN108139204A (zh) * | 2015-10-09 | 2018-06-08 | 索尼株式会社 | 信息处理装置、位置和/或姿态的估计方法及计算机程序 |
WO2017061388A1 (ja) * | 2015-10-09 | 2017-04-13 | ソニー株式会社 | 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム |
US10507381B2 (en) | 2015-10-09 | 2019-12-17 | Sony Corporation | Information processing device, position and/or attitude estimiating method, and computer program |
CN108139204B (zh) * | 2015-10-09 | 2020-11-03 | 索尼株式会社 | 信息处理装置、位置和/或姿态的估计方法及记录介质 |
JP2019519842A (ja) * | 2016-05-18 | 2019-07-11 | フラウンホーファー−ゲゼルシャフト ツール フエルデルング デア アンゲヴァンテン フォルシュング エー.ファオ. | バーチャル環境表示における視方向の設定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7046189B2 (ja) | 拡張現実デバイスを較正する方法 | |
US8233011B2 (en) | Head mounted display and control method therefor | |
US10852847B2 (en) | Controller tracking for multiple degrees of freedom | |
EP1376464B1 (en) | Image processing device and method therefor and program codes, storing medium | |
JP4933406B2 (ja) | 画像処理装置、画像処理方法 | |
JP2004233334A (ja) | 位置姿勢計測方法 | |
JP2005033319A (ja) | 位置姿勢計測方法及び装置 | |
JP2009025918A (ja) | 画像処理装置、画像処理方法 | |
JP2004213355A (ja) | 情報処理方法 | |
CN107613867B (zh) | 动作显示***以及记录介质 | |
JP2014199964A (ja) | 撮像装置および画像処理装置 | |
JP4144888B2 (ja) | 画像処理方法、画像処理装置 | |
JP2005038321A (ja) | ヘッドマウントディスプレイ装置 | |
JP2005050189A (ja) | 画像処理装置およびその方法並びにプログラムコード、記憶媒体 | |
JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
JP2018063567A (ja) | 画像処理装置、画像処理方法およびプログラム | |
He et al. | Sensor-fusion based augmented-reality surgical navigation system | |
JP2004233201A (ja) | 位置姿勢計測方法 | |
JP2002269593A (ja) | 画像処理装置及び方法、並びに記憶媒体 | |
US20230127539A1 (en) | Information processing apparatus, information processing method, and information processing program | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
US11232291B2 (en) | Posture estimation system, posture estimation apparatus, error correction method, and error correction program | |
JP2005114452A (ja) | 位置姿勢計測装置およびその方法並びにプログラムコード、記憶媒体 | |
CN111240464B (zh) | 眼球追踪的校正方法和其装置 | |
GB2599145A (en) | Large space tracking using a wearable optics device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061003 |