JP2005050189A - 画像処理装置およびその方法並びにプログラムコード、記憶媒体 - Google Patents

Abstract

【課題】 慣性センサによる視点の位置、姿勢の計測誤差、特に時間経過に伴って生じる蓄積誤差の補正を行い、位置ずれのないＭＲを実現すること。
【解決手段】 計測対象との間の位置関係が固定されている撮像装置と、撮像視点の位置、姿勢を計測する計測装置と、計測対象の位置、姿勢を、計測装置の出力に基づいて算出するための算出情報を更新する手段と、算出情報の更新内容を記憶、あるいは、推定する更新推定手段と、計測値と更新手段によって更新された算出情報に基づいて計測対象の位置、姿勢を算出する算出手段とを備え、更新手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には撮像画像を基に算出情報を更新し、含まれない時には更新推定手段の推定結果を基に算出情報を更新し、更新推定手段は、撮像画像に計測対象の位置、姿勢に関する情報が含まれる時には算出情報の更新内容を記憶し、含まれない時には算出情報を推定する。
【選択図】 図３

Description

本発明は、計測対象の位置および／または姿勢を出力する画像処理装置およびその方法並びにプログラムコード、記憶媒体に関するものである。

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした複合現実感（以下、「ＭＲ」（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と称す）に関する研究が盛んになっている。

ＭＲとは、現実空間の映像に仮想空間の映像を重ね合わせて、ＭＲを体験するユーザの頭部に装着されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に提示する技術のことである。ＭＲは、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティの世界と現実空間との共存を目的とし、バーチャルリアリティを増強する技術として注目されている。その応用としては、患者の体内の様子を透視しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途などがあり、今までのバーチャルリアリティとは質的に全く異なった新たな分野での利用が期待されている。

このＭＲの実現において、もっとも重要な課題となっているのが、現実空間と仮想空間との位置を正確に重ね合わせる問題である。この問題は、具体的には、現実空間を観察する視点の位置および姿勢を正確に求める問題に帰着される。この問題は、カメラなどでリアルタイムに撮影した現実空間の映像と仮想空間の映像とをコンピュータ内で重ね合わせる「ビデオシースルー方式」のＭＲの場合には、撮影視点の位置姿勢を求める問題となり、ＨＭＤに現実空間の風景を光学的に透過させつつ、その透過面に仮想空間の映像を表示して観察者の網膜上で両者を重ね合わせる「光学シースルー方式」のＭＲの場合には、観察者視点の位置姿勢を求める問題となる。

撮影視点、もしくは、観察者視点の位置および姿勢を求める方法には、磁気センサ（例えば特許文献１）や超音波センサを利用する方法など様々考えられるが、その中の一つに、ジャイロセンサによって計測する姿勢変化の角速度と加速度センサによって計測する移動加速度から位置および姿勢を得る、「慣性航法」と呼ばれる方法がある。また、ジャイロセンサのみを用いて姿勢を計測し、位置は既知の情報としてあらかじめ保持しておく方法もある。こうした、ジャイロセンサや加速度センサといった慣性センサを利用する方法は、磁気センサや超音波センサを利用する方法とは異なり、場所を選ばずに利用することができるので、特に屋外においてＭＲを実現する場合などに有効な方法である。ただし、位置および／または姿勢を算出する過程にセンサ出力値を積分する処理が含まれるため、得られる位置および／または姿勢にセンサ出力値の誤差が蓄積していくという欠点がある。よって、慣性センサを利用してＭＲを実現するためには、この誤差を取り除く処理が必要となる。

視点の位置および／または姿勢の計測に蓄積する誤差を取り除く処理としては、慣性センサによる計測以外の方法で得る視点の位置および姿勢に関する情報も利用することで、慣性センサによる計測によって算出した視点の位置および／または姿勢を補正したり、視点の位置および／または姿勢の真値を推定したりする方法がある。

例えば、慣性センサによる計測以外の方法で得る位置および姿勢に関する情報として、現実空間中の位置が既知の特定点の、視点位置から撮影した現実空間画像中の位置を利用することができる。この場合、その特定点を算出した視点の位置および／または姿勢に従って現実空間画像上に投影した位置と、実際に現実空間画像に写る特定点の位置のずれ量から、算出した視点の位置および／または姿勢の補正値を決定することが可能である。また、カルマンフィルタを利用し、現実空間画像に写る特定点の位置を観測値として、視点の位置および／または姿勢の真値を推定するようなシステムを組むことも可能である。
特開２００２−２２８４４２号公報

しかし、上記の誤差を取り除く処理には、慣性センサによる計測以外の方法で視点の位置および姿勢に関する情報を取得できなければ、処理が行えないという欠点がある。先に挙げた例で言えば、視点位置から撮影した現実空間画像内に現実空間中の位置が既知の特定点が写っていなければ、視点の位置および／または姿勢の補正や真値の推定を行うことができない。その間に得られる視点の位置および／または姿勢には、刻々と誤差が蓄積していく。

本発明は、以上の問題を鑑みてなされたものであり、視点の位置および／または姿勢の計測を行うことを目的とし、特に、慣性センサによって得られる位置および／または姿勢の誤差を補正することを目的とする。

本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。

すなわち、計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測装置と、前記計測対象の位置および／または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出手段とを備え、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする。

なお、さらに詳細に説明すれば、本発明は下記の構成によって前記課題を解決できた。

（１）計測対象との間の位置関係が固定されている撮像装置と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測装置と、前記計測対象の位置および／または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、前記記憶手段に記憶されている前記算出情報を更新する更新手段と、前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出手段とを備える画像処理装置であって、前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理装置。

（２）前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻情報と共に記憶することを特徴とする前記（１）に記載の画像処理装置。

（３）前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻の温度情報と共に記憶することを特徴とする前記（１）又は（２）に記載の画像処理装置。

（４）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（５）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の最新時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（６）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（７）前記更新推定手段は、前記算出情報の更新内容を推定する時刻における温度に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（４）のいずれかに記載の画像処理装置。

（８）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった最新の時刻における前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（９）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった時刻での前記算出情報の更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（１０）前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度に近い温度であった１つ以上の時刻での前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする前記（１）乃至（３）のいずれかに記載の画像処理装置。

（１１）前記更新推定手段は、前記算出情報の更新量の時間変化は温度に対して比例関係にあるものとして、前記算出情報の更新内容を推定することを特徴とする前記（１０）に記載の画像処理装置。

（１２）計測対象との間の位置関係が固定されている撮像装置によって撮像画像を撮像する撮像工程と、前記撮像装置の撮像視点の位置および／または姿勢を計測する計測工程と、前記計測対象の位置および／または姿勢を、前記計測工程で計測した計測値に基づいて算出するための算出情報を記憶する記憶工程と、前記記憶工程で記憶された前記算出情報を更新する更新工程と、前記更新工程による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定工程と、前記計測値と前記更新工程によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出工程とを備える画像処理方法であって、前記更新工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定工程での推定結果を基に前記算出情報を更新することを特徴とし、前記更新推定工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新工程での前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理方法。

（１３）前記（１２）に記載の画像処理方法を実行することを特徴とするプログラムコード。

（１４）前記（１３）に記載のプログラムコードを格納することを特徴とする記憶媒体。

以上の説明により、本発明によって、慣性センサによる視点の位置および／または姿勢の計測誤差の補正、特に時間経過に伴って生じる蓄積誤差の補正を行うことができ、位置ずれのないＭＲを実現することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態では、ジャイロセンサおよび加速度センサを含む慣性航法装置によるカメラ視点の位置姿勢計測誤差を補正することで、位置ずれのないＭＲ空間の提示を実現する画像処理装置について説明する。

まず、慣性航法装置を備えたＨＭＤの位置姿勢に応じて、現実空間の画像に仮想空間の画像を重畳描画する画像処理装置の構成を図１に示す。

同図のＨＭＤ１００はビデオシースルー方式のものであって、画像を表示するディスプレイ１０１と、このＨＭＤ１００を装着した観察者の視点位置から現実空間を撮像するカメラ１０２（観察者視点カメラ）と、カメラ１０２の視点の位置姿勢を計測する慣性航法装置１０３を備えている。

慣性航法装置１０３は、ジャイロセンサ１０４、加速度センサ１０５、慣性演算モジュール１０６を含む一般的な慣性航法装置で、カメラ１０２の視点の位置姿勢値（カメラ１０２の視点の位置および姿勢に相当する６変数）を出力する。その仕組み等については公知であるので、ここでは簡単な説明に留める。ジャイロセンサ１０４は、３軸方向の角速度を計測するために複数のジャイロセンサで構成され、加速度センサ１０５も、同様に３軸方向の加速度を計測するために複数の加速度センサで構成されている。慣性演算モジュール１０６は、ジャイロセンサ１０４から３軸方向の角速度出力を受け取り、装置起動時（もしくは姿勢初期化時）よりの角速度を積分していき、その積分値をカメラ１０２の視点の姿勢値として出力する。場合によっては、加速度センサ１０５から受け取る加速度出力も用いて姿勢値を算出する。また、慣性演算モジュール１０６は、加速度センサ１０５から３軸方向の加速度出力を受け取り、これを、先に算出しておいた姿勢値を基に、現実空間に固定された世界座標系に対する加速度に変換する。そして、装置起動時（もしくは位置初期化時）よりの加速度を、重力加速度成分を除いて積分していき、その積分値をカメラ１０２の視点の位置として出力する。なお、慣性航法装置１０３は、フィルターを利用したセンサ出力のノイズ除去や、加速度出力から検知する重力方向に基づく算出姿勢の補正や、温度ドリフトの補正などの処理を行う、図示してないモジュールを含んでいても良い。

図１に示した画像処理装置１１０は、慣性航法装置１０３から出力される位置姿勢値を入力する位置姿勢入力モジュール１１１、カメラ１０２から現実空間の撮影画像を入力する画像入力モジュール１１３、位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報（例えば４×４のモデルビュー行列）を算出する視点位置姿勢算出モジュール１１２、視点位置姿勢算出モジュール１１２により算出された視点の位置姿勢を表す情報に基づいて現実空間の画像に仮想空間の画像を重畳描画した画像を生成する画像生成モジュール１１４から構成されており、ディスプレイ１０１に提示画像を表示する。この場合、時間経過に伴って、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ１０１に表示される。視点位置姿勢算出モジュール１１２によって行われる、位置姿勢値（位置および姿勢を示す６変数）からモデルビュー行列のような位置姿勢を表す情報を算出する方法については公知であるので、ここでの説明は省略する。

次に、図１に示した構成に慣性航法装置１０３内のセンサ出力誤差を取り除くための補正値算出モジュールを加えた構成を図２に示す。図１と同じ部分には同じ番号を付けており、また、図１と同じ部分については説明を省略する。

図２に示した画像処理装置２１０は、図１に示した画像処理装置１１０に補正値算出モジュール２１５を付加し、さらに、視点位置姿勢算出モジュール１１２を視点位置算出モジュール２１２に変更した装置の構成となっている。

補正値算出モジュール２１５は、画像入力モジュール１１３から入力した撮影画像と位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて、後述する補正値算出処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値（例えば補正行列）を生成し、その補正値を視点位置姿勢算出モジュール２１２へと出力する。

視点位置姿勢算出モジュール２１２は、位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて算出した位置姿勢情報を、補正値算出モジュール２１５から入力した補正値に基づいて補正して、補正後の位置姿勢情報（例えば補正後のモデルビュー行列）を生成する。

補正値算出モジュール２１５が行う補正値算出処理は、位置姿勢の計測対象である視点においてカメラ１０２により撮影された撮影画像に含まれる位置姿勢に関する情報と、慣性航法装置１０３により計測された計測対象の視点位置姿勢の計測値に基づいて行われる。例えば、現実空間上の位置が既知である特定点に対して、位置姿勢入力モジュール１１１が受け取るカメラ１０２の視点の位置姿勢値に基づいて予測した画像上の特定点の観測予測位置と、画像処理によって実際に検出される当該特定点の画像上における観測位置のずれ量から、観測予測位置を観測位置に重ねるために必要なカメラ１０２の視点の位置姿勢を表す情報の変化量が求められ、それが補正値として算出される。また別の例では、現実空間上の位置が既知である特定点の画像上における観測位置を観測値とした視点位置姿勢を推定するカルマンフィルタによって、カメラ１０２の視点の位置姿勢を表す情報の真値を推定し、その推定値と位置姿勢入力モジュール１１１から受け取るカメラ１０２の視点の位置姿勢値から算出するカメラ１０２の視点の位置姿勢を表す情報の差から、カメラ１０２の視点の位置姿勢を表す情報の補正値が算出される。

しかしながら、補正値算出モジュール２１５が行う補正値算出処理によって補正値が算出されるのは、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれている場合に限られている。上記の例では、現実空間上の位置が既知である特定点が写っていなければ、補正値を算出することができない。よって、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれておらず、補正値の算出が行えない場合には、過去に算出した最新の補正値が、更新されずにそのまま利用される。

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間には、時間経過に伴って変化する慣性航法装置１０３内のセンサ出力誤差に応じて変化すべき補正値が更新されないため、時間経過に伴って、そのセンサ出力誤差の蓄積に応じて生じる位置ずれを含んだ画像がディスプレイ１０１に表示される。

次に、ＨＭＤ１００に繋いだ本実施形態における画像処理装置の構成を図３に示す。図２と同じ部分には同じ番号を付けており、また、図２と同じ部分については説明を省略する。

図３に示した画像処理装置３１０は、図２に示した画像処理装置２１０に補正値推定モジュール３１６を付加し、さらに、補正値算出モジュール２１５を補正値算出モジュール３１５に変更した装置の構成となっている。

補正値算出モジュール３１５は、補正値算出モジュール２１５と同様に、画像入力モジュール１１３から入力した撮影画像と位置姿勢入力モジュール１１１から入力したカメラ１０２の視点の位置姿勢値に基づいて、前述した補正値算出処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値の算出を試みる。そして、補正値を算出できた場合、すなわち画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれていた場合には、算出した補正値を視点位置姿勢算出モジュール２１２および補正値推定モジュール３１６へと出力する。画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれず、補正値の算出が行えなかった場合には、補正値推定モジュール３１６から補正値の推定値を受け取り、これを補正値として視点位置姿勢算出モジュール２１２へと出力する。

補正値推定モジュール３１６は、補正値算出モジュール３１５より補正値の入力がある場合には、補正値算出モジュール３１５から入力したカメラ１０２の視点の位置姿勢を表す情報の補正値に基づいて、その補正値の時間当たりの変化量を算出し、算出した時刻やその時の温度と対にして内部に保持しておく。そして、補正値算出モジュール３１５において補正値の算出が行えなかった場合に、記憶しておいた補正値の時間当たりの変化量を基に、後述する補正値推定処理によってカメラ１０２の視点の位置姿勢を表す情報の補正値の推定を行い、その推定値を補正値算出モジュール３１５に提供する。なお、補正値の時間当たりの変化量の算出および保持は、位置姿勢を表す情報のままで行っても良いし、位置姿勢値やセンサ出力値に変換してから行っても良い。変換を施した場合には、補正値算出モジュール３１５に推定値を提供する際に、位置姿勢を表す情報へ戻るよう逆変換を施す。

補正値推定モジュール３１６が行う補正値推定処理は、慣性航法装置１０３が出力するカメラ１０２の視点の位置姿勢値に含まれる慣性航法装置１０３内のセンサ出力誤差が、慣性航法装置１０３の位置や姿勢によらず、時間経過に対して一定の割合で蓄積していくという仮定に基づく。具体的な推定方法について、以下に３つの方法を説明する。なお、説明で利用する変数として、時刻ｔにおける補正値算出モジュール３１５が算出した補正値、その変化量、補正値の推定値をそれぞれ、Ｍ（ｔ）、ΔＭ（ｔ）、Ｍ´（ｔ）とする。

［第一の推定方法］
第一の推定方法では、最新の補正値変化量を用いて補正値を推定する。つまり、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の、時刻ｔ₁における補正値の推定値Ｍ´（ｔ₁）は、

と表すことができる。

［第二の推定方法］
第二の推定方法では、過去に得られた補正値変化量に対する、平均値、中央値、最頻値等の、統計値を使って補正値を推定する。補正値変化量に対する統計値をΔＭ^Sとすると、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の、時刻ｔ₁における補正値の推定値Ｍ´（ｔ₁）は、

と表すことができる。なお、推定に利用する統計値を算出する際には、過去に得られている補正値変化量の中から、例外値（アウトライアー）を除去してから算出するような、ロバスト推定の手法を用いても良い。

［第三の推定方法］
第三の推定方法は温度変化によるセンサ出力ドリフトを考慮した方法である。時刻ｔにおける温度をＴ（ｔ）と表記すると、この推定方法を実行する場合には、あらかじめ補正値算出モジュール３１５より補正値の入力がある段階で、補正値の時間当たりの変化量ΔＭ（ｔ）と、その時点の温度Ｔ（ｔ）とを対にして内部に保持しておく。そして、ある時刻ｔ₁においては、その時刻ｔ₁における温度Ｔ（ｔ₁）に対応した補正値を推定する。すなわち、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以降の時刻ｔ_aと時刻ｔ₀以前の時刻ｔ_bにおいてＴ（ｔ_a）＝Ｔ（ｔ_b）の関係があるとき、時刻ｔ_a直後の時刻ｔ_a＋ｄｔにおける補正値の推定値Ｍ´（ｔ_a＋ｄｔ）は、時刻ｔ_aにおける補正値の推定値Ｍ´（ｔ_a）を用いて、

と表すことができる。Ｔ（ｔ_a）＝Ｔ（ｔ_b）となる時刻ｔ_bが過去にない場合には、補正値変化量と温度は比例関係にあると仮定して、得られている他の温度に対応する補正値変化量から時刻ｔ_aにおける補正値の推定値を求める。例えば、最後に補正値算出モジュール３１５が補正値の算出を行った時刻ｔ₀以前の時刻ｔ_cおよび時刻ｔ_dに対する温度および補正値変化量を利用すると、時刻ｔ_a直後の時刻ｔ_a＋ｄｔにおける補正値の推定値Ｍ´（ｔ_a＋ｄｔ）は、時刻ｔ_aにおける補正値の推定値Ｍ´（ｔ_a）を用いて、

と表すことができる。なお、温度Ｔに対してＴ＝Ｔ（ｔ）となる時刻ｔが複数存在する場合には、温度Ｔに対応する補正値変化量には最も新しい時刻の補正値変化量を利用しても良いし、Ｔ＝Ｔ（ｔ）となる全ての時刻ｔにおける補正値変化量ΔＭ（ｔ）の平均値、中央値、最頻値等の統計値を利用しても良いし、ロバスト推定の手法を利用して求めても良い。

なお、上記の説明では、補正値推定モジュール３１６が補正値を推定するよりも過去の時点で補正値算出モジュール３１５が補正値を算出していることが暗黙の前提となっているが、過去に補正値算出モジュール３１５が補正値を算出していない場合には、過去のすべての時刻における補正値は０（補正なし）であるとすれば良い。

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール３１６によって推定する補正値の利用により、慣性航法装置１０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示される。

以上、説明した本実施形態における画像処理のフローチャートを図４に示し、以下に説明する。

処理が始まると、まず、慣性航法装置１０３が出力するカメラ１０２の視点の位置姿勢値を、位置姿勢入力モジュール１１１が取得する（ステップＳ４０１）。続いて、視点位置姿勢算出モジュール２１２において、カメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報が算出される（ステップＳ４０２）。これと同時に、補正値算出モジュール２１５においては、カメラ１０２の視点の位置姿勢値に基づいてカメラ１０２の視点の位置姿勢を表す情報が算出された上で、この位置姿勢を表す情報を補正する補正値の算出が行われる（ステップＳ４０３）。さらに補正値算出モジュール２１５では、補正値の算出が行えたか否かの判定が行われる（ステップＳ４０４）。補正値の算出が行えた場合には、処理はステップＳ４０５へと進み、補正値の算出が行えなかった場合には、処理はステップＳ４０９へと進む。

補正値算出モジュール２１５において補正値の算出を行えた場合には、その補正値に基づき、視点位置姿勢算出モジュール１１２において算出されたカメラ１０２の視点の位置姿勢を表す情報が補正される（ステップＳ４０５）。これと同時に、補正値は補正値推定モジュール３１６へと送られ、そこで単位時間当たりの補正値の変化量が算出され、算出した時刻やその時の温度と対にして内部に保持される（ステップＳ４０６）。補正値変化量の保持方法は、ステップＳ４０９で行われる補正値の推定方法に応じて異なる。ステップＳ４０９において先に述べた［第一の推定方法］を行う場合には、最新の補正値変化量のみを内部に保持する。［第二の推定方法］を行う場合には、補正値変化量と、それを算出した時刻を対にしてテーブルに保持する。［第三の補正方法］を行う場合には、補正値変化量と、それを算出した時刻と、その時刻の温度を対にしてテーブルに保持する。

ステップＳ４０６を終えると、ステップＳ４０５で補正されたカメラ１０２の視点の位置姿勢を表す情報を利用して、画像生成モジュール１１４においてＣＧ画像が生成され、その画像が画像入力モジュール１１３を介して入力されるカメラ１０２で撮影された画像に重ね合わされ、ディスプレイ１０１に表示される（ステップＳ４０７）。

ステップＳ４０４において、補正値算出モジュール２１５において補正値の算出を行えなかったと判定した場合には、処理は補正値推定処理へと進む（ステップＳ４０９）。この処理では、前述した［第一の推定方法］、［第二の推定方法］、［第三の推定方法］のいずれかを行う。ここで求まった補正値の推定値は、補正値算出モジュール３１５へと送られ、そこで、この推定値を用いて、視点位置姿勢算出モジュール１１２において算出されたカメラ１０２の視点の位置姿勢を表す情報が補正される（ステップＳ４１０）。その後は、ステップＳ４０７へと進み、ステップＳ４１０で補正されたカメラ１０２の視点の位置姿勢を表す情報を利用して、画像生成モジュール１１４においてＣＧ画像が生成され、その画像が画像入力モジュール１１３を介して入力されるカメラ１０２で撮影された画像に重ね合わされ、ディスプレイ１０１に表示される（ステップＳ４０７）。

［第２の実施形態］
第１の実施形態においては、ＭＲシステムにおけるカメラ視点の位置および姿勢の計測を行ったが、ＭＲシステムにおけるカメラの視点の姿勢のみを計測する形態であっても良い。その場合の構成を図５に示す。図３と同じ部分には同じ番号を付けている。

図５に示した画像処理装置５１０は、図３に示した慣性航法装置１０３を姿勢計測装置５０３に変更し、さらに、視点位置姿勢入力モジュール１１１を視点位置姿勢入力モジュール５１１に変更した構成となっている。

姿勢計測装置５０３は、ジャイロセンサ５０４、慣性演算モジュール５０６を含む一般的な姿勢計測装置で、カメラ１０２の視点の姿勢値（カメラ１０２の視点の姿勢に相当する３変数）を位置姿勢入力モジュール５１１に対して出力する。その仕組み等については公知であるので、ここでは省略する。位置姿勢入力モジュール５１１は、内部にあらかじめカメラ１０２の視点の位置（カメラ１０２の視点の位置に相当する３変数）を保持し、姿勢計測装置５０３より入力した姿勢値と共に、位置姿勢算出モジュール２１２および補正値算出モジュール３１５へと出力する。

図３と同じ番号が付けられた残りの部分については、上記の変更に対応する部分の読み替えを行えば、第１の実施例と同様であるので説明は省略する。

以上により、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれる場合には、姿勢計測装置５０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示され、画像入力モジュール１１３から入力される撮影画像中に視点位置姿勢に関する情報が含まれない間にも、補正値推定モジュール３１６によって推定する補正値の利用により、姿勢計測装置５０３内のセンサ出力誤差の蓄積に応じて生じる位置ずれを含まない画像がディスプレイ１０１に表示される。

なお、画像処理装置５１０で行われる画像処理の流れは、図４中のステップＳ４０１として示した部分が、「姿勢計測装置５０３が出力するカメラ１０２の視点の姿勢値を、位置姿勢入力モジュール５１１が取得し、さらに位置姿勢入力モジュール５１１は内部に保持したカメラ１０２の視点の位置を取得する」と変わる以外は同様である。よって、説明は省略する。

［変形例１］
上記実施形態においては、ＭＲシステムにおけるカメラ視点の位置姿勢または姿勢の計測を行ったが、本発明の適応範囲はこれに留まるものではなく、カメラの視点の位置姿勢または姿勢を計測するいずれの用途に用いることも可能であることはいうまでもない。

［変形例２］
上記実施例においては、ビデオシースルー方式のＭＲシステムにおける視点の位置姿勢または姿勢の計測を行ったが、光学シースルー方式のＭＲシステムであっても、本発明の画像処理装置による位置姿勢または姿勢の計測を行うことができる。この場合、ＨＭＤに慣性航法装置または姿勢計測装置を装着するとともに、計測対象であるところの観察者の視点位置との相対的な位置姿勢関係が既知であるような位置に固定されるように、ＨＭＤにカメラを装着する。そして、上記実施形態と同様な手法によってカメラの位置姿勢または姿勢を算出し、さらにその値を変換することで、観察者視点の位置姿勢または姿勢を算出する。また、本発明の適用範囲は計測対象物体に限定されるものではなく、いずれの計測対象物体であっても、同様にカメラおよび慣性航法装置または姿勢計測装置を装着することで、その位置姿勢または姿勢を計測することができる。

［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラミングコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の上記記憶媒体に適用する場合、その記憶媒体には先に説明した図４に示したフローチャートに対応するプログラムコードが格納されることになる。

慣性航法装置を備えたＨＭＤの位置姿勢に応じて、現実空間の画像に仮想空間の画像を重畳描画する従来の画像処理装置の構成を示す図である。 図１に示した従来の画像処理装置に、慣性航法装置内のセンサ出力の誤差を取り除くための補正値算出モジュールを加えた画像処理装置の構成を示す図である。 本発明の第１の実施形態における画像処理装置の構成を示す図である。 本発明の実施形態における画像処理のフローチャートである。 本発明の第２の実施形態における画像処理装置の構成を示す図である。

符号の説明

１００ ＨＭＤ
１０１ ディスプレイ
１０２ カメラ（観察者視点カメラ）
１０３ 慣性航法装置
１０４ ジャイロセンサ
１０５ 加速度センサ
１０６ 慣性演算モジュール
１１０ 画像処理装置
１１１ 位置姿勢入力モジュール
１１２ 視点位置姿勢算出モジュール
１１３ 画像入力モジュール
１１４ 画像生成モジュール
２１０ 画像処理装置
２１２ 視点位置算出モジュール
２１５ 補正値算出モジュール
３１０ 画像処理装置
３１５ 補正値算出モジュール
３１６ 補正値推定モジュール
５０３ 姿勢計測装置
５０４ ジャイロセンサ
５０６ 慣性演算モジュール
５１０ 画像処理装置
５１１ 視点位置姿勢入力モジュール

Claims (14)

1. 計測対象との間の位置関係が固定されている撮像装置と、
   前記撮像装置の撮像視点の位置および／または姿勢を計測する計測装置と、
   前記計測対象の位置および／または姿勢を、前記計測装置の出力に基づいて算出するための算出情報を記憶する記憶手段と、
   前記記憶手段に記憶されている前記算出情報を更新する更新手段と、
   前記更新手段による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定手段と、
   前記計測値と前記更新手段によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出手段とを備える画像処理装置であって、
   前記更新手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定手段の推定結果を基に前記算出情報を更新することを特徴とし、
   前記更新推定手段は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新手段による前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理装置。
2. 前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻情報と共に記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記更新推定手段は、前記更新手段による前記算出情報の更新内容を、その更新が起こった時刻の温度情報と共に記憶することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
5. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の最新時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
6. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
7. 前記更新推定手段は、前記算出情報の更新内容を推定する時刻における温度に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
8. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった最新の時刻における前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
9. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度と同じ温度であった時刻での前記算出情報の更新量の時間変化量平均値、もしくは、時間変化量中央値、もしくは、時間変化量最頻値に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
10. 前記更新推定手段は、記憶した前記更新手段による前記算出情報の更新内容であるところの前記算出情報の更新内容を推定する時刻における温度に近い温度であった１つ以上の時刻での前記算出情報の更新量の時間変化量に基づいて、前記算出情報の更新内容を推定することを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
11. 前記更新推定手段は、前記算出情報の更新量の時間変化は温度に対して比例関係にあるものとして、前記算出情報の更新内容を推定することを特徴とする請求項１０に記載の画像処理装置。
12. 計測対象との間の位置関係が固定されている撮像装置によって撮像画像を撮像する撮像工程と、
    前記撮像装置の撮像視点の位置および／または姿勢を計測する計測工程と、
    前記計測対象の位置および／または姿勢を、前記計測工程で計測した計測値に基づいて算出するための算出情報を記憶する記憶工程と、
    前記記憶工程で記憶された前記算出情報を更新する更新工程と、
    前記更新工程による前記算出情報の更新内容を記憶する、あるいは、前記算出情報の更新内容を推定する更新推定工程と、
    前記計測値と前記更新工程によって更新された前記算出情報に基づいて前記計測対象の位置および／または姿勢を算出する算出工程とを備える画像処理方法であって、
    前記更新工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記撮像画像を基に前記算出情報を更新し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記更新推定工程での推定結果を基に前記算出情報を更新することを特徴とし、
    前記更新推定工程は、前記撮像画像に前記計測対象の位置および姿勢に関する情報が含まれる時には前記更新工程での前記算出情報の更新内容を記憶し、前記撮像画像に前記撮像画像の位置および姿勢に関する情報が含まれない時には前記算出情報の更新内容を推定することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法を実行することを特徴とするプログラムコード。
14. 請求項１３に記載のプログラムコードを格納することを特徴とする記憶媒体。

Images