JP2006285787A - キャリブレーション方法及び装置 - Google Patents

Abstract

【課題】 現実物体と仮想物体との位置合わせが必要なシステムにおけるキャリブレーションを容易に、かつ精度良く実施可能とすること。
【解決手段】 現実物体と、当現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、現実物体の位置姿勢を計測する計測工程と、現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成工程と、現実物体を撮影した映像に、仮想物体の画像を重畳した合成画像を表示する表示工程と、合成画像における現実物体の位置姿勢と仮想物体の位置姿勢が所定の関係を満たしたことを検出する検出工程と、合致時の現実物体の位置姿勢と仮想物体の位置姿勢のずれを、現実物体の所定平面上の平行移動と所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、補正値として取得する取得工程とを有する。
【選択図】 図４

Description

本発明は、現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法及び装置に関する。

バーチャルリアリティ（ＶＲ）システムは、コンピュータの作り出す三次元ＣＧをユーザに提示することで、仮想の空間をあたかも現実であるかのように感じさせるシステムである。また、近年、現実世界の映像に三次元ＣＧを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはＡＲ（Augumented Reality、拡張現実感）システムやＭＲ（Mixed Reality、複合現実感）システムと呼ばれている。

ＡＲシステムでは、現実の物体に三次元ＣＧを重畳することが可能であり、例えば、特許文献１に示されるゲームでは、ユーザの持つ対話操作入力装置に剣や武器などの三次元ＣＧを重畳表示することで、ユーザが自由に仮想の物体（この場合は剣や武器）を操ることを可能にしている。

特開２０００−３５３２４８号公報

このようなシステムにおいて、ユーザに没入感を与えるためには、現実物体と仮想物体との位置あわせ精度が重要となる。しかし、現実物体と仮想物体の重畳を正確に行うために行われるキャリブレーションには時間がかかり、かつ相応のスキルが必要であった。

本発明はこのような従来技術の課題に鑑みなされたものであり、現実物体と仮想物体の位置ずれを補正するための補正量を取得するキャリブレーション処理に要する時間を短縮するとともに、キャリブレーション処理を容易にすることにある。

上述の目的は、現実物体と、当現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、現実物体の位置姿勢を計測する計測工程と、現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成工程と、現実物体を撮影した映像に、仮想物体の画像を重畳した合成画像を表示する表示工程と、合成画像における現実物体の位置姿勢と仮想物体の位置姿勢が所定の関係を満たしたことを検出する検出工程と、合致時の現実物体の位置姿勢と仮想物体の位置姿勢のずれを、現実物体の所定平面上の平行移動と所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法によって達成される。

また、上述の目的は、現実物体と、当現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、予め定めた平面に沿った平行移動と平面に直交する方向を軸とした回転の組合わせにより移動可能な現実物体の位置と姿勢を計測する第１の計測工程と、現実物体を観察者が装着する頭部装着型表示装置に設けたカメラにより撮影する撮影工程と、カメラの位置姿勢を測定する第２の計測工程と、カメラの位置姿勢に基づいて、予め定めた仮想物体を、当仮想物体が予め定めた平面上に存在するものとして観察者に観察されるように描画する仮想物体生成工程と、描画された仮想物体とカメラが撮影する画像とを合成して頭部装着型表示装置に表示させる合成表示工程と、観察者による、現実物体が仮想物体と所定の位置関係を満たして観察されることを示す指示を検出する検出工程と、指示が検出された時点における現実物体の位置姿勢と、仮想物体の位置姿勢のずれを補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法によっても達成される。

このような構成により、本発明によれば、キャリブレーション処理に要する時間を短縮するとともに、キャリブレーション処理を容易にすることにある。

以下図面を参照して本発明をその実施形態に基づいて詳細に説明する。
図１は本発明の実施形態に係る複合現実感提示システムの構成例を示すブロック図である。システムは、画像入力部１０２、画像合成部１０３、画像出力部１０４、カメラ位置姿勢計測部１０５、仮想物体生成部１０６、現実物***置姿勢計測部１０７を備えるシステム制御部１０１と、ユーザが装着するビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２と、現実物体１０８とから構成される。なお、現実物体１０８は位置姿勢センサＢ（１０９）を備えている。

システム制御部１０１は、例えばディスプレイインタフェース、ビデオキャプチャボード及び、シリアルインタフェースなどのデータ入力インタフェースを備え、図示しない不揮発性メモリ等に記憶された制御プログラムを実行するコンピュータによって実現される。

ビデオシースルー型ヘッドマウンテッドディスプレイ（ＨＭＤ）１３２は、ユーザの視点位置近傍からの映像を撮影するカメラ１３３と、カメラ１３３が撮像した映像を出力する画像出力部１３４と、例えばＬＣＤである画像表示部１３６と、映像表示部１３６に表示する画像をシステム制御部１０１の画像出力部１０４から受け取る画像入力部１３５とを有する。また、ＨＭＤ１３２は位置姿勢センサＡ（１３７）を備えている。

ユーザが頭部に装着したＨＭＤ１３２のカメラ１３３は、ユーザの視点近傍でユーザの視線方向における現実空間を撮像する。撮像された現実空間の画像は画像出力部１３４に送信される。画像出力部１３４は現実空間の画像をシステム制御部１０１の画像入力部１０２に送信する。

システム制御部１０１では画像入力部１０２から取り込んだ現実空間の画像データを画像合成部１０３に送信する。カメラ位置姿勢計測部１０５はＨＭＤ１３２の位置姿勢センサＡ（１３７）によりカメラ１３３の位置姿勢を計測し、計測結果をカメラ位置姿勢情報として仮想物体生成部１０６に送信する。

本実施形態において、現実物体１０８は仮想物体と重畳するために用いられる。現実物体１０８の位置姿勢は、現実物体１０８に設けた位置姿勢センサＢ（１０９）を用いて現実物***置姿勢計測部１０７が計測する。計測結果は現実物***置姿勢情報として仮想物体生成部１０６へ送信する。

仮想物体生成部１０６では、カメラ位置姿勢情報と現実物***置姿勢情報をもとに、カメラ１３３の視点からの見た現実物体１０８の位置姿勢に仮想物体画像を生成する。仮想物体生成部１０６は生成した仮想物体画像を画像合成部１０３に送信する。

画像合成部１０３では現実空間の画像と仮想物体画像を合成して複合現実空間画像を生成し、画像出力部１０４に送信する。画像出力部１０４は複合現実空間画像をＨＭＤ１３２の画像入力部１３５に送信する。画像入力部１３５は取り込んだ複合現実空間画像を画像表示部１３６に送信し、例えばユーザの眼前に設けられた表示装置である画像表示部１３６が複合現実空間画像を表示する。その複合現実空間画像をユーザが観察することで、現実空間に位置あわせされた仮想物体が存在するかのような感覚を体験することができる。また、記憶部１１０は仮想物体のモデル情報をはじめとする、複合現実空間画像を生成するために必要な情報が記憶されている。

なお、説明及び理解を容易にするため、ここでは説明を省略したが、実際には上述の複合現実空間画像を生成するための構成並びに動作は、左目用、右目用の２系統が存在する。すなわち、カメラ１３３は左目用カメラと右目用カメラから構成され、それぞれのカメラの位置姿勢を測定する。そしてそれぞれのカメラの視点位置から見た現実物体の位置姿勢に仮想物体画像を生成し、左目用及び右目用複合現実空間画像を生成、表示する。このような構成により、視差を利用した立体的な表示が可能となり、複合現実空間をより現実的な空間としてユーザに体感させることが可能になる。

次に本システムにおけるキャリブレーション動作について説明する。
上述の通り、キャリブレーションは少なくとも複合現実空間画像を生成する前に行う、仮想空間と現実空間との位置あわせ処理である。図２は本システムにおけるキャリブレーションの様子を模式的に示す図である。ここでは、本システムのキャリブレーションに用いる、位置姿勢計測可能な現実物体としてカメラ１０８を用い、現実物体を位置合わせするための仮想物体として、カメラ１０８と同一の大きさ及び形状を有するカメラをコンピュータグラフィックス（ＣＧ）により描画した場合を示している。

しかしながら、
（１）位置と姿勢が合致した状態を容易にユーザが認識可能
（２）所定平面上での平行移動と当該平面と直交する方向を軸とする回転により両者の位置と姿勢を一意に合致することが可能
（３）現実物体をユーザが手で移動可能
であれば、現実物体及び仮想物体の大きさや形状に制限はない。

以下に説明する例では、説明及び理解を容易にするため、所定平面が水平面、所定平面と直交する方向が鉛直方向である場合を述べる。
そして、図２において、水平面は台２０３の上面によって形成され、仮想物体２０２と現実物体１０８はその底面を構成する平面が台２０３の上面に接するように配置される。従って、現実物体１０８を台２０３上で滑らせて平行移動及び回転させることにより、仮想物体２０２との位置合わせが可能である。

なお、ここでは所定平面を台２０３の上面によって形成し、台２０３を現実物体の置き台とすることで、現実物体１０８の移動平面を水平面に固定している。しかし、現実物体１０８が移動可能な平面が１つに固定されさえすれば、台２０３は不要である。すなわち、現実物体１０８をある平面内に固定する機構として機能する任意の構成を利用することができる。ただし、現実物体の操作性や演算処理の容易さの点からは、現実物体１０８の移動可能平面が水平面であることが望ましい。

このような現実物体１０８と仮想物体２０２とを用いて、システムをキャリブレーションする処理について、図３のフローチャートを用いて説明する。この処理は、例えばＨＭＤ１３２を装着するユーザの指示によって開始される。

まずＳ３０１で、仮想物体生成部１０６は、仮想物体２０２のモデルを記憶部１１０から読み出し、やはり記憶部１１０に記憶されている、予め測定された台２０３の世界座標系における座標値と、ＨＭＤ１３２の姿勢位置センサＡ（１３７）の出力に基づいて、仮想物体２０２を、台２０３の上面に置かれているような位置にあるものとして描画する。なお、この時の仮想物体２０２の姿勢は、仮想物体２０２が底の水平面、もしくは一定の水平を保つための機構によって台２０３の上面に接して水平に保たれた状態である。この仮想物体２０２の画像は、画像合成部１０３において、カメラ１３３が撮像した現実空間画像、すなわち台２０３の画像と合成され、画像出力部１０４、画像入力部１３５を介してＨＭＤ１３２の画像表示部１３６に表示される。

この状態では仮想物体２０２と現実物体１０８とはその底面を共通の平面とした位置関係にある。そのため、図４に示すように、ユーザーはＳ３０２で、現実物体１０８と仮想物体２０２の位置及び姿勢を、台２０３の水平面上での水平移動と鉛直方向を軸とした回転との組み合わせにより合致させることができる。

カメラ位置姿勢計測部１０５は、ＨＭＤ１３２の位置姿勢センサＡ（１３７）の出力からカメラ１３３の位置姿勢を検出し、仮想物体生成部１０６はこの位置姿勢に合わせた仮想物体の生成、描画を行う。一方、現実物***置姿勢計測部１０７は、現実物体１０８に設けられた位置姿勢センサＢ（１０９）の出力から現実物体１０８の位置姿勢を検出し、画像合成部１０３へ出力する。

システム制御部１１０は、入力部１３８を通じてユーザから合致指示が入力されたかどうかをチェックしながら（Ｓ３０３）、ユーザの動きに応じてカメラ１３３の位置姿勢が変化しても、仮想物体２０２が正しい姿勢で表示され続けるよう、仮想物体の生成、表示処理を行う（Ｓ３０５）。

一方ユーザは、ＨＭＤ１３２において現実物体１０８と仮想物体２０２とを観察しながら、現実物体１０８が仮想物体２０２に完全に重なって見えるように現実物体１０８を移動させる。そして、完全に重なって見えるようになったら、入力部１３８に含まれる合致指示ボタンなどを押下し、合致状態に至ったことをシステム制御部１１０に通知する。

この際、位置姿勢での重なりの判断は、現実物体１０８の鉛直上方から現実物体１０８と仮想物体２０２の重なり具合を観察することで行うことが好ましい。これは、現実物体と仮想物体は水平位置と鉛直軸方向の回転量以外は一致しているため、鉛直上方から見ることで一致していない水平位置と鉛直軸方向の回転量だけを視認することが可能なためである。

Ｓ３０３においてユーザからの合致指示入力が検出されると、システム制御部１１０は、その時点の現実物体１０８の位置姿勢計測値と仮想物体２０２のシステム上の位置姿勢値との差分となるオフセット値を記録する（Ｓ３０７）。これにより、以降必要となる位置姿勢補正量が確定し、キャリブレーション処理が終了する。

以後、現実物体１０８の移動に追従して仮想物体２０２を描画する際、システム上の位置姿勢値を上述のオフセット値により補正した位置姿勢値を用いることにより、仮想物体２０２は現実物体１０８が移動したり姿勢を変えたりしても、常に現実物体１０８とぴったりと重なり合った状態でユーザに観察されるようになる。

以上説明したように、本実施形態によれば、可動平面が固定された現実物体と現実物体の可動平面上に位置するように描画した仮想物体とが所定の位置関係に観察されたことを示す指示があった時点における仮想物体の位置姿勢値と現実物体の位置姿勢値とのずれを取得し、現実物体と仮想物体との位置ずれを補正するための補正値として用いることにより、キャリブレーション処理を容易かつ精度良く行うことが可能になる。

あるいは、本実施形態によれば、可動平面が固定された現実物体と現実物体の可動平面上に位置するように描画した仮想物体とが所定の位置関係を満たした際の現実物体の位置姿勢と仮想物体の位置姿勢のずれを、現実物体の所定平面上の平行移動と所定平面に直交する方向を軸とした回転の組合わせにより表現した補正値を取得することにより、キャリブレーション処理を容易かつ精度良く行うことが可能になる。

＜他の実施形態＞
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の実施形態に係る複合現実感提示システムの構成例を示す図である。 本実施形態のシステムのキャリブレーションに用いる現実物体と仮想物体の例を示す図である。 本実施形態に係るシステムにおけるキャリブレーション処理を説明するためのフローチャートである。 本実施形態のシステムのキャリブレーション方法を説明する図である。

Claims (8)

1. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、
   前記現実物体の位置姿勢を計測する計測工程と、
   前記現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成工程と、
   前記現実物体を撮影した映像に、前記仮想物体の画像を重畳した合成画像を表示する表示工程と、
   前記合成画像における前記現実物体の位置姿勢と前記仮想物体の位置姿勢が所定の関係を満たしたことを検出する検出工程と、
   前記合致時の前記現実物体の位置姿勢と前記仮想物体の位置姿勢のずれを、前記現実物体の前記所定平面上の平行移動と前記所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、前記補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法。
2. 前記検出工程が、前記合成画像の観察者が入力する信号に基づいて、前記所定の関係を満たしたことを検出することを特徴とする請求項１記載のキャリブレーション方法。
3. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、
   予め定めた平面に沿った平行移動と前記平面に直交する方向を軸とした回転の組合わせにより移動可能な現実物体の位置と姿勢を計測する第１の計測工程と、
   前記現実物体を観察者が装着する頭部装着型表示装置に設けたカメラにより撮影する撮影工程と、
   前記カメラの位置姿勢を測定する第２の計測工程と、
   前記カメラの位置姿勢に基づいて、予め定めた仮想物体を、当該仮想物体が前記予め定めた平面上に存在するものとして前記観察者に観察されるように描画する仮想物体生成工程と、
   前記描画された仮想物体と前記カメラが撮影する画像とを合成して前記頭部装着型表示装置に表示させる合成表示工程と、
   観察者による、前記現実物体が前記仮想物体と所定の位置関係を満たして観察されることを示す指示を検出する検出工程と、
   前記指示が検出された時点における前記現実物体の位置姿勢と、前記仮想物体の位置姿勢のずれを前記補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法。
4. 前記予め定めた平面が水平面であり、前記平面に直交する方向が鉛直方向であることを特徴とする請求項３記載のキャリブレーション方法。
5. 前記仮想物体生成工程が、前記現実物体の位置姿勢に合わせて前記仮想物体を描画することを特徴とする請求項３又は請求項４記載のキャリブレーション方法。
6. 前記仮想物体生成工程が、前記取得した補正値を用いて補正した位置姿勢に前記仮想物体を描画することを特徴とする請求項３乃至請求項５のいずれか１項に記載のキャリブレーション方法。
7. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション装置であって、
   前記現実物体の位置姿勢を計測する計測手段と、
   前記現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成手段と、
   前記現実物体を撮影した映像に、前記仮想物体の画像を重畳した合成画像を表示する表示手段と、
   前記合成画像における前記現実物体の位置姿勢と前記仮想物体の位置姿勢の合致を検出する検出手段と、
   前記合致時の前記現実物体の位置姿勢と前記仮想物体の位置姿勢のずれを、前記現実物体の前記所定平面上の平行移動と前記所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、前記補正値として取得する取得手段とを有することを特徴とするキャリブレーション装置。
8. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション装置であって、
   予め定めた平面に沿った平行移動と前記平面に直交する方向を軸とした回転の組合わせにより移動可能な現実物体の位置と姿勢を計測する第１の計測手段と、
   前記現実物体を観察者が装着する頭部装着型表示装置に設けたカメラにより撮影する撮影手段と、
   前記カメラの位置姿勢を測定する第２の計測手段と、
   前記カメラの位置姿勢に基づいて、予め定めた仮想物体を、当該仮想物体が前記予め定めた平面上に存在するものとして前記観察者に観察されるように描画する仮想物体生成手段と、
   前記描画された仮想物体と前記カメラが撮影する画像とを合成して前記頭部装着型表示装置に表示させる合成表示手段と、
   観察者による、前記現実物体が前記仮想物体と所定の位置関係を満たして観察されることを示す指示を検出する検出手段と、
   前記指示が検出された時点における前記現実物体の位置姿勢と、前記仮想物体の位置姿勢のずれを前記補正値として取得する取得手段とを有することを特徴とするキャリブレーション装置。

Images