JPWO2013021458A1 - 複合現実感装置 - Google Patents

Abstract

複合現実感装置は、使用者の頭部に装着される装着部（１１０）と、現実環境の特定位置を検出する特定位置検出手段（１２０、２３１）と、現実環境に付加すべき付加情報を表示する表示部（１３０）とを有するヘッドマウントディスプレイ（１００）と、装着部の装着状態を検出する装着状態検出手段（１４０）と、特定位置検出手段の座標系から表示部の座標系への変換を行うための校正データの更新処理を、装着状態検出手段によって検出された装着状態に応じて行う更新処理手段（２１０、２２０）と、を備える。

Description

本発明は、例えば光学透過式の複合現実感装置の技術分野に関する。

現実環境に、例えばＣＧ（Computer Graphics）や文字等の情報を付加提示する複合現実感（ＭＲ：Mixed Reality）装置が知られている（例えば非特許文献１参照）。なお、複合現実感は、現実環境のもつ情報を増幅するという意味で、拡張現実感（ＡＲ：Augment Reality）と呼ばれる場合もある。

複合現実感装置には、ビデオ透過式（ビデオシースルー型）と光学透過式（光学シースルー型）とがある。ビデオ透過式の複合現実感装置は、例えば、ヘッドマウントディスプレイ（ＨＭＤ：Head Mount Display）に取り付けられたカメラで撮影した現実環境の画像にＣＧを合成した後、ＣＧが合成された画像をＨＭＤに表示する。他方、光学透過式の複合現実感装置は、例えば、ＨＭＤに取り付けられたカメラで撮影した画像に基づいて現実環境の特定位置（例えばマーカー位置）を検出し、この検出した特定位置に見えるようにＣＧをＨＭＤに表示することで、現実環境にＣＧを合成する（例えば非特許文献１参照）。

例えば非特許文献１には、光学透過式の複合現実感装置について、ＨＭＤにおける情報の表示位置の校正（キャリブレーション）に関する技術が開示されている。

なお、例えば特許文献１には、ＨＭＤの装着の有無を検出し、ＨＭＤの電源のオン（ＯＮ）／オフ（ＯＦＦ）を切り換える技術が開示されている。

特開２０００−２７８７１３号公報

「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」 加藤 博一，Mark Billinghurst，浅野 浩一，橘 啓八郎 バーチャルリアリティ学会論文誌 Vol.4（1999），pp.607-616

前述したような光学透過式の複合現実感装置では、ＨＭＤの装着状態が変化すると、現実環境の特定位置とＨＭＤにおける情報の表示位置との関係がずれてしまうおそれがあるという技術的問題点がある。このため、ＨＭＤの装着状態が変化すると、複合現実感を好適に実現することができなくなってしまうおそれがある。

本発明は、例えば前述した従来の問題点に鑑みなされたものであり、例えば複合現実感を好適に実現可能な複合現実感装置を提供することを課題とする。

本発明の複合現実感装置は上記課題を解決するために、使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、前記装着部の装着状態を検出する装着状態検出手段と、前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段とを備える。

本発明の作用及び他の利得は次に説明する実施形態から明らかにされる。

第１実施例に係る複合現実感装置の概略構成を示す外観図（その１）である。 第１実施例に係る複合現実感装置の概略構成を示す外観図（その２）である。 第１実施例に係る複合現実感装置の構成を示すブロック図である。 第１実施例に係るＤＢ制御部の構成を示すブロック図である。 第１実施例に係る校正部の構成を示すブロック図である。 第１実施例に係る変換行列算出部の構成を示すブロック図である。 第１実施例に係るレンダリング部の構成を示すブロック図である。 第１実施例に係る複合現実感装置の動作の流れを示すフローチャートである。 第１実施例に係る圧力分布連動校正処理の流れを示すフローチャートである。 光透過式の複合現実感装置における校正を説明するための図である。

本発明の複合現実感装置は上記課題を解決するために、使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、前記装着部の装着状態を検出する装着状態検出手段と、前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段と、を備える。

本発明の複合現実感装置は、ヘッドマウントディスプレイ（より具体的には、その装着部）が使用者の頭部に装着された状態で使用され、透過性を有する表示部に付加情報を表示することにより複合現実感を実現する光学透過式の複合現実感装置である。即ち、本発明の複合現実感装置によれば、その動作時には、特定位置検出手段によって現実環境の特定位置（即ち、現実環境における例えばマーカが配置された位置と姿勢（方向）や、特定形状の部分が存在する位置などの特定の位置と姿勢（方向））が検出される。特定位置検出手段は、例えば、カメラ等の撮像手段を含んでおり、撮像手段によって撮影された現実環境の画像に基づいて特定位置を検出する。なお、特定位置検出手段は、例えば、撮像手段に代えて或いは加えて、磁気センサー、超音波センサー、ジャイロ、加速度センサー、角速度センサー、ＧＰＳ（Global Positioning System）、無線通信装置等を含んでいてもよい。特定位置検出手段によって特定位置が特定されると、表示部における、検出された特定位置に応じた位置に例えばＣＧや文字等の付加情報が表示される。これにより、現実環境には存在しない付加情報が、現実環境にあたかも存在しているかのような複合現実感を実現することができる。

本発明では特に、特定位置検出手段の座標系から表示部の座標系への変換を行うための校正データの更新処理を、装着状態検出手段によって検出された装着状態に応じて行う更新処理手段を備える。

ここで、例えば、装着部の装着状態が変化して、使用者の眼と表示部との位置関係が変化すると、複合現実感を実現するために特定位置に対応させるべき表示位置が異なってしまう。このため、何らの対策も施さなければ、装着部の装着状態が変化すると、複合現実感を実現することが困難になってしまうおそれがある。

しかるに本発明では特に、前述したように、更新処理手段は、装着状態検出手段によって検出された装着状態に応じて校正データの更新処理を行う。装着状態検出手段は、例えば、ヘッドマウントディスプレイの装着部に設けられ、使用者の頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、この圧力分布センサーによって検出された圧力の分布に基づいて装着状態を検出する。本発明に係る「校正データの更新処理」とは、校正データの更新に関する処理であり、例えば、データベースに蓄積された校正データに基づいて校正データを更新する処理（即ち、校正データの自動更新処理）や、使用者に校正データを更新すべき旨を知らせる処理（即ち、再校正の促し処理）などを含む。

よって、例えば、装着部の装着状態が変化して、使用者の眼と表示部との位置関係が変化しても、校正データの更新処理（校正データの自動更新処理や再校正の促し処理）が行われることにより、複合現実感を好適に実現可能となる。

以上説明したように、本発明の複合現実感装置によれば、複合現実感を好適に実現することができる。

本発明の複合現実感装置の一態様では、前記装着状態検出手段は、前記装着部に設けられ、前記頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、前記圧力分布センサーによって検出された圧力の分布に基づいて前記装着状態を検出する。

この態様によれば、圧力分布センサーによって検出される圧力の分布に基づいて、ヘッドマウントディスプレイの装着部の装着状態を高精度に検出でき、校正データの更新処理を適時に行うことができる。よって、複合現実感をより好適に実現することができる。

なお、装着状態検出手段は、例えば、ヘッドマウントディスプレイに内向きに（即ち、使用者側に向かって）取り付けられたカメラ或いは距離センサを有し、このカメラによって撮影された映像或いは距離センサによって測定された距離に基づいて装着状態を検出してもよい。

本発明の複合現実感装置の他の態様では、前記装着状態検出手段は、前記装着部の動きを検出する動き検出手段を更に有し、前記圧力分布センサーによって検出された圧力の分布及び前記動き検出手段によって検出された動きに基づいて、前記装着状態を検出する。

この態様によれば、装着状態検出手段は、例えば、装着部の動き（例えば、装着部が動く速度や加速度或いは動く距離）を動き検出手段によって検出する。

ここで、例えば、ヘッドマウントディスプレイが加速度運動をしている時は力がかかるため、圧力の分布が静止時とは異なる。このため、ヘッドマウントディスプレイが加速度運動をしている時には、装着状態が変化したと誤検出されてしまうおそれがある。

しかるに、この態様によれば、圧力分布センサーによって検出された圧力の分布及び動き検出手段によって検出された動きに基づいて、装着状態を検出するので、装着状態の誤検出を防ぐことができる。

例えば、動き検出手段によって検出される加速度が大きいときには、装着状態検出手段は、装着状態が変化したと判定する基準となる閾値を高くする。これにより、加速運動により生じる圧力分布センサーの検出値（即ち、検出される圧力分布）の変動を、装着状態の変化であると誤検出することを防ぐことができる。

或いは、例えば、動き検出手段によって検出される加速度が、所定の加速度以上である場合には、装着状態検出手段による装着状態の検出が正しく行えないおそれがあるので、装着状態検出手段による装着状態の検出を止め、校正データの更新処理を行わないようにしてもよい。

本発明の複合現実感装置の他の態様では、前記校正データを蓄積する校正データ蓄積手段を更に備え、前記更新処理手段は、前記更新処理として、前記校正データ蓄積手段に蓄積された校正データに基づいて前記校正データを更新する処理を行う。

この態様によれば、校正データ蓄積手段に蓄積された校正データに基づいて校正データが更新されるので、校正データを更新するために使用者が行う作業を低減できるので、実践上大変便利である。

本発明の複合現実感装置の他の態様では、前記更新処理手段は、前記更新処理として、前記使用者に前記校正データを更新すべき旨を知らせる処理を行う。

この態様によれば、校正データを更新すべきことを使用者が知ることができる。よって、使用者の指示に応じて校正データが更新されることで、複合現実感をより好適に実現することができる。

以下、本発明の実施例について図を参照しつつ説明する。

＜第１実施例＞
第１実施例に係る複合現実感装置について、図１から図９を参照して説明する。

まず、本実施例に係る複合現実感装置の概略構成について、図１及び図２を参照して説明する。

図１及び図２は、本実施例に係る複合現実感装置の概略構成を示す外観図である。

図１において、本実施例に係る複合現実感装置１は、光学透過式の複合現実感装置であり、装着部１１０、撮像部１２０及び表示部１３０を有するヘッドマウントディスプレイ１００（以下、「ＨＭＤ１００」と適宜称する。）を備えている。使用者は、ＨＭＤ１００を装着した状態で複合現実感装置１を使用する。複合現実感装置１は、現実環境に設けられたマーカの位置に対応するように表示部１３０に、本発明に係る「付加情報」の一例としてのＣＧを表示させることで、複合現実感を実現する。なお、ＨＭＤ１００は、本発明に係る「ヘッドマウントディスプレイ」の一例である。

装着部１１０は、使用者の頭部に装着可能に構成された部材（眼鏡フレーム状の部材）であり、使用者の頭部を左右両側から挟むことが可能に構成されている。なお、装着部１１０は、本発明に係る「装着部」の一例である。

撮像部１２０は、カメラを含んでなり、使用者がＨＭＤ１００を装着した状態で使用者の前方の現実環境を撮影する。撮像部１２０は、左右に並んだ２つの表示部１３０の間に設けられている。なお、撮像部１２０は、後述するマーカ検出部２３１とともに、本発明に係る「特定位置検出手段」の一例を構成する。また、本実施例では、撮像部１２０によって撮影される画像に基づいて、マーカの位置を検出するが、カメラを含んでなる撮像部１２０に代えて、磁気センサー、超音波センサー、ジャイロ、加速度センサー、角速度センサー、ＧＰＳ、無線通信装置等によりマーカの位置を検出してもよい。

表示部１３０は、光透過性を有する表示装置であり、使用者の左右の眼にそれぞれ対応して１つずつ設けられている。使用者は、表示部１３０を介して現実環境を見るとともに、表示部１３０に表示されるＣＧを見ることで、現実環境には存在しないＣＧが、現実環境にあたかも存在しているかのように感じることができる。なお、表示部１３０は、本発明に係る「表示部」の一例である。表示部１３０は、装着部１１０と一体的に設けられているので、装着部１１０の装着状態が変化しても、表示部１３０と装着部１１０との間の位置関係は変化しない。

図２において、本実施例では特に、装着部１１０の使用者に接する部分に、圧力分布センサー１４０が設けられている。圧力分布センサー１４０は、使用者の頭部から装着部１１０に加えられる圧力の分布を検出するセンサーであり、検出した値を、図３を参照して後述するＤＢ制御部２１０に出力する。なお、圧力分布センサー１４０は、本発明に係る「装着状態検出手段」を構成する。使用者の頭部から装着部１１０に加えられる圧力の分布は、装着部１１０の装着状態によって異なる。よって、圧力分布センサー１４０の検出値は、装着部１１０の装着状態に相当する。

次に、複合現実感装置１のより詳細な構成について、図３から図７を参照して説明する。

図３は、複合現実感装置１の構成を示すブロック図である。

図３において、複合現実感装置１は、図１及び図２を参照して前述した撮像部１２０、表示部１３０及び圧力分布センサー１４０に加えて、ボタン１５０と、ＤＢ（データベース）制御部２１０と、校正部２２０と、変換行列算出部２３０と、レンダリング部２４０と、セレクタ（ＳＥＬ）２５０とを備えている。

ボタン１５０は、校正用のユーザーインターフェース（ＵＩ：User Interface）としてのボタンであり、表示部１３０におけるＣＧの表示位置を校正するための校正処理が行われる際、使用者が、表示部１３０に表示された校正用画像（例えば十字状の画像）と、現実環境のマーカとが一致して見える旨を示す一致信号を出力する。ボタン１５０から出力された一致信号は、後述する校正部２２０に入力される。なお、校正処理では、使用者は、表示部１３０に表示される校正用画像の位置と、現実環境のマーカの位置とが一致したときに、ボタン１５０を利用してその旨を校正部２２０に知らせる。

図４は、ＤＢ制御部２１０の構成を示すブロック図である。

図４において、ＤＢ制御部２１０は、圧力分布データベース２１１と、校正データデータベース２１２と、圧力分布比較部２１３と、ＤＢ書き込み制御部（ＤＢ ｗｒｉｔｅ 制御部）２１４とを有している。

圧力分布データベース２１１は、圧力分布センサー１４０によって検出された検出値（検出圧力）を状態番号（状態Ｎｏ．）に対応付けて記憶するデータベースである。圧力分布センサー１４０の検出値及び状態Ｎｏ．は、後述するＤＢ書き込み制御部２１４によって圧力分布データベース２１１に書き込まれる。圧力分布データベース２１１は、検出値及び状態Ｎｏ．を、使用者毎に区別して記憶する。即ち、圧力分布データベース２１１に記憶されるデータは、使用者毎に管理される。この点については、後述する校正データデータベース２１２についても同様である。このように圧力分布データベース２１１及び校正データベース２１１に記憶されるデータを使用者毎に管理することにより、使用者毎に適した校正処理を行うことが可能となる。なお、本実施例では、現在の圧力分布センサー１４０の検出値を検出値Ｐａと適宜称する。

校正データデータベース２１２は、本発明に係る「校正データ蓄積手段」の一例であり、校正部２２０によって算出された校正データを状態Ｎｏ．に対応付けて記憶するデータベースである。校正データデータベース２１１は、校正データ及び状態Ｎｏ．を、使用者毎に区別して記憶する。校正部２２０によって算出された校正データ及び状態Ｎｏ．は、後述するＤＢ書き込み制御部２１４によって校正データデータベース２１２に書き込まれる。なお、本実施例では、校正部２２０によって算出された校正データを校正データＭａと称する。

圧力分布比較部２１３は、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値とを比較し、これらが一致するか否かを判定する。圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値のなかに、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値がある場合には、その一致した検出値に対応付けられている状態Ｎｏ．を校正データデータベース２１２に出力する。また、圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値のなかに、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値がない場合には、校正処理を開始すべき旨を示す校正開始トリガを校正部２２０に出力する。また、圧力分布比較部２１３は、現在の圧力分布センサー１４０の検出値ＰａをＤＢ書き込み制御部２１４に出力する。

圧力分布比較部２１３は、以下の式（１）を用いて値Ｑを算出し、この値Ｑに基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致しているか否かを判定する。式（１）において、ｘ_ｉは、現在の圧力分布センサー１４０の検出値であり、ｙ_ｉは、圧力分布データベース２１１に記憶されている検出値である。

圧力分布比較部２１３は、値Ｑが所定の閾値以下である場合、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致していると判定する。なお、値Ｑは、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との間の距離に相当する。

なお、本実施例では、値Ｑに基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致しているか否かを判定する例を挙げたが、一致するか否かの判定方法は、特に限定されるものではなく、例えば、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との相関性（圧力分布の類似性）を示す相関係数に基づいて一致するか否かを判定してもよい。この場合、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値との絶対値が異なるときにも、これらが一致すると判定し、装着部１１０の装着状態が同じであると判定することができる。また、圧力分布センサー１４０の検出値をコード化（或いは量子化）してもよい。この場合には、コード化された検出値に基づいて、現在の圧力分布センサー１４０の検出値と、圧力分布データベース２１１に記憶されている検出値とが一致するか否かを判定することで、該判定処理の高速化を図ることができる。

ＤＢ書き込み制御部２１４は、校正部２２０から演算終了信号が入力されたら、現在の圧力分布センサー１４０の検出値Ｐａを圧力分布データベース２１１に書き込むとともに、校正部２２０によって算出された校正データＭａを校正データデータベース２１２に書き込む。この際、ＤＢ書き込み制御部２１４は、検出値Ｐａ及び校正データＭａを、状態Ｎｏ．と対応付けて、それぞれ圧力分布データベース２１１及び校正データデータベース２１２に書き込む。

即ち、本実施例では、現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されていない場合には、状態Ｎｏ．が付されて圧力分布データベース２１１に追加されるとともに、圧力分布センサー１４０の検出値が検出値Ｐａであるときに校正部２２０によって算出された校正データＭａ（言い換えれば、圧力分布センサー１４０の検出値が検出値Ｐａであるときに校正処理が行われることで決定された校正データＭａ）が、状態Ｎｏ．に対応付けて（言い換えれば検出値Ｐａに対応付けて）校正データデータベース２１２に追加される。

図５は、校正部２２０の構成を示すブロック図である。

図５において、校正部２２０は、前述したＤＢ制御部２１０（より具体的には、圧力分布比較部２１３）から校正開始トリガが入力された場合に、校正処理を行うことにより、校正データを算出する。校正部２２０は、校正制御部２２１と、校正用座標生成部２２２と、校正用表示生成部２２３と、校正用マーカ位置検出部２２４と、データ蓄積部２２５と、校正データ算出部２２６とを有している。

校正制御部２２１は、校正処理を制御する。具体的には、校正制御部２２１は、校正用座標生成部２２２、校正用マーカ位置検出部２２４及び校正データ算出部２２６の動作を制御する。校正制御部２２１は、ＤＢ制御部２１０から校正開始トリガが入力されると校正処理を開始する。例えば、校正制御部２２１は、ＤＢ制御部２１０から校正開始トリガが入力されと、ボタン１５０からの一致信号に応じて、表示更新信号を校正用座標生成部２２２に出力するとともに、データ追加トリガをデータ蓄積部２２５に出力する。校正制御部２２１は、ボタン１５０からの一致信号が既定回数入力された場合に、演算トリガを校正データ算出部２２６に出力するとともに、モード切替信号をセレクタ２５０に出力する。後述するように、校正データ算出部２２６は、演算トリガが入力されると、校正データＭａを算出する。また、セレクタ２５０は、モード切替信号が入力されると、表示部１３０に出力するデータを校正用画像データと表示データとで切り替えるモード切替を行う。ここで、校正処理では、使用者が、校正用のマーカが設けられた校正板を、校正用のマーカが、表示部１３０に表示された校正用画像（例えば十字状の画像）に一致するように移動させ、一致したときにボタン１５０によって一致信号を出力させる。なお、校正処理では、校正板を動かしてもよいし、ＨＭＤ１００を動かしてもよい。また、校正処理は、特に限定されるものではなく、例えば、現実環境における四角形等の２次元形状の物体と、表示部１３０における四角形等の２次元表示とが一致するように校正してもよいし、現実環境における３次元物体と、表示部１３０における２次元表示とが一致するように校正してもよい。また、校正処理は、校正用のマーカが設けられた校正板を固定するとともに、表示部１３０に表示させる校正用画像の位置、サイズ、姿勢などを変更して、校正用のマーカと校正用画像との一致を検出することで行ってもよい。

校正用座標生成部２２２は、校正制御部２２１から表示更新信号が入力された場合に、表示部１３０における校正用画像を表示すべき座標（Ｘｄ、Ｙｄ）を生成する。校正用座標生成部２２２は、生成した座標（Ｘｄ，Ｙｄ）を校正用表示生成部２２３及びデータ蓄積部２２５に出力する。

校正用表示生成部２２３は、校正用座標生成部２２２が生成した座標（Ｘｄ、Ｙｄ）に表示すべき校正用画像（例えば十字状の画像）の画像データ（以下、「校正用画像データ」と適宜称する）を生成する。校正用表示生成部２２３は、生成して校正用画像データをセレクタ２５０（図３参照）に出力する。

校正用マーカ位置検出部２２４は、撮像部１２０によって撮像された画像から校正用のマーカの位置を検出する。具体的には、校正用マーカ位置検出部２２４は、撮像部１２０から入力される画像データに基づいて、校正用のマーカの位置を示す座標（Ｘｃ、Ｙｃ、Ｚｃ）を特定し、特定した座標（Ｘｃ、Ｙｃ、Ｚｃ）をデータ蓄積部２２５に出力する。

データ蓄積部２２５は、校正制御部２２１からデータ追加トリガが入力されたときに、校正用座標生成部２２２から入力される座標（Ｘｄ、Ｙｄ）と、校正用マーカ位置検出部２２４から入力される座標（Ｘｃ、Ｙｃ、Ｚｃ）とを対応付けて記憶する。データ蓄積部２２５は、表示部１３０の座標系を基準としたマーカの位置座標である座標（Ｘｄ、Ｙｄ）と、撮像部１２０の座標系を基準としたマーカの位置座標である座標（Ｘｃ、Ｙｃ、Ｚｃ）とを対応付けたデータリストを生成して保持する。

校正データ算出部２２６は、校正制御部２２１から演算トリガが入力されると、データ蓄積部２２５に格納されている座標（Ｘｄ、Ｙｄ）及び座標（Ｘｃ、Ｙｃ、Ｚｃ）に基づいて、校正データＭａを算出する。ここで、校正データＭａは、撮像部１２０の座標系と表示部１３０の座標系との関係を校正するためのデータである。図７を参照して後述するレンダリング部２４０（より具体的には、撮像ｔｏ表示変換部２４３）は、校正データＭａに基づいて、表示データ（ＣＧデータ）を撮像部１２０の座標系から表示部１３０の座標系に変換する（座標変換及び投影変換）。校正データ算出部２２６は、校正データＭａを算出し終えると、その旨を示す演算終了信号を校正制御部２２１に出力する。

図６は、変換行列算出部２３０の構成を示すブロック図である。

図６において、変換行列算出部２３０は、マーカ検出部２３１と、Ｒｍｃ算出部２３２とを有している。

マーカ検出部２３１は、撮像部１２０によって撮像された画像中のマーカの位置及びサイズを検出する。

Ｒｍｃ算出部２３２は、マーカ検出部２３１によって検出されたマーカの位置及びサイズに基づいて、マーカの座標系から撮像部１２０の座標系へ変換する変換行列Ｒｍｃを算出する。Ｒｍｃ算出部２３２は、算出した変換行列Ｒｍｃをレンダリング部２４０に出力する。変換行列Ｒｍｃが更新されることで、マーカに追従するようにＣＧが表示部１３０に表示される。

図７は、レンダリング部２４０の構成を示すブロック図である。

図７において、レンダリング部２４０は、表示部１３０に表示すべきＣＧについてのレンダリングを行う。レンダリング部２４０は、ＣＧデータ格納部２４１と、マーカｔｏ撮像座標変換部２４２と、撮像ｔｏ表示変換部２４３とを有している。

ＣＧデータ格納部２４１は、表示部１３０に表示すべきＣＧのデータ（ＣＧデータ）が格納された記憶手段である。ＣＧデータ格納部２４１にはＣＧデータがマーカの座標系で格納されている。なお、ＣＧデータ格納部２４１に格納されているＣＧデータは、３次元（３Ｄ）データである。以下では、ＣＧデータ格納部２４１に格納されているＣＧデータを、「マーカ座標系データ」と適宜称する。

マーカｔｏ撮像座標変換部２４２は、変換行列算出部２３０から入力される変換行列Ｒｍｃに基づいて、ＣＧデータ格納部２４１に格納されているＣＧデータをマーカの座標系から撮像部１２０の座標系へ変換する。以下では、マーカｔｏ撮像座標変換部２４２によって変換された後の撮像部１２０の座標系を基準とするＣＧデータを、「撮像座標系データ」と適宜称する。

撮像ｔｏ表示変換部２４３は、校正データデータベース２１２から入力される校正データＭｘに基づいて、マーカｔｏ撮像座標変換部２４２から入力される撮像座標系データを表示データに変換する（座標変換及び投影変換）。なお、表示データは、表示部１２０の座標系を基準とする２次元（２Ｄ）データである。撮像ｔｏ表示変換部２４３は、表示データをセレクタ２５０（図３参照）に出力する。

図３において、セレクタ２５０は、校正部２２０から入力される校正用画像データと、レンダリング部２４０から入力される表示データとを選択的に表示部１３０に出力する。セレクタ２５０は、校正処理が行われるときには、校正用画像データを表示部１３０に出力し、表示部１３０にＣＧが表示されるべきときには、表示データを表示部１３０に出力する。なお、表示部１３０は、校正用画像データに基づいて校正用画像（例えば十字状の画像）を表示し、表示データに基づいてＣＧを表示する。

次に、複合現実感装置１の動作について、図８及び図９を参照して説明する。

図８は、複合現実感装置１の動作の流れを示すフローチャートである。

図８において、まず、撮像部１２０によって現実環境の画像が取得される（ステップＳ１０）。即ち、複合現実感装置１は、撮像部１２０によって現実環境を撮影することにより、現実環境の画像を取得する。

次に、変換行列算出部２３０によって、マーカが検出され、変換行列Ｒｍｃが算出される（ステップＳ２０）。即ち、変換行列算出部２３０のマーカ検出部２３１が、撮像部１２０によって取得された現実環境の画像に基づいて、現実環境に設けられたマーカの位置、姿勢（方向）及びサイズを検出し、この検出されたマーカの位置、姿勢（方向）及びサイズに基づいて、変換行列算出部２３０のＲｍｃ算出部２３２が変換行列Ｒｍｃを算出する。

次に、圧力分布連動校正処理が行われる（ステップＳ３０）。

図９は、圧力分布連動校正処理の流れを示すフローチャートである。

図９において、圧力分布連動校正処理では、まず、現在の圧力分布センサー１４０（図２及び図３参照）の検出値Ｐａが圧力分布比較部２１３（図４参照）によって取得される（ステップＳ３１０）。

次に、取得された検出値Ｐａと、現在使用中の校正データＭｘが算出されたときの圧力分布センサー１４０の検出値Ｐｘとが圧力分布比較部２１３によって比較される（ステップＳ３２０）。

次に、現在の圧力分布センサー１４０の検出値Ｐａと、現在使用中の校正データＭｘが算出されたときの圧力分布センサー１４０の検出値Ｐｘとが一致するか否かが圧力分布比較部２１３によって判定される（ステップＳ３３０）。

検出値Ｐａと検出値Ｐｘとが一致すると判定された場合には（ステップＳ３３０：Ｙｅｓ）、校正データＭｘ及び検出値Ｐｘが保持される（ステップＳ３７５）。ここで、検出値Ｐａと検出値Ｐｘとが一致する場合には、ＨＭＤ１００（より具体的には、その装着部１１０）の装着状態は、校正データＭｘが算出されたときと現在とでほとんど或いは全く同じであり、使用者の眼と表示部１３０との位置関係はほとんど或いは全く変化していないので、現在使用中の校正データＭｘに基づいて撮像ｔｏ表示変換部２４３（図７参照）によって撮像座標系データを表示データに変換することで、複合現実感を好適に実現することができる。

検出値Ｐａと検出値Ｐｘとが一致しないと判定された場合には（ステップＳ３３０：Ｎｏ）、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値Ｐｎｉとが圧力分布比較部２１３によって比較される（ステップＳ３４０）。

次に、現在の圧力分布センサー１４０の検出値Ｐａと、圧力分布データベース２１１に記憶されている検出値Ｐｎｉとが一致するか否かが圧力分布比較部２１３によって判定される（ステップＳ３５０）。言い換えれば、圧力分布比較部２１３は、圧力分布データベース２１１に記憶されている検出値Ｐｎｉのなかに、現在の圧力分布センサー１４０の検出値Ｐａと一致する検出値Ｐｎｉがあるか否かを判定する。

検出値Ｐａと検出値Ｐｎｉとが一致すると判定された場合には（ステップＳ３５０：Ｙｅｓ）、現在使用中の校正データＭｘが、検出値Ｐｎｉに対応する校正データＭｎｉに変更されるとともに、検出値Ｐｘが検出値Ｐｎｉに変更される。ここで、校正データＭｎｉは、圧力分布センサー１４０の検出値が検出値Ｐｎｉであるときに校正部２２０によって算出された校正データであり、検出値Ｐｎｉと同じ状態Ｎｏ．に対応付けられて校正データデータベース２１２に記憶されている。検出値Ｐａと検出値Ｐｎｉとが一致する場合には、ＨＭＤ１００（より具体的には、その装着部１１０）の装着状態は、校正データＭｎｉが算出されたときと現在とでほとんど或いは全く同じであり、使用者の眼と表示部１３０との位置関係はほとんど或いは全く同じであるので、校正データＭｎｉに基づいて撮像ｔｏ表示変換部２４３（図７参照）によって撮像座標系データを表示データに変換することで、複合現実感を好適に実現することができる。

検出値Ｐａと検出値Ｐｎｉとが一致しないと判定された場合には（ステップＳ３５０：Ｎｏ）、校正処理が行われ、校正データＭａが取得される（ステップＳ３６０）。即ち、この場合（ステップＳ３５０：Ｎｏ）、校正部２２０によって校正処理が行われ、新たな校正データＭａが算出される。

次に、校正データＭａが校正データデータベース２１２に追加されるとともに、検出値Ｐａが圧力分布データベース２１１に追加される（ステップＳ３７０）。即ち、校正部２２０の校正データ算出部２２６（図５参照）によって新たに算出された校正データＭａは、ＤＢ制御部２１０のＤＢ書き込み制御部２１４に入力され、ＤＢ書き込み制御部２１４によって校正データデータベース２１２に書き込まれる。この際、現在の圧力分布センサー１４０の検出値ＰａがＤＢ書き込み制御部２１４によって圧力分布データベース２１１に書き込まれる。即ち、本実施例では、現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が圧力分布データベース２１１に記憶されていない場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される。

次に、現在使用中の校正データＭｘが、現在の圧力分布センサー１４０の検出値Ｐａに対応する新たな校正データＭａに変更されるとともに、検出値Ｐｘが検出値Ｐａに変更される（ステップＳ３８０）。

このように、圧力分布連動校正処理では、（i）現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致する場合には、校正データはそのまま維持され、（ii）現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されている検出値Ｐｎｉに一致する場合には、校正データは、検出値Ｐｎｉに対応する校正データＭｎｉに変更され、（iii）現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致せず、かつ、圧力分布データベース２１１に現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が無い場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される。

図８において、圧力分布連動校正処理の後には、表示部１３０に表示すべきＣＧの表示データを生成する描画処理が行われる（ステップＳ４０）。描画処理では、まず、ＣＧデータ格納部２４１に格納されているマーカ座標系データが、マーカｔｏ撮像座標変換部２４２によって変換行列Ｒｍｃに基づいて撮像座標系データに変換される。次に、撮像座標系データが、撮像ｔｏ表示変換部２４３によって校正データＭｘに基づいて表示データに変換される。このように生成された表示データは、セレクタ２５０（図３参照）を介して表示部１３０に入力される。

次に、表示データに基づくＣＧが表示部１３０に表示される（ステップＳ５０）。

次に、表示部１３０におけるＣＧの表示を終了するか否かが判定される（ステップＳ６０）。

終了すると判定された場合には（ステップＳ６０：Ｙｅｓ）、ＣＧの表示が終了される。

終了しないと判定された場合には（ステップＳ６０：Ｎｏ）、再びステップＳ１０に係る処理が行われる。

なお、本実施例では、ステップＳ１０からＳ６０までの処理が連続して行われる例を挙げているが、圧力分布連動校正処理（ステップＳ３０）は、他の処理と並行して行われてもよい。

本実施例では特に、前述したように、現在の圧力分布センサー１４０の検出値Ｐａが圧力分布データベース２１１に記憶されている検出値Ｐｎｉに一致する場合には、校正データＭｘを、検出値Ｐｎｉに対応する校正データＭｎｉに変更する（ステップＳ３８５）。よって、新たに校正処理を行うことなく、撮像ｔｏ表示変換部２４３によって、現在のＨＭＤ１００の装着状態に適した校正データＭｎｉに基づいて撮像座標系データを表示データに変換することができる。したがって、校正処理に必要な時間や使用者の作業を無くすことができるとともに、複合現実感を好適に実現することができる。

更に、本実施例では特に、前述したように、現在の圧力分布センサー１４０の検出値Ｐａが現在使用中の校正データＭｘに対応する検出値Ｐｘに一致せず、かつ、圧力分布データベース２１１に現在の圧力分布センサー１４０の検出値Ｐａに一致する検出値が無い場合には、新たに校正処理が行われることにより新たな校正データＭａが算出されるとともに、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加される（ステップＳ３６０、Ｓ３７０及びＳ３８０）。よって、現在のＨＭＤ１００の装着状態が、現在使用中の校正データＭｘが算出されたときのＨＭＤ１００の装着状態と異なっていることを検出でき、新たな校正処理を確実に行うことができる。したがって、新たな校正処理によって適切な校正データＭａを算出できるので、複合現実感を好適に実現することができる。更に、検出値Ｐａ及び校正データＭａがそれぞれ圧力分布データベース２１１及び校正データデータベース２１２に追加されるので、その後、圧力分布センサー１４０の検出値が検出値Ｐａに一致した場合には、この検出値Ｐａに対応する校正データＭａに基づいて撮像ｔｏ表示変換部２４３によって撮像座標系データを表示データに変換されることにより、校正処理を行うことなく、複合現実感を好適に実現することができる。

なお、一変形例として、図９において、検出値Ｐａと検出値Ｐｎｉとが一致しないと判定された場合には（ステップＳ３５０：Ｎｏ）、ステップＳ３６０に係る処理（即ち、校正処理）に代えて、使用者に校正データを更新すべき旨を知らせる処理を行ってもよい。この場合には、校正データを更新すべきことを使用者が知ることができる。よって、使用者の指示に応じて校正処理が行われ、校正データが更新されることで、複合現実感を好適に実現することができる。

また、他の変形例として、圧力分布センサー１４０に加えて、加速度センサーあるいはジャイロセンサーを含んでなる、装着部１１０の動きを検出する動き検出手段を設けてもよい。例えば、動き検出手段によって検出される加速度が大きいときには、装着部１００の装着状態が変化したと判定する基準となる圧力の閾値を高くしてもよい。これにより、加速運動により生じる圧力分布センサー１４０の検出値（即ち、検出される圧力分布）の変動を、装着部１００の装着状態の変化であると誤検出することを防ぐことができる。

或いは、例えば、動き検出手段によって検出される加速度が、所定の加速度以上である場合には、装着部１１０の装着状態の検出が正しく行えないおそれがあるので、装着部１１０の装着状態の検出を止め、校正データの更新処理を行わないようにしてもよい。

次に、光学透過式の複合現実感装置である複合現実感装置１における校正について図１０を参照して説明を加える。

図１０は、複合現実感装置１における校正を説明するための図である。

図１０（ａ）において、撮像部１２０及び表示部１３０を有するヘッドマウントディスプレイ１００では、使用者の眼９１０の位置と撮像部１２０の位置とが互いに異なるため、撮像部１２０によって取得される画像と、使用者の眼９１０に映る画像とは互いに異なる。例えば、使用者の眼９１０と、撮像部１２０と、現実環境に設けられたマーカ７００とが図１０（ａ）に示すような位置関係にある場合、撮像部１２０によって取得される画像Ｐ１（図１０（ｂ）参照）では、マーカ７００は当該画像における左側に位置し、使用者の眼９１０に映る画像Ｐ３（図１０（ｃ）参照）では、マーカ７００は当該画像における右側に位置することになる。なお、マーカ７００は、現実環境の物体１１００に設けられている。

ここで、撮像部１２０によって取得される画像Ｐ１に基づいて、マーカ７００の位置を検出し、画像Ｐ１における検出した位置にＣＧ６００を合成することで、ＣＧ６００とマーカ７００との位置が一致した画像Ｐ２を生成することができる。複合現実感装置１のように、光学透過式の複合現実感装置では、使用者の眼９１０の位置と撮像部１２０の位置との差異に応じて、校正を行う必要がある。校正が行われない場合、図１０（ｃ）の画像Ｐ４のように、表示部１３０にＣＧ６００を表示させたときに、マーカ７００とＣＧ６００との位置と姿勢（方向）がずれてしまうおそれがある。しかるに、校正（本実施例では、校正データに基づく撮像座標系データの表示データへの変換）が行われることにより、図１０（ｃ）の画像Ｐ５のように、ＣＧ６００とマーカ７００との位置と姿勢（方向）を一致させることができる。

以上説明したように、本実施例に係る複合現実感装置１によれば、圧力分布センサー１４０の検出値に基づいて、ＨＭＤ１００の装着状態を検出し、検出された装着状態に応じて校正データの更新を行うので、複合現実感を好適に実現することができる。

本発明は、前述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う複合現実感装置もまた本発明の技術的範囲に含まれるものである。

１ 複合現実感装置
１００ ヘッドマウントディスプレイ（ＨＭＤ）
１１０ 装着部
１２０ 撮像部
１３０ 表示部
１４０ 圧力分布センサー
１５０ ボタン
２１０ ＤＢ制御部
２１１ 圧力分布データベース
２１２ 校正データデータベース
２１３ 圧力分布比較部
２１４ ＤＢ書き込み制御部
２２０ 校正部
２２１ 校正制御部
２２２ 校正用座標生成部
２２３ 校正用表示生成部
２２４ 校正用マーカ位置検出部
２２５ データ蓄積部
２２６ 校正データ算出部
２３０ 変換行列算出部
２４０ レンダリング部
２５０ セレクタ

この態様によれば、校正データを更新すべきことを使用者が知ることができる。よって、使用者の指示に応じて校正データが更新されることで、複合現実感をより好適に実現することができる。
本発明の複合現実感装置の他の態様では、前記装着状態検出手段は、前記装着部に設けられ、前記装着部と前記頭部との距離を検出する距離検出手段を有し、前記距離検出手段によって検出された前記装着部と前記頭部との距離に基づいて前記装着状態を検出する。
上述の如く、距離検出手段を有する態様では、前記距離検出手段は、前記頭部に向けて配置されたカメラ又は距離センサーであってもよい。

Claims (5)

1. 使用者の頭部に装着される装着部と、現実環境の特定位置を検出する特定位置検出手段と、前記現実環境に付加すべき付加情報を表示する表示部とを有するヘッドマウントディスプレイと、
   前記装着部の装着状態を検出する装着状態検出手段と、
   前記特定位置検出手段の座標系から前記表示部の座標系への変換を行うための校正データの更新処理を、前記装着状態検出手段によって検出された装着状態に応じて行う更新処理手段と、
   を備えたことを特徴とする複合現実感装置。
2. 前記装着状態検出手段は、前記装着部に設けられ、前記頭部から加えられる圧力の分布を検出する圧力分布センサーを有し、前記圧力分布センサーによって検出された圧力の分布に基づいて前記装着状態を検出することを特徴とする請求項１に記載の複合現実感装置。
3. 前記装着状態検出手段は、前記装着部の動きを検出する動き検出手段を更に有し、前記圧力分布センサーによって検出された圧力の分布及び前記動き検出手段によって検出された動きに基づいて、前記装着状態を検出することを特徴とする請求項２に記載の複合現実感装置。
4. 前記校正データを蓄積する校正データ蓄積手段を更に備え、
   前記更新処理手段は、前記更新処理として、前記校正データ蓄積手段に蓄積された校正データに基づいて前記校正データを更新する処理を行う
   ことを特徴とする請求項１に記載の複合現実感装置。
5. 前記更新処理手段は、前記更新処理として、前記使用者に前記校正データを更新すべき旨を知らせる処理を行うことを特徴とする請求項１に記載の複合現実感装置。

Images