JP5923603B2 - 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 - Google Patents

Description

本発明は、現実環境に対して情報を付加提示する技術分野に関する。

従来から、ヘッドマウントディスプレイなどの光学透過可能な表示装置を用いて、ＣＧ（Computer Graphics）や文字等の付加情報を、現実環境に対して付加提示する拡張現実感（ＡＲ：Augment Reality）に関する技術が提案されている。また、このような光学透過可能な表示装置を用いたＡＲ（以下では適宜「光学透過式ＡＲ」と呼ぶ。）に関して、ユーザの視点から見た現実像の位置と情報の表示位置とのずれを補正するために校正を行う技術が提案されている。

例えば、非特許文献１には、現実環境上のマーカの位置とディスプレイの表示位置とをユーザが合わせて、その際の情報に基づいて校正を行う技術が記載されている。また、特許文献１には、ユーザ毎に校正を行うのではなく、以前校正を行った際の眼球の位置と現在の眼球の位置とのずれを告知することで、再校正せずに合成位置のずれを無くすことが記載されている。

また、特許文献２には、光学透過型ヘッドマウントディスプレイと外界撮影用のカメラと視線検出手段とを有する装置に関して、ユーザの視線の動きにより外界撮影用カメラ内の特定の範囲を選択し、その選択範囲をカメラから画像情報として取り込んで処理する技術が記載されている。この技術では、例えば、英文を朗読中に、視線による指定領域を画像処理し、判読、翻訳してデータを表示している。また、特許文献３には、医用ディスプレイ装置に関して、瞳孔位置を正確に検出して、その瞳孔の位置に応じて表示の位置を補正することが記載されている。

特開２００６−１３３６８８号公報 特開２０００−１５２１２５号公報 特開２００８−１８０１５号公報

加藤博一，Mark Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"，日本バーチャルリアリティ学会論文誌，Vol.4，No.4，pp.607-616，1999

非特許文献１に記載された技術では、マーカを用いる必要があり、屋外の使用においてもユーザは校正のためにマーカを所持している必要があった。

他方で、特許文献１に記載の技術は、眼の位置を自由に変更可能な構成が必要であり、さらには、カメラや表示装置の設定や位置の変更をしたい場合には適用できなかった。また、特許文献２に記載の技術では、校正を行っていないため、所望の位置から表示の位置がずれる可能性があった。また、特許文献３に記載の技術は、カメラや表示装置の設定や位置の変更をしたい場合には適用できなかった。

ところで、非特許文献１及び特許文献１乃至３には、現実環境に存在する自然特徴点に基づいて校正を行うことについては記載されていない。

本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、自然特徴点に基づいて適切に校正を行うことが可能な表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体を提供することを課題とする。

請求項１に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置は、前記現実環境の特定位置を検出する位置検出手段と、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段と、前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段と、を備え、前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

請求項１２に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイは、前記現実環境の特定位置を検出する位置検出手段と、前記現実環境の特定位置と前記ヘッドマウントディスプレイの特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記ヘッドマウントディスプレイの第２座標系へ変換をするための校正データを算出する校正手段と、前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段と、を備え、前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

請求項１３に記載の発明では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法は、前記現実環境の特定位置を検出する位置検出工程と、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出工程にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正工程と、前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定工程と、を備え、前記判定工程によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出工程にて検出することで、前記校正工程における前記現実環境の特定位置を特定する。

請求項１４に記載の発明では、コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムは、前記コンピュータを、前記現実環境の特定位置を検出する位置検出手段、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段、前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段、として機能させ、前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段にて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

請求項１６に記載の発明では、ユーザが視認する現実環境に対し付加情報を表示する光学透過式の表示装置は、前記現実環境の特定位置を検出する検出手段と、前記現実環境を撮影装置で撮影した撮影画像を解析して、校正データの算出に適した特徴点を判定する判定手段と、前記特徴点の位置を前記検出手段により検出することで、前記特定位置における前記検出手段の座標系から前記表示装置の座標系へ変換するための前記校正データを算出する校正手段と、を備える。

ＨＭＤの概略構成を示す外観図である。 ＨＭＤの内部構造を概略的に示す図である。 校正を行う理由を説明するための図を示す。 本実施例に係る制御部の構成を示すブロック図である。 ＨＭＤの全体処理を示すフローチャートである。 本実施例に係る校正処理を示すフローチャートである。

本発明の１つの観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置は、前記現実環境の特定位置を検出する位置検出手段と、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段と、前記現実環境を撮影装置で撮影した撮影画像に基づいて、前記現実環境に存在する自然特徴点において、前記校正データの算出に適した自然特徴点を判定する判定手段と、を備え、前記判定手段によって判定された前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

上記の表示装置は、光学透過式ＡＲを実現可能に構成され、ユーザが視認する現実環境に対して付加情報を表示する。位置検出手段は、現実環境の特定位置を検出する。校正手段は、現実環境の特定位置と表示装置の特定位置との対応を取得することで、現実環境の特定位置における位置検出手段の第１座標系から表示装置の第２座標系へ変換をするための校正データを算出する。判定手段は、現実環境を撮影装置で撮影した撮影画像に基づいて、現実環境に存在する自然特徴点において、校正データの算出に適した自然特徴点を判定する。そして、表示装置は、判定手段によって判定された自然特徴点の位置を、位置検出手段を用いて検出することで、校正手段における前記現実環境の特定位置を特定する。上記の表示装置によれば、現実環境に存在する自然特徴点を用いて、表示装置の校正を適切に行うことができる。具体的には、マーカなどの人工特徴点が存在しないような環境においても適切に校正を行うことができる。

上記の表示装置の一態様では、前記判定手段によって判定された前記自然特徴点をユーザに提示する提示手段を更に備える。好適には、前記提示手段は、前記自然特徴点が含まれる現実環境の撮影画像に応じた画像を表示させる。これにより、対象としている自然特徴点をユーザに適切に把握させることができる。

上記の表示装置の他の一態様では、前記判定手段は、前記撮影画像に基づいて、前記撮影装置の撮影方向について、前記自然特徴点が含まれる最適な撮影方向を判定し、前記位置検出手段は、前記最適な撮影方向に含まれる前記自然特徴点の位置を検出し、前記第１座標系は、前記撮影装置の座標系である。

上記の表示装置において好適には、前記判定手段は、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在する撮影方向を、前記最適な撮影方向と判定する。このような撮影方向を用いることで、自然特徴点の位置を適切に検出し、校正データを精度良く算出することが可能となる。

上記の表示装置の他の一態様では、前記ユーザが前記自然特徴点に視線を向けている際の視線方向を検出する視線方向検出手段を更に備え、前記校正手段は、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記校正データを算出する。

上記の表示装置によれば、視線方向に基づいて校正を行うため、校正時にユーザは自然特徴点に視線を向けるといった作業を行うだけで良い。このような作業は、非特許文献１に記載されたような、表示装置やマーカを移動させて十字表示とマーカとの位置を合わせる作業よりも、校正時のユーザの負担は小さいと言える、つまり手間や時間がかからないと言える。また、表示装置が両眼用の場合、視線方向検出手段を左右それぞれに設けることで、左右の眼について同時に校正を行うことが可能となる。以上より、上記の表示装置によれば、校正時のユーザの負担を効果的に軽減することができる。

上記の表示装置の他の一態様では、前記視線方向検出手段は、前記ユーザが注視したことを入力するための入力手段を操作した際に、前記視線方向を検出する。この態様では、ユーザは、ボタンなどの入力手段を操作することで注視していることを知らせる。これにより、ユーザが自然特徴点を注視している際の視線方向を適切に検出することができる。

上記の表示装置の他の一態様では、前記視線方向検出手段は、前記ユーザが注視動作を所定時間行った際に、前記視線方向を検出する。これにより、ボタンなどを操作して注視を知らせる場合と比較して、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

上記の表示装置の他の一態様では、前記視線方向検出手段は、前記ユーザが瞬きを行った際に、前記視線方向を検出する。これによっても、ボタンなどを操作して注視を知らせる場合と比較して、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

好適な例では、前記視線方向検出手段は、前記視線方向と前記表示装置による表示面との交点に当たる、前記第２座標系での座標を求め、前記校正手段は、前記視線方向検出手段によって求められた前記座標と前記位置検出手段が検出した前記位置とに基づいて、前記校正データを算出する。

本発明の他の観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイは、前記現実環境の特定位置を検出する位置検出手段と、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段と、前記現実環境を撮影装置で撮影した撮影画像に基づいて、前記現実環境に存在する自然特徴点において、前記校正データの算出に適した自然特徴点を判定する判定手段と、を備え、前記判定手段によって判定された前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

本発明の更に他の観点では、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法は、前記現実環境の特定位置を検出する位置検出工程と、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出工程にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正工程と、前記現実環境を撮影装置で撮影した撮影画像に基づいて、前記現実環境に存在する自然特徴点において、前記校正データの算出に適した自然特徴点を判定する判定工程と、を備え、前記判定工程によって判定された前記自然特徴点の位置を、前記位置検出工程にて検出することで、前記校正工程における前記現実環境の特定位置を特定する。

本発明の更に他の観点では、コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムは、前記コンピュータを、前記現実環境の特定位置を検出する位置検出手段、前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段、前記現実環境を撮影装置で撮影した撮影画像に基づいて、前記現実環境に存在する自然特徴点において、前記校正データの算出に適した自然特徴点を判定する判定手段、として機能させ、前記判定手段によって判定された前記自然特徴点の位置を、前記位置検出手段にて検出することで、前記校正手段における前記現実環境の特定位置を特定する。

上記の校正プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［装置構成］
図１は、本実施例に係るヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記する。）の概略構成を示す外観図である。図１に示すように、ＨＭＤ１００は、主に、透過型ディスプレイ部１と、撮像部２と、装着部３とを有する。ＨＭＤ１００は眼鏡型に構成されており、ユーザはＨＭＤ１００を頭部に装着して使用する。ＨＭＤ１００は、現実環境に設けられたマーカの位置に対応するように透過型ディスプレイ部１に、本発明における「付加情報」の一例としてのＣＧを表示させることで、ＡＲ（拡張現実）を実現する。なお、ＨＭＤ１００は、本発明における「表示装置」の一例である。

撮像部２は、カメラを含んでなり、ユーザがＨＭＤ１００を装着した状態でユーザの前方の現実環境を撮影する。撮像部２は、左右に並んだ２つの透過型ディスプレイ部１の間に設けられている。本実施例では、撮像部２の撮影画像に基づいて、自然特徴点やマーカの位置などを検出する。

装着部３は、ユーザの頭部に装着可能に構成された部材（眼鏡フレーム状の部材）であり、ユーザの頭部を左右両側から挟むことが可能に構成されている。

透過型ディスプレイ部１は、光学透過式に構成されており、ユーザの左右の眼にそれぞれ対応して１つずつ設けられている。ユーザは、透過型ディスプレイ部１を介して現実環境を見るとともに、透過型ディスプレイ部１に表示されるＣＧを見ることで、現実環境には存在しないＣＧが、現実環境にあたかも存在しているかのように感じることができる。つまり、ＡＲ（拡張現実）を実現することができる。

なお、撮像部２の撮影画像を用いて自然特徴点などの３次元位置を検出するため（詳細は後述する）、好適には、撮像部２はステレオカメラにて構成される。但し、ステレオカメラを用いることに限定はされず、他の例では、撮像部２に単眼カメラを用いることができる。この場合には、大きさや特徴の既知のマーカやピクチャーマーカや３次元物体を利用したり、カメラの移動による視点の違いを利用したりして、３次元位置を検出すれば良い。更に他の例では、撮像部２にＴＯＦ（Time-of-Flight）カメラと可視光カメラとを併用して、３次元位置を検出することができる。更に他の例では、レーザやプロジェクタなどによるパターン投影とカメラを利用した三角測量を利用して、３次元位置を検出することができる。

図２は、ＨＭＤ１００の内部構造を概略的に示す図である。図２に示すように、ＨＭＤ１００は、上記した透過型ディスプレイ部１や撮像部２以外に、制御部５、近赤外線光源６及び視線方向検出部７を有する。また、透過型ディスプレイ部１は、表示部１ａ、レンズ１ｂ及びハーフミラー１ｃを有する（破線で囲った領域を参照）。

表示部１ａは、ＬＣＤ（Liquid Crystal Display）や、ＤＬＰ（Digital Light Processing）や、有機ＥＬなどで構成され、表示すべき画像に対応する光を出射する。なお、レーザ光源からの光をミラーでスキャンするような構成を、表示部１ａに適用しても良い。このような表示部１ａから出射された光は、レンズ１ｂで拡大等された後にハーフミラー１ｃで反射されて、ユーザの眼に入射する。これにより、ユーザは、ハーフミラー１ｃを介して、図２中の符号４で示す面（以下では適宜「表示面４」と呼ぶ。）に形成される虚像を視認することとなる。

近赤外線光源６は、近赤外線を眼球に向けて照射する。視線方向検出部７は、角膜表面での近赤外線の反射光（プルキニエ像）および瞳孔の位置を検出することで、ユーザの視線方向を検出する。例えば、視線方向の検出には、公知の角膜反射法（１つの例では、『坂下祐輔，藤吉弘亘，平田豊，“画像処理による３次元眼球運動計測”，実験力学，Vol.6，No.3，pp.236-243，2006年9月』）などを用いることができる。この手法では、ＨＭＤ１００の表示を注視する作業を複数回行って視線方向の検出についての校正を行うことで、ユーザがＨＭＤ１００の表示上の見ている場所をより精度良く検出することができる。視線方向検出部７は、このように検出した視線方向に関する情報を制御部５に供給する。なお、視線方向検出部７は、本発明における「視線方向検出手段」の一例である。

制御部５は、図示しないＣＰＵやＲＡＭやＲＯＭなどを有し、ＨＭＤ１００の全体的な制御を行う。具体的には、制御部５は、撮像部２が撮影した撮影画像や視線方向検出部７が検出した視線方向に基づいて、ＣＧの表示位置を校正する処理や、表示すべきＣＧについてのレンダリングなどを行う。制御部５が行う制御については、詳細は後述する。

なお、視線方向の検出は、上記した方法に限定はされない。他の例では、赤外線ハーフミラーで反射した眼球を撮影することで、視線方向を検出することができる。更に他の例では、単眼カメラで瞳孔や眼球や顔を検出して、視線方向を検出することができる。更に他の例では、ステレオカメラを用いて、視線方向を検出することができる。また、非接触型の視線方向の検出方法を用いることにも限定はされず、接触型の視線方向の検出方法を用いても良い。

［校正方法］
次に、本実施例に係る校正方法について具体的に説明する。

図３は、校正を行う理由を説明するための図を示す。図３（ａ）に示すように、ＨＭＤ１００では、ユーザの眼の位置と撮像部２の位置とが互いに異なるため、撮像部２によって取得される像（撮影画像）と、ユーザの眼に映る像とは互いに異なる。例えば、ユーザの眼と、撮像部２と、現実環境に設けられたマーカ２００とが、図３（ａ）に示すような位置関係にあるものとする。この場合には、撮像部２によって取得される像Ｐ１（図３（ｂ）参照）では、マーカ２００は当該像における左側に位置するが、ユーザの眼に映る像Ｐ３（図３（ｃ）参照）では、マーカ２００は当該像における右側に位置することになる。なお、マーカ２００は、現実環境の物体４００に設けられている。マーカ２００は、ＣＧなどの付加情報を提示すべき対象の１つである。

ここで、撮像部２によって取得される像Ｐ１に基づいて、マーカ２００の位置を検出し、当該像Ｐ１における検出した位置にＣＧ３００をそのまま合成すると、ＣＧ３００とマーカ２００との位置が一致した像Ｐ２が生成されることとなる。しかしながら、ＨＭＤ１００のような光学透過式の表示装置では、ユーザの眼の位置と撮像部２の位置との差異に応じて、校正を行う必要がある。というのは、校正を行わないと、図３（ｃ）の像Ｐ４に示すように、ユーザの視点から見ると、マーカ２００とＣＧ３００との位置と姿勢（方向）がずれてしまうおそれがあるからである。

したがって、本実施例では、制御部５は、図３（ｃ）の像Ｐ５のように、ＣＧ３００とマーカ２００との位置と姿勢（方向）を一致させるように補正を行う。具体的には、制御部５は、撮像部２を基準とした像から眼を基準としたＨＭＤ１００の像への変換を行うことで、当該補正を行う。つまり、制御部５は、撮像部２における座標系（以下では「撮像座標系」と呼ぶ。）から、ＨＭＤ１００による表示における座標系（以下では「表示座標系」と呼ぶ。）への変換を行う。なお、撮像座標系は本発明における「第１座標系」の一例であり、表示座標系は本発明における「第２座標系」の一例である。

本実施例では、制御部５は、校正として、撮像座標系から表示座標系へ変換するための行列である校正データを算出する処理（以下では適宜「校正処理」と呼ぶ。）を行う。校正データは、表示面４と撮像部２と眼との位置や姿勢の関係によって決まり、表示面４と撮像部２と眼との３つが共に同じ方向、同じ角度に同じだけ動く場合には、同じ校正データを使用しても問題ない。そのため、ＨＭＤ１００では、まず最初に校正データを算出し（例えばＨＭＤ１００の使用開始時やユーザから要求があった際に校正データを算出する）、その後は算出した校正データを使用して上記したずれの補正を行う。

具体的には、本実施例では、制御部５は、視線方向検出部７が検出した視線方向及び撮像部２が撮影した撮影画像に基づいて、校正データを算出する。この場合、本実施例では、校正処理に最適な自然特徴点が含まれるような現実環境を用いて、制御部５は、このような現実環境の撮影画像より検出された撮像座標系での自然特徴点の位置と、ユーザが自然特徴点を注視している際に視線方向検出部７によって検出された視線方向とに基づいて、撮像座標系から表示座標系へ変換するための校正データを算出する。より詳しくは、制御部５は、撮像座標系での自然特徴点の位置と、ユーザの視線方向と表示面４との交点に当たる表示座標系の座標（以下では「視線方向座標」と呼ぶ。）とに基づいて、校正データを算出する。

本実施例では、撮像部２によって周囲の現実環境を撮影して、校正処理に最適な自然特徴点が含まれるような撮像部２の撮影方向（以下では「最適な撮影方向」又は「最適方向」と呼ぶ。）を用いて校正を行う。ここで、最適な撮影方向について具体的に説明する。校正データを正確に求めるためには、ユーザに注視させる自然特徴点のリストが、撮像部２に対して水平方向・垂直方向・奥行き方向に散らばっていることが望ましい。そのため、撮像部２の撮影方向は、自然特徴点が散らばって多数存在する方向が良いと言える。また、３次元位置を検出しやすい自然特徴点リストであることが望ましい。自然特徴点の３次元位置検出には、複数視点から撮影した画像内での自然特徴点の正確なマッチングが必要になる。例えば、壁のタイルなど同じ様な模様であると、画像間でマッチングのエラーが多くなる傾向にある。また、例えば、木の葉などの移動する物であると、撮影タイミングの異なる画像間では３次元位置が異なるため、３次元位置が正確に求められないと言える。以上より、上記した最適な撮影方向としては、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を用いることが望ましい。

また、本実施例では、制御部５は、このような自然特徴点を複数用いて、複数の自然特徴点について撮像座標系での自然特徴点の位置と視線方向座標とを得て、得られた複数の自然特徴点の位置と複数の視線方向座標とに基づいて校正データを算出する。具体的には、制御部５は、複数の自然特徴点の中から１つの自然特徴点を指定して、ユーザが当該自然特徴点を注視した後に別の自然特徴点を指定するといった工程を所定回数行うことにより、その都度、撮像座標系での自然特徴点の位置と視線方向座標とを求めることで、複数の自然特徴点の位置と複数の視線方向座標とを得る。この場合、制御部５は、注視すべき自然特徴点を指定するための画像（以下では「注視対象画像」と呼ぶ。）を表示させ、ユーザは、注視対象画像に応じた自然特徴点を注視した際に、校正用のユーザインターフェース（ＵＩ：User Interface）としてのボタンを押下することで、注視したことを制御部５に知らせる。例えば、制御部５は、撮影画像を縮小、切り出し、もしくはその両方を行った画像において、ユーザに注視させるべき自然特徴点を強調表示した画像（１つの例では、注視させる自然特徴点を特定の色で表示させた画像や、当該自然特徴点を丸などで囲った画像）を、注視対象画像として表示させる。

以上述べたように、制御部５は、本発明における「判定手段」、「位置検出手段」、「校正手段」及び「指定手段」の一例である。

［制御部の構成］
次に、図４を参照して、本実施例に係る制御部５の具体的な構成について説明する。

図４は、本実施例に係る制御部５の構成を示すブロック図である。図４に示すように、制御部５は、主に、校正部５１と、変換行列算出部５２と、レンダリング部５３と、セレクタ（ＳＥＬ）５４とを有する。

ボタン８は、上記したように、ユーザが自然特徴点を注視した際に押下されるボタンである。ボタン８は、ユーザによって押下された際に、ユーザが自然特徴点を注視したことを示す注視完了信号を視線方向検出部７及び校正部５１に出力する。なお、ボタン８は、本発明における「入力手段」の一例である。

視線方向検出部７は、ボタン８から注視完了信号が入力された際に、この際のユーザの視線方向を検出する。具体的には、視線方向検出部７は、ユーザが注視している際の視線方向と表示面４との交点に当たる、表示座標系の座標である視線方向座標（Ｘｄ、Ｙｄ）を求めて、視線方向座標（Ｘｄ、Ｙｄ）を校正部５１に出力する。

校正部５１は、校正制御部５１ａと、注視対象選択部５１ｂと、視線方向座標蓄積部５１ｃと、特徴点位置検出部５１ｄと、特徴点位置蓄積部５１ｅと、校正データ算出部５１ｆと、最適方向判定部５１ｇとを有する。校正部５１は、所定のボタン（不図示）などが押下されることで校正開始トリガが入力された場合に、校正処理を行うことにより、校正データＭを算出する。

最適方向判定部５１ｇは、撮像部２によって撮像された撮影画像が入力され、撮影画像に、校正処理に最適な撮影方向が含まれているか否かを判定する。具体的には、最適方向判定部５１ｇは、周囲を撮影した撮影画像を画像解析することで、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を検出する。最適方向判定部５１ｇは、撮影画像から最適な撮影方向を検出した場合には、撮影画像に最適な撮影方向が含まれていることを示す最適方向検出信号を校正制御部５１ａに出力する。このように、最適方向判定部５１ｇは、本発明における「判定手段」の一例に相当する。

校正制御部５１ａは、校正処理を制御する。具体的には、校正制御部５１ａは、注視対象選択部５１ｂ、校正データ算出部５１ｆ及びセレクタ５４を制御する。校正制御部５１ａは、上記の校正開始トリガが入力されると校正処理を開始する。具体的には、校正制御部５１ａは、校正開始トリガが入力され、最適方向判定部５１ｇから最適方向検出信号が入力されると、ボタン８からの注視完了信号に応じて、ユーザに注視させる自然特徴点を指定する注視対象画像を更新するための表示更新信号を注視対象選択部５１ｂに出力する。また、校正制御部５１ａは、ボタン８からの注視完了信号が所定回数入力された場合に、演算トリガを校正データ算出部５１ｆに出力すると共に、モード切替信号をセレクタ５４に出力する。後述するように、校正データ算出部５１ｆは、演算トリガが入力されると、校正データＭを算出する。また、セレクタ５４は、モード切替信号が入力されると、表示部１ａに出力するデータを、注視対象画像に対応するデータ（注視対象画像データ）と、付加情報として表示すべきＣＧなどの画像データ（表示データ）とで切り替えるモード切替を行う。

注視対象選択部５１ｂは、校正制御部５１ａから表示更新信号が入力された場合に、撮影画像（最適な撮影方向に対応する画像）に含まれる自然特徴点の中で、ユーザに注視させる自然特徴点を選択し（詳しくは、今回の校正処理において未だユーザに注視させていない１つの自然特徴点を選択）、当該自然特徴点に応じた注視対象画像データを生成する。例えば、注視対象選択部５１ｂは、撮影画像を縮小した画像において、ユーザに注視させる自然特徴点を強調表示した画像（１つの例では、注視させる自然特徴点を特定の色で表示させた画像や、当該自然特徴点を丸などで囲った画像）を生成する。そして、注視対象選択部５１ｂは、生成した注視対象画像データをセレクタ５４に出力する。なお、注視対象選択部５１ｂは、本発明における「指定手段」の一例に相当する。

視線方向座標蓄積部５１ｃは、視線方向検出部７から視線方向座標（Ｘｄ、Ｙｄ）が入力され、視線方向座標（Ｘｄ、Ｙｄ）を蓄積する。なお、視線方向座標（Ｘｄ、Ｙｄ）は、表示座標系を基準とした自然特徴点の位置座標に相当する。

特徴点位置検出部５１ｄは、撮像部２によって撮像された撮影画像が入力され、撮影画像から、ユーザに注視させる自然特徴点の３次元位置を検出する。具体的には、特徴点位置検出部５１ｄは、撮影画像に対応する画像データに基づいて、注視対象選択部５１ｂによって選択された自然特徴点の位置を示す座標（Ｘｃ、Ｙｃ、Ｚｃ）を特定し、特定した位置座標（Ｘｃ、Ｙｃ、Ｚｃ）を特徴点位置蓄積部５１ｅに出力する。特徴点位置蓄積部５１ｅは、特徴点位置検出部５１ｄから出力された位置座標（Ｘｃ、Ｙｃ、Ｚｃ）を蓄積する。なお、位置座標（Ｘｃ、Ｙｃ、Ｚｃ）は、撮像座標系を基準とした自然特徴点の位置座標に相当する。このように、特徴点位置検出部５１ｄは、本発明における「位置検出手段」の一例に相当する。

校正データ算出部５１ｆは、校正制御部５１ａから演算トリガが入力されると、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）、及び特徴点位置蓄積部５１ｅに蓄積された複数の自然特徴点の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）を読み出す。そして、校正データ算出部５１ｆは、読み出した複数の視線方向座標（Ｘｄ、Ｙｄ）及び複数の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）に基づいて、撮像座標系から表示座標系へ変換するための行列である校正データＭを算出する。校正データ算出部５１ｆは、校正データＭを算出し終えると、その旨を示す演算終了信号を校正制御部５１ａに出力する。このように、校正データ算出部５１ｆは、本発明における「校正手段」の一例に相当する。

次に、変換行列算出部５２は、マーカ検出部５２ａと、Ｒｍｃ算出部５２ｂとを有している。変換行列算出部５２は、マーカにおける座標系（以下では「マーカ座標系」と呼ぶ。）から撮像座標系へ変換するための変換行列Ｒｍｃを算出する。

マーカ検出部５２ａは、撮像部２によって撮像された撮像画像中のマーカの位置及びサイズを検出する。

Ｒｍｃ算出部５２ｂは、マーカ検出部５２ａによって検出されたマーカの位置及びサイズに基づいて、マーカ座標系から撮像座標系へ変換するための変換行列Ｒｍｃを算出する。Ｒｍｃ算出部５２ｂは、算出した変換行列Ｒｍｃをレンダリング部５３に出力する。変換行列Ｒｍｃが更新されることで、マーカに追従するようにＣＧが表示されることとなる。

次に、レンダリング部５３は、ＣＧデータ格納部５３ａと、マーカｔｏ撮像座標変換部５３ｂと、撮像ｔｏ表示変換部５３ｃとを有している。レンダリング部５３は、表示すべきＣＧについてのレンダリングを行う。

ＣＧデータ格納部５３ａは、表示すべきＣＧのデータ（ＣＧデータ）が格納された記憶手段である。ＣＧデータ格納部５３ａには、マーカ座標系で規定されたＣＧデータが格納されている。なお、ＣＧデータ格納部５３ａに格納されているＣＧデータは、３次元（３Ｄ）データである。以下では、ＣＧデータ格納部５３ａに格納されているＣＧデータを、「マーカ座標系データ」と適宜称する。

マーカｔｏ撮像座標変換部５３ｂは、変換行列算出部５２から変換行列Ｒｍｃが入力され、変換行列Ｒｍｃに基づいて、ＣＧデータ格納部５３ａに格納されているＣＧデータを、マーカ座標系から撮像座標系へ変換する。以下では、マーカｔｏ撮像座標変換部５３ｂによって変換された後の撮像部２の座標系を基準とするＣＧデータを、「撮像座標系データ」と適宜称する。

撮像ｔｏ表示変換部５３ｃは、校正部５１から校正データＭが入力され、校正データＭに基づいて、マーカｔｏ撮像座標変換部５３ｂから入力された撮像座標系データ（３Ｄ）を表示データに変換する（座標変換及び投影変換）。表示データは、表示座標系を基準とする２次元（２Ｄ）データである。撮像ｔｏ表示変換部５３ｃは、表示データをセレクタ５４に出力する。

セレクタ５４は、校正部５１からのモード切替信号に応じて、校正部５１から入力される注視対象画像データと、レンダリング部５３から入力される表示データとを選択的に表示部１ａに出力する。セレクタ５４は、校正処理が行われるときには、注視対象画像データを表示部１ａに出力し、ＨＭＤ１００にてＣＧが表示されるべきときには、表示データを表示部１ａに出力する。表示部１ａは、注視対象画像データに基づいて注視対象画像を表示し、表示データに基づいてＣＧを表示する。

［処理フロー］
次に、図５及び図６を参照して、本実施例に係る処理フローについて説明する。

図５は、ＨＭＤ１００の全体処理を示すフローチャートである。

まず、ステップＳ１０では、校正処理が行われる。校正処理については詳細は後述する。次に、ステップＳ２０では、撮像部２によって現実環境の撮影画像が取得される。即ち、ＨＭＤ１００は、撮像部２によって現実環境を撮影することにより、現実環境の撮影画像を取得する。

次に、ステップＳ３０では、変換行列算出部５２によって、ＣＧなどの付加情報を提示すべき対象としてのマーカが検出され、変換行列Ｒｍｃが算出される。即ち、変換行列算出部５２のマーカ検出部５２ａが、撮像部２によって取得された現実環境の撮影画像に基づいて、現実環境に設けられたマーカの位置、姿勢（方向）及びサイズを検出し、この検出されたマーカの位置、姿勢（方向）及びサイズに基づいて、変換行列算出部５２のＲｍｃ算出部５２ｂが変換行列Ｒｍｃを算出する。

次に、ステップＳ４０では、表示すべきＣＧの表示データを生成する描画処理が行われる。描画処理では、まず、ＣＧデータ格納部５３ａに格納されているマーカ座標系データが、マーカｔｏ撮像座標変換部５３ｂによって変換行列Ｒｍｃに基づいて撮像座標系データに変換される。次に、撮像座標系データが、撮像ｔｏ表示変換部５３ｃによって、校正データＭに基づいて表示データに変換される。このように生成された表示データは、セレクタ５４を介して表示部１ａに入力される。

次に、ステップＳ５０では、ＨＭＤ１００によって、表示データに基づくＣＧが表示される。そして、ステップＳ６０では、ＨＭＤ１００によるＣＧの表示を終了するか否かが判定される。終了すると判定された場合には（ステップＳ６０：Ｙｅｓ）、ＣＧの表示が終了され、終了しないと判定された場合には（ステップＳ６０：Ｎｏ）、再びステップＳ１０に係る処理が行われる。

図６は、上記したステップＳ１０の校正処理を示すフローチャートである。

まず、ステップＳ１１１では、ユーザがＨＭＤ１００の表示を注視する作業を複数回行うことで視線方向の検出についての校正を行う。

次に、ステップＳ１１２では、撮像部２によって現実環境の撮影画像が取得される。具体的には、ＨＭＤ１００は、撮像部２によってユーザの周囲の現実環境を撮影することで得られた、比較的広い範囲における現実環境の撮影画像を取得する。

次に、ステップＳ１１３では、校正部５１の最適方向判定部５１ｇによって、撮影画像に含まれる最適な撮影方向が検出される。具体的には、最適方向判定部５１ｇは、撮影画像を画像解析することで、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在するような撮影方向を検出する。撮影画像に最適な撮影方向が含まれている場合（ステップＳ１１４：Ｙｅｓ）、処理はステップＳ１１６に進む。これに対して、撮影画像に最適な撮影方向が含まれていない場合（ステップＳ１１４：Ｎｏ）、処理はステップＳ１１５に進む。この場合には、ユーザに場所の移動が指示され（ステップＳ１１５）、再びステップＳ１１１に係る処理が行われる。つまり、ユーザに場所を移動してもらい、周囲の撮影を再度行ってもらう。

ステップＳ１１６では、ユーザの頭の向きを、検出された最適な撮影方向へ誘導する。例えば、最適な撮影方向を指し示す矢印の画像などを表示させることで、ユーザの頭の向きを誘導する。

次に、ステップＳ１１７では、校正部５１によって、ユーザに注視させる自然特徴点が指定される。具体的には、校正部５１の注視対象選択部５１ｂによって選択された自然特徴点に応じた注視対象画像が表示される。そして、ステップＳ１１８では、ボタン８が押下されたか否かが判定される。つまり、ユーザが、指定された自然特徴点を注視したか否かが判定される。

ボタン８が押下された場合（ステップＳ１１８：Ｙｅｓ）、処理はステップＳ１１９に進む。これに対して、ボタン８が押下されていない場合（ステップＳ１１８：Ｎｏ）、再びステップＳ１１８に係る判定が行われる。つまり、ボタン８が押下されるまで、ステップＳ１１８の判定が繰り返し行われる。

ステップＳ１１９では、視線方向検出部７によってユーザの視線方向が検出される。具体的には、視線方向検出部７は、ユーザの視線方向と表示面４との交点に当たる、表示座標系の座標である視線方向座標（Ｘｄ、Ｙｄ）を求める。

次に、ステップＳ１２０では、撮像部２によって現実環境の撮影画像（最適な撮影方向に対応する画像）が取得される。そして、ステップＳ１２１では、校正部５１の特徴点位置検出部５１ｄによって、撮影画像から、ユーザが注視した自然特徴点の３次元位置が検出される。具体的には、特徴点位置検出部５１ｄは、撮影画像に対応する画像データに基づいて、注視対象選択部５１ｂによって選択された自然特徴点の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）を求める。

次に、ステップＳ１２２では、ステップＳ１１９で得られた視線方向座標（Ｘｄ、Ｙｄ）と、ステップＳ１２１で得られた自然特徴点の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）とが蓄積される。具体的には、視線方向座標（Ｘｄ、Ｙｄ）は視線方向座標蓄積部５１ｃに蓄積され、自然特徴点の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）は特徴点位置蓄積部５１ｅに蓄積される。

次に、ステップＳ１２３では、ステップＳ１１７〜Ｓ１２２の処理が所定回数行われたか否かが判定される。判定に用いる所定回数は、例えば校正処理の精度などに応じて定められる。

ステップＳ１１７〜Ｓ１２２の処理が所定回数行われた場合（ステップＳ１２３：Ｙｅｓ）、校正部５１の校正データ算出部５１ｆによって、校正データＭが算出される（ステップＳ１２４）。具体的には、校正データ算出部５１ｆは、視線方向座標蓄積部５１ｃに蓄積された複数の視線方向座標（Ｘｄ、Ｙｄ）と、特徴点位置蓄積部５１ｅに蓄積された複数の自然特徴点の位置座標（Ｘｃ、Ｙｃ、Ｚｃ）とに基づいて、校正データＭを算出する。そして、処理は終了する。他方で、ステップＳ１１７〜Ｓ１２２の処理が所定回数行われていない場合（ステップＳ１２３：Ｎｏ）、再びステップＳ１１７に係る処理が行われる。

なお、人間の視線方向は注視している時でも安定しない傾向にあるため、ボタン８が押下されたタイミングの視線方向のみを使用する校正処理では、校正データＭの誤差が大きくなる可能性がある。したがって、ボタン８が押下されたタイミングの前後１秒程度の間の視線方向のデータを取得して、このデータに対して平均化処理やヒストグラム処理などを行って、視線方向を決定すると良い。こうすることで、校正データＭの誤差を低減することが可能となる。

［作用・効果］
本実施例によれば、非特許文献１と比較して、マーカなどの人工特徴点を用いずに、自然特徴点を用いるため、マーカなどが無いような環境においても適切に校正を行うことができる。また、本実施例によれば、撮像部２による撮影画像と表示部１ａの表示機能とを利用することで、校正時の自然特徴点を分かりやすく指定することができる。

また、本実施例は、前述した特許文献１、３に記載の技術と異なり、撮像部２やＨＭＤ１００の設定や位置の変更、また眼の位置の変更にも適切に対応して校正することができる。

［変形例］
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用することができる。

（変形例１）
上記した実施例では、ユーザが注視した際にボタン８を押下することでＨＭＤ１００に注視を知らせていた。しかしながら、ボタン８を押す作業を行うと、その作業により集中力が削がれ視線方向が乱れたり、ボタン８を押す動作で頭部の位置にも影響が現れたりする。そのため、他の例では、ボタン８で注視の完了を知らせる代わりに、ユーザが注視動作を所定時間行った場合に、注視の完了とすることができる。つまり、ユーザが注視動作を所定時間行ったタイミングで、視線方向を検出することができる。これにより、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

更に他の例では、ユーザが注視動作中に瞬きを行った場合に、注視の完了とすることができる。つまり、ユーザが瞬きを行ったタイミングで、視線方向を検出することができる。これによっても、視線方向の乱れや頭部の移動を抑制することができ、校正時の誤差要因を減らし、校正精度の向上を図ることができる。

なお、ユーザが注視動作を所定時間行ったこと、及び、ユーザが注視動作中に瞬きを行ったこと、のうちのいずれかの条件が成立した際に、注視の完了と扱うこととしても良い。

（変形例２）
上記した実施例では、視線方向の検出についての校正を手動で行う例を示したが、当該校正を自動で行っても良い。その場合には、図６に示した校正処理において、ステップＳ１１１の処理を行う必要はない。また、視線方向の検出についての校正が不要なような検出方法を用いた場合には、ステップＳ１１１の処理を行う必要はない。

（変形例３）
上記した実施例では、視線方向に基づいて校正を行う例を示したが、これに限定はされない。具体的には、ユーザが自然特徴点を注視している際の視線方向と表示面４との交点に当たる視線方向座標を、表示座標系を基準とした自然特徴点の位置として求めることに限定はされない。他の例では、十字の画像などを表示させて、ユーザが表示の十字の位置と自然特徴点（指定された自然特徴点）の位置とを合わせる作業を行った際の十字の位置を、視線方向座標の代わりに、表示座標系を基準とした自然特徴点の位置として求めることができる。即ち、ユーザが表示の十字と自然特徴点の位置とを合わせて、それをボタン８などを用いて知らせる作業を繰り返し行うといった校正の手法（例えば非特許文献１に記載された手法）を、本発明に適用することも可能である。

（変形例４）
上記した実施例では、画像（注視対象画像）を表示させることで、自然特徴点をユーザに提示していた。他の例では、注視対象画像を表示させる代わりに、レーザで現実の対象位置（つまり自然特徴点）を提示することができる。

また、マーカ検出部５２ａは、上記したようなマーカ検出以外に、画像マーカを利用しても良いし、自然特徴点を利用しても良い。

（変形例５）
本発明は、ＨＭＤ１００への適用に限定はされない。本発明は、光学透過式ＡＲを実現可能な種々のシースルーディスプレイに適用することができる。例えば、ヘッドアップディスプレイ（ＨＵＤ）やシースルーディスプレイなどに適用することができる。

本発明は、ヘッドマウントディスプレイなどの光学透過式の表示装置に利用することができる。

１ 透過型ディスプレイ部
１ａ 表示部
２ 撮像部
３ 装着部
４ 表示面
５ 制御部
６ 近赤外線光源
７ 視線方向検出部
５１ 校正部
５２ 変換行列算出部
５３ レンダリング部
１００ ヘッドマウントディスプレイ（ＨＭＤ）

Claims (16)

1. ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置であって、
   前記現実環境の特定位置を検出する位置検出手段と、
   前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段と、
   前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段と、を備え、
   前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定することを特徴とする表示装置。
2. 前記判定手段は、前記現実環境を撮影装置で撮影した撮影画像中の自然特徴点から類似度または移動度の少なくとも一方に基づいて、前記校正データの算出に適した自然特徴点を含む最適方向を判定することを特徴とする請求項１に記載の表示装置。
3. 前記判定手段によって判定された前記自然特徴点をユーザに提示する提示手段を更に備えることを特徴とする請求項１又は２に記載の表示装置。
4. 前記提示手段は、前記自然特徴点が含まれる現実環境の撮影画像に応じた画像を表示させることを特徴とする請求項３に記載の表示装置。
5. 前記判定手段は、前記撮影画像に前記自然特徴点が含まれるか否かを判定することで、前記自然特徴点が含まれる最適方向を判定し、
   前記位置検出手段は、前記最適方向に含まれる前記自然特徴点の位置を検出し、
   前記第１座標系は、前記撮影装置の座標系であることを特徴とする請求項１乃至４のいずれか一項に記載の表示装置。
6. 前記判定手段は、互いに似通っておらず、且つ位置が移動しない複数の自然特徴点が散在する撮影方向を、前記校正データの算出に適した自然特徴点を含む最適方向と判定することを特徴とする請求項１乃至５のいずれか一項に記載の表示装置。
7. 前記ユーザが前記自然特徴点に視線を向けている際の視線方向を検出する視線方向検出手段を更に備え、
   前記校正手段は、前記位置検出手段が検出した前記位置と前記視線方向検出手段が検出した前記視線方向とに基づいて、前記校正データを算出することを特徴とする請求項１乃至６のいずれか一項に記載の表示装置。
8. 前記視線方向検出手段は、前記ユーザが注視したことを入力するための入力手段を操作した際に、前記視線方向を検出することを特徴とする請求項７に記載の表示装置。
9. 前記視線方向検出手段は、前記ユーザが注視動作を所定時間行った際に、前記視線方向を検出することを特徴とする請求項７に記載の表示装置。
10. 前記視線方向検出手段は、前記ユーザが瞬きを行った際に、前記視線方向を検出することを特徴とする請求項７に記載の表示装置。
11. 前記視線方向検出手段は、前記視線方向と前記表示装置による表示面との交点に当たる、前記第２座標系での座標を求め、
    前記校正手段は、前記視線方向検出手段によって求められた前記座標と前記位置検出手段が検出した前記位置とに基づいて、前記校正データを算出することを特徴とする請求項７乃至１０のいずれか一項に記載の表示装置。
12. ユーザが視認する現実環境に対して付加情報を表示する光学透過式のヘッドマウントディスプレイであって、
    前記現実環境の特定位置を検出する位置検出手段と、
    前記現実環境の特定位置と前記ヘッドマウントディスプレイの特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段の第１座標系から前記ヘッドマウントディスプレイの第２座標系へ変換をするための校正データを算出する校正手段と、
    前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段と、を備え、
    前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段を用いて検出することで、前記校正手段における前記現実環境の特定位置を特定することを特徴とするヘッドマウントディスプレイ。
13. ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正方法であって、
    前記現実環境の特定位置を検出する位置検出工程と、
    前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出工程にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正工程と、
    前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定工程と、を備え、
    前記判定工程によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出工程にて検出することで、前記校正工程における前記現実環境の特定位置を特定することを特徴とする校正方法。
14. コンピュータを有し、ユーザが視認する現実環境に対して付加情報を表示する光学透過式の表示装置によって実行される校正プログラムであって、
    前記コンピュータを、
    前記現実環境の特定位置を検出する位置検出手段、
    前記現実環境の特定位置と前記表示装置の特定位置との対応を取得することで、前記現実環境の特定位置における前記位置検出手段にて規定される第１座標系から前記表示装置の第２座標系へ変換をするための校正データを算出する校正手段、
    前記現実環境を撮影装置で撮影した撮影画像を解析して、前記校正データの算出に適した自然特徴点を含む最適方向を判定する判定手段、として機能させ、
    前記判定手段によって判定された最適方向に含まれる前記自然特徴点の位置を、前記位置検出手段にて検出することで、前記校正手段における前記現実環境の特定位置を特定することを特徴とする校正プログラム。
15. 請求項１４に記載の校正プログラムがコンピュータにより読み取り可能に記録されていることを特徴とする記録媒体。
16. ユーザが視認する現実環境に対し付加情報を表示する光学透過式の表示装置であって、
    前記現実環境の特定位置を検出する検出手段と、
    前記現実環境を撮影装置で撮影した撮影画像を解析して、校正データの算出に適した特徴点を判定する判定手段と、
    前記特徴点の位置を前記検出手段により検出することで、前記特定位置における前記検出手段の座標系から前記表示装置の座標系へ変換するための前記校正データを算出する校正手段と、を備える表示装置。

Images