JPWO2018012206A1 - 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム - Google Patents

Abstract

仮想ユーザインターフェースとしての数値設定用ユーザインターフェースを用いた数値の設定を素早く正確に行うことが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供する。第２検出部（７１）は、スライドバー（４５）の設定可能な数値の範囲が第１の範囲である、または／および数値の単位変動幅が第１の変動幅である粗調整モードと、範囲が第１の範囲と比較して狭い第２の範囲である、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅である微調整モードとを切り替えるための第２ジェスチャーを検出する。モード切替部（７４）は第２ジェスチャーに応じて粗調整モードと微調整モードとを切り替える。表示制御部（６９）は粗調整スライドバー（４５Ａ）と微調整スライドバー（４５Ｂ）を選択的にＨＭＤ（１１）に表示させる。

Description

本発明は、画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムに関する。

ユーザの頭部に装着されたヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display））にコンピュータグラフィックスを用いた仮想画像を表示させ、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる技術が知られている。例えば特許文献１には、ユーザが現実空間を肉眼で視認することが可能な透過型のＨＭＤを用いた技術が記載されている。

特許文献１では、仮想画像として、ユーザが仮想的に操作する仮想ユーザインターフェース（以下、ＵＩ（User Interface））を表示している。仮想ＵＩには、ユーザの指で仮想的にタッチ操作される仮想ボタンが例示されている。特許文献１では、操作された仮想ボタンを光らせるといった視覚的な表示を行っている。これにより、ユーザは自分がどの仮想ボタンを操作したのかを視認することができる。

ところで、特許文献１の仮想ボタンのような仮想ＵＩに対して、タブレット端末のタッチパネルやパーソナルコンピュータのディスプレイに表示され、タッチ操作やマウス操作がされるＵＩが従来知られている。以下、こうした従来のＵＩを、仮想ＵＩと区別するために非仮想ＵＩと呼ぶ。

非仮想ＵＩには多くの種類があるが、そのうちの１つとして数値設定の操作に用いられる数値設定用ＵＩがある。数値設定用ＵＩは、設定可能な数値の範囲を示す範囲表示部と、現在設定されている数値を指し示す数値指示部とで構成される。数値設定用ＵＩの代表としてはスライドバーが挙げられる。スライドバーの場合、範囲表示部は例えば左端に下限値、右端に上限値が配された横棒状のバーであり、数値指示部はバー上でスライド操作されるスライダである。

特開２０１５−１１９３７３号公報

数値設定用ＵＩでは、タッチ操作やマウス操作で数値設定が行われるが、設定しようとした数値を通り過ぎてしまうことを何度か繰り返し、数値の設定に手間取ることがしばしばある。このため、数値の設定を素早く正確に行うためには、デリケートな操作が必要となる。

非仮想ＵＩへの操作は前述のようにタッチ操作やマウス操作であり、これらの操作は、タッチパネルを手で触れたり、マウスを把持してボタンをクリックする等、現実空間に実在する物体に触れる行為を伴う。このため、ユーザは触覚的な操作感が掴みやすい。したがって、デリケートな操作が比較的しやすい。

対して、仮想ＵＩは、あくまでも現実空間上に仮想的に存在するものとしてユーザが認識するものである。ユーザは、視野に挿入された仮想ＵＩに対して、例えば手を伸ばして触れるジェスチャーをすることで操作を行う。しかし、このとき、ユーザは仮想ＵＩに実際に手を触れている訳ではない。このため、仮想ＵＩへの操作では、ユーザは触覚的な操作感が掴みにくく、したがってデリケートな操作が比較的しづらい。

ここで、数値設定用ＵＩを仮想ＵＩで実現することが検討されている。この場合、前述のように仮想ＵＩはデリケートな操作が比較的しづらいので、非仮想ＵＩの場合よりも数値の設定に手間取るおそれがあった。

特許文献１では、操作された仮想ボタンを光らせるといった選択の有無が分かるような視覚的な表示を行っているが、数値設定用ＵＩに対する触覚的な操作感が掴みにくく、デリケートな操作がしづらいという問題を解決することはできない。

本発明は、仮想ユーザインターフェースとしての数値設定用ユーザインターフェースを用いた数値の設定を素早く正確に行うことが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することを目的とする。

上記課題を解決するために、本発明の画像表示システムは、ユーザの頭部に装着されたヘッドマウントディスプレイと、ヘッドマウントディスプレイの制御装置とを備え、ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させる画像表示システムにおいて、設定可能な数値の範囲を示す範囲表示部と、現在設定されている数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、拡張現実空間においてユーザが仮想的に認識する仮想ユーザインターフェースとしてヘッドマウントディスプレイに表示させる表示制御部と、数値を設定するためのユーザの第１ジェスチャーを検出する第１検出部と、粗調整モードと微調整モードとを切り替えるためのユーザの第２ジェスチャーを検出する第２検出部であり、粗調整モードは、範囲が第１の範囲であるか、または／および数値の単位変動幅が第１の変動幅であるモードで、微調整モードは、範囲が第１の範囲と比較して狭い第２の範囲であるか、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅であるモードであり、第１ジェスチャーに応じて、数値を変更する数値変更部と、第２ジェスチャーに応じて、粗調整モードと微調整モードとを切り替えるモード切替部とを備える。

第１検出部および第２検出部は、拡張現実空間において、ユーザの手が数値設定用ユーザインターフェースに触れていない状態で、第１ジェスチャーおよび第２ジェスチャーを検出することが好ましい。

表示制御部は、拡張現実空間において、ユーザの手が届かない遠隔位置に数値設定用ユーザインターフェースを表示させることが好ましい。

第１ジェスチャーは、ユーザの手を第１方向および第１方向とは反対の第２方向に移動させる第１および第２方向ジェスチャーであり、第２ジェスチャーは、ユーザの手を第１方向とは異なる第３方向、および第２方向とは異なり、かつ第３方向とは反対の第４方向に移動させる第３および第４方向ジェスチャーであることが好ましい。

第１検出部は、ユーザの手が基準位置にあることと、ユーザの手が基準位置から移動した方向を検出し、数値変更部は、第１方向または第２方向の一方の方向へのユーザの手の移動が検出されてから、基準位置にユーザの手が戻ったことが検出されるまで、数値を自動的に変更することが好ましい。

表示制御部は、数値設定用ユーザインターフェースとして、粗調整モード用の粗調整インターフェースと、微調整モード用の微調整インターフェースとを表示させることが好ましい。

表示制御部は、粗調整インターフェースと微調整インターフェースとを選択的に表示させることが好ましい。

表示制御部は、拡張現実空間において、微調整インターフェースを粗調整インターフェースよりも手前側に拡大して表示させることが好ましい。

表示制御部は、粗調整インターフェースと微調整インターフェースとを両方同時に表示させ、粗調整インターフェースと微調整インターフェースのうちの一方を数値の設定を受け付けるアクティブ状態とし、他方を数値の設定を受け付けない非アクティブ状態とすることが好ましい。

表示制御部は、アクティブ状態と非アクティブ状態とで粗調整インターフェースと微調整インターフェースの表示態様を異ならせることが好ましい。

表示制御部は、微調整インターフェースにおいて数値が第２の範囲の上限値または下限値に達した後、さらに第１ジェスチャーが検出された場合、範囲表示部の第２の範囲の表示を変更することが好ましい。

第１ジェスチャーは、ユーザの手を第１方向および第１方向とは反対の第２方向に移動させる第１および第２方向ジェスチャーであり、第２ジェスチャーは、ユーザの手の移動方向を第１方向および第２方向の一方から他方に切り替える切替ジェスチャーであり、モード切替部は、切替ジェスチャーの以後における単位変動幅を、切替ジェスチャーの以前における単位変動幅よりも狭くすることが好ましい。

表示制御部は、第１ジェスチャーを検出している場合としていない場合とで数値指示部の表示態様を異ならせることが好ましい。

数値設定用ユーザインターフェースは、範囲表示部としてのバーと、バー上でスライド操作される数値指示部としてのスライダとで構成されるスライドバーであることが好ましい。

表示制御部は、数値設定用ユーザインターフェースに加えて、現実空間における表示位置が固定された仮想オブジェクトをヘッドマウントディスプレイに表示させ、拡張現実空間において、数値設定用ユーザインターフェースで仮想オブジェクトが覆い隠された部分の大きさが、設定された大きさ以上となった場合、仮想オブジェクトを覆い隠さない位置に数値設定用ユーザインターフェースの表示位置を移動させることが好ましい。

第１検出部および第２検出部は、ユーザの手の撮像画像を解析してユーザの手を認識し、認識したユーザの手の第１ジェスチャーおよび第２ジェスチャーを検出することが好ましい。

第１検出部および第２検出部は、ユーザの手にはめられたグローブに基づいてユーザの手を認識することが好ましい。

認識したユーザの手と重なる数値設定用ユーザインターフェースの部分をマスクするマスク処理部を備えることが好ましい。

本発明のヘッドマウントディスプレイの制御装置は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置において、設定可能な数値の範囲を示す範囲表示部と、現在設定されている数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、拡張現実空間においてユーザが仮想的に認識する仮想ユーザインターフェースとしてヘッドマウントディスプレイに表示させる表示制御部と、数値を設定するためのユーザの第１ジェスチャーを検出する第１検出部と、粗調整モードと微調整モードとを切り替えるためのユーザの第２ジェスチャーを検出する第２検出部であり、粗調整モードは、範囲が第１の範囲であるか、または／および数値の単位変動幅が第１の変動幅であるモードで、微調整モードは、範囲が第１の範囲と比較して狭い第２の範囲であるか、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅であるモードであり、第１ジェスチャーに応じて、数値を変更する数値変更部と、第２ジェスチャーに応じて、粗調整モードと微調整モードとを切り替えるモード切替部とを備える。

本発明のヘッドマウントディスプレイの制御装置の作動方法は、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、設定可能な数値の範囲を示す範囲表示部と、現在設定されている数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、拡張現実空間においてユーザが仮想的に認識する仮想ユーザインターフェースとしてヘッドマウントディスプレイに表示させる表示制御ステップと、数値を設定するためのユーザの第１ジェスチャーを検出する第１検出ステップと、粗調整モードと微調整モードとを切り替えるためのユーザの第２ジェスチャーを検出する第２検出ステップであり、粗調整モードは、範囲が第１の範囲であるか、または／および数値の単位変動幅が第１の変動幅であるモードで、微調整モードは、範囲が第１の範囲と比較して狭い第２の範囲であるか、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅であるモードであり、第１ジェスチャーに応じて、数値を変更する数値変更ステップと、第２ジェスチャーに応じて、粗調整モードと微調整モードとを切り替えるモード切替ステップとを備える。

本発明のヘッドマウントディスプレイの制御装置の作動プログラムは、ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間をユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、設定可能な数値の範囲を示す範囲表示部と、現在設定されている数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、拡張現実空間においてユーザが仮想的に認識する仮想ユーザインターフェースとしてヘッドマウントディスプレイに表示させる表示制御機能と、数値を設定するためのユーザの第１ジェスチャーを検出する第１検出機能と、粗調整モードと微調整モードとを切り替えるためのユーザの第２ジェスチャーを検出する第２検出機能であり、粗調整モードは、範囲が第１の範囲であるか、または／および数値の単位変動幅が第１の変動幅であるモードで、微調整モードは、範囲が第１の範囲と比較して狭い第２の範囲であるか、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅であるモードであり、第１ジェスチャーに応じて、数値を変更する数値変更機能と、第２ジェスチャーに応じて、粗調整モードと微調整モードとを切り替えるモード切替機能とを、コンピュータに実行させる。

本発明によれば、仮想ユーザインターフェースとしての数値設定用ユーザインターフェースの設定可能な数値の範囲が第１の範囲であるか、または／および数値の単位変動幅が第１の変動幅である粗調整モードと、範囲が第１の範囲と比較して狭い第２の範囲であるか、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅である微調整モードとを、ユーザのジェスチャーに応じて切り替えるので、仮想ユーザインターフェースとしての数値設定用ユーザインターフェースを用いた数値の設定を素早く正確に行うことが可能な画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラムを提供することができる。

画像表示システムと画像蓄積サーバを示す図である。 ヘッドマウントディスプレイの外観斜視図である。 画像表示システムを用いたカンファレンスの様子を示す図である。 拡張現実空間の成り立ちを説明するための図である。 スライドバーを示す図である。 制御装置を構成するコンピュータのブロック図である。 制御装置のＣＰＵの各機能部を示すブロック図である。 第１対応情報とユーザの手を用いた各方向のジェスチャーを示す図である。 第３対応情報を示す図である。 ジェスチャーと数値の増減との関係を示す図である。 ジェスチャーと数値の増減との関係を示す図である。 ジェスチャーとモード切替との関係を示す図である。 ジェスチャーとモード切替との関係を示す図である。 粗調整スライドバーを示す図である。 微調整スライドバーを示す図である。 拡張現実空間に粗調整スライドバーが出現している様子を示す図である。 拡張現実空間に微調整スライドバーが出現している様子を示す図である。 粗調整スライドバーと微調整スライドバーの表示位置および大きさの関係を示す図である。 粗調整スライドバーで数値を設定している様子を示す図である。 微調整スライドバーで数値を設定している様子を示す図である。 微調整スライドバーにおいて数値が範囲の上限値に達した後、さらに第１ジェスチャーが検出された場合、バーの範囲の表示を変更する様子を示す図である。 微調整スライドバーにおいて数値が範囲の下限値に達した後、さらに第１ジェスチャーが検出された場合、バーの範囲の表示を変更する様子を示す図である。 画像表示システムを用いて行うカンファレンスの全体の処理手順を示すフローチャートである。 スライドバーを用いて数値を設定する場合の処理手順を示すフローチャートである。 ユーザの手の届かない遠隔位置にスライドバーを表示する例を示す図である。 カメラの撮像画像の領域と第１検出部の検出結果との関係を示す図である。 第３実施形態の数値設定の様子を示す図である。 第４実施形態の第１対応情報とユーザの手を用いた各方向のジェスチャーを示す図である。 第４実施形態のジェスチャーとモード切替との関係を示す図である。 第４実施形態のジェスチャーとモード切替との関係を示す図である。 粗調整スライドバーが非アクティブ状態、微調整スライドバーがアクティブ状態の微調整モードを示す図である。 粗調整スライドバーがアクティブ状態、微調整スライドバーが非アクティブ状態の粗調整モードを示す図である。 第５実施形態の第１対応情報を示す図である。 第５実施形態の第３対応情報を示す図である。 第５実施形態の数値設定の様子を示す図である。 スライドバーで３Ｄ画像が覆い隠された部分の大きさが、設定された大きさ以上となった場合、３Ｄ画像を覆い隠さない位置にスライドバーの表示位置を移動させる第６実施形態を示す図である。 ユーザの手と重なるスライドバーの部分をマスクする第７実施形態を示す図である。 ユーザの手にはめられたグローブに基づいて手を認識する第８実施形態を示す図である。 スライドバーの他の例を示す図である。 回転ダイヤルを示す図である。 制御装置の別の例を示す図である。 制御装置のさらに別の例を示す図である。

[第１実施形態]
図１において、画像表示システム１０は、ＨＭＤ１１Ａ、１１Ｂ、１１Ｃと、制御装置１２とを備え、医療施設１３に設置されている。ＨＭＤ１１Ａはユーザ１４Ａ、ＨＭＤ１１Ｂはユーザ１４Ｂ、ＨＭＤ１１Ｃはユーザ１４Ｃのそれぞれの頭部に装着される。ユーザ１４Ａ〜１４Ｃは、医療施設１３に所属する医師や看護師といった医療スタッフである。なお、頭部とは、立位の状態で人体の頸部から上に位置する部分を言い、顔面等を含む部分である。また、以下では、特に区別する必要がない場合は、ＨＭＤ１１Ａ〜１１ＣをまとめてＨＭＤ１１、ユーザ１４Ａ〜１４Ｃをまとめてユーザ１４とそれぞれ表記する場合がある。

制御装置１２は例えばデスクトップ型のパーソナルコンピュータであり、ディスプレイ１５とキーボードおよびマウスで構成される入力デバイス１６とを有する。ディスプレイ１５は入力デバイス１６の操作に用いる画面を表示する。操作に用いる画面はＧＵＩ(Graphical User Interface)を構成する。制御装置１２は、ディスプレイ１５の画面を通じて入力デバイス１６からの操作指示の入力を受け付ける。

制御装置１２は、ネットワーク１７を介してデータセンタ１８の画像蓄積サーバ１９と相互に通信可能に接続されている。ネットワーク１７は、インターネットや公衆通信網といったＷＡＮ（Wide Area Network）等である。ネットワーク１７には、情報セキュリティを考慮して、ＶＰＮ（Virtual Private Network）が構築されたり、ＨＴＴＰＳ（Hypertext Transfer Protocol Secure)等のセキュリティレベルの高い通信プロトコルが使用されている。

画像蓄積サーバ１９は、医療施設１３で取得した患者の様々な医療画像を蓄積し、かつ医療画像を医療施設１３に配信する。医療画像には、ＣＴ（Computed Tomography）スキャン画像を画像処理により再構成した三次元ボリュームレンダリング画像（以下、３Ｄ画像）４０（図３参照）等が含まれる。医療画像は、個々の患者を識別するための患者ＩＤ（Identification Data）、個々の医療画像を識別するための画像ＩＤ、あるいは医療画像を撮影したモダリティの種類、撮影日時等を検索キーとして検索が可能である。

画像蓄積サーバ１９は、医療施設１３からの検索キーを含む配信要求に応じて検索キーに対応する医療画像を検索し、検索した医療画像を医療施設１３に配信する。なお、図１では１つの医療施設１３だけが画像蓄積サーバ１９に接続されているが、実際には画像蓄積サーバ１９は複数の医療施設１３と接続され、複数の医療施設１３の医療画像を集積管理している。

図２において、ＨＭＤ１１は、本体部２５とバンド部２６とで構成される。本体部２５はＨＭＤ１１の装着時にユーザ１４の眼前に位置する。バンド部２６はＨＭＤ１１の装着時にユーザ１４の頭部の上半部に固定される。

本体部２５は、保護枠２７、スクリーン２８、およびカメラ２９を備えている。保護枠２７はユーザ１４の両眼全体を覆うゴーグル形状を有し、透明な色付きのガラスまたはプラスチックで形成される。図示は省略するが、保護枠２７のユーザ１４の顔面と接触する部分にはウレタンフォームが貼り付けられている。

スクリーン２８およびカメラ２９は、保護枠２７の内側に配されている。スクリーン２８は眼鏡形状を有し、保護枠２７と同様に透明な材料で形成される。このスクリーン２８と保護枠２７を通じて、ユーザ１４は現実空間ＲＳ（図４参照）を肉眼で視認する。つまりＨＭＤ１１は透過型である。

また、ユーザ１４の眼と対向するスクリーン２８の内面には、コンピュータグラフィックスを用いた仮想画像が投影部（図示せず）から投影表示される。投影部は周知のように、仮想画像を表示する液晶等の表示素子と、表示素子に表示された仮想画像をスクリーン２８の内面に向けて投影する投影光学系とで構成される。仮想画像はスクリーン２８の内面で反射してユーザ１４の眼に入射する。これにより、ユーザ１４は仮想画像を仮想空間ＶＳ（図４参照）上の虚像として認識する。

仮想画像には、拡張現実空間ＡＲＳ（図３参照）において、現実空間ＲＳに存在する実在オブジェクトと同じようにユーザ１４が認識する仮想オブジェクトと、拡張現実空間ＡＲＳにおいてユーザ１４が仮想的に操作する仮想ＵＩとがある。仮想オブジェクトは、例えば患者の上半身の３Ｄ画像４０である。３Ｄ画像４０は、例えば皮膚は肌色、骨は灰色、肝臓は赤褐色等の色付けがなされている。仮想ＵＩは、例えば数値設定の操作に用いられる数値設定用ＵＩの一種であるスライドバー４５（図５参照）である。ユーザ１４は、仮想ＵＩを操作するために、自らの手３８（図３参照）を用いたジェスチャーを行う。

カメラ２９は、例えばＨＭＤ１１の装着時にユーザ１４の眉間と対向する本体部２５の上部中央に設けられている。カメラ２９は、ユーザ１４がＨＭＤ１１を通じて認識する拡張現実空間ＡＲＳとほぼ同じ視野を所定のフレームレート（例えば３０フレーム／秒）で撮像する。カメラ２９は、撮像画像を逐次制御装置１２に送信する。仮想ＵＩに対するユーザ１４の手３８を用いたジェスチャーは、このカメラ２９の視野内で行われる。なお、ここでは透過型のＨＭＤ１１を例示したが、カメラ２９から出力された現実空間ＲＳの撮像画像に仮想画像を重畳してスクリーン２８の内面に投影表示する非透過型のＨＭＤを用いてもよい。

本体部２５にはケーブル３０の一端が接続されている。ケーブル３０の他端は制御装置１２に接続されている。ＨＭＤ１１は、このケーブル３０を介して制御装置１２と通信する。なお、ＨＭＤ１１と制御装置１２との間の通信を、ケーブル３０を用いた有線通信ではなく無線通信としてもよい。

バンド部２６は数センチ程度の幅を有する帯状の紐であり、横バンド３１と縦バンド３２とで構成される。横バンド３１は、ユーザ１４の両側頭部と後頭部に巻き付けられる。縦バンド３２はユーザ１４の前頭部、頭頂部、および後頭部に巻き付けられる。これら横バンド３１および縦バンド３２には図示しないバックルが取り付けられており、長さ調節が可能である。

図３は、医療施設１３の手術室３５にユーザ１４Ａ〜１４Ｃが集まり、手術予定の患者（以下、対象患者）の手術方針を検討するカンファレンスを開いている様子を示す。ユーザ１４Ａ〜１４Ｃは、ＨＭＤ１１Ａ〜１１Ｃを通じて、それぞれ拡張現実空間ＡＲＳ−Ａ、ＡＲＳ−Ｂ、ＡＲＳ−Ｃを認識している。なお、図３では制御装置１２やケーブル３０の図示を省略している。

手術室３５には手術台３７が設置されている。ユーザ１４Ａは手術台３７の一方の長辺のほぼ中央、ユーザ１４Ｂは手術台３７の一方の短辺、ユーザ１４Ｃは手術台３７の他方の短辺（ユーザ１４Ｂの反対側）にそれぞれ立っている。ユーザ１４Ａは手術台３７に手３８Ａを向けて、対象患者の病状等についてユーザ１４Ｂ、１４Ｃに説明を行っている。なお、以下では、ＨＭＤ１１およびユーザ１４と同様に、ユーザ１４Ａ〜１４Ｃのそれぞれの手３８Ａ、３８Ｂ、３８Ｃをまとめて手３８と表記する場合がある。

手術台３７にはマーカー３９が載置されている。マーカー３９は、例えば正方形の枠に白黒の規則的なパターンと上下左右の識別を可能とする識別線が描かれたシートである。マーカー３９は、現実空間ＲＳにおける仮想オブジェクトの出現位置を示す。つまり、仮想オブジェクトは、現実空間ＲＳに存在するマーカー３９上に表示位置が固定されている。

図３では、マーカー３９上に、対象患者の上半身の仰向けの３Ｄ画像４０が仮想オブジェクトとして表示された状態を示している。３Ｄ画像４０は、その体軸が手術台３７の長辺に沿い、かつ頸部がユーザ１４Ｂ側、腰部がユーザ１４Ｃ側となるように配置される。拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃでは、マーカー３９は３Ｄ画像４０によって隠されて表示されない。

ユーザ１４Ａ〜１４Ｃは、３Ｄ画像４０に対して、仮想的なメスを用いて開腹手術を施したり、皮膚や皮下組織、骨の層を透過させて手術予定の患部を直接視認可能としたり等、様々な処理を施す。この３Ｄ画像４０に対する処理は、同時に複数のユーザ１４が実施すると混乱を来すため、例えば、処理権限を与えられた１人のユーザ１４（ここではユーザ１４Ａ）が代表して実施する。なお、現実空間ＲＳにおいては、手術台３７には３Ｄ画像４０は存在せず、マーカー３９のみが載置されているため、手術台３７上では３Ｄ画像４０を破線で示し、マーカー３９を実線で示している。

３Ｄ画像４０の現実空間ＲＳにおける表示位置がマーカー３９上に固定され、かつユーザ１４Ａ〜１４Ｃの立ち位置が異なるため、ユーザ１４Ａ〜１４Ｃがそれぞれ認識する拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃにおける３Ｄ画像４０の見え方が異なる。具体的には、ユーザ１４Ａは、３Ｄ画像４０の右半身が手前側、頸部が左側に見える。ユーザ１４Ｂは、３Ｄ画像４０の頸部が手前側、腰部が奥側に見える。ユーザ１４Ｃは反対に、３Ｄ画像４０の腰部が手前側、頸部が奥側に見える。

また、例えばユーザ１４がマーカー３９に近付くと、近付くにつれて３Ｄ画像４０が拡大表示され、逆にマーカー３９から遠ざかると、遠ざかるにつれて３Ｄ画像４０が縮小表示される。このように、３Ｄ画像４０の表示は、ＨＭＤ１１（ユーザ１４）とマーカー３９との三次元的な位置関係に応じて変更される。

なお、当然ではあるが、現実空間ＲＳの実在オブジェクトである手術台３７やユーザ１４Ａの手３８Ａ等も、ユーザ１４Ａ〜１４Ｃがそれぞれ認識する拡張現実空間ＡＲＳ−Ａ〜ＡＲＳ−Ｃにおける見え方が異なる。例えばユーザ１４Ａの手３８Ａの見え方は、ユーザ１４Ａは手前側に見え、ユーザ１４Ｂは右側に見え、ユーザ１４Ｃは反対に左側に見える。

図４に、一例としてユーザ１４Ａが認識する拡張現実空間ＡＲＳ−Ａの成り立ちを示す。ユーザ１４Ａは、ＨＭＤ１１のスクリーン２８と保護枠２７を通じて、手術台３７、ユーザ１４Ａの手３８Ａ、およびマーカー３９が存在する現実空間ＲＳ−Ａを視認する。加えて、ユーザ１４Ａは、スクリーン２８の内面を通じて、３Ｄ画像４０が存在する仮想空間ＶＳ−Ａを視認する。これにより、ユーザ１４Ａは、現実空間ＲＳ−Ａと仮想空間ＶＳ−Ａを融合させた拡張現実空間ＡＲＳ−Ａを認識する。

３Ｄ画像４０に対して様々な処理を施す場合、例えば３Ｄ画像４０の表示明るさや、皮膚等の層の透過率を変更する等、何かと数値を設定する場面が多い。本実施形態では、こうした数値の設定の際に、仮想ＵＩとして図５に示すスライドバー４５を用いる。

スライドバー４５は、左端に下限値、右端に上限値が配された横棒状のバー４６と、バー４６上でスライド操作されるスライダ４７とで構成される。スライダ４７の下部には、現在設定されている数値が表示される。図５では、下限値は０、上限値は１００、現在設定されている数値は５０である。バー４６は設定可能な数値の範囲を示す範囲表示部に相当し、スライダ４７は現在設定されている数値を指し示す数値指示部に相当する。

スライドバー４５は、現実空間ＲＳに存在するマーカー３９上に表示位置が固定されている３Ｄ画像４０とは異なり、仮想空間ＶＳ内の所定位置に表示位置が固定されている。このため、拡張現実空間ＡＲＳにおいては、スライドバー４５は常に同じ位置に同じ大きさで表示される。

図６において、制御装置１２は、前述のディスプレイ１５および入力デバイス１６に加えて、ストレージデバイス５０、メモリ５１、ＣＰＵ（Central Processing Unit）５２、および通信部５３を備えている。これらはデータバス５４を介して相互接続されている。

ストレージデバイス５０は、制御装置１２に内蔵、またはケーブルあるいはネットワークを通じて接続されたハードディスクドライブ、もしくはハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス５０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム、およびこれらのプログラムに付随する各種データ等が記憶されている。スライドバー４５をはじめとする仮想ＵＩも、ストレージデバイス５０に記憶されている。

メモリ５１は、ＣＰＵ５２が処理を実行するためのワークメモリである。ＣＰＵ５２は、ストレージデバイス５０に記憶されたプログラムをメモリ５１へロードして、プログラムにしたがった処理を実行することにより、制御装置１２の各部を統括的に制御する。通信部５３は、ＨＭＤ１１および画像蓄積サーバ１９との間の各種データの通信を担う。

図７において、ストレージデバイス５０には作動プログラム６０が記憶されている。作動プログラム６０は、制御装置１２を構成するコンピュータを、ＨＭＤ１１の制御装置として機能させるためのアプリケーションプログラムである。ストレージデバイス５０には、作動プログラム６０の他に、第１対応情報６１（図８参照）、第２対応情報６２、および第３対応情報６３（図９参照）が記憶されている。

作動プログラム６０が起動されると、ＣＰＵ５２は、メモリ５１等と協働して、撮像画像取得部６５、３Ｄ画像取得部６６、検出部６７、処理部６８、および表示制御部６９として機能する。

撮像画像取得部６５は、ＨＭＤ１１のカメラ２９から所定のフレームレートで逐次送信される撮像画像を取得する。撮像画像取得部６５は、取得した撮像画像を検出部６７に出力する。

３Ｄ画像取得部６６は、対象患者の３Ｄ画像４０の配信要求を画像蓄積サーバ１９に発行する。また、３Ｄ画像取得部６６は、配信要求に応じて画像蓄積サーバ１９から送信された対象患者の３Ｄ画像４０を取得する。３Ｄ画像取得部６６は、取得した３Ｄ画像４０を処理部６８の３Ｄ画像編集部７５に出力する。なお、配信要求に含まれる３Ｄ画像４０の検索キーは、入力デバイス１６を介して入力される。

検出部６７は、撮像画像取得部６５からの撮像画像に基づいた各種検出を行う。検出部６７は、第１検出部７０、第２検出部７１、および第３検出部７２を有する。

第１検出部７０は、ユーザ１４の手３８を用いた第１ジェスチャーを検出する第１検出機能を担う。第１ジェスチャーは、スライドバー４５で数値を設定するためのジェスチャーである。

第１検出部７０は、周知の画像認識技術を用いて撮像画像内の手３８を認識し、認識した手３８の位置を所定フレーム毎に比較して、手３８の移動方向を検出する。そして、検出した手３８の移動方向が第１ジェスチャーであるか否かを、第１対応情報６１を参照して判定する。第１検出部７０は、第１ジェスチャーであると判定した場合、第１ジェスチャーの情報（以下、第１ジェスチャー情報）を、処理部６８の数値変更部７３に出力する。第１ジェスチャー情報は、具体的には手３８の移動方向および移動量である。

第２検出部７１は、ユーザ１４の手３８を用いた第２ジェスチャーを検出する第２検出機能を担う。第２ジェスチャーは、スライドバー４５で数値を設定する際のモードを切り替えるためのジェスチャーである。モードには粗調整モードと微調整モードとがある。粗調整モードは、スライドバー４５の設定可能な数値の範囲が第１の範囲で、かつ数値の単位変動幅が第１の変動幅のモードである。微調整モードは、範囲が第１の範囲と比較して狭い第２の範囲で、かつ単位変動幅が第１の変動幅と比較して狭い第２の変動幅のモードである。

第２検出部７１は、第１検出部７０と同じく、周知の画像認識技術を用いて撮像画像内の手３８を認識し、認識した手３８の位置を所定フレーム毎に比較して、手３８の移動方向を検出する。そして、検出した手３８の移動方向が第２ジェスチャーであるか否かを、第１対応情報６１を参照して判定する。第２検出部７１は、第２ジェスチャーであると判定した場合、第２ジェスチャーの情報（以下、第２ジェスチャー情報）を、処理部６８のモード切替部７４に出力する。第２ジェスチャー情報は、具体的には手３８の移動方向である。

第３検出部７２も他の検出部７０、７１と同じく、周知の画像認識技術を用いて撮像画像内のマーカー３９を認識する。そして、撮像画像内におけるマーカー３９を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を検出し、これらと第２対応情報６２とに基づいて、マーカー３９に対するＨＭＤ１１（ユーザ１４の眼）の三次元的な位置を検出する。第３検出部７２は、検出した位置の情報（以下、位置情報）を、処理部６８の３Ｄ画像編集部７５に出力する。

位置情報は、例えばマーカー３９の中心を原点とする三次元空間におけるＨＭＤ１１の位置座標である。また、第２対応情報６２は、マーカー３９の中心を原点とする三次元空間におけるＨＭＤ１１の位置座標を求めるための計算式である。この計算式は、例えば、撮像画像内におけるマーカー３９を構成する正方形の辺の長さ、角度、上下左右の識別を可能とする識別線の描かれた位置を変数とする。なお、マーカー３９の中心を原点とする三次元空間とは、マーカー３９の中心を原点とし、マーカー３９が置かれた平面（この場合は手術台３７の上面）をＸＹ平面、マーカー３９が置かれた平面に垂直な軸をＺ軸とする三次元空間である。

検出部６７は、第１ジェスチャーを検出する第１検出部７０、および第２ジェスチャーを検出する第２検出部７１の他にも、第１ジェスチャーおよび第２ジェスチャー以外のジェスチャー、例えば数値設定終了の指示のジェスチャーを検出する検出部をもつ。

処理部６８は、検出部６７からの各種情報に基づいた各種処理を実施する。処理部６８は、数値変更部７３、モード切替部７４、および３Ｄ画像編集部７５を有する。

数値変更部７３は、第１検出部７０からの第１ジェスチャー情報に応じて、第３対応情報６３に基づき、スライドバー４５の数値を変更する数値変更機能を担う。数値変更部７３は、数値の情報（以下、数値情報）を表示制御部６９に出力する。

モード切替部７４は、第２検出部７１からの第２ジェスチャー情報に応じて、スライドバー４５で数値を設定する際のモードを粗調整モードと微調整モードとに切り替えるモード切替機能を担う。モード切替部７４は、モードの情報（以下、モード情報）を数値変更部７３と表示制御部６９に出力する。

３Ｄ画像編集部７５は、第３検出部７２からの位置情報に応じて、３Ｄ画像取得部６６からの３Ｄ画像４０を編集する。より詳しくは、３Ｄ画像編集部７５は、位置情報で示されるＨＭＤ１１の位置から見た場合の向きおよび大きさとなるよう、３Ｄ画像４０に回転処理および拡縮処理を施す。位置情報はユーザ１４Ａ〜１４Ｃ毎に出力される。３Ｄ画像編集部７５は、ユーザ１４Ａ〜１４Ｃ毎の位置情報に基づいて、ユーザ１４Ａ〜１４Ｃ毎に対応する３Ｄ画像４０を編集する。３Ｄ画像編集部７５は、編集した３Ｄ画像４０を表示制御部６９に出力する。

なお、処理部６８も、検出部６７と同様に、第１ジェスチャーおよび第２ジェスチャー以外のジェスチャーに応じた様々な処理を施す処理部をもつ。

表示制御部６９は、仮想画像、すなわち仮想オブジェクトとしての３Ｄ画像４０、並びに仮想ＵＩとしてのスライドバー４５のＨＭＤ１１への表示を制御する表示制御機能を担う。表示制御部６９は、３Ｄ画像編集部７５から受け渡された３Ｄ画像４０をＨＭＤ１１に出力する。また、表示制御部６９は、ストレージデバイス５０から読み出したスライドバー４５をＨＭＤ１１に出力する。

図８において、第１対応情報６１は、ユーザ１４の手３８の移動方向とジェスチャーの種別の対応関係を示すものである。ここでは、手３８の移動方向が左方向および右方向の場合は第１ジェスチャーに対応し、手３８の移動方向が上方向および下方向の場合は第２ジェスチャーに対応する。

左側の４コマのイラストは、それぞれの方向に移動させた場合のカメラ２９の撮像画像に写る手３８の軌跡であり、破線が移動前の手３８、実線が移動後の手３８をそれぞれ示す。上から順に、手３８を左方向に移動させた場合、右方向に移動させた場合、上方向に移動させた場合、下方向に移動させた場合である。上方向は手３８を下側から上側に引き上げる方向であり、下方向は逆に手３８を上側から下側に引き下げる方向である。

ここで、左方向および右方向は、第１方向および第１方向とは反対の第２方向に相当し、上方向および下方向は、第１方向とは異なる第３方向、および第２方向とは異なり、かつ第３方向とは反対の第４方向に相当する。そして、手３８を右方向および左方向に移動させるジェスチャーが第１および第２方向ジェスチャーに相当し、手３８を上方向および下方向に移動させるジェスチャーが第３および第４方向ジェスチャーに相当する。

図９において、第３対応情報６３は、粗調整モードおよび微調整モードの各モードと、設定可能な数値の範囲、並びに数値の単位変動幅との対応関係を示すものである。単位変動幅は、手３８の単位移動量に対する数値の変動幅である。粗調整モードには、範囲として設定可能な全範囲（第１の範囲に相当）、単位変動幅として±１０（第１の変動幅に相当）が対応付けられている。一方、微調整モードには、範囲として設定可能な全範囲の１／５（第２の範囲に相当）、単位変動幅として±１（第２の変動幅に相当）が対応付けられている。

このため、例えば設定可能な全範囲が０〜１００であった場合、微調整モードでは、その１／５の２０の範囲で、かつ粗調整モードで設定されていた数値を中央値とする範囲が設定可能な数値の範囲とされる。例えば設定可能な全範囲が０〜１００で、粗調整モードで設定されていた数値が５０であった場合は、微調整モードでは４０〜６０が設定可能な数値の範囲とされる。また、粗調整モードで数値が±１０変動する同じ手３８の移動量に対して、微調整モードでは数値が±１変動する。

図１０に示すように、数値変更部７３は、第１検出部７０からの第１ジェスチャー情報で示される手３８の移動方向が左方向であった場合は数値を減じる。逆に手３８の移動方向が右方向であった場合は、図１１に示すように数値を増加させる。また、数値変更部７３は、第１検出部７０からの第１ジェスチャー情報で示される手３８の移動量に応じて、モードに対応した単位変動幅で数値を変更する。例えば微調整モードにおいて、手３８の移動量が単位移動量の２倍であった場合は、数値を±２変更する。なお、数値設定の初期段階においては、設定可能な全範囲の中央値（例えば設定可能な全範囲が０〜１００の場合は５０）が設定される。

手３８の左右方向の移動が止まった場合は、当然ながら第１検出部７０は第１ジェスチャーを検出せず、したがって数値変更部７３は数値を変更しない。また、手３８の左右方向の移動が止まった場合は、それまでバー４６上を移動していたスライダ４７も停止する。

図１２に示すように、モード切替部７４は、第２検出部７１からの第２ジェスチャー情報で示される手３８の移動方向が上方向で、かつ手３８の移動前のモードが粗調整モードであった場合、モードを微調整モードに切り替える。逆に手３８の移動方向が下方向で、かつ手３８の移動前のモードが微調整モードであった場合は、図１３に示すようにモードを粗調整モードに切り替える。なお、数値設定の初期段階においては、粗調整モードが設定される。

表示制御部６９は、例えば皮膚等の層の透過率を変更する際に、スライドバー４５として、図１４に示す粗調整モード用の粗調整スライドバー４５Ａと、図１５に示す微調整モード用の微調整スライドバー４５Ｂの２種類をＨＭＤ１１に表示させる。粗調整スライドバー４５Ａは粗調整インターフェースに相当し、微調整スライドバー４５Ｂは微調整インターフェースに相当する。

図１４において、粗調整スライドバー４５Ａは、符号にＡが添えられている以外は図５に示すスライドバー４５と同じである。粗調整スライドバー４５Ａは粗調整モードの場合にＨＭＤ１１に表示される。粗調整スライドバー４５Ａのバー４６Ａで表される設定可能な範囲は、第３対応情報６３で規定された設定可能な全範囲である。なお、ここでは皮膚等の層の透過率を変更する場合を例示しているので、設定可能な全範囲は０（％）〜１００（％）である。

図１５において、微調整スライドバー４５Ｂは、基本的な構成は粗調整スライドバー４５Ａと同じであるが、バー４６Ｂで表される設定可能な範囲が異なり、第３対応情報６３で規定された設定可能な全範囲の１／５（この場合は４０〜６０）となっている。微調整スライドバー４５Ｂは微調整モードの場合にＨＭＤ１１に表示される。

図１６に、粗調整モードにおいて、拡張現実空間ＡＲＳに粗調整スライドバー４５Ａが出現している様子を示す。一方、図１７には、微調整モードにおいて、拡張現実空間ＡＲＳに微調整スライドバー４５Ｂが出現している様子を示す。このように、表示制御部６９は、モード切替部７４からのモード情報に応じて、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを選択的にＨＭＤ１１に表示させる。また、図１８に示すように、表示制御部６９は、拡張現実空間ＡＲＳにおいて、微調整スライドバー４５Ｂを粗調整スライドバー４５Ａ（破線で示す）よりも手前側に拡大して表示させる。

図１９は、今まさにユーザ１４が手３８を右方向に動かして、粗調整スライドバー４５Ａで数値を設定している様子を示す。この場合、表示制御部６９は、数値変更部７３からの数値情報に応じて、スライダ４７Ａの表示位置を変更する。ここでは、粗調整スライドバー４５Ａにユーザ１４の手３８が触れていない状態でスライダ４７Ａの表示位置を変更している。すなわち、第１検出部７０は、拡張現実空間ＡＲＳにおいて、ユーザ１４の手３８が粗調整スライドバー４５Ａに触れていない状態で、第１ジェスチャーを検出する。微調整スライドバー４５Ｂの場合も同様である。

また、拡張現実空間ＡＲＳにおいて、このスライドバー４５にユーザ１４の手３８が触れていない状態で、第２検出部７１は、図１２および図１３で示した第２ジェスチャーを検出する。なお、これとは逆に、ユーザ１４の手３８がスライドバー４５に触れているような位置にある場合のみ、第１ジェスチャーおよび第２ジェスチャーを検出してもよい。

表示制御部６９は、スライダ４７Ａに対して、ハッチングで示すように第１ジェスチャーを検出していない場合（停止中）とは異なる色付けをする。例えば第１ジェスチャーを検出していない場合は青色、第１ジェスチャーを検出している場合（移動中）は橙色を色付けする。このように、表示制御部６９は、第１ジェスチャーを検出している場合としていない場合とでスライダ４７Ａの表示態様を異ならせる。なお、図１９では粗調整スライドバー４５Ａを例に挙げたが、微調整スライドバー４５Ｂについても同様に、数値情報に応じてスライダ４７Ｂの表示位置を変更し、図２０に示すように第１ジェスチャーを検出している場合としていない場合とでスライダ４７Ｂの表示態様を異ならせる。なお、色を異ならせる方法に代えて、あるいは加えて、スライダ４７の明るさや色の濃度を異ならせてもよく、移動中はスライダ４７を明滅させ、停止中は明滅を止めたりしてもよい。

また、表示制御部６９は、微調整スライドバー４５Ｂにおいて数値が範囲の上限値または下限値に達した後、さらに第１ジェスチャーが検出された場合、バー４６Ｂの範囲の表示を変更する。

より具体的には図２１の上部に示すように、手３８を右方向に移動させて、微調整スライドバー４５Ｂで数値を設定していた場合に、スライダ４７Ｂが範囲の上限値である６０に達し、さらに図２１の下部に示すように手３８が右方向に移動された場合、バー４６Ｂの範囲の表示を「４０〜６０」から「５０〜７０」に変更する。一方、図２２の上部に示すように、手３８を左方向に移動させて、微調整スライドバー４５Ｂで数値を設定していた場合に、スライダ４７Ｂが範囲の下限値である４０に達し、さらに図２２の下部に示すように手３８が左方向に移動された場合、バー４６Ｂの範囲の表示を「４０〜６０」から「３０〜５０」に変更する。

以下、上記構成による作用について、図２３および図２４のフローチャートを参照して説明する。まず、ユーザ１４Ａ〜１４Ｃは、カンファレンスを開くために手術室３５に集まり、ＨＭＤ１１Ａ〜１１Ｃを頭部に装着する。そして、手術台３７の所望の位置にマーカー３９を載置する。次いで、制御装置１２の入力デバイス１６を操作し、対象患者の３Ｄ画像４０の配信要求を画像蓄積サーバ１９に送信する。これにより、画像蓄積サーバ１９から制御装置１２に対象患者の３Ｄ画像４０が配信される。

図２３に示すように、制御装置１２において、対象患者の３Ｄ画像４０は３Ｄ画像取得部６６で取得される（ステップＳ１０）。３Ｄ画像４０は表示制御部６９を介してＨＭＤ１１に表示される（ステップＳ１１）。

ユーザ１４は、例えば患部を詳細に把握するために３Ｄ画像４０に近付いたり、全体像を把握するために３Ｄ画像４０から遠ざかったりする。あるいは、ユーザ１４は、患部を違った角度から観察するために、顔の向きや立ち位置を変える。また、ユーザ１４は、手３８を用いたジェスチャーで、３Ｄ画像４０に対して様々な処理を施す。

制御装置１２では、撮像画像取得部６５で取得したカメラ２９の撮像画像に基づいて、ＨＭＤ１１の位置、およびジェスチャーが検出部６７で検出される（ステップＳ１２）。そして、検出結果に応じた処理が処理部６８で施される（ステップＳ１３）。例えば第３検出部７２でマーカー３９に対するＨＭＤ１１の三次元的な位置が検出され、その検出結果である位置情報に応じて、３Ｄ画像編集部７５で３Ｄ画像４０が編集される。

これらステップＳ１１〜Ｓ１３の各処理は、入力デバイス１６を介してカンファレンス終了の指示が入力されるまで（ステップＳ１４でＹＥＳ）繰り返し続けられる。

図２４のフローチャートは、スライドバー４５を用いて数値を設定する場合の処理手順を示す。まず、ステップＳ１００に示すように、表示制御部６９により粗調整スライドバー４５ＡがＨＭＤ１１に表示される（表示制御ステップ）。ユーザ１４は、所望の数値を設定するために、手３８を用いたジェスチャーをカメラ２９の視野内で行う。

図１６に示すように粗調整スライドバー４５ＡがＨＭＤ１１に表示された状態で、図１０または図１１に示すように第１ジェスチャーが第１検出部７０で検出された場合（ステップＳ１１０でＹＥＳ、第１検出ステップ）、第１ジェスチャー情報が数値変更部７３に出力される。数値変更部７３は、第１ジェスチャー情報に応じて、粗調整スライドバー４５Ａの数値を変更する（ステップＳ１２０、数値変更ステップ）。また、数値変更部７３からの数値情報に応じて、表示制御部６９によりスライダ４７Ａの表示位置が変更される。

図１６に示すように粗調整スライドバー４５ＡがＨＭＤ１１に表示された状態で、図１２に示すように手３８を上方向に移動させる第２ジェスチャーが第２検出部７１で検出された場合（ステップＳ１３０でＹＥＳ、第２検出ステップ）、第２ジェスチャー情報がモード切替部７４に出力される。そして、モード切替部７４から表示制御部６９に、モードを粗調整モードから微調整モードに切り替えるモード情報が出力される。これにより、図１７に示すように、粗調整スライドバー４５Ａに代えて微調整スライドバー４５ＢがＨＭＤ１１に表示される（ステップＳ１４０、モード切替ステップ、表示制御ステップ）。

図１７に示すように微調整スライドバー４５ＢがＨＭＤ１１に表示された状態で、図１０または図１１に示すように第１ジェスチャーが第１検出部７０で検出された場合（ステップＳ１５０でＹＥＳ、第１検出ステップ）、ステップＳ１２０と同様にして、微調整スライドバー４５Ｂの数値が変更される（ステップＳ１６０、数値変更ステップ）。また、数値変更部７３からの数値情報に応じて、表示制御部６９によりスライダ４７Ｂの表示位置が変更される。

図１７に示すように微調整スライドバー４５ＢがＨＭＤ１１に表示された状態で、図１３に示すように手３８を下方向に移動させる第２ジェスチャーが第２検出部７１で検出された場合（ステップＳ１７０でＹＥＳ、第２検出ステップ）、第２ジェスチャー情報がモード切替部７４に出力される。そして、モード切替部７４から表示制御部６９に、モードを微調整モードから粗調整モードに切り替えるモード情報が出力される。これにより、図１６に示すように、微調整スライドバー４５Ｂに代えて粗調整スライドバー４５ＡがＨＭＤ１１に再表示される（ステップＳ１００、モード切替ステップ、表示制御ステップ）。

ここで、図２１または図２２に示すように、手３８を右方向または左方向に移動させて、微調整スライドバー４５Ｂで数値を設定していた場合に、スライダ４７Ｂが範囲の上限値または下限値に達し、さらに手３８が右方向または左方向に移動された場合、バー４６Ｂの範囲の表示が変更される。

これら一連の処理は、ユーザ１４から数値設定終了の指示があるまで（ステップＳ１８０またはステップＳ１９０でＹＥＳ）、繰り返し続けられる。なお、数値設定終了の指示は、第１ジェスチャーおよび第２ジェスチャーとは異なる、例えば親指と人差し指で輪を作るといったジェスチャーにより行われる。

設定可能な範囲が第１の範囲である、または／および数値の単位変動幅が第１の変動幅である粗調整モードと、範囲が第１の範囲と比較して狭い第２の範囲である、または／および単位変動幅が第１の変動幅と比較して狭い第２の変動幅である微調整モードとを切り替えるので、ユーザ１４は、粗調整モードで所望の数値に近い数値を粗く設定した後、微調整モードに切り替えて詳細に所望の数値を設定することができる。したがって、仮想ＵＩとしてのスライドバー４５を用いた数値の設定を素早く正確に行うことが可能となる。

仮想ＵＩとしてのスライドバー４５は、触覚的な操作感が掴みにくく、デリケートな操作がしづらいという問題がある。このため、本発明の数値の設定を素早く正確に行うことが可能となるという効果は、非仮想ＵＩの場合と比較して非常に大きい。

数値を設定するための第１ジェスチャーは、手３８を左方向および右方向に移動させるジェスチャーであり、モードを切り替えるための第２ジェスチャーは、手３８を上方向および下方向に移動させるジェスチャーである。このためジェスチャーがシンプルで、また方向が左右方向と上下方向で直交していて異なるので第１ジェスチャーと第２ジェスチャーを混同することもない。

また、第１ジェスチャーの方向とスライダ４７の移動方向とを左右方向と一致させている。また、手３８の上方向の移動を、設定可能な範囲が狭まる微調整モードへの切り替えに対応させ、下方向の移動を、設定可能な範囲が広がる粗調整モードへの切り替えに対応させている。このため、ユーザ１４は直感的な操作が可能となる。

粗調整モードでは粗調整スライドバー４５Ａを、微調整モードでは微調整スライドバー４５Ｂを選択的にＨＭＤ１１に表示させるので、ユーザ１４は表示されているスライドバー４５を見れば現在のモードがいずれかがすぐに分かる。そのうえ、拡張現実空間ＡＲＳにおいて、微調整スライドバー４５Ｂを粗調整スライドバー４５Ａよりも手前側に拡大して表示させるので、微調整モードであることがよりはっきりと分かる。また、粗調整スライドバー４５Ａから微調整スライドバー４５Ｂに表示が切り替わったことが視覚的に分かりやすい。

図２１および図２２に示したように、微調整スライドバー４５Ｂにおいて数値が範囲の上限値または下限値に達した後、さらに第１ジェスチャーが検出された場合、バー４６Ｂの範囲の表示を変更するので、所望の数値が上限値または下限値に近い数値の場合は、わざわざ粗調整モードに戻って粗調整スライドバー４５Ａで数値の設定をやり直す必要がなく、微調整スライドバー４５Ｂで数値の設定を済ませることができる。

第１ジェスチャーを検出している場合（移動中）としていない場合（停止中）とでスライダ４７の表示態様を異ならせるので、ユーザ１４はスライダ４７の表示態様で数値の設定中か否かを判断することができる。

なお、設定可能な数値の範囲および数値の単位変動幅の両方を各モードで変更しているが、これら範囲および単位変動幅のうちの少なくとも一方が各モードで変更されていればよい。具体的には、変動幅は各モードで同じ±１として範囲を変更してもよいし、あるいは、範囲は各モードで同じ設定可能な全範囲として変動幅を変更してもよい。

図１９等で示したように、ユーザ１４の手３８がスライドバー４５に触れていない状態で、第１検出部７０および第２検出部７１で第１ジェスチャーおよび第２ジェスチャーを検出するので、実際に触れた感覚がないという仮想ＵＩのデメリットを打ち消す効果がある。

スライドバー４５の操作には、デリケートな操作が要求される。それゆえ、ユーザ１４の手３８がスライドバー４５に触れているような位置にある場合のみ、第１ジェスチャーおよび第２ジェスチャーを検出する態様にしてしまうと、ユーザ１４は、逆に実際に手が触れている感覚がないことによる違和感で、操作のしづらさや不満を感じやすい。しかし、敢えてユーザ１４の手３８がスライドバー４５に触れていない状態であっても第１ジェスチャーおよび第２ジェスチャーを検出して操作を可能とすることで、このユーザ１４が不満を感じるという心理的な問題を解決することができる。

ただし、ユーザ１４の手３８がスライドバー４５に触れていない状態で仮想ＵＩを操作できるようにした場合においても、その実現方法によっては、手が触れていない状態で操作することに対して直感的ではないとユーザ１４が不満を感じる懸念が残る。

例えば、粗調整モードと微調整モードを切り替える切替ボタンと、手３８の動きと連動するポインタとを仮想空間ＶＳに表示し、手３８を動かしてポインタを切替ボタンに移動させて切替ボタンを選択することでモードを切り替える態様を考える。この態様では、手３８の動きとポインタの動作をユーザ１４の頭の中で一致させることにユーザ１４は難しさを感じる。なぜならば、手３８の動きは何の制約もない三次元空間上での動きとなるが、ポインタの動きは仮想空間ＶＳ上の２次元の動きであるためで、一般的なパーソナルコンピュータのように、机上におけるマウスの２次元の動きと画面上のポインタの動きのように一致した関係ではないためである。ユーザ１４は、頭の中で３次元の手３８の動きを２次元での動きとして精緻に感覚でとらえる難しさがある。このため、ポインタを切替ボタンに移動させる操作自体が面倒となり不満を感じてしまう。これは、ユーザ１４の手３８の届く位置に切替ボタンが位置していた場合であっても、手３８の動きとポインタの動きを連動させる操作方法をとる限りは生じる問題である。またさらに、手３８を大きく動かせない等、ユーザ１４の置かれた状況によっては、ポインタを切替ボタンに移動させる操作がしづらいという問題もある。

こうした操作自体の面倒さや操作のしづらさは、ユーザ１４の手３８の届かない位置に切替ボタンが位置していた場合のほうが顕著に発生する。というのは、手３８から離れた遠隔の操作になるほど、手３８の感覚とポインタの連動の感覚に乖離が生じやすいためである。この遠隔操作の態様については、第２実施形態で詳述する。

対して本実施形態では、手３８を上下方向に移動させるという予め決められた比較的シンプルな第２ジェスチャーで、簡単にモードを切り替えることができる。また、第１ジェスチャーについても、ポインタで操作する場合と比較して、予め決められた動作でスライドバー４５を操作することができるため簡便である。このため、ユーザ１４の手３８がスライドバー４５に触れていない状態で操作可能とした場合でも、直感的な操作を実現しているといえる。

［第２実施形態］
上記第１実施形態では、スライドバー４５は仮想空間ＶＳにおける表示位置が固定されているとして説明したが、３Ｄ画像４０と同じく、現実空間ＲＳにおける表示位置が固定されていてもよい。

図２５には、壁８０にマーカー３９を貼り付け、壁８０にスライドバー４５を出現させて、この壁８０に表示されたスライドバー４５に対してユーザ１４が手３８を用いたジェスチャーを行っている様子を示す。こうすれば、ユーザ１４の好きな場所にスライドバー４５を表示させることができ、拡張現実空間ＡＲＳにおいて、ユーザ１４の手３８が物理的に届かない壁８０等の遠隔位置にもスライドバー４５を表示させることができる。

また、スライドバー４５に敢えて手３８が届かない状態となっていることで、実際に触れた感覚がないという仮想ＵＩのデメリットを打ち消す効果もある。スライドバー４５の操作には、デリケートな操作が要求される。それゆえ、もし手３８が届く位置にスライドバー４５がある場合は、ユーザ１４は実際に触れた感覚がないことによる不満を感じやすい。しかし、スライドバー４５に敢えて手３８が届かない状態とすることで、このユーザ１４が不満を感じるという心理的な問題を解決することができる。

なお、手３８が届かない遠隔位置とは、例えば予め設定された成人男性の平均的な腕の長さよりも離れた位置であればよく、手３８が届かない一定の距離をユーザ１４から保った状態でスライドバー４５を表示する場合も含む。

一方で、図２５に示す例のように、拡張現実空間ＡＲＳにおいて、ユーザ１４の手３８が届かない遠隔位置にスライドバー４５を表示させた場合は、ユーザ１４の手３８が届く近接位置にスライドバー４５がある場合よりも、操作感がさらに掴みにくくなり、デリケートな操作もよりしづらくなる。例えば現実空間ＲＳにおけるスライドバー４５の表示位置が固定されていて、かつ手３８の位置にバー４６の位置を合わせる制御をする場合は、スライドバー４５の表示位置からユーザ１４が離れるほどスライドバー４５は小さくなり、手３８を少し動かしただけでもバー４６が大きく動いてしまうので、操作がしづらくなる。したがって、拡張現実空間ＡＲＳにおいて、ユーザ１４の手３８が届かない遠隔位置にスライドバー４５を表示させた場合に本発明を適用すれば、本発明の数値の設定を素早く正確に行うことが可能となるという効果がより威力を発揮する。

［第３実施形態］
上記第１実施形態では、手３８の移動量に応じて数値を変更している。このため、現在設定されている数値とユーザ１４が設定したい数値との差や、手３８の単位移動量に対する数値の変動幅の設定によっては、比較的大きく手３８を移動させなければならない場合がある。この場合、もし手３８を大きく移動させることができないシチュエーションにユーザ１４が置かれていると、数値の設定が困難になる。また、何よりも手３８を大きく移動させることでユーザ１４が疲れてしまう。そこで、図２６および図２７に示す第３実施形態では、少ない手３８の移動量で数値の設定を可能とする。

図２６において、第３実施形態では、カメラ２９の撮像画像を、縦に略三等分した三つの領域８５Ａ、８５Ｂ、８５Ｃに分ける。第１検出部７０は、手３８が真ん中の領域８５Ａにある場合、手３８が基準位置にあると検出する。また、第１検出部７０は、手３８が基準位置から移動した方向を検出する。具体的には、手３８が右側の領域８５Ｂにある場合、手３８が基準位置から右方向へ移動したと検出し、手３８が左側の領域８５Ｃにある場合、手３８が基準位置から左方向へ移動したと検出する。

数値変更部７３は、第１検出部７０で右方向または左方向の一方の方向への手３８の移動が検出されてから、基準位置に手３８が戻ったことが検出されるまで、数値を自動的に変更する。表示制御部６９は、数値変更部７３からの数値情報に応じて、スライダ４７の表示位置を自動的に変更する。

図２７は、一方の方向が右方向であった場合の微調整スライドバー４５Ｂのスライダ４７Ｂの表示位置の変遷を示している。最上段は、手３８が領域８５Ａの基準位置にあり、スライダ４７Ｂが５０を指し示している初期状態を示す。この最上段の状態から、次の段に示すように手３８が領域８５Ｂに移動した場合、第１検出部７０で手３８が基準位置から右方向へ移動したと検出される。そして、第３対応情報６３で規定された単位変動幅で、数値変更部７３で数値が自動的に変更される。また、表示制御部６９によりスライダ４７Ｂが５０から５１の位置に自動的に移動される。

その次の段においても、手３８は依然として領域８５Ｂにある。このため、数値変更部７３による数値の自動変更が継続され、スライダ４７Ｂも５１からさらに５２の位置に自動的に移動される。なお、スライダ４７Ｂは、移動中は上記第１実施形態と同じくハッチングで示すように停止中とは異なる色付けがされる。

最下段は、基準位置に手３８が戻った状態である。この場合、第１検出部７０で手３８が基準位置に戻ったことが検出される。そして、数値変更部７３で数値の自動変更が停止される。また、表示制御部６９によりスライダ４７Ｂが５３の位置で停止される。なお、図示は省略するが、一方の方向が左方向であった場合、およびスライドバー４５が粗調整スライドバー４５Ａであった場合も、図２７と同様にして数値の変更が行われる。

このように、手３８が基準位置にあることと、手３８が基準位置から移動した方向を第１検出部７０で検出し、右方向または左方向の一方の方向への手３８の移動が検出されてから、基準位置に手３８が戻ったことが検出されるまで、数値変更部７３で数値を自動的に変更するので、少ない手３８の移動量で数値の設定が可能となる。このため、手３８を大きく移動させることができないシチュエーションであっても対応することができ、ユーザ１４も疲労を感じなくて済む。なお、基準位置は予め設定されていてもよいし、ユーザ１４が設定してもよい。

［第４実施形態］
上記第１実施形態では、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを選択的に表示させているが、図２８〜図３２に示す第４実施形態では、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを両方同時に表示させる。

図２８において、第４実施形態における第１対応情報９０は、第１ジェスチャーに対応する手３８の移動方向は左方向および右方向で上記第１実施形態の第１対応情報６１と同じである。一方、第２ジェスチャーに対応する手３８の移動方向が上方向および下方向ではなく、前方向および後方向と異なる。左側の４コマのイラストの下の２コマに示すように、前方向は手３８を手前側から前方に差し出す方向であり、後方向は逆に手３８を前方から手前側に引っ込める方向である。

第４実施形態では、前方向および後方向が、第３方向および第４方向に相当する。そして、手３８を前方向および後方向に移動させるジェスチャーが第３および第４方向ジェスチャーに相当する。

図２９に示すように、モード切替部７４は、第２検出部７１からの第２ジェスチャー情報で示される手３８の移動方向が前方向で、かつ手３８の移動前のモードが微調整モードであった場合、モードを粗調整モードに切り替える。また、表示制御部６９は、粗調整スライドバー４５Ａを数値の設定を受け付けるアクティブ状態とし、微調整スライドバー４５Ｂを数値の設定を受け付けない非アクティブ状態とする。逆に手３８の移動方向が後方向で、かつ手３８の移動前のモードが粗調整モードであった場合は、図３０に示すように、モード切替部７４はモードを微調整モードに切り替える。また、表示制御部６９は、粗調整スライドバー４５Ａを非アクティブ状態とし、微調整スライドバー４５Ｂをアクティブ状態とする。なお、数値設定の初期段階においては、上記第１実施形態と同じく粗調整モードが設定される。

図３１に示すように、第４実施形態における拡張現実空間ＡＲＳには、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとが表示制御部６９により両方同時に表示される。第２ジェスチャーの前方向および後方向と対応させるため、粗調整スライドバー４５Ａは奥側に、微調整スライドバー４５Ｂは手前側に表示される。粗調整スライドバー４５Ａと微調整スライドバー４５Ｂは上記第１実施形態と基本的に同じ構成である。ただし、粗調整スライドバー４５Ａのバー４６Ａに、粗調整スライドバー４５Ａ上における微調整スライドバー４５Ｂの設定可能な範囲を示す範囲表示帯９１が表示されている点が異なる。

図３１は微調整モードの場合を示している。この場合、前述のように微調整スライドバー４５Ｂがアクティブ状態で、粗調整スライドバー４５Ａは非アクティブ状態とされる。非アクティブ状態の粗調整スライドバー４５Ａは、破線で示すように表示制御部６９により半透明で表示される。一方、粗調整モードの場合は、粗調整スライドバー４５Ａがアクティブ状態、微調整スライドバー４５Ｂが非アクティブ状態とされ、図３２に示すように微調整スライドバー４５Ｂが半透明で表示される。すなわち、アクティブ状態と非アクティブ状態とで粗調整スライドバー４５Ａと微調整スライドバー４５Ｂの表示態様を異ならせている。

このように、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを両方同時に表示させるので、微調整スライドバー４５Ｂで設定している数値が、粗調整スライドバー４５Ａで示される設定可能な全範囲のいずれの位置にあたるかが一目で分かる。また、アクティブ状態と非アクティブ状態とで粗調整スライドバー４５Ａと微調整スライドバー４５Ｂの表示態様を異ならせるので、アクティブ状態のスライドバー４５がいずれか、ひいては現在のモードがいずれかが分かる。

［第５実施形態］
上記各実施形態では、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂの２種類のスライドバー４５で数値を設定する例を説明したが、図３３〜図３５に示す第５実施形態では、１つのスライドバー４５で数値を設定する。

図３３において、第５実施形態における第１対応情報９５は、第１ジェスチャーに対応する手３８の移動方向は左方向および右方向で上記第１実施形態の第１対応情報６１および上記第４実施形態の第１対応情報９０と同じである。一方、第２ジェスチャーに対応する手３８の移動方向が、左方向から右方向、および右方向から左方向と異なる。

第５実施形態では、左方向および右方向が第１方向および第２方向に相当する。そして、手３８を右方向および左方向に移動させるジェスチャーが第１および第２方向ジェスチャーに相当し、手３８の移動方向を左方向から右方向、および右方向から左方向に切り替えるジェスチャーが切替ジェスチャーに相当する。

図３４に示すように、第５実施形態における第３対応情報９６は、粗調整モードおよび第１、第２の２つの微調整モードの各モードと、切替ジェスチャーの回数、並びに数値の単位変動幅との対応関係を示すものである。

第５実施形態では、１つのスライドバー４５で数値を設定するので、設定可能な範囲は全てのモードで変わらない。このため、第３対応情報９６には、上記第１実施形態の第３対応情報６３のように、設定可能な数値の範囲の項目は設けられておらず、代わりに切替ジェスチャーの回数の項目が設けられている。

粗調整モードには、切替ジェスチャーの回数として０回、単位変動幅として±１０（第１の変動幅に相当）が対応付けられている。一方、第１微調整モードには、切替ジェスチャーの回数として１回、単位変動幅として±５（第２の変動幅に相当）が対応付けられ、第２微調整モードには、切替ジェスチャーの回数として２回以降、単位変動幅として±１（第２の変動幅に相当）が対応付けられている。このため、粗調整モードで数値が±１０変動する同じ手３８の移動量に対して、第１微調整モードでは数値が±５変動し、第２微調整モードでは±１変動する。

図３５は、第５実施形態におけるスライドバー４５のスライダ４７の表示位置の変遷を示している。ここで、スライドバー４５は、設定可能な全範囲がバー４６で表示されたもので、上記各実施形態の粗調整スライドバー４５Ａと同じものである。最上段は、手３８を移動させて数値を設定する前で、スライダ４７が５０を指し示している初期状態を示す。この最上段の状態では切替ジェスチャーの回数は０回であり、モードは粗調整モードである。この最上段の状態から、次の段に示すように手３８が右方向に移動した場合、第１検出部７０で手３８が右方向へ移動したと検出される。そして、数値変更部７３で数値が単位変動幅＋１０で変更される。また、表示制御部６９によりスライダ４７が５０から６０、７０と＋１０ずつ移動される。

数値が７０となったときに、その次の段に示すように手３８が左方向に移動した場合、第２検出部７１で手３８の移動方向が右方向から左方向に切り替えられた、すなわち１回目の切替ジェスチャーが行われたと検出される。これにより、モード切替部７４でモードが粗調整モードから第１微調整モードに切り替えられる。また、第１検出部７０で手３８が左方向へ移動したと検出される。そして、数値変更部７３で数値が単位変動幅−５で変更される。また、表示制御部６９によりスライダ４７が７０から６５と−５ずつ移動される。

数値が６５となったときに、最下段に示すように手３８が再び右方向に移動した場合、第２検出部７１で手３８の移動方向が左方向から右方向に切り替えられた、すなわち２回目の切替ジェスチャーが行われたと検出される。これにより、モード切替部７４でモードが第１微調整モードから第２微調整モードに切り替えられる。また、第１検出部７０で手３８が右方向へ移動したと検出される。そして、数値変更部７３で数値が単位変動幅−１で変更される。また、表示制御部６９によりスライダ４７が６５から６６、６７と＋１ずつ移動される。

このように、切替ジェスチャーの以後における単位変動幅を、切替ジェスチャーの以前における単位変動幅よりも狭くすることで、１つのスライドバー４５で数値の粗調整と微調整とが可能になる。また、上記各実施形態のように粗調整スライドバー４５Ａと微調整スライドバー４５Ｂを選択的に、または両方同時に表示させる必要がないので、すっきりとした表示とすることができる。なお、ここでは粗調整モードと第１、第２微調整モードの３つのモードの場合を例示したが、上記各実施形態のように粗調整モードと微調整モードの２つのモードとしてもよいし、３つ以上のモードとしてもよい。ただし、最終的に設定されるモードには、必ず単位変動幅に最小値（ここでは±１）が対応付けられる。

［第６実施形態］
図３６に示す第６実施形態は、３Ｄ画像４０の視認性をスライドバー４５で阻害しない対策を講じたものである。上記各実施形態では、例えば図１６や図１７等に示すように、拡張現実空間ＡＲＳにおいて、３Ｄ画像４０の手前にスライドバー４５が表示され、３Ｄ画像４０とスライドバー４５の表示位置が重ならない場合を例示したが、ＨＭＤ１１（ユーザ１４）とマーカー３９の位置関係によっては、３Ｄ画像４０とスライドバー４５の表示位置が重なる場合がある。

この場合、基本的にはスライドバー４５は３Ｄ画像４０の手前に表示されるため、スライドバー４５で３Ｄ画像４０の一部が覆い隠されることになる。この覆い隠された部分の面積が比較的僅かであれば、ユーザ１４の３Ｄ画像４０の視認の邪魔にはならない。しかしながら、３Ｄ画像４０の比較的大きい面積の部分がスライドバー４５で覆い隠された場合は、ユーザ１４が３Ｄ画像４０を視認することが困難になる。

そこで、図３６の上段に示すように、拡張現実空間ＡＲＳにおいて、スライドバー４５で３Ｄ画像４０が覆い隠された部分の大きさが、設定された大きさ以上となった場合、表示制御部６９は、図３６の下段に示すように、３Ｄ画像４０を覆い隠さない奥側の位置にスライドバー４５の表示位置を移動させる。設定された大きさは、例えば、拡張現実空間ＡＲＳにおける３Ｄ画像４０の表示面積の１／２であり、予め設定されていてもよいし、ユーザ１４が設定してもよい。なお、スライドバー４５で覆い隠された３Ｄ画像４０の部分が、設定された大きさよりも小さい場合は、スライドバー４５の表示位置はそのままとする。

このように、スライドバー４５で３Ｄ画像４０の設定された大きさの部分が覆い隠される配置関係となった場合、３Ｄ画像４０を覆い隠さない位置にスライドバー４５の表示位置を移動させるので、スライドバー４５で３Ｄ画像４０の視認性が阻害されることが防止される。したがって、ユーザ１４は常に３Ｄ画像４０の視認性を確保した状態でカンファレンスを進めることができる。

［第７実施形態］
図３７に示す第７実施形態は、ユーザ１４の手３８と重なるスライドバー４５の部分をマスクする、という内容である。上記各実施形態では、例えば図１６や図１７等に示すように、拡張現実空間ＡＲＳにおいて、ユーザ１４の手３８とスライドバー４５とが重ならない場合を例示したが、上記第６実施形態の３Ｄ画像４０およびスライドバー４５と同様に、手３８とスライドバー４５とが重なる場合もある。

手３８とスライドバー４５とが重なった場合、スライドバー４５で手３８が覆い隠される表示態様であると、ユーザ１４は自分の手３８が見えなくなるので、ユーザ１４に違和感を与えてしまう。

そこで、図３７に示すように、第７実施形態の処理部６８には、上記第１実施形態の数値変更部７３等（図示せず）に加えて、マスク処理部１００が設けられる。マスク処理部１００は、現実空間ＲＳを写したカメラ２９の撮像画像で検出部６７が認識した手３８の情報（以下、認識情報）に基づいて、仮想空間ＶＳにおけるスライドバー４５の、手３８と重なる部分をマスクする。認識情報は、具体的には手３８の輪郭を構成する画素の位置座標である。マスク処理は、具体的にはスライドバー４５から手３８の輪郭の部分をくり抜く処理である。

こうしたマスク処理を施すことで、ＨＭＤ１１を通じてユーザ１４が認識する拡張現実空間ＡＲＳにおいては、手３８がスライドバー４５で覆い隠されることなく表示される。したがって、ユーザ１４は違和感を覚えることなく数値を設定することができる。

［第８実施形態］
上記各実施形態では、ユーザ１４の手３８自体を認識しているが、図３８に示す第８実施形態では、ユーザ１４の手３８にはめられたグローブ１０５に基づいてユーザ１４の手３８を認識する。

図３８において、第８実施形態では、ユーザ１４は手３８にグローブ１０５をはめた状態でジェスチャーを行う。グローブ１０５は、例えば青色で全体を着色された手術用のゴム製手袋である。第１検出部７０および第２検出部７１は、グローブ情報１０６を参照して、カメラ２９の撮像画像に写るグローブ１０５を手３８として認識する。グローブ情報１０６は、グローブ１０５の色および様々な角度から見た形状を示す情報であり、ストレージデバイス５０に記憶されている。第１検出部７０および第２検出部７１は、カメラ２９の撮像画像内で、グローブ情報１０６の色および形状と一致する部分をグローブ１０５と認識する。

このように、グローブ１０５に基づいてユーザ１４の手３８を認識するので、グローブ１０５をはめていない手３８を認識する場合よりも、手３８の認識精度を高めることができる。これにより、第１ジェスチャーを第２ジェスチャーと誤って検出したり、ジェスチャー自体を見落としたりといった検出ミスを減らすことができる。なお、グローブ１０５は、手術用のゴム製手袋に限らず、画像表示システム１０専用のグローブでもよい。

なお、粗調整モードと微調整モードとしては、上記各実施形態のように択一的にモードを切り替える他に、以下に説明するアナログ的な形態を採用してもよい。

例えば上記第５実施形態で図３５に示した１つのスライドバー４５において、手３８を上方向に移動させるジェスチャーを第２検出部７１で検出した場合、バー４６の下限値および上限値を、０と１００から、１と９９、２と９８、３と９７というように、連続的かつ段階的に変更し、設定可能な数値の範囲を狭める。一方、手３８を下方向に移動させるジェスチャーを第２検出部７１で検出した場合は、バー４６の下限値および上限値を、３と９７、２と９８、１と９９、０と１００というように、連続的かつ段階的に変更し、設定可能な数値の範囲を広げる。

そして、設定可能な数値の範囲が広い場合よりも狭い場合の変動幅を狭くする。例えば、下限値および上限値が０と１００、１と９９の場合は変動幅を±２０、２と９８、３と９７の場合は変動幅を±１５とする。

この形態では、手３８を上方向に移動させて設定可能な数値の範囲を狭めている期間および設定可能な数値の範囲を狭めた後の状態が微調整モードである。逆に、手３８を下方向に移動させて設定可能な数値の範囲を広げている期間および設定可能な数値の範囲を広げた後の状態が粗調整モードである。また、手３８を上方向または下方向に移動させるジェスチャーが、第２ジェスチャーに相当する。

上記各実施形態では、横棒状のバー４６で構成されるスライドバー４５を例示したが、本発明はこれに限定されない。例えば下端に下限値、上端に上限値が配された縦棒状のバーで構成されるスライドバーであってもよい。縦棒状のバーで構成されるスライドバーの場合は、上方向および下方向が第１方向および第２方向とされ、手３８を上方向および下方向に移動させるジェスチャーが第１および第２方向ジェスチャーとなる。

縦棒状のバーで構成されるスライドバーを、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを両方同時に表示させる第４実施形態に適用する場合は、粗調整スライドバー４５Ａと微調整スライドバー４５Ｂとを横に並べて表示させる。この場合は左方向および右方向が第３方向および第４方向とされ、手３８を左方向および右方向に移動させるジェスチャーが第３および第４方向ジェスチャーとなる。

あるいは図３９に示すスライドバー１１０を用いてもよい。スライドバー１１０は、円環の下部が切り欠かれたＣ字状のバー１１１と、バー１１１上でスライド操作されるスライダ１１２とで構成される。バー１１１の左端には下限値が、右端には上限値がそれぞれ配されている。この場合、時計方向および反時計方向が第１方向および第２方向とされ、手３８を時計方向および反時計方向に回転させるジェスチャーが第１および第２方向ジェスチャーとなる。

このように、スライドバーの構成は特に限定されず、また、手３８の移動方向もスライドバーの構成に応じて変更してよく、特に限定されない。

上記各実施形態では、数値設定用ＵＩとしてスライドバーを例示したが、本発明はこれに限定されない。例えば図４０に示すように、数値設定用ＵＩとして回転ダイヤル１１５を用いてもよい。回転ダイヤル１１５は、範囲表示部としてのＣ字状のバー１１６と、ダイヤル本体１１７と、ダイヤル本体１１７に設けられた、数値指示部としての三角マーク１１８とで構成される。ダイヤル本体１１７には、現在設定されている数値が表示される。

この場合、図３９に示すスライドバー１１０と同じく、時計方向および反時計方向が第１方向および第２方向とされ、手３８を時計方向および反時計方向に回転させるジェスチャーが第１および第２方向ジェスチャーとなる。

ＨＭＤ１１は、上記各実施形態のようにゴーグル形状の保護枠２７でユーザ１４の両目全体を覆い、バンド部２６をユーザ１４の頭部に固定するタイプに限らない。ユーザ１４の耳にかけるテンプル、目頭の下部に当たる鼻当て、スクリーンを保持するリム等を有する眼鏡タイプのＨＭＤを用いてもよい。

カメラ２９はＨＭＤ１１に搭載されていなくてもよい。少なくともユーザ１４の手３８を撮像可能であれば、カメラ２９の設置位置は問わない。このため、カメラ２９は、ユーザ１４がＨＭＤ１１を通じて認識する拡張現実空間ＡＲＳと同じ視野を撮像するものでなくともよい。

上記各実施形態では、ユーザ１４を３人としたが、ユーザ１４は１人でも２人でもよく、３人以上でもよい。

上記各実施形態では、マーカー３９で仮想オブジェクトの出現位置を規定する手法を用いているが、マーカー３９を用いずに、設定された特定の実在オブジェクトに仮想オブジェクトを出現させる手法を採用してもよい。この場合、撮像画像に写る特定の実在オブジェクトを画像認識技術により認識し、認識した特定の実在オブジェクトをマーカー３９に見立てて、特定の実在オブジェクト上に仮想オブジェクトを表示させる。

上記各実施形態では、ＨＭＤ１１の制御装置の機能をデスクトップ型のパーソナルコンピュータに担わせているが、本発明はこれに限定されない。画像蓄積サーバ１９がＨＭＤ１１の制御装置の機能の全てまたは一部を担ってもよい。例えば３Ｄ画像編集部７５の機能を画像蓄積サーバ１９が担う。この場合は画像蓄積サーバ１９からＨＭＤ１１に３Ｄ画像をストリーミング配信してもよい。

あるいは、図４１に示すように、画像蓄積サーバ１９とは別のネットワークサーバ１２０がＨＭＤ１１の制御装置の機能を担ってもよい。さらには、医療施設１３内に設置されたローカルサーバがＨＭＤ１１の制御装置の機能を担ってもよい。画像蓄積サーバ１９も医療施設１３内にローカルサーバとして設置されていてもよい。

もしくは、図４２に示すように、ユーザ１４が腰等に付けて携帯可能な携帯コンピュータ１２５にＨＭＤ１１の制御装置の機能を担わせてもよい。この場合、ＨＭＤ１１の制御装置の機能を担うコンピュータを、制御装置１２のような市販のパーソナルコンピュータではなく、画像表示システム１０に特化した専用の製品としてもよい。また、ＨＭＤ１１自体に制御装置の機能を搭載してもよい。この場合はＨＭＤ１１自体が制御装置となる。

このように、本発明のＨＭＤ１１の制御装置を構成するコンピュータのハードウェア構成は種々の変形が可能である。ＨＭＤ１１の制御装置を、処理能力や信頼性の向上を目的として、ハードウェアとして分離された複数台のコンピュータで構成することも可能である。例えば、撮像画像取得部６５および検出部６７の機能と、３Ｄ画像取得部６６、処理部６８、および表示制御部６９の機能とを、２台のコンピュータに分散して担わせる。この場合は２台のコンピュータでＨＭＤ１１の制御装置を構成する。

以上のように、コンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６０等のＡＰについても、安全性や信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。

３Ｄ画像４０は、対象患者の上半身の仰向けの画像に限らない。全身の仰向けの画像でもよいし、頭部等の他の部位の画像でもよい。

上記各実施形態では、画像表示システム１０の用途として医療施設１３内で行われる術前カンファレンスを例示し、仮想オブジェクトとして３Ｄ画像４０を例示したが、画像表示システム１０の用途は術前カンファレンスに限定されず、したがって仮想オブジェクトも３Ｄ画像４０に限定されない。例えば画像表示システム１０の用途をゲーム用途とし、ゲームのキャラクター等を仮想オブジェクトとして表示してもよい。

上記各実施形態において、例えば、撮像画像取得部６５、３Ｄ画像取得部６６、検出部６７（第１検出部７０、第２検出部７１、第３検出部７２）、処理部６８（数値変更部７３、モード切替部７４、３Ｄ画像編集部７５、マスク処理部１００）、表示制御部６９といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。

各種のプロセッサには、ＣＰＵ、プログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、専用電気回路等が含まれる。ＣＰＵは、周知のとおりソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサである。ＰＬＤは、ＦＰＧＡ(Field Programmable Gate Array) 等の、製造後に回路構成を変更可能なプロセッサである。専用電気回路は、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

上記記載から、以下の付記項１に記載の画像表示システムを把握することができる。
［付記項１］
ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御プロセッサと、
前記数値を設定するための前記ユーザの第１ジェスチャーを検出する第１検出プロセッサと、
粗調整モードと微調整モードとを切り替えるための前記ユーザの第２ジェスチャーを検出する第２検出プロセッサであり、
前記粗調整モードは、前記範囲が第１の範囲であるか、または／および前記数値の単位変動幅が第１の変動幅であるモードで、
前記微調整モードは、前記範囲が前記第１の範囲と比較して狭い第２の範囲であるか、または／および前記単位変動幅が前記第１の変動幅と比較して狭い第２の変動幅であるモードであり、
前記第１ジェスチャーに応じて、前記数値を変更する数値変更プロセッサと、
前記第２ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替プロセッサとを備える画像表示システム。

本発明は、上述の種々の実施形態や種々の変形例を適宜組み合わせることも可能である。例えば、第３実施形態と第４実施形態、あるいは第３実施形態と第５実施形態を複合して実施してもよい。また、上記各実施形態に限らず、本発明の要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本発明は、プログラムに加えて、プログラムを記憶する記憶媒体にもおよぶ。

１０ 画像表示システム
１１、１１Ａ〜１１Ｃ ヘッドマウントディスプレイ（ＨＭＤ）
１２ 制御装置
１３ 医療施設
１４、１４Ａ〜１４Ｃ ユーザ
１５ ディスプレイ
１６ 入力デバイス
１７ ネットワーク
１８ データセンタ
１９ 画像蓄積サーバ
２５ 本体部
２６ バンド部
２７ 保護枠
２８ スクリーン
２９ カメラ
３０ ケーブル
３１ 横バンド
３２ 縦バンド
３５ 手術室
３７ 手術台
３８、３８Ａ、３８Ｂ、３８Ｃ 手
３９ マーカー
４０ 三次元ボリュームレンダリング画像（３Ｄ画像）
４５、１１０ スライドバー
４５Ａ 粗調整スライドバー
４５Ｂ 微調整スライドバー
４６、４６Ａ、４６Ｂ、１１１ バー（範囲表示部）
４７、４７Ａ、４７Ｂ、１１２ スライダ（数値指示部）
５０ ストレージデバイス
５１ メモリ
５２ ＣＰＵ
５３ 通信部
５４ データバス
６０ 作動プログラム
６１、９０、９５ 第１対応情報
６２ 第２対応情報
６３、９６ 第３対応情報
６５ 撮像画像取得部
６６ ３Ｄ画像取得部
６７ 検出部
６８ 処理部
６９ 表示制御部
７０ 第１検出部
７１ 第２検出部
７２ 第３検出部
７３ 数値変更部
７４ モード切替部
７５ ３Ｄ画像編集部
８０ 壁
８５Ａ〜８５Ｃ 領域
９１ 範囲表示帯
１００ マスク処理部
１０５ グローブ
１０６ グローブ情報
１１５ 回転ダイヤル
１１６ バー（範囲表示部）
１１７ ダイヤル本体
１１８ 三角マーク（数値指示部）
１２０ ネットワークサーバ（制御装置）
１２５ 携帯コンピュータ（制御装置）
ＡＲＳ、ＡＲＳ−Ａ〜ＡＲＳ−Ｃ 拡張現実空間
ＲＳ、ＲＳ−Ａ 現実空間
ＶＳ、ＶＳ−Ａ 仮想空間
Ｓ１０〜Ｓ１４、Ｓ１００〜Ｓ１９０ ステップ

Claims (21)

1. ユーザの頭部に装着されたヘッドマウントディスプレイと、前記ヘッドマウントディスプレイの制御装置とを備え、前記ヘッドマウントディスプレイを通じて、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させる画像表示システムにおいて、
   設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御部と、
   前記数値を設定するための前記ユーザの第１ジェスチャーを検出する第１検出部と、
   粗調整モードと微調整モードとを切り替えるための前記ユーザの第２ジェスチャーを検出する第２検出部であり、
   前記粗調整モードは、前記範囲が第１の範囲であるか、または／および前記数値の単位変動幅が第１の変動幅であるモードで、
   前記微調整モードは、前記範囲が前記第１の範囲と比較して狭い第２の範囲であるか、または／および前記単位変動幅が前記第１の変動幅と比較して狭い第２の変動幅であるモードであり、
   前記第１ジェスチャーに応じて、前記数値を変更する数値変更部と、
   前記第２ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替部とを備える画像表示システム。
2. 前記第１検出部および前記第２検出部は、前記拡張現実空間において、前記ユーザの手が前記数値設定用ユーザインターフェースに触れていない状態で、前記第１ジェスチャーおよび前記第２ジェスチャーを検出する請求項１に記載の画像表示システム。
3. 前記表示制御部は、前記拡張現実空間において、前記ユーザの手が届かない遠隔位置に前記数値設定用ユーザインターフェースを表示させる請求項１または２に記載の画像表示システム。
4. 前記第１ジェスチャーは、前記ユーザの手を第１方向および前記第１方向とは反対の第２方向に移動させる第１および第２方向ジェスチャーであり、
   前記第２ジェスチャーは、前記ユーザの手を前記第１方向とは異なる第３方向、および前記第２方向とは異なり、かつ前記第３方向とは反対の第４方向に移動させる第３および第４方向ジェスチャーである請求項１ないし３のいずれか１項に記載の画像表示システム。
5. 前記第１検出部は、前記ユーザの手が基準位置にあることと、前記ユーザの手が前記基準位置から移動した方向を検出し、
   前記数値変更部は、前記第１方向または前記第２方向の一方の方向への前記ユーザの手の移動が検出されてから、前記基準位置に前記ユーザの手が戻ったことが検出されるまで、前記数値を自動的に変更する請求項４に記載の画像表示システム。
6. 前記表示制御部は、前記数値設定用ユーザインターフェースとして、前記粗調整モード用の粗調整インターフェースと、前記微調整モード用の微調整インターフェースとを表示させる請求項４または５に記載の画像表示システム。
7. 前記表示制御部は、前記粗調整インターフェースと前記微調整インターフェースとを選択的に表示させる請求項６に記載の画像表示システム。
8. 前記表示制御部は、前記拡張現実空間において、前記微調整インターフェースを前記粗調整インターフェースよりも手前側に拡大して表示させる請求項７に記載の画像表示システム。
9. 前記表示制御部は、前記粗調整インターフェースと前記微調整インターフェースとを両方同時に表示させ、
   前記粗調整インターフェースと前記微調整インターフェースのうちの一方を前記数値の設定を受け付けるアクティブ状態とし、他方を前記数値の設定を受け付けない非アクティブ状態とする請求項６に記載の画像表示システム。
10. 前記表示制御部は、前記アクティブ状態と前記非アクティブ状態とで前記粗調整インターフェースと前記微調整インターフェースの表示態様を異ならせる請求項９に記載の画像表示システム。
11. 前記表示制御部は、前記微調整インターフェースにおいて前記数値が前記第２の範囲の上限値または下限値に達した後、さらに前記第１ジェスチャーが検出された場合、前記範囲表示部の前記第２の範囲の表示を変更する請求項６ないし１０のいずれか１項に記載の画像表示システム。
12. 前記第１ジェスチャーは、前記ユーザの手を第１方向および前記第１方向とは反対の第２方向に移動させる第１および第２方向ジェスチャーであり、
    前記第２ジェスチャーは、前記ユーザの手の移動方向を前記第１方向および前記第２方向の一方から他方に切り替える切替ジェスチャーであり、
    前記モード切替部は、前記切替ジェスチャーの以後における前記単位変動幅を、前記切替ジェスチャーの以前における前記単位変動幅よりも狭くする請求項１ないし３のいずれか１項に記載の画像表示システム。
13. 前記表示制御部は、前記第１ジェスチャーを検出している場合としていない場合とで前記数値指示部の表示態様を異ならせる請求項１ないし１２のいずれか１項に記載の画像表示システム。
14. 前記数値設定用ユーザインターフェースは、前記範囲表示部としてのバーと、前記バー上でスライド操作される前記数値指示部としてのスライダとで構成されるスライドバーである請求項１ないし１３のいずれか１項に記載の画像表示システム。
15. 前記表示制御部は、前記数値設定用ユーザインターフェースに加えて、前記現実空間における表示位置が固定された仮想オブジェクトを前記ヘッドマウントディスプレイに表示させ、
    前記拡張現実空間において、前記数値設定用ユーザインターフェースで前記仮想オブジェクトが覆い隠された部分の大きさが、設定された大きさ以上となった場合、前記仮想オブジェクトを覆い隠さない位置に前記数値設定用ユーザインターフェースの表示位置を移動させる請求項１ないし１４のいずれか１項に記載の画像表示システム。
16. 前記第１検出部および前記第２検出部は、前記ユーザの手の撮像画像を解析して前記ユーザの手を認識し、認識した前記ユーザの手の前記第１ジェスチャーおよび前記第２ジェスチャーを検出する請求項１ないし１５のいずれか１項に記載の画像表示システム。
17. 前記第１検出部および前記第２検出部は、前記ユーザの手にはめられたグローブに基づいて前記ユーザの手を認識する請求項１６に記載の画像表示システム。
18. 認識した前記ユーザの手と重なる前記数値設定用ユーザインターフェースの部分をマスクするマスク処理部を備える請求項１６または１７に記載の画像表示システム。
19. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置において、
    設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御部と、
    前記数値を設定するための前記ユーザの第１ジェスチャーを検出する第１検出部と、
    粗調整モードと微調整モードとを切り替えるための前記ユーザの第２ジェスチャーを検出する第２検出部であり、
    前記粗調整モードは、前記範囲が第１の範囲であるか、または／および前記数値の単位変動幅が第１の変動幅であるモードで、
    前記微調整モードは、前記範囲が前記第１の範囲と比較して狭い第２の範囲であるか、または／および前記単位変動幅が前記第１の変動幅と比較して狭い第２の変動幅であるモードであり、
    前記第１ジェスチャーに応じて、前記数値を変更する数値変更部と、
    前記第２ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替部とを備えるヘッドマウントディスプレイの制御装置。
20. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動方法において、
    設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御ステップと、
    前記数値を設定するための前記ユーザの第１ジェスチャーを検出する第１検出ステップと、
    粗調整モードと微調整モードとを切り替えるための前記ユーザの第２ジェスチャーを検出する第２検出ステップであり、
    前記粗調整モードは、前記範囲が第１の範囲であるか、または／および前記数値の単位変動幅が第１の変動幅であるモードで、
    前記微調整モードは、前記範囲が前記第１の範囲と比較して狭い第２の範囲であるか、または／および前記単位変動幅が前記第１の変動幅と比較して狭い第２の変動幅であるモードであり、
    前記第１ジェスチャーに応じて、前記数値を変更する数値変更ステップと、
    前記第２ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替ステップとを備えるヘッドマウントディスプレイの制御装置の作動方法。
21. ユーザの頭部に装着され、現実空間と仮想空間を融合させた拡張現実空間を前記ユーザに認識させるヘッドマウントディスプレイの制御装置の作動プログラムにおいて、
    設定可能な数値の範囲を示す範囲表示部と、現在設定されている前記数値を指し示す数値指示部とで構成される少なくとも１つの数値設定用ユーザインターフェースを、前記拡張現実空間において前記ユーザが仮想的に認識する仮想ユーザインターフェースとして前記ヘッドマウントディスプレイに表示させる表示制御機能と、
    前記数値を設定するための前記ユーザの第１ジェスチャーを検出する第１検出機能と、
    粗調整モードと微調整モードとを切り替えるための前記ユーザの第２ジェスチャーを検出する第２検出機能であり、
    前記粗調整モードは、前記範囲が第１の範囲であるか、または／および前記数値の単位変動幅が第１の変動幅であるモードで、
    前記微調整モードは、前記範囲が前記第１の範囲と比較して狭い第２の範囲であるか、または／および前記単位変動幅が前記第１の変動幅と比較して狭い第２の変動幅であるモードであり、
    前記第１ジェスチャーに応じて、前記数値を変更する数値変更機能と、
    前記第２ジェスチャーに応じて、前記粗調整モードと前記微調整モードとを切り替えるモード切替機能とを、コンピュータに実行させるヘッドマウントディスプレイの制御装置の作動プログラム。

Images