JP2010108500A - 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法 - Google Patents

Abstract

【課題】本発明は、着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法に関する。
【解決手段】ユーザの指あるいは手首付近に着用され、光信号を発生する位置指示器機から発生された光信号を受信し、ユーザ前面の映像をそれぞれ計測するためのイメージセンサを備えた複数の映像計測部を含む信号計測手段、および信号計測手段によって計測されたそれぞれの映像を分析して３次元座標を計算し、信号計測手段によって受信された光信号から３次元座標上でユーザの手の動きパターンを認識し、対応する命令を出力する信号処理手段を備える。
【選択図】図１

Description

本発明は、着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法に関し、より詳しくは、着用型コンピューティング環境に適しながら、ユーザ前面の３次元空間上においてユーザの両手の動きを着用型システムあるいは周辺装置の入力によって使用することができる着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法に関する。

既存にシステムが備えられた制限された空間において、ユーザの動き、特に手の動きを検出して人間とコンピュータとの間の相互作用（interaction）として用いようとする多くの試みが研究されて来た。既存のシステムには、ユーザが手袋形態の装置を着用したり、適切に備えられて定められた制限された場所でのみ入力を実行することができるという短所がある。

また、現在市販されている３次元空間マウスあるいはペンのような装置は、ジャイロセンサを用いてユーザの手の動きを計測し、ユーザ入力として使用している。この装置もユーザが把持して用いなければならず、ユーザが必要な場合に持ち歩かなければならないという不便さがある。

アップル（登録商標）社のＩｐｏｄ Ｔｏｕｃｈ（登録商標）、マイクロソフト（登録商標）社のＳｕｒｆａｃｅ（登録商標）、ジェフハンのＭｕｌｔｉ−Ｔｏｕｃｈ装置のようなマルチタッチは、装置のディスプレイにタッチを適用してマルチタッチの長所を最大限に発揮しているが、手に装置を把持したり制限された装置で使用しなければならないという不便さがある。

特に、装置あるいはコンピュータを体に付着あるいは着用して持ち歩く着用型システムのためのユーザインターフェースの場合、装置を持ち歩かなければならない移動性およびユーザが手軽に使用して持ち歩くことができる着用性のような要素を考慮して設計しなければならない。

特開平１０−０３１５５１号公報

上述した課題を解決するために、本発明は、着用型コンピューティング環境に適しながら、ユーザ前面の３次元空間上においてユーザの手のような動きによって着用型システムあるいは周辺装置の入力として使用することができる着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置は、ユーザの手首付近に着用されて光信号を発生する位置指示器機、前記位置指示器機から発生された光信号を受信し、ユーザ前面の映像をそれぞれ計測するためのイメージセンサを備えた複数の映像計測部を含む信号計測手段、および前記信号計測手段によって計測されたそれぞれの映像を分析して３次元座標を計算し、前記信号計測手段によって受信された光信号から前記３次元座標上でユーザの手の動きパターンを認識し、対応する命令を出力する信号処理手段を備えることを特徴とする。

前記信号計測手段は、イメージセンサを備えた複数の映像計測部、およびユーザの動きから身体の揺れ程度を計測する身体揺れ計測部を備えることを特徴とする。

前記身体揺れ計測部は、慣性センサを備えることを特徴とする。

前記映像計測部は、前記位置指示器機から発生された位置信号と前記映像を区分するためのフィルタを備えることを特徴とする。

前記信号処理手段は、前記複数の映像計測部に備えられたイメージセンサの画角が互いに重なる領域に仮想のディスプレイ画面を具現し、前記仮想のディスプレイ画面の映像から３次元座標を計算することを特徴とする。

前記信号処理手段は、前記複数の映像計測部によって計測された各映像から２次元座標を抽出する２次元座標計算部を備え、前記２次元座標計算部によって抽出された２次元座標および前記位置信号によって感知された手の位置情報に基づいて３次元座標を計算することを特徴とする。

前記信号処理手段は、前記身体揺れ計測部によって計測された身体の揺れ程度に基づいて、前記映像計測部から計測された映像の揺れを補正する身体揺れ補正部をさらに備えることを特徴とする。

前記位置指示器機は、ユーザの手の位置移動ごとに位置信号を発生する位置信号発生手段、およびユーザから制御命令の入力を受ける入力信号計測手段を備え、前記入力信号計測手段に入力されたユーザ制御命令に基づいて前記位置信号発生手段の動作を制御することを特徴とする。

前記位置信号発生手段は、前記位置信号を光信号形態で発生することを特徴とする。

一方、上述した目的を達成するために、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース方法は、ユーザの手首付近に着用されて位置信号を発生する位置指示器機から発生された位置信号を受信し、ユーザ前面の映像を計測するステップ、前記計測するステップで計測された映像から３次元座標を計算するステップ、前記計測するステップで受信された位置信号からユーザの手の位置を把握し、前記計算された３次元座標上でユーザの手の動きパターンを認識するステップ、および前記認識するステップで認識された動きパターンに対応する命令を出力するステップを備えることを特徴とする。

前記計測するステップは、前記ユーザの動きから身体の揺れ程度を計測するステップを備えることを特徴とする。

前記計測された身体の揺れ程度に基づいて、前記計測するステップで計測された映像の揺れを補正するステップをさらに備えることを特徴とする。

前記計算するステップは、前記計測するステップで映像を計測する複数のイメージセンサの画角が互いに重なる領域に仮想のディスプレイ画面を具現し、前記仮想のディスプレイ画面の映像から３次元座標を計算することを特徴とする。

前記計算するステップは、前記複数の映像計測手段によって計測された各映像から２次元座標を抽出するステップを備え、前記抽出された２次元座標、および前記計測するステップの前記位置信号によって感知された手の位置情報に基づいて３次元座標を計算することを特徴とする。

前記位置信号は、ユーザの手の位置移動ごとに前記位置指示器機によって発生されることを特徴とする。

前記位置信号は、ユーザから前記位置指示器機に手の動きの開始と終了を知らせる信号が入力されれば、前記入力された信号に基づいて発生されることを特徴とする。

前記位置信号は、光信号形態で発生されることを特徴とする。

本発明によれば、ユーザ前面の３次元空間上において両手でジェスチャを取るとき、その動きを追跡して３次元的な所定のパターンとして認識して処理することにより、ユーザが移動しながらコンピュータを使用しなければならない着用型コンピューティング環境においてユーザ空間にマルチポイント入力機能を支援し、ユーザディスプレイ上のオブジェクトを選択したり操作する方法において、まるで空間内の事物を操作するようなユーザ親和的な入力インターフェースを支援することができるという利点がある。

本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置の動作を説明するために参照される図である。 本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置の動作を説明するために参照される図である。 本発明に係るユーザインターフェース装置の動き処理器機に対する構成を示すブロック図である。 本発明に係るユーザインターフェース装置の位置指示器機に対する構成を示すブロック図である。 本発明に係る映像計測方法を説明するために参照される例示図である。 本発明に係る位置座標計測方法を説明するために参照される例示図である。 本発明に係るユーザインターフェース方法に対する動作の流れを示すフローチャートである。

以下、添付の図面を参照しながら、本発明の実施形態について次のように説明する。
図１および図２は、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置を説明するために参照される図である。図１および図２を参照すれば、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置は、手首付近に装着され、手の動きを感知する位置指示器機２０と、位置指示器機２０によって感知された信号から手の動きを認識し、それに対応する動作を処理する動き処理器機１０とを備える。

まず、ユーザは、図１のように、着用型コンピューティングの壁面型ディスプレイ装置あるいはＨＭＤ（Head Mounted Display）のような実際のディスプレイ画面１ではなく、仮想のディスプレイ画面２上でディスプレイ画面１を制御するために手を動かすようになる。

ここで、手の動きは、文字、記号、ジェスチャなど、ユーザが表現することができるすべてのものが該当し、片手だけではなく両手による複合的なジェスチャも該当する。

したがって、ユーザは、仮想のディスプレイ画面２で両手を用いて入力することにより、実際にユーザの目の前に出力される事物をマルチタッチと類似するように３次元空間上で制御することができる。特に、図２に示すように、めがね形態の両終端に付着された複数の映像計測部１１ａ、１１ｂを介してユーザ前面の一定の３次元空間内で入力を実行することができ、該当空間は、複数の映像計測部１１ａ、１１ｂからの画角によって決定される。

このとき、位置指示器機２０は、複数備えられることができる。位置指示器機２０は、腕輪形態で具現され、ユーザの片手首または両手首にすべて着用することができる。これだけでなく、位置指示器機２０は、指輪形態で具現されてユーザの指に着用することもできる。これにより、本発明の実施形態では、位置指示器機２０が腕輪形態で具現されてユーザの両手首に着用された場合を例示したが、これに限定されるものではない。位置指示器機２０に対する具体的な説明は、図４を参照する。

一方、動き処理器機１０は、位置指示器機２０と同様にユーザの体に着用が可能な形態で具現され、その実施例としては、めがね、帽子、服などのように身体のあらゆる部分に着用することもできる。本発明の実施形態では、ユーザの視覚で見るのと同じ効果を出すために、動き処理器機１０がめがね形態で具現されたことを例示する。

動き処理器機１０には、複数の映像計測部１１ａ、１１ｂが備えられる。このとき、複数の映像計測部１１ａ、１１ｂは、それぞれ互いに異なる位置に配置され、該当の位置において位置指示器機２０から発生される信号を計測する。動き処理器機１０に対する具体的な説明は、図３を参照する。

図３は、本発明に係る動き処理器機１０の構成を示すブロック図である。図３に示すように、本発明に係る動き処理器機１０は、信号計測手段１１と、命令入力手段１３と、信号処理手段１５と、通信手段１７とを備える。

また、信号計測手段１１は、第１映像計測部１１ａと、第２映像計測部１１ｂと、身体揺れ計測部１１ｃとを備える。

第１映像計測部１１ａおよび第２映像計測部１１ｂは、互いに異なる位置に配置され、図２に示すように、めがねの両終端に配置することができる。勿論、図３では、第１映像計測部１１ａと第２映像計測部１１ｂが備えられたことを例示したが、第３映像計測部などさらに多くが備えられることもできる。

このとき、第１映像計測部１１ａおよび第２映像計測部１１ｂは、位置指示器機２０から発生された信号を計測することができるイメージセンサであることを例示する。勿論、位置指示器機２０によって発生される赤外線、可視光線、レーザなどの形態を有することができる。

また、第１映像計測部１１ａおよび第２映像計測部１１ｂは、位置指示器機２０から発生された信号を受信し、受信された信号からユーザの手の位置を感知する。このとき、第１映像計測部１１ａおよび第２映像計測部１１ｂには、イメージセンサによって計測される映像信号と位置指示器機２０から受信された信号を区分するための物理的なフィルタが備えられる。

このとき、物理的なフィルタとしては、赤外線通過帯域フィルタなどが該当することができる。赤外線通過帯域フィルタは、可視光線による干渉を除去することにより、第１映像計測部１１ａおよび第２映像計測部１１ｂが赤外線信号をより明確に計測できるようにする。

一方、身体揺れ計測部１１ｃは、ユーザの身体の揺れ程度を計測する。身体揺れ計測部１１ｃは、手の動きを計測する場合、ユーザ身体の揺れによる誤差が発生することを補うために、慣性センサ（ＩＭＵ：Inertial Measurement Unit）を追加で備えることができる。このとき、身体揺れ計測部１１ｃは、計測された信号を信号処理手段１５に伝達する。

命令入力手段１３は、ユーザから制御命令の入力を受けるための手段であり、動き器機からの制御命令を受信するための通信モジュールを備える。

位置指示器機２０にユーザからの制御命令が入力されれば、位置指示器機２０は、動き処理器機１０に該当の命令を送信する。したがって、命令入力手段１３は、位置指示器機２０からの制御命令を受信して信号処理手段１５に伝達する。

信号処理手段１５は、２次元座標計算部１５ａと、３次元座標計算部１５ｂと、身体揺れ補正部１５ｃと、パターン認識部１５ｄと、命令処理部１５ｅとを備える。

まず、２次元座標計算部１５ａは、第１映像計測部１１ａおよび第２映像計測部１１ｂによって計測された映像から位置指示器機２０が配置された領域、すなわち、手が位置した領域に対する２次元座標を計算する。このとき、２次元座標計算部１５ａは、それぞれの計測映像において点形態で示される赤外線イメージの２次元座標を抽出する。

この後、３次元座標計算部１５ｂは、２次元座標計算部１５ａによって抽出された２次元座標を用い、該当の位置における３次元座標を計算する。３次元座標の計算のためのモデルは、図６を参照する。

このとき、第１映像計測部１１ａおよび第２映像計測部１１ｂと、２次元座標計算部１５ａ、３次元座標計算部１５ｂは、複合的に具現され、１つのプロセッサとして処理されることができる。

身体揺れ補正部１５ｃは、身体揺れ計測部１１ｃによって計測された信号から身体の揺れ程度を把握する。このとき、身体揺れ補正部１５ｃは、把握された情報に基づいて、第１映像計測部１１ａおよび第２映像計測部１１ｂによって計測された映像に対する身体の揺れを補正する。

パターン認識部１５ｄは、身体揺れ補正部１５ｃによって補正された映像から、３次元座標計算部１５ｂによって計算された３次元座標における動きパターンを認識する。

この後、命令処理部１５ｅは、パターン認識部１５ｄによって認識された動きパターンに対応する命令を抽出し、通信手段を介して着用型コンピュータに送信する。

命令処理部１５ｅは、有無線通信インターフェースを介して他の器機と連結し、該当の器機に命令を伝達することもできる。このとき、３次元座標計算部１５ｂ、パターン認識部１５ｄ、および命令処理部１５ｅは、２次元座標計算部１５ａに通信インターフェースを付加し、外部の他の器機でも処理することができる。

一方、図４は、本発明に係る位置指示器機２０の構成を示すブロック図である。図４を参照すれば、本発明に係る位置指示器機２０は、位置信号発生手段２１と、入力信号計測手段２３と、信号処理手段２５と、通信手段２７とを備える。

位置信号発生手段２１は、該当の位置指示器機２０の現在位置を知らせるための位置信号を発生する手段である。位置信号発生手段２１は、赤外線、可視光線、レーザなどのように、動き処理器機１０の第１映像計測部１１ａおよび第２映像計測部１１ｂによって計測が可能な信号形態で出力する。

入力信号計測手段２３は、ユーザから制御命令の入力を受ける手段である。すなわち、ユーザは、コンピュータ入力装置であるマウスのクリックのような動作により、現在ユーザが行っている手の動きの有効性を指示する。このとき、入力信号計測手段２３は、指輪形態のボタン操作、指または手首接触音、筋電図などを計測することにより、ユーザからの制御命令を認識する。

例えば、ユーザが空間において指を動かす行為をすれば、入力信号計測手段２３は、現在からの動作は有効な動作であると解釈し、動きの開始を指示する信号として認識する。また、入力信号計測手段２３は、ユーザの動きがなかったり、あるいは筋電図を用いる場合には、指を打ち合わす行為と広げる行為から動きの開始と終了を指示する命令を計測することができる。

入力信号計測手段２３は、計測されたユーザの制御命令を信号処理手段２５に伝達する。

信号処理手段２５は、入力信号認識部２５ａと、命令処理部２５ｂとを備える。

入力信号認識部２５ａは、入力信号計測手段２３によって計測されたユーザの制御命令を認識する。このとき、命令処理部２５ｂは、入力信号認識部２５ａによって認識されたユーザの制御命令を、通信手段２７を介して動き処理器機１０の命令入力手段１３に送信する。

一方、命令処理部２５ｂは、入力信号認識部２５ａによってユーザ動きの開始を知らせる命令が認識されれば、位置信号発生手段２１に所定の制御信号を出力する。したがって、位置信号発生手段２１は、命令処理部２５ｂからの制御信号によって位置信号を発生する。

図５は、本発明に係る動き処理器機の映像計測部に対する動作を説明するために参照される例示図である。図５に示すように、第１映像計測部１１ａと第２映像計測部１１ｂは、正面の映像を取得するようになる。このとき、第１映像計測部１１ａと第２映像計測部１１ｂの画角により、仮想のディスプレイ画面２が具現される領域を決定する。

言い換えれば、第１映像計測部１１ａと第２映像計測部１１ｂは一定の画角θを有し、第１映像計測部１１ａと第２映像計測部１１ｂの画角が重なる領域に仮想のディスプレイ画面２が具現するようにする。

したがって、上述のように具現された３次元空間の仮想のディスプレイ画面２において、ユーザは拳を握ったり指を打ち合わす形態のジェスチャを取って仮想空間上のオブジェクトを選択し、その状態で手を動かして該当のオブジェクトを移動するようにコンピュータを制御できるようになる。

図６は、本発明に係る座標計算方法に対する動作を説明するために参照される例示図である。図６を参照すれば、位置指示器機２０の位置信号発生手段２１から位置信号が発生されれば、第１映像計測部１１ａおよび第２映像計測部１１ｂは位置信号を受信するようになる。

このとき、３次元座標計算部１５ｂは、位置信号発生手段２１と第１映像計測部１１ａおよび第２映像計測部１１ｂの位置に基づいて３次元座標を計算する。３次元座標の計算のためのモデルは、下記の数式１を用いて求めることができる。

ここで、ｄｒは、第１映像計測部１１ａに位置信号発生手段２１から発生された位置信号が到達した地点から中心までの距離である。ｄｌは、第２映像計測部１１ｂに位置信号発生手段２１から発生された位置信号が到達した地点から中心までの距離である。また、Ｌは、第１映像計測部１１ａの中心から第２映像計測部１１ｂの中心までの距離である。また、ｆは、第１映像計測部１１ａと第２映像計測部１１ｂの中心から第１映像計測部１１ａと第２映像計測部１１ｂに垂直方向に、位置信号発生手段２１から発生した位置信号と出会う地点までの距離である。即ち、ｆは、第１映像計測部１１ａと第２映像計測部１１ｂの焦点距離である。また、ｘは、第１映像計測部１１ａと第２映像計測部１１ｂから位置信号発生手段２１までの垂直距離である。

したがって、３次元座標計算部１５ｂは、２次元座標計算部１５ａから抽出された２次元座標と上記で算出されたｘ値を用いて３次元座標を計算するようになる。

上述のように構成される本発明の動作は、次のとおりとなる。図７は、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース方法に対する動作の流れを示すフローチャートであり、動き処理器機１０の動作を示す図である。

図７に示すように、動き処理器機１０は、位置指示器機２０からの信号に基づいてユーザの身体動きを計測する（Ｓ１００）。また、動き処理器機１０の第１映像計測部１１ａおよび第２映像計測部１１ｂのイメージセンサを用いて計測された動き映像を処理する（Ｓ１１０）。

この後、２次元座標計算部１５ａは、「Ｓ１１０」過程の映像から２次元座標を計算し（Ｓ１２０）、３次元座標計算部１５ｂは、「Ｓ１２０」過程における２次元座標および「Ｓ１００」過程で受信された信号に基づいて３次元座標を計算する（Ｓ１３０）。

一方、身体揺れ計測部１１ｃは、「Ｓ１００」過程で受信された信号から身体の揺れ程度を計測し（Ｓ１４０）、身体揺れ補正部１５ｃは、「Ｓ１４０」過程で計測された情報によって該当の映像における身体の揺れおよびこれによる誤差を補正する（Ｓ１５０）。

パターン認識部１５ｄは、「Ｓ１３０」過程で計算された３次元座標と、「Ｓ１５０」過程で補正された映像からユーザの動きパターンを認識し（Ｓ１６０）、「Ｓ１６０」過程で認識されたパターンに対応する命令データを抽出し、通信モジュールを介して着用型コンピュータに送信する（Ｓ１７０）。

本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法は、着用型コンピューティングに適用されることを実施形態として記述したが、着用型コンピューティングだけではなく、一般的なコンピュータのインターフェース装置としても利用が可能なことは言うまでもない。

以上のように、本発明に係る着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法は、上述した実施形態の構成と方法が限定されて適用されるのではなく、上述した実施形態は、多様な変形がなされるように各実施形態の全部または一部が選択的に組み合わせされて構成されることもできる。

Claims (14)

1. 着用型コンピューティング環境基盤のユーザインターフェース装置であって、
   ユーザの手首付近に着用されて光信号を発生する位置指示器機と、
   前記位置指示器機から発生された光信号を受信し、ユーザ前面の映像をそれぞれ計測するためのイメージセンサを備えた複数の映像計測部を含む信号計測手段と、
   前記信号計測手段によって計測されたそれぞれの映像を分析して３次元座標を計算し、前記信号計測手段によって受信された光信号から前記３次元座標上でユーザの手の動きパターンを認識し、対応する命令を出力する信号処理手段と
   を備えることを特徴とする着用型コンピューティング環境基盤のユーザインターフェース装置。
2. 前記信号処理手段は、
   前記複数の映像計測部に備えられたイメージセンサの画角が互いに重なる領域に仮想のディスプレイ画面を具現し、前記仮想のディスプレイ画面の映像から３次元座標を計算することを特徴とする、請求項１に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
3. 前記信号処理手段は、
   前記複数の映像計測部によって計測された各映像から２次元座標を抽出する２次元座標計算部を備え、
   前記２次元座標計算部によって抽出された２次元座標および前記光信号によって感知された手の位置情報に基づいて３次元座標を計算することを特徴とする、請求項１に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
4. 前記映像計測部は、
   前記位置指示器機から発生された位置信号と前記映像を区分するためのフィルタを備えることを特徴とする、請求項１に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
5. 前記信号計測手段は、
   ユーザの動きから身体の揺れ程度を計測する身体揺れ計測部をさらに備えることを特徴とする、請求項１に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
6. 前記身体揺れ計測部は、
   慣性センサを含むことを特徴とする、請求項５に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
7. 前記信号処理手段は、
   前記身体揺れ計測部によって計測された身体の揺れ程度に基づいて、前記映像計測部から計測された映像の揺れを補正する身体揺れ補正部をさらに備えることを特徴とする、請求項５に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
8. 前記位置指示器機は、
   ユーザの手の位置を示す光信号を発生する位置信号発生手段と、
   ユーザから制御命令の入力を受ける入力信号計測手段と
   を備え、
   前記入力信号計測手段に入力されたユーザ制御命令に基づいて前記位置信号発生手段の動作を制御することを特徴とする、請求項１に記載の着用型コンピューティング環境基盤のユーザインターフェース装置。
9. 着用型コンピューティング環境基盤のユーザインターフェース方法であって、
   ユーザの手首付近に着用された位置指示器機からユーザの手の位置を示す光信号が発生されるステップと、
   前記位置指示器機から発生された光信号を受信し、ユーザ前面に対する複数の映像を計測するステップと、
   前記計測するステップで計測されたそれぞれの映像を分析して３次元座標を計算するステップと、
   前記計測するステップで受信された光信号からユーザの手の位置を把握し、前記計算された３次元座標上でユーザの手の動きパターンを認識するステップと、
   前記認識するステップで認識された動きパターンに対応する命令を出力するステップと
   を備えることを特徴とする着用型コンピューティング環境基盤のユーザインターフェース方法。
10. 前記計算するステップは、
    前記計測するステップで映像を計測する複数のイメージセンサの画角が互いに重なる領域に仮想のディスプレイ画面を具現し、前記仮想のディスプレイ画面の映像から３次元座標を計算することを特徴とする、請求項９に記載の着用型コンピューティング環境基盤のユーザインターフェース方法。
11. 前記計算するステップは、
    前記複数の映像計測手段によって計測された各映像から２次元座標を抽出するステップを備え、
    前記抽出された２次元座標、および前記計測するステップの前記光信号によって感知された手の位置情報に基づいて３次元座標を計算することを特徴とする、請求項９に記載の着用型コンピューティング環境基盤のユーザインターフェース方法。
12. 前記計測するステップは、
    前記ユーザの動きから身体の揺れ程度を計測するステップを備えることを特徴とする、請求項９に記載の着用型コンピューティング環境基盤のユーザインターフェース方法。
13. 前記計測された身体の揺れ程度に基づいて、前記計測するステップで計測された映像の揺れを補正するステップをさらに備えることを特徴とする、請求項１２に記載の着用型コンピューティング環境基盤のユーザインターフェース方法。
14. 前記光信号は、
    ユーザから前記位置指示器機に手の動きの開始と終了を知らせる信号が入力されれば、前記入力された信号に基づいて発生されることを特徴とする、請求項９に記載の着用型コンピューティング環境基盤のユーザインターフェース方法。

Images