JP2006040271A - ソフトウェアアプリケーションと対話するためのジェスチャの認識および使用 - Google Patents

Abstract

【課題】 イメージを表示するための表示面を有し、ユーザの手および指を含めて様々なオブジェクトを検出することができる、インタラクティブディスプレイテーブルを提供する。
【解決手段】 ビデオカメラは、オブジェクトから反射された赤外線（ＩＲ）に応答して、任意の連結コンポーネントを検出する。連結コンポーネントは、表示面に接触しているかまたはその近傍にあるオブジェクトの部分に対応する。連結コンポーネントを使用して、インタラクティブディスプレイテーブルは、自然な手または指の位置、あるいはオブジェクトの動きを検知し推測して、ジェスチャを検出する。特定のジェスチャは、アプリケーションの実行、バーチャルオブジェクトの作成、または他の対話のために使用される。ジェスチャは、片手または両手、あるいは他のオブジェクトによって作られる、静的なポーズ、またはより複雑な形状、動きとすることができる。
【選択図】 図１３

Description

本発明は、一般に、インタラクティブディスプレイの表面に表示されたバーチャル環境と対話するために、ユーザの手および指を用いて行ったジェスチャを検出するための方法および装置に関し、より詳細には、表示面の近傍で自然な手または指の動きを用いて、ソフトウェアアプリケーション、または表示面でのイメージの表示を制御することに関する。

コンピューティングプラットフォームがより強力になり、多くの様々な新しい方法によりユーザに応答することが可能になるのに伴い、アプリケーションを制御しまたデータを入力するためにユーザがキーボードでタイプする必要がないように、コンピューティングデバイスとユーザの間の対話が継続的に改善されている。マイクロソフト社のＷｉｎｄｏｗｓ（登録商標）オペレーティングシステムにより提供されるようなグラフィカルユーザインターフェースシステムの発展は、ユーザが制御アクションを入力しまた選択をより自然で直観的な方法で行うことを可能にすることによって、ユーザがコンピューティングデバイスと対話することができる容易性に大幅な改善をもたらした。

ユーザが容易に制御アクションを入力することができることは、コンピュータゲームおよび他のバーチャル環境では、入力を素早く効率的に提供する必要があるので特に重要である。ユーザは、通常、マウス、ジョイスティック、ホイール（ｗｈｅｅｌ）、ゲームパッド、トラックボール、または他のユーザ入力装置を操作することにより、バーチャル環境と対話して、バーチャル環境を生成するソフトウェアプログラムによって定義されたある種の機能を実行する。バーチャル環境、およびバーチャル環境におけるユーザのオブジェクトとの対話の効果は、一般に、ディスプレイ上で可視であり、したがって、ユーザの入力および制御アクションの結果に関して即座にユーザはフィードバックを得ることができる。

ユーザ入力の他の形態では、ユーザの指またはスタイラス（ｓｔｙｌｕｓ）の接触に応答性のあるディスプレイを利用している。タッチ応答ディスプレイは、圧力に対し作動すること、静電容量または磁場強度における電位変化に応答すること、表面弾性波を利用すること、あるいは、ディスプレイ上での指またはスタイラスの位置を指し示す他の状態に応答することができる。別のタイプのタッチセンシティブディスプレイ（ｔｏｕｃｈ ｓｅｎｓｉｔｉｖｅ ｄｉｓｐｌａｙ）は、ディスプレイスクリーン表面から間隔を介した複数のオプティカルセンサ（ｏｐｔｉｃａｌ ｓｅｎｓｏｒ）を含み、それによって、スクリーンに接触している指またはスタイラスの位置を検出することができる。これらのタッチセンシティブディスプレイの１つを使用して、ユーザは、表示されているバーチャルオブジェクトをより直接的に制御することができる。例えば、ユーザは、表示されたバーチャルオブジェクトに指を用いてタッチして、バーチャルオブジェクトを選択し、次いで、選択したバーチャルオブジェクトをタッチセンシティブディスプレイ上の新しい位置にまでドラッグすることができる。

従来のタッチセンシティブディスプレイで使用される静電容量、電磁気、光学、または他のタイプのセンサは、通常、ディスプレイスクリーンに同時にタッチしている２つ以上の指または物体の位置を、同時に検出することができない。静電性または電気抵抗、または表面弾性波を検知する表示面は、複数の接触点を検出することができるが、表示面にどのような解像度でもオブジェクトを表示することができない。これらのタイプの従来技術のシステムは、表示面に配置される複数の異なるオブジェクトから各オブジェクトを識別するために使用することができる、オブジェクトまたは詳細な形状についてのパターンを検出することができない。

従来技術で開発されている他の手法では、水平ディスプレイスクリーンの側面および上方に取り付けられたカメラを使用して、ディスプレイスクリーンにタッチしているユーザの指または他のオブジェクトのイメージを視覚的に捕捉する。このような複数のカメラを取り付けた構成は、多くの人々が家庭で使用したいと考えるようなコンパクトなシステムではないのは明らかである。さらに、このタイプのマルチカメラシステムでの表示面上または表示面近傍のオブジェクトに応答する際の正確さは、３次元空間においてオブジェクトおよびその位置を視覚的に認識するシステムで使用されるソフトウェアの能力に依存する。さらに、カメラの１つからのオブジェクトに対する視界は、その間に介在する別のオブジェクトによって妨害されるおそれがある。

上述のタッチセンシティブディスプレイおよび他のディスプレイに固有の多数の問題に取り組むために、あるユーザインターフェースプラットフォームがＭＩＴメディアラボ（ＭＩＴ Ｍｅｄｉａ Ｌａｂ）で開発された（例えば、非特許文献１参照。）。ｍｅｔａＤＥＳＫは、２次元地図情報を表示するために使用されるほぼ水平のグラフィック表面（ｇｒａｐｈｉｃａｌ ｓｕｒｆａｃｅ）を含む。グラフィック表面の上に配置された、アームマウントされた（ａｒｍ−ｍｏｕｎｔｅｄ）フラットパネルディスプレイは、３次元地図情報を表示するために使用される「アクティブレンズ（ａｃｔｉｖｅ ｌｅｎｓ）」の役目をする。デスクユニット内の（すなわちグラフィック表面の下の）コンピュータビジョンシステムは、赤外線（ＩＲ）ランプ、ＩＲカメラ、ビデオカメラ、ビデオプロジェクタ、およびミラーを含む。ミラーは、プロジェクタによって投影されるグラフィックイメージを、グラフィック表示面の裏面に反射する。ＩＲカメラは、グラッフィック表面上に配置される「ファイコン（ｐｈｉｃｏｎ）」と呼ばれるパッシブ（ｐａｓｓｉｖｅ）オブジェクトの下面に提供される特徴的パターンを検出することができる。磁場ポジションセンサ、および電気接触センサも、ｍｅｔａＤＥＳＫ内に含まれる。例えば、「グレートドーム（Ｇｒｅａｔ Ｄｏｍｅ）ファイコン」の底部に適用される（可視光に対して透明な）ＩＲパターンを検出するＩＲカメラに応答して、グレートドームの実際の位置が地図内のグレートドームファイコンが位置する場所に位置付けられて、ＭＩＴのキャンパスの地図が、グラフィック表面に表示される。グラフィック表面上でグレートドームのファイコンを移動させると、ユーザによるファイコンの移動に対応して地図を回転または変換することによって、表示された地図が操作される。

表示面上でオブジェクトを検知するための同様の手法は、ソニーコンピュータサイエンス研究所のＪｕｎ Ｒｅｋｉｍｏｔｏによって発表された数本の論文に開示されている（例えば、非特許文献２参照。）。これらの論文は、後方から投射されたイメージが可視である表示面の近傍またはそれに接触しているオブジェクトを検出するために赤外線をいずれも用いる「ＨｏｌｏＷａｌｌ」および「ＨｏｌｏＴａｂｌｅ」を簡潔に説明している。ＨｏｌｏＷａｌｌでは垂直でＨｏｌｏＴａｂｌｅでは水平のリアプロジェクション（ｒｅａｒ−ｐｒｏｊｅｃｔｉｏｎ）パネルは、半透明で拡散性があり、それによって、オブジェクトが、パネルに接近し次いで接触するのに伴い、よりはっきりと見えるようになる。したがって、こうして検出されたオブジェクトは、ユーザの指、手、または他のタイプのオブジェクトとすることができる。

表示面上または付近のオブジェクトを光学的に検出することができるインタラクティブディスプレイを使用することによって、特定の振舞いのオブジェクトの動きを検出することができるはずである。したがって、インタラクティブ表示面によって検出される、ユーザの手による特定のジェスチャに、インタラクティブ表示面が応答することが望ましい。トロント大学コンピュータサイエンス学科（Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｏｒｏｎｔｏ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ）のＭｉｋｅ ＷｕおよびＲａｖｉｎ Ｂａｌａｋｒｉｓｈｎａｎは、ユーザのジェスチャによる手および指の位置を検知するために静電結合を利用するＭｉｔｓｕｂｉｓｈｉ ＤｉａｎｍｏｎｄＴｏｕｃｈ ｔａｂｌｅを使用し、アプリケーションと対話するためにあらかじめ定義したジェスチャを用いる利点を指摘した（例えば、非特許文献３参照。）。（やはりトロント大学コンピュータサイエンス学科の）Ｇｏｎｚａｌｏ ＲａｍｏｓおよびＲａｖｉｎ Ｂａｌａｋｒｉｓｈｎａｎは、圧力感知のタブレットＰＣ（または彼らが言及しているようにデジタイザタブレットを備えたよりハイエンドのワークステーション）上でジェスチャを用いたビデオの制御について実証した（例えば、非特許文献４参照。）。これらの従来技術の各システムでは、ジェスチャによってアクティブ化する機能をシステムが学習しなければならない。しかし、この２つの従来技術のシステムでは、他のタッチセンシティブ、静電容量性、または電磁気感知の表示面と同様の制限、すなわち、良好なイメージング分解能の欠如、オブジェクトの形状および方向性を適切に識別できないこと、および、表示面に同時に接触する複数のオブジェクトを検知するのが困難なことが問題となっている。また、圧力感知表示面は、表示面との実際の接触を必要とし、表示面近傍のオブジェクトに対し応答することができない。

Brygg Ullmer and Hiroshi Ishii, "The metaDESK: Models and Prototypes for Tangible User Interfaces", Proceedings of UIST 10/1997, 14-17 Jun Rekimoto Mike Wu and Ravin Balakrishnan, "Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-User Tabletop Displays", UIST '03 Gonzalo Ramos and Ravin Balakrishnan, "Fluid interaction Techniques for Control and Annotation of Digital Video", UIST "03

明らかに必要とされているのは、アプリケーションとの対話を制御し、ジェスチャによって行われる機能との関係が直観的に理解できる自然なジェスチャを用いて機能またはオブジェクトを選択することができる、インタラクティブディスプレイシステムである。ジェスチャを行う際に、１つまたは複数の手の１本または複数の指を用いることを可能になるべきであり、所望の場合は、ユーザのアペンデージ（ａｐｐｅｎｄａｇｅ）が表示面に実際に接触することを必要としないことが望ましい。

したがって、本発明の一態様は、イメージが表示されそのディスプレイシステム上または近傍に配置されたオブジェクトが光学的に検出することができるインタラクティブディスプレイシステムに関連してジェスチャを用いるための方法に関する。この方法では、インタラクティブディスプレイシステムの表示面の上方に配置される、ユーザの手に握られたオブジェクトあるいはユーザの体のアペンデージの少なくとも一部分から反射される光によってイメージが形成される。こうして反射された光は、表示面を通過後に検出される。このアペンデージには、腕、手、および／または、手の１本または複数の指（すなわち親指または他の指）を含むことができ、これらの任意の部分は、表示面の単に近傍としても、実際にそれに接触していてもよい。このイメージは、そのイメージ内の少なくとも１つの関連するコンポーネントを検出するために処理される。関連するコンポーネントは、所定の閾値より大きい強度を有する隣接するピクセルを含むイメージの一部分として定義される。イメージ内の１つまたは複数の関連するコンポーネントに基づいて、表示面に関係してオブジェクトまたはユーザの体のアペンデージの部分によって行われたジェスチャが認識される。この方法は、認識されたジェスチャの機能として、ジェスチャに事前に関連付けられている応答を自動的に作成する。以下の議論で明らかになるように、この応答は、インタラクティブディスプレイシステムの状態を所定の状態に変更する。

ジェスチャは、いくつかの異なる振舞いで行うことができる。例えば、ジェスチャは、おおまかに定義された経路に沿った動きを含むことができ、あるいは、表示面付近のユーザのアペンデージの少なくとも一部分のポーズを含むことができる。

少なくとも１つの連結コンポーネントは、オブジェクトによる表示面への接触に対応する少なくとも１つのタッチ連結コンポーネントを含むことができる。また、少なくとも１つの連結コンポーネントは、ユーザの指または手に対応することができる。

自動的に作成される応答は、インタラクディブディスプレイシステム上でジェスチャに関連するソフトウェアアプリケーションを実行するステップを含むことができる。任意選択で、ジェスチャは、ソフトウェアアプリケーションに関係するアルファベット文字を定義することができる。例えば、ジェスチャは、アプリケーション名の最初の文字の形状で形成することができる。

アプリケーションがインタラクティブディスプレイシステムにより実行されるとき、自動的に作成される応答は、そのアプリケーションにおいて機能を実行するステップを含むことができる。さらに、その応答は、機能が実行されたときその機能に関係する変数が変更される範囲を示すためのオブジェクトをユーザが動かすことを可能にすることができる。

他の実施形態では、自動的に生成される応答は、インタラクティブディスプレイシステムの表示面上でジェスチャにより定義される領域を選択するステップを含む。ジェスチャはまた、表示面に提示されるイメージまたはバーチャルオブジェクトを選択するために用いることができる。この場合、応答は、表示面上でユーザのアペンデージの少なくとも一部分を動かすことによって、ユーザがイメージまたはバーチャルオブジェクトのサイズを変更することを可能にするステップをさらに含むことができる。

他の実施形態では、ジェスチャは、応答を引き起こすために用いられ、ジェスチャに関連するバーチャルオブジェクトは表示面に提示される。この実施形態では、ユーザは、例えば、バーチャルオブジェクトのような形をおおまかにした自然なジェスチャを用いることができる。

少なくとも１つの連結コンポーネントを検出することは、ユーザのアペンデージの方向性をおおまかに決定するための、複数のタッチ連結コンポーネント、および少なくとも１つのホバー（ｈｏｖｅｒ）連結コンポーネントを含むことができる。このアペンデージの方向性により、ジェスチャが正しく認識されることを可能にすることができる。典型的には、複数のタッチ連結コンポーネントは、表示面に接触しているユーザの指に対応し、任意のホバー連結コンポーネントは、表示面の近傍で実際にはそれに触れていないユーザの手に対応する。

本発明の他の態様は、コンピューティングデバイスによって行われる方法のステップを実行するためのマシン命令を格納するメモリ媒体に関する。

本発明のさらに他の態様は、例えばユーザの体のアペンデージまたはユーザの手に握られたオブジェクトなどのジェスチャに応答する、インタラクティブディスプレイシステムに関する。インタラクティブディスプレイシステムは、その上にまたは付近でオブジェクトを配置し操作することが可能な対話側、および反対側を有する表示面を含む。光源は、光を、表示面の反対側から表示面を通して対話側に送り、対話側の近傍のユーザのアペンデージなどのオブジェクトに光を当てる。光センサは、オブジェクトから反射され表示面を介して戻った光を受け取り検知するために配置されており、表示面に接触しているかまたは近傍のオブジェクトのイメージに対応する信号を生成する。プロセッサは、光センサおよびメモリと通信する。メモリは、データ、およびプロセッサに複数の機能を実行させるマシン命令を格納する。これらの機能は、一般に、上記の方法のステップと一致している。

上述の本発明の態様および付随する利点の多くは、添付の図面と併せて以下の詳細な説明を参照することにより、さらに容易に認識しまた適切に理解することができる。

本発明を実装するための例示的コンピューティングシステム
図１を参照すると、本発明の様々な部分を実装するのに適切な例示的システムが示されている。このシステムは、処理ユニット２１、システムメモリ２２、システムバス２３を備えた従来のＰＣ２０の形態の汎用コンピューティングデバイスを含む。システムバスは、システムメモリを含めて様々なコンポーネントを処理ユニット２１に結合し、また、様々な任意のバスアーキテクチャを使用した、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含めて、いくつかのタイプのうち任意のバス構造とすることができる。システムメモリは、ＲＯＭ（リードオンリメモリ）２４、およびＲＡＭ（ランダムアクセスメモリ）２５を含む。起動時などにＰＣ２０内の要素間で情報を転送するのを助ける基本的ルーチンを含むＢＩＯＳ（基本入出力システム）２６は、ＲＯＭ２４に格納されている。さらに、ＰＣ２０は、ハードディスク（図示せず）から読取りまたはそれに書き込むためのハードディスクドライブ２７、リムーバル磁気ディスク２９から読取りまたはそれに書き込むための磁気ディスクドライブ２８、および、ＣＤ‐ＲＯＭ（コンパクトディスクリードオンリメモリ）または他の光媒体などのリムーバル光ディスク３１から読取りまたはそれに書き込むための光ディスクドライブ３０を含む。ハードディスク２７、磁気ディスク２８、および光ディスクドライブ３０はそれぞれ、ハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続されている。これらのドライブおよび関連するコンピュータ可読媒体は、ＰＣ２０のためのコンピュータ可読のマシン命令、データ構造、プログラムモジュール、および他のデータの不揮発性ストレージを提供する。本明細書に記載の例示的環境では、ハードディスク、リムーバル磁気ディスク２９、およびリムーバル光ディスク３１が使用されているが、コンピュータによってアクセス可能なデータおよびマシン命令を格納することができる他のタイプのコンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、ＤＶＤ（デジタルビデオディスク）、ベルヌーイ（Ｂｅｒｎｏｕｌｌｉ）カートリッジ、ＲＡＭ、およびＲＯＭなどのコンピュータ可読媒体を例示的動作環境で使用することができることは当業者には認識されよう。

オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、他のプログラムモジュール３７、およびプログラムデータ３８を含めて多数のプログラムモジュールは、ハードディスク、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、またはＲＡＭ２５に格納することができる。ユーザは、キーボード４０およびポインティングデバイス４２などの入力装置を介して、コマンドおよび情報をＰＣ２０に入力し、制御入力を提供することができる。ポインティングデバイス４２は、マウス、スタイラス、ワイヤレスリモートコントロール、または他のポインタを含むことができるが、本発明と関連して、ユーザは、入力および制御のためにインタラクティブディスプレイを利用することができるため、このような従来のポインティングデバイスは除外することもできる。以下では、用語「マウス」は、実質的には、スクリーン上のカーソルの位置を制御するのに役立つ任意のポインティングデバイスを包含するものとする。他の入力装置（図示せず）には、マイク、ジョイスティック、ハプティックジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、パラボラアンテナ、またはスキャナなどが含まれ得る。上記および他の入出力（Ｉ／Ｏ）装置は、多くの場合、システムバス２３に結合された入出力インターフェース４６を介して処理ユニット２１に接続されている。入出力インターフェースという用語は、シリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはＵＳＢ（ユニバーサルシリアルバス）に専用の各インターフェースを包含するものとする。システムバス２３は、下記に論じるように、インタラクティブディスプレイ６０に含まれるデジタルビデオカメラから信号を受け取るために、インタラクティブディスプレイ６０に結合されたカメラインターフェース５９にも接続されている。デジタルビデオカメラは、代わりに、ＵＳＢバージョン２．０ポートなど適切なシリアル入出力ポートに結合することもできる。任意選択として、モニタ４７は、ビデオアダプタ４８など適切なインターフェースを介してシステムバス２３に接続することができるが、本発明のインタラクティブディスプレイは、情報の入力およびソフトウェアアプリケーションの制御のために、それよりも非常に優れた表示および対話をユーザに提供することができるので、本発明のインタラクティブディスプレイがビデオアダプタに結合されることが好ましい。ＰＣは、（図示されていないサウンドカードまたは他のオーディオインターフェースを介する）スピーカ、およびプリンタなど他の出力周辺装置（図示せず）に結合されていることが多いことは認識されよう。

本発明は、単一のマシンで実施することができるが、ＰＣ２０は、リモートコンピュータ４９のような１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することもできる。リモートコンピュータ４９は、他のＰＣ、（通常、ＰＣ２０とほぼ同じに構成される）サーバ、ルータ、ネットワークＰＣ、ピアデバイス、サテライト、または他の一般的なネットワークノードとすることができ、通常、ＰＣ２０に接続される上記要素の多くまたは全部を含むが、図１には、外部メモリストレージデバイス５０だけを示している。図１に示す論理接続は、ＬＡＮ（ローカルエリアネットワーク）５１、およびＷＡＮ（ワイドエリアネットワーク）５２を含む。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。

ＰＣ２０は、ＬＡＮネットワーク環境で使用されるとき、ネットワークインターフェースまたはアダプタ５３を介してＬＡＮ５１に接続される。ＷＡＮネットワーク環境で使用されるときは、一般的に、ＰＣ２０は、インターネットなどのＷＡＮ５２を介して通信を確立するための、モデム５４、あるいは、ケーブルモデム、ＤＳＬ（デジタル加入者線）インターフェース、ＩＳＤＮ（総合デジタル通信サービス網）またはインターフェースなど他の手段を含む。内部または外部にあり得るモデム５４は、システムバス２３に接続されるか、あるいは、入出力装置インターフェース４６すなわちシリアルポートを介してシステムバス２３に結合される。ネットワーク化された環境では、ＰＣ２０が使用するプログラムモジュールまたはその部分は、リモートのメモリストレージデバイスに格納される。図に示すネットワーク接続は、例示であり、コンピュータ間の通信リンクを接続する手段として、無線通信や広帯域ネットワークリンクなど他の手段を用いることもできることは認識されよう。

例示的インタラクティブ表面
図２では、フレーム６２内にＰＣ２０を含み、このコンピュータのための光入力およびビデオディスプレイ装置の両方の役割をする、例示的インタラクティブディスプレイテーブル６０が示されている。このインタラクティブディスプレイテーブルの断面図では、テキストおよびグラフィックイメージを表示するために用いられる光線は、点線によっておおまかに図示し、インタラクティブディスプレイテーブルの表示面６４ａ上またはそのちょうど上方でオブジェクトを検知するために用いられる赤外線（ＩＲ）は、破線によって図示する。表示面６４ａは、インタラクティブディスプレイテーブルの上面６４の範囲内に設けられている。テーブル表面の外周部は、ユーザの腕、あるいは表示面６４ａに表示されるグラフィックイメージまたはバーチャル環境と対話するのに用いることができるオブジェクトを含む他のオブジェクトを支えるために役立つ。

赤外光源６６は、好ましくは、複数の赤外線発光ダイオード（ＬＥＤ）を含み、フレーム６２の内側に取り付けられる。赤外光は、赤外光源６６によって発生し、破線７８ａ、７８ｂ、７８ｃによって示されるように、表示面６４ａの裏面に向かうように上方に方向付けられる。赤外光源６６からの赤外光は、ベラム（ｖｅｌｌｕｍ）のシートまたは光拡散性を有する他の適切な半透明材を含むテーブルの半透明層６４ｂを通過した後、表示面上またはその近傍の任意のオブジェクトにより反射される。１つの赤外光源６６のみが図示されているが、表示面６４ａの照明が均一となるように、複数のこのような赤外光源を、フレーム６２の内側において間隔を置いた位置に取り付けることもできることは認識されよう。赤外光源により発する赤外光は、
・破線７８ａで示されるように、どのようなオブジェクトを照明することなくテーブル表面から出ること；
・破線７８ｂで示されるように、テーブル表面上のオブジェクトを照明すること；あるいは、
・破線７８ｃで示されるように、テーブル表面から上方へ短い距離の位置にあるがテーブル表面に接触していないオブジェクトを照明することができる。

表示面上の６４ａは、表示面上にある「タッチ」オブジェクト７６ａ、および、表示面の近くにあるが実際にはそれと接触していない「ホバー」オブジェクト７６ｂを含む。表示面を通過する赤外光を拡散させるために表示面の下に不透明層６４ｂを用いる結果として、表示面６４ａの表面にオブジェクトが接近するのに伴い、オブジェクトによって反射される赤外線量が、実際にオブジェクトが表示面に接触している時に達成される最大量にまで増加する。

デジタルビデオカメラ６８は、表示面６４ａ上方に配置される任意のタッチオブジェクトまたはホバーオブジェクトから反射される赤外光を受け取るのに適切な位置で、表示面６４ａの下方のフレーム６２に取り付けられる。デジタルビデオカメラ６８は、赤外線パスフィルタ８６ａを備え、このフィルタは、赤外光のみを透過し、点線８４ａをたどって表示面６４ａを通過し進む周辺可視光を遮断する。バッフル（ｂａｆｆｌｅ）７９は、赤外光源から発せられる赤外光が直接デジタルビデオカメラに入るのを防止するために、赤外光源６６とデジタルビデオカメラの間に配置される。というのは、好ましくは、このデジタルビデオカメラは、表示面６４ａから短い距離だけ上方にあるかまたはそれに接触しているオブジェクトから反射された赤外光のみに応答する出力信号を生成し、表示面上またはその上方にあるオブジェクトから反射された赤外光のイメージに対応することが必要なためである。デジタルビデオカメラ６８は、表示面６４ａを介してインタラクティブディスプレイの上方から内側へ通過する環境光に含まれた任意の赤外光（例えば、同様に点線８４ａで示される経路に沿って進む環境赤外光）にも応答することは明らかであろう。
テーブル表面上またはその上方のオブジェクトから反射された赤外光は、
・破線８０ａおよび８０ｂで示されるように、不透明層６４ｂを通り、パスフィルタ８６ａを通過してデジタルビデオカメラ６８のレンズ内に向かって反射する；あるいは、
・破線８０ｃで示されるように、デジタルビデオカメラ６８のレンズに入らずに、インタラクティブディスプレイの他の内部の面で反射されるまたは吸収され得る。

不透明層６４ｂは、入射と反射の両方の赤外光を拡散する。したがって、上述のように、表示面６４ａにより近い「ホバー」オブジェクトは、より離れている同じ反射率のオブジェクトよりも大量の赤外光をデジタルビデオカメラ６８に反射する。デジタルビデオカメラ６８は、そのイメージングフィールド内で「タッチ」および「ホバー」オブジェクトから反射された赤外光を検知し、反射された赤外光のイメージに対応するデジタル信号を生成する。そのデジタル信号は、各オブジェクトの位置を決定しまた任意選択で各オブジェクトのサイズ、方向、および形状を決定するために、ＰＣ２０に入力されて処理される。オブジェクトの一部分（例えばユーザの上腕など）は、他の部分（例えばユーザの指など）が表示面に接触しているときに、テーブルの上方にあってもよいことに留意されたい。さらに、オブジェクトは、オブジェクト特有、またはオブジェクトがそのメンバとなっている関連オブジェクトのクラスに特有の、赤外光反射パターンまたはコード化識別子（例えばバーコード）を、その底面に備えることができる。したがって、デジタルビデオカメラ６８からのイメージ信号は、本発明に従って、このような特定の各オブジェクトを検出し、ならびに、その反射パターンから反射された赤外光に基づいて、または反射された赤外光のイメージから明らかなオブジェクトの形状に基づいて、オブジェクトの方向性を決定するために使用することもできる。この機能を実行するために実施される論理ステップを以下に説明する。

ＰＣ２０は、図２に示すようにインタラクティブディスプレイテーブル６０と一体化しても、あるいは、図３の実施形態に示すように、代わりにインタラクティブディスプレイテーブルの外部としてもよい。図３では、インタラクティブディスプレイテーブル６０’は、データケーブル６３を介して（前述のように任意選択のモニタ４７を含む）外部ＰＣ２０に接続される。図にも示すように、１組の直交するＸ軸とＹ軸は、表示面６４ａに関連付けられ、また、「０」で示す原点によって連結している。個々に示していないが、各直交軸での複数の座標位置は、表示面６４ａ上の任意の位置を指定するために利用することができることが認識されよう。

インタラクティブディスプレイテーブルは、（図３に示す）外部ＰＣ２０、あるいは、セットトップボックス（ｓｅｔ ｔｏｐ ｂｏｘ）、ビデオゲーム、ラップトップコンピュータ、またはメディアコンピュータ（図示せず）など他のタイプの外部コンピューティングデバイスに接続され、また、インタラクティブディスプレイテーブルは、入出力装置を含む。インタラクティブディスプレイテーブルのための電力は、従来の交流（ＡＣ）電源（図示せず）に接続される、パワーリード（ｐｏｗｅｒ ｌｅａｄ）６１を介して供給される。インタラクティブディスプレイテーブル６０’に接続されたデータケーブル６３は、ＰＣ２０の、ＵＢＳ２．０ポート、ＩＥＥＥ（電気電子技術者協会）１３９４（またはＦｉｒｅＷｉｒｅ）ポート、あるいはＥｔｈｅｒｎｅｔ（登録商標）ポートに結合することができる。無線接続の速度の改善が進展するのに伴い、インタラクティブディスプレイテーブルは、このような高速無線接続あるいは他の何らかの適切な有線または無線のデータ通信リンクを介して、ＰＣ２０などのコンピューティングデバイスに接続することができることも企図される。ＰＣ２０は、インタラクティブディスプレイと一体になった部分として内部に含まれても外部にあっても、デジタルビデオカメラ６８からのデジタルイメージを処理するためのアルゴリズムを実行し、インタラクティブディスプレイテーブル６０のより直観的なユーザインターフェース機能を有利に使用するように設計されたソフトウェアアプリケーションを実行し、また、このような機能を利用することを目的に設計されていないがそれでもインタラクティブディスプレイテーブルの入力および出力の機能を有効に利用することができる他のソフトウェアアプリケーションも実行する。他の代替形態では、インタラクティブディスプレイは、外部コンピューティングデバイスに結合され得るが外部ＰＣによって行われないイメージ処理および他のタスクを行うための内部コンピューティングデバイスを含む。

インタラクティブディスプレイテーブルの（つまり上記の任意の実施形態の）重要で強力な特徴は、ゲームまたは他のソフトウェアアプリケーションのためのグラフィックイメージまたはバーチャル環境を表示し、表示面６４ａ上で可視のグラフィックイメージまたはバーチャル環境との間の対話を可能にし、パターン化されたオブジェクト７６ａのように表示面の表面にあるパターン化されたオブジェクト、またはパターン化されたオブジェクト７６ｂのように表示面のちょうど上方にあるパターン化されたオブジェクトを識別することができることである。

再び図２を参照すると、インタラクティブディスプレイテーブル６０は、表示面６４ａで、グラッフィックイメージ、バーチャル環境、またはテキスト情報を表示するために使用される、ビデオプロジェクタ７０を含んでいる。ビデオプロジェクタは、ＬＣＤ（液晶ディスプレイ）またはＤＬＰ（デジタルライトプロセッサ）タイプ、あるいはＬＣｏＳ（リキッドクリスタルオンシリコン（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ））タイプであり、少なくとも６４０×４８０ピクセルの解像度を有することが好ましい。ビデオプロジェクタが発する赤外光は、表示面６４ａ上またはその上方のオブジェクトから反射する赤外光に干渉するおそれがあるが、赤外線カットフィルタ８６ｂは、このビデオプロジェクタからの赤外光がインタラクティブディスプレイテーブルの内部に入るのを防止するために、ビデオプロジェクタ７０の投影レンズの前部に取り付けられる。第１のミラーアセンブリ７２ａは、プロジェクタレンズから進む投影光が点線の経路８２ａに沿ってフレーム６２の透明開口部９０ａを通り抜け第２のミラーアセンブリ７２ｂに入射するように方向付ける。第２のミラーアセンブリ７２ｂは、投影されたイメージが可視となり、表示のための表示面６４ａで焦点が合うように、投影光をプロジェクタレンズの焦点となる不透明層６４ｂに対して反射する。

アライメントデバイス７４ａおよび７４ｂは、設けられ、表示面に対して投影されたイメージが表示面と位置が整合するように第１および第２のミラーアセンブリの角度を調整するためのネジ棒および回転可能調整ナット７４ｃを含む。この２つのミラーアセンブリは、投影されたイメージを所望の方向に向けることに加え、プロジェクタ７０と不透明層６４ｂの間のより長い経路を提供し、さらに重要なことに、インタラクティブディスプレイテーブルの所望のサイズおよび形状を達成するのを助ける。したがって、インタラクティブディスプレイテーブルは、大きくなりすぎず、ユーザがその隣に快適に座ることができる寸法および形状とすることができる。

手の位置の推測
表示面に接触しているかその近傍にあるオブジェクトは、オブジェクトから反射された所定の強度レベルを上回る赤外光に応答して赤外線ビデオカメラ６８によって作成されたイメージにおける連結コンポーネントを構成するピクセルを検出することにより検知される。連結コンポーネントを含めるために、ピクセルは、やはり所定の強度レベルを超える他のピクセルと隣接していなければならない。表示面の近傍だがそれと接触していないホバーオブジェクトと、表示面と実際に接触しているタッチオブジェクトに対しては、異なる所定の強度レベルの閾値を定義することができる。したがって、ホバー連結コンポーネントとタッチ連結コンポーネントがあり得る。連結コンポーネントを決定するためにオブジェクトから反射した赤外光を処理しそれに基づいてオブジェクトならびにそのサイズおよび方向性を識別することに関するロジックの詳細は、２００４年３月３１日に出願され、参照によりその明細および図面を明確に本明細書に援用する、本発明の譲受人に譲渡される同時係属出願である、「Determining Connectedness and Offset of 3d Objects Relative to An Interactive Surface」という名称の米国特許仮出願第１０／８１４７６１号明細書に説明されている。

ユーザが、同じ手の１本または複数の指を、その指先を表示面にタッチした状態で、インタラクティブテーブルの表示面を横切って移動させるとき、タッチ連結コンポーネントとホバー連結コンポーネントの両方が、インタラクティブディスプレイテーブルの赤外線ビデオカメラによって検知される。指先は、タッチオブジェクトとして認識され、表示面に充分に接近している手、手首、および前腕の一部は、ホバーオブジェクトとして識別される。検知されたタッチおよびホバーコンポーネントを構成し表示面のそれらのエリアに配置されているピクセルを含む、連結コンポーネントの相対的サイズ、方向性、および位置は、ユーザの手および指（すなわち親指および／または他の指）の位置および方向性を推測するために用いることができる。本明細書および添付の特許請求の範囲では、「指」およびその複数形は、これらの単語の使用が、特定の文脈で１本または複数の「親指」として別個に考慮することを指示していない限り、概して、１本（または複数の）指、および１本（または複数の）親指を共に包含するものとする。

図４Ａにおいて、例示４００は、検知された入力イメージ４０４を例示的に示す。このイメージは、表示面の拡散層を介して検知されることに留意されたい。この入力イメージは、タッチ連結コンポーネント４０６およびホバー連結コンポーネント４０８を含む。図４Ｂにおいて、例示４１０は、図４Ａに示すホバー連結コンポーネント４０８に対応し推測された、表示面の上方での手４０２を例示的に示す。推測された手の人差し指は伸ばされていて、その指先は、表示面に物理的に接触しているが、残りの指、および手は、表示面にタッチしていない。したがって、表示面に接触している指先は、タッチ連結コンポーネント４０６に対応する。

図４Ｃでは、同様に、例示４２０は、検知された入力イメージ４０４を例示的に示す。やはり、表示面の上方にあるオブジェクトおよびそれに接触しているオブジェクトのイメージは、表示面の拡散層を通り検知される。この入力イメージは、２つのタッチ連結コンポーネント４１４、および１つのホバー連結コンポーネント４１６を含む。図４Ｄでは、例示４３０は、表示面上方にある推測された手４１２を例示的に示す。推測された手の人差し指および親指は伸ばされ表示面に物理的に接触しており、したがってタッチ連結コンポーネント４１４に対応し、一方、残りの指および手は、表示面にタッチしておらず、したがってホバー連結コンポーネント４１６に対応する。

図５Ａ〜５Ｃは、２つの可能な手の位置および方向性を、単に１組の連結コンポーネントに基づいて、どのように、インタラクティブディスプレイテーブルによって推測することができるのかを例示的に示す。図５Ａの例示５００が示すように、検知された入力イメージは、２つのタッチ連結コンポーネント５０４、および１つのホバー連結コンポーネント５０２を含む。図５Ｂおよび５Ｃの例示５１０および５２０では、１つの手について２つの異なる位置および方向性が、同じ１組の連結コンポーネントに基づいてそれぞれ推測されている。図５Ｂでは、左手５０６ａが、イメージの左側から差し出されていると推測されている。図５Ｃでは、右手５０６ｂが、イメージの左側から差し出されていると推測されている。（図５Ｂおよび５Ｃにおいて手の背後に示されているホバーおよびタッチ連結コンポーネントは、説明のために過ぎず、上方から表示面上に見ることができないことは理解されよう。）各事例では、前記の指および親指の指先は、タッチ連結コンポーネント５０４と一致し、手および手首は、ホバー連結コンポーネント５０２とおおまかに一致する。一般に、人差し指以外の他の指が、ディスプレイスクリーンにタッチするために用いられる可能性があるが、図５Ａにおける検知された入力イメージを所与とすると他の手の位置および方向性は不可能である。（図５Ｂおよび５Ｃにおいて手の背後に示されているホバーおよびタッチ連結コンポーネントは、説明のために過ぎず、上方から表示面上に見ることができないことは理解されよう。）
図６Ａ〜６Ｆは、ユーザの手が表示面を横切って移動するのに伴い、方向性に関する曖昧さがどのように減じられるのかを例示的に示す。図６Ａ、６Ｃ、および６Ｄでは、例示６００、６１０、および６２０はそれぞれ、検知された入力イメージ６０６ａ、６０６ｂ、および６０６ｃの、ホバー連結コンポーネント６０２ａ、６０２ｂ、および６０２ｃ、ならびにタッチ連結コンポーネント６０４ａ、６０４ｂ、および６０４ｃを示す。ユーザの手が、表示面を横切り移動するのに伴い、ホバー連結コンポーネントが、ユーザの腕の軸方向に伸長する傾向にあり、ユーザの手の方向性の曖昧さが減少する。したがって、図６Ｂ、６Ｄ、および６Ｆのそれぞれについて、インタラクティブディスプレイテーブルは、例示６００’、６１０’、および６２０’にそれぞれ示すように、表示面上でホバーしている手およびタッチしている指を推測する。（例示６００’、６１０’、および６２０’において、手の背後に見えるホバーおよびタッチ連結コンポーネントは、やはり、説明のために過ぎず、表示面の上方から実際には見ることができない。）
図７Ａおよび７Ｂは、特定のジェスチャを検出するのに役立つ、インタラクティブディスプレイテーブルによる手の姿勢の推測を、例示的に示す。ユーザは、所定の手の姿勢を使用することにより、手の位置および方向性を直接指し示すことができる。図７Ａの例示７００では、検知された入力イメージ７０２は、ホバー連結コンポーネント７０４およびタッチ連結コンポーネント７０６を含む。ホバー連結コンポーネント７０４は、表示面上方のユーザの人差し指および親指の一部分、ならび手の残りの部分を含む。図７Ｂの例示７１０は、特定のポーズの手７０８のインタラクティブディスプレイテーブルによる推測を示し、この推測は、入力イメージのホバー連結７０４の複数の異なる長さから決定されている。

インタラクティブディスプレイテーブルは、バーチャルオブジェクトのサイズ変更またはオブジェクトのセットの選択など一般的な対話のために、表示面の上方にまたはそれに接触して配置された複数の手を推測することができる。図８Ａおよび図８は、表示面の領域を選択するために用いられている複数の手を、インタラクティブディスプレイテーブルがどのように推測するかを例示的に示す。図８Ａの例示８００では、検知された入力イメージ８０２は、ホバー連結コンポーネント８０４ａおよび８０４ｂ、ならびにタッチ連結コンポーネント８０６を含む。図８Ｂの例示８１０は、入力イメージの連結コンポーネントから決定された、インタラクティブディスプレイテーブルによる、２つの手８０８ａおよび８０８ｂの推測を示す。インタラクティブディスプレイテーブルによって検出された手８０８ａおよび８０８ｂの関係に基づいて、それぞれの手の親指および人差し指によって作られたタッチ連結コンポーネントの位置に対応する角を有する、バウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）８１２が、表示面に描かれる。ユーザが手８０８ａおよび８０８ｂのいずれかまたは両方を動かすことによってボックス８１２のサイズを変更することができることは明らかであろう。バウンディングボックスが、表示面に表示されているイメージまたはバーチャルオブジェクトを表現している場合、ユーザは、単に上述のようにいずれかの手または両手を動かすことによって、容易にこのイメージまたはバーチャルオブジェクトをサイズ変更することができる。ユーザの手に掴まれたオブジェクトも、このようなジェスチャを行うために利用することができる。

ジェスチャによるアプリケーションの起動
インタラクティブディスプレイテーブルは、ジェスチャのライブラリ内の各ジェスチャを、別のアプリケーションに関連付けて、そのアプリケーションの起動および実行を支援することができる。図９Ａおよび９Ｂは、アプリケーションに関連付けられたジェスチャが検出され、それに応答して、アプリケーションが上述のように実行される様子を例示的に示す。図９Ａに示す例示９００では、（想像線で表す）指９０４ａが、ジェスチャ９０２の開始点に示され、このジェスチャは文字「Ｓ」のような形をとっている。また、指９０４ｂは、ジェスチャの終点に示されており、ジェスチャ９０２によって表されるように、表示面を横切って移動をちょうど完了している。インタラクティブディスプレイテーブルは、ジェスチャ９０２に応答して、テーブル（または他の適切なメモリパラダイム（ｐａｒａｄｉｇｍ））内のジェチャを参照し、ジェスチャ９０２が、ジェスチャのライブラリ内に格納されている特定のアプリケーションに関連付けられていることを決定する。図９Ｂに示す例示９１０では、インタラクティブディスプレイテーブルは、あらかじめジェスチャに関連付けられているソリティア（Ｓｏｌｉｔａｉｒｅ）アプリケーション９０６を実行している。明らかに、文字「Ｗ」のような形をとるジェスチャは、マイクロソフト社のＷｏｒｄ（商標）ワードプロセッシングプログラムと関連付けすることができ、これにより、ユーザは、Ｗの形状のジェスチャを行うことによって容易にワードプロセッシングプログラムを起動することができる。文字以外の形をとるジェスチャを様々な異なるアプリケーションに関連付けることができるため、ジェスチャは、文字の形状に限られず、表示面上またはその近傍で行われる該当するジェスチャに応答して、表示面での特定のアプリケーションの起動または実行がもたらされる。

図面に提供されている例のほとんどは、ユーザの手および／または指によって行われるジェスチャに関するが、本発明はユーザの体のアペンデージで行われるジェスチャのみを検出することに限定されないことは認識されよう。それどころか、ユーザは、オブジェクトを手でつかむことができ、それを用いてインタラクティブディスプレイテーブル上でジェスチャを行うことができ、これらのジェスチャは検出され反応がもたらされる。例えば、図９Ｃに示すように、クレヨンの形のパーソナルトークン（ｐｅｒｓｏｎａｌ ｔｏｋｅｎ）９２２は、ユーザの手９２４に握られてインタラクティブディスプレイテーブルに接触して配置される。次いで、ユーザは、（指の代わりに）パーソナルトークンを用いて「Ｓ」字を描くことによって、ソリティアゲームを起動する。ユーザの指ではなくパーソナルトークンを用いて行うジェスチャによってアプリケーションを起動する１つの利点は、インタラクティブディスプレイテーブルが、アプリケーションで使用するユーザのプリファレンス（ｐｒｅｆｅｒｅｎｃｅ）（カードグラフィック、ルールなど）を自動的にロードできることである。例えば、パーソナルトークンは、それにより行われたジェスチャに応答して起動されるアプリケーションについてのプレファレンスを含めたユーザプロファイルにあらかじめ関連付けられているエンコードされた赤外線反射パターンを有するタグを、パーソナルトークンの表面に設けている。

ジェスチャの認識は、パーソナライゼーション（ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ）にも用いることができる。インタラクティブディスプレイテーブルが汎用シェル状態にある場合、ユーザは、テーブル上で独自のジェスチャを行って、ユーザの個別設定されたシェルを出現させることができる。より複雑なジェスチャは、アプリケーションを実行可能にするためにまたは特定の個人データにアクセス可能にするために入力する必要があるパスワードと非常に似ている役割をすることによって、個人マネー管理ソフトウェア（ｐｅｒｓｏｎａｌ ｍｏｎｅｙ ｍａｎａｇｅｍｅｎｔ ｓｏｆｔｗａｒｅ）などのアプリケーションに対するアクセスを制限するために用いることができる。

ジェスチャによるバーチャルオブジェクトの作成
インタラクティブディスプレイテーブルは、ジェスチャのライブラリをバーチャルオブジェクトに関連付けることができ、これにより、特定のバーチャルオブジェクトを、検出された対応するジェスチャに応答して、表示面に提示することができるようになる。図１０Ａおよび１０Ｂは、対応するジェスチャに応答してバーチャルオブジェクトにアクセスすることおよびそれを提示することを例示的に示す。図１０Ａの例示１０００では、（ジェスチャの第２の部分の１００４ｂの終点でもある）ジェスチャの第１の部分１００４ａの開始点での指１００２ａを示す。想像線で表す指１００２ｂは、このジェスチャの中間位置、すなわちジェスチャの第１の部分１００４ａの終点（かつジェスチャの第２の部分１００４ｂの開始点）に示されている。この例ではバナナの形をおおまかにしているジェスチャを検知すると、インタラクティブディスプレイテーブルは、ジェスチャのライブラリに格納されているあるバーチャルオブジェクトにそのジェスチャが関連付けられていると決定する。図１０Ｂでは、例示１０１０は、インタラクティブディスプレイテーブルが、前記のジェスチャに関連付けられているバナナのイメージのバーチャルオブジェクト１００６を提示している様子を示す。

図示しないが、（指の代わりに）緑のゲームピース（ｇａｍｅ ｐｉｅｃｅ）を使用してバナナの形を描くと、緑のバナナを作成することができ、赤のゲームピースを使用すると赤のバナナを作成することができる。したがって、この方法は、インタラクティブディスプレイテーブルを使用してプレーヤを見分けるために用いることができる。図２に示す好ましい実施形態の赤外線ビデオカメラは色を検知しないため、ゲームピースは、各ピースの色とあらかじめ関連付けられたタグを有することにより、ゲームピースを用いてジェスチャを行ったユーザを識別するために使用可能になり、さらに、ゲームピースの色に対応するバーチャルオブジェクトが、インタラクティブディスプレイテーブルに表示されるようになる。インタラクティブディスプレイテーブル内に含まれる視覚検知システムは、インタラクティブ表示面付近のオブジェクトによって反射される光の色に応答することができるフルカラー検知カメラを含み得ることも企図される。

バーチャルオブジェクトが表示面６４ａに提示されるとき、ジェスチャの属性を考慮に入れることもできる。例えば、例示１０００でより大きいジェスチャを行うことにより、表示面により大きなバナナのイメージを提示させることができる。さらに別の例では、波の形（すなわち一連の連結された波形）を描くことが、外見が水の塊を表すバーチャルイメージまたはオブジェクトと関連付けられた場合、水の塊のサイズは、ジェスチャに含まれる波（スカロップ（ｓｃａｌｌｏｐ））の数により推測することができ、あるいは、バーチャルイメージの水の塊に提示される波の高さは、表示面上でユーザにより行われたジェスチャからなる波の深さにより推測することができる。

ジェスチャによるビデオ再生の制御
図１１Ａ〜１１Ｆは、インタラクティブディスプレイテーブルで実行されるビデオ再生アプリケーションのコンテキストにおいて、ビデオ再生を制御するためにジェスチャをどのように利用するかを例示的に示す。図１１Ａ、図１１Ｂ、図１１Ｃ、図１１Ｄ、図１１Ｅ、および図１１Ｆにそれぞれ示す例示１１００、１１１０、１１２０、１１３０、１１４０、および１１５０は、表示面６４ａに表示されるビデオイメージ（すなわち、動く棒線画１１０６）を示している。表示面の下に配置される赤外線ビデオカメラによって作成されたイメージにおいて検知されるタッチ連結コンポーネントに基づいて、インタラクティブディスプレイテーブルは、指１１０２およびハンド１１０４を推測し、表示面に提示されるビデオ再生を制御するためにユーザが移動する手および指によって行われる、様々なジェスチャを検出する。

図１１Ａの例示１１００では、インタラクティブディスプレイテーブルが、手１１０４ｂに結合する指１１０２ａを、その指先が表示面にタッチしているとき検知し、ビデオが現在再生されている場合、表示面６４ａ上のビデオ再生を一時停止するコマンドとしてジェスチャを認識し、代わりに、ビデオが既に一時停止されている場合、ビデオを再生するコマンドとしてジェスチャを認識することが示されている。再生または一時停止のための表示面に対するタッチは、表示面上の任意の位置に行うことができる。

図１１Ｂの例示１１１０では、インタラクティブディスプレイテーブルが、表示面上で左に向かってスライドする指先および手を検知し、このスライドするジェスチャを、ビデオを巻き戻すためのコマンドとして認識することが示されている。図１１Ｃの例示１１２０では、インタラクティブディスプレイテーブルは、表示面上で指および手が左に向かってさらにスライドするときに検知を行い、このスライドするジェスチャを、ビデオをさらに高速で巻き戻すためのコマンドとして認識する。したがって、インタラクティブディスプレイテーブルは、指および手がタッチしたポイントから左または右に移動した距離を、速度変数を制御するこのジェスチャの態様として認識し、それに応じて応答を行う。

図１１Ｄの例示１１３０では、インタラクティブディスプレイテーブルが、指および手が表示面上で右に向かってスライドするときに検知を行い、スライドするジェスチャを、ビデオを早送りするためのコマンドとして認識する。図示していないが、インタラクティブディスプレイテーブルはまた、右に向かってさらにスライドするジェスチャを、ビデオの早送りの速度を増大するためのコマンドとして認識する。

図１１Ｅの例示１１４０では、インタラクティブディスプレイテーブルは、指および手がインタラクティブディスプレイテーブルの上端に向かってすなわちユーザから遠くへスライドするとき検知を行い、このジェスチャを、ビデオにおいてズームインするためのコマンドとして認識することが示されている。ただし、インタラクティブディスプレイテーブルの上端に向かって指をスライドさせることは、ビデオの音量を上げることなど他の機能として定義することもできることを理解されよう。さらに、図示していないが、適用されるズーム量は、このジェスチャの上端方向への長さの程度に基づくことができる。

図１１Ｆの例示１１５０では、ユーザの指および手が、インタラクティブディスプレイテーブルの下端に向かってすなわちユーザに向かってスライドするとき検知を行い、このジェスチャを、ビデオ内においてズームアウトするためのコマンドとして認識する。さらにインタラクティブディスプレイテーブルの下端に向かって指をスライドすることは、例えばビデオ音量を下げるなど他の機能として定義することができる。手および指の下端への動きの程度により、通常、行われる変更の程度が制御される。

ジェスチャの認識のプロセス
ジェスチャは、例えばユーザが指先で表示面をタッチする場所に対応する、インタラクティブディスプレイテーブル上の単一点を含むことも、あるいは、より複雑な、例えば表示面に接触しているそれぞれの手の１本または複数の指を含むタッチオブジェクトおよびホバーオブジェクトのセットを含むこともできる。さらに、ジェスチャは、しばしば、表示面に接触している１本または複数の指の上方のまたはそれらを伴う片手または両手の動きを含む。これに応じて、インタラクティブディスプレイテーブルは、赤外線ビデオカメラによって作成されたイメージにおいて、検出されたどのオブジェクトが表示面上のユーザの指（ならびに表示面上方の手）と対応するかを（対応するオブジェクトがある場合）決定するアルゴリズムを実行し、このとき、指／手のたどる経路が格納されている経路と一致する場合、移動する指／手の出現が見込まれる。インタラクティブディスプレイテーブルで実行されるアルゴリズムは、手のポーズが格納されたポーズと一致するかどうか、または、手のポーズと移動の経路の組み合わせが格納されているポーズ／経路と一致するかどうかをも決定する。

図１２は、ジェスチャ認識を取り扱うために実装される論理ステップを例示的に示す。フローチャート１２００に示すように、ステップ１２０２では、ジェスチャ入力を提供するために、イメージ処理モジュール（ＩＰＭ）が、テーブル上で各連結コンポーネントについて入力イメージをフィルタリングし解析して、それが表示面に対してタッチしている指／手であるか、それともホバーしている指／手であるかを決定する。このステップでは、赤外線ビデオカメラによって作成されるイメージのいくつかのフレームにわたって急速に出現し消滅し得るオブジェクトであるディストラクタ（ｄｉｓｔｒａｃｔｅｒ）オブジェクトが除去される。このアルゴリズムは、所定の閾値を超える強度を有しグループとなっている連結コンポーネントの数、任意のタッチまたはホバー連結コンポーネントから他の各連結コンポーネントが離れている距離、および、連結コンポーネントの時間経過に対する安定性に応じて、イメージにおいて識別された所与の連結コンポーネントが、接触点を表すのかそれともホバーオブジェクトを表すのかを決定する。アルゴリズムは、その振舞いにおいて、例えば、ディストラクタ連結コンポーネントが所与のタッチ連結コンポーネントの近傍にない場合、それは指先の接触点であり得ると比較的迅速に判定し、一方、タッチ連結コンポーネントの周辺でいくつかの出現しまた消滅するディストラクタがある場合は、タッチ連結コンポーネントが指の接触点として安定している（したがって有効である）と判定するまで、何フレームかの遅れがある。この技法では、頑強性と応答性の間の充分なトレードオフが与えられる。

プロセスはステップ１２０４に進み、オブジェクト予測モジュールが、動きを含むジェスチャを検出するために、ユーザの指／手などの移動するオブジェクトの次の位置を予測する。オブジェクト予測モジュールは、オブジェクトが消滅する前に収集したオブジェクトの最後のいくつかの観測を検討する運動モデルにより、予測される位置での可能なオブジェクトの再出現を探索する。例えば、線形運動モデルを利用すると、予測される位置は、オブジェクトが消滅する前の速度、およびオブジェクトが消滅して以来の時間の関数となる。オブジェクトの対応する運動の追跡および検出を行う場合にオブジェクト予測モジュールを使用する目的は、ジェスチャを識別するときにオブジェクトの経路を正確に再構成するのを可能にすることである。線形予測法を利用して、この目的を達成するのを支援することができる。

動きを含むジェスチャは、ユーザの指先が経路に沿って表示面を横切り移動するときのユーザの指先に対応する単一の接触点の位置に関する時系列としてモデル化される。プロセスは、任意選択のステップ１２０８に進み、このステップでは、経路認識モジュールが、上記のオブジェクトフィルタリング、および持続ステップにより有効な接触点として決定された各オブジェクトの移動履歴を照合して、移動履歴が経路と一致するかどうかを決定する。オブジェクトの移動が運動モデルと充分に一致し、したがってジェスチャが識別される場合、ジェスチャ認識プロセスは、ユーザが表示面上で識別されたジェスチャを行ったことを、インタラクティブディスプレイテーブル上で実行されているアプリケーションに通知し、アプリケーションは適切に応答することができる。いくつかのジェスチャモデルを同時に考慮に入れることもできる。各ジェスチャモデルは、プロトタイプ経路を含み、プロトタイプ経路は、このような経路の記録、保存、および表示を可能にするジェスチャ記録アプリケーションによって設計時に収集される。続いて、別のアプリケーションが、このようなジェスチャモデルの読込みを要求し、それによりジェスチャの検出が可能になり、したがって、このアプリケーションは、所定の方法でジェスチャに応答することができるようになる。ある１組のジェスチャの認識を必要とするアプリケーションは、検知システムに複数のジェスチャモデルおよび対応するジェスチャのライブラリを読み込むように要求することができ、ジェスチャが検出された場合、それぞれについて通知を受けることができる。

プロセスは、任意選択のステップ１２０８に進み、手の静的形状またはポーズがジェスチャと見なされる。例えば、ユーザは、テーブル上で様々な形状で手の形をとることによって、様々な記号または数量を伝達する、あるいは、認識されたポーズまたは静的ジェスチャに対応する任意の所定の機能または動作を実行することができる。ユーザがこのような静的ジェスチャを行うときに検出に関与するアプリケーションは、オブジェクトの形状を認識するために、インタラクティブディスプレイテーブル用に開発された所定のテンプレートと併せて一般化されたビットマップ認識システムを使用することができ、２００４年３月３１日に出願され、参照によりその明細および図面を明確に本明細書に援用する、本発明の譲受人に譲渡される同時係属出願である、「Template Matching on Interactive Surface」という名称の米国特許仮出願第号１０／８１３８５５明細書に詳細に記載されている。

プロセスは、任意選択のステップ１２１０に進み、（手が移動している場合）経路と手のポーズの両方が認識される。「ジェスチャ」のより一般化された定義は、テーブル上の手の経路と、その経路に沿って手が移動するのに従って変化するポーズの両方を含む。このようなタイプの動きの例は、手を平らにして特定の方向に差し伸べるポーズで、ユーザから離れて弧を描く経路に沿って「掃く（ｓｗｅｅｐｉｎｇ）」ジェスチャである。一般化されたイメージ認識プロセスから返されたマッチスコアと経路認識プロセスから返されたマッチスコアを組み合わせることによって、ポーズ認識プロセスを経路認識プロセスと組み合わせることができる。他方に対しポーズまたは経路を強調するために、マッチスコアは、線形結合の際に異なる重みを付けることができる。最も単純な事例としては、ジェスチャの長さ全体を通して１つだけのポーズモデルがある事例が考えられる。

より複雑なジェスチャは、時間に対し、あるいは経路に沿った移動の間に変化するポーズを含むことができる。このような場合、各時点で有効なポーズ、および経時的に変化するポーズマッチスコアを考慮に入れたジェスチャモデルが適用される。一般化されたイメージ認識システムは、組み合わさってジェスチャを形成する複数のポーズを認識することができる。合計マッチスコアの計算は、経路マッチングアルゴリズムと同様のマッチングアルゴリズムを用いて達成することができる。より複雑なジェスチャを検出するために、位置座標に加えて、各時点のポーズに関する情報を有する経路の各点を決定することができる。プロトタイプで与えられた点と入力における対応する点の間のマッチを計算するとき、一方または他方をより強調するために、２つの点に異なる重み付けをすることが望ましいことがある。

ジェスチャの定義と関連付けのためのプロセス
認識を容易にするために、ジェスチャは、あらかじめ定義され、好ましくは、アプリケーション、あるいはアプリケーションにおける機能、動作、および／またはオブジェクトに関連付けられる。図１３は、このようにジェスチャを定義し関連付けるためのステップを例示的に示すフローチャート１３００を含む。ステップ１３０２に示すように、アプリケーション開発者は、ジェスチャの定義を行い、アプリケーションのある態様と（またはアプリケーションの起動と）関連付ける。ステップ１３０４では、静的ポーズ、変化するポーズ、ならびに経路を含むジェスチャが、後ほどインタラクティブディスプレイテーブルのユーザによって行われたジェスチャと比較するために、ジェスチャデータベース（またはライブラリ）に入力される。

任意選択のステップ１３０６では、ジェスチャは、アプリケーションの起動を容易にするためにアプリケーションと関連付けられるか、または、続いてユーザによってジェスチャが行われそれが認識されたとき実行されるアプリケーション内の機能に関連付けられる。あるいは、任意選択のステップ１３０８で、続いてユーザによってジェスチャが行われそれが認識されたときにバーチャルオブジェクトが表示面に提示される（または、ある態様が実施される）ように、ジェスチャは、アプリケーションにおけるバーチャルオブジェクト（または他の何らかの態様）と関連付けられる。

アプリケーションを起動するためのプロセス
図１４は、ジェスチャに応答してアプリケーションを起動するためのプロセスの論理ステップを例示的に示すフローチャート１４００を示す。ステップ１４０２で、ジェスチャレコグナイザ（ｒｅｃｏｇｎｉｚｅｒ）を実行する。ステップ１４０４で、ユーザは、指を用いて表示面でジェスチャを行う（または描く）（図９Ａ参照）。判断ステップ１４０６で、ジェスチャレコグナイザは、ジェスチャが、ジェスチャデータベースに格納されているものと一致するかどうかを決定する。一致する場合、プロセスは、ステップ１４０８に進み、そのジェスチャに関連付けられたアプリケーションが起動し、一致しない場合は、ステップ１４１０に示すようにそのジェスチャは無視される。

バーチャルオブジェクトを描画するためのプロセス
図１５は、ジェスチャによってアプリケーションに関連付けられたバーチャルオブジェクトを描画するためのプロセスを例示的に示す。フローチャート１５００では、ステップ１５０２でアプリケーションおよびジェスチャレコグナイザが実行される。ステップ１５０４で、ユーザは、インタラクティブディスプレイテーブル上でジェスチャを描く（図１０参照）。判断ステップ１５０６で、ジェスチャレコグナイザは、そのジェスチャがジェスチャデータベースに格納されているジェスチャと一致するかどうかを決定する。ジェスチャのマッチングは、ジェスチャが行われたときの表示面上でのジェスチャの位置、ならびに、ジェスチャのサイズ、速度、方向性、書き順、および向きを含めて多数のファクタに依存させることができることに留意されたい。ジェスチャがジェスチャデータベース内に格納されているジェスチャと一致した場合、プロセスは、ステップ１５０８に進み、アプリケーションに関連付けられたバーチャルオブジェクトは、インタラクティブディスプレイテーブルに表示され、一致しない場合、ステップ１５１０に示されるように無視される。

ビデオ再生の制御のためのプロセス
図１６は、ビデオ再生を制御するためのステップを含むフローチャート１６００を例示的に示す。（図１１Ａ〜１１Ｆを参照されたい。）ステップ１６０２で、入力ジェスチャを検知する。ステップ１６０４で、モジュールが、インタラクティブディスプレイテーブルによって現在実行されているアプリケーションのコンテキストを決定する。現在実行されているアプリケーションのタイプ（この場合はビデオ再生）を決定することにより、そのアプリケーションに適用可能な適切なジェスチャのセットがロードされアクセスされることが保証され、それによって、ユーザが行うジェスチャに応答して実行するための正しい機能が決定される。ユーザがジェスチャを行っている時点に異なるアプリケーションが実行されている場合、同じジェスチャが異なる機能を実施するために用いられることがあり得る。また、実行されているアプリケーションの状態が、実施されている機能に対して影響を与えることもできる。例えば、ビデオを再生するアプリケーションでは、ユーザが同じジェスチャを用いて再生と一時停止を切り替える。

ステップ１６０６で、ロジックは、表示面６４ａに関係するユーザの指／手の任意の動きおよび向きを決定する。ステップ１６０８で、ロジックは、ジェスチャを、実行しているアプリケーションに関するジェスチャのコンテキストデータベースまたはライブラリと照合する。判断ステップ１６１０で、ジェスチャが任意の動きを含むかどうかを決定する。含んでいない場合、プロセスは、ステップ１６１２に進み、アプリケーションが、対応する機能を実行する。例えば、ビデオ再生オプションでは、ユーザが、表示面の任意の場所を指でタッチするのに応答して、機能がビデオの再生と一時停止の間で切り替わる。

ジェスチャが、１つまたは複数の指／手の動きを含む場合、プロセスは、判断ステップ１６１４に進み、動きが左または右向きであるかどうかを決定する。動きが左または右向きである場合、プロセスは、ステップ１６１６に進み、ロジックが位置の変化率を決定する。ステップ１６１８に示すように、指／手の移動の程度により、対応する機能が実行される程度が決定される。ビデオ再生アプリケーションでは、ジェスチャの移動の程度により決定される速度で巻戻し／早送りを実施することによって機能がこのジェスチャに応答する。ジェスチャの際の左または右向きの移動に応答するいくつかの機能については、位置の変化率を考慮する必要がないことを認識されたい。

動きが左または右向きでなく代わりに上または下向きなど他の向きである場合、プロセスは、ステップ１６２０に進み、ロジックは、ズームイン、ズームアウト、または音量レベルの変更などのジェスチャで検出される動きの向きに対応する、他のあらかじめ定義された機能を実行する。機能を適用する程度は、やはりジェスチャの際の移動の程度により決定することができる場合も、あるいは、機能が、ジェスチャにおいて検出される移動の程度に応じて可変のタイプではない場合もある。

ビデオ再生を制御する際に使用するジェスチャに応答して実行される機能は、スクロールするまたは変化する速度または程度の制御が望まれる他のアプリケーション、例えば、アニメーション、オーディオ、ウェブブラウザなどのアプリケーションにも適用することができる。また、アプリケーション、あるいはアプリケーションのオブジェクトまたは動作を制御する際に使用される機能と関連付けられたジェスチャは、表示面上での指／手の左／右または上／下への移動または点接触に明確に限定されるものではない。単純ないし複雑なポーズおよび動きを伴う他の多数のジェスチャを、この目的のために用いることができる。使用できるすべての可能なジェスチャを定義することではなく、単にジェスチャを用いるいくつかの分かりやすい例を与えることを目的としている。ユーザの腕または他のアペンデージによってもジェスチャを行うことができ、ジェスチャは指／腕のみに限定されない。ジェスチャは、ホバー連結コンポーネントだけに限定することもでき、したがって、ユーザは、ジェスチャを行うために表示面にタッチする必要なく、単に表示面の上方および近傍で手または腕を動かしてジェスチャを行うことができる。

図４Ａ〜７Ｂを検討することにより、本発明の他のいくつかの特徴が明らかになる。特に、図６Ａ、６Ｃ、および６Ｅは、インタラクティブディスプレイテーブル周辺の特定の側面または位置にある表示面上を移動するユーザの腕、手、および指に対応するホバーコンポーネントおよびタッチコンポーネントから反射された赤外光に応答して作成されたビデオカメラからの信号を処理することによって連結コンポーネントのセットとして決定された連結コンポーネントにおける変化を示す。これらの図に示した例では、ユーザは表示面の左側に位置し、左腕で表示面上に手を伸ばし、親指と人差し指を表示面に接触して滑らせている。インタラクティブディスプレイテーブルは、図６Ａ、６Ｃ、および６Ｅに示すタッチ連結コンポーネント６０４ａ、６０４ｂ、および６０４ｃが、特定のユーザの手に属する指に対応することを、連結コンポーネントの時間パターン、ならびに連結コンポーネントの方向性に基づいて容易に推論することができることは明らかであろう。本明細書および添付の特許請求の範囲では、用語「時間パターン（ｔｅｍｐｏｒａｌ ｐａｔｔｅｒｎ）」は、オブジェクトが表示面に対して移動するとき、経時的にホバーオブジェクトおよび／またはタッチオブジェクトに対応する連結コンポーネントについての連続的変化を指すものとする。したがって、時間パターンは、表示面あたりにあるオブジェクトの移動が開始する位置に相対する、連結コンポーネントおよび対応するオブジェクトの移動の標識を提供する。時間パターンは、オブジェクトがユーザのアペンデージ（腕、手、および／または指）の場合、ジェスチャを行うユーザの位置したがって身元を決定するために使用することができるので非常に役に立つ。同様に、インタラクティブディスプレイテーブルの他の各ユーザについて、同じロジックを適用することにより、ユーザのアペンデージ（すなわち、ユーザの腕、手、および／または指）に対応する連結コンポーネントの時間パターンおよび方向性の解析に基づいて、ある特定のユーザが手および／または指を用いてジェスチャを行っているときを決定することができる。インタラクティブディスプレイテーブルはまた、表示面周辺の特定の各ユーザの位置を指し示すデータを有することが見込まれ、したがって、ユーザのアペンデージに対応する連結要素の方向性および時間パターンを解析することにより、ジェスチャを行うユーザを容易に識別することができるようになる。

また、インタラクティブディスプレイテーブルによって実行されているアプリケーションに関する特有の詳細は、アプリケーションの現在の既知の状態に対し該当のジェスチャが行われる確率に基づいて、ユーザによって行われたジェスチャを識別することと、ジェスチャを行うユーザの身元を識別することの両方に役立ち有用である。例えば、インタラクティブディスプレイテーブルに入力を提供する持ち回りのユーザによってある特定のジェスチャが行われている可能性が高く、提供されている期待された入力の尤度に基づいて、ジェスチャを容易に認識することができる。

本発明は、それを実施するために好ましい形態に関連して記載されているが、添付の特許請求の範囲の範囲において本発明に対して多数の他の変更形態を加えることができることは当業者には理解されよう。したがって、本発明の範囲は、以上の説明によって多少なりとも限定されるものではなく、添付の特許請求の範囲を参照することによりその全体が決定される。排他的独占権が請求する本発明は、添付の特許請求の範囲によって規定される。

本発明による、インタラクティブディスプレイテーブルに関連するイメージ処理に適切である一般的な従来のコンピューティングデバイスまたはパーソナルコンピュータ（ＰＣ）を示す機能ブロック図である。 インタラクティブディスプレイテーブルの内部、インタラクティブディスプレイテーブル内の光がたどる経路、およびインタラクティブディスプレイテーブルの表示面またはその上方に配置される例示的オブジェクトを示す断面立面図である。 外部のＰＣに結合されるインタラクティブディスプレイテーブルの実施形態を示す等角図である。 ジェスチャに応答してインタラクティブディスプレイテーブルによって検出される連結コンポーネントを示す図である。 ユーザの人差し指が表示面近傍に接近している場合のジェスチャを示す図である。 ジェスチャに応答してインタラクティブディスプレイテーブルによって検出される連結コンポーネントを示す図である。 ユーザの人差し指と親指が表示面近傍に接近している場合のジェスチャを示す図である。 ジェスチャに応答してインタラクティブディスプレイテーブルによって検出される連結コンポーネントを示す図である。 図５Ａの連結コンポーネントに対応する、ユーザの手によってある方向で行われたジェスチャを示す図である。 図５Ａの連結コンポーネントに対応する、ユーザの手によって異なる方向で行われたジェスチャを示す図である。 表示面近傍に接近したユーザの伸ばした人差し指と親指の一連の位置の第１の位置に応答して、インタラクティブディスプレイテーブルによって検知された連結コンポーネントを示す図である。 図６Ａに対応する、表示面の上を横切るようなジェスチャで移動する手を示す図である。 表示面近傍に接近したユーザの伸ばした人差し指と親指の一連の位置の第２の位置に応答して、インタラクティブディスプレイテーブルによって検知された連結コンポーネントを示す図である。 図６Ｃに対応する、表示面の上を横切るようなジェスチャで移動する手を示す図である。 表示面近傍に接近したユーザの伸ばした人差し指と親指の一連の位置の第３の位置に応答して、インタラクティブディスプレイテーブルによって検知された連結コンポーネントを示す図である。 図６Ｅに対応する、表示面の上を横切るようなジェスチャで移動する手を示す図である。 インタラクティブディスプレイテーブルにより検出された、図７Ｂに示す推測される手の「ポーズ」に対応する連結コンポーネントを示す図である。 図７Ａに対応して推測される手の「ポーズ」を示す図である。 インタラクティブディスプレイテーブルによって検出された連結コンポーネントを示す図である。 ユーザの手、人差し指、および親指の推測される「ポーズ」、ならびに手のポーズの意味を示す図である。 ジェスチャ、および、ジェスチャを検出しているインタラクティブディスプレイテーブルで実行されるアプリケーションを示す図である。 ジェスチャ、および、ジェスチャを検出しているインタラクティブディスプレイテーブルで実行されるアプリケーションを示す図である。 ユーザによって握られたオブジェクトを用いて、インタラクティブディスプレイテーブルにもバーチャルオブジェクトを表示させることができる方法を示す図である。 ジェスチャを示す図である。 図１０Ａに示すジェスチャを検出しているインタラクティブディスプレイテーブル上で表示されるバーチャルオブジェクトを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ビデオ再生を制御するために用いられるジェスチャを示す図である。 ジェチャの検出および認識のためのプロセスを示すフローチャートである。 ジェスチャを、アプリケーション、機能、またはアプリケーションにおけるオブジェクトに関連付けるためのプロセスを示すフローチャートである。 アプリケーションに関連付けられたジェスチャを行うことによって、アプリケーションを起動するためのプロセスを示すフローチャートである。 ジェスチャに応答してバーチャルオブジェクトを表示するためのプロセスを示すフローチャートである。 ジェスチャに応答してビデオ再生を制御するためのプロセスを示すフローチャートである。

符号の説明

２０ ＰＣ
４０ キーボード
４７ オプションモニタ
６０、６０’ インタラクティブディスプレイテーブル
６１ パワーリード
６２ フレーム
６３ データケーブル
６４ インタラクティブディスプレイテーブルの上面
６４ａ インタラクティブディスプレイテーブルの表示面
６４ｂ テーブルの半透明層
６６ 赤外光源
６８ デジタルビデオカメラ
７０ ビデオプロジェクタ
７２ａ、７２ｂ ミラーアセンブリ
７４ａ、７４ｂ アライメントデバイス
７４ｃ 回転可能調整ナット
７６ａ、７６ｂ オブジェクト
７９ バッフル
９０ａ 透明開口部

Claims (46)

1. イメージが表示されるインタラクティブディスプレイシステムに関連してジェスチャを使用するための方法であって、前記インタラクティブディスプレイシステム上またはその近傍に配置されるオブジェクトは光学的に検出可能であり、前記方法は、
   （ａ）前記インタラクティブディスプレイシステムの表示面の上方に配置されるオブジェクトから反射される光によってイメージを形成し、このように反射された前記光は、前記表示面を通過した後に検出されるステップと、
   （ｂ）前記イメージを処理して、前記オブジェクトを使用してユーザによって行われたジェスチャを認識し、
   （ｉ）検出された前記イメージ内の前記オブジェクトに対応する形状を識別すること、および、
   （ｉｉ）前記イメージ内で、所定の閾値を超える強度を有する隣接する複数のピクセルを含む少なくとも１つの連結コンポーネントを検出することのうち一方に応答して、前記ジェスチャが認識されるステップと、
   （ｃ）認識された前記ジェスチャに応じて、前記ジェスチャにあらかじめ関連付けられた応答を自動的に作成し、前記応答は前記インタラクティブディスプレイシステムの状態を変更するステップとを備えることを特徴とする方法。
2. 前記オブジェクトは、ユーザの体のアペンデージの少なくとも一部分を含むことを特徴とする請求項１に記載の方法。
3. 前記形状を識別するステップは、前記形状を所定のテンプレートと比較するステップを含むことを特徴とする請求項１に記載の方法。
4. 前記オブジェクトは、ユーザが前記ユーザの手に前記オブジェクトを握ることによって操作されることを特徴とする請求項１に記載の方法。
5. 前記ジェスチャは、おおまかに定義された経路に沿った前記オブジェクトの動きを含むことを特徴とする請求項１に記載の方法。
6. 前記ジェスチャは、前記表示面付近の前記アペンデージの前記少なくとも一部分のポーズを含むことを特徴とする請求項２に記載の方法。
7. 前記少なくとも１つの連結コンポーネントは、前記オブジェクトによる前記表示面への接触に対応する少なくとも１つのタッチ連結コンポーネントを含むことを特徴とする請求項１に記載の方法。
8. 前記少なくとも１つの連結コンポーネントは、前記ユーザの指および手のうち少なくとも１つに対応することを特徴とする請求項２に記載の方法。
9. 自動的に作成される前記応答は、前記ジェスチャに関連付けられたソフトウェアアプリケーションを前記インタラクティブディスプレイシステム上で実行するステップを含むことを特徴とする請求項１に記載の方法。
10. 前記ジェスチャは、前記ソフトウェアアプリケーションに関係するアルファベット文字を定義することを特徴とする請求項９に記載の方法。
11. 自動的に作成される前記応答は、前記インタラクティブディスプレイシステムによって実行されているアプリケーションにおいて、ある機能を実行するステップを含むことを特徴とする請求項１に記載の方法。
12. 前記応答は、前記機能が実行されたとき、前記機能に関係する変数が変更される程度を指し示すために、ユーザが前記オブジェクトを動かすことを可能にするステップをさらに含むことを特徴とする請求項１１に記載の方法。
13. 自動的に作成される前記応答は、前記インタラクティブディスプレイシステムの前記表示面上での前記ジェスチャによって定義される領域を選択するステップを含むことを特徴とする請求項１に記載の方法。
14. 自動的に作成される前記応答は、前記表示面上に提示されるイメージおよびバーチャルオブジェクトのうち１つを選択するステップを含むことを特徴とする請求項１に記載の方法。
15. 前記応答は、前記オブジェクトを前記表示面上で動かすことによって、ユーザが前記イメージおよび前記バーチャルオブジェクトのうち１つをサイズ変更することを可能にするステップをさらに含むことを特徴とする請求項１４に記載の方法。
16. 前記応答は、前記表示面にバーチャルオブジェクトを提示するステップを含み、前記オブジェクトは、前記ジェスチャに関連付けられていることを特徴とする請求項１に記載の方法。
17. 前記少なくとも１つの連結コンポーネントを検出するステップは、前記ユーザの前記アペンデージの方向性をおおまかに決定するために、複数のタッチ連結コンポーネントおよび少なくとも１つのホバー連結コンポーネントを検出し、それによって、前記ジェスチャが正しく認識することを可能にするステップを含むことを特徴とする請求項２に記載の方法。
18. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している前記ユーザの指に対応し、前記少なくとも１つのホバー連結コンポーネントは、前記表示面近傍の前記ユーザの手に対応することを特徴とする請求項１７に記載の方法。
19. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している複数の指を識別し、かつ前記複数の指がユーザの１つの手に属することを決定するために使用されることを特徴とする請求項１７に記載の方法。
20. （ａ）前記タッチ連結コンポーネントが時間が経過するにつれて変化するのに伴う前記複数のタッチ連結コンポーネントの時間パターンを解析するステップと、
    （ｂ）前記表示面に接触している複数の指のグループ化を識別するステップと、
    （ｃ）前記連結コンポーネントの方向性およびそれらの時間パターンに基づいて、前記複数の指は、特定のユーザの手に結合していることを決定するステップとをさらに備えることを特徴とする請求項１７に記載の方法。
21. （ａ）前記タッチ連結が時間の経過につれて変化するのに伴うタッチ連結コンポーネントの複数のセットの時間パターンを解析するステップと、
    （ｂ）複数の異なる各ユーザのアペンデージを識別するステップであって、前記アペンデージは、前記表示面付近でホバーしているステップと、
    （ｃ）各アペンデージの方向性、および前記時間パターンに基づいて、前記表示面に接触している複数の指のグループ化が、前記アペンデージのうちの特定のいくつかに属ししたがって特定のユーザに属することを決定するステップとをさらに備えることを特徴とする請求項１７に記載の方法。
22. 前記決定するステップは、前記表示面周辺での前記特定のユーザの位置に関する知識に基づいて、アペンデージ、および複数指のグループ化が、ある特定のユーザに属していることを決定するステップを含むことを特徴とする請求項２１に記載の方法。
23. 請求項１に記載のステップ（ｂ）〜（ｄ）を実行するためのマシン命令を格納することを特徴とする記憶媒体。
24. オブジェクトによって行われるジェスチャに応答するインタラクティブディスプレイシステムであって、
    （ａ）それに接してまたはその付近にオブジェクトを配置し操作することができる対話側、および反対側を有する表示面と、
    （ｂ）光を、前記表示面の前記反対側に向け、前記表示面を通して、前記対話側に送る光源と、
    （ｃ）前記表示面を通りオブジェクトから反射される光を受け取り検知するために配置され、前記表示面に接触しているまたは近傍にあるオブジェクトのイメージに対応する信号を生成する光センサと、
    （ｄ）前記光センサと通信するプロセッサと、
    （ｅ）前記プロセッサと通信するメモリとを備え、前記メモリは、前記プロセッサに複数の機能を実行させるデータおよびマシン命令を格納し、前記複数の機能は、
    （ｉ）前記オブジェクトを用いて前記ユーザによって行われたジェスチャを認識するために、前記イメージを処理することであって、前記ジェスチャは
    （１）前記イメージにおいて、前記オブジェクトに対応する形状を識別すること、および、
    （２）前記イメージにおいて、所定の閾値を超える強度を有する隣接する複数のピクセルを含む少なくとも１つの連結コンポーネントを、検出することのうち一方に応答して認識されること、ならびに、
    （ｉｉ）認識された前記ジェスチャに応じて、前記メモリ内で、前記ジェスチャにあらかじめ関連付けられた、応答を自動的に作成することであって、前記応答は、前記インタラクティブディスプレイシステムの状態を変更することを含むことを特徴とするインタラクティブディスプレイシステム。
25. 前記オブジェクトは、ユーザのアペンデージの少なくとも一部分を含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
26. 前記形状は、前記形状を所定のテンプレートと比較することによって識別されることを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
27. 前記オブジェクトは、ユーザの手に握られることを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
28. 前記ジェスチャは、おおまかに定義された経路に沿った前記オブジェクトの動きを含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
29. 前記ジェスチャは、前記表示面付近のアペンデージの少なくとも一部分のポーズを含むことを特徴とする請求項２５に記載のインタラクティブディスプレイシステム。
30. 前記少なくとも１つの連結コンポーネントは、前記オブジェクトによる前記表示面への接触に対応する少なくとも１つのタッチ連結コンポーネントを含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
31. 前記少なくとも１つの連結コンポーネントは、ユーザの指および手のうち少なくとも１つに対応することを特徴とする請求項２５に記載のインタラクティブディスプレイシステム。
32. 前記自動的に作成される応答は、前記プロセッサを使用して、前記ジェスチャに関連付けられるソフトウェアアプリケーション実行していることを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
33. 前記ジェスチャは、前記ソフトウェアアプリケーションに関係するアルファベット文字を定義することを特徴とする請求項３２に記載のインタラクティブディスプレイシステム。
34. 自動的に作成される前記応答は、前記プロセッサによって実行されているソフトウェアアプリケーションにおける機能を実行することを含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
35. 前記応答は、前記プロセッサによって前記機能が実行されているとき、ユーザが、前記機能に関係する変数を変化させる程度を指し示すように前記オブジェクトを動かすことを可能にすることをさらに含むことを特徴とする請求項３４に記載のインタラクティブディスプレイシステム。
36. 自動的に作成される前記応答は、前記表示面上で前記ジェスチャによって定義される領域を選択することを含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
37. 自動的に作成される前記応答は、前記ジェスチャによって決定されるように、表示面に提示されるイメージおよびバーチャルオブジェクトのうち１つを選択することを含むことを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
38. 前記応答は、前記表示面上にわたり前記オブジェクトを動かすことにより、ユーザが前記イメージおよび前記バーチャルオブジェクトのうち１つをサイズ変更することを可能にすることをさらに含むことを特徴とする請求項３７に記載のインタラクティブディスプレイシステム。
39. 前記応答は、バーチャルオブジェクトを前記表示面に提示することを含み、前記バーチャルオブジェクトは、前記ジェスチャに関連付けられていることを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
40. 前記マシン命令は、前記ユーザの前記アペンデージの方向性をおおまかに決定するために、前記プロセッサに、複数のタッチ連結コンポーネントおよび少なくとも１つのホバー連結コンポーネントを検出させ、それによって、前記ジェスチャが正しく認識することを可能にすることを特徴とする請求項２５に記載のインタラクティブディスプレイシステム。
41. 前記複数のタッチ連結コンポーネントは、前記表示面に接触しているユーザの指に対応し、前記少なくとも１つのホバー連結コンポーネントは、前記表示面近傍のユーザの手に対応することを特徴とする請求項４０に記載のインタラクティブディスプレイシステム。
42. 前記複数のタッチ連結コンポーネントは、前記表示面に接触している複数の指を識別し、前記複数の指がユーザの１つの手に属することを決定するために使用されることを特徴とする請求項４０に記載のインタラクティブディスプレイシステム。
43. 前記マシン命令はさらに、前記プロセッサが、前記タッチ連結コンポーネントが時間が経過するにつれて変化するのに伴う前記複数のタッチ連結コンポーネントの時間パターンを解析し、前記表示面に接触している複数の指のグループ化を識別し、前記接続コンポーネントおよびそれらの時間パターンの前記方向性に基づいて、前記複数の指が特定のユーザの手に結合していることを決定するようにさせることを特徴とする請求項４０に記載のインタラクティブディスプレイシステム。
44. 前記マシン命令はさらに、前記プロセッサが、前記タッチ連結コンポーネントが時間の経過につれて変化するのに伴うタッチ連結コンポーネントの複数のセットの時間パターンを解析し、前記表示面付近でホバーしている複数の異なる各ユーザのアペンデージを識別し、各アペンデージの方向性、および前記時間パターンに基づいて、前記表示面に接触している複数の指のグループ化が、前記アペンデージのうちの特定のいくつかに属ししたがって特定のユーザに属することを決定するようにさせることを特徴とする請求項４０に記載のインタラクティブディスプレイシステム。
45. 前記マシン命令はさらに、前記プロセッサに、前記表示面周辺での前記特定のユーザの位置に関する知識に基づいて、アペンデージ、および複数指のグループ化が、ある特定のユーザに属していることを決定させることを特徴とする請求項４４に記載のインタラクティブディスプレイシステム。
46. 前記光源は、赤外光を発光し、前記光センサは、オブジェクトから反射された赤外光を検知することを特徴とする請求項２４に記載のインタラクティブディスプレイシステム。
    

Images