JP5657293B2

JP5657293B2 - ジェスチャ認識方法及び同方法を用いたタッチシステム

Info

Publication number: JP5657293B2
Application number: JP2010157980A
Authority: JP
Inventors: リン，チョーイ; スー，ヤオチン
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2009-07-21
Filing date: 2010-07-12
Publication date: 2015-01-21
Anticipated expiration: 2030-07-12
Also published as: JP2011028746A; TW201104519A; US20110018822A1; TWI501121B

Description

関連出願の相互参照
この出願は、２００９年７月２１日に出願された***特許出願第０９８１２４５４５号による優先権を主張するものであり、その開示内容のすべてが、この引用により、本明細書に組み込まれる。
本発明は、概ね、タッチシステムに関し、より詳しくは、ジェスチャ認識方法及び同方法を用いたタッチシステムに関する。

図１ａと図１ｂは、タッチプレート９０と少なくとも２つのカメラ９１、９２を備えた従来のタッチシステム９の動作を概略的に示す。カメラ９１、９２の視野は、タッチプレート９０の表面を見渡す画像を取り込むことができるようタッチプレート９０全体を網羅する。使用者８が１本の指８１でタッチプレート９０に触れると、カメラ９１、９２はそれぞれ指８１の指先のイメージＩ₈₁を有する画像ウインドウＷ₉₁、Ｗ₉₂を取り込む。処理ユニットは指８１の指先のイメージＩ₈₁の１次元位置からタッチプレート９０に触れている指８１の２次元座標を算定する。これにより、タッチプレート９０に対する指８１の位置や動きが取得され、処理ユニットは指８１の２次元座標の変化に応じて対応する動作を実行し、相応にディスプレイを制御する。

使用者８が２本の指８１、８２で同時にタッチプレート９０に触れた場合、カメラ９１、９２がそれぞれ取り込んだ画像ウインドウＷ₉₁’、Ｗ₉₂’には、２本の指８１、８２のイメージＩ₈₁、Ｉ₈₂が入る。処理ユニットは、画像ウインドウＷ₉₁’、Ｗ₉₂’内にあるイメージＩ₈₁、Ｉ₈₂の１次元座標からタッチプレート９０に対する２本の指８１、８２の２次元座標をそれぞれ算定し、２本の指８１、８２の座標の変化に応じてジェスチャを認識する。

しかし、タッチシステム９の操作方法では、それぞれの画像ウインドウ内の指先のイメージの１次元位置からタッチプレート９０に触れている指の２次元座標を算定するが、使用者が例えば指８１、８２など複数の指でタッチプレート９０に触れた場合に、図１ｂが示すように、カメラ９２から見たとき指８２が指８１を遮ってしまい、カメラ９２が取り込む画像ウインドウＷ₉₂’にすべての指のイメージが入っていない可能性がある。したがって、状況によってはすべての指の２次元座標が正確に算定できない。設置カメラを追加することでこの問題は解決できるかもしれないが、システムコストも増える。

したがって、本発明は、さらに上記の従来のタッチシステムにおける問題点を解決するためにジェスチャ認識方法及び同方法を用いたタッチシステムを提供する。

本発明は、プレート上の１本の指の接触状態の変化によってモードを切り換えることができるジェスチャ認識方法及び同方法を用いたタッチシステムを提供する。

本発明は、少なくとも１つのイメージセンサでプレート表面を見渡す画像を取り込むステップと、プレート表面上の単独ポインタの接触状態の変化を特定するために画像を処理するステップと、接触状態の変化が閾値より大きいとき単独ポインタとプレート面の関係の変化が所定のジェスチャに合致するかどうか認識するステップとを含むタッチシステムのジェスチャ認識方法を提供する。

さらに本発明は、少なくとも１つのイメージセンサでプレート表面を見渡す画像を取り込むステップと、プレート表面上の単独ポインタの接触点を検出するために画像を処理するステップと、接触点の状態や位置の変化に応じてプレート表面上の単独ポインタの接触が所定のジェスチャに合致するかどうか認識するステップとを含むタッチシステムのジェスチャ認識方法を提供する。

さらに本発明は、プレートと、少なくとも１つの光源と、少なくとも１つのイメージセンサと、処理ユニットとを備えたタッチシステムを提供する。プレートにはプレート表面がある。光源はそのプレート表面に設ける。イメージセンサはプレートを見渡し、光源を遮断する単独ポインタのイメージを有する画像ウインドウを取り込む。処理ユニットは、画像ウインドウ内のイメージの幅または面積の変化が閾値より大きいかどうか認識し、幅または面積の変化が閾値より大きい場合は、プレート表面上のポインタの位置の変化が所定のジェスチャに合致するかどうか認識する。

本発明のジェスチャ認識方法及び同方法を用いたタッチシステムによれば、第１モードではタッチシステムはポインタの座標の変化（すなわち位置の変化）に応じてカーソルの動きを制御することができる。第２モードでは、タッチシステムはポインタの座標の変化（すなわち位置の変化）に応じて、例えば、対象の選択、画面のスクロール、対象のドラッグ、対象の拡大／縮小、対象の回転など、画像ディスプレイに表示される画像を更新することができる。ここでの対象とは、アイコンやウインドウでもよい。

本発明のジェスチャ認識方法及び同方法を用いたタッチシステムは、単独ポインタによってジェスチャ認識を行うことができるので、複数のポインタが互いに邪魔をすることによる座標の誤算定を防ぐことができる。

本発明の他の目的、利点及び新規の特長は、以下の説明を添付図面に照らして読むことで、より明らかになる。

従来のタッチシステムの動作概略図である。図１ａのタッチシステムの別の動作概略図である。本発明の１つの実施形態によるタッチシステムのブロック図である。図２ａのイメージセンサの視野の一部とイメージセンサが取り込んだ画像ウインドウの概略図である。本発明の第１実施形態によるタッチシステムを上から見た図である。本発明の第１実施形態によるタッチシステムの動作概略図である。図４ａのイメージセンサが取り込んだ画像ウインドウの概略図である。本発明の第２実施形態によるタッチシステムのブロック図である。図５ａの２つのイメージセンサがそれぞれに取り込んだ画像ウインドウの概略図である。本発明の実施形態によるタッチシステムの第１モードの動作概略図である。本発明の実施形態によるタッチシステムの第１モードの動作概略図である。本発明の実施形態によるタッチシステムの第１モードの動作概略図である。本発明の実施形態によるタッチシステムの第２モードの動作概略図である。本発明の実施形態によるタッチシステムの第２モードの動作概略図である。本発明の実施形態によるタッチシステムの第２モードの動作概略図である。本発明の実施形態によるタッチシステムに対応する各ジェスチャの概略図である。本発明の実施形態によるタッチシステムに対応する各ジェスチャの概略図である。本発明の実施形態によるタッチシステムに対応する各ジェスチャの概略図である。

各図面に亘って、可能な限り、同じもしくは同様の部材を示す場合には、同じ符号を用いるものとする。

図２ａおよび図２ｂを参照されたい。図２ａは本発明の１つの実施形態によるタッチシステム１０のブロック図を示し、図２ｂはイメージセンサ１３の視野の一部と図２ａのイメージセンサ１３が取り込んだ画像ウインドウ２０の概略図を示す。タッチシステム１０には、プレート１００、照明ユニット１１、第１光源１２１、第２光源１２２、イメージセンサ１３、処理ユニット１４、画像ディスプレイ１５が含まれる。

プレート１００には、第１側縁１００ａ、第２側縁１００ｂ、第３側縁１００ｃ、第４側縁１００ｄ、プレート表面１００ｓがある。プレート１００の実施形態としてはホワイトボードやタッチスクリーンが挙げられる。プレート表面１００ｓはタッチシステム１０の入力領域として用いられる。

この実施形態では、照明ユニット１１はプレート表面１００ｓ上の第１側縁１００ａに設ける。照明ユニット１１は、能動的光源でもよいし、受動的光源でもよい。照明ユニット１１が能動的光源である場合は、線形の光源が好ましい。照明ユニット１１が受動的光源である場合は、例えば第１光源１２１や第２光源１２２など他の光源の光が反射するよう構成され、さらに照明ユニット１１は、プレート１００の第３側縁１００ｃ側に向いた反射面１１ａを備える。その際、反射面１１ａは適当な素材で作ればよい。第１光源１２１はプレート表面１００ｓ上の第２側縁１００ｂに設け、プレート１００の第４側縁１００ｄに向かって光を放つのが好ましい。第２光源１２２は、プレート表面１００ｓ上の第３側縁１００ｃに設け、プレート１００の第１側縁１００ａに向かって光を放つのが好ましい。その際、第１光源１２１と第２光源１２２は能動的な光源が好ましいが、例えば、形状は線形に限らない。

イメージセンサ１３は、例えば、この実施形態では第２光源１２２とプレート１００の第４側縁１００ｄが交わる角に設けられているように、プレート１００の１つの角に設けるのが好ましく、照明ユニット１１は、プレート表面１００ｓ上でイメージセンサ１３に隣接しない側縁に設ける。イメージセンサ１３は、プレート表面１００ｓを見渡し、照明ユニット１１、第１光源１２１、第２光源１２２、プレート１００の第４側縁１００ｄに囲まれた範囲の画像を取り込む。例えば、指８１のようなポインタがプレート表面１００ｓに触れると、イメージセンサ１３の視野には、図２ｂの上の図が示すように、指８１の指先が入る。図内の「ＢＡ」というのは高輝度エリアを示し、輝度の高さは一般的に照明ユニット１１と光源１２１，１２２の大きさによって決まる。したがって、イメージセンサ１３は、図２ｂの下の図が示すように、照明ユニット１１または光源１２１を遮る指８１の指先の作るイメージＩ₈₁を含む画像ウインドウ２０を次々と取り込むといえる。イメージセンサ１３の実施形態には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサが含まれるが、これらに限定されない。ポインタは他の適当な物で代用が利き、それは指に限らないことは容易に推量できる。

処理ユニット１４は、イメージセンサ１３と接続され、イメージセンサ１３が取り込んだ画像を処理し、指のイメージの幅または面積の変化を認識し、それに応じてタッチシステム１０を第１モードかまたは第２モードで動作するよう制御するよう構成される。処理ユニット１４は、ポインタがプレート表面１００ｓに触れていることを認識すると、第１モードで動作するようタッチシステム１０を作動する。この場合、処理ユニット１４は、画像ウインドウ２０内のポインタのイメージの位置からプレート表面１００ｓに触れているポインタの２次元座標を算定し、引き続き画像ウインドウから得られる２次元座標の変化に応じて、画像ディスプレイ１５に表示されるカーソルの動きを制御する。その際、プレート表面１００ｓの２次元座標は、画像ディスプレイ１５のディスプレイ画面１５０の位置座標に対応させることができる。

ポインタのイメージの幅または面積は、大きく変化したり小さく変化したりし得るが、その変化がある閾値を超えたことを処理ユニット１４が認識すると、処理ユニット１４は、タッチシステム１０が第２モードで動くよう制御する。この場合、処理ユニット１４は、画像ウインドウ２０内のポインタのイメージの位置からプレート表面１００ｓに触れているポインタの２次元座標を算定し、引き続き取り込む画像ウインドウとの間のポインタの２次元座標の変化に応じてジェスチャ認識を行い、認識したジェスチャに応じて画像ディスプレイ１５に表示される画像の更新を制御する。例えば、対象の選択、画面のスクロール、対象のドラッグ、対象の拡大／縮小、または対象の回転などを行うよう制御する。その詳細は後述する。さらに、本発明では、第１モードと第２モードの切り替え感度を、閾値を動的に調整することで調整することができる。つまり、閾値を大きくすれば、感度は低くなり、閾値を低くすれば、感度は高まる。

図２ａでは、本発明のタッチシステム１０を明確に示すために、プレート１００は画像ディスプレイ１５から分離されているが、これは本発明の限定要件ではない。別の実施形態において、プレート１００を画像ディスプレイ１５の画面１５０と一体化させてもよい。しかも、プレート１００がタッチスクリーンの場合、画像ディスプレイ１５の画面１５０はプレート１００としても用いることができ、照明ユニット１１、第１光源１２１、第２光源１２２、イメージセンサ１３は、画面１５０の表面に設ける。

図２ａではプレート１００が長方形のプレートとして示され、照明ユニット１１、第１光源１２１、第２光源１２２は、プレート１００の３つの側縁に直交的に設置されているが、それはほんの一例に過ぎず、本発明の限定要件ではないことは自明といえる。別の実施形態において、プレート１００は別の形状でもよい。また、照明ユニット１１、第１光源１２１、第２光源１２２、イメージセンサ１３は、プレート表面１００ｓに別の配置関係で設置してもよい。

（第１実施形態）
図３は本発明の第１実施形態によるタッチシステム１０を上から見た図を示す。この実施形態において、照明ユニット１１は、（例えば反射部材のように）受動的光源で、プレート１００の第３側縁１００ｃ側に向いた反射面１１ａを備えている。したがって、第１光源１２１は、反射面１１ａに対して第２鏡像１２１’を作ることになる。第２光源１２２は、反射面１１ａに対して第３鏡像１２２’を作ることになる。プレート１００の第４側縁１００ｄは、反射面１１ａに対して第４鏡像１００ｄ’を作ることになる。ここで照明ユニット１１、第１光源１２１、第２光源１２２、プレート１００の第４側縁１００ｄは、実空間ＲＳを示す。そして照明ユニット１１、第２鏡像１２１’、第３鏡像１２２’、第４鏡像１００ｄ’は仮想空間ＩＳを示す。

イメージセンサ１３は第２光源１２２とプレート１００の第４側縁１００ｄが交わる角に設ける。イメージセンサ１３の視野ＶＡはプレート表面１００ｓを見渡す、実空間ＲＳと仮想空間ＩＳが視野に入る。またイメージセンサ１３は、実空間ＲＳ内の、例えば指８１のようなポインタのイメージを含む画像ウインドウを取り込むよう構成される。その際、ポインタによってできるイメージは、光源１２１と照明ユニット１１を遮る。１つの実施形態において、さらにイメージセンサ１３は、イメージセンサ１３が実空間ＲＳと仮想空間ＩＳに及ぶ画像全体を取り込めるように、イメージセンサ１３の視野ＶＡを調整するためのレンズ（またはレンズのセット）を備える。

図４ａ及び図４ｂを参照されたい。図４ａは本発明の第１実施形態によるタッチシステム１０を操作中の概略図を、図４ｂは、図４ａにあるイメージセンサ１３が取り込んだ画像ウインドウ２０の概略図を示す。図４ａに示すように、例えば指８１のようなポインタが実空間ＲＳ内のプレート表面１００ｓに接触点Ｔ₈₁で示すように触れると、ポインタは、（いわゆるこの実施形態における反射部材である）照明ユニット１１の反射面１１ａに対して、仮想空間ＩＳに接触点Ｔ₈₁’で示す第１鏡像を作る。イメージセンサ１３が、第１感知ルートＲ₈₁を通してポインタの先端画像を取り込むことで、画像ウインドウ２０にイメージＩ₈₁を取り込む。また第２感知ルートＲ₈₁’を通して第１鏡像の画像を取り込むことで、図４ｂに示すように、イメージＩ₈₁’を画像ウインドウ２０に取り込む。この実施形態において、画像ウインドウ２０内のイメージの１次元位置と、感知ルートとプレート１００の第３側縁１００ｃの間の角度との相対関係は、処理ユニット１４に予め記録されている。このように、イメージセンサ１３は、ポインタの画像とそれによる第１鏡像を取り込んで画像ウインドウ２０を生成するとき、処理ユニット１４は画像ウインドウ２０内のイメージＩ₈₁、Ｉ₈₁’の１次元位置によって、それぞれ第１角度Ａ₈₁と第２角度Ａ₈₁’を取得することができる。次に、三角形分割を用いて、処理ユニット１４はポインタがプレート表面１００ｓに触れている接触点Ｔ₈₁の２次元座標を取得することができる。

例えば一態様において、プレート表面１００ｓはデカルト座標系（直交座標系）を形成する。つまり、第３側縁１００ｃはＸ軸となり、第４側縁はＹ軸となり、イメージセンサ１３の位置は、デカルト座標系の原点となる。したがって、デカルト座標系における接触点Ｔ₈₁の座標は、（第４側縁１００ｄまでの距離，第３側縁１００ｃまでの距離）で示すことができる。さらに、プレート１００の第１側縁１００ａと第３側縁１００ｃ間の距離Ｄ₁は、処理ユニット１４に予め記録させておいてもよい。これにより、処理ユニット１４は以下のステップを踏むことで、ポインタ８１の接触点Ｔ₈₁の２次元座標を取得することができる。
（ａ）処理ユニット１４は、第１感知ルートＲ₈₁とプレート１００の第３側縁１００ｃとの角度Ａ₈₁と、第２感知ルートＲ₈₂とプレート１００の第３側縁１００ｃとの角度Ａ₈₁’を算定する。
（ｂ）処理ユニット１４は、ポインタ８１の接触点Ｔ₈₁とプレート１００の第４側縁１００ｄ間の距離Ｄ₂を方程式Ｄ₂＝２Ｄ₁／（tanＡ₈₁＋tanＡ₈₁’）によって算定する。
（ｃ）処理ユニット１４は、方程式Ｄ₂×tanＡ₈₁により、接触点Ｔ₈₁のＹ座標を算定する。したがって、接触点Ｔ₈₁の２次元座標は、（Ｄ₂，Ｄ₂×tanＡ₈₁）となる。

（第２実施形態）
図５ａ及び図５ｂを参照されたい。図５ａは本発明の第２実施形態によるタッチシステム１０’のブロック図を示し、図５ｂは、図５ａにある２つのイメージセンサ１３、１３’が取り込んだ画像ウインドウの概略図を示す。この実施形態と第１実施形態との違いは、第２実施形態の照明ユニット１１’が能動的光源であり、タッチシステム１０’は２つのイメージセンサ１３、１３’を備えることである。

第２実施形態では、タッチシステム１０’には、プレート１００、照明ユニット１１’、第１光源１２１、第２光源１２２、２つのイメージセンサ１３、１３’、処理ユニット１４が含まれる。照明ユニット１１’は、プレート表面１００ｓ上の第１側縁１００ａに設け、プレート１００の第３側縁１００ｃに向かって光を放つのが好ましい。第１光源１２１は、プレート表面１００ｓ上の第２側縁１００ｂに設け、プレート１００の第４側縁１００ｄに向かって光を放つのが好ましい。第２光源１２２は、プレート表面１００ｓ上の第４側縁１００ｄに設け、プレート１００の第２側縁１００ｂに向かって光を放つのが好ましい。イメージセンサ１３は、プレート１００の第３側縁１００ｃと第４側縁１００ｄの接点に設けられ、その視野はプレート表面１００ｓを見渡す。イメージセンサ１３’は、プレート１００の第２側縁１００ｂと第３側縁１００ｃの接点に設けられ、その視野は、プレート表面１００ｓを見渡す。例えば指８１のようなポインタがプレート表面１００ｓに触れると、イメージセンサ１３は指８１の指先のイメージＩ₈₁を有する画像ウインドウＷ₁₃を取り込み、イメージセンサ１３’は、指８１の指先のイメージＩ₈₁’を有する画像ウインドウＷ₁₃’を取り込む。タッチシステム１０’も、図示はされていないが処理ユニット１４に接続される画像ディスプレイを備えているのは言うまでもない。

処理ユニット１４は、ポインタのイメージＩ₈₁、Ｉ₈₁’の幅または面積の変化を認識し、それによってタッチシステム１０’を、第１モードで動作させるか第２モードで動作させるかを制御するために、イメージセンサ１３、１３’が取り込んだ画像を処理するよう、イメージセンサ１３、１３’と接続されている。処理ユニット１４は、ポインタがプレート表面１００ｓに触れていることを認識すると、第１モードで動作するようタッチシステム１０’を作動する。その際、処理ユニット１４は、画像ウインドウＷ₁₃、Ｗ₁₃’内のポインタのイメージＩ₈₁、Ｉ₈₁’の位置からプレート表面１００ｓに触れているポインタの２次元座標を算定し、画像ウインドウＷ₁₃、Ｗ₁₃’から引き続き得られる２次元座標の変化に応じて、画像ディスプレイに表示されているカーソルの動きを制御する。処理ユニット１４は、ポインタのイメージＩ₈₁、Ｉ₈₁’の幅または面積の変化が閾値を超えたと認識すると、第２モードで動作するようタッチシステム１０’を制御する。この場合、処理ユニット１４は、画像ウインドウＷ₁₃、Ｗ₁₃’内のポインタのイメージＩ₈₁、Ｉ₈₁’の位置からプレート表面１００ｓに触れているポインタの２次元座標を算定し、画像ウインドウＷ₁₃、Ｗ₁₃’から引き続き得られる２次元座標の変化に応じて、ジェスチャ認識を行う。そして認識されたジェスチャに応じて、例えば対象の選択、画面のスクロール、対象の拡大／縮小、対象のドラッグ、対象の回転など、画像ディスプレイに表示される画像の更新を制御する。２次元座標の算定は、三角形分割によって行ってもよい。算定方法は、第１実施形態で示す例と同様なので、詳細な説明の繰り返しは省略する。

本発明の実施形態によるタッチシステムの操作方法の詳細を説明する。以下に紹介するジェスチャ認識方法は、第１実施形態と第２実施形態のタッチシステム１０、１０’に適用してもよいことに留意されたい。

図２ａ及び図６ａ〜図６ｃを参照されたい。使用者が例えば指８１のようなポインタでプレート表面１００ｓに触れると、イメージセンサ１３は指８１の指先のイメージＩ₈₁を取り込み、画像ウインドウ２０を生成する。この際、画像ウインドウ２０内のイメージＩ₈₁の幅をＬとする。処理ユニット１４は接触を認識すると、タッチシステム１０を作動して、第１モードに入るようタッチシステム１０を制御する。第１モードでは、処理ユニット１４は画像ウインドウ２０内のイメージＩ₈₁の位置からプレート表面１００ｓに触れている指８１の２次元座標を算定し、図６ｂにある２次元座標の変化に応じて、画像ディスプレイ１５に表示されるカーソルの動きを制御する。

プレート１００がタッチスクリーンの場合、使用者は図６ｃにあるタッチシステム１０を作動するために、自分の指で対象Ｏの上に直接触れてもよい。この場合も、処理ユニット１４は画像ウインドウ２０内のイメージＩ₈₁の位置からプレート表面１００ｓに対する指８１の２次元座標を算定する。

図２及び図７ａ〜図７ｃを参照されたい。使用者が、例えばプレート表面１００ｓ上の指８１の接触面積など、接触状態を変えると、画像ウインドウ２０内のイメージＩ₈₁の幅と面積も変わる。例えば、図７ａにあるように、イメージセンサ１３が取り込んだ画像ウインドウ２０内のイメージＩ₈₁の幅はＬ’に変わる。処理ユニット１４は、例えばＬ／Ｌ’や｜Ｌ’−Ｌ｜が予め決めていた閾値を超えるなど、イメージの幅の変化が閾値を超えたと認識すると、タッチシステム１０を第２モードに入れるよう制御する。同様に、イメージの面積の変化は、２つの接触状態の接触面積の差の絶対値か割合によって取得してもよい。すなわち、閾値は、ポインタのイメージの幅または面積の変動率または変動値とすることができる。

第２モードでも、処理ユニット１４は画像ウインドウ２０内のイメージＩ₈₁の位置からプレート表面１００ｓに対する指８１の２次元座標を算定し、さらに２次元座標の変化を、ジェスチャ認識を行うために処理ユニット１４に予め記録されているジェスチャデータと比較する。すなわち、第２モードでは、処理ユニット１４が取得する２次元座標の変化は、カーソル１５１の動きを制御するのには使われず、使用者のジェスチャを認識して、例えば対象の選択、画面のスクロール、対象のドラッグ、対象の拡大／縮小、対象の回転など所定の操作を行うために使われる。なお、本発明はこれらの操作に限定されない。本発明において、ここで述べる対象とは、アイコンやウインドウであってもよい。

本発明において、タッチシステム１０を第１モードと第２モードの間で切り換えたいのであれば、使用者はイメージＩ₈₁の幅または面積を予め決めた時間、例えば１秒間変えればよいが、時間はこれに限定されない。モード切り換えの間、指８１はプレート表面１００ｓ上で動かさないままでもよいし、動かしてもよい。

図６ａ〜図８ｃを参照して、使用者のジェスチャと操作機能の関係を説明する。以下で紹介するジェスチャと操作機能の関係は、ほんの一例にすぎず、本発明の限定要件ではないことをご理解いただきたい。

（対象の選択）
プレート１００がホワイトボードの場合、使用者はまずポインタでプレート表面１００ｓに触れ、タッチシステム１０を作動させて第１モードに入るようタッチシステム１０を制御する。それから使用者は図６ｂが示すようにプレート表面１００ｓ上の指の相対的位置を変えることで、これから選択する対象Ｏの上にカーソル１５１が来るよう制御する。次に、図７ａが示すように、タッチシステム１０を第２モードに入るよう制御するため、使用者はプレート表面１００ｓ上の指８１の接触状態を変える。この場合図７ｂが示すように、例えば色が変わるとか、線幅が変わるなど、対象の表示状態に独特な変化を付けて、対象が選ばれていることを示してもよい。

プレート１００がタッチスクリーンの場合、使用者はタッチシステム１０を作動するために、図６ｃが示すように、プレート表面１００ｓ上の対象Ｏに触れる。それから、タッチシステム１０を図７ｃが示すように対象Ｏ’を選択する第２モードに入るように、使用者はプレート表面１００ｓ上の指８１の接触状態を変える。

（画面のスクロール）
図６ａ、７ａが示すように、使用者はまず自分の指でプレート表面１００ｓに触れ、タッチシステム１０を作動させて第１モードに入るようタッチシステム１０を制御する。続いて使用者は、タッチシステム１０が第２モードに入るのに予め決められた時間、例えば図６ａの状態から図７ａの状態に、あるいは図７ａの状態から図６ａの状態に、プレート表面１００ｓ上の指８１の接触状態を変える。次に処理ユニット１４は、図８ａが示すように、指８１がプレート表面１００ｓ上で上下左右に動くのを感知すると、使用者がスクロールのジェスチャをしていると認識する。すると処理ユニット１４は、画像ディスプレイ１５を制御し、相応する画像を表示するよう画面１５０を更新する。

（対象のドラッグ）
使用者はまず自分の指８１でプレート表面１００ｓに触れ、タッチシステム１０を作動させて第１モードに入るようタッチシステム１０を制御する。続いて、使用者は指８１とプレート表面１００ｓの相対的位置を変えることで、これから選択する対象Ｏの上にカーソルが来るようカーソル１５１を制御する。次に第２モードに入れるため、使用者はプレート表面１００ｓ上の指８１の接触状態を変える。この場合、対象Ｏ’が選択されたことを表示してもよい。次に、処理ユニット１４は、図８ａが示すように指８１がプレート表面１００ｓ上で上下左右に動くのを感知すると、使用者がドラッグのジェスチャをしていると認識する。すると処理ユニット１４は、画像ディスプレイ１５を制御し、相応する画像を表示するよう画面１５０を更新する。

（対象の表示倍率変更）
使用者はまず自分の指８１でプレート表面１００ｓに触れ、タッチシステム１０を作動させて第１モードに入るようタッチシステム１０を制御する。続いて、使用者は指８１とプレート表面１００ｓの相対的位置を変えることで、これから選択される対象Ｏの上にカーソルが来るようカーソル１５１を制御する。次に第２モードに入れるため、使用者はプレート表面１００ｓ上の指８１の接触状態を変える。この場合、対象Ｏ’が選択されたことを表示してもよい。次に、処理ユニット１４は、図８ｂが示すように指８１がプレート表面１００ｓ上で斜めに動くのを感知すると、使用者がズームのジェスチャ（拡大か縮小）をしていると認識する。さらに処理ユニット１４は、画像ディスプレイ１５を制御し、相応する画像を表示するよう画面１５０を更新する。

（対象の回転）
使用者はまず自分の指８１でプレート表面１００ｓに触れ、タッチシステム１０を作動させて第１モードに入るようタッチシステム１０を制御する。続いて、使用者は指８１とプレート表面１００ｓの相対的位置を変えることで、これから選択される対象Ｏの上にカーソルが来るようカーソル１５１を制御する。次に第２モードに入れるため、使用者はプレート表面１００ｓ上の指８１の接触状態を変える。この場合、対象Ｏ’が選択されたことを表示してもよい。次に、処理ユニット１４は、図８ｃが示すように、指８１がプレート表面１００ｓ上で回転するのを感知すると、使用者が回転のジェスチャをしていると認識する。すると処理ユニット１４は、画像ディスプレイ１５を制御し、相応する画像を表示するよう画面１５０を更新する。

先に述べたように、従来のタッチシステムでは複数のポインタが互いの邪魔になって接触点の座標を正確に算定できないことがある。これに対して本発明は、単独ポインタを使って、２つの操作モードで動くタッチシステムを提供する（図２ａ、図３、図５ａ参照）。本発明はポインタのプレート面への接触状態を変えるだけで２つの操作モード間の切り替えを行うことができるので、本発明のタッチシステムはシステムコストが安くなる。

以上本発明を好ましい実施形態に関して説明してきたが、それは本発明を限定するためのものではない。以下の特許請求項に記載の本発明の主旨及び範囲を逸脱することなく、当業者が、その他の多様な変更及び変形を行いうることは理解できよう。

Claims

タッチシステムのジェスチャ認識方法であって、
少なくとも１つのイメージセンサでプレート表面を見渡す画像を取り込むステップと、
前記プレート表面上の単独ポインタのイメージの幅の変化または面積の変化を特定するために前記画像を処理するステップと、
前記イメージの幅の変化または面積の変化が閾値より大きいとき、前記単独ポインタと前記プレート表面との間の関係の変化が所定のジェスチャに合致するかどうか認識するステップと、
前記イメージの幅の変化または面積の変化が前記閾値より小さいとき、前記単独ポインタと前記プレート表面との間の関係の変化によって画像ディスプレイに表示されたカーソルの動きを制御するステップと
を含むタッチシステムのジェスチャ認識方法。
前記閾値より大きい前記イメージの幅の変化または面積の変化が所定の時間続いた場合、前記単独ポインタと前記プレート表面との間の関係の変化が所定のジェスチャに合致するかどうか認識する処理を行う、請求項１に記載のジェスチャ認識方法。
前記所定のジェスチャが、スクロール操作、ドラッグ操作、ズーム操作、または回転操作である、請求項１に記載のジェスチャ認識方法。
前記単独ポインタと前記プレート表面との接触が、前記取り込まれた画像によって特定されたとき、前記タッチシステムを作動するステップをさらに含む、請求項１に記載のジェスチャ認識方法。
前記イメージの幅の変化または面積の変化が前記閾値より大きいとき、前記タッチシステムは第１モードとなり、前記イメージの幅の変化または面積の変化が前記閾値より小さいとき、前記タッチシステムは第２モードとなり、前記ジェスチャ認識方法は、前記閾値を動的に調整することでモード切り替えの感度を調整するステップをさらに含む、請求項１に記載のジェスチャ認識方法。
タッチシステムのジェスチャ認識方法であって、
少なくとも１つのイメージセンサでプレート表面を見渡す画像を取り込むステップと、
前記プレート表面上の単独ポインタの接触点を感知するために前記画像を処理するステップと、
前記画像内の前記単独ポインタのイメージの幅の変化または面積の変化及び前記接触点の位置の変化によって、前記単独ポインタの前記プレート表面への接触が所定のジェスチャに合致するかどうか認識するまたは画像ディスプレイに表示されたカーソルの動きを制御するステップと
を含むタッチシステムのジェスチャ認識方法。
前記画像内の前記単独ポインタのイメージの位置によって前記接触点の位置の変化を算定するステップをさらに含む、請求項６に記載のジェスチャ認識方法。
前記イメージの幅の変化または面積の変化が閾値より大きいとき、前記接触点の位置の変化によって前記単独ポインタの前記プレート表面への接触が所定のジェスチャに合致するかどうか認識する処理を行う、請求項６に記載のジェスチャ認識方法。
前記所定のジェスチャが、スクロール操作、ドラッグ操作、ズーム操作、または回転操作である、請求項６に記載のジェスチャ認識方法。
認識された前記ジェスチャに応じて、画像ディスプレイに表示された画像を更新するステップをさらに含む、請求項６に記載のジェスチャ認識方法。
タッチシステムであって、
プレート表面を有するプレートと、
前記プレート表面に設けた少なくとも１つの光源と、
前記プレート表面を見渡し、前記光源を遮断する単独ポインタのイメージを有する画像ウインドウを取り込む、少なくとも１つのイメージセンサと、
前記画像ウインドウ内の前記イメージの幅の変化または面積の変化が閾値より大きいかどうか特定し、前記幅の変化または面積の変化が前記閾値より大きいときは、前記プレート表面上の前記単独ポインタの位置の変化が所定のジェスチャに合致するかどうか認識し、前記幅の変化または面積の変化が前記閾値より小さいときは、前記プレート表面上の前記単独ポインタの位置の変化が画像ディスプレイに表示されたカーソルの動きを制御する処理ユニットと
を備えるタッチシステム。
前記プレートが、ホワイトボードまたはタッチスクリーンである、請求項１１に記載のタッチシステム。
前記プレート表面の２つの側縁が交差する角に前記イメージセンサが設けられ、前記プレート表面上の前記イメージセンサに隣接しない側縁に設けられた反射部材をさらに備える、請求項１１に記載のタッチシステム。
前記イメージセンサが前記光源と前記反射材を遮断する前記単独ポインタの２つのイメージを有する画像ウインドウを取り込み、前記処理ユニットが前記画像ウインドウ内の前記２つのイメージの位置からに応じて前記プレート表面上の前記単独ポインタの位置の変化を算定する、請求項１３に記載のタッチシステム。
前記光源を遮断する前記単独ポインタの１つのイメージを有する画像ウインドウをそれぞれ取り込む２つのイメージセンサを備え、前記処理ユニットが前記画像ウインドウ内の前記イメージの位置に応じて前記プレート表面上の前記単独ポインタの前記位置の変化を算定する、請求項１１に記載のタッチシステム。
前記処理ユニットと接続された画像ディスプレイをさらに備え、前記処理ユニットは、前記プレート表面上の前記単独ポインタの前記位置の変化が所定のジェスチャに合致することを認識しながら、前記画像ディスプレイを制御してディスプレイ上の画像を更新する、請求項１１に記載のタッチシステム。
前記所定のジェスチャが、スクロール操作、ドラッグ操作、ズーム操作、または回転操作である、請求項１１に記載のタッチシステム。