JP5481581B2 - タッチ検出方法およびタッチ制御装置 - Google Patents

Description

本発明は、タッチ信号検出技術に関するものであり、特に、音声入力信号で識別を行うタッチ検出方法およびそれを用いたタッチ制御装置に関するものである。

タッチ制御装置（例えば、スマートフォン）は、タッチ検出技術の発展とともに広く使用されるようになった。採用するタッチ検出技術によって、既存のタッチ制御装置は、抵抗膜方式（resistive）、静電容量式（capacitive）、光学式（optical）、超音波方式（acoustic wave）および電磁誘導方式（electromagnetic）のタッチ制御装置に分類することができる。

一般的に、タッチ制御装置は、ユーザーがタッチ制御装置のタッチ感知面で行ったクリックやジェスチャー（gesture）を検出するために使用される。タッチ制御装置上で作動中の物体を認識するためには、例えば光学式タッチ制御装置の場合、タッチ制御装置のタッチ感知面と物体が接触する部分に前もって記号（例えば、バーコード）を設定して、物体を識別しなければならない。あるいは、物体の形状に基づいて認識してもよい。しかしながら、このような識別技術は、軽薄に設計されるようになった今のタッチ制御装置（例えば、スマートフォン）には向いていない。

言い換えると、上述したタッチ制御装置は、いずれも入力手段（input tool）の種類（例えば、指やスタイラス）を効果的に識別することができない。

本発明は、タッチ制御装置に適用するタッチ検出方法を提供する。タッチ制御装置は、タッチユニットを有する。タッチ検出方法は、以下のステップを含む。タッチユニット上に入力手段によりタッチするタッチ動作（touch behavior）によって生成された音声入力信号およびタッチ入力信号を検出し、記録する。音声入力信号およびタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別する。ここで、タッチ入力信号は、タッチユニット上の入力手段のタッチ動作に対応するタッチ特性（touch property）を示し、音声入力信号は、入力手段の種類を識別するために使用される。

本発明は、タッチユニットと、音声検出回路と、タッチ検出回路と、記憶回路と、制御回路とを含むタッチ制御装置を提供する。音声検出回路は、タッチユニットに結合され、タッチユニット上に入力手段によりタッチするタッチ動作によって生成された音声入力信号を検出するよう構成される。タッチ検出回路は、タッチユニットに結合され、タッチユニット上の入力手段のタッチ動作によって生成されたタッチ入力信号を検出するよう構成される。記憶回路は、音声検出回路およびタッチ検出回路に結合され、音声入力信号およびタッチ入力信号を保存するよう構成される。制御回路は、記憶回路、音声検出回路およびタッチ検出回路に結合され、音声入力信号およびタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別するよう構成される。ここで、タッチ入力信号は、タッチユニット上の入力手段のタッチ動作に対応するタッチ特性を示し、音声入力信号は、入力手段の種類を識別するために使用される。

したがって、本発明は、入力手段の種類およびタッチ動作を効果的に識別することのできるタッチ検出方法およびタッチ制御装置に関する。

以上のように、本発明の実施形態は、タッチユニット上の入力手段のタッチ動作によって生成された音声入力信号およびタッチ入力信号に基づいて、入力手段の種類およびタッチ動作を識別することのできるタッチ検出方法およびタッチ制御装置を提供する。

本発明の第１実施形態に係るタッチ制御装置のブロック図である。 本発明の第１実施形態に係るタッチ検出方法のフローチャートである。 本発明の第２実施形態に係るタッチ検出方法のフローチャートである。 本発明の第２実施形態に係るタッチ入力信号が検出されたかどうかを判断する時のフローチャートである。 本発明の第２実施形態に係る受け入れ可能時間中にタッチ入力信号が検出されたかどうかを判断する時の図である。 本発明の第３実施形態に係るタッチ検出方法のフローチャートである。 本発明の第４実施形態に係るタッチ検出方法のフローチャートである。 本発明の第５実施形態に係るタッチ検出方法のフローチャートである。 本発明の第６実施形態に係るタッチ検出方法のフローチャートである。

本発明のこれらのならびにその他の例示的実施形態、特徴、様態および利点は、添付した図面に関連して読む時にその例示的な実施形態の詳細な説明から明らかになるであろう。

タッチ制御装置（例えば、タッチパッド）が異なる入力手段によって生成された入力信号を効果的に識別できるようにするため、本発明の１つの実施形態は、タッチ制御装置上の入力手段によって生成された音声入力信号（例えば、摩擦音や衝突音）およびタッチ制御装置によって生成されたタッチ入力信号を使用することによって、入力手段の種類およびタッチ動作を識別するタッチ検出方法を提供する。それによって、タッチ信号の検出精度とタッチ制御装置の応用上の柔軟性の両方を効果的に向上させることができる。また、本発明の１つの実施形態において、このタッチ検出方法を用いたタッチ制御装置も提供する。以下に、添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
［第１実施形態］

図１は、本発明の第１実施形態に係るタッチ制御装置のブロック図である。図１を参照すると、タッチ制御装置１０は、タッチユニット１５と、音声検出回路１６と、タッチ検出回路１７と、記憶回路１８と、制御回路１９とを含む。また、タッチ制御装置１０は、さらに、少なくとも１つのプロセッサ１１と、メモリ１２と、入力／出力（Ｉ／Ｏ）装置１３と、電源装置１４とを含む。タッチ制御装置１０は、ＰＤＡ（personal digital assistant）、スマートフォン（smart phone）、電子ブック、ゲーム機、タブレットＰＣまたはデスクトップ型パソコンであってもよい。しかしながら、タッチ制御装置１０の実施例についてはここでは限定しない。また、本実施形態のタッチ制御装置１０は、さらに、本発明で限定しない他の回路部品を含んでもよい。

プロセッサ１１は、タッチ制御装置１０の全体の操作を制御する。本実施形態において、プロセッサ１１は、マイクロプロセッサ（micro-processor）またはＣＰＵ（central processing unit）であってもよいが、本発明はこれに限定されない。メモリ１２は、任意の不揮発性メモリ（例えば、ＤＲＡＭ（dynamic random access memory）またはＳＲＡＭ（static random access memory））または異なる種類の不揮発性メモリの組み合わせであってもよい。また、メモリ１２は、さらに、ハードディスク、光ディスクおよび外部記憶装置（例えば、メモリカードまたはフラッシュドライブ）のうちの１つを含んでもよい。メモリ１２の実施例については、ここでは限定しない。Ｉ／Ｏ装置１３は、ボタン、マウス、イヤホン、マイクロフォンまたはスピーカーであってもよい。電源装置１４は、タッチ制御装置１０に電力を供給する。電源装置１４は、バッテリーであってもよい。

タッチユニット１５は、タッチスクリーン、タッチパッド、タッチボタン、および／またはタッチスクロールホイール（touch scroll wheel）を含み、抵抗膜方式（resistive）、静電容量式（capacitive）、光学式（optical）、超音波方式（acoustic wave）または電磁誘導方式（electromagnetic）のタッチ感知技術により実施することができる。タッチユニット１５の種類については、ここでは限定しない。例えば、ユーザーは、タッチユニット１５上で入力手段（例えば、指またはスタイラス）をクリックまたはスライドさせることにより、タッチユニット１５に入力信号を生成することができる。

音声検出回路１６は、タッチユニット１５に結合され、タッチユニット１５上の入力手段のタッチ動作によって生成された音声入力信号を検出するよう構成される。本実施形態において、音声検出回路１６は、１つまたはそれ以上のマイクロフォン等の音声受信装置を含む。また、音声検出回路１６は、ノイズをフィルタリングするノイズフィルタを含んでもよい。

タッチ検出回路１７は、タッチユニット１５に結合され、タッチユニット１５上の入力手段のタッチ動作によって生成されたタッチ入力信号を検出する。本実施形態において、タッチ検出回路１７は、タッチパネルコントローラ（touch-sensitive panel controller）である。

言及すべきこととして、上述したタッチ動作は、タッチユニット１５上の１つまたはそれ以上のタッチ位置における入力手段のクリックまたはスライドであってもよい。また、入力手段は、人体の任意の部分（例えば、指の爪、指の腹、指関節、指の先、または頬）、文具（例えば、ペン、マーカー、筆ペン、消しゴム）またはその他の物体であってもよい。本発明において、入力手段の種類は限定しない。

記憶回路１８は、音声検出回路１６およびタッチ検出回路１７に結合され、音声入力信号およびタッチ入力信号を保存するよう構成される。記憶回路１８は、不揮発性メモリ（例えば、ＤＲＡＭまたはＳＲＡＭ）または異なる不揮発性メモリの組み合わせであってもよい。

制御回路１９は、音声検出回路１６、タッチ検出回路１７および記憶回路１８に結合され、音声入力信号およびタッチ入力信号に基づいて、タッチユニット上で作動中の入力手段およびそのタッチ動作を識別するよう構成される。特に、本実施形態において、タッチ入力信号は、タッチユニット１５上の入力手段のタッチ動作に対応するタッチ情報（例えば、タッチ特性またはタッチ位置）を識別するために使用され、音声入力信号は、入力手段の種類を識別するために使用される。例えば、制御回路１９は、タッチユニット１５上のユーザーの入力手段によって生成された音声信号（例えば、信号の波形、周波数および持続期間）およびタッチ信号（例えば、信号の座標、面積、圧力および持続時間）に基づいて、現在の入力手段を「指の爪」（または他の種類の入力手段）として識別し、タッチ動作を「スクラッチ」（または他の種類の入力手段）として識別することができる。

言及すべきこととして、プロセッサ１１、メモリ１２、Ｉ／Ｏ装置１３、電源装置１４、タッチユニット１５、音声検出回路１６、タッチ検出回路１７、記憶回路１８および制御回路１９は、論理回路部品で構成されたハードウェア装置であり、それぞれ上述した機能を実行するよう構成される。また、これらの装置は、タッチ制御装置１０のメモリ１２に保存されたソフトウェアプログラムまたはファームウェアプログラムとして実装されてもよい。例えば、１つの例示的な実施形態において、上述した機能を実行するためのこれらのソフトウェアプログラムまたはファームウェアプログラムは、タッチ制御装置１０のプロセッサ１１にロードすることによって、それぞれ機能を実行することができる。

図２は、本発明の第１実施形態に係るタッチ検出方法のフローチャートである。図１および図２を参照すると、ステップＳ２０２において、音声検出回路１６およびタッチ検出回路１７は、それぞれ音声入力信号およびタッチ入力信号を検出し、それらを記憶回路１８に記録する。ここで、音声入力信号およびタッチ入力信号は、タッチユニット１５上の入力手段のタッチ動作によって生成される。次に、ステップＳ２０４において、制御回路１９は、記録した音声入力信号およびタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別する。

本発明の第２実施形態において、タッチ制御装置は、最初に検出した音声入力信号および次に検出したタッチ入力信号に基づいて、対応のコマンドを生成する。
［第２実施形態］

第２実施形態のタッチ制御装置のハードウェア構造は、実質的に、第１実施形態のタッチ制御装置と同じである。相違点は、第２実施形態において、タッチ制御装置が入力手段によって生成された音声入力信号を先に検出してから、音声入力信号および同じ入力手段によって生成されたタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別することである。それによって、タッチ制御装置は、上述した識別結果に基づいて、対応の応用特定コマンドを生成することができるため、タッチ制御装置の応用上のフレキシビリティを大幅に向上させることができる。

図３は、本発明の第２実施形態に係るタッチ検出方法のフローチャートである。図１および図３を参照すると、ステップＳ３０２において、音声検出回路１６は、タッチユニット１５上の音声入力信号を検出する。その後、ステップＳ３０４において、音声検出回路１６は、音声入力信号が検出されたかどうかを判断する。音声検出回路１６が音声入力信号を検出しなかった場合、ステップＳ３０４の後、音声検出回路１６は、ステップＳ３０２を再度実行する。

音声検出回路１６がステップＳ３０４において音声入力信号を検出した時、ステップＳ３０６において、制御回路１９は、検出した音声入力信号が予め設定された音声モデルと一致するかどうかを判断する。例えば、制御回路１９は、検出した音声入力信号の音声モデルと記憶回路１８の予め設定された複数の音声モデルのそれぞれとを比較して、検出した音声入力信号の音声モデルが予め設定された音声モデルのうちの少なくとも１つと同じであるか、または類似するかどうかを判断する。そのため、制御回路１９は、音声入力信号を生成する入力手段の関連情報が既に記憶回路１８に記録されているかどうかを効果的に判断することができる。検出した音声入力信号が予め設定された音声モデルのうちのどれとも一致しないと制御回路１９が判断した場合、ステップＳ３０６において、音声検出回路１６は、ステップＳ３０２を再度実行する。

また、ステップＳ３０６において検出した音声入力信号が予め設定された音声モデルと一致すると制御回路１９が判断した場合、ステップＳ３０８において、制御回路１９は、音声入力信号およびその発生時間を記憶回路１８に記録する。また、ステップＳ３１０において、制御回路１９は、タッチ検出回路１７が発生時間の後の受け入れ可能時間中にタッチ入力信号を検出したかどうかを判断する。

以下に、図３のステップＳ３１０においてタッチ検出回路がタッチ入力信号を検出したかどうかを制御回路がどのようにして判断するかについて、図４を参照しながら説明する。

図４は、発明の第２実施形態に係るタッチ入力信号が検出されたかどうかを判断する時のフローチャートである。図１および図４を参照すると、ステップＳ４０２において、タッチ検出回路１７は、受け入れ可能時間中のタッチユニット１５上のタッチ感知値の変化を検出する。ここで、タッチ感知値は、タッチユニット１５上のユーザーまたは入力手段のタッチ位置に対応する。静電容量式のタッチユニット１５を例に挙げると、静電容量式のタッチユニット１５上のタッチ感知値は、結合容量であり、結合容量は、通常、ユーザーによって実行されたタッチ動作に反応して生成される。特に、上述したタッチ感知値の変化量は、結合容量の変化量である。

次に、ステップＳ４０４において、制御回路１９は、受け入れ可能時間中にタッチ検出回路によって検出されたタッチ感知値（例えば、結合容量の変化量）がタッチ検出レベルよりも大きいかどうかを判断する。ここで、タッチ検出レベルは、音声検出回路１６によって先に検出された音声入力信号と一致する予め設定された音声モデルに対応する。また、予め設定された異なる音声モデルは、異なるタッチ検出レベルに対応することができる。例えば、予め設定された音声モデルが、指の爪がタッチユニット１５にタッチした時に生成された音に対応する場合と、指の腹がタッチユニット１５にタッチした時に生成された音に対応する場合を例に挙げると、指の爪がタッチユニット１５にタッチした時に生成される領域は、指の腹がタッチユニット１５にタッチした時に生成される領域よりも小さい。そのため、指の爪がタッチユニット１５にタッチしている時のタッチ検出レベルを指の腹がタッチユニット１５にタッチしている時のタッチ検出レベルよりも低い値に設定することができる。しかしながら、本発明はこれに限定されず、予め設定された音声モデルのそれぞれに対応するタッチ検出レベルは、実際の設計要求に基づいて設定可能である。

ステップＳ４０４においてタッチ感知値の変化量がタッチ検出レベルよりも大きいと制御回路１９が判断した場合、ステップＳ４０６において、制御回路１９は、タッチ検出回路１７が受け入れ可能時間中に音声検出回路１６によって先に受信した音声入力信号に対応するタッチ入力信号を検出したと判断する。また、ステップＳ４０４においてタッチ感知値の変化量がタッチ検出レベルよりも大きくないと制御回路１９が判断した場合、ステップＳ４０８において、制御回路１９は、タッチ検出回路１７が受け入れ可能時間中に音声検出回路１６によって先に受信した音声入力信号に対応するタッチ入力信号を受信しなかったと判断する。

言及すべきこととして、ステップＳ３１０で述べた受け入れ可能時間は、音声入力信号およびタッチ入力信号を同期させるために使用される。つまり、音声検出回路が音声入力信号を検出した後に、タッチ検出回路が受け入れ可能時間中にタッチ入力信号を検出した場合、タッチ入力信号および音声入力信号は、同じタッチ動作によって生成される。したがって、最初に検出された音声入力信号を識別目的として使用することができる（すなわち、最初に検出された音声入力信号は、有効信号である）。以下に、このステップについて、図５を参照しながら説明する。

図５は、本発明の第２実施形態に係る受け入れ可能時間中にタッチ入力信号が検出されたかどうかを判断する時の図である。図５を参照すると、音声検出回路１６は、時間ｔ１において音声入力信号５０１を検出し、音声入力信号５０１は、時間間隔Ｔ１の間（例えば、１００ｍｓ）、絶えず検出される。そのため、時間ｔ１後の受け入れ可能時間Ｔの間、タッチ検出回路１７がタッチ入力信号を検出したかどうかによって、音声入力信号５０１が有効であるかどうか（すなわち、最初に検出された音声入力信号５０１が識別目的として使用できるかどうか）を判断する。また、本実施形態において、受け入れ可能時間Ｔは、１００ｍｓよりも長く、５００ｍｓよりも短い（例えば、２００ｍｓ）。しかしながら、本発明はこれに限定されず、受け入れ可能時間Ｔの長さは、実際の設計要求に基づいて決定することができる。例えば、受け入れ可能時間Ｔを８０ｍｓに短縮して、誤検知率を減らしてもよい。

次に、タッチ検出回路１７は、時間ｔ２においてタッチ入力信号５０２を検出し、タッチ入力信号５０２は、時間間隔Ｔ２の間（例えば、１００ｍｓ）、絶えず検出される。ここで、時間ｔ２は、時間ｔ１の後の受け入れ可能時間Ｔ内であるため、タッチ入力信号５０２および音声入力信号５０１は、同じタッチ動作によって生成されたものと判断される。したがって、音声入力信号５０１は、有効であると判断され、入力手段の識別に使用することができる。

図１および図３を再度参照すると、ステップＳ３０１において、タッチ検出回路１７が受け入れ可能時間中にいかなるタッチ入力信号も検出しなかった場合、先に検出された音声入力信号は無効であると判断され、ステップＳ３１０の後、音声検出回路１６は、ステップＳ３０２を再度実行する。また、タッチ検出回路１７が受け入れ可能時間中にタッチ入力信号（例えば、図５のタッチ入力信号５０２）を検出した場合、ステップＳ３１２において、制御回路１９は、上記で得た予め設定された音声モデルおよび検出されたタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別する。例えば、検出された音声入力信号の音声モデルが「指関節」に対応する予め設定された音声モデルと同じであると制御回路１９が判断した場合、制御回路１９は、音声入力信号を生成している入力手段は「指関節」であると識別する。また、制御回路１９は、検出されたタッチ入力信号の位置、持続時間およびスライド距離に基づいて、入力手段のタッチ動作を識別することができる。

その後、ステップＳ３１４において、制御回路１９は、識別した入力手段およびそのタッチ動作に基づいて、応用特定コマンドを生成する。例えば、制御回路１９が入力手段は「指関節」で、タッチ動作は「クリック」であると識別した時、制御回路１９によって生成される応用特定コマンドは、クリックされたファイルに出された「切り取り」コマンドである。あるいは、制御回路が入力手段は「指の爪」であり、タッチ動作は「クリック」であると識別した時、制御回路１９によって生成される応用特定コマンドは、クリックされたファイルに出された「削除」コマンドである。しかしながら、本発明は上述した例のみに限定されない。例えば、ユーザーがタッチユニット１５を指関節でクリックした時、対応する応用特定コマンドは、「マウスの右ボタンを押す」であり、ユーザーが指の爪でタッチユニット１５を上向きまたは下向きに擦った時、対応する応用特定コマンドは、「マウスホイールで上下にスクロールする」である。例えば、指の爪で写真をトリミングする、指の腹で写真を動かしたりファイルを開いたりする等の他の応用も実行可能である。別の例において、制御回路１９がタッチ動作を「円」と識別した時、入力手段の種類に関わらず、「前の動作に戻る」コマンドが実行される。

注意すべきこととして、応用特定コマンドは、制御回路１９によって生成されても、あるいはプロセッサ１１によって生成されてもよい。詳しく説明すると、制御回路１９は、有効な音声入力信号およびタッチ入力信号をプロセッサ１１に記録および伝送するのみであり、プロセッサ１１がその信号を応用特定コマンドに変換する。

また、本実施形態は、複数のタッチ位置でタッチ入力信号を支持する。例えば、ユーザーが５本の指の爪でタッチユニット１５上の領域を囲んだ時、対応する応用特定コマンドは、この領域内の全てのファイルを削除することである。

つまり、上述した応用特定コマンドは、入力手段の種類およびそのタッチ動作に基づいて定義され、特定の機能に対応する。また、応用特定コマンドは、設計または実際の要求に基づいて調整可能である。さらに、実施している間、制御回路１９は、複数の接触識別（contact identification, CID）を設定し、各ＣＩＤを入力手段に対応させることができる。そのため、制御回路１９は、応用特定コマンドを生成する必要がある時、音声入力信号に対応するＣＩＤについて問い合わせ、ＣＩＤおよびタッチ動作に基づいて、対応する応用特定コマンドを生成する。
［第３実施形態］

第３実施形態のタッチ制御装置のハードウェア構造は、実質的に、第１実施形態のタッチ制御装置と同じであり、第３実施形態のタッチ検出方法は、第２実施形態と類似する。相違点は、第３実施形態において、検出した音声入力信号が予め設定された音声モデルのいずれとも一致しないとタッチ制御装置が判断した場合、タッチ制御装置が、その検出したタッチ入力信号に基づいて、基本コマンドを生成することである。それによって、識別目的に使用できる音声入力信号がない時でも、タッチ制御装置は、依然として基本的な機能を実行することができるため、タッチ制御装置の応用上のフレキシビリティを向上させることができる。つまり、上述した基本コマンドの機能は、基本タッチ動作に基づいて決定される。

図６は、本発明の第３実施形態に係るタッチ検出方法のフローチャートである。図１および図６を参照すると、ステップＳ６０２において、音声検出回路１６は、タッチユニット１５上の音声入力信号を検出する。そして、ステップＳ６０４において、音声検出回路１６は、音声入力信号が検出されたかどうかを判断する。音声検出回路１６がいかなる音声入力信号も検出しなかった場合、ステップＳ６０４の後、音声検出回路１６は、ステップＳ６０２を再度実行する。

音声検出回路１６がステップＳ６０４において音声入力信号を検出した場合、ステップＳ６０６において、制御回路１９は、検出した音声入力信号が予め設定された音声モデルと一致するかどうかを判断する。検出した音声入力信号が予め設定された音声モデルのいずれとも一致しないと制御回路１９が判断した場合、ステップＳ６０６の後、音声検出回路１６は、ステップＳ６０２を再度実行する。

一方、ステップＳ６０６において検出した音声入力信号が予め設定された音声モデルと一致すると制御回路１９が判断した場合、ステップＳ６０８において、制御信号１９は、音声入力信号およびその発生時間を記憶回路１８に記録する。また、ステップＳ６１０において、制御回路１９は、タッチ検出回路１７が発生時間後の受け入れ可能時間中にタッチ入力信号を検出したかどうかを判断する。タッチ検出回路１７が受け入れ可能時間中にいかなるタッチ入力信号も検出しなかった場合、ステップＳ６１０の後、音声検出回路１６は、ステップＳ６０２を再度実行して、記憶回路１８に記録された音声入力信号が無効であると判断する。一方、タッチ検出回路１７が受け入れ可能時間中にタッチ入力信号（例えば、図４のタッチ入力信号４０２）を検出した場合、ステップＳ６１２において、制御回路１０は、上記で得た予め設定された音声モデルおよび検出したタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別する。次に、ステップＳ６１４において、制御回路１９は、識別した入力手段およびタッチ動作に基づいて、応用特定コマンドを生成する。

一方、ステップＳ６０６において音声検出回路１６によって検出された音声入力信号が予め設定された音声モデルのいずれとも一致しないと制御回路１９が判断した場合、ステップＳ６１６において、制御回路１９は、タッチ検出回路１７がタッチ入力信号を検出したかどうかを判断する。タッチ検出回路１７がいかなるタッチ入力信号も検出しなかった場合、ステップＳ６１６の後、音声検出回路１６は、ステップＳ６０２を再度実行する。タッチ検出回路１７がステップＳ６１６においてタッチ入力信号を検出した場合、ステップＳ６１８において、制御回路１９は、検出したタッチ入力信号に基づいて、基本コマンドを生成する。基本コマンドは、１箇所でのクリック、複数箇所でのクリック、１箇所での長押し、複数箇所での長押し、またはドラッグ動作等のタッチ動作に対応する基本操作コマンドである。
［第４実施形態］

第４実施形態のタッチ制御装置のハードウェア構造は、実質的に、第１実施形態のタッチ制御装置と同じであり、第４実施形態のタッチ検出方法は、上記で説明した第１、第２および第３実施形態のいずれか１つの付加的実施例である。具体的に説明すると、第４実施形態において、タッチ制御装置は、音声入力信号を検出した時、音声入力信号に対応するタッチ検出レベルを適応して調整する。そのため、タッチ制御装置は、異なる音声入力信号および対応する予め設定された音声モデルに関連する適切なタッチ検出レベルを設定することができるため、タッチ制御装置の検出精度は、タッチ入力信号がタッチ検出レベルを超過することにより低下することがない。

図７は、本発明の第４実施形態に係るタッチ検出方法のフローチャートである。図１および図７を参照すると、ステップＳ７０２において、音声検出回路１６は、タッチユニット１５上の音声入力信号を検出する。そして、ステップＳ７０４において、音声検出回路１６は、音声入力信号が検出されたかどうかを判断する。音声検出回路１６がいかなる音声入力信号も検出しなかった場合、ステップＳ７０４の後、音声検出回路１６は、ステップＳ７０２を再度実行する。

音声検出回路１６がステップＳ７０４において音声入力信号を検出した場合、ステップＳ７０６において、制御回路１９は、音声検出回路１６によって検出された音声入力信号が予め設定された音声モデルと一致するかどうかを判断する。検出した音声入力信号が予め設定された音声モデルのいずれとも一致しないと制御回路１９が判断した場合、ステップＳ７０６の後、音声検出回路１６は、ステップＳ７０２を再度実行する。

また、ステップＳ７０６において音声検出回路１６によって検出された音声入力信号が予め設定された音声モデルと一致すると制御回路１９が判断した場合、ステップＳ７０８において、制御回路１９は、音声入力信号およびその発生時間を記憶回路１８に記録する。次に、ステップＳ７１０において、タッチ検出回路１７は、受け入れ可能時間中のタッチユニット１５上のタッチ感知値の変化量を検出する。また、ステップＳ７１２において、制御回路１９は、受け入れ可能時間中のタッチ感知値の変化量に基づいて、予め設定された音声モデル（すなわち、音声検出回路１６によって検出された音声入力信号と一致する予め設定された音声モデル）と一致するタッチ検出レベルを更新する。それによって、音声検出回路１６が次に別の音声入力信号を検出し、音声入力信号が上述した予め設定された音声モデルと一致した時、制御回路１９は、更新されたタッチ検出レベルに基づいて、対応するタッチ入力信号が検出されたかどうかを判断することができる。

言及すべきこととして、上述した第２、第３および第４実施形態では、タッチ制御装置は、常に音声入力信号を先に検出し、それから、音声入力信号および入力手段に対応するタッチ入力信号に基づいて、入力手段およびそのタッチ動作を識別する。しかしながら、特定のハードウェア条件または特定のソフトウェア実行環境において、タッチ制御装置は、入力手段のタッチ動作によって生成されたタッチ入力信号を先に検出してから、それによって生成された音声入力信号を受信してもよい。したがって、本発明は、以下の第５実施形態で説明するように、タッチ入力信号と音声入力信号を使用することによって識別を行うタッチ制御装置も提供する。
［第５実施形態］

第５実施形態のタッチ制御装置のハードウェア構造は、実質的に、第１実施形態のタッチ制御装置と同じであり、第５実施形態のタッチ検出方法は、第２実施形態のタッチ検出方法と類似する。相違点は、第５実施形態において、タッチ制御装置が、入力手段によって生成されたタッチ入力信号を先に検出してから、タッチ入力信号および同じ入力手段によって生成された音声入力信号に基づいて、入力手段およびそのタッチ動作を識別することである。それによって、タッチ制御装置は、上述した識別結果に基づいて対応の応用特定コマンドを生成することができるため、タッチ制御装置の応用上のフレキシビリティを向上させることができる。

図８は、本発明の第５実施形態に係るタッチ検出方法のフローチャートである。図１および図８を参照すると、ステップＳ８０２において、タッチ検出回路１７は、タッチユニット１５上のタッチ入力信号を検出する。そして、ステップＳ８０４において、制御回路１９は、タッチ検出回路１７がタッチ入力信号を検出したかどうかを判断する。タッチ検出回路１７がいかなるタッチ入力信号も検出しなかった場合、ステップＳ８０４において、タッチ検出回路１７は、ステップＳ８０２を再度実行する。

タッチ検出回路１７がステップＳ８０４においてタッチ入力信号を検出した場合、ステップＳ８０６において、制御回路１９は、タッチ入力信号およびその発生時間を記録する。そして、ステップＳ８０８において、制御回路１９は、音声検出回路１６が発生時間後の受け入れ可能時間中に音声入力信号を検出したかどうかを判断する。音声検出回路１６が受け入れ可能時間中にいかなる音声入力信号も検出しなかった場合、先に検出したタッチ入力信号が無効であると判断され、ステップＳ８０８の後、タッチ検出回路１７は、ステップＳ８０２を再度実行する。一方、音声検出回路１６が受け入れ可能時間中に音声入力信号を検出した場合、ステップＳ８１０において、制御回路１９は、音声入力信号およびタッチ入力信号に基づいて、入力手段の種類およびそのタッチ動作を識別する。

例えば、制御回路１９は、音声検出回路１６によって検出された音声入力信号の音声モデルと記憶回路１８の予め設定された複数の音声モデルを順番に比較して、音声入力信号の音声モデルがこれらの予め設定された音声モデルのうちの少なくとも１つと同じであるか、または類似するかどうかを判断する。音声検出回路１６によって検出された音声入力信号が予め設定された音声モデルと一致する場合、制御回路１９は、この予め設定された音声モデルおよびタッチ検出回路１７によって先に検出されたタッチ入力信号に基づいて、入力手段およびタッチ動作を識別する。

その後、ステップＳ８１２において、制御回路１９は、ステップＳ８１０において識別した入力手段およびタッチ動作に基づいて、応用特定コマンドを生成する。
［第６実施形態］

第６実施形態のタッチ制御装置のハードウェア構造は、実質的に、第１実施形態のタッチ制御装置と同じであり、第６実施形態のタッチ検出方法は、第３実施形態のタッチ検出方法と類似する。相違点は、第６実施形態において、タッチ制御装置がタッチ入力信号を検出した後の受け入れ可能時間中に、タッチ制御装置によって対応する音声入力信号が検出されなかった場合、タッチ制御装置は、先に検出したタッチ入力信号に基づいて、基本コマンドを生成することができる。それによって、タッチ制御装置は、識別目的として使用できる音声入力信号がない時でも基本的機能を実行することができるため、タッチ制御装置の応用上のフレキシビリティを向上させることができる。

図９は、本発明の第６実施形態に係るタッチ検出方法のフローチャートである。図１および図９を参照すると、ステップＳ９０２において、タッチ検出回路１７は、タッチユニット１５上のタッチ入力信号を検出する。そして、ステップＳ９０４において、制御回路１９は、タッチ検出回路１７がタッチ入力信号を検出したかどうかを判断する。タッチ検出回路１７がいかなるタッチ入力信号も検出しなかった場合、ステップＳ９０４の後、タッチ検出回路１７は、ステップＳ９０２を再度実行する。

タッチ検出回路１７がステップＳ９０４においてタッチ入力信号を検出した場合、ステップＳ９０６において、制御回路１９は、タッチ入力信号およびその発生時間を記録する。そして、ステップＳ９０８において、制御回路１９は、音声検出回路１６が発生時間後の受け入れ可能時間中に音声入力信号を受信したかどうかを判断する。音声検出回路１６が受け入れ可能時間中に音声入力信号を検出した場合、ステップＳ９１０において、制御回路１９は、音声入力信号およびタッチ入力信号に基づいて、入力手段の種類およびそのタッチ動作を識別する。次に、ステップＳ９１２において、制御回路１９は、ステップＳ９１０において識別した入力手段およびそのタッチ動作に基づいて、応用特定コマンドを生成する。

一方、音声検出回路１６がステップＳ９０８の受け入れ可能時間中にいかなる音声入力信号も検出しなかった場合、ステップＳ９１４において、制御回路１９は、タッチ検出回路１７によって先に検出されたタッチ入力信号に基づいて、基本コマンドを生成する。

言及すべきこととして、本実施形態において、タッチ制御装置１０は、音声検出回路１６の機能をオンまたはオフにするかどうかを決定することもできる。例えば、電力消費またはシステム負荷を減らすため、タッチ制御装置１０は、音声検出回路１６の機能を選択的にオフにすることができる。例えば、電源装置１４が低電力アラームメッセージを発信した時、制御回路１９は、操作を一時的に停止するよう音声検出回路１６を制御するため、基本コマンドのみが生成され、それによって、電力消費が減少する。あるいは、タッチ制御装置１０がファイル編集モードに入った時、制御回路１９が音声検出回路１６を起動して、応用特定コマンドを発することによって、ファイル編集の効率を上げることができる。例えば、スタイラススロットを有するスマートフォンを例に挙げると、ユーザーがスロットからスタイラスを出した時、スマートフォンは、音声検出回路の機能を起動させ、タッチスクリーンにタッチしている入力手段がスタイラスであるのか、それともユーザーの指であるのかどうかを識別する。

上述したように、本発明の実施形態において提供したタッチ検出方法およびタッチ制御装置は、音声入力信号およびタッチ入力信号と予め設定した音声モデルとを比較することによって、予め設定した音声モデルおよびタッチ入力信号に基づいて、入力手段の種類およびタッチ動作を識別することができる。また、入力手段の種類およびそのタッチ動作に基づいて、応用特定コマンドを生成する。それによって、タッチ入力信号と音声入力信号を識別することにより、タッチ信号の検出精度およびタッチ制御装置の応用上のフレキシビリティの両方を効果的に向上させることができる。

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

タッチ検出方法およびタッチ制御装置は、タッチパネル産業において応用可能である。

１０ タッチ制御装置
１１ プロセッサ
１２ メモリ
１３ Ｉ／Ｏ装置
１４ 電源装置
１５ タッチユニット
１６ 音声検出回路
１７ タッチ検出回路
１８ 記憶回路
１９ 制御回路
５０１ 音声入力信号
５０２ タッチ入力信号
Ｓ２０２〜Ｓ２０４、Ｓ３０２〜S３１４、Ｓ４０２〜Ｓ４０８、Ｓ６０２〜Ｓ６１８、Ｓ７０２〜Ｓ７１２、Ｓ８０２〜Ｓ８１２、Ｓ９０２〜Ｓ９１４ ステップ
ｔ１、ｔ２ 時間
Ｔ 受け入れ可能時間
Ｔ１、Ｔ２ 時間間隔

Claims (18)

1. タッチユニットを有するタッチ制御装置に適用され、
   前記タッチユニット上に入力手段によりタッチするタッチ動作によって生成された音声入力信号およびタッチ入力信号を検出し、記録することと、
   前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別することと
   を含み、前記タッチ入力信号が、前記タッチユニット上の前記入力手段の前記タッチ動作に対応するタッチ特性を示し、前記音声入力信号が、前記入力手段の種類を識別するために使用されるタッチ検出方法。
2. 前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別する前記ステップが、
   前記音声入力信号が検出されたかどうかを判断することと、
   前記音声入力信号が検出された時に、前記音声入力信号が予め設定された音声モデルと一致するかどうかを判断することと、
   前記音声入力信号が前記予め設定された音声モデルと一致した時に、前記音声入力信号の発生時間を記録して、前記発生時間の後の受け入れ可能時間中に前記タッチ入力信号が検出されたかどうかを判断することと、
   前記受け入れ可能時間中に前記タッチ入力信号が検出された時に、前記予め設定された音声モデルおよび前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別することと、
   前記入力手段および前記タッチ動作に基づいて、応用特定コマンドを生成することと
   を含み、前記応用特定コマンドに対応する機能が、前記入力手段の前記種類および前記タッチ動作に基づいて決定される請求項１に記載のタッチ検出方法。
3. 前記音声入力信号が前記予め設定された音声モデルと一致しなかった時に、前記タッチ入力信号が検出されたかどうかを判断することと、
   前記タッチ入力信号が検出された時に、前記タッチ入力信号に基づいて基本コマンドを生成することと
   をさらに含み、前記基本コマンドに対応する機能が、前記タッチ動作に基づいて決定される請求項２に記載のタッチ検出方法。
4. 前記受け入れ可能時間中に前記タッチ入力信号が検出されたかどうかを判断する前記ステップが、
   前記受け入れ可能時間中にタッチ位置に対応するタッチ感知値の変化量を検出することと、
   前記変化量がタッチ検出レベルよりも大きいかどうかを判断することと、
   前記変化量が前記タッチ検出レベルよりも大きい時に、前記タッチ入力信号が検出されたと判断することと
   を含む請求項２に記載のタッチ検出方法。
5. 前記音声入力信号の前記発生時間を記録する前記ステップが、
   前記受け入れ可能時間中の前記タッチ感知値の前記変化量に基づいて、前記予め設定された音声モデルに対応する前記タッチ検出レベルを更新すること
   をさらに含む請求項４に記載のタッチ検出方法。
6. 前記タッチ入力信号が検出されたかどうかを判断することと、
   前記タッチ入力信号が検出された時に、前記タッチ入力信号の発生時間を記録して、前記発生時間の後の受け入れ可能時間中に前記音声入力信号が検出されたかどうかを判断することと、
   前記受け入れ可能時間中に前記音声入力信号が検出された時に、前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別することと、
   前記入力手段および前記タッチ動作に基づいて、応用特定コマンドを生成することと
   をさらに含み、前記応用特定コマンドに対応する機能が、前記入力手段の前記種類および前記タッチ動作に基づいて決定される請求項１に記載のタッチ検出方法。
7. 前記受け入れ可能時間中に前記音声入力信号が検出されたかどうかを判断する前記ステップが、
   前記音声入力信号が予め設定された音声モデルと一致するかどうかを判断することと、
   前記音声入力信号が前記予め設定された音声モデルと一致した時に、前記音声入力信号が検出されたと判断することと
   を含み、前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別する前記ステップが、
   前記予め設定された音声モデルおよび前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別することと
   を含む請求項６に記載のタッチ検出方法。
8. 前記受け入れ可能時間中に前記音声入力信号が検出されなかった時に、前記タッチ入力信号に基づいて基本コマンドを生成すること
   をさらに含み、前記基本コマンドに対応する機能が、前記タッチ動作に基づいて決定される請求項６に記載のタッチ検出方法。
9. 前記タッチ特性が、位置、強度、面積および持続時間のうちの少なくとも１つを含む請求項１に記載のタッチ検出方法。
10. タッチユニットと、
    前記タッチユニットに結合され、前記タッチユニット上に入力手段によりタッチするタッチ動作によって生成された音声入力信号を検出する音声検出回路と、
    前記タッチユニットに結合され、前記タッチユニット上の前記入力手段の前記タッチ動作によって生成されたタッチ入力信号を検出するタッチ検出回路と、
    前記音声検出回路および前記タッチ検出回路に結合され、前記音声入力信号および前記タッチ入力信号を保存する記憶回路と、
    前記記憶回路、前記音声検出回路および前記タッチ検出回路に結合され、前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別する制御回路と
    を含み、前記タッチ入力信号が、前記タッチユニット上の前記入力手段の前記タッチ動作に対応するタッチ特性を示し、前記音声入力信号が、前記入力手段の種類を識別するために使用されるタッチ制御装置。
11. 前記音声検出回路が、前記音声入力信号が検出されたかどうかを判断し、
    前記音声検出回路が前記音声入力信号を検出した時に、前記制御回路が、前記音声入力信号が予め設定された音声モデルと一致するかどうかを判断し、
    前記音声入力信号が前記予め設定された音声モデルと一致する時に、前記制御回路が、前記音声入力信号の発生時間を記録して、前記発生時間の後の受け入れ可能時間中に前記タッチ検出回路が前記タッチ入力信号を検出したかどうかを判断し、
    前記タッチ検出回路が前記受け入れ可能時間中に前記タッチ入力信号を検出した時に、前記制御回路が、前記予め設定された音声モデルおよび前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別するとともに、前記入力手段および前記タッチ動作に基づいて応用特定コマンドを生成し、
    前記応用特定コマンドに対応する機能が、前記入力手段の前記種類および前記タッチ動作に基づいて決定される請求項１０に記載のタッチ制御装置。
12. 前記制御回路が、前記音声入力信号が前記予め設定された音声モデルと一致しないと判断した時に、前記制御回路が、前記タッチ検出回路が前記タッチ入力信号を検出したかどうかを判断し、
    前記タッチ検出回路が前記タッチ入力信号を検出した時、前記制御回路が、前記タッチ入力信号に基づいて基本コマンドを生成し、
    前記基本コマンドに対応する機能が、前記タッチ動作に基づいて決定される請求項１１に記載のタッチ制御装置。
13. 前記タッチ検出回路が、前記受け入れ可能時間中に前記タッチユニット上のタッチ位置に対応するタッチ感知値の変化量を検出し、
    前記制御回路が、前記変化量がタッチ検出レベルよりも大きいかどうかを判断し、
    前記変化量が前記タッチ検出レベルよりも大きい時に、前記制御回路が、前記タッチ検出回路が前記タッチ入力信号を検出したと判断する請求項１１に記載のタッチ制御装置。
14. 前記制御回路が、さらに、前記受け入れ可能時間中の前記タッチ感知値の前記変化量に基づいて、前記予め設定された音声モデルに対応する前記タッチ検出レベルを更新する請求項１３に記載のタッチ制御装置。
15. 前記制御回路が、前記タッチ検出回路が前記タッチ入力信号を検出したかどうかを判断し、
    前記タッチ検出回路が前記タッチ入力信号を検出した時に、前記制御回路が、前記タッチ入力信号の発生時間を記録して、前記タッチ検出回路が前記発生時間後の受け入れ可能時間中に前記音声入力信号を検出したかどうかを判断し、
    前記タッチ検出回路が前記受け入れ可能時間中に前記音声入力信号を検出した時に、前記制御回路が、前記音声入力信号および前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別するとともに、前記入力手段および前記タッチ動作に基づいて応用特定コマンドを生成し、
    前記応用特定コマンドに対応する機能が、前記入力手段の前記種類および前記タッチ動作に基づいて決定される請求項１０に記載のタッチ制御装置。
16. 前記制御回路が、前記音声入力信号が予め設定された音声モデルと一致するかどうかを判断し、
    前記制御回路が、前記音声入力信号が前記予め設定された音声モデルと一致すると判断した時に、前記制御回路が、前記音声検出回路が前記音声入力信号を検出したと判断して、前記予め設定された音声モデルおよび前記タッチ入力信号に基づいて、前記入力手段および前記タッチ動作を識別する請求項１５に記載のタッチ制御装置。
17. 前記タッチ検出回路が前記受け入れ可能時間中に前記音声入力信号を検出しなかった時、前記制御回路が、前記タッチ入力信号に基づいて基本コマンドを生成し、
    前記基本コマンドに対応する機能が、前記タッチ動作に基づいて決定される請求項１５に記載のタッチ制御装置。
18. 前記タッチ特性が、位置、強度、面積および持続時間のうちの少なくとも１つを含む請求項１０に記載のタッチ制御装置。

Images