JP2011523730A - 手持ち式機器のユーザを識別する方法およびシステム - Google Patents
手持ち式機器のユーザを識別する方法およびシステム Download PDFInfo
- Publication number
- JP2011523730A JP2011523730A JP2011506389A JP2011506389A JP2011523730A JP 2011523730 A JP2011523730 A JP 2011523730A JP 2011506389 A JP2011506389 A JP 2011506389A JP 2011506389 A JP2011506389 A JP 2011506389A JP 2011523730 A JP2011523730 A JP 2011523730A
- Authority
- JP
- Japan
- Prior art keywords
- user
- portable device
- user identification
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42208—Display device provided on the remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42224—Touch pad or touch panel provided on the remote control
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Selective Calling Equipment (AREA)
- Telephone Function (AREA)
- Details Of Television Systems (AREA)
Abstract
手持ち式機器のユーザを識別するシステムおよび方法を開示している。当該方法およびシステムを実装する機器は、その機器のユーザ操作に付随して起こる信号に基づき、ユーザの識別を試みることができる。この信号は、筐体の内部または周縁に沿って分散する様々なセンサによって生成される。当該センサは、タッチセンサ、慣性センサ、音響センサ、パルス酸素濃度計、およびタッチパッドなどでもよい。これらのセンサおよび対応する信号に基づき、識別情報が生成される。この識別情報を用いて手持ち式機器のユーザを識別する。当該手持ち式機器は、様々な統計学習やデータマイニング技術を実装してシステムのロバスト性を強化することができる。また、当該機器は、ユーザが描く円またはその他の形に基づき、ユーザを認証することもできる。
Description
本発明は、例えばリモートコントロールシステムなど、手持ち式機器のユーザを識別する方法およびシステムに広く関するものである。多くのシステムに対して、煩わしくなく容易にユーザを識別することは有益であろう。本発明の多くの様態および本発明に関連する背景では、家電製品および家庭電化製品の制御に適したリモートコントロールシステムに関して記載しており、このリモートコントロールシステムは、ユーザを識別するための、ユーザの保持およびつかみパターンのほかに、ユーザがリモコンを持ち上げてリモコンに最初に触れる軌跡など他の特徴も検出する、タッチセンサ方式の手持ち式リモートコントロールユニットを含んでいる。
通常多数のプッシュボタンを特徴としている携帯型リモートコントロールユニットは、今や世界を通じてコーヒーテーブル上にあるのが全く当たり前になっている。大部分の消費家電製品において、メーカーがこのような携帯型リモートコントロールに各ユニットを設けることは慣習的である。したがって、ほとんどの消費者は、それぞれが特定の製品または電化製品に関連付けられた様々な異なるリモートコントロールユニットを多数所有している。
課題を単純化するために、出願人の譲受人は、プッシュボタンの数の削減や、ユーザの指または親指で操作して表示画面上にて情報のやりとりが可能な1以上のタッチセンサ式タッチパッドを特徴とした、タッチセンサ方式リモートコントロールユニットの異なる実施例をいくつか開発してきた。タッチパッドを操作して、例えば、(カーソルや他のグラフィカル要素などの)選択インジケータを表示画面の制御範囲全域で移動させることが可能である。ある適用では、表示画面を携帯型リモートコントロールユニットから分離できるため、ユーザは、指または親指でキーパッドを操作しながら画面表示を確認することによって選択インジケータを操作する。好ましくは、ユーザが片手でリモートコントロールユニットを持ちながらユーザの親指でタッチパッドを操作できるように、1つまたは複数のタッチパッドをリモートコントロールユニットに配置する。さらに、リモートコントロールはユーザの接触を感じやすい外枠にタッチセンサを備える。
単一のリモートコントロールおよび対応するホスト装置を多数のユーザが使用可能となるにつれて、どのユーザがリモートコントロールを使用中なのかを識別する方法への要求が増加している。ユーザ名およびパスワードでログインするなどの方法は時間がかかり、ユーザを悩ますものである。したがって、最低限のユーザインタラクションですむユーザ識別方法が必要である。好ましくは、ユーザが識別タスクに入力あるいは識別タスクを実行せずに、そのユーザを識別できることが有益であろう。このような識別の受動的方法により、ユーザ側のユーザインタラクションは事実上なくなることになるであろう。
したがって、様々な受動的および半受動的ユーザ識別方法を実装するリモートコントロールシステムを我々は開発した。当該方法は、ユーザがリモコンを持つことによるつかみ/保持パターンから、ユーザがつかんだ際にリモコンが辿る軌跡までさまざまである。
このセクションは、開示内容の全体的な概要を記載するもので、本願の全範囲または特徴全てを包括的に開示するものではない。
第1の観点では、本発明は、携帯型機器のユーザを識別するシステムおよび方法に関するものである。当該携帯型電子機器は、筐体と前記筐体の外面に沿って配置されたセンサシステムを備える。前記センサシステムは、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との前記複数の接触点を示す観測信号を生成する。当該携帯型電子機器は、さらに、ユーザの識別に用いられる複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースを備える。また、当該機器は、さらに、前記センサシステムから前記観測信号を受信して、前記観測信号および前記複数のユーザの属性から前記ユーザを識別するユーザ識別モジュールを備える。
第2の観点では、本発明は、筐体と、指の動きに対応するタッチパッド信号を生成する、ユーザの指の動きに反応するタッチパッドとを備える携帯型電子機器に関する。当該機器は、さらに、前記タッチパッド信号を受信して、前記タッチパッド信号に基づいて指動きデータを生成するタッチパッド処理モジュールを備える。また、当該携帯型電子機器は、所定の対象物を描くユーザの指の動きを含む複数の既知のユーザの身体的属性に対応するユーザ識別データを格納するユーザ識別データベースを備える。また、当該機器は、さらに、ユーザの描く所定の形である前記ユーザの指動きデータを受信して、前記指動きデータおよび前記ユーザ識別データに基づき前記ユーザを識別するユーザ識別モジュールを備える。
第3の観点では、携帯型電子機器は、筐体と、前記筐体の周縁に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との複数の接触点を示す観測信号を生成するタッチセンサシステムとを備える。当該機器は、また、前記タッチセンサシステムから前記観測信号を受信して、ユーザの保持パターンを決定するタッチセンサ処理モジュールを備える。さらに、当該機器は、前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールとを備える。また、当該機器は、前記筐体の外面に沿って設置され、前記タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールとを備える。さらに、当該機器は、複数の既知のユーザの保持パターンと前記複数の既知のユーザそれぞれによる機器の動きに対応した軌跡と前記複数の既知のユーザのユーザ指動きデータとを含む属性であって、ユーザの識別に用いられる前記複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースを備える。また、さらに、当該機器は、前記ユーザの識別情報を受信して、前記ユーザの保持パターンと前記機器の動きに対する前記ユーザの軌跡と前記ユーザの指動きデータとを含む前記識別情報および前記複数の既知のユーザの属性に基づき前記ユーザを識別するユーザ識別モジュールとを備える。
さらなる適用領域が、ここに記載した記述内容から明らかになるだろう。この概要における記述内容および具体例は、説明のみを目的としたものであり、本願の開示内容の範囲を限定する意図はない。
[本願の背景技術に関する詳細情報]
2008年4月21日に出願された、米国特許仮出願番号第61/046,578号の全ての開示内容を本願に引用して援用する。
2008年4月21日に出願された、米国特許仮出願番号第61/046,578号の全ての開示内容を本願に引用して援用する。
ここに記述する図面は、選択した実施形態の説明のみを目的としたものであって、考えられる形態全てではなく、本願の開示内容の範囲を限定する意図はない。
図1は、表示画面を有し、かつ、ユーザの親指によって作動するよう配置されたタッチパッドを少なくとも1つ備える携帯型リモートコントロールユニットを有する、電気製品に対するリモートコントロールシステムの例を示す。
図2Aは、タッチパッド面を示す例であり、ユーザの手の大きさがタッチパッド面の有用性にどう作用し得るかを理解する場合に役立つ。
図2Bは、タッチパッド面を示す例であり、ユーザの手の大きさがタッチパッド面の有用性にどう作用し得るかを理解する場合に役立つ。
図3は、リモートコントロールユニットの周縁に複数のタッチパッドおよび容量センサの配列を有するリモートコントロールユニットを示す概略図である。
図4は、ユーザ識別システムのシステムレベルアーキテクチャである。
図5は、ユーザ識別モジュールのアーキテクチャの概略図である。
図6は、機器上のタッチセンサ配列とユーザの手との接触点を示す例である。
図7は、ユーザの携帯型機器のつかみ方に基づいてユーザを識別する方法の例のフローチャートである。
図8は、2人の異なるユーザに対応する2つの異なる軌跡を示す例である。
図9は、リモートコントロールの動きに対応する軌跡に基づいてユーザを識別する方法の例のフローチャートである。
図10は、リモートコントロールのタッチパッドに触れるユーザおよび対応する親指ベクトルを示す例である。
図11は、ユーザのタッチパッドのファーストタッチに基づいてユーザを識別する方法の例のフローチャートである。
図12は、リモートコントロールのタッチパッドに円を描くユーザを示す例である。
図13は、タッチパッド上にユーザが描いた形に基づいてユーザを識別する方法の例のフローチャートである。
図14は、ユーザ識別に到達する様々なユーザ識別方法の組み合わせを示す図である。
図15は、ユーザ識別を行う際に用いられる様々な統計学習およびデータマイニング技術を表したフローチャートである。
図16は、ユーザの教師なし学習を行う方法の例を表したフローチャートである。
図17は、2人の異なるユーザに対応する2つのクラスタおよびこれら2つのクラスタに関して識別されるユーザを示す例である。 図面の各図において、同じ参照符号は対応する部分を示す。
ここで、図面を参照して実施形態を詳述する。
ユーザを識別するシステムおよび方法をここに開示する。当該システムは1以上のユーザ識別技術を組み合わせてユーザを認証かつ/または識別する。当該技術は、ユーザーの携帯型機器のつかみ方、ユーザがリモコンを持ち上げる際の機器の軌跡、ユーザの機器へのファーストタッチ、およびユーザの心拍によってユーザを識別するような受動的技術でもよい。また、当該技術は、携帯型機器のタッチセンサ面上で円などの形をユーザに描かせるといった半受動的なものでもよい。単純化のため、まず、テレビ、セットトップボックス、コンピュータ、娯楽施設、またはその他のホスト装置と共に用いることが可能なリモートコントロール12に当該技術を適用したとして説明する。また、ユーザ識別がユーザに役立つ携帯型機器全てに対しても当該技術を適用することは明らかであろう。このような適用について、以下に詳述する。
図1を参照すると、典型的な電気製品用のリモートコントロールシステムを10で大まかに示す。リモートコントロールシステムは、表示画面16を有する電気製品14に、望ましくは無線で、制御命令を送信する携帯型リモートコントロール12を備える。リモートコントロール12は、複数の補完的なプッシュボタン18とタッチパッドのペア20を備える。なお、図示した実施形態において、リモートコントロールユニット12は左右対称であるため、ユーザの親指がどちらのタッチパッドに近いかは関係なく同じように機能する。携帯型リモートコントロール12は、このユニットがどの方向で保持されているのかを検出する方位センサ(図示せず)を有する。
携帯型リモートコントロールユニット12と電気製品との間の通信インターフェースはどんなタイプでも利用可能である。説明のために、24で示した無線送信デバイスおよび22で示した無線受信デバイスを図示する。当然のことながら、無線通信は、赤外線、超音波および高周波を用いて、さらには、赤外線通信プロトコル、ブルートゥース、WiFiなどの様々な異なる通信プロトコルを利用して行われる。通信は、(リモートコントロールユニット12から電気製品14への)片方向または双方向で可能である。
図示した実施形態では、制御範囲は画面上で定義され、その画面内にユーザ制御の選択インジケータを視覚的に表示することができる。図1において、リモートコントロールユニット12そのものの視覚的複製が表示画面16上で26のように表示される。ユーザ制御の選択インジケータは、ユーザの親指をグラフィカルに描写する形式30で表示される。タッチパッド20上でユーザの親指を動かすことにより、選択インジケータ30は対応して移動する。トラックパッドによるコンピュータ画面カーソルの動きと同様であるが、次の違いがある。タッチパッド20上の範囲を1対1で画面の制御範囲と対応づける。典型的なコンピュータトラックパッドにはこのような1対1の関係は用いられておらず、むしろ、持ち上げて別の位置に移されるコンピュータマウスを模倣した動作の相対的なマッピングを使用している。
ここに開示したシステムを用いて、例えば、ユーザ識別に基づきリモコンのマッピングを識別することができる。図示した実施形態では、タッチパッド面と制御範囲との1対1のマッピングを用いているが、このマッピングはユーザの手の大きさの特徴に合わせて変更される。図2Aおよび2Bを参照すると、小さな手(図2A)および大きな手(図2B)の人が最も簡単に利用しやすいようにマッピングされた位置での、数字および文字のパターン例をタッチパッド上に図示している。これらのマッピングされた位置を制御範囲26上で対応する位置(図1)と比較する。画面上に表示された画像(図1)は、手の大きさにかかわらず全てのユーザに対し同じであるが、制御範囲へ実際にマッピングしたタッチパッド部分は調整される。このように、小さな手のユーザは数字1を選択するために遠くまで指を伸ばす必要はない。逆に、大きな手のユーザは、数字4などの隣接する数字を同時に選択することがなく、数字5を選択するのがより簡単になったと感じるであろう。実際には、手が小さい場合(図2A)、タッチパッド部分のみが用いられ、表示画面に示された制御範囲全域と一致するようにこの部分を拡大する。
ユーザ識別を用いて、リモートコントロールが制御するホスト装置のその他の様態を構成してもよい。例えば、ホスト装置がテレビ用セットトップボックスであれば、特定ユーザが特定チャンネルへアクセスすることを制限するためにユーザ識別を用いてもよい。さらに、予めプログラムされた好みのチャンネルまたは設定の一覧をセットトップボックスに読み込んでもよい。さらなる例を下記に示す。
図3を参照すると、リモートコントロール12を2つのタッチパッド20で図示する。容量タッチアレイは40で示される。容量タッチアレイの容量センサと組み合わせて、または容量センサの代わりに他のタッチセンサを用いても構わないことは想定される。
例えば、ユーザと機器との接触点に対する抵抗を提供するセンサを用いてもよい。このようなセンサは現在開発中であって、より高次元のデータセットを提供する。これは多くのユーザの中から1人のユーザを識別する際に有利である。これらの電極マトリックスセンサは、電流などの信号を送る1つのセンサと、ユーザの手(または他の身体部分)を介して信号を受け取る複数の受信部とを有している。この送信部および複数の受信部はリモートコントロール12の外面に沿って配置される。複数の受信部は送信部を空間的に囲むように配置される。各受信部と送信部との距離は既知であり、送られた電気信号の電流および電圧も同様に既知である。電気信号が送られた後、受信部がその電気信号を受信するときに、接触点でのユーザの手の抵抗を決定することができる。以上のように、各受信部が抵抗値を生成するので、送信ごとにデータの次元数はX倍に増える。ここで、Xは、複数の受信部の送信部に対する比率である。より高次元のデータセットが好ましい場合はこれらのセンサが特に有用である。さらに、送信部および対応する受信部間の通信となる転送機能を送られた信号に実行して、次元数をさらに増やしても構わない。
また、リモコンは、音響(図示せず)および光学センサ(図示せず)、慣性センサ(図示せず)、パルス酸素濃度計(図示せず)、ならびに熱センサ(図示せず)でも構わない。
当然のことながら、センサは、片手もしくは両手でリモートコントロール12を保持するユーザから信号を受信することができる。例えば、ユーザは片手の操作位置でリモートコントロール12を保持してもよい。また、ユーザは、識別目的で、ビデオゲームコントローラなどのように両手でリモートコントロール12を保持してもよい。
図4は、識別入力候補およびユーザを識別するために用いられるデータ候補を示している。上述のとおり、リモートコントロール12、または、携帯型機器は多数の入力に基づいてユーザを識別することができる。リモートコントロール12は、ユーザを識別するために他の機能的適用に用いられるセンサ52〜60からのデータを利用する。ユーザ識別モジュール50においてデータを受信かつ処理する。ユーザ識別モジュールは、既知の各ユーザに固有なデータを含むユーザ識別データベース64にアクセスする。データのタイプは以下のうち1以上のもので構わない。タッチセンサ52から受信した保持/つかみパターン64、加速度計やジャイロスコープなどの慣性/運動センサから受信した軌跡データ66、音響センサ58または他のタイプのセンサから受信した心拍データ68、光学センサ56から受信した顔または胴体データ70、タッチパッドセンサ20から受信したファーストタッチデータ72、および、タッチパッドセンサ20から受信した弓形データ74。センサおよびデータタイプの一覧は限定されるものではないと理解され、特定のセンサから他のタイプのデータを受信し、かつ、他のタイプのセンサが一覧のデータまたは入力を受信してもよいと想定される。さらに、最低1つの入力タイプを用いてユーザを識別しても、入力の組み合わせを用いてユーザを識別してもよいと想定される。
図5は、ユーザ識別モジュール50の例を詳述したものである。ユーザ識別モジュール50は、入力のタイプごとに処理モジュールを有してもよい。例えば、ユーザ識別モジュール50は、タッチセンサ52からのデータを処理するタッチ処理モジュール80、運動および慣性センサ54からのデータを処理する運動処理モジュール82、光学センサ56からのデータを処理する光学処理モジュール84、音響センサ58からのデータを処理する音響処理モジュール86、および、タッチパッド60からのデータを処理するタッチパッド処理モジュール88を含んでもよい。各タイプのデータのさらなる詳細およびその処理モジュールについては後述する。
当然のことながら、ユーザ識別モジュール50はリモートコントロール12またはホスト装置に備えられていてもよい。当該システムは強力な学習技術を実装しているため、リモートコントロール12にこのような計算を扱う処理能力がなくてもよい。この場合には、リモートコントロール12は、ホスト装置に備えられている認識モジュール50に入力データを伝えても構わない。
様々な処理モジュールがそれぞれのセンサから生データを受信し、そのデータを認識モジュール90で使用できる形式に加工する。この認識モジュールは、加工データに基づいてユーザを識別する、k平均クラスタリング法、サポートベクターマシン(SVM)法、隠れマルコフモデル法、および、線形回帰法のうち1以上の方法を用いてもよい。以上のように、様々なセンサによって、識別に有益な高次元のデータセットが生じるであろう。また、ユーザ識別モジュール50は入力データセットに対して特徴抽出を行うので、高次元データセットをより簡単に処理できる。主成分分析(PCA)やisomapなどの次元縮小法を認識モジュールに実装してもよい。認識モジュール90は、ユーザ識別データベース62に含まれるデータセットと加工データとを用い、様々な統計学習および/またはクラスタリング法によって、識別されるユーザを分類する。そして、認識モジュール90は、保持/つかみ、軌跡、またはファーストタッチなどの特徴データが、様々なセンサから受信した入力データに最も類似するユーザを決定する。また、信頼スコアもユーザ識別に関連付けられてもよい。さらに、認識モジュール90は、ユーザ識別データベース62内で最も適合したn個の一覧を生成してもよい。加えて、後述するとおり、認識モジュール90はユーザ識別を生成しても構わない。
認識モジュール90は、パラメータとして、データセットおよびデータタイプをとってもよい。データタイプに基づいて、認識モジュール90が、どの学習またはクラスタリング技術を使用し、かつ、ユーザ識別データベース62内のどのデータタイプにアクセスするかを選択しても構わない。
図6は、リモコンをつかんでいるユーザの例を示している。ユーザの手に握られると、タッチアレイ102および104の各素子のいくつかが作動する(ユーザの手が触れる部分に近接する素子)。この保持パターンから、ユーザを識別する基準がいくらかできる。もちろん、リモートコントロールユニット12を持ち上げるたびに、全く同じように保持するユーザはいないであろう。したがって、各ユーザのタッチアレイ観測データは使うたびに、時々刻々と変化すると予測できる。このように、現在好ましい実施形態では、ユーザ識別、手の大きさおよび保持位置情報に保持パターン観測データを変換する、モデルに基づいたパターン分類システムを使用する。以上のように、ユーザの手のひらおよび指が結果的に容量センサ102および104に圧力をかけることになる。容量センサは信号を生データの形式でタッチセンサ処理モジュール80(図5)にまとめて送信する。これらの観測信号は、どのセンサがユーザの手とリモートコントロール12との現在の接触点であるのかを表す。タッチセンサ処理モジュール80は認識モジュール90が使用可能な形式に生データを変換してもよい。例えば、要素が様々なセンサを表すベクトルまたはマトリックスでそのデータを構成しても構わない。変換されたデータを用いてユーザ識別データベース64で適合するものを見つけることができる。
あるいは、タッチセンサ処理モジュール80は生データから追加データを推定してもよい。例えば、どちらの手(左または右)がリモコンをつかんでいるのかを認識できる。また、手のひらは隙間がなくて、指は指の間に隙間があるという事実のため、どのセンサが手のひらで作動したか、どのセンサが指で作動するかも認識できる。どちらの手がリモコンをつかんでいるかと、指および手のひらの位置とに基づいて、タッチセンサ処理モジュール80は手の予測サイズを推定してもよい。追加特徴データを、保持パターンなど最初のつかみから推定してもよい。例えば、あるユーザは指を3本使ってリモコンの側面をつかむ一方、他のユーザは4本の指を使って保持する可能性がある。また、各センサに加えられる圧力に関する情報も含まれていてもよい。推定特徴データの集合を用いてユーザ識別データベース64で合致するものを見つける。
図7を参照すると、つかみ/保持位置に基づいてユーザを識別する技術の例をここで詳述する。ステップS110において、作動したタッチセンサに対応する生データをタッチセンサ処理モジュール80が受信する。タッチセンサ処理モジュール80は、リモコンが左手または右手でつかまれたかどうかをステップS112で決定する。ステップS114において、タッチ処理モジュール70は、データを手のひらデータと指データとに分離することによってつかみ/保持位置に関連する特徴を抜き出す。ステップS116において、タッチ処理モジュール70は手のひら合わせパターンを決定する。タッチセンサから受信した信号に基づいて、より高圧な位置および圧力などの情報を推定してもよい。さらに、作動したセンサ数を用いて手のひら合わせパターンの幅を抽出してもよい。ステップS118において、タッチ処理モジュール70は、タッチ処理モジュール70が把握している手のひら位置に基づいて、センサに触れていない手のひら部分の手の位置を予測可能である。学習モデルまたは周知の生理学的モデルを用いて手の位置を予測してもよい。ステップS116およびS118に基づき、ユーザの手の大きさはS120で算出することができる。
ステップS122において、指合わせパターンを算出する。手のひら合わせパターンと同様に、受信したタッチセンサデータから圧力および圧力位置を決定しても構わない。このデータから、タッチ処理モジュール80は、リモコンをつかむのに用いた指の数および指の間の間隔を決定できる。指合わせパターンをステップS118およびS116の結果と組み合わせることによって手の手のひら部分を予測し、保持パターンを決定してもよい。手の大きさデータとともにこのデータを認識モジュール90に伝達し、このデータを用いてステップS126でユーザ識別データベースのユーザと適合させる。ユーザマッチングには多くの異なる方法を用いてもよいと想定される。例えば、加工データおよびユーザ識別データにk平均クラスタリングを行っても構わない。また、他のデータマイニング技術や統計学習技術を用いてユーザ識別を決定しても構わない。さらに、識別情報または最も適合したn人のユーザ候補一覧に信頼スコアを加えてもよい。信頼スコアを使用するイベント時に、システムは、ユーザを識別するため、信頼スコアが所定の閾値を超える必要があるとしても構わない。最も適合したn個の一覧が生成されるイベント時に、他の識別技術を用いてこの一覧の数を減らしてもよい。
その他の実施形態において、ユーザを識別する方法は、リモコンが静止位置に到達してしまうまで開始しなくてもよい。このように、ユーザは、リモートコントロール12をつかみ、リモートコントロール12を持ち上げ、そして、リモートコントロール12の保持位置に到達する。例えば、加速度または速度が所定の閾値より低いなど、リモートコントロール12が安定位置に到達したと慣性センサが示した時点で、ユーザ識別処理は開始する。この実施形態では、例えば、リモコンがユーザの後ろや2つのカウチクッションにはさまれていれば、ユーザは別のつかみ方でリモコンをつかむなど、つかみパターンはリモートコントロールやユーザの位置に等しく依存する可能性があるので、リモコンを最初につかむ際の変動は完全に無視する。
ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として保持/つかみパターンマッチングを用いてもよい。事前研究によって、小さなユーザグループ(5人のユーザまたは家族サイズ)では、保持/つかみパターンのユーザ識別は約87.5%の精度となることが分かっている。このように、基本システムのアプリケーションおよびスケールにもよるが、87.5%は十分な識別精度であろう。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、手/つかみパターンマッチングを多数のマッチング技術のうちの1つとして用いてもかまわない。
図8は、ユーザを識別するために用いられるユーザ軌跡の例を示している。例示目的のため、2人のユーザ134Aおよび134Bに対応する2つの軌跡136Aおよび136Bを図示する。位置130では、リモートコントロール12がコーヒーテーブル138上で静止した状態で描かれている。位置132Aでは、リモートコントロール12が、ユーザ134Aによってつかまれた後、軌跡136Aに沿って位置132Aまで移動する。位置132Bでは、リモートコントロール12は、ユーザ134Bによってつかまれた後、軌跡136Bに沿って位置132Bまで移動する。このように、リモートコントロール12の軌跡に基づいて2人のユーザを区別することができる。開示内容から明らかなように、リモートコントロール12は、タッチセンサの作動に基づき、ユーザにつかまれたとき、および、静止状態であるときが把握できる。先に述べたように、リモートコントロール12は1以上の加速度計および/または1以上のジャイロスコープを備えていても構わない。当然のことながら、様々なタイプのジャイロスコープや様々なタイプの加速度計など、どのタイプの慣性センサを用いてもよい。
図9は、軌跡データを用いてユーザを識別する方法の例を示している。ステップS140では、運動処理モジュール82がジャイロスコープおよび加速度計からのセンサ入力を受信する。ステップ148では、運動処理モジュール82が開始位置を決定しなければならない。運動処理モジュール82はステップ146および/または142および144を実行して開始位置を決定してもよい。静止状態および保持位置はそれぞれ、軌跡の開始位置および終了位置である。軌跡が信頼性高く適合するためには、実際の開始位置を決定することが有益であろう。例えば、同じユーザが、コーヒーテーブルではなく床からリモコンを持ち上げている場合は、異なる軌跡をたどるであろう。このように、リモートコントロール12は開始位置を予測する技術を1以上実装してもよい。まず、リモートコントロール12は、リモコンが静止位置に置かれた跡を維持してもよい。ゆえに、ユーザがタッチセンサから離れた場合は、センサからの慣性データを用いて静止位置を決定しても構わない。このタイプの決定を有効にするためには、加速度計およびジャイロスコープが運動センサ処理モジュール72に加速度および速度を絶え間なく出力し続けなければならない。運動処理モジュール72は、前回の静止位置といった最新の既知の位置とデッドレコニングとを用いて位置を決定する。デッドレコニングを有効にするため、運動処理部82は、加速度および速度ベクトルに基づいて、位置を算出することを目的にタイミングデータも受信する。ユーザがタッチセンサから離れた時点で、運動処理モジュール82は最新の位置として新たな静止位置を格納する。最新の既知の位置が記録されると、その後、運動処理モジュール82は、ユーザがリモートコントロール12をつかむとすぐに、ステップS146でその最新の既知の位置を検索する。
上述したように、軌跡処理モジュール82は、開始位置が分かるならば予測精度を向上させるであろう。根本的理由のひとつは開始位置と軌跡は互いに依存し合っているということが理解される。しかしながら、その依存性は、正確な地理的位置である必要はなく、むしろ、リモコンとの相対的な位置でもよい。例えば、遠い右端からリモコンを持ち上げるユーザは、コーヒーテーブルの中央からリモコンを持ち上げる際に同じような軌跡をとりやすい。しかしながら、その軌跡は、カウチからリモートコントロール12を持ち上げる際には異なる。ゆえに、上述したステップS148において、ピンポイント位置は必要でない。大まかな位置または位置の集まりのどちらかを開始位置として用いてもよい。軌跡処理モジュールは既知の位置のk平均クラスタリングアルゴリズムおよび予測開始位置を用いて大まかな開始位置を決定してもよい。
なお、ある実施形態では、リモートコントロール12は位置を定期的に検証するかユーザに確認する。さらに、いくつかの実施形態では、ユーザが最もありうるn個のリモコン位置候補を予めプログラムする位置登録段階があってもよい。この実施形態では、ユーザが、コーヒーテーブル、カウチ、サイドテーブル、床、娯楽施設などを入力できる。このような登録処理では、ユーザは、互いに位置を定義し合わなければならないであろう。
その他の実施形態では、運動処理モジュール82は動きそのものに基づいて位置を決定する。これらの実施形態では、運動処理モジュール82が、センサデータを受信し、S142でデッドレコニング技術を用いて基準軌跡を決定する。なお、この軌跡は、開始位置を(0、0、0)と仮定しており、さらには、開始位置を決定する基準として用いられるために、基準軌跡となる。ステップS144において、運動処理モジュール82は、最も可能性のある開始位置を決定するために、受信した軌跡を入力として用いてk平均クラスタアルゴリズムを使用してもよい。
開始位置を決定した時点で、運動処理モジュールは静止位置(開始位置)、保持位置(終了位置)、およびセンサデータを用いて軌跡を決定してもよい。モジュール処理モジュール82は、開始位置および軌跡そのものに基づいて、軌跡に対してユーザ識別データベース62内で適合するものを見つけようと試みる。両方のパラメータが重要なのは、軌跡の分類が開始位置に依存するからである。例えば、一方がコーヒーテーブルから始まった軌跡で、もう一方が床の中央から始まった軌跡であることにかかわらず、2つの同じ軌跡を運動センサ処理モジュール72に報告する可能性がある。開始位置がない場合は、2つの軌跡を区別することはかなり困難であろう。しかしながら、予測または既知の開始位置があれば、運動処理モジュール72は、これらの軌跡を、床から始まったものとコーヒーテーブルから始まったものとに区別できる。このように、例えば、背の低いユーザ(子供など)が立った位置で床からリモコンを持ち上げた、かつ、背の高いユーザ(大人など)がコーヒーテーブルからリモコンを持ち上げたと決定することができる。サポートベクターマシンおよびk平均クラスタリングなどの学習方法を用いて、算出された軌跡および開始位置に基づきユーザ識別を決定してもよいと想定される。なお、カウチやコーヒーテーブルなどの開始位置を用いて、入力軌跡と比較する軌跡セットの数を減らしてもよい。例えば、運動処理モジュール82が、コーヒーテーブルからユーザがリモートコントロール12を持ち上げた、つまり、入力軌跡はコーヒーテーブルから始まったと決定する場合、コーヒーテーブルから始まる軌跡セットのみを用いてユーザ識別を生成する。
その他の実施形態では、軌跡の開始位置を無視する。むしろ、リモートコントロールの相対的な動きを表すベクトルを用いてユーザを識別する。このように、軌跡は必ず(0、0、0)位置で始まると仮定される。
なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として軌跡マッチングを用いてもよい。システムのスケールおよび基本システムのアプリケーションにもよるが、軌跡マッチングは十分な識別精度を提供できる。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、軌跡マッチングを多数の識別技術のうちの1つとして用いてもかまわない。
タッチパッドを含むリモートコントロール12の実施形態では、さらなる識別方法を有効にする。図10は、リモートコントロール12のタッチパッド20をユーザがファーストタッチした図を表している。上述したように、リモートコントロール12を使用する際にユーザは次の3つを行う。1)リモコンをつかむ、2)リモコンを持ち上げる、3)タッチパッド20に触れる。これらのイベントにおけるデータを抽出することにより、ユーザ識別情報を能動的に入力することなく、抽出したデータからユーザを識別することが可能である。ここまでは、リモートコントロール12の持ち上げに関連した軌跡およびつかみ/保持パターンからユーザを識別する方法について述べてきた。ユーザを識別する第3の方法はユーザのファーストタッチに基づくものである。ユーザに関連付けられた保持パターンに基づき、ユーザは通常異なる手の骨関節構造を持つという事実から、ユーザはかなり特有のファーストタッチ位置を有するであろう。このように、保持位置およびタッチパッドのファーストタッチに基づいてユーザをさらに識別してもよい。
図11は、リモートコントロール12のファーストタッチに基づいてユーザを識別する方法の例を表すフローチャートである。ステップS150では、ユーザの保持位置を検出し、かつ、決定する。当該処理はこれまでに詳述してきた。ステップS152では、ユーザのファーストタッチを決定する。ユーザのファーストタッチはタッチパッド20上の(x、y)座標でもよい。保持位置/パターンおよびファーストタッチ位置に基づき、タッチパッド処理モジュール88は、ユーザの親指に関する追加情報を推定してもよい。例えば、タッチパッド処理モジュール88は、リモートコントロール12の周りで親指が保持/曲がる角度を決定する。また、親指の長さを決定してもよい。親指に関連付けられたファーストタッチデータに基づき、ユーザの親指160(図10)に対応するベクトルをステップS154で算出してもよい。親指ベクトル160は、x値、y値、xオフセットおよびyオフセットの4次元ベクトルでもよく、タッチパッドの角のうち1つを原点として用いる。このベクトルを認識モジュール90に伝達して使用し、ステップS156においてユーザ識別データベース62内で適合するものを見つける。
なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法としてファーストタッチデータを用いてもよい。システムのスケールおよび基本システムのアプリケーションにもよるが、ファーストタッチデータは十分な識別精度を提供できる。しかしながら、より繊細なログイン環境に対してはより高い精度が必要であるため、ファーストタッチデータを多数の識別技術のうちの1つとして用いてもかまわない。
図12は、リモートコントロール12のタッチパッド20上に円を描いているユーザを示している。ここまでは、ユーザを識別する、完全に受動的な手法を述べてきた。以下に、ユーザがタッチパッド20上で形、好ましくは円、を描く、ユーザを識別する半受動的な手法について述べる。図を見て分かるとおり、ユーザはタッチパッド20上で円162を描く。しかしながら、どんな形を用いてもよいと想定される。タッチパッド上でユーザに形を描かせる目的は、ユーザの動きから運動学データを抽出することである。例えば、ユーザが反時計回りの円を描く場合は、4画生じるのが典型的であろう。第1画は12時から9時、第2画が9時から6時、第3画が6時から3時、そして、最後が3時から12時である。ユーザは親指をある位置から次の位置にスライドさせても、親指をわずかに曲げても構わず、結果的には異なる弓形の軌跡になるであろう。ユーザは、小さなストロークでも大きなストロークで動かしてもよい。ユーザは、時計回りでも反時計回りにでも円を描いて構わない。さらに、タイミングデータも推定して、ユーザを識別するために用いてもよい。異なるストロークの特性の置換が大きいことは明らかである。円を描くユーザに対応する置換量により、ユーザを識別する精度はより高いものとなる。
図13は、タッチパッド20上でユーザに形を描かせることによってユーザを識別する方法の一例を説明している。ステップS170において、タッチパッド処理モジュール88は描かれた円に対応する弓形軌跡データを受信する。弓形軌跡データは、xy座標全てにタイムスタンプを加えた、3変数の形式(x、y、t)で与えられてもよい。ステップS174において、3変数セットに線形引伸しを行う。例えば、弓形軌跡データを中央値の130%まで引伸ばしてもよい。ステップS174では、引伸しされた弓形軌跡データに主成分分析(PCA)を行ってデータセットの次元数を減らしてもよい。好ましい実施形態では、分散の98%を占める主成分が選択される。しかしながら、他の分散閾値を選択してもよいと理解される。ステップS176では、削減されたデータセットをk平均クラスタリングで分類する。ここで、kはユーザ数として選択される。ステップS178では、変換された弓形軌跡データが該当するクラスタにより、マッチング中のユーザを識別する。
ある実施形態では、タイミングデータを最初は取り除き、座標データ、つまりデータの(x、y)成分、のみをステップS172からS178で用いる。これらの実施形態では、ステップS180においてタイミングデータを用い、k平均クラスタリングの結果を再びスコアリングする。再びスコアリングした時点で、S182においてユーザを識別してもよい。
なお、ユーザ識別の唯一の方法、ユーザ識別の主要な方法、または、ユーザ識別の部分的方法として形描画を用いてもよい。実際、形描画は識別精度率が通常とてもよい。しかしながら、形描画は受動的な手法ではないため、受動的な識別技術を用いた後でシステムがユーザ識別できたかどうか不確かな場合に、バックアップ方法として実装できる。システムのスケールおよび基本システムのアプリケーションにもよるが、形描画はより繊細なログイン環境を守る有益な方法であろう。
追加センサを使用してもユーザを識別できると想定される。例えば、音響センサ58を用いてユーザの心拍を検出してもよい。音響センサ58はリモートコントロールの外カバーの側面に沿って戦略的に配置され、これによりリモートコントロール全体12が音響アンテナとして機能する。ユーザが機器をしっかり保持すると、音響センサは心拍を検出し、そのデータを音響処理モジュール86に伝送する。音響処理モジュール86は、心拍の周波数および振幅を決定するように受信したデータを処理してもよい。そして、認識モジュール90が、上述した統計学習またはデータマイニング技術を1以上使用して、ユーザの心拍特徴に基づきユーザ識別データベース62内で適合するユーザが存在するかどうかを決定する。他のタイプのセンサを用いてユーザの心拍または関連統計量を監視してもよいと想定される。例えば、パルス酸素濃度計を用いて患者のパルスまたは血液酸素レベルを測定してもよい。さらに、超高感度加速度計を用いてユーザのパルスによって生じる振動を検出してもよい。そして、インパルス応答システムをさらに用いてもよい。インパルス応答システムは、基本的に、スピーカーとマイクロフォンから構成されている。マイクロフォンはユーザの手に響きわたる高周波音波を発する。音波は屈折されてマイクロフォンに戻り、そこでセンサは音波の増大量を判別できる。また、インパルス応答センサを用いてユーザのパルスを測定してもよい。
その他の追加センサは光学センサ56である。光学センサ56を設置するのはリモートコントロール上でもホスト装置でも構わない。光学センサ56を用いてユーザの画像データを受信することができる。画像処理モジュール86は、ユーザを識別するために、ユーザに対して顔認識または胴体認識を行ってもよい。さらに他のセンサは、リモートコントロール12の外カバーに設置された熱センサである。熱センサを用いてユーザの体温を決定してもよい。通常、体温だけに基づいた識別では不確実である。しかしながら、より細かな分類によってユーザ属性データセットが多くなるようにデータセットの次元数が増える場合、体温データは有益であろう。
ユーザ識別の各方法について開示してきた。全ての方法は、ユーザが、ユーザ名、パスコード、または、その他の固有識別子を記憶し、入力する必要がないので、受動的または半受動的なものである。これらの技術は、むしろ、潜在意識的なタスクを行う際のユーザの自然運動傾向に依存する。その他の実施形態では、ユーザ識別の精度を向上させるために上述した技術を2つ以上組み合わせて用いる。先に述べたように、各技術は、識別情報に関連付けられた信頼スコアを有していてもよい。さらに、最も適合したn個の一覧を識別技術ごとに生成してもよい。信頼スコアか、多数のユーザ識別結果に最も適合するn個かのどちらかに基づき、より正確なユーザ識別が実現できる。サンプルサイズとして5人のユーザを挙げると、つかみ/保持識別方法では87.5%の精度という結果になり、加速度計のみに基づいた軌跡識別では77.5%の精度、ジャイロスコープのみに基づいた軌跡識別では65%の精度という結果であった。しかしながら、3つの受動的な識別方法を組み合わせると、精度は90%という結果になる。なお、円描画に基づく識別は97.5%の認証精度であった。
図14から分かるように、n個の様々なユーザ識別190a〜190nが存在し、それぞれに信頼スコア192a〜192nがある。複合識別モジュール194は、ロバスト性がより高いユーザ識別にするために、各ユーザ識別を組み合わせることができる。さらに、最も適合するn個の一覧を各方法において生成し、一覧の各エントリがそれ自身の信頼スコアを有する。ユーザごとに、各信頼スコアの重み平均は複合識別モジュール194によって算出される。複合識別モジュール194は、最も高い重み平均を有するユーザに基づきユーザ識別196を決定してもよい。様々な識別方法の組み合わせに基づいてユーザを決定するその他の方法も使用してよいことが想定される。
データ処理について全体的に言及してきた。図15は、センサデータを処理する方法の一例を示している。先に述べたように、様々なセンサが入力データ200a〜200nを提供する。提供されたデータを、例えば、タッチセンサ、慣性センサ、タッチパッド、音響センサなど様々なセンサから受信してもよい。あるいは、多数のタッチセンサや大量の慣性データなど大量のデータを生成する1タイプのセンサからデータを受信してもよい。どちらの場合も、データセットは膨大であろう。このように、まず、入力データ200a〜200nに、特徴抽出202を行う。次元数を減らす様々な技術を用いてもよい。例えば、データセットに主成分分析または線形判別分析を行っても構わない。データセットを表すが、低次元である特徴ベクトル204を生成し、分割モジュール208に伝達する。
分割モジュール208は、特徴ベクトル204の一部を異なる状態を表すセグメントに分離する。例えば、図8にあげられているリモートコントロールの例では、まず、リモートコントロールはテーブルトップで静止状態にあった。次に、リモートコントロールはつかまれるが、テーブル上またはテーブル近くのままである。そして、リモートコントロールは持ち上げる段階において急加速する。その後、リモートコントロールは保持位置に達する。保持位置では、リモートコントロールに速度および加速度が生じ得ると考えられるが最初の持ち上げの間に観測されたほどの大きさではない。最後に、リモートコントロールは、カウチやテーブルトップなどの安定した面に戻されるであろう。さらに、ユーザがリモートコントロールを落とす可能性、または、リモートコントロールを動かしてコマンドをホスト装置に送信する可能性もある。これらのセグメント全てがユーザ識別の目的に関するわけではないことは明らかである。しかしながら、慣性センサ(およびその他のセンサ全て)はデータを絶え間なく送信しても構わない。このように、データをセグメント化することによって、分析する必要のあるデータをさらに削減することは有益であろう。様々なセグメントモデル210とデータとを比較することによって、データをセグメント化する。セグメントモデルは、様々な状態を表す隠れマルコフモデルの形式でもよい。データの塊とセグメントモデル210とを比較することによって、適度な確率でデータの状態を決定することができる。そして、様々なセグメント212a〜212nのうち少なくとも1つに応じて、特徴ベクトルを分類することができる。さらに、特徴ベクトルのある部分しか関連性がない場合は、セグメント選択モジュール214において特徴ベクトルを減らして関連セグメントのみを分類してもよい。しかし、当然のことながら、特徴ベクトルを減らす必要はない。
前述のとおり、セグメント選択モジュール214は特徴データの状態を選択し、分類用の関連セグメント212a〜212nを選択してもよい。先例を再び参照すると、持ち上げる際および静止の際にリモコンの軌跡だけを選択するようにセグメント選択モジュールを構成してもよい。特徴ベクトル204、または、特徴ベクトル204の選択されたセグメントを分類器216に伝達する。分類器216は、クラスタ分析を用いてユーザ識別を決定してもよい。クラスタ分析では、選択されたセグメントをユーザモデル220a〜220nを使って分析する。ユーザモデル220a〜220nは様々なユーザの属性を表す。また、セグメント選択モジュール214は、最も関連したデータで特徴ベクトルを分類するために、選択されたセグメントを分類器224に伝達する。例えば、セグメント選択モジュール214が、特徴ベクトル204は主にリモートコントロールの持ち上げに対応する軌跡データであると決定すると、ユーザモデルにアクセスする際に、分類器は、軌跡データに対応するユーザモデル220a〜220nのセグメントの検索のみを行う。なぜなら、ユーザモデルはあらかじめ分類されており、分類器に必要なことはクラスタを決定することのみ、つまり、特徴ベクトルまたは特徴ベクトルの選択されたセグメントがどのユーザモデル220a〜220nに属するかを決定するのみだからである。前述したように、分類器224は、k平均クラスタリングなどのクラスタリングアルゴリズムを実行して特徴ベクトルが最も属するクラスタを決定してもよい。決定されたクラスタは、ユーザの識別に一致するであろう。このように、ユーザ識別222がシステムによってなされてもよい。
開示内容から明らかなように、様々な識別方法は全て、サポートベクトルマシン、k平均クラスタリング、隠れマルコフモデルなど、マッチング、学習または分類方法の少なくとも1つに依存している。このように、ユーザ識別データベース62にはこのデータベースの様々なデータタイプが実際に存在すると仮定してきた。つかみ/保持データ、軌跡データ、ファーストタッチデータ、弓形軌跡データ、および心拍データなどのデータセットは、教師なしまたは教師あり学習技術を用いて収集してもよい。
様々なデータセットを収集する第1の方法は、トレーニングセッションを実装することによってである。各ユーザは、ホスト装置などのシステムに登録してもよい。登録中のユーザは、リモートコントロールをつかむ、リモートコントロールを持ち上げる、または、リモートコントロールのタッチパッド上に円を描くなどの様々なタスクを繰り返し行っているか確認される。収集されたトレーニングデータを用いて、識別を目的としてユーザの傾向を定義する。システムが動作モードである場合、識別が成功するたびに、識別用に使用された入力データをトレーニングデータに追加してもよい。さらに、ユーザは正しいユーザ識別を検証し、かつ、不正な識別を訂正して、システムのロバスト性を向上することができる。
様々なデータセットを収集する第2の方法は、リモートコントロールを使ううちにユーザを区別するようになる教師なし学習プロセスを実装することによってである。例として、デジタルビデオレコーダ(DVR)を所有する家族をとりあげる。お父さんの手は大きく、3本の指を使ってリモートコントロールをつかむ。奥さんの手は小さく、4本の指でリモコンをつかむ。子供の手は小さく、3本の指でリモートコントロールをつかむ。さらに、お父さんはスポーツ関連の番組とリアリティーテレビ番組を録画する。お母さんはホームコメディと警察ドラマを録画する。子供はアニメと動物番組を録画する。初期のうちに、システムは、手の大きさと保持パターンの違いに基づいて3人のユーザを区別する。また、その初期の間に、識別システムも、大きな手で3本指を使ってつかむユーザはスポーツおよびリアリティテレビ番組に関連付けられることを学習する。そして、当該システムは、ユーザの好みまたはプロファイルを推定保持パターンデータに対応付けできる。このように、ユーザは、リモートコントロールをつかむことで、リモコンの最初の持ち上げおよび過去の利用にのみ基づき、そのユーザの好みを容易に設定させてもよい。この方法を用いても、システムのトレーニングにユーザが実際に携わることは決してないが、時間がたつにつれて、ユーザ識別は実現されるであろう。
図16は、ユーザを識別し、かつ、ユーザ識別データベースをトレーニングするために用いられる方法を示している。なお、図16には、図15における構成要素の大部分が存在する。主な違いは、図16にはジェネリックモデルデータベース224が含まれていることである。バックグラウンドモデルデータベースは前もってプログラムされたユーザテンプレートを含むので、ユーザモデルと平行して分析するために当該システムはバックグラウンドモデルを有する。ユーザが初めてシステムを利用する(つまり、リモートコントロールを初めて利用する)場合、ユーザモデル220a〜220nは存在しないであろう。学習モジュールは、このことを認識し、かつ、新たなユーザを自動的に登録してもよい。入力データは図15で示されたように処理されて、全ての関連セグメントおよび対応する属性が新たなユーザモデルに格納される。ユーザが2度目にリモコンを持ち上げた場合、システムは、ユーザ入力データを受信し、次元数を減らし、データの関連セグメントを選択し、そして、ユーザモデルおよびバックグラウンドモデルに対して選択されたセグメントを実行する。ユーザ識別モジュールは、おそらくユーザをそのユーザとして識別するであろう。この識別は、ユーザ識別の信頼性を示す、対応する確率を有するであろう。この確率が所定の閾値を超えなければ、ユーザ識別モジュールは、ユーザが新たなユーザであると見なし、新たなユーザモデルの属性として入力データを用いてそのユーザ用の新たなユーザモデルを作成する。対応する確率、つまり、信頼スコアが閾値を超えた場合には、ユーザ識別モジュールはユーザを識別して、入力特徴をユーザのユーザモデルに付け加える。以上のように、ユーザがリモコンを持ち上げユーザの識別が成功するにつれて、そのユーザに関連付けられたユーザモデルは内容が充実してゆく。このように、典型的なユーザの識別に関連付けられた信頼スコアも増加するであろう。
ここで、図16をより詳細に説明する。図15および16の双方にある構成要素には同じ番号が付されている。図15と同様に、入力データ200a〜200nを受信して特徴抽出202を行う。その結果が特徴ベクトル204であり、データのセグメンテーションを決定するモデルとしてセグメントモデル210を用いて、分割モジュール208がその特徴ベクトルをセグメント化する。その後、特徴ベクトル204はセグメントに分解される。セグメント選択モジュール214は関連セグメントを選択し、その関連セグメントを分類器224に伝送する。この分類器224の動作は、図15の分類器216とわずかに異なる。分類器224は、ユーザモデル220a〜220nに加えてバックグラウンドモデル226a〜226nを受信する。そして、分類器はクラスタリングアルゴリズムを用いてユーザ識別を決定する。ユーザ識別はそれに関連付けられた確率を有するであろう。ユーザ識別の確率が閾値を超えた場合には、分類器224がユーザ識別を生成する222。確率が閾値を超えない場合、または、識別されたユーザがバックグラウンドの変数である場合、分類器はモデル生成モジュール230にデータをわたし、そのモデル生成モジュールが関連する属性に基づいて新たなモデルを生成する。この新たなモデル232はユーザモデルデータベース218に伝送される。
例示のみを目的として、図17に、第1ユーザは黒点で第2ユーザは円で表された、ユーザ識別データの2つの仮想セット230および232を示す。トレーニング段階の間にデータセットを収集し、このトレーニングデータに基づいてユーザを後で識別しても構わない。星印234はユーザ識別の試みを表している。図に示すように、星印234は第1ユーザのデータセット230に明らかに当てはまる。このように、システムは、識別の試みが最も近いクラスタに基づいて、識別対象のユーザが第1ユーザであることを高い確率で予測可能である。当然のことながら、認証イベントで用いられる生体的な特徴が多ければ多いほど、識別に用いるデータセットの次元数は増える。高次元のデータセットを識別に用いる場合は、データのクラスタ間においてより多く分離することを実現するであろう。
リモートコントロール12について言及してきたが、当然のことながら、上述したセンサおよび上述した識別方法は、携帯電話、ポータブル電話、mp3プレーヤ、ポータブルDVDプレーヤ、PDA、およびコンピュータマウスなど様々な携帯型機器に用いられるであろう。例えば、携帯電話またはポータブル電話では、上記の技術のいずれかを用いて、第1ユーザまたは複数のユーザが電話を使用していることをその電話が判断してもよい。これに基づき、電話帳、保存されたテキストメッセージ、保存された電子メール、音量設定、画面設定、壁紙、および写真のような保存されたファイルなどの個別設定をユーザが利用可能になるだろう。同様に、MP3プレーヤなどの機器では、識別後に、ユーザは第1ユーザの音楽ライブラリへ容易にアクセスできる。PDAでは、ユーザがPDAをつかんで識別された場合のみ、第1ユーザの個人的なスケジュールおよび連絡先がそのユーザに利用可能になる。
コンピュータマウスまたはラップトップマウスパッドでは、上記に開示してきた方法を用いて、ユーザを識別かつ認証してもよい。そして、ユーザは自身のユーザプロファイルへ自動的にログインされてもよい。さらに、ユーザがコンピュータをそのままにしておいても、他のユーザがマウスまたはマウスパッドに触れるとすぐに、その機器はユーザが変わったと判断できるであろう。この時点で、第2ユーザを、明示的なオーバーライド指示が第1ユーザから与えられるまで、第1ユーザのプロファイルからロックアウトすることが可能である。
当然のことながら、開示された方法および装置によって、今まで個人機器と考えられていた機器に通常伴うプライバシーまたは親近感を危険にさらす必要なしに、これらの機器を共有できるようになるであろう。
本明細書において、モジュールという用語は、特定用途向け集積回路(ASIC)、電子回路、ソフトウェアまたはファームウェアプログラムを1以上実行する(共有、専用、またはグループ)プロセッサおよび/または(共有、専用、またはグループ)メモリ、組み合わせ論理回路、および/または、説明した機能性を提供するその他の適切なコンポーネントを部分的に指してもまたは含んでも構わない。ソフトウェアまたはファームウェアプログラムについて説明する際は、モジュールという用語は、電子メモリ上に常駐しているマシン読み取り可能な命令を指していてもよいと理解されるべきである。
前述の実施形態に関する記述は、図示および説明を目的としてなされている。包括的または本発明を限定する意図はない。特定の実施形態における各要素または特徴は、その特定の実施形態に全体として限定されるものではないが、適切な場合には、たとえ特に図示または説明していなくとも、互いに交換可能であり、かつ、選択した実施形態において利用可能である。同様に、いろいろ変化しても構わない。このような変形例は本発明から逸脱したものとは見なされず、全てのこのような改良は本発明の範囲内であると意図される。本明細書に記述した方法ステップ、プロセスおよび動作は、実行順序として特に明記されていない場合、論述または図示した特定の順序で必ず実行しなければならないと解釈されるものではない。また、追加または代わりのステップを用いてもよいと理解されるべきである。
Claims (46)
- 携帯型電子機器であって、
筐体と、
前記筐体の周縁に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との複数の接触点を示す観測信号を生成するタッチセンサシステムと、
前記タッチセンサシステムから前記観測信号を受信して、ユーザの保持パターンを決定するタッチセンサ処理モジュールと、
前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、
前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールと、
前記筐体の外面に沿って設置され、前記タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、
前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールと、
複数の既知のユーザの保持パターンと前記複数の既知のユーザの機器の動きに対する軌跡と前記複数の既知のユーザのユーザ指動きデータとを含む属性であって、ユーザの識別に用いられる前記複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースと、
前記ユーザの識別情報を受信して、前記ユーザの保持パターンと前記機器の動きに対する前記ユーザの軌跡と前記ユーザの指動きデータとを含む前記識別情報および前記複数の既知のユーザの属性に基づき前記ユーザを識別するユーザ識別モジュールとを備える
携帯型電子機器。 - 前記タッチセンサシステムは、さらに、前記筐体の外面に沿って、一体化され、かつ、互いに空間的に分離された容量センサの配列として定義される
請求項1記載の携帯型機器。 - 前記慣性センサは加速度計である
請求項1記載の携帯型機器。 - 前記慣性センサはジャイロスコープである
請求項1記載の携帯型機器。 - 前記ユーザ識別モジュールは、機械学習を実装してユーザを識別する
請求項1記載の携帯型機器。 - 前記ユーザ識別モジュールは、k平均クラスタリングアルゴリズムを用いてユーザ識別を決定する
請求項5記載の携帯型機器。 - 前記ユーザ識別モジュールは、複数の予備ユーザ識別を決定し、前記各予備ユーザ識別は、前記属性のいずれか1つに基づく
請求項1記載の携帯型機器。 - 前記予備ユーザ識別は、それぞれ対応する信頼スコアを有し、前記信頼スコアは、予備ユーザ識別が正しい確率を示す
請求項7記載の携帯型機器。 - 前記ユーザ識別モジュールは、複数のユーザ識別を決定し、前記各予備ユーザ識別は、ユーザ候補の一覧を有し、前記ユーザ候補の一覧の各エントリは、ユーザ候補が実際のユーザである確率を示す信頼スコアを有する
請求項1記載の携帯型機器。 - 前記軌跡モジュールは、前記機器の開始位置を決定し、かつ、前記ユーザ識別モジュールがさらに、前記ユーザ機器の開始位置に基づいてユーザ識別を行う
請求項1記載の携帯型機器。 - 携帯型電子機器であって、
筐体と、
前記筐体の外面に沿って配置され、ユーザの手と前記機器との複数の同時接触点に反応して、前記ユーザの手と前記機器との前記複数の接触点を示す観測信号を生成するセンサシステムと、
ユーザの識別に用いられる複数の既知のユーザの属性に対応するデータを格納するユーザ識別データベースと、
前記センサシステムから前記観測信号を受信して、前記観測信号および前記複数のユーザの属性から前記ユーザを識別するユーザ識別モジュールとを備える
携帯型電子機器。 - 前記センサシステムはさらに、前記筐体の外面に沿って、一体化され、かつ、互いに空間的に分離されたセンサの配列として定義される
請求項11記載の携帯型機器。 - 前記センサシステムは、前記筐体の外面に組み込まれた容量センサの配列から成る
請求項11記載の携帯型機器。 - 前記ユーザ識別モジュールは、生データの形式で前記観測信号を受信して、前記生データからユーザの手の予測サイズを抽出する
請求項11記載の携帯型機器。 - 前記ユーザ識別モジュールは、生データの形式で前記観測信号を受信して、前記生データからユーザの予測保持パターンを推定する
請求項11記載の携帯型機器。 - 前記観測信号は、前記ユーザの手と前記機器との各接触点における圧力量を含む
請求項15記載の携帯型機器。 - 前記センサシステムはさらに、前記筐体の外面に組み入れられた音響センサとして定義される
請求項11記載の携帯型機器。 - 前記観測信号は、前記ユーザの血流ノイズを示す
請求項17記載の携帯型機器。 - 前記観測信号は、前記ユーザの心拍音を示す
請求項17記載の携帯型機器。 - 前記観測信号は、前記ユーザの心拍音の周波数および振幅を示す請求項19記載の携帯型機器。
- 前記センサシステムは、前記ユーザの両手と前記機器との接触点に反応して、前記ユーザの手それぞれと前記機器との複数の接触点を示す観測信号を生成する
請求項11記載の携帯型機器。 - さらに、
前記筐体に組み込まれ、前記ユーザの手による前記機器の動きに反応して、慣性信号を生成する慣性センサと、
前記慣性センサから前記慣性信号を受信して、前記機器の動きに対する軌跡を決定する軌跡モジュールとを備え、前記ユーザ識別モジュールが、前記軌跡モジュールから前記軌跡を受信して、前記軌跡の一部に基づいてユーザを識別する
請求項11記載の携帯型機器。 - 前記慣性センサは加速度計である
請求項22記載の携帯型機器。 - 前記慣性センサはジャイロスコープである
請求項22記載の携帯型機器。 - 前記軌跡モジュールは、前記ユーザ機器の開始位置を決定し、かつ、前記ユーザ識別モジュールの前記開始位置を伝達する
請求項22記載の携帯型機器。 - 前記ユーザ識別モジュールはさらに、前記ユーザ機器の前記開始位置に基づいてユーザ識別を行う
請求項25記載の携帯型機器。 - さらに、
前記筐体の外面に沿って設置され、タッチパッドの外面に沿った前記ユーザの指の動きに反応して、タッチパッド信号を生成するタッチパッドと、
前記タッチパッド信号を受信して、ユーザ指動きデータを決定するタッチパッド処理モジュールとを備え、前記ユーザ識別モジュールは、前記タッチパッド処理モジュールから前記指動きデータを受信して、前記指動きデータの一部に基づいてユーザを識別する
請求項11記載の携帯型機器。 - 前記ユーザ識別モジュールは、前記指動きデータを受信して、前記タッチパッド上の所定の対象物をユーザがトレースすることの一部に基づいて前記ユーザを識別する
請求項27記載の携帯型機器。 - 前記ユーザ識別モジュールは、前記ユーザの指のいずれか1本と前記タッチパッドとの第1接触点に対応する指動きデータを受信し、第1接触点に対応する前記指動きデータを使用して前記ユーザを識別する
請求項25記載の携帯型機器。 - 前記センサシステムは、電流を有する電気信号を送信する少なくとも1つの送信部と、ユーザの体を通った前記電気信号を受信する、前記少なくとも1つの送信部に対応する複数の受信部とから成り、前記センサシステムは、前記送信部と複数の受信部それぞれとの間で観測された抵抗を示す観測信号を生成し、前記抵抗は、前記送信部から前記受信部へ観測されるような前記ユーザの体の抵抗を示す
請求項11記載の携帯型機器。 - さらに、前記送信部と前記複数の受信部それぞれとの間で前記観測信号に行われた転送機能の結果を示す第2観測信号を備える
請求項30記載の携帯型機器。 - 前記センサシステムはさらに、パルス酸素濃度計として定義される
請求項11記載の携帯型機器。 - 携帯型電子機器であって、
筐体と、
前記指の動きに対応するタッチパッド信号を生成する、ユーザの指の動きに反応するタッチパッドと、
前記タッチパッド信号を受信して、前記タッチパッド信号に基づいて指動きデータを生成するタッチパッド処理モジュールと、
所定の対象物を描くユーザの指の動きを含む複数の既知のユーザの身体的属性に対応するユーザ識別データを格納するユーザ識別データベースと、
ユーザの描く所定の形である前記ユーザの指動きデータを受信して、前記指動きデータおよび前記ユーザ識別データに基づき前記ユーザを識別するユーザ識別モジュールとを備える携帯型電子機器。 - 前記所定の対象物は円である
請求項33記載の携帯型電子機器。 - 前記タッチパッド処理モジュールは、前記円を描いた結果として生じる弓形の指の運動を少なくとも3つ識別する
請求項34記載の携帯型電子機器。 - 前記弓形の指の運動それぞれは、前記指の運動の長さと前記指の運動の期間と前記指の運動の方向とを示す、前記弓形の指の運動に関連付けられたベクトルを有する
請求項35記載の携帯型電子機器。 - 前記所定の対象物は、星、四角、三角、線および円弧のいずれか1つである
請求項33記載の携帯型機器。 - さらに、線形引伸しを前記指動きデータに行う線形引伸しモジュールを備える
請求項33記載の携帯型機器。 - さらに、前記線形引伸しされた指動きデータに次元縮小を行う次元縮小モジュールを備える
請求項38記載の携帯型機器。 - 前記識別モジュールは、前記ユーザ識別データベースに格納された前記指動きデータおよび前記身体的属性を用いてクラスタリングアルゴリズムを実行する
請求項33記載の携帯型機器。 - ユーザ識別はさらに、前記指運動データに対応するタイミングに基づいており、前記タイミングは前記指運動データの時空間特性を定義する
請求項33記載の携帯型機器。 - 前記携帯型機器は、リモートコントロール、携帯電話、ラップトップ型コンピュータ、mp3プレーヤ、PDAおよびポータブル電話のいずれかである
請求項33記載の携帯型機器。 - 前記識別モジュールは、前記ユーザに前記所定の対象物を描くよう促すユーザプロンプトを生成する
請求項33記載の携帯型機器。 - 携帯型機器であって、
筐体と、
ユーザの機器操作に付随して起こるセンサ入力を受信し、かつ、当該複数のセンサへの前記入力に基づいてユーザ識別データを生成する複数のセンサと、
既知のユーザに対応し、かつ、渡された既知のユーザのセンサ入力に基づきモデル識別データをそれぞれが有する複数のユーザモデルを格納するユーザ識別データベースと、
センサ入力を模倣する所定のバックグラウンド識別データをそれぞれが有する複数のバックグラウンドモデルを格納するバックグラウンドモデルデータベースと、
前記ユーザ識別データと前記複数のユーザモデルと前記複数のバックグラウンド変数とを用いてクラスタリングを行うユーザ識別モジュールと、
生成されたユーザモデルのモデル識別データが、前記ユーザ識別データから導出される、ユーザモデルを生成するユーザモデル生成モジュールと、
前記複数のユーザモデルのいずれか1つで前記ユーザ識別データをクラスタ化する場合に、ユーザを識別するユーザ識別モジュールと、
前記複数のユーザモデルのいずれか1つで前記ユーザ識別データをクラスタ化しない場合に、前記複数のユーザモデルのうち生成されたユーザモデルを前記ユーザ識別データベースに格納する手段とを備える
携帯型機器。 - さらに、前記ユーザ識別データを受信して、前記機器と前記ユーザの機器操作との関係を表す機器状態であって、起こり得る異なる機器状態をそれぞれが示す複数の分類モデルに基づき少なくとも1つの機器状態を分類する分割モジュールを備える
請求項44記載の携帯型機器。 - 前記複数のセンサは、絶え間なくセンサ入力の受信を試み、かつ、前記ユーザ識別モジュールは、前記ユーザ識別データに基づき絶え間なくユーザ識別を試みる
請求項44記載の携帯型機器。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US4657808P | 2008-04-21 | 2008-04-21 | |
US61/046,578 | 2008-04-21 | ||
PCT/US2009/041227 WO2009131987A2 (en) | 2008-04-21 | 2009-04-21 | Method and system of identifying a user of a handheld device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011523730A true JP2011523730A (ja) | 2011-08-18 |
Family
ID=41200729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011506389A Pending JP2011523730A (ja) | 2008-04-21 | 2009-04-21 | 手持ち式機器のユーザを識別する方法およびシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US8031175B2 (ja) |
EP (1) | EP2255270A2 (ja) |
JP (1) | JP2011523730A (ja) |
CN (1) | CN102016765A (ja) |
WO (1) | WO2009131987A2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012141868A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP2013132719A (ja) * | 2011-12-27 | 2013-07-08 | Advanced Telecommunication Research Institute International | 同定装置、同定方法および同定プログラム |
JP2013535924A (ja) * | 2010-08-05 | 2013-09-12 | クアルコム,インコーポレイテッド | 宛先デバイスにユーザ存在確率を利用した通信管理 |
JP2014002655A (ja) * | 2012-06-20 | 2014-01-09 | Ntt Docomo Inc | 認識装置、認識方法及び認識システム |
JP2014033297A (ja) * | 2012-08-02 | 2014-02-20 | Nec Saitama Ltd | 携帯電話機、制御方法及びプログラム |
US8750852B2 (en) | 2011-10-27 | 2014-06-10 | Qualcomm Incorporated | Controlling access to a mobile device |
JP2015049711A (ja) * | 2013-09-02 | 2015-03-16 | 富士通株式会社 | 操作解析装置、操作解析方法及び操作解析プログラム |
JP2016105231A (ja) * | 2014-12-01 | 2016-06-09 | 株式会社Nttドコモ | 個人認証装置及び個人認証方法 |
JP2017049868A (ja) * | 2015-09-03 | 2017-03-09 | 株式会社東芝 | ウェアラブル端末、方法及びシステム |
KR101774391B1 (ko) * | 2016-07-26 | 2017-09-05 | (주)다울디엔에스 | 자이로 센서를 활용한 모션 효과 인코딩 방법 |
JP2020140727A (ja) * | 2016-10-28 | 2020-09-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、制御方法、プログラム、及び記憶媒体 |
JP2020536616A (ja) * | 2017-10-13 | 2020-12-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | パーソナルケア装置のユーザを特徴付ける方法及びシステム |
Families Citing this family (135)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8018440B2 (en) | 2005-12-30 | 2011-09-13 | Microsoft Corporation | Unintentional touch rejection |
US10203873B2 (en) | 2007-09-19 | 2019-02-12 | Apple Inc. | Systems and methods for adaptively presenting a keyboard on a touch-sensitive display |
US9110590B2 (en) | 2007-09-19 | 2015-08-18 | Typesoft Technologies, Inc. | Dynamically located onscreen keyboard |
US9489086B1 (en) | 2013-04-29 | 2016-11-08 | Apple Inc. | Finger hover detection for improved typing |
US9454270B2 (en) | 2008-09-19 | 2016-09-27 | Apple Inc. | Systems and methods for detecting a press on a touch-sensitive surface |
US10126942B2 (en) | 2007-09-19 | 2018-11-13 | Apple Inc. | Systems and methods for detecting a press on a touch-sensitive surface |
US8823645B2 (en) | 2010-12-28 | 2014-09-02 | Panasonic Corporation | Apparatus for remotely controlling another apparatus and having self-orientating capability |
KR20100039017A (ko) * | 2008-10-07 | 2010-04-15 | 한국전자통신연구원 | 메뉴 마크업 언어를 이용한 원격 제어 장치 |
US8495065B2 (en) | 2009-02-02 | 2013-07-23 | Waldeck Technology, Llc | Maintaining a historical record of anonymized user profile data by location for users in a mobile environment |
JP2010272077A (ja) * | 2009-05-25 | 2010-12-02 | Toshiba Corp | 情報再生方法及び情報再生装置 |
US20110019105A1 (en) * | 2009-07-27 | 2011-01-27 | Echostar Technologies L.L.C. | Verification of symbols received through a touchpad of a remote control device in an electronic system to allow access to system functions |
US8535133B2 (en) * | 2009-11-16 | 2013-09-17 | Broadcom Corporation | Video game with controller sensing player inappropriate activity |
US8754746B2 (en) * | 2009-11-16 | 2014-06-17 | Broadcom Corporation | Hand-held gaming device that identifies user based upon input from touch sensitive panel |
US20110148762A1 (en) * | 2009-12-22 | 2011-06-23 | Universal Electronics Inc. | System and method for multi-mode command input |
JP5370144B2 (ja) * | 2009-12-28 | 2013-12-18 | ソニー株式会社 | 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム |
US9247286B2 (en) | 2009-12-31 | 2016-01-26 | Broadcom Corporation | Frame formatting supporting mixed two and three dimensional video data communication |
US8823782B2 (en) * | 2009-12-31 | 2014-09-02 | Broadcom Corporation | Remote control with integrated position, viewer identification and optical and audio test |
US8964013B2 (en) * | 2009-12-31 | 2015-02-24 | Broadcom Corporation | Display with elastic light manipulator |
US8854531B2 (en) | 2009-12-31 | 2014-10-07 | Broadcom Corporation | Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display |
US8432368B2 (en) * | 2010-01-06 | 2013-04-30 | Qualcomm Incorporated | User interface methods and systems for providing force-sensitive input |
US20120066303A1 (en) * | 2010-03-03 | 2012-03-15 | Waldeck Technology, Llc | Synchronized group location updates |
KR20110105625A (ko) * | 2010-03-19 | 2011-09-27 | 삼성전자주식회사 | 휴대 단말기의 향기 분사 방법 및 이를 지원하는 휴대 단말기 |
JP5445285B2 (ja) * | 2010-04-01 | 2014-03-19 | 船井電機株式会社 | 携帯情報表示端末 |
US9520056B2 (en) | 2010-05-11 | 2016-12-13 | Universal Electronics Inc. | System and methods for enhanced remote control functionality |
CN103282869B (zh) * | 2010-08-12 | 2017-10-13 | 谷歌公司 | 触摸屏上的手指识别 |
US20120062387A1 (en) * | 2010-09-10 | 2012-03-15 | Daniel Vik | Human interface device input filter based on motion |
DE102010041957A1 (de) * | 2010-10-04 | 2012-04-05 | Ident Technology Ag | Elektrodenkonfiguration zur Berührungsdetektion sowie Verfahren zur Detektion einer Berührung eines Handgerätes |
US20120131490A1 (en) * | 2010-11-22 | 2012-05-24 | Shao-Chieh Lin | Touch-controlled device and method for displaying a virtual keyboard on the touch-controlled device thereof |
US10949514B2 (en) | 2010-11-29 | 2021-03-16 | Biocatch Ltd. | Device, system, and method of differentiating among users based on detection of hardware components |
US20240080339A1 (en) * | 2010-11-29 | 2024-03-07 | Biocatch Ltd. | Device, System, and Method of Detecting Vishing Attacks |
US10776476B2 (en) | 2010-11-29 | 2020-09-15 | Biocatch Ltd. | System, device, and method of visual login |
US10949757B2 (en) | 2010-11-29 | 2021-03-16 | Biocatch Ltd. | System, device, and method of detecting user identity based on motor-control loop model |
US10747305B2 (en) | 2010-11-29 | 2020-08-18 | Biocatch Ltd. | Method, system, and device of authenticating identity of a user of an electronic device |
US10728761B2 (en) | 2010-11-29 | 2020-07-28 | Biocatch Ltd. | Method, device, and system of detecting a lie of a user who inputs data |
US11210674B2 (en) | 2010-11-29 | 2021-12-28 | Biocatch Ltd. | Method, device, and system of detecting mule accounts and accounts used for money laundering |
US10917431B2 (en) * | 2010-11-29 | 2021-02-09 | Biocatch Ltd. | System, method, and device of authenticating a user based on selfie image or selfie video |
US10586036B2 (en) | 2010-11-29 | 2020-03-10 | Biocatch Ltd. | System, device, and method of recovery and resetting of user authentication factor |
US10404729B2 (en) | 2010-11-29 | 2019-09-03 | Biocatch Ltd. | Device, method, and system of generating fraud-alerts for cyber-attacks |
US10685355B2 (en) | 2016-12-04 | 2020-06-16 | Biocatch Ltd. | Method, device, and system of detecting mule accounts and accounts used for money laundering |
US11223619B2 (en) | 2010-11-29 | 2022-01-11 | Biocatch Ltd. | Device, system, and method of user authentication based on user-specific characteristics of task performance |
US20190158535A1 (en) | 2017-11-21 | 2019-05-23 | Biocatch Ltd. | Device, System, and Method of Detecting Vishing Attacks |
US10970394B2 (en) | 2017-11-21 | 2021-04-06 | Biocatch Ltd. | System, device, and method of detecting vishing attacks |
US11269977B2 (en) | 2010-11-29 | 2022-03-08 | Biocatch Ltd. | System, apparatus, and method of collecting and processing data in electronic devices |
US10834590B2 (en) | 2010-11-29 | 2020-11-10 | Biocatch Ltd. | Method, device, and system of differentiating between a cyber-attacker and a legitimate user |
US10298614B2 (en) * | 2010-11-29 | 2019-05-21 | Biocatch Ltd. | System, device, and method of generating and managing behavioral biometric cookies |
US10069837B2 (en) | 2015-07-09 | 2018-09-04 | Biocatch Ltd. | Detection of proxy server |
US10897482B2 (en) | 2010-11-29 | 2021-01-19 | Biocatch Ltd. | Method, device, and system of back-coloring, forward-coloring, and fraud detection |
US10474815B2 (en) | 2010-11-29 | 2019-11-12 | Biocatch Ltd. | System, device, and method of detecting malicious automatic script and code injection |
US10262324B2 (en) | 2010-11-29 | 2019-04-16 | Biocatch Ltd. | System, device, and method of differentiating among users based on user-specific page navigation sequence |
US10621585B2 (en) | 2010-11-29 | 2020-04-14 | Biocatch Ltd. | Contextual mapping of web-pages, and generation of fraud-relatedness score-values |
US8836640B2 (en) | 2010-12-30 | 2014-09-16 | Screenovate Technologies Ltd. | System and method for generating a representative computerized display of a user's interactions with a touchscreen based hand held device on a gazed-at screen |
WO2012098469A2 (en) | 2011-01-20 | 2012-07-26 | Cleankeys Inc. | Systems and methods for monitoring surface sanitation |
US20120242701A1 (en) * | 2011-03-25 | 2012-09-27 | Apple Inc. | Accessory dependent display orientation |
CN102724038B (zh) * | 2011-03-30 | 2016-08-03 | 阿里巴巴集团控股有限公司 | 身份认证方法、信息采集设备及身份认证设备 |
US20120306758A1 (en) * | 2011-05-31 | 2012-12-06 | Cleankeys Inc. | System for detecting a user on a sensor-based surface |
JP5782857B2 (ja) * | 2011-06-18 | 2015-09-24 | ブラザー工業株式会社 | パラメータ入力装置及び画像形成装置 |
EP2724667B1 (en) * | 2011-06-24 | 2020-11-18 | Murata Manufacturing Co., Ltd. | Mobile apparatus with biosensors |
US9804864B1 (en) * | 2011-10-07 | 2017-10-31 | BlueStack Systems, Inc. | Method of mapping inputs and system thereof |
US9274642B2 (en) * | 2011-10-20 | 2016-03-01 | Microsoft Technology Licensing, Llc | Acceleration-based interaction for multi-pointer indirect input devices |
US9658715B2 (en) | 2011-10-20 | 2017-05-23 | Microsoft Technology Licensing, Llc | Display mapping modes for multi-pointer indirect input devices |
US20130100043A1 (en) * | 2011-10-24 | 2013-04-25 | General Electric Company | Method for determining valid touch screen inputs |
US9213482B2 (en) * | 2011-11-11 | 2015-12-15 | Elan Microelectronics Corporation | Touch control device and method |
US9389679B2 (en) | 2011-11-30 | 2016-07-12 | Microsoft Technology Licensing, Llc | Application programming interface for a multi-pointer indirect touch input device |
US20130147602A1 (en) * | 2011-12-12 | 2013-06-13 | Cisco Technology, Inc. | Determination of user based on electrical measurement |
US9519419B2 (en) * | 2012-01-17 | 2016-12-13 | Microsoft Technology Licensing, Llc | Skinnable touch device grip patterns |
US20130300668A1 (en) * | 2012-01-17 | 2013-11-14 | Microsoft Corporation | Grip-Based Device Adaptations |
TWI476702B (zh) * | 2012-03-16 | 2015-03-11 | Pixart Imaging Inc | 使用者辨識系統及辨識使用者的方法 |
US9104260B2 (en) | 2012-04-10 | 2015-08-11 | Typesoft Technologies, Inc. | Systems and methods for detecting a press on a touch-sensitive surface |
KR101890624B1 (ko) * | 2012-04-12 | 2018-08-22 | 엘지전자 주식회사 | 터치패드를 구비한 리모트 컨트롤러 및 그 제어 방법 |
TWM439217U (en) * | 2012-05-02 | 2012-10-11 | shun-fu Luo | All new ui-e1-stroke operation control device |
US20130335576A1 (en) * | 2012-06-19 | 2013-12-19 | Martin GOTSCHLICH | Dynamic adaptation of imaging parameters |
CN103546776A (zh) * | 2012-07-13 | 2014-01-29 | 珠海扬智电子科技有限公司 | 提供多媒体服务的方法、遥控装置、机顶盒以及多媒体*** |
US8964127B2 (en) * | 2012-07-27 | 2015-02-24 | TCL Research America Inc. | User-sensing remote control system and method |
JP2015532803A (ja) * | 2012-08-07 | 2015-11-12 | ウエブチユーナー・コーポレイシヨン | 視聴者識別子検出システムによるマルチメディア広告のターゲット化およびコンテンツ推薦 |
CN103917978A (zh) * | 2012-09-24 | 2014-07-09 | 华为技术有限公司 | 用户登录方法及终端 |
ITTO20120864A1 (it) * | 2012-10-04 | 2014-04-05 | St Microelectronics Srl | Procedimento e sistema per riconoscimento di forme del tatto, apparecchiatura a schermo e prodotto informatico relativi |
US9582122B2 (en) | 2012-11-12 | 2017-02-28 | Microsoft Technology Licensing, Llc | Touch-sensitive bezel techniques |
US9710080B2 (en) | 2012-11-20 | 2017-07-18 | Nec Corporation | Portable electronic device including contact sensors, and method for controlling same |
US9549323B2 (en) | 2012-12-03 | 2017-01-17 | Samsung Electronics Co., Ltd. | Method and mobile terminal for controlling screen lock |
CN102970606B (zh) * | 2012-12-04 | 2017-11-17 | 深圳Tcl新技术有限公司 | 基于身份识别的电视节目推荐方法和装置 |
CN103870041B (zh) * | 2012-12-14 | 2017-09-22 | 联想(北京)有限公司 | 终端设备及其用户识别方法 |
US9237292B2 (en) * | 2012-12-28 | 2016-01-12 | Echostar Technologies L.L.C. | Determining remote control state and user via accelerometer |
US20140210728A1 (en) * | 2013-01-25 | 2014-07-31 | Verizon Patent And Licensing Inc. | Fingerprint driven profiling |
CN104969151B (zh) * | 2013-01-31 | 2019-09-10 | 惠普发展公司,有限责任合伙企业 | 具有非有意输入阻止的触摸屏 |
US9146631B1 (en) * | 2013-02-11 | 2015-09-29 | Amazon Technologies, Inc. | Determining which hand is holding a device |
JP6117562B2 (ja) * | 2013-02-13 | 2017-04-19 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理システム |
CN103529762B (zh) * | 2013-02-22 | 2016-08-31 | Tcl集团股份有限公司 | 一种基于传感器技术的智能家居控制方法及*** |
CN103246448A (zh) * | 2013-04-03 | 2013-08-14 | 深圳Tcl新技术有限公司 | 获取用户的身份进行交互的交互方法及遥控装置 |
CN103248933A (zh) * | 2013-04-03 | 2013-08-14 | 深圳Tcl新技术有限公司 | 基于用户身份进行交互的交互方法及遥控装置 |
US20140320420A1 (en) * | 2013-04-25 | 2014-10-30 | Sony Corporation | Method and apparatus for controlling a mobile device based on touch operations |
CN103472917B (zh) * | 2013-09-06 | 2016-07-06 | 浙江大学 | 一种与加速度传感器的放置方式和位置无关的运动识别方法 |
US10289302B1 (en) | 2013-09-09 | 2019-05-14 | Apple Inc. | Virtual keyboard animation |
US20150082890A1 (en) * | 2013-09-26 | 2015-03-26 | Intel Corporation | Biometric sensors for personal devices |
US9310933B2 (en) | 2014-02-26 | 2016-04-12 | Qualcomm Incorporated | Optimization for host based touch processing |
US9477337B2 (en) | 2014-03-14 | 2016-10-25 | Microsoft Technology Licensing, Llc | Conductive trace routing for display and bezel sensors |
CN104020845B (zh) * | 2014-03-27 | 2017-02-15 | 浙江大学 | 基于shapelet特征的加速度传感器放置无关化运动识别方法 |
CN105025362B (zh) * | 2014-04-29 | 2018-05-08 | 深圳Tcl新技术有限公司 | 识别用户身份的方法及装置 |
US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
US12007763B2 (en) | 2014-06-19 | 2024-06-11 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
CN110781469B (zh) | 2014-08-07 | 2021-01-01 | 创新先进技术有限公司 | 一种身份认证方法及装置 |
JP6239471B2 (ja) * | 2014-09-19 | 2017-11-29 | 株式会社東芝 | 認証システム、認証装置および認証方法 |
CN105630204A (zh) * | 2014-10-29 | 2016-06-01 | 深圳富泰宏精密工业有限公司 | 鼠标模拟***及方法 |
US9687576B2 (en) * | 2014-11-14 | 2017-06-27 | Echostar Technologies L.L.C. | Systems and methods for disinfecting a remote control using ultraviolet light |
CN104391646B (zh) * | 2014-11-19 | 2017-12-26 | 百度在线网络技术(北京)有限公司 | 调整对象属性信息的方法及装置 |
US9548865B2 (en) * | 2014-12-01 | 2017-01-17 | International Business Machines Corporation | Token authentication for touch sensitive display devices |
KR102291565B1 (ko) * | 2014-12-03 | 2021-08-19 | 삼성디스플레이 주식회사 | 표시장치 및 이를 이용한 표시장치의 구동 방법 |
US20160182950A1 (en) * | 2014-12-17 | 2016-06-23 | Lenovo (Singapore) Pte. Ltd. | Identification of a user for personalized media content presentation |
US20160239138A1 (en) * | 2015-02-17 | 2016-08-18 | Htc Corporation | Mobile device, press detection method and computer-readable recording medium |
KR20160109304A (ko) * | 2015-03-10 | 2016-09-21 | 삼성전자주식회사 | 원격 조정 장치 및 원격 조정 장치의 화면 제어방법 |
CN106157036A (zh) * | 2015-04-14 | 2016-11-23 | 广州杰赛科技股份有限公司 | 一种基于心跳特征的鉴权装置 |
US10108854B2 (en) | 2015-05-18 | 2018-10-23 | Sstatzz Oy | Method and system for automatic identification of player |
GB2539705B (en) | 2015-06-25 | 2017-10-25 | Aimbrain Solutions Ltd | Conditional behavioural biometrics |
CN105242851A (zh) * | 2015-10-21 | 2016-01-13 | 维沃移动通信有限公司 | 一种切换电子设备的操作模式的方法及电子设备 |
US9927917B2 (en) | 2015-10-29 | 2018-03-27 | Microsoft Technology Licensing, Llc | Model-based touch event location adjustment |
US10127371B2 (en) | 2015-12-11 | 2018-11-13 | Roku, Inc. | User identification based on the motion of a device |
US10078377B2 (en) | 2016-06-09 | 2018-09-18 | Microsoft Technology Licensing, Llc | Six DOF mixed reality input by fusing inertial handheld controller with hand tracking |
GB2552032B (en) | 2016-07-08 | 2019-05-22 | Aimbrain Solutions Ltd | Step-up authentication |
CN107733592B (zh) | 2016-08-10 | 2020-11-27 | 华为技术有限公司 | 传输方案指示方法、数据传输方法、装置及*** |
US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
US10579784B2 (en) | 2016-11-02 | 2020-03-03 | Biocatch Ltd. | System, device, and method of secure utilization of fingerprints for user authentication |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
US20180157814A1 (en) * | 2016-12-01 | 2018-06-07 | Electronics And Telecommunications Research Institute | Personal authentication method and apparatus based on recognition of fingertip gesture and identification of fake pattern |
CN106909237A (zh) * | 2017-01-11 | 2017-06-30 | 深圳市赛亿科技开发有限公司 | 一种监测人体情绪的鼠标及鼠标垫 |
US11042262B2 (en) * | 2017-02-01 | 2021-06-22 | Opentv, Inc. | Menu modification based on controller manipulation data |
JP6825397B2 (ja) * | 2017-02-07 | 2021-02-03 | 富士通株式会社 | 生体認証装置、生体認証方法及び生体認証プログラム |
US10397262B2 (en) | 2017-07-20 | 2019-08-27 | Biocatch Ltd. | Device, system, and method of detecting overlay malware |
DE102017121456A1 (de) * | 2017-09-15 | 2019-03-21 | Fm Marketing Gmbh | Interaktionslose Benutzererkennung |
WO2019215318A1 (en) * | 2018-05-10 | 2019-11-14 | Koninklijke Philips N.V. | Methods and systems for adjusting behavior of personal care device based on status of oral cavity |
DE102018215066A1 (de) * | 2018-09-05 | 2020-03-05 | Brendel Holding Gmbh & Co. Kg | Bedienteil für eine Fernsteuerung, umfassend einen Aktivierungssensor mit veränderbarem effektiven Sensorbereich |
KR102203933B1 (ko) * | 2018-11-26 | 2021-01-15 | 재단법인 실감교류인체감응솔루션연구단 | 다수의 손가락을 이용한 모션 캡쳐 인터페이스 방법 및 장치 |
GB2581494B (en) * | 2019-02-19 | 2021-08-04 | Sony Interactive Entertainment Inc | Apparatus, system and method of authentication |
US10948980B2 (en) * | 2019-05-10 | 2021-03-16 | Apple Inc. | Electronic device system with controllers |
US11606353B2 (en) | 2021-07-22 | 2023-03-14 | Biocatch Ltd. | System, device, and method of generating and utilizing one-time passwords |
EP4293543A1 (en) * | 2022-06-17 | 2023-12-20 | NOS Inovação, S.A. | System for identifying a user of an electronic device |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH073444B2 (ja) * | 1987-10-27 | 1995-01-18 | 株式会社日本システム研究所 | 導電性測定装置 |
US5459489A (en) * | 1991-12-05 | 1995-10-17 | Tv Interactive Data Corporation | Hand held electronic remote control device |
US5453758A (en) * | 1992-07-31 | 1995-09-26 | Sony Corporation | Input apparatus |
US5469194A (en) * | 1994-05-13 | 1995-11-21 | Apple Computer, Inc. | Apparatus and method for providing different input device orientations of a computer system |
GB9415627D0 (en) | 1994-08-01 | 1994-09-21 | Marshall James | Verification apparatus |
US5652630A (en) * | 1995-05-31 | 1997-07-29 | International Business Machines Corporation | Video receiver display, three axis remote control, and microcontroller for executing programs |
US7800592B2 (en) * | 2005-03-04 | 2010-09-21 | Apple Inc. | Hand held electronic device with multiple touch sensing devices |
KR100595924B1 (ko) * | 1998-01-26 | 2006-07-05 | 웨인 웨스터만 | 수동 입력 통합 방법 및 장치 |
US6421453B1 (en) * | 1998-05-15 | 2002-07-16 | International Business Machines Corporation | Apparatus and methods for user recognition employing behavioral passwords |
US6346891B1 (en) * | 1998-08-31 | 2002-02-12 | Microsoft Corporation | Remote control system with handling sensor in remote control device |
US6456275B1 (en) * | 1998-09-14 | 2002-09-24 | Microsoft Corporation | Proximity sensor in a computer input device |
US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
EP1008925B1 (en) * | 1998-12-07 | 2006-01-11 | Hitachi, Ltd. | Device for controlling equipment by using signals from a living body |
US6396523B1 (en) * | 1999-07-29 | 2002-05-28 | Interlink Electronics, Inc. | Home entertainment device remote control |
US6429543B1 (en) | 1999-10-01 | 2002-08-06 | Siemens Vdo Automotive Corporation | Innovative switch for remote control applications |
US6765557B1 (en) * | 2000-04-10 | 2004-07-20 | Interlink Electronics, Inc. | Remote control having touch pad to screen mapping |
US20040236699A1 (en) | 2001-07-10 | 2004-11-25 | American Express Travel Related Services Company, Inc. | Method and system for hand geometry recognition biometrics on a fob |
AU2003217587A1 (en) | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US6831664B2 (en) * | 2002-03-22 | 2004-12-14 | Koninklijke Philips Electronics N.V. | Low cost interactive program control system and method |
US11275405B2 (en) * | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
TWM240050U (en) * | 2003-04-02 | 2004-08-01 | Elan Microelectronics Corp | Capacitor touch panel with integrated keyboard and handwriting function |
JP3930482B2 (ja) * | 2004-01-19 | 2007-06-13 | ファナック株式会社 | 3次元視覚センサ |
US20050162402A1 (en) | 2004-01-27 | 2005-07-28 | Watanachote Susornpol J. | Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback |
US20050185788A1 (en) * | 2004-02-23 | 2005-08-25 | Daw Sean P. | Keypad adapted for use in dual orientations |
US7173604B2 (en) * | 2004-03-23 | 2007-02-06 | Fujitsu Limited | Gesture identification of controlled devices |
WO2005109847A2 (en) * | 2004-04-30 | 2005-11-17 | Hillcrest Laboratories, Inc. | Methods and devices for identifying users based on tremor |
TW200539031A (en) * | 2004-05-20 | 2005-12-01 | Elan Microelectronics Corp | A capacitor type touch pad with integrated graphic input function |
US20060016868A1 (en) | 2004-07-01 | 2006-01-26 | American Express Travel Related Services Company, Inc. | Method and system for hand geometry recognition biometrics on a smartcard |
US20060077179A1 (en) | 2004-10-08 | 2006-04-13 | Inventec Corporation | Keyboard having automatic adjusting key intervals and a method thereof |
US20060227030A1 (en) * | 2005-03-31 | 2006-10-12 | Clifford Michelle A | Accelerometer based control system and method of controlling a device |
US7860651B2 (en) * | 2005-08-30 | 2010-12-28 | Honeywell International Inc. | Enhanced inertial system performance |
US7925511B2 (en) * | 2006-09-29 | 2011-04-12 | Nellcor Puritan Bennett Llc | System and method for secure voice identification in a medical device |
US7889175B2 (en) * | 2007-06-28 | 2011-02-15 | Panasonic Corporation | Touchpad-enabled remote controller and user interaction methods |
-
2008
- 2008-09-23 US US12/235,862 patent/US8031175B2/en not_active Expired - Fee Related
-
2009
- 2009-04-21 WO PCT/US2009/041227 patent/WO2009131987A2/en active Application Filing
- 2009-04-21 US US12/988,745 patent/US20110043475A1/en not_active Abandoned
- 2009-04-21 EP EP09735558A patent/EP2255270A2/en not_active Withdrawn
- 2009-04-21 JP JP2011506389A patent/JP2011523730A/ja active Pending
- 2009-04-21 CN CN2009801139729A patent/CN102016765A/zh active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013535924A (ja) * | 2010-08-05 | 2013-09-12 | クアルコム,インコーポレイテッド | 宛先デバイスにユーザ存在確率を利用した通信管理 |
US9357024B2 (en) | 2010-08-05 | 2016-05-31 | Qualcomm Incorporated | Communication management utilizing destination device user presence probability |
JP2012141868A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
US9071679B2 (en) | 2011-10-27 | 2015-06-30 | Qualcomm Incorporated | Controlling access to a mobile device |
US8750852B2 (en) | 2011-10-27 | 2014-06-10 | Qualcomm Incorporated | Controlling access to a mobile device |
JP2013132719A (ja) * | 2011-12-27 | 2013-07-08 | Advanced Telecommunication Research Institute International | 同定装置、同定方法および同定プログラム |
JP2014002655A (ja) * | 2012-06-20 | 2014-01-09 | Ntt Docomo Inc | 認識装置、認識方法及び認識システム |
JP2014033297A (ja) * | 2012-08-02 | 2014-02-20 | Nec Saitama Ltd | 携帯電話機、制御方法及びプログラム |
JP2015049711A (ja) * | 2013-09-02 | 2015-03-16 | 富士通株式会社 | 操作解析装置、操作解析方法及び操作解析プログラム |
JP2016105231A (ja) * | 2014-12-01 | 2016-06-09 | 株式会社Nttドコモ | 個人認証装置及び個人認証方法 |
JP2017049868A (ja) * | 2015-09-03 | 2017-03-09 | 株式会社東芝 | ウェアラブル端末、方法及びシステム |
KR101774391B1 (ko) * | 2016-07-26 | 2017-09-05 | (주)다울디엔에스 | 자이로 센서를 활용한 모션 효과 인코딩 방법 |
JP2020140727A (ja) * | 2016-10-28 | 2020-09-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、制御方法、プログラム、及び記憶媒体 |
US11281292B2 (en) | 2016-10-28 | 2022-03-22 | Sony Interactive Entertainment Inc. | Information processing apparatus, control method, program, and storage media |
JP7057389B2 (ja) | 2016-10-28 | 2022-04-19 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、制御方法、プログラム、及び記憶媒体 |
JP2020536616A (ja) * | 2017-10-13 | 2020-12-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | パーソナルケア装置のユーザを特徴付ける方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
WO2009131987A2 (en) | 2009-10-29 |
CN102016765A (zh) | 2011-04-13 |
EP2255270A2 (en) | 2010-12-01 |
US20110043475A1 (en) | 2011-02-24 |
US20090262073A1 (en) | 2009-10-22 |
US8031175B2 (en) | 2011-10-04 |
WO2009131987A3 (en) | 2009-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011523730A (ja) | 手持ち式機器のユーザを識別する方法およびシステム | |
US11422688B2 (en) | Mobile terminal and method for controlling the same | |
Liu et al. | uWave: Accelerometer-based personalized gesture recognition and its applications | |
CN107643828B (zh) | 车辆、控制车辆的方法 | |
US10540083B2 (en) | Use of hand posture to improve text entry | |
US9619024B2 (en) | Virtual input device and virtual input method | |
KR100580647B1 (ko) | 입력모드 분류가능한 동작기반 입력장치 및 방법 | |
Ellavarason et al. | Touch-dynamics based behavioural biometrics on mobile devices–a review from a usability and performance perspective | |
CN102906670A (zh) | 信息处理设备和方法以及程序 | |
CN105025018B (zh) | 一种在通信过程中进行安全验证的方法 | |
Zhao et al. | Wireless IoT motion-recognition rings and a paper keyboard | |
US9760758B2 (en) | Determining which hand is being used to operate a device using a fingerprint sensor | |
Cenedese et al. | Home automation oriented gesture classification from inertial measurements | |
Yan et al. | Cardboardsense: Interacting with DIY cardboard VR headset by tapping | |
Qin et al. | WiASL: American sign language writing recognition system using commercial WiFi devices | |
WO2019184011A1 (zh) | 管理终端设备方法和终端设备 | |
CN104615984A (zh) | 基于用户任务的手势识别方法 | |
Hamdy Ali et al. | A comparative study of user dependent and independent accelerometer-based gesture recognition algorithms | |
Zedan et al. | Controlling Embedded Systems Remotely via Internet‐of‐Things Based on Emotional Recognition | |
Yamagishi et al. | A system for controlling personal computers by hand gestures using a wireless sensor device | |
US20220138625A1 (en) | Information processing apparatus, information processing method, and program | |
Nixon et al. | User classification and authentication for mobile device based on gesture recognition | |
US10983627B2 (en) | Biometric information-based touch contact classification | |
Deng et al. | MType: A Magnetic Field-based Typing System on the Hand for Around-Device Interaction | |
CN106155277B (zh) | 电子设备和信息处理方法 |