JP2010532143A - タッチパッド対応リモートコントローラ及びユーザ相互作用方法 - Google Patents

Abstract

リモートコントロールユニットの手で持てるケースは、少なくとも１つのタッチパッドと、加速度センサ、ケース周辺部センサ、圧力センサ、ＲＦ信号センサなどの他のセンサを含む。これらのセンサは、家電装置とリモートコントロールユニットとの両方のための制御命令を生成するためにパターン認識装置によって分類される豊富な量のセンサ入力を提供する。単位電池残量を節約するためのパワーマネジメントシステムは、インテリジェントなパワーマネジメントコントロールを可能にするようにパターン認識装置に応答する。コントロールシステムは、ユーザに指示を提供するために家電装置のディスプレイを使用し、リモートコントロールシステムの動作は、パターン認識のための状況情報としてディスプレイに表示されたものを使用する。

Description

現在用いられるほぼ全ての家電製品には、リモートコントロールを搭載している。ほとんどの場合、リモートコントロールは、多くのボタンを有しており、各々が、家電製品の１つ以上の特定の機能の制御専用に使われている。家電製品が複雑になるにつれて、必要なボタンの数も増加する。ある時点で、ボタン数の増加のために、リモートコントロールは多数のユーザにとってほとんど使い物にならなくなる。このような問題を解決する様々な技術が提案されている。米国特許第６７６５５５７号明細書には、対話型テレビなどの家庭用娯楽装置を制御するためのタッチパッドの使用に関する技術が記載されている。タッチパッドを使用することで、ボタン数の増加などを防ぐことができるので、ユーザの負担を軽減することができるが、それでも十分であるとはいえない。

本発明は、家電製品のリモートコントロールを新たな視点から検討する。それは、多数のボタンを、例えば、少なくとも１つのタッチパッドと、加速度センサ、ケース周辺部センサ、圧力センサ、ＲＦ信号センサなどの多くの追加的なセンサとを備える単純な手で持つことのできるリモートコントロールユニットに置き換える。リモートコントロールシステムは、ユーザによるリモートコントロールの操作とジェスチャ動作とに基づいて家電装置内部の多くの複雑な機能の制御を可能にするパターン認識技術を用いて、これらの多くのセンサからの信号に応答する。

パターン認識システムは、適応的である。それは、リモートコントロールシステムの利用方法によって、異なるユーザを識別することができ、そして、家電装置のさまざまな機能を制御することができ、各ユーザが独自の方法でシステムを操作できるように適応される。

リモートコントロールユニットは、センサ入力の『意味』にも応答し、リモートコントロールユニット自体の動作を変えることができる。この方法で、視覚的、聴覚的、又は触覚的な合図は、電力節約戦略と同様に、センサ入力データに基づいて制御され、修正されることができる。

本発明のより完全な理解のために、以下の説明及び添付の図面を参照する。

［関連出願の相互参照］
本出願は、２００７年６月２８日に出願された米国特許出願第６０／９４６８０４号明細書および２００７年１０月２４日に出願された米国特許出願第１１／９７７３４８号明細書の利益を請求する。上記出願の開示内容は、参照により本願明細書に包含されるものとする。

図１ａは、リモートコントロールユニットの斜視図である。 図１ｂは、リモートコントロールユニットの平面図である。 図１ｃは、縦長方位のリモートコントロールユニットの図である。 図１ｄは、横長方位のリモートコントロールユニットの図である。 図２は、家電装置の一部を制御するために、ユーザが操作中のリモートコントロールシステムを例示しているシステムブロック図である。 図３は、家電装置と接続され、リモートコントロールユニットと対応付けられた制御回路に対応付けられた構成要素を含む、リモートコントロールシステムの典型的な実施例を例示しているブロック図である。

最初に、図１ａ及び１ｂは、リモートコントロールシステムのリモートコントロールユニット２０を例示する。このリモートコントロールユニット２０は、家電装置に接続される制御回路と相互に作用する。制御回路及び家電装置は、図１ａ−１ｄには示されず、次の図２及び３に示される。

リモートコントロールユニット２０は、例えば、上下左右可能領域２４、チャンネル上下領域２６、音量の上下領域２８及びミュート領域３０などの所定のクリック可能な領域を含んでもよいタッチパッド２２を備えている。これらの所定のクリック可能な領域は、ユーザが特定の機能を「選んだ」ことを示す方法として、タッチスクリーンが圧力に反応する領域を有することができる、という基本的な概念の単なる一例であると理解される。リモートコントロールユニットの基本的な設計は、物理的な押しボタンをなくすことを目指しているが、リモートコントロールユニット２０は必要に応じて、物理的な押しボタンを有してもよい。よって、例示の目的で、四個の押しボタンは３２、３３、３４、および３５で示される。タッチパッド２２が２つのゾーンの間に配置される物理的な仕切りの有無にかかわらず、２つの異なったゾーンに分割されてもよい。

所定のクリック可能な領域は、タッチパッド２２の表層上へ領域グラフィックスをシルクスクリーニングすることによって、または、バックライトによるシースルーのグラフィックを用いることで、タッチパッド面に視覚的に示されてもよい。後に詳述するように、バックライトは、後述するパターン認識装置によって認識されるような、センサ入力の適切な組合せによって、起動可能である。タッチパッド面はいかなる所定のクリック可能な領域も含んでいなくてもよい。

リモートコントロールユニット２０のケースは、例えば、ケース周辺部の水平側方壁の周りのセンサ３６のような一連の容量性センサを具設するのが好ましい。容量性センサ３６は、ケース周辺部センサの一例である。

容量性センサ３６は、ケースの下側などの、他の場所にも存在していてもよい。これらのセンサは、ユーザがどのようにリモートコントロールを保持しているかについて検出する。この点に関しては、ユーザによってリモートコントロールをつかむ方法が異なってもよく、容量性センサ３６は、リモートコントロールを保持するこれらの方法を区別することが可能なように配置される。１人のユーザのリモートコントロールを保持する方法を他のユーザと比較した場合の違いはわずかであるかもしれないが、パターン認識システムは、後述するように、この情報を用いてこれらのわずかな違いを認識することができる。さらに、パターン認識システムと連携したセンサは、リモートコントロールの保持方法に関係なく、ユーザがリモートコントロールを操作することを可能にする。

図２は、パターン認識システムの概要を示す。図２は、ディスプレイスクリーン５０を有する家電装置構成要素４８を操作するために、ユーザ４０によって操作されているリモートコントロールユニット２０を例示する。家電装置４８は、従来は、装置にその通常の機能を提供するために用いられるそれ自身の電子回路を備えている。図示された構成要素４８の場合、そのような機能は、ディスプレイスクリーン５０上のＡＶ要素を表示することを含む。この要素は、例えば、テレビ番組、予め記録されたコンテンツ、インターネットコンテンツなどを含んでもよい。説明の便宜上、家電装置４８に対応付けられた電子回路は、５２で個別に例示されている。リモートコントロールシステムの一部を定める６０で概略的に示される制御回路は、電子回路パッケージ５２内部に実装される。制御回路６０は、家電装置４８に接続され、リモートコントロールユニット２０から送られる命令に応答し、家電装置４８の動作を制御する。

リモートコントロールシステムは、リモートコントロール２０と制御回路６０とから成り立つ。これらの２つの構成要素を共に用いることで、精巧なセンサ入力の検出システム及びパターン認識システムを実現し、ユーザ４０が指、手、手首、腕及び体の動きの豊富な種類を使用して、家電装置５０の動作を制御することが可能になる。システムは、リモートコントロールユニット２０と制御回路６０との間でやりとりを遂行するとみなされてもよく、そのやりとりは、多様な種類の異なるセンサ入力（例えば、タッチパッド２２、加速度計１１４、ケース周辺部センサ、圧力センサ、ＲＦ信号センサなどからの）と対応づけられた語彙及び文法を使用して表現される。コントロールシステムは、また、ユーザ４０を通したフィードバックループを含む。ユーザ４０は、自身のユーザセンサ入力６２（視覚、聴覚、触覚）を有し、ユーザ４０は、部分的には、家電装置４８から得られる聴覚及び視覚の情報に基づいて、そして、リモートコントロールユニット２０からの視覚、聴覚及び触覚の情報に基づいて、リモートコントロールユニット２０を操作する。このように、リモートコントロールシステムは、ユーザ４０、コントロールシステム及び家電装置４８間の並列のやりとりを用いて、リモートコントロールユニット２０及び制御回路６０の間でのやりとりを支援する。

図２はこのように、ユーザ４０が、リモートコントロール２０から視覚、聴覚又は触覚のフィードバックを受け取ってもよいことを示し、これはディスプレイスクリーン５０を見ている間に、並行して実行されてもよい。説明の便宜上、ユーザ４０によって得られる情報は、ユーザセンサ入力６２として概略的に示される。同様に、コントロールシステムによって（多様な種類の異なるタイプのセンサから）得られるセンサ入力が、概略的に６４で例示される。

コントロールシステムセンサ入力６４及びユーザセンサ入力６２との関係は、些細なものではない。ユーザ４０は、部分的にはユーザ４０が達成しようとしているものに基づいて、更に、部分的には、ユーザがディスプレイスクリーン５０に見るものに基づいて、さらに、リモートコントロールユニット２０及び／又は家電装置４８からの聴覚的、視覚的又は触覚的に感じるものに基づいて、リモートコントロールユニット２０を操作する。この点を例示するために、家電装置４８が特定のチャンネルが幼児によって視聴されることを防止するようにプログラムされたテレビであると想像する。パレンタルブロッキング機能を回避するために、ユーザ４０は、所定の方法でリモートコントロールユニット２０を操作しなければならない。子供が単に親を見て、操作技術を学んでしまうのを防止するために、パレンタルブロッキング解除機能は、使用の度に変更することができる。成人のユーザは、パレンタルブロッキング機能を解除するためのコントロールユニットの操作方法を学ぶために、ディスプレイスクリーン５０に示されるものを見なければならない。ディスプレイ上の指示は、例えば、テキストの指示のような幼児が読むことができない形式で示される。このように、パレンタルブロッキング機能の制御は、状況に基づく特定の操作（例えば、３回、手首をはじく）に依存する。後の解除動作は状況が変化したとみなされて、解除を遂行するためのジェスチャ命令はおそらく異なるものとなる。これは、１つの実施例にすぎないが、本実施例は、リモートコントロールシステムの動作が状況に依存することと、ユーザの知覚（例えば、スクリーンを読むこと、触覚で振動を感知すること、特定の音を聞くこと）は、リモートコントロールユニット２０のユーザの操作がどのように解釈されるかについて影響を及ぼすであろうということを示している。

コントロールシステムは、パターン認識装置７０及び対応する制御ロジック７２を使用して、センサ入力の豊富で多様な集まりを理解することが可能である。ユーザ４０がリモートコントロールユニット２０を操作するとき、センサ入力は、リモートコントロールユニット２０内部のさまざまなセンサから時系列として集められる。上記したように、センサは、ユーザの指による動作に応答する少なくとも１つのタッチパッド２２と、例えば、リモートコントロールユニット２０の動きに応答する加速度センサ、ケースのどの部分がユーザの体と触れているかを判別する容量性センサ３６のようなケース周辺部センサ、タッチパッド２２の所定の領域に加えられている力に応答する圧力センサ、及び、制御回路６０から送信される高周波信号に応答するＲＦ信号センサなど少なくとも１つの追加的なセンサとを含んでもよい。

センサ入力の時系列は、パターン認識装置７０に供給される。パターン認識装置７０は、前記受信したセンサ入力メッセージを、予め定められた認識体系に従って分類することにより、メッセージ意味データを生成するように構成される。パターン認識装置７０は、さらに、家電装置のディスプレイスクリーン５０の表示についての知識から抽出された状況情報に基づいて、受信したセンサ入力メッセージを分類するように構成される。制御ロジック７２は、メッセージ意味データに応答することにより制御回路６０に通信される少なくとも１つの命令を生成する。具体的には、以下の通りである。制御ロジック７２は、メッセージ意味データを復号化して、デバイス制御信号を生成する。リモートコントロールユニット２０の動作（例えば、ユニットをスリープにする又はユニットを起動する）を制御するために、デバイス制御信号は、リモートコントロールユニット２０自身に供給されてもよく、又は、デバイス制御信号は、制御回路６０に送られてもよく及び／又は制御回路６０によって使用されてもよく、この場合、デバイス制御信号は、家電装置４８の動作を制御する命令として、家電装置４８に渡される。パターン認識装置７０及び制御ロジック７２は、分離して又は一緒に実装されてもよく、制御回路６０に、若しくは、リモートコントロール２０に配置されてもよく、又は両方ともにわたって配置されてもよい。

実施例において、パターン認識装置７０は、リモートコントロールユニット２０を使用する際の各々のユーザのスタイルにより合わせるように、適応的に変更される又はカスタマイズされる訓練されたモデルを使用する。訓練されたモデルは、受信したセンサ入力メッセージを分類するために用いられる。このとき、訓練されたモデルは、ユーザ４０との相互作用に基づいて適応性がある。この種の訓練されたモデルの実施において、パターン認識装置７０は、好ましくは、ある命令又は制御機能にマッピングされるようにある動作を分類する最初の一組のモデルを提供される。例えば、図１ｂを参照すると、チャンネル上下領域２６での指先の上方へのスライド動作は、順方向のチャンネル走査モードを開始するかもしれない。一方で、領域２６の上方矢印を一回クリックする、又は指で押圧すると、単にチャンネルが＋１増加するであろう。しかしながら、この挙動は、リモートコントロールユニットが図１ｄで図示したように横長方位に置かれる場合、異なって分類されるかもしれない。例えば、横長方位で、両手（容量性センサ３６によって定まる）によって保持されるとき、チャンネル上下領域２６は、チャンネル選択に完全に無関係な機能を実行するかもしれない。

特定のユーザに対してモデルを適応させるためには、好ましい実施例は、ユーザ４０に、メタ命令を入力させる、すなわち、ユーザ４０が、ユーザ自身又は全てのユーザのどちらかのためにパターン認識モデルを変更したいと思うことを、システムに知らせることを可能にするセンサ入力機構を含む。例えば、手首の急速な前後運動（「Ｎｏ」のジェスチャにおける首を振る動作に類似している）は、直近のパターン認識結論が間違っており、異なる挙動が要求されることを認識システムに知らせるために用いられるかもしれない。例えば、ユーザ４０が、コーヒーテーブル上でリモートコントロールユニット２０を使用して、チャンネル上下領域２６を操作して、テレビにチャンネル走査モードを開始させると仮定する。おそらく、ユーザ４０は、リモートコントロールユニットがコーヒーテーブルに置いてある（すなわち、保持されていない）ときに、チャンネル走査モードが始まってはならないことを好むだろう。この挙動を変更するために、ユーザ４０はリモートコントロールユニット２０を持ち、「Ｎｏ」のジェスチャでリモートコントロールユニット２０を前後に振る。この動作によりオンスクリーンプロンプトがテレビディスプレイスクリーン５０上に現れ、そして、この状況において、センサ入力の直近の時系列を、どのように修正すれば、異なるデバイス制御信号出力結果を得ることができるかを、ユーザ４０に指示する。

パターン認識装置７０が豊富な種類の異なるタイプのセンサ入力に応答することができるので、コントロールシステムは、ユーザ４０による、非常に複雑である可能性がある操作とジェスチャとの意味を解釈することが可能であり、ユーザ毎にカスタマイズできる直観的又は自然な方法でユーザに相互に作用させることを可能にする。この点に関しては、２つ以上のジェスチャの命令が非常に類似しているが、異なる意味を有しているため、異なる命令を家電装置４８に送る必要があるかもしれない例があってもよい。これを扱うために、パターン認識装置７０は、コントロールシステムセンサ入力６４が複数の異なる意味に対応付けられた確率スコアを生成する統計モデルに基づいてもよい。パターン認識装置７０は、（ａ）そのスコアが予め定められた確率閾値より及び／又は予め定められた閾値による次の最適値より上にある場合、最高スコアを有する意味を選ぶ、又は、（ｂ）前の閾値の条件に一致しない場合、どんな意味が意図されたかを決定するために、ユーザ４０をスクリーン上のやりとりに参加させる。この種のユーザ相互作用の結果は、その後、次回の使用時にどんな挙動が期待されるかについてシステムが学習できるように、モデルを微調整する、又は適応させるために用いてもよい。

上記の概要を考慮に入れて、リモートコントロールユニット２０及び制御回路ハードウェアの詳細な説明が例示された図３を参照する。図３において、制御回路と関連する構成要素は６０で大まかに示され、リモートコントロールユニットと関連する構成要素は２０で大まかに示される。家電装置は、４８で示される。

制御回路６０から説明すると、第１のプロセッサ又はＣＰＵ８０は、ＲＡＭ８４及びプログラム可能な不揮発性ＲＡＭ８６が取り付けられるバス８２に取り付けられる。ＲＡＭ８４及びプログラム可能な不揮発性ＲＡＭ８６は、コントロールシステム動作情報を記憶するためのメモリである。第１のプロセッサは、ＲＦ通信モジュール９２と家電製品インタフェース９４とが取り付けられるＩ／Ｏバス９０を提供する入出力（Ｉ／Ｏ）モジュール８８を含む。家電製品インタフェース９４は、次に、家電装置４８の残りの回路に接続する。高周波通信モジュール９２は、アンテナを含み、リモートコントロールユニット２０と対応付けられた対応する通信モジュールと通信するように設計されている。以上の構成により、制御回路６０は、ユーザ４０への提示のために家電装置４８に選択的にコントロールシステム動作情報を提供する。なお、制御回路６０は、制御ロジック７２で生成された少なくとも１つの命令に従って家電装置４８にコントロールシステム動作情報を提供する。なお、コントロールシステム動作情報は、異なるメッセージ意味データと統合されてもよい。この場合、制御回路６０は、パターン認識装置７０によって生成されるメッセージ意味データに従って、家電装置４８に選択的にコントロールシステム動作情報を提供する。

リモートコントロールユニット２０は、バス９８、ＲＡＭ９９及びプログラム可能な不揮発性ＲＡＭ１００に対応付けられた第２のプロセッサ９６を備えている。プロセッサ９６はまた、種々のセンサ及び他の装置が取り付けられてもよいＩ／Ｏバス１０４を支持するＩ／Ｏモジュール１０２を備えている。制御回路６０に備えられた対応す
るモジュール９２と通信するＲＦ通信モジュール１０６は、Ｉ／Ｏバス１０４に取り付け
られる。表示照明装置１０８はまた、タッチパッド２２上のいかなるバックライト付グラフィック要素も可視化又は非可視化するために、バックライトがオン・オフを切り替えられることのできるように、Ｉ／Ｏバス１０４に接続される。触覚のフィードバック報知器
／スピーカ１１０は、Ｉ／Ｏバスに接続される。報知器／スピーカ１１０は、ブザー音及
び触覚のフィードバック（振動）を発生させるために作動してもよい。リモートコントロールユニット２０が備える第２のプロセッサ９６、ＲＡＭ９９及び不揮発性でプログラム可能なＲＡＭ１００などが、上述のパターン認識装置７０及び制御ロジック７２が行う動作を制御する。

前述のように、リモートコントロールユニット２０は、各種の異なるセンサを含む。これらは、タッチパッド２２、ボタンパッド膜スイッチアセンブリ１１２、加速度計１１４及び容量性センサ３６を含む。ボタンパッド膜スイッチアセンブリ１１２は、タッチパッド上の圧力がスイッチの状態をオフからオンへ変更するために、タッチパッド２２の下に物理的に配置されてもよい。必要に応じて、ボタンパッド膜スイッチアセンブリ１１２は、単純なオン／オフの２状態とは対照的に、圧力の範囲を登録することができる感圧性スイッチを使用してもよい。

リモートコントロールユニット２０は、使用中でないときはコーヒーテーブルに置かれるように設計されるので、バッテリー電源２００が好ましい。したがって、電源２００は、パワーマネジメント回路２０４に加えて、取り外し可能な電池２０２を含む。パワーマネジメント回路２０４は、第２のプロセッサ９６と電力を必要としているリモートコントロールユニット２０内部のモジュールの全てに電力を供給する。この種のモジュールは、Ｉ／Ｏバス１０４に接続されるセンサ、表示照明装置１０８及びスピーカ／報知器１１０の全てを含む。必要に応じて、ＲＦＩＤタグ２０６は、リモートコントロールユニット回路に含まれてもよい。ＲＦＩＤタグ２０６は、リモートコントロールユニット２０が見つからない場合、制御回路６０からリモートコントロールの所在位置を確認するのを補助するために用いることができる。

さらに、好ましい実施の形態の詳細
＜タッチパッドセンサ＞
タッチパッド２２が複数の別々の相互作用領域に分けられ、各々の相互作用領域は、パターン認識装置７０によって異なる意味を有するように解釈される。具体的には、タッチパッド２２は以下に示す処理を行う。タッチパッドセンサは、相互作用に用いられるいくつかの直観的に異なるゾーンを提供するために分割されることができる。タッチパッド２２はまた、ボタンパッド膜スイッチアセンブリ１１２が下部又は内部に組み込まれているためクリック可能である。クリック可能なタッチパッド２２は、圧力情報を登録することができ、報知器／スピーカ１１０を介した振動及び音などを通して、ユーザ４０に充分な触覚フィードバックを提供すると共に、特定の信号を送ることによって圧力（機械的に及び電気的に）に反応することができる。タッチパッド２２は、例えば、パッドの片側につき１つの接触点のように、同時に少なくとも２つの接触点の使用（例えば、２本の指を使った入力）を可能にする。タッチパッド２２は、中間線に沿って２つに分かれていると（例えば、横長方位において保持されるときに、タッチパッドの右と左とを分離する）、みなすことができる。タッチパッド２２は、このように、並んで実装される２つのシングルポジション登録タッチパッドを使用して構成されることができ、又は、（同時に２つの接触点を有し）同等の精度で登録する能力を有する１つのマルチタッチタッチパッドを使用して構成される。

＜物理的ボタン＞
全ての実施例において必要であるというわけではないが、リモートコントロールユニット２０は、物理的ボタンを補ってもよい。この点に関しては、４つのボタン３２−３５は、図１ａ及び１ｂにおいて例示された。これらの物理的ボタンは、タッチパッド２２の下に組み込まれる同じボタンパッド膜スイッチアセンブリ１１２（図３）を使用して実装されてもよい。物理的ボタンは、タッチパッド表面の状況依存の仮想ボタンと同様に、ボタン機能の名を明示するようバックライトで照らされることができる。

＜相互作用領域の再定義＞
自然な動作を可能にするために、リモートコントロールユニット２０は、センサデータを解釈するためにそのパターン認識システムを使用する。リモートコントロールユニット２０は、さらに、縦長方位及び横長方位を区別することができるケース方位センサを有する。ただし、新たにケース方位センサを備えずに、加速度計１１４及び容量性センサ３６などを用いて、リモートコントロールユニット２０の方位を検出してもよい。ケースの周辺部及び底に載置される加速度計１１４及び容量性センサ３６からの入力は、センサデータに含まれる。ユーザ４０は、ユーザが達成しようとしているものに最大限対応するように、ユーザの手で自然にリモートコントロールユニット２０を回す。パターン認識システムは、リモートコントロールの向きに関係なく、相互作用ゾーンが同じ場所にあるように、ユーザ４０がどのようにリモートコントロールユニット２０を保持しているかを解釈し、これらの相互作用ゾーンを再定義する。たとえば、リモートコントロールユニット２０は、片手又は両手で、横長及び縦長の方位において用いられることができる。より具体的には、ユーザ４０がリモートコントロールユニット２０を右手で保持しているか、左手で保持しているか、どちらの手でタッチパッド２２を操作しているか、リモートコントロールユニット２０のどの部分を保持しているかなどを、パターン認識システムは、検出することができる。相互作用領域は、ケースの方位に基づいて、タッチパッド２２内部で異なる場所にリマップされる。具体的には以下の通りである。パターン認識システムは、違いを識別することができ、ユーザ４０にとってもっとも簡単な方法で最も行なわれる可能性の高い動作を実行することができるように、自動的に相互作用ゾーンを再定義する。例えば、相互作用ゾーンは、タッチパッド２２内部の異なるゾーンを含む。タッチパッド２２の異なる領域は、異なる機能又は異なるユーザ操作スタイルに専用化されてもよい。加えて、リモートコントロールユニット２０自身は、空中においてリモートコントロールを用いて異なるジェスチャを使用する（例えばチャンネルを変更するための手首の速い動き）ことによって、異なる仮想「相互作用ゾーン」に操作されることができる。

＜電源管理＞
好ましい本実施例は、超低電力消費のために企図される。リモートコントロールユニット２０は、パワーマネジメントシステムを含む。制御ロジック７２は、センサ入力又はメッセージ意味データに基づいてパワーマネジメントシステムの動作を変更するために、パワーマネジメントシステムに通信される少なくとも１つの命令を生成する。パワーマネジメントシステムは、図３のパワーマネジメント回路２０４、電源２００及び取り外し可能な電池２０２などから構成される。例えば、リモートコントロールユニット２０は、ほぼ１年の間の一つの単三又は単四電池で動いてもよい。パワーマネジメントシステムは、所定の期間経過後に、リモートコントロールユニット２０が備えるセンサをスリープモードにセットする。スリープモード中に、加速度センサを起動させることでリモートコントロールユニット２０の動きを検出する。リモートコントロールの動きを検出した場合、ケース周辺部センサを起動させることで、リモートコントロールユニット２０がユーザ４０に保持されているかどうかを検出する。リモートコントロールユニット２０がユーザ４０に保持されていることを検出した場合、スリープモードを解除する。スリープモードの解除は、タッチパッド２２を起動させ、続いて、ＲＦ信号センサを起動させることで実行される。具体的な動作は、以下の通りである。現在利用できる技術については、ＲＦモジュールと関連するワイヤレス回路は、タッチセンサより多くの電力を消費し、加速度計１１４及びアクチュエータは、タッチセンサより少ない電力を消費する。このために、パワーマネジメント回路２０４は、リモートコントロールユニット２０がもはや用いられなくなった後、あまり時間を置かずに（例えば３０秒）、ワイヤレス回路をスリープモード（又は同時に停止される）にセットする。タッチセンサは、それからいくぶんより長い期間（例えば２分）の後、スリープモード（または停止される）にセットされる。これは、再びワイヤレス回路（ユーザ４０が、２分以内にタッチパッド２２の表層に触るか又はリモートコントロールユニットを手に取る場合に備えて）をオンにすることを可能にする。加速度計１１４は、回路が通常の加速度計リフレッシュレートより非常に低速度で加速度計の状況を点検する低電力モードに入れられる。この点に関しては、通常のリフレッシュレートは、５０Ｈｚのオーダーにあるかもしれないが、低電力モードでは、リフレッシュレートは１Ｈｚ又はさらに０．１Ｈｚのオーダーであるかもしれない。パワーマネジメント回路２０４は、最初に加速度計のリフレッシュレートを十分なレートに増加させ、タッチセンサを再起動し、最後にワイヤレス回路の起動によって、基本的にはターンオフシーケンスの逆であるターンオンシーケンスを実装する。スリープモードにおいて、ＲＦモジュールは、制御回路６０からの未処理のメッセージがあるかどうか調べるために、周期的に起動してもよい。

好ましい本実施例において、リモートコントロールユニット２０は、専用のパワーオンボタンを備えていない。これは、そういったボタンがリモートコントロールユニット２０又はテレビのどちらの電源を投入するかどうかについて、ユーザが混乱する恐れがあるからである。このように、パターン認識システムは、効率的な方法で電源をオンにするために用いられる。リモートコントロールユニット２０は、ユーザ４０が最初にそれを手に取るときにオンになる。このために、システムは、リモートコントロールが移動されたかどうかを判定するために、最初により低い解像度の加速度データを点検する。その場合は、次に容量性センサ３６が、リモートコントロールは実際に保持されているか（コーヒーテーブルに載せてあるときに、単に不注意に押されたか又は動かされた場合とは異なり）どうかを判定するために、起動される。パターン認識システムが、リモートコントロールユニット２０が保持されていると判定する場合、次にタッチパッド２２が、そして、最後にワイヤレス回路が起動される。

あるいは、電源は、例えば、リモートコントロールユニット２０を振るなどの特定のジェスチャによってオンにすることができる。また、例えば、パレンタルブロッキング機能と関連して上述したように、パレンタルコントロールを実施するために、より複雑な電源オン動作を利用することができる。

パターン認識システムは、同様に、不活動を検出することによってリモートコントロールユニット２０をいつオフにするか、又は、テレビが切られたことを検出するかどうかを検出する。例えば、後者のイベントは、ＲＦモジュールを経て伝達される情報によって、検出可能である。

＜リモート探知機＞
制御回路６０は、家電装置４８と対応付けられて、リモートコントロールユニット２０に遠隔位置メッセージを送るボタンを含んでもよい。つまり、制御回路６０は、リモートコントロールが誤った場所に置かれたときに、リモートコントロールユニット２０をユーザ４０が見つけるのを助けるのに役立つ、注意喚起動作をリモートコントロールユニット２０に実行させるｆｉｎｄ−ｍｅメッセージを送信するように構成される。具体的には以下の通りである。リモートコントロールユニット２０が誤った場所に置かれた場合、ユーザ４０はこのボタンを押すだろう。制御回路６０は、そのとき周期的にＲＦを介してリモートコントロールにｔｅｌｌ−ｍｅ−ｗｈｅｒｅ−ｙｏｕ−ａｒｅ信号（ｆｉｎｄ−ｍｅメッセージ）を送る。リモートコントロールユニットのＲＦモジュールが次に起動し、起動信号を探す時、ユニットに音及び／又は震動を起こさせる触覚フィードバックシステム（例えばスピーカ／報知器１１０）を起動し、バックライトを点灯するための表示照明回路１０８を任意に使う。加えて、必要に応じて、リモートコントロールユニット２０及び制御回路は、リモートコントロールユニット２０と制御回路６０との間の距離を計測するためにＲＦレンジング機能を使用することができる。この情報は、ディスプレイスクリーン５０上に距離を表示するために用いるか、リモートコントロールユニット２０が存在しうる場所について特定する強調された領域を有する部屋の画像を表示さえする。あるいは、ＲＦＩＤタグ２０６が用いられてもよく、リモートコントロールの正確な位置がディスプレイスクリーン５０に示されることを可能にする。

＜リモートコントロールシステム及びオンスクリーンユーザインタフェース間の密な結合＞
パレンタルコントロールに関する前述の実施例で示すように、リモートコントロールシステムは、オンスクリーン情報との密な結合を利用することが可能である。

オンスクリーン情報（例えば、パレンタルブロッキング特徴を停止させる方法についての指示）は、制御回路６０（図３）のプログラム可能なＲＡＭ８６に格納されてもよく、また現在視聴中のプログラムにオーバーレイとしてディスプレイスクリーン５０に映されてもよい。第１に、情報をディスプレイスクリーン５０上でユーザ４０に表示することによって、ユーザ４０は、操作の際にリモートコントロールユニット２０を見る必要はない。ユーザ４０が入力（例えば、つづられた語）を入力することを必要とする場合、キーボードのオーバーレイ画像が示されてもよく、示されたオーバーレイキーボード上のカーソル（各々の指の１つ）を見ながら、ユーザ４０は単にタッチスクリーンを操作することによって所望のキーを操作することができる。必要に応じて、リモートコントロールシステム回路は、また、プログラムガイド情報を手に入れ、ディスプレイオーバレイは、それから、単にタッチスクリーンを操作することによって、ユーザ４０に視聴する又は記録するプログラムを選択させることを可能にする。

システムの機能性がどこに置かれたかを考慮することによって、よりよくリモートコントロールシステムの効果を理解することができる。ディスプレイスクリーン５０との密接な統合によって、リモートコントロールシステムは、高解像度グラフィックス能力のディスプレイスクリーン５０を使用することができ、それにより、従来のコントローラのような一組の専用ボタンを通して提供するのが実質的に不可能である無制限の量の視覚情報をユーザに提供できる。多様なセンサ入力の豊富な集まりは、ユーザ４０の要求をシステムに通信する多くの異なる、冗長でさえある方法をユーザに採用させることを可能にする。パターン認識装置７０によるセンサ入力の多様な集まりの解釈は、ユーザのジェスチャ命令及びタッチ命令から家電装置４８が実行することができる機能に相関するメッセージ意味データへの多くの複雑な変換を扱う。結果として生じる作業の分割は、ユーザ４０がコントロールシステムに対してユーザ４０のメッセージを伝えるために使用することができるジェスチャ命令及びタッチ命令の等しく豊富な集合を用いて、ユーザのコントロールシステムの選択に関して、非常に高度で、視覚的に興味のある情報コンテンツをユーザに提供するコントロールシステムを生じる。これを、それぞれに所望の機能のために押される１つ又は一連のボタンを必要とし、ユーザ４０は押すべき所望のボタンを見つけるためにリモートコントロールを見なければならないという不便さがある、従来の押しボタンリモートコントロールと比較する。

上記のことから、現在、説明及び現在の開示の広い教示がさまざまな方法で実装されることができると認められる。したがって、この開示は特定の実施例に関して記載されたが、他の変更態様は図面、明細書及び以下の請求項を鑑みて当業者にとって明らかであり、本発明の実際の範囲も同様に限定されるものではない。

Claims (20)

1. ディスプレイスクリーンを有する家電装置のためのリモートコントロールシステムであって、
   前記家電装置に接続される、前記家電装置の動作を制御するための制御回路と、
   手持ちケースと前記ケース内部に配置される複数のセンサとを有するリモートコントロールユニットとを備え、
   前記リモートコントロールユニットは、
   （ａ）ユーザの指による操作に応答する少なくとも１つのタッチパッドと、
   （１）前記リモートコントロールユニットの動きに応答する加速度センサと、
   （２）前記ケースのどの部分が前記ユーザの体と接触しているかを区別するケース周辺部センサと、
   （３）前記タッチパッドの予め定められた領域上の押圧力に応答する圧力センサと、
   （４）前記制御回路から送られる高周波信号に応答するＲＦ信号センサと
   （ｂ）上記からなる群から選択される少なくとも１つの追加的なセンサとを含み、
   前記リモートコントロールユニットは、前記複数のセンサから抽出される情報を含んでいるセンサ入力メッセージを生成し、
   前記リモートコントロールシステムは、
   前記センサ入力メッセージを受信するパターン認識装置を備え、
   前記パターン認識装置は、前記受信したセンサ入力メッセージを、予め定められた認識体系に従って分類することにより、メッセージ意味データを生成し、
   前記パターン認識装置は、さらに、前記家電装置の前記ディスプレイスクリーンの表示についての知識から抽出された状況情報に基づいて、前記受信したセンサ入力メッセージを分類し、
   前記リモートコントロールシステムは、
   前記メッセージ意味データに応答することにより前記制御回路に通信される少なくとも１つの命令を生成する制御ロジックを備える
   リモートコントロールシステム。
2. 前記少なくとも１つの追加的なセンサは、少なくとも１つの加速度センサ及び少なくとも１つのケース周辺部センサから構成される
   請求項１記載のリモートコントロールシステム。
3. 前記パターン認識装置は、前記受信したセンサ入力メッセージを分類するように操作可能な訓練されたモデルを含む
   請求項１記載のリモートコントロールシステム。
4. 前記訓練されたモデルは、ユーザとの相互作用に基づいて適応可能である
   請求項３記載のリモートコントロールシステム。
5. 前記リモートコントロールユニットは、パワーマネジメントシステムを含み、
   前記制御ロジックは、前記センサ入力メッセージに基づいてパワーマネジメントシステムの動作を変更するために、前記パワーマネジメントシステムに通信される少なくとも１つの命令を生成する
   請求項１記載のリモートコントロールシステム。
6. 前記リモートコントロールユニットは、パワーマネジメントシステムを含み、
   前記制御ロジックは、前記メッセージ意味データに基づいてパワーマネジメントシステムの動作を変更するために、前記パワーマネジメントシステムに通信される少なくとも１つの命令を生成する
   請求項１記載のリモートコントロールシステム。
7. 前記制御回路は、コントロールシステム動作情報を記憶するためのメモリを含み、
   前記制御回路は、前記ユーザへの提示のために前記家電装置に選択的に前記動作情報を提供する
   請求項１記載のリモートコントロールシステム。
8. 前記制御回路は、前記少なくとも１つの命令に従って前記家電装置に前記コントロールシステム動作情報を提供する
   請求項７記載のリモートコントロールシステム。
9. 前記制御回路は、異なるメッセージ意味データと統合されるコントロールシステム動作情報を記憶するためのメモリを含み、
   前記制御回路は、前記パターン認識装置によって生成される前記メッセージ意味データに従って、前記家電装置に選択的に前記動作情報を提供する
   請求項１記載のリモートコントロールシステム。
10. 前記少なくとも１つの追加的なセンサは、前記制御回路から送られる高周波信号に応答するＲＦ信号センサであり、
    前記制御回路は、前記リモートコントロールユニットが誤った場所に置かれたときに、前記リモートコントロールユニットをユーザが見つけるのを助けることに役立つ注意喚起動作を前記リモートコントロールユニットに実行させるｆｉｎｄ−ｍｅメッセージを送信するように構成される
    請求項１記載のリモートコントロールシステム。
11. 前記リモートコントロールシステムは、さらに、
    それぞれが前記ユーザの指による操作に個別に応答する、並列に配置される２つのタッチパッドを備える
    請求項１記載のリモートコントロールシステム。
12. 前記タッチパッドは、複数の別々の相互作用領域に分けられ、
    各々の相互作用領域は、前記パターン認識装置によって異なる意味を有するように解釈される
    請求項１記載のリモートコントロールシステム。
13. 前記少なくとも１つの追加的なセンサは、縦長方位及び横長方位を区別することができるケース方位センサを有する
    請求項１記載のリモートコントロールシステム。
14. 前記タッチパッドは、複数の別々の相互作用領域に分けられ、
    各々の相互作用領域は、前記パターン認識装置によって異なる意味を有するように解釈され、
    前記少なくとも１つの追加的なセンサは、縦長方位及び横長方位を区別することができるケース方位センサを有し、
    前記相互作用領域は、ケース方位に基づいて前記タッチパッド内部で異なる場所にリマップされる
    請求項１記載のリモートコントロールシステム。
15. 前記少なくとも１つの追加的なセンサは、さらに、少なくとも１つの加速度センサ及び少なくとも１つのケース周辺部センサを含み、
    前記パターン認識装置は、前記少なくとも１つの追加的なセンサから抽出される情報に基づいて、ユーザの前記リモートコントロールユニットの保持状況を解釈することにより相互作用ゾーンを再定義する
    請求項１４記載のリモートコントロールシステム。
16. 前記パターン認識装置は、ユーザが前記リモートコントロールユニットを、片手又は両手のいずれで保持しているかを解釈する
    請求項１５記載のリモートコントロールシステム。
17. ディスプレイスクリーンを有する家電装置のためのリモートコントロールシステムであって、
    前記家電装置に接続される前記家電装置の動作を制御するための制御回路と、
    手持ちケースと前記ケース内部に配置される複数のセンサとを有するリモートコントロールユニットとを備え、
    前記リモートコントロールユニットは、
    （ａ）ユーザの指による操作に応答する少なくとも１つのタッチパッドと、
    （ｂ）前記リモートコントロールユニットの動きに応答する少なくとも１つの加速度センサと、
    （ｃ）前記ケースのどの部分が前記ユーザの体と接触しているかを区別するケース周辺部センサと、
    （ｄ）前記タッチパッドの予め定められた領域上の押圧力に応答する少なくとも１つの圧力センサと、
    （ｅ）前記制御回路から送られる高周波信号に応答するＲＦ信号センサとを備え、
    前記リモートコントロールユニットは、
    前記複数のセンサから抽出される情報を含んでいるセンサ入力メッセージを生成し、
    前記リモートコントロールシステムは、
    前記センサ入力メッセージを受信するパターン認識装置を備え、
    前記パターン認識装置は、前記ユーザとの相互作用を通して適応可能な訓練されたモデルを含み、前記受信したセンサ入力メッセージを、予め定められた認識体系に従って分類することにより、メッセージ意味データを生成し、
    前記パターン認識装置は、さらに、前記家電装置の前記ディスプレイスクリーンの表示についての知識から抽出された状況情報に基づいて、前記受信したセンサ入力メッセージを分類し、
    前記リモートコントロールシステムは、
    前記メッセージ意味データに応答することにより前記制御回路に通信される少なくとも１つの命令を生成する制御ロジックを備え、
    前記リモートコントロールユニットは、パワーマネジメントシステムを含み、
    前記制御ロジックは、前記メッセージ意味データに基づいてパワーマネジメントシステムの動作を変更するために、前記パワーマネジメントシステムに通信された少なくとも１つの命令を生成し、
    前記制御回路は、コントロールシステム動作情報を記憶するためのメモリを有し、
    前記制御回路は、前記ユーザへの提示のために前記家電装置に選択的に前記動作情報を提供し、
    前記パターン認識装置によって発生する前記メッセージ意味データに従って、家電装置に選択的に前記動作情報を提供する
    リモートコントロールシステム。
18. 前記パワーマネジメントシステムは、
    前記リモートコントロールユニットが備えるセンサをスリープモードにセットし、
    前記スリープモード中に、前記加速度センサを起動させることで前記リモートコントロールユニットの動きを検出し、
    前記リモートコントロールユニットの動きを検出した場合に、前記ケース周辺部センサを起動させることで、前記リモートコントロールユニットが前記ユーザに保持されているかどうかを判定し、
    前記リモートコントロールユニットが前記ユーザに保持されていると判定した場合に、前記スリープモードを解除する
    請求項１７記載のリモートコントロールシステム。
19. 前記パワーマネジメントシステムは、
    前記リモートコントロールユニットが前記ユーザに保持されていることを検出した場合に、前記圧力センサを起動させ、続いて、前記ＲＦセンサを起動させることで前記スリープモードを解除する
    請求項１８記載のリモートコントロールシステム。
20. 家電装置を制御する方法であって、
    少なくとも１つのタッチパッドを有するリモートコントロールユニットを提供し、
    前記少なくとも１つのタッチパッドのユーザによる操作を検出し、
    前記リモートコントロールユニットの物理的な動きを検出し、
    パターン認識によって前記検出された操作及び前記検出された物理的動きを分類し、
    前記分類ステップの結果に基づいて前記家電装置に少なくとも１つの制御コマンドを送る
    方法。

Images