JP4991541B2 - ディスプレイを制御する方法及びシステム - Google Patents

Description

本発明は、ディスプレイを制御する方法及びシステム、かかるシステムのためのポインティングデバイス及びディスプレイ制御インタフェースに関する。

近年、エレクトロニクス及びコンピュータの分野における発展により、我々の日々の生活において我々に直面する情報の供給が増加している。誰でもパーソナルコンピュータで大量の情報を管理することができ、大部分の現代のコンシューマエレクトロニクス装置は、ユーザに多数のオプション及びプログラミングの可能性を提供する。かかるコンテンツに関連した情報は、テレビジョンスクリーン、コンピュータモニタ、又は壁のようなある種のスクリーン又はバックドロップのような、ある種の電子ディスプレイで表示される形式で一般に提供される。明らかな例は、私的な又は業務に関連したデータ及び情報の全ての集合をもつ、パーソナルコンピュータのスクリーンに示される仮想的な「デスクトップ」である。空港及び鉄道の駅では、人々は、たとえば地図上のホテルを探すこと、又はチケットの注文及び支払といった、電子情報システムのディスプレイを通してナビゲートする。

視覚的に提供されたコンテンツに関連される情報は、メニューヒエラルキー、画像、バーチャルデスクトップ、マップ等である場合がある。しばしば、ディスプレイに実際に適合されるよりも多くのコンテンツに関連された情報が利用可能であり、たとえば、大きな画像を視聴することは、ディスプレイで適合されるように画像のサイズを縮小することを必要とする。しかし、画像は、余りに小さくてユーザが適切に見ることができないか、詳細を理解することができない。代替的に、ユーザは、スクロールバーのようなディスプレイにおける専用の領域のカーソルを移動させ、マウスボタンをクリックするか、キーパッド又はキーボードの適切なキーを押すことで、画像又はコンテンツの他の部分に水平又は垂直にスクロールすることができる。マウス又はキークリックは、ディスプレイのコンテンツをアップデートするため、ディスプレイの制御ユニットにより通常は解釈される。

このタイプのディスプレイコントロールの１つの制約は、要求された作用を有するため、マウス又はキークリックのためにスクロールバーにおける必要とされる位置にカーソルが正確に移動される必要があることである。さらに、スクロールの方向は、水平及び垂直の移動に必然的に制限され、ユーザが対角線にスクロールするのを望むとき、ユーザは、効率的に必要とされる努力を２倍にして、水平及び垂直のスクロールの両者を結合する必要がある。通常、スクロールは一定の速度で実行され、これは、スクロールされる距離が比較的小さい場合には正しいが、大きなコンテンツの離れた端にあるポイントにユーザがスクロールするのを望む場合には面倒である。別のスクロールバーの問題点は、ディスプレイにおいて場所をとることであり、したがって表示されている画像又はビジュアルプレゼンテーションの異なる部分をユーザが実際に見たいときにスクロールバーのみが必要とされる場合でさえ、利用可能な表示領域を減少することである。

したがって、本発明の目的は、ディスプレイを制御するより便利で直観的な方法を提供することである。

上記目的を達成するため、本発明は、ディスプレイを制御する方法を提供するものであり、当該方法は、前記ディスプレイにビジュアルプレゼンテーションの一部を表示するステップ、カメラを有するポインティングデバイスをターゲットエリアに向け、前記ディスプレイに表示される前記ビジュアルプレゼンテーションの一部の内側又は外側にあるターゲットポイントを前記ビジュアルプレゼンテーションにおいて表示するステップ、前記ターゲットポイントは前記ディスプレイに表示されることが望まれる位置を示し、前記ポインティングデバイスにより向けられる前記ターゲットエリアの画像を前記カメラにより生成するステップ、生成された前記ターゲットエリアの画像に基づいて、前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を決定するステップ、及び、決定された前記ターゲットポイントの位置に基づいて、前記ターゲットポイントを包含する前記ビジュアルプレゼンテーションの一部を前記ディスプレイに表示するステップ、を含む。

本発明に係る方法を使用したディスプレイを制御する適切なシステムは、ポインティング装置が向けられる方向において、ビジュアルプレゼンテーションにおけるターゲットポイントを示すターゲットエリアの画像を生成するカメラを有し、ターゲットポイントは、ディスプレイで表示されるビジュアルプレゼンテーションの一部の内又は外である場合がある。さらに、システムは、画像を分析するための画像分析ユニット、画像分析の結果に従って制御信号を発生する制御信号発生ユニット、及びディスプレイにおいてビジュアルプレゼンテーションを調節する制御信号を印加するディスプレイ制御ユニットを有する。

本発明に係る方法は、ポインティングデバイスの全体として新たなアプリケーションを開く。かかるポインティング装置の助けにより、ユーザは、所望のコンテンツの推定されるロケーションにポインティングデバイスをシンプルに向けることで、水平方向又は垂直方向にではなく、ディスプレイのコンテンツを所望の方向にスクロールすることができる。このポインティングデバイスの直観的なアプリケーションは、その便利なポインティング様式と共に、本発明を、何れかの種類のディスプレイの制御において使用するための実用的なツールにする。

従属の請求項及びその後の記述は、特定の有利な実施の形態及び本発明の特徴を開示する。
本発明に係る方法での使用のためのポインティング装置は、ポインティング装置が向けられる方向におけるターゲットエリアの画像を生成する少なくとも１つのカメラを有する。

カメラは、ポインティング装置に組み込まれるのが好ましいが、ポインティングデバイスに同様に搭載され、ユーザにより向けられるポインティングデバイスの前のエリアの画像を生成するやり方で指向されるのが好ましい。ユーザにより向けられる「ターゲット」は、ポイント又は領域であり、「ターゲットエリア」は、カメラにより画像−ターゲットエリア画像−として捕捉されるポインティングデバイスの前の領域である。カメラは、基本的なやり方で構築されるか、ズーム機能又は所定のタイプのフィルタのような特徴的な高性能な機能である場合がある。

好ましくは、画像を分析する画像分析ユニット、ディスプレイ用のディスプレイ制御信号を発生する制御信号発生ユニットは、たとえばパーソナルコンピュータのグラフィックカードといった、ディスプレイ制御ユニットと対話するディスプレイ制御インタフェースに組み込まれる。かかるディスプレイ制御インタフェースは、ディスプレイ制御信号をディスプレイ制御ユニットに伝達する送出ユニットを必要に応じて含んでいる。後に説明されるように、ディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれるか、適切な通信インタフェースによりポインティングデバイスに結合される、外部ユニットとして実現される。

ディスプレイは、バックドロップ、テレビジョンスクリーン、コンピュータモニタ、又は、チケット販売機、旅行情報ポイント等のようなユーザに情報を視覚的に提供するために使用される機器のディスプレイでの投影のような、何れかの種類のディスプレイである。以下では、ディスプレイで示すことができるものは「ビジュアルプレゼンテーション」と呼ばれ、デスクトップ環境、メニューヒエラルキー、マップ、実際には何れかの種類の画像である。ビジュアルプレゼンテーションのサイズは、ディスプレイの寸法に限定されるものではなく、ディスプレイの寸法よりも大きなサイズであるか、小さなサイズとすることができる。しかし、以下では、ビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの一部のみがディスプレイにおける何れかのある時間で示されるように、ディスプレイよりも実際に大きい。

ユーザはディスプレイの外にあるビジュアルプレゼンテーションにおけるターゲットにポインティングデバイスを向けるとき、ディスプレイのコンテンツは、ディスプレイに表示される領域に所望の部分を「スクロールする」ことで調節又は更新されることが好ましい。スクロールは、ビジュアルプレゼンテーションがディスプレイにわたり滑るように見えるように滑らかであるか、又は、ビジュアルプレゼンテーションがディスプレイにわたるステージでシフトされるようにインクリメンタルである。スクロールは、ポインティングデバイスが合わせた方向を反映し、ポインティングデバイスが「北東」の方向、すなわちディスプレイの中央からディスプレイの右上コーナを越えて対角線に移動した場合に、コンテンツ又はビジュアルプレゼンテーションは、ビジュアルプレゼンテーションの目標とされる部分を示すために「南西」方向でスクロールされる。要するに、ポインティングデバイスは、必ずしも直線ではなく、何れかの方向で移動される。スクロールは、ポインティングデバイスがユーザにより移動されるとすぐ始動し、連続的に、その移動を反映し、ポインティングデバイスが停止するとすぐに停止する。代替的に、スクロールは、ユーザがポインティングデバイスを移動したときにはじめに行われ、次いでユーザがそれを狙って終了するやり方で示される。

本発明の好適な実施の形態では、スクロールの速度は、ターゲットとディスプレイにおける基準ポイントとの間の距離により決定され、ユーザがポインティングデバイスを向けるディスプレイから離れると、スクロールの速度がが高速になる。これは、ディスプレイのサイズに関して非常に大きなビジュアルプレゼンテーションのケースで特に適切であり、この大きなディスプレイを通したスクロール又はナビゲーションが余りに長くかからない。

本発明の更なる好適な実施の形態では、スクロールの速度は、ポインティングデバイスの動きの速度により決定される場合がある。たとえば、ユーザがディスプレイから緩やかに離れてポインティングデバイスを移動させる場合、ビジュアルプレゼンテーションは、所望のコンテンツを示すために相応して緩やかに調節される。ディスプレイから離れるポインティングデバイスの迅速な動きは、ディスプレイにおけるビジュアルプレゼンテーションの相応した迅速なアップデート又は調節となる。ポインティングデバイスにより後続される動きの速度及びパスは、適切な分析技術又はアルゴリズムをカメラで撮影された画像に適用することで決定することができる。また、ポインティングデバイスは、その相対的な動きを検出及び報告するために動きセンサを組み込んでいる。かかる動きセンサは、ユーザが休止状態からポインティングデバイスを取り上げるか又は移動させるとすぐにアクチベートされる。

本発明の代替的な実施の形態では、ビジュアルプレゼンテーションを通したスクロールによりディスプレイを更新する代わりに、ディスプレイは、スクロールなしに、ある瞬間で更新され、オリジナルコンテンツは、ポインティグデバイスにより向けられるターゲットを包含するビジュアルプレゼンテーションのその部分により一度にシンプルに置き換えられる。

ポインティングデバイスは、ディスプレイにおけるビジュアルプレゼンテーションの調節をアクティブ又は非アクティブにする制御入力を備えることが好ましい。かかる制御入力は、ディスプレイから離れ所望のターゲットに向けてポインティングデバイスを移動させるときにユーザが押し下げ、ポインティングデバイスが所望のターゲットに向けられるときにリリースするためのポインティングデバイスのボタンである。ボタンが押し下げられる限り、スクロールは意味のある特徴としてアクチベートされ、ビジュアルプレゼンテーションは、カメラにより記録される画像に従って更新される。ボタンがリリースされる限り、ポインティングデバイスは、不作動又は休止状態に戻る。

ポインティングデバイスに有益に追加されるものは、たとえばレーザといった集中された光ビームのソースであり、これは、ポインティングデバイスが向けられるのと本質的に同じ方向において、好ましくはカメラにより捕捉されるターゲットエリアの中央において、集中された光ビームが放出されるようなやり方でポインティングデバイスに配置される。かかる光ソースは、レーザポインタのような装置で一般に使用される。光ポイントは、光ビームがそのパスにおけるオブジェクトに衝突する場所であれば何処でも現れる。ここで、ユーザがポインティングデバイスをどの方向に向けているかを光ポイントが非常に正確に示すため、光ポイントは、所望のターゲットポイントにポインティングデバイスを向けることにおいてユーザを支援する。

ビジュアルプレゼンテーションのその部分の周りのディスプレイの輪郭が表示されている状態で、全体のビジュアルプレゼンテーションを見る可能性をユーザに提供することは都合が良い。このため、全体のビジュアルプレゼンテーションは、ディスプレイの小さなセクションで適切にスケールダウンされて示されるか、又は、ディスプレイの実際の内容を簡単に置き換える場合がある。ユーザは、ビジュアルプレゼンテーションを容易にナビゲートして、比較的大きなビジュアルプレゼンテーションを通したナビゲーションを容易にする。ユーザは、かかるステップを始動するためにポインティングデバイスを使用する。たとえば、ユーザは、円を描くことによるか、又は前後にポインティングデバイスをはじくことによるような、予め定義されたやり方でポインティングデバイスをウェーブする。代替的に、ユーザは、ディスプレイでポインティングデバイスを向ける間にポインティングデバイスのボタンを押すか、又はディスプレイに関連されるキーパッド又はキーボードを介して適切なコマンドを入力する。

全体のピクチャにおけるビジュアルプレゼンテーションの表示される部分を迅速に配置する別の方法では、ポインティングデバイスは、更なる「ズーム」機能を提供する場合がある。したがって、ディスプレイで表示されるビジュアルプレゼンテーションの量は、ポインティングデバイスとディスプレイとの間の距離により示されることが好ましい。たとえば、ディスプレイにポインティングデバイスを向け、同時に、それをディスプレイから後方に離れて移動させることで、その多くがディスプレイに表示されるように、ビジュアルプレゼンテーションが低減又は「収縮」される。ユーザは、ビジュアルプレゼンテーションにおいて彼のベアリングを容易に発見する。ディスプレイに向けてポインティングデバイスを後方に移動させることで、ビジュアルプレゼンテーションのオリジナルの拡大率を回復することができる。

ユーザがポインティングデバイスを向けるターゲット又はターゲットポイントを容易に判定するため、デバイス制御インタフェースの画像分析ユニットは、通常の画像処理技術又はコンピュータビジョンアルゴリズムを適用することで、ポインティングデバイスのパスを追跡することが好ましい。ターゲットエリアの画像は、たとえば強調された輪郭、コーナ、エッジ等といった全体の画像の重要な部分のみに関する画像データを含むか、又は、画質をもつ詳細画像である場合がある。画像分析ユニットにより計算されるパスは、その後、ユーザがディスプレイで見るのを好むビジュアルプレゼンテーションのその部分を識別するため、ビジュアルプレゼンテーションに効果的に「重ね合わされる」。

コンピュータビジョンアルゴリズムを使用したターゲットエリアの画像を処理する方法は、ターゲットとなる画像における別個のポイントを検出し、テンプレートにおける対応するポイントを決定し、及び、ディスプレイに関連する幾つかの基準ポイントに関連するポインティングデバイスの進行のパスを計算するステップを有する。基準ポイントは、ディスプレイの中央、ディスプレイのコーナ、又は他の適切なポイントである。基準ポイントは、ポインティングデバイスのトラベルの経路を計算するとき、この１つの基準ポイントが常に使用されるように、固定、すなわち予め決定される場合がある。代替的に、ポインティングアクションをユーザが始動するたびに、基準ポイントが新たに定義される。この目的のため、画像分析ユニットは、第一の画像の１つから適切なポイントをシンプルに取り、トラッキング計算の基準ポイントとしてこのポイントを使用する。

その周囲が相当に変化しないディスプレイについて、画像分析ユニットにその周囲をもつディスプレイの画像又はテンプレートを提供することは都合がよい。次いで、ポインティングデバイスのパスのトラッキングは、テンプレートの１つに最終的なターゲットエリアの画像を整合させる比較的シンプルなタスクに低減される。ディスプレイにおける基準ポイントに対するターゲットポイントの相対的な位置は、容易に計算することができ、ビジュアルプレゼンテーションにおける対応するエリアは、同様に容易に識別され、ディスプレイで表示される。

何れかのロケーションでセットアップされるプロセッサのスクリーン又はバックドロップのような、その周囲が異なる時間で異なって見えるディスプレイのケースでは、ポインティングデバイスのパスのトラッキングのプロセスは、画像分析ユニットにディスプレイの少なくともテンプレート、特にディスプレイのエッジを供給することで簡略化される。画像分析ユニットは、ポインティングデバイスが移動されたときにカメラにより生成される連続する画像を連続的に比較することで、ポインティングデバイスが移動される方向を判定し、ポインティングデバイスがディスプレイのエッジを通過する方向を判定する。次いで、画像分析ユニットは、容易に識別可能なオブジェクト又はポイントを選び、そのポイントを連続する画像にわたり追跡する。多数のかかるポイントは、最終的なターゲットエリアの画像に到達するまで、選ばれ、追跡される。このステージにより、画像分析ユニットは、ターゲットポイントのパスを追跡し、所望のコンテンツを識別するため、このパスをビジュアルプレゼンテーションに与える。次いで、ディスプレイは、これらの所望のコンテンツを示すために更新又は調整される。また、ポインティングデバイスの移動の速度は、スクロールに比例する速度を適用することができるように、これらトラッキング技術を使用することで決定される。

ターゲットポイントをトラッキングする別のやり方は、ポインティングデバイスが移動する方向、及びポインティングデバイスが進む距離を検出するために動きセンサを使用することによる。ディスプレイにおける基準ポイントに関するポインティングデバイスの動きは、ポインティングデバイスに組み込まれるか、ユーザがポインティングデバイスを保持する手でユーザにより身に着けられる、動きセンサを使用して検出される。たとえば、幾つかの状況では、ディスプレイの周囲は、ターゲットのパスをトラッキングするのに画像分析ユニットを支援する適切なポイントを常に提供しない。ディスプレイは、何れかのマーキングなしに平坦で一様な表面に設定される。かかる状況では、ディスプレイの少なくとも１部がターゲットエリアの画像のそれぞれにおいて表示される場合に、ターゲットポイントを追跡するので、動きセンサは、既に記載されたトラッキング技術を補充するために使用され、ビジュアルプレゼンテーションのサイズは、ディスプレイの大きさ及びカメラの機能によりこのケースにおいて制限される。この制限は、動きセンサを使用してポインティングデバイスのパスを追跡することで除かれる。初期画像は、ディスプレイにおける基準ポイントを識別するために使用され、その後、ユーザがたとえばポインティングデバイスのボタンをプレス又はリリースするか、又は予め定義された長さの時間についてポインティングデバイスを安定に保持することによるといったやり方で、ユーザがビジュアルプレゼンテーションにおける所望のロケーションにポインティングデバイスを向けることを示すまで、ターゲットのパスは、動きセンサにより供給される情報を使用することで決定される。このケースでは、ユーザが横方向でポインティングデバイスを実際に移動させる代わりに、それを傾ける場合に、正味の線形な動きは、ポインティングデバイスとディスプレイとの間の距離を考慮して、ポインティングデバイスが傾斜される角度から推測される必要がある。

したがって、ポインティングデバイスにより向けられるターゲットポイントに追従するパスは、画像及び動きセンサ情報におけるトラッキングポイントの組み合わせを使用して計算されることが好ましい。

ディスプレイ及び／又はその周囲のテンプレートは、ディスプレイ制御インタフェースの内部メモリに記憶されるか、又は、外部ソースから同様にアクセスされる。好ましくは、ディスプレイ制御インタフェースは、たとえば内部又は外部メモリ、メモリスティック、イントラネット又はインターネットからディスプレイの予め定義されたテンプレートを取得するための適切なインタフェースをもつアクセスユニットを有する。このように、ディスプレイのユーザは、たとえば、ディスプレイ及びその周囲の画像を撮影し、それらをディスプレイ制御インタフェースにダウンロードすることで、ディスプレイが新たなロケーションに移動されたときは何時でも、又は、ディスプレイの周囲が変化するときは何時でもテンプレートを更新する。ディスプレイの製造業者は、ディスプレイの適切なテンプレートを供給し、必要に応じてこれらを更新する。

好ましくは、ディスプレイを制御するディスプレイ制御インタフェースは、ポインティングデバイスに組み込まれる。このケースでは、ディスプレイ制御インタフェースは、カメラから直接画像を取得するので、受信機を必要としない。画像分析及び制御信号生成は、ポインティングデバイスで行われ、制御信号は、ポインティングデバイスから直接にディスプレイに適切な形式で送信される。

他方で、これらのユニットの機能は、手に心地よく保持されるように実現されることが好ましいポインティングデバイスの物理的な大きさにより制限されるので、かかる画像分析ユニットは、原始的な画像分析で十分であり、大きなユニットを必要とする更に進展された画像処理は、制御信号生成と合わせて、外部のディスプレイ制御インタフェースで行われる。

本発明の特に好適な実施の形態では、ポジショニングデバイスは、外部のディスプレイ制御インタフェースに画像を送信する送出ユニット又は送信機と同様に、ディスプレイ制御インタフェースを組み込む。代替的に、ポジショニングデバイスは、画像分析及び制御信号生成機能を概して分配し、これらのタスクが外部のディスプレイ制御インタフェースにより実行するのを可能にし、これにより、ポインティングデバイスが小さな、更にコンパクトな形式で実現されるのを可能にする。

先に記載された外部ディスプレイ制御インタフェースは、スタンドアロンデバイスであるか、又は既に存在する家庭用娯楽装置、パーソナルコンピュータに組み込まれるか、若しくは、専用のディスプレイ制御インタフェースとして実現されるか、グラフィックカードで一般に見られるようなディスプレイ制御ユニットに組み込まれる。ポインティングデバイスからの情報を受けるため、外部のディスプレイ制御インタフェースは、画像を受けるための受信ユニットを備える。

明らかに、ディスプレイ制御インタフェースは、単一のポインティングデバイスとの使用のために制限されない。何れかの数の異なるポインティングデバイスは、画像データをディスプレイ制御インタフェースに送出するために使用される。唯一のユーザが一回でディスプレイにわたる制御を有することが一般に望まれるので、それぞれのポインティングデバイスは、画像と共にある種の識別番号をディスプレイ制御インタフェースに送出し、このインタフェースは、どのポインティングデバイスが現在「アクティブ」であるかを判定するため、ある種の優先権又は待ち行列管理を有することが好ましい。進展された実現は、画像データと合わせて認証コードを送出するポインティングデバイスを予測し、たとえば、ビジュアルプレゼンテーションの所定のエリアは、必要な認証なしにユーザにとって「境界外」である。認証コードは、ポインティングデバイスにおいて信号線で接続されるか、又は、適切なインタフェースを通してダウンロードされるか、たとえば適切な制御入力によるといったやり方でユーザにより入力される。

本発明は、全体で、何れかのタイプのディスプレイを制御するための容易かつ柔軟な方法を提供する。使用の容易さのため、ポインティングデバイスは、ユーザにより心地よく握られる長く延びた形式でのワンド又はペンの形状である。ユーザは、ディスプレイから心地よい距離に位置される間、ターゲットにポインティングデバイスを向けることができる。同様に、ポインティングデバイスは、ピストルの形式で成型される。さらに、ユーザが暗がりにおいてさえ、ディスプレイを制御するためにポインティングデバイスを使用するように、光源は、ポインティングデバイスが向けられるエリアを照明する役割を果たす、ポインティングデバイスに組み込まれるか搭載される。

ポインティングデバイス及びディスプレイ制御インタフェースは、実用的に何れかの種類の環境での使用のため、性能の高いディスプレイ制御システムを与えるために結合される。たとえば空港又は展示の環境での使用を発見することが考えられ、旅行者又はゲストは、ポインティングデバイスを使用して、便利かつ直観的なやり方で拡張的な情報ディスプレイを通して誘導することができる。

本発明の他の目的及び特徴は、添付図面と共に考慮される以下の詳細な説明から明らかになるであろう。しかし、図面は例示の目的に設計され、本発明の制限の定義として設計されていない。図面において、同じ番号は全体を通して同じオブジェクトを示している。

図１は、ディスプレイ４を制御するシステム１５を示している。本発明の特に適切なアプリケーションは、ビジュアルプレゼンテーションをプロジェクタスクリーンのようなバックドロップに投影するために使用される「ビーマ“beamer”」である。このケースでは、図面における明確さのため、ディスプレイ４は、パーソナルコンピュータのような装置１０のモニタである。一般に、かかる装置１０は、たとえばグラフィックカードといったディスプレイ制御ユニット５を組み込む。ディスプレイ４の内側又は外側のエリアにポインティングデバイス１を向けることで、ユーザは、表示されるビジュアルプレゼンテーションＶＰの所望の調節を示す。かかるビジュアルプレゼンテーションＶＰは、ユーザがナビゲートしているメニューヒエラルキーであるか、又は、スクリーン４に表示される何れかのタイプの画像である。この目的のため、ユーザは、全体のビジュアルプレゼンテーションＶＰを「見る」ことができることを想像し、ユーザがディスプレイ４に示されるのを好むその部分にポインティングデバイス１を向ける。この例では、ユーザは、基準ポイントＰ_Cが配置されるディスプレイ４の何処かにポインティングデバイス１を向け、ビジュアルプレゼンテーションＶＰの所望の部分が発見されることをユーザが想像する、ディスプレイ４の左に向かってポインティングデバイス１を移動させることでスクロールプロセスを始動することが想定される。

ポインティングデバイス１におけるカメラ２は、ポインティングデバイス１が向けられる方向Ｄにおいて、ポインティングデバイス１の前のターゲットエリアＡの画像を生成する。カメラ２により生成されたそれぞれの画像は、ターゲットポイントＰ_T を中心とする。画像は、ディスプレイ制御インタフェース８にポインティングデバイス１の送出ユニット１２により送出される。

ディスプレイ制御インタフェース８の受信機９は、画像３を受け、それらを画像分析ユニット６に送出し、このユニットは、画像３を分析して、画像３におけるターゲットポイントＰ_Tと基準ポイントＰ_C、このケースでのディスプレイ４の中央との間の関係を判定する。この目的のため、既に記載されたトラッキング技術が使用され、連続的な画像３のポイントを識別及び追跡し、ポインティングデバイス１のパスを判定し、望まれる場合にその動きの速度を判定する。画像分析の結果は、制御信号発生器７に送出され、この発生器は、これに相応して制御信号１７を発生する。これらは、アプリケーションインタフェース１１に通過され、このインタフェースは、ディスプレイ制御ユニット５に送信に適した形式で信号２７を送出する前に必要な変換を実行する。

受信された信号２７は、パーソナルコンピュータ１０のモニタ４を駆動するために使用される信号３７を与えるため、ディスプレイ制御ユニット５により処理される。
ユーザは、水平又は垂直でのスクロールに限定されないが、適切な方向でポインティングデバイス１１を単に向けることで、ビジュアルプレゼンテーションＶＰに対角線にスクロールさせることもできる。

レーザ光のビームをポインティングの方向で本質的に発生するレーザ光源がポインティングデバイス１に設けられている場合、ポインティングデバイス１の「サイトのライン“line of sight”」におけるオブジェクトに光が衝突するときは何時でも目に見える、続いて起こる光の点は、ユーザが所望の方向で正しく狙いをつけるのを支援する。好ましくは、光の点は、ターゲットポイントと正確に一致する。

ディスプレイ制御インタフェースは、スタンドアロン装置である必要がない。かかるインタフェースの機能は、ポインティングデバイス自身に統合される。図２は、かかるポインティングデバイス１の構成モジュールを更に詳細に示している。カメラ２は、ポインティングの方向Ｄにおいて、ポインティングデバイス１の前のエリアの画像３を生成する。ポインティングデバイス１は、この実施の形態では長く延びた形式を備えており、ポインティングの方向Ｐがポインティングデバイス１の長手方向の軸に沿って存在する。カメラ２は、ポインティングデバイス１の前方に位置され、図示されないユーザが狙いをつけるポインティングデバイス１の前にあるエリアで画像３が生成される。

これらの画像３は、画像分析ユニット６に通過され、ここで画像が解析される。解析の結果は、制御信号発生器７’に送出され、ここでディスプレイのための制御信号１７が発生される。画像分析のみによりビジュアルプレゼンテーションＶＰの所望の部分を判定するのに加え、又はその代替として、ポインティングデバイス１における動きセンサ１６は、基準ポイントに関してポインティングデバイス１の位置又は動きに関する情報１８を伝達する。この情報１８は、スクロールの量及び方向を決定するために使用されるか、又は画像分析の補足として使用することができる。

この例では、ユーザは、ポインティングデバイス１に搭載されたボタンのような、制御入力１３によりスクロールプロセスをアクティブ又は非アクティブにすることができる。ユーザは、一般的な所望の方向でポインティングデバイス１の狙いをつけ、ユーザがポインティングデバイス１に適切に狙いをつけたとき、ユーザは、制御入力１３を押すことでユーザの意図を示すことができる。制御入力１３からの適切な信号１４は、ビジュアルプレゼンテーションＶＰの所望の部分をユーザが示したことを示して、制御信号発生器７’に送出される。制御信号発生器７’は、画像３、制御入力信号１４及び／又は動きセンサ情報１８に基づいて制御信号１７を発生する。制御信号１７は、図示されないが、ディスプレイ制御インタフェース８’のアプリケーションインタフェース１１’により、たとえばＢｌｕｅｔｏｏｔｈ８０２．１１ｂ又は移動電話規格といった無線方式で、ディスプレイユニット８’に送信される。

ポインティングデバイス１は、画像３を連続的に生成し、制御信号１７を送出するか、又は、所定の時間の長さの間に動かない場合に自動的に動作を停止する。このため、動きセンサ１６は、休止状態からはじめに移動されたとき、ポインティングデバイス１をアクチベートし、所定の予め定義された時間長について動きに変化がない場合に、ポインティングデバイス１を休止状態に戻す。図示されないが、ポインティングデバイス１は大部分がバッテリにより電力供給されるので、バッテリの寿命を長くするため、ビジュアルプレゼンテーションＶＰにおけるあるポイントにポインティングデバイス１を実際に向けるとき、ディスプレイ制御インタフェースにデータを送信することは都合がよい。

図２に例示されるように、画像処理及び制御信号を実行するのが可能であることは、ポインティングデバイス１が図１に記載されるように個別のディスプレイ制御インタフェース８と通信することを必ずしも必要としないことを意味する。画像分析の品質は、小型かつ実用的なフォーマットで実現される可能性が最も高い、ポインティングデバイス１の物理的な大きさにより制限されるため、この「スタンドアロン」の実施の形態は、画像分析の精度が特に重要ではない状況、又はポインティングデバイス１が外部のディスプレイ制御インタフェース８と通信不可能な状況で十分なものである。

この実施の形態は、勿論、ローカルディスプレイ制御インタフェース８’に加えて、ポインティングデバイス１が図１に記載される送出ユニット１２の利益となるように、単なる図１の拡張であり、そのスタンドアロン機能に加えて、外部のディスプレイ制御インタフェース８と共に動作するのを可能にする。

代替的な実施の形態が図３に示されており、テレビジョンのような装置１０のディスプレイ４のディスプレイ制御インタフェース８’’は、装置１０それ自身に組み込まれる。テレビジョン１０のディスプレイ４を制御するポインティングデバイス１は、ポインティングデバイス１のカメラ２により生成されるターゲットエリアＡの画像３を送出するために送出ユニット１２を組み込むことが必要である。受信機９’’は、画像３を受け、それを画像分析ユニット６’’に送出し、このユニットで、これらの画像が解釈され、制御信号発生器７’’に送出される。ここで、制御信号１７は、生成されて、テレビジョン１０のグラフィックカードのようなディスプレイ制御ユニット５に送出され、ビジュアルプレゼンテーションＶＰがテレビジョンスクリーン４で相応して調整される。ディスプレイ制御インタフェース８’’は、ディスプレイ制御ユニット５の一部であり、逆も然りである。

図４ａから図４ｈは、ディスプレイ４におけるビジュアルプレゼンテーションＶＰをスクロールするプロセスを更に詳細に説明している。ユーザは、ディスプレイ４の画像を観察している。画像の明確さのため、この例における画像又はビジュアルプレゼンテーションＶＰは、チェスゲームにおけるステージの図である。このビジュアルプレゼンテーションＶＰは、図４ａにおいて完全な形で示されている。

図４ｂに示されるように、ビジュアルプレゼンテーションＶＰの一部のみ、このケースでは左下コーナが、テレビジョン、パーソナルコンピュータ等のような装置１０のディスプレイであるディスプレイ４にフィットすることができる。ユーザは、この例では、ビジュアルプレゼンテーションＶＰの右上コーナにパンする（カメラが動く）ことを望む。このため、ユーザは、まるでユーザが完全な形でビジュアルプレゼンテーションＶＰを「見る」かのように、ディスプレイ４でのポインティングからビジュアルプレゼンテーションＶＰの右上コーナにおける想像上のポイントにポインティングデバイスを移動させる。

ユーザがディスプレイ４から離れ、所望のターゲットに向けてポインティングデバイス１を移動させる間、カメラ２は、ポインティングデバイス１により示されたエリアの連続する画像を生成する。図では、全体のビジュアルプレゼンテーションＶＰが示され、これによりディスプレイ４に示されていないビジュアルプレゼンテーションＶＰの一部は、色において明るく、所望のターゲットにポインティングデバイス１を向けたときにユーザが想像する「仮想的な」ビジュアルプレゼンテーションを例示する役割を果たす。明確さのため、図４ｃから図４ｆには、４つのかかる画像３ａ，３ｂ，３ｃ，３ｄのみが示されている。現実には、画像の数は、カメラ２の機能及び所望の精度に依存して、かなり大きい。図４ｃから図４ｅは、図４ｆに示される最終的な画像３ｄの途中で作られるターゲットエリア画像３ａ，３ｂ，３ｃを示しており、「遷移する“transient”」ターゲットポイントは、Ｐ₁，Ｐ₂，Ｐ₃により示される。

ポインティングデバイス１が移動される方向を判定するため、画像分析ユニットは、連続する画像における対応するポイントのセットを発見する。このため、パターンマッチング技術が使用される場合があり、この場合、ディスプレイのエッジ又はコーナを示す画像は、ポインティングデバイス１の動きを追従するため、ディスプレイのテンプレートと比較される。

ディスプレイ４の右上コーナは、ターゲットエリアの画像の座標（ｘ₁，ｙ₁）をもつ第一のターゲットエリア画像３ａにおけるポイントを与える。この第二の画像における同じポイントは、ターゲットエリア画像３ｂにおける新たな位置に移動され、ここで座標（ｘ₂，ｙ₂）を有する。同様に、第三の画像３ｃでは、ディスプレイの右上コーナは、座標（ｘ₃，ｙ₃）を有する。このポイントが連続する画像で「動いた」ように見える方向を計算することで、画像分析ユニットは、ポインティングデバイス１の進行の経路を計算する。コーナのような容易に識別可能なポイントといった新たなポイントが必要に応じて識別される。ここで、ディスプレイ４の右上コーナに対応するポイントはポインティングデバイス１により向けられるターゲットエリアから消える恐れがあるので、座標（ｘ₄，ｙ₄）をもつ更なるポイントは、ターゲットエリア画像３ｃで識別される。最終的な画像３ｄでは、新たなポイントは「移動され」、ここで座標（ｘ₅，ｙ₅）を有する。

最後の画像３ｄが分析される時間まで、画像分析ユニットは、図４ｇに示されるように、ポイントにより進行されるパスを計算するのに十分なデータを有しており、基準ポイントＰ_Cに関する最後のターゲットポイントＰ_Tの位置を計算することができる。この情報により、制御信号発生ユニットは、最後のターゲットポイントＰ_Tを包含する部分を示すため、ビジュアルプレゼンテーションＶＰをスクロールするための必要な制御信号を発生することができる。ビジュアルプレゼンテーションＶＰの所望の部分は、図４ｈに示されるように、スクリーン４に示される。

本発明は好適な実施の形態及びその変形例の形式で開示されたが、本発明の範囲を逸脱することなしに様々な更なる変更及び変形例がなされることが理解される。ペン形状の代替として、ポインティングデバイスは、たとえばビルトインカメラをもつパーソナルデジタルアシスタント（ＰＤＡ）、又はビルトインカメラをもつモバイルフォンである。

明確さのため、「有する“comprise”」は、他のステップ又はエレメントを排除するものではない。「ユニット“unit”」は、単一のエンティティとして明示されない場合には、多数のブロック又は装置を有する場合がある。

本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースを含むシステムの概念図である。 本発明の実施の形態に係るポインティングデバイスの概念図である。 本発明の実施の形態に係るポインティングデバイス及びディスプレイ制御インタフェースの概念図である。 ビジュアルプレゼンテーションの概念図である。 ビジュアルプレゼンテーションの第一の部分を示すポインティングデバイス及びディスプレイの概念図である。 ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。 ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。 ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。 ビジュアルプレゼンテーションのターゲットエリア画像を示す図である。 ディスプレイ及びビジュアルプレゼンテーションの概念図であり、ビジュアルプレゼンテーションの一部がディスプレイに表示されている。 ビジュアルプレゼンテーションの第二の部分を示すディスプレイの概念図である。

Claims (11)

1. ディスプレイを制御するシステムの動作方法であって、
   当該方法は、
   前記システムの前記ディスプレイにビジュアルプレゼンテーションの一部を表示するステップと、
   カメラを有する、前記システムのポインティングデバイスをターゲットエリアに向けるステップと、
   前記カメラが、前記ポインティングデバイスが向けられているターゲットエリアの画像を生成するステップと、前記ターゲットエリアの画像の中心は、前記ディスプレイの表示領域の外にあるターゲットポイントと呼ばれ、
   前記システムの決定手段が、生成された前記ターゲットエリアの画像に基づいて、前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を決定するステップと、
   前記システムの調整手段が、決定された前記ターゲットポイントの位置に基づいて、前記ターゲットポイントを包含する前記ビジュアルプレゼンテーションの一部が前記ディスプレイで表示されるように、前記ディスプレイにおいて前記ビジュアルプレゼンテーションを調整するステップと、
   を含む方法。
2. 前記調整手段による調整するステップは、前記ディスプレイにおいて前記ビジュアルプレゼンテーションをスクロールするステップを含む、
   請求項１記載の方法。
3. 前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールの速度は、前記ディスプレイにおけるある基準ポイントと前記ターゲットエリアにおける前記ターゲットポイントとの間の距離に基づいて決定される、
   請求項２記載の方法。
4. 前記ディスプレイにおける前記ビジュアルプレゼンテーションのスクロールの速度は、前記ビジュアルプレゼンテーションを表示している前記ディスプレイに対する前記ポインティングデバイスの動きの速度に基づいて決定される、
   請求項２又は３記載の方法。
5. 前記調整手段による調整ステップは、前記ポインティングデバイスと前記ディスプレイとの間の距離に基づいて、ディスプレイで表示することができる前記ビジュアルプレゼンテーションを縮小するステップを含む、
   請求項１乃至４のいずれか記載の方法。
6. ディスプレイを制御するシステムであって、
   ポインティングデバイスが向けられている方向におけるターゲットエリアの画像を生成する、カメラを有するポインティングデバイスと、前記ターゲットエリアの画像の中心は、前記ディスプレイの表示領域の外にあるターゲットポイントと呼ばれ、
   前記ターゲットエリアの画像を分析し、画像分析の結果に基づいて前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を決定する画像分析ユニットと、
   前記画像分析の結果に従って、前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を示す制御信号を生成する制御信号発生ユニットと、
   前記制御信号を利用して、前記ターゲットポイントを包含する前記ビジュアルプレゼンテーションの一部が前記ディスプレイで表示されるように、前記ディスプレイにおいて前記ビジュアルプレゼンテーションを調節するディスプレイ制御ユニットと、
   を有するシステム。
7. 請求項６記載のシステムで使用されるポインティングデバイスであって、
   当該ポインティングデバイスが向けられている方向におけるターゲットエリアの画像を生成する前記カメラと、
   前記ディスプレイ制御ユニットと通信するディスプレイ制御インタフェースとを有し、
   前記ディスプレイ制御インタフェースは、
   前記ターゲットエリアの画像を分析する前記画像分析ユニットと、
   前記画像の分析の結果に従って前記ディスプレイ制御ユニットの前記制御信号を発生する前記制御信号発生ユニットと、
   前記ディスプレイ制御ユニットに前記制御信号を送出する送出ユニットと、
   を有する請求項６記載のシステムで使用されるポインティングデバイス。
8. 請求項６記載のシステムで使用されるポインティングデバイスであって、
   当該ポインティングデバイスが向けられている方向におけるターゲットエリアの画像を生成する前記カメラと、
   生成されたターゲットエリアの画像を、該画像に基づいて前記ディスプレイ制御ユニットの前記制御信号を発生する外部のディスプレイ制御インタフェースに送出する送出ユニットと、
   を有するポインティングデバイス。
9. 前記ポインティングデバイスの相対的な動きを検出する動きセンサを有する、
   請求項７又は８記載のポインティングデバイス。
10. 前記ディスプレイ制御ユニットの前記ディスプレイにおける前記ビジュアルプレゼンテーションに対する調節の機能を有効又は無効にする制御入力を有する、
    請求項７乃至９の何れか記載のポインティングデバイス。
11. ポインティングデバイスが向けられているターゲットエリアの画像を前記ポインティングデバイスから受ける受信手段と、前記ターゲットエリアの画像の中心は、前記ディスプレイの表示領域の外にあるターゲットポイントと呼ばれ、
    前記ターゲットエリアの画像を分析し、分析結果に基づいて前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を決定する画像分析手段と、
    前記画像分析の結果に従って、前記ビジュアルプレゼンテーション内の前記ターゲットポイントの位置を示す、ディスプレイ制御ユニットのディスプレイ制御信号を発生する制御信号発生ユニットと、
    前記ディスプレイ制御信号を利用して、前記ターゲットポイントを包含する前記ビジュアルプレゼンテーションの一部が前記ディスプレイに表示されるように前記ディスプレイにおいて前記ビジュアルプレゼンテーションを調整するため、前記ディスプレイ制御ユニットに、前記ディスプレイ制御信号を伝達する送出ユニットと、
    を有するディスプレイ制御インタフェース。

Images