JP4927021B2 - 画像表示装置のカーソル制御装置及び制御方法、ならびに画像システム - Google Patents

Description

本発明は、一般に、切換メカニズムを用いて、二つの方式で画像表示装置のカーソルを制御する画像表示装置のカーソル制御装置及び制御方法、ならびに画像システムに関する。

本願発明は、ここに参照して本明細書に援用する２００７年４月２４日出願の台湾出願第０９６１１４３７８号における全開示内容に対して優先権主張するものである。

コンピュータスクリーン等の従来の画像表示装置は、マウス等の光学ナビゲーションセンサを使用して異なる時間に撮像し、異なる時間に撮像された画像の間の相関性を比較することにより、表面に対する光学ナビゲーションセンサの移動量を判定し、画像表示装置上のカーソルの動きを相対的に制御する。ユーザが、画像表示装置で、例えば銃撃ゲームを実行しようとする場合には、例えば特許文献１に開示されているポインタ定位装置等の他のポインタ定位装置を追加で購入しなければならない。このポインタ定位装置には制御回路が設置されており、この制御回路はカメラと、計算ユニットと、通信インターフェースとそれぞれ接続している。通信インターフェースはホストと接続し、カメラの前方に光フィルタが設置され、画像表示装置のスクリーンには、カメラに撮像されるための複数の発光デバイスが設置されている。ユーザがポインタ定位装置を使用してホストのプログラムを実行する場合、カメラを使ってスクリーンを撮像する。カメラは光フィルタが設置されているため、発光デバイスから生成される光の帯域以外の帯域の光を排除でき、カメラにより撮像された画像には発光デバイスのイメージのみが含まれるようになる。計算ユニットは、スクリーン上のカメラの照準点の座標値を求め、それがホストに送信される。ホストが、この座標値に基づき画像表示装置上のカーソルの制御を行う。

しかし、実際の使用においては、他のポインタ定位装置を追加で設置することは、コストを上昇させるだけでなく、ポインタ定位装置を使用していないときに、収納スペースが必要になるという問題がある。上記原因に鑑み、画像表示装置の実用性を高めるべく従来の画像表示装置のカーソル制御装置及び方法をさらに改良する必要がある。
台湾特許公告第２６７７５４号

本発明の目的は、切換メカニズムを使用して、二つの方式で画像表示装置上のカーソルの動きを制御し、画像表示装置の実用性を高めるための画像表示装置のカーソル制御装置及び制御方法を提供することにある。

本発明の他の目的は、二つの制御方式を一つのカーソル制御装置に組み入れて、システム構造を簡略化し、かつコストを低下させるための画像システムを提供することにある。

上述した目的を達成するために、本発明は第一のセンサユニットと、第二のセンサユニットと、切換装置とを備える画像表示装置のカーソル制御装置を提供する。第一のセンサユニットは、表面に対するカーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき画像表示装置上のカーソルの第一の座標変化を算出する。第二のセンサユニットは、物体を検出し、該物体に対するカーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき画像表示装置上のカーソルの第二の座標変化を算出する。切換装置は、第一の座標変化又は第二の座標変化を切り替えて出力する。

本発明の別の態様によれば、本発明は、画像表示装置、少なくとも一つの物体、カーソル制御装置及び座標処理部を備える画像システムを提供する。画像表示装置は、カーソルが表示されている画像を表示するスクリーンを備える。カーソル制御装置は、表面に対するカーソル制御装置の第一の移動量を検出し、該第一の移動量に基づきカーソルの第一の座標変化を算出する第一のセンサユニットと、物体を検出し、該物体に対するカーソル制御装置の第二の移動量を検出し、該第二の移動量に基づきカーソルの第二の座標変化を算出する第二のセンサユニットと、第一の座標変化又は第二の座標変化を切り替えて出力する切換装置と、切換装置により出力された第一の座標変化或いは第二の座標変化を送信する通信インターフェースとを備える。座標処理部は、通信インターフェースから第一の座標変化或いは第二の座標変化を受信し、該第一の座標変化或いは第二の座標変化を画像表示装置上のカーソルの座標に結合させることにより、カーソル制御装置がスクリーン上のカーソルの動きを制御できる。

本発明の他の態様によれば、本発明は画像表示装置のカーソル制御方法をさらに提供する。その制御方法は、第一のセンサユニットと第二のセンサユニットとを備えるカーソル制御装置を提供するステップと、第一のセンサユニットにより表面に対するカーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき画像表示装置上のカーソルの第一の座標変化を算出するステップと、第二のセンサユニットにより物体を検出し、該物体に対するカーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき画像表示装置上のカーソルの第二の座標変化を算出するステップと、カーソル制御装置により第一の座標変化或いは第二の座標変化を出力するステップとを備える。

本発明の他の態様によれば、本発明は画像表示装置のカーソル制御方法をさらに提供する。その制御方法は、第一のセンサユニットと第二のセンサユニットとを備えるカーソル制御装置を提供するステップと、第一のセンサユニットにより表面に対するカーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき画像表示装置上のカーソルの第一の座標変化を算出するステップと、所定の条件を満足すると、カーソル制御装置が第一の座標変化を出力するステップと、所定の条件を満足しないと、第二のセンサユニットにより物体を検出し、該物体に対するカーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき画像表示装置上のカーソルの第二の座標変化を算出し、かつカーソル制御装置から第二の座標変化を出力するステップとを備える。

本発明に係る画像表示装置のカーソル制御装置及び制御方法は、例えばコンピュータスクリーン、プロジェクションスクリーン及びゲーム機のスクリーンなどのさまざまな画像表示装置上のカーソルの制御に応用できる。ユーザが、二つの制御方式のいずれかにより画像表示装置を制御でき、画像表示装置の実用性が高まる。

この発明のさらなる目的、特徴および新たな利点は、添付図面に関連する以下の詳細な説明から一層明らかとなろう。また、本発明の実施形態において、類似の構成要素には同一参照符号が付けられている。

図１ａ及び１ｂには、本発明の実施形態に係る画像システム１が示されている。画像システム１は画像表示装置２及びカーソル制御装置３を備える。画像表示装置２は、コンピュータスクリーン、ゲーム機のスクリーン、プロジェクションスクリーン及び画像を表示するための他の装置などとすることができる。画像表示装置２に対応して、カーソル制御装置３は、例えばマウス及びゲーム制御装置などとすることができる。カーソル制御装置３が、図１ａに示すように、例えばマウスパッド或いはテーブルの表面などの表面Ｓに置かれて移動され、画像表示装置２上のカーソルの動きを相対的に制御する。なお、カーソル制御装置３が、図１ｂに示すように、ユーザ（図示せず）の手に保持されることができ、画像表示装置２上のカーソル２１の定位及び制御を行う。カーソル制御装置３は、電気的に（有線的に）或いは無線的に画像表示装置２と接続している。

画像表示装置２は、画像を表示するためのスクリーン２０を備える。スクリーン２０には、ユーザがそれを使い、画像表示装置２の設定或いは表示状態を制御できるカーソル２１が表示されることが好ましい。例えば、ユーザインターフェース或いはゲームインターフェース等の応用ソフトウェアを介し、画像表示装置２の表示設定或いはゲームの設定及び操作を制御する。画像表示装置２に内蔵できる座標処理部（図示せず）により、カーソル制御装置３が計算したカーソル２１の座標変化が、カーソル２１の座標に結合させてスクリーンに表示され、カーソル２１の動きを相対的に制御する。画像表示装置２のスクリーン２０の付近に参考用の物体２６が設置されている。物体２６は、少なくとも一つの発光ダイオードを配列して形成される光源などとすることができる。本実施形態において、物体２６は円形であるが、それは例示の実施形態に過ぎず、他の形状にすることができる。他の実施形態において、画像表示装置２のスクリーン２０に持続的に表示され、かつ画像の表示に影響しない、特定の形状を持つ二つの参考用の物体２２、２４が表示されることができる。例えば図中に、スクリーン２０の隅に二つの星型の物体２２、２４が表示されている。他の実施形態において、物体を他の形状にして、また他の位置にすることができる。他の実施形態において、物体２６が画像表示装置２に設置される代わりに、画像表示装置２の付近に位置することができる。物体２２、２４及び２６は、カーソル２１を定位及び制御するための参照点に用いられ、その詳細な説明は後述する。

図２及び３には、本発明の第一の実施形態に係るカーソル制御装置３を示す概略図及びブロック図が示されている。カーソル制御装置３はハウジング３００を備え、ハウジング３００の内部には、第一のセンサユニット３０、第二のセンサユニット３１、切換装置３２、記憶部３３及び通信インターフェース３４が設置されている。第一のセンサユニット３０は、表面Ｓに対するカーソル制御装置３の第一の移動量を検出し、該第一の移動量に基づきカーソル２１の第一の座標変化を算出する。第一の座標変化は、通信インターフェース３４により電気的又は無線的に座標処理部に送信され、スクリーン２０上のカーソル２１の座標と結合され、これにより画像表示装置２の表示及び設定を相対的に制御する。第二のセンサユニット３１は、物体２６又は２２、２４を検出し、物体２６又は２２、２４に対するカーソル制御装置３の第二の移動量を検出し、該第二の移動量に基づきカーソル２１の第二の座標変化を算出する。第二の座標変化は、同様に通信インターフェース３４により電気的又は無線的に座標処理部に送信され、スクリーン２０上のカーソル２１の座標と結合され、これにより画像表示装置２の表示及び設定を相対的に制御する。第一及び第二の座標変化を算出する過程のパラメータ及び第一及び第二の座標変化は、記憶部３３に記憶されることができる。切換装置３２は第一のセンサユニット３０及び第二のセンサユニット３１を切り替え、ユーザが第一のセンサユニット３０及び第二のセンサユニット３１のいずれかを選択し、画像表示装置２の表示及び設定を制御できるようにする。切換装置３２の各種実施形態には、例えばボタンスイッチ、水銀スイッチ、Ｇセンサ、光検出スイッチ、抵抗スイッチ及びコンデンサスイッチが含まれる。

図２、３及び４を参照すると、図４には本発明の実施形態に係る画像表示装置２のカーソル制御方法のフローチャートが示されている。そのカーソル制御方法は、第一のセンサユニット３１により表面Ｓに対するカーソル制御装置３の第一の移動量を検出し、該第一の移動量に基づき画像表示装置２上のカーソル２１の第一の座標変化を算出するステップと、第一の座標変化を出力するかどうかを判断するステップと、第一の座標変化を出力することを判断すると、第一の座標変化を出力するステップと、及び第二のセンサユニット３１により物体２２、２４又は２６を検出し、物体２２、２４又は２６に対するカーソル制御装置３の第二の移動量を検出し、該第二の移動量に基づき画像表示装置２上のカーソル２１の第二の座標変化を算出し、第二の座標変化を出力するステップとを備える。第一の座標変化を出力するかどうかを判断する方式は、例えば切換装置３２がトリガーされるかどうかを判断するものである。例えば切換装置３２が圧力スイッチである場合、切換装置３２が表面Ｓから離れると、圧力スイッチがトリガーされ第二の座標変化を出力すると判断される。一方、切換装置３２が表面Ｓから離れないと、第一の座標変化を出力すると判断される。しかしこの例は、例示の実施形態に過ぎず、本発明を限定するものではない。

図２及び３に示すように、第一の実施形態において、第一のセンサユニット３０は、光源３０２、第一のセンサ３０４、第一の処理部３０６及びレンズ３０８を備える。光源３０２は、ハウジング３００の下方に設置される穴を通って表面Ｓを照明する。光源３０２は、例えば赤外線発光ダイオード或いは赤外線レーザーダイオード等の発光ダイオード及びレーザーダイオードなどとすることができる。第一のセンサ３０４は、電荷結合素子イメージセンサ（ＣＣＤイメージセンサ）、相補型金属酸化膜半導体（ＣＭＯＳイメージセンサ）或いは他のイメージセンサなどとすることができ、表面Ｓから反射された第一のイメージの少なくとも二つのフレームを検出する。第一の処理部３０６は、第一のイメージのフレームの間の変化により、表面Ｓに対するカーソル制御装置３の第一の移動量を算出し、該第一の移動量に基づきカーソル２１の第一の座標変化を算出する。レンズ３０８は、第一のセンサ３０４の検出効率を向上するために第一のセンサ３０４の前方に設置されてもよいが、第一のセンサ３０４の検出効率が十分である場合、レンズ３０８を設置しなくてもよい。

図２、３、５ａ及び５ｂに示すように、第一の移動量を計算する一実施形態を挙げる。先ず、第一のセンサ３０４により表面Ｓの第一のフレーム８１０及び第二のフレーム８２０を検出する。図５ａに示すように、第一のフレーム８１０は、複数のイメージ画素ｕ_１、ｕ_２...ｕ_ｒ、ｕ_ｒ+１、...、ｕ_ｒ×ｓを含む。各画素は、ｕ_ｉと表示され（ｉ＝１〜ｒ×ｓ）、少なくとも座標情報及び強度情報を含む。図５ｂに示すように、第二のフレーム８２０は、複数のイメージ画素ｖ_１、ｖ_２...ｖ_ｍ、ｖ_ｍ+１、...、ｖ_ｍ×ｎを含む。各画素は、ｖ_ｊと表示され（ｊ＝１〜ｍ×ｎ）、少なくとも座標情報及び強度情報を含む。動き予測装置（例えば第一の処理部３０６）により、第一のフレーム８１０に対する第二のフレーム８２０の動きを決定する。その決定方法は、第一のフレーム８１０と第二のフレーム８２０との間の確率分布関数(ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ)の最大値を計算して動きパラメータを決定し、第一のフレーム８１０に対する第二のフレーム８２０の動きとする。動きパラメータは、ベイズ定理(Ｂａｙｅｓ’ ｔｈｅｏｒｅｍ)の条件付き確率(ｃｏｎｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ)に基づき得られた最大値である。その決定方法の詳細内容は、本出願人が所有する米国特許出願第１１／４２０，７１５号の「最大の確率により相対動きを予測する装置及び方法（Method and apparatus for estimating relative motion based on maximum
likelihood）」に記載されている。ここで説明すべきことは、上記した計算方法は、例示の実施形態に過ぎず、本発明を限定するものではない。表面Ｓに対する制御装置３の移動量を計算できる他の装置は、本発明の趣旨を逸脱しない。第一のセンサユニット３０は、光学マウス及び光学ナビゲーションセンサなどとすることができる。

図１ａ、１ｂ、２及び３に示すように、第一の実施形態の第二のセンサユニット３１は、光フィルタ３１２、第二のセンサ３１４、第二の処理部３１６及びレンズ３１８を備える。第二のセンサ３１４は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ或いは他のイメージセンサなどとすることができ、物体２２、２４或いは２６の検出に用いられ、それら物体のイメージの少なくとも二つのフレームを検出する。第二の処理部３１６は、それら物体のイメージのフレームの間の変化により、物体２２、２４或いは２６に対するカーソル制御装置３の第二の移動量を算出し、該第二の移動量に基づきカーソル２１の第二の座標変化を算出する。光フィルタ３１２は、赤外線光フィルタなどとすることができ、例えば赤外線帯域等の所定の帯域以外の帯域の光を遮断する。これにより、第二のセンサ３１４が物体２２、２４或いは２６からの光のみを検出でき、画像認識が簡略化される。レンズ３１８は、第二のセンサ３１４の検出効率を向上するために第二のセンサ３１４の前方に設置されてもよいが、第二のセンサ３１４の検出効率が十分である場合、レンズ３１８を設置しなくてもよい。なお、第二のセンサ３１４が物体２２、２４或いは２６からの光を検出できるように、ハウジング３００の前端が透明な材質により形成されることが好ましいことが理解されよう。

図１ｂ、２、３及び６〜９を参照すると、第二の座標変化を算出する一実施形態を挙げる。その方法は、所定の帯域の光を生成し、かつ所定の範囲を定義する少なくとも二つの物体を提供するステップ（ステップ１０００）と、前記所定の範囲内に照準するイメージセンサを提供するステップ（ステップ２０００）と、前記イメージセンサにより前記所定の帯域の光を受光し、ディジタル画像を生成するステップ（ステップ３０００）と、前記ディジタル画像にある前記物体のイメージの位置及び形状を判定し、第一のパラメータを生成するステップ（ステップ４０００）と、前記第一のパラメータに距離補正及び角度補正を行うステップ（ステップ５０００）と、前記イメージセンサの照準位置を前記所定の範囲内に移動させ、第二のパラメータを生成するステップ（ステップ６０００）と、前記補正された第一のパラメータ及び第二のパラメータにて、前記ディジタル画像にある前記物体のイメージの移動距離を算出することによりカーソルの座標変化を算出するステップ（ステップ７０００）とを備える。ステップ７０００において、第二のパラメータに同時に距離補正及び角度補正を行う（ステップ７１００）。

カーソル制御装置３を工場から出荷する前に、記憶部３３に所定位置パラメータ及び所定距離パラメータが予め保存されていることが好ましい。それらパラメータは、イメージセンサ（例えば第二のセンサ３１４）が物体２２、２４から、例えば３メートルなどの所定の距離で撮像した物体２２、２４の所定のイメージＩ_２２、Ｉ_２４により予め得られたパラメータであり（図７ａ）、距離補正及び角度補正を行うための基準とされる。所定位置パラメータ及び所定距離パラメータは、例えばセンサアレイの中心“＋”を原点とする平面空間などのように、第二のセンサ３１４のセンサアレイにより形成された平面空間に応じて定義することができ、ここで、センサアレイは７´７の画素アレイである。例えば、所定位置パラメータは、その平面空間にある物体２２、２４の所定のイメージＩ_２２、Ｉ_２４の平均座標（Ｘ₀、Ｙ₀）である。所定距離パラメータは、その平面空間にある物体２２、２４の所定のイメージＩ_２２、Ｉ_２４の間の距離Ｌと、それら所定のイメージＩ_２２、Ｉ_２４の平均座標（Ｘ₀、Ｙ₀）とセンサアレイの中心“＋”との間の距離Ｄとを含むことができる。

先ず、物体２２、２４は、赤外線の帯域など、所定の帯域の光を生成し、また、物体２２の面積が物体２４の面積より大きいとする。これにより、第二のセンサ３１４の視野角及び物体２２、２４の照射角度により、物体２２、２４の周りに検出可能領域“Ａ”を定義できる（ステップ１０００）。次に、カーソル制御装置３の第二のセンサ３１４を前記検出可能領域“Ａ”の中に照準させる（ステップ２０００）。本発明において、所定の帯域の光フィルタ３１２が第二のセンサ３１４の前方に設置されているため、第二のセンサ３１４のセンサアレイに、図７ａに示したＩ_２２’、Ｉ_２４’のように、物体２２、２４のイメージのみがディジタル画像に表示される（ステップ３０００）。なお、カーソル制御装置３がディジタル画像を撮像するときに、図１ｂに示す矢印方向（時計回りの方向）に沿って角度θで回転され、これにより物体のイメージＩ_２２’、Ｉ_２４’と第二のセンサ３１４が前述した所定の距離で撮像した所定のイメージＩ_２２、Ｉ_２４との間にθの回転角度の差を生じる。このように、第二のセンサ３１４が同じ位置に照準し撮像したとしても、物体のイメージＩ_２２’、Ｉ_２４’の平均座標（Ｘ、Ｙ）は、所定の物体のイメージＩ_２２、Ｉ_２４の平均座標（Ｘ₀、Ｙ₀）と一致しない。

ディジタル画像が第二の処理部３１６に送信された後、第二の処理部３１６は、物体のイメージＩ_２２’、Ｉ_２４’の位置及び形状を判定し、第一の位置パラメータ、第一の距離パラメータ及び形状パラメータを生成する（ステップ４０００）。第二の処理部３１６は、第一の位置パラメータ（例えば物体のイメージＩ_２２’、Ｉ_２４’の平均座標及びそれらイメージの連結線分の傾き角度）と所定位置パラメータ（例えば所定の物体のイメージＩ_２２、Ｉ_２４の座標及びそれらイメージの連結線分の傾き角度）との間の角度の差θにより、角度補正を行う（ステップ５０００）。角度補正は、式（１）に基づき行われる。

ここで、θは第一の位置パラメータと所定位置パラメータとの間の回転角度の差であり、Ｘ及びＹは、角度補正をする前の第一の位置パラメータの平均座標であり、Ｘ’及びＹ’は、補正後の物体のイメージの位置の平均座標である。したがって、補正された物体２２、２４のイメージの位置は、同じ基準に基づき得られたものになる。すなわち、ユーザが第二のセンサ３１４を使って物体２２、２４から同一の距離で撮像する場合、いかなる回転角度で撮像しても同じ結果が得られる。

しかしながら、その回転角度θが１８０度を越え、図７ｂに示す物体のイメージＩ_２２’’、Ｉ_２４’’になる場合、仮に物体のイメージに差がない（寸法及び形状が同じ）としたら、物体のイメージＩ_２２’’、Ｉ_２４’’は、物体のイメージＩ_２２’、Ｉ_２４’（図７ａ）を回転させて形成されたものであるか、または移動させて形成されたものであるかを判定できない。したがって、本発明には、異なる面積の二つの物体２２、２４を使い、第二の処理部３１６が得られた形状パラメータ（例えば物体の面積）に基づき物体２２、２４のイメージのそれぞれ位置を認識した後、そして角度補正を行う。これにより、第二のセンサ２１４を操作するときの回転角度が１８０度を超えても、カーソル２１の第二の座標変化の計算を正しく行える。

図８には、本発明に係る距離補正の方法が示されている。ユーザが、カーソル制御装置３の第二のセンサ３１４にて物体２２、２４のイメージを撮像する場合、カーソル制御装置３と物体２２、２４との間の距離が大きくなると、撮像された物体のイメージが小さくなり、かつそのイメージの平均座標がセンサアレイの中心“＋”に近くなる。しかしこのような動作による位置の差は、ユーザがカーソル制御装置３の照準位置を移動させたものではない。その位置の差を補正しなければ、物体２２、２４のイメージの平均座標（Ｘ、Ｙ）を計算する際に誤差が生じ、撮像距離の変化が、カーソル制御装置３の照準位置の移動であると誤認識される可能性がある。ここで、所定距離パラメータをＬとし、所定のイメージの平均座標（Ｘ₀、Ｙ₀）とセンサアレイの中心“＋”との間の距離をＤとする。また、第一の距離パラメータをｌとし、イメージの平均座標とセンサアレイの中心“＋”との間の距離をｄとする。式（２）の比例関係に基づき、距離の差を補正する（ステップ５０００）。

図９に示すように、物体のイメージが補正されると、ｉ_２２、ｉ_２４となり、これらは所定の基準に基づくイメージである。次に、画像検出可能領域“Ａ”の中にカーソル制御装置３の照準位置を移動させる（ステップ６０００）。このとき、第二のセンサ３１４は検出されたディジタル画像を第二の処理部３１６に送信し続ける。第二の処理部３１６はそのディジタル画像に基づき第二のパラメータを生成する。第二のパラメータは、第二のセンサ３１４の照準位置が移動された後の、ディジタル画像にある物体のイメージの第二の位置パラメータ及び第二の距離パラメータを含む。第二の位置パラメータは、例えばセンサアレイの中心“＋”を原点とする平面空間などのように、第二のセンサ３１４のセンサアレイにより形成された平面空間に応じた移動後の物体２２、２４のイメージの平均座標を含む。第二の距離パラメータは、上記と同じ平面空間に応じた移動後の物体２２、２４のイメージの間の距離を含む。第二の処理部３１６は、補正された第一の位置パラメータ及び第二の位置パラメータに基づき、物体のイメージｉ_２２、ｉ_２４の移動距離ΔＳ（第二の移動量）を計算し、この計算中に、正確なカーソルの座標変化を求めるために、前述した補正方式により第二のパラメータに角度補正及び距離補正を行う（ステップ７１００）。また第二のパラメータに行われる補正の方式は、第一のパラメータに行われる補正の方式と類似するため、その詳しい説明を省略する。第二の座標変化を計算する詳細説明は、本出願人が所有する台湾特許出願番号第０９５１４９４０８号に対して優先権を主張する米国特許出願第１１／９６５，６２４号の「カーソル制御方法及びそれを使用する装置（cursor control apparatus and method）」に記載されている。上記した計算方法は、例示の実施形態に過ぎず、本発明を限定するものではないことを理解されたい。制御装置３の第二の座標変化を計算できる他の方法は、本発明の趣旨を逸脱しない。

図１０には、本発明の第二の実施形態に係るカーソル制御装置３のブロック図が示されている。カーソル制御装置３は、第一のセンサユニット３０、第二のセンサユニット３１、切換装置３２、記憶部３３、通信インターフェース３４及び処理部３５を備える。第二の実施形態と第一の実施形態との差は、第二の実施形態において、ユーザがカーソル制御装置３のカーソル２１を制御するための第一のセンサユニット３０或いは第二のセンサユニット３１のどちらを選択する方法は、先ず処理部３５により画像評価を行い、そして画像評価の結果に基づき切換装置３２を制御し、第一のセンサユニット３０によりカーソル２１の第一の座標変化を出力させるか、或いは第二のセンサユニット３１によりカーソル２１の第二の座標変化を出力させる点である。

図１１には、本発明の実施形態に係る画像表示装置２のカーソル制御方法のフローチャートが示されている。その方法は、第一のセンサユニット３０により表面Ｓに対するカーソル制御装置３の第一の移動量を検出し、該第一の移動量に基づき画像表示装置２上のカーソル２１の第一の座標変化を算出するステップと、第二のセンサユニット３１により物体２２、２４或いは２６を検出し、それら物体２２、２４或いは２６に対するカーソル制御装置３の第二の移動量を検出し、該第二の移動量に基づき画像表示装置上２のカーソル２１の第二の座標変化を算出するステップと、第一の座標変化或いは第二の座標変化を出力するステップとを備える。ここで、第一の座標変化及び第二の座標変化のどちらを出力するかを決定する方法の一例は、検出した画像を評価する。例えば、第二のセンサユニット３１が物体２２、２４或いは２６のイメージを検出できる場合、処理部３５が切換装置３２を制御し、第二のセンサユニット３１を選択させてカーソル２１の第二の座標変化を出力させる。また、第一のセンサユニット３０は、同様に光源３０２と、第一のセンサ３０４と、レンズ３０８とを備える。また、第二のセンサユニット３１は、同様に光フィルタ３１２と、第二のセンサ３１４と、レンズ３１８とを備える。

図１０及び１２には、本実施形態において処理部３５が第一のセンサ３０４により検出されたイメージの品質を評価する方法が示されている。図に示されるように、第一のセンサ３０４の一次元のイメージ画素に明るさの変化がある、すなわち、少なくとも一つの明るさのピークがある。一次元のイメージの品質は、明るさのピークによって判断することができる。本発明においては、以下のように２種類のピークが定義される。

イメージフレームにおける一次元のイメージ画素のうちの、図１２においてＵ１、Ｕ２で示されるように、所定のイメージ画素の明るさより、両側のイメージ画素の明るさが、所定の量だけ低い場合、前記所定のイメージ画素の明るさはアッパーピークであると定義される。

図１２においてＤ１、Ｄ２で示されるように、所定のイメージ画素の明るさより、両側のイメージ画素の明るさが、所定の量だけ高い場合、前記所定のイメージ画素の明るさはダウンピークであると定義される。

イメージフレームの縁部は、たとえ、図１２に示されるＭ等のように最大の明るさであっても、アッパーピークであると定義されず、ｍ等のように最小の明るさであっても、ダウンピークであると定義されない。前記アッパーピーク又はダウンピークの数は、一次元のピーク数として計数され、ピーク数が臨界数より大きい場合、一次元のイメージフレームは要件に適合すると定義される。

二次元のイメージフレームを、光学マウス（例えば第一のセンサ３０４）によって読み取る場合、二次元のイメージフレームのピーク数がすべて計算される。二次元のイメージフレームのピーク数が所定の要件に適合するかどうかの判断は、アプリケーションによって定義される。すなわち、少なくとも一行又は一列が所定の要件に適合するかどうかの判断、各行が所定の要件に適合するかどうかの判断、各列が所定の要件に適合するかどうかの判断等がアプリケーションによって定義される。したがって、二次元のイメージフレームが所定の要件に適合したとき、イメージフレームは良好であると判断され、二次元のイメージフレームが所定の要件に適合しないとき、イメージフレームは不良であると判断される。処理部３５が第一のセンサ３０４により検出されたイメージフレームが良好であると判断すると、切換装置３２を制御し第一のセンサ３０４を選択させてカーソル２１の第一の座標変化を出力させる。一方、処理部３５が第一のセンサ３０４が検出されたイメージフレームが不良であると判断すると、切換装置３２を制御し第一のセンサ３０４を選択させてカーソル２１の第一の座標変化を出力させる。第一のセンサ３０４により検出されたイメージフレームが所定の要件に適合するかどうかを判断する詳細な内容は、本出願人が所有する台湾特許第５２６６６２号に対して優先権を主張する米国特許出願第１０／２８６，１１３号の「光学ナビゲーションセンサのイメージの品質評価（Image qualification for optical
navigation sensor）」に記載されている。上記した計算方法は、例示の実施形態に過ぎず、本発明を限定するものではないことを理解されたい。第一のセンサ３０４により検出されたイメージを評価し、処理部３５がイメージの評価結果に基づき切換装置３２を制御し、第一の座標変化或いは第二の座標変化を切り替えて出力させる他の方法は、本発明の趣旨を逸脱しない。

図１３には、本発明の別の実施形態に係るカーソル制御装置３が示されている。ここでカーソル制御装置３はホイールマウスであり、表面Ｓに対するカーソル制御装置３の第一の移動量を検出し、該第一の移動量に基づきカーソル２１の第一の座標変化を算出する。一つの球体３７がハウジング３００の中に設置され、球体３７の表面の外縁のＸ軸及びＹ軸の位置にそれぞれローラー（図せず）が設置されている。ハウジング３００を表面Ｓに移動させることにより、二つのローラーを二つの軸方向に回転させ二つの軸方向の座標情報を生成し、さらに第一の座標変化を生成してスクリーン２０上のカーソル２１の動きを相対的に制御する。なお、ハウジング３００の中に、同様に第二のセンサユニット３１が設置されている。第二のセンサユニット３１は、光フィルタ３１２、第二のセンサ３１４及びレンズ３１８を備え、それら構成の機能及び動作は上述されたものと類似するため、その詳細説明を省略する。

図１４には、本発明の他の実施形態に係るカーソル制御装置３が示されている。ここでカーソル制御装置３は他の種類のホイールマウスであり、表面Ｓに対するカーソル制御装置３の第一の移動量を検出し、該第一の移動量に基づきカーソル２１の第一の座標変化を算出する。第一のセンサユニット３０は、光源３０２、球体３７、第一のセンサ３０４及びレンズ３０８を具備する。光源３０２はレーザーダイオードなどとすることができる。カーソル制御装置３の光源３０２が光を生成し、球体３７の表面を照明する。第一のセンサ３０４が球体３７の表面から反射されたレーザー光を検出する。球体３７が回転されると、第一のセンサ３０４が反射されたレーザー光の干渉グラフを検出でき、そのグラフを処理し、表面Ｓに対する球体３７の表面の移動方向及び移動距離を計算し、第一の座標変化を算出する。なお、ハウジング３００の中に、同様に第二のセンサユニット３１が設置されている。第二のセンサユニット３１は、光フィルタ３１２、第二のセンサ３１４及びレンズ３１８を備え、それら構成の機能及び動作は上述されたものと類似するため、その詳細説明を省略する。

上述したように、従来の画像表示装置で、例えば銃撃ゲームを実行しようとする場合、別のポインタ定位装置を購入しなければならないため、コストが増大し、システムも複雑化する。本発明の画像表示装置のカーソル制御装置（図１ａ及び１ｂ）は、切換メカニズムを使用し、二つの方式で画像表示装置の表示及び設定を制御できる。ユーザが、別のシステムを購入する必要がなく、システムが簡略化され、かつコストを削減できる。

なお、本発明を上記の好ましい実施形態に関して記載したが、本発明はこれらの実施形態に限定されるものではない。当業者は、特許を請求する本発明の範囲ならびに趣旨から逸脱することなく、種々変形及び変更することが可能である。

本発明の実施形態に係る画像システムを示す概略図である。 本発明の実施形態に係る画像システムを示すもう一つの概略図である。 本発明の第一の実施形態に係るカーソル制御装置を示す概略図である。 本発明の第一の実施形態に係るカーソル制御装置を示すブロック図である。 本発明の第一の実施形態に係るカーソル制御方法を示すフローチャートである。 本発明の実施形態に係るカーソル制御装置の第一のセンサにより検出された第一のフレームのイメージ画素を示す概略図である。 本発明の実施形態に係るカーソル制御装置の第一のセンサにより検出された第二のフレームのイメージ画素を示す概略図である。 本発明の実施形態に係るカーソル制御装置の第二のセンサが第二の座標変化を算出することを示すフローチャートである。 本発明の実施形態に係るカーソル制御装置の第二のセンサにより検出された物体のイメージを示す概略図である。 本発明の実施形態に係るカーソル制御装置の第二のセンサにより検出された他の物体のイメージを示す概略図であり、そこで第二のセンサが操作中角度θを回転されている。 本発明の実施形態に係るカーソル制御装置の第二のセンサが物体から異なる距離で検出した物体のイメージを示す概略図である。 本発明の実施形態に係るカーソル制御装置の第二のセンサが異なる位置に照準して検出した物体のイメージを示す概略図である。 本発明の第二の実施形態に係るカーソル制御装置を示すブロック図である。 本発明の第二の実施形態のカーソル制御方法を示すフローチャートである。 本発明の実施形態に係るカーソル制御装置の第一のセンサにより検出された一次元のイメージ画素を示す概略図であり、一次元のイメージ画素に明るさの変化がある。 本発明の他の実施形態に係るカーソル制御装置を示す概略図である。 本発明のさらに他の実施形態に係るカーソル制御装置を示す概略図である。

符号の説明

１ 画像システム
２ 画像表示装置
２０ スクリーン
２１ カーソル
２２、２４、２６ 物体
３ カーソル制御装置
３００ ハウジング
３０ 第一のセンサユニット
３０２ 光源
３０４ 第一のセンサ
３０６ 第一の処理部
３０８、３１８ レンズ
３１ 第二のセンサユニット
３１２ 光フィルタ
３１４ 第二のセンサ
３１６ 第二の処理部
３２ 切換装置
３３ 記憶部
３４ 通信インターフェース
３５ 処理部
３７ 球体
８１０ 第一のフレーム
８２０ 第二のフレーム
１０００〜７１００ ステップ
ｖ_ｉ，ｕ_ｊ 画素
Ａ 検出可能領域
Ｓ 表面
Ｌ，ｌ 物体のイメージの間の距離
ΔＳ イメージ位置の変化
ｉ_２２、ｉ_２４ 物体のイメージの座標
Ｕ_１、Ｕ_２ アッパーピーク
Ｄ_１、Ｄ_２ ダウンピーク
Ｍ、ｍ エッジ画素
Ｄ、ｄ 物体のイメージの平均座標とセンサアレイの中心との間の距離
Ｉ_２２、Ｉ_２２’、Ｉ_２２’’、Ｉ_２２’’’ 物体のイメージ
Ｉ_２４、Ｉ_２４’、Ｉ_２４’’、Ｉ_２４’’’ 物体のイメージ
（Ｘ₀、Ｙ₀）、（Ｘ、Ｙ） 物体のイメージの平均座標

Claims (20)

1. 画像表示装置のカーソル制御装置であって、
   表面のイメージフレームを検出して前記表面に対する前記カーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき前記画像表示装置上のカーソルの第一の座標変化を算出する第一のセンサユニットと、
   物体を検出し、該物体に対する前記カーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの第二の座標変化を算出する第二のセンサユニットと、
   前記第一の座標変化又は第二の座標変化を切り替えて出力する切換装置と、
   前記第一の座標変化及び/または前記第二の座標変化を計算し、かつ前記第一のセンサユニットにより検出された前記イメージフレームの画像評価の結果に基づき前記切換装置を制御し、前記第一の座標変化或いは第二の座標変化を切り替えて出力させる処理部と、
   を備える画像表示装置のカーソル制御装置。
2. 前記第一のセンサユニットは、
   第一のイメージを生成するために前記表面を照明する光源と、
   前記表面から反射された前記第一のイメージの少なくとも二つのフレームを検出する第一のセンサと、をさらに備え、
   前記処理部は、前記第一のイメージの前記フレームの間の変化により、前記表面に対する前記カーソル制御装置の前記第一の移動量を算出し、該第一の移動量に基づき前記画像表示装置上の前記カーソルの前記第一の座標変化を算出することを特徴とする請求項１に記載のカーソル制御装置。
3. 前記第一のセンサユニットは、光学マウス或いは光学ナビゲーションセンサであることを特徴とする請求項１に記載のカーソル制御装置。
4. 前記第二のセンサユニットは、
   前記物体を検出し、該物体のイメージの少なくとも二つのフレームを検出する第二のセンサをさらに備え、
   前記処理部は、前記物体のイメージの前記フレームの間の変化により、前記物体に対する前記カーソル制御装置の前記第二の移動量を算出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの前記第二の座標変化を算出することを特徴とする請求項１に記載のカーソル制御装置。
5. 前記第二のセンサが前記物体のイメージを検出すると、前記処理部は前記切替装置を制御し、前記第二の座標変化を出力させることを特徴とする請求項３に記載のカーソル制御装置。
6. 前記第一のセンサユニットは、
   第一のイメージを生成するために前記表面を照明する光源と、
   前記表面から反射された前記第一のイメージの少なくとも二つのフレームを検出する第一のセンサと、
   前記第一のイメージの前記フレームの間の変化により、前記表面に対する前記カーソル制御装置の前記第一の移動量を算出し、該第一の移動量に基づき前記画像表示装置上の前記カーソルの前記第一の座標変化を算出する第一の処理部と、をさらに備えることを特徴とする請求項１に記載のカーソル制御装置。
7. 前記第二のセンサユニットは、
   前記物体を検出し、該物体のイメージの少なくとも二つのフレームを検出する第二のセンサと、
   前記物体のイメージの前記フレームの間の変化により、前記物体に対する前記カーソル制御装置の前記第二の移動量を算出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの前記第二の座標変化を算出する第二の処理部と、をさらに備えることを特徴とする請求項１に記載のカーソル制御装置。
8. 画像システムであって、
   カーソルが表示されている画像を表示するスクリーンを備える画像表示装置と、
   少なくとも一つの物体と、
   カーソル制御装置であって、
   表面のイメージフレームを検出して前記表面に対する前記カーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき前記カーソルの第一の座標変化を算出する第一のセンサユニットと、
   前記物体を検出し、該物体に対する前記カーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき前記カーソルの第二の座標変化を算出する第二のセンサユニットと、
   前記第一の座標変化又は第二の座標変化を切り替えて出力する切換装置と、
   前記第一の座標変化及び/または前記第二の座標変化を計算し、かつ前記第一のセンサユニットにより検出された前記イメージフレームの画像評価の結果に基づき前記切換装置を制御し、前記第一の座標変化或いは第二の座標変化を切り替えて出力させる処理部と、
   前記切換装置により出力された前記第一の座標変化或いは第二の座標変化を送信する通信インターフェースと、を備えるカーソル制御装置と、
   前記通信インターフェースから第一の座標変化或いは第二の座標変化を受信し、該第一の座標変化或いは第二の座標変化を前記画像表示装置上の前記カーソルの座標に結合させることにより、前記カーソル制御装置が前記スクリーン上の前記カーソルの動きを制御できる座標処理部と、を備える画像システム。
9. 前記カーソル制御装置は、マウス或いはゲーム制御装置であることを特徴とする請求項５に記載の画像システム。
10. 前記物体は、前記画像表示装置の前記スクリーンに表示される所定の形状を持つ図形であることを特徴とする請求項５に記載の画像システム。
11. 画像システムであって、
    カーソルが表示されている画像を表示するスクリーンを備える画像表示装置と、
    少なくとも一つの物体と、
    カーソル制御装置であって、
    表面のイメージフレームを検出して前記表面に対する前記カーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき前記カーソルの第一の座標変化を算出する第一のセンサユニットと、
    前記物体を検出し、該物体に対する前記カーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき前記カーソルの第二の座標変化を算出する第二のセンサユニットと、
    前記第一の座標変化又は第二の座標変化を切り替えて出力する切換装置と、
    前記第一の座標変化及び/または前記第二の座標変化を計算し、かつ前記第一のセンサユニットにより検出された前記イメージフレームの明るさのピーク数に基づき前記切替装置を制御し、前記第一の座標変化或いは第二の座標変化を切り替えて出力させる処理部と、
    前記切換装置により出力された前記第一の座標変化或いは第二の座標変化を送信する通信インターフェースと、を備えるカーソル制御装置と、
    前記通信インターフェースから第一の座標変化或いは第二の座標変化を受信し、該第一の座標変化或いは第二の座標変化を前記画像表示装置上の前記カーソルの座標に結合させることにより、前記カーソル制御装置が前記スクリーン上の前記カーソルの動きを制御できる座標処理部と、を備える画像システム。
12. 前記カーソル制御装置は、マウス或いはゲーム制御装置であることを特徴とする請求項１１に記載の画像システム。
13. 前記物体は、前記画像表示装置の前記スクリーンに表示される所定の形状を持つ図形であることを特徴とする請求項１１に記載の画像システム。
14. 画像表示装置のカーソル制御装置であって、
    表面のイメージフレームを検出して前記表面に対する前記カーソル制御装置の第一の移動量を検出し、該第一の移動量に基づき前記画像表示装置上のカーソルの第一の座標変化を算出する第一のセンサユニットと、
    物体を検出し、該物体に対する前記カーソル制御装置の第二の移動量を検出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの第二の座標変化を算出する第二のセンサユニットと、
    前記第一の座標変化又は第二の座標変化を切り替えて出力する切換装置と、
    前記第一の座標変化及び/または前記第二の座標変化を計算し、かつ前記第一のセンサユニットにより検出された前記イメージフレームの明るさのピーク数に基づき前記切替装置を制御し、前記第一の座標変化或いは第二の座標変化を切り替えて出力させる、
    を備える画像表示装置のカーソル制御装置。
15. 前記第一のセンサユニットは、
    第一のイメージを生成するために前記表面を照明する光源と、
    前記表面から反射された前記第一のイメージの少なくとも二つのフレームを検出する第一のセンサと、をさらに備え、
    前記処理部は、前記第一のイメージの前記フレームの間の変化により、前記表面に対する前記カーソル制御装置の前記第一の移動量を算出し、該第一の移動量に基づき前記画像表示装置上の前記カーソルの前記第一の座標変化を算出することを特徴とする請求項１４に記載のカーソル制御装置。
16. 前記第一のセンサユニットは、光学マウス或いは光学ナビゲーションセンサであることを特徴とする請求項１４に記載のカーソル制御装置。
17. 前記第二のセンサユニットは、
    前記物体を検出し、該物体のイメージの少なくとも二つのフレームを検出する第二のセンサをさらに備え、
    前記処理部は、前記物体のイメージの前記フレームの間の変化により、前記物体に対する前記カーソル制御装置の前記第二の移動量を算出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの前記第二の座標変化を算出することを特徴とする請求項１４に記載のカーソル制御装置。
18. 前記第二のセンサが前記物体のイメージを検出すると、前記処理部は前記切替装置を制御し、前記第二の座標変化を出力させることを特徴とする請求項１７に記載のカーソル制御装置。
19. 前記第一のセンサユニットは、
    第一のイメージを生成するために前記表面を照明する光源と、
    前記表面から反射された前記第一のイメージの少なくとも二つのフレームを検出する第一のセンサと、
    前記第一のイメージの前記フレームの間の変化により、前記表面に対する前記カーソル制御装置の前記第一の移動量を算出し、該第一の移動量に基づき前記画像表示装置上の前記カーソルの前記第一の座標変化を算出する第一の処理部と、をさらに備えることを特徴とする請求項１４に記載のカーソル制御装置。
20. 前記第二のセンサユニットは、
    前記物体を検出し、該物体のイメージの少なくとも二つのフレームを検出する第二のセンサと、
    前記物体のイメージの前記フレームの間の変化により、前記物体に対する前記カーソル制御装置の前記第二の移動量を算出し、該第二の移動量に基づき前記画像表示装置上の前記カーソルの前記第二の座標変化を算出する第二の処理部と、をさらに備えることを特徴とする請求項１４に記載のカーソル制御装置。

Images