JP2004258837A - カーソル操作装置、その方法およびそのプログラム - Google Patents
カーソル操作装置、その方法およびそのプログラム Download PDFInfo
- Publication number
- JP2004258837A JP2004258837A JP2003046860A JP2003046860A JP2004258837A JP 2004258837 A JP2004258837 A JP 2004258837A JP 2003046860 A JP2003046860 A JP 2003046860A JP 2003046860 A JP2003046860 A JP 2003046860A JP 2004258837 A JP2004258837 A JP 2004258837A
- Authority
- JP
- Japan
- Prior art keywords
- cursor
- coordinate
- coordinate point
- display
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】表示画面を指し示す指先を空間位置検出手段で検出することにより、カーソルが前記表示画面内を連動して移動する、非接触で遠隔からの機器操作を可能とするカーソル操作装置において、指先の動きに対してカーソルがスムーズに追従し、ポインティング操作性に優れるカーソル操作装置を提供する。
【解決手段】外乱の影響により空間位置検出部が、指先位置を正確に検出できなかった場合においても、表示座標点間を結ぶ移動ベクトルの移動量と、移動角度とから、前記検出データが誤検出によるものか否かを判断し、誤検出データであれば、前回の移動ベクトルを元にして補正表示座標点を導出しカーソルを表示させることを特徴とした。
【選択図】 図１
【解決手段】外乱の影響により空間位置検出部が、指先位置を正確に検出できなかった場合においても、表示座標点間を結ぶ移動ベクトルの移動量と、移動角度とから、前記検出データが誤検出によるものか否かを判断し、誤検出データであれば、前回の移動ベクトルを元にして補正表示座標点を導出しカーソルを表示させることを特徴とした。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、表示画面上に表示されるカーソルが、この表示画面を指し示す指先等の指示物体に連動して移動し、ポインティング操作およびジェスチャ動作により機器に対して非接触、かつ遠隔制御する技術に関連するものである。
【０００２】
【従来の技術】
従来から、テレビ等の機器を遠隔操作する方法として、赤外線もしくは無線周波数（ＲＦ）信号等によるリモートコントロール装置（以下、リモコンと呼ぶ）、またはマウス、ジョイスティック、トラックボール等のポインティングデバイスを用いる方法などがある。そして現在、テレビ受像機の操作においては、前者のリモコンが広く用いられているが、テレビ受像機の操作は、本来、チャンネル、音量、色相、濃度、コントラスト等、制御対象が多いことに加え、将来的な放送サービスの多様化をふまえ、今後ますます操作者に複雑な操作を要求することが予想される。
【０００３】
その結果、従来のリモコンによる方法では、操作キーの数が増加したり、機能が複雑化したり、さらにリモコンが大型化する等、操作者にとって使い勝手の低下が避けられない。さらに、リモコンの保管や、紛失の煩わしさを考えると、より優れたリモコンに替わる操作手段が望まれるところである。
【０００４】
近年、テレビ受像機を含む制御機器の操作手段として、リモコン等の機器を用いず、遠隔から指先操作で直接入力操作を行う技術が公開されている（例えば、特許文献１）。これは、画像センサが指先の位置を検出し、この位置に対応する表示画面の二次元座標上にカーソルを表示させ、さらに指先の動きに基づいて、このカーソルが連動して移動することにしたものである。そして、このカーソルが、表示画面上に表示された実行ボタンを選択すると、この実行ボタンに関連付けられたジョブが実行されるものである。
【０００５】
さらに、指先がたどった軌跡の形態と、機器が有するジョブとを関連付け、テレビ受像機における処理を実行させるジェスチャ機能も、テレビ受像機の操作の操作性向上をはかるうえで有効な手法である。このような、リモコン等の特別な道具を必要としない、三次元インターフェースによるテレビ操作は、操作者の指先の動きのみでテレビ受像機の操作を可能とし、操作性の大幅な向上をもたらすものとして注目されている。
【０００６】
【特許文献１】
特開平５−３２４１８１号公報（第２−４頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかし、従来技術においては、指先位置を検出する空間位置検出器の出力結果を表示画面におけるカーソル位置としてそのまま用いた場合、表示画面上のカーソルの動きが指先に対応しない動作となる場合があった。これは、例えば震えのような操作者が意図しない指先の動き、背景の作用、信号ノイズ等による空間位置検出器の誤検出等によるものである。この場合、カーソルは、操作者が意図する軌道から外れて、目的の実行ボタンを的確にポインティングできない原因となる。さらに、ジェスチャ認識においては、認識の基礎となるカーソル軌跡が、連続した座標データ群より構成されるので、カーソルの動きが指先に対応しないという問題は、ジェスチャ機能においてより深刻なものであった。
【０００８】
これら問題に対する、従来の対応は、実行ボタンのボタンエリアを広くとり、操作者の指先の動きにカーソルが充分に対応できないケースが発生しても、入力エリアを逸脱しないようにするといった消極的なものでしかなかった。しかし、限られた領域内に多数のボタンエリアを設ける場合は、必然的にボタンエリアの間隔が狭くなり、隣接するボタンエリアに誤ってカーソルが侵入し、機器の誤動作を誘発することが避けられない。これでは、従来のリモコンを上回る使い勝手を追求する当初の目的が達成できないことになる。
【０００９】
本発明は、以上の問題点を解決することを目的としてなされたものであり、操作者の指先の動きと、表示画面上のカーソルの動作とを正確に対応させ、かつカーソルの良好な追従性を有するカーソル操作装置、その方法、およびそのプログラムを提供することを目的としたものである。
【００１０】
【課題を解決するための手段】
本発明は、前記した目的を達成するために創案されたものであり、まず請求項１に記載のカーソル操作装置は、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置であって、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段と、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段と、前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段と、前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段と、を有することを特徴とする。
【００１１】
かかる構成によれば、座標移動量算出手段により、検出座標点と前回表示座標点とを結ぶ最新移動ベクトルの大きさが、座標移動量として出力される。そして、移動角度算出手段により、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が出力される。また、補正実行判断手段により、これら座標移動量および移動角度値は、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に、補正要と判断された場合は、表示座標補正手段により、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として出力され、これら表示座標点に対応する位置にカーソルが表示される。
【００１２】
これにより、外乱等の影響で空間位置検出手段やその後のデータ処理において指先等の指示物体が正確に認識されずに誤った検出座標点が得られた場合においても、この誤った検出座標点を排除して、前回移動ベクトルを基にして補正表示座標点を得る。これにより、表示画面上のカーソルは、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、操作性が向上するとともに誤動作の軽減効果が得られる。さらに、ジェスチャ認識を実施する場合において、カーソル操作装置におけるジェスチャの形状認識は、操作者が意図した通りの正確なものとなる。
【００１３】
ここで、前回表示座標点とは、表示画面上におけるカーソルの現在位置のことである。また、表示座標点とは、次にカーソルが表示画面上において表示される位置のことである。そして、前々回表示座標点とは、現在、カーソルは表示されていないが、前回表示座標点においてカーソルが表示される前にカーソルが表示されていた位置のことである。また、検出座標点とは、空間位置検出手段から出力後、表示座標点として採用されるか否かの判断が下される前の状態のもののことである。そして、補正表示座標点とは、検出座標点が表示座標点として不採用の判断が下され、前回表示座標点および前々回表示座標点をもとに、表示座標点として新たに作成されたもののことである。なお、請求項において「・・・検出座標点に基づいて前記カーソルが表示された」との記載は、補正がなされた場合は、補正表示座標点に、補正がなされない場合は検出座標点にそれぞれ対応してカーソルが表示されたとの意味のことである。以下同じ。
【００１４】
さらに、請求項２に記載のカーソル操作方法は、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作方法であって、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出ステップと、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出ステップと、前記座標移動量および前記移動角度値をそれぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断ステップと、前記補正実行判断ステップにおける補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正ステップと、を含むことを特徴とする。
【００１５】
かかるカーソル操作方法によれば、座標移動量算出ステップにおいて、空間位置検出部で検出された三次元情報を二次元情報に座標変換された検出座標点と前回表示座標点との間隔が最新移動ベクトルとして算出される。そして、移動角度値算出ステップにおいて、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が算出される。そして補正実行判断ステップにより、座標移動量および移動角度値が、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に補正要と判断された場合は、表示座標補正ステップにより、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として出力され、これら表示座標点に対応する位置にカーソルが表示される。
【００１６】
以上述べた方法により、カーソルの動きは、操作者の意図しない方向にジャンプすることなく、指先の位置に対応する表示画面上のカーソルも安定して表示され、指先に対してスムーズに追従し、ポインティング操作性が向上するともに、機器の誤動作を軽減する効果が得られる。
【００１７】
さらに、請求項３に記載のカーソル操作プログラムは、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置のコンピュータを、以下の手段として機能させる構成としたことを特徴とする。すなわち、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により、前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段、前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段、前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段、として機能させる。
【００１８】
かかる構成によれば、座標移動量算出手段により、検出座標点と前回表示座標点とを結ぶ最新移動ベクトルの大きさが、座標移動量として算出される。そして、移動角度算出手段により、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が算出される。そして、補正実行判断手段により、これら座標移動量および移動角度値は、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に、補正要と判断された場合は、表示座標補正手段により、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として選択され、これら表示座標点に対応する位置にカーソルが表示される。
【００１９】
これにより、外乱等の影響で空間位置検出部やその後のデータ処理において指先等の指示物体が正確に認識されずに誤った検出座標点が得られた場合においても、この検出座標点を排除して、前回移動ベクトルを基にして補正表示座標点を得る。これにより、表示画面上のカーソルは、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、操作性が向上するともに誤動作の軽減効果が得られる。さらに、ジェスチャ認識を実施する場合において、カーソル操作プログラムにおけるジェスチャの形状認識は、操作者が意図した通りの正確なものとなる。
【００２０】
【発明の実施の形態】
（第一の実施の形態）
以下、図面を参照して本発明における第一の実施の形態について説明する。
まず、図１および図２を参照して、本発明にかかるカーソル操作装置１００を概観する。図１は、本実施形態にかかるカーソル操作装置の構成を示すブロック図である。図２は、操作者２４とカーソル操作装置１００を示す図であって、操作者２４がポインティング操作を実行している状態を側面より示す図である。カーソル操作装置１００は、空間位置検出部（Ａ）、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、実行ボタン選択部（Ｅ）、カーソル表示部（Ｆ）、画面駆動部（Ｇ）および記憶部１２０からなる。
【００２１】
ここで、空間位置検出部（Ａ）は、後記する操作者２４（図２）の指先２６（指示物体）の三次元空間内における位置を検出する機能を有するものである。そして、座標変換部（Ｂ）は、空間位置検出部（Ａ）より得られた指先２６の位置を後記する表示画面３３ｂ（図３）上のカーソル３７として対応表示させる為、三次元位置から二次元位置へと座標変換する機能を有するものである。また、手ぶれ補正部（Ｃ）は、手の震え等に起因するカーソル表示上の不都合を補正する機能を有するものである。そして、座標とび補正部（Ｄ）とは、指先２６位置の誤検出によりカーソル位置が不連続にジャンプしたりする、カーソル表示上の不都合を補正する機能を有するものである。
【００２２】
また、実行ボタン選択部（Ｅ）は、機器操作にかかる各種実行ジョブを選択し、実行開始させる機能を有するものである。そして、カーソル表示部（Ｆ）とは、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）および座標とび補正部（Ｄ）を経て得た二次元座標データに基づき表示画面３３（図３参照）上にカーソル３７を表示する機能を有するものである。また、画面駆動部（Ｇ）とは、表示画面３３（図３）に各種画像ならびに映像を表示する機能を有するものである。なお、各々の構成の詳細に関しては、後記することとする。
【００２３】
次に、図２および図３を参照して、本実施形態におけるカーソル操作装置１００における操作概要について説明する。図２における、カーソル操作装置１００はステレオカメラ２２、インターフェース装置２９およびテレビ受像機２８から構成されている。ここで、ステレオカメラ２２は、図１中、空間位置検出部（Ａ）に、テレビ受像機２８は、同、画面駆動部（Ｇ）にそれぞれ対応するものである。そして、インターフェース装置２９は、図１中、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、実行ボタン選択部（Ｅ）およびカーソル表示部（Ｆ）を含むものである。そして、このインターフェース装置２９は、ステレオカメラ２２が検出した指先２６の三次元位置データを受信し、このデータに基づいてテレビ受像機２８の表示画面３３（図３参照）に表示するカーソル３７を操作する機能を有するものである。
【００２４】
そして、図３（ａ）は、テレビ受像機２８が通常番組を放映中の表示画面３３ａを示す図である。また、ステレオカメラ２２Ｒおよび同２２Ｌは、テレビ受像機２８の下部中央の左右に配置されており、それぞれ図１中、右映像入力手段２２Ｒおよび左映像入力手段２２Ｌに対応するものとする。次に、図３（ｂ）は、ポインティング動作中の表示画面を示す図である。表示画面３３ｂは、チャンネル切替の操作画面であり、前記通常番組以外に実行ボタン３５およびカーソル３７が表示されている。これら複数の実行ボタン３５は、テレビ受像機２８における各種実行ジョブに関連付けされたものであり、図３（ｂ）においてはチャンネル切替ボタンに相当するものである。そして、カーソル３７は、指先２６の動きに同期して表示画面３３ｂ上を移動し、実行ボタン３５を選択する機能を有するものである。
【００２５】
図４は、図３に示したカーソル３７を拡大して示したカーソルの構成図である。カーソル３７は、表示画面３３ｂにおける垂直線と水平線で表される十字ライン４５と、交点４１を中心とした円ポイント４３とからなる。
【００２６】
次に、カーソル操作装置１００の一連の操作手順について図２乃至図４を参照しつつ説明する。まず、図２に示すように操作者２４は、テレビ受像機２８の正面に相対して着座して、表示画面３３ａ（図３）に示される通常番組を視聴していることとする。次に、指先２６を表示画面３３ａに向けて差出すと、ステレオカメラ２２が指先２６を検出して、表示画面３３ａが同３３ｂへと切替わるとともに、画面上、指先２６に対応する位置にカーソル３７（図３）が表示される。
【００２７】
この表示されたカーソル３７は、指先２６の動きに連動して、表示画面３３ｂ上を移動するが、ここで、カーソル３７を実行ボタン３５（図３）のボタンエリア内に、一定時間滞在させたとする。すると、この実行ボタン３５が選択されたものとみなされて、対応する番組へのチャンネル切換操作がなされることとなる。
【００２８】
このとき、カーソル３７がボタンエリア内に侵入すると、図４に示すように、点線から実線で示すように円ポイント４３が収縮する。これは、実行ボタン選択のタイミングを操作者２４に認識させる為の予告動作であり、円ポイント４３の消滅時点をもってジョブの実行タイミングとする。なお、円ポイント４３の収縮途中にカーソル３７が実行ボタン３５（図３）のボタンエリア外に移動した場合は、円ポイント４３は、もとの大きさに復帰し、前記予告動作はキャンセルされる。
【００２９】
以上説明したように、操作者２４は、指先２６（図２）の操作により、遠隔位置から非接触にて、テレビ受像機２８の表示画面３３におけるポインティング操作を可能とし、さらに機器の制御もしくは繰作を行う。なお、前記表示画面および前記ステレオカメラにおいて、図中の符号ａおよび符号ｂならびに符号Ｒおよび符号Ｌを用いていずれか一方を特定する必要がない場合は、単に「表示画面３３」および「ステレオカメラ２２」と表記している。また、指示物体として指先２６を例示して説明したが、指示棒のような先端を有するものであれば何でもよいし、またステレオカメラ２２が認識しやすいように、色付のサックを指先２６にはめたものであってもよい。
【００３０】
次に、図面を参照しつつ、本発明にかかるカーソル操作装置１００を構成する構成要素に関し詳細に説明する。
＜空間位置検出部の説明＞
まず、図１および図５を参照して、空間位置検出部（Ａ）の説明を行う。図５は、空間位置検出部（Ａ）による、三次元空間内の物体検出の概念図である。図５中、Ｘ，Ｙ，Ｚの三軸で示される三次元座標系は、検出対象が存在する空間内の位置を示すものであって、点Ｓ（Ｘ，Ｙ，Ｚ）は被検出物を示す任意点である。また、空間位置検出部（Ａ）（図１）は、カメラのような映像を入力する手段である右映像入力手段２２Ｒおよび左映像入力手段２２Ｌ（図３）からなり、これらの映像が構成する二次元座標系をそれぞれｘＬ，ｙＬおよびｘＲ，ｙＲの二軸で示している。そして、各々の二次元座標内に表示された、点ｓＲ（ｘＲ，ｙＲ）および点ｓＬ（ｘＬ，ｙＬ）は、映像入力手段２２Ｒおよび２２Ｌにより検出された三次元座標上の点Ｓ（Ｘ，Ｙ，Ｚ）に対応する点である。そして、距離ｆは映像入力手段２２Ｒおよび２２Ｌの焦点距離を示すものであって、距離ｂの二倍は、映像入力手段２２Ｒと同２２Ｌとのカメラ間距離に対応する。
【００３１】
ここで、空間位置検出部（Ａ）は、被検出物（ここでは指先２６）の位置を検出するため、二つのカメラ（左および右映像入力手段２２Ｌ、２２Ｒ）による視差映像を出力する作用を有するものである。これらのカメラ（ステレオカメラ２２、図３参照）は、（１）式および（２）式に基づくカメラ固有の作用に従い、空間上任意点の座標Ｓ（Ｘ，Ｙ，Ｚ）をそれぞれ二次元座標ｓＬ（ｘＬ，ｙＬ）およびｓＲ（ｘＲ，ｙＲ）に変換する。
【００３２】
【数１】
【００３３】
＜座標変換部の説明＞
次に図１を参照しつつ座標変換部（Ｂ）の説明を行う。座標変換部（Ｂ）は、入力座標取得部１１２、三次元座標処理部１１４および二次元座標変換部１１６から構成される。
入力座標取得部１１２は、空間位置検出部（Ａ）より連続的に出力される左右の映像データを一定のサンプリング間隔Ｔｓで画像を取込み、この画像を構成する複数の画素からなる画素データ群ｓＬ（ｘＬ，ｙＬ）および同ｓＲ（ｘＲ，ｙＲ）として出力するものである。
三次元座標処理部１１４は、この画素データ群ｓＬ（ｘＬ，ｙＬ）および同ｓＲ（ｘＲ，ｙＲ）を入力し、（３）式に基づいて、三次元画素データ群Ｓｎ（Ｘ，Ｙ，Ｚ）を演算し出力するものである。
【００３４】
【数２】
【００３５】
二次元座標変換部１１６は、サンプリング間隔Ｔｓで発信される三次元画素データ群Ｓｎ（Ｘ，Ｙ，Ｚ）を入力し、（４）式に基づいて、最小のＺ値における（Ｘ，Ｙ）の組合せを検出データＳｎ（Ｘ，Ｙ）として抽出し出力するものである。すなわち、ここで得られた検出データＳｎ（Ｘ，Ｙ）は、図２中、ステレオカメラ２２（空間位置検出部Ａ）から至近距離にある指先２６の三次元空間内における位置を二次元座標上へ変換したものである。
【００３６】
【数３】
【００３７】
このように、座標変換部（Ｂ）の作用は、空間位置検出部（Ａ）が得た二つの視差映像より三角測量原理に基づいて、カメラから最短に位置するもの（指先２６）の三次元空間内における位置を二次元平面上の座標点に変換する機能を有するものである。以上、空間位置検出部（Ａ）として、ステレオカメラ２２を例示して説明したが、空間内の指先２６の位置を二次元座標上のデータとして変換して出力できる画像センサであれば任意に置換可能である。例えば、単眼カメラにより、検出された最大輝度を追跡するようなものであってもよい。なお、以下より、座標点を表記するにあたり、前記の座標であれば例えば「Ｓｎ（Ｘ，Ｙ）」を「Ｓｎ」と省略して表記する場合もある。
【００３８】
＜手ぶれ補正部の説明＞
次に、図１、図６および図７を参照して手ぶれ補正部（Ｃ）の説明を行う。ここで、図６は、本実施形態における、手ぶれ補正部（Ｃ）の動作フローを示すフローチャートである。図７は、手ぶれ補正の概念を説明するための説明図である。まず、座標変換部（Ｂ）から出力された検出データＳｎ（Ｘ，Ｙ）は、カーソル３７（図３）の表示座標点として採用される前に、手ぶれ補正部（Ｃ）において手ぶれ補正が行われる。
【００３９】
一般に、空間位置検出部（Ａ）（図１）により検出され、二次元座標変換された指先２６の位置は、指先の震え等によって、操作者が意図しない振動を伴う場合がある。入力座標取得部１１２における映像サンプリング周波数は、高速であるため座標変換部（Ｂ）からの検出データＳｎ（Ｘ，Ｙ）を忠実に再現して表示すると、この指先の震えによりカーソル３７の位置が安定しない場合がある。そして、操作者２４にとって、このように不安定なカーソル３７を凝視し続けることは、疲労感を増幅させるので、手ぶれ補正部（Ｃ）は、かかる問題を排除することを目的とする。
【００４０】
まず、図７を参照しつつ、手ぶれ補正部（Ｃ）における補正の概念について説明する。図中、矢印で示すように、サンプリング間隔Ｔｓで座標変換部（Ｂ）から連続して出力される検出データＳｎ（Ｘ，Ｙ）がＳ０からＳ７のように移動したと仮定する。ここで、Ｓ０を基準位置Ｑ０とし、Ｑ０を中心とし、Ｄｔｈ＝Ｔｓ×Ｖｔｈで表される半径Ｄｔｈの円形範囲を設定し、この円形範囲をカーソル不感帯域エリア７０とする。ここで、Ｔｓは、前記サンプリング間隔、そしてＶｔｈは速度定数であり任意に設定可能な定数である。
【００４１】
ここで、半径Ｄｔｈの円形で示される範囲の意味合いは、座標変換部（Ｂ）からの検出座標が位置としてＳ０からＳ６へと移動したとしても、半径Ｄｔｈの円形範囲内であれば、カーソル３７の表示座標点として反映される座標点は、Ｑ０のままである。そして、この半径Ｄｔｈの円形範囲を超えた位置Ｓ７が座標変換部（Ｂ）から検出されるにあたり初めて、カーソル３７の表示座標点として反映される座標点がＳ０からＳ７へと変更される。そして、今度はＳ７が基準位置Ｑ０となり、後続するＳ８以降のデータ（図示せず）についてカーソル３７の表示座標点の決定に関する判定を行うことになる。図中、実際の座標移動量からするとＳ５からＳ６への移動が最大であるが、ここでは、座標変換部（Ｂ）による検出座標がカーソル不感帯域エリア７０を超えない限り指先２６の位置が移動したとは判断されない。
【００４２】
次に、図６を参照しつつ手ぶれ補正部（Ｃ）における動作フローを説明する。最初に、基準位置Ｑ０が定められる（ステップＳ１１）。ここで基準位置Ｑ０は、一番初めに手ぶれ補正部（Ｃ）に入力された検出データＳｎであれば、この検出データＳｎがなり、その後は、後続するフローに従って更新されるものである。次にＤｔｈ＝Ｔｓ×Ｖｔｈで表される不感帯域エリア７０の半径が決定される（ステップＳ１３）。ここでＴｓは、入力座標取得部１１２におけるサンプリング間隔、Ｖｔｈは、任意に変更可能な速度定数である。
【００４３】
次に、座標変換部（Ｂ）から連続的に出力される検出データＳｎを検出する（ステップＳ１５）。そして、この検出データＳｎおよび基準位置Ｑ０の座標間隔と、前記Ｄｔｈとの大小を判断する（ステップＳ１７）。ここで、検出データＳｎがカーソル不感帯エリア７０内であると判定されれば（Ｙｅｓ）、ステップＳ１１における基準位置Ｑ０がカーソル表示の基礎となる検出座標点Ｐｎとして出力される（ステップＳ２１）。一方、検出データＳｎがカーソル不感帯エリア７０外であると判定されれば（Ｎｏ）、ステップＳ１５における検出データＳｎが次の基準位置Ｑ０として更新され（ステップＳ１９）、さらにカーソル表示の基礎となる検出座標点Ｐｎとして出力される（ステップＳ２１）。
【００４４】
このように、手ぶれ補正部（Ｃ）では、空間位置検出部（Ａ）から出力された指先２６の検出データＳｎ（Ｘ，Ｙ）に対して、不感帯域エリア７０に含まれるか否かを判定し、カーソル表示座標点の更新の可否を判断することとした。これにより、入力操作する際、無意識に生じる手ぶれの影響を的確に排除することが可能となる。
【００４５】
＜座標とび補正部の説明＞
次に、図１および図９を参照して座標とび補正部（Ｄ）の説明を行う。図９は、座標とび補正の概念図である。手ぶれ補正部（Ｃ）より出力された検出座標点Ｐｎ（Ｘ，Ｙ）は、カーソル３７の表示座標点として採用される前に、座標とび補正部（Ｄ）において補正が行われる。この座標とび補正部（Ｄ）の機能は、空間位置検出部（Ａ）の誤検出に伴う指先２６の検出位置の、不自然な動きを訂正することを目的とする。
【００４６】
一般に、空間位置検出部（Ａ）により撮像され、二次元座標変換された指先２６の検出データＳｎ（Ｘ，Ｙ）は、誤認識により必ずしも指先２６位置を反映したものでない場合がある。これは、本方式のような遠隔・非接触による指先２６の位置の検出手段においては、映像情報の入力段階における外乱の影響をあらゆるケースにおいて充分に排除できないことによる。この場合、指先２６の位置に対応する二次元座標点として出力された検出データＳｎ（Ｘ，Ｙ）を忠実にカーソル３７（図３）として表示すると、突然、カーソル３７が予期しない方向にジャンプしてしまい、操作者２４が混乱に陥る場合がある。座標とび補正部（Ｄ）は、かかる問題を排除することを目的としたものである。
【００４７】
次に、図９を参照しつつ、座標とび補正部（Ｄ）における補正のイメージについて説明する。図９は、表示画面３３ｂ（図３）上のカーソル３７の軌跡を示した図である。ここで前々回表示座標点Ｃｎ−２、前回表示座標点Ｃｎ−１は、サンプリング時間間隔Ｔｓおきの指先位置に対応するカーソル３７の表示座標点を連続して表示したものである。ここで、前回表示座標点Ｃｎ−１の次に空間位置検出部（Ａ）によって検出された指先位置が、誤検出によって検出座標点Ｐ´ｎの位置にジャンプして検出されたとする。
【００４８】
しかし、座標とび補正部（Ｄ）は、Ｃｎ−１から検出座標点Ｐ´ｎを結ぶ最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）ならびに前回移動ベクトルｖｎ−１がなす移動角度値θの値を一定の閾値（定数）と比較することで検出座標点Ｐ´ｎが誤検出された検出座標点である事を判断する。そして、最新移動ベクトルｕｎを前々回表示座標点Ｃｎ−２から前回表示座標点Ｃｎ−１までの前回移動ベクトルｖｎ−１に置換し補正表示座標点Ｃｎとする補正を実施することにより、操作者２４が意図した通りの指先表示を可能とする。なお、検出座標点Ｐ´ｎの補正回数が繰り返され真の指先位置から乖離してしまうことも懸念されるため、連続補正回数が一定数を超えた場合は、検出座標点Ｐ´ｎをそのまま表示座標点Ｃｎとして採用することとした。
【００４９】
次に、図１を参照しつつ、座標とび補正部（Ｄ）の構成について説明を行う。座標とび補正部（Ｄ）は、座標移動量算出部１２２、移動角度算出部１２４、補正実行判断部１２６、表示座標補正部１２７からなる。
【００５０】
座標移動量算出部（座標移動量算出手段）１２２は、空間位置検出部（Ａ）より検出され、座標変換部（Ｂ）により二次元座標変換された検出座標点Ｐ´ｎ（Ｐｎ）と前回表示座標点Ｃｎ−１とを結ぶ最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）を算出し出力するものである。
移動角度算出部（移動角度算出手段）１２４は、最新移動ベクトルｕｎと前々回表示座標点Ｃｎ−２および前回表示座標点Ｃｎ−１を結ぶ前回移動ベクトルｖｎ−１とがなす移動角度値θを算出し出力するものである。なお、移動角度値θは、最新移動ベクトルｕｎと前回移動ベクトルｖｎ−１とに基づいて、式（５）に従い算出されることとする。
【００５１】
【数４】
【００５２】
補正実行判断部（補正実行判断手段）１２６は、最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）および移動角度値θをそれぞれ予め設定した閾値ａおよび同ｂと比較し、これらの大小関係から補正の要・不要を判定し、その結果を出力するものである。
表示座標補正部（表示座標補正手段）１２７は、補正実行判断部１２６における判定結果が補正要である場合は、前回表示座標点Ｃｎ−１を始点とし、前回移動ベクトルｖｎ−１と同一のベクトルの終点座標Ｃｎを補正表示座標点として算出し出力するものである。一方、補正実行判断部１２６における判定結果が補正不要である場合は、検出座標点Ｐｎが表示座標点Ｃｎとして出力される。
【００５３】
＜カーソル表示部の説明＞
次に、図１および図４を参照してカーソル表示部（Ｆ）の構成について説明を行う。カーソル表示部（Ｆ）は、ゲイン調整部１４６、円ポイント表示部１４２およびクロスカーソル表示部１４４からなる。
【００５４】
カーソル表示部（Ｆ）は、表示画面３３ｂ（図３）上におけるカーソル３７の描画に係る指示を画面駆動部（Ｇ）に対し行うものである。
ゲイン調整部１４６は、操作者２４（図２）の指先移動による入力に対して、表示画面３３ｂ（図３）上におけるカーソル３７の移動量を比例調整するものである。
【００５５】
円ポイント表示部１４２は、表示座標点Ｃ´ｎを中心とする初期半径ｒ０の円を描画し、後記する作用によりこの半径を等速縮小させるものである。
クロスカーソル表示部１４４は、表示座標点Ｃ´ｎを交点として表示画面３３ｂ（図３）に対して、水平と垂直のラインからなる十字ライン４５を描画するものである。
【００５６】
＜実行ボタン選択部の説明＞
次に、図１を参照して実行ボタン選択部（Ｅ）の説明をする。図１より、この実行ボタン選択部（Ｅ）は、ボタンエリア判定部１３２、エリア滞在時間計測部１３４、クロック発生部１３８、カーソル収縮開始部１３６、実行命令発行部１３５およびジョブ実行部１３７から構成される。そして、この実行ボタン選択部（Ｅ）は、実行ボタン３５（図３）に関連付けられたジョブ実行にかかる機能を有するものである。
【００５７】
ボタンエリア判定部１３２は、ゲイン調整部１４６から出力される表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）が、実行ボタン３５（図３）のボタンエリア内に存在するか否かの判定を行うものである。
エリア滞在時間計測部１３４は、表示座標点Ｃ´ｎが実行ボタン３５のエリア内において連続検出される連続検出時間をクロック発生部１３８に基づき計測するものである。
【００５８】
カーソル収縮開始部（カーソル収縮開始手段）１３６は、前記連続検出時間が一定値を経過したところで、円ポイント４３（図４）の半径を初期半径ｒ０から減少させる指示を円ポイント表示部１４２および実行命令発行部１３５へ送るものである。
実行命令発行部（実行命令発行部）１３５は、縮小を始めた円ポイント４３の径の値が０となったとき、ジョブ実行部１３７に実行命令を発行するものである。
ジョブ実行部１３７は、前記実行命令を受信し、当該実行ボタン３５に割付けられたジョブ（例えばチャンネルの切替等）を実行するものである。
【００５９】
＜本発明にかかる構成要素の動作説明＞
次に、図８のフローチャートを参照しつつ（適宜図１参照）本発明にかかる座標とび補正部（Ｄ）、カーソル表示部（Ｆ）および実行ボタン選択部（Ｅ）における一連の動作フローを説明する。図８は、カーソル操作装置の構成要素である、座標とび補正部、カーソル表示部および実行ボタン選択部の動作フローを示すフローチャートである。
まず、手ぶれ補正部（Ｃ）を経由して、サンプリング間隔Ｔｓで連続的に発信される検出座標点Ｐｎ（Ｘ，Ｙ）が入力される（ステップＳ３１）。次に、検出座標点Ｐｎと前回表示座標点Ｃｎ−１との差より最新移動ベクトルｕｎを算出する（ステップＳ３２）。
【００６０】
次に、座標移動量算出部１２２により求められた最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）および移動角度算出部１２４により求められた移動角度値θをそれぞれ閾値ａおよび閾値ｂと比較し大小関係を判断する（ステップＳ３３）。そして、｜ｕｎ｜＞ａまたはθ＞ｂの関係が得られた場合、すなわち判定結果がＹｅｓである場合は、ステップＳ３４に進み、｜ｕｎ｜＜ａかつθ＜ｂの関係が得られた場合、すなわち判定結果がＮｏである場合は、ステップＳ３７に進む。このステップＳ３３における動作は補正実行判断部１２６による。
【００６１】
そしてステップＳ３７に進んだ場合は、ステップＳ３１で検出された検出座標点Ｐｎをそのまま表示座標点Ｃｎとして採用し出力する（ステップＳ３７）。また、ステップＳ３４に進んだ場合は、後記するステップＳ３６における補正の連続実施回数を判定する（ステップＳ３４）。このステップＳ３４における補正回数が規定回数ｋ以上である場合、すなわち判定結果がＮｏである場合、ステップＳ３７に進み、ステップＳ３１で検出された検出座標点Ｐｎをそのまま表示座標点Ｃｎとして採用し出力する（ステップＳ３７）。しかし、補正回数が規定回数ｋ未満となる場合、すなわち判定結果がＹｅｓである場合は、ステップＳ３５に進む。
【００６２】
そして、前回表示座標点Ｃｎ−１と前々回表示座標点Ｃｎ−２とから前回移動ベクトルｖｎ−１が算出される（ステップＳ３５）。次に、前回表示座標点Ｃｎ−１と前回移動ベクトルｖｎ−１とから補正された補正表示座標点Ｃｎが決定される（ステップＳ３６）。このステップＳ３６における動作は、表示座標補正部１２７における動作である。そして、ステップＳ３６で得られた補正表示座標点ＣｎもしくはステップＳ３７で得られた表示座標点Ｃｎが、表示画面３３ｂ（図３）上のカーソル３７を表示する表示座標点として出力される。
【００６３】
次に、ゲイン調整部１４６において表示座標点Ｃｎ（Ｘ，Ｙ）に対し、任意の定数ｍが乗算され（ステップＳ３８）、表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）として出力される（ステップＳ３９）。ここで定数ｍの値は、操作者２４による、指先２６の操作範囲が表示画面の領域を必要充分に網羅する場合、通常１とする。これに対し、表示画面の領域が、指先２６の操作範囲をこえて充分に広い場合、定数ｍは、１より大きい数値、または指先の不安定な動きの影響をまともに受けてしまう程狭い場合は、操作がしやすい程度に定数ｍを１より小さい数値に適宜変更することとする。
【００６４】
次に、クロスカーソル表示部１４４において、表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）を交点とするカーソル３７が表示される（ステップＳ４０）。さらに、表示座標点Ｃ´ｎは、ボタンエリア判定部１３２において、実行ボタン３５（図３）のエリア内であるか否かが判断される（ステップＳ４１）。そして、エリア外であればＮｏと判断され、円ポイント表示部１４２により半径が初期値ｒ０の円ポイントを表示する（ステップＳ４７）。また、エリア内であればＹｅｓと判断されエリア滞在時間計測部１３４において表示座標点Ｃ´ｎがボタンエリア内における連続検出時間を計測する（ステップＳ４２）。
【００６５】
次に、ステップＳ４２において、前記連続検出時間がｔ秒を超えない場合は（Ｎｏ）、円ポイントの半径を半径ｒ０としてそのままキープする（ステップＳ４７）。そして、この時間がｔ秒を超えた場合は（Ｙｅｓ）、ステップＳ４３に進む（ステップＳ４２）。そして、カーソル収縮開始部１３６の作用により、現在表示されている円ポイント４３より一回り小さい半径ｒｊを決定する（ステップＳ４３）。
【００６６】
次に、円ポイント４３の半径ｒｊの値が０になったか否かを判定する（ステップＳ４５）。この半径ｒｊの値が０と判定されれば（Ｙｅｓ）当該実行ボタンが選択されたとみなされ、実行命令発行部１３５よりジョブの実行命令がジョブ実行部１３７に発行され、実行ボタンに関連付けられたジョブが実行されることとなる（ステップＳ４６）。また、半径ｒｊの値が０でないと判定されれば（Ｎｏ）円ポイント表示部１４２の作用により、半径ｒｊの円ポイント４３を表示する（ステップＳ４８）。
【００６７】
以上述べた構成ならびに動作により、座標とび補正部（Ｄ）においては、指先２６の位置を誤って検出した場合であっても、前記した補正処理によりカーソル３７を指先２６の位置に対応して表示画面上に安定表示させる。そして、カーソル３７の動きは、操作者２４の意図しない方向にジャンプすることなく、指先動作に連動してスムーズに追従することとなる。これにより、ポインティング操作性が向上し、実行ボタン３５の選択を誤ることが無くなり、機器の誤動作を軽減する効果が得られる。
【００６８】
さらに、実行ボタン選択部（Ｅ）においては、カーソル３７の交点である表示座標点Ｃ´ｎが実行ボタン３５のボタンエリア内に連続してｔ秒滞在すると、円ポイント４３が収縮し、半径ｒが０となった時点で実行ボタン３５が選択される。また、円ポイント４３の収縮途中において、カーソル３７の位置を実行ボタン３５のエリア外とすると、円ポイント４３の半径は初期値にｒ０復帰し、実行ボタン３５のクリック試行はキャンセルされる。これにより、カーソル操作を行っている操作者２４に対して、実行ボタン３５が選択されるタイミングを的確に認識させることが可能となり、機器の誤動作を回避することが可能となる。なお、以上の説明において、カーソル３７の形状として円形状の円ポイント４３を例示して説明したが、このカーソル３７の形状は任意の形状であって構わない。
【００６９】
（第二の実施の形態）
次に図１０乃至図１３を参照して本発明における第二の実施の形態について説明する。図１０は、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置の構成を示す構成ブロック図である。また、図１１は、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置の動作フローを示すフローチャートである。
【００７０】
まず、図１０を参照しつつ、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置１５０の構成を説明する。本実施形態にかかるカーソル操作装置１５０は、空間位置検出部（Ａ）、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、ジェスチャ判断部（Ｈ）、カーソル表示部（Ｆ）、画面駆動部（Ｇ）および記憶部１２０からなる。なお、図１０中、前記構成は、ジェスチャ判断部（Ｈ）を除き、図１における第一実施形態の場合と同一であるので、対応するものについては同一の符号を付し以降において説明を省略する。
【００７１】
そして、ジェスチャ判断部（Ｈ）は、カーソル軌跡バッファ部１６２、ジェスチャ判定部１６４、ジョブ指示部１６６、ジェスチャテーブル１６８およびジョブ実行部１８０からなる。
【００７２】
カーソル軌跡バッファ部１６２は、ゲイン調整部１４６より連続して送信される表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）を一定数、データ群として保持蓄積するものであり、新しい表示座標点Ｃ´ｎが入力されると、その都度、最古の表示座標点Ｃ´ｎが排除されていく機能を有する。
ジェスチャテーブル１６８は、後に図１２で例示する類型化されたサインを登録しておくものである、さらに異なるサインを追加登録することが可能である。
ジェスチャ判定部１６４は、カーソル軌跡バッファ部１６２において蓄積された前記データ群とジェスチャテーブル１６８における類型化されたサインとを比較し両者の類否判断を行うものである。
【００７３】
ジョブ指示部１６６は、ジェスチャ判定部１６４からの類似判断に基づき、前記サインに対応付けられたジョブの実行命令を発行するものである。
ジョブ実行部１８０は、ジョブ指示部１６６からの実行命令を受けて、画面駆動部（Ｇ）において実行される受信放送切替部１８２、録画予約部１８４等の各種ジョブが登録されているものである。
【００７４】
次に、図１２および図１３を参照して、本実施形態におけるカーソル操作装置１５０における操作概要について説明する。図１２は、本実施形態における、指先２６のジェスチャ動作によるサインを類型化して示す図である。本実施形態は、表示画面３３（図２）の正面で操作者２４が指先２６を動かすジェスチャを行うことにより、特別なリモコン操作機等を使用せずとも、遠隔操作によりテレビ受像機２８の操作を行うものである。さらに図１２は、類型化されたジェスチャサインを例示したもので、これら指先２６の軌跡により描かれたジェスチャサインとテレビ受像機２８におけるジョブとを対応づけることで、テレビ受像機２８を操作可能とするものである。
【００７５】
図１３は、表示画面３３上に表示される各種ジョブの操作画面を例示して複数重ねて示した図である。ここで、各種ジョブの操作画面とは、例えば、図中に示すように、テレビ受像機２８の電源、音量、画面コントロールを制御する操作画面とか、インターネット、録画予約、番組切替等周辺機器の操作モニタとしての表示である。
【００７６】
例えば、図１２で示す、Ｖ字サインにテレビ電源ＯＦＦのジョブを対応させれば、テレビ受像機２８の前で指でＶ字を書くだけでテレビの電源を切ることができ、同、○字サインに、インターネット画面切替えジョブを対応させれば、表示画面の前で指で○字を書くだけでインターネット画面に切替えられる。
【００７７】
次に、図１１に基づき、第二実施形態にかかるカーソル操作装置１５０における動作フローについて説明を行う。ここで、図１１中、図８における動作フローと同一の作用を有するステップに関しては、同一の符号を付して説明を省略することとし、ジェスチャ判断部（Ｈ）の動作フローにかかるステップＳ６１からＳ６９にかけての説明を行う。
【００７８】
まず、ステップＳ３９より、出力された表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）が、カーソル軌跡バッファ部１６２（図１０）に蓄積される（Ｓ６１）。ここで、このカーソル軌跡バッファ部１６２においては、最新の表示座標点Ｃ´ｎが逐一取り込まれる一方、蓄積されているデータ数が常時一定となるように、逐一古い表示座標点Ｃ´が除去されていく。
【００７９】
次に、表示座標点Ｃ´ｎが取り込まれるたびに、カーソル軌跡バッファ部１６２に蓄積された前記データ群がなす軌跡と、ジェスチャテーブル１６８に登録されたジェスチャサイン（図１３）とが逐一対比される（ステップＳ６３）。そして、この対比において、適合サイン無しと判断された場合は（Ｎｏ）、状態変化しないが、適合サイン有りと判断された場合は（Ｙｅｓ）（ステップＳ６５）、登録されたジェスチャサインに関連付けされたジョブが選択され実行命令が発行され（ステップＳ６７）、当該ジョブが実行される（ステップＳ６９）。
【００８０】
以上述べた、本実施形態にかかるジェスチャ判断部（Ｈ）を有するカーソル操作装置１５０においては、座標とび補正部（Ｄ）の作用により、ジェスチャにおける指先軌跡の認識がより正確となる。これにより、ジェスチャによる機器の遠隔操作において機器動作の安定性が確保される。
【００８１】
【発明の効果】
以上説明したとおり、本発明に係るカーソル操作装置、方法およびプログラムにより以下に示す優れた効果を奏する。
請求項１乃至請求項３の発明によれば、指先操作による非接触かつ遠隔操作を可能としたカーソル操作装置、方法およびプログラムにおいて、表示画面上のカーソルは、操作者の意図しない方向にジャンプすることなく、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、ポインティング操作性が向上するともに誤動作の軽減効果が得られる。
また、カーソル操作装置における、ジェスチャの形状認識を操作者の意図通りに正確に認識させることを可能とし、操作性が向上するとともに誤動作の軽減効果が得られる。
【図面の簡単な説明】
【図１】第一の実施の形態にかかるカーソル操作装置の構成を示すブロック図である。
【図２】第一の実施の形態にかかるカーソル操作装置に対し操作者がポインティング操作を実行している状態を示す側面図である。
【図３】（ａ）第一の実施の形態にかかるカーソル操作装置において通常番組を放映中の表示画面を示す図である。
（ｂ）第一の実施の形態にかかるカーソル操作装置においてポインティング動作中の表示画面を示す図である。
【図４】本発明にかかるカーソルを拡大して示した拡大図である。
【図５】本発明にかかるカーソル操作装置における空間位置検出部の、三次元空間内の物体検出の概念図である。
【図６】本発明にかかるカーソル操作装置の一構成部分である、手ぶれ補正部の動作フローを示すフローチャートである。
【図７】本発明にかかるカーソル操作装置の一構成部分である、手ぶれ補正部による手ぶれ補正の概念を説明するための説明図である。
【図８】第一の実施の形態にかかるカーソル操作装置の構成要素である、座標とび補正部、カーソル表示部および実行ボタン選択部の動作フローを示すフローチャートである。
【図９】第一の実施の形態にかかるカーソル操作装置の一構成部分である、座標とび補正部による座標とび補正の概念図である。
【図１０】第二の実施の形態にかかるカーソル操作装置の構成を示すブロック図である。
【図１１】第二の実施の形態にかかるカーソル操作装置の構成要素である、ジェスチャ判断部の動作フローを示すフローチャートである。
【図１２】第二の実施の形態において、ジェスチャ動作におけるサインを類型化して示す図である。
【図１３】第二の実施の形態におけるカーソル操作装置の表示画面上に表示される各種ジョブの操作画面を例示して複数重ねて示した図である。
【符号の説明】
１００ カーソル操作装置
２４ 操作者
２６ 指先（指示物体）
２８ テレビ受像機
２９ インターフェース装置
２２，２２Ｒ，２２Ｌ ステレオカメラ（空間位置検出手段）
３３，３３ａ，３３ｂ 表示画面
３５ 実行ボタン
３７ カーソル
４１ 交点
７０ カーソル不感帯域エリア
１２２ 座標移動量算出部（座標移動量算出手段）
１２４ 移動角度算出部（移動角度値算出手段）
１２６ 補正実行判断部（補正実行判断手段）
１２７ 表示座標補正部（表示座標補正手段）
１３２ ボタンエリア判定部
１３５ 実行命令発行部
１３６ カーソル収縮開始部
Ｐｎ 検出座標点
Ｃｎ （補正）表示座標点
Ｃｎ−１ 前回表示座標点
Ｃｎ−２ 前々回表示座標点
ｕｎ 最新移動ベクトル
｜ｕｎ｜ 座標移動量
ｖｎ−１ 前回移動ベクトル
θ 移動角度値
【発明の属する技術分野】
本発明は、表示画面上に表示されるカーソルが、この表示画面を指し示す指先等の指示物体に連動して移動し、ポインティング操作およびジェスチャ動作により機器に対して非接触、かつ遠隔制御する技術に関連するものである。
【０００２】
【従来の技術】
従来から、テレビ等の機器を遠隔操作する方法として、赤外線もしくは無線周波数（ＲＦ）信号等によるリモートコントロール装置（以下、リモコンと呼ぶ）、またはマウス、ジョイスティック、トラックボール等のポインティングデバイスを用いる方法などがある。そして現在、テレビ受像機の操作においては、前者のリモコンが広く用いられているが、テレビ受像機の操作は、本来、チャンネル、音量、色相、濃度、コントラスト等、制御対象が多いことに加え、将来的な放送サービスの多様化をふまえ、今後ますます操作者に複雑な操作を要求することが予想される。
【０００３】
その結果、従来のリモコンによる方法では、操作キーの数が増加したり、機能が複雑化したり、さらにリモコンが大型化する等、操作者にとって使い勝手の低下が避けられない。さらに、リモコンの保管や、紛失の煩わしさを考えると、より優れたリモコンに替わる操作手段が望まれるところである。
【０００４】
近年、テレビ受像機を含む制御機器の操作手段として、リモコン等の機器を用いず、遠隔から指先操作で直接入力操作を行う技術が公開されている（例えば、特許文献１）。これは、画像センサが指先の位置を検出し、この位置に対応する表示画面の二次元座標上にカーソルを表示させ、さらに指先の動きに基づいて、このカーソルが連動して移動することにしたものである。そして、このカーソルが、表示画面上に表示された実行ボタンを選択すると、この実行ボタンに関連付けられたジョブが実行されるものである。
【０００５】
さらに、指先がたどった軌跡の形態と、機器が有するジョブとを関連付け、テレビ受像機における処理を実行させるジェスチャ機能も、テレビ受像機の操作の操作性向上をはかるうえで有効な手法である。このような、リモコン等の特別な道具を必要としない、三次元インターフェースによるテレビ操作は、操作者の指先の動きのみでテレビ受像機の操作を可能とし、操作性の大幅な向上をもたらすものとして注目されている。
【０００６】
【特許文献１】
特開平５−３２４１８１号公報（第２−４頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかし、従来技術においては、指先位置を検出する空間位置検出器の出力結果を表示画面におけるカーソル位置としてそのまま用いた場合、表示画面上のカーソルの動きが指先に対応しない動作となる場合があった。これは、例えば震えのような操作者が意図しない指先の動き、背景の作用、信号ノイズ等による空間位置検出器の誤検出等によるものである。この場合、カーソルは、操作者が意図する軌道から外れて、目的の実行ボタンを的確にポインティングできない原因となる。さらに、ジェスチャ認識においては、認識の基礎となるカーソル軌跡が、連続した座標データ群より構成されるので、カーソルの動きが指先に対応しないという問題は、ジェスチャ機能においてより深刻なものであった。
【０００８】
これら問題に対する、従来の対応は、実行ボタンのボタンエリアを広くとり、操作者の指先の動きにカーソルが充分に対応できないケースが発生しても、入力エリアを逸脱しないようにするといった消極的なものでしかなかった。しかし、限られた領域内に多数のボタンエリアを設ける場合は、必然的にボタンエリアの間隔が狭くなり、隣接するボタンエリアに誤ってカーソルが侵入し、機器の誤動作を誘発することが避けられない。これでは、従来のリモコンを上回る使い勝手を追求する当初の目的が達成できないことになる。
【０００９】
本発明は、以上の問題点を解決することを目的としてなされたものであり、操作者の指先の動きと、表示画面上のカーソルの動作とを正確に対応させ、かつカーソルの良好な追従性を有するカーソル操作装置、その方法、およびそのプログラムを提供することを目的としたものである。
【００１０】
【課題を解決するための手段】
本発明は、前記した目的を達成するために創案されたものであり、まず請求項１に記載のカーソル操作装置は、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置であって、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段と、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段と、前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段と、前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段と、を有することを特徴とする。
【００１１】
かかる構成によれば、座標移動量算出手段により、検出座標点と前回表示座標点とを結ぶ最新移動ベクトルの大きさが、座標移動量として出力される。そして、移動角度算出手段により、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が出力される。また、補正実行判断手段により、これら座標移動量および移動角度値は、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に、補正要と判断された場合は、表示座標補正手段により、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として出力され、これら表示座標点に対応する位置にカーソルが表示される。
【００１２】
これにより、外乱等の影響で空間位置検出手段やその後のデータ処理において指先等の指示物体が正確に認識されずに誤った検出座標点が得られた場合においても、この誤った検出座標点を排除して、前回移動ベクトルを基にして補正表示座標点を得る。これにより、表示画面上のカーソルは、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、操作性が向上するとともに誤動作の軽減効果が得られる。さらに、ジェスチャ認識を実施する場合において、カーソル操作装置におけるジェスチャの形状認識は、操作者が意図した通りの正確なものとなる。
【００１３】
ここで、前回表示座標点とは、表示画面上におけるカーソルの現在位置のことである。また、表示座標点とは、次にカーソルが表示画面上において表示される位置のことである。そして、前々回表示座標点とは、現在、カーソルは表示されていないが、前回表示座標点においてカーソルが表示される前にカーソルが表示されていた位置のことである。また、検出座標点とは、空間位置検出手段から出力後、表示座標点として採用されるか否かの判断が下される前の状態のもののことである。そして、補正表示座標点とは、検出座標点が表示座標点として不採用の判断が下され、前回表示座標点および前々回表示座標点をもとに、表示座標点として新たに作成されたもののことである。なお、請求項において「・・・検出座標点に基づいて前記カーソルが表示された」との記載は、補正がなされた場合は、補正表示座標点に、補正がなされない場合は検出座標点にそれぞれ対応してカーソルが表示されたとの意味のことである。以下同じ。
【００１４】
さらに、請求項２に記載のカーソル操作方法は、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作方法であって、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出ステップと、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出ステップと、前記座標移動量および前記移動角度値をそれぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断ステップと、前記補正実行判断ステップにおける補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正ステップと、を含むことを特徴とする。
【００１５】
かかるカーソル操作方法によれば、座標移動量算出ステップにおいて、空間位置検出部で検出された三次元情報を二次元情報に座標変換された検出座標点と前回表示座標点との間隔が最新移動ベクトルとして算出される。そして、移動角度値算出ステップにおいて、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が算出される。そして補正実行判断ステップにより、座標移動量および移動角度値が、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に補正要と判断された場合は、表示座標補正ステップにより、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として出力され、これら表示座標点に対応する位置にカーソルが表示される。
【００１６】
以上述べた方法により、カーソルの動きは、操作者の意図しない方向にジャンプすることなく、指先の位置に対応する表示画面上のカーソルも安定して表示され、指先に対してスムーズに追従し、ポインティング操作性が向上するともに、機器の誤動作を軽減する効果が得られる。
【００１７】
さらに、請求項３に記載のカーソル操作プログラムは、表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置のコンピュータを、以下の手段として機能させる構成としたことを特徴とする。すなわち、前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段、前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により、前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段、前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段、前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段、として機能させる。
【００１８】
かかる構成によれば、座標移動量算出手段により、検出座標点と前回表示座標点とを結ぶ最新移動ベクトルの大きさが、座標移動量として算出される。そして、移動角度算出手段により、最新移動ベクトルと前回移動ベクトルとがなす移動角度値が算出される。そして、補正実行判断手段により、これら座標移動量および移動角度値は、それぞれに予め設定された定数（閾値）と比較され、座標移動量および移動角度値のうちどちらか一方が閾値を超える場合は、補正要の判断がなされる。次に、補正要と判断された場合は、表示座標補正手段により、前回表示座標点を始点とし、前回移動ベクトルと同一のベクトルを終点座標とする補正表示座標点が表示座標点として出力される。そして、補正不要と判断された場合は、検出座標点が表示座標点として選択され、これら表示座標点に対応する位置にカーソルが表示される。
【００１９】
これにより、外乱等の影響で空間位置検出部やその後のデータ処理において指先等の指示物体が正確に認識されずに誤った検出座標点が得られた場合においても、この検出座標点を排除して、前回移動ベクトルを基にして補正表示座標点を得る。これにより、表示画面上のカーソルは、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、操作性が向上するともに誤動作の軽減効果が得られる。さらに、ジェスチャ認識を実施する場合において、カーソル操作プログラムにおけるジェスチャの形状認識は、操作者が意図した通りの正確なものとなる。
【００２０】
【発明の実施の形態】
（第一の実施の形態）
以下、図面を参照して本発明における第一の実施の形態について説明する。
まず、図１および図２を参照して、本発明にかかるカーソル操作装置１００を概観する。図１は、本実施形態にかかるカーソル操作装置の構成を示すブロック図である。図２は、操作者２４とカーソル操作装置１００を示す図であって、操作者２４がポインティング操作を実行している状態を側面より示す図である。カーソル操作装置１００は、空間位置検出部（Ａ）、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、実行ボタン選択部（Ｅ）、カーソル表示部（Ｆ）、画面駆動部（Ｇ）および記憶部１２０からなる。
【００２１】
ここで、空間位置検出部（Ａ）は、後記する操作者２４（図２）の指先２６（指示物体）の三次元空間内における位置を検出する機能を有するものである。そして、座標変換部（Ｂ）は、空間位置検出部（Ａ）より得られた指先２６の位置を後記する表示画面３３ｂ（図３）上のカーソル３７として対応表示させる為、三次元位置から二次元位置へと座標変換する機能を有するものである。また、手ぶれ補正部（Ｃ）は、手の震え等に起因するカーソル表示上の不都合を補正する機能を有するものである。そして、座標とび補正部（Ｄ）とは、指先２６位置の誤検出によりカーソル位置が不連続にジャンプしたりする、カーソル表示上の不都合を補正する機能を有するものである。
【００２２】
また、実行ボタン選択部（Ｅ）は、機器操作にかかる各種実行ジョブを選択し、実行開始させる機能を有するものである。そして、カーソル表示部（Ｆ）とは、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）および座標とび補正部（Ｄ）を経て得た二次元座標データに基づき表示画面３３（図３参照）上にカーソル３７を表示する機能を有するものである。また、画面駆動部（Ｇ）とは、表示画面３３（図３）に各種画像ならびに映像を表示する機能を有するものである。なお、各々の構成の詳細に関しては、後記することとする。
【００２３】
次に、図２および図３を参照して、本実施形態におけるカーソル操作装置１００における操作概要について説明する。図２における、カーソル操作装置１００はステレオカメラ２２、インターフェース装置２９およびテレビ受像機２８から構成されている。ここで、ステレオカメラ２２は、図１中、空間位置検出部（Ａ）に、テレビ受像機２８は、同、画面駆動部（Ｇ）にそれぞれ対応するものである。そして、インターフェース装置２９は、図１中、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、実行ボタン選択部（Ｅ）およびカーソル表示部（Ｆ）を含むものである。そして、このインターフェース装置２９は、ステレオカメラ２２が検出した指先２６の三次元位置データを受信し、このデータに基づいてテレビ受像機２８の表示画面３３（図３参照）に表示するカーソル３７を操作する機能を有するものである。
【００２４】
そして、図３（ａ）は、テレビ受像機２８が通常番組を放映中の表示画面３３ａを示す図である。また、ステレオカメラ２２Ｒおよび同２２Ｌは、テレビ受像機２８の下部中央の左右に配置されており、それぞれ図１中、右映像入力手段２２Ｒおよび左映像入力手段２２Ｌに対応するものとする。次に、図３（ｂ）は、ポインティング動作中の表示画面を示す図である。表示画面３３ｂは、チャンネル切替の操作画面であり、前記通常番組以外に実行ボタン３５およびカーソル３７が表示されている。これら複数の実行ボタン３５は、テレビ受像機２８における各種実行ジョブに関連付けされたものであり、図３（ｂ）においてはチャンネル切替ボタンに相当するものである。そして、カーソル３７は、指先２６の動きに同期して表示画面３３ｂ上を移動し、実行ボタン３５を選択する機能を有するものである。
【００２５】
図４は、図３に示したカーソル３７を拡大して示したカーソルの構成図である。カーソル３７は、表示画面３３ｂにおける垂直線と水平線で表される十字ライン４５と、交点４１を中心とした円ポイント４３とからなる。
【００２６】
次に、カーソル操作装置１００の一連の操作手順について図２乃至図４を参照しつつ説明する。まず、図２に示すように操作者２４は、テレビ受像機２８の正面に相対して着座して、表示画面３３ａ（図３）に示される通常番組を視聴していることとする。次に、指先２６を表示画面３３ａに向けて差出すと、ステレオカメラ２２が指先２６を検出して、表示画面３３ａが同３３ｂへと切替わるとともに、画面上、指先２６に対応する位置にカーソル３７（図３）が表示される。
【００２７】
この表示されたカーソル３７は、指先２６の動きに連動して、表示画面３３ｂ上を移動するが、ここで、カーソル３７を実行ボタン３５（図３）のボタンエリア内に、一定時間滞在させたとする。すると、この実行ボタン３５が選択されたものとみなされて、対応する番組へのチャンネル切換操作がなされることとなる。
【００２８】
このとき、カーソル３７がボタンエリア内に侵入すると、図４に示すように、点線から実線で示すように円ポイント４３が収縮する。これは、実行ボタン選択のタイミングを操作者２４に認識させる為の予告動作であり、円ポイント４３の消滅時点をもってジョブの実行タイミングとする。なお、円ポイント４３の収縮途中にカーソル３７が実行ボタン３５（図３）のボタンエリア外に移動した場合は、円ポイント４３は、もとの大きさに復帰し、前記予告動作はキャンセルされる。
【００２９】
以上説明したように、操作者２４は、指先２６（図２）の操作により、遠隔位置から非接触にて、テレビ受像機２８の表示画面３３におけるポインティング操作を可能とし、さらに機器の制御もしくは繰作を行う。なお、前記表示画面および前記ステレオカメラにおいて、図中の符号ａおよび符号ｂならびに符号Ｒおよび符号Ｌを用いていずれか一方を特定する必要がない場合は、単に「表示画面３３」および「ステレオカメラ２２」と表記している。また、指示物体として指先２６を例示して説明したが、指示棒のような先端を有するものであれば何でもよいし、またステレオカメラ２２が認識しやすいように、色付のサックを指先２６にはめたものであってもよい。
【００３０】
次に、図面を参照しつつ、本発明にかかるカーソル操作装置１００を構成する構成要素に関し詳細に説明する。
＜空間位置検出部の説明＞
まず、図１および図５を参照して、空間位置検出部（Ａ）の説明を行う。図５は、空間位置検出部（Ａ）による、三次元空間内の物体検出の概念図である。図５中、Ｘ，Ｙ，Ｚの三軸で示される三次元座標系は、検出対象が存在する空間内の位置を示すものであって、点Ｓ（Ｘ，Ｙ，Ｚ）は被検出物を示す任意点である。また、空間位置検出部（Ａ）（図１）は、カメラのような映像を入力する手段である右映像入力手段２２Ｒおよび左映像入力手段２２Ｌ（図３）からなり、これらの映像が構成する二次元座標系をそれぞれｘＬ，ｙＬおよびｘＲ，ｙＲの二軸で示している。そして、各々の二次元座標内に表示された、点ｓＲ（ｘＲ，ｙＲ）および点ｓＬ（ｘＬ，ｙＬ）は、映像入力手段２２Ｒおよび２２Ｌにより検出された三次元座標上の点Ｓ（Ｘ，Ｙ，Ｚ）に対応する点である。そして、距離ｆは映像入力手段２２Ｒおよび２２Ｌの焦点距離を示すものであって、距離ｂの二倍は、映像入力手段２２Ｒと同２２Ｌとのカメラ間距離に対応する。
【００３１】
ここで、空間位置検出部（Ａ）は、被検出物（ここでは指先２６）の位置を検出するため、二つのカメラ（左および右映像入力手段２２Ｌ、２２Ｒ）による視差映像を出力する作用を有するものである。これらのカメラ（ステレオカメラ２２、図３参照）は、（１）式および（２）式に基づくカメラ固有の作用に従い、空間上任意点の座標Ｓ（Ｘ，Ｙ，Ｚ）をそれぞれ二次元座標ｓＬ（ｘＬ，ｙＬ）およびｓＲ（ｘＲ，ｙＲ）に変換する。
【００３２】
【数１】
＜座標変換部の説明＞
次に図１を参照しつつ座標変換部（Ｂ）の説明を行う。座標変換部（Ｂ）は、入力座標取得部１１２、三次元座標処理部１１４および二次元座標変換部１１６から構成される。
入力座標取得部１１２は、空間位置検出部（Ａ）より連続的に出力される左右の映像データを一定のサンプリング間隔Ｔｓで画像を取込み、この画像を構成する複数の画素からなる画素データ群ｓＬ（ｘＬ，ｙＬ）および同ｓＲ（ｘＲ，ｙＲ）として出力するものである。
三次元座標処理部１１４は、この画素データ群ｓＬ（ｘＬ，ｙＬ）および同ｓＲ（ｘＲ，ｙＲ）を入力し、（３）式に基づいて、三次元画素データ群Ｓｎ（Ｘ，Ｙ，Ｚ）を演算し出力するものである。
【００３４】
【数２】
二次元座標変換部１１６は、サンプリング間隔Ｔｓで発信される三次元画素データ群Ｓｎ（Ｘ，Ｙ，Ｚ）を入力し、（４）式に基づいて、最小のＺ値における（Ｘ，Ｙ）の組合せを検出データＳｎ（Ｘ，Ｙ）として抽出し出力するものである。すなわち、ここで得られた検出データＳｎ（Ｘ，Ｙ）は、図２中、ステレオカメラ２２（空間位置検出部Ａ）から至近距離にある指先２６の三次元空間内における位置を二次元座標上へ変換したものである。
【００３６】
【数３】
このように、座標変換部（Ｂ）の作用は、空間位置検出部（Ａ）が得た二つの視差映像より三角測量原理に基づいて、カメラから最短に位置するもの（指先２６）の三次元空間内における位置を二次元平面上の座標点に変換する機能を有するものである。以上、空間位置検出部（Ａ）として、ステレオカメラ２２を例示して説明したが、空間内の指先２６の位置を二次元座標上のデータとして変換して出力できる画像センサであれば任意に置換可能である。例えば、単眼カメラにより、検出された最大輝度を追跡するようなものであってもよい。なお、以下より、座標点を表記するにあたり、前記の座標であれば例えば「Ｓｎ（Ｘ，Ｙ）」を「Ｓｎ」と省略して表記する場合もある。
【００３８】
＜手ぶれ補正部の説明＞
次に、図１、図６および図７を参照して手ぶれ補正部（Ｃ）の説明を行う。ここで、図６は、本実施形態における、手ぶれ補正部（Ｃ）の動作フローを示すフローチャートである。図７は、手ぶれ補正の概念を説明するための説明図である。まず、座標変換部（Ｂ）から出力された検出データＳｎ（Ｘ，Ｙ）は、カーソル３７（図３）の表示座標点として採用される前に、手ぶれ補正部（Ｃ）において手ぶれ補正が行われる。
【００３９】
一般に、空間位置検出部（Ａ）（図１）により検出され、二次元座標変換された指先２６の位置は、指先の震え等によって、操作者が意図しない振動を伴う場合がある。入力座標取得部１１２における映像サンプリング周波数は、高速であるため座標変換部（Ｂ）からの検出データＳｎ（Ｘ，Ｙ）を忠実に再現して表示すると、この指先の震えによりカーソル３７の位置が安定しない場合がある。そして、操作者２４にとって、このように不安定なカーソル３７を凝視し続けることは、疲労感を増幅させるので、手ぶれ補正部（Ｃ）は、かかる問題を排除することを目的とする。
【００４０】
まず、図７を参照しつつ、手ぶれ補正部（Ｃ）における補正の概念について説明する。図中、矢印で示すように、サンプリング間隔Ｔｓで座標変換部（Ｂ）から連続して出力される検出データＳｎ（Ｘ，Ｙ）がＳ０からＳ７のように移動したと仮定する。ここで、Ｓ０を基準位置Ｑ０とし、Ｑ０を中心とし、Ｄｔｈ＝Ｔｓ×Ｖｔｈで表される半径Ｄｔｈの円形範囲を設定し、この円形範囲をカーソル不感帯域エリア７０とする。ここで、Ｔｓは、前記サンプリング間隔、そしてＶｔｈは速度定数であり任意に設定可能な定数である。
【００４１】
ここで、半径Ｄｔｈの円形で示される範囲の意味合いは、座標変換部（Ｂ）からの検出座標が位置としてＳ０からＳ６へと移動したとしても、半径Ｄｔｈの円形範囲内であれば、カーソル３７の表示座標点として反映される座標点は、Ｑ０のままである。そして、この半径Ｄｔｈの円形範囲を超えた位置Ｓ７が座標変換部（Ｂ）から検出されるにあたり初めて、カーソル３７の表示座標点として反映される座標点がＳ０からＳ７へと変更される。そして、今度はＳ７が基準位置Ｑ０となり、後続するＳ８以降のデータ（図示せず）についてカーソル３７の表示座標点の決定に関する判定を行うことになる。図中、実際の座標移動量からするとＳ５からＳ６への移動が最大であるが、ここでは、座標変換部（Ｂ）による検出座標がカーソル不感帯域エリア７０を超えない限り指先２６の位置が移動したとは判断されない。
【００４２】
次に、図６を参照しつつ手ぶれ補正部（Ｃ）における動作フローを説明する。最初に、基準位置Ｑ０が定められる（ステップＳ１１）。ここで基準位置Ｑ０は、一番初めに手ぶれ補正部（Ｃ）に入力された検出データＳｎであれば、この検出データＳｎがなり、その後は、後続するフローに従って更新されるものである。次にＤｔｈ＝Ｔｓ×Ｖｔｈで表される不感帯域エリア７０の半径が決定される（ステップＳ１３）。ここでＴｓは、入力座標取得部１１２におけるサンプリング間隔、Ｖｔｈは、任意に変更可能な速度定数である。
【００４３】
次に、座標変換部（Ｂ）から連続的に出力される検出データＳｎを検出する（ステップＳ１５）。そして、この検出データＳｎおよび基準位置Ｑ０の座標間隔と、前記Ｄｔｈとの大小を判断する（ステップＳ１７）。ここで、検出データＳｎがカーソル不感帯エリア７０内であると判定されれば（Ｙｅｓ）、ステップＳ１１における基準位置Ｑ０がカーソル表示の基礎となる検出座標点Ｐｎとして出力される（ステップＳ２１）。一方、検出データＳｎがカーソル不感帯エリア７０外であると判定されれば（Ｎｏ）、ステップＳ１５における検出データＳｎが次の基準位置Ｑ０として更新され（ステップＳ１９）、さらにカーソル表示の基礎となる検出座標点Ｐｎとして出力される（ステップＳ２１）。
【００４４】
このように、手ぶれ補正部（Ｃ）では、空間位置検出部（Ａ）から出力された指先２６の検出データＳｎ（Ｘ，Ｙ）に対して、不感帯域エリア７０に含まれるか否かを判定し、カーソル表示座標点の更新の可否を判断することとした。これにより、入力操作する際、無意識に生じる手ぶれの影響を的確に排除することが可能となる。
【００４５】
＜座標とび補正部の説明＞
次に、図１および図９を参照して座標とび補正部（Ｄ）の説明を行う。図９は、座標とび補正の概念図である。手ぶれ補正部（Ｃ）より出力された検出座標点Ｐｎ（Ｘ，Ｙ）は、カーソル３７の表示座標点として採用される前に、座標とび補正部（Ｄ）において補正が行われる。この座標とび補正部（Ｄ）の機能は、空間位置検出部（Ａ）の誤検出に伴う指先２６の検出位置の、不自然な動きを訂正することを目的とする。
【００４６】
一般に、空間位置検出部（Ａ）により撮像され、二次元座標変換された指先２６の検出データＳｎ（Ｘ，Ｙ）は、誤認識により必ずしも指先２６位置を反映したものでない場合がある。これは、本方式のような遠隔・非接触による指先２６の位置の検出手段においては、映像情報の入力段階における外乱の影響をあらゆるケースにおいて充分に排除できないことによる。この場合、指先２６の位置に対応する二次元座標点として出力された検出データＳｎ（Ｘ，Ｙ）を忠実にカーソル３７（図３）として表示すると、突然、カーソル３７が予期しない方向にジャンプしてしまい、操作者２４が混乱に陥る場合がある。座標とび補正部（Ｄ）は、かかる問題を排除することを目的としたものである。
【００４７】
次に、図９を参照しつつ、座標とび補正部（Ｄ）における補正のイメージについて説明する。図９は、表示画面３３ｂ（図３）上のカーソル３７の軌跡を示した図である。ここで前々回表示座標点Ｃｎ−２、前回表示座標点Ｃｎ−１は、サンプリング時間間隔Ｔｓおきの指先位置に対応するカーソル３７の表示座標点を連続して表示したものである。ここで、前回表示座標点Ｃｎ−１の次に空間位置検出部（Ａ）によって検出された指先位置が、誤検出によって検出座標点Ｐ´ｎの位置にジャンプして検出されたとする。
【００４８】
しかし、座標とび補正部（Ｄ）は、Ｃｎ−１から検出座標点Ｐ´ｎを結ぶ最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）ならびに前回移動ベクトルｖｎ−１がなす移動角度値θの値を一定の閾値（定数）と比較することで検出座標点Ｐ´ｎが誤検出された検出座標点である事を判断する。そして、最新移動ベクトルｕｎを前々回表示座標点Ｃｎ−２から前回表示座標点Ｃｎ−１までの前回移動ベクトルｖｎ−１に置換し補正表示座標点Ｃｎとする補正を実施することにより、操作者２４が意図した通りの指先表示を可能とする。なお、検出座標点Ｐ´ｎの補正回数が繰り返され真の指先位置から乖離してしまうことも懸念されるため、連続補正回数が一定数を超えた場合は、検出座標点Ｐ´ｎをそのまま表示座標点Ｃｎとして採用することとした。
【００４９】
次に、図１を参照しつつ、座標とび補正部（Ｄ）の構成について説明を行う。座標とび補正部（Ｄ）は、座標移動量算出部１２２、移動角度算出部１２４、補正実行判断部１２６、表示座標補正部１２７からなる。
【００５０】
座標移動量算出部（座標移動量算出手段）１２２は、空間位置検出部（Ａ）より検出され、座標変換部（Ｂ）により二次元座標変換された検出座標点Ｐ´ｎ（Ｐｎ）と前回表示座標点Ｃｎ−１とを結ぶ最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）を算出し出力するものである。
移動角度算出部（移動角度算出手段）１２４は、最新移動ベクトルｕｎと前々回表示座標点Ｃｎ−２および前回表示座標点Ｃｎ−１を結ぶ前回移動ベクトルｖｎ−１とがなす移動角度値θを算出し出力するものである。なお、移動角度値θは、最新移動ベクトルｕｎと前回移動ベクトルｖｎ−１とに基づいて、式（５）に従い算出されることとする。
【００５１】
【数４】
補正実行判断部（補正実行判断手段）１２６は、最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）および移動角度値θをそれぞれ予め設定した閾値ａおよび同ｂと比較し、これらの大小関係から補正の要・不要を判定し、その結果を出力するものである。
表示座標補正部（表示座標補正手段）１２７は、補正実行判断部１２６における判定結果が補正要である場合は、前回表示座標点Ｃｎ−１を始点とし、前回移動ベクトルｖｎ−１と同一のベクトルの終点座標Ｃｎを補正表示座標点として算出し出力するものである。一方、補正実行判断部１２６における判定結果が補正不要である場合は、検出座標点Ｐｎが表示座標点Ｃｎとして出力される。
【００５３】
＜カーソル表示部の説明＞
次に、図１および図４を参照してカーソル表示部（Ｆ）の構成について説明を行う。カーソル表示部（Ｆ）は、ゲイン調整部１４６、円ポイント表示部１４２およびクロスカーソル表示部１４４からなる。
【００５４】
カーソル表示部（Ｆ）は、表示画面３３ｂ（図３）上におけるカーソル３７の描画に係る指示を画面駆動部（Ｇ）に対し行うものである。
ゲイン調整部１４６は、操作者２４（図２）の指先移動による入力に対して、表示画面３３ｂ（図３）上におけるカーソル３７の移動量を比例調整するものである。
【００５５】
円ポイント表示部１４２は、表示座標点Ｃ´ｎを中心とする初期半径ｒ０の円を描画し、後記する作用によりこの半径を等速縮小させるものである。
クロスカーソル表示部１４４は、表示座標点Ｃ´ｎを交点として表示画面３３ｂ（図３）に対して、水平と垂直のラインからなる十字ライン４５を描画するものである。
【００５６】
＜実行ボタン選択部の説明＞
次に、図１を参照して実行ボタン選択部（Ｅ）の説明をする。図１より、この実行ボタン選択部（Ｅ）は、ボタンエリア判定部１３２、エリア滞在時間計測部１３４、クロック発生部１３８、カーソル収縮開始部１３６、実行命令発行部１３５およびジョブ実行部１３７から構成される。そして、この実行ボタン選択部（Ｅ）は、実行ボタン３５（図３）に関連付けられたジョブ実行にかかる機能を有するものである。
【００５７】
ボタンエリア判定部１３２は、ゲイン調整部１４６から出力される表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）が、実行ボタン３５（図３）のボタンエリア内に存在するか否かの判定を行うものである。
エリア滞在時間計測部１３４は、表示座標点Ｃ´ｎが実行ボタン３５のエリア内において連続検出される連続検出時間をクロック発生部１３８に基づき計測するものである。
【００５８】
カーソル収縮開始部（カーソル収縮開始手段）１３６は、前記連続検出時間が一定値を経過したところで、円ポイント４３（図４）の半径を初期半径ｒ０から減少させる指示を円ポイント表示部１４２および実行命令発行部１３５へ送るものである。
実行命令発行部（実行命令発行部）１３５は、縮小を始めた円ポイント４３の径の値が０となったとき、ジョブ実行部１３７に実行命令を発行するものである。
ジョブ実行部１３７は、前記実行命令を受信し、当該実行ボタン３５に割付けられたジョブ（例えばチャンネルの切替等）を実行するものである。
【００５９】
＜本発明にかかる構成要素の動作説明＞
次に、図８のフローチャートを参照しつつ（適宜図１参照）本発明にかかる座標とび補正部（Ｄ）、カーソル表示部（Ｆ）および実行ボタン選択部（Ｅ）における一連の動作フローを説明する。図８は、カーソル操作装置の構成要素である、座標とび補正部、カーソル表示部および実行ボタン選択部の動作フローを示すフローチャートである。
まず、手ぶれ補正部（Ｃ）を経由して、サンプリング間隔Ｔｓで連続的に発信される検出座標点Ｐｎ（Ｘ，Ｙ）が入力される（ステップＳ３１）。次に、検出座標点Ｐｎと前回表示座標点Ｃｎ−１との差より最新移動ベクトルｕｎを算出する（ステップＳ３２）。
【００６０】
次に、座標移動量算出部１２２により求められた最新移動ベクトルｕｎの大きさ｜ｕｎ｜（座標移動量）および移動角度算出部１２４により求められた移動角度値θをそれぞれ閾値ａおよび閾値ｂと比較し大小関係を判断する（ステップＳ３３）。そして、｜ｕｎ｜＞ａまたはθ＞ｂの関係が得られた場合、すなわち判定結果がＹｅｓである場合は、ステップＳ３４に進み、｜ｕｎ｜＜ａかつθ＜ｂの関係が得られた場合、すなわち判定結果がＮｏである場合は、ステップＳ３７に進む。このステップＳ３３における動作は補正実行判断部１２６による。
【００６１】
そしてステップＳ３７に進んだ場合は、ステップＳ３１で検出された検出座標点Ｐｎをそのまま表示座標点Ｃｎとして採用し出力する（ステップＳ３７）。また、ステップＳ３４に進んだ場合は、後記するステップＳ３６における補正の連続実施回数を判定する（ステップＳ３４）。このステップＳ３４における補正回数が規定回数ｋ以上である場合、すなわち判定結果がＮｏである場合、ステップＳ３７に進み、ステップＳ３１で検出された検出座標点Ｐｎをそのまま表示座標点Ｃｎとして採用し出力する（ステップＳ３７）。しかし、補正回数が規定回数ｋ未満となる場合、すなわち判定結果がＹｅｓである場合は、ステップＳ３５に進む。
【００６２】
そして、前回表示座標点Ｃｎ−１と前々回表示座標点Ｃｎ−２とから前回移動ベクトルｖｎ−１が算出される（ステップＳ３５）。次に、前回表示座標点Ｃｎ−１と前回移動ベクトルｖｎ−１とから補正された補正表示座標点Ｃｎが決定される（ステップＳ３６）。このステップＳ３６における動作は、表示座標補正部１２７における動作である。そして、ステップＳ３６で得られた補正表示座標点ＣｎもしくはステップＳ３７で得られた表示座標点Ｃｎが、表示画面３３ｂ（図３）上のカーソル３７を表示する表示座標点として出力される。
【００６３】
次に、ゲイン調整部１４６において表示座標点Ｃｎ（Ｘ，Ｙ）に対し、任意の定数ｍが乗算され（ステップＳ３８）、表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）として出力される（ステップＳ３９）。ここで定数ｍの値は、操作者２４による、指先２６の操作範囲が表示画面の領域を必要充分に網羅する場合、通常１とする。これに対し、表示画面の領域が、指先２６の操作範囲をこえて充分に広い場合、定数ｍは、１より大きい数値、または指先の不安定な動きの影響をまともに受けてしまう程狭い場合は、操作がしやすい程度に定数ｍを１より小さい数値に適宜変更することとする。
【００６４】
次に、クロスカーソル表示部１４４において、表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）を交点とするカーソル３７が表示される（ステップＳ４０）。さらに、表示座標点Ｃ´ｎは、ボタンエリア判定部１３２において、実行ボタン３５（図３）のエリア内であるか否かが判断される（ステップＳ４１）。そして、エリア外であればＮｏと判断され、円ポイント表示部１４２により半径が初期値ｒ０の円ポイントを表示する（ステップＳ４７）。また、エリア内であればＹｅｓと判断されエリア滞在時間計測部１３４において表示座標点Ｃ´ｎがボタンエリア内における連続検出時間を計測する（ステップＳ４２）。
【００６５】
次に、ステップＳ４２において、前記連続検出時間がｔ秒を超えない場合は（Ｎｏ）、円ポイントの半径を半径ｒ０としてそのままキープする（ステップＳ４７）。そして、この時間がｔ秒を超えた場合は（Ｙｅｓ）、ステップＳ４３に進む（ステップＳ４２）。そして、カーソル収縮開始部１３６の作用により、現在表示されている円ポイント４３より一回り小さい半径ｒｊを決定する（ステップＳ４３）。
【００６６】
次に、円ポイント４３の半径ｒｊの値が０になったか否かを判定する（ステップＳ４５）。この半径ｒｊの値が０と判定されれば（Ｙｅｓ）当該実行ボタンが選択されたとみなされ、実行命令発行部１３５よりジョブの実行命令がジョブ実行部１３７に発行され、実行ボタンに関連付けられたジョブが実行されることとなる（ステップＳ４６）。また、半径ｒｊの値が０でないと判定されれば（Ｎｏ）円ポイント表示部１４２の作用により、半径ｒｊの円ポイント４３を表示する（ステップＳ４８）。
【００６７】
以上述べた構成ならびに動作により、座標とび補正部（Ｄ）においては、指先２６の位置を誤って検出した場合であっても、前記した補正処理によりカーソル３７を指先２６の位置に対応して表示画面上に安定表示させる。そして、カーソル３７の動きは、操作者２４の意図しない方向にジャンプすることなく、指先動作に連動してスムーズに追従することとなる。これにより、ポインティング操作性が向上し、実行ボタン３５の選択を誤ることが無くなり、機器の誤動作を軽減する効果が得られる。
【００６８】
さらに、実行ボタン選択部（Ｅ）においては、カーソル３７の交点である表示座標点Ｃ´ｎが実行ボタン３５のボタンエリア内に連続してｔ秒滞在すると、円ポイント４３が収縮し、半径ｒが０となった時点で実行ボタン３５が選択される。また、円ポイント４３の収縮途中において、カーソル３７の位置を実行ボタン３５のエリア外とすると、円ポイント４３の半径は初期値にｒ０復帰し、実行ボタン３５のクリック試行はキャンセルされる。これにより、カーソル操作を行っている操作者２４に対して、実行ボタン３５が選択されるタイミングを的確に認識させることが可能となり、機器の誤動作を回避することが可能となる。なお、以上の説明において、カーソル３７の形状として円形状の円ポイント４３を例示して説明したが、このカーソル３７の形状は任意の形状であって構わない。
【００６９】
（第二の実施の形態）
次に図１０乃至図１３を参照して本発明における第二の実施の形態について説明する。図１０は、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置の構成を示す構成ブロック図である。また、図１１は、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置の動作フローを示すフローチャートである。
【００７０】
まず、図１０を参照しつつ、本実施形態にかかるジェスチャ判断部（Ｈ）を含むカーソル操作装置１５０の構成を説明する。本実施形態にかかるカーソル操作装置１５０は、空間位置検出部（Ａ）、座標変換部（Ｂ）、手ぶれ補正部（Ｃ）、座標とび補正部（Ｄ）、ジェスチャ判断部（Ｈ）、カーソル表示部（Ｆ）、画面駆動部（Ｇ）および記憶部１２０からなる。なお、図１０中、前記構成は、ジェスチャ判断部（Ｈ）を除き、図１における第一実施形態の場合と同一であるので、対応するものについては同一の符号を付し以降において説明を省略する。
【００７１】
そして、ジェスチャ判断部（Ｈ）は、カーソル軌跡バッファ部１６２、ジェスチャ判定部１６４、ジョブ指示部１６６、ジェスチャテーブル１６８およびジョブ実行部１８０からなる。
【００７２】
カーソル軌跡バッファ部１６２は、ゲイン調整部１４６より連続して送信される表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）を一定数、データ群として保持蓄積するものであり、新しい表示座標点Ｃ´ｎが入力されると、その都度、最古の表示座標点Ｃ´ｎが排除されていく機能を有する。
ジェスチャテーブル１６８は、後に図１２で例示する類型化されたサインを登録しておくものである、さらに異なるサインを追加登録することが可能である。
ジェスチャ判定部１６４は、カーソル軌跡バッファ部１６２において蓄積された前記データ群とジェスチャテーブル１６８における類型化されたサインとを比較し両者の類否判断を行うものである。
【００７３】
ジョブ指示部１６６は、ジェスチャ判定部１６４からの類似判断に基づき、前記サインに対応付けられたジョブの実行命令を発行するものである。
ジョブ実行部１８０は、ジョブ指示部１６６からの実行命令を受けて、画面駆動部（Ｇ）において実行される受信放送切替部１８２、録画予約部１８４等の各種ジョブが登録されているものである。
【００７４】
次に、図１２および図１３を参照して、本実施形態におけるカーソル操作装置１５０における操作概要について説明する。図１２は、本実施形態における、指先２６のジェスチャ動作によるサインを類型化して示す図である。本実施形態は、表示画面３３（図２）の正面で操作者２４が指先２６を動かすジェスチャを行うことにより、特別なリモコン操作機等を使用せずとも、遠隔操作によりテレビ受像機２８の操作を行うものである。さらに図１２は、類型化されたジェスチャサインを例示したもので、これら指先２６の軌跡により描かれたジェスチャサインとテレビ受像機２８におけるジョブとを対応づけることで、テレビ受像機２８を操作可能とするものである。
【００７５】
図１３は、表示画面３３上に表示される各種ジョブの操作画面を例示して複数重ねて示した図である。ここで、各種ジョブの操作画面とは、例えば、図中に示すように、テレビ受像機２８の電源、音量、画面コントロールを制御する操作画面とか、インターネット、録画予約、番組切替等周辺機器の操作モニタとしての表示である。
【００７６】
例えば、図１２で示す、Ｖ字サインにテレビ電源ＯＦＦのジョブを対応させれば、テレビ受像機２８の前で指でＶ字を書くだけでテレビの電源を切ることができ、同、○字サインに、インターネット画面切替えジョブを対応させれば、表示画面の前で指で○字を書くだけでインターネット画面に切替えられる。
【００７７】
次に、図１１に基づき、第二実施形態にかかるカーソル操作装置１５０における動作フローについて説明を行う。ここで、図１１中、図８における動作フローと同一の作用を有するステップに関しては、同一の符号を付して説明を省略することとし、ジェスチャ判断部（Ｈ）の動作フローにかかるステップＳ６１からＳ６９にかけての説明を行う。
【００７８】
まず、ステップＳ３９より、出力された表示座標点Ｃ´ｎ（ｍＸ，ｍＹ）が、カーソル軌跡バッファ部１６２（図１０）に蓄積される（Ｓ６１）。ここで、このカーソル軌跡バッファ部１６２においては、最新の表示座標点Ｃ´ｎが逐一取り込まれる一方、蓄積されているデータ数が常時一定となるように、逐一古い表示座標点Ｃ´が除去されていく。
【００７９】
次に、表示座標点Ｃ´ｎが取り込まれるたびに、カーソル軌跡バッファ部１６２に蓄積された前記データ群がなす軌跡と、ジェスチャテーブル１６８に登録されたジェスチャサイン（図１３）とが逐一対比される（ステップＳ６３）。そして、この対比において、適合サイン無しと判断された場合は（Ｎｏ）、状態変化しないが、適合サイン有りと判断された場合は（Ｙｅｓ）（ステップＳ６５）、登録されたジェスチャサインに関連付けされたジョブが選択され実行命令が発行され（ステップＳ６７）、当該ジョブが実行される（ステップＳ６９）。
【００８０】
以上述べた、本実施形態にかかるジェスチャ判断部（Ｈ）を有するカーソル操作装置１５０においては、座標とび補正部（Ｄ）の作用により、ジェスチャにおける指先軌跡の認識がより正確となる。これにより、ジェスチャによる機器の遠隔操作において機器動作の安定性が確保される。
【００８１】
【発明の効果】
以上説明したとおり、本発明に係るカーソル操作装置、方法およびプログラムにより以下に示す優れた効果を奏する。
請求項１乃至請求項３の発明によれば、指先操作による非接触かつ遠隔操作を可能としたカーソル操作装置、方法およびプログラムにおいて、表示画面上のカーソルは、操作者の意図しない方向にジャンプすることなく、指先の位置に対応して安定表示され、また指先の動きに対してもスムーズに追従し、ポインティング操作性が向上するともに誤動作の軽減効果が得られる。
また、カーソル操作装置における、ジェスチャの形状認識を操作者の意図通りに正確に認識させることを可能とし、操作性が向上するとともに誤動作の軽減効果が得られる。
【図面の簡単な説明】
【図１】第一の実施の形態にかかるカーソル操作装置の構成を示すブロック図である。
【図２】第一の実施の形態にかかるカーソル操作装置に対し操作者がポインティング操作を実行している状態を示す側面図である。
【図３】（ａ）第一の実施の形態にかかるカーソル操作装置において通常番組を放映中の表示画面を示す図である。
（ｂ）第一の実施の形態にかかるカーソル操作装置においてポインティング動作中の表示画面を示す図である。
【図４】本発明にかかるカーソルを拡大して示した拡大図である。
【図５】本発明にかかるカーソル操作装置における空間位置検出部の、三次元空間内の物体検出の概念図である。
【図６】本発明にかかるカーソル操作装置の一構成部分である、手ぶれ補正部の動作フローを示すフローチャートである。
【図７】本発明にかかるカーソル操作装置の一構成部分である、手ぶれ補正部による手ぶれ補正の概念を説明するための説明図である。
【図８】第一の実施の形態にかかるカーソル操作装置の構成要素である、座標とび補正部、カーソル表示部および実行ボタン選択部の動作フローを示すフローチャートである。
【図９】第一の実施の形態にかかるカーソル操作装置の一構成部分である、座標とび補正部による座標とび補正の概念図である。
【図１０】第二の実施の形態にかかるカーソル操作装置の構成を示すブロック図である。
【図１１】第二の実施の形態にかかるカーソル操作装置の構成要素である、ジェスチャ判断部の動作フローを示すフローチャートである。
【図１２】第二の実施の形態において、ジェスチャ動作におけるサインを類型化して示す図である。
【図１３】第二の実施の形態におけるカーソル操作装置の表示画面上に表示される各種ジョブの操作画面を例示して複数重ねて示した図である。
【符号の説明】
１００ カーソル操作装置
２４ 操作者
２６ 指先（指示物体）
２８ テレビ受像機
２９ インターフェース装置
２２，２２Ｒ，２２Ｌ ステレオカメラ（空間位置検出手段）
３３，３３ａ，３３ｂ 表示画面
３５ 実行ボタン
３７ カーソル
４１ 交点
７０ カーソル不感帯域エリア
１２２ 座標移動量算出部（座標移動量算出手段）
１２４ 移動角度算出部（移動角度値算出手段）
１２６ 補正実行判断部（補正実行判断手段）
１２７ 表示座標補正部（表示座標補正手段）
１３２ ボタンエリア判定部
１３５ 実行命令発行部
１３６ カーソル収縮開始部
Ｐｎ 検出座標点
Ｃｎ （補正）表示座標点
Ｃｎ−１ 前回表示座標点
Ｃｎ−２ 前々回表示座標点
ｕｎ 最新移動ベクトル
｜ｕｎ｜ 座標移動量
ｖｎ−１ 前回移動ベクトル
θ 移動角度値
Claims (3)
- 表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置であって、
前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段と、
前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段と、
前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段と、
前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段と、
を有することを特徴とするカーソル操作装置。 - 表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作方法であって、
前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出ステップと、
前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出ステップと、
前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断ステップと、
前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正ステップと、
を含むことを特徴とするカーソル操作方法。 - 表示画面に対面して、その表示画面を指し示す指示物体の位置を空間位置検出手段で検出することにより、前記指示物体の位置に連動して移動する前記表示画面上のカーソルを操作するカーソル操作装置のコンピュータを、
前記空間位置検出手段が検出した前記指示物体の位置に対応する前記表示画面上の検出座標点と前記空間位置検出手段が前回検出した検出座標点に基づいて前記カーソルが表示された前回表示座標点とを結ぶ最新移動ベクトルの大きさを座標移動量として算出する座標移動量算出手段、
前記最新移動ベクトルと前記前回表示座標点および前記空間位置検出手段により前々回検出された検出座標点に基づいて前記カーソルが表示された前々回表示座標点を結ぶ前回移動ベクトルとがなす移動角度値を算出する移動角度値算出手段、
前記座標移動量および前記移動角度値を、それぞれに予め設定された定数と大小関係を比較することにより、補正の要・不要を判断する補正実行判断手段、
前記補正実行判断手段における補正要の判断に従い、前記前回表示座標点を始点とする前記前回移動ベクトルと同一のベクトルの終点座標を表示座標点として補正する表示座標補正手段、
として機能させることを特徴とするカーソル操作プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046860A JP2004258837A (ja) | 2003-02-25 | 2003-02-25 | カーソル操作装置、その方法およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046860A JP2004258837A (ja) | 2003-02-25 | 2003-02-25 | カーソル操作装置、その方法およびそのプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004258837A true JP2004258837A (ja) | 2004-09-16 |
Family
ID=33113260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003046860A Pending JP2004258837A (ja) | 2003-02-25 | 2003-02-25 | カーソル操作装置、その方法およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004258837A (ja) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006320706A (ja) * | 2004-12-03 | 2006-11-30 | Shinsedai Kk | ボクシングゲーム方法、表示制御方法、位置決定方法、カーソル制御方法、消費エネルギー算出方法及びエクササイズ・システム |
| WO2007013652A1 (ja) * | 2005-07-29 | 2007-02-01 | Pioneer Corporation | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
| JP2009054131A (ja) * | 2007-08-24 | 2009-03-12 | National Chiao Tung Univ | 制御装置および方法 |
| JP2009059076A (ja) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | 情報処理装置、プログラム及び情報処理方法 |
| JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
| JP2011003136A (ja) * | 2009-06-22 | 2011-01-06 | Sony Corp | 操作制御装置および操作制御方法 |
| WO2012005005A1 (ja) * | 2010-07-07 | 2012-01-12 | パナソニック株式会社 | 端末装置およびｇｕｉ画面生成方法 |
| JP2012506100A (ja) * | 2008-10-15 | 2012-03-08 | インベンセンス，インク． | 身振り認識を伴うモバイルデバイス |
| JP2012064233A (ja) * | 2011-11-08 | 2012-03-29 | Toshiba Corp | 情報処理装置、プログラム及び情報処理方法 |
| JP2012061249A (ja) * | 2010-09-17 | 2012-03-29 | Sony Computer Entertainment Inc | コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体 |
| JP2013508827A (ja) * | 2009-11-06 | 2013-03-07 | ソニー株式会社 | リアルタイムハンド追跡、ポーズ分類、及びインタフェース制御 |
| US8502791B2 (en) | 2009-08-27 | 2013-08-06 | Samsung Electronics Co., Ltd. | Methods of processing data in touch screen display device and methods of displaying image using the same |
| JP2013161406A (ja) * | 2012-02-08 | 2013-08-19 | Sharp Corp | データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム |
| JP2014096804A (ja) * | 2013-12-02 | 2014-05-22 | Hitachi Consumer Electronics Co Ltd | 操作制御装置及び操作表示方法 |
| JP2014137667A (ja) * | 2013-01-16 | 2014-07-28 | Mitsubishi Electric Corp | 制御装置及び制御方法 |
| US8805006B2 (en) | 2010-08-19 | 2014-08-12 | Sony Corporation | Information processing device configured to detect a subject from an image and extract a feature point from the subject, information processing method, program and electronic apparatus |
| US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US8960002B2 (en) | 2007-12-10 | 2015-02-24 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
| US8997564B2 (en) | 2007-07-06 | 2015-04-07 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| KR101544553B1 (ko) * | 2009-06-30 | 2015-08-13 | 엘지전자 주식회사 | 영상 표시 장치 및 그 동작 방법 |
| JP2015181047A (ja) * | 2015-06-15 | 2015-10-15 | カシオ計算機株式会社 | ポインタ制御装置、プロジェクタ及びプログラム |
| US9292102B2 (en) | 2007-01-05 | 2016-03-22 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| WO2017013805A1 (ja) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | 入力装置、入力支援方法および入力支援プログラム |
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
| US11089351B2 (en) | 2017-02-02 | 2021-08-10 | Maxell, Ltd. | Display apparatus and remote operation control apparatus |
| WO2021246089A1 (ja) * | 2020-06-01 | 2021-12-09 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| KR20220021838A (ko) * | 2020-08-14 | 2022-02-22 | 주식회사 브이터치 | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| US11474690B2 (en) | 2020-08-14 | 2022-10-18 | VTouch Co., Ltd. | Method, system and non-transitory computer-readable recording medium for non-contact control |
-
2003
- 2003-02-25 JP JP2003046860A patent/JP2004258837A/ja active Pending
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006320706A (ja) * | 2004-12-03 | 2006-11-30 | Shinsedai Kk | ボクシングゲーム方法、表示制御方法、位置決定方法、カーソル制御方法、消費エネルギー算出方法及びエクササイズ・システム |
| WO2007013652A1 (ja) * | 2005-07-29 | 2007-02-01 | Pioneer Corporation | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
| US9292102B2 (en) | 2007-01-05 | 2016-03-22 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US10288427B2 (en) | 2007-07-06 | 2019-05-14 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| US8997564B2 (en) | 2007-07-06 | 2015-04-07 | Invensense, Inc. | Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics |
| JP2009054131A (ja) * | 2007-08-24 | 2009-03-12 | National Chiao Tung Univ | 制御装置および方法 |
| JP2009059076A (ja) * | 2007-08-30 | 2009-03-19 | Toshiba Corp | 情報処理装置、プログラム及び情報処理方法 |
| US8960002B2 (en) | 2007-12-10 | 2015-02-24 | Invensense, Inc. | Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics |
| US9846175B2 (en) | 2007-12-10 | 2017-12-19 | Invensense, Inc. | MEMS rotation sensor with integrated electronics |
| US9811174B2 (en) | 2008-01-18 | 2017-11-07 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US8952832B2 (en) | 2008-01-18 | 2015-02-10 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| US9342154B2 (en) | 2008-01-18 | 2016-05-17 | Invensense, Inc. | Interfacing application programs and motion sensors of a device |
| JP2012506100A (ja) * | 2008-10-15 | 2012-03-08 | インベンセンス，インク． | 身振り認識を伴うモバイルデバイス |
| JP2010154405A (ja) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | 映像再生装置、制御信号生成装置及び制御信号生成方法 |
| JP2011003136A (ja) * | 2009-06-22 | 2011-01-06 | Sony Corp | 操作制御装置および操作制御方法 |
| KR101544553B1 (ko) * | 2009-06-30 | 2015-08-13 | 엘지전자 주식회사 | 영상 표시 장치 및 그 동작 방법 |
| US8502791B2 (en) | 2009-08-27 | 2013-08-06 | Samsung Electronics Co., Ltd. | Methods of processing data in touch screen display device and methods of displaying image using the same |
| JP2013508827A (ja) * | 2009-11-06 | 2013-03-07 | ソニー株式会社 | リアルタイムハンド追跡、ポーズ分類、及びインタフェース制御 |
| US8774464B2 (en) | 2009-11-06 | 2014-07-08 | Sony Corporation | Real time hand tracking, pose classification, and interface control |
| US8755568B2 (en) | 2009-11-06 | 2014-06-17 | Sony Corporation | Real time hand tracking, pose classification, and interface control |
| US8600166B2 (en) | 2009-11-06 | 2013-12-03 | Sony Corporation | Real time hand tracking, pose classification and interface control |
| WO2012005005A1 (ja) * | 2010-07-07 | 2012-01-12 | パナソニック株式会社 | 端末装置およびｇｕｉ画面生成方法 |
| JP5189709B2 (ja) * | 2010-07-07 | 2013-04-24 | パナソニック株式会社 | 端末装置およびｇｕｉ画面生成方法 |
| US9423935B2 (en) | 2010-07-07 | 2016-08-23 | Panasonic Intellectual Property Management Co., Ltd. | Terminal apparatus and GUI screen generation method |
| US8805006B2 (en) | 2010-08-19 | 2014-08-12 | Sony Corporation | Information processing device configured to detect a subject from an image and extract a feature point from the subject, information processing method, program and electronic apparatus |
| JP2012061249A (ja) * | 2010-09-17 | 2012-03-29 | Sony Computer Entertainment Inc | コンピュータシステム、コンピュータシステムの制御方法、プログラム及び情報記憶媒体 |
| US8970491B2 (en) | 2010-09-17 | 2015-03-03 | Sony Corporation | Computer system, computer system control method, program, and information storage medium |
| JP2012064233A (ja) * | 2011-11-08 | 2012-03-29 | Toshiba Corp | 情報処理装置、プログラム及び情報処理方法 |
| JP2013161406A (ja) * | 2012-02-08 | 2013-08-19 | Sharp Corp | データ入力装置、表示装置、データ入力方法、及びデータ入力プログラム |
| JP2014137667A (ja) * | 2013-01-16 | 2014-07-28 | Mitsubishi Electric Corp | 制御装置及び制御方法 |
| JP2014096804A (ja) * | 2013-12-02 | 2014-05-22 | Hitachi Consumer Electronics Co Ltd | 操作制御装置及び操作表示方法 |
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| JP2015181047A (ja) * | 2015-06-15 | 2015-10-15 | カシオ計算機株式会社 | ポインタ制御装置、プロジェクタ及びプログラム |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
| WO2017013805A1 (ja) * | 2015-07-23 | 2017-01-26 | 富士通株式会社 | 入力装置、入力支援方法および入力支援プログラム |
| US11470377B2 (en) | 2017-02-02 | 2022-10-11 | Maxell, Ltd. | Display apparatus and remote operation control apparatus |
| US11089351B2 (en) | 2017-02-02 | 2021-08-10 | Maxell, Ltd. | Display apparatus and remote operation control apparatus |
| WO2021246089A1 (ja) * | 2020-06-01 | 2021-12-09 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| US11893161B2 (en) | 2020-06-01 | 2024-02-06 | National Institute Of Advanced Industrial Science And Technology | Gesture recognition based on user proximity to a camera |
| JP7489048B2 (ja) | 2020-06-01 | 2024-05-23 | 国立研究開発法人産業技術総合研究所 | ジェスチャ認識装置、システム及びそのプログラム |
| KR20220021838A (ko) * | 2020-08-14 | 2022-02-22 | 주식회사 브이터치 | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
| US11474690B2 (en) | 2020-08-14 | 2022-10-18 | VTouch Co., Ltd. | Method, system and non-transitory computer-readable recording medium for non-contact control |
| KR102477006B1 (ko) * | 2020-08-14 | 2022-12-14 | 주식회사 브이터치 | 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004258837A (ja) | カーソル操作装置、その方法およびそのプログラム | |
| US8482521B2 (en) | Pointer controlling apparatus | |
| US8693732B2 (en) | Computer vision gesture based control of a device | |
| US8085300B2 (en) | Surveillance camera system, remote-controlled monitoring device, control method, and their control program | |
| US8237655B2 (en) | Information processing apparatus, method and program | |
| JP5427385B2 (ja) | 操作制御装置及び操作表示方法 | |
| US8593399B2 (en) | Interface apparatus and method for controlling a device | |
| US8558787B2 (en) | Input device and method, information processing device and method, information processing system, and program | |
| US8952993B2 (en) | Information processing apparatus, method, and program | |
| US20040179121A1 (en) | System and method for displaying captured images according to imaging device position | |
| JP5264844B2 (ja) | ジェスチャ認識装置及び方法 | |
| US20120268608A1 (en) | Automatic tracking control apparatus for camera apparatus and automatic tracking camera system having same | |
| JP2008052590A (ja) | インターフェース装置及びその方法 | |
| JP2013250637A (ja) | 認識装置 | |
| JP2000267799A (ja) | 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2011028366A (ja) | 操作制御装置および操作制御方法 | |
| JP2008040576A (ja) | 画像処理システム及び該システムを備えた映像表示装置 | |
| US20120019460A1 (en) | Input method and input apparatus | |
| US10929083B2 (en) | Resource sharing device and control method thereof | |
| JP5358548B2 (ja) | ジェスチャ認識装置 | |
| KR20150106824A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| KR101654311B1 (ko) | 사용자 모션 인식 방법 및 장치 | |
| JP2008181198A (ja) | 画像表示システム | |
| JP2015127976A (ja) | 認識装置 | |
| JP2007193403A (ja) | ポインティングデバイス、ポインタ指示位置制御方法およびディスプレイシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20061201 |