JP2005258694A - ポインティング装置 - Google Patents

Abstract

【課題】 表示画面に表示されるカーソルの操作性を向上すること。
【解決手段】 デジタルテレビ受像器１の表示画面に表示されるカーソルを、内蔵されている撮像装置５で撮像された画像に基づいて制御可能なリモコン装置３に、水平面に対する撮像装置５の傾きに基づいて前記画像の傾きを補正させるようにした。
この構成によれば、撮像中に撮像装置５の傾きが変化し、第２画像データに撮像されている撮像対象１６が傾いて撮像されたときに、第１画像データに撮像された撮像対象１６の傾きを補正することができる。そのため、第１画像データを平行移動でのみずらして相関係数Ｃijを算出することができ、平行移動と傾きとの両方でずらして相関係数Ｃijを算出する方法に比べ、相関係数Ｃijを高速に検出することができ、その結果、カーソル４の操作性を向上することができる。
【選択図】 図３

Description

本発明は、表示画面の局所領域を指示する指示画像を表示可能な表示装置に、前記指示画像を移動させる移動指令を出力可能なポインティング装置に関する。

従来、この種の技術としては、例えば、ディスプレイの局所領域を指示するマウスカーソルを表示可能なパソコンに、マウスカーソルを移動させる移動指令を出力可能なオプティカルマウスが知られている。
このようなオプティカルマウスは、一般に、自装置下方の画像を撮像する撮像装置を備えている。そして、デスクの上で前後左右に動かされると、その撮像装置でデスクの上面の画像を撮像し、その撮像された画像のうち連続する２枚の画像を様々にずらし、そのずらした画像間の相関をそれぞれ算出する。次いで、そのずらした画像のうち相関が最も大きく算出された画像に基づいて、撮像された画像内における撮像対象の移動量を算出し、その算出された移動量に基づいてマウスカーソルを移動させる移動指令をパソコンに出力する。なお、このようなオプティカルマウスにあっては、通常、画像間の相関を高速に計算できるように、回転移動を伴わない平行移動のみで画像をずらすようになっている（例えば、特許文献１参照）。

ところで、近年、テレビ受像器のデジタル化が進み、テレビ放送とインターネットとを融合させる技術が開発されている。この技術によれば、例えば、視聴者が表示画面から興味のある映像を選択することで、その映像に関する情報を表示画面に表示させることができるようになる。このようなテレビ受像器のリモコン装置にあっては、細かな映像の選択ができるように、テレビ受像器のリモコン装置にオプティカルマウスの技術を組み合わせることも考えられる。つまり、自装置前方の画像を撮像する撮像装置をリモコン装置に備えさせ、空中で上下左右に動かされると、オプティカルマウスと同様に、その撮像装置で撮像される画像に基づいて、撮像された画像内における撮像対象の移動量を算出し、その算出された移動量に基づいてカーソルの移動指令を出力することが考えられる。
特開２００３―１４０８２２号公報

しかしながら、上記従来のテレビ受像機のリモコン装置に、オプティカルマウスの技術を組み合わせたものにあっては、空中で上下左右に動かすようになっているため、デスクの上で動かされるオプティカルマウスに比べ、操作時に、撮像装置が傾きやすく、撮像される画像が傾きがちとなってしまう。そのため、撮像された画像を平行移動のみでずらすようにすると、画像間の相関を適切に算出できず、その結果、カーソルの操作性が悪化してしまう恐れがあった。また、撮像された画像を回転移動と平行移動とでずらすようにすると、相関の算出のための計算量が増大し、画像間の相関の高速な計算が困難となってしまい、その結果、カーソルの操作性がより悪化してしまう恐れがあった。

また、前記技術を組み合わせたものにあっては、カーソルを移動させた後、そのカーソルで指示される映像を選択する操作を行うときには、撮像対象が移動しないように、リモコン装置を空中で静止させることとなる。しかしながら、空中でリモコン装置を静止させることは難しく、デスク上で静止させるオプティカルマウスに比べ、選択操作時に、撮像対象が移動しやすくなってしまい、選択のための操作性が悪化してしまう恐れがあった。
本発明は、上記従来の技術の未解決の問題点を解決することを目的とするものであって、指示画像の操作性を向上可能なポインティング装置を提供することを課題とする。

上記課題を解決するため、第１の発明であるポインティング装置は、表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、所定方向の画像を撮像する撮像手段と、前記撮像手段の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記撮像手段で撮像された画像の傾きを補正する補正手段と、前記補正手段で補正された画像に基づいて前記移動指令を出力可能な移動指令出力手段を備えたことを特徴とする。なお、指示画像としては、例えば、映像を指示するカーソルの画像を挙げることができる。

また、第２の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記撮像手段で撮像された画像内における前記補正手段で補正された画像の移動状態を検出する移動状態検出手段と、その検出された移動状態に基づいて前記移動指令を出力可能な指令出力手段とを備えたことを特徴とする。
さらに、第３の発明であるポインティング装置にあっては、前記表示装置は、テレビ受像器であり、さらに、前記テレビ受像器の制御指令を出力可能な制御指令出力手段を備えたことを特徴とする。

これら第１から第３の発明によれば、ポインティングデバイスを空中で動かしているときに、撮像手段が傾き、撮像される画像が傾いた場合、その画像の傾きを補正することができる。そのため、撮像された画像を平行移動でのみずらして相関を算出することができ、平行移動と回転移動との両方でずらして相関を算出する方法に比べ、相関を高速に算出することができ、その結果、指示画像の操作性を向上することができる。

また、第４の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段と、前記撮像手段と異なる方向の画像を撮像する予備撮像手段とを備え、前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記予備撮像手段で撮像された画像に基づいて前記移動指令を出力することを特徴とする。
この第４の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、予備撮像手段で撮像される画像に基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。

さらに、第５の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段を備え、前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記傾き状態検出手段で検出された傾き状態に基づいて前記移動指令を出力することを特徴とする。
この第５の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、撮像手段の傾きに基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。

また、第６の発明であるポインティング装置にあっては、前記移動指令出力手段の動作状態を、前記移動指令の出力を許可する状態と前記移動指令の出力を禁止する状態とに切り替え可能な切り替え手段を備えたことを特徴とする。
さらに、第７の発明であるポインティング装置にあっては、前記切り替え手段は、前記移動指令出力手段の動作状態を、接触式スイッチを用いて切り替えることを特徴とする。
これら第６及び第７の発明によれば、指示画像を移動させた後、指示画像の位置を固定することができる。そのため、撮像対象の移動を気にすることなく、指示画像で指示されている映像を選択する動作を行うことができ、撮像対象が移動しないように、リモコン装置を空中で静止させて、指示画像で指示されている映像を選択する動作を行う場合に比べ、リモコン装置の操作性をより向上することができる。

また、第８の発明であるポインティング装置にあっては、前記撮像手段は、前記画像を、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)イメージセンサを用いて撮像することを特徴とする。
この第８の発明によれば、撮像手段としてＣＣＤ(charge-coupled device)を用いる場合に比べ、駆動電圧を低くし、消費電力を小さくすることができる。
さらに、第９の発明であるポインティング装置にあっては、前記傾き状態検出手段は、前記撮像手段の傾き状態を、加速度センサを用いて検出することを特徴とする。
この第９の発明によれば、傾き状態検出手段としてジャイロを用いる場合に比べ、耐衝撃性を向上でき、また製造コストを小さくすることができる。

また、第１０の発明であるポインティング装置にあっては、表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、自装置の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記移動指令を出力可能な移動指令出力手段とを備えたことを特徴とする。
この第１０の発明によれば、ポインティング装置の傾きの大きさのみに基づいて移動指令を出力することができる。そのため、撮像手段で撮像される画像の相関に基づいて支持指令を出力する場合に比べ、指示画像を移動させるための計算量を少なくすることができる。

以下、本発明のポインティング装置をリモコン装置に適用したデジタルテレビ受像器の実施形態を、図面に基づいて説明する。
＜第１実施形態＞
＜デジタルテレビ受像器の構成＞
図１は、第１実施形態のデジタルテレビ受像器１の概略構成図である。デジタルテレビ受像器１は、図１に示すように、本体装置２及びリモコン装置３を含んで構成される。
これらのうち、本体装置２は、任意の映像を指示するためのカーソル４を表示画面に表示する。そして、リモコン装置３からカーソル移動指令（後述）が送信されると、その送信されたカーソル移動指令（後述）に従って、表示されているカーソル４を移動させる。また、本体装置２は、リモコン装置３から選択決定指令（後述）が送信されると、表示されているカーソル４が指示している映像を選択する。なお、本体装置２の表示画面は、どのようなものであってもよく、例えば、テレビ画面、モニター、ディスプレイ装置及びスクリーン等が挙げられる。

＜リモコン装置の構成＞
図２は、リモコン装置３の外観を示す斜視図である。また、図３は、リモコン装置３の内部構成を示すブロック図である。この図３に示すように、リモコン装置３は、撮像装置５、傾き検出装置６、ＤＳＰ(Digital Signal Processor)７、メモリ８、インターフェース９、選択決定ボタン１０、移動許可スイッチ１１及びＣＰＵ(Central Processing Unit)１２を含んで構成されている。

これらのうち、撮像装置５は、リモコン装置３の前方の画像を撮像するＣＭＯＳイメージセンサ１３を備えている。このＣＭＯＳイメージセンサ１３は、ＣＰＵ１２からデータ取得指令（後述）が出力されると、１６×１６画素の静止画像を撮像し、その撮像された静止画像の各画素の輝度のデータ（以下、「画像データ」とも呼ぶ。）をメモリ８に記憶させる。なお、画像データには、平面視左上隅を原点とし、平面視下方をＸ軸の正方向、平面視右方をＹ軸の正方向とするＸＹ座標系が設定される。

なお、本実施形態では、１６×１６画素で静止画像を撮像する例を示したが、これに限られるものではなく、後述するカーソル移動量算出処理の処理速度とその処理結果の信頼性との両方が適切となる画素数であれば、どのような画素数（例えば、１６×１６画素〜６４×６４画素）で撮像してもよい。
また、静止画像をＣＭＯＳイメージセンサ１３を用いて撮像する例を示したが、これに限られるものではなく、例えば、ＣＣＤを用いて撮像するようにしてもよい。しかしながら、ＣＭＯＳイメージセンサ１３を用いて撮像するようにすれば、ＣＣＤを用いて撮像する場合に比べ、駆動電圧を低くし、消費電力を小さくすることができるため好ましい。

また、傾き検出装置６は、撮像装置５で撮像される画像データのＸ軸方向及びＹ軸方向の加速度を検出する２軸の加速度センサ１４を備えている。そして、傾き検出装置６は、ＣＰＵ１２からデータ取得指令（後述）が出力されると、加速度センサ１４で検出される加速度に基づいて、撮像装置５の光軸及びそれに直行する軸を中心とした回転による撮像装置５の傾き度合いを示す傾きデータを算出し、その算出された傾きデータをメモリ８に記憶させる。なお、加速度センサ１４としては、静的な加速度を精度よく検出することができるものであればよく、その検出加速度範囲は、素早くリモコンが振られても飽和を生じないように、±１９．６３ｍ／ｓ^２（＝２Ｇ）の範囲であることが好ましい。

さらに、ＤＳＰ７は、ＣＰＵ１２から傾き補正指令（後述）が出力されると、メモリ８に記憶されている傾きデータ（以下、最新の傾きデータを「第２傾きデータθ２」と呼び、前回の傾きデータを「第１傾きデータθ１」と呼ぶ。）に基づき、下記（１）式に従って、メモリ８に記憶されている前回の画像データ（以下、最新の画像データを「第２画像データｇ(m,n)（m,n＝１〜１６）」と呼び、前回の画像データを「第１画像データｆ(m,n)」と呼ぶ。）を、第１及び第２傾きデータθ１、θ２の差（Δθ＝θ２―θ１）を用いて、―Δθの回転補正をする。そして、第１画像データに撮像されている撮像対象の傾きを、第２画像データに撮像されている撮像対象の傾きと一致させる。

但し、（Ｘ、Ｙ）は、第１画像データｆ(m,n)の各画素の座標であり、（Ｘ’、Ｙ’）は、（Ｘ、Ｙ）の回転補正後の第１画像データｆ’(m,n)の各画素の座標である。
なお、本実施形態では、第１画像データｆ(m,n)の全画素を回転補正する例を示したが、これに限られるものではない。例えば、第１画像データｆ(m,n)に四角形の撮像対象が撮像されている場合には、前記（１）式に従って、その撮像対象の４隅の座標のみを回転補正し、その回転補正された４隅の座標で囲まれた領域の各座標の、回転補正前の第１画像データｆ(m,n)に対する移動量（ｘ、ｙ）を算出するようにしてもよい。そして、その算出された移動量（ｘ、ｙ）に基づいて第１画像データｆ(m,n)に撮像されている四角形の撮像対象のみを回転補正させるようにしてもよい。

また、単に、第１画像データｆ(m,n)の全画素を座標変換することで、第１画像データｆ(m,n)を回転補正する例を示したが、これに限られるものではなく、例えば、座標変換後に各画素を対象として近傍データの平均処理を行うようにしてもよく、画素中心からの距離に応じた近傍データの重み付け処理を行うようにしてもよい。
また、ＤＳＰ７は、ＣＰＵ１２から移動量予測値算出指令（後述）が出力されると、撮像装置５で撮像された画像内における撮像対象の前回の移動量とその変化状態とに基づいて、回転補正後の第１画像データｆ’(m,n)に撮像されている撮像対象の、第２画像データｇ(m,n)で撮像された画像内における移動量の予測値（i^*、j^*）を算出する。つまり、回転補正後の第１画像データｆ’(m,n)の各画素をＸ方向にi^*画素、Ｙ方向にj^*画素移動させたときに、回転補正後の第１画像データｆ’(m,n)に撮像されている撮像対象が第２画素データｇ(m,n)に撮像されている撮像対象と一致もしくは略一致するように（i^*、j^*）を算出するようになっている。

なお、本実施形態では、撮像装置５で撮像された画像内における撮像対象の前回の移動量とその変化状態とに基づいて予測値（i^*、j^*）を算出する例を示したが、これに限られるものではなく、例えば、傾き検出装置６で検出される撮像装置５の傾き度合いの変化状態に基づいて予測値（i^*、j^*）を算出するようにしてもよい。
また、メモリ８は、画像データの記憶が撮像装置５あるいはＤＳＰ７から要求されると、その要求された画像データを記憶する。また、傾きデータの記憶が傾き検出装置６あるいはＤＳＰ７から要求されると、その要求された傾きデータを記憶する。さらに、ＤＳＰ７から画像データあるいは傾きデータの読み出しが要求されると、その要求された画像データあるいは傾きデータをＤＳＰ７に出力する。

さらに、インターフェース９は、ＣＰＵ５から移動量送信指令（後述）が出力されると、その移動量送信指令（後述）に応じたカーソル４の目標移動量を積算する。そして、所定時間が経過するたびに、カーソル４が滑らかに動くように、その積算された目標移動量に基づいてカーソル４を移動させるカーソル移動指令を本体装置２に送信する。

なお、本実施形態では、移動量送信指令（後述）に応じたカーソル４の目標移動量を積算し、その積算された目標移動量を、所定時間が経過するたびに送信する例を示したが、これに限られるものではなく、例えば、移動量送信指令（後述）が出力されるたびに、その移動量指令（後述）に応じた目標移動量だけカーソル４を移動させるカーソル移動指令を送信するようにしてもよい。しかしながら、カーソル４の目標移動量を積算し、所定時間が経過するたびに送信するようにすれば、インターフェース９から本体装置２への通信速度を遅くすることができるため好ましい。

また、選択決定ボタン１０は、リモコン装置３の上面に設けられ、押し下げ操作されると、カーソル４が指示している映像を選択させる選択決定指令をＣＰＵ１２に出力する。
また、移動許可スイッチ１１は、リモコン装置３の左側面に、利用者の指が触れていることを検出する感圧スイッチ１５を備える。そして、移動許可スイッチ１１は、利用者の指が触れていることを感圧スイッチ１５が検出すると、カーソル４の移動を許可する移動許可指令をＣＰＵ１２に出力し、触れていることを検出しないと、カーソル４の移動を禁止する移動禁止指令をＣＰＵ１２に出力する。

なお、本実施形態では、リモコン装置３の左側面に、利用者の指が触れていることを検出する例を示したが、これに限られるものではなく、例えば、利用者の指がリモコン装置３の上面に触れていることを検出するようにしてもよい。また、リモコン装置３の上面に触れていることを検出するようにする場合には、選択決定ボタン１０の表面に感圧スイッチ１５を設け、選択決定ボタン１０に触れていることを検出するようにしてもよい。
また、利用者の指が触れていることの検出に感圧スイッチ１５を用いる例を示したが、これに限られるものではなく、デザインや操作感が適切で且つコストが比較的低いセンサであれば、どのようなスイッチを用いるようにしてもよい。

また、ＣＰＵ１２は、移動許可スイッチ１１からカーソル移動許可指令が出力されると、後述するカーソル移動量算出処理を実行し、リモコン装置３の前方の画像を撮像装置５に撮像させ、その撮像された画像の傾きを傾き検出装置６で検出された傾きデータに基づいてＤＳＰ７に回転補正させる。そして、その回転補正された画像データと新たに撮像された画像データとに基づいて、前記回転補正された画像データに撮像されている撮像対象の前記新たに撮像された画像内における移動量を算出し、その算出された移動量に基づいてインターフェース９に選択決定指令を送信させる。また、ＣＰＵ１２は、リモコン装置３の上面に設けられた各種スイッチ（例えば、音量制御スイッチやチャンネル切り替えスイッチ）が押し下げ操作されると、その押し下げ操作されたスイッチに対応するデジタルテレビ受像器１の制御指令をインターフェース９に送信させる。

さらに、ＣＰＵ１２は、選択決定ボタン１０から選択決定指令が出力されると、その出力された選択決定指令を本体装置２に送信する。
なお、本実施形態では、後述するカーソル移動量算出処理や選択決定指令の送信の制御をＣＰＵ１２に行わせる例を示したが、これに限られるものではなく、例えば、ＣＰＵ１２に代えて、単純なデジタル制御回路に行わせるようにしてもよい。

＜カーソル移動量算出処理の内容＞
次に、ＣＰＵ１２で実行されるカーソル移動量算出処理を、図４のフローチャートに従って説明する。このカーソル移動量算出処理は、移動許可スイッチ１１からカーソル移動許可指令が出力されると実行される処理であって、まずそのステップＳ１０１で、撮像装置５と傾き検出装置６とに画像データ（第２画像データｇ(m,n)）と傾きデータ（第２傾きデータθ２）とを取得させるデータ取得指令を同時に出力する。なお、このカーソル移動量算出処理の最初の実行時には、所定時間（例えば、１msec.）を隔て、連続してデータ取得指令を出力し、撮像装置５と傾き検出装置６とに画像データと傾きデータとを２つずつ（第１及び第２画像データｆ(m,n)、ｇ(m,n)と第１及び第２傾きデータθ１、θ２とを）取得させる。

次にステップＳ１０２に移行して、メモリ８に記憶されている第１画像データｆ(m,n)を回転補正させる傾き補正指令をＤＳＰ７に出力する。
次にステップＳ１０３に移行して、前記ステップＳ１０２で回転補正された第１画像データｆ’(m,n)に撮像されている撮像対象の、前記ステップＳ１０１で取得された第２画像データｇ(m,n)で撮像された画像内における移動量の予測値（i^*、j^*）を算出させる移動量予測値算出指令をＤＳＰ７に出力する。

次にステップＳ１０４に移行して、前記ステップＳ１０３で算出された移動量の予測値（i^*、j^*）に基いて、前記ステップＳ１０２で回転補正された第１画像データｆ’(m,n)を平行移動させて様々にずらし、そのずらした第１画像データｆ’(m,n)と前記ステップＳ１０１で取得された第２画像データｇ(m,n)との相関の度合いを示す相関係数Ｃijを、下記（２）式に従って、それぞれ算出する。なお、相関係数Ｃijは、ずらした第１画像データｆ’(m,n)と第２画像データｇ(m,n)との相関の度合いが高いほど小さく算出される。

但し、（i、j）は、前記ステップＳ１０３で算出された移動量の予測値（i^*、j^*）及びその近傍の値をとる変数である。また、Ｍは、画像データのうち相関係数Ｃijの算出に用いる画素群を選択するための定数である。この定数Ｍは、前記ステップＳ１０２で回転補正された第１画像データｆ’(m,n)に回転補正や平行移動を行ったときに、回転補正された第１画像データｆ’(m,n)の端の部分に適切なデータがなくなってしまうことで、相関係数Ｃijの誤差が大きくなってしまうことがないように、第１及び第２画像データｆ’(m,n)、ｇ(m,n)のサイズより小さく設定する。

なお、本実施形態では、定数Ｍを第１及び第２画像データｆ’(m,n)、ｇ(m,n)のサイズより小さく設定する例を示したが、これに限られるものではない。例えば、回転補正された第１画像データｆ’(m,n)に適切なデータがない部分がある場合には、適切なデータがない部分に対応する要素を「０」とし、また適切なデータがある部分に対応する要素を「１」とした配列を生成し、その生成された配列の対応する要素を、上記（２）式の（ｆ’(m+i,n+j)―ｇ(m,n)）にそれぞれ乗じ、データがない部分による影響を相関係数Ｃijから除き、相関係数Ｃijの誤差が大きくなることを防止するようにしてもよい。

次にステップＳ１０５に移行して、前記ステップＳ１０４で算出された相関係数Ｃijの極小値に対応する変数（i、j）の座標が、前記ステップＳ１０４で相関係数Ｃijの算出に用いられた画素群の縁部分にあるか否かを判定し、縁部分にある場合には（Ｙｅｓ）前記極小値に対応する変数（i、j）を新たな予測値（i^*、j^*）としてから前記ステップＳ１０４に移行し、縁部分より内側にある場合には（Ｎｏ）極小値Ｃminに対応する変数（i、j）を、回転補正後の第１画像データｆ’(m,n)に撮像されている撮像対象の、第２画像データｇ(m,n)で撮像された画像内における移動量としてからステップＳ１０６に移行する。

前記ステップＳ１０６では、まず、前記ステップＳ１０５で設定された移動量(i,j)の信頼度が十分であるか否かを判定する。具体的には、前記ステップＳ１０４で算出された相関係数Ｃijのうち大きいもの３点の平均値Ｃmeanを算出する。次に、その算出された平均値Ｃmeanに対する極小値Ｃminの比（Ｃmin／Ｃmean）を算出し、その算出された比が閾値（例えば、３０％）以上であるか否かを判定する。そして、閾値より小さい場合には（Ｙｅｓ）移動量(i,j)の信頼度が十分であるとし、そのままステップＳ１０７に移行する。また、閾値以上である場合には（Ｎｏ）移動量（i,j）の信頼度が不十分であるとし、第１画像データｆ(m,n)が適切に回転補正されるように、第２の傾き角θ２を大きくあるいは小さく補正してから、前記ステップＳ１０２に移行する。

なお、本実施形態では、移動量(i,j)の信頼度が不十分であるときには、第１画像データｆ(m,n)が適切に回転補正されるようにし、移動量(i,j)を再設定する例を示したが、これに限られるものではない。例えば、それらを省略するようにしてもよく、そのようにすれば、移動量(i,j)の設定に要する時間を短縮することができる。
前記ステップＳ１０７では、前記ステップＳ１０５で設定された移動量(i,j)に基づいて、本体装置２の表示画面に表示されているカーソル４の目標移動量を算出し、その算出された目標移動量に応じてカーソル４を移動させるための移動量送信指令をインターフェース９に出力する。
次にステップＳ１０８に移行し、移動許可スイッチ１１から移動許可指令が出力されているか否かを判定し、移動許可指令が出力されている場合には（Ｙｅｓ）前記ステップＳ１０１に移行し、移動許可指令が出力されていない場合、つまり移動禁止指令が出力されている場合には（Ｎｏ）この演算処理を終了する。

＜デジタルテレビ受像器の動作＞
次に、本実施形態のデジタルテレビ受像器１の動作を説明する。
まず、利用者の興味のある映像が表示画面の右下側に表示されているときに、その映像をカーソル４で指示しようと、利用者が左手でリモコン装置３を持ち、左手の人差し指でリモコン装置３の左側面に触れながら、リモコン装置３を右に傾けつつ右下側に移動させたとする。すると、移動許可スイッチ１１から移動許可指令がＣＰＵ１２に出力され、ＣＰＵ１２で、カーソル移動量算出処理が実行される。

カーソル移動量算出処理が実行されると、まずそのステップＳ１０１で、所定時間を隔て、連続して撮像装置５と傾き検出装置６とにデータ取得指令が出力される。そして、撮像装置５と傾き検出装置６とによって、図５（ａ）に示すように、第１画像データｆ(m,n)と第１傾きデータθ１とが取得された後、図５（ｂ）に示すように、第２画像データｇ(m,n)と第２傾きデータθ２とが取得され、それら第１及び第２画像データｆ(m,n)、ｇ(m,n)と第１及び第２傾きデータθ１、θ２とがメモリ８に記憶される。

次いで、ステップＳ１０２で、傾き補正指令がＤＳＰ７に出力され、ＤＳＰ７によって、図５（ｃ）に示すように、メモリ８に記憶されている第１画像データｆ(m,n)が回転補正され、第１画像データｆ(m,n)に撮像されている撮像対象１６の傾きが、第２画像データｇ(m,n)に撮像されている撮像対象１６の傾きと一致される。また、ステップＳ１０３で、移動量予測値算出指令がＤＳＰ７に出力され、ＤＳＰ７によって、撮像対象１６の移動量の予測値（i^*、j^*）が算出される。そして、ステップＳ１０４で、その算出された予測値（i^*、j^*）に基づいて変数（i、j）が複数設定され、その設定された各変数（i、j）に基づいて前記回転補正された第１画像データｆ’(m,n)が平行移動で様々にずらされ、そのずらされた第１画像データｆ’(m,n)と第２画像データｇ(m,n)との相関係数Ｃijがそれぞれ算出される。

ここで、相関係数Ｃijの極小値Ｃminに対応する変数（i、j）の座標が、相関係数Ｃijの算出に用いられた画素群の内側にあり、また、相関係数Ｃijのうち大きいもの３点の平均値Ｃmeanに対する極小値Ｃminの比（Ｃmin／Ｃmean）が閾値より小さかったとする。すると、ステップＳ１０５の判定が「Ｎｏ」となり、極小値Ｃminに対応する変数（i、j）が撮像対象１６の移動量とされ、またステップＳ１０６の判定が「Ｙｅｓ」となる。また、ステップＳ１０７で、移動量送信指令がインターフェース９に出力され、インターフェース９によって、その設定された移動量(i,j)に基づいて移動量送信指令がインターフェース９に出力される。そして、ステップＳ１０８の判定が「Ｙｅｓ」となり、前記ステップＳ１０１から上記フローが繰り返し実行され、本体装置２の表示画面に表示されているカーソル４が右下側に滑らかに移動する。

このように、本実施形態のリモコン装置３によれば、リモコン装置３を空中で動かしているときに、撮像装置５が傾き、図５に示すように、第２画像データｇ(m,n)が傾いた場合、その傾きに合わせて第１画像データｆ(m,n)の傾きを補正することができる。そのため、第１画像データｆ(m,n)を平行移動でのみずらして相関係数Ｃijを算出することができ、平行移動と回転移動との両方でずらす方法に比べ、相関係数Ｃijを高速に検出することができ、その結果、カーソル４の操作性を向上することができる。

また、上記フローが繰り返し実行されるうちに、興味ある映像がカーソル４で指示され、そのカーソル４で指示された映像を選択するために、利用者が左手の人差し指をリモコン装置３の左側面から離したとする。すると、移動許可スイッチ１１から出力されていた移動許可指令が停止され、前記ステップＳ１０８の判定が「Ｎｏ」となり、前記カーソル移動量算出処理が終了され、カーソル４の移動が禁止され、その位置が固定される。

このように、本実施形態のリモコン装置３によれば、カーソル４を移動させた後、カーソル４の位置を固定することができる。そのため、撮像対象１６の移動を気にすることなく、選択決定ボタン１０を押し下げ操作することができ、撮像対象が移動しないように、リモコン装置３を空中で静止させて、選択決定ボタン１０を押し下げ操作する場合に比べ、リモコン装置３の操作性をより向上することができる。

＜第２実施形態＞
次に、第２実施形態のリモコン装置３について説明する。
この実施形態は、図６に示すように、撮像装置５と異なる方向の画像を撮像する予備撮像装置１７を備え、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、予備撮像装置１７で撮像された画像に基づいて移動量送信指令を出力するようにした点が、前記第１実施の形態と異なっている。

具体的には、予備撮像装置１７は、ＣＰＵ１２からデータ取得指令が出力されると、撮像装置５で撮像される画像と光軸が４５度〜１３５度異なる方向の静止画像を撮像し、その撮像された静止画像の画像データをメモリ８に記憶させる。なお、予備撮像装置１７に撮像させる画像の方向を設定する方法としては、予備撮像装置１７の配置を調整する方法や、予備撮像装置１７の光学系で入射方向及び光路を調整する方法が挙げられる。
なお、この第２実施形態は、前記第１実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。

また、図７に示すように、前記第１実施形態のカーソル移動量算出処理のステップＳ１０１がステップＳ２０１に変更され、ステップＳ１０６の「Ｎｏ」判定の後に、ステップＳ２０２〜Ｓ２０７が追加されている。
前記ステップＳ２０１では、撮像装置５と傾き検出装置６と予備撮像装置１７とに画像データ（第２画像データｇ₁(m,n)、ｇ₂(m,n)）と傾きデータ（第２傾きデータθ２）とを取得させるデータ取得指令を同時に出力する。なお、画像データの符号の添え字は、「１」が撮像装置５で撮像された画像データであることを表し、「２」が予備撮像装置１７で撮像された画像データであることを表すものである。また、このカーソル移動量算出処理の最初の実行時には、所定時間を隔て、連続してデータ取得指令を出力し、撮像装置５と傾き検出装置６と予備撮像装置１７とに画像データと傾きデータとを２つずつ（第１及び第２画像データｆ₁(m,n)、ｆ₂(m,n)、ｇ₁(m,n) 、ｇ₂(m,n)と第１及び第２傾きデータθ１、θ２とを）取得させる。

前記ステップＳ２０２では、予備撮像装置１７で撮像された第１画像データｆ₂(m,n)を回転補正させる傾き補正指令をＤＳＰ７に出力する。
次にステップＳ２０３に移行して、前記ステップＳ２０２で回転補正された第１画像データｆ₂’(m,n)に撮像されている撮像対象の、前記ステップＳ２０１で取得された第２画像データｇ₂ (m,n)で撮像された画像内における移動量の予測値（i^*、j^*）を算出させる移動量予測値算出指令をＤＳＰ７に出力する。

次にステップＳ２０４に移行して、前記ステップＳ２０３で算出された移動量の予測値（i^*、j^*）に基づいて、前記ステップＳ２０２で回転補正された第１画像データｆ₂’(m,n)を平行移動させて様々にずらし、そのずらした第１画像データｆ₂’(m,n)と前記ステップＳ２０１で取得された第２画像データｇ₂ (m,n)との相関の度合いを示す相関係数Ｃijを、前記（２）式に従って、それぞれ算出する。

次にステップＳ２０５に移行して、前記ステップＳ２０４で算出された相関係数Ｃijの極小値に対応する変数（i、j）の座標が、前記ステップＳ２０４で相関係数Ｃijの算出に用いられた画素群の縁部分にあるか否かを判定し、縁部分にある場合には（Ｙｅｓ）前記極小値に対応する変数（i、j）を新たな予測値（i^*、j^*）としてから前記ステップＳ２０４に移行し、縁部分より内側にある場合には（Ｎｏ）極小値Ｃminに対応する変数（i、j）を、回転補正後の第１画像データｆ₂’(m,n)に撮像されている撮像対象の、第２画像データｇ₂ (m,n)で撮像された画像内における移動量としてからステップＳ２０６に移行する。

前記ステップＳ２０６では、前記ステップＳ２０５で設定された移動量(i,j)の信頼度が十分であるか否かを判定し、十分である場合には（Ｙｅｓ）ステップＳ２０７に移行し、不十分である場合には（Ｎｏ）、移動量送信指令を出力せずに、そのままステップＳ１０８に移行する。
前記ステップＳ２０７では、前記ステップＳ２０５で設定された移動量(i,j)に基づいて、本体装置２の表示画面に表示されているカーソル４の目標移動量を算出し、その算出された目標移動量に応じてカーソル４を移動させるための移動量送信指令をインターフェース９に出力してから、前記ステップＳ１０８に移行する。

＜デジタルテレビ受像器の動作＞
次に、本実施形態のデジタルテレビ受像器１の動作を説明する。
まず、カーソル移動量算出処理の実行中に、ステップＳ１０４で設定された移動量(i,j)の信頼度が所定閾値より小さくなったとする。すると、ステップＳ１０６の判定が「Ｎｏ」となり、ステップＳ１０２で、傾き補正指令がＤＳＰ７に出力され、ＤＳＰ７によって、図５（ｃ）に示すように、予備撮像装置１７で撮像された第１画像データｆ₂ (m,n)が回転補正される。また、ステップＳ２０３で、移動量予測値算出指令がＤＳＰ７に出力され、ＤＳＰ７によって、撮像対象１６の移動量の予測値（i^*、j^*）が算出される。そして、ステップＳ２０４で、その算出された予測値（i^*、j^*）に基づいて変数（i、j）が複数設定され、その設定された各変数（i、j）に基づいて前記回転補正された第１画像データｆ₂’(m,n)が平行移動で様々にずらされ、そのずらされた第１画像データｆ₂’(m,n)と第２画像データｇ₂ (m,n)との相関係数Ｃijがそれぞれ算出される。

ここで、相関係数Ｃijの極小値Ｃminに対応する変数（i、j）の座標が、相関係数Ｃijの算出に用いられた画素群の内側にあり、また、相関係数Ｃijのうち大きいもの３点の平均値Ｃmeanに対する極小値Ｃminの比（Ｃmin／Ｃmean）が閾値より小さかったとする。すると、ステップＳ２０５の判定が「Ｎｏ」となり、極小値Ｃminに対応する変数（i、j）が撮像対象１６の移動量とされ、またステップＳ２０６の判定が「Ｙｅｓ」となる。また、ステップＳ２０７で、移動量送信指令がインターフェース９に出力され、インターフェース９によって、その設定された移動量(i,j)に基づいて移動量送信指令がインターフェース９に出力される。そして、ステップＳ１０８の判定が「Ｙｅｓ」となり、ステップＳ２０１から上記フローが繰り返し実行され、本体装置２の表示画面に表示されているカーソル４が滑らかに移動する。

このように、本実施形態のリモコン装置３によれば、撮像装置５による撮像対象１６の移動量(i,j)の検出結果の信頼度が低い場合には、予備撮像装置１７で撮像される画像に基づいてカーソル移動指令を出力することができる。そのため、撮像装置５による撮像対象１６の移動量(i,j)の検出が困難であるときにも、カーソル４を適切に移動させることができる。

＜第３実施形態＞
次に、第３実施形態のリモコン装置３について説明する。
この実施形態は、撮像装置５の光軸を中心とした回転によるリモコン装置の傾き度合い（以下、「ロール角」とも呼ぶ。）の変化量と、リモコン装置５の後端を中心とした前端の上下動によるリモコン装置３の傾き度合い（以下、「ピッチ角」とも呼ぶ。）の変化量とを、傾きデータと共に傾き検出センサ６に算出させ、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、傾き検出装置６で検出されたロール角及びピッチ角の変化量に基づいて移動量送信指令を出力するようにした点が、前記第１実施の形態と異なっている。具体的には、図８に示すように、前記第１実施形態のカーソル移動量算出処理のステップＳ１０６の「Ｎｏ」判定の後に、ステップＳ３０１が追加されている。

なお、この第３実施形態は、前記第１実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
前記ステップＳ３０１では、傾き検出センサ６で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置２の表示画面に表示されているカーソル４の平面視横方向の目標移動量と平面視上下方向の目標移動量とし、それらの目標移動量に応じてカーソル４を移動させるための移動量送信指令をインターフェース９に出力してから、ステップＳ１０８に移行する。

このように、本実施形態のリモコン装置３によれば、撮像対象１６の移動量(i,j)の検出結果の信頼度が低い場合には、傾き検出装置６で検出される傾きに基づいてカーソル移動指令を出力することができる。そのため、撮像装置５による撮像対象１６の移動量(i,j)の検出が困難であるときにも、カーソル４を適切に移動させることができる。

＜第４実施形態＞
次に、第４実施形態のリモコン装置３について説明する。
この実施形態は、図９に示すように、ロール角及びピッチ角の変化量を傾き検出センサ６に算出させ、その算出されたロール角及びピッチ角の変化量のみに基づいて、カーソル４を移動させるようにした点が前記第１実施の形態と異なっている。具体的には、移動許可スイッチ１１からカーソル移動許可指令が出力されると、ＣＰＵ１２で所定の演算処理が実行され、傾き検出センサ６で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置２の表示画面に表示されているカーソル４の横方向の目標移動量と縦方向の目標移動量とし、それらの目標移動量に応じてカーソル４を移動させるための移動量送信指令をインターフェース９に出力する。

なお、この第４実施形態は、前記第１実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
このように、本実施形態のリモコン装置３によれば、リモコン装置３の傾きの大きさのみに基づいてカーソル４を移動させることができる。そのため、撮像装置５で撮像される画像の相関に基づいてカーソル４を移動させる場合に比べ、カーソル４を移動させるための計算量を少なくすることができ、その結果、カーソル４の操作性を向上することができる。また、撮像装置５やＤＳＰ７を用いることなくカーソル４を移動でき、画像の相関に基づいてカーソル４を移動させる場合に比べ、製造コストを小さくすることができる。

以上より、図３及び図６の撮像装置５が撮像手段を構成し、以下同様に、図３、図６及び図９の傾き検出装置６が傾き状態検出手段を構成し、図３及び図６のＤＳＰ７及びＣＰＵ１２、図４、図７及び図８のステップＳ１０２が補正手段を構成し、図３、図６及び図９のＣＰＵ１２、図６の予備撮像装置１７、図４、図７及び図８のステップＳ１０４〜Ｓ１０７が移動指令出力手段を構成し、図３及び図６のＣＰＵ１２、図４、図７及び図８のステップＳ１０４が移動状態検出手段を構成し、図３、図６及び図９のＣＰＵ１２、図４、図７及び図８のステップＳ１０７が移動指令出力手段を構成し、図３及び図６のＣＰＵ１２、図４、図７及び図８のステップＳ１０６が信頼度検出手段を構成し、図６の予備撮像装置１７が予備撮像手段を構成し、図３及び図６の移動許可スイッチ１１が切り替え手段を構成し、図３のＣＰＵ１２が制御指令出力手段を構成する。

また、上記実施形態は、本発明に係るポインティング装置の一例を示したものであり、その構成等を限定するものではない。
例えば、デジタルテレビ受像器１のリモコン装置３に適用する例を示したが、これに限られるものではなく、例えば、アナログテレビ受像器のリモコン装置に適用し、チャンネル切換の操作等をカーソルで行うようにしてもよい。そのようにすれば、リモコン装置から操作用のボタンを減らすことができ、リモコン装置のデザインをシンプルなものとすることができる。特に、リモコン装置の蓋の下に隠してある使用頻度の低い種々のボタンを減らすことで、リモコン装置を小型で軽いものとすることができる。

また、適用対象はテレビ受像器のリモコン装置に限られるものではなく、例えば、ＤＶＤレコーダやＤＶＤプレーヤ、ビデオレコーダ、画像プロジェクタ等の画像記録装置や画像再生装置のリモコン装置に適用してもよい。
さらに、利用者の指が感圧スイッチ１５に触れていることを検出すると、カーソル４の移動を許可する例を示したが、これに限られるものではなく、例えば、触れていることを検出すると、本体装置２の表示画面にカーソル４の表示を開始させるようにしてもよい。また、利用者の指が感圧スイッチ１５に触れたことを検出したときに、本体装置２の表示画面にカーソル４の表示を開始させるようにしたときには、触れていることが検出されなくなってから所定時間が経過したとき、あるいは選択決定ボタン１０が押し下げ操作されたときにカーソル４の表示を終了させればよい。そのようにすれば、カーソル４で指示されている映像を選択するために、選択決定ボタン１０を押し下げ操作しようと、利用者が感圧スイッチ１５から指を離したときに、カーソル４が消えてしまうことが防止される。

第１実施形態のテレビ受像器の構成を示す概略構成図である。 リモコン装置の外観を示す斜視図である。 リモコン装置の内部構成を示すブロック図である。 カーソル移動量算出処理を示すフローチャートである。 リモコン装置の動作を説明するための説明図である。 第２実施形態のリモコン装置の内部構成を示すブロック図である。 第２実施形態のカーソル移動量算出処理を示すフローチャートである。 第３実施形態のカーソル移動量算出処理を示すフローチャートである。 第４実施形態のリモコン装置の内部構成を示すブロック図である。

符号の説明

１はデジタルテレビ受像器、２は本体装置、３はリモコン装置、４はカーソル、５は撮像装置、６は傾き検出装置、７はＤＳＰ、８はメモリ、９はインターフェース、１０は選択決定ボタン、１１は移動許可スイッチ、１２はＣＰＵ、１３はＣＭＯＳイメージセンサ、１４は加速度センサ、１５は感圧スイッチ、１６は撮像対象、１７は予備撮像装置

Claims (10)

1. 表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、
   所定方向の画像を撮像する撮像手段と、前記撮像手段の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記撮像手段で撮像された画像の傾きを補正する補正手段と、前記補正手段で補正された画像に基づいて前記移動指令を出力可能な移動指令出力手段を備えたことを特徴とするポインティング装置。
2. 前記移動指令出力手段は、前記撮像手段で撮像された画像内における前記補正手段で補正された画像の移動状態を検出する移動状態検出手段と、その検出された移動状態に基づいて前記移動指令を出力可能な指令出力手段とを備えたことを特徴とする請求項１に記載のポインティング装置。
3. 前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段と、前記撮像手段と異なる方向の画像を撮像する予備撮像手段とを備え、
   前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記予備撮像手段で撮像された画像に基づいて前記移動指令を出力することを特徴とする請求項２に記載のポインティング装置。
4. 前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段を備え、
   前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記傾き状態検出手段で検出された傾き状態に基づいて前記移動指令を出力することを特徴とする請求項２に記載のポインティング装置。
5. 前記移動指令出力手段の動作状態を、前記移動指令の出力を許可する状態と前記移動指令の出力を禁止する状態とに切り替え可能な切り替え手段を備えたことを特徴とする請求項２から４のいずれか１項に記載のポインティング装置。
6. 前記切り替え手段は、前記移動指令出力手段の動作状態を、接触式スイッチを用いて切り替えることを特徴とする請求項５に記載のポインティング装置。
7. 前記撮像手段は、前記画像を、ＣＭＯＳイメージセンサを用いて撮像することを特徴とする請求項１から６のいずれか１項に記載のポインティング装置。
8. 前記傾き状態検出手段は、前記撮像手段の傾き状態を、加速度センサを用いて検出することを特徴とする請求項１から７のいずれか１項に記載のポインティング装置。
9. 表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、
   自装置の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記移動指令を出力可能な移動指令出力手段とを備えたことを特徴とするポインティング装置。
10. 前記表示装置は、テレビ受像器であり、
    さらに、前記テレビ受像器の制御指令を出力可能な制御指令出力手段を備えたことを特徴とする請求項１から９のいずれか１項に記載のポインティング装置。

Images