JP2005258694A - ポインティング装置 - Google Patents
ポインティング装置 Download PDFInfo
- Publication number
- JP2005258694A JP2005258694A JP2004067797A JP2004067797A JP2005258694A JP 2005258694 A JP2005258694 A JP 2005258694A JP 2004067797 A JP2004067797 A JP 2004067797A JP 2004067797 A JP2004067797 A JP 2004067797A JP 2005258694 A JP2005258694 A JP 2005258694A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- image
- state
- imaging
- movement command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
【課題】 表示画面に表示されるカーソルの操作性を向上すること。
【解決手段】 デジタルテレビ受像器1の表示画面に表示されるカーソルを、内蔵されている撮像装置5で撮像された画像に基づいて制御可能なリモコン装置3に、水平面に対する撮像装置5の傾きに基づいて前記画像の傾きを補正させるようにした。
この構成によれば、撮像中に撮像装置5の傾きが変化し、第2画像データに撮像されている撮像対象16が傾いて撮像されたときに、第1画像データに撮像された撮像対象16の傾きを補正することができる。そのため、第1画像データを平行移動でのみずらして相関係数Cijを算出することができ、平行移動と傾きとの両方でずらして相関係数Cijを算出する方法に比べ、相関係数Cijを高速に検出することができ、その結果、カーソル4の操作性を向上することができる。
【選択図】 図3
Description
本発明は、表示画面の局所領域を指示する指示画像を表示可能な表示装置に、前記指示画像を移動させる移動指令を出力可能なポインティング装置に関する。
従来、この種の技術としては、例えば、ディスプレイの局所領域を指示するマウスカーソルを表示可能なパソコンに、マウスカーソルを移動させる移動指令を出力可能なオプティカルマウスが知られている。
このようなオプティカルマウスは、一般に、自装置下方の画像を撮像する撮像装置を備えている。そして、デスクの上で前後左右に動かされると、その撮像装置でデスクの上面の画像を撮像し、その撮像された画像のうち連続する2枚の画像を様々にずらし、そのずらした画像間の相関をそれぞれ算出する。次いで、そのずらした画像のうち相関が最も大きく算出された画像に基づいて、撮像された画像内における撮像対象の移動量を算出し、その算出された移動量に基づいてマウスカーソルを移動させる移動指令をパソコンに出力する。なお、このようなオプティカルマウスにあっては、通常、画像間の相関を高速に計算できるように、回転移動を伴わない平行移動のみで画像をずらすようになっている(例えば、特許文献1参照)。
このようなオプティカルマウスは、一般に、自装置下方の画像を撮像する撮像装置を備えている。そして、デスクの上で前後左右に動かされると、その撮像装置でデスクの上面の画像を撮像し、その撮像された画像のうち連続する2枚の画像を様々にずらし、そのずらした画像間の相関をそれぞれ算出する。次いで、そのずらした画像のうち相関が最も大きく算出された画像に基づいて、撮像された画像内における撮像対象の移動量を算出し、その算出された移動量に基づいてマウスカーソルを移動させる移動指令をパソコンに出力する。なお、このようなオプティカルマウスにあっては、通常、画像間の相関を高速に計算できるように、回転移動を伴わない平行移動のみで画像をずらすようになっている(例えば、特許文献1参照)。
ところで、近年、テレビ受像器のデジタル化が進み、テレビ放送とインターネットとを融合させる技術が開発されている。この技術によれば、例えば、視聴者が表示画面から興味のある映像を選択することで、その映像に関する情報を表示画面に表示させることができるようになる。このようなテレビ受像器のリモコン装置にあっては、細かな映像の選択ができるように、テレビ受像器のリモコン装置にオプティカルマウスの技術を組み合わせることも考えられる。つまり、自装置前方の画像を撮像する撮像装置をリモコン装置に備えさせ、空中で上下左右に動かされると、オプティカルマウスと同様に、その撮像装置で撮像される画像に基づいて、撮像された画像内における撮像対象の移動量を算出し、その算出された移動量に基づいてカーソルの移動指令を出力することが考えられる。
特開2003―140822号公報
しかしながら、上記従来のテレビ受像機のリモコン装置に、オプティカルマウスの技術を組み合わせたものにあっては、空中で上下左右に動かすようになっているため、デスクの上で動かされるオプティカルマウスに比べ、操作時に、撮像装置が傾きやすく、撮像される画像が傾きがちとなってしまう。そのため、撮像された画像を平行移動のみでずらすようにすると、画像間の相関を適切に算出できず、その結果、カーソルの操作性が悪化してしまう恐れがあった。また、撮像された画像を回転移動と平行移動とでずらすようにすると、相関の算出のための計算量が増大し、画像間の相関の高速な計算が困難となってしまい、その結果、カーソルの操作性がより悪化してしまう恐れがあった。
また、前記技術を組み合わせたものにあっては、カーソルを移動させた後、そのカーソルで指示される映像を選択する操作を行うときには、撮像対象が移動しないように、リモコン装置を空中で静止させることとなる。しかしながら、空中でリモコン装置を静止させることは難しく、デスク上で静止させるオプティカルマウスに比べ、選択操作時に、撮像対象が移動しやすくなってしまい、選択のための操作性が悪化してしまう恐れがあった。
本発明は、上記従来の技術の未解決の問題点を解決することを目的とするものであって、指示画像の操作性を向上可能なポインティング装置を提供することを課題とする。
本発明は、上記従来の技術の未解決の問題点を解決することを目的とするものであって、指示画像の操作性を向上可能なポインティング装置を提供することを課題とする。
上記課題を解決するため、第1の発明であるポインティング装置は、表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、所定方向の画像を撮像する撮像手段と、前記撮像手段の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記撮像手段で撮像された画像の傾きを補正する補正手段と、前記補正手段で補正された画像に基づいて前記移動指令を出力可能な移動指令出力手段を備えたことを特徴とする。なお、指示画像としては、例えば、映像を指示するカーソルの画像を挙げることができる。
また、第2の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記撮像手段で撮像された画像内における前記補正手段で補正された画像の移動状態を検出する移動状態検出手段と、その検出された移動状態に基づいて前記移動指令を出力可能な指令出力手段とを備えたことを特徴とする。
さらに、第3の発明であるポインティング装置にあっては、前記表示装置は、テレビ受像器であり、さらに、前記テレビ受像器の制御指令を出力可能な制御指令出力手段を備えたことを特徴とする。
さらに、第3の発明であるポインティング装置にあっては、前記表示装置は、テレビ受像器であり、さらに、前記テレビ受像器の制御指令を出力可能な制御指令出力手段を備えたことを特徴とする。
これら第1から第3の発明によれば、ポインティングデバイスを空中で動かしているときに、撮像手段が傾き、撮像される画像が傾いた場合、その画像の傾きを補正することができる。そのため、撮像された画像を平行移動でのみずらして相関を算出することができ、平行移動と回転移動との両方でずらして相関を算出する方法に比べ、相関を高速に算出することができ、その結果、指示画像の操作性を向上することができる。
また、第4の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段と、前記撮像手段と異なる方向の画像を撮像する予備撮像手段とを備え、前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記予備撮像手段で撮像された画像に基づいて前記移動指令を出力することを特徴とする。
この第4の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、予備撮像手段で撮像される画像に基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。
この第4の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、予備撮像手段で撮像される画像に基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。
さらに、第5の発明であるポインティング装置にあっては、前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段を備え、前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記傾き状態検出手段で検出された傾き状態に基づいて前記移動指令を出力することを特徴とする。
この第5の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、撮像手段の傾きに基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。
この第5の発明によれば、撮像手段による撮像対象の移動状態の検出結果の信頼度が低い場合には、撮像手段の傾きに基づいて指示指令を出力することができる。そのため、撮像手段による撮像対象の移動状態の検出が困難であるときにも、指示画像を適切に移動させることができる。
また、第6の発明であるポインティング装置にあっては、前記移動指令出力手段の動作状態を、前記移動指令の出力を許可する状態と前記移動指令の出力を禁止する状態とに切り替え可能な切り替え手段を備えたことを特徴とする。
さらに、第7の発明であるポインティング装置にあっては、前記切り替え手段は、前記移動指令出力手段の動作状態を、接触式スイッチを用いて切り替えることを特徴とする。
これら第6及び第7の発明によれば、指示画像を移動させた後、指示画像の位置を固定することができる。そのため、撮像対象の移動を気にすることなく、指示画像で指示されている映像を選択する動作を行うことができ、撮像対象が移動しないように、リモコン装置を空中で静止させて、指示画像で指示されている映像を選択する動作を行う場合に比べ、リモコン装置の操作性をより向上することができる。
さらに、第7の発明であるポインティング装置にあっては、前記切り替え手段は、前記移動指令出力手段の動作状態を、接触式スイッチを用いて切り替えることを特徴とする。
これら第6及び第7の発明によれば、指示画像を移動させた後、指示画像の位置を固定することができる。そのため、撮像対象の移動を気にすることなく、指示画像で指示されている映像を選択する動作を行うことができ、撮像対象が移動しないように、リモコン装置を空中で静止させて、指示画像で指示されている映像を選択する動作を行う場合に比べ、リモコン装置の操作性をより向上することができる。
また、第8の発明であるポインティング装置にあっては、前記撮像手段は、前記画像を、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサを用いて撮像することを特徴とする。
この第8の発明によれば、撮像手段としてCCD(charge-coupled device)を用いる場合に比べ、駆動電圧を低くし、消費電力を小さくすることができる。
さらに、第9の発明であるポインティング装置にあっては、前記傾き状態検出手段は、前記撮像手段の傾き状態を、加速度センサを用いて検出することを特徴とする。
この第9の発明によれば、傾き状態検出手段としてジャイロを用いる場合に比べ、耐衝撃性を向上でき、また製造コストを小さくすることができる。
この第8の発明によれば、撮像手段としてCCD(charge-coupled device)を用いる場合に比べ、駆動電圧を低くし、消費電力を小さくすることができる。
さらに、第9の発明であるポインティング装置にあっては、前記傾き状態検出手段は、前記撮像手段の傾き状態を、加速度センサを用いて検出することを特徴とする。
この第9の発明によれば、傾き状態検出手段としてジャイロを用いる場合に比べ、耐衝撃性を向上でき、また製造コストを小さくすることができる。
また、第10の発明であるポインティング装置にあっては、表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、自装置の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記移動指令を出力可能な移動指令出力手段とを備えたことを特徴とする。
この第10の発明によれば、ポインティング装置の傾きの大きさのみに基づいて移動指令を出力することができる。そのため、撮像手段で撮像される画像の相関に基づいて支持指令を出力する場合に比べ、指示画像を移動させるための計算量を少なくすることができる。
この第10の発明によれば、ポインティング装置の傾きの大きさのみに基づいて移動指令を出力することができる。そのため、撮像手段で撮像される画像の相関に基づいて支持指令を出力する場合に比べ、指示画像を移動させるための計算量を少なくすることができる。
以下、本発明のポインティング装置をリモコン装置に適用したデジタルテレビ受像器の実施形態を、図面に基づいて説明する。
<第1実施形態>
<デジタルテレビ受像器の構成>
図1は、第1実施形態のデジタルテレビ受像器1の概略構成図である。デジタルテレビ受像器1は、図1に示すように、本体装置2及びリモコン装置3を含んで構成される。
これらのうち、本体装置2は、任意の映像を指示するためのカーソル4を表示画面に表示する。そして、リモコン装置3からカーソル移動指令(後述)が送信されると、その送信されたカーソル移動指令(後述)に従って、表示されているカーソル4を移動させる。また、本体装置2は、リモコン装置3から選択決定指令(後述)が送信されると、表示されているカーソル4が指示している映像を選択する。なお、本体装置2の表示画面は、どのようなものであってもよく、例えば、テレビ画面、モニター、ディスプレイ装置及びスクリーン等が挙げられる。
<第1実施形態>
<デジタルテレビ受像器の構成>
図1は、第1実施形態のデジタルテレビ受像器1の概略構成図である。デジタルテレビ受像器1は、図1に示すように、本体装置2及びリモコン装置3を含んで構成される。
これらのうち、本体装置2は、任意の映像を指示するためのカーソル4を表示画面に表示する。そして、リモコン装置3からカーソル移動指令(後述)が送信されると、その送信されたカーソル移動指令(後述)に従って、表示されているカーソル4を移動させる。また、本体装置2は、リモコン装置3から選択決定指令(後述)が送信されると、表示されているカーソル4が指示している映像を選択する。なお、本体装置2の表示画面は、どのようなものであってもよく、例えば、テレビ画面、モニター、ディスプレイ装置及びスクリーン等が挙げられる。
<リモコン装置の構成>
図2は、リモコン装置3の外観を示す斜視図である。また、図3は、リモコン装置3の内部構成を示すブロック図である。この図3に示すように、リモコン装置3は、撮像装置5、傾き検出装置6、DSP(Digital Signal Processor)7、メモリ8、インターフェース9、選択決定ボタン10、移動許可スイッチ11及びCPU(Central Processing Unit)12を含んで構成されている。
図2は、リモコン装置3の外観を示す斜視図である。また、図3は、リモコン装置3の内部構成を示すブロック図である。この図3に示すように、リモコン装置3は、撮像装置5、傾き検出装置6、DSP(Digital Signal Processor)7、メモリ8、インターフェース9、選択決定ボタン10、移動許可スイッチ11及びCPU(Central Processing Unit)12を含んで構成されている。
これらのうち、撮像装置5は、リモコン装置3の前方の画像を撮像するCMOSイメージセンサ13を備えている。このCMOSイメージセンサ13は、CPU12からデータ取得指令(後述)が出力されると、16×16画素の静止画像を撮像し、その撮像された静止画像の各画素の輝度のデータ(以下、「画像データ」とも呼ぶ。)をメモリ8に記憶させる。なお、画像データには、平面視左上隅を原点とし、平面視下方をX軸の正方向、平面視右方をY軸の正方向とするXY座標系が設定される。
なお、本実施形態では、16×16画素で静止画像を撮像する例を示したが、これに限られるものではなく、後述するカーソル移動量算出処理の処理速度とその処理結果の信頼性との両方が適切となる画素数であれば、どのような画素数(例えば、16×16画素〜64×64画素)で撮像してもよい。
また、静止画像をCMOSイメージセンサ13を用いて撮像する例を示したが、これに限られるものではなく、例えば、CCDを用いて撮像するようにしてもよい。しかしながら、CMOSイメージセンサ13を用いて撮像するようにすれば、CCDを用いて撮像する場合に比べ、駆動電圧を低くし、消費電力を小さくすることができるため好ましい。
また、静止画像をCMOSイメージセンサ13を用いて撮像する例を示したが、これに限られるものではなく、例えば、CCDを用いて撮像するようにしてもよい。しかしながら、CMOSイメージセンサ13を用いて撮像するようにすれば、CCDを用いて撮像する場合に比べ、駆動電圧を低くし、消費電力を小さくすることができるため好ましい。
また、傾き検出装置6は、撮像装置5で撮像される画像データのX軸方向及びY軸方向の加速度を検出する2軸の加速度センサ14を備えている。そして、傾き検出装置6は、CPU12からデータ取得指令(後述)が出力されると、加速度センサ14で検出される加速度に基づいて、撮像装置5の光軸及びそれに直行する軸を中心とした回転による撮像装置5の傾き度合いを示す傾きデータを算出し、その算出された傾きデータをメモリ8に記憶させる。なお、加速度センサ14としては、静的な加速度を精度よく検出することができるものであればよく、その検出加速度範囲は、素早くリモコンが振られても飽和を生じないように、±19.63m/s2(=2G)の範囲であることが好ましい。
さらに、DSP7は、CPU12から傾き補正指令(後述)が出力されると、メモリ8に記憶されている傾きデータ(以下、最新の傾きデータを「第2傾きデータθ2」と呼び、前回の傾きデータを「第1傾きデータθ1」と呼ぶ。)に基づき、下記(1)式に従って、メモリ8に記憶されている前回の画像データ(以下、最新の画像データを「第2画像データg(m,n)(m,n=1〜16)」と呼び、前回の画像データを「第1画像データf(m,n)」と呼ぶ。)を、第1及び第2傾きデータθ1、θ2の差(Δθ=θ2―θ1)を用いて、―Δθの回転補正をする。そして、第1画像データに撮像されている撮像対象の傾きを、第2画像データに撮像されている撮像対象の傾きと一致させる。
但し、(X、Y)は、第1画像データf(m,n)の各画素の座標であり、(X’、Y’)は、(X、Y)の回転補正後の第1画像データf’(m,n)の各画素の座標である。
なお、本実施形態では、第1画像データf(m,n)の全画素を回転補正する例を示したが、これに限られるものではない。例えば、第1画像データf(m,n)に四角形の撮像対象が撮像されている場合には、前記(1)式に従って、その撮像対象の4隅の座標のみを回転補正し、その回転補正された4隅の座標で囲まれた領域の各座標の、回転補正前の第1画像データf(m,n)に対する移動量(x、y)を算出するようにしてもよい。そして、その算出された移動量(x、y)に基づいて第1画像データf(m,n)に撮像されている四角形の撮像対象のみを回転補正させるようにしてもよい。
なお、本実施形態では、第1画像データf(m,n)の全画素を回転補正する例を示したが、これに限られるものではない。例えば、第1画像データf(m,n)に四角形の撮像対象が撮像されている場合には、前記(1)式に従って、その撮像対象の4隅の座標のみを回転補正し、その回転補正された4隅の座標で囲まれた領域の各座標の、回転補正前の第1画像データf(m,n)に対する移動量(x、y)を算出するようにしてもよい。そして、その算出された移動量(x、y)に基づいて第1画像データf(m,n)に撮像されている四角形の撮像対象のみを回転補正させるようにしてもよい。
また、単に、第1画像データf(m,n)の全画素を座標変換することで、第1画像データf(m,n)を回転補正する例を示したが、これに限られるものではなく、例えば、座標変換後に各画素を対象として近傍データの平均処理を行うようにしてもよく、画素中心からの距離に応じた近傍データの重み付け処理を行うようにしてもよい。
また、DSP7は、CPU12から移動量予測値算出指令(後述)が出力されると、撮像装置5で撮像された画像内における撮像対象の前回の移動量とその変化状態とに基づいて、回転補正後の第1画像データf’(m,n)に撮像されている撮像対象の、第2画像データg(m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出する。つまり、回転補正後の第1画像データf’(m,n)の各画素をX方向にi*画素、Y方向にj*画素移動させたときに、回転補正後の第1画像データf’(m,n)に撮像されている撮像対象が第2画素データg(m,n)に撮像されている撮像対象と一致もしくは略一致するように(i*、j*)を算出するようになっている。
また、DSP7は、CPU12から移動量予測値算出指令(後述)が出力されると、撮像装置5で撮像された画像内における撮像対象の前回の移動量とその変化状態とに基づいて、回転補正後の第1画像データf’(m,n)に撮像されている撮像対象の、第2画像データg(m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出する。つまり、回転補正後の第1画像データf’(m,n)の各画素をX方向にi*画素、Y方向にj*画素移動させたときに、回転補正後の第1画像データf’(m,n)に撮像されている撮像対象が第2画素データg(m,n)に撮像されている撮像対象と一致もしくは略一致するように(i*、j*)を算出するようになっている。
なお、本実施形態では、撮像装置5で撮像された画像内における撮像対象の前回の移動量とその変化状態とに基づいて予測値(i*、j*)を算出する例を示したが、これに限られるものではなく、例えば、傾き検出装置6で検出される撮像装置5の傾き度合いの変化状態に基づいて予測値(i*、j*)を算出するようにしてもよい。
また、メモリ8は、画像データの記憶が撮像装置5あるいはDSP7から要求されると、その要求された画像データを記憶する。また、傾きデータの記憶が傾き検出装置6あるいはDSP7から要求されると、その要求された傾きデータを記憶する。さらに、DSP7から画像データあるいは傾きデータの読み出しが要求されると、その要求された画像データあるいは傾きデータをDSP7に出力する。
また、メモリ8は、画像データの記憶が撮像装置5あるいはDSP7から要求されると、その要求された画像データを記憶する。また、傾きデータの記憶が傾き検出装置6あるいはDSP7から要求されると、その要求された傾きデータを記憶する。さらに、DSP7から画像データあるいは傾きデータの読み出しが要求されると、その要求された画像データあるいは傾きデータをDSP7に出力する。
さらに、インターフェース9は、CPU5から移動量送信指令(後述)が出力されると、その移動量送信指令(後述)に応じたカーソル4の目標移動量を積算する。そして、所定時間が経過するたびに、カーソル4が滑らかに動くように、その積算された目標移動量に基づいてカーソル4を移動させるカーソル移動指令を本体装置2に送信する。
なお、本実施形態では、移動量送信指令(後述)に応じたカーソル4の目標移動量を積算し、その積算された目標移動量を、所定時間が経過するたびに送信する例を示したが、これに限られるものではなく、例えば、移動量送信指令(後述)が出力されるたびに、その移動量指令(後述)に応じた目標移動量だけカーソル4を移動させるカーソル移動指令を送信するようにしてもよい。しかしながら、カーソル4の目標移動量を積算し、所定時間が経過するたびに送信するようにすれば、インターフェース9から本体装置2への通信速度を遅くすることができるため好ましい。
また、選択決定ボタン10は、リモコン装置3の上面に設けられ、押し下げ操作されると、カーソル4が指示している映像を選択させる選択決定指令をCPU12に出力する。
また、移動許可スイッチ11は、リモコン装置3の左側面に、利用者の指が触れていることを検出する感圧スイッチ15を備える。そして、移動許可スイッチ11は、利用者の指が触れていることを感圧スイッチ15が検出すると、カーソル4の移動を許可する移動許可指令をCPU12に出力し、触れていることを検出しないと、カーソル4の移動を禁止する移動禁止指令をCPU12に出力する。
また、移動許可スイッチ11は、リモコン装置3の左側面に、利用者の指が触れていることを検出する感圧スイッチ15を備える。そして、移動許可スイッチ11は、利用者の指が触れていることを感圧スイッチ15が検出すると、カーソル4の移動を許可する移動許可指令をCPU12に出力し、触れていることを検出しないと、カーソル4の移動を禁止する移動禁止指令をCPU12に出力する。
なお、本実施形態では、リモコン装置3の左側面に、利用者の指が触れていることを検出する例を示したが、これに限られるものではなく、例えば、利用者の指がリモコン装置3の上面に触れていることを検出するようにしてもよい。また、リモコン装置3の上面に触れていることを検出するようにする場合には、選択決定ボタン10の表面に感圧スイッチ15を設け、選択決定ボタン10に触れていることを検出するようにしてもよい。
また、利用者の指が触れていることの検出に感圧スイッチ15を用いる例を示したが、これに限られるものではなく、デザインや操作感が適切で且つコストが比較的低いセンサであれば、どのようなスイッチを用いるようにしてもよい。
また、利用者の指が触れていることの検出に感圧スイッチ15を用いる例を示したが、これに限られるものではなく、デザインや操作感が適切で且つコストが比較的低いセンサであれば、どのようなスイッチを用いるようにしてもよい。
また、CPU12は、移動許可スイッチ11からカーソル移動許可指令が出力されると、後述するカーソル移動量算出処理を実行し、リモコン装置3の前方の画像を撮像装置5に撮像させ、その撮像された画像の傾きを傾き検出装置6で検出された傾きデータに基づいてDSP7に回転補正させる。そして、その回転補正された画像データと新たに撮像された画像データとに基づいて、前記回転補正された画像データに撮像されている撮像対象の前記新たに撮像された画像内における移動量を算出し、その算出された移動量に基づいてインターフェース9に選択決定指令を送信させる。また、CPU12は、リモコン装置3の上面に設けられた各種スイッチ(例えば、音量制御スイッチやチャンネル切り替えスイッチ)が押し下げ操作されると、その押し下げ操作されたスイッチに対応するデジタルテレビ受像器1の制御指令をインターフェース9に送信させる。
さらに、CPU12は、選択決定ボタン10から選択決定指令が出力されると、その出力された選択決定指令を本体装置2に送信する。
なお、本実施形態では、後述するカーソル移動量算出処理や選択決定指令の送信の制御をCPU12に行わせる例を示したが、これに限られるものではなく、例えば、CPU12に代えて、単純なデジタル制御回路に行わせるようにしてもよい。
なお、本実施形態では、後述するカーソル移動量算出処理や選択決定指令の送信の制御をCPU12に行わせる例を示したが、これに限られるものではなく、例えば、CPU12に代えて、単純なデジタル制御回路に行わせるようにしてもよい。
<カーソル移動量算出処理の内容>
次に、CPU12で実行されるカーソル移動量算出処理を、図4のフローチャートに従って説明する。このカーソル移動量算出処理は、移動許可スイッチ11からカーソル移動許可指令が出力されると実行される処理であって、まずそのステップS101で、撮像装置5と傾き検出装置6とに画像データ(第2画像データg(m,n))と傾きデータ(第2傾きデータθ2)とを取得させるデータ取得指令を同時に出力する。なお、このカーソル移動量算出処理の最初の実行時には、所定時間(例えば、1msec.)を隔て、連続してデータ取得指令を出力し、撮像装置5と傾き検出装置6とに画像データと傾きデータとを2つずつ(第1及び第2画像データf(m,n)、g(m,n)と第1及び第2傾きデータθ1、θ2とを)取得させる。
次に、CPU12で実行されるカーソル移動量算出処理を、図4のフローチャートに従って説明する。このカーソル移動量算出処理は、移動許可スイッチ11からカーソル移動許可指令が出力されると実行される処理であって、まずそのステップS101で、撮像装置5と傾き検出装置6とに画像データ(第2画像データg(m,n))と傾きデータ(第2傾きデータθ2)とを取得させるデータ取得指令を同時に出力する。なお、このカーソル移動量算出処理の最初の実行時には、所定時間(例えば、1msec.)を隔て、連続してデータ取得指令を出力し、撮像装置5と傾き検出装置6とに画像データと傾きデータとを2つずつ(第1及び第2画像データf(m,n)、g(m,n)と第1及び第2傾きデータθ1、θ2とを)取得させる。
次にステップS102に移行して、メモリ8に記憶されている第1画像データf(m,n)を回転補正させる傾き補正指令をDSP7に出力する。
次にステップS103に移行して、前記ステップS102で回転補正された第1画像データf’(m,n)に撮像されている撮像対象の、前記ステップS101で取得された第2画像データg(m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出させる移動量予測値算出指令をDSP7に出力する。
次にステップS103に移行して、前記ステップS102で回転補正された第1画像データf’(m,n)に撮像されている撮像対象の、前記ステップS101で取得された第2画像データg(m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出させる移動量予測値算出指令をDSP7に出力する。
次にステップS104に移行して、前記ステップS103で算出された移動量の予測値(i*、j*)に基いて、前記ステップS102で回転補正された第1画像データf’(m,n)を平行移動させて様々にずらし、そのずらした第1画像データf’(m,n)と前記ステップS101で取得された第2画像データg(m,n)との相関の度合いを示す相関係数Cijを、下記(2)式に従って、それぞれ算出する。なお、相関係数Cijは、ずらした第1画像データf’(m,n)と第2画像データg(m,n)との相関の度合いが高いほど小さく算出される。
但し、(i、j)は、前記ステップS103で算出された移動量の予測値(i*、j*)及びその近傍の値をとる変数である。また、Mは、画像データのうち相関係数Cijの算出に用いる画素群を選択するための定数である。この定数Mは、前記ステップS102で回転補正された第1画像データf’(m,n)に回転補正や平行移動を行ったときに、回転補正された第1画像データf’(m,n)の端の部分に適切なデータがなくなってしまうことで、相関係数Cijの誤差が大きくなってしまうことがないように、第1及び第2画像データf’(m,n)、g(m,n)のサイズより小さく設定する。
なお、本実施形態では、定数Mを第1及び第2画像データf’(m,n)、g(m,n)のサイズより小さく設定する例を示したが、これに限られるものではない。例えば、回転補正された第1画像データf’(m,n)に適切なデータがない部分がある場合には、適切なデータがない部分に対応する要素を「0」とし、また適切なデータがある部分に対応する要素を「1」とした配列を生成し、その生成された配列の対応する要素を、上記(2)式の(f’(m+i,n+j)―g(m,n))にそれぞれ乗じ、データがない部分による影響を相関係数Cijから除き、相関係数Cijの誤差が大きくなることを防止するようにしてもよい。
次にステップS105に移行して、前記ステップS104で算出された相関係数Cijの極小値に対応する変数(i、j)の座標が、前記ステップS104で相関係数Cijの算出に用いられた画素群の縁部分にあるか否かを判定し、縁部分にある場合には(Yes)前記極小値に対応する変数(i、j)を新たな予測値(i*、j*)としてから前記ステップS104に移行し、縁部分より内側にある場合には(No)極小値Cminに対応する変数(i、j)を、回転補正後の第1画像データf’(m,n)に撮像されている撮像対象の、第2画像データg(m,n)で撮像された画像内における移動量としてからステップS106に移行する。
前記ステップS106では、まず、前記ステップS105で設定された移動量(i,j)の信頼度が十分であるか否かを判定する。具体的には、前記ステップS104で算出された相関係数Cijのうち大きいもの3点の平均値Cmeanを算出する。次に、その算出された平均値Cmeanに対する極小値Cminの比(Cmin/Cmean)を算出し、その算出された比が閾値(例えば、30%)以上であるか否かを判定する。そして、閾値より小さい場合には(Yes)移動量(i,j)の信頼度が十分であるとし、そのままステップS107に移行する。また、閾値以上である場合には(No)移動量(i,j)の信頼度が不十分であるとし、第1画像データf(m,n)が適切に回転補正されるように、第2の傾き角θ2を大きくあるいは小さく補正してから、前記ステップS102に移行する。
なお、本実施形態では、移動量(i,j)の信頼度が不十分であるときには、第1画像データf(m,n)が適切に回転補正されるようにし、移動量(i,j)を再設定する例を示したが、これに限られるものではない。例えば、それらを省略するようにしてもよく、そのようにすれば、移動量(i,j)の設定に要する時間を短縮することができる。
前記ステップS107では、前記ステップS105で設定された移動量(i,j)に基づいて、本体装置2の表示画面に表示されているカーソル4の目標移動量を算出し、その算出された目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力する。
次にステップS108に移行し、移動許可スイッチ11から移動許可指令が出力されているか否かを判定し、移動許可指令が出力されている場合には(Yes)前記ステップS101に移行し、移動許可指令が出力されていない場合、つまり移動禁止指令が出力されている場合には(No)この演算処理を終了する。
前記ステップS107では、前記ステップS105で設定された移動量(i,j)に基づいて、本体装置2の表示画面に表示されているカーソル4の目標移動量を算出し、その算出された目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力する。
次にステップS108に移行し、移動許可スイッチ11から移動許可指令が出力されているか否かを判定し、移動許可指令が出力されている場合には(Yes)前記ステップS101に移行し、移動許可指令が出力されていない場合、つまり移動禁止指令が出力されている場合には(No)この演算処理を終了する。
<デジタルテレビ受像器の動作>
次に、本実施形態のデジタルテレビ受像器1の動作を説明する。
まず、利用者の興味のある映像が表示画面の右下側に表示されているときに、その映像をカーソル4で指示しようと、利用者が左手でリモコン装置3を持ち、左手の人差し指でリモコン装置3の左側面に触れながら、リモコン装置3を右に傾けつつ右下側に移動させたとする。すると、移動許可スイッチ11から移動許可指令がCPU12に出力され、CPU12で、カーソル移動量算出処理が実行される。
次に、本実施形態のデジタルテレビ受像器1の動作を説明する。
まず、利用者の興味のある映像が表示画面の右下側に表示されているときに、その映像をカーソル4で指示しようと、利用者が左手でリモコン装置3を持ち、左手の人差し指でリモコン装置3の左側面に触れながら、リモコン装置3を右に傾けつつ右下側に移動させたとする。すると、移動許可スイッチ11から移動許可指令がCPU12に出力され、CPU12で、カーソル移動量算出処理が実行される。
カーソル移動量算出処理が実行されると、まずそのステップS101で、所定時間を隔て、連続して撮像装置5と傾き検出装置6とにデータ取得指令が出力される。そして、撮像装置5と傾き検出装置6とによって、図5(a)に示すように、第1画像データf(m,n)と第1傾きデータθ1とが取得された後、図5(b)に示すように、第2画像データg(m,n)と第2傾きデータθ2とが取得され、それら第1及び第2画像データf(m,n)、g(m,n)と第1及び第2傾きデータθ1、θ2とがメモリ8に記憶される。
次いで、ステップS102で、傾き補正指令がDSP7に出力され、DSP7によって、図5(c)に示すように、メモリ8に記憶されている第1画像データf(m,n)が回転補正され、第1画像データf(m,n)に撮像されている撮像対象16の傾きが、第2画像データg(m,n)に撮像されている撮像対象16の傾きと一致される。また、ステップS103で、移動量予測値算出指令がDSP7に出力され、DSP7によって、撮像対象16の移動量の予測値(i*、j*)が算出される。そして、ステップS104で、その算出された予測値(i*、j*)に基づいて変数(i、j)が複数設定され、その設定された各変数(i、j)に基づいて前記回転補正された第1画像データf’(m,n)が平行移動で様々にずらされ、そのずらされた第1画像データf’(m,n)と第2画像データg(m,n)との相関係数Cijがそれぞれ算出される。
ここで、相関係数Cijの極小値Cminに対応する変数(i、j)の座標が、相関係数Cijの算出に用いられた画素群の内側にあり、また、相関係数Cijのうち大きいもの3点の平均値Cmeanに対する極小値Cminの比(Cmin/Cmean)が閾値より小さかったとする。すると、ステップS105の判定が「No」となり、極小値Cminに対応する変数(i、j)が撮像対象16の移動量とされ、またステップS106の判定が「Yes」となる。また、ステップS107で、移動量送信指令がインターフェース9に出力され、インターフェース9によって、その設定された移動量(i,j)に基づいて移動量送信指令がインターフェース9に出力される。そして、ステップS108の判定が「Yes」となり、前記ステップS101から上記フローが繰り返し実行され、本体装置2の表示画面に表示されているカーソル4が右下側に滑らかに移動する。
このように、本実施形態のリモコン装置3によれば、リモコン装置3を空中で動かしているときに、撮像装置5が傾き、図5に示すように、第2画像データg(m,n)が傾いた場合、その傾きに合わせて第1画像データf(m,n)の傾きを補正することができる。そのため、第1画像データf(m,n)を平行移動でのみずらして相関係数Cijを算出することができ、平行移動と回転移動との両方でずらす方法に比べ、相関係数Cijを高速に検出することができ、その結果、カーソル4の操作性を向上することができる。
また、上記フローが繰り返し実行されるうちに、興味ある映像がカーソル4で指示され、そのカーソル4で指示された映像を選択するために、利用者が左手の人差し指をリモコン装置3の左側面から離したとする。すると、移動許可スイッチ11から出力されていた移動許可指令が停止され、前記ステップS108の判定が「No」となり、前記カーソル移動量算出処理が終了され、カーソル4の移動が禁止され、その位置が固定される。
このように、本実施形態のリモコン装置3によれば、カーソル4を移動させた後、カーソル4の位置を固定することができる。そのため、撮像対象16の移動を気にすることなく、選択決定ボタン10を押し下げ操作することができ、撮像対象が移動しないように、リモコン装置3を空中で静止させて、選択決定ボタン10を押し下げ操作する場合に比べ、リモコン装置3の操作性をより向上することができる。
<第2実施形態>
次に、第2実施形態のリモコン装置3について説明する。
この実施形態は、図6に示すように、撮像装置5と異なる方向の画像を撮像する予備撮像装置17を備え、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、予備撮像装置17で撮像された画像に基づいて移動量送信指令を出力するようにした点が、前記第1実施の形態と異なっている。
次に、第2実施形態のリモコン装置3について説明する。
この実施形態は、図6に示すように、撮像装置5と異なる方向の画像を撮像する予備撮像装置17を備え、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、予備撮像装置17で撮像された画像に基づいて移動量送信指令を出力するようにした点が、前記第1実施の形態と異なっている。
具体的には、予備撮像装置17は、CPU12からデータ取得指令が出力されると、撮像装置5で撮像される画像と光軸が45度〜135度異なる方向の静止画像を撮像し、その撮像された静止画像の画像データをメモリ8に記憶させる。なお、予備撮像装置17に撮像させる画像の方向を設定する方法としては、予備撮像装置17の配置を調整する方法や、予備撮像装置17の光学系で入射方向及び光路を調整する方法が挙げられる。
なお、この第2実施形態は、前記第1実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
なお、この第2実施形態は、前記第1実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
また、図7に示すように、前記第1実施形態のカーソル移動量算出処理のステップS101がステップS201に変更され、ステップS106の「No」判定の後に、ステップS202〜S207が追加されている。
前記ステップS201では、撮像装置5と傾き検出装置6と予備撮像装置17とに画像データ(第2画像データg1(m,n)、g2(m,n))と傾きデータ(第2傾きデータθ2)とを取得させるデータ取得指令を同時に出力する。なお、画像データの符号の添え字は、「1」が撮像装置5で撮像された画像データであることを表し、「2」が予備撮像装置17で撮像された画像データであることを表すものである。また、このカーソル移動量算出処理の最初の実行時には、所定時間を隔て、連続してデータ取得指令を出力し、撮像装置5と傾き検出装置6と予備撮像装置17とに画像データと傾きデータとを2つずつ(第1及び第2画像データf1(m,n)、f2(m,n)、g1(m,n) 、g2(m,n)と第1及び第2傾きデータθ1、θ2とを)取得させる。
前記ステップS201では、撮像装置5と傾き検出装置6と予備撮像装置17とに画像データ(第2画像データg1(m,n)、g2(m,n))と傾きデータ(第2傾きデータθ2)とを取得させるデータ取得指令を同時に出力する。なお、画像データの符号の添え字は、「1」が撮像装置5で撮像された画像データであることを表し、「2」が予備撮像装置17で撮像された画像データであることを表すものである。また、このカーソル移動量算出処理の最初の実行時には、所定時間を隔て、連続してデータ取得指令を出力し、撮像装置5と傾き検出装置6と予備撮像装置17とに画像データと傾きデータとを2つずつ(第1及び第2画像データf1(m,n)、f2(m,n)、g1(m,n) 、g2(m,n)と第1及び第2傾きデータθ1、θ2とを)取得させる。
前記ステップS202では、予備撮像装置17で撮像された第1画像データf2(m,n)を回転補正させる傾き補正指令をDSP7に出力する。
次にステップS203に移行して、前記ステップS202で回転補正された第1画像データf2’(m,n)に撮像されている撮像対象の、前記ステップS201で取得された第2画像データg2 (m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出させる移動量予測値算出指令をDSP7に出力する。
次にステップS203に移行して、前記ステップS202で回転補正された第1画像データf2’(m,n)に撮像されている撮像対象の、前記ステップS201で取得された第2画像データg2 (m,n)で撮像された画像内における移動量の予測値(i*、j*)を算出させる移動量予測値算出指令をDSP7に出力する。
次にステップS204に移行して、前記ステップS203で算出された移動量の予測値(i*、j*)に基づいて、前記ステップS202で回転補正された第1画像データf2’(m,n)を平行移動させて様々にずらし、そのずらした第1画像データf2’(m,n)と前記ステップS201で取得された第2画像データg2 (m,n)との相関の度合いを示す相関係数Cijを、前記(2)式に従って、それぞれ算出する。
次にステップS205に移行して、前記ステップS204で算出された相関係数Cijの極小値に対応する変数(i、j)の座標が、前記ステップS204で相関係数Cijの算出に用いられた画素群の縁部分にあるか否かを判定し、縁部分にある場合には(Yes)前記極小値に対応する変数(i、j)を新たな予測値(i*、j*)としてから前記ステップS204に移行し、縁部分より内側にある場合には(No)極小値Cminに対応する変数(i、j)を、回転補正後の第1画像データf2’(m,n)に撮像されている撮像対象の、第2画像データg2 (m,n)で撮像された画像内における移動量としてからステップS206に移行する。
前記ステップS206では、前記ステップS205で設定された移動量(i,j)の信頼度が十分であるか否かを判定し、十分である場合には(Yes)ステップS207に移行し、不十分である場合には(No)、移動量送信指令を出力せずに、そのままステップS108に移行する。
前記ステップS207では、前記ステップS205で設定された移動量(i,j)に基づいて、本体装置2の表示画面に表示されているカーソル4の目標移動量を算出し、その算出された目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力してから、前記ステップS108に移行する。
前記ステップS207では、前記ステップS205で設定された移動量(i,j)に基づいて、本体装置2の表示画面に表示されているカーソル4の目標移動量を算出し、その算出された目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力してから、前記ステップS108に移行する。
<デジタルテレビ受像器の動作>
次に、本実施形態のデジタルテレビ受像器1の動作を説明する。
まず、カーソル移動量算出処理の実行中に、ステップS104で設定された移動量(i,j)の信頼度が所定閾値より小さくなったとする。すると、ステップS106の判定が「No」となり、ステップS102で、傾き補正指令がDSP7に出力され、DSP7によって、図5(c)に示すように、予備撮像装置17で撮像された第1画像データf2 (m,n)が回転補正される。また、ステップS203で、移動量予測値算出指令がDSP7に出力され、DSP7によって、撮像対象16の移動量の予測値(i*、j*)が算出される。そして、ステップS204で、その算出された予測値(i*、j*)に基づいて変数(i、j)が複数設定され、その設定された各変数(i、j)に基づいて前記回転補正された第1画像データf2’(m,n)が平行移動で様々にずらされ、そのずらされた第1画像データf2’(m,n)と第2画像データg2 (m,n)との相関係数Cijがそれぞれ算出される。
次に、本実施形態のデジタルテレビ受像器1の動作を説明する。
まず、カーソル移動量算出処理の実行中に、ステップS104で設定された移動量(i,j)の信頼度が所定閾値より小さくなったとする。すると、ステップS106の判定が「No」となり、ステップS102で、傾き補正指令がDSP7に出力され、DSP7によって、図5(c)に示すように、予備撮像装置17で撮像された第1画像データf2 (m,n)が回転補正される。また、ステップS203で、移動量予測値算出指令がDSP7に出力され、DSP7によって、撮像対象16の移動量の予測値(i*、j*)が算出される。そして、ステップS204で、その算出された予測値(i*、j*)に基づいて変数(i、j)が複数設定され、その設定された各変数(i、j)に基づいて前記回転補正された第1画像データf2’(m,n)が平行移動で様々にずらされ、そのずらされた第1画像データf2’(m,n)と第2画像データg2 (m,n)との相関係数Cijがそれぞれ算出される。
ここで、相関係数Cijの極小値Cminに対応する変数(i、j)の座標が、相関係数Cijの算出に用いられた画素群の内側にあり、また、相関係数Cijのうち大きいもの3点の平均値Cmeanに対する極小値Cminの比(Cmin/Cmean)が閾値より小さかったとする。すると、ステップS205の判定が「No」となり、極小値Cminに対応する変数(i、j)が撮像対象16の移動量とされ、またステップS206の判定が「Yes」となる。また、ステップS207で、移動量送信指令がインターフェース9に出力され、インターフェース9によって、その設定された移動量(i,j)に基づいて移動量送信指令がインターフェース9に出力される。そして、ステップS108の判定が「Yes」となり、ステップS201から上記フローが繰り返し実行され、本体装置2の表示画面に表示されているカーソル4が滑らかに移動する。
このように、本実施形態のリモコン装置3によれば、撮像装置5による撮像対象16の移動量(i,j)の検出結果の信頼度が低い場合には、予備撮像装置17で撮像される画像に基づいてカーソル移動指令を出力することができる。そのため、撮像装置5による撮像対象16の移動量(i,j)の検出が困難であるときにも、カーソル4を適切に移動させることができる。
<第3実施形態>
次に、第3実施形態のリモコン装置3について説明する。
この実施形態は、撮像装置5の光軸を中心とした回転によるリモコン装置の傾き度合い(以下、「ロール角」とも呼ぶ。)の変化量と、リモコン装置5の後端を中心とした前端の上下動によるリモコン装置3の傾き度合い(以下、「ピッチ角」とも呼ぶ。)の変化量とを、傾きデータと共に傾き検出センサ6に算出させ、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、傾き検出装置6で検出されたロール角及びピッチ角の変化量に基づいて移動量送信指令を出力するようにした点が、前記第1実施の形態と異なっている。具体的には、図8に示すように、前記第1実施形態のカーソル移動量算出処理のステップS106の「No」判定の後に、ステップS301が追加されている。
次に、第3実施形態のリモコン装置3について説明する。
この実施形態は、撮像装置5の光軸を中心とした回転によるリモコン装置の傾き度合い(以下、「ロール角」とも呼ぶ。)の変化量と、リモコン装置5の後端を中心とした前端の上下動によるリモコン装置3の傾き度合い(以下、「ピッチ角」とも呼ぶ。)の変化量とを、傾きデータと共に傾き検出センサ6に算出させ、カーソル移動量算出処理で設定される移動量(i,j)の信頼度が所定閾値より小さいときに、傾き検出装置6で検出されたロール角及びピッチ角の変化量に基づいて移動量送信指令を出力するようにした点が、前記第1実施の形態と異なっている。具体的には、図8に示すように、前記第1実施形態のカーソル移動量算出処理のステップS106の「No」判定の後に、ステップS301が追加されている。
なお、この第3実施形態は、前記第1実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
前記ステップS301では、傾き検出センサ6で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置2の表示画面に表示されているカーソル4の平面視横方向の目標移動量と平面視上下方向の目標移動量とし、それらの目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力してから、ステップS108に移行する。
前記ステップS301では、傾き検出センサ6で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置2の表示画面に表示されているカーソル4の平面視横方向の目標移動量と平面視上下方向の目標移動量とし、それらの目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力してから、ステップS108に移行する。
このように、本実施形態のリモコン装置3によれば、撮像対象16の移動量(i,j)の検出結果の信頼度が低い場合には、傾き検出装置6で検出される傾きに基づいてカーソル移動指令を出力することができる。そのため、撮像装置5による撮像対象16の移動量(i,j)の検出が困難であるときにも、カーソル4を適切に移動させることができる。
<第4実施形態>
次に、第4実施形態のリモコン装置3について説明する。
この実施形態は、図9に示すように、ロール角及びピッチ角の変化量を傾き検出センサ6に算出させ、その算出されたロール角及びピッチ角の変化量のみに基づいて、カーソル4を移動させるようにした点が前記第1実施の形態と異なっている。具体的には、移動許可スイッチ11からカーソル移動許可指令が出力されると、CPU12で所定の演算処理が実行され、傾き検出センサ6で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置2の表示画面に表示されているカーソル4の横方向の目標移動量と縦方向の目標移動量とし、それらの目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力する。
次に、第4実施形態のリモコン装置3について説明する。
この実施形態は、図9に示すように、ロール角及びピッチ角の変化量を傾き検出センサ6に算出させ、その算出されたロール角及びピッチ角の変化量のみに基づいて、カーソル4を移動させるようにした点が前記第1実施の形態と異なっている。具体的には、移動許可スイッチ11からカーソル移動許可指令が出力されると、CPU12で所定の演算処理が実行され、傾き検出センサ6で算出されたロール角の変化量とピッチ角の変化量とに所定係数を乗じ、その乗算結果をそれぞれ、本体装置2の表示画面に表示されているカーソル4の横方向の目標移動量と縦方向の目標移動量とし、それらの目標移動量に応じてカーソル4を移動させるための移動量送信指令をインターフェース9に出力する。
なお、この第4実施形態は、前記第1実施形態の構成と同等の構成を多く含んでおり、同等の構成には同等の符号を付して、その詳細な説明を省略する。
このように、本実施形態のリモコン装置3によれば、リモコン装置3の傾きの大きさのみに基づいてカーソル4を移動させることができる。そのため、撮像装置5で撮像される画像の相関に基づいてカーソル4を移動させる場合に比べ、カーソル4を移動させるための計算量を少なくすることができ、その結果、カーソル4の操作性を向上することができる。また、撮像装置5やDSP7を用いることなくカーソル4を移動でき、画像の相関に基づいてカーソル4を移動させる場合に比べ、製造コストを小さくすることができる。
このように、本実施形態のリモコン装置3によれば、リモコン装置3の傾きの大きさのみに基づいてカーソル4を移動させることができる。そのため、撮像装置5で撮像される画像の相関に基づいてカーソル4を移動させる場合に比べ、カーソル4を移動させるための計算量を少なくすることができ、その結果、カーソル4の操作性を向上することができる。また、撮像装置5やDSP7を用いることなくカーソル4を移動でき、画像の相関に基づいてカーソル4を移動させる場合に比べ、製造コストを小さくすることができる。
以上より、図3及び図6の撮像装置5が撮像手段を構成し、以下同様に、図3、図6及び図9の傾き検出装置6が傾き状態検出手段を構成し、図3及び図6のDSP7及びCPU12、図4、図7及び図8のステップS102が補正手段を構成し、図3、図6及び図9のCPU12、図6の予備撮像装置17、図4、図7及び図8のステップS104〜S107が移動指令出力手段を構成し、図3及び図6のCPU12、図4、図7及び図8のステップS104が移動状態検出手段を構成し、図3、図6及び図9のCPU12、図4、図7及び図8のステップS107が移動指令出力手段を構成し、図3及び図6のCPU12、図4、図7及び図8のステップS106が信頼度検出手段を構成し、図6の予備撮像装置17が予備撮像手段を構成し、図3及び図6の移動許可スイッチ11が切り替え手段を構成し、図3のCPU12が制御指令出力手段を構成する。
また、上記実施形態は、本発明に係るポインティング装置の一例を示したものであり、その構成等を限定するものではない。
例えば、デジタルテレビ受像器1のリモコン装置3に適用する例を示したが、これに限られるものではなく、例えば、アナログテレビ受像器のリモコン装置に適用し、チャンネル切換の操作等をカーソルで行うようにしてもよい。そのようにすれば、リモコン装置から操作用のボタンを減らすことができ、リモコン装置のデザインをシンプルなものとすることができる。特に、リモコン装置の蓋の下に隠してある使用頻度の低い種々のボタンを減らすことで、リモコン装置を小型で軽いものとすることができる。
例えば、デジタルテレビ受像器1のリモコン装置3に適用する例を示したが、これに限られるものではなく、例えば、アナログテレビ受像器のリモコン装置に適用し、チャンネル切換の操作等をカーソルで行うようにしてもよい。そのようにすれば、リモコン装置から操作用のボタンを減らすことができ、リモコン装置のデザインをシンプルなものとすることができる。特に、リモコン装置の蓋の下に隠してある使用頻度の低い種々のボタンを減らすことで、リモコン装置を小型で軽いものとすることができる。
また、適用対象はテレビ受像器のリモコン装置に限られるものではなく、例えば、DVDレコーダやDVDプレーヤ、ビデオレコーダ、画像プロジェクタ等の画像記録装置や画像再生装置のリモコン装置に適用してもよい。
さらに、利用者の指が感圧スイッチ15に触れていることを検出すると、カーソル4の移動を許可する例を示したが、これに限られるものではなく、例えば、触れていることを検出すると、本体装置2の表示画面にカーソル4の表示を開始させるようにしてもよい。また、利用者の指が感圧スイッチ15に触れたことを検出したときに、本体装置2の表示画面にカーソル4の表示を開始させるようにしたときには、触れていることが検出されなくなってから所定時間が経過したとき、あるいは選択決定ボタン10が押し下げ操作されたときにカーソル4の表示を終了させればよい。そのようにすれば、カーソル4で指示されている映像を選択するために、選択決定ボタン10を押し下げ操作しようと、利用者が感圧スイッチ15から指を離したときに、カーソル4が消えてしまうことが防止される。
さらに、利用者の指が感圧スイッチ15に触れていることを検出すると、カーソル4の移動を許可する例を示したが、これに限られるものではなく、例えば、触れていることを検出すると、本体装置2の表示画面にカーソル4の表示を開始させるようにしてもよい。また、利用者の指が感圧スイッチ15に触れたことを検出したときに、本体装置2の表示画面にカーソル4の表示を開始させるようにしたときには、触れていることが検出されなくなってから所定時間が経過したとき、あるいは選択決定ボタン10が押し下げ操作されたときにカーソル4の表示を終了させればよい。そのようにすれば、カーソル4で指示されている映像を選択するために、選択決定ボタン10を押し下げ操作しようと、利用者が感圧スイッチ15から指を離したときに、カーソル4が消えてしまうことが防止される。
1はデジタルテレビ受像器、2は本体装置、3はリモコン装置、4はカーソル、5は撮像装置、6は傾き検出装置、7はDSP、8はメモリ、9はインターフェース、10は選択決定ボタン、11は移動許可スイッチ、12はCPU、13はCMOSイメージセンサ、14は加速度センサ、15は感圧スイッチ、16は撮像対象、17は予備撮像装置
Claims (10)
- 表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、
所定方向の画像を撮像する撮像手段と、前記撮像手段の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記撮像手段で撮像された画像の傾きを補正する補正手段と、前記補正手段で補正された画像に基づいて前記移動指令を出力可能な移動指令出力手段を備えたことを特徴とするポインティング装置。 - 前記移動指令出力手段は、前記撮像手段で撮像された画像内における前記補正手段で補正された画像の移動状態を検出する移動状態検出手段と、その検出された移動状態に基づいて前記移動指令を出力可能な指令出力手段とを備えたことを特徴とする請求項1に記載のポインティング装置。
- 前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段と、前記撮像手段と異なる方向の画像を撮像する予備撮像手段とを備え、
前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記予備撮像手段で撮像された画像に基づいて前記移動指令を出力することを特徴とする請求項2に記載のポインティング装置。 - 前記移動指令出力手段は、前記移動状態検出手段で検出された移動状態の信頼度を検出する信頼度検出手段を備え、
前記移動指令出力手段は、前記信頼度検出手段で検出された信頼度が所定閾値より小さいときには、前記傾き状態検出手段で検出された傾き状態に基づいて前記移動指令を出力することを特徴とする請求項2に記載のポインティング装置。 - 前記移動指令出力手段の動作状態を、前記移動指令の出力を許可する状態と前記移動指令の出力を禁止する状態とに切り替え可能な切り替え手段を備えたことを特徴とする請求項2から4のいずれか1項に記載のポインティング装置。
- 前記切り替え手段は、前記移動指令出力手段の動作状態を、接触式スイッチを用いて切り替えることを特徴とする請求項5に記載のポインティング装置。
- 前記撮像手段は、前記画像を、CMOSイメージセンサを用いて撮像することを特徴とする請求項1から6のいずれか1項に記載のポインティング装置。
- 前記傾き状態検出手段は、前記撮像手段の傾き状態を、加速度センサを用いて検出することを特徴とする請求項1から7のいずれか1項に記載のポインティング装置。
- 表示画面の局所領域を指示する指示画像を表示可能な表示装置に前記指示画像を移動させる移動指令を出力可能なポインティング装置であって、
自装置の傾き状態を検出する傾き状態検出手段と、その検出された傾き状態に基づいて前記移動指令を出力可能な移動指令出力手段とを備えたことを特徴とするポインティング装置。 - 前記表示装置は、テレビ受像器であり、
さらに、前記テレビ受像器の制御指令を出力可能な制御指令出力手段を備えたことを特徴とする請求項1から9のいずれか1項に記載のポインティング装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004067797A JP2005258694A (ja) | 2004-03-10 | 2004-03-10 | ポインティング装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004067797A JP2005258694A (ja) | 2004-03-10 | 2004-03-10 | ポインティング装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005258694A true JP2005258694A (ja) | 2005-09-22 |
Family
ID=35084361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004067797A Withdrawn JP2005258694A (ja) | 2004-03-10 | 2004-03-10 | ポインティング装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005258694A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114820A (ja) * | 2005-10-18 | 2007-05-10 | Sharp Corp | 携帯型ポインタ装置及び表示システム |
JP2008134883A (ja) * | 2006-11-29 | 2008-06-12 | Nintendo Co Ltd | 情報処理装置および情報処理プログラム |
JP2008210019A (ja) * | 2007-02-23 | 2008-09-11 | Nintendo Co Ltd | 情報処理プログラムおよび情報処理装置 |
JP2011186800A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | 携帯端末装置およびプレゼンテーション方法 |
JP2012230702A (ja) * | 2007-05-26 | 2012-11-22 | Moon Key Lee | カメラとマーク出力とによるポインティング装置 |
US9785253B2 (en) | 2007-05-26 | 2017-10-10 | Moon Key Lee | Pointing device using camera and outputting mark |
US10976836B2 (en) | 2018-01-23 | 2021-04-13 | Seiko Epson Corporation | Head-mounted display apparatus and method of controlling head-mounted display apparatus |
-
2004
- 2004-03-10 JP JP2004067797A patent/JP2005258694A/ja not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007114820A (ja) * | 2005-10-18 | 2007-05-10 | Sharp Corp | 携帯型ポインタ装置及び表示システム |
JP2008134883A (ja) * | 2006-11-29 | 2008-06-12 | Nintendo Co Ltd | 情報処理装置および情報処理プログラム |
JP4689585B2 (ja) * | 2006-11-29 | 2011-05-25 | 任天堂株式会社 | 情報処理装置および情報処理プログラム |
JP2008210019A (ja) * | 2007-02-23 | 2008-09-11 | Nintendo Co Ltd | 情報処理プログラムおよび情報処理装置 |
JP2012230702A (ja) * | 2007-05-26 | 2012-11-22 | Moon Key Lee | カメラとマーク出力とによるポインティング装置 |
JP2015187884A (ja) * | 2007-05-26 | 2015-10-29 | キィ リー、ムーン | カメラとマーク出力とによるポインティング装置 |
US9785253B2 (en) | 2007-05-26 | 2017-10-10 | Moon Key Lee | Pointing device using camera and outputting mark |
JP2011186800A (ja) * | 2010-03-09 | 2011-09-22 | Nec Corp | 携帯端末装置およびプレゼンテーション方法 |
US10976836B2 (en) | 2018-01-23 | 2021-04-13 | Seiko Epson Corporation | Head-mounted display apparatus and method of controlling head-mounted display apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11550420B2 (en) | Quick review of captured image data | |
US20160170585A1 (en) | Display control device, method and computer program product | |
CN108628916B (zh) | 缩略图显示装置、缩略图显示装置的控制方法以及存储介质 | |
US10055081B2 (en) | Enabling visual recognition of an enlarged image | |
US8847977B2 (en) | Information processing apparatus to flip image and display additional information, and associated methodology | |
US10037078B2 (en) | Information processing apparatus, information processing method, and computer program | |
US20050193350A1 (en) | Display method and display device | |
JP2012027701A (ja) | ユーザインターフェース装置およびユーザインターフェース方法 | |
US20120176398A1 (en) | Display control apparatus, display control method, and computer program product | |
US9535604B2 (en) | Display device, method for controlling display, and recording medium | |
JP2011028560A (ja) | 情報処理装置、表示方法及び表示プログラム | |
US20130202158A1 (en) | Image processing device, image processing method, program and recording medium | |
US20110013072A1 (en) | Method and apparatus for manual focusing in portable terminal | |
US9007506B2 (en) | Image pickup apparatus, control method of image pickup apparatus, program, and storage medium | |
KR20110027117A (ko) | 터치 패널을 구비한 전자 장치와 표시 방법 | |
JP2010079332A (ja) | 遠隔操作装置及び遠隔操作方法 | |
US9019388B2 (en) | Imaging device capable of performing release operation by touch input, and imaging method and storage medium for the same | |
JP2005258694A (ja) | ポインティング装置 | |
US10949015B2 (en) | Display control apparatus, display control method, and storage medium | |
US20220244831A1 (en) | Image processing device, imaging device, method of controlling image processing device, and recording medium | |
JP2010141403A (ja) | 画像表示装置および撮像装置 | |
JP5353196B2 (ja) | 移動計測装置および移動計測プログラム | |
JP5310049B2 (ja) | 電子機器 | |
JP2011138402A (ja) | 操作入力装置、表示装置、撮影装置及び動画再生装置 | |
JP2005284644A (ja) | データ処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070605 |