JP4650381B2 - 電子機器 - Google Patents

Description

本発明は電子機器に係り、特にテレビジョン受像機やパーソナルコンピュータのように表示装置を有する電子機器における遠隔操作の仕方を改良した電子機器に関する。

１９８０年代に赤外線リモートコントローラ（通称リモコン）がテレビジョン受像機をはじめとする家電機器に付属するようになり、手元で制御できるユーザインターフェースが広く普及し、家電製品の利用形態を大きく変貌させた。現在においてもこの操作形態が主流であるが、リモコンは１つの機能を１つのキー（ボタン）を押すことにより実行させる仕組みが基本となっており、例えばテレビジョン受像機では、「電源」「チャンネル」「音量」「入力切替」などのキーがそれに該当し、これまでのテレビジョン受像機にとって大変便利な遠隔の操作方法であった。

しかしながら、最近始まったデータ放送は、所望のメニュー画面を選択するために、リモコンの「上」「下」「左」「右」や「決定」キーを何度も押下することになり、煩雑で使いづらくなっている。また、ＥＰＧ（電子プログラムガイド）は、マトリクスに配列された案内画面から所望の位置を選択してキーを押下するため、同様の課題を有していた。

本出願人による先願である特開２００６−０９１９４８号公報（特許文献１）には、多様な電子機器に対する柔軟性と遠隔操作の利便性を両立させると共に、リモコンのような遠隔操作用機器を手元で利用することを不要とした電子機器が提案されている。特許文献１に記載の電子機器はユーザの手の動作をビデオカメラで撮影して、その動作から表示装置に表示されている操作ボタンに対する操作内容を識別するものである。

特開２００６−０９１９４８号公報

特許文献１に記載の電子機器においては、ユーザが表示装置に表示されている操作ボタンに手をかざして操作したことをかなり精度よく検出することが可能である。しかしながら、例えばビデオカメラで撮影しているユーザの背景の色と手の色とが近似している場合など、誤検出しやすい状況でも更に精度よく操作ボタンの操作を検出することが望まれる。

本発明はこの点に着目してなされたものであり、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する際に、操作ボタンの操作を更に確実に検出できる電子機器を提供することを目的とする。

上記した課題を解決するために本発明は、次の（ａ）〜（ｆ）を提供するものである。
（ａ）電子機器において、表示装置２１と、前記表示装置の前に位置する操作者３を撮影するビデオカメラ２と、前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器１３と、少なくとも１つの操作ボタン（１−１）〜（１−８）を含む操作用画像４１を生成する操作用画像生成器１５と、前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器１６と、前記混合器により混合された画像を前記表示装置の画面上に表示させた状態で、前記画面に表示された操作者が前記操作ボタンを対象物により操作する所定の動作に対応した検出信号を発生する検出器１７と、前記検出器により出力される検出信号に基づいて、操作された前記操作ボタンに対応する制御動作を行う制御器１８とを備え、前記検出器は、前記鏡像変換画像信号における前記操作ボタンに対応して設けられた検出領域４５の画像信号を記憶する第１のメモリ８０と、前記鏡像変換画像信号における前記検出領域の周辺に位置する周辺検出領域４６，４６１の画像信号を記憶する第２のメモリ８４と、前記鏡像変換画像信号の現在の画面の画像信号と前記第１のメモリから読み出された過去の画面の画像信号との差分を求めることにより前記検出領域内にかざされている前記対象物の領域を示す画像信号を出力する第１の減算器８１と、前記鏡像変換画像信号の現在の画面の画像信号と前記第２のメモリから読み出された過去の画面の画像信号との差分を求めることにより前記周辺検出領域内にかざされている前記対象物の領域を示す画像信号を出力する第２の減算器８５と、前記第１の減算器からの出力信号を用いて得られた前記対象物の領域を示す画像信号に基づいて前記検出信号を発生する発生器３２と、前記第２の減算器より出力された前記画像信号に基づいて、前記周辺検出領域内における前記対象物がかざされている領域の大きさに応じて発生する発生量を示す第１のデータを算出する算出器８９とを備え、更に前記電子機器は、前記第１のデータの大きさに応じて前記第１のメモリの書き込みを停止するよう制御する書き込み制御部１８とを備えることを特徴とする電子機器。
（ｂ）前記書き込み制御部は、前記第１のデータにおける予め定めた第１の閾値を超えた期間に対応して第１のフラグを生成する第１のフラグ生成器１８０と、前記検出領域内にかざされている前記対象物の領域の大きさに応じて発生する発生量を示す第２のデータを算出し、前記第２のデータにおける予め定めた第２の閾値を超えた期間に対応して第２のフラグを生成する第２のフラグ生成器１８１と、前記第１のフラグと前記第２のフラグとに基づいて、前記第１のメモリの書き込みを停止するための書き込み停止フラグを生成するための第３のフラグ生成器１８７とを備えることを特徴とする（ａ）記載の電子機器。
（ｃ）前記第１のフラグ生成器は、前記第１のデータが前記第１の閾値を超えた時点から所定の時間を経過した時点で発生する前記第１のフラグを生成することを特徴とする（ｂ）記載の電子機器。
（ｄ）前記第１のフラグ生成器は、前記第１のデータが前記第１の閾値を超えた時点で発生する第４のフラグを生成し、前記第３のフラグ生成器は、前記第１のフラグと前記第２のフラグと前記第４のフラグとに基づいて前記書き込み停止フラグを生成することを特徴とする（ｃ）記載の電子機器。
（ｅ）前記第１のフラグ生成器は、前記第１のデータにおける予め定めた第３の閾値を超えた期間に対応して第５のフラグを生成し、前記制御器は、前記第５のフラグに基づいて前記制御動作を停止させることを特徴とする（ｂ）ないし（ｄ）のいずれか一項に記載の電子機器。
（ｆ）前記鏡像変換画像信号の輝度信号と色信号とを加算して加算信号を出力する加算器９２を備え、前記第１及び第２のメモリに入力される前記画像信号は、前記加算器より出力された前記加算信号であることを特徴とする（ａ）ないし（ｅ）のいずれか一項に記載の電子機器。

本発明によれば、表示装置に表示された操作ボタンに手などをかざして操作ボタンを操作する際に、操作ボタンの操作を更に確実に検出できる。

図１は、電子機器（テレビジョン受像機１）を操作する方法において、リモコン装置による従来の操作方法と、本発明の一実施形態である操作方法との違いを説明するための図である。
操作者（ユーザ）３がテレビジョン受像機１を従来の操作方法で操作する場合、ユーザ３はリモコン装置４を手に持ち、所望の機能を働かせるキーをテレビジョン受像機１に向けて押下する。従って、リモコン装置４が無ければテレビジョン受像機１を操作できず、不便を強いられる場合を時々経験する。

これに対し、本実施形態の操作方法では、テレビジョン受像機１に、ビデオカメラ２が設けられており、ビデオカメラ２によりユーザ３が撮影され、ビデオカメラ２の画像からユーザ３の動作を得て、テレビジョン受像機１及びそれに関連する機器の操作が行われる。
ユーザ３の動作とは、具体的にはテレビジョン受像機１の表示装置２１に表示されるメニュー画面から所望のボタンを選択する身体（手、足、顔など）の動きのことである。本実施形態では後述するように最も実用的である手の動きで操作する方法が採用されている。またテレビジョン受像機１の周囲が暗いときは、自発光機能を具備した遠隔操作用機器（手元制御機器）を用いることにより、手の動作と同様の効果を得るようにしている。遠隔操作用機器については後述する。

図２は、テレビジョン受像機１の構成を示すブロック図であり、テレビジョン受像機１は、ビデオカメラ２、基準同期発生器１１、タイミングパルス発生器１２、鏡像変換器１３、スケーラ１４、グラフィックス生成器１５、第１の混合器１６、検出部１７、制御情報判断器（ＣＰＵ）１８、画素数変換器１９、第２の混合器２０、及び表示装置２１を備えている。

基準同期発生器１１は、入力される同期信号に基づいて、テレビジョン受像機１の基準となる水平周期パルスと垂直周期パルスを発生する。ここで、同期信号は画素数変換器１９に入力される映像信号の水平及び垂直同期信号である。テレビジョン放送受信時や外部の機器から映像信号が入力されている場合は、基準同期発生器１１はその入力信号の同期信号に同期するパルスを生成する。タイミングパルス発生器１２は、図２に示す各ブロックで必要とする水平方向と垂直方向の任意の位相と幅を有するパルスを生成する。
ビデオカメラ２は、図１に示すようにテレビジョン受像機１の前面に位置してユーザ３、またはテレビジョン受像機１の前の映像を撮影する。ビデオカメラ２の出力信号は、輝度（Ｙ）信号、及び色差（Ｒ−Ｙ、Ｂ−Ｙ）信号であり、基準同期発生器１１から出力される水平周期パルス及び垂直周期パルスに同期している。

鏡像変換器１３は、ビデオカメラ２で撮影した被写体像を表示装置２１上に鏡と同じように左右を反転して表示するためのものである。従って、文字を表示する場合は鏡と同じように左右が反転することになる。本実施形態では、メモリを活用して水平方向の画像を反転させる方法により鏡像変換が行われる。表示装置２１として陰極線管（ＣＲＴ（Cathode Ray Tube））を用いる場合には、水平偏向を逆に操作することで同様の効果が得られる。その場合には、グラフィックスやその他混合する側の画像をあらかじめ水平方向に左右逆転させておく必要がある。

スケーラ１４は、ビデオカメラ２により撮影した被写体像の大きさを調整するもので、制御情報判断器１８の制御で拡大率と縮小率を２次元で調整する。また、拡大縮小を行わずに、水平と垂直の位相調整を行うこともできる。

グラフィックス生成器１５は、制御情報判断器１８から供給されるメニュー画面（操作用画像）を生成するための制御信号に基づいてメニュー画面を展開するもので、メモリ上の信号がＲ（赤）信号、Ｇ（緑）信号、Ｂ（青）信号の原色信号で展開されていても、後段で映像信号と合成または混合される出力信号は、輝度（Ｙ）信号と色差（Ｒ−Ｙ、Ｂ−Ｙ）信号とする。また生成されるグラフィックスのプレーン数は限定するものではないが、本実施形態では１プレーンでよい。
メニュー画面を構成するグラフィックスの画素数は、本実施形態では表示装置２１の画素数に一致させるようにしている。一致していない場合は、グラフィックス生成器１５内またはグラフィックス生成器１５の後段に画素数変換器を設けて、互いの画素数を一致させればよい。

第１の混合器１６は、スケーラ１４の出力信号Ｓ１とグラフィックス生成器１５の出力信号Ｇｓとを、制御値α１により混合割合を制御して混合する。具体的には、下記（１）式で出力信号Ｍ１ｏが表される。
Ｍ１ｏ＝α１×Ｓ１＋（１−α１）×Ｇｓ…（１）
制御値α１は、「０」から「１」の間の値に設定され、制御値α１を大きくするとスケーラ１４の出力信号Ｓ１の割合が大きくなり、グラフィックス生成器１５の出力信号Ｇｓの割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

検出部１７は、第１の検出器１７１、第２の検出器１７２、…第ｎの検出器１７ｎを備える。検出部１７に含まれる検出器は数を特定するものではなく、グラフィックス生成器１５で生成されるメニュー画面と連携した制御内容を表す後述するプッシュボタンの数に対応して変動する。なお、プッシュボタンとはパソコンにおいてマウスでクリック操作する操作ボタンに該当するものである。

制御情報判断器１８は、検出部１７から出力されるデータ（検出信号）の解析を行い、各種制御信号を出力する。制御情報判断器１８は、入力されるデータに基づいて操作されたプッシュボタンに対応する制御信号を生成し、各部を制御する。制御情報判断器１８はソフトウェアで各種の処理を行うものであり、アルゴリズムについての詳細は後述する。本実施形態では、ハードウェア（各機能ブロック）による処理と、ソフトウェア（制御情報判断器１８のＣＰＵ）による処理とが混在するが、特にここで示す区分けに限定するものではなく、ハードウェアとソフトウェアとをどのように用いてもよい。

画素数変換器１９は、入力される映像信号の画素数と表示装置２１の画素数を合わせるための画素数変換を行う。入力映像信号は、図示を省略している内蔵のチューナにて受信したテレビジョン信号（データ放送なども含む）による映像信号やビデオ（ＶＴＲ）入力などテレビジョン受像機１の外部から入力される映像信号である。ここでは図示を省略するが、入力映像信号から水平及び垂直同期信号を抽出して、基準同期発生器１１によって各部を入力映像信号の水平及び垂直同期信号に同期させるようにしている。

第２の混合器２０は、第１の混合器１６と同様の機能を有する。すなわち、第１の混合器１６の出力信号Ｍ１ｏと、画素数変換器１９の出力信号Ｓ２とを制御値α２で混合割合を制御して混合する。具体的には、下記（２）式で出力信号Ｍ２ｏが表される。
Ｍ２ｏ＝α２×Ｍ１ｏ＋（１−α２）×Ｓ２…（２）
制御値α２は、「０」から「１」の間の値に設定され、制御値α２を大きくすると第１の混合器１６の出力信号Ｍ１ｏの割合が大きくなり、画素数変換器１９の出力信号Ｓ２の割合が小さくなる。混合器の例としてはこれに限らないが、本実施形態では、入力される２系統の信号情報が入っていれば同様の効果が得られる。

表示装置２１は、ＣＲＴ、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ（ＰＤＰ）あるいはプロジェクションディスプレイなどを想定しているが、ディスプレイの表示方式を限定するものではない。表示装置２１の入力信号は、輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙであり、表示装置２１の内部にてＲＧＢ原色信号にマトリクス変換されて表示される。

以上のように構成されたテレビジョン受像機１の動作を、ユーザ３の動作を交えて説明する。図３は、グラフィックス生成器１５の出力画像（以下、グラフィックス画像）４１と、ビデオカメラ画像を鏡像変換し、スケーリングによりグラフィックス画像４１と画素数を一致させたスケーラ１４の出力画像（以下、スケーラ出力画像）４３とを示している。この二つの画像４１及び４３に対応する信号が、第１の混合器１６で混合される。
グラフィックス画像４１は、操作を行うためのメニュー画面（操作用画像）を形成しており、矩形状の枠４２はプッシュボタン（操作ボタン）を表す。一方のスケーラ出力画像４３は、ユーザ３を撮影し、鏡と同じように表示するものである。スケーラ出力画像４３の中の破線で示す矩形状の枠４４は、複数の検出器１７１〜１７ｎからなる検出部１７で検出する検出エリアを表したもので、グラフィックス画像４１上のプッシュボタン４２と同一の位置に配置されている。

図４は、第１の混合器１６における混合処理を説明するための図である。図４（Ａ）は図３に示したグラフィックス生成器１５で生成される操作メニュー画面（グラフィックス画像４１）を表したものであり、プッシュボタン（１−１）〜（１−８）が含まれている。図４（Ｂ）は、図３に示したビデオカメラ２でユーザ３を撮影した鏡像変換及びスケーラ処理済みの画面（スケーラ出力画像４３）で、検出部１７の各検出器に対応する検出エリア（２−１）〜（２−８）が含まれている。
第１の混合器１６にて、図４（Ａ）及び（Ｂ）に示す画面を制御値α１に対応する混合割合で混合した画面を、図４（Ｃ）に示す。なお、図４（Ｃ）に表示されるユーザ３の画像は、実際には、図４（Ｂ）に示される画像より、制御値α１に対応して輝度及びコントラストが低下したものとなる。

このように表示装置２１には、ユーザ３の画像が鏡と同様に表示されると共に、操作メニュー画面も重畳されて表示される。これによりユーザ３は、自分の動きと操作メニュー（プッシュボタン（１−１）〜（１−８））の位置を認識することができる。テレビジョン受像機１の操作は、ユーザ３が画面を見て、画面上のプッシュボタン（１−１）〜（１−８）に触れるように手（身体）を動かすことにより行う。
なお、ここではプッシュボタン（１−１）〜（１−８）に触れると表現したが、ユーザ３が実際に画面に触れるということではなく、プッシュボタン（１−１）〜（１−８）に相当する位置に手をかざして、表示装置２１に表示されたユーザ３の映像がプッシュボタン（１−１）〜（１−８）に触れるということである。換言すれば、手をプッシュボタン（１−１）〜（１−８）上に位置するように画面を見てユーザ３が動作することにより、テレビジョン受像機１を操作する。

検出部１７が、ユーザ３が手をかざしたプッシュボタン（１−１）〜（１−８）に対応して設けられている検出エリア（２−１）〜（２−８）内の手を検出し、制御情報判断器１８は該当するプッシュボタン（１−１）〜（１−８）が押されたことを認識する。従って、制御情報判断器１８から該当するプッシュボタンの制御内容に相当する制御信号を出力することができる。その際、メニュー画面の操作されたプッシュボタンの形状または色を変化させて、動作が認識されたことを画面上に表すことが好ましい。例えばプッシュボタンが押されたように画像を変化させる。

図５は、ビデオカメラ２からの画像（スケーラ出力画像４３）上に設定している検出エリア（２−１）〜（２−８）と、検出部１７の検出器１７１〜１７４との対応関係を示し、更に検出エリア（２−１）〜（２−８）のうち、検出エリア（２−１）と（２−８）を特定する水平及び垂直のタイミングパルスを示す。

各検出器１７１〜１７ｎは、図６に示すように、オブジェクト抽出器３０と、タイミングゲート器３１と、オブジェクト特徴データ検出部３２とを備えている。オブジェクト抽出器３０は、画像の特徴に添ったフィルタを備えており、フィルタ処理をした画像信号をタイミングゲート器３１に出力する。タイミングゲート器３１は、図５に示したタイミングパルスでビデオカメラ２からの画像信号の通過を制御する。通過する領域は図５に破線の枠で示す検出エリア（２−１）〜（２−８）内である。
この検出エリア（２−１）〜（２−８）内に限定した信号に対して、オブジェクト特徴データ検出部３２は種々のフィルタ処理を施してビデオカメラ２で撮影したユーザ３の手の画像を抽出する。なお、本実施形態では各検出器１７１〜１７ｎはそれぞれオブジェクト抽出器３０を備えているが、各オブジェクト抽出器３０の機能が同じであれば各検出器１７１〜１７ｎの前段に一つのオブジェクト抽出器を設けて簡略化してもよい。
図７にオブジェクト抽出器３０の詳細ブロック図を示す。本実施形態でオブジェクト抽出器３０はユーザ３の手を検出するためのフィルタ処理を行う。すなわち、本実施形態のオブジェクト抽出器３０は、特定色フィルタ７１と、階調限定器７２と、時間差分フィルタ７５と、合成器７３と、オブジェクトゲート器７４とを備えている。

特定色フィルタ７１、階調限定器７２及び時間差分フィルタ７５は、それぞれオブジェクトを特定するフィルタである。特定色フィルタ７１は、色差信号で入力される色信号の色相と色の濃さ（飽和度）を限定し、階調限定器７２は、輝度信号の特定の階調の範囲を限定する。
特定色フィルタ７１で色相と飽和度を限定することで、人の肌色に絞ることはできるが、人の肌は日焼け具合で変化し、また人種によっても異なるため、肌色といってもさまざまである。従って制御情報判断器１８より入力される制御信号によって、特定色フィルタ７１で色相、飽和度を調整し、階調限定器７２で輝度信号の階調限定の範囲を調整すれば、概ね人の手を検出することができる。
更に、本実施形態の時間差分フィルタ７５を設けたことで、人の手の背景が肌色であっても、わずかな輝度の差などを基に手の領域を抽出し、人の手を識別することができる。
また、本実施形態では人の手をプッシュボタン（１−１）〜（１−８）を操作する対象物としているが、パラメータである色相や階調を調整し最適化することにより、手以外の対象物も検出することができる。
時間差分フィルタ７５の詳細については、後述する。

合成器７３は、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５から入力される信号を合成し、領域パルスに変換する。本実施形態では、特定色フィルタ７１を通過した信号と階調限定器７２を通過した信号と時間差分フィルタ７５を通過した信号とが全て存在（ＡＮＤ）する場合に、ハイレベルとなる領域パルスを出力する。なお、特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうち１つまたは２つを通過した信号が存在すれば、ハイレベルとなる領域パルスを出力するようにしてもよい。
特定色フィルタ７１と階調限定器７２と時間差分フィルタ７５のうちの、２つを通過した信号が存在すればハイレベルとなるようにすれば誤検出しにくく、３つを通過した信号が存在すればハイレベルとなるようにすれば更に誤検出しにくくなる。
合成器７３で生成された領域パルスは、オブジェクトゲート器７４に供給される。オブジェクトゲート器７４は、領域パルスがハイレベルであるとき、輝度信号と色差信号を通過させる。領域パルスがローレベル（領域パルス外の範囲）であるときは、輝度信号も色差信号も通過させず、規定した値の信号を出力する。本実施形態では、黒レベルの輝度信号及び飽和度０の色差信号を出力する。

図７に示す特定色フィルタ７１について、図８を参照して説明する。図８は、色差平面図で、縦軸をＲ−Ｙ、横軸をＢ−Ｙとしたものである。テレビジョン信号の全ての色信号はこの座標上のベクトルで表すことができ、極座標で評価できる。これを特定するために色相は、第１象限のＢ−Ｙ軸を基準（０度）として左回りの角度で表現するものとする。また飽和度は、ベクトルのスカラ量となり、色差平面の原点が飽和度０で色がない状態となり、原点から離れるに従って飽和度が大きく色が濃いことを示す。

本実施形態では、特定色フィルタ７１により抽出される範囲は図８に示すように、等色相線Ｌ１に対応する角度θ１より小さくかつ等色相線Ｌ２に対応する角度θ２より大きい範囲に設定され、また色の濃さは等飽和度線Ｓ１より大きくＳ２より小さい範囲に設定されている。第２象限のこの範囲は、本実施形態で抽出する人間の手の色である肌色の領域に相当するが、抽出する色の領域はこれに限定されるものではない。特定色フィルタ７１は、ビデオカメラ２から出力される色差信号（Ｒ−Ｙ、Ｂ−Ｙ）から角度と飽和度を算出し、色差信号が等色相線と等飽和度線で囲まれた領域に入っているか否かを判定する。

角度算出は、一例として図９にフローチャートで示すような角度算出処理によって、入力画素それぞれについて、図８に示す色差平面上でなす角度を算出する。本実施形態では、角度算出処理をハードウェアで実現しているが、ソフトウェア、ハードウェアのいずれで実現してもよい。

図９に示す角度算出処理のステップＳ４０１にて、入力画素それぞれの色差信号Ｒ−Ｙ、Ｂ−Ｙ成分の符号より、入力画素の色相が、色差平面上の第何象限に位置しているかを検出する。ステップＳ４０２にて、色差信号Ｒ−Ｙ、Ｂ−Ｙ成分それぞれの絶対値｜Ｒ−Ｙ｜、｜Ｂ−Ｙ｜を比較して、大きいほうをＡ、小さいほうをＢとして算出する。
そして、ステップＳ４０３にて、Ｂ／Ａより角度Ｔ１を検出する。この角度Ｔ１は、ステップＳ４０２の処理より明らかなように、０°〜４５°となる。角度Ｔ１は、折れ線近似やＲＯＭテーブルによって算出することができる。
ステップＳ４０４にて、Ａが｜Ｒ−Ｙ｜であるか、すなわち、｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であるか否かを判定する。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜でなければ、そのままステップＳ４０６に進む。｜Ｒ−Ｙ｜＞｜Ｂ−Ｙ｜であれば、ステップＳ４０５にて、角度Ｔ１を、（９０−Ｔ１）なる角度Ｔに置き換える。これによって、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））が求められる。

ステップＳ４０３において検出する角度Ｔ１を０°〜４５°としているのは、ｔａｎ^-1（（Ｒ−Ｙ）／（Ｂ−Ｙ））のカーブは４５°を超えると急激に勾配が大きくなり、角度の算出に不適であるからである。
更に、ステップＳ４０６にて、ステップＳ４０１にて検出した象限のデータを用いて第２象限か否かを判定し、第２象限であれば、ステップＳ４０７にて、Ｔ＝１８０−Ｔ１を算出する。第２象限でなければ、ステップＳ４０８にて、第３象限か否かを判定し、第３象限であれば、ステップＳ４０９にて、Ｔ＝１８０＋Ｔ１を算出する。
第３象限でなければ、ステップＳ４１０にて、第４象限か否かを判定し、第４象限であれば、ステップＳ４１１にて、Ｔ＝３６０−Ｔ１を算出する。第４象限でもない、すなわち第１象限であるときは、ステップＳ４１２にて角度ＴをＴ１とする。そして、最終的に、ステップＳ４１３にて、入力画素それぞれの図８の色差平面上でなす角度Ｔを出力する。

以上の処理により、入力された色差信号Ｒ−Ｙ、Ｂ−Ｙの色差平面上での角度を０°〜３６０°の範囲で求めることができる。ステップＳ４０４〜Ｓ４１１は、ステップＳ４０３にて検出した角度Ｔ１を角度Ｔに補正する処理である。また、ステップＳ４０４〜Ｓ４１１は、角度Ｔ１を、第１象限〜第４象限に応じて補正している。

次に色の濃さである飽和度Ｖｃの算出は、下記の式により行われる。
Ｖｃ＝ｓｑｒｔ（Ｃｒ×Ｃｒ＋Ｃｂ×Ｃｂ）
Ｖｃはベクトルのスカラ量であり、ここでは飽和度を表す。Ｃｒは、図８に示すように色差信号の（Ｒ−Ｙ）軸成分であり、Ｃｂは（Ｂ−Ｙ）軸成分である。またｓｑｒｔ（ ）は平方根の演算を行う演算子である。

ここでの処理はソフトウェアまたはハードウェアを特定するものではないが、乗算と平方根はハードウェアでは実現が容易でなく、またソフトウェアでも演算のステップが多くなるので以下のように近似することもできる。
Ｖｃ＝ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）＋０．４×ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）
ただし、ｍａｘ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、大きい方を選択する演算処理であり、ｍｉｎ（｜Ｃｒ｜，｜Ｃｂ｜）は、｜Ｃｒ｜と｜Ｃｂ｜のうち、小さい方を選択する処理である。

以上より求めた角度（色相）Ｔと飽和度Ｖｃが、等色相線の角度θ１からθ２の範囲、色の濃さは等飽和度線Ｓ１より大きくかつＳ２より小さい範囲に入っているか否かを評価する。この範囲に入っている信号を通過させるのが、図７に示す特定色フィルタ７１の役割である。

図７に示す階調限定器７２は、図１０に示すように輝度信号の特定の階調の範囲を限定するものである。８ビットデジタル信号の場合、０〜２５５までの２５６階調において階調の最大レベルＬｍａｘ及び最小レベルＬｍｉｎを任意に設定し、ＬｍａｘからＬｍｉｎの間に含まれる階調レベルの輝度信号を出力する。

図１１は図７における時間差分フィルタ７５の第１実施例を説明するためのブロック図である。
時間差分フィルタ７５は、検出領域画像メモリ８０、第１の減算器８１、第１の絶対値器８２、第１の非線形処理器８３と書き込みパルス生成器９０を備える時間差分抽出部７５０と、周辺領域画像メモリ８４、第２の減算器８５、第２の絶対値器８６、第２の非線形処理器８７、タイミングゲート器８８と動き発生量算出器８９を備える動き検出部７５１とを備える。時間差分抽出部７５０は、後述する検出領域（検出エリア）にかざされた手の領域を抽出し、動き検出部７５１は、後述する周辺検出領域にかざされている手の動きを検出する。
ＣＰＵバスには、制御情報判断器１８が接続されており、制御情報判断器１８に供給される情報はソフトウェアで処理される。制御情報判断器１８は、時間差分フィルタ７５を制御する時間差分フィルタ制御部１８Ｆを備えている。

本実施形態では、各プッシュボタンに対応する各検出エリアの周辺に、周辺検出領域を設けた。図１２（Ａ）、（Ｂ）に周辺検出領域４６、４６１を示す。ここでプッシュボタン（１−１）〜（１−８）に対応する検出エリア（２−１）〜（２−８）を総称して検出領域４５とする。
図１２（Ａ）は、周辺検出領域４６が検出領域４５の外周縁より大きい内周縁を有する枠形状であり、検出領域４５がその内周縁の内側にある第１実施例を示す。周辺検出領域４６の内周縁は、検出領域４５の外周縁と同じ大きさであってもよい。図１２（Ｂ）は、周辺検出領域４６１に検出領域４５が重なっている第２実施例を示し、どちらの実施例を用いても所望の動作が得られる。本実施形態では、周辺検出領域４６の内周縁が検出領域４５の外周縁と同じ大きさである第１実施例を用いた。
図１２（Ｃ）、（Ｄ）に示すように、隣接する周辺検出領域４６、４６１が重なって設けられていても、いずれの周辺検出領域４６、４６１も手がかざされていることを問題なく検出できる。

図１１に戻り、検出領域画像メモリ８０はそれぞれのプッシュボタンに対応して設けられている検出領域４５内の、ビデオカメラ２からの画像信号を記憶する検出領域のメモリである。従って、検出領域画像メモリ８０は検出領域４５の大きさに相当する画像を記憶する容量があればよい。第１の読み出し制御信号による読み出しはフレーム単位であり、書き込みが停止された場合は最後のフレームが継続的に読み出される。後に詳述するように、検出領域画像メモリ８０は、検出領域４５に手をかざす前の背景のみの画像を記憶して読み出すように制御される。ここでは、入力信号をノンインターレース信号としてフレーム単位としたが、インターレース信号であればフィールド単位であり、すなわち垂直周期単位である。
書き込みパルス生成器９０は、時間差分フィルタ制御部１８Ｆの制御及びタイミングパルス発生器１２から入力されるタイミングパルスに基づき、検出領域４５内の画像を検出領域画像メモリ８０に記憶させるための第１の書き込み制御信号を生成する。第１の読み出し制御信号は、制御情報判断器１８から出力されても、制御情報判断器１８によって制御された信号発生回路で生成され出力されてもよい。

第１の減算器８１は、現在のフレーム（画面）における検出領域４５の画像信号と、検出領域画像メモリ８０に最後に書き込まれたフレームの画像信号との差分を求める。差分を求めることで、検出領域４５内にかざされている手の領域を示す画像信号を抽出できる。減算の符号の向きは特に規定するものではない。

第１の絶対値器８２は、第１の減算器８１から入力される差分値を絶対値化して第１の非線形処理器８３に出力する。第１の非線形処理器８３は、入力された絶対値化された差分信号に対して図１３に示す入出力特性に基づいて、検出領域４５内において得られた画像は手がかざされていることを示すと判断されるレベルと、手ではなくノイズであるとして切り捨てるレベルとに分けるよう、非線形処理を施す。非線形処理された出力信号は、合成器７３に入力される。
図１３において、横軸は第１の絶対値器８２から入力された絶対値化された差分信号Sinを、縦軸は第１の非線形処理器８３から出力される信号Soutを示す。０からａ値までの低レベル領域の差分信号Sinは、ノイズとみなし出力Soutを０にする。

ａ値からｂ１値、ｂ２値、ｂ３値までの画像の変化に伴う差分信号の増大に応じて、０からリミット値（limit）まで出力を変化させる。例えば差分信号Sinがｂ１値になったときにリミット値となる折れ線をＬ１、差分信号Sinがｂ２値になったときにリミット値となる折れ線をＬ２、差分信号Sinがｂ３値になったときにリミット値となる折れ線をＬ３として示す。
Sinがａ値以上となるとSoutが発生し、Sinがｂ１〜ｂ３値となりSoutがリミット値に達すると、Sinがｂ１〜ｂ３値以上でもＳｏｕｔは一定（リミット値）となる。リミット値は、出力の量子化数による値で、ａ＝ｂとして２値１ビットとしたり、０〜３１ステップの５ビットとするなど、適宜設定すればよい。なお、第１の非線形処理器８３の出力を２値１ビットとする場合は第１の非線形処理器８３を比較器で実現できる。第１の非線形処理器８３は比較器も含む。

周辺領域画像メモリ８４は、検出領域４５の周辺に設けられた周辺検出領域４６の画像信号を記憶する。本実施形態の周辺領域画像メモリ８４はフレームメモリであり、第２の書き込み制御信号と第２の読み出し制御信号に従って、周辺検出領域４６の画像信号を毎フレーム記憶して読み出す。周辺領域画像メモリ８４は、少なくとも１フレームを記憶するメモリであればよく、複数フレームを記憶するメモリでもよい。第２の書き込み制御信号、第２の読み出し制御信号は制御情報判断器１８から出力されても、制御情報判断器１８の制御に基づいて信号発生回路で生成され出力されてもよい。
第２の減算器８５は、現在のフレーム（画面）における周辺検出領域４６の画像信号と、検出領域画像メモリ８４に書き込まれた少なくとも１フレーム前の周辺検出領域４６の画像信号との差分を求める。差分を求めることで、周辺検出領域４６内にかざされた手の領域を示す画像信号が抽出できる。減算の符号の向きは特に規定するものではない。
第２の絶対値器８６と第２の非線形処理器８７は、第１の絶対値器８２と第１の非線形処理器８３と同様の機能を有するものであり、第２の非線形処理器８７の入出力特性は図１３に示すものと同様である。

タイミングゲート器８８は、第２の非線形処理器８７から出力されたデータと図２で示したタイミングパルス発生器１２よりタイミングパルスを受け取る。そしてタイミングゲート器８８は、第２の非線形処理器８７から出力されたデータにおける周辺検出領域４６の部分のデータのみ通過させる。
動き発生量算出器８９はタイミングゲート器８８から出力されたデータを受け取り、所定の値以上を示すデータの数をカウントする。カウントした値は、手の動きに応じて発生する動き発生量を示すデータである。この動き発生量データを以下単に第１発生量とよぶ。動き発生量算出器８９は、入力されたデータが０を超えるたびにカウントするものであっても、所定の値以上のときカウントするものであってもよい。

本実施形態の動き発生量算出器８９は、受け取ったデータが０を超えるたびにカウントする。第１発生量は周辺検出領域４６における差分が発生した画素の数であり、すなわち周辺検出領域４６にかざされた手（対象物）の領域の大きさに相当する。第１発生量は、周辺検出領域４６の全画素数に対する差分が発生した画素数の割合としてもよく、周辺検出領域４６における差分の発生の程度がわかればよい。
動き発生量算出器８９から出力された第１発生量は、ＣＰＵバスを経由し時間差分フィルタ制御部１８Ｆに入力され、ソフトウェア処理される。

以上のように構成される本実施形態の時間差分フィルタ７５は、周辺検出領域４６の画像信号を周辺領域画像メモリ８４に保持して、１フレーム間または複数フレーム間より求めた画像信号の差分に基づき、周辺検出領域４６にかざされた手の領域の大きさに基づくデータ（第１発生量）を時間差分フィルタ制御部１８Ｆに供給する。時間差分フィルタ制御部１８Ｆは、データに基づいて書き込みパルス生成器９０を制御して検出領域画像メモリ８０の書き込み及び読み出しを行う。

図１４（Ａ）及び図１５（Ａ）は、ビデオカメラ２から入力される画像に対して破線にて示す検出エリア（２−１）〜（２−８）が設定されていることを表す。既述したように本実施形態では、ユーザ３が表示装置２１に表示された各プッシュボタン（１−１）〜（１−８）に対応した検出エリア（２−１）〜（２−８）に手をかざすと、その動作が操作情報として判別される。
図１４（Ｂ）及び図１５（Ｂ）は、手の動きを示す。図１４（Ｂ）は、手の指を伸ばしてプッシュボタン（１−８）に対応した検出エリア（２−８）にかざした状態を示し、図１５（Ｂ）は、手の指を折り曲げた状態を示す。本実施形態では、この指を折り曲げる動作を２度繰り返すことでプッシュボタン（１−１）〜（１−８）を押した（操作した）ことを制御情報判断器１８に認識させるようにしている。制御情報判断器１８は、操作されたプッシュボタンに割り当てられた電子機器の動作に対応する制御信号を出力する。なお、プッシュボタン（１−１）〜（１−８）を押したことを認識させるのは、手をかざしただけとしてもよく、折り曲げ動作を１度あるいは３度以上としてもよく、適宜設定すればよい。

図１６（Ａ）、（Ｂ）に、図６のオブジェクト抽出器３０の出力信号に対応する画像を示す。図１６（Ａ）は図１４（Ｂ）のように指を伸ばして検出エリア（２−８）にかざした状態を示し、図１６（Ｂ）は図１５（Ｂ）のように指を折り曲げてかざした状態を示している。
上記したようにオブジェクト抽出器３０に入力された映像信号は、図７の特定色フィルタ７１で特定された色、すなわち本実施形態では手の肌色の領域のみが通過する。また、階調限定器７２によって限定された階調の領域が通過し、時間差分フィルタ７５によって背景と区別された手の領域が通過する。

図７のオブジェクトゲート器７４は、各フィルタを通過した領域以外の領域を黒（輝度信号、色信号共に０）とする信号を生成し、信号に基づく画像は図１６（Ａ）、（Ｂ）に示すように手の指以外の領域であるハッチングで示した領域が黒となる。ここで、肌色領域以外の領域を黒に設定したのは後段のオブジェクト特徴データ検出部３２での検出精度を上げるためであり、検出すべき対象物によって最適レベル（特定のレベル）を設定することになる。
オブジェクトゲート器７４から出力された信号は、更に図６のタイミングゲート器３１においてプッシュボタン（１−１）〜（１−８）の領域が限定され、プッシュボタン（１−１）〜（１−８）以外の領域は無視される。

図１７に示すオブジェクト特徴データ検出部３２は、図１６（Ａ）、（Ｂ）に示す対象物の領域を示す画像信号から、更にさまざまな特徴を検出し検出信号を発生するための機能ブロックを備える。本実施形態では、ヒストグラム検出器３３、平均輝度（ＡＰＬ）検出器３４、高域発生量検出器３５、最小値検出器３６、最大値検出器３７を備える。この他にも画像を特徴づける要件はあるが、本実施形態ではこれらの検出器より発生される検出信号を用い、第１の動作検出器１８１〜第５の動作検出器１８５によって手であることを判別すると共にその動作を認識する。
ヒストグラム検出器３３〜最大値検出器３７（検出器３３〜３７）から出力された各検出信号は、それぞれ第１の動作検出器１８１〜第５の動作検出器１８５に入力され、指の折り曲げ動作を検出する。そして折り曲げが検出されると、制御情報発生器１８６から操作されたプッシュボタン（１−１）〜（１−８）に割り当てられた電子機器の動作に対応する制御信号が出力される。

オブジェクト特徴データ検出部３２の各検出器３３〜３７は、本実施形態ではハードウェアにて構成され、画面上の検出エリア（２−１）〜（２−８）内の各特徴を表すデータ（検出信号）を画面単位（フィールドまたはフレーム単位：垂直周期単位）で生成して、ＣＰＵバスを介して制御情報判断器１８ヘと送出する。

ヒストグラム検出器３３は、第１の減算器８１からの出力信号を用いて得られた手の領域を示す画像信号に基づいて検出信号を発生する。ここでは、タイミングゲート器３１から出力された輝度信号の階調を例えば８ステップ（階調“０”〜“７”と表記する）に区切って各ステップに存在する画素の数をカウントし、１画面（１フィールドまたは１フレーム画面）ごとにヒストグラムを示すデータを第１の動作検出器１８１へ出力する。ＡＰＬ検出器３４は、同様に１画面内の輝度レベルを加算し、全画素数で割った１画面の平均輝度値を第２の動作検出器１８２へ出力する。
高域発生量検出器３５は、空間フィルタ（２次元フィルタ）にて高域成分を抽出し、１画面内における高域成分の発生量を第３の動作検出器１８３に出力する。最小値検出器３６は、１画面内の輝度信号の最小階調値を、また最大値検出器３７は１画面内の輝度信号の最大階調値をそれぞれ第４の動作検出器１８４、第５の動作検出器１８５へ出力する。

ヒストグラムのデータに基づいて手（指）がどのような状態であるかを判別する方法は種々考えられる。例えば、階調を限定した範囲である階調“４”〜“７”の頻度を合計して、手の動作を判別することができる。図１８（Ａ）は図１６（Ａ）に示すように指を伸ばした状態のヒストグラムデータ、図１８（Ｂ）は図１６（Ｂ）に示すように指を折り曲げた状態のヒストグラムデータである。
図１８（Ａ）、（Ｂ）を比較すれば分かるように、指を伸ばした状態と指を折り曲げた状態とでは黒の部分である階調“０”の頻度が異なる。これはオブジェクト抽出器３０の出力信号に含まれる階調“０”の部分の量が異なるからである。従って、階調“０”の頻度のみに基づいて手の動作を判別することも可能である。このような階調“０”の頻度のみに基づいた判別では、制御情報判断器１８における判別動作の処理が簡略化されるので都合がよい。

第１の動作検出器１８１〜第５の動作検出器１８５は、受け取ったデータを変数として格納し、ソフトウェアにてデータを処理する。後述する手の動作を検出する処理は、本実施形態ではソフトウェアによる処理となる。
なお、検出器３３〜３７の全てを備えることは好ましいが、例えばヒストグラム検出器３３のみでも手の動作を認識することができるので、ヒストグラム検出器３３のみを備える構成であってもよい。

第１の動作検出器１８１〜第５の動作検出器１８５から出力されたデータは、制御情報発生器１８６に入力される。また、第１の動作検出器１８１は論理和器１８７に後述する第２検出フラグを供給する。
制御情報発生器１８６は第１の動作検出器１８１〜第５の動作検出器１８５から受け取ったデータに基づいて、操作されたプッシュボタン（１−１）〜（１−８）に割り当てられた電子機器の動作に対応する制御信号を発生させる。後述するように、制御情報発生器１８６の出力はフラグ生成器１８０によって禁止される場合もある。
フラグ生成器１８０は、時間差分フィルタ７５から入力されたデータに基づいて各種のフラグを生成し、制御情報発生器１８６または論理和器１８７に供給する。論理和器１８７は、第１の動作検出器１８１及びフラグ生成器１８０から供給されたフラグに基づいて検出領域画像メモリ８０の書き込み停止を制御するためのフラグを生成し、時間差分フィルタ７５に供給する。本実施形態では、フラグ生成器１８０と論理和器１８７とで時間差分フィルタ制御部１８Ｆを構成している。

図１９（Ａ）〜（Ｆ）は、時間差分フィルタ７５から得られたデータに基づいて時間差分フィルタ７５及び制御情報発生器１８６を制御する第１実施例のアルゴリズムである。図１９（Ａ）〜（Ｆ）までの横軸（時間軸）は同一スケールで描いている。ここで、横軸の時間軸をフレーム単位の時間として示している。

図１９（Ａ）は動き発生量算出器８９によって算出された、周辺検出領域４６で検出された手の動きに基づく第１発生量を縦軸に、フレーム単位の時間経過を横軸に示している。
縦軸に示す第１発生量の閾値ｔｈ１とｔｈ２について、図２０（Ａ）、（Ｂ）を用いて説明する。

図２０（Ａ）、（Ｂ）は、周辺検出領域４６に手がかざされている状態を示す。図２０（Ａ）は、プッシュボタンを制御するために検出領域４５に手をかざす際に周辺検出領域４６に手がかざされている状態、図２０（Ｂ）は、特定のプッシュボタンに手をかざして電子機器を制御する意志がなく、例えば大きく左右に手を振っている際に周辺検出領域４６に手がかざされている状態を示す。
図２０（Ａ）に示す領域４７は、周辺検出領域４６にかざされている手によって発生した差分に基づく第１発生量を簡易的に図示したものである。同様に、図２０（Ｂ）に示す領域４８は、手を振っている場合の周辺検出領域４６にかざされている手による第１発生量である。図２０（Ａ）、（Ｂ）より分かるように、特定のプッシュボタンに手をかざす意志がない場合に発生する領域４８は、プッシュボタンに手をかざす意志がある場合に発生する領域４７より大きく、すなわち第１発生量が異なる。

このことより、本実施形態では手の動きによって異なる第１発生量に基づいて、周辺検出領域４６にかざされた手が検出領域４５に到達する前に、手の動きを予測し時間差分フィルタ７５及び制御情報発生器１８６を制御する。閾値ｔｈ１は図２０（Ａ）に示すようなプッシュボタンに手をかざす意志があることを検出するための閾値であり、閾値ｔｈ２は図２０（Ｂ）に示すような特定のプッシュボタンに手をかざす意志がないことを検出する閾値である。
図１９（Ａ）において第１発生量が閾値ｔｈ１以下のとき、時間差分フィルタ制御部１８Ｆは書き込みパルス生成器９０を介して、検出領域画像メモリ８０に対して検出領域４５の画像を書き込むよう制御している。

時刻ｔ１から時刻ｔ５、時刻ｔ７から時刻ｔ８、時刻ｔ１３から時刻ｔ１６が、フラグ生成器１８０が時間差分フィルタ７５の動き検出部７５１より出力される第１発生量を示すデータに基づいて、周辺検出領域４６に手が進入してきたと判断している期間である。
時刻ｔ１において第１発生量が閾値ｔｈ１を超えると、第１発生量が閾値ｔｈ１を超えない期間Ｐ１が、時刻ｔ１以前に確保されていたかが確認される。期間Ｐ１は、フラグ生成器１８０が周辺検出領域４６に手が進入していないと判断している期間である。期間Ｐ１が確認できると、続いて時刻ｔ１から期間Ｐ２が経過した後、フラグ生成器１８０は図１９（Ｂ）に示す第１検出フラグを立ち上げる。すなわちフラグ生成器１８０は、第１発生量において閾値ｔｈ１を超えた時点から所定の時間（期間Ｐ２）を経過した時点で発生する第１検出フラグを、閾値ｔｈ１を超えた期間に対応して生成する。この第１検出フラグは論理和器１８７に供給される。
期間Ｐ１を設けることで、第１発生量が閾値ｔｈ１を超えても期間Ｐ１が確保できない場合にはノイズとして除外できる。本実施形態は背景が動いていないことを前提条件としているため、期間Ｐ１によって第１発生量が小さい画像を背景として検出領域画像メモリ８０が記憶できる。従って周辺検出領域４６に手が入ってきたときに発生する、背景との差分が精度よく得られる。

立ち上がった第１検出フラグは、図１９（Ａ）において周辺検出領域４６における第１発生量が閾値ｔｈ１以下となった時刻ｔ５から期間Ｐ２後に立ち下がる。ここで期間Ｐ２は、第１発生量の閾値ｔｈ１近傍での微小な変動を追従しないため、及びノイズに対する耐性を保つために設けたものであり、更にレベル方向（縦軸方向）にヒステリシスを持たせても良い。
動き発生量算出器８９で算出される第１発生量が閾値ｔｈ２以上となった場合には、フラグ生成器１８０はプッシュボタンが所定の動作を行わないように図１９（Ｆ）に示す制御禁止フラグを生成して、制御情報発生器１８６に供給する。これにより制御情報発生器１８６は制御禁止フラグに基づいて制御信号を出力することを禁止して、プッシュボタンに対応する制御動作を停止させる。

図１９（Ｃ）は、検出領域４５にかざされている手の領域を示す発生量（第２発生量）である。第２発生量は検出領域４５における差分が発生した画素の数に対応して発生するものであり、第１の動作検出器１８１で算出される。本実施形態の第１の動作検出器１８１は、ヒストグラム検出器３３から手の領域を示す画像信号に基づいた１画面毎のヒストグラムを示すデータ（検出信号）を受け取り、検出信号に基づいて検出領域４５内にかざされている手の領域の大きさに応じて発生する第２発生量を算出する。具体的には、図１８に示すヒストグラムの階調“０”以外のデータを足し合わせて図１９（Ｃ）に示す第２発生量とする。なお、本実施形態ではヒストグラム検出器３３から出力されたヒストグラムを示すデータに基づいて第２発生量を生成したが、第１の非線形処理器８３の出力信号やオブジェクトゲート器７４の出力信号を用いてもよい。
時刻ｔ９から時刻ｔ１４は、検出領域４５に手をかざし、図１５（Ｂ）に示す指の折り曲げ動作を２度行った場合の第２発生量を示している。図１９（Ａ）に示す周辺検出領域４６における第１発生量は、時刻ｔ７から時刻ｔ８の期間と時刻ｔ１３から時刻ｔ１６の期間、閾値ｔｈ１以上となっている。時刻ｔ７から時刻ｔ８の期間は、検出領域４５にかざそうとする手が周辺検出領域４６で検出される期間を示し、時刻ｔ１３から時刻ｔ１６の期間はプッシュボタンの操作が終了し、検出領域４５に手がかざされなくなり、周辺検出領域４６からも手が検出されなくなるまでの期間を示す。
時刻ｔ１１から時刻ｔ１２を含んで発生している破線にて示す波形は、図１２（Ｂ）に示す第２実施例の周辺検出領域４６１を使用したときに検出される第１発生量である。指を折り曲げる動作によって周辺検出領域４６１における第１発生量が変化する。

第１の動作検出器１８１は、図１９（Ｃ）に示す第２発生量が閾値ｔｈ３以上となると同時に立ち上がる図１９（Ｄ）に示す第２検出フラグを生成する。第２検出フラグは、検出領域４５において検出される第２発生量が閾値ｔｈ３以下となった時刻ｔ４から期間Ｐ３後に立ち下がる。期間Ｐ３は、閾値ｔｈ３近傍での第２発生量の微小な変動や指の折り曲げる動作を追従しないために設けたものであり、更にレベル方向にヒステリシスを持たせても良い。
第１の動作検出器１８１は検出領域４５内にかざされている手の領域の大きさに応じて発生する第２発生量を示す第２発生量データを算出し、第２発生量データにおける閾値ｔｈ３を超えた期間（時刻ｔ２から時刻ｔ４、時刻ｔ９から時刻ｔ１５）に対応して第２検出フラグを生成する。第２検出フラグは論理和器１８７に供給される。

図１９（Ｅ）は、検出領域画像メモリ８０に対する書き込み停止フラグを示す。書き込み停止フラグは、論理和器１８７において図１９（Ｂ）に示す第１検出フラグと図１９（Ｄ）に示す第２検出フラグの両方の論理和をとり、すなわちいずれか一方がハイのときにハイとなるフラグとして出力される。
図１１において、論理和器１８７から出力され、書き込みパルス生成器９０に供給される書き込み停止フラグがローレベルのとき、第１の書き込み制御信号によって検出領域画像メモリ８０へ輝度信号が書き込まれ、書き込み停止フラグがハイレベルとなると第１の書き込み制御信号によって検出領域画像メモリ８０への書き込みが停止されて、最後に書き込まれたフレームのデータが検出領域画像メモリ８０から読み出される。論理和器１８７は、図１９（Ｂ）に示す第１検出フラグと図１９（Ｄ）に示す第２検出フラグとに基づいて、検出領域画像メモリ８０の書き込みを停止するための書き込み停止フラグを生成する。本実施形態では、フラグ生成器１８０と第１の動作検出器１８１と論理和器１８７とが第１発生量の大きさに応じて検出領域画像メモリ８０の書き込みを停止するよう制御する書き込み制御部として動作する。

第１実施例のアルゴリズムによれば、閾値ｔｈ１を設けて周辺検出領域４６に手がかざされたことを検出し、検出領域４５に手がかざされる直前に検出領域画像メモリ８０の書き込みを停止するため、背景のみの画像が検出領域画像メモリ８０に記憶される。
周辺検出領域４６に手がかざされてから検出領域４５に手がかざされる直前までの時間が短くても背景のみの画像を記憶できると、第１の減算器８１は、検出領域４５にかざされた手によって発生する差分をより正確に得られる。また、第１の動作検出器１８１より出力される図１９（Ｃ）に示す検出領域４５にかざされている手によって発生する第２発生量も、より正確な値となり、図１６に示す手の部分だけをより的確に抽出できる。すなわち、対象物を精度よく抽出することができ、プッシュボタンが制御されたかどうかの誤認識を避けることができる。

図２１（Ａ）、（Ｂ）は検出領域４５と周辺検出領域４６とを画面上の所定の位置に描いたもので、画面上に手がかざされていないときを図２１（Ａ）に、手がかざされているときを図２１（Ｂ）に示す。
図２１（Ａ）は、全てのプッシュボタン（１−１）〜（１−８）に対応する検出領域４５及び周辺検出領域４６に手などの動作するものがかざされていないので、第１の書き込み制御信号において図１９（Ｅ）に示す書き込み停止フラグはローレベルである。

図２１（Ｂ）は、プッシュボタン（１−３）にかざすために手が画面の下方から上がってきた様子を示す。プッシュボタン（１−３）に対応する周辺検出領域４６に手がかざされると、図１９（Ｅ）に示す書き込み停止フラグはハイレベルとなり、プッシュボタン（１−３）に対応する検出領域４５の検出領域画像メモリ８０に対する書き込みが停止する。また、同時にプッシュボタン（１−５）、（１−７）に対応する検出領域４５及び周辺検出領域４６に手がかざされるため、プッシュボタン（１−５）、（１−７）に対応する各検出領域４５の検出領域画像メモリ８０に対する書き込みも同様に停止する。
このようにプッシュボタンにかざそうとする手が周辺検出領域４６にかざされると、対応する検出領域４５の検出領域画像メモリ８０への書き込みパルスは書き込み停止フラグにより停止され、手が検出領域４５にかざされる直前の背景のみの画像が検出領域画像メモリ８０に書き込まれる。そして、手が検出領域４５及び周辺検出領域４６で検出されなくなると、書き込み停止フラグが立ち下がり検出領域画像メモリ８０への書き込みが再開する。

本実施形態において、図１１に示す周辺領域画像メモリ８４は１フレーム毎に輝度信号を書き込むように制御されている。図２２（Ａ）から（Ｄ）は、他の実施形態として、制御情報判断器１８が周辺領域画像メモリ８４に輝度信号を１フレーム置きに書き込むよう制御する場合の動作を示している。
図２２（Ａ）は、時間軸を１垂直周期で刻むフレーム番号を上段に、入力信号にフレーム単位に番号（Ｆ１，Ｆ２…）を振ったものを下段に示す。図２２（Ｂ）に周辺領域画像メモリ８４に入力される第２の書き込み制御信号を示す。第２の書き込み制御信号は、１フレーム置きで入力信号（輝度信号）を周辺領域画像メモリ８４に書き込む信号である。
図２２（Ｃ）は、周辺領域画像メモリ８４に入力される第２の読み出し制御信号を示す。第２の読み出し制御信号は、Ｆ１，Ｆ１，Ｆ３，Ｆ３，Ｆ５，Ｆ５と同一のフレームを２度続けて読み出している。これは、第２の読み出し制御信号が周辺領域画像メモリ８４から毎フレーム読み出す信号であり、周辺領域画像メモリ８４への書き込みが、図２２（Ｂ）に示したように１フレーム置きに行われるためである。

図２２（Ｄ）は縦軸に、図２２（Ａ）下段の入力信号と図２２（Ｃ）の第２の読み出し制御信号との差分信号より得られる、動き発生量算出器８９の第１発生量を示すものである。第１発生量を示すデータは時間差分フィルタ制御部１８ＦにＣＰＵバスを介してフレーム単位で転送され、図１９で説明したアルゴリズムに従ってソフトウェア処理される。

例えば、手が等速で周辺検出領域４６に進入すると、２フレーム差分信号における第１発生量は１フレーム差分信号における第１発生量のほぼ２倍となる。
図２２（Ｂ）に示すように１フレーム置きに書き込みをするような第２の書き込み制御信号とすることにより、第２の減算器８５より出力される差分信号は図２２（Ｄ）に示すように１フレーム間差分と２フレーム間差分の第１発生量が交互に得られる。１フレーム間差分による識別信号を２倍して平均化して活用すればよい。または１フレーム間差分の識別信号のみ、２フレーム間差分の識別信号のみなど状況に合わせて切り替えて活用することもできる。
このような処理を行うことで、周辺領域画像メモリ８４のメモリ容量が１フレームで、１フレーム置きに書き込みを行う構成でも、より高い精度で、漏れの少ない動き検出部７５１が実現できる。

なお、上記したような処理（間欠処理）にて複数フレーム間の動き情報を得る方法は、上記したような１フレーム置き（２フレーム周期）での間欠処理に限らず、２フレーム置き（３フレーム周期）またはそれ以上も原理上は可能である。しかし、フレーム周期が大きくなると手の動作が特に速いときは周辺検出領域４６に手が進入したことを検出できなくなる可能性があるので、２フレームないし３フレーム周期での処理が実用に適している。

図２３（Ａ）〜（Ｅ）、（Ｇ）は、時間差分フィルタ７５から得られたデータに基づいて時間差分フィルタ７５及び制御情報発生器１８６を制御する第２実施例のアルゴリズムを示す。
周辺検出領域４６から検出される手に基づく第１発生量を示すデータには、意図しないノイズも含まれている。ノイズに対する耐性を高めるためにはこのデータを低域通過フィルタ処理したり、またこの結果を累積させて単発的な信号に反応しないようにすることが好ましい。
また、図１９（Ｂ）に示す第１検出フラグは期間Ｐ２を経た後立ち上がるので、速い動きで手が検出領域４５にかざされた際には、検出領域画像メモリ８０の書き込みを停止する前に手がかざされてしまい、手が入った画像を背景画像として書き込んでしまう可能性がある。

第２実施例のアルゴリズムは、周辺検出領域４６で検出される手の発生量（第１発生量）に基づいた検出領域画像メモリ８０への書き込み制御を、図１９に示した第１実施例よりも高速化できる構成である。

図２３（Ａ）〜（Ｅ）、（Ｇ）の横軸（時間軸）は同一スケールで描いている。ここで、横軸の時間軸をフレーム単位の時間にして示している。時間軸のポイントとなるところには、ｔ１〜ｔ１７を付して説明する。第２実施例では新たに、図１９に示した第１実施例の書き込み制御アルゴリズムに、図２３（Ｇ）に示す第１検出前置パルス（フラグ）を追加した。従って図２３（Ａ）〜（Ｄ）までは図１９（Ａ）〜（Ｄ）と同様に、図２３（Ａ）に示す周辺検出領域４６において検出された手の発生量に基づいて図２３（Ｂ）に示す第１検出フラグが立ち上がり、図２３（Ｃ）に示す検出領域４５にかざされた手の領域を示す発生量（第２発生量）に基づいて図２３（Ｄ）に示す第２検出フラグが立ち上がる。なお、第２実施例では図１９（Ｆ）に示した制御禁止フラグは省略した。

図２３（Ｇ）は、第１検出前置フラグを示す。第１検出前置フラグは、図１７のフラグ生成器１８０によって生成される。フラグ生成器１８０は、図２３（Ａ）に示す周辺検出領域４６における第１発生量が閾値ｔｈ１以上となった時刻から、設定された期間Ｐ０だけ第１検出前置フラグを発生させる。図２３（Ｇ）では、時刻ｔ１から時刻ｔ２、時刻ｔ３から時刻ｔ４、時刻ｔ５から時刻ｔ７、時刻ｔ１１から時刻ｔ１３で第１検出前置フラグが立ち上がっている。第１検出前置フラグは、検出領域４５に手をかざすことを意図せずに周辺検出領域４６にかざされた手の動きや、インパルス状のノイズに対しても反応する。

図２３（Ｅ）に示す書き込み停止フラグは、図２３（Ｇ）の第１検出前置フラグと図２３（Ｂ）の第１検出フラグと図２３（Ｄ）の第２検出フラグとに基づいて、論理和器１８７によって論理和をとり生成される。従って、意図しない動作やノイズによる周辺検出領域４６における第１発生量に基づいて第１検出前置フラグが立っている間は、検出領域画像メモリ８０への書き込みが停止されているが、期間Ｐ０を経るとすぐに書き込みが再開する。
第１検出前置フラグを設けたことで、第１実施例のアルゴリズムであれば時刻ｔ６で立ち上がっていた書き込み停止フラグは、図２３（Ｅ）に示すように時刻ｔ５で立ち上がる。従って第２実施例のアルゴリズムによれば書き込み停止フラグは、時刻ｔ５〜ｔ６までの期間Δｔだけ立ち上がりが速まるので、検出領域画像メモリ８０に手が入った背景が書き込まれることをより効果的に回避できる。
これは、ノイズに対する耐性を考慮せず時間応答を速くしたため、立ち上がる回数が多い図２３（Ｇ）の第１検出前置フラグと、ノイズに対する耐性をもたせた図２３（Ｂ）の第１検出フラグとの論理和をとり、書き込み停止フラグとして機能させることによって実現したものである。

第１検出前置フラグの生成は、図１１で示したとおり、制御情報判断器１８内のフラグ生成器１８０でソフトウェアにて処理されるが、ハードウェアにて処理することも可能である。動き発生量算出器８９から得られる手の発生量から第１検出前置フラグをハードウェアにて作り、書き込みパルス生成器９０に直接入力し、ソフトウェアで得られる図２３（Ｂ）に示す第１検出フラグと図２３（Ｄ）に示す第２検出フラグとの論理和を得る方法もある。

図２４は時間差分フィルタ７５の第２実施例を示すブロック図である。図１１の第１実施例と同じ部分には同じ番号を付している。また説明に要しない部分については一部省いている。第２実施例ではビデオカメラ２から得られる鏡像変換画像信号の色差信号（Ｂ−Ｙ、Ｒ−Ｙ）を色差信号合成器９１で合成し、更に加算器９２で輝度信号（Ｙ信号）と加算して一系統で処理する。色差信号合成器９１は、色差信号を基に上記した色相や飽和度Ｖｃの値を含んだ信号を生成する。本実施形態では飽和度Ｖｃの値を出力する。
加算器９２から出力された加算信号は、時間差分抽出部７５０の検出領域画像メモリ８０と第１の減算器８１、及び動き検出部の周辺領域画像メモリ８４と第２の減算器８５へ入力されている。

本実施形態の時間差分フィルタ７５は、検出領域４５における手の発生量を検出して検出領域４５に手がかざされているかいないかを判別するものである。従って、手がかざされていない背景画像と手がかざされている画像との差分信号から判別しているので、入力される信号が輝度信号、色差信号、輝度信号と色差信号を混合した信号、いずれのものでも手の発生量を検出するには特に問題はなく、混合した信号のほうが差分信号を得られやすくなる。

従って第２実施例の時間差分フィルタ７５は、背景画像と手が同一の輝度信号の階調を持っていても、色差信号が異なれば差分信号を得て区別できる。また色差信号が同一でも輝度信号が異なれば同様に差分信号が得られて区別できる。このため、動作を検出するために背景画像に依存しなくなる利点を有しており、あらゆるユーザの環境化で動作させる目的に対して有効である。

なお、本実施形態においては時間差分フィルタ７５を、時間差分抽出部７５０と動き検出部７５１とを備える構成としたが、動き検出部７５１を省略して時間差分抽出部７５０のみで構成して簡略化した構成としてもよい。ただし、動き検出部７５１を備えることにより検出領域４５にかざされた手の領域を精度よく抽出できるので、動き検出部７５１を備えるほうが好ましい。
また、本実施形態は手を対象物として説明したが、自発光機能を具備した遠隔操作用機器を対象物としたり、また遠隔操作用機器が具備する発光体から出射される縦線や横線などの模様を対象物としたりしてもよく、同様の制御方法が適用できる。

本発明の電子機器の操作方法の概要を説明するための図である。 本発明の各実施形態にかかる電子機器（テレビジョン受像機１）の要部の構成を示すブロック図である。 操作者の画像と操作用画像とを示す図である。 操作者の画像と操作用画像とを混合した状態を説明するための図である。 図２に示す検出器と表示装置の画面上の検出エリアとの対応を説明するための図である。 図２に示す検出器の構成を示すブロック図である。 図６に示すオブジェクト抽出器の構成を示すブロック図である。 オブジェクト抽出器で抽出する対象物の色相及び飽和度を説明するための図である。 色差信号から色相を算出する処理のフローチャートである。 オブジェクト抽出器で抽出する対象物の輝度信号レベルを示す図である。 図７に示す時間差分フィルタの第１実施例を示すブロック図である。 検出領域と周辺検出領域を説明するための図である。 非線形処理器の入出力特性を示す図である。 画面上の操作ボタンに手をかざした状態を示す図である。 画面上の操作ボタンの上で指を曲げた状態を示す図である。 図６に示すオブジェクト抽出器より出力される出力信号に対応する画像を示す図である。 オブジェクト特徴データ検出部の構成を示すブロック図である。 図１４、１５に示す図における明るさの頻度分布及び平均輝度レベル（ＡＰＬ）を示す図である。 図１７に示す時間差分フィルタと制御情報判断器の動作を説明するための第１実施例のアルゴリズムである。 画面上の操作ボタンの周辺に手をかざした状態を示す図である。 操作ボタンへの動作と図１９に示したアルゴリズムとの対応を説明するための図である。 時間差分フィルタ制御部の動作を説明するための図である。 図１７に示す時間差分フィルタと制御情報判断器の動作を説明するための第２実施例のアルゴリズムである。 図７に示す時間差分フィルタの第２実施例を示すブロック図である。

符号の説明

１ テレビジョン受像機（電子機器）
２ ビデオカメラ
３ ユーザ（操作者）
１２ タイミングパルス発生器
１３ 鏡像変換器
１４ スケーラ
１５ グラフィックス生成器
１６ 第１の混合器
１７ 検出部
１８ 制御情報判断器（制御部）
２１ 表示装置

Claims (6)

1. 電子機器において、
   表示装置と、
   前記表示装置の前に位置する操作者を撮影するビデオカメラと、
   前記ビデオカメラで撮影された画像の鏡像変換を行う鏡像変換器と、
   少なくとも１つの操作ボタンを含む操作用画像を生成する操作用画像生成器と、
   前記鏡像変換器より出力された鏡像変換画像信号と前記操作用画像生成器より出力された操作用画像信号とを混合する混合器と、
   前記混合器により混合された画像を前記表示装置の画面上に表示させた状態で、前記画面に表示された操作者が前記操作ボタンを対象物により操作する所定の動作に対応した検出信号を発生する検出器と、
   前記検出器により出力される検出信号に基づいて、操作された前記操作ボタンに対応する制御動作を行う制御器とを備え、
   前記検出器は、
   前記鏡像変換画像信号における前記操作ボタンに対応して設けられた検出領域の画像信号を記憶する第１のメモリと、
   前記鏡像変換画像信号における前記検出領域の周辺に位置する周辺検出領域の画像信号を記憶する第２のメモリと、
   前記鏡像変換画像信号の現在の画面の画像信号と前記第１のメモリから読み出された過去の画面の画像信号との差分を求めることにより前記検出領域内にかざされている前記対象物の領域を示す画像信号を出力する第１の減算器と、
   前記鏡像変換画像信号の現在の画面の画像信号と前記第２のメモリから読み出された過去の画面の画像信号との差分を求めることにより前記周辺検出領域内にかざされている前記対象物の領域を示す画像信号を出力する第２の減算器と、
   前記第１の減算器からの出力信号を用いて得られた前記対象物の領域を示す画像信号に基づいて前記検出信号を発生する発生器と、
   前記第２の減算器より出力された前記画像信号に基づいて、前記周辺検出領域内における前記対象物がかざされている領域の大きさに応じて発生する発生量を示す第１のデータを算出する算出器とを備え、
   更に前記電子機器は、前記第１のデータの大きさに応じて前記第１のメモリの書き込みを停止するよう制御する書き込み制御部とを備えることを特徴とする電子機器。
2. 前記書き込み制御部は、
   前記第１のデータにおける予め定めた第１の閾値を超えた期間に対応して第１のフラグを生成する第１のフラグ生成器と、
   前記検出領域内にかざされている前記対象物の領域の大きさに応じて発生する発生量を示す第２のデータを算出し、前記第２のデータにおける予め定めた第２の閾値を超えた期間に対応して第２のフラグを生成する第２のフラグ生成器と、
   前記第１のフラグと前記第２のフラグとに基づいて、前記第１のメモリの書き込みを停止するための書き込み停止フラグを生成するための第３のフラグ生成器とを備えることを特徴とする請求項１記載の電子機器。
3. 前記第１のフラグ生成器は、前記第１のデータが前記第１の閾値を超えた時点から所定の時間を経過した時点で発生する前記第１のフラグを生成することを特徴とする請求項２記載の電子機器。
4. 前記第１のフラグ生成器は、前記第１のデータが前記第１の閾値を超えた時点で発生する第４のフラグを生成し、
   前記第３のフラグ生成器は、前記第１のフラグと前記第２のフラグと前記第４のフラグとに基づいて前記書き込み停止フラグを生成することを特徴とする請求項３記載の電子機器。
5. 前記第１のフラグ生成器は、前記第１のデータにおける予め定めた第３の閾値を超えた期間に対応して第５のフラグを生成し、
   前記制御器は、前記第５のフラグに基づいて前記制御動作を停止させることを特徴とする請求項２ないし４のいずれか一項に記載の電子機器。
6. 前記鏡像変換画像信号の輝度信号と色信号とを加算して加算信号を出力する加算器を備え、前記第１及び第２のメモリに入力される前記画像信号は、前記加算器より出力された前記加算信号であることを特徴とする請求項１ないし５のいずれか一項に記載の電子機器。