JP2010009558A - 画像認識装置、電装機器動作制御ユニット、電化製品、画像認識プログラム、半導体装置 - Google Patents

Abstract

【課題】複雑な画像制御を行うことなく、関心領域を迅速に特定することで、動作パターンの認識、並びに応答精度を高める。
【解決手段】カメラ１２で撮像した画像データ（動画像）を順次取り込む。取り込んだ画像からＲＯＩ６０を設定する。設定したＲＯＩ６０に基づいて、動作検出領域６６を設定し、前記動作検出領域６６において、動作変化があったか否かを判断する。動作変化ありと判定されると、動作変化のあった動作検出領域６６の場所（動作検出領域６６Ａ、６６Ｂ、６６Ｃ、６６Ｄの何れか）と動作変化度合いとに基づいて、動作パターンを認識する。
【選択図】図３

Description

本発明は、撮像手段で撮像された動画像の動作パターンを認識する画像認識装置、この画像認識装置を用いて電装機器の動作を制御する電装機器動作制御ユニット、電装機器動作制御ユニットが搭載された電化製品、画像認識プログラム、半導体装置に関するものである。

従来、人物のジェスチャの認識範囲を限定するため、入力された動画像から肌色部分を抽出し、この抽出した肌色部分を予め用意した顔のテンプレートと照合して顔部分を抽出することで、当該人物の動作範囲を設定することが提案されている（特許文献１参照）。

この特許文献１では、まず、肌色領域の抽出、パターンマッチングにより、画像中の人物の顔部分を抽出することが前提となっている。

顔部分が抽出されることで、その大きさから身体の大きさが推定でき、この結果、人物のジェスチャ認識空間が特定され、人物の存在する場所を事前に教示することなく、ジェスチャを安定して認識でき、ユーザ−システム間の対話が実現できる。

応用としては、例えば、カメラで撮影した人物をモニタに表示し、かつこのモニタにメニュー画像を表示しておき、人物の手の動き（人物周囲のジェスチャ認識空間内での動作）を検出して、モニタ上において手画像と重なるメニュー画像を選択したと認識させることができる。なお、特許文献１では、複合的な動作の認識に関して、認識対象空間の拡大縮小などから判別することができるとしている。
特開２００３−２１６９５５公報

しかしながら、上記特許文献１では、ＲＯＩ（Region Of Interest：関心領域）を特定するために、まず、肌色部分を抽出し、次に、抽出した肌色部分を顔のテンプレートと照合して顔部分を抽出するといった、複雑な画像処理制御が必須となっているため、画像処理制御に時間がかかり、迅速にユーザ−システム間の対話ができないという問題点がある。

本発明は上記事実を考慮し、複雑な画像制御を行うことなく、関心領域を迅速に特定することで、動作パターンの認識、並びに応答精度を高めることができる画像認識装置、電装機器動作制御ユニット、画像認識プログラムを得ることが目的である。

また、電装機器を操作する人物の動作パターンを認識して、当該電装機器の動作状態を制御することができる電化製品を得ることが目的である。

第１の発明は、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、を有している。

第１の発明によれば、関心領域設定手段では、撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域（ＲＯＩ）を設定する。例えば、撮像手段が定点カメラであり、その撮像領域内に人物等の動きのある被写体が入ってくると、撮像画像データは、時間的に変化する。この時間的変化度合いに基づいて、動きのある被写体を特定する。この場合、人物を特定することが目的であれば、予め人物の大まかな輪郭等を記憶しておき、照合して予測すればよい。

ＲＯＩが設定されると、動作検出領域設定手段では、ＲＯＩを基準とした所定の相対位置関係となる領域を動作検出領域として設定する。例えば、人物であれば、ＲＯＩの設定により、その上部から下部にかけて、顔（頭部）、胴体、足であることが予測でき、胴体の左右側に手が存在する予測できる。

そこで、このＲＯＩの周辺、或いはオーバラップした領域を、手、足等が動作する領域（動作検出領域）として設定し、この動作検出領域での動作パターンを認識する（動作パターンに認識手段）。

これにより、厳密なテンプレートマッチングや、パターンマッチングの技術を適用しなくても、ＲＯＩを設定することができると共に、ＲＯＩが人物とした場合は、当該人物の体型の予測（顔、胴体、手足の位置の予測）に基づいて、動作検出領域を設定することができ、この動作検出領域内で動作パターンに着目すれば、例えば、人物の手の動き等を認識することができる。

第２の発明は、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、
前記動作パターン認識手段で認識された動作パターンデータと、予め定められたコマンドとを関連付けて記憶する記憶手段と、前記動作パターンに対応するコマンドを出力するコマンド出力手段と、を有している。

第２の発明によれば、動作パターン認識手段で認識された動作パターンデータと、予め定められたコマンドとを関連付けて記憶しておき（記憶手段）、コマンド出力手段では、動作パターンに対応するコマンドを出力する。

すなわち、動作検出領域内の動作パターン（例えば、手の動き）を、被動作対象の動作制御コマンド（動作スイッチ）としての役目を持たせることができる。

第３の発明は、動画像を撮像する撮像手段と、前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、
前記動作パターン認識手段で認識された動作パターンデータと、予め定められたコマンドとを関連付けて記憶する記憶手段と、前記動作パターンに対応するコマンドを出力するコマンド出力手段と、前記コマンド出力手段によって出力されたコマンドに従い、電装機器の動作を制御する制御手段と、を有している。

第３の発明によれば、コマンドにより動作する被動作対象が電装機器であり、例えば、赤外線リモコン等で操作による指示を、手の動きに置き換えることができる。

第４の発明は、前記請求項３に記載の電装機器動作制御ユニットが搭載された電化製品である。

例えば、エアコン、電灯、テレビ、ビデオレコーダ等に代表される電化製品は、遠隔操作（赤外線等によるリモコン操作）によって、電源オン・オフ、機能設定等が可能となっているが、リモコンの紛失により遠隔操作できなくなる場合がある。第４の発明では、操作する人物そのものがリモコンになり代わることができるため、紛失という不具合を解消することができる。

上記発明において、前記動作検出領域設定手段が、前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて流動的に設定される関心領域に追従するように、前記動作検出領域を適宜変更することを特徴としている。

例えば、撮像手段で撮像する関心領域が人間であると、その人間が動くと関心領域が変化する。動作検出領域は、この流動的な関心領域に追従するように適宜変更されていく。

前記追従には、関心領域及び動作検出領域が極めて短い時間間隔（ミクロ的）でコマ送りされて、見掛け上動画のように移動する場合と、あえて、前記コマ送り間隔を大きくとる場合と、を含むものとする。

すなわち、例えば、関心領域は動画のように人等を追従して移動し、その関心領域の移動が、所定時間変化しない（変化量は所定の許容をもつものとする）ことを条件に動作検出領域を設定するようにしてもよい。言い換えれば、関心領域が静止（人が止まった）ことを認識して、動作検出領域を定める。このような、猶予期間を持った動作検出領域設定も、前述の「追従」の範疇ということができる。

また、前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、前記関心領域設定手段が、それぞれの撮像手段により撮像された動画像データに基づく前記関心領域の位置偏差により、当該関心領域対象の奥行き方向の移動を判別することを特徴としている。

２以上の撮像手段で同一撮像領域を含むように撮像することで、関心領域の奥行き方向の位置を、単一の撮像手段よりも精度よく判別することができる。

さらに、前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、前記動作領域設定手段が、それぞれの撮像手段により撮像された動画像に基づく、前記動作検出領域内での位置偏差により、動作検出対象の奥行き方向の動作を判別することを特徴としている。

動作検出領域内にも奥行きを設定することができ、動作検出領域内に物体（例えば、人間の手）が入ったか否かのみならず、当該動作検出領域内に入った後、奥行き方向に移動（動作）したことを認識し、これをスイッチのオン・オフに置き換えることが可能である。

また、前記動作検出領域内での動作状態を報知する報知手段をさらに有することを特徴としている。

動作検出領域内での動作状態がフィードバック、すなわち報知されることで、動作が確実に伝わったことを認識することができる。例えば、報知手段としては、五感を通じて報知すればよいが、例えば、視覚を通じた報知であれば遠隔で認識が可能であり、一方、触覚を通じた報知（振動等）であれば、報知が確実となる。

さらに、前記報知手段が動作状態を報知する際に、前記動画像データに基づく奥行き感を併せて報知することを特徴としている。

奥行き感を報知する態様としては、触覚を通じて報知することが好ましい。例えば、動作検出領域にバーチャルの凹凸が存在する場合、相対的に凹部は振動を強くしたり周期を速めたり、凸部は振動を弱くしたり周期を遅くする。

また、空気層を持った袋体を用いて、空気層の圧力差を調整するようにして動作検出領域内の奥行き感を表現するようにしてもよい。この場合、複数の撮像手段との併用により、きめ細かい奥行き方向の移動を認識でき、奥行き感を表現力を向上することができる。

第５の発明は、動画像を撮像するステップと、前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定するステップと、前記関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定するステップと、前記動作検出領域内での動作パターンを認識するステップと、をコンピュータに実行させる画像認識プログラムである。

第５の発明は、前記請求項５の画像認識プログラムが記憶された記憶素子を備えた半導体装置である。

以上説明した如く本発明では、複雑な画像制御を行うことなく、関心領域を迅速に特定することで、動作パターンの認識、並びに応答精度を高めることができるという優れた効果を有する。

また、電装機器制御ユニットを電化製品に搭載することにより、電装機器を操作する人物の動作パターンを認識して、当該電装機器の動作状態を制御することができる。

（第１の実施の形態）
図１には、第１の実施の形態に係る電装機器動作ユニット１０の概略構成図が示されている。

電装機器動作ユニット１０は、カメラ１２を備えている。カメラ１２で撮像された画像は、画像認識制御部１４に送出されるようになっている。この画像認識制御部１４では、カメラ１２で撮影した画像データから、当該画像データ内の所定の動作パターンを認識し、その認識した情報をコマンド出力制御部１６へ送出するようになっている。

コマンド出力制御部１６は、電装機器１８の動作制御スイッチユニット２０に接続されている。コマンド出力制御部１６では、動作パターンに応じたコマンドが生成され、当該コマンドを動作制御スイッチユニット２０へ送出する。このコマンドにより動作制御スイッチユニット２０は電装機器１８に関する所定のスイッチ制御を実行する。

図２に示される如く、第１の実施の形態の主となる画像認識制御部１４は、マイクロコンピュータ２２を含んで構成されている。マイクロコンピュータ２２は、ＣＰＵ２４、ＲＡＭ２６、ＲＯＭ２８、入出力ポート（Ｉ／Ｏ）３０及びこれらを接続するデータバスやコントロールバス等のバス３２を備えている。

Ｉ／Ｏ３０には、インターフェイス（Ｉ／Ｆ）３４を介して、前記カメラ１２が接続されている。また、Ｉ／Ｏ３０には、インターフェイス（Ｉ／Ｆ）３６を介して、動作制御スイッチユニット２０が接続されている。

さらに、Ｉ／Ｏ３０には、必要に応じて、インターフェイス（Ｉ／Ｆ）３８を介して、キーボード、マウス等の入力デバイス４０及びモニタ等の出力デバイス４２が接続されている。

図３は、電装機器動作制御ユニット１０における制御を機能的に分類したブロック図である。なお、このブロック図は、あくまでも機能別に分類したものであり、電装機器動作制御ユニット１０のハード構成を限定するものではない。例えば、全ての機能をソフト的に実行するように、前記ＲＯＭ２８（図２参照）等の一部として、予め特定の制御プログラムが記憶され、当該制御プログラムに従い処理を実行するＩＣチップ（半導体）によって構成されていてもよい。

電装機器動作制御ユニット１０は、前述したように、画像認識制御部１４とコマンド出力制御部１６とで構成されている。画像認識制御部１４とコマンド出力制御部１６とは別々のＩＣチップ（半導体）であってもよい。

カメラ１２は、画像認識制御部１４の画像データ処理部５０に接続されている。カメラ１２は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等に代表される撮像素子を備えた撮像装置である。画像データ処理部５０では、カメラ１２から送られてくる動画像データ（アナログデータ）をデジタル処理したり、ノイズを除去したり、画質を調整するといった所謂画像処理が実行される。なお、必要に応じて、白黒の二値化画像に変換することも可能である。さらに、撮像した動画像の左右を反転させる処理（鏡像処理）が必要な場合もこの画像データ処理部５０で実行されるようになっている。

画像データ処理部５０は、定点画像データ読出部５２と、変化量演算部５４とに接続されている。

画像データ読出部５２は、画像データ処理部５０からの信号に基づいて、定点画像データメモリ５６に記憶された定点画像データを読み出して、変化量演算部５４へ送出する。

定点画像データメモリ５６には、カメラ１２によって撮像され、かつ変化量演算部５４で一定期間変化がない場合の画像データが記憶されている。また、変化量演算部５４での結果に基づき、画像に一定期間変化がないとき、定期的に新しい画像データに置き換えるようにしてもよい。

なお、予めカメラ１２が固定配置された状態で、動きのない画像を撮像したときの画像データを記憶させてもよい。

変化量演算部５４では、画像データ処理部５０で画像処理された動画像データが入力されると、定点画像データメモリ５６からの定点画像データと比較されるようになっている。すなわち、変化量演算部５４では、画像データ処理部５０からの画像データと、定点画像データメモリ５６からの画像データとを照合して、その変化量を演算する。

変化量演算部５４は、ＲＯＩ設定部５８に接続されている。このＲＯＩ設定部５８には、変化量演算部５４で演算された変化量データが入力されるようになっている。

ＲＯＩ設定部５８では、変化量データに基づいて、図４（Ａ）及び（Ｂ）に示すような、ＲＯＩ（関心領域）６０を設定する。図４（Ａ）及び（Ｂ）は、コンピュータ内で処理される画像データの仮想的な画像を示したものであり、ここでは、このような画像の表示は必須ではないが、図５に示すように、出力デバイス４２としてのモニタ４２Ｍに表示するようにしてもよい。この場合、第１の実施の形態では、モニタ４２Ｍの表示画像を左右反転画像（鏡像）としている。これにより、人物６２がモニタ４２Ｍの画像を見る場合、自身を鏡で見ているような感覚とすることができる。なお、第１の実施の形態において、モニタ４２Ｍに表示する画像は、全て左右反転画像（鏡像）とする。

図４（Ａ）及び（Ｂ）に示される如く、第１の実施の形態では、前記ＲＯＩ６０は、人物６２を予測しており、その結果、ＲＯＩ６０の外郭は、人物６２の顔６２Ｈe（頭部）、胴体６２Ｂo（左右の手６２Ａrを含む）、足６２Ｆoが納まる縦長の長方形となっている。ＲＯＩ６０を縦長の長方形としたのは、最も容易に人物６２の輪郭を納めることができ、かつ単純な形状であるためである。

なお、ＲＯＩ６０の形状は、縦長の長方形に限定されるものではなく、楕円形、円形、多角形、人物６２の輪郭に近い非線形の形状等、他の形状であってもよい。

図３に示される如く、ＲＯＩ設定部５８は、動作領域設定部６４に接続されている。この動作領域設定部６４は、前記ＲＯＩ設定部５８で設定されたＲＯＩ６０に基づき、図４（Ａ）に示される如く、当該ＲＯＩ６０の周囲に、後述する動作検出領域６６を設定する役目を有している。

すなわち、ＲＯＩ設定部５８においてＲＯＩ６０が決まると、ある程度人物６２の手６２Ａr、足６２Ｆoの位置が予測でき、この予測から手６２Ａr、足６２Ｆoが動く領域を特定することが可能となる。

第１の実施の形態では、動作領域設定部６４において、図４（Ａ）に示されるように、ＲＯＩ６０の四隅角部にオーバラップする（重なる）ように４個の動作検出領域６６Ａ、６６Ｂ、６６Ｃ、６６Ｄ（以下、総称する場合は、「動作検出領域６６」という）を設定している。

なお、図４（Ｂ）に示される如く、ＲＯＩ６０にオーバラップさせず、図４（Ａ）の４箇所の動作検出領域６６のそれぞれに対応して、ＲＯＩ６０に隣接するように、動作検出領域６８Ａ、６８Ｂ、６８Ｃ、６８Ｄを設けてもよい。また、図４（Ｂ）に示される如く、４箇所の動作検出領域６８に加え、人物６２がジャンプすることを予測し、頭６２Ｈeの上方に５番目の動作検出領域６８Ｅを設けるようにしてもよい（以下、動作検出領域６８Ａ、６８Ｂ、６８Ｃ、６８Ｄ、６８Ｅを総称する場合は、「動作検出領域６８」という）。

なお、以下では、図４（Ａ）の動作検出領域６６を例にとり説明する。

図３に示される如く、動作領域設定部６４は、動作領域内定点画像データ読出部７０に接続され、動作検出領域６６を特定する位置データを出力する。動作領域内定点画像データ読出部７０では、前記位置データに基づいて、前記定点画像データメモリ５６から位置データに対応する領域の画像データを読み出し、動作領域内変化量演算部７２へ送出する。

動作領域内変化量演算部７２では、動作検出領域６６内での動きを変化量演算によって監視し、当該監視データを特徴的動作認識部７４へ送出する。特徴的動作認識部７４では、所定の特徴的動作を認識すると、この特徴的動作に対応する変化量データ（動作パターンデータ)を抽出し、出力部７６へ送出する。出力部７６は、コマンド出力制御部１６の動作パターン入力認識部７８に接続されている。出力部７６は、前記特徴的動作認識部７４で抽出された動作パターンデータを動作パターン入力認識部７８へ出力する。

例えば、人物６２が右の手６２Ａrを挙げると、領域６６Ｂでの手６２Ａrの動きを動作パターンとして認識する。

動作パターン入力認識部７８は、動作パターン−コマンドテーブル読出部８０と、照合部８２とに接続されている。

動作パターン−コマンドテーブル読出部８０は、動作パターン−コマンドテーブルメモリ８４に接続されており、前記動作パターン入力認識部７８から動作パターンデータが入力されると、動作パターン−コマンドテーブルメモリ８４から動作パターン−コマンドテーブルデータを読み出して、照合部８２へ送出する。

照合部８２では、前記動作パターン入力認識部７８から動作パターンデータが入力されると、当該動作パターンに応じたコマンドを選択し、コマンド出力部８６へ送出する。コマンド出力部８６では、電装機器１８（図１参照）に設けられた操作制御スイッチユニット２０へコマンドを送出する。

動作制御スイッチユニット２０は、前記コマンドに対して、例えば、電装機器１８の電源オン・オフ、設定機能変更等、予めコマンドに応じた動作対象が設定されている。これにより、操作制御スイッチユニット２０では、入力されたコマンドに対応する動作を実行する。例えば、右の手６２Ａrが挙がった場合は、電装機器１８のメイン電源をオンするといったコマンドが出力される。

電装機器１８は、例えば、図６に示されるような、エアコン１８AC等の電化製品に搭載されるものであり、電化製品がエアコン１８ACであれば、電装機器はコンプレッサーモータ、送風ファン等が代表的である。

以下に第１の実施の形態の作用を図７のフローチャートに従い説明する。

図７は、画像認識制御部１４における、動作パターン認識制御ルーチンを示すフローチャートである。

まず、ステップ２００では、動作パターン認識開始指示があったか否かが判断され、否定判定された場合は、このルーチンは終了する。

ステップ２００で肯定判定されると、ステップ２０２へ移行する。ステップ２０２では、定点画像データ設定処理を実行する。

定点画像データ設定処理では、カメラ１２によって撮像した画像データにおいて、所定時間変換がない画像を定点画像として特定し、定点画像データメモリ５６に格納する。

なお、カメラ１２が固定配置されていることがわかっている場合は、所定時間の画像の変化を監視する必要はなく、初期設定時に撮像した画像を常に適用するようにしてもよい。

次のステップ２０４では、定点画像データメモリ５６に記憶されている定点画像データを読み出し、次いで、ステップ２０６でカメラ１２で撮像した画像データ（動画像）を順次取り込む。

ステップ２０８では、取り込んだ画像に変化があるか否かが判断され、肯定判定されると、ステップ２１０へ移行して、ＲＯＩ６０を設定する。

次のステップ２１２では、前記ステップ２１０で設定したＲＯＩ６０に基づいて、動作検出領域６６を設定し、ステップ２１４へ移行する。

このとき、検出領域６６は、ＲＯＩ６０の所定の範囲内で、所定時間変化しないことを条件に設定することが好ましい。すなわち、ＲＯＩ６０が、例えば、１〜３秒程度、ほぼ静止したことを見計らって、検出領域６６を設定する。

このように、人のほぼ静止状態を条件として検出領域を設定することを取り入れることで、人が移動しながら無意識に手を挙げたときに、これをエアコン１８Arへの命令と判断されてしまうことを防ぐ手段となり得る。

ステップ２１４では、前記動作検出領域６６において、動作変化があったか否かが判断される。

ステップ２１４で肯定判定、すなわち動作変化ありと判定されると、ステップ２１６へ移行し、動作変化のあった動作検出領域６６の場所（動作検出領域６６Ａ、６６Ｂ、６６Ｃ、６６Ｄの何れか）と動作変化度合いとに基づいて、動作パターンを認識する。

次のステップ２１８では、認識した動作パターンを出力部７６からコマンド出力制御部１６の動作パターン入力認識部７８へ出力し、ステップ２２０へ移行する。

また、前記ステップ２０８で否定判定、ステップ２１４で否定判定された場合は、ステップ２２０へ移行する。

ステップ２２０では、カメラ１２による撮像を継続するか否かが判断され、否定判定された場合はこのルーチンは終了する。

また、ステップ２２０で肯定判定されると、ステップ２２２へ移行して、定点画像データ更新時期か否かが判断される。

ステップ２２２で肯定判定された場合は、ステップ２０２へ移行し、否定判定された場合はステップ２０４へ移行し、それぞれ上記工程を繰り返す。

図８は、コマンド出力部１６における、コマンド出力制御ルーチンを示すフローチャートである。

ステップ２５０では、動作パターン（情報）が入力されたか否かが判断され、否定判定された場合はこのルーチンは終了する。

また、ステップ２５０で肯定判定されると、ステップ２５２へ移行して、動作パターン−コマンドテーブルを読み出し、次いで、ステップ２５４へ移行して動作パターンに対応するコマンドを特定する。

次のステップ２５６では、特定されたコマンドを予め定められたデバイス（電装機器１８の動作制御スイッチユニット２０（エアコン１８ACの動作スイッチ系等）に出力し、このルーチンは終了する。

（変形例１「報知機能」）
なお、上記第１の実施の形態で示したエアコン（図６参照）１８ACにおいては、人物６２の動きに応じて命令内容を認識し、コンプレッサーモータ、送風ファン等の動作状態を変更する構成としたが、図１５に示される如く、エアコン１８AC側に、命令内容が確実に伝わったか否かを報知する報知部１８Ｓを設けるようにしてもよい。

すなわち、図１５に示される如く、報知部１８Ｓは、３色のＬＥＤ１９Ｒ、１９Ｇ、１９Ｂで構成されている。ここで、人物６２を検出し、手６２Ａrの動きでエアコン１８ACの動作状態を変更（風の強さの変更、風向の変更、設定温度の変更等）したとき、本当にその命令が選択されたか否かをＬＥＤ１９Ｒ、１９Ｇ、１９Ｂの点灯状態によって報知する。

例えば、ＬＥＤ１９Ｒ、１９Ｇ、１９Ｂが点灯と消灯のみならば、２^３（２の３乗）通り（＝８通り）の報知が可能である。また、点滅等を含めればその種類はさらに増える。

なお、報知部１８ＳをＬＥＤ１９Ｒ、１９Ｇ、１９Ｂで構成し、視覚を通じて報知するようにしたが、聴覚（スピーカ１８ＳＰ）を通じた報知機能であってもよい。また、適用される電装機器１８の特性を利用して報知するようにしてもよい。

例えば、エアコン１８ACであれば、命令を認識した瞬間のみ強風にしたり（触覚）、ルーバーを高速で動かすことで報知してもよい（触覚＋視覚）。電装機器１８がテレビであれば、表示部に文字や記号を表示して報知してもよい（視覚）。さらに、電装機器１８がオーディオ機器であれば、音量や音質を変化させて報知してもよい（聴覚）。

また、報知手段として、視覚、触覚、聴覚の例を示したが、その内、触覚においては、電装機器１８側ではなく、命令を出す人物６２側に報知手段を設置させるようにしてもよい。

図１６には、報知手段として振動手袋９２を用いた場合の制御系の機能ブロックが示されている。振動手袋９２は、図１７に示される如く、人物６２が手にはめることができるようになっている。

所定の特徴的動作を認識する特徴的動作認識部７４には、振動変換部９３が接続されている。振動変換部９３には、振動パターンメモリ９４が接続されている。

振動変換部９３に特徴的動作認識部７４から特徴的動作信号が入力されると、当該特徴的動作（命令）に応じた振動パターンが振動パターンメモリ９４から読み出されるようになっている。

振動変換部９３は、赤外線送信部９５に接続されており、前記読み出された振動パターン信号を無線送信する。

赤外線送信部９５と共に送受信部を構成する赤外線受信部９６は、振動手袋９２に設けられている。

この赤外線受信９６により、振動パターン信号を受信すると、赤外線受信部９６は、振動ドライバ９７へ振動パターン信号を送出する。

振動ドライバ９７は、振動源９８に接続されており、受信した振動パターン信号に基づいて、振動源９８を動作させる。なお、振動源９８は、偏芯モータ等が代表的である。

図１７に示される如く、人物６２が手を挙げて命令を出すと、振動手袋９２に動作に応じた振動パターン信号が送信される。この振動パターン信号に基づいて、振動手袋９２の振動源９８が動作し、触覚を通じて、人物６２の掌に命令を認識したことを返信することができる。

なお、図１６では、振動パターン信号を無線送受信手段（赤外線送信部９５、赤外線受信部９６）で本体（画像認識制御部１４）側から振動手袋９２へ伝達したが、有線であってもよい。

（変形例２「コンピュータ装置への適用」）
ここで、上記実施の形態では、人物６２の動作パターンを認識して、コマンドを出力し、エアコン１８AC等の電装機器１８の動作を制御するようにしたが、電装機器１８である必要はなく、人物等の動作パターンを認識して、所定のデバイスにコマンド（命令）を出すことが発明の主体である。

このため、動作パターンがコンピュータのカーソルのように表示画面上のメニュー（領域）を指標することで選択する構成であってもよい。

図９には、変形例２に係るコンピュータ装置１００の概略構成図が示されている。

コンピュータ装置１００は、カメラ１１２を備えている。カメラ１１２で撮像された画像は、画像認識制御部１１４に送出されるようになっている。この画像認識制御部１１４では、カメラ１１２で撮影された画像から、当該画像内の所定の動作パターンを認識し、その認識した情報をコマンド出力制御部１１６へ送出するようになっている。

コマンド出力制御部１１６は、メインコントロール部１１８に接続されている。コマンド出力制御部１１６では、動作パターンに応じたコマンドが生成され、当該コマンドをメインコントロール部１１８へ送出する。このコマンドによりメインコントロール部１１８が動作する。

また、コンピュータ装置１００は、出力デバイスとしてのモニタ１４２Ｍを備えている。このモニタ１４２Ｍには、前記カメラ１１２で撮影された画像と、メインコトロール部１１８で生成される動作パターンによって選択するための選択画像が表示されるようになっている。オペレータは、このモニタ１４２Ｍの画像を見ながら動作パターンを確認することが可能となっている。

図１０に示される如く、モニタ１４２Ｍには、カメラ１１２で撮像された画像が表示され、このモニタ１４２Ｍ上では、上記実施の形態と同様に、人物１６２を検出して、ＲＯＩ１６０が設定され、かつ動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄが設定される。なお、ＲＯＩ１６０や動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄの枠画像をモニタ１４２Ｍに表示してもよいし、しなくてもよい。また、動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６ＤをＲＯＩ１６０にオーバラップさせているが、オーバラップさせなくてもよい。

この変形例において、人物１６２がモニタ１４２Ｍのどこにいても、何かの動作を指示するためのコマンドを、人物１６２の手の動きだけで選択することができ、当該コマンドに応じた処理を実行することができる。

なお、図１１に示される如く、複数の人物１６２Ａ、１６２Ｂのモニタ１４２Ｍに表示されていても、それぞれの人物１６２Ａ、１６２ＢのＲＯＩ１６０Ａ、１６０Ｂ、並びに動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄを設定すれば、それぞれの人物１６２Ａ、１６２Ｂからコマンドを受けることが可能である。

また、図１２に示される如く、２以上の動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄを同時に利用してもよい。

さらに、図１３に示される如く、何れかの動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄにおける人物１６２の動作速度をパラメータとして付加してもよい。これにより、同一の動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄで複数のコマンドを選択することができる。

また、図１４に示される如く、複数の動作検出領域１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄにおける一連の動き（図１４では、手１６２Ａr）でコマンドを選択するようにしてもよい。

（第２の実施の形態）
以下に本発明の第２の実施の形態を説明する。なお、第１の実施の形態（特に、変形例１に示す「報知機能」と、変形例２で示す「コンピュータ装置への適用」と同一構成部分については、同一の符号を付してその構成の説明を省略する。

第２の実施の形態の特徴は、図１８に示される如く、撮像手段として、２台のカメラ１２Ｌ、１２Ｒを設置して対象物（人物６２や６２Ａr）の奥行き方向を精度よく認識する点（図２０参照）、並びに、図１６、図１７に示した振動手袋９２を適用（図１９参照）した点にある。以下では、２台のカメラ１２Ｌ、１２Ｒで説明するが、３台以上のカメラを配置してもよい。

２台のカメラ１２Ｌ、１２Ｒでは、ほぼ同一の撮像領域を撮像するようになっている。なお、制御的には、図１６に示す機能ブロックにおいてカメラ１２をカメラ１２Ｌ、１２Ｒに変更し、変化量演算部５４等における変化量演算手順が若干異なるのみであるので（詳細後述）、第２の実施の形態における制御機能ブロック図は省略する。

（２台のカメラ１２Ｌ、１２Ｒによる変化量演算手順）
カメラ１２Ｌ、１２Ｒは、固定焦点、自動焦点（ＡＦ）に関わらず適用可能である。

この２台のカメラ１２Ｌ、１２Ｒは、少なくとも共通の撮像領域をもって撮像している。

この撮像状態において、対象物（ここでは、人物６２）が近くいる場合と、遠くにいる場合とでは、２台のカメラ１２Ｌ、１２Ｒのそれぞれの画面の中の人物６２の位置が異なる。そこで、この位置の違いを用いて奥行きを演算する。

例えば、基準撮像領域（２台のカメラ１２Ｌ、１２Ｒにおいて、人物６２等の基準画像が略同一の位置となる領域）から、人物６２が近づく場合、一方（人物６２から見て左側）のカメラ１２Ｌの画面の中では人物６２が右寄りに位置し、他方（人物から見て右側）のカメラ１２Ｒの画面の中では人物６２が左寄りに位置する。このような、位置の違いによって奥行きを演算することができる。

図２０は、この奥行きの精度の高い認識を利用して、動作検出領域（図１９では、１６６Ｂ）での、手６２Arの僅かな奥行き方向の動作を命令動作として認識する状況を示している。

すなわち、２台のカメラ１２Ｌ、１２Ｒによって、まず、手Arが動作検出領域１６６Ｂに入ったことを認識し、この時点で命令の種類を選択する。

その後、動作検出領域１６６Ｂ内での手Arの動き（奥行き方向動作）を認識して、当該選択した種類の動作変更を指示する（例えば、オン／オフ）。

このように、単純な手Arの位置のみならず、３次元の動作を認識することができる。

図１９は、この２台のカメラ１２Ｌ、１２Ｒと振動手袋９２とを併用したときの動作形態を示している。

まず、人物６２が振動手袋９２を装着した状態とし、手６２Arを挙げたとき（図１９（Ａ）参照）に認識する領域を動作検出領域１６６Ｂとする（図１９（Ｂ）〜（Ｄ）参照）。

図１９（Ｂ）に示される如く、人物６２が手６２Arを下げているときは振動手袋９２は振動しない。

図１９（Ｃ）に示される如く、指定された動作検出領域１６６Ｂ以外に手６２Arを挙げても振動手袋９２は振動しない。

図１９（Ｄ）に示される如く、指定された動作検出領域１６６Ｂに手６２Arを挙げると、振動手袋９２が反応して振動する。さらに、この状態で、振動手袋９２を奥行き方向に移動させると、この移動に反応して、異なる振動が発生する。
さらに、指定された動作検出領域１６６Ｂをブロック分割し、当該ブロック毎に振動の強弱を設定しておくことで、動作検出領域１６６Ｂ内での振動手袋９２の位置に応じて振動の強弱感を表現することができる。

なお、上記では、振動手袋９２を用いたが、触角を通じた報知手段としては、圧力による報知手段を備えてもよい。例えば、手袋内の手に接触対峙する部分に、空気室を設け、この空気室に動作状態に応じて空気を吸引、排出することで、手が感じる圧力を変更することができる。

また、この空気室を細かく分割し、それぞれの圧力を独立して制御可能とすれば、掌の中で圧力差を持たせることができ、これが奥行き感として立体物を把持しているような感覚を持たせることができる。

より具体的には、設定した動作領域６６をブロック分割し、当該ブロック毎に振動の強弱を設定しおくことで、動作領域６６内での移動でブロック間を跨るときに振動の強弱間を表現することができる。

さらに、上述した動作検出領域１６６Ｂのブロック分割により当該ブロック毎の圧力の強弱の設定をした上で空気室を分割した手袋を用いれば、指定された動作検出領域１６６Ｂ内での移動でブロック間を跨るときにより精度の高い圧力の強弱感を表現することができる。

（ゲームへの適用）
本発明は、コンピュータ装置としての一例である、ゲーム装置の機能として適用することも可能である。

（ゲーム適用性１）
図２１〜図２４は、認識したＲＯＩ１６０に対して設定する動作検出領域１６６を一義的に決めず、別途定めた条件に基づいて、変更していくようにする。

図２１（Ａ）〜（Ｅ）に変化する動作検出領域１６６は、何らかの条件により予測可能な順番で、例えば、手６２Ar等を動かして動作検出領域１６６内に入った時点で変化するようにする（動作検出領域予測可能設定機能）。また、図２２（Ａ）〜（Ｅ）に変化する動作検出領域１６６は、予測不可能な順番で、例えば、手６２Ar等を動かして動作検出領域１６６内に入った時点で変化するようにする（動作検出領域予測不能設定機能）。なお、動作検出領域１６６は、手６２Ar等が動作検出領域１６６内に入った時点で変化するのではなく、一定時間が経過した時点で変化するようにしてもよい。

なお、図２３（Ａ）〜（Ｅ）、並びに図２４（Ａ）〜（Ｅ）は、動作検出領域１６６がＲＯＩ６０から離れている状態を示す。また、図２１（Ａ）〜（Ｅ）と図２２（Ａ）〜（Ｅ）との関係と同様に、図２３（Ａ）〜（Ｅ）は動作検出領域１６６が予測可能な順番で変化し、図２４（Ａ）〜（Ｅ）は動作検出領域１６６が予測不可能な順番で変化する。

上記動作検出領域予測可能設定機能、動作検出領域予測不能設定機能、並びにＲＯＩ６０に接触している動作検出領域１６６（図２１、図２２）とＲＯＩ６０に接触していない動作検出領域１６６（図２３、図２４）を併用することで、ロッククライミングゲームを構築することができる。

すなわち、予め何れかで撮影した崖画像に、カメラで撮像したクライマー（ゲーム実行者）画像（ＲＯＩ１６０）を当該崖画像に重ねて表示し、崖を登っていくクライマーが手や足（動作検出領域）が、予め設定した崖の中の引っかけ可能な位置と重なり、把持動作をすることで、登っていくゲームである。

上記ゲームにおいて、クライマーに対して確実に引っかけ可能な位置を報知させたり、手探りで行わせたりする。このとき、圧力室を持つ手袋を装着することで、把持する突起の大きさを感触で味わうことができる。また、動作検出領域１６６をブロック分割し、当該ブロック毎に圧力の強弱を設定しておくことで、崖の突起が徐々に盛り上がっていることを圧力の強弱により報知することが可能となる。さらに、空気室を分割した手袋を用いて分割された空気室毎に圧力の強弱を変化させれば、崖の突起の形状を実際の感覚により近づけて高精度に報知することが可能となる。
（ゲーム適用性２）
ＲＯＩ６０が奥行き方向でほぼ固定であるのに対し、動作検出領域１６６は、大きく奥行き方向に変化する形態も可能である。

例えば、ＲＯＩ６０（人物６２）がテニスプレイヤーであり、動作検出領域１６６がボールとする。相手プレイヤー（対戦相手、或いはコンピュータ）から打ち返されたボール（動作検出領域１６６）が遠くからＲＯＩ６０に近づいてきて、ＲＯＩ６０との距離に応じて、ラケット（人物６２が装着する触覚を通じた報知手段）を振ると、タイミングが合えば打ち返しパターンに移行させ、タイミングが合わなければ空振り等の動作パターンに移行させる。

このとき、ラケットとＲＯＩ６０との位置関係を認識することで、ラケットがフォアハンドなのかバックハンドなのかを判別可能である。

参考として、周知のゲーム機能におけるフォアハンドとバックハンドの判別は、操作リモコンのボタンを押しながら振るか、押さないで振るかによって判別しているものがある。本発明の奥行き判別機能を用いれば、判別のためのボタンが不要となる。

また、遠くから近づいてくるボール（動作検出領域１６６）は、近づくにつれて大きく表示し、打ち返されて遠ざかるにつれて小さく表示するようにすると、臨場感をより向上させることができる。

なお、ゲームはテニスゲームに限らず、向かってくる敵を銃や剣等で対応するゲームにも適用可能である。

このようなゲーム装置において、ＲＯＩ設定のための制御負担が軽減できるという本発明は、ゲームそのものの制御負担を圧迫することがない。言い換えれば、制御負担が軽い分、画質向上、動作精度等、他の制御に回すことができる。

第１の実施の形態に係る電装機器動作ユニットの概略構成図である。 第１の実施の形態の主となる画像認識制御部のハード資源を示す構成図である。 第１の実施の形態に係る電装機器動作制御ユニットにおける制御を機能的に分類したブロック図である。 ＲＯＩの周辺に設けた動作検出領域を示す正面図であり、（Ａ）は動作検出領域がＲＯＩと重なる場合、（Ｂ）は動作検出領域がＲＯＩと重ならない場合を示す。 モニタに表示される人物の動作状態を示す正面図である。 電装機器としてのエアコンにコマンドを出す場合の正面図である。 第１の実施の形態に係る画像認識制御ルーチンを示すフローチャートである。 第１の実施の形態に係るコマンド出力制御ルーチンを示すフローチャートである。 変形例に係るコンピュータ装置の概略構成図である。 図９のコンピュータ装置において、モニタに表示される人物の動作状態を示す正面図である（基本パターン）。 図９のコンピュータ装置において、モニタに表示される人物の動作状態を示す正面図である（複数人物パターン）。 図９のコンピュータ装置において、モニタに表示される人物の動作状態を示す正面図である（両手パターン）。 図９のコンピュータ装置において、モニタに表示される人物の動作状態を示す正面図である（速度併用パターン）。 図９のコンピュータ装置において、モニタに表示される人物の動作状態を示す正面図である（複数動作検出領域併用パターン）。 図６に示すエアコンにおいて、報知手段を設けた変形例を示す正面図である。 図３の変形例に係り、報知手段として振動手袋を用いた場合の制御系の機能ブロック図である。 図１６における振動手袋を用いた場合の動作パターンを示す正面図である。 第２の実施の形態に係る電装機器動作ユニットの概略構成図である。 第２の実施の形態に係り、人物の動作状態を示す正面図である（２台カメラ＋振動手袋）。 第２の実施の形態に係り、人物の動作状態を示す正面図である（２台カメラ）。 本発明をゲームに適用した場合の実施例を示す、人物の動作状態を示す正面図である（ゲーム適用性１「動作検出領域報知」） 本発明をゲームに適用した場合の実施例を示す、人物の動作状態を示す正面図である（ゲーム適用性１「動作検出領域非報知」） 本発明をゲームに適用した場合の実施例を示す、人物の動作状態を示す正面図である（ゲーム適用性２「動作検出領域報知」） 本発明をゲームに適用した場合の実施例を示す、人物の動作状態を示す正面図である（ゲーム適用性２「動作検出領域非報知」）

符号の説明

１０ 電装機器動作ユニット
１２ カメラ（撮像手段）
１２Ｌ、１２Ｒ カメラ（撮像手段）
１４ 画像認識制御部
１６ コマンド出力制御部
１８ 電装機器
１８AC エアコン
１８Ｓ 報知部（報知手段）
１９Ｒ、１９Ｇ、１９Ｂ ＬＥＤ（報知手段）
１８ＳＰ スピーカ（報知手段）
２０ 動作制御スイッチユニット（制御手段）
２２ マイクロコンピュータ
２４ ＣＰＵ
２６ ＲＡＭ
２８ ＲＯＭ
３０ 入出力ポート（Ｉ／Ｏ）
３２ バス
３４ インターフェイス（Ｉ／Ｆ）
３６ インターフェイス（Ｉ／Ｆ）
３８ インターフェイス（Ｉ／Ｆ）
４０ 入力デバイス
４２ 出力デバイス
５０ 画像データ処理部（動作パターン認識手段）
５２ 定点画像データ読出部（動作パターン認識手段）
５４ 変化量演算部（動作パターン認識手段）
５６ 定点画像データメモリ
５８ ＲＯＩ設定部（関心領域設定手段）
６０ ＲＯＩ（関心領域）
４２Ｍ モニタ
６２ 人物
６２Ｈe 顔（頭部）
６２Ｂo 胴体
６２Ａr 手
６２Ｆo 足
６４ 動作領域設定部（動作検出領域設定手段）
６６Ａ、６６Ｂ、６６Ｃ、６６Ｄ（６６） 動作検出領域
６８Ａ、６８Ｂ、６８Ｃ、６８Ｄ、６８Ｅ（６８） 動作検出領域
７０ 動作領域内定点画像データ読出部
７２ 動作領域内変化量演算部
７４ 監視データを特徴的動作認識部
７６ 出力部
７８ 動作パターン入力認識部
８０ 動作パターン−コマンドテーブル読出部
８２ 照合部
８４ 動作パターン−コマンドテーブルメモリ（記憶手段）
８６ コマンド出力部（コマンド出力手段）
８８ インジケータ
９０ スピーカ
９２ 振動手袋
９３ 振動変換部
９４ 振動パターンメモリ
９５ 赤外線送信部
９６ 赤外線受信部
９７ 振動ドライバ
９８ 振動源
１００ コンピュータ装置
１１２ カメラ
１１４ 画像認識制御部
１１６ コマンド出力制御部
１１８ メインコントロール部
１４２Ｍ モニタ
１６０ ＲＯＩ
１６６Ａ、１６６Ｂ、１６６Ｃ、１６６Ｄ 動作検出領域

Claims (16)

1. 動画像を撮像する撮像手段と、
   前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、
   前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、
   前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、
   を有する画像認識装置。
2. 動画像を撮像する撮像手段と、
   前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、
   前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、
   前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、
   前記動作パターン認識手段で認識された動作パターンデータと、予め定められたコマンドとを関連付けて記憶する記憶手段と、
   前記動作パターンに対応するコマンドを出力するコマンド出力手段と、
   を有する画像認識装置。
3. 前記動作検出領域設定手段が、
   前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて流動的に設定される関心領域に追従するように、前記動作検出領域を適宜変更することを特徴とする請求項１又は請求項２記載の画像認識装置。
4. 前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、
   前記関心領域設定手段が、それぞれの撮像手段により撮像された動画像データに基づく前記関心領域の位置偏差により、当該関心領域対象の奥行き方向の移動を判別することを特徴とする請求項１〜請求項３の何れか１項記載の画像認識装置。
5. 前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、
   前記動作領域設定手段が、それぞれの撮像手段により撮像された動画像に基づく、前記動作検出領域内での位置偏差により、動作検出対象の奥行き方向の動作を判別することを特徴とする請求項１〜３の何れか１項記載の画像認識装置。
6. 前記動作検出領域内での動作状態を報知する報知手段をさらに有することを特徴とする請求項１〜請求項５の何れか１項記載の画像認識装置。
7. 前記報知手段が動作状態を報知する際に、前記動画像データに基づく奥行き感を併せて報知することを特徴とする請求項６記載の画像認識装置。
8. 動画像を撮像する撮像手段と、
   前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定する関心領域設定手段と、
   前記関心領域設定手段で設定された関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定する動作検出領域設定手段と、
   前記動作検出領域設定手段で検出された動作検出領域内での動作パターンを認識する動作パターン認識手段と、
   前記動作パターン認識手段で認識された動作パターンデータと、予め定められたコマンドとを関連付けて記憶する記憶手段と、
   前記動作パターンに対応するコマンドを出力するコマンド出力手段と、
   前記コマンド出力手段によって出力されたコマンドに従い、電装機器の動作を制御する制御手段と、
   を有する電装機器動作制御ユニット。
9. 前記動作検出領域設定手段が、
   前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて流動的に設定される関心領域に追従するように、前記動作検出領域を適宜変更することを特徴とする請求項８記載の電装機器動作制御ユニット。
10. 前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、
    前記関心領域設定手段が、それぞれの撮像手段により撮像された動画像データに基づく前記関心領域の位置偏差により、当該関心領域対象の奥行き方向の移動を判別することを特徴とする請求項８又は請求項９記載の電装機器動作制御ユニット。
11. 前記撮像手段が複数設けられ、それぞれの撮像手段は、互いに同一撮像領域を含むように撮像し、
    前記動作領域設定手段が、それぞれの撮像手段により撮像された動画像に基づく、前記動作検出領域内での位置偏差により、動作検出対象の奥行き方向の動作を判別することを特徴とする請求項８又は請求項９記載の電装機器動作制御ユニット。
12. 前記動作検出領域内での動作状態を報知する報知手段をさらに有することを特徴とする請求項８〜請求項１１の何れか１項記載の電装機器動作制御ユニット。
13. 前記報知手段が動作状態を報知する際に、前記動画像データに基づく奥行き感を併せて報知することを特徴とする請求項１２記載の電装機器動作制御ユニット。
14. 前記請求項８〜請求項１３の何れか１項に記載の電装機器動作制御ユニットが搭載された電化製品。
15. 動画像を撮像するステップと、
    前記撮像手段で撮像された動画像データの時間的変化度合いに基づいて、関心領域を設定するステップと、
    前記関心領域を基準とした所定の相対位置関係となる領域を動作検出領域として設定するステップと、
    前記動作検出領域内での動作パターンを認識するステップと、
    をコンピュータに実行させる画像認識プログラム。
16. 前記請求項１５の画像認識プログラムが記憶された記憶素子を備えた半導体装置。

Images