JP5318189B2 - インターフェース制御装置、及びその方法 - Google Patents

Description

本発明は、ユーザの特定部位の動きによって、制御対象機器を操作するインターフェース制御装置、及びその方法に関する。

従来のインターフェース制御装置では、機器を操作する際、特許文献１に開示されているように、機器を制御するための操作画面内に配置された特定の領域（アイコン）に、画像処理によって得られた身体の特定部位（例えば手である）の位置を重ねることにより、そのアイコンに対応付けられたコマンドを実行する。

また、特許文献２に開示されているように、ユーザを撮影した画像内の複数の狭い領域内の動きを観測し、その領域内で動きが観測された場合には、各領域に対応付けられたコマンドを実行する。

また、特許文献３では、各アイコンに特定の手形状を割り当て、画像認識により検出された手形状に対応するアイコンに割り当てられたコマンドを実行する。

特許第２９４１２０７号公報 特開２００２−８３３０２号公報 特許第３７７７６５０号公報

しかし、上記従来技術では、ユーザの特定部位による複雑な動作が必要であるという問題点があった。

そこで本発明は、ユーザの簡単な動作で制御命令を変更できるインターフェース制御装置、その方法を提供することを目的とする。

本発明の一態様に係るインターフェース制御装置は、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、表示部と、前記制御命令が割り当てられた項目を、前記表示部の画面上に複数表示する表示制御部と、をさらに備え、前記主制御部は、前記送り動作に応じて前記項目を選択し、前記表示制御部は、前記表示部の前記画面の中央に前記選択された項目を表示し、前記送り動作検出部は、入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、を備えたインターフェース制御装置である。

本発明によれば、ユーザの簡単な動作で制御命令を変化させることができる。

実施例１の制御装置のブロック図。 実施例１の制御装置に関して、テレビ受像機に応用した例を示す説明図。 送り動作検出部の構成を示すブロック図。 動作判定部での判定条件を示す説明図。 送り動作検出部のフローチャート。 連続的な数値を使用する場合の項目の例を示す説明図。 ユーザが閲覧する画面表示を用いてフィードバックを行う場合の制御装置の概要を示す説明図。 実施例２の制御装置のブロック図。 項目を移動させる画面表示を行う場合の説明図。 複数の項目グループを用いる場合の画面表示の方法を示す説明図。 実施例３の制御装置のブロック図。 実施例４の制御装置のブロック図。

以下、本発明の一実施例のインターフェース制御装置（以下、単に「制御装置」という）について図面に基づいて説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

実施例１の制御装置について図１〜図１０に基づいて説明する。

本実施例では、テレビ受像機１００を制御対象機器として、このテレビ受像機１００のチャンネル操作を、ユーザの手１０２のジェスチャで行う制御装置の例を説明する。図２は、その概略図であり、ユーザが左方向への送り動作を行った場合はチャンネルを１つ下げ、右方向に送り動作を行った場合はチャンネルを１つ上げる例が示されている。

図１は、本実施例に係わる制御装置の構成を示すブロック図である。

制御装置は、送り動作検出部２、主制御部３を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。

画像取得部１は、撮像装置１０４によって、ユーザの時系列の画像を撮影して、これら画像を取得する。撮像装置１０４は、図２に示すようにテレビ受像機１００に取り付けられている。

送り動作検出部２は、時系列の画像を解析することによって、ユーザの手１０２の動きを「送り動作」として検出する。

主制御部３は、検出された送り動作の方向に応じて画面１０６に表示するチャンネルを変更する。

次に、送り動作検出部２の構成について図３に基づいて説明する。図３は、送り動作検出部２を示すブロック図である。

送り動作検出部２は、追跡部２１、速度計算部２２、現高速運動検出部２３、直前高速運動検出部２４及び動作判定部２５を備える。記憶部２６は、送り動作検出部２の内部に設けられても良いし、外部に接続されても良い。

追跡部２１は、画像取得部１で撮影された時系列の画像に対して、特開２００６−２６８８２５公報で開示されているパターン認識法、特許第３７７７６５０号公報で開示されている背景差分法、又は、肌色抽出法、フレーム間差分法、及び、これらの組み合わせた方法を適用することにより、ユーザの手、顔などの特定部位を画像毎に検出して、時系列に追跡する。

速度計算部２２は、時系列の画像に対応した追跡結果から、手の画像内を移動する速度を計算する。速度計算部２２が行う手の速度の計算方法としては、以下のようなものがある。

第１の方法は、追跡部２１で得られた手の画像内の位置の微分値（フレーム間の差分値）により特定部位の速度を計算する。

第２の方法は、追跡部２１で得られた特定部位の画像内の位置周辺で各画素の速度（オプティカルフロー）を計算し、その平均値や最頻値を特定部位の速度とする。

第３の方法は、追跡部２１で得られた手の画像内の位置を観測値、手の位置と速度を状態変数とし、観測値と等速運動などの状態変数の運動モデルによって最適な状態を推定するカルマンフィルタなどのフィルタによって特定部位の速度を計算する。観測値として、特定部位の画像内の位置周辺の画素の速度（オプティカルフロー）の平均値をさらに用いても良い。

現高速運動検出部２３は、特定部位の現在の運動であって、ベクトルで示される現高速運動ｖｃについて、基準速度Ｖ０を基準に検出する。すなわち、現高速運動検出部２３は、特定部位の現在の速度の絶対値が、基準速度Ｖ０より高速であれば、現高速運動ｖｃが存在すると判定し、基準速度Ｖ０より低速であれば、現高速運動ｖｃが存在しないと判定する。そして、現高速運動ｖｃの情報である、速度と時間情報（画像のフレーム番号）を記憶部２６に運動履歴Ａとして格納する。

直前高速運動検出部２４は、記憶部２６に格納されている運動履歴Ａから、現在より一定時間前に検出された過去の現高速運動ｖｃを直前高速運動ｖｐとして取得する。前記一定時間前とは、例えば、１〜１０フレーム前の時間、又は、０．０１〜０．１秒前の時間である。

動作判定部２５は、現高速運動ｖｃと直前高速運動ｖｐの情報から、図４に示す判定を行って、送り動作を検出する。すなわち、動作判定部２５の判定は、図４に示すように、４つの判定パターンに分けられる。なお、「送り動作」とは、上下左右及びこれらの方向の組合せなどの予め定められた方向への特定部位の高速動作であり、「復帰動作」とは、送り動作の後に元の位置の方向に特定部位を戻す動作をいう。

第１の判定パターンは、現高速運動ｖｃが検出され、直前高速運動ｖｐが存在しない場合は、前記現在の状態が送り動作と判定する。

第２の判定パターンは、現高速運動ｖｃと直前高速運動ｖｐが存在し、現高速運動ｖｃの方向と直前高速運動ｖｐの方向のなす角θが第１の基準角度θ１より大きく、かつ、直前の状態が復帰動作の場合に、前記現在の状態が送り動作と判定する。

第３の判定パターンは、現高速運動ｖｃと直前高速運動ｖｐが存在し、現高速運動ｖｃの方向と直前高速運動ｖｐの方向のなす角θが第１の基準角度θ１より大きく、かつ、直前の状態が送り動作の場合に、前記現在の状態が復帰動作と判定する。

第４の判定パターンは、現高速運動ｖｃも直前高速運動ｖｐも存在せず、直前の状態が送り動作又は復帰動作の場合に、前記現在の状態が動作終了と判定する。

なお、上記いずれの判定パターンにも該当しない場合は、直前の動作状態が現在も継続していると判定する。

送り動作検出部２の処理動作について図５に基づいて説明する。図５は、送り動作検出部２の処理フローチャートを示す。

ステップＳ１において、現高速運動検出部２３は、初期化処理として現在の状態を無動作に設定する。

ステップＳ２において、画像取得部１は、ユーザを撮影して、現在の画像として入力する。

ステップＳ３において、追跡部２１は、現在の画像に対して、ユーザの特定部位を検出し、時系列に追跡処理を行う。

ステップＳ４において、速度計算部２２は、特定部位の速度を計算する。

ステップＳ５において、現高速運動検出部２３は、現高速運動ｖｃについて、基準速度Ｖ０を基準に検出する。そして、現高速運動ｖｃの情報である、速度と時間情報（画像のフレーム番号）を記憶部２６に運動履歴Ａとして格納する。

ステップＳ６において、直前高速運動検出部２４は、直前高速運動ｖｐを記憶部２６の運動履歴Ａから取得する。なお、運動履歴Ａに直前高速運動ｖｐがなければ、直前高速運動ｖｐは存在しないとする。

ステップＳ７において、動作判定部２５は、図４の動作判定を行う。詳しくは後述する。

ステップＳ８、Ｓ９、Ｓ１０において、送り動作検出部２は、現在の状態をステップＳ７の判定結果に応じて遷移させる。これらのステップについても後から詳しく後述する。

ステップＳ１１において、動作判定部２５は、送り動作が発生したと判定したときは、任意のコマンドを発生して対象の機器を操作する。

次に、動作判定部２５の動作処理について図４と図５に基づいて説明する。

ステップＳ７１において、動作判定部２５は、現高速運動ｖｃが存在するか否かを、現高速運動検出部２３の検出状況に基づいて判定する。そして、現高速運動ｖｃが存在すればステップＳ７２に進み（Ｙの場合）、存在しなければステップＳ７５に進む（Ｎの場合）。

ステップＳ７２において、動作判定部２５は、現高速運動ｖｃが存在するため、直前高速運動ｖｐが存在するか否かを直前高速運動検出部２４の取得状況に基づいて判定する。直前高速運動ｖｐが存在すればステップＳ７３に進み（Ｙの場合）、存在しなければステップＳ８に進む（Ｎの場合）。

ステップＳ７３において、動作判定部２５は、現高速運動ｖｃと直前高速運動ｖｐが存在するため、現高速運動ｖｃの方向と直前高速運動ｖｐの方向となす角θと第１の基準角度θ１とを比較する。θ＞θ１であればステップＳ７４に進み（Ｙの場合）、θ＜＝θ１であれば動作が継続しているとして、ステップＳ１１に進む（Ｎの場合）。

ステップＳ７４において、動作判定部２５は、θ＞θ１であるので、直前の状態が復帰動作であればステップＳ８に進み、一方、直前の状態が送り動作であればステップＳ９に進む。

ステップＳ７５において、動作判定部２５は、現高速運動ｖｃが存在しないため、直前の状態が送り動作、又は、復帰動作であればステップＳ７６に進み、直前の状態が動作なしであれば動作が継続しているとして、ステップＳ１１に進む。

ステップＳ７６において、動作判定部２５は、現高速運動ｖｃが存在せず、また、直前の状態が送り動作、又は、復帰動作であるため、直前高速運動ｖｐが存在するか否かを直前高速運動検出部２４の取得状況に基づいて判定する。直前高速運動ｖｐが存在すればステップＳ１０に進み（Ｎの場合）、存在しなければ動作が継続しているとして、ステップＳ１１に進む（Ｙの場合）。

ステップＳ８において、動作判定部２５は、現在の状態が送り動作であると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第１、２の判定パターンである。

ステップＳ９において、動作判定部２５は、現在の状態が復帰動作であると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第３の判定パターンである。

ステップＳ１０において、動作判定部２５は、現在の状態が動作なしであると判定して、ステップＳ１１に進む。また、この現在の状態を記憶部２６に運動履歴Ａとして格納する。このステップが、図４の第４の判定パターンである。

送り動作検出部２の動作を順番に説明する。

第１に、特定部位が高速運動を始めたときに送り動作が検出され、同じ方向の高速運動を保っている間は送り動作が継続していると判定される。

第２に、高速運動を保ったまま方向が逆方向に変化（θ＞θ１）すれば復帰運動と判定され、同じ方向に高速運動を保っている間は復帰動作が継続していると判定される。

第３に、復帰運動の状態から、さらに高速運動を保ったまま方向が逆方向に変化（θ＞θ１）すれば、再び送り動作として判定される。

第４に、送り動作や復帰動作を行っていて、高速運動が観測されなくなり一定時間が経過するとする。この場合には、現在及び過去の一定時間内にも高速運動が観測されなくなったとして、動作終了したと判定される。

第５に、そのまま高速運動が観測されなければ動作終了の状態が継続していると判定される。以上により、送り動作検出部２は、送り動作判定結果として現在の画像における送り動作の有無と、送り動作が存在した場合にその属性として方向や動作の速さなどを出力する。

次に、主制御部３の構成について説明する。

主制御部３は、送り動作検出部２で検出された送り動作の方向に応じて、現在選択されているチャンネルを他のチャンネルに切り替える。

例えば、図２に示すように、送り動作検出部２で右向きの送り動作が検出された場合、主制御部３では現在選択されているチャンネル４をチャンネル５に切り替える。

また、チャンネル以外に音量などを調整してもよい。

本実施例によれば、ユーザの手１０２の送り動作によって、テレビ受像機１００のチャンネルを簡単に操作できる。

実施例２の制御装置について図７〜図１０に基づいて説明する。

図８は、本実施例に係わる制御装置の構成を示すブロック図である。

図８に示すように、制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、表示制御部４を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。

表示制御部４は、図７に示すように、項目表示領域１１２と、現在選択されている項目を示すカーソル１０８とを、ユーザが見ているコンピュータの表示装置２００の画面１０６に表示させると共に、項目表示領域１１２よりも広い領域を認識領域１１０として設定する。なお、「項目」とは、制御対象機器の制御命令が割り当てられた領域である。項目表示領域１１２とは、ユーザが選択可能な項目の全て、又は、一部を表示する領域である。認識領域１１０とは、ユーザの特定部位の形状や移動の状態を、制御装置が認識できる範囲であり、図７では点線で示しているが、実際にはユーザには見ることができない状態で設定する。

主制御部３は、追跡部２１で取得した画像内の手１０２の位置を、ユーザが閲覧する画面１０６の座標系に変換する。その変換位置が、認識領域１１０内にあるときには、送り動作に応じて認識領域１１０に含まれる項目に関する制御を行う。

すなわち、主制御部３では、画面１０６に項目が順番に左右方向に列挙されて表示されており、送り動作検出部２で検出された送り動作の方向に応じて、現在選択されている項目の隣の項目が選択される。例えば、送り動作検出部２で右向きの送り動作が検出された場合、主制御部３では現在選択されている項目の右隣の項目にカーソル１０８を切り替える。

なお、項目の配置は、画面１０６における２次元平面で、上下左右に項目を並べても良いし、環状、又は、球状に配置してもよい。

また、項目としては、異なる制御命令を表示した項目を並べたもの（例えば、コンピュータで実行されるソフトウェアの「ファイル」、「編集」、「表示」といったメニューなどである）でもよい。

本実施例によれば、項目表示領域１１２とカーソル１０８を、画面１０６に表示することにより、制御命令をユーザにフィードバックすることができる。

また、ユーザの手１０２が認識領域１１０内のどこにあっても、認識領域１１０内に入っていれば項目を選択できる。

そのために、本実施例であれば、ユーザの操作をさらに簡単にできる。

次に、本実施例の変更例について説明する。

変更例１においては、図９に示すように、項目表示領域１１２とカーソル１０８の表示方法を変更する。すなわち、カーソル１０８を固定の位置に表示し、項目表示を送り動作の方向に移動させる。また、項目表示を固定しておいてカーソル１０８を送り動作の方向に移動させても良い。

変更例２においては、変更例１に示すような項目表示領域１１２とカーソル１０８の表示しないで、選択された項目を常に中央部分に表示するようにしてもよい。この場合に、項目表示を送り動作の方向に移動させる。

変更例３においては、図６に示すように、項目を示す数値に対応した目盛り画像の表示を行って、連続値を必要とする制御を行う。この場合には、帯状の目盛り画像１０９には、数値を示す目盛りを任意の間隔で表示し、カーソル１０８を中央に固定する。そして、送り動作によって、選択したい数値に対応した位置を中央部分に移動させて、選択する。

変更例４においては、多数の項目を取り扱う場合のユーザの利便性を向上させるため、項目を複数の項目グループに分類する。表示制御部４は、項目グループ毎に項目表示領域１１２を持ち、それぞれ項目表示領域１１２よりも広い認識領域１１０を設定する。画像内の手１０２の位置を、画面１０６の座標系に変換した位置が、認識領域１１０内にあるとき、主制御部３は、対応する項目グループに関する選択を行う。これにより、ユーザは手１０２を移動させることによって、制御したい項目グループを選択し、ユーザの手１０２が各認識領域１１０の内のどこにあっても、対応する項目グループを操作できる。

変更例５においては、図１０に示すように、項目グループの選択を行う場合、ユーザの手１０２の位置の操作を簡単にするものである。すなわち、表示制御部４は、画像内の手１０２の位置を、画面１０６の座標系に変換した位置が、ある項目表示領域１１２に近づいた場合には、対応する項目表示領域１１２又は認識領域１１０を拡大して表示する。これにより、ユーザが項目グループの選択を行うときに、手１０２の移動量を少なくすることができ、項目グループの選択を簡単に行うことができる。

実施例３の制御装置について図１１に基づいて説明する。

図１１は、本実施例に係わる制御装置の構成を示すブロック図である。

本実施例の制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、第１動作検出部５、決定制御部６とを備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。

第１動作検出部５は、特定部位が予め定められた形状、又は予め定められた運動を決定動作として検出することにより、特定部位の画像内の位置によらず決定動作を検出する。

決定制御部６は、前記決定動作が検出されたら、主制御部３によって現在選択されている項目を決定項目とし、その項目に割り当てられた命令を発生させる。

画像取得部１、送り動作検出部２、主制御部３については、実施例１と同様であるため説明を省略する。以下では、実施例１と同様に、ユーザの特定部位を手１０２として第１動作検出部５と決定制御部６の構成について説明する。

第１動作検出部５は、パターン認識方法（特開２００６−２６８８２５号公報参照）、輪郭形状マッチング方法（特許文献１参照）等の画像認識方法を用いて、ユーザの手１０２が第１特定形状をしているかどうかを検出する。第１特定形状としては、手１０２を握った状態や、ＯＫサインなどを用いることができる。

決定制御部６は、第１動作検出部５で手１０２の特定形状が検出されたとき、主制御部３で現在選択されている項目を決定項目とし、その決定項目に対応付けられている制御を制御対象機器に対して実行する。

本実施例によれば、ユーザは送り動作により次々に項目を移動させ、所望の項目が選択された状態で手１０２を特定形状にすることにより、手１０２が画面内のどこにあっても、その位置に関係なく簡単に制御命令を決定できる。

実施例４の制御装置について図１２に基づいて説明する。

図１２は、本実施例に係わる制御装置の構成を示すブロック図である。

本実施例に係わる制御装置は、実施例１と同様に、送り動作検出部２、主制御部３を備え、さらに、第２動作検出部６、選択制御部７を備えている。画像取得部１は、制御装置内部に設けられてもよいし、外部に設けられてもよい。

第２動作検出部６は、手１０２が予め定められている第２特定形状を保った状態で移動していることをドラッグ動作として検出する。第２特定形状としては、手を握った状態などである。

選択制御部７は、第２動作検出部６において前記ドラッグ動作が検出されると、手１０２の移動量、移動速度、移動方向に応じて現在選択されている項目を別の項目に変化させる。この場合には、項目表示領域を移動させてもよく、また、カーソル１０８を移動させてもよい。

画像取得部１、送り動作検出部２、主制御部３については、実施例１と同様であるため説明を省略する。以下では、ユーザの特定部位を手１０２として、第２動作検出部６と選択制御部７について説明する。

第２動作検出部６は、第１動作検出部５と同様にパターン認識方法や、輪郭形状マッチング方法等の画像認識方法を用いて、ユーザの手１０２が特定形状をしているかどうかを検出、追跡し、その移動速度や移動方向を速度計算部２２と同様の方法で取得する。ユーザの手１０２が特定形状をしており、さらに画像内を移動していれば、ドラッグ動作として検出すると共に、その移動速度、移動方向を出力する。

第２の決定制御部７は、主制御部３と同様にユーザが選択可能な項目が列挙されて配置されており、第２動作検出部６でドラッグ動作が検出されたとき、ドラッグ動作の方向と大きさに応じて、現在選択されている項目の隣の項目が選択される。

図７に示すようなコンピュータの表示装置の画面表示によってユーザにフィードバックを行う場合、実施例２と同様に、ドラッグ動作によって項目表示領域１１２を移動させても良いし、カーソル１０８を移動させても良い。

変更例

本発明は上記各実施例に限らず、その主旨を逸脱しない限り種々に変更することができる。例えば、実施例３，４においても、実施例２の構成である表示制御部４を追加してもよい。また、上記各実施例では、特定部位として手１０２で説明したが、頭などの他の部位でもよい。また、上記各実施例では、制御装置の制御対象として、テレビ受像機１００、コンピュータ２００を例に挙げて説明したが、これに限定されず、例えば、医療機器その他の電気機器などにも適用されてもよい。

また、制御装置の制御対象となる機器は、表示部を有していなくてもよい。例えば、表示部を持たないラジオなどの装置において音量や選曲などを行う場合にも適用でき、ラジオに撮像装置１０４を取り付け、ユーザの送り動作によって音量や選曲などをできるようにしてもよい。

上記の各実施例における制御装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、送り動作検出部２、主制御部３は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、制御装置は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、又はネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。

１・・・画像取得部、２・・・送り動作検出部、３・・・主制御部、４・・・表示制御部、５・・・第１動作検出部、６・・・決定制御部、７・・・第２動作検出部、８・・・選択制御部

Claims (11)

1. 入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出部と、
   前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御部と、
   表示部と、
   前記制御命令が割り当てられた項目を、前記表示部の画面上に複数表示する表示制御部と、
   をさらに備え、
   前記主制御部は、前記送り動作に応じて前記項目を選択し、
   前記表示制御部は、前記表示部の前記画面の中央に前記選択された項目を表示し、
   前記送り動作検出部は、
   入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡部と、
   前記追跡部の追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算部と、
   前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出部と、
   前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定部と、
   を備えたインターフェース制御装置。
2. 前記表示制御部は、前記項目を表示する項目表示領域よりも広い領域を、前記画面上に認識領域として設定し、
   前記主制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記認識領域内にあるとき、前記送り動作に応じて、前記認識領域に含まれる前記項目に関する制御を行う、
   請求項１に記載のインターフェース制御装置。
3. 前記特定部位の予め定められた第１特定形状を検出することにより、前記制御命令に対する決定動作を検出する第１動作検出部と、
   前記決定動作が検出されたときに、前記選択されている項目を決定項目とし、前記決定項目に割り当てられた前記制御命令を発生させる決定制御部と、
   をさらに備えた請求項１に記載のインターフェース制御装置。
4. 前記特定部位の予め定められた第２特定形状を保った状態で移動している状態を、ドラッグ動作として検出する第２動作検出部と、
   前記ドラッグ動作が検出された場合に、前記特定部位の移動量、移動速度、又は、移動方向に応じて現在選択されている前記項目を、他の前記項目に変化させる選択制御部と、
   をさらに備えた請求項１に記載のインターフェース制御装置。
5. 前記複数の項目が項目グループに分類されている、
   請求項１に記載のインターフェース制御装置。
6. 前記表示制御部は、前記画像内の前記特定部位の位置を前記画面の座標系に変換した位置が、前記項目表示領域に近づいた場合に、前記項目を拡大して表示する、
   請求項２に記載のインターフェース制御装置。
7. 前記表示制御部は、前記項目に対応した数値を示す目盛り画像を表示し、
   前記主制御部は、前記送り動作に応じて前記目盛り画像上の位置を選択することによって前記項目を選択する、
   請求項２に記載のインターフェース制御装置。
8. 送り動作検出部が、入力された画像からユーザの身体の特定部位の移動速度と移動方向を検出し、前記移動速度と前記移動方向に基づいて、前記特定部位の動作が、送り動作であるか否かを検出する送り動作検出ステップと、
   主制御部が、前記送り動作が検出されたときに、制御対象機器の制御命令を変更する主制御ステップと、
   表示制御部が、前記制御命令が割り当てられた項目を、表示部の画面上に複数表示する表示制御ステップと、
   をさらに備え、
   前記主制御ステップは、前記送り動作に応じて前記項目を選択し、
   前記表示制御ステップは、前記表示部の前記画面の中央に前記選択された項目を表示し、
   前記送り動作検出ステップは、
   入力された時系列の各画像から、ユーザの身体の特定部位をそれぞれ検出して時系列に追跡する追跡ステップと、
   前記追跡ステップの追跡結果に基づいて、前記特定部位の前記画像内を移動する速度を計算する速度計算ステップと、
   前記特定部位の現在の速度が基準速度より速い場合に、前記特定部位の現在の運動が高速運動であると検出し、検出した前記高速運動のベクトル情報を現高速運動とし、さらにその履歴を記憶する記憶部に格納する現高速運動検出ステップと、
   前記特定部位の現在の運動が高速運動であると検出された場合に、前記記憶部に記憶された現高速運動の履歴の中から、過去の高速運動のベクトル情報である直前高速運動を抽出し、前記現高速運動の方向と前記直前高速運動の方向とがなす角を用いて、前記特定部位の現在の状態が、予め定められた方向へ前記特定部位が高速動作していることを示す送り動作であるか否かを判定する動作判定ステップと、
   を備えたインターフェース制御方法。
9. 前記現高速運動検出部は、前記直前高速運動のときの前記特定部位の状態が、前記送り動作であるか否か、又は、前記送り動作の後に元の位置の方向に前記特定部位を戻す動作を示す復帰動作であるか否かを前記記憶部に格納し、
   前記動作判定部は、前記直前の状態の情報と、前記現高速運動が検出されて存在するか否かの情報と、前記直前高速運動が前記記憶部に格納されているか否かの情報と、前記現高速運動の方向と前記直前高速運動の方向がなす角度とに基づいて、前記現在の状態が前記送り動作であるか、又は、前記復帰動作であるかを判定する、
   請求項１記載のインターフェース制御装置。
10. 前記動作判定部は、
    前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が第１の基準角度θ１より大きく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第１の基準角度θ１より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記現在の状態が前記復帰動作と判定し、
    前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
    前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
    請求項９記載のインターフェース制御装置。
11. 前記動作判定部は、
    前記現高速運動が存在し、前記直前高速運動が存在しない場合は、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が第２の基準角度θ２より大きく、第１の基準角度θ１（但し、θ２＜θ１である）より小さく、かつ、前記直前の状態が前記復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第１の基準角度θ１より大きく、かつ、前記直前の状態が復帰動作の場合に、前記現在の状態が前記送り動作と判定し、
    前記現高速運動と前記直前高速運動が存在し、前記なす角が前記第１の基準角度θ１より大きく、かつ、前記直前の状態が前記送り動作の場合に、前記復帰動作と判定し、
    前記現高速運動も前記直前高速運動も存在せず、前記直前の状態が前記送り動作、又は、前記復帰動作の場合に、前記現在の状態が動作終了と判定し、
    前記いずれの判定にも該当しない場合に、前記直前の状態が現在も継続していると判定する、
    請求項９記載のインターフェース制御装置。

Images