JP2004246578A

JP2004246578A - Interface method and device using self-image display, and program

Info

Publication number: JP2004246578A
Application number: JP2003035122A
Authority: JP
Inventors: Hidekazu Hosoya; 英一細谷; Akira Onozawa; 晃小野澤; Hisao Nojima; 久雄野島; Ikuo Harada; 育生原田; Hidenori Sato; 秀則佐藤; Yoshinori Kitahashi; 美紀北端
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-02-13
Filing date: 2003-02-13
Publication date: 2004-09-02
Anticipated expiration: 2023-02-13
Also published as: JP4323180B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a highly convenient interface device capable of detecting an operation in a non-contact status and in an arbitrary place. <P>SOLUTION: An image including an operator is designated by an image inputting part 11. An image(inverted image) photographed by the image inputting part 11, and inverted right and left is generated by an inverted image generating part 12. A position(user instructed position) shown by a user with the site of the body such as the finger is detected on the inverted image by an instructed position detection part 13. A command selecting part 14 collates the user instructed position obtained by the instructed position detecting part 13 with the display position of a plurality of command information displayed at an information display part 15, and retrieves and selects the command information to be instructed by the user from their positional relation. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラからの画像を入力とし、人間の動作に基づき画面上でメニューを選択するインタフェース方法および装置に関する。
【０００２】
【従来の技術】
従来、コンピュータと人間とのインタフェースにおいて、カメラからの画像を入力とし、人間の動作に基づき、画面上でメニュー選択するインタフェース装置としては、キーボードやマウス等のポインティング装置を用いる装置がある。また、体にマーカーを装着しカメラからの画像情報から動きを検出する方法や、体にセンサを装着し直接その動きを検出する方法がある。さらには、体に何も装着せずに、カメラからの入力画像等の情報から人間の動きを検出する方法もある。
【０００３】
このような方法を用いたインタフェース装置の第１の従来例として、現在一般のコンピュータに接続可能で市販されている装置として、キーボード、マウス、タッチパネル型のディスプレイがある。これらはいずれもユーザの手の動きを検出し、入力情報に変換するものである。
【０００４】
また、第２の従来例として、モーションキャプチャシステム関連の製品で、体にマーカーを装着し画像処理によって動きを検出する装置がある。例えば、ＶｉｃｏｎＭｏｔｉｏｎＳｙｓｔｅｍｓＬｔｄ．社の「３次元動作解析システムＶｉｃｏｎ」（販売元：株式会社ナックイメージテクノロジー）は、体の複数の部位に球形の反射マーカーを貼付け、複数台のカメラからの入力画像から画像処理により各マーカーの３次元座標を算出する方法である。
【０００５】
また、第３の従来例として、体に動作計測可能なセンサを装着し、センサ情報から動きを検出する装置、例えば、磁気センサを用いた装置（ＡＳＣＥＮＳＩＯＮ社の「ＭｏｔｉｏｎＳｔａｒ」等）や、機械式センサを用いた装置（スパイス社の「Ｇｙｐｓｙ」、Ｉｍｍｅｒｓｉｏｎ社の「ＣｙｂｅｒＧｌｏｖｅ」等）などがある。
【０００６】
また、第４の従来例として、体に何も装着せずにカメラ入力画像のみから動きを検出する装置がある（非特許文献１）。本方法は、画像処理によりマーカーやセンサを装着することなく人物の身振り認識をする方法で、画像から人物の動作に関わる特徴の抽出を行い動作認識を行う。
【０００７】
また、第５の従来例として、ＶｉｖｉｄＧｒｏｕｐ社のＧｅｓｔｕｒｅＸｔｒｅｍｅＳｏｆｔｗａｒｅ関連製品（例えばＳｏｃｃｅｒＧＸ，Ｖｏｌｌｅｙｂａｌｌ等）がある。本製品は、ＣＧ背景画像上に自己画像を重ね合わせ、画像上でＣＧのボール等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のＣＧソフトとユーザとのインタフェースを実現している。
【０００８】
また、第６の従来例として、非特許文献２に記載の方法がある。本方法は、自画像上にＣＧのアイコンを表示させ、カメラに向かって行った動作に基づき希望のアイコンを選択（実行）するものである。
【０００９】
【非特許文献１】
桐島ら、“注視点の学習と選択制御による身振りの実時間画像認識”、ＰＲＭＵ２００１−２０３，２００２．１
【非特許文献２】
佐木ら、“パソコン映像入力を用いたアクション・インタフェースの試み”、第１２回ヒューマン・インタフェース・シンポジウム論文集、ｐｐ．２１−２１８，１９９６．
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
【００１１】
第１の従来例は、操作者（ユーザ）の手の動きを検出する際に装置に接触する必要があることと、装置を利用するための固定し限定された場所が必要であることのため、接触型であることと、任意の場所での動作検出を行うことが困難であることである。
【００１２】
第２、第３の従来例は、非接触型でありカメラ画像に写る範囲の任意の場所での動作を検出できるが、体の部位に常に何らかのマーカーまたはセンサを装着する必要があるため、家庭や職場等の通常生活におけるインタフェース装置としての利便性に欠ける。
【００１３】
第４の従来例は、体に何も装着せずに動きを検出できるが、ユーザの動きが認識されているかどうか、目視で確認できないため、ユーザの利便性に欠ける。
【００１４】
第５の従来例では、自画像を見ながら同じディスプレイに表示されたＣＧに体が触れることでユーザの位置を検出できるが、ユーザの体全体で接触判定を行うので、手指以外の部分（頭、腰、足等）がアイコン（接触すべきＣＧ）に触っても区別なく接触とみなされることから、誤認識する可能性が高いため、認識精度が低い。また、ユーザの背後にアイコン（接触すべきＣＧ）を置くことができないことから、インタフェース用のアイコンを任意の位置に置けないため、アイコン位置およびユーザ動作の自由度に制限がある。
【００１５】
第５、第６の従来例は、自画像を見ながら同じディスプレイに表示されたＣＧの手指等を触れる（重ねる）ことでユーザの動きを検出できるが、背景に写っている実空間上の物体を指示することはできないため、応用範囲に制限がある。
【００１６】
本発明の目的は、接触型である問題、任意の場所での動作検出を行うことが困難である問題、インタフェース装置としての利便性に欠ける問題を解決したインタフェース方法および装置を提供することにある。
【００１７】
本発明の他の目的は、アイコン位置およびユーザの動作の自由度に制限がなく、かつ応用範囲に制限のないインタフェース方法および装置を提供することにある。
【００１８】
【課題を解決するための手段】
上記目的を達成するために、本発明のインタフェース装置は、
操作者を含む画像（自己画像）を撮影する画像入力手段と、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で、操作者の指定する位置を検出する手段と、
該反転画像上で、操作者の指定するコマンドを選択する手段と、
該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段とを有している。
【００１９】
そのため、ユーザが装置と非接触で指定するコマンドを選択できるので、前記課題の（１）（２）（３）を解決できる。
【００２０】
また、本発明の実施様態では、コマンドを選択する手段は、反転画像上に表示された実空間が撮影された画像中において、予め任意の実物***置を登録する手段と、反転画像上で、操作者の指定する実物体を予め登録された複数の実物体の中から検出する手段とを有している。
【００２１】
そのため、画像上に表示されたＣＧだけでなく実空間を撮影した画像中の実物体を指定することができるので、前記課題の（４）（５）を解決できる。
【００２２】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
図１を参照すると、本発明の第１の実施形態のインタフェース装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上でコマンド選択を実行するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３と情報表示部１４とコマンド選択部１５で構成される。
【００２４】
画像入力部１１としては、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。
【００２５】
反転画像生成部１２は、画像入力部１１で入力された画像（入力画像）を入力し、左右反転させた画像（反転画像）を生成する（ステップ２１）。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置ＵＰＩ―１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＹ―Ｄ１００）で実現できる。
【００２６】
指示位置検出部１３は、反転画像生成部１２で得られた該反転画像上において、ユーザが手指等の体の部位で指し示す位置（ユーザ指示位置）を検出する（ステップ２２）。
【００２７】
指示位置検出部１３の１つ目の例として、ユーザがマーカを持ち、反転画像中のマーカーを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラ１１の前で手振りして動かす。得られたカラー画像のＲＧＢ等の色情報の値から赤色成分を抽出し（ステップ２１）、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い（ステップ２２）、その中で最も面積の大きい赤色部分を１つ選び（ステップ２３）、その位置の重心位置（ｘ，ｙ）を求め、得られた（ｘ，ｙ）座標をユーザ指示位置とする（ステップ２４）。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ，ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。
【００２８】
指示位置検出部１３の２つ目の例として、ユーザがマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像のＲＧＢ等色情報の値から肌色成分を抽出し（ステップ３１）、ラベリング処理を行う（ステップ３２）。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法としては、通常ユーザが衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目の面積が大きい肌色部分を手の候補として選択する（ステップ３３）。ユーザ指定位置が両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を１つとすると、２つの候補から１つ選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい（ステップ３４）。左手の場合も同様である。
【００２９】
指示位置検出部１３のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像とは、例えば、全画素について、画素毎に背景画像の画素値と（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、予め体等の動く物体だけを抽出しておき、その後前述したような画像処理（例えば、体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出しその座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【００３０】
このような指示位置検出部１３により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触判定部位に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるその位置およびユーザ動作に関して高い自由度が得られる。
【００３１】
コマンド選択部１４は、指示位置検出部１３で得られたユーザ指示位置と、情報表示部１５で表示される複数のコマンド情報の表示位置を照らし合わせ、両者の位置関係からユーザが指示しようとするコマンド情報を探索し選択する（ステップ２３）。例えば、ユーザ指示位置からある一定の距離範囲に表示されたコマンドがあればそれを選択すればよい。指示位置検出部１３では、体全体で接触判定を行わずユーザの希望する体の部位で接触判定を行うので、情報表示部１５で表示するコマンド情報の表示位置は、ユーザの体の部位で接触判定を行わない部位の後ろに隠れてもかまわないため、コマンド情報の表示位置も、ユーザ自身の位置も画面上で任意の位置に配置することができる。
【００３２】
情報表示部１５は、反転画像生成部１２で得られた反転画像と、コマンド選択部１４で選択されたコマンド情報とを重ね合わせてディスプレイに表示する（ステップ２４）。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。コマンド情報としては、コンピュータで作成したＣＧで選択可能なコマンドを各々表示すればよい。
【００３３】
ユーザは、自己画像が映った画面を見ながら、同じ画面上にＣＧ表示されているコマンド情報に手指等を重ね合わせるだけでコマンド選択が可能であるため、わかりやすく間違いの少ない指示が可能になる。
【００３４】
図４を参照すると、本発明の第２の実施形態のインタフェース装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上に含まれる実空間中の実物体を選択するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３と実物体検出部１６と実物体登録部１９と情報表示部１５で構成される。
【００３５】
本実施形態では第１の実施形態で示したコマンド選択部１４に、実物体の検出ができる仕組みを装備する。具体的には、第１の実施形態のコマンド選択部１４を実物体検出部１６と実物体登録部１９で構成する。実物体登録部１９は実物体登録処理部１７と実物***置データ１８で構成される。他の画像入力部１１、反転画像生成部１２、指示位置検出部１３、情報表示部１５は、第１の実施形態と同様である。
【００３６】
実物体登録処理部１７は、反転画像上に含まれている任意の実物体（例えば家の中とすると、テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等）について、予め、該反転画像上での表示位置を各々求め、実物***置データ１８へ各々登録・保存する（ステップ２５）。もしくは、予め固定の位置を求めておくのではなく、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサや超音波センサ等）と取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた位置情報から該実物***置データを算出し、常時実物***置データを更新していくことも可能である。この場合、物体を移動させてもその位置も移動させることができる。
【００３７】
実物***置データ１８は、物体の中心座標（ｘ，ｙ）１個でもよいが、範囲を示す情報（例えば、矩形枠の始点座標（ｘ１，ｙ１）と終点座標（ｘ２，ｙ２）や、中心座標（ｘ，ｙ）と半径値ｒや、または物体の存在する全ドットの座標リスト等）を持たせておいてもよい。第１の実施形態の指示位置検出部１３の処理と同様に中心座標は重心座標でもよい。
【００３８】
実物体検出部１９は、実物***置データ１８に保存されている複数の位置データと、指示位置検出部１３で得られたユーザ指示位置とを照らし合わせ、第１の実施形態のコマンド選択部１４と同様に、両者の位置関係に基づきユーザが指示しようとする実物体を検出し、選択する（ステップ２６）。例えば、ユーザ指示位置からある一定の距離範囲に実物体の位置データがあればそれを選択すればよい。または、実物***置データとして範囲を持たせておいた場合は、ユーザ指示位置の座標がその範囲に含まれる実物体を検出し選択する。
【００３９】
図６に本実施形態によるインタフェース動作の例を示す。
【００４０】
ユーザが見ている自己画像上に映っている実物体について、予め表示位置を求め、各々実物***置データ１８へ登録しておく（前述したように位置認識センサ等を用いた場合は自動的に実物***置を検出し物***置データ１８へ登録更新させることもできる）。ユーザが指示動作をしていないときは何も反応しないが、ユーザがアクセスしたい実物体に手（やマーカ）等を重ねる動作を行い、実物体検出部１６で実物体を検出したと判定したとき、検出された実物体の位置が明示される。その明示の仕方は、図のように、例えば実物体と同じ形もしくはほぼ同じ大きさのアイコン（必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等）を該実物体の上に重ねて表示する方法や、実物体の中心付近や実物体周囲にＣＧによるマーカ（必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等）を表示する方法など容易に考えられる。すなわち、実際は実物***置上の仮想のアイコン、もしくは表示した（透明や半透明もしくはその他の色の）ＣＧアイコンを触ることとなる。また、検出された実物体の周囲等に、関連する情報（名称や状態等）を表示してもよい。さらに、図のように、検出された実物体の位置の周囲等に、その後続けて選択すべきメニューリストをＣＧ表示し、ユーザはそのメニューリストから同様の選択方法（すなわち手などを選択したいメニューアイコンに重ね合わせて選択する方法）等によりメニューを選択し実行することも可能である。
【００４１】
これにより、ユーザは、画像上に表示されたＣＧアイコンを指定してコマンド選択できるだけでなく、実空間画像中の実物体を直接選択することも可能となる。第１の実施形態のようにＣＧコマンド選択と組み合わせれば、例えば、テレビ等を指し示して選択すると、テレビのスイッチやチャンネル等を制御するコマンド選択のためのＣＧメニューが該実物体（テレビ）の周辺に表示され、ユーザは続けてコマンド選択を行い、テレビ等を制御することが可能である。
【００４２】
また、図６ではユーザが指示動作をしていないときは何も反応していないが、例えば、図７のように、実物体側でユーザに提示すべき情報が獲得していた場合、自己画像上の該実物体上または周囲に該情報を表示したり、もしくはアイコン（色を変えたものや半透明にしたものや点滅させたもの等）を該実物体上に重ねたりして明示し、見ているユーザに知らせるようにすることも考えられる。その後は前述と同様に、ユーザが該実物体を選択すると、必要な情報やメニューリストが表示される。
【００４３】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ―ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４４】
【発明の効果】
請求項１、３、５の発明によれば、ユーザは何も装着せずに、また直接何も触れずに、ユーザが指令するコマンドを選択できるため、非接触で、かつ任意の場所での動作検出を行うことが可能である。また、ユーザが自己画像上において、自分の体の任意の部位（手指等）を直接見ながら、該画像上に表示されたコマンドを選択できるため、ユーザにとって直感的なインタフェース装置を実現でき、利便性が向上する。
【００４５】
請求項２、４、５の発明によれば、画像上に表示されたＣＧだけでなく実空間を撮影した画像中の実物体を指定することができるため、ＣＧによるコマンド選択だけでなく、実物体の直接選択すること可能であり、応用範囲を拡大することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のインタフェース装置のブロック図である。
【図２】第１の実施形態の全体の処理の流れを示すフローチャートである。
【図３】指定位置検出部１３の処理の流れを示すフローチャートである。
【図４】本発明の第２の実施形態のインタフェース装置のブロック図である。
【図５】第２の実施形態の処理の流れを示すフローチャートである。
【図６】第２の実施形態におけるインタフェース動作の例を説明する図である。
【図７】第２の実施形態における実物体の情報表示の例を説明する図である。
【符号の説明】
１１画像入力部
１２反転画像生成部
１３指示位置検出部
１４コマンド選択部
１５情報表示部
１６実物体検出部
１７実物体登録処理部
１８実物***置データ
１９実物体登録部
２１〜２６、３１〜３４ステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an interface method and an apparatus for inputting an image from a camera and selecting a menu on a screen based on a human operation.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an interface between a computer and a human, as an interface device that receives an image from a camera and selects a menu on a screen based on a human operation, there is a device using a pointing device such as a keyboard and a mouse. There are also a method of attaching a marker to the body and detecting movement from image information from a camera, and a method of attaching a sensor to the body and directly detecting the movement. Further, there is a method of detecting a human motion from information such as an input image from a camera without wearing anything on the body.
[0003]
As a first conventional example of an interface device using such a method, there are a keyboard, a mouse, and a touch panel display as devices that can be connected to a general computer and are commercially available. These are all for detecting the movement of the user's hand and converting it into input information.
[0004]
In addition, as a second conventional example, there is a device for attaching a marker to a body and detecting a motion by image processing in a product related to a motion capture system. See, for example, Vicon Motion Systems Ltd. "3D motion analysis system Vicon" (sold by NAC Image Technology Co., Ltd.) pastes spherical reflective markers on multiple parts of the body and processes each marker by image processing from input images from multiple cameras. This is a method of calculating three-dimensional coordinates.
[0005]
Further, as a third conventional example, a device that attaches a sensor capable of measuring a motion to a body and detects a motion from the sensor information, for example, a device using a magnetic sensor (such as “Motion Star” manufactured by ASCENSION) or a machine There are devices using a type sensor ("Gypsy" by Spice, "Cyber Glove" by Immersion), and the like.
[0006]
In addition, as a fourth conventional example, there is a device that detects movement only from a camera input image without wearing anything on the body (Non-Patent Document 1). This method is a method of recognizing a gesture of a person without attaching a marker or a sensor by image processing, and extracts a feature related to a motion of the person from an image to perform a motion recognition.
[0007]
As a fifth conventional example, there is a product related to the Gesture Xstream Software of Vivid Group (for example, Soccer GX, Volleyball, etc.). This product superimposes the self-image on the CG background image, determines the contact between the CG ball etc. and the user's body on the image, and realizes the interface between the CG software such as games and the user based on the result. are doing.
[0008]
As a sixth conventional example, there is a method described in Non-Patent Document 2. In this method, a CG icon is displayed on a self-portrait, and a desired icon is selected (executed) based on an operation performed toward the camera.
[0009]
[Non-patent document 1]
Kirishima et al., “Real-time Image Recognition of Gestures by Learning Gaze Points and Selecting and Controlling,” PRMU 2001-203, 2002.1.
[Non-patent document 2]
Saki et al., “A trial of action interface using personal computer video input”, Proceedings of the 12th Human Interface Symposium, pp. 21-218, 1996.
[0010]
[Problems to be solved by the invention]
However, the conventional method described above has the following problems.
[0011]
In the first conventional example, it is necessary to contact the device when detecting the movement of the hand of the operator (user), and to require a fixed and limited place for using the device. That is, it is a contact type, and it is difficult to detect an operation at an arbitrary place.
[0012]
The second and third conventional examples are non-contact type and can detect an operation at an arbitrary position within a range shown in a camera image. However, since it is necessary to always attach some marker or sensor to a body part, Lacks the convenience as an interface device in normal life such as work and work.
[0013]
In the fourth conventional example, the movement can be detected without wearing anything on the body, but it is not convenient for the user because it is impossible to visually check whether the movement of the user is recognized.
[0014]
In the fifth conventional example, the position of the user can be detected by touching the CG displayed on the same display while watching the self-portrait. However, since contact determination is performed on the entire body of the user, portions other than the fingers (head, Even if the user touches an icon (CG to be touched) without any distinction, the recognition accuracy is low because the possibility of erroneous recognition is high. In addition, since an icon (CG to be touched) cannot be placed behind the user, an interface icon cannot be placed at an arbitrary position, which limits the icon position and the degree of freedom of user operation.
[0015]
In the fifth and sixth conventional examples, a user's movement can be detected by touching (overlapping) a finger or the like of a CG displayed on the same display while watching a self-portrait. There is a limitation in the application range because it cannot be instructed.
[0016]
SUMMARY OF THE INVENTION An object of the present invention is to provide an interface method and an apparatus that solve the problem of a contact type, the problem of difficulty in detecting motion at an arbitrary place, and the problem of lack of convenience as an interface apparatus. .
[0017]
It is another object of the present invention to provide an interface method and apparatus in which the position of icons and the degree of freedom of the user's operation are not limited and the application range is not limited.
[0018]
[Means for Solving the Problems]
In order to achieve the above object, an interface device of the present invention comprises:
Image input means for taking an image (self image) including the operator;
Means for generating an inverted image obtained by horizontally inverting the input image;
Means for detecting a position specified by the operator on the inverted image;
Means for selecting a command specified by the operator on the inverted image;
Means for displaying information on the inverted image based on the designated position and the command.
[0019]
Therefore, since the user can select a command to be specified without contacting the apparatus, the above problems (1), (2), and (3) can be solved.
[0020]
Further, in the embodiment of the present invention, the means for selecting a command includes, in an image obtained by photographing the real space displayed on the reverse image, a means for registering an arbitrary real object position in advance, and: Means for detecting a real object designated by the operator from a plurality of real objects registered in advance.
[0021]
Therefore, not only the CG displayed on the image but also the real object in the image obtained by photographing the real space can be designated, so that the problems (4) and (5) can be solved.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0023]
Referring to FIG. 1, an interface device according to a first embodiment of the present invention uses an image (self image) including an operator (user) as an input image and allows the user to view the self image while watching the self image. The command selection is performed on the image based on the image input unit 11, the inverted image generation unit 12, the designated position detection unit 13, the information display unit 14, and the command selection unit 15.
[0024]
As the image input unit 11, one camera is used as shown in FIG. The camera may be a commonly used video camera, which may be black and white or color. However, when a method using color information described below is used, a color camera is required.
[0025]
The inverted image generation unit 12 receives the image (input image) input by the image input unit 11, and generates an image (inverted image) that is inverted left and right (Step 21). An inverted image can be generated in real time by general-purpose image processing software (eg, HALCON) for an input image taken into the computer. Alternatively, it can be realized by a device that inputs an input image and generates a reverse image in real time (eg, a screen left / right reversing device UPI-100LRF of FOR-A Co., Ltd., or a Sony EVY-D100 with a camera integrated type).
[0026]
The designated position detecting unit 13 detects a position (user designated position) at which the user points at a body part such as a finger on the inverted image obtained by the inverted image generating unit 12 (step 22).
[0027]
As a first example of the designated position detection unit 13, there is a method in which a user has a marker and detects the marker in the inverted image by image processing. For example, first, an object of red (although other colors may be used, but a small number of colors are preferable in the background image) is held or attached to the hand, and the object is shaken and moved in front of the camera 11. A red component is extracted from the values of the color information such as RGB of the obtained color image (step 21), and a labeling process (a general image processing method of grouping each block) is performed (step 22). One red portion having the largest area is selected (step 23), the position of the center of gravity (x, y) at that position is obtained, and the obtained (x, y) coordinates are used as the user-specified position (step 24). Here, instead of the red object, the user holds or wears the red light emitting diode (LED) in the state where the light emitting diode (LED) may emit light in the same manner as the above-mentioned object, and extracts the color in the same manner. A method of doing this is also possible. (X, y) is not the center of gravity position (the average value of the sum of the x-coordinates of all the pixel values of the extracted part and the average of the sum of the y-coordinates), but the center position (the maximum of the x-coordinate of the extracted part) (The center value between the value and the minimum value, and the center value between the maximum value and the minimum value of the y coordinate).
[0028]
As a second example of the pointing position detection unit 13, there is a method in which the user does not have a marker and directly detects the position of the hand in the inverted image by image processing. For example, first, a skin color component is extracted from the values of the RGB color matching information of the obtained color image (step 31), and a labeling process is performed (step 32). A target hand is selected from the obtained plurality of skin color portions using constraint information such as the size and position of the hand. As a specific method of selection, if the user usually wears clothes, it is considered that both hands and the face are likely to be candidates for the skin color portion, and that the face having the largest area is the face. Therefore, the second and third large skin color portions are selected as hand candidates (step 33). If the user-specified positions are both hands, the center of gravity positions for the two candidates for the skin color portion may be the user-specified positions of the left and right hands. In addition, if the user specifies one position, it is necessary to select one from two candidates. For example, if the right hand is specified in advance, a candidate on the right hand side of the body (because the right hand is likely) is selected. The right-hand skin color portion is selected, and the position of the center of gravity may be set as the user-specified position of the right hand (step 34). The same is true for the left hand.
[0029]
In these examples of the pointing position detection unit 13, the accuracy can be improved by adding a process using a difference image before performing the above-described detection process. The process using the difference image is, for example, a process of comparing a background image (an image captured without a user) and a current image currently captured (an image with a user) on a reverse image, for example. Create a difference image between them. The difference image can be created, for example, by obtaining the absolute value of the difference between the pixel value of the background image and the pixel value of the current image (at the same pixel position) for each pixel. By using this difference image, only a moving object such as a body is extracted in advance, and then the image processing as described above (for example, a method of extracting a marker attached to the body, a method of extracting a skin color, or the like) is performed. If a user-specified position is detected and its coordinates are acquired, it can be easily estimated that false detection of a color similar to the color of a marker or a skin color included in the background image can be reduced.
[0030]
With such an indicated position detection unit 13, only a marker or a hand can be used as a contact determination site without selecting the entire body for command selection, so that an icon or the like for command selection can be set at an arbitrary position. A high degree of freedom is obtained for its position and user movement.
[0031]
The command selection unit 14 collates the user-specified position obtained by the specified-position detection unit 13 with the display positions of a plurality of pieces of command information displayed on the information display unit 15, and the user attempts to specify based on the positional relationship between the two. Search and select command information (step 23). For example, if there is a command displayed within a certain distance range from the user-specified position, it may be selected. Since the designated position detecting unit 13 performs the contact determination at the body part desired by the user without performing the contact determination on the whole body, the display position of the command information displayed on the information display unit 15 is the contact position at the user's body part. Since it is permissible to hide behind a part for which no determination is made, both the display position of the command information and the position of the user himself can be arranged at arbitrary positions on the screen.
[0032]
The information display unit 15 superimposes the inverted image obtained by the inverted image generation unit 12 and the command information selected by the command selection unit 14 and displays the same on the display (step 24). The display may be a general-purpose display used for a computer, as long as it can display a computer screen and a camera image. As the command information, commands that can be selected by a CG created by a computer may be displayed.
[0033]
The user can select a command simply by superimposing his / her finger on the command information displayed in the CG on the same screen while watching the screen on which the self-image is reflected, so that it is possible to give an easy-to-understand instruction with few errors. .
[0034]
Referring to FIG. 4, the interface device according to the second embodiment of the present invention uses an image (self image) including an operator (user) as an input image, and allows the user to view the self image while watching the self image. A real object in a real space included in an image is selected based on the image input unit 11, the inverted image generation unit 12, the designated position detection unit 13, the real object detection unit 16, the real object registration unit 19, and information display. It comprises a unit 15.
[0035]
In the present embodiment, the command selection unit 14 shown in the first embodiment is provided with a mechanism capable of detecting a real object. Specifically, the command selection unit 14 of the first embodiment includes a real object detection unit 16 and a real object registration unit 19. The real object registration unit 19 includes a real object registration processing unit 17 and real object position data 18. The other image input unit 11, inverted image generation unit 12, indicated position detection unit 13, and information display unit 15 are the same as in the first embodiment.
[0036]
The real object registration processing unit 17 is an arbitrary real object (for example, in a house, a television, an air conditioner, a computer, a clock, a window, a shelf, a chair, a desk, a drawer, a document, an audio device) , Lighting equipment, etc.), display positions on the inverted image are obtained in advance, and registered and stored in the real object position data 18 (step 25). Alternatively, instead of obtaining a fixed position in advance, by attaching a sensor capable of recognizing the position of each target real object (a commercially available magnetic sensor or ultrasonic sensor, etc.), Since the position can be recognized in real time, the real object position data can be calculated from the position information obtained thereby, and the real object position data can be constantly updated. In this case, even if the object is moved, its position can be moved.
[0037]
The real object position data 18 may be one piece of center coordinates (x, y) of the object, but information indicating a range (for example, starting point coordinates (x1, y1) and ending point coordinates (x2, y2) of the rectangular frame, center The coordinates (x, y) and the radius value r, or a coordinate list of all the dots where the object is present may be stored. The center coordinate may be the barycentric coordinate similarly to the processing of the designated position detecting unit 13 of the first embodiment.
[0038]
The real object detection unit 19 collates the plurality of position data stored in the real object position data 18 with the user-specified position obtained by the specified position detection unit 13, and checks the command selection unit 14 according to the first embodiment. Similarly to the above, a real object to be pointed by the user is detected and selected based on the positional relationship between them (step 26). For example, if there is position data of a real object within a certain distance range from the user-specified position, it may be selected. Alternatively, when a range is provided as the real object position data, a real object whose coordinates specified by the user is included in the range is detected and selected.
[0039]
FIG. 6 shows an example of the interface operation according to the present embodiment.
[0040]
The display position of the real object reflected on the self image viewed by the user is obtained in advance and registered in the real object position data 18 (when the position recognition sensor or the like is used as described above, the display position is automatically determined). The actual object position can be detected and registered and updated in the object position data 18). When the user does not perform the instructing operation, there is no reaction, but when the user performs an operation of superimposing a hand (or a marker) on the real object that the user wants to access, and determines that the real object detecting unit 16 has detected the real object. , The position of the detected real object is specified. As shown in the figure, for example, as shown in the figure, an icon of the same shape or substantially the same size as the real object (a color changed, a translucent or transparent, a flashed, or the like as necessary) is displayed. A method of superimposing on a real object and displaying a marker by CG (color-changed, translucent or transparent, blinking, etc.) around the center of the real object or around the real object as necessary The display method can be easily considered. That is, the user actually touches a virtual icon on the position of the real object or a displayed CG icon (transparent, translucent, or another color). Further, related information (name, state, etc.) may be displayed around the detected real object. Further, as shown in the figure, a menu list to be subsequently selected is displayed by CG around the position of the detected real object, and the user selects a similar selection method (that is, a menu for selecting a hand or the like) from the menu list. It is also possible to select and execute a menu by, for example, a method of superimposing and selecting an icon.
[0041]
Thus, the user can not only select a command by specifying the CG icon displayed on the image, but also directly select a real object in the real space image. When combined with CG command selection as in the first embodiment, for example, when pointing to and selecting a television or the like, a CG menu for selecting a command for controlling a switch, channel, or the like of the television is displayed on the real object (television). Displayed in the vicinity, the user can continuously select a command and control a television or the like.
[0042]
In FIG. 6, when the user does not perform an instruction operation, nothing is reacted. For example, as shown in FIG. 7, when information to be presented to the user on the real object side is acquired, The information is displayed on or around the real object, or icons (colored, translucent, blinking, etc.) are clearly displayed on the real object by superimposition. It is also conceivable to notify the user who is in charge. Thereafter, as described above, when the user selects the real object, necessary information and a menu list are displayed.
[0043]
In addition, the present invention records a program for realizing the function other than that realized by dedicated hardware on a computer-readable recording medium, and stores the program recorded on the recording medium in a computer system. It may be read and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is one that dynamically holds the program for a short time (transmission medium or transmission wave), such as a case where the program is transmitted via the Internet, and serves as a server in that case. It also includes those that hold programs for a certain period of time, such as volatile memory inside a computer system.
[0044]
【The invention's effect】
According to the first, third and fifth aspects of the present invention, the user can select a command to be issued by the user without wearing anything or directly touching anything. Motion detection can be performed. In addition, since the user can select a command displayed on the self-image while directly looking at an arbitrary part (finger or the like) of his or her own body, an interface device intuitive for the user can be realized, which is convenient. The performance is improved.
[0045]
According to the invention of claims 2, 4, and 5, since not only the CG displayed on the image but also the real object in the image obtained by photographing the real space can be specified, not only command selection by CG but also real object It is possible to directly select the body, and the range of application can be expanded.
[Brief description of the drawings]
FIG. 1 is a block diagram of an interface device according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating a flow of an entire process according to the first embodiment.
FIG. 3 is a flowchart showing a flow of processing of a designated position detecting unit 13;
FIG. 4 is a block diagram of an interface device according to a second embodiment of the present invention.
FIG. 5 is a flowchart illustrating a flow of a process according to a second embodiment.
FIG. 6 is a diagram illustrating an example of an interface operation according to the second embodiment.
FIG. 7 is a diagram illustrating an example of information display of a real object according to the second embodiment.
[Explanation of symbols]
Reference Signs List 11 Image input unit 12 Inverted image generation unit 13 Pointed position detection unit 14 Command selection unit 15 Information display unit 16 Real object detection unit 17 Real object registration processing unit 18 Real object position data 19 Real object registration units 21 to 26, 31 to 34 Steps

Claims

カメラからの画像を入力し、人間の動作を認識するインタフェース方法であって、
操作者を含む画像を撮影する画像入力ステップと、
入力された画像を左右反転した反転画像を生成するステップと、
該反転画像上で、操作者の指定する位置を検出するステップと、
該反転画像上で、操作者の指定するコマンドを選択するステップと、
該指定された位置とコマンドに基づき該反転画像上に情報を表示するステップとを有するインタフェース方法。An interface method for inputting an image from a camera and recognizing human motion,
An image input step of capturing an image including the operator;
Generating an inverted image by inverting the input image horizontally,
Detecting a position specified by the operator on the inverted image;
Selecting a command specified by the operator on the inverted image;
Displaying information on the inverted image based on the designated position and the command.

前記コマンドを選択するステップは、
該反転画像上に表示された実空間が撮影された画像中において、予め任意に実物***置を登録するステップと、
該反転画像上で、操作者の指定する実物体を予め登録された複数の実物体の中から検出するステップとを含む請求項１記載のインタフェース方法。The step of selecting the command includes:
A step of arbitrarily registering a real object position in advance in an image obtained by photographing the real space displayed on the inverted image,
Detecting the real object specified by the operator from the plurality of pre-registered real objects on the inverted image.

カメラからの画像を入力し、人間の動作を認識するインタフェース装置であって、
操作者を含む画像を撮影する画像入力手段と、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で、操作者の指定する位置を検出する手段と、
該反転画像上で、操作者の指定するコマンドを選択する手段と、
該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段とを有するインタフェース装置。An interface device that receives an image from a camera and recognizes human motion,
Image input means for capturing an image including the operator;
Means for generating an inverted image obtained by horizontally inverting the input image;
Means for detecting a position specified by the operator on the inverted image;
Means for selecting a command specified by the operator on the inverted image;
Means for displaying information on the inverted image based on the designated position and the command.

前記コマンドを選択する手段は、該反転画像上に表示された実空間が撮影された画像中において、予め任意の実物***置を登録する手段と、該反転画像上で、操作者の指定する実物体を予め登録された複数の実物体の中から検出する手段とを含む請求項３記載のインタフェース装置。The means for selecting the command includes: means for registering an arbitrary real object position in advance in an image obtained by photographing the real space displayed on the inverted image; 4. An interface device according to claim 3, further comprising means for detecting a body from a plurality of real objects registered in advance.

請求項１または２に記載のインタフェース方法をコンピュータに実行させるためのインタフェースプログラム。An interface program for causing a computer to execute the interface method according to claim 1.