JP2005063225A - 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム - Google Patents

Abstract

【課題】 操作者が、遠隔地側映像上で、重畳された自己像を見ながら遠隔地映像中の遠隔地物体を非接触に指定できるようにする。
【解決手段】 ユーザ側画像入力部１で入力された画像２０１から反転画像生成部２によって反転画像２０２が生成される。指示位置検出部３は反転画像２０２において、ユーザ指示位置２０３を検出する。遠隔地側画像入力部４で入力された画像２０４はネットワーク１３を介してユーザ側に送られる。反転画像２０２と遠隔地側入力画像２０４は画像重畳部５で重畳される。コマンド選択部６はユーザ指示位置２０３とユーザ１２が選択しようとする複数のコマンド情報のディスプレイ８上の表示位置からコマンド情報２０６を選択し、出力する。情報表示部７は重畳画像２０５とコマンド情報２０６とを重ね合わせてディスプレイ８に表示する。
【選択図】 図１

Description

本発明は、ユーザ（操作者）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、メニューの選択・実行ができるインタフェース装置に関する。

従来、コンピュータと人間とのインタフェースにおいて、人間の動作に基づき、画面上でコマンド選択するインタフェース方法としては、キーボードやマウス等のポインティング装置を用いる方法がある。また、カメラからの画像情報から動作を検出する方法がある。一方、通信を介して、遠隔地にある物体（機器等）を操作・情報表示するインタフェース装置としては、コンピュータのソフトによりネットワークを介して遠隔地のカメラを制御可能なＷｅｂカメラがある。

このようなインタフェース装置の第１の従来手法として、現在一般のコンピュータに接続可能で市販されている装置として、キーボード、マウス、タッチパネル型のディスプレイがある。これらはいずれもユーザの手の動きを検出し、入力情報に変換するものである。

また、第２の従来手法として、モーションキャプチャシステム関連の製品で、体にマーカーを装着し画像処理によって動きを検出する装置がある。例えば、Ｖｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ Ｌｔｄ．社の「３次元動作解析システムＶｉｃｏｎ」（販売元：株式会社ナックイメージテクノロジー）は、体の複数の部位に球形の反射マーカーを貼付け、複数台のカメラからの入力画像から画像処理により各マーカーの３次元座標を算出する方法である。

また、第３の従来手法として、Ｖｉｖｉｄ Ｇｒｏｕｐ社のＧｅｓｔｕｒｅ Ｘｔｒｅｍｅ Ｓｏｆｔｗａｒｅ関連製品（例えばＳｏｃｃｅｒ ＧＸ， Ｖｏｌｌｅｙｂａｌｌ等）がある。本製品は、ＣＧ背景画像上に自己像を重ね合わせ、画像上でＣＧのボール等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のＣＧソフトとユーザとのインタフェースを実現している。また、非特許文献１に記載の方法がある。本方法は、自画像上にＣＧのアイコンを表示させ、カメラに向かって行った動作に基づき希望のアイコンを選択（実行）するものである。

また、第４の従来手法として、遠隔地間のコミュニケーションが可能な手法として、非特許文献２に記載の手法がある。本手法は、ディスプレイ上に複数地点にいるユーザ映像を自己像含めて重ね合わせ、その映像を各ユーザに表示することにより、各地にいるユーザが同室にいるかのような効果を持つインタフェースである。
佐木ら，"パソコン映像入力を用いたアクション・インタフェースの試み"，第１２回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．２１３−２１８，１９９６ 森川ら，"相手の空間の指差しが可能なビデオ対話：超鏡"，計測自動制御学会第５０回パターン計測部会研究会，ｐｐ．３８２−３８７，２０００

しかしながら、上記の従来手法では、以下に示す問題があった。

第１の従来手法は、ユーザ（操作者）の手の動きを検出する際に装置に接触する必要があり、また装置を利用するための固定し限定された場所が必要であるため、任意の場所での動作検出を行うことが困難である。

第２の従来手法は、非接触型でありカメラ画像に写る範囲の任意の場所での動作を検出できるが、体の部位に常に何らかのマーカーまたはセンサを装着する必要があるため、家庭や職場等の通常生活におけるインタフェース装置としての利便性に欠ける。

第３の従来手法は、自画像を見ながら同じディスプレイに表示されたＣＧに手指等を触れる（重ねる）ことでユーザの動きを検出できるが、背景に写っている実空間上の物体を指示することはできないため、応用範囲に制限がある。

第４の従来手法は、遠隔地にいる人や物体の映像と、ユーザの自己像を重ねることにより、仮想的に同室にいるかのような効果は得られるが、遠隔地同士の互いのユーザが同じ映像を観察できるだけであり、遠隔地の人や物体に対するアクセス機能はないため、ユーザは遠隔地の物体に対して機器の操作や情報の表示のような遠隔地物体とのインタラクション操作を行うことはできない。

また、第４の従来手法は、一方のユーザ側の映像はクロマキー手法を用いてユーザの画像部分を切り出した上で遠隔地の映像上に重ね合わせている（重畳している）ため、背景を固定背景（ブルーバック等）とするような制限された撮影場所・条件でしか実現できない。

本発明の目的は、前述した従来手法に対して、
（１）接触型である問題、任意の場所での動作検出を行うことが困難である問題、
（２）インタフェース装置としての利便性に欠ける問題、
（３）応用範囲に制限がある問題、
（４）遠隔地の物体に対する機器操作や情報表示操作を行うことができない問題、
（５）撮影場所・条件が制限される問題、
を解決したインタフェース方法、装置、ならびにプログラムを提供することにある。

前記目的を達成するために、本発明のインタフェース装置は、操作者側の画像を入力し、左右反転した反転画像を生成する手段と、該反転画像上で操作者の指示している位置を検出する手段と、遠隔地側の画像を入力する手段と、検出した操作者の指示位置に対応する実物体を、遠隔地側入力画像中から検出する手段と、該反転画像と該遠隔地側入力画像とを重畳した画像を生成する手段と、該重畳画像上で、操作者の指定するコマンドを選択する手段と、該指定されたコマンドに基づき該重畳画像上に情報を表示する手段とを有している。

そのため、操作者は、遠隔地側映像上で、重畳された自己像を見ながら遠隔地映像中の遠隔地物体を非接触に指定できるので、前記の課題（１）（２）（３）（４）を解決できる。

本発明の実施態様では、反転画像と遠隔地側入力画像とを重畳して表示する手段が、操作者側の反転画像を半透明化して、遠隔地側入力画像と重畳する手段を含んでいる。

操作者側の映像全体を半透明にして重畳するため、操作者は任意の場所で任意の背景にて遠隔地の物体の操作が可能であるので、前記の課題（１）（２）（３）（４）（５）を解決できる。

本発明の他の実施態様では、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する手段が、該遠隔地側入力画像上において予め任意の実物***置を登録する手段と、操作者の指定する実物体を予め登録された複数の実物体の中から検出する手段とを有している。

そのため、位置情報の初期値を登録・更新できるため、遠隔地側の物体の位置が移動しても、予め位置情報の初期値を修正しておけば、移動後の位置の物体をユーザが指定することができるので、前記課題の（１）（２）（３）（４）（５）を解決できる。

本発明の他の実施態様によれば、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する手段が、遠隔地側の実物体の位置を検出する手段と、得られた実物***置と、操作者側で操作者の指示する位置から、操作者の指示する実物体を検出する手段とを有している。

遠隔地側の物体が移動しても移動先の物***置を検出しているため、静止している物体だけでなく移動物体に対しても、ユーザが指定する物体を検出することができるので、前記の課題（１）（２）（３）（４）（５）を解決できる。

本発明によれば、例えば、遠隔地の部屋にある家電機器を遠隔操作したり、遠隔にある物体の情報を画面に表示したりできる。遠隔地として、例えば自宅と会社の間や、自宅内の別の部屋同士間にまたがる操作や情報表示が可能であり、そのような場面での非接触型インタフェース装置としての利用が考えられる。

請求項１と５と９の発明は、操作者は、遠隔地側映像上で、重畳された自己像を見ながら遠隔地映像中の遠隔地物体を指定できるため、ユーザフィードバックを得られるので操作者の希望する指定場所（物体）を高速かつ正確に指定することができる。また、非接触の操作により指定できるため、操作のための入力機器であるディスプレイから離れた位置から、遠隔地映像中の指定場所（物体）を指定することができる。これらから、インタフェースの利便性が向上する。

請求項２と６と９の発明は、操作者側の映像全体を半透明にして、遠隔地映像上に重畳するため、操作者側映像中の操作者以外の背景映像部分も薄くなって映るので、濃く映っている遠隔地側の操作対象物体を指定する際のユーザの選択操作性を低下させることはほとんどなく、このためユーザは、任意の場所で任意の背景にて遠隔地の物体の操作が可能となる。このため、インタフェースの利便性が向上する。

請求項３と７と９の発明は、位置情報の初期値を登録・更新できるため、遠隔地側の物体の位置が移動しても、予め位置情報の初期値を修正しておけば、移動後の位置の物体をユーザが指定することが可能となる。このため、インタフェースの利便性が向上する。

請求項４と８と９の発明は、遠隔地側の物体が移動しても移動先の物***置を検出しているため、静止している物体だけでなく移動物体に対しても、ユーザが指定する物体を検出することができ、任意の対象物体に対して操作が可能となる。このため、インタフェースの利便性が向上する。

次に、本発明の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は本発明の第１の実施形態のインタフェース装置の構成図、図２はその処理を示すフローチャートである。

本実施形態のインタフェース装置は、ユーザ（操作者）１２を含む画像（自己画像）を入力画像とし、ユーザ１２がディスプレイ８上の自己画像を自分で見ながら、ユーザ１２の動作に基づき、重畳された（重ね合わされた）遠隔地側画像中の物体に対しコマンドを実行するもので、ユーザ側画像入力部１と反転画像生成部２と指示位置検出部３と遠隔地側画像入力部４と画像重畳部５とコマンド選択部６と情報表示部７で構成される。

ユーザ側画像入力部１として、本例では、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。

反転画像生成部２は、画像入力部１で入力された画像（入力画像）２０１を入力し、左右反転させた画像（反転画像）２０２を生成する（ステップ１０１）。コンピュータ内へ取り込んだ入力画像２０１に対し汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに反転画像２０２を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）で実現できる。

指示位置検出部３は、反転画像生成部２で得られた反転画像２０２上において、ユーザ１２が手指等の体の部位で指し示す位置（ユーザ指示位置）２０３を検出する（ステップ１０２）。

指示位置検出部３の１つ目の実現例として、ユーザ１２がマーカを持ち、反転画像２０２中のマーカを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラ１の前で手振りして動かす。得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，ｙ）を求める。得られた（ｘ，ｙ）座標をユーザ指示位置２０３とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ，ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。

指示位置検出部３の２つ目の実現例として、ユーザ１２がマーカを持たずに、反転画像２０２中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像をＲＧＢ等の色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法例としては、ユーザが通常衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置を両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。またユーザ指定位置を１つとすると、２つの候補から１つを選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置２０３とすればよい。左手の場合も同様である。

指示位置検出部３のこれらの実現例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像は、例えば、反転画像２０２上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（例えば体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置２０３を検出しその座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。

このような指示位置検出部３により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触判定部位に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるのでその位置およびユーザ動作に関して高い自由度を得られる。

遠隔地側画像入力部４として、図１のように１台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。遠隔地側入力画像２０４は、ネットワーク１３を介してユーザ側に送る。画像をネットワーク１３を介して送る方法は、既存の一般的なインターネットを用いた映像データ送信技術を使うことによっても可能であり、また一般的な映像放送等による無線を用いた送信によっても、有線ネットワーク上での送信によっても容易に可能である。さらにまた、ネットワーク１３を介さず、遠隔地側画像入力部４の出力２０４を直接画像重畳部５に接続することも可能である。ユーザ側と遠隔地側が比較的近い場所にある場合には、このような直接接続で映像信号を送る方法も有効である。その場合は図のネットワーク１３は省略できる。

画像重畳部５は、反転画像生成部２で得られた反転画像２０２と、遠隔地側画像入力部４で得られた遠隔地側画像２０４を１つの画像に重ね合わせる（ステップ１０３）。この時、ユーザ１２の自己像が写った反転画像２０２からユーザ１２の体の輪郭（または動作入力に必要な手指等の部分画像だけもよい）を切り出し、遠隔地側画像２０４の上にその切り出した画像部分を重ね合わせる。ユーザ１２の体の切り出しは、例えば画像処理により実現できる。切り出しの画像処理方法としては、背景差分によるユーザ１２の切り出し方法がある。これは、例えば反転画像２０２（またはユーザ側の入力画像２０１）について予めユーザ１２のいない場合の背景画像を撮影取得しておき、ユーザ１２がいる場合に、背景画像とユーザ１２がいる場合の画像との差分画像を生成することにより行える。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。または、肌色認識処理を用いることにより、手の部分だけを切り出すことも容易に可能である。これらにより、遠隔地側画像２０４中にユーザ１２が入り込んだかのような重畳画像を生成できる。

コマンド選択部６は、指示位置検出部３で得られたユーザ指示位置２０３と、ユーザ１２が選択しようとする複数のコマンド情報のディスプレイ８上での表示位置を照らし合わせ、両者の位置関係からユーザ１２が指示しようとするコマンド情報２０６を探索し選択する（ステップ１０４）。ユーザ１２が選択しようとする複数のコマンド情報のディスプレイ８上での該表示位置は、各々予め、該遠隔地側入力画像上での表示位置を定めて記憶しておけばよい。例えば、ユーザ指示位置からある一定の距離範囲に表示位置を持つコマンドがあればそれを選択すればよい。コマンド情報２０６の表示位置は、コマンド毎に予め任意の位置に決めておけばよい。

情報表示部７は、画像重畳部５で得られた重畳画像２０２とコマンド選択部６で作成されたコマンド情報２０６とを重ね合わせてディスプレイ８に表示する（ステップ１０５）。ディスプレイ８は、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。コマンド情報２０６とは、コマンド表示位置やコマンド内容等のコマンドに関わる情報と、ユーザ１２がその中から選択したコマンドの情報であり、その表示方法は、コンピュータで作成したＣＧで、選択可能なコマンド（群）、および選択されたコマンドを表示すればよい。また、指示位置検出部３で得られたユーザ指示位置２０３についても、例えばマウスのカーソル表示のようにリアルタイムに明示して表示してもよい。コマンドの内容としては、遠隔地側の物体を操作したり情報を表示するコマンドでもよいし、ユーザ側の部屋に関わる操作や情報表示を行うコマンドでもよい。遠隔地側の物体を操作したり情報を表示するコマンドであれば、重畳画像２０５中に遠隔地側の画像が表示されているので、ユーザ１２にとって、操作の判断や、操作結果の確認が可能であり、ユーザ利便性の高いインタフェースを実現できる。

本実施形態によれば、ユーザ１２は、自己画像が映った画面を見ながら、同じ画面上にＣＧ表示されているコマンド情報２０７に手指等を重ね合わせるだけでコマンド選択が可能であるため、分かり易く間違いの少ない指示が可能になる。

（第２の実施形態）
図３は本発明の第２の実施形態のインタフェース装置の画像重畳部の構成図、図４はその処理を示すフローチャートである。

本実施形態のインタフェース装置は、ユーザ（操作者）１２を含む画像（自己画像）を入力画像とし、ユーザが１２ディスプレイ８上の自己画像を自分で見ながら、ユーザ１２の動作に基づき、重畳された（重ね合わされた）遠隔地側画像中の物体に対しコマンドを実行するもので、図１の第１の実施形態で示した画像重畳部５を、画像を半透明化処理する半透明化処理部５Ａと、重畳処理部５Ｂで構成したものである。他のユーザ側画像入力部１、反転画像生成部２、指示位置検出部３、遠隔地側画像入力部４、コマンド選択部６、情報表示部７の機能は、第１の実施形態と同様である。第１の実施形態と同様に、遠隔地側入力画像２０４をユーザ側に送る際にネットワーク１３を介しても介さなくてもよい。

半透明化処理部５Ａは、入力された反転画像２０３を半透明化する（ステップ１０３Ａ）。半透明化の度合いを自由に設定することも容易に可能である。半透明化の方法は、画像データに対し、画素ごとに透明度（アルファ値とも言われ一般的な方法である）情報を持たせることで実現できる。重畳処理部５Ｂは、遠隔地側画像２０４を背景として、その上に、半透明化された反転画像を重ね合わせて（重畳して）１枚の画像（重畳画像）２０５を生成する（ステップ１０３Ｂ）。重畳する際は、半透明化された反転画像中の透明度の値の高い画素は、背景の画素値がその透明度の割合だけその画素情報（カラー画像ならカラー情報）が表示されることになる。例えば、透明度が０．７ならば、同じ位置の背景画素の情報を７０％、残りの３０％を反転画像２０５上の画素情報として、各々の値を加算して求めればよい。

本実施形態によれば、ユーザ１２の自己像を含む反転画像２０２を半透明化して遠隔地側画像２０４に重畳するため、ユーザ１２は遠隔地側入力画像２０４中の物体像と、ユーザ１２の自己像を同時に見られるので、手指等と目的の物体を画像上で重ねる操作を行う際に、遠隔地でありながら、仮想的に同じ部屋にあるかのような操作性の高いインタフェースを実現できる。また、透明度は自由に設定できるので、重畳したときに、ユーザ１２に最も操作しやすく自由に透明度を変更することができる。

また、半透明化処理部５Ａは、反転画像２０２だけを半透明化するのではなく、遠隔地側入力画像２０４を半透明化処理し、反転画像２０２と重畳してもよい。もちろん、遠隔地側入力画像２０４と反転画像２０２の両方を半透明化してから重畳してもよい。これらにより、それぞれの入力画像の状態（撮影された照明条件、背景画像、物体・ユーザの色状態など）により、ユーザ１２に最も操作しやすく自由に各々の透明度を変更することもできる。

（第３の実施形態）
図５は本発明の第３の実施形態のインタフェース装置の構成図、図６はその処理を示すフローチャートである。

本実施形態のインタフェース装置は、ユーザ（操作者）１２を含む画像（自己画像）を入力画像とし、ユーザ１２がディスプレイ８上の自己画像を自分で見ながら、ユーザ１２の動作に基づき、重畳された（重ね合わされた）遠隔地側画像中の物体に対しコマンドを実行するもので、ユーザ側画像入力部１と反転画像生成部２と指示位置検出部３と遠隔地側画像入力部４と画像重畳部５と実物体検出部９と情報表示部７と実物体登録部１０で構成される。

本実施形態では、第１の実施形態の内容に加え、第１の実施形態で示したコマンド選択部６に、実物体１４の検出ができる仕組みを装備している。具体的には、第１の実施形態のコマンド選択部６が実物体検出部９と実物体登録部１０で構成されている。実物体登録部１０は実物***置データ１０Ａと実物体登録処理部１０Ｂで構成される。他のユーザ側画像入力部１、反転画像生成部２、指示位置検出部３、遠隔地側画像入力部４、画像重畳部５、情報表示部７は、第１の実施形態と同様である。第１、第２の実施形態と同様に、遠隔地側入力画像２０４をユーザ側に送る際に、ネットワーク１３を介しても介さなくてもよい。また、画像重畳部５は、第２の実施形態のように、半透明化処理を含んだ処理も可能である。

実物体登録処理部１０Ｂは、遠隔地側入力画像２０４上に含まれている任意の実物体１４（例えば家の中とすると、テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等）について、該遠隔地側入力画像２０４上での表示位置を予め各々求め、実物***置データ１０Ａへ各々登録・保存する（ステップ１０６）。

実物***置データ１０Ａは、物体の中心座標（ｘ，ｙ）１個でもよいが、範囲を示す情報（例えば、矩形枠の始点座標（ｘ１，ｙ１）と終点座標（ｘ２，ｙ２）や、中心座標（ｘ，ｙ）と半径値ｒや、または物体の存在する全ドットの座標リスト等）を持たせておいてもよい。第１の実施形態の指示位置検出部３での処理と同様に中心座標は重心座標に置き換えてもよい。

実物体検出部９は、実物***置データ１０Ａに保存されている複数の位置データと、指示位置検出部３で得られたユーザ指示位置２０３とを照らし合わせ、第１の実施形態のコマンド選択部６と同様に、両者の位置関係に基づきユーザ１２が指示しようとする実物体１４を検出し選択する（ステップ１０７）。例えば、ユーザ指示位置からある一定の距離範囲に実物体１４の位置データがあればそれを選択すればよい。または、実物***置データ１０Ａとして範囲を持たせておいた場合は、ユーザ指示位置の座標がその範囲に含まれる実物体１４を検出し、選択する。

図７に本実施形態によるインタフェース動作の例を示す。

遠隔地側入力画像２０４上に映っている実物体について、予め表示位置を求め、各々実物***置データ１０Ａへ登録しておく。ユーザ側入力画像２０１を反転した反転画像２０２が遠隔地側入力画像２０４の上に重畳されており、ユーザ１２が動作すると、重畳画像２０５上のユーザ像は、遠隔地側の実物体の前面で動作しているように見える。ユーザ１２が指示動作をしていない時は何も反応しないが、ユーザ１２がアクセスしたい実物体に手指（やマーカ）等を重ねる動作を行い、実物体検出部９で実物体を検出したと判定した時、検出された実物体の位置が明示される。その明示の仕方は、例えば、実物体と同じ形もしくはほぼ同じ大きさのアイコン（必要に応じ色を変えたものや半透明にしたものや点滅させたもの等）を該実物体の上に重ねて表示する方法や、実物体の中心付近や実物体周囲にＣＧによるマーカ（必要に応じ色を変えたものや半透明にしたものや点滅させたもの等）を表示する方法など容易に考えられる。すなわち、実際は実物***置上の仮想のアイコン、もしくは表示した（透明もしくはその他の色の）ＣＧアイコンを触ることとなる。また、検出された実物体の周囲等に、関連する情報（名称や状態等）を表示してもよい。さらに、図のように、検出された実物***置の周囲等に、その後続けて選択すべきメニューリストをＣＧ表示し、ユーザ１２はそのメニューリストから同様の選択方法（すなわち手指等を選択したいメニューアイコンに重ね合わせて選択する方法）等によりメニューを選択し実行することも可能である。

これにより、ユーザ１２は、画像上に表示されたＣＧアイコンを指定してコマンド選択できるだけでなく、遠隔地にある実物体１４を、画像中の物体像２０８を介して直接選択することも可能となる。第１の実施形態のようにＣＧによるコマンド選択と組み合わせれば、例えば、遠隔地のテレビ等を指し示して選択すると、テレビのスイッチやチャンネル等を制御できるようなコマンド選択用ＣＧメニューが該実物体（テレビ）の周辺に表示され、ユーザ１２は続けてコマンド選択を行い、遠隔地の実物体（テレビ）に対して各種操作を行うことが可能である。

また、遠隔地の実物体側でユーザ１２に提示すべき情報を獲得していた場合、重畳画像２０５上の該実物体像の上または周囲に該情報を表示したり、もしくはアイコン（色を変えたものや半透明にしたものや点滅させたもの等）を該実物体像の上に重ねたりして明示し、見ているユーザ１２に知らせるようにすることも考えられる。その後は前述と同様に、ユーザ１２が該実物体を選択すると、必要な情報やＣＧメニューを表示できる。

（第４の実施形態）
図８は本発明の第４の実施形態のインタフェース装置の構成図、図９はその処理を示すフローチャートである。

本実施形態のインタフェース装置は、ユーザ（操作者）１２を含む画像（自己画像）を入力画像とし、ユーザ１２がディスプレイ８上の自己画像を自分で見ながら、ユーザ１２の動作に基づき、重畳された（重ね合わされた）遠隔地側画像中の物体に対しコマンドを実行するもので、ユーザ側画像入力部１と反転画像生成部２と指示位置検出部３と遠隔地側画像入力部４と画像重畳部５と実物体検出部９と情報表示部７と実物体登録部１０と実物***置検出部１１で構成される。以下、本発明の動作を説明する。

本実施形態では、第３の実施形態の内容に加え、遠隔地側に実物体の位置をリアルタイムに検出できる仕組みを装備している。具体的には、第３の実施形態に加え、実物***置検出部１１を装備している。他のユーザ側画像入力部１、反転画像生成部２、指示位置検出部３、遠隔地側画像入力部４、画像重畳部５、情報表示部７、実物体登録部１０は、第３の実施形態と同様である。第１、第２、第３の実施形態と同様に、遠隔地側画像入力部４、実物***置検出部１１は、ユーザ側とはネットワーク１３を介しても介さなくてもよい。また、画像重畳部５は、第２の実施形態のように、半透明化処理を含んだ処理方法も可能である。

実物***置検出部１１は、遠隔地側画像入力部４から送られた遠隔地側入力画像２０４を入力し、対象とする物体の画像上の位置を求める処理を行う（ステップ１０８）。物***置を求める方法としては、対象とする実物体毎に位置認識可能なセンサ（広く市販も研究開発もされており、磁気センサ、超音波センサ、赤外線センサ等各種ある）を取り付けておくことにより、各々の物体の位置をリアルタイムに検出する方法がある。また、物***置を求める他の方法としては、撮影している遠隔地側入力画像２０４を用い、画像処理により求める方法がある。具体的には、対象とする物体の色や形状情報を予め登録しておき、該画像の上で、登録している物体をパターンマッチング処理等の画像処理により検出すればよい。パターンマッチング処理の方法については、汎用の画像処理ソフトの１機能として装備されていたり、また広く市販・研究開発が行われているものであり、容易に利用・実現可能である。画像処理を用いた方法の場合は、図８に示した物体１４に取り付けるセンサ１５はなくてもよい。

本実施形態によれば、実物***置データを常時更新していくことも可能であり、物体を移動させてもその位置情報も移動させられるので、情報表示部７によってユーザ側に表示される画像上では、物体が移動しても移動した先の物体（現時点の物体）をユーザ１２は画面上で触ることができる。

（第５の実施形態）
以上の実施形態では、遠隔地側からユーザ側へ画像が流れ、ユーザ側で操作するものであったが、いずれの実施形態でも、本システムを２セット用いて、互いに逆向きに設置することにより、双方向の操作が可能なインタフェース装置を実現可能である。これにより、遠隔地間でそれぞれにユーザがいて、互いの部屋の背景に移っている物体を操作したり情報表示したりすることも可能であり、その際、互いのユーザも同一の画面に重畳することも容易に可能であるので、両ユーザがあたかも１つの同部屋にいて、同じく見えている物体を２人で確認しながら触ることも可能である。

（第６の実施形態）
以上の実施形態では、２箇所の地点を接続するものであったが、本システムにおける遠隔地側を複数設定することも可能である。また、同様にユーザ側を複数設定することも容易に可能である。さらに、第５の実施形態のような双方向操作を可能とすれば、任意の地点のユーザが任意の地点のユーザもしくは物体に対して機器操作や情報表示（情報取得）を行うことができる。重畳する画像としては、そのうちの必要な２地点の画像を重畳し、必要に応じ別の２地点に切り替える方法でもよいし、また必要な３地点以上の画像を重畳して表示してもよい。

なお、本発明のインタフェース方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。

本発明の第１の実施形態のインタフェース装置の構成図である。 第１の実施形態の処理を示すフローチャートである。 本発明の第２の実施形態のインタフェース装置の構成図である。 第２の実施形態の処理を示すフローチャートである。 本発明の第３の実施形態のインタフェース装置の構成図である。 第３の実施形態の処理を示すフローチャートである。 第３の実施形態における操作例を説明する図である。 本発明の第４の実施形態のインタフェース装置の構成図である。 第４の実施形態の処理を示すフローチャートである。

符号の説明

１ ユーザ側画像入力部
２ 反転画像生成部
３ 指示位置検出部
４ 遠隔地側画像入力部
５ 画像重畳部
５Ａ 半透明化処理部
５Ｂ 重畳処理部
６ コマンド選択部
７ 情報表示部
８ ディスプレイ
９、９´ 実物体検出部
１０ 実物体登録部
１０Ａ 実物***置データ
１０Ｂ 実物体登録処理部
１１ 実物***置検出部
１２ ユーザ
１３ ネットワーク
１４ 実物体
１５ センサ
１０１ 反転画像生成処理
１０２ 指示位置検出処理
１０３ 画像重畳処理
１０３Ａ 半透明化処理
１０３Ｂ 画像重畳処理
１０４ コマンド選択処理
１０５ 情報表示処理
１０６ 実物体データ処理
１０７ 実物体検出処理
１０８ 実物***置検出処理
２０１ ユーザ側入力画像
２０２ 反転画像
２０３ 指示位置座標
２０４ 遠隔地側入力画像
２０５ 重畳画像
２０６ コマンド情報
２０７ 選択コマンド情報
２０８ 物体像

Claims (9)

1. カメラで撮影された操作者を含む画像またはその左右反転した画像を入力画像とし、操作者がその入力画像を見ながら、該画面上の定められた場所へ、画像上に表示されている操作者の体の一部の部分画像もしくは装着したマーカの部分画像を移動し重ねることにより、該部分画像の画面上での位置に基づき操作者の動作を認識するインタフェース方法であって、
   操作者側の画像を入力し、左右反転した反転画像を生成する段階と、
   該反転画像上で操作者の指示している位置を検出する段階と、
   遠隔地側の画像を入力する段階と、
   検出された操作者の指示位置に対応する実物体を遠隔地側入力画像中から検出する段階と、
   該反転画像と該遠隔地側入力画像とを重畳した画像を生成する段階と、
   該重畳画像上で、操作者の指定するコマンドを選択する段階と、
   該指定されたコマンドに基づき該重畳画像上に情報を表示する段階とを有するインタフェース方法。
2. 前記の、反転画像と遠隔地側入力画像とを重畳して表示する段階が、操作者側の反転画像を半透明化して、遠隔地側入力画像と重畳する段階を含む、請求項１記載のインタフェース方法。
3. 前記の、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する段階が、該遠隔地側入力画像上において任意の実物***置を予め登録する段階と、操作者の指定する実物体を予め登録された複数の実物体の中から検出する段階とを含む、請求項１または２に記載のインタフェース方法。
4. 前記の、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する段階が、遠隔地側の実物体の位置を検出する段階と、得られた実物***置と、操作者側で操作者の指示する位置から、操作者の指示する実物体を検出する段階とを含む、請求項１または２記載のインタフェース方法。
5. カメラで撮影された操作者を含む画像またはその左右反転した画像を入力画像とし、操作者がその入力画像を見ながら、該画面上の定められた場所へ、画像上に表示されている操作者の体の一部の部分画像もしくは装着したマーカの部分画像を移動し重ねることにより、該部分画像の画面上での位置に基づき操作者の動作を認識するインタフェース装置であって、
   操作者側の画像を入力し、左右反転した反転画像を生成する手段と、
   該反転画像上で操作者の指示している位置を検出する手段と、
   遠隔地側の画像を入力する手段と、
   検出された操作者の指示位置に対応する実物体を遠隔地側入力画像中から検出する手段と、
   該反転画像と該遠隔地側入力画像とを重畳した画像を生成する手段と、
   該重畳画像上で、操作者の指定するコマンドを選択する手段と、
   該指定されたコマンドに基づき該重畳画像上に情報を表示する手段とを有するインタフェース装置。
6. 前記の、反転画像と遠隔地側入力画像とを重畳して表示する手段が、操作者側の反転画像を半透明化して、遠隔地側入力画像と重畳する手段を含む、請求項５記載のインタフェース装置。
7. 前記の、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する手段が、該遠隔地側入力画像上において任意の実物***置を予め登録する手段と、操作者の指定する実物体を予め登録された複数の実物体の中から検出する手段とを含む、請求項５または６に記載のインタフェース装置。
8. 前記の、検出された操作者の指示位置に対応する物体を遠隔地側入力画像中から検出する手段が、遠隔地側の実物体の位置を検出する手段と、得られた実物***置と、操作者側で操作者の指示する位置から、操作者の指示する実物体を検出する手段とを含む、請求項５または６に記載のインタフェース装置。
9. 請求項１から４のいずれかに記載のインタフェース方法をコンピュータに実行させるためのインタフェースプログラム。

Images