JP2006209563A - インターフェース装置 - Google Patents

Abstract

【目的】利用者の直感的な簡単操作で操作デバイス無しに電子機器の操作を実現するインターフェース装置を提供する。
【構成】ディスプレイ装置１１を備えた電子機器における利用者の操作入力のためのインターフェース装置であって、表示画面に対向する利用者Ｍを撮像するための撮像手段と、撮像された利用者Ｍの動画像から特定の対象部位Ｗ（手の平）を検出する対象部位検出手段と、検出された対象部位Ｗの位置情報を検出する位置情報検出手段と、検出された対象部位Ｗの位置情報に基づき、対象部位Ｗの動きの方向と動きの速さ又は加速度とを検出する動き情報検出手段と、検出された動き情報に対応させた操作コマンドを対象部位Ｗの動きに応じて電子機器に出力する操作コマンド出力手段と、電子機器の操作コマンドによる状態遷移をディスプレイ装置１１の表示画面に表示する表示制御手段と、を備える構成。
【選択図】 図１

Description

本発明は、パーソナルコンピュータシステムやテレビジョンシステムなどのディスプレイ装置を備える電子機器におけるインターフェース装置の技術分野に属する。

パーソナルコンピュータシステムやテレビ・ビデオシステムなどの民生用電子機器の多機能化に伴い、その操作手順は複雑化の一途を辿っている。特に、民生用電子機器の操作環境においては、コンピュータ環境にて多用されてきたマウスに代表される操作デバイス（ポインティング装置）の代替手段として、赤外線リモコンを使って、ディスプレイ装置の表示スクリーン上のグラフィカルユーザインターフェース（略してＧＵＩ）を操作することが常套手段となりつつある。

しかしながら、前記ＧＵＩは操作環境が必ずしも良好でなく、特に、高年齢者には操作が複雑で分りにくくなりがちである。また、操作対象の電子機器ごとに赤外線リモコンを常に手元に持っておく必要があるなどの煩わしさを伴っている。

このような従来の電子機器におけるインターフェース装置としての欠点を解消する一つの方法として、利用者の手の動き（手振りのジェスチャー）を利用して前記マウスや赤外線リモコンなどの操作デバイス無しに電子機器を操作する方法が提案されている。

例えば、下記［特許文献１］では、図６に示されるように、ホストコンピュータ４２のインターフェース装置として、ディスプレイ装置４４に付設されたＣＣＤカメラ４１に向かい合う利用者Ｍの手の形状、動きを捉えてホストコンピュータ４２の画像処理装置で認識し、利用者Ｍの手に対応する特定形状（指差しなどを表す矢印カーソル）のアイコン４３をディスプレイ装置４４の表示画面上に表し、このディスプレイ装置４４の表示画面上に表示した仮想スイッチ４５、４６、４７を前記利用者Ｍの前記ＣＣＤカメラ４１の光軸に直角な図６におけるハッチ入りの矢印Ｆ１、Ｆ２で示される縦横方向の手振りによって前記アイコン４３で選択できるようにして、前記ホストコンピュータ４２などの電子機器に操作コマンドを出力する構成のインターフェース装置のアイデアが開示されている。

特開平８−４４４９０号公報

前記［特許文献１］に開示されたインターフェース装置においては、操作手段として使われる利用者Ｍの手の位置情報を検出して、その位置情報をディスプレイ装置４４の操作メニュー画面上のＸ−Ｙ座標系にアイコン４３としてプロットさせた上で、操作メニュー画面上のＸ−Ｙ座標系に表示された仮想スイッチ４５、４６、４７などのオブジェクトを操作する手段を用いている。

これは換言すれば、利用者Ｍの手の形状認識を通してこれを従来のマウスに代替させてポインティング装置の機能を実現させていることになり、手を使って操作画面上のアイコン４３（カーソルに該当する。）を動かす、という操作系は、電子機器への操作コマンドの出力を手からアイコン（カーソル）、表示オブジェクトを経て間接的に伝達することに他ならない。

その結果、利用者Ｍの手がマウスに代替して操作デバイスは不要となるものの、直感的に電子機器を操作しにくい場合が少なからず生じる。例えば、図６におけるディスプレイ装置４４上に表示される選択肢としてのオブジェクトの仮想スイッチ４５、４６、・・・が縦横に多数配置されているような場合は、マウスとしての利用者Ｍの手によるアイコン４３の正確で細かな操作が要求される。

また、前記対象部位（利用者Ｍの手）と撮像手段である前記ＣＣＤカメラ４１との光軸上の位置関係の取り方や、対象部位の実空間での移動距離とディスプレイ４４上のアイコン（カーソル）移動距離との対応などについて、利用者Ｍ個人の直感に即するように手振りの大小の個人差などに適合させる細かな調整が必要であった。

本発明は上記事情に鑑みてなされたものであり、利用者の手などの部位を利用したジェスチャーなどによって操作デバイス無しで電子機器を操作するためのインターフェース装置であって、特に、実空間と表示座標系との対応や利用者の動作から操作コマンド出力に至る間接性をより減らし、利用者のより直感的な操作感覚に適合した簡単操作を実現するインターフェース装置を提供することを目的とする。

本発明は、
（１）ディスプレイ装置１１を備えた電子機器における利用者Ｍの操作入力のためのインターフェース装置であって、前記ディスプレイ装置１１の表示画面に対向する前記利用者Ｍを撮像するための撮像手段（１２）と、前記撮像手段（１２）により撮像された前記利用者Ｍの動画像から特定の対象部位Ｗを検出する対象部位検出手段（２２）と、前記対象部位検出手段（２２）により検出された前記対象部位Ｗの位置情報を検出する位置情報検出手段（２４）と、前記位置情報検出手段（２４）により検出された前記位置情報に基づき、前記対象部位Ｗの動きの方向と動きの速さ又は加速度とを動き情報として検出する動き情報検出手段（２５）と、前記動き情報検出手段（２５）により検出された前記動き情報に対応させた操作コマンドを、前記対象部位Ｗの動きに応じて前記電子機器に出力する操作コマンド出力手段（２６）と、前記操作コマンドによる前記電子機器の状態遷移を前記ディスプレイ装置１１の前記表示画面に表示する表示制御手段（２７）と、を備えたインターフェース装置を提供することにより、前記課題を解決する。
（２）前記動き情報検出手段（２５）は、前記対象部位Ｗの前記ディスプレイ装置１１の前記表示画面に平行な面上の直交方向の動きと前記表示画面に対して垂直方向の動きとからなる３次元空間において前記動き情報を検出することを特徴とする上記（１）に記載のインターフェース装置を提供することにより、前記課題を解決する。

尚、上記各手段の括弧内の数字は本明細書で説明される具体的な部材に付された符合に対応する。

本発明に係るインターフェース装置は、上述のような構成のため、
（１）ディスプレイ装置を備えた電子機器において、マウスや赤外線リモコンなどの操作デバイスを使わず、利用者の直感に即した、より自然な簡単な動作によって操作コマンドを電子機器に出力することが可能な利用者の操作入力のための対話型のインターフェース環境を提供できる。
（２）ディスプレイ装置を利用して操作コマンドを入力する構成の全ての情報処理システムを含む電子機器に適用できる。

本発明に係るインターフェース装置の実施の形態について図面に基づいて説明する。

図１は本発明の第１の実施の形態のインターフェース装置におけるオブジェクト選択動作のシーケンス（始めの状態）を説明するための図である。図２は同じく上記インターフェース装置におけるオブジェクト選択動作のシーケンス（遷移後の状態）を説明するための図である。図３は同じく上記インターフェース装置におけるオブジェクト確定動作のシーケンスを説明するための図である。図４は本発明の第２の実施の形態のインターフェース装置におけるオブジェクト選択動作のシーケンスを説明するための図である。図５は本発明の第１及び第２の実施の形態のインターフェース装置を実現させるインターフェース装置のブロック構成図である。

先ず、本発明の基本形態である第１の実施の形態を説明する。

図１において、１１はパーソナルコンピュータシステムやテレビジョンシステムなどの情報処理システムを典型とする電子機器に付設或いは構成要素として備えられたＣＲＴ、液晶、ＰＤＰ、有機ＥＬなどのディスプレイ装置であり、Ｍは前記ディスプレイ装置１１の表示画面に対向する利用者であり、１２は前記ディスプレイ装置１１の表示画面に対向する前記利用者Ｍを撮像するための撮像手段としての前記ディスプレイ装置１１或いは図示されない電子機器本体側に付設された撮像用カメラ（例えばビデオカメラ）であり、１４ａ、１４ｂ、１４ｃは前記ディスプレイ装置１１の表示画面上に表示された操作メニュー画面中のオブジェクトである。

また、本発明のインターフェース装置の主要な回路ブロックは電子機器内部に格納されており、図５に示されるようなシステム構成を備えている。即ち、前記ディスプレイ装置１１の表示画面に対向する利用者Ｍの動画像を撮像するための撮像手段としての前記ディスプレイ装置１１に組み込まれた撮像用カメラ１２及び撮像されたデータを一時格納するＤＲＡＭなどのフレームメモリ２１と、前記撮像手段により撮像された前記利用者Ｍの動画像から特定の対象部位Ｗ（好ましい例として利用者Ｍの手の平）の形状認識などを行い対象部位Ｗを抽出する対象部位検出手段としての対象部位抽出部２２と、前記対象部位検出手段により検出された前記対象部位Ｗの位置情報を検出する位置情報検出手段としての位置情報検出部２４、前記位置情報検出手段により検出された前記対象部位Ｗの位置情報の時間変化を元に前記対象部位Ｗ（利用者Ｍの手の平）の動きの方向と動きの速さ又は加速度とを動き情報として検出する動き情報検出手段としての動き情報検出部２５、及び前記動き情報検出手段により検出された前記対象部位Ｗの動き情報に対応させた操作コマンド（電子機器本体の制御部への指示情報）を前記対象部位Ｗの動きに応じて生成し前記電子機器に出力する操作コマンド出力手段としての操作コマンド生成出力部２６を備える画像情報処理装置２３と、更に、前記電子機器の前記操作コマンドによる指示の一環として電子機器の状態遷移を前記ディスプレイ装置１１の前記表示画面に操作結果のフィードバック情報として表示する表示制御手段２７と、を備える構成である。

ここに、上記対象部位抽出部２２と、位置情報検出部２４、動き情報検出部２５及び操作コマンド生成出力部２６を擁する上記画像情報処理装置２３には、例えば人型ロボットに搭載されているビデオカメラによる自動追尾装置のハードを転用することができる。これは特定の対象部位の形状や色情報を予め記憶しておき、撮像された特定の形状、色に該当する対象部位を認識、抽出し、その動きを追尾することができるものである。

次に、前記利用者Ｍによる前記ディスプレイ装置１１の前記表示画面上のオブジェクト選択・確定の操作は、以下のように行われる。

第１に、図１のように利用者Ｍがディスプレイ装置１１に対向した状態で、自然に操作指示の対象部位Ｗとなる手の平を掲げた状態を基準位置とする。例えば、手の平を掲げた状態を数秒間（２〜３秒程度が適当）維持することによって、前記基準位置が前記対象部位抽出部２２と前記位置情報検出部２４によって認識され、電子機器本体に入力される。その結果として表示制御手段２７によってディスプレイ装置１１の画面上にメニュー操作画面が現れてその略中央位置に配置されているオブジェクト、即ち図１においては現在確定状態又は選択状態にある「２番」が表示されたオブジェクト１４ｂが基準位置にあるものとして手の平に対応して選択状態のハイライトがなされる。

第２に、上記状態から例えば前記利用者Ｍが前記「２番」のオブジェクト１４ｂではなくその左側にある「１番」のオブジェクト１４ａを選択し確定したいと考えた場合の動作のシーケンスは次のようになる。先ず、利用者Ｍは自身の手の平をディスプレイ装置１１の画面に向かってしっかり開いたまま右側に素早くスライドさせ（太い実線矢印１５の方向）、その後、手の力を抜いて基準位置にゆっくりと戻す（太い破線矢印１６の方向）手振りジェスチャーを行う。この基準位置に戻す破線矢印１６の動作時には、手の平を撮像用カメラ１２に写すことを意識しないのが好ましい。そして前記基準位置に戻す破線矢印１６の動作終了後に、再び基準位置で手の平を掲げて静止する。

第３に、前記ディスプレイ装置１１のメニュー画面上の表示情報は、前記動き情報検出部２５が利用者Ｍの手の平の動きの方向と動きの速さ又は加速度について前記利用者Ｍの上記矢印１５から矢印１６に至る一連の手の平の動作を検出した結果、表示されたオブジェクトを右に１単位（オブジェクト１個分）ずらす操作コマンドであると判断して、前記表示制御手段２７によって図２に示されるように、表示画面の表示内容を変化させる。即ち、手の平の矢印１５の動作によって、前記ディスプレイ装置１１の表示画面上のオブジェクトも矢印１５の方向と同じ方向に移動し、基準位置に対応する表示位置にあった「２番」のオブジェクト１４ｂの代りに「１番」のオブジェクト１４ａが基準位置の画面中央に表示されて選択状態になる。他方、「１番」のオブジェクト１４ａの元の位置には画面に表示されていなかったその左側に位置している「０番」のオブジェクト１４ｚが現れる。始めに右側に位置していた「３番」のオブジェクト１４ｃは更に右にずれて画面から消える。

第４に、図３に示されるように、基準位置に対象部位Ｗの手の平を掲げた状態で、前記ディスプレイ装置１１に向かって特定の動作、例えば前記ディスプレイ装置１１に向かっての奥行き方向（Ｚ軸方向）に利用者Ｍの手の平をスライドさせる（実線矢印１７）。直感的にいえば、手の平を広げたまま対向する前記ディスプレイ装置１１に向かって手の平を押し込むイメージである。

第５に、前記動き情報検出部２５は、上記利用者Ｍの矢印１７の手の平の動作を検出してそれが状態確定動作であると判断することによって、前記操作コマンド生成出力部２６が「１番」のオブジェクト１４ａが選択状態から確定状態に遷移することに対応する操作コマンド（指示情報）を生成し電子機器本体に出力することで利用者Ｍの意図に沿った操作コマンド出力（電子機器の制御部に入力）がなされ、前記表示制御手段２７は電子機器の「１番」のオブジェクト確定に基づく状態遷移を前記ディスプレイ装置１１の操作画面上に操作結果のフィードバック情報として表示する（「１番」のオブジェクト１４ａに対応する状態に確定したことを示すハイライトを行う）ことにより完了する。

以上のように、オブジェクト選択の操作はディスプレイ装置１１を見ている利用者Ｍが前記ディスプレイ装置１１の操作画面上に表示される左右に連続して並べられた・・・、Ｘ−２、Ｘ−１、Ｘ、Ｘ＋１、Ｘ＋２、・・・番（Ｘは自然数）のオブジェクトの帯を手で左右の任意方向に１つずつ番号がずれるように動かして所望の番号のオブジェクトが中央の基準位置に来るように動かす感覚で行われる。また、確定操作は、ボタンスイッチを押すかのように画面中央の基準位置にある選択されたオブジェクトを押すという感覚で行われる。これらの操作は利用者Ｍの手の平の動きと適合的であり、高年齢者にとっても直感的で分かりやすい自然な操作感覚といえる。

次に、第２の実施の形態を図４を基に説明する。システム構成は第１の実施の形態で説明した図５に示されるものと同様であり、撮像用カメラ１２を付設したディスプレイ装置３２に向かって利用者Ｍが手の平を掲げて静止した位置が基準位置として設定される。

以下、基準位置に静止した状態を初期状態として、メニュー項目としてディスプレイ装置３２に表示されている２次元操作メニュー画面のオブジエクトを選択決定する手順を説明する。

基準位置はディスプレイ装置３２上での中心領域（図４においてオブジェクト３３の位置）に対応される。複数のオブジェクトは、ディスプレイ面を含む巨大な仮想球面３１の表面上に縦横に並べてマッピングされているものとモデル化し、オブジェクトの選択操作は、この仮想球面３１を例えば上下方向、左右方向或いは斜め方向に手で回転させて、選択したいオブジエクトが、ディスプレイ装置の表示画面である「窓」に見えるようにする、という動作のシーケンスとなる。

前記仮想球面３１に貼り付けてあるメニュー項目が左右方向だけでなく上下方向にも整列されていれば、２次元のメニュー領域の「窓」をパンすることによって多数のオブジェクトから１つを選択することが容易にできるのである。

また、メニュー項目が張り付いた仮想球面３１のサイズを変えることによって、ディスプレイ装置３０２の表示画面の「窓」に表示される情報の解像度を制御することができる。これにより、回す仮想球面３１のサイズを小さくすれば大局情報を、サイズを大きくすれば詳細情報を、それぞれ「窓」に表示させることができる。この点、高齢者にとっては煩雑な詳細操作メニューは不要の場合が多く、このような場合は限定された必要最小限の操作メニューのオブジェクトを表示画面の「窓」に大きく表示可能にするといった表示形態の予めの表示設定の選択が考えられる。

ところで、前記対象部位検出手段は、公知技術のビデオカメラによる特定対象部位の認識装置が適用できるが、特に、手の平などを対象部位Ｗとする本実施の形態の場合には、動画像中の同系色領域の形状を認識し、その定常状態における形状と非定常状態における形状の差異を識別するように肌色のフィルターを用いることが好ましい。

また、特定の対象部位Ｗとしては、前記利用者Ｍの手の平以外の身体の一部、指先（人差し指など）や頭を対象部位として、その左右の振りや頷き、前後の動きで以ってオブジェクトの選択、確定の操作とすることもできる。

また、前記撮像カメラは１つに限られず、２乃至３個用いられてもよい。複数個の撮像カメラをディスプレイ装置１１の左右に配置しての対象部位Ｗの認識は、対象部位の特定及び３次元的な動きに対するより詳細で正確な情報が得られるので、解析に複雑さは伴うものの確実で誤動作の少ない安定したインターフェース装置が実現する。

また、一回の手振り（１操作）でオブジェクトの移動は上記実施の形態の如く１単位動くことを基本とするが、特定の動作によっては操作画面上で連続的或いは間歇的にオブジェクトが上下左右に移動するようにしてもよい。

なお、ディスプレイ装置に同時に表示されるオブジェクトの配置は、上記両実施の形態では１行３列の３個であったが、３行３列の計９個のオブジェクト或いは５行５列の計２５個のオブジェクトを同時に表示することでもよい。

本発明の第１の実施の形態のインターフェース装置におけるオブジェクト選択動作のシーケンス（始めの状態）を説明するための図である。 本発明の第１の実施の形態のインターフェース装置におけるオブジェクト選択動作のシーケンス（遷移後の状態）を説明するための図である。 本発明の第１の実施の形態のインターフェース装置におけるオブジェクト確定動作のシーケンスを説明するための模式図である。 本発明の第２の実施の形態のインターフェース装置におけるオブジェクト選択動作のシーケンスを説明するための図である。 本発明の第１及び第２の実施の形態のインターフェース装置を実現させるインターフェース装置のブロック構成図である。 公知文献に開示されたインターフェース装置の構成を説明する図である。

符号の説明

１１、３２、４４ ディスプレイ装置
１２ 撮像用カメラ
１４ａ、１４ｂ、１４ｃ オブジェクト
１５ オブジェクト選択動作の矢印
１６ オブジェクト選択動作の矢印
１７ オブジェクト確定動作の矢印
２１ フレームメモリ
２２ 対象部位抽出部
２３ 画像情報処理装置
２４ 位置情報検出部
２５ 動き情報検出部
２６ 操作コマンド生成出力部
２７ 表示制御手段
３１ 仮想球面
３３ 基準位置において選択されているオブジェクト
４１ ＣＣＤカメラ
４２ ホストコンピュータ
４３ アイコン
４５、４６、４７ 仮想スイッチ
Ｍ 利用者

Claims (2)

1. ディスプレイ装置を備えた電子機器における利用者の操作入力のためのインターフェース装置であって、
   前記ディスプレイ装置の表示画面に対向する前記利用者を撮像するための撮像手段と、
   前記撮像手段により撮像された前記利用者の動画像から特定の対象部位を検出する対象部位検出手段と、
   前記対象部位検出手段により検出された前記対象部位の位置情報を検出する位置情報検出手段と、
   前記位置情報検出手段により検出された前記位置情報に基づき、前記対象部位の動きの方向と動きの速さ又は加速度とを動き情報として検出する動き情報検出手段と、
   前記動き情報検出手段により検出された前記動き情報に対応させた操作コマンドを、前記対象部位の動きに応じて前記電子機器に出力する操作コマンド出力手段と、
   前記操作コマンドによる前記電子機器の状態遷移を前記ディスプレイ装置の前記表示画面に表示する表示制御手段と、
   を備えたインターフェース装置。
2. 前記動き情報検出手段は、前記対象部位の前記ディスプレイ装置の前記表示画面に平行な面上の直交方向の動きと前記表示画面に対して垂直方向の動きとからなる３次元空間において前記動き情報を検出することを特徴とする請求項１に記載のインターフェース装置。
   

Images