JP2005031799A

JP2005031799A - 制御システムおよび制御方法

Info

Publication number: JP2005031799A
Application number: JP2003193738A
Authority: JP
Inventors: Shigeru Enomoto; 繁榎本; Yoshinori Washizu; 祥徳鷲津; Ryuji Yamamoto; 竜司山本; Munetaka Tsuda; 宗孝津田; Tomonori Shimomura; 智則下村; Jiyunichi Rekimoto; 純一暦本
Original assignee: Sony Corp; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc; Sony Corp
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03
Anticipated expiration: 2023-07-08
Also published as: WO2005003948A1; JP4723799B2

Abstract

【課題】操作性に優れたユーザインタフェイスを提供する。
【解決手段】制御システムにおいて、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の形状又は動作、又は入力部位までの距離を検知する非接触型入力装置２６が、表示装置３２の表示画面３４の内側に設けられる。解析部は、非接触型入力装置２６により検知された入力部位の形状又は動作、又は前記入力部位までの距離を解析して、ユーザの指示を判別し、制御部は、解析部により判別されたユーザの指示に対応する機能を実行する。
【選択図】図５

Description

【０００１】
【発明の属する技術分野】
本発明は、電子機器などの制御技術に関し、とくに、ユーザの体の一部や、ユーザにより操作される物体などを含む入力部位の形状又は動作、又は入力部位までの距離などによりユーザの指示を入力することが可能なユーザインタフェイスを備えた制御システム及び方法に関する。
【０００２】
【従来の技術】
ＩＴの発達に伴い、高度な機能を有する電子機器が多数登場している。電子機器の機能が高度になるにつれて、ユーザが電子機器に機能を実行させるための指示の内容も多様化しており、分かりやすく操作性に優れたユーザインタフェイス（ＵｓｅｒＩｎｔｅｒｆａｃｅ：ＵＩ）の必要性が増している。たとえば、パーソナルコンピュータ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ：ＰＣ）においては、以前は、ユーザがキーボードによりコマンド文字列を入力するキャラクタベースのユーザインタフェイスが主に採用されていたが、現在では、アイコンやウィンドウなどの画像を表示画面に提示し、表示画面上のポインタをユーザがマウスなどのポインティングデバイスにより操作して指示を入力するグラフィカル・ユーザインタフェイス（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ：ＧＵＩ）が主流となっている。
【０００３】
【発明が解決しようとする課題】
ＧＵＩの登場により、ユーザは、所望の機能をＰＣに実行させるためのコマンド文字列を覚え、入力する煩わしさから解放された。しかし、ＰＣが広く大衆に普及したとは言え、子供や高齢者などを中心に、マウスなどの操作に慣れておらず、抵抗感を感じるユーザもいる。また、より現実世界に近い感覚で指示を入力することが可能なＵＩを求める声もある。今後、ＰＣなどの電子機器が更に生活の中に浸透し、より多様なユーザ層により使用されることが予想されるため、より直感的で分かりやすく、操作性に優れたＵＩの開発が望まれる。
【０００４】
本発明はこうした状況に鑑みてなされたものであり、その目的は、操作性に優れたユーザインタフェイスの提供にある。
【０００５】
【課題を解決するための手段】
本発明のある態様は、制御システムに関する。この制御システムは、ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む単数又は複数の入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部と、入力部により検知された入力部位の形状又は動作、又は入力部位までの距離を解析して、ユーザの指示を判別する解析部と、解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする。
【０００６】
検知部は、入力部位までの距離情報を取得可能な撮像装置であってもよい。検知部は、複数の電極を含み、入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であってもよい。
【０００７】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【０００８】
【発明の実施の形態】
（第１の実施の形態）
図１は、第１の実施の形態に係る制御システム１０の構成を示す。制御システム１０は、ユーザからの指示を入力する入力装置２０と、入力装置２０から入力される指示に応じてアプリケーションなどの動作を制御する制御装置４０と、制御装置４０から出力される画像を表示する表示装置３０とを備える。本実施の形態の制御システム１０は、ユーザが、指、手、足、頭など、体の一部を使って、動作（ジェスチャー）により指示を入力することが可能なユーザインタフェイス（以下、「ジェスチュラルインタフェイス」という）を提供する。これにより、ユーザが、現実世界と同様な動作で表示画面に表示されたオブジェクトを扱ったり、アプリケーションに指示を入力したりすることを可能とし、直感的に分かりやすく、操作性に優れたユーザインタフェイスを実現することができる。本実施の形態において、入力装置２０は、ユーザの体の少なくとも一部を含む入力部位の形状又は動作、又は入力部位までの距離を検知する検知部の機能を有する。
【０００９】
図２は、実施の形態に係る入力装置２０および表示装置３０の構成例を示す。図２に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、陰極線管（ＣａｔｈｏｒｄＲａｙＴｕｂｅ：ＣＲＴ）ディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２と一体的に、または別体として設けられた、測距機能を有する撮像装置２２が用いられる。制御装置４０は、撮像装置２２により撮影されたユーザの動作を画像処理により解析し、ユーザが行ったジェスチャーを判別し、ユーザの指示を取得する。この構成例によれば、ユーザの体の広い範囲を撮影して、その動作を判別することができるので、ユーザは、指だけでなく、手や足などを用いたジェスチャーにより指示を行うことができる。この方式は、撮像装置２２からある程度離れた位置でユーザがジェスチャーを行う場合に適している。ユーザとの距離に依存しない方式のジェスチュラルインタフェイスを採用する場合は、入力装置２０として、測距機能を有しない撮像装置を用いてもよいが、後述するように、ユーザが表示画面上のオブジェクトを指などを用いて扱うことが可能なジェスチュラルインタフェイスを提供するためには、測距機能を有する撮像装置２２を用いるのが好ましい。
【００１０】
図３は、実施の形態に係る入力装置２０および表示装置３０の他の構成例を示す。図３に示した例では、表示装置３０として、スクリーン３８に画像を投影するプロジェクタ３６が用いられ、入力装置２０として、測距機能を有する撮像装置２２が用いられる。図３の例では、ユーザの後方上部に設けられたプロジェクタ３６により、ユーザの前方に設けられたガラスなどの透明または半透明のスクリーン３８に画像を投影し、スクリーン３８に表示された画像に向かってジェスチャーを行うユーザを、スクリーン３８の反対側に設けられた撮像装置２２により撮影している。この構成例によれば、ユーザの体の広い範囲の動作を取得できるとともに、ユーザがスクリーン３８に投影された画像に直接触れながら、または画像の近傍で動作を行うことができるので、スクリーン３８に投影されたオブジェクトなどを手などで直接扱っているような操作感をユーザに与えることができる。また、撮像装置２２をスクリーン３８から離れた位置に配置することができるので、スクリーン３８の近傍でユーザがジェスチャーを行っても、ユーザの体の部位までの距離を精度良く検知することができる。
【００１１】
図４は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図４に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられたタッチパネル２４が用いられる。または、プロジェクタによりタッチパネル２４の表面に画像を投影する構成であってもよい。タッチパネル２４は、抵抗感圧方式、赤外線検出方式など、任意の方式のタッチパネルであってよい。この構成例によれば、ユーザは、表示画面３４に表示されているオブジェクトなどに直接触れつつ指示を入力することができる。
【００１２】
図５は、実施の形態に係る入力装置２０および表示装置３０のさらに別の構成例を示す。図５に示した例では、表示装置３０として、液晶ディスプレイ装置、プラズマディスプレイ装置、ＣＲＴディスプレイ装置などの任意の表示装置３２が用いられ、入力装置２０として、表示装置３２の表示画面３４の内側に設けられた非接触型入力装置２６が用いられる。または、プロジェクタにより非接触型入力装置２６の表面に画像を投影する構成であってもよい。この非接触型入力装置２６は、ユーザの指先などの物体が接近したときに、その物体の形状や物体までの距離などを検知可能な入力装置であり、たとえば、特開２００２−３４２０３３号公報に開示された入力装置を利用可能である。特開２００２−３４２０３３号公報に開示された非接触型入力装置は、縦横に配列された複数の線状の電極を備え、ユーザの指先などの導電性の物体が電極に近づいたときに、その接近の程度に応じた静電容量の変化を検知し、入力装置の近傍にある物体の３次元位置情報を取得する。この構成例によれば、非接触型入力装置２６を表示画面３４に近接して設けることができ、表示画面３４の近傍におけるユーザの動作や体の部位の形状を精度良く検知することができるので、ユーザは、表示画面３４に表示された画像を見ながら、その画像の近傍で指などの入力部位により指示を入力することができる。非接触型入力装置２６では、ユーザの体のうち、入力装置の近傍に接近した部位のみが検出されるので、動作を解析するために特定の部位を抽出する手間が省け、処理を簡略化することができる。また、接近させただけで、形状や距離を検知することができるので、表示画面３４に触れなくても指示入力が可能であり、表示画面３４に直接触ることに抵抗を感じるユーザであっても快適に使用することができる。さらに、表示画面３４を強く押す必要が無く、ユーザが表示画面３４に触れる前から接近を検知することができるので、反応性が良く、操作感に優れたユーザインタフェイスを提供することができる。
【００１３】
上述した複数の構成例のうち、いずれの構成を採用するかは、本制御システム１０を設置する場所の環境、制御するアプリケーションやコンテンツなどの種類などに応じて決定されてもよい。たとえば、複数のユーザが一つの表示装置３０を共有して利用するようなアプリケーションの場合、または、映画などのコンテンツを再生するアプリケーションの場合、ユーザが表示装置３０から比較的距離をとって指示を入力することが想定されるので、図２または図３に示した構成例を採用してもよい。また、一人のユーザが個人的に利用するようなアプリケーションの場合、たとえば、画像や文書などのデータを編集する場合、ユーザと表示装置３０との間の距離は比較的短いことが想定されるので、図４または図５に示した構成例を採用してもよい。複数の構成例を併用した制御システム１０を構築する場合は、アプリケーションやコンテンツごとに、いずれの方式のジェスチュラルインタフェイスを採用するかを選択し、入力装置２０を適宜切り替えて利用してもよい。
【００１４】
図６は、制御装置４０の内部構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。制御装置４０は、入力装置２０により検知された入力信号を取得する取得部４２と、取得部４２が取得した入力信号からユーザの動作を解析してユーザの指示を判別する解析部４４と、解析部４４により判別されたユーザの指示に対応する機能を実行する制御部４６とを含む。
【００１５】
入力装置２０が測距機能付き撮像装置であった場合、解析部４４は、撮像装置が撮影した距離情報を有する画像を取得して、画像処理によりユーザの動作を判別する。解析部４４は、形状認識技術によりユーザの体の一部、たとえば、頭、目、手、指、足などを抽出し、抽出した体の部位の動きを解析することにより、ユーザの動作を判別してもよい。入力装置２０がタッチパネルであった場合、解析部４４は、入力信号の形状や時間変化を解析することにより、ユーザの動作を判別してもよい。入力装置２０が非接触型入力装置であった場合、解析部４４は、入力信号の形状や距離、それらの時間変化を解析することにより、ユーザの動作を判別してもよい。
【００１６】
図７は、制御装置４０のハードウェアコンポーネントを示す。制御装置４０は、ＣＰＵ１２０、入力インタフェイス１２２、表示インタフェイス１２４、メモリ１３０、ハードディスク１３２、およびドライブ装置１２８を備える。これらの構成は、バス１２６などの信号伝送路により電気的に接続されている。
【００１７】
入力インタフェイス１２２は、入力装置２０が検知した入力信号を取得する。表示インタフェイス１２４は、表示装置３０に表示する画像信号を出力する。ハードディスク１３２は、大容量の磁気記憶装置であり、各種ファイルなどを記憶する。記録媒体１４０は、上述した制御装置４０の機能を、ＣＰＵ１２０に実現させるためのプログラムを記録する。記録媒体１４０がドライブ装置１２８に挿入されると、そのプログラムは、メモリ１３０またはハードディスク１３２に読み出され、ＣＰＵ１２０は、読み出されたプログラムにより本実施の形態の制御処理を行う。この記録媒体１４０は、ＣＤ−ＲＯＭ、ＤＶＤ、ＦＤなどのコンピュータ読み取り可能な媒体である。
【００１８】
ここでは、プログラムが記録媒体１４０に記録されている例について説明したが、別の例においては、このプログラムは、無線、有線を問わず、外部のサーバから送信されてもよい。図７に示したハードウェア構成において、プログラムは、コンピュータに本実施の形態の制御機能を実現させればよいのであって、外部から供給される場合だけでなく、予めハードディスク１３２に格納されていてよいことも当業者には理解されるところである。
【００１９】
制御部４６の機能は、コンピュータのＣＰＵなどにより実行されるオペレーティング・システム（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ：ＯＳ）や、入出力制御用のアプリケーションなどにより実現されてもよい。たとえば、ウィンドウシステムなどのＧＵＩを採用したＯＳの場合は、ユーザの指などの入力部位が接近した場所の近傍の位置で最上位にあるウィンドウのアプリケーションにユーザの指示が通知され、そのアプリケーションがユーザの指示に対応づけられた機能を実行してもよい。その位置にウィンドウがない場合は、ＯＳまたは入出力制御用アプリケーションがその指示に対応づけられた機能を実行してもよい。
【００２０】
１．複数点による指示入力の例
従来のポインティングデバイスを利用したユーザインタフェイスでは、１点のポインタにより指示入力を行っていたが、本実施の形態の制御システム１０が提供するジェスチュラルインタフェイスによれば、ユーザが指、手、足などを用いて、複数点の入力部位により指示を行うことができる。
【００２１】
図８および図９は、ユーザの複数の指の動きにより指示を入力する例を説明するための図である。図８に示すように、ユーザが親指と人差し指を閉じた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図９に示すように、親指と人差し指を開く動作を行ったとする。このとき、取得部４２は、入力装置２０が検知した入力信号を解析部４４に送り、解析部４４は、ユーザの指の動きを解析して、ユーザが指を開く指示を行ったことを判別する。
【００２２】
入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して指の動きを追跡し、ユーザが指を開く動作を行ったことを判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上のアイコン２００の近傍の座標に接近した、または触れた一かたまりの入力部位が二つに分かれ、それぞれが離れる方向に移動したときに、ユーザが指を開く動作を行ったと判定する。一かたまりの入力部位が二つに分かれる場合だけでなく、２つの入力部位が互いに離れる方向に移動したときにも、ユーザが指を開く動作を行ったと判定してもよい。
【００２３】
ユーザが指を開く動作を行ったとき、制御部４６は、指を開く動作に対応づけられた機能を実行する。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００に対応づけられたアプリケーションを起動する機能を実行してもよい。そのアイコン２００が、ファイルに対応づけられていた場合は、そのファイルを扱うことが可能なアプリケーションを起動して、そのファイルを開く機能を実行してもよい。このように、「指を開く」動作と、「アプリケーションを開く」、「ファイルを開く」などの機能を対応づけることで、ユーザの動作とアプリケーションの動作が感覚的に一致するので、より直感的に分かりやすく、親和性の高いユーザインタフェイスを実現することができる。
【００２４】
指を開く動作と、「開始する」、「決定する」、「確定する」などの機能を対応づけてもよい。その他、各アプリケーションが、指を開く動作に対応した機能を実装してもよい。たとえば、画像処理用のアプリケーションにおいて、ユーザが画像上で指を開く動作を行ったとき、その部分を拡大する、またはその部分を指を開いた方向に伸ばす機能を実行してもよい。
【００２５】
逆に、ユーザが、図９に示すように、親指と人差し指を開いた状態で、表示装置３０の画面上に表示されたアイコン２００上に指を近づけ、図８に示すように、親指と人差し指を閉じる動作を行ったとき、解析部４４が、ユーザがアイコン２００上で指を閉じる動作を行ったと判定し、制御部４６が、指を閉じる動作に対応づけられた機能を実行してもよい。たとえば、制御部４６は、ユーザの指の近傍に表示されているアイコン２００又はウィンドウに対応づけられたアプリケーションを終了する機能を実行してもよいし、アイコン２００又はウィンドウに対応づけられたファイルを閉じる機能を実行してもよい。また、画像処理用のアプリケーションにおいて、ユーザが画像上で指を閉じる動作を行ったとき、その部分を縮小する、またはその部分を指を閉じた方向に縮める機能を実行してもよい。
【００２６】
上述の例では、指を開く又は閉じる動作について説明したが、その他、制御部４６は、ユーザの指や手などを含む複数の入力部位を用いた指示を受け付けて、その動作に対応づけられた機能を実行してもよい。たとえば、本を閲覧するアプリケーションにおいて、ユーザが表示された本のページの角をつまむ動作を行ったとき、そのページを記憶して、「しおりを挟む」機能を実行してもよい。また、ロールプレイングゲームにおいて、ユーザが表示されたアイテムの近傍に指をおいて、そのアイテムをつかむ動作を行ったとき、そのアイテムを「拾う」機能を実行してもよい。
【００２７】
２．形状を利用した指示入力の例
図１０は、ユーザの手の形状により指示を入力する例を説明するための図である。図９に示したように、ユーザが手を開いた状態で表示画面上に手の平を置いたとする。入力装置２０が測距機能付きカメラであった場合、解析部４４は、形状認識などの技術によりユーザの手を抽出して手の形状を判別する。入力装置２０がタッチパネルまたは非接触型入力装置であった場合、解析部４４は、表示画面上に接近した、または触れた物体の形状から、既知の技術により特徴点を抽出して、または所定の評価式により評価して、物体の形状を判別する。一般的な手の形状をデータベースに保持しておき、データベースに照合して一致する形状を抽出することにより、手の形状を判別してもよい。検出した物体の面積に基づいて形状を判定してもよい。たとえば、ユーザが手を表示画面上に置いたとき、手を開いた状態が最も面積が大きくなり、手を握った状態が最も面積が小さくなる。このことを利用して、手の形状を判別してもよい。ユーザが手を開いた状態で画面上に手の平を置いたとき、制御部４６は、その形状に対応する機能、たとえば、手の平を置いた位置において最上位に表示中のウィンドウ２１０に対応するアプリケーションを「終了する」機能を実行する。「手の平を置く」という動作と、「停止する」、「終了する」などの機能を対応づけることで、直感的に分かりやすく、操作性の良いユーザインタフェイスを実現することができる。
【００２８】
図１１は、手の形状に対してオブジェクトをマッピングする例を説明するための図である。図１１に示したように、ユーザが一方の手、ここでは左手で特定の形状を作り、他方の手、ここでは右手で表示画面上のオブジェクト２２０の位置から左手の方向へ指をずらす動作を行ったとする。手の形状の判別方法は、上述した例と同様である。このとき、制御部４６は、左手の形状に対応するハードディスク１３２の格納場所に、右手の指で移動させたオブジェクト２２０に対応するファイルを格納する機能を実行する。左手の形状に対応する格納場所は、ファイルシステムにおけるディレクトリまたはフォルダなどであってもよいし、仮想的なフォルダであってもよい。また、手の形状にファイル自身を対応づけてもよい。一つの形状に対して一つの格納場所を対応づけるだけでなく、たとえば、開いた手の各指に対してそれぞれ格納場所を対応づけてもよい。
【００２９】
図１２は、手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す。テーブル２３０は、制御装置４０のメモリ１３０またはハードディスク１３２などに保持される。テーブル２３０には、形状欄２３２、格納場所欄２３４が設けられている。形状欄２３２は、手の形状を表す画像、パラメータなどを保持する。手の形状を画像として認識する場合は、その画像ファイルのファイル名などを保持してもよいし、手の形状を特徴点または評価式などでパラメータ化して認識する場合は、そのパラメータ、またはパラメータが格納されたファイルのファイル名などを保持してもよい。格納場所欄２３４は、オブジェクトの格納場所を保持する。手の形状と、その形状に対応する格納場所は、予め登録されていてもよいし、ユーザが図１１に示した操作を行ったときに、手の形状が未登録の形状であった場合、制御部４６が、その手の形状と格納場所をテーブル２３０に登録してもよい。このとき、ユーザが格納場所を指示してもよいし、自動的に適当な格納場所を割り当ててもよい。手の形状にファイル自身を対応づける場合は、格納場所欄２３４は、そのファイルのファイル名を保持する。
【００３０】
図１３は、図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。図１３に示したように、ユーザが一方の手、ここでは左手で取り出したいオブジェクトの格納場所に対応する手の形状を作り、他方の手、ここでは右手で左手の近傍の位置から離れる方向へ指をずらす動作を行う。このとき、制御部４６は、左手の形状に対応する格納場所に格納されたオブジェクトを特定し、表示画面上に表示する。制御部４６は、このオブジェクトに対応するファイルを開く機能を実行してもよい。
【００３１】
３．距離に応じた指示入力の例
図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、表示装置３０からユーザの体の部位までの距離を検知することができる。以下、距離に応じた指示入力の例について説明する。
【００３２】
図１４は、距離に応じた指示入力の例を説明するための図である。図１４に示した例では、制御部４６が表示装置に魚が泳いでいる動画像を表示している。ここで、ユーザが表示画面に手を近づけたときに、表示画面からユーザの手までの距離が所定のしきい値を下回ると、制御部４６は、ユーザの手の近傍から魚が逃げる動画像に表示を切り替える。これにより、現実に生きた魚が表示画面中を泳いでいるような臨場感を与えることができる。後述の例４に関連するが、ユーザの手が近づくときの速度を算出し、速度が速いときは、表示を切り替えるしきい値を大きくして、手が遠い位置にあるときから魚が逃げ始めるようにし、速度が遅いときは、しきい値を小さくして、手が近い位置に来るまで魚が逃げないようにしてもよい。制御部４６は、ユーザの手と表示画面との間の距離が所定値以上であるときは、魚が自由に泳いでいる動画像を表示し、距離が所定値を下回っているときは、魚がユーザの手の位置を避けて泳ぐ動画像を表示してもよい。非接触型入力装置は、表示画面の近傍の距離情報を精度良く検知することができるので、この例では、入力装置２０として非接触型入力装置を用いることがより好ましい。
【００３３】
入力装置２０として撮像装置を用いる場合は、測距機能や画像処理の精度の関係から、ユーザが撮像装置から離れすぎていると正確にユーザの指示を判別できない恐れがある。また、入力装置２０として非接触型入力装置を用いる場合は、ユーザの手などの部位が入力装置２０に近づかないと、静電容量の変化が起こらず検知できない。このように、入力装置２０の特性に応じて、ユーザが指示入力を行うことが可能な距離の上限値が存在するので、上述の魚が泳ぐ動画像の例を、指示入力の可否を提示する手段として利用してもよい。たとえば、ユーザの手の位置が入力装置２０から離れすぎていて指示入力が不可能な距離であるときには、魚が自由に泳ぎ回っている動画像を表示して、入力が不可能であることをユーザに提示し、ユーザが入力装置に近づいて指示入力が可能な距離になったときに、ユーザの手の回りを魚が避けるように泳ぐ動画像を表示して、入力が可能であることをユーザに提示してもよい。制御部４６は、入力装置２０に対する指示入力の可否を判断するための距離のしきい値を予め保持しておいてもよい。
【００３４】
４．移動量、速度、加速度に応じた指示入力の例
図１５および図１６は、画面上に表示されたオブジェクトを移動する機能について説明するための図である。図１５および図１６の例では、ユーザが表示装置３０に表示されたオブジェクトを指でずらして移動させようとしている。このとき、制御部４６は、ユーザの指などの部位の移動量、速度、加速度を検知して、それに応じてオブジェクトの移動量を決定する。たとえば、オブジェクトごとに重さ、すなわちオブジェクトを移動させるために必要な仮想的なエネルギー値を予め設定しておき、そのエネルギー値と、ユーザがオブジェクトを移動させようと指を動かすときの移動量、速度、または加速度に基づいて、オブジェクトの移動状態を制御する。制御部４６は、軽いオブジェクトについては、図１５に示すように、ユーザが素早く指をずらした場合にも、それに追随してオブジェクトを移動させるが、重いオブジェクトについては、図１６に示すように、ユーザが素早く指をずらした場合にはオブジェクトを移動させない。重いオブジェクトは、初めはユーザがゆっくりと指をずらすことで移動し始め、徐々に指を早く移動させると、それに追随して移動するようにする。これにより、現実の静止摩擦および動摩擦抵抗を模した移動状況を擬似的に再現することができ、ユーザにオブジェクトの重みを反映した操作感を与えることができる。この例で説明した技術は、従来のポインティングデバイスを用いたユーザインタフェイスにおいても利用可能である。
【００３５】
制御部４６は、ユーザがオブジェクトに与える力の大きさを判定して、その力の大きさに応じてオブジェクトの移動状態を制御してもよい。入力装置２０として撮像装置または非接触型入力装置を用いる場合は、入力装置２０とユーザの手の間の距離に基づいて力の大きさを判定してもよい。たとえば、ユーザの手が表示画面に近いほど大きな力をオブジェクトに与えることができるようにしてもよい。入力装置２０としてタッチパネルを用いる場合は、押圧する力の大きさに基づいて力の大きさを判定してもよい。従来のポインティングデバイスを用いる場合は、感圧式マウスなどの押圧の度合いにより力の大きさを判定してもよい。
【００３６】
図１７は、紙を扱う機能について説明するための図である。図１７では、制御部４６が本を開いた画像を表示装置３０に表示している。ユーザがページの上に指をおき、ゆっくり指をずらすと、制御部４６は、ユーザの指の動きに追随してページが徐々にめくれていき、所定の位置を超えるとページがめくれて次のページにうつるような画像を表示する。ユーザが素早く指を動かした場合は、制御部４６は、紙が指の動きに追随できずに、途中までめくれて元に戻るような画像を表示する。これにより、現実に本を読んでいるような臨場感をユーザに与えることができる。制御部４６は、紙がユーザの動きに追随できるか否かを判断するために用いる速度のしきい値を予め保持してもよい。その他、紙を扱う例として、制御部４６は、ユーザの指の動きが早過ぎた場合に、紙がしわを作る様子を表示したり、ユーザが紙をつまむ、破る、などの動作を行ったときに、紙に凹凸をつけたり、紙が破れた様子を表示したりしてもよい。
【００３７】
移動量、速度、加速度に応じた指示入力の他の例として、ユーザがあるオブジェクトを指などにより移動させ、他のオブジェクトの上を通過させたとき、移動速度に応じて他のオブジェクトに所定の処理を行ってもよい。たとえば、移動中のオブジェクトに対応するファイルを、通過したオブジェクトに対応するアプリケーションにより開く機能を実行してもよい。
【００３８】
５．３次元オブジェクトに対する指示入力の例
従来、３次元オブジェクトを表示画面上に表示し、ユーザから３次元オブジェクトの移動、回転などの操作を受け付ける場合、ポインタの動きが２次元的であるから、３次元的な指示入力が困難であるという問題があった。図２および図３に示した測距機能付きの撮像装置２２を用いた構成例、および図５に示した非接触型入力装置２６を用いた構成例では、ユーザの体の部位の動きを３次元的に取得することができるので、３次元空間を扱うのに適したジェスチュラルインタフェイスを提供することができる。
【００３９】
図１８は、３次元オブジェクトを扱う例を説明するための図である。制御部４６が表示装置３０に表示した３次元オブジェクト２４０の近傍で、ユーザがオブジェクト２４０をつかんで紙面奥方向へ回すジェスチャーを行うと、制御部４６は、ユーザが手を回した方向と同じ方向に３次元オブジェクト２４０を回転させる。このように、本実施の形態のジェスチュラルインタフェイスによれば、３次元オブジェクトを実際に手で扱っているような操作感を与えることができ、３次元空間を扱うためのユーザインタフェイスの操作性を飛躍的に向上させることができる。
【００４０】
（第２の実施の形態）
第２の実施の形態では、ユーザの体の一部ではなく、ユーザにより操作される物体の形状又は動作、又は物体までの距離により指示を入力する技術について説明する。本実施の形態の制御システム１０の全体構成、入力装置２０、表示装置３０、制御装置４０の内部構成は、それぞれ第１の実施の形態と同様である。本実施の形態では、主に、図５に示した非接触型入力装置２６を用いた構成例について説明するが、他の構成例を用いた場合についても同様である。静電容量の変化を検知する非接触型入力装置２６の場合、導電性の物体を表示画面上に置き、その物体にユーザが触れると、静電容量が変化して物体の形状が検知される。これを利用して、導電性物体の形状や動きに所定の機能を対応づけてユーザインタフェイスを構築することができる。
【００４１】
図１９は、物体の形状や動きにより指示を入力する例を説明するための図である。図１９に示した例では、表示装置３０に、制御部４６により制御される音楽再生アプリケーションのウインドウ２５０が表示されている。このとき、ユーザが、音量調節機能に対応づけられた形状を有する音量調節ユニット２６０を表示画面上に置いて、ツマミ２６２を左右に動かしたとする。解析部４４は、入力信号の形状を解析して、これが音量調節ユニット２６０であることを検知し、さらにツマミ２６２の動きを解析して制御部４６に伝える。制御部４６は、ツマミ２６２の移動量に応じて、音楽再生アプリケーションにおける音量を制御する。
【００４２】
静電容量の変化を検知する非接触型入力装置は、導電性物体のみを検知するので、絶縁性物体の底面に導線により特定の形状を描き、その形状と所定の機能とを対応づけてもよい。
【００４３】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４４】
実施の形態では、制御システム１０がパーソナルコンピュータなどの電子機器に相当する例について説明した。他の例では、入力装置２０として非接触型入力装置２６を用い、テーブルの天板に表示装置３０および入力装置２０を設け、その上でゲームなどを楽しめるように構成してもよい。また、通路の床などに表示装置３０および入力装置２０を設け、ユーザが歩いた足跡を表示したり、ユーザの行き先を画像や光などでナビゲーションするように構成してもよい。
【００４５】
【発明の効果】
本発明によれば、操作性に優れたユーザインタフェイスを提供することができる。
【図面の簡単な説明】
【図１】実施の形態に係る制御システムの構成を示す図である。
【図２】実施の形態に係る入力装置および表示装置の構成例を示す図である。
【図３】実施の形態に係る入力装置および表示装置の他の構成例を示す図である。
【図４】実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図５】実施の形態に係る入力装置および表示装置のさらに別の構成例を示す図である。
【図６】制御装置の内部構成を示す図である。
【図７】制御装置のハードウェアコンポーネントを示す図である。
【図８】ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図９】ユーザの複数の指の動きにより指示を入力する例を説明するための図である。
【図１０】ユーザの手の形状により指示を入力する例を説明するための図である。
【図１１】手の形状に対してオブジェクトをマッピングする例を説明するための図である。
【図１２】手の形状に対してオブジェクトをマッピングするためのテーブルの例を示す図である。
【図１３】図１１に示した操作により格納されたオブジェクトを取り出す例を説明するための図である。
【図１４】距離に応じた指示入力の例を説明するための図である。
【図１５】画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１６】画面上に表示されたオブジェクトを移動する機能について説明するための図である。
【図１７】紙を扱う機能について説明するための図である。
【図１８】３次元オブジェクトを扱う例を説明するための図である。
【図１９】物体の形状や動きにより指示を入力する例を説明するための図である。
【符号の説明】
１０・・・制御システム、２０・・・入力装置、２２・・・撮像装置、２４・・・タッチパネル、２６・・・非接触型入力装置、３０・・・表示装置、４０・・・制御装置、４２・・・取得部、４４・・・解析部、４６・・・制御部。

Claims

ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む複数の入力部位の動作を検知する検知部と、
前記検知部により検知された前記入力部位の動作を解析して、ユーザの指示を判別する解析部と、
前記解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする制御システム。
前記制御部は、ユーザが指を開く又は閉じる動作を行ったときに、その動作に対応づけられた機能を実行することを特徴とする請求項１に記載の制御システム。
ユーザに画像を提示するための表示部を更に備え、
前記制御部は、前記表示部に表示されたオブジェクトの近傍でユーザが指を開く又は閉じる動作を行ったときに、そのオブジェクトに対応づけられたアプリケーションに、指を開く又は閉じる動作に対応づけられた機能を実行させることを特徴とする請求項２に記載の制御システム。
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部と、
前記検知部により検知された前記入力部位の形状又は動作、及び前記入力部位までの距離を解析して、ユーザの指示を判別する解析部と、
前記解析部により判別されたユーザの指示に対応する機能を実行する制御部と、を備えることを特徴とする制御システム。
前記制御部は、前記入力部位の形状とデータの格納場所を対応づけ、ユーザからデータの格納要求があったときに、前記検知部により検知された前記入力部位の形状に対応する格納場所にそのデータを格納することを特徴とする請求項１に記載の制御システム。
前記制御部は、ユーザからデータの読み出し要求があったときに、前記検知部により検知された前記入力部位の形状に対応する格納場所からデータを読み出すことを特徴とする請求項５に記載の制御システム。
ユーザに画像を提示するための表示部を更に備え、
前記制御部は、前記入力部位までの距離が所定のしきい値以上であったときに、その旨を示す画像を前記表示部に表示し、前記入力部位までの距離が所定のしきい値を下回ったときに、その旨を示す画像に切り替えることを特徴とする請求項４に記載の制御システム。
前記しきい値は、前記検知部が検知した入力部位の情報を前記解析部が解析する際の精度に基づいて定められることを特徴とする請求項７に記載の制御システム。
前記制御部は、前記入力部位の移動量、速度、又は加速度を算出し、それらのうちの少なくとも一つに基づいて、前記機能を制御することを特徴とする請求項１に記載の制御システム。
ユーザに画像を提示するための表示部を更に備え、
前記制御部は、前記表示部に表示されたオブジェクトをユーザが移動させるために、そのオブジェクトの近傍に前記入力部位を接近させて移動させたときに、前記入力部位の移動量、速度、又は加速度に応じて、オブジェクトの移動量を決定することを特徴とする請求項９に記載の制御システム。
前記制御部は、前記表示部に表示されたオブジェクトに対して、そのオブジェクトの重さを表すパラメータを設定し、前記パラメータを更に考慮してオブジェクトの移動量を決定することを特徴とする請求項１０に記載の制御システム。
前記検知部は、前記入力部位までの距離情報を取得可能な撮像装置であることを特徴とする請求項１から１１のいずれかに記載の制御システム。
前記検知部は、複数の電極を含み、前記入力部位の接近による前記電極間の静電容量の変化を検知する入力装置であることを特徴とする請求項１から１１のいずれかに記載の制御システム。
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の形状又は動作、又は前記入力部位までの距離を検知するステップと、
検知された前記入力部位の形状又は動作、又は前記入力部位までの距離を解析して、ユーザの指示を判別するステップと、
判別されたユーザの指示に対応する機能を実行するステップと、
を含むことを特徴とする制御方法。
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部から、検知された情報を取得し、前記情報を解析して、ユーザの指示を判別する機能と、
判別されたユーザの指示に対応する機能を実行する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
ユーザの体の少なくとも一部又はユーザにより操作される物体の少なくとも一部を含む入力部位の形状又は動作、又は前記入力部位までの距離を検知する検知部から、検知された情報を取得し、前記情報を解析して、ユーザの指示を判別する機能と、
判別されたユーザの指示に対応する機能を実行する機能と、
をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。