WO2006104132A1

WO2006104132A1 - ユーザインタフェイスシステム

Info

Publication number: WO2006104132A1
Application number: PCT/JP2006/306245
Authority: WO
Inventors: Takuya Hirai; Atsushi Yamashita; Atsushi Iisaka; Tomohiro Terada
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-03-28
Filing date: 2006-03-28
Publication date: 2006-10-05
Also published as: US20080163131A1; JPWO2006104132A1; EP1865404A4; US7810050B2; JP4702959B2; CN101180599A; EP1865404A1

Abstract

　より使い勝手の良いユーザインタフェイスシステムを提供すること。ユーザインタフェイスシステムであって、ユーザの指示入力を受け付ける操作部（２１）と、操作部の操作面上におけるユーザの指先の現在位置を示す第１の座標値群を検出する指位置検出部（３２）と、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）部品を表す部品データを格納する部品格納部（４）と、指位置検出部（３２）により検出された第１の座標値それぞれに、前記部品格納部に保持される部品データを一意に割り当てる割り当て部（３４）と、割り当て部の割り当てに従って、部品格納部（４）に格納された部品データが表すＧＵＩ部品と、指位置検出部（３２）により検出された第１の座標値それぞれとが一意に関連付けられたユーザインタフェイスを表すＧＵＩ画像を生成する画像作成部（３５）と、画像作成部（３５）により生成されたＧＵＩ画像を表示画面に表示させる表示制御部（３６）とを備える。

Description

明細書

ユーザインタフェイスシステム

技術分野

[0001] 本発明は、ユーザインタフェイスシステムに関し、より特定的には、コンピュータ装置に対し、実行すべき機能をユーザが指定可能なユーザインタフェイスシステムに関する。

背景技術

[0002] 近年、様々なユーザインタフェイスシステムが提案されて!、る。その中のある種のュ一ザインタフェイスシステムでは、アルファベット、数字、及びコマンドを含むグループが登録されており、これらはサブグループに分類される。各サブグループは、ユーザの指の一部分に関連づけられている。また、そのユーザインタフェイスシステムは、複数のキーを含むキーパッドを備えており、各キーには、上記アルファベット、数字及びコマンドの中の少なくとも 1つが割り当てられている。また、そのユーザインタフェイスシステムには、指認識システムが備わっており、指認識システムは、キーに触れている指を認識し、キーと相互作用する指に割り当てられたサブグループを選択する。特許文献 1：特表 2003— 529130号公報

発明の開示

発明が解決しょうとする課題

[0003] 上記のように、ユーザインタフェイスシステムでは、各サブグループがユーザの指に関連づけられており、指認識システムは、現在キーを操作している指を認識して、サブグループを特定する。言い換えれば、キーパッドには、アルファベット、数字、及びコマンドの説明が表示されないため、ユーザは、どの指がどのサブグループに関連づけられて、るかを覚えなければならず、使、勝手が悪、と、う問題点がある。

[0004] それ故に、本発明の目的は、より使い勝手の良いユーザインタフェイスシステムを提供することである。

課題を解決するための手段

[0005] 上記目的を達成するために、本発明の第 1の局面は、ユーザインタフェイスシステムに向けられている。本発明は、ユーザの指示入力を受け付ける操作部と、操作部の操作面上におけるユーザの指先の現在位置を示す第 1の座標値群を検出する指位置検出部と、 GUI (Graphical User Interface)部品を表す部品データを格納する部品格納部と、指位置検出部により検出された第 1の座標値それぞれに、部品格納部に保持される部品データを一意に割り当てる割り当て部と、割り当て部の割り当てに従って、部品格納部に格納された部品データが表す GUI部品と、指位置検出部により検出された第 1の座標値それぞれとが一意に関連付けられたユーザインタフェイスを表す GUI画像を生成する画像作成部と、画像作成部により生成された GU I画像を表示画面に表示させる表示制御部とを備える。

[0006] また、ユーザの手操作を撮影可能に設置される撮像装置をさらに備え、指位置検出部は、前記撮像装置による撮影画像から、操作部の操作面上におけるユーザの指先の現在位置を示す座標値群を検出することが好ましい。

[0007] また、画像作成部は、撮像装置により取得した手画像の指のうち、ユーザが折り曲げた指に関連付けられたの GUI部品を消滅させ、最後に残存する指先の現在位置を示す座標値に割り当てられた GUI部品の機能を実行する機能実行部をさらに備えることが好ましい。

[0008] 画像作成部は、指位置検出部で検出された第 1の座標値それぞれが示す位置と、割り当て部により割り当てられた部品データが表す GUI部品との間が線で結ばれる

GUI画像を作成することが好ま、。

[0009] 画像作成部は、過去に実行された機能を記憶しておくための履歴情報保持部をさらに備え、前記履歴情報をもとに、指先に付加される GUI画像を作成することが好ましい。

[0010] 画像作成部は、指位置検出部で検出された第 1の座標値それぞれが示す位置又はその周辺に、割り当て部により割り当てられた部品データが表す GUI部品を合成することが好ましい。

[0011] 画像作成部は、さらに左右の手を判別する左右手判別部をさらに備え、左手で操作するときと右手で操作するときとで先の第 1の座標値に付加する GUI部品を変更することが好ましい。 [0012] 指位置検出部で検出された第 1の座標値のそれぞれが何指のものかを識別する指識別部をさらに備えることが好ましい。

[0013] 表示制御部は、指識別部により識別された複数種の指先の位置を示す第 1の座標値を含む手画像を表示し、割り当て部が、指識別部により識別された複数種の指先の位置を示す第 1の座標値それぞれに前記 GUI部品を一意に割り当てた後、表示した手画像を消去することが好ま、。

[0014] 表示制御部は、割り当て部によって指識別部により識別された複数種の指先の位置を示す第 1の座標値それぞれに割り当てられた GUI部品が、何指に対応するかを表示させることが好ましい。

[0015] 画像作成部は、指識別部に識別された指の種類に応じて、部品格納部に格納された GUI部品の大きさを変更した GUI画像を作成することが好ましい。

[0016] 表示制御部は、指位置検出部により検出された特定の第 1の座標値の表す指先に

、割り当て部により割り当てられた GUI部品を当該指先の動作に追従するように表示させることが好ましい。

[0017] 表示制御部は、指位置検出部により検出された特定の第 1の座標値の表す指先の動作に応じて、当該指先に前記割り当て部により割り当てられた GUI部品が移動するように表示させることが好ま U、。

[0018] 割り当て部は、指位置検出部により検出された特定の第 1の座標値についての割当のみ維持し、指位置検出部により検出されたその他の第 1の座標値については割り当てを変更することが好ま U、。

[0019] 操作部の操作面をユーザが触って、る位置を示す第 2の座標値を検出する接触位置検出部と、接触位置検出部により検出された第 2の座標値と、割り当て部により一意に割り当てられた第 1の座標値とから、操作面をユーザが何指を使って触っているかを判定し、さらに、判定した指に割り当てられている GUI部品を特定する接触指判定部と、接触指判定部により特定された GUI部品に割り当てられている機能を機能実行部とをさらに備えることが好ましい。

[0020] ユーザの操作に応答して、割り当て部は、指位置検出部により検出された第 1の座標値に一旦割り当てた部品データを、別の GUI部品に割り当て直すことが好ましい。 [0021] ユーザの操作に応じて、第 2の座標位置を検出したときに、検出した位置を基準として、第 1の座標位置の変位を検出し、変位に応じた機能を実行することが好ましい

[0022] 割り当て部は、特定種類の指の位置を示す第 1の座標値には部品を割り当てず、残りの指に位置を示す第 1の座標値に、複数の機器の間で互、に異なる部品データを一意に割り当て、画像作成部は、特定の指で複数の機器を選択可能で、かつ、特定の指での操作に応答して、現在選択されている機器について、指識別部により種類が識別された残りの指の位置を示す第 1の座標値と、部品格納部に格納されかつ割り当て部により残りの指に割り当てられた部品データとがー意に関連づけられた G UI画像を生成することが好ま、。

[0023] 接触位置検出部は、ユーザが前記操作部の操作面の少なくとも 2点に接触すると、それぞれの接触に応答して、最初の接触位置を示す第 2の座標値を検出し、さら〖こ、 2回目の接触位置を示す第 2の座標値を検出し、接触指判定部は、接触位置検出部により検出された最初の第 2の座標値と、割り当て部により一意に割り当てられた第 1 の座標値及び GUI部品とから、操作部の操作面を前記ユーザが何指を使って触つているかを判定し、さらに、接触位置検出部により検出された 2回目の第 2の座標値から、前記ユーザが今回指定した GUI部品を特定することが好ましい。

[0024] 接触位置検出部は、ユーザが前記操作部の操作面の少なくとも 2点間をなぞると、それぞれの接触に応答して、現在の接触位置を示す第 2の座標値を定期的に検出し、接触指判定部は、接触位置検出部により定期的に検出された第 2の座標値と、割り当て部により一意に割り当てられた第 1の座標値及び GUI部品とから、操作部の操作面をユーザが何指を使って触っているかを判定し、さらに、ユーザが今回指定した GUI部品を特定することが好ま、。

[0025] 本発明の第 2の局面は、ユーザインタフェイスシステムにおいて用いられる表示方法に向けられている。本発明は、ユーザインタフェイスシステムに備わりかつユーザの指示入力を受け付ける操作部の操作面上におけるユーザの指先の現在位置を示す第 1の座標値群を検出する指位置検出ステップと、ユーザインタフェイスシステムに備わる記憶装置に格納され、 GUI (Graphical User Interface)部品を表す部品データを、指位置検出ステップにより検出された第 1の座標値それぞれに一意に割り当てる割り当てステップと、割り当てステップの割り当てに従って、記憶装置に格納された GUI部品と、指位置検出ステップにより検出された第 1の座標値それぞれとがー意に関連づけられたユーザインタフェイスを表す GUI画像を生成する画像作成ステップと、画像作成ステップにより生成された GUI画像を、前記ユーザインタフェイスシステムに備わる表示画面に表示させる表示制御ステップとを備える。

発明の効果

[0026] 上記各局面に記載した通り、各 GUI部品には予め定められた機能が割り当てられている。このような GUI部品のそれぞれは、 GUI画像の一部として表示画面に表示される。表示された GUI部品は、ユーザの各指先に関連づけられ、つまり、各指先に割り当てられる。このように各 GUI部品が表示されるので、各局面に係るユーザインタフェイスシステムは、ユーザに、少なくともどのような機能が実現可能であるのかを視認可能に提示することが可能となる。これによつて、より使い勝手の良いユーザインタフェイスシステムを提供することができる。

[0027] 本発明の上記及びその他の目的、特徴、局面及び利点は、以下に述べる本発明の詳細な説明を添付の図面とともに理解したとき、より明らかになる。

図面の簡単な説明

[0028] [図 1]図 1は、本発明の一実施形態に係るユーザインタフェイスシステム 1の概略構成を示す模式図である。

[図 2]図 2は、図 1に示すコンピュータ装置 3の機能的なブロック構成を示す模式図である。

[図 3]図 3は、図 2に示すコンピュータ装置 3の表示処理を示すフローチャートである。

[図 4]図 4は、図 2に示す指位置検出部 32の詳細な処理手順を示すフローチャートである。

[図 5A]図 5Aは、図 2に示す指識別部 33の処理の一例を示す第 1の模式図である。

[図 5B]図 5Bは、図 2に示す指識別部 33の処理の一例を示す第 2の模式図である。

[図 6A]図 6Aは、図 2に示す画像作成部 36で作成される GUI画像を示す第 1の模式図である。 [図 6B]図 6Bは、図 2に示す画像作成部 36で作成される GUI画像を示す第 2の模式図である。

[図 6C]図 6Cは、図 2に示す画像作成部 36で作成される GUI画像を示す第 3の模式図である。

[図 6D]図 6Dは、図 2に示す画像作成部 36で作成される GUI画像を示す第 4の模式図である。

[図 7]図 7は、図 2に示すコンピュータ装置 3の機能実行処理を示すフローチャートである。

[図 8]図 8は、本発明の変形例に係るユーザインタフェイスシステム 11の概略構成を示す模式図である。

[図 9]図 9は、図 8に示すコンピュータ装置 14の機能的なブロック構成を示す模式図である。

[図 10]図 10は、図 9に示すコンピュータ装置 14の表示処理を示すフローチャートである。

[図 11 A]図 11 Aは、図 9に示す画像作成部 146で作成される GUI画像を示す第 1の模式図である。

[図 11B]図 11Bは、図 9に示す画像作成部 146で作成される GUI画像を示す第 2の模式図である。

[図 12]図 12は、図 9に示すコンピュータ装置 14の機能実行処理を示すフローチヤ一トである。

[図 13]図 13は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における多機能割り当て方法の第 1例を示す模式図である。

[図 14]図 14は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における多機能割り当て方法の第 2例を示す模式図である。

[図 15]図 15は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における多機能割り当て方法の第 3例を示す模式図である。

[図 16]図 16は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における多機能割り当て方法の第 4例を示す模式図である。 [図 17]図 17は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における GUI部品の割り当て変更方法の一例を示す模式図である。

[図 18A]図 18Aは、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11におけるメインメニューの GUI部品を割り当てたときの表示の一例である。

[図 18B]図 18Bは、図 18Aのメインメニューから機能を選択して表示されるサブメニュ一表示例である。

[図 19A]図 19Aは、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における GUI部品を割り当てたときの表示の一例である。

[図 19B]図 19Bは、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における GUI部品の割り当てを変更し、特定の指にはボタンが追従する一例である。

[図 20]図 20は、 GUIを操作する際に、特定の指にはボタンを追従させる表示の一例である。

[図 21]図 21は、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における GUI部品を割り当てたときの表示の一例と、指が接触位置検出部力も離れていない状態での表示の一例である。

[図 22]図 22は、 GUI部品を表示したときに手形状の表示を消去する一例である。

[図 23]図 23は、指に機能を付加し、 GUIを操作するときの表示の一例である。

[図 24A]図 24Aは、指と GUIとの対応付けを行い、 GUI部品を操作する際の一例である。

[図 24B]図 24Bは、図 24Aにおける GUI部品を操作するときの指の動作の一例である。

[図 25A]図 25Aは、図 1又は図 8に示すユーザインタフェイスシステム 1又は 11における機能を割り当てたときの表示の一例である。

[図 25B]図 25Bは、図 25Aにおける残った指の機能を実行する際の表示の一例である。

符号の説明

1, 11ユーザインタフェイスシステム

2 タッチスクリーン 21 表示画面

3, 14 コンピュータ装置

31, 141 画像受信部

32, 142 指位置検出部

33, 143 指識別部

34, 144 部品割り当て部

35, 145 画像作成部

36, 146 表示制御部

37, 147 接触位置検出部

38, 148 接触指判定部

39, 149 機能実行部

4, 15 記装置

5, 13 撮像装置

12 ポインティングデバイス

121 操作領域

発明を実施するための最良の形態

[0030] (実施形態）

図 1は、本発明の一実施形態に係るユーザインタフェイスシステム 1の概略構成を示す模式図である。なお、説明の便宜上、図 1には、表示装置 21の側に、 X軸及び y 軸カゝらなる 2次元座標系が示されている。図 1において、ユーザインタフェイスシステム 1は、大略的な構成として、タッチスクリーン 2と、コンピュータ装置 3と、記憶装置 4と、撮像装置 5とを備える。

[0031] タッチスクリーン 2は、本実施形態では、予め定められたサイズを有する表示画面 2 1にユーザが例えば 5本の指 F — Fのそれぞれで触れることで、タッチスクリーン 2に

1 5

接続されたコンピュータ装置 3にユーザが所定の機能を実行するよう指示を与えることができる入力装置である。

[0032] コンピュータ装置 3は、典型的にはプロセッサと、各種メモリとを少なくとも含んでおり、例えば ROMのようなメモリに格納されたコンピュータプログラムに従って動作する。ここで、図 2は、このようなコンピュータ装置 3の機能的なブロック構成を示す模式図である。図 2において、コンピュータ装置 3は、上記のコンピュータプログラムを実行することで、画像受信部 31と、指位置検出部 32と、指識別部 33と、部品割り当て部 34と、画像作成部 35と、表示制御部 36という機能を実現する。

[0033] 再度図 1を参照する。記憶装置 4は、上記表示画面 21に表示すべき GUI (Graphi cal User Interface)画像を生成するために必要となる GUI部品データを格納する。 GUI部品データには、予め定められた機能が割り当てられており、 GUI部品データは、例えばアイコン又はボタンのような GUI部品を表す画像データである。なお、本実施形態では便宜上、記憶装置 4には、 5個の GUI部品それぞれを表す画像データが格納されると仮定する。また、図 1には例示的に、 2個の GUI部品 C及び Cが表

1 2 示画面 21に表示されて!、る様子が示されて!/、る。

[0034] 撮像装置 5は、少なくともタッチスクリーン 2の表示エリア（つまり表示画面） 21を自身の画角がカバーするように設置される。このように設置される撮像装置 5は、自身の画角の範囲内を、予め定められた時間間隔で撮影し、撮影画像をコンピュータ装置 3に出力する。

[0035] 次に、図 3を参照して、上記のような構成のユーザインタフェイスシステム 1の表示処理について説明する。ユーザは、自身の手 H (図 1参照）を表示画面 21に載せる。撮像装置 5は、自身の画角内の様子を撮影し、これによつて得られる撮影画像をコンビユータ装置 3に出力する（ステップ S31)。ここで、上記のように、表示画面 21に手 H が載っている場合には、撮影画像には手 Hが映っている。

[0036] コンピュータ装置 3において、画像受信部 31は、撮像装置 5から出力された撮影画像を受け取り (ステップ S32)、指位置検出部 32は、受け取った撮影画像から、ユーザの各指 F — Fの表示画面 21上での位置を示す座標値 (以下、現在位置座標値

1 5

と称する）を検出する (ステップ S33)。

[0037] ここで、図 4のフローチャートを参照して、図 2に示す指位置検出部 32の詳細な処理、つまり、図 3のステップ S33の詳細な処理について説明する。まず、指位置検出部 32は、画像受信部 31により受信された撮影画像データを、図示しないフレームメモリに取り込む (ステップ S41)。次に、指位置検出部 32は、身体領域抽出処理を行つて、フレームメモリ内の撮影画像データから、ユーザの手 Hが映っている領域を表す部分画像データを作成する (ステップ S42)。身体領域抽出処理では、フレームメモリ内の撮影画像におけるユーザの手 Hの領域と背景（大部分は表示画面 21)の領域とが区別され、ユーザの手 Hの領域のみが抽出される。

[0038] 上記のような手 H及び背景を区別する手法としては、例えば背景差分法がある。背景差分法では、指位置検出部 32は、画像受信部 31を介して、表示画面 21のみが映っている画像データを背景画像データとして予め取得しておく。指位置検出部 32 は、このような背景画像データと、ステップ S41で取り込まれた撮影画像データとを画素毎又はブロック毎に比較し、撮影画像にお!、て背景部分と異なる領域を手 Hの領域として抽出する。背景差分法によれば、撮像装置 5が撮影する際に手 Hの背景を単一色にする必要が無、ので、本実施形態のようにタッチスクリーン 2の表示画面 21 を、表示系及び操作系として共用する場合に有効である。

[0039] 上述したようなステップ S42の次に、指位置検出部 32は、指先位置検出処理を行つて、上述のような部分画像データを使って、ユーザの指先の位置を示す現在位置座標値群を検出する (ステップ S43)。

[0040] 上記のような指先の位置を検出する手法としては、 3通り例示される。

[0041] 第 1に、上述のような手 Hを表す部分画像データに対してパターンマッチングを行い、指先の位置を推定する方法がある。具体的には、指先が丸みを帯びているという特徴を利用し、円形のテンプレートを用いて、部分画像における手 Hの領域周辺でパターンマッチングが実行される。このようなパターンマッチングにより、指位置検出部 32は、指 F — Fの先端の候補点を取得する。なお、第 1の手法では指先を誤認

1 5

識する可能性もあるので、指位置検出部 32は、各指 F — F について候補点を 1つ

1 5

に絞り込み、これによつて、各指 F — Fの先端の位置を示す現在位置座標値を得る

1 5

[0042] 第 2の手法は、ユーザが本ユーザインタフェイスシステム 1を使う場合に、各指 F -

1

Fの先端に、予め定められた目印をつける方法である。目印の典型例としては、爪

5

に塗られたマ-キュアがある。このような目印は予め定められた輝度又は色相を有しているので、指位置検出部 32は、上述のような部分画像データから目印の輝度又は色相を検出し、これによつて、各指 F -Fの先端の位置を示す現在位置座標値を

1 5

得る。上記のような第 2の手法によれば、外光に代表されるノイズが少ない場所に撮像装置 5が設置されている場合、目印の輝度又は色相に変化が少なくなるので有効であり、各指 F — Fの先端の位置を示す現在位置座標値を正確に取得して検知で

1 5

きる。

[0043] また、第 3の手法では、指位置検出部 32は、キャリブレーションを行って、予め定められた初期位置に置かれた指 F — Fの先端を、手 Hの動きに応じて追跡する。より

1 5

具体的には、キャリブレーション時にユーザは、表示画面 21において定められた位置 (初期位置）に指 F — Fの先端を置く。このような状態で撮像装置 5により撮影さ

1 5

れた画像を、指位置検出部 32は取得し、初期位置 (つまり、指 F -Fの先端)の輝

1 5

度又は色相を検出する。その後、指位置検出部 32は、撮像装置 5からの撮影画像を取得するたびに、キャリブレーション時の指 F — Fの先端と実質的に同じ輝度及び

1 5

色相の位置を検出し、それぞれをそのときの各指 F — Fの先端の位置を示す現在

1 5

位置座標値として取得する。

[0044] 以上で、指位置検出部 32の詳細な処理の説明を終了し、再度、図 3を参照する。

上述のようなステップ S33が終了すると、コンピュータ装置 3において、指識別部 33 は、指位置検出部 32で取得された現在位置座標値群を取得し、どの現在位置座標値が親指 F、人差し指 F、中指 F、薬指 F及び小指 Fのものかを、つまり指の種

1 2 3 4 5

類を識別する (ステップ S34)。

[0045] 以下、図 2に示す指識別部 33の詳細な処理、つまり、図 3のステップ S34の詳細な処理について説明する。指識別部 33の処理については、以下の 2つの方法が例示される。

[0046] 第 1の方法では、指先間の距離を用いて、指の種類が識別される。具体的には、まず、指識別部 33は、指位置検出部 32から得られる 5個の現在位置座標値から、一番端の現在位置座標値とその隣の現在位置座標値との組を 2個選択する。その後、指識別部 33は、一方の組に属する 2現在位置座標値間の距離と、他方の組に属する 2現在位置座標値間の距離とを算出し、長い方を親指 F及び人差し指 Fの間の

1 2 距離とみなし、そうでない方を薬指 F及び小指 Fとみなす。このようにして、指識別部 33は、どの現在位置座標値がどの指のものかを識別する。

[0047] 第 2の方法としては、指識別部 33は、指位置検出部 32から得られる 5個の現在位置座標値の X座標値が小さい方又は大きい方から順番に、親指 F、人差し指 F、中

1 2 指 F、薬指 F及び小指 Fと見なしても良い。ただし、この場合、表示画面 21に対し

3 4 5

て、手 Hは定められた向きに置かれなければならない。また、表示画面 21上の手 H が右手力左手か不明な場合があるので、指識別部 33は、指位置検出部 32から得られる 5個の現在位置座標値から、図 5Aに示すような X座標値が最小の座標値 P と min 最大の座標値 P を選択する。また、指識別部 33は、指位置検出部 32で生成され max

た部分画像データから、図 5Bに示すよう両端の指の太さ W及び Wを検出し、太い

1 5

方を親指 Fとみなし、細い方を小指 Fとみなす。さらに、指識別部 33は、親指 Fが

1 5 1 小指 Fよりも X座標値が大きい側にある場合、現在位置座標値 P を親指 Fと識別

5 max 1 する。このように親指 Fの現在位置座標値を識別できると、他の指 F — Fの現在位

1 2 5 置座標値も識別することができる。また、このような演算は、撮影画像が到着するたびに行われると、識別の精度が向上する力少なくとも 1回行われれば良い。

[0048] なお、ユーザが右手を使って!/、る力、左手を使って!/、るかは上記のような手法で判断せずとも、ユーザが図示しな、入力装置を用いて指定しても構わな!/、。

[0049] また、コンピュータ装置 3において、部品割り当て部 34は、指識別部 33からの識別結果、つまり、親指 Fの現在位置座標値、人差し指 Fの現在位置座標値、中指 F

1 2 3 の現在位置座標値、薬指 Fの現在位置座標値及び小指 Fの現在位置座標値を受

4 5

け取り、記憶装置 4に格納されている 5個の GUI部品データのそれぞれに、今回受け取った 5個の現在位置座標値を一意に割り当て、現在の割り当て状況を保持する (ステツプ S35)。図 2には、例示的に、親指 Fの現在位置座標値に GUI部品 C力人

1 1 差し指 Fの現在位置座標値に GUI部品 Cが割り当てられていることが示されている

2 2

[0050] その後、コンピュータ装置 3において、画像作成部 35は、図示しないフレームメモリに GUI画像を表す GUI画像データを作成する（ステップ S36)。具体的には、 GUI画像においては、上記 GUI部品データが表す 5個の GUI部品のそれぞれが互いに重なり合わない座標位置に合成される。さらに、 GUI画像においては、部品割り当て部 34に保持される親指 Fの現在位置座標値と、部品割り当て部 34により、これに割り

1

当てられた GUI部品 Cとを関連付けをユーザが視認可能に描く。他の指 F — F に

1 2 5 ついても同様に、部品割り当て部 34により保持される指 F — Fの現在位置座標値

2 5

それぞれと、対象となる現在位置座標値に割り当てられた GUI部品との関連づけがユーザにより視認可能に描かれる。

[0051] 以下、図 6A—図 6Dを参照して、上記の画像作成部 35により描画される GUI画像を 4個例示する。図 6Aにおいて、画像作成部 35は、親指 Fの現在位置座標値 Pと

1 1

、対象となる現在位置座標値 P に割り当てられた GUI部品 Cとの間に線 Lを描き、

1 1 1 これによつて両者を関連づける。同様に、他の指 F — Fの現在位置座標値 P — P

2 5 2 5 と、対象となる GUI部品 C — Cとが線 L — Lで結ばれる。この場合、より好ましくは

2 5 2 5

、線 L — Lは、互いに異なる種類 (つまり、典型的には、線種、線の色、線の太さ）で

1 5

ある。また、線種については、 GUI部品により特定される機能の実行をユーザが指定した回数に応じて変更しても構わな!/、。

[0052] また、図 6Aの例では、各 GUI部品 C Cは、表示画面 21の端の方に合成されて

1 5

いるが、これによつて、例えば車載用ナビゲーシヨンシステムで表示される地図又はテレビ映像を表示する領域を確保することが可能となる。また、地図又はテレビ映像の視認性を確保するため、各 GUI部品 C -C及び線 L -Lがユーザにより半透

1 5 1 5

明で視認されるよう、これらは、周知のブレンディング処理により、地図画像上又はテレビ映像上に合成されることが好ましい。また、線 L — Lは、表示画面 21において

1 5

各指 F — Fが置かれている領域を迂回するように描かれることが好ましい。

1 5

[0053] また、図 6B又は図 6Cに示すように、画像作成部 35は、親指 Fの現在位置座標値

1

Pで特定される位置に、対象となる GUI部品 Cを合成する。同様に、他の指 F — F

1 1 2 5 の現在位置座標値 P -Pで特定される位置に、対象となる GUI部品 C -Cが合

2 5 2 5 成される。なお、図 6Cに示すように、各 GUI部品 C C 1S 所定の機能を表す記

1 5

号を含んでいる場合、指 F — Fの後ろ側に GUI部品 C — Cが隠れたとしても、ュ

1 5 1 5

一ザは、どの GUI部品にどの機能が割り当てられているかを、文字で機能を表現した場合と比較して認識し易くなる。これによつて、ユーザが表示画面 21を注視する時間を短くすることができるため、ユーザインタフェイスシステム 1を、画面注視が問題となりやす、車載用途に組み込むことが容易になる。

[0054] また、図 6Dに示すように、画像作成部 35は、親指 F の現在位置座標値 P の周辺

1 1 に、対象となる GUI部品 Cを合成する。ここで、好ましくは、 GUI部品 Cは、現在位

1 1

置座標値 P

1で特定される位置を基準として、 y軸の正方向に予め定められた距離だけ離れた位置に合成されることが好ましい。これによつて、 GUI部品 Cは、図 6Dに

1

示すように、親指 F の後ろ側に隠れに《なるので、ユーザは GUI部品 Cを視認し

1 1 易くなる。同様に、他の指 F — Fの現在位置座標値 P — Pの周辺に、対象となる G

2 5 2 5

UI部品 c 2 -cが合成される。

5

[0055] なお、前述のように、指識別部 33では、ユーザが現在使って、る手 Hが左右、ずれのものかを識別することも可能であるため、部品割り当て部 34は、左手の各指に予め定められた第 1のグループに属する部品データを割り当て、右手の各指には、第 1 のグループとは異なる第 2のグループに属する部品データを割り当てるようにしても構わない。

[0056] また、画像作成部 35は、 GUI部品 C C の使用履歴又は使用頻度に応じて、又

1 5

は各指の座標値群の値に応じて、 GUI部品 C — Cの大きさ、色、形又は透明度、さ

1 5

らには GUI部品 C — C に用いられているフォントを変更しても構わない。また、使用

1 5

頻度の低い GUI部品に関しては、 GUI画像に合成しな力つたり、点滅表示するように GUI画像に合成したりしても構わな、。

[0057] 以上で、画像作成部 35の詳細な処理の説明を終了し、再度、図 3を参照する。上述のようなステップ S36が終了すると、コンピュータ装置 3において、表示制御部 36 は、フレームメモリに今回作成された GUI画像データに従って、タッチスクリーン 2の表示画面 21に GUI画像（図 1、図 6A—図 6Dを参照）を表示する (ステップ S37)。なお、図 1に例示した GUI画像では、親指 F の位置を示す現在位置座標値 Pと、 GU

1 1

I部品 Cとが線 Lで結ばれており、かつ人差し指 F の位置を示す現在位置座標値 P

1 1 2

と、 GUI部品 Cとが線 Lで結ばれているが、図示の都合上、他の指 F -F につい

2 2 2 3 5 て、現在位置座標値、線及び GUI部品は示されていない。

[0058] 以上の図 1及び図 2を参照して説明したような処理は、予め定められた時間間隔で実行される。以上のような処理により、撮像装置 5は、上記時間間隔で、撮影画像をコンピュータ装置 3に定期的に出力する。また、コンピュータ装置 3において、画像受信部 31、指位置検出部 32、指識別部 33、部品割り当て部 34、画像作成部 35及び表示制御部 36の一連の処理は、上記時間間隔で定期的に行われる。従って、表示画面 21上で各指 F — Fが動いている間、各指 F — Fの現在位置座標値は、それ

1 5 1 5

ぞれの動きに追従して経時変化する。その結果、図 6Aに示すような GUI画像では、 GUI部品の合成位置を基準として、各 GUI部品と各指の現在位置座標値を結ぶ線もまた、時間経過に応じて、各指の動きに追従して伸縮及び回転する。言い換えれば、ユーザからは、あた力も自分の指と GUI部品とが線で結ばれているように見えることになる。これによつて、ユーザからは、たとえ自分の指 F -Fが動いても、上記の

1 5

ように伸縮及び回転する線のおかげで、どの指にどの GUI部品が割り当てられてヽるか容易に認識することができる。

[0059] また、図 6B—図 6Cに示すような GUI画像では、 GUI部品自体力時間経過に応じて、各指の動きに追従して変位するように、ユーザは感じる。これによつて、ユーザは、たとえ自分の指 F — Fが動いても、その動きに追従する GUI部品のおかげで、

1 5

どの指にどの GUI部品が割り当てられて、るか容易に認識することができる。

[0060] 以上、本ユーザインタフェイスシステム 1につ、て、 GUI画像が表示されるまでの処理について説明した。次に、本ユーザインタフェイスシステム 1において、表示画面 2 1に表示された GUI部品に割り当てられる機能を実行する処理につ!ヽて説明する。このような処理のために、コンピュータ装置 3は、内部のメモリに格納されたコンピュータプログラムに従って動作することで、図 2に示すように、接触位置検出部 37と、接触指判定部 38と、機能実行部 39という機能をさらに実現する。

[0061] 次に、図 7を参照して、図 2に示すユーザインタフェイスシステム 1における機能実行処理について説明する。ユーザは、前述の表示処理により、特定の機能が割り当てられていることになるいずれかの指で、表示画面 21に接触し、力をカ卩える。すると、タッチスクリーン 2からは、今回の接触位置を特定可能な信号 (以下、位置信号と称する）がコンピュータ装置 3に与えられる。

[0062] コンピュータ装置 3において、接触位置検出部 37は、タッチスクリーン 2から位置信号が与えられると (ステップ S 71)、表示画面 21にお、てユーザが現在接触して、る位置を示す座標値 (以下、接触座標値と称する)を検出する (ステップ S72)。

[0063] 接触指判定部 38は、部品割り当て部 34に保持される割り当て状況をチェックして、接触位置検出部 37で検出された接触座標値と実質的に一致する現在位置座標値を選択する (ステップ S73)。さらに、接触指判定部 38は、選択した現在位置座標値に割り当てられて!/、る GUI部品を特定する (ステップ S74)。

[0064] 機能実行部 39は、接触指判定部 38により認識された GUI部品に割り当てられている機能を実行する (ステップ S75)。

[0065] 以上説明したように、本ユーザインタフェイスシステム 1では、部品割り当て部 34に、各指の現在位置と、それぞれに割り当てられている GUI部品とが保持される。また、接触指判定部 38は、タッチスクリーン 2から送られてくる位置信号と、部品割り当て部 34に保持される割り当て状況とに基づいて、ユーザが現在使った指を判定し、さらには、ユーザが今回実行したい機能を特定する。このような本ユーザインタフェイスシステム 1によれば、ユーザは、従来のような予め定められた場所に配置される GUI部品まで指を持っていく必要が無くなる。これによつて、ユーザが素早く操作することが可能なユーザインタフェイスシステム 1を提供することが可能となる。

[0066] なお、以上の実施形態では、ユーザインタフェイスシステム 1は、タッチスクリーン 2 を備えるとして説明した力同様の機能は、タツチパネル、タツチパッド又はタツチトレーサと、プロジェクタとを組み合わせても実現できる。この場合、プロジェクタは、タツチパネル、タツチパッド又はタツチトレーサ上に GUI画像を投影することになる。

[0067] (変形例）

前述の実施形態では、ユーザインタフェイスシステム 1は、タッチスクリーン 2を備え、その結果、表示画面 21は、ユーザの操作領域でありかつ GUI画像の表示領域であった。しかし、このようなユーザの操作領域と GUI画像の表示領域とは互いに離れた位置にあっても良い。以下、図 8を参照して、このようなユーザの操作領域と GUI画像の表示領域とが独立した位置に備わるユーザインタフェイスシステム 11につ、て説明する。

[0068] 図 8において、ユーザインタフェイスシステム 11は、大略的な構成として、ポインティングデバイス 12と、撮像装置 13と、コンピュータ装置 14と、記憶装置 15と、表示装置 16とを備えている。

[0069] ポインティングデバイス 12は、コンピュータ装置 3に所定の機能を実行するよう指示を与えるために、ユーザが自分の指を動かすことが可能な領域 (以下、操作領域と称する） 121を規定し、ユーザが指で接触した位置を示す接触位置信号を出力する。このようなポインティングデバイス 12の例としては、タツチパネル、タツチパッド又はタツチトレーサのような感圧式又は光学式のものがある。ポインティングデバイス 12の他の例として、超音波式のものがある。

[0070] 撮像装置 13は、少なくとも操作領域 121を自身の画角がカバーするように設置される。このように設置される撮像装置 13は、自身の画角の範囲内を、予め定められた時間間隔で撮影し、撮影画像をコンピュータ装置 14に出力する。

[0071] コンピュータ装置 14は、典型的にはプロセッサと、各種メモリとを少なくとも含んでおり、例えば ROMのようなメモリに格納されたコンピュータプログラムに従って動作する。ここで、図 9は、このようなコンピュータ装置 14の機能的なブロック構成を示す模式図である。図 9において、コンピュータ装置 14は、上記のコンピュータプログラムを実行することで、画像受信部 141と、指位置検出部 142と、指識別部 143と、部品割り当て部 144と、画像作成部 145と、表示制御部 146と、接触位置検出部 147と、接触指判定部 148と、機能実行部 149という機能を実現する。

[0072] 記憶装置 15は、前述の記憶装置 4と同様の GUI部品データを格納する。

[0073] 表示装置 16は、本変形例の場合、前述のようなタッチスクリーンのようにユーザが表示画面上で指を使って GUI部品を指定するものでは無ぐ少なくともコンピュータ装置 14で作成された GUI画像を表示する機能を備えて、れば良、。このような表示装置 16の典型例としては、液晶ディスプレイ、 CRTディスプレイ、有機 ELディスプレィ、遠焦点ディスプレイ又はプロジェクタが挙げられる。

[0074] 次に、図 10を参照して、上記のような構成のユーザインタフェイスシステム 11の表示処理について説明する。ユーザは、自身の手 Hを操作領域 121に置く。撮像装置 13は、手 Hが映ってヽる撮影画像をコンピュータ装置 14に出力する（ステップ S 101

) o

[0075] コンピュータ装置 14において、画像受信部 141は、撮影画像を受け取り（ステップ S 102)、指位置検出部 142は、受け取った撮影画像から、ユーザの各指 F -Fの操

1 5 作領域 121上での位置を示す座標値 (以下、現在位置座標値と称する）を検出し、さらに、手 Hの形状 (輪郭)を規定する座標値群 (以下、輪郭座標値群と称する)する（ステップ S 103)。

[0076] 具体的には、指位置検出部 142は、第 1の手法としての輝度閾値法により、前述の実施形態と同様の部分画像データを作成する。つまり、指位置検出部 142は、撮影画像における背景 (操作領域 121)とユーザの手 Hとを、各画素の輝度値によって区別する。従って、操作領域 121の色は黒一色又はそれに近い色一色であり、さらに、操作領域 121の表面がつや消し処理されていることが好ましい。さらに、閾値は、撮影画像内における背景が映っている画素のどの輝度値よりも大きい値になる予め設定される。これによつて、指位置検出部 142は、撮影画像の各画素の輝度を閾値と比較することで、手 Hの領域を表す部分画像データを作成することができる。また、周囲が暗い状況下でも安定的に部分画像データを作成できるように、撮像装置 13は、例えば、自身の画角の範囲に可視光又は近赤外光を照射して、手 Hが閾値よりも明るく映るようにする。

[0077] また、第 2の手法として、指位置検出部 142は、クロマキ一処理法により、部分画像データを作成する。クロマキ一処理はテレビジョン放送にしばしば使用されており、人間の肌の色と最も区別しやすい青色を背景として、青色以外の部分を抽出可能であり、このようにして抽出された部分画像データを作成する。この場合、操作領域 121 は、青で着色され、また、撮像装置 13は、手 H及び背景が明確に映るように、例えば、自身の画角の範囲に可視光を照射する。

[0078] 次に、上述のようなステップ S103の次に、指識別部 143は、前述の実施形態と同様にして、各現在位置座標値群のどれが、どの指のものかを識別する (ステップ S 10 4)。

[0079] 部品割り当て部 144は、指識別部 143からの識別結果を受け取り、記憶装置 15に格納されている 5個の GUI部品データのそれぞれに、今回受け取った 5個の現在位置座標値を一意に割り当て、現在の割り当て状況を保持する (ステップ S105)。

[0080] その後、コンピュータ装置 14において、画像作成部 155は、図示しないフレームメモリに GUI画像を表す GUI画像データを作成する (ステップ S 106)。本変形例では、前述の実施形態と比較すると、図 8、図 11A及び図 11Bに示すように、上述の輪郭座標値群で規定される領域に、手の形状を表すオブジェクト Iが合成される点で相違する。

[0081] 次に、コンピュータ装置 14において、表示制御部 146は、フレームメモリに今回作成された GUI画像データに従って、表示装置 16の表示画面 161に GUI画像を表示する（ステップ S 107)。

[0082] 以上のようなステップ S101— S107のような処理は予め定められた時間間隔で実行される。これによつて、本ユーザインタフェイスシステム 11もまた、前述の実施形態と同様に作用し、その結果、 GUI部品がどの指に割り当てられているかを認識し易い t 、う技術的効果を奏するようになる。

[0083] 次に、図 12を参照して、図 8に示すユーザインタフェイスシステム 11における機能実行処理について説明する。ユーザは、前述の表示処理により、特定の機能が割り当てられていることになるいずれかの指で、操作領域 121に接触し、力を加える。すると、ポインティングデバイス 12からは、今回の接触位置を特定可能な位置信号がコンピュータ装置 14に与えられる。

[0084] コンピュータ装置 14において、接触位置検出部 147は、ポインティングデバイス 12 から位置信号が与えられると (ステップ S121)、操作領域 121においてユーザが現在接触して!/ヽる位置を示す座標値 (以下、接触座標値と称する）を検出する (ステップ S 122)。

[0085] 次に、接触指判定部 148は、部品割り当て部 144に保持される割り当て状況をチェックして、接触位置検出部 147で変換された接触座標値と実質的に一致する現在位置座標値を選択する (ステップ S 123)。さらに、接触指判定部 148は、選択した現在位置座標値に割り当てられて、る GUI部品を認識する (ステップ S 124)。

[0086] 機能実行部 149は、接触指判定部 148により認識された GUI部品に割り当てられて、る機能を実行する (ステップ S 125)。

[0087] 以上説明したように、本ユーザインタフェイスシステム 11は、前述の実施形態と同様に作用し、その結果、ユーザが素早く操作することが可能なユーザインタフェイスシステム 11を提供することが可能となる。

[0088] なお、前述の実施形態、及び変形例では、各指に GUI部品が一意に割り当てられるので、ユーザインタフェイスシステム 1及び 11は最大 5個の GUI部品しか使うことができなかった。そこで、図 13に示すように、予め定められた指（図示した例では親指 F )に状態遷移機能を割り当て、ユーザ力 Sこの指を使って表示画面 21又は操作領域

1

121を操作したことを検出すると、部品割り当て部 34又は 144は、残りの指に割り当てる GUI部品を変更する。これによつて、状態遷移機能の指定前後で合計 8個まで GUI部品を各指に割り当てることが可能となる。

[0089] また、他にも以下のようにして、多くの GUI部品を指に割り当てることが可能となる。

つまり、表示画面 21又は操作領域 121のそれぞれは予め定められた方法で複数の部分領域に分割される。例えば、図 14の例では、表示画面 21又は操作領域 121は、 4個の矩形領域に分割される。また、各部分領域には、対象となる複数の機器が一意に割り当てられる。なお、複数の領域に一つの機器を割り当てても構わない。部品割り当て部 34又は 144は、各領域 (各機器)毎で、指及び GUI部品の割り当てを変更する。

[0090] 上述の具体例としては、図 14に示すように、ある領域はナビゲーシヨンシステムに割り当てられており、部品割り当て部 34又は 144は、この領域では、親指 Fにはメ-

1 ユー表示という GUI部品を割り当て、他の指 F — Fにも、ナビゲーシヨンシステム用

2 5

の GUI部品を一意に割り当てる。

[0091] また、図 14に示すように、他の領域はオーディオ機器に割り当てられており、部品割り当て部 34又は 144は、この領域では、親指 Fにはモード変更という GUI部品を

1

割り当て、他の指 F — F にも、オーディオ機器の GUI部品を一意に割り当てる。

2 5

[0092] このような条件で、接触指判定部 38又は 148は、部品割り当て部 34又は 144が保持する割り当て状況を参照して、現在位置座標値に基づいて、表示画面 21又は操作領域 121のどの領域をどの指で操作したかを判定し、判定結果力今回制御すベき機器及びその機器で実行すべき機能を特定する。

[0093] また、他にも以下のようにして、多くの GUI部品を指に割り当てることが可能となる。

つまり、部品割り当て部 34又は 144は、図 15に示すように、予め定められた指（図示した例では親指 F )には GUI部品を割り当てず、残りの指に GUI部品を機器毎に一

1

意に割り当てる。図示した例では、オーディオ機器について、人差し指 Fには再生

2 機能用の GUI部品 C、中指 F には巻き戻し機能用の GUI部品 C、薬指 F には早

1 3 2 4 送り機能用の GUI部品 C、さらに小指 Fには、音量調節機能用の GUI部品 Cが割

3 5 4 り当てられる。他の機器についても、同様に、親指以外の各指に、 GUI部品が割り当てられる。また、 GUI画像において予め定められた位置には、制御対象となる機器を選択するために機器指定用の GUI部品 SC -SCが合成される。

1 4

[0094] さらに、 GUI画像作成部 35又は 145は、予め定められた指 (親指 F )の接触位置

1

に基づいて、機器選択用の GUI部品 SC -SCのいずれが指定されたかを判定し

1 4

、その機器用に各指に割り当てられている GUI部品 C — Cを合成した GUI画像を

1 4

作成する。

[0095] このような GUI画像が表示された後、接触指判定部 38又は 148は、部品割り当て部 34又は 144が保持する割り当て状況を参照して、現在位置座標値に基づ、て、表示画面 21又は操作領域 121がどの指で操作されたかを判定し、判定結果力も今回制御すべき機器で実行すべき機能を特定する。

[0096] また、他にも以下のようにして、多くの GUI部品を指に割り当てることが可能となる。

つまり、部品割り当て部 34又は 144は、図 16に示すように、予め定められた指（図示した例では中指 F )に、予め定められた個数（図示した例では 3個）の GUI部品 C

3 1

Cを割り当てる。また、 GUI画像作成部 35又は 145は、中指 Fの現在位置座標値

3 3

P の周辺であってかつ互いに重複しない場所に、割り当てた GUI部品 C Cを合

3 1 3 成した GUI画像を生成する。より好ましくは、 GUI画像作成部 35又は 145は、この時、現在位置座標値 P に基準位置 (つまり、座標値 Pで示される位置)を示すマークも

3 3

合成される。

[0097] このような GUI画像が表示された後、ユーザは、まず、表示画面 21又は操作領域 1 21において基準位置 Pを触る。その後、ユーザは、今回自身が指定したい内容を

3

有する GUI部品 C — C のいずれかを触る。その結果、タッチスクリーン 2又はポイン

1 3

ティングデバイス 12からは、まず、基準位置 Pを特定可能な第 1の位置信号が送出

3

され、その後に、今回指定された GUI部品 C 、C又は Cの合成領域に含まれる位置を特定可能な第 2の位置信号が送られてくる。接触指判定部 38又は 148は、第 1 の位置信号の受信時刻（以下、基準時刻と称する)を保持すると共に、第 1の位置信号の受信に応じて指の種類 (今回の場合中指 F )を特定する。また、指接触判定部 3

3

8又は 148は、第 2の位置信号が送られてくると、第 2の位置信号の受信時刻と、基準時刻との時間差から、指の最初の接触と、 2回目の接触との連続性を特定し、第 1の位置信号により特定される基準位置 Pと、第 2の位置信号により特定される位置とか

3

ら、ユーザが指定した GUI部品を、つまり、今回実行すべき機能を特定する。

[0098] なお、以上のような指定方法の場合、ユーザは、表示画面 21又は操作領域 121における少なくとも 2点を指定する必要がある。言い換えれば、このような場合、ユーザは、基準点 P に対する方向を指定する。それ故、各 GUI部品 C — Cは、基準点 P

3 1 3 3 に対する方向を示す矢印で構成されることが好ましい。

[0099] また、以上の説明では、 1つの指 F に 3個の GUI部品 C —Cが割り当てられてい

3 1 3

た。しかし、これに限らず、複数の指のそれぞれに 1つ又は複数の GUI部品が割り当てられても構わない。

[0100] さらに、以上の説明では、ユーザが 2点を指定していた。しかし、これに限らず、ュ一ザは、表示画面 21又は操作領域 121に表示された GUI部品をなぞって指定しても構わない。このような指定方法は、例えば音量の調整のように、ある範囲内の最適な値に設定するような場合に好適である。

[0101] また、前述の実施形態又は前述の変形例において、部品割り当て部 34又は 144 は、各指にー且割り当てた GUI部品を、別の GUI部品に変更しても構わない。部品割り当て部 34又は 144において、各指に割り当てるべき GUI部品はデフォルトで定められていると仮定する。また、ユーザインタフェイスシステム 1又は 11は、割り当て変更モードを備えており、割り当て変更モードにおいて、図 17に示すように、 GUI画像作成部 35又は 145は、例示的に、変更可能な GUI部品 C — C を互いに重複し

1 10

ない位置に合成した GUI画像を作成する。ユーザは、表示された GUI画像を確認した後、どの指にどの機能を割り当てたいかを考えた後、表示画面 21又は操作領域 1 21で対象となる指を使って対象となる GUI部品を指定する。これに応じて、部品割り当て部 34又は 144は、割り当て状況を更新する。 [0102] また、指の接触位置を示す第 1の位置信号により、図 18Aに示すようなメインメ-ュ一が表示され、表示されたメインメニューの中から実行する機能が決定される。次に、ユーザインタフェイスシステムは、図 18Bに示すような第 1の位置信号により決定された機能のサブメニューを表示する。このとき、第 1の位置信号の表す指の接触位置 1 801を中心に各メニューが表示される構成としてもよい。このように、階層構造からなる割り当てにより、多くの GUI部品を指に割り当てることができる。なお、図 18A、図 1 8Bでは、第 1の位置信号により FMボタンが選択された様子を示している。

[0103] また、第 1の位置信号により選択された後に表示される GUI部品は、アイコン、ボタン及び矢印に限らず、スライダーバーなどの GUI部品が表示されてもよい。

[0104] 一例として、図 19Aの画面が表示されている状態において、第 1の位置信号から T V機能が実行されたときの表示を示す。 TVボタンが押下された場合、チャンネルボタンが図 19Bのように表示される。この時、第 1の位置信号の表す接触位置は 1901の位置である。

[0105] なお、図 19Bで示すように、すべての GUIを指先との関連性をなくさずに、固定表示しているメニューからもっとも離れている指 1902を検知し、その指先だけにはキヤンセルや戻るなどの既に実行されている機能力も脱出することができる GUI部品を指先と関連付けて表示する。このようにすれば、手を移動させても、常に特定の GUI部品が指の動作に追従するので、ユーザーは安心して操作することが可能となる。

[0106] さらに、特定の指との関連付けだけを保持して、 GUIを操作する場合の例を図 20を用いて説明する。

[0107] 図 20では、ユーザが、ソフトウェアキーボードを用いて、文字を入力している場面である。ここで、指 2001にのみ修正ボタンが関連付けられることで、ユーザが、指 2001 以外の指で GUIを操作するときには、指 2001以外の指にソフトウェアキーボードのィンターフェイスが反応する。指 2001には修正ボタンが追従することで、ユーザは、どの位置で指 2001をポインティングデバイス 12に接触させても修正機能を実行できる。なお、特定の指に関連付ける機能は修正機能に限るものでなぐユーザーが頻繁に必要とする機能を付加することが望ま、。

[0108] また、 GUI操作時の機能実行タイミングを、指が接触したときではなぐ接触した後にユーザーの指がポインティングデバイス 12から離れたタイミングで機能を実行するようにしてもよい。このようにすれば、図 21に示すように、キャンセルボタン 2101を表示することが可能となるため、ユーザーが機能を実行しようとポインティングデバイス 1 2を押下した後、間違いに気づいたときに、実行しょうとした機能をキャンセルすることができる。

[0109] また、図 21では、ユーザーが TVボタン 2102を押下したままの状態の場合も示している。このとき、押下したままのボタンの機能が実行され、次に、表示されるボタンはキャンセルボタンだけに限らず、機能を実行する前に詳細な設定を行うことができる設定ボタン 2103などの GUI部品でもよい。

[0110] ところで、前述の形態においては、ユーザインタフェイスシステムは、手形状を表示していたが、画像作成部 145において、指先に付随する GUI部品を描画しているときは手形状の表示を行わな、処理を実施することで、画面の視認性を向上させることができる。

[0111] なお、ユーザインタフェイスシステムが手形状を表示しないときには、どの指にどの GUI部品が対応しているかユーザーにわかりにくいため、部品割り当て部 144において割り当てた部品の上に何指に対応しているかを表示することが望ましい。図 22 は手形状を表示しな、場合の GUI部品の表示の一例を示したものである。手形状 2 201は表示を行って、な！/、。

[0112] なお、 GUI部品に表示する指名称は、これに限ったものではない。一例としては、親指は 1、人差し指は 2といったように、対応する番号を表示するなどの方法が考えられる。このとき、対応する番号は表示装置 16に表示していることが望ましい。

[0113] さらに、前述の実施形態および前述の変形例において、部品割り当て部 34及び 1 44にお、て割り当てる GUI部品は、単独での制御命令を発しなヽ場合も想定される。具体的には、図 23に示すような文字列の再変換機能などが上げられる。これは、指先に付随して、る GUI部品単体である再変換制御命令だけでは、何を再変換すベきか計算機側では判定できず、再変換すべき対象が必要となる。図 23では、指 230 1を再変能に割り当て、指 2301によって指示されたされた位置に存在するテキストを再変換することを可能として、る。 [0114] さらに、スライダーバーなどの連続値を入力することが可能な GUI部品を表示してもよい。この場合、接触位置検出部 37および 146において、接触したことを検知した状態から、指位置の移動が確認できる動作を検知することで、ドラッグ動作を検知し、スライダーバーの操作が可能となる。

[0115] 具体的には、図 24に示すような車内の音響環境を調整するような場合に調整したい音域に合わせてスライダーバーなどの連続値を入力することが可能な GUI部品を表示させ、音響環境を調整する場合などである。このとき、図 24Aのように GUI部品が表示されているときの接触位置検出部上での手形状の動作は、図 24Bに示すように、引つ力べような動作を行う。このように動作することで、図 24Aに表示されている各指の GUI部品に対応した指を接触させたまま位置を移動させて、スライダーバーを上下させることができる。なお、スライダーバーを表示する際には、図 24Aに示すように、どの指がどのスライダーバーを操作するかを表示して、ることが好まし!/、。

[0116] また、本装置では、指識別部 33、 143を具備しており、どの指にどの機能が割り当てるかを決定している。前述の実施形態又は前述の変形例においては、接触位置検出部 37、 147において指が接触したときを機能実行のタイミングとしていた。ここで、図 25Aのように各指に機能が割り当てられているときに、指を折り曲げていき、図 25 Bに示すように一本だけ指を伸ばした状態、すなわち、唯一指先が検出できている状態になったときに、その指に割り当てられている機能を実行することが可能である。すなわち、図 25Bは、指 2501に割り当てられている縮尺変更機能が実行されたときの例である。図 25Bに示すように、最後に指 2501が残り、機能が実行され、スライダーバーで縮尺が変更される。

[0117] 以上、本発明を詳細に説明したが、上記説明はあらゆる意味において例示的なものであり限定的なものではない。本発明の範囲力逸脱することなしに多くの他の改変例及び変形例が可能であることが理解される。

産業上の利用可能性

[0118] 本発明に係るユーザインタフェイスシステムは、良好な使い勝手が要求されるコンビユータ関連製品等に好適である。

Claims

請求の範囲

[1] ユーザインタフェイスシステムであって、

ユーザの指示入力を受け付ける操作部と、

前記操作部の操作面上におけるユーザの指先の現在位置を示す第 1の座標値群を検出する指位置検出部と、

GUI (Graphical User Interface)部品を表す部品データを格納する部品格納部と、

前記指位置検出部により検出された第 1の座標値それぞれに、前記部品格納部に保持される部品データを一意に割り当てる割り当て部と、

前記割り当て部の割り当てに従って、前記部品格納部に格納された部品データが表す GUI部品と、前記指位置検出部により検出された第 1の座標値それぞれとがー意に関連付けられたユーザインタフェイスを表す GUI画像を生成する画像作成部と前記画像作成部により生成された GUI画像を表示画面に表示させる表示制御部とを備える、ユーザインタフェイスシステム。

[2] ユーザの手操作を撮影可能に設置される撮像装置をさらに備え、

前記指位置検出部は、前記撮像装置による撮影画像から、前記操作部の操作面上における前記ユーザの指先の現在位置を示す座標値群を検出する、請求項 1に記載のユーザインタフェイスシステム。

[3] 前記画像作成部は、前記撮像装置により取得した手画像の指のうち、前記ユーザが折り曲げた指に関連付けられたの GUI部品を消滅させ、

最後に残存する指先の現在位置を示す座標値に割り当てられた前記 GUI部品の機能を実行する機能実行部をさらに備える、請求項 2に記載のユーザインタフェイスシステム。

[4] 前記画像作成部は、前記指位置検出部で検出された第 1の座標値それぞれが示す位置と、前記割り当て部により割り当てられた部品データが表す GUI部品との間が線で結ばれる GUI画像を作成する、請求項 1に記載のユーザインタフェイスシステム

[5] 前記画像作成部は、過去に実行された機能を記憶しておくための履歴情報保持部をさらに備え、前記履歴情報をもとに、指先に付加される GUI画像を作成する請求項 1記載のユーザインタフェイスシステム。

[6] 前記画像作成部は、前記指位置検出部で検出された第 1の座標値それぞれが示す位置又はその周辺に、前記割り当て部により割り当てられた部品データが表す GU I部品を合成する、請求項 1に記載のユーザインタフェイスシステム。

[7] 前記画像作成部は、さらに左右の手を判別する左右手判別部をさらに備え、左手で操作するときと右手で操作するときとで先の第 1の座標値に付加する GUI部品を変更することを特徴とする請求項 1記載のユーザインタフェイスシステム。

[8] 前記指位置検出部で検出された第 1の座標値のそれぞれが何指のものかを識別する指識別部をさらに備える、請求項 1に記載のユーザインタフェイスシステム。

[9] 前記表示制御部は、前記指識別部により識別された複数種の指先の位置を示す第 1の座標値を含む手画像を表示し、前記割り当て部が、前記指識別部により識別された複数種の指先の位置を示す第 1の座標値それぞれに前記 GUI部品を一意に割り当てた後、表示した前記手画像を消去する、請求項 8に記載のユーザインタフエイスシステム。

[10] 前記表示制御部は、前記割り当て部によって前記指識別部により識別された複数種の指先の位置を示す第 1の座標値それぞれに割り当てられた前記 GUI部品が、何指に対応するかを表示させる、請求項 9に記載のユーザインタフェイスシステム。

[11] 前記画像作成部は、前記指識別部に識別された指の種類に応じて、前記部品格納部に格納された GUI部品の大きさを変更した GUI画像を作成する、請求項 8に記載のユーザインタフェイスシステム。

[12] 前記表示制御部は、前記指位置検出部により検出された特定の第 1の座標値の表す指先に、前記割り当て部により割り当てられた前記 GUI部品を当該指先の動作に追従するように表示させる、請求項 1に記載のユーザインタフェイスシステム。

[13] 前記表示制御部は、前記指位置検出部により検出された特定の第 1の座標値の表す指先の動作に応じて、当該指先に前記割り当て部により割り当てられた前記 GUI 部品が移動するように表示させる、請求項 1に記載のユーザインタフェイスシステム。

[14] 前記割り当て部は、前記指位置検出部により検出された特定の第 1の座標値についての割当のみ維持し、前記指位置検出部により検出されたその他の第 1の座標値につヽては割り当てを変更する、請求項 1に記載のユーザインタフェイスシステム。

[15] 前記操作部の操作面を前記ユーザが触って!/ヽる位置を示す第 2の座標値を検出する接触位置検出部と、

前記接触位置検出部により検出された第 2の座標値と、前記割り当て部により一意に割り当てられた第 1の座標値とから、前記操作面を前記ユーザが何指を使って触つているかを判定し、さらに、判定した指に割り当てられている GUI部品を特定する接触指判定部と、

前記接触指判定部により特定された GUI部品に割り当てられている機能を機能実行部とをさらに備える、請求項 1に記載のユーザインタフェイスシステム。

[16] 前記ユーザの操作に応答して、前記割り当て部は、前記指位置検出部により検出された第 1の座標値に一旦割り当てた部品データを、別の GUI部品に割り当て直す、請求項 1に記載のユーザインタフェイスシステム。

[17] 前記ユーザの操作に応じて、第 2の座標位置を検出したときに、検出した位置を基準として、第 1の座標位置の変位を検出し、変位に応じた機能を実行することを特徴とする請求項 15記載のユーザインタフェイスシステム。

[18] 前記割り当て部は、特定種類の指の位置を示す第 1の座標値には部品を割り当てず、残りの指に位置を示す第 1の座標値に、複数の機器の間で互いに異なる部品データを一意に割り当て、

前記画像作成部は、前記特定の指で前記複数の機器を選択可能で、かつ、前記特定の指での操作に応答して、現在選択されている機器について、前記指識別部により種類が識別された前記残りの指の位置を示す第 1の座標値と、前記部品格納部に格納されかつ前記割り当て部により前記残りの指に割り当てられた部品データとが一意に関連づけられた GUI画像を生成する、請求項 1に記載のユーザインタフェイスシステム。

[19] 前記接触位置検出部は、前記ユーザが前記操作部の操作面の少なくとも 2点に接触すると、それぞれの接触に応答して、最初の接触位置を示す第 2の座標値を検出し、さらに、 2回目の接触位置を示す第 2の座標値を検出し、

接触指判定部は、前記接触位置検出部により検出された最初の第 2の座標値と、前記割り当て部により一意に割り当てられた第 1の座標値及び GUI部品とから、前記操作部の操作面を前記ユーザが何指を使って触っているかを判定し、さらに、前記接触位置検出部により検出された 2回目の第 2の座標値から、前記ユーザが今回指定した GUI部品を特定する、請求項 15に記載のユーザインタフェイスシステム。

[20] 前記接触位置検出部は、前記ユーザが前記操作部の操作面の少なくとも 2点間をなぞると、それぞれの接触に応答して、現在の接触位置を示す第 2の座標値を定期的に検出し、

接触指判定部は、前記接触位置検出部により定期的に検出された第 2の座標値と、前記割り当て部により一意に割り当てられた第 1の座標値及び GUI部品とから、前記操作部の操作面を前記ユーザが何指を使って触っているかを判定し、さらに、前記ユーザが今回指定した GUI部品を特定する、請求項 15に記載のユーザインタフイスシステム。

[21] ユーザインタフェイスシステムにおいて用いられる表示方法であって、

前記ユーザインタフェイスシステムに備わりかつユーザの指示入力を受け付ける操作部の操作面上におけるユーザの指先の現在位置を示す第 1の座標値群を検出する指位置検出ステップと、

前記ユーザインタフェイスシステムに備わる記憶装置に格納され、 GUI (Graphical User Interface)部品を表す部品データを、前記指位置検出ステップにより検出された第 1の座標値それぞれに一意に割り当てる割り当てステップと、

前記割り当てステップの割り当てに従って、前記記憶装置に格納された GUI部品と

、前記指位置検出ステップにより検出された第 1の座標値それぞれとが一意に関連づけられたユーザインタフェイスを表す GUI画像を生成する画像作成ステップと、前記画像作成ステップにより生成された GUI画像を、前記ユーザインタフェイスシステムに備わる表示画面に表示させる表示制御ステップとを備える、表示方法。