WO2023140340A1

WO2023140340A1 - 指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム

Info

Publication number: WO2023140340A1
Application number: PCT/JP2023/001599
Authority: WO
Inventors: 井上陽平
Original assignee: メタマティクスプライベートリミテッド; 井上陽平
Priority date: 2022-01-19
Filing date: 2023-01-19
Publication date: 2023-07-27

Abstract

ユーザーの各指の識別に基づいた、直観的かつ効率的なユーザー・インターフェースを実現するためのシステム、方法、および、プログラムを提供する。アクションを即座に認知可能なアイコン、ラベル、またはその両方で提示し、カメラ等によって識別された指を表すバーチャル・ハンドの指先に、即座に認知可能なアイコン、ラベル、またはその両方表示することで、実行すべき機能をユーザーが認識することができる。操作対象であるオブジェクトに対して、モード切替により指の数以上の多種類の直接的な操作を可能にする。

Description

指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラム

　本発明は、指識別に基づくユーザー・インターフェースを実現するためのシステム、方法及びそのためのプログラムに関する。

　ユーザーがコンピューターとやり取りするためのユーザー・インターフェースには様々な手法が提唱されている。その手法の１つに、ユーザーの手の各指を識別し、それぞれに機能を割り当てることにより実現されるものがある。

　かかる技術の基本的な例は、各指に異なる機能を割り当てるものであるところ、固定的に割り当てると、指１０本分の１０機能しか割り当てができない。多くのアプリケーションにおいて１０機能は十分でないため、割り当てる機能の組を適切に切り替える必要がある。割り当てられた機能をスムーズに利用するためには、機能と指との対応をわかりやすくすることが重要である。

　特許文献１には、指にTV機能を関連づけて、当該指がタッチスクリーン２に接触した状態において、他の指にTV機能のキャンセル機能または設定機能を関連づける技術が記載されている（図２１等）。

国際公開第2006/104132号

　ユーザーの指を識別し、識別された複数の指に機能を割り当てるユーザー・インターフェースにおいて、さらなる改良が可能である。

　本発明は、このような点に鑑みてなされたものであり、その課題は、ユーザー・インターフェースをユーザーに提供するためのシステム、方法またはそのためのプログラムであって、ユーザーの各指の識別に基づいた、より直観的かつ効率的なユーザー・インターフェースを実現することにある。

　本発明の第１の態様は、ユーザー・インターフェースをユーザーに提供するための方法であって、前記ユーザーの複数の指を識別するステップと、識別された前記複数の指のうちの第１の指にモード切替機能を割り当てるステップと、前記第１の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップとを含み、第２の指及び第３の指の少なくとも一方は、第１の指と異なる。

　また、本発明の第２の態様は、第１の態様の方法であって、前記タッチ操作は、オブジェクトに対するタッチ操作である。

　また、本発明の第３の態様は、第２の態様の方法であって、前記別の機能は、モード切替機能、パラメーター・コントロール機能、及び前記オブジェクトの対象選択機能のいずれかである。

　また、本発明の第４の態様は、第２の態様の方法であって、切替後に前記第２の指に割り当てられる機能は、パラメーター・コントロール機能であり、切替後に前記第３の指に割り当てられる機能は、前記パラメーター・コントロール機能の変更機能である。

　また、本発明の第５の態様は、第２の態様の方法であって、切替後に前記第２の指に割り当てられる機能は、パラメーター・コントロール機能であり、前記第２の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの前記第２の指とは別の指に前記パラメーター・コントロール機能の変更機能を割り当てるステップをさらに含む。

　また、本発明の第６の態様は、第２の態様の方法であって、切替後に前記第２の指に割り当てられる機能は、コマンド処理機能である。

　また、本発明の第７の態様は、第６の態様の方法であって、前記コマンド処理機能は、編集機能、変換機能、検索機能、保存機能、コピー機能、演算機能、送信機能及びこれらの任意の組み合わせのうちのいずれかである。

　また、本発明の第８の態様は、第１から第４のいずれかの態様の方法であって、前記第２の指は、前記第１の指と同一の指である。

　また、本発明の第９の態様は、第１から第９のいずれかの態様の方法であって、前記第１の指のタッチ操作を解除した場合に、前記第２の指又は前記第３の指の機能を切替前の機能に戻すステップをさらに含む。

　また、本発明の第１０の態様は、第１から第８のいずれかの態様の方法であって、前記第１の指のタッチ操作を所定時間以内に解除した場合に、前記第２の指又は前記第３の指の機能を切替前の機能に戻すステップをさらに含む。

　また、本発明の第１１の態様は、第２から第８のいずれかの態様の方法であって、前記タッチ操作を解除した後も前記オブジェクトの選択状態を維持する。

　また、本発明の第１２の態様は、第１１の態様の方法であって、前記タッチ操作が解除されたことに応じて、前記第２の指及び前記第３の指に割り当てられた機能をそれぞれ、前記タッチ操作前及びタッチ操作中とは異なる機能に切り替えるステップをさらに含む。

　また、本発明の第１３の態様は、第１１又は第１２の態様の方法であって、前記複数の指のいずれかの指によるタッチ操作がなされたことに応じて、前記選択状態を終了させるステップと、前記選択状態が終了したことに応じて、前記第２の指及び第３の指に割り当てられた機能をそれぞれ切替前の機能に切り替えるステップとをさらに含む。

　また、本発明の第１４の態様は、第１から第１３のいずれかの態様の方法であって、識別された前記複数の指を表現したバーチャル・ハンドとともに、各指に割り当てられた機能を表現するアイコンもしくはラベルを前記ユーザーが用いるディスプレイに表示するステップをさらに含む。

　また、本発明の第１５の態様は、第１４の態様の方法であって、前記ラベルは、前記ラベルに関連づけられた指が前記ユーザーが用いる机上から所定の高さ以上に位置した場合のみに表示する。

　また、本発明の第１６の態様は、第１４の態様の方法であって、前記ユーザーの指が前記ディスプレイの画面の領域外にある時、前記アイコンまたは前記ラベルは、前記画面の端に留めて表示する。

　また、本発明の第１７の態様は、第１から第１６のいずれかの態様の方法であって、前記ユーザーの複数の指は、前記ユーザーの右手のいずれかの指及び前記ユーザーの左手のいずれかの指を含む。

　また、本発明の第１８の態様は、第１から第１７のいずれかの態様の方法であって、前記第１の指、前記第２の指及び前記第３の指のうちの少なくともいずれかは、複数本の指を含む一組の指である。

　また、本発明の第１９の態様は、コンピューターに、ユーザー・インターフェースをユーザーに提供するための方法を実行させるためのプログラムであって、前記方法は、前記ユーザーの複数の指を識別するステップと、識別された前記複数の指のうちの第１の指にモード切替機能を割り当てるステップと、前記第１の指による、タッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップとを含み、前記第２の指及び前記第３の指の少なくとも一方は、前記第１の指と異なる。

　また、本発明の第２０の態様は、アプリケーションとのユーザー・インターフェースをユーザーに提供するための装置であって、前記ユーザーの複数の指を識別し、識別された前記複数の指のうちの第１の指にモード切替機能を割り当てて、前記第１の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替え、前記第２の指及び前記第３の指の少なくとも一方は、前記第１の指と異なる。

　本発明の一態様によれば、ユーザーの各指の識別に基づいた、直観的かつ効率的なユーザー・インターフェースを実現することができる。

本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するシステムの全体構成である。本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するためのコンピューター・プログラムの一例である。本発明の一実施形態に係るスライド作成アプリケーションにおける指と機能との対応を示す図である。本発明の一実施形態に係るオブジェクト追加を行う前の指と機能との対応を示す図である。本発明の一実施形態に係るオブジェクト追加時の指と機能との対応を示す図である。本発明の一実施形態に係るオブジェクト編集時の指と機能との対応を示す図である。本発明の一実施形態に係る図形選択を行う前の指と機能との対応を示す図である。本発明の一実施形態に係る図形選択時の指と機能との対応を示す図である。本発明の一実施形態に係るパラメーター・コントロールによる図形の色変更を説明するための図である。本発明の一実施形態に係るパラメーター・コントロールによる図形の回転を説明するための図である。本願発明の一実施形態に係るパラメーター・コントロールによる図形の整列を説明するための図である。

　以下に図を参照しながら本発明の実施形態について説明する。図はすべて例示である。本明細書では、ユーザーの複数の指を識別し、識別されたそれらの指を用いた複数回のタッチ操作により実現されるコンピューターとのインタラクション（以下「指識別マルチタッチ・インタラクション」とも呼ぶ。）に係るシステム、方法及びそのためのプログラムを開示する。

　図1に、本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するためのシステムの全体構成を示す。ユーザー（101）の一方または両方の手の映像を頭上等に設置されたカメラ（102）により撮影し、コンピューター（103）上で稼働する制御プログラム（後述）の処理により、各指の位置を認識することで、アプリケーションに対するユーザー・インターフェースを実現する。指の位置の認識は、水平方向だけではなく、垂直方向に対しても行うことが望ましい。指の垂直方向の位置の認識（特に後述のタップ操作）がユーザー（101）にとってわかりやすくなるよう、指の操作は机等の水平面状で行うことが望ましい。以下では、アプリケーションとのユーザー・インターフェースを主たる例として説明するが、OSまたはミドルウェアとのユーザー・インターフェースについても本発明は適用でき、具体的には、以下で言及する「画面」は、アプリケーションにより表示される画面に限らず、OSまたはミドルウェアにより表示される画面であってもよい。

　ユーザー（101）に対するガイドとして、図式化されたユーザーの手（以下「バーチャル・ハンド」とも呼ぶ。）が、ディスプレイ（104）に表示される構成であることが望ましい。ユーザーが、アプリケーションの画面上で図形編集等のための操作を直接的に行えるよう、ディスプレイ（104）には、バーチャル・ハンドとアプリケーションの画面とが重ね合わされて表示されることが望ましい。カメラ（102）による手の画像認識処理の精度を向上するために、ユーザー（101）の両手の下には単一色のシートを敷いてもよい。当該色は、黒色が好ましい。また、触覚フィードバック（ハプティクス）デバイス（図示せず）を机上に置き、ユーザーによるタッチ操作等の操作に対してフィードバックを提供するようにしてもよい。音、光その他の手段によりユーザーの入力をフィードバックするための装置が設けられていてもよい。ディスプレイ（104）と操作面が一体化した構造であってもよい。

　ここで、カメラ（102）は、指の位置の認識の精度を高めるために、深度センサーを備えたカメラであることが望ましい。また、指の認識の精度を高めるためにカラー画像も撮影することが望ましい。また、ユーザー（101）の入力は、片手のみではなく両手でも行なえることが望ましい。ユーザー（101）の指の操作の認識は、カメラ（102）による撮影ではなく、従来型のタッチスクリーン、タッチパッド、センサーを内蔵したスマートグローブまたはこれらの組み合わせ等、任意の認識方法により実現してもよい。コンピューター（103）の機能は、クラウド等の外部サーバーによって実現されてもよい。コンピューター（103）は、補助的に使用される他の入力機器（マウスやキーボード等）を備えていてもよいが図示していない。

　図２に、本発明の一実施形態に係る指識別マルチタッチ・インタラクションを実現するための制御プログラムの一例を示す。指認識部（201）は、カメラ（102）により撮影された画像に輪郭抽出の処理を行なうことにより、ユーザー（101）の手の各指の位置を認識し、座標データに変換する役割を果たす。当該位置は、水平位置に加えて、垂直位置も認識することが好ましい。垂直位置を認識することで、後述のタップ操作またはホバー操作の判定処理を行ってもよい。バーチャル・ハンド表示部（202）は、ユーザー（101）の手の各指の状態を表現したバーチャル・ハンドおよび関連するアイコンまたはラベルをディスプレイ（104）に表示する役割を果たす。指機能割当部（203）は、ユーザー（101）の各指に、その時点の状況に応じた適切なコマンド処理、一時モード切替、対象選択、パラメーター・コントロール等の機能を割り当てる役割を果たし、特定の操作時に指への機能の割り当てを変更する役割も果たす。指機能処理部（204）は、ユーザーがタッチ操作を行なった際にその時点でその指に割り当てられていた機能を実行する役割を果たす。コマンド送出部（205）は、タッチ操作を行った指に割り当てられた機能を処理するためのコマンドをアプリケーションに送信する役割を果たす。ここで、「コマンド処理」とは、コマンドによって特定される処理を意味し、処理の種類に応じて異なるコマンドが実行される。

　ここで「タッチ操作」は、典型的には浮かせた指を机の面に降ろす操作であるが、机以外のタッチスクリーン、タッチパッド、腿・他方の手等の体の他の部分等の物体への接触であってもよく、任意の方法で実現してよい（これらの操作も含めて「タッチ操作」と呼ぶ。）。複数本の指を一組の指として同時にタッチ操作を行ってもよい。接触しただけではなく、指で一定以上の圧力で押し込まれたことを検知してタッチ操作と判定することもできる。

　なお、制御プログラム（200）の各部が１つのプログラム・モジュールに対応している必要はない。また、一部または全部の機能が、制御プログラム（200）とアプリケーションその他のプログラムとの連携により実現されてもよい。かかるプログラムの例として、ウェブブラウザ、ウェブブラウザ上で動作可能なJavaScript（登録商標）、当該JavaScriptと連携可能なネイティブ・プログラム等が挙げられる。また、一部または全部の機能が、カメラ等の周辺機器、またはクラウド等の外部コンピューター上で実行されていてもよい。また、コンピューター読み取り可能な記憶媒体に記録して非一過性のプログラムプロダクトとすることができる。

　本発明の一実施形態に係る指識別マルチタッチ・インタラクションは、カメラ等によって識別された指を表すバーチャル・ハンドの指先に当該指に割り当てられた機能を表すアイコンまたはラベルを表示してもよい。これによって、後述する一時モード切替とともに、指の数以上の多種類の直接的な操作を操作対象に対して実行可能にすることができる。また、一時モード切替によって機能群の割り当てを切り替え、階層的に機能を選択することも可能にしてもよい。加えて、操作対象を選択することによってもモードを切り替え、コンテキストに応じた機能選択を可能にする。

　図３に、本発明の一実施形態に係るスライド作成アプリケーションにおけるバーチャル・ハンド上の各指と機能との対応の一例を示す。右手親指には「オブジェクト追加」、右手人差し指には「選択」の機能が割り当てられている。機能には、コマンド処理、一時モード切替、操作対象の選択、および、パラメーター・コントロールが含まれてよい。図３の例では、右手人差し指および左手人差し指には「操作対象の選択」の機能が割り当てられており、右手親指および左手親指には「一時モード切替」の機能が割り当てられている。具体的には、右手親指には「オブジェクト追加」の機能が割り当てられており、右手親指によるタッチ操作がなされたことに応じて、一時的にモードが切り替わり、各指に異なる組の機能が割り当てられる。各指への機能割り当ては、制御プログラム（200）の指機能割当部（203）により行われてもよい。一例として、ユーザー（101）がある指でタッチ操作を行なうと、その時点でバーチャル・ハンド上の対応する指に対応づけられていた機能が、指機能処理部（204）により処理される。当該機能がアプリケーションにおけるコマンド処理である場合には、当該コマンドの情報が制御プログラム（200）のコマンド送出部（205）を介して、当該アプリケーションに送られ、所定の処理が行われる。

　ここで、指先が画面領域外であっても、指先がカメラ（102）等の指先位置認識手段の認識範囲内にあれば、画面端にアイコンを留めて表示し、ユーザーが視認しタッチ操作を可能にすることが望ましい。左右の画面端であれば、縦座標位置、上下の画面端であれば、横座標位置は、対応する指先と連動して移動することが望ましい。これによって指が画面外に出た場合、画面内に入った場合にシームレスにアイコンを提示し、画面端を固定的にアイコンで隠してしまうことを防ぐ。指先がカメラ（102）等の指先位置認識手段にある場合は、アイコンやラベルを非表示、または、色や透明度を変えることで、指が認識範囲外であることをユーザーに示すことが望ましい。

　バーチャル・ハンドとともに表示するアイコンを大きく表示することによって、視覚探索を容易にしてもよい。従来型のツールバーのようなユーザー・インターフェースの場合は、アイコンが大きければ画面スペースを固定的に占有してしまうが、本実施形態に係る指識別マルチタッチ・インタラクションにおいては、アイコンを比較的大きく表示しても、手を動かすだけでアイコンを移動できるため、画面を固定的に占有しない。視力が悪いユーザーの場合や初心者の場合は、アイコンを大きめに表示し、熟練者の場合にアイコンを小さめに表示できるよう設定可能であることが望ましい。

　対象の選択が可能であることを示すため、または、選択のホットスポットもしくはエリアを示すために１つ以上の指先にカーソルを表示することが望ましい。対象選択を行う指のほかに、コマンド処理またはモード切替のための指があるため、どの指で対象選択が可能であるか明確にする必要があるためである。対象選択の指でない場合は、そのことを示す特定のカーソルを表示する、または、アイコンのみを表示することが望ましい。

　ユーザーが、初心者の場合は、視覚探索または直接探索によって機能を探すため、アイコンおよびラベルの両方を表示することが望ましい。しかし、本実施形態に係る指識別マルチタッチ・インタラクションにおいては、視認の必要なく選択可能であり、常にラベルを提示する必要がないため、熟練者の場合はラベルを非表示にし、指が机上から一定の高さ以上に位置した場合のみ表示することで、熟練者であっても忘れた場合にすぐに確認できるようにすることが望ましい。

（一時モード切替）
　図４Ａ及び図４Ｂに本発明の一実施形態に係る図形編集アプリケーションにおけるオブジェクト追加の実施例を示す。特定の指（「第１の指」に対応）でタッチ操作を行うと、複数の指（「第２の指」および「第３の指」に対応）に新たな機能群を割り当てることができる。タッチ操作を行った当該特定の指に新たな機能が割り当てられるようにしてもよい。当該特定の指は、右手人差し指等の１本の指とする場合のほかに、特定の一組の複数本の指としてもよい。当該特定の指によるタッチ操作を継続した状態の間のみモードが切り替わり、タッチ操作を解除するとモードを元に戻すことができる。図４Ａが、右手親指でタッチ操作を行っていない状態、図4Ｂが、当該右手親指でタッチ操作を行った状態である。この例では、「オブジェクト追加（Add object）」モードへの一時モード切替機能を割り当てられた右手親指でタッチ操作を行うことにより、他の指に割り当てられた機能群が切り替わり、追加対象のオブジェクトを決定できるようになる。たとえば、右手親指でタッチ操作を維持したままで、左手人差し指でタッチ操作を行うと文字（Text）を追加するというコマンド処理機能が実行される。右手親指のタッチ操作を解除するとモードが元に戻り、図４Ａの上の状態になる。オブジェクトの追加操作をおこなった時、利き手の人差し指の位置にオブジェクトを追加する制御を行ってもよい。利き手の人差し指には、ユーザーにとって直観的な移動等のオブジェクトを操作するコマンド処理機能が割り当てられることが多い。オブジェクトの追加後の移動は頻繁に行われるパターンであるため、操作の効率性を向上できる。

　一時モード切替における基本的処理では、一時モードを起動した指によるタッチ操作が解除されるとモードが元に戻り、指への機能群の割り当てが切替前の状態に戻る。代替的には、タッチ操作をたとえば所定時間以下または未満の短時間行った場合（タップ操作）にモードを永続的に切り替え、タッチ操作を当該所定の時間超または以上行った場合（長押し操作）にタッチ操作が解除されたことに応じて切替前の状態に戻す制御を行ってもよい。複数の指に割り当てられた機能は、モード単位で切り替えられるものとして主に説明したが、所定の条件を満たす場合に、当該複数の指のうちの一部についてのみ切替前の状態に戻す、または戻さない制御を行うことも考えられる。

（対象選択を伴う一時モード切替）
　図５に、本発明の一実施形態に係るオブジェクト編集時の指と機能との対応を示す。この例では、直接編集モード（Direct Edit Mode）への切替の機能を割り当てられた左手親指によってタッチ操作を行い、それが継続している状態において、他の指に画像編集のコマンド処理が割り当てられている。たとえば、露出コントラスト（Exposure Contrast）コマンド処理が割り当てられた右手中指で画像をタッチし、露出およびコントラストを編集することができる。この操作では、編集操作の対象となる画像の選択機能とコマンド処理機能の実行とを一操作で行える点に利点がある。ここで、左手親指によるタッチ操作を解除した場合には、モードが元に戻り、指への機能群の割り当てを切替前の図４Ａの状態に戻す制御を行ってもよいが、前段落と同様に所定の条件下のみでモードを戻す制御を行ってもよい。

図６Ａ及び図６Ｂに、本発明の一実施形態に係る図形編集の例を示す。この例では、操作対象であるオブジェクトの選択をトリガーとして指に割り当てられた機能のセットを切り替える。上述の一時モード切替と同様に、タッチ操作を継続した状態の間のみモードが一時的に切り替わり、タッチ操作を解除すると元に戻るように制御したり、所定の条件下のみでモードを戻す制御を行ってもよい。図６Ａが、オブジェクトに対するタッチ操作が行われていない状態、図６Ｂが、右手人差し指でオブジェクトに対するタッチ操作を行い、選択した状態である。タッチ操作を維持している間のみ、各指への機能の割り当てが切り替わり、その図形に対する操作が行えるようにすることができる。

　また、タッチ操作を解除しても、操作対象であるオブジェクトの選択状態を継続してもよい。この場合、タッチ操作を解除しても、モードを戻さないような制御を行ってもよい。たとえば、オブジェクトの選択状態は、再度当該オブジェクトに対してタッチ操作を行ったとき、またはそのタッチ操作を解除したときに終了させることができ、その他の任意の操作を選択状態を終了させる操作としてもよい。そして、選択状態が終了したことに応じて、モードを元に戻してもよい。あるいは、オブジェクトの選択が行われている状態でタッチ操作を解除した場合には、当該オブジェクトの選択前とは異なる機能群を指に割り当てる制御を行ってもよい。オブジェクトの選択が行われているということは、そのオブジェクトに対する操作が続けて行われる可能性が高いことを意味する。さらに、オブジェクトの選択が行われている状態でタッチ操作を解除した場合に、当該オブジェクトのタッチ操作前及びタッチ操作中とは異なる機能群を指に割り当てる制御を行ってもよい。

　複数のオブジェクトを選択可能にし、選択された複数のオブジェクトの種類に応じて、各指に割り当てる機能群を切り替えるようにしてもよい。この場合、機能群の切り替えは、たとえば、複数のオブジェクトが選択された時点、複数のオブジェクトが選択されている状態においてさらに追加のオブジェクトが選択された時点、複数のオブジェクトが選択されている状態においていずれかのオブジェクトの選択状態が終了した時点、複数のオブジェクトが選択されている状態においていずれかのオブジェクトに対するタッチ操作が行われた時点等に行うことができる。

　オブジェクトの選択状態において、必要に応じて特定の指（たとえば、右手親指）のタッチ操作を継続しながら、選択機能が割り当てられた指（たとえば、右手人差し指）で別のオブジェクトに対してタッチ操作すると追加選択となるような制御を行ってもよい。あるいは、オブジェクトの選択状態において、必要に応じて特定の指のタッチ操作を継続しながら、当該オブジェクトの選択に用いた指のドラッグ操作が別のオブジェクトが存在する領域まで行われることにより、当該別のオブジェクトが追加選択されてもよい。指に複数選択機能を割り当てて、当該指で複数回のタッチ操作を行い、それらのタッチ操作が行われた点を結ぶ矩形、多角形、円又は楕円の領域内に存在する複数のオブジェクトが選択されるようにしてもよい。また、指に複数選択機能を割り当てて、当該指でドラッグ操作を行い、その軌跡に囲われた領域内に存在する複数のオブジェクトが選択されるようにしてもよい。特定の指のタッチ操作が継続されることで、選択機能が割り当てられた指の機能を複数選択機能に切り替えるようにしてもよい。

　ここで、対象選択のトリガーとしてタッチ操作に替えてホバー操作を使用してもよい。すなわち、図６Ｂの例で言えば、右手人差し指の座標が操作対象のオブジェクト上に位置する、換言すれば、ホバーするだけで、一時的なモード切替が行われるようにすることができる。その後、右手人差し指以外の指でタッチ操作を行うと、その指に割当てられていた機能が実行されるようにしてよい。ホバー操作が行われたかどうかの判定において、所定の指が所定の高さ以下になった場合にホバー操作中と判定するようにしてよい。典型的には、机面と指との距離が所定の値以下になった場合である。あるいは、他の指の高さとの相違に基づいてホバー操作を判定し、他の指と所定の距離以上低い位置の場合にホバーと見なすようにしてもよい。この場合において、他の指の高さとしては、ホバー操作を行う指以外の指で最も低い指の高さ、ホバー層を行う指以外の複数の指の高さの平均値、ホバー操作を行う指と隣り合った指の高さ等を使用してもよい。このようにホバー操作の判定に指の高さを加味することで、モード切替による画面の書き換えが頻繁に行われてしまうという問題を避けることができる。

　図７に、本発明の一実施形態に係るパラメーター・コントロールによる色変更の流れを示す。図示の例はモノクロであるが、実際には、円環状に配置された円はそれぞれ別の色で表示される。図７には、タッチ操作をした状態を維持したままで指をスライドすることで、パラメーターをコントロールする流れ７００が示されている。まず、色変更の機能が割当てられた右手中指で、図形上でタッチ操作を行う。そうすると、複数の色選択肢が円環状に配置された色変更のメニューが表示される。そして、右手中指でタッチ操作を維持したまま、色選択肢の１つを選択することで、図形の色を変更することができる。右手中指のタッチ操作を解除すると、指への機能割り当てを元に戻してもよい。一般に、1本の指のタッチ操作で上下左右の2自由度のコントロールが可能である。最初にタッチした指のタッチ操作を維持した状態で、他の指にもパラメーター・コントロールを割り当て、別のパラメーターをコントロールできるようにしてもよい。機能によっては、2本以上の指でパラメーターをコントロール可能にしてもよい。これにより、理論上、両手10本の指で合計20自由度のコントロールが可能である。表示されたメニューからの選択肢の選択は、図形に対してタッチ操作を行った指とは異なる指によって可能としてもよい。色の変更のほかに、ブラシ、フォントなどにも図７に示したパラメーター・コントロールは適用でき、多数の選択肢から１つを選択するような操作を効率的に行うことができる。

　図８に、本発明の一実施形態に係るパラメーター・コントロールを伴う図形の回転を説明するための図を示す。図８の例では、図形を回転させる編集機能において、回転角度というパラメーターを45度単位に制約する例である。対象選択機能が割り当てられた右手人差し指によって図形を選択し、回転機能及び回転角度をパラメーターとするパラメーター・コントロール機能が割り当てられた右手親指によって図形の回転操作を行うことができる。ここで、右手薬指に回転角度を45度単位に制約するパラメーター制約機能を割り当て、当該薬指でタッチ操作を行うことによって、右手親指のドラッグ操作により定まる回転角度を45度単位とすることができる。右手親指に割り当てられた回転機能は、当該右手親指のタッチ操作を継続している間、所定時間間隔で実行され、回転角度は、ドラッグ操作に応じて定まるようにすることができる。

　より一般に、パラメーター・コントロール機能が特定の指に割り当てられる場合、別の指にパラメーター・コントロール機能の変更機能を割り当て、当該別の指によるタッチ操作が継続している間、当該特定の指の操作による定まる当該特定の指の操作による定まるパラメーターの種類、当該の数、及び各パラメーターの値の増減単位の少なくともいずれかを変更することができる。パラメーターの数を変更する例としては、２次元の回転角度から３次元の回転角度に変更することが挙げられる。別の指に対する変更機能の割り当ては、特定の指に対するパラメーター・コントロール機能の割り当ての際に行ってもよく、代替的には、特定の指によるタッチ操作がなされたことに応じて、行ってもよい。

図９に、本発明の一実施形態に係るパラメーター・コントロールによる図形の整列を示す。モード切替によって多くの機能を指に割り当てることができるが、階層が深くなるほど複雑になり、機能選択時間も長くなると考えられる。そのため、一部のグループ化可能な複数の機能をコンテキスト・メニューから選択可能にすることで、複雑化を避けることができる。図９は、整列（Align）コマンド処理の例であり、タッチ操作が行なわれていない左側の状態から、タッチ操作が行なわれてメニューが表示された右側の状態への変化９００が示されている。この例では、そのまま指を離せば横中央に整列され、その他、上下左右および縦中央を選ぶことができる。

　上述の説明では、オブジェクトの編集の例を主に挙げたが、コマンド処理は、編集以外のオブジェクトに対する処理でもよく、かかる処理の例として、選択されたテキストの翻訳等の変換、選択されたテキストに基づくウェブ検索、選択されたオブジェクトのファイルへの書き出し等の保存、選択されたオブジェクトのコピー、選択されたテキストに基づく演算、選択されたオブジェクトの送信等が挙げられ、また、これらの任意の組み合わせとすることもできる。たとえば、特定の指（たとえば、右手人差し指）でオブジェクトを選択して移動する場合、すなわち、選択機能が割り当てられた指でオブジェクトを選択すると当該指に移動操作の機能が割り当てられる場合、別の指（たとえば、右手薬指）によるタッチ操作後に移動することでオブジェクトの単なる移動という編集処理ではなく、コピーしてから移動するように組み合わせた制御を行ってもよい。

Claims

　ユーザー・インターフェースをユーザーに提供するための方法であって、
　前記ユーザーの複数の指を識別するステップと、
　識別された前記複数の指のうちの第１の指にモード切替機能を割り当てるステップと、
　前記第１の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップと
を含み、
　第２の指及び第３の指の少なくとも一方は、第１の指と異なる。
　請求項１に記載の方法であって、
　前記タッチ操作は、オブジェクトに対するタッチ操作である。
　請求項２に記載の方法であって、
　前記別の機能は、モード切替機能、パラメーター・コントロール機能、及び前記オブジェクトの対象選択機能のいずれかである。
　請求項２に記載の方法であって、
　切替後に前記第２の指に割り当てられる機能は、パラメーター・コントロール機能であり、
　切替後に前記第３の指に割り当てられる機能は、前記パラメーター・コントロール機能の変更機能である。
　請求項２に記載の方法であって、
　切替後に前記第２の指に割り当てられる機能は、パラメーター・コントロール機能であり、
　前記第２の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第２の指とは別の指に前記パラメーター・コントロール機能の変更機能を割り当てるステップをさらに含む。
　請求項２に記載の方法であって、
　切替後に前記第２の指に割り当てられる機能は、コマンド処理機能である。
　請求項６に記載の方法であって、
　前記コマンド処理機能は、編集機能、変換機能、検索機能、保存機能、コピー機能、演算機能、送信機能及びこれらの任意の組み合わせのうちのいずれかである。
　請求項１から４のいずれかに記載の方法であって、
　前記第２の指は、前記第１の指と同一の指である。
　請求項１から８のいずれかに記載の方法であって、
　前記第１の指のタッチ操作を解除した場合に、前記第２の指又は前記第３の指の機能を切替前の機能に戻すステップをさらに含む。
　請求項１から８のいずれかに記載の方法であって、
　前記第１の指のタッチ操作を所定時間以内に解除した場合に、前記第２の指又は前記第３の指の機能を切替前の機能に戻すステップをさらに含む。
　請求項２から８のいずれかに記載の方法であって、
　前記タッチ操作を解除した後も前記オブジェクトの選択状態を維持する。
　請求項１１に記載の方法であって、
　前記タッチ操作が解除されたことに応じて、前記第２の指及び前記第３の指に割り当てられた機能をそれぞれ、前記タッチ操作前及びタッチ操作中とは異なる機能に切り替えるステップをさらに含む。
　請求項１１又は１２に記載の方法であって、
　前記複数の指のいずれかの指によるタッチ操作がなされたことに応じて、前記選択状態を終了させるステップと、
　前記選択状態が終了したことに応じて、前記第２の指及び第３の指に割り当てられた機能をそれぞれ切替前の機能に切り替えるステップと
をさらに含む。
　請求項１から１３のいずれかに記載の方法であって、
　識別された前記複数の指を表現したバーチャル・ハンドとともに、各指に割り当てられた機能を表現するアイコンもしくはラベルを前記ユーザーが用いるディスプレイに表示するステップをさらに含む。
　請求項１４に記載の方法であって、
　前記ラベルは、前記ラベルに関連づけられた指が前記ユーザーが用いる机上から所定の高さ以上に位置した場合のみに表示する。
　請求項１４に記載の方法であって、
　前記ユーザーの指が前記ディスプレイの画面の領域外にある時、前記アイコンまたは前記ラベルは、前記画面の端に留めて表示する。
　請求項１から１６のいずれかに記載の方法であって、
　前記ユーザーの複数の指は、前記ユーザーの右手のいずれかの指及び前記ユーザーの左手のいずれかの指を含む。
　請求項１から１７のいずれかに記載の方法であって、
　前記第１の指、前記第２の指及び前記第３の指のうちの少なくともいずれかは、複数本の指を含む一組の指である。
　コンピューターに、ユーザー・インターフェースをユーザーに提供するための方法を実行させるためのプログラムであって、前記方法は、
　前記ユーザーの複数の指を識別するステップと、
　識別された前記複数の指のうちの第１の指にモード切替機能を割り当てるステップと、
　前記第１の指による、タッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替えるステップと
を含み、
　前記第２の指及び前記第３の指の少なくとも一方は、前記第１の指と異なる。
　アプリケーションとのユーザー・インターフェースをユーザーに提供するための装置であって、
　前記ユーザーの複数の指を識別し、
　識別された前記複数の指のうちの第１の指にモード切替機能を割り当てて、前記第１の指によるタッチ操作がなされたことに応じて、前記複数の指のうちの第２の指及び第３の指に割り当てられた機能をそれぞれ別の機能に切り替え、
　前記第２の指及び前記第３の指の少なくとも一方は、前記第１の指と異なる。