JP5179378B2 - ユーザインターフェイス装置 - Google Patents

Description

本発明は、機器を操作するための各機能を指先で実行可能なユーザインターフェイス装置に関し、より特定的には、手の動きに応じて各機能を指先に割り当て、指先への各機能の割り当てを操作者が直感的に把握できるユーザインタフェイス装置に関する。

従来、多機能化した機器を利用するためのインターフェイスとして、指の操作位置（押下位置）に応じて、異なる機能を示すＧＵＩ釦を指先に付加し、所望の機能を実行することを可能とした技術が存在する（例えば、特許文献１参照）。

国際公開第２００６／１０４１３２号パンフレット

しかしながら、従来の技術では、機器を操作するための機能を手で実行するにも関わらず、手の動きに応じて指先に各機能が割り当てられないため、操作者は指先への各機能の割り当てを直感的に把握することができない。

そこで、本発明は、上記問題に鑑みてなされた。すなわち、手の動きに応じて機器を操作するための各機能を指先に割り当て、指先への各機能の割り当てを操作者が直感的に把握できるユーザインタフェイス装置を提供することを目的とする。

本発明の局面は、機器を操作するためのユーザインターフェイス装置に向けられている。本発明は、操作者の操作面への接触位置を検知する接触位置取得部と、操作者の手形状を取得する手形状取得部と、手形状取得部が取得した手形状から、当該手形状の方向を取得する手形状方向取得部と、機器を操作するための機能に対して一意に割当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）釦を表すＧＵＩ釦データを記憶するＧＵＩ釦データ記憶部と、手形状取得部が取得した手形状の各指先にＧＵＩ釦データ記憶部から読み出したＧＵＩ釦を一旦割り当てた後、手形状の方向の変化に基づいて、当該手形状の各指先に当該ＧＵＩ釦を割り当て直すＧＵＩ釦割り当て部と、ＧＵＩ釦割り当て部が割り当てたＧＵＩ釦の画像と手形状の画像との合成画像を作成する重畳表示映像作成部と、重畳表示映像作成部が作成した合成画像を表示する表示部とを備える。

また、ＧＵＩ釦割り当て部は、手形状方向取得部が取得した手形状の方向の示す角度が操作面の垂直方向の基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦を割り当て直すことが好ましい。

また、ＧＵＩ釦割り当て部は、手形状方向取得部が取得した手形状の方向の示す角度が、接触位置取得部が操作者の操作面への接触を検知したときの手形状の方向を示す基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦を割り当て直すことが好ましい。
また、ＧＵＩ釦割り当て部は、５０音の各行のいずれかの文字を表すＧＵＩ釦を各指先に割り当てる。
その場合、ＧＵＩ釦割り当て部は、５０音の各行のいずれかが選択されると、選択された行に属する文字を表すＧＵＩ釦を各指先に割り当てることが好ましい。

以上説明したように、本発明によれば、手の動きに応じて機器を操作するための各機能を指先に割り当て、指先への各機能の割り当てを操作者が直感的に把握できるユーザインタフェイス装置を提供することができる。

本発明の実施形態にかかるユーザインターフェイス装置の概略構成を示す模式図 図１に示すユーザインターフェイス装置１を車に搭載した場合の一例を示す図 本発明の実施形態に係るユーザインターフェイス装置を実現するための機能ブロック図 図３の表示装置６に表示される映像の一例を示す図 図３のユーザインターフェイス装置の処理の流れを示すフローチャート 図３の重畳表示映像作成部３６がナビゲーション装置の操作に関するメニューの機能を各指に付加し、表示装置６に表示している例を示す図 図３の手形状パラメータ取得部３３の機能ブロック図 図５のステップＳ５０２の手形状パラメータ取得処理の流れを示すフローチャート 図８のステップＳ８０４の掌領域の取得方法を説明するための模式図 図８のステップＳ８０５の指先位置の取得方法を説明するための模式図 図８のステップＳ８０６の手方向の取得方法を説明するための模式図 図５ステップＳ５０３の指先機能選定処理の流れを示すフローチャート 図１２の指先機能選定処理で手方向θによって指先に割当てる機能が変更される状態の一例を示す模式図で、（ａ）θの符号がマイナスのときナビゲーション装置の操作に関するメニューの機能を指先に割当てた状態を示す模式図、（ｂ）θの符号がプラスのときＡＶの操作に関する機能を指先に割当てた状態を示す模式図 図１２の指先機能選定処理で５０音入力をする時に手方向θによって指先に割当てる文字が変更される状態を示す模式図で、（ａ）θの符号がマイナスのときに指先に文字が割当られた状態を示す模式図、（ｂ）θの符号がプラスのときに指先に文字が割当られた状態を示す模式図 本発明の実施形態に係るユーザインターフェイス装置を用いて５０音入力で「し」の文字を入力する時の入力方法を説明する模式図で、（ａ）「さ」行の入力方法を説明するための模式図、（ｂ）「し」の入力方法を説明するための模式図 ひらがなの並びを各指先に割り当てる場合を説明するための図 数字の並びを各指先に割り当てる場合を説明するための模式図 アルファベットの並びを各指先に割り当てる場合を説明するための模式図 干支の並びを各指先に割り当てる場合を説明するための模式図 月の並びを各指先に割り当てる場合を説明するための模式図 操作面上に最初に置いた操作者の手形状の初期位置が示す基準軸を説明する模式図 ユーザインターフェイス装置の処理の流れを示すフローチャート

以下、図面を参照して、本発明の実施の形態に係るユーザインターフェイス装置について説明する。なお、各図面において、本発明の実施に特に重要でない要素は視認性を考慮して割愛されている。

図１は本実施の形態に係るユーザインターフェイス装置の概略構成を示す模式図である。図１において、ユーザインターフェイス装置１は、大略的な構成として、タッチパネル２、演算処理機３、記憶装置４、撮像装置５、及び表示装置６を備える。図１のユーザインターフェイス装置１を例えば車に搭載した場合の模式図を図２に示す。撮像装置５は、操作面となるタッチパネル２を下から撮像する。演算処理機３から出力される映像は表示装置６に表示される。

タッチパネル２は、本実施形態では、操作者が例えば５本の指のそれぞれで触れることで、演算処理機３に所定の機能を実行するように指示を与えることができる入力装置である。抵抗式、静電容量式、光学式等のタッチパネルが用いられ、操作者が接触した部分の位置座標が演算処理機３に送られる。

演算処理機３は、典型的にはプロセッサと、各種メモリとを少なくとも含んでおり、例えばＲＯＭのようなメモリに格納されたコンピュータプログラムに従って動作する。ここで、図３は、このような演算処理機３の機能的なブロック構成図である。図３において、演算処理機３は、上記のコンピュータプログラムを実行することで、手形状取得部３１と、接触位置取得部３２、手形状パラメータ取得部３３、指先機能選定部３４、ＧＵＩ画像作成部３５、及び重畳表示映像作成部３６の機能を実現する。

記憶装置４は、表示装置６に表示すべきＧＵＩ画像を生成するために必要なＧＵＩ釦データ等を格納する。ＧＵＩ釦データは、例えばアイコンまたは釦のようなＧＵＩ画像データである。

撮像装置５は、本実施形態では赤外線カメラから構成される。撮像装置５は、タッチパネル２が設置された操作面をカバーできるような画角をもつように設置され、自身の画角の範囲内を予め定められた時間間隔で撮影し、撮影映像を演算処理機３に出力する。なお、図１において、撮像装置５によって手形状をより撮影しやすくするために、投光機１０１が設置されている。撮像装置５が赤外線カメラの場合、投光機１０１の光の波長は赤外線カメラによって撮影するのに適した波長であることが望ましい。

表示装置６は、液晶、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＣＲＴ等のディスプレイから構成される。図４は、表示装置６に表示される映像の一例を示している。手形状映像４０１、及びＧＵＩ釦４０２、４０３が表示されている。ＧＵＩ釦４０２、４０３は、その表示位置に相当するタッチパネル２上の位置を操作者が指で接触した時に、割り当てられている機能が実行される。ＧＵＩ釦４０２は手の動きに対してその表示位置は固定されているが、手の各指先に割り当てられた機能を示すＧＵＩ釦４０３は、指先の動きに追従して表示位置が変わる。なお、手形状映像の作成方法については後述する。

図３にもどり、演算処理機３の各機能ブロックについて説明する。演算処理機３は、撮像装置５が撮像した操作者の手の映像を取得する手形状取得部３１、操作者が操作面上を接触した位置座標をタッチパネル２から取得する接触位置取得部３２、先に取得した操作面上にある手形状の映像から手形状の各種パラメータを取得するための手形状パラメータ取得部３３、指先に付加する機能を選定するための指先機能選定部３４、指先に付加された機能を表すＧＵＩ釦や背景画像からなるＧＵＩ画像を作成するＧＵＩ画像作成部３５、及び手形状パラメータ取得部３３から取得される手形状映像とＧＵＩ画像作成部３５において作成されるＧＵＩ画像とを重ね合わせてひとつの画像として出力する重畳表示映像作成部３６からなる。

次に、本実施の形態のユーザインターフェイス装置の処理の流れについて図５のフローチャートを用いて説明する。

まず、操作者は、操作面に手を置くことで操作を開始する。ステップＳ５０１において、手形状取得部３１は撮像装置５が撮像した操作面上の操作者の手形状の映像を取得する。

ステップＳ５０２において、手形状パラメータ取得部３３は手形状取得部３１によって取得した手形状の特徴量（パラメータ）を抽出する。ここでパラメータとして抽出するのは、掌の重心位置・掌の領域（掌領域）・指先の位置・手の方向（手方向）等である。ここで抽出したパラメータは後の処理に用いるため、記憶装置４に格納される。なお、このステップＳ５０２の手形状パラメータ取得処理については後に詳細に説明する。

次に、ステップＳ５０３において、指先機能選定部３４は、各指にどの機能を付加するかを決定する処理を行う。ここで具体的な各指に割り当てる機能の選定方法については、後に詳しく述べる。なお、指先機能選定部３４は、ＧＵＩ釦割り当て部に対応する。

そして、ステップＳ５０４の重畳表示映像作成処理において、ＧＵＩ画像作成部３５は、ステップＳ５０３において各指に割当てられた機能に一意に対応するＧＵＩ釦データを記憶装置４から読み出して、ＧＵＩ釦画像を生成する。

そして、重畳表示映像作成部３６は、作成されたＧＵＩ釦画像を手形状映像に付加した合成映像と、背景に表示されるＧＵＩ画像とを重畳した映像を作成し、表示装置６に表示する。このステップ５０４の重畳表示映像作成処理については公知の技術（例えば、国際公開第２００６／１０４１３２号公報参照）を使うことができるため、詳細な説明は割愛する。

手形状映像の各指にＧＵＩ釦を付加した映像の一例を図６に示す。図６では、操作者が左手を操作面上に置き、ナビゲーション装置の操作に関するメニューの機能が各指に付加され、表示装置６に表示されている例である。

図５に戻り、ステップＳ５０４で、ＧＵＩ画像の表示に関する処理が終了すると、次のステップＳ５０５で接触位置取得部３２からの信号に基づき、操作者が操作面に接触したか否かが判定される。

ここで操作者が操作面に触れたと判定されなければ（Ｎｏ）、ステップＳ５０１に戻る。ステップＳ５０５で操作面が押下されたと判定されると（Ｙｅｓ）、押下された位置が接触位置取得部３２から取得される（ステップＳ５０６）。そして、ステップＳ５０７でその位置が、表示装置６に表示されているＧＵＩ釦に対応する領域か否かが判定される。

ステップＳ５０７において、押下された位置がＧＵＩ釦の位置ではないと判定されると（Ｎｏ）、ステップＳ５０１に戻り、ＧＵＩ釦の位置であると判定されると（Ｙｅｓ）、ステップＳ５０８に進み、押下された位置のＧＵＩ釦に一意に対応する機能が実行されて、一連の処理を終了する。

次に、図５のステップＳ５０２の手形状パラメータ取得処理について詳細に説明する。この手形状パラメータ取得処理は、手形状パラメータ取得部３３で処理が行われる。図７に手形状パラメータ取得部３３の機能ブロック図を示す。手形状パラメータ取得部３３は、手形状取得部３１で取得した映像から手形状のみを抽出する手形状抽出部７０１、掌の位置を取得するための掌領域決定部７０２、指先位置を取得する指先位置取得部７０３、及び手の方向（手方向）を取得する手方向取得部７０４から構成される。

図８に手形状パラメータ取得処理のフローチャートを示す。まず、ステップＳ８０１において、手形状抽出部７０１は、ステップＳ５０１で取得した映像の２値化処理をおこなう。

次に、ステップＳ８０２において、手形状抽出部７０１は、ステップＳ８０１で２値化処理した映像からノイズを除去して、手形状のみの映像を抽出する。ここで、ノイズとしては、手形状を表す領域以外の範囲のことを指している。手形状のみの映像を抽出する具体的な方法としては、２値化された映像から、つながったひとつの領域で最大の領域を手形状として認識するといった方法が挙げられる。

次に、ステップＳ８０３において、手形状抽出部７０１はステップＳ８０２で抽出した手形状のみの映像を記憶装置４に保存する。ここで保存した手形状映像は、ステップＳ５０４の重畳表示映像作成処理で重畳映像を作成する際に使用される。

次に、ステップＳ８０４〜Ｓ８０６において、掌の重心位置、掌領域、指先位置及び手の方向（手方向）等の手のパラメータの取得が行われる。まず、ステップＳ８０４で、掌領域決定部７０２は、ステップＳ８０２で抽出した手形状映像の重心位置と、手形状映像から指先を除く掌領域とを取得する。

図９は掌領域の取得方法を説明するための模式図で、掌領域決定部７０２はステップＳ８０２で抽出した手形状の映像から、重心位置９０１を算出する。次に、重心位置９０１を中心とする円９０２が描かれ、その円の半径が徐々に大きくされる。

次に、手形状映像９０３と先の円との重なる面積がある一定の閾値以上になったときに円の半径を大きくすることが停止される。今、円９０４で円の半径を大きくすることが停止されたとする。このときの円の領域と手形状映像９０３と重なる箇所の領域が掌領域とされる。

更に、掌領域を先の手形状映像９０３から切り出されて、図１０に示すような指先だけの領域を示す映像が作成される。そして、掌領域決定部７０２は、求めた重心位置９０１と、掌領域とを記憶装置４に保存する。また、次のステップＳ８０５で用いる、指先だけの領域を示す画像も記憶装置４に保存される。

次に、ステップＳ８０５の指先位置の取得処理について、図１０を用いて説明する。
指先位置取得部７０３は、各指の領域画像１００１〜１００５に対して、楕円フィッティング処理により楕円１００６を求める。そして、指先位置取得部７０３は、求めた楕円の長径１００７を求め、長径１００７と楕円１００６との輪郭とが交わる位置で、かつ掌領域とは反対側にある位置を指先位置１００８として取得する。指先位置１００８をすべての指領域について取得した後、指先位置取得部７０３は、取得した指先位置１００８を記憶装置４に保存する。ここで、指の長さ、太さ、並び等から右手、左手が判定され、各指が何指（親指、人差し指、中指、薬指、小指）であるかが求められ、指先位置１００８の情報と共に対応させて記憶装置４に保存される。

次に、ステップＳ８０６の手方向の取得処理について、図１１を用いて説明する。手方向取得部７０４は、ステップＳ８０２によって取得した手形状映像１１０１に対して、外接する長方形１１０２を算出する。ここで、長方形１１０２の長辺方向１１０３を手方向として取得し、操作面１１０５の垂直方向（Ｙ軸）との間の角度１１０４を手方向θとして取得する。ここで、θはＹ軸から時計回り方向をプラス方向とする。そして、手方向取得部７０４は、取得した手方向θを記憶装置４に保存する。また、垂直方向とは、操作者が操作する操作面上に設定される２次元直交座標系において、操作者からみて縦方向（一般的にＹ軸として設定される方向）をさす。
以上のステップＳ８０４〜Ｓ８０６により、手形状に関する各種パラメータを取得したら、図８の手形状パラメータ取得処理を終了する。

次に、図５のステップＳ５０３の指先機能選定処理について、図１２のフローチャートを用いて説明する。この指先機能選定処理は、指先機能選定部３４で行われる。
まず、ステップＳ１２０１において、指先機能選定部３４は、図８のステップＳ８０５で求めた指先位置に対して、初期機能を割当てる。ここで、初期機能とは機器を操作するための各種コマンドや、５０音入力・アルファベット入力等をする際の文字等の内の一部であり、どの指に対して初期的にどの様な機能を割当てるかについては、あらかじめ設定して記憶装置４に記憶しておくものとする。この初期機能の割当てには、ステップＳ８０５で求めた、どの指先位置が何指かの特定された情報が用いられる。

次に、ステップＳ１２０２において、指先機能選定部３４は、ステップＳ８０４で取得した掌領域で操作面が押下されたかどうかの判定を行う。このとき、掌領域で押下されたかどうかの判定方法としては、まず、図８のステップＳ８０４の掌領域取得処理において取得された掌領域の範囲が当たり判定領域として設定される。

次に、接触位置取得部３２によって取得された接触位置が、当たり判定領域の範囲内に存在したときに、掌領域で操作面が押下されたと判定される。ステップＳ１２０２で掌領域で操作面が押下されたと判定された場合（Ｙｅｓ）、ステップＳ１２０３の処理に移り、掌領域で押下されていないと判定された場合（Ｎｏ）、処理を終了する。

次に、ステップＳ１２０３で図８のステップＳ８０６で記憶装置４に保存した手方向θを読み出す。そして、ステップＳ１２０４において、指先機能選定部３４は、指先に割当てられた機能を変更する。この、ステップＳ１２０２の判定処理があることにより、操作者が掌を操作面上に置いたときのみ各指先に割当てられる機能を変更することができるようになる。すなわち、操作者が操作面上に掌を置かない限り、手の向きを変えても、意図せずに割当てられる機能が変更されてしまうことを防ぐことができる。

ここで、指先の機能が変更される状態について図１３を用いて説明する。図１３（ａ）、（ｂ）は、手形状映像にＧＵＩ釦を重畳して表示装置６に表示させた図である。図１３（ａ）では、各指の初期機能として、ナビゲーション装置の操作に関するメニューの機能を表すＧＵＩ釦１３０２〜１３０６が、手形状映像１３０１の各指先に付加されている。ここで、手方向θの符号はマイナスになっている。小指には目的地設定するためのＧＵＩ釦１３０２、薬指には現在位置を地図上に表示させるためのＧＵＩ釦１３０３、中指には経由地を設定するためのＧＵＩ釦１３０４、人差し指にはルート設定するためのＧＵＩ釦１３０５、親指には前の状態に戻すためのＧＵＩ釦１３０６がそれぞれ割当てられている。

そして、操作者が手の方向を変化させ、手方向θの符号がプラスになると、図１３（ｂ）に示すように、手形状映像１３１１の各指先に設定されるＧＵＩ釦は、ＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）の操作に関する機能を表すＧＵＩ釦１３１２〜１３１６に変更される。

小指には一曲戻すためのＧＵＩ釦１３１２、薬指には巻き戻しするためのＧＵＩ釦１３１３、中指には曲を再生するためのＧＵＩ釦１３１４、人差し指には早送りするためのＧＵＩ釦１３１５、親指には一曲早送りするためのＧＵＩ釦１３１６がそれぞれ割当てられている。なお、ここで変更させるメニュー項目については、操作者が設定することができてもかまわない。

図１２に戻り、ステップＳ１２０５において、指先機能選定部３４は、ステップＳ１２０２の判定と同じ様にして、掌が操作面を押下状態か否かを判定する。もし、押下状態であると判定された場合（Ｙｅｓ）にはステップＳ１２０６に進み、操作面から掌が離されて押下状態でない場合（Ｎｏ）には、指先機能選定処理を終了する。

ステップＳ１２０６では、図８のステップＳ８０６と同様にして、手方向θを検知して、ステップＳ１２０４に戻り、各指先に割当てられる機能が変更される。このステップＳ１２０５の判定処理は、操作者は掌を操作面上に置いたまま手の方向を変えるだけで、各指先に割当てられる機能を変更することができるようにするためにある。

なお、指先に付加する機能はナビゲーション装置の機能やＡＶの機能に限定されるものではなく、例えば図１４のように、５０音の入力機能を表すＧＵＩ釦を付加してもよい。

図１４では、手方向θがマイナスのときは、図１４（ａ）に示すように、小指から親指へ順番に「あ」、「か」、「さ」、「た」、「な」を表すＧＵＩ釦１４０２〜１４０６を各指先に付加し、手方向θがプラスのときは、図１４（ｂ）に示すように、小指から親指へ順番に「は」、「ま」、「や」、「ら」、「わ」を表すＧＵＩ釦１４１２〜１４１６を各指先に付加する。

５０音入力の方法としては、掌で操作面を押下した状態のときに、各指に付加している釦を押下すると、その「行」の文字を入力できるようにする。このように、手方向θの符号を含め、「あ」〜「わ」の全ての行を各指に割当てて５０音入力をすることが可能になる。例えば、「し」という文字を入力したければ、まず、図１５（ａ）に示すように、掌を押下した状態で、「さ行」の入力を示すＧＵＩ釦１５０４が割当てられた中指で操作面を押下する。その後、掌を操作面から離すと、図１５（ｂ）に示すように、小指から親指へ順番に「さ行」の各文字「さ」、「し」、「す」、「せ」、「そ」を表すＧＵＩ釦１５１２〜１５１６が指先に付加される。ここで、５０音の各行は５文字であるため、５本の指に自動的に付加することが可能になる。その後、所望の「し」を表すＧＵＩ釦１５１３が付加された薬指で操作面を押下することで、「し」が入力される。

このように最初の動作で行を選択し、その後選択された行の５文字を各指に付加して、いずれかの指で操作面を押下して文字を入力することで、振動環境下でも安定した文字入力をすることが可能となる。なお、図１５（ｂ）では、掌が操作面から離れており、指先機能選定処理が終了しているので、各文字を入力するときに手の角度を変化させても、指先に付加している文字は変更されない。再び別の文字を入力するときには、掌で操作面を押下して、各指先に割当てる機能を変更させる必要がある。

以上説明したように、本実施形態のユーザインターフェイス装置では、手の方向を変えるだけで、操作面サイズを大きくすることなく、容易に指先に割当てる機能を変更することができるので、振動環境下でも安定した入力操作が可能になる。

また、５０音入力に応用した場合には、片手に割当てられる文字は５つであるので、容易に指先に割当てる文字を変更できるため、入力作業が楽にできるという効果がある。

なお、以上の実施形態では、手形状取得部３１は、撮像装置５からの手形状の撮像映像を取得したが、操作者の手の輪郭を取得することができればよく、赤外線カメラ以外にも一般的な方法を用いて操作者の手形状を取得してもよい。例えば、静電容量式等のタッチパネルを用いることにより、近接する手の輪郭を取得することが可能である。この場合、公知の技術（例えば、国際公開第２００６／０２７９２４号公報参照）を使うことができる。また、手形状取得部３１は、掌の重心位置、掌領域、指先位置及び手の方向（手方向）等の手のパラメータに基づいて、手のモデルを推定し、推定したモデルをモデル記憶部から取得する構成としてもよい。

ここで、手形状取得部３１がタッチパネル２により手形状を取得する場合には、撮像装置５が不要であり、手が操作面に触れた接触位置も同時に検出できる。さらにこの場合、既に２値化された手形状を表す信号を取得することができるため、図８のステップＳ８０１の２値化処理は不要になる。

また、以上の実施形態では、赤外線カメラを用いて、取得する映像は、車外からの入射光の影響を受けずに手形状の映像を取得できる近赤外線領域での映像が望ましいが、これ以外の波長領域でも構わない。

前述のようにひらがなを入力する機能を指先に付加する効果としては、図１６のひらがなに示すように、ユーザの経験上、「あかさたな」の並びの次にくるのは「はまやらわ」であるということが想起されるため、手の傾きを変えることで、次の「はまやらわ」を入力する機能が指先に付加されることが操作者にとって直感的に分かりやすい。

また、ひらがなの並び以外にも図１７に示すような数字の並びの場合にも、操作者は、手の傾きを変えたことにより、次に指先に割り当てられる数字を容易に想起することができる。

また、本実施形態では手の傾きを指先に付加する機能を変更するトリガーとしているため、手の傾きの角度に応じて、２段階の機能の変更だけではなく、さらに多くの機能を付加することが可能となる。

多くの機能の変更の一例としては、図１８に示すアルファベット１８０１の割り当てを変更することが考えられる。通常ユーザは経験上、アルファベットの並びが図１８のアルファベット１８０１で示すように想起される。

手の角度が操作面の垂直方向の基準軸に対してθ１の時に、手形状映像１８０２で示すように、“ａ”から“ｅ”のアルファベットを入力する機能が各指に順番に配置される。また、角度θ１から角度θ２になるまでの間は、手形状映像１８０２は、その配置のまま表示され、角度がθ２より大きくなったら、次の手形状映像１８０３に示すように“f”から“j”までの並びに変化する。これ以降θ３,θ４,θ５を閾値として、各機能の並びが変化する。なお、このときに閾値となる角度は、操作者によって変更されてもよい。

このように、手形状の方向の示す角度が表示部の画面の左右中央から鉛直方向の基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦が割り当て直される構成としてもよい。

また、図１８にもあるように、全てのアルファベットを付加しようとすると、“ｚ”の一文字が指に付加できない場合が考えられる。この場合は、手形状映像１８０６に示すように、“ｚ”だけを掌部分のボタンとして表示し、掌を押し込む動作で、“ｚ”の文字を入力できるようにしてもよい。

また、全てのメニューの数が１２個だった場合の例としては、図１９に示すような干支を表示したり、星座を表示する例が考えられる。図１９で示すように、干支の場合は、手形状映像１９０１に示すように、並びの１段階目の時点で掌上にも機能を付加し、左に傾けたとき、右に傾けたときで合計１２個の機能を付加することを実現している。

また、本実施の形態では、角度がある閾値を上回る、もしくは下回ったときにすべての指先の機能を変更するとしていたが、同時にすべての指の機能を変更するのではなく、手の角度に応じて序々に指先の機能を変更していく事案も考えられる。一例として、図２０を用いて説明する。

図２０では、「月」の名称を入力する機能を各指に付加して、操作面を押し込んだら入力できる操作を示したものである。なお、図２０で実際に表示部に表示されるのは、実線で示したＧＵＩ部品のみで、破線で示したＧＵＩ部品は、ユーザが想定するであろうＧＵＩ部品の並びを表すための図である。

まず、手形状映像２００１に示すように、角度γ１の時には１月から４月までの月を付加する。その後、手形状映像２００２に示すように角度がγ２になったら、各指に付加しているすべての機能がひとつずつずらして表示されるようにする。手形状映像２００２の表示は、一段階進んだ表示を表している。手形状映像２００２では、１月を示すＧＵＩ部品が表示部から消えて、代わりに５月をあらわすＧＵＩ部品が人差し指に付加されている。なお、そのほかのＧＵＩ部品については、図に示すように１つずつずれて表示される。

なお、手の傾きを取得する方法としては、前述した基準軸を操作面の垂直方向に固定する方法以外にも、操作者が操作面に最初に置いた手の方向からの相対的な角度を算出する方法も考えられる。接触位置取得部３２が操作者の操作面への接触を最初に検知したときの手形状の方向を新たな基準軸として、手形状の方向の示す角度が、その基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦が割り当て直される構成としてもよい。この様にすることで、操作者が操作面上に自然に手を置いたときの手形状の方向が基準軸とされるため、操作者は操作面の垂直方向が基準軸であることを気にする必要がなくなり、操作性がより向上する。

このとき、図２１に示すように、手形状映像２１０１の破線で示す手形状が最初に置いた操作者の手形状の初期位置として登録され、手形状映像２１０２の実線で示す手形状が現状の手の位置を示している。このとき、手の傾きパラメータとしては、図に示した角度θが用いられる。具体的な処理の流れを図２２を用いて説明する。

まず、Ｓ２２０１において、操作者の手が操作面上にあるか否かが判定される。操作者の手が操作面上に置かれたと判定された場合、手の角度が算出される（Ｓ２２０２）。次に、Ｓ２２０３において、Ｓ２２０２で算出された角度（初期角度）が演算処理機３にあるメモリ領域に保持される。

次に、Ｓ２２０４において、手が置かれているか否かが判定される。ここで手が離されていると判定されれば、以下の処理を行わず、処理を終了する。

次にＳ２２０５において、現状の手の角度計算が行われる。ここでＳ２２０２で算出された初期角度に対する現状の手の角度が予め定められた閾値以上か否かがＳ２２０６において判定され、閾値以上（Ｓ２２０６でＹｅｓ）であると判定されれば、ＧＵＩ部品の各指への割り当てが変更される。Ｓ２２０６において、閾値未満であれば、Ｓ２２０４に戻る。

以上説明したように、本発明によれば、手の動きに応じて各機能を指先に割り当て、指先への各機能の割り当てを操作者が直感的に把握できるユーザインタフェイス装置を提供することができる。
なお、上記実施の形態において、ＧＵＩ釦データ、手形状映像、手形状の特徴量（パラメータ）等を記憶装置４に記憶する様にしたが、演算処理機３が内部に備えるメモリに記憶する様にしてもよい。
また、手形状の方向を検出するための基準軸は、操作面の垂直方向としたが、表示部の画面の垂直方向を基準軸としてもよい。

上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。

本発明に係るユーザインターフェイス装置は、指先に付加された、機器を操作するための機能を容易に変更することが可能となり、車載機器の他、良好な使い勝手が要求されるコンピュータ関連製品等に好適である。

１ ユーザインターフェイス装置
２ タッチパネル
３ 演算処理機
４ 記憶装置
５ 撮像装置
６ 表示装置
３１ 手形状取得部
３２ 接触位置取得部
３３ 手形状パラメータ取得部
３４ 指先機能選定部
３５ ＧＵＩ画像作成部
３６ 重畳表示映像作成部
１０１ 投光機
４０１、９０３、１１０１、１３０１、１３１１、１４０１、１４１１、１５０１、１５１１、１８０２、１８０３、１８０４、１８０５、１８０６、１９０１、２００１、２００２、２１０１、２１０２ 手形状映像
４０２、４０３、１３０２〜１３０６、１３１２〜１３１６、１４０２〜１４０６、１４１２〜１４１６、１５０２〜１５０６、１５１２〜１５１６ ＧＵＩ釦
７０１ 手形状抽出部
７０２ 掌領域決定部
７０３ 指先位置取得部
７０４ 手方向取得部
９０１ 重心位置
９０２、９０４ 重心位置９０１を中心とした同心円
１００１〜１００５ 指の領域画像
１００８ 指先位置
１１０４ 手方向θ
１１０６、１３０８、１４０７、１８１０、２０１０、２１１０ 基準軸

Claims (3)

1. 機器を操作するためのユーザインターフェイス装置であって、
   操作者の操作面への接触位置を検知する接触位置取得部と、
   操作者の手形状を取得する手形状取得部と、
   前記手形状取得部が取得した手形状から、当該手形状の方向を取得する手形状方向取得部と、
   前記機器を操作するための機能に対して一意に割当てられたＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）釦を表すＧＵＩ釦データを記憶するＧＵＩ釦データ記憶部と、
   前記手形状取得部が取得した手形状の各指先にＧＵＩ釦データ記憶部から読み出したＧＵＩ釦を一旦割り当てた後、前記手形状の方向の変化に基づいて、当該手形状の各指先に当該ＧＵＩ釦を割り当て直すＧＵＩ釦割り当て部と、
   前記ＧＵＩ釦割り当て部が割り当てたＧＵＩ釦の画像と手形状の画像との合成画像を作成する重畳表示映像作成部と、
   前記重畳表示映像作成部が作成した合成画像を表示する表示部とを備える、ユーザインターフェイス装置。
2. 前記ＧＵＩ釦割り当て部は、前記手形状方向取得部が取得した手形状の方向の示す角度が前記操作面の垂直方向の基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦を割り当て直すことを特徴とする、請求項１に記載のユーザインターフェイス装置。
3. 前記ＧＵＩ釦割り当て部は、前記手形状方向取得部が取得した手形状の方向の示す角度が、前記接触位置取得部が操作者の操作面への接触を検知したときの前記手形状の方向を示す基準軸に対して所定角大きくなる度に、当該手形状の各指先の並びに応じて順番に、未だ割り当てられていないＧＵＩ釦を割り当て直すことを特徴とする、請求項１に記載のユーザインターフェイス装置。

Images