JP5062898B2

JP5062898B2 - ユーザインタフェイス装置

Info

Publication number: JP5062898B2
Application number: JP2008167796A
Authority: JP
Inventors: 敦士山下; 智裕寺田; 卓哉平井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-06-26
Filing date: 2008-06-26
Publication date: 2012-10-31
Anticipated expiration: 2028-06-26
Also published as: JP2010009311A

Description

本発明は、コンピュータ装置等に対し、実行すべき機能をユーザが指定可能なユーザインタフェイス装置に関し、より特定的には、手の動きに応じて各機能を指先に割り当て、指先への各機能の割り当てを操作者が直感的に把握できるユーザインタフェイス装置に関するものである。

情報機器端末が多機能化するに従って、より使い勝手の良いユーザインタフェイスが求められている。使いやすいユーザインタフェイスの一例として、タッチパネルディスプレイがある。このタッチパネルディスプレイは、ディスプレイに表示されているＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）を押す操作をすることで、命令や情報を入力することができ、初心者にとっても直感的なユーザインタフェイス装置である。しかし、タッチパネルディスプレイでは、ユーザの指の接触位置を検知するタッチパネルと、ディスプレイが一体になっているため、ディスプレイが手元にないと操作を実行できないという課題があった。

この課題を解決するため、タッチパネルとディスプレイを分離し、タッチパネル上のユーザの手を、ディスプレイに表示されるＧＵＩに重畳表示することで、ディスプレイから離れた位置からでも直感的な操作感を維持したユーザインタフェイス装置が開発されている（例えば、特許文献１を参照）。

特許文献１には、指先の位置を表す座標群それぞれに対し、ＧＵＩ部品が一意に関連づけられた、ＧＵＩ画像を作成するユーザインタフェイスシステムが開示されている。これにより、それぞれの指先に関連づけられた機能が明確になり、どのような機能が実現可能であるのかを視認可能にユーザに提示でき、より使い勝手の良いユーザインタフェイスシステムを提供することができる。
国際公開第２００６／１０４１３２号パンフレット

しかし、前記の構成では、ＧＵＩ部品とそれぞれの指先が、一意に関連づけられているため、同一の場面で実行できる機能はその場面で使用できる指の本数に限定される。そのため、更に多くの機能が実現可能であることを視認可能に提示することができない。

本発明は、前記従来の課題を解決するもので、使用できる指の本数に限定されずに、多数の機能が実現可能であることを視認可能に提示できるユーザインタフェイス装置を提供することを目的とする。

上記目的を達成するために、本発明のユーザインタフェイス装置は、機器を操作するためのユーザインタフェイス装置であって、操作者の手形状を取得する手形状取得部と、取得した手形状の指先位置を検出する指先位置検出部と、機器を操作するための機能に対して一意に割り当てられたＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）部品を表すＧＵＩ部品データを記憶するＧＵＩ部品データ記憶部と、手形状取得部が取得した手形状の各指先位置にＧＵＩ部品データ記憶部から読み出したＧＵＩ部品データを割り当てるＧＵＩ部品割り当て部と、ＧＵＩ部品割り当て部が割り当てたＧＵＩ部品の画像と手形状の画像との合成画像を作成する重畳表示映像作成部と、重畳表示映像作成部が作成した合成画像を表示する表示部とを備え、表示部に表示される手形状の画像の手首から中指の指先に向う方向にほぼ等しい表示部の縦方向をＹ軸方向とし、Ｙ軸方向に直交する表示部の横方向をＸ軸方向とすると、ＧＵＩ部品割り当て部は、前記手形状の少なくとも１本の指に対して複数のＧＵＩ部品を指先位置からＹ軸方向に所定のオフセット値を持たせて割り当て、重畳表示映像作成部は、指先位置のＸ軸方向の動きに対してはＧＵＩ部品の画像を各指先位置に追従させ、指先位置のＹ軸方向の動きに対してはＧＵＩ部品の画像を動かさずに手形状の画像との合成画像を作成することを特徴とする。

本発明のユーザインタフェイス装置によれば、使用できる指の本数に限定されずに、多数の機能が実現可能であることを視認可能に提示することができる。これにより、より使い勝手の良いユーザインタフェイス装置を提供することができる。

以下、本発明の実施の形態にかかるユーザインタフェイス装置について図面を用いて説明する。
（実施の形態１）
図１は本実施の形態におけるユーザインタフェイス装置１００の構成を説明するための概念図である。図１において、ユーザインタフェイス装置１００は、接触位置検出部１１０、コンピュータ１２０、ディスプレイ１３０から構成される。

接触位置検出部１１０は、代表的には複数の接触点を検知することができるタッチパッドからなる。タッチパッドの検知方式には、静電容量方式、感圧方式、抵抗膜方式などが存在するが、どの方式を選択するかは問わない。また、接触位置検出部１１０は、上部または下部に設置された、単独または複数のカメラであってもよい。カメラの検知対象としては、可視光、赤外線、超音波などが存在するが、どの検知方式を選択するかは問わない。操作者は、接触位置検出部１１０上に自身の手１１１を置き、ユーザインタフェイス装置１００の操作を行う。

コンピュータ１２０は、接触位置検出部１１０からの信号を入力するインタフェイスと、ＣＰＵまたはＭＰＵ、ＲＯＭ、ＲＡＭ、各モジュール間を結ぶバスと、映像出力インタフェイスからなる。コンピュータ１２０は、パーソナルコンピュータ（以下ＰＣ）でもよいし、専用機であってもよい。コンピュータ１２０は、接触位置検出部１１０において取得した接触位置情報１２２を入力とし、ＲＡＭ１２１に記憶した手形状モデルを変形して操作者の手形状画像１２３を作成する。ここで、接触位置検出部１１０にカメラを用いた場合には、カメラで取得した画像を手形状画像１２３としてもよい。ＲＡＭ１２１には、機器を操作するための機能に対して一意に割り当てられたＧＵＩ部品を表すＧＵＩ部品データが記憶されている。コンピュータ１２０は、手形状画像の各指に割り当てられる機能に対応するＧＵＩ部品データをＲＡＭ１２１から読み出し、操作者の手形状画像１２３の各指にＧＵＩ部品の画像を重畳させた合成画像１３１を作成し、ディスプレイ１３０に出力する。

ディスプレイ１３０は、コンピュータ１２０が生成した合成画像１３１を表示する装置である。ディスプレイの方式には液晶、ＥＬなどが存在するが、どの方式を選択するかは問わない。操作者はディスプレイ１３０の合成画像１３１の映像を見ながら接触位置検出部１１０上の手１１１を動かすことで入力操作を行う。

次に、接触位置検出部１１０が複数の接触点を検知することができるタッチパッドである場合において、タッチパッドが出力するデータについて図２を用いて説明する。複数の点を検出するタッチパッドの方式は、主に２つの方式に大別される。第１の方式は、図２（ａ）に示すように、個別に接触の有無を検知する素子や電極が全面に配置され、指などの接触を領域２０１として判定するものであり、発光部となる液晶のセルと共にイメージセンサを並べたものがある。第２の方式は、図２（ｂ）に示すように、縦および横方向の直線上に接触物の存在を検知する素子や電極が配置され、指などの接触領域を２つの方向の検知結果２０２の交わり２０３として検知する方式である。

次に、図３を用いて、接触位置検出部１１０が下部に設置された単独のカメラである場合における設置方法の一例を説明する。図３（ａ）は接触位置検出部１１０を操作面に垂直な面で切ったときの断面図を表しており、操作面３０１の下部に、発光部３０２およびカメラ３０３が設置されている。発光部３０２およびカメラ３０３が関わる波長帯は可視光でも良いが、外光の影響を最小限にするために近赤外線または遠赤外線とすることもできる。ユーザが操作面３０１の上部に手３０４を置くと、発光部３０２から出た光は手３０４で反射してカメラ３０３で撮像される。これにより、図３（ｂ）のような手形状画像３０５を検出することができる。なお、手３０４に当たる光の照度がカメラで撮像するのに十分な場合には、発光部３０２は無くても構わない。また、発光部３０２およびカメラ３０３は、操作面３０１およびユーザの手３０４の上部にあって、上部より操作面３０１を撮像する構成であっても構わず、カメラも単独ではなく複数台であってもよい。

次に、図４を用いて、本実施の形態におけるコンピュータ１２０の動作フローを説明する。
まず、コンピュータ１２０は接触位置検出部１１０より接触位置座標を入力する（ステップＳ４０１）。次に、入力した指先座標に基づいてモード遷移を行う（ステップＳ４０２）。次に、ユーザの指先座標およびモードに基づいて、フリック（操作面上で指をはじく様な操作）、タップの操作が行われたか検出を行う（ステップＳ４０３）。次に、検出結果に基づいて描画情報の作成を行い、ディスプレイ１３０に出力する（ステップＳ４０４）。更に、ユーザが所望する機能の実行を行う（ステップＳ４０５）。以上の動作を、特定の時間（例えば、１０ミリ秒）ごとに繰り返して行う。

次に、図５を用いて接触位置検出部１１０が複数の接触点を検知することができるタッチパッドである場合における、ステップＳ４０１の詳細動作フローを説明する。
まず、コンピュータ１２０は、接触位置検出部１１０から接触領域のデータを入力する。次に、接触領域の面積が所定値より小さいものをノイズと見なしカットする（ステップＳ５０１）。残ったものを接触領域として認識する（ステップＳ５０２）。次に、認識した各接触領域について、重心位置を求める（ステップＳ５０３）。次に、各重心位置を横方向にソートする（ステップＳ５０４）。例えば、横方向にソートした重心位置の右から順に、認識した各接触領域について指先１・指先２・・・と名前付けを行う。次に、ソートされた重心位置を指先座標としてＲＡＭ１２１に格納する（ステップＳ５０５）。

次に、図６を用いて、接触位置検出部１１０が上部または下部に設置された単独または複数のカメラである場合における、ステップＳ４０１の詳細動作フローを説明する。
まず、コンピュータ１２０は、カメラから撮像データを入力する。次に、所定の値を閾値として二値化処理を行う。次に、二値化画像の各領域について、面積が所定値より小さいものをノイズと見なしカットする（ステップＳ６０１）。残ったものを手の領域として認識する（ステップＳ６０２）。次に、認識された手の領域について画像認識により指先座標を特定する（ステップＳ６０３）。次に、各指先位置を横方向にソートする（ステップＳ６０４）。例えば、横方向にソートした指先位置の右から順に、認識した各指先位置について指先１・指先２・・・と名前付けを行う。次に、ソートされた指先位置を指先座標としてＲＡＭ１２１に格納する（ステップＳ６０５）。

次に、図７を用いて、ステップＳ４０２の詳細動作フローを説明する。
まず、コンピュータ１２０は入力した指先座標に基づいて、指先ボタンモードに遷移するトリガーを検出したかどうかを判定する（ステップＳ７０１）。ここでのトリガーの選択は任意である。例えば、画面上に表示されたボタンに対応する位置がタップされた、あるいは定められたルールにのっとった軌跡を描くように操作面が指でなぞられた等をトリガーとして検出する。次に、トリガーが検出されたと判定された場合、指先ボタンモードに遷移する（ステップＳ７０２）。トリガーが検出されていない場合は、何もせずにステップＳ４０２の処理を終了する。

次に、図８を用いて、ステップＳ４０４の詳細動作フローを説明する。
まず、コンピュータ１２０は、指先ボタンモードに遷移した場合、ＧＵＩ部品の情報をオフセット情報と共に読み出す（ステップＳ８０１）。このＧＵＩ部品の情報とオフセット情報の構成については後述する。次に、ＧＵＩ部品に対応する指先座標を参照する（ステップＳ８０２）。次に、各指先座標に対し、ステップＳ８０１で読み込んだＧＵＩ部品のオフセット情報を加味した位置を計算し、その位置にＧＵＩ部品を描画する命令群を生成する（ステップＳ８０３）。ここでは、命令を描画キューにセットするだけで実際の描画は行わない。最後に、必要なＧＵＩ部品の描画処理が終わったかどうかをチェックする（ステップＳ８０４）。終わっていない場合には、ステップＳ８０１に戻り、残りのＧＵＩ部品の描画を行う。必要なＧＵＩ部品を手形状画像に重畳させた描画処理が終わった場合は、ステップＳ４０４の処理を終了する。

次に、図９を用いて、ステップＳ８０１で読み出されるオフセット情報付きＧＵＩ部品データのフォーマットの一例を説明する。
図９の表の１行目は、ＧＵＩ部品ＩＤである。各部品に固有の値が割り当てられる。２行目は、ＧＵＩ部品の種別を表す番号または文字列であり、例えばコマンドボタン、トグルスイッチ、チェックボックスなど表示形態の種類を表す値が割り当てられる。３行目は形状データであり、長方形などの大きさ、ポリゴンなどの形状を表す値が割り当てられる。４行目は色、テキスチャデータであり、ＧＵＩ部品の表面に貼られるビットマップデータおよび塗りつぶしや枠線に用いられる色に関するデータである。５行目は、テキストデータであり、コマンドボタンやトグルスイッチ等の表面にラベルとして記される文字列が割り当てられる。６行目は、実行コマンドでありＧＵＩ部品が選択されたときに実行すべきコマンドのＩＤが割り当てられる。７行目は、対応する指であり、ＧＵＩ部品が追従するべき指の識別（親指、人差し指など）が格納される。８行目は、指先座標からの縦方向（Ｙ軸方向）オフセットであり、モード遷移時の指先座標から、ＧＵＩ部品を表示するべき位置（典型的には中心位置）までのオフセット値である。

例えば、対応する指が中指でありオフセット値が＋１０であるとする。モード遷移時の中指の座標が画面座標系で（ｘ，ｙ）＝（３０，８０）であった場合、モード遷移時にＧＵＩ部品を表示するべき位置は、縦方向であるｙ座標にオフセット値を加えて、（３０，９０）となる。この場合、指先の位置の上部に該当するＧＵＩ部品が描画されることになる。

次に、手形状画像にＧＵＩ部品を重畳して合成画像を作成する処理が終わり、２回目以降にユーザが操作面上の手を動かした場合の処理について、図１０のフローチャートを用いて説明する。図１０は、２回目以降の処理であって、図８のステップＳ４０４のフローチャートに変えて行われる。なお、図８と同じ処理については同じステップ番号を付してその説明を省略する。図８と異なるところは、ステップＳ１００１およびＳ１００２の処理が追加されている点である。図８の１回目の描画処理で、ディスプレイ上には既に手形状画像にＧＵＩ部品を重畳した合成画像が表示されている。ここで、コンピュータ１２０は、ＲＡＭ１２１に保存されている最新の指先座標のＹ座標と前回のＹ座標を比較して、所定値以上変化しているかを調べ、所定値以上変化していると判断すると（ステップＳ１００１でＹｅｓ）、ステップＳ１００２に進み、指先座標を前回の指先座標にする。

すなわち、ユーザが手をＸ軸方向に動かした場合には、最新の指先座標を用いてステップＳ８０１〜Ｓ８０４の処理が行われ、ＧＵＩ部品が手形状画像の指先の動きに追従して動く。ユーザが指を曲げたり伸ばしたりすることで指先座標のＹ座標が変化した場合には、前回の指先座標でステップＳ８０１〜Ｓ８０４の描画処理が実行されるため、ＧＵＩ部品は指先の動きに追従して動かない。

次に、図１１、１２を用いて、ステップＳ４０４で描画される画面の一例を説明する。
図１１は、指先ボタンモード遷移時に十字カーソルキーを表示する例である。図１１において、薬指の指先座標１１０２、中指の指先座標１１０３、人差し指の指先座標１１０４に対応する位置に、左キー１１０５、決定キー１１０６、右キー１１０７を描画する。これらのボタンには図９におけるオフセット値が設定されていない。一方、上キー１１０８は、中指の指先座標１１０３の上部に描画される。これは、上キー１１０８にあたるＧＵＩ部品にオフセット値が設定されているためである。同様に、下キー１１０９は、オフセット値に従って中指の指先座標１１０３の下部に描画される。この結果、中指には３つの機能が割り当てられたことになる。

ここで、ユーザが上キー１１０８を選択したい場合には、モード遷移時の位置よりも中指を伸ばして上方でタップすることにより上キー１１０８を選択することができる。指を伸ばすと指先座標が上方（Ｙ軸正方向）にずれるが、指のＹ軸方向の動きに対しては割り当てられたＧＵＩ部品の位置は動かない。そのため、中指を伸ばして上方でタップすることにより上キー１１０８を選択することができる。

また、ユーザが下キー１１０９を選択したい場合には、モード遷移時の位置よりも中指を曲げて下方でタップすることにより下キー１１０９を選択することができる。指を曲げると指先座標が下方（Ｙ軸正方向）にずれるが、上記同様に指のＹ軸方向の動きに対しては割り当てられたＧＵＩ部品の位置は動かない。そのため、中指を曲げて下方でタップすることにより下キー１１０９を選択することができる。

Ｙ軸方向は手首から中指の指先に向う方向にほぼ等しく、指を曲げたり伸ばしたりすることで上記の様に、所望のＧＵＩ部品を容易に選択することができる。

このように十字カーソルキーを表すＧＵＩ部品を各指先に割り当て、特に中指に３つのＧＵＩ部品を割り当てることによって、十字カーソルキーが示す各方向とボタンの位置が一致しているため、ユーザはより直感的な操作によってこれらのキーを選択することができる。

図１２は、モード遷移時の指先位置より手が右に移動した場合の表示画面の例である。各ＧＵＩ部品には、表示される絶対座標ではなく指先からの縦方向（Ｙ軸方向）のオフセット値が設定されているため、各ＧＵＩ部品は横方向（Ｘ軸方向）の手の動きに追従して動く。これにより、モード遷移時からユーザの手が意図せぬ動きにより（例えば、振動環境下で手がぶれたなど）横方向（Ｘ軸方向）に動いても、ボタンが追従するので継続して操作を行うことができる。

次に、図１３を用いて、本実施の形態で表示される画面の一例を説明する。
図１３は、携帯電話などに搭載されているテンキーを各指に複数個ずつ割り当てた例である。このように、各指に複数個のボタンをオフセット値つきで割り当てることによって、指の本数以上の機能を実行できるようにすることができる。各指の機能の割り当ても、指を曲げる、伸ばすによって区分されるため、押し分けが容易であり、慣れればブラインド操作も可能となる。

次に、図１４、１５を用いて、ユーザインタフェイス装置が車内に設置される場所の一例を説明する。
図１４は、センタコンソール上に設置された場合を示す。ディスプレイ１４０１に対しタッチパッド１４０２をセンタコンソールに設置することによって、遠くの画面を見ながら手元で操作をすることができる。図１５は、タッチパッド１５０２をハンドル上に設置した場合を示す。ハンドル１５０３の中央部にタッチパッド１５０２を設置することにより、図１４と同様に、遠くの画面を見ながら手元で操作をすることができる。いずれの場合も、図１３のような表示を行うことによって、多数の機能をブラインド操作で起動することが可能となる。

本発明のユーザインタフェイス装置によれば、使用できる指の本数に限定されずに、多数の機能が実現可能であることを視認可能に提示することができるため、カーナビゲーション装置等の車載機器の入力装置等に利用することができる。

本発明の実施形態にかかるユーザインタフェイス装置の構成を説明するための概念図接触位置検出部１１０として用いる複数の接触点を検知できるタッチパッドの検知方式を説明するための図で、（ａ）個別に接触の有無を検知する素子や電極が全面に配置された方式を説明するための図、（ｂ）接触領域を縦横方向の検知結果の交わりとして検知する方式を説明するための図接触位置検出部１１０が下部に設置された単独のカメラである場合における設置方法の一例を示す図で、（ａ）接触位置検出部１１０を操作面に垂直な面で切ったときの断面図、（ｂ）カメラにより撮像された手形状画像を示す図本実施の形態におけるユーザインタフェイス装置のコンピュータ１２０の動作を示すフローチャート接触位置検出部１１０が複数の接触点を検知することができるタッチパッドである場合における、図４のステップＳ４０１の詳細動作を示すフローチャート接触位置検出部１１０が上部または下部に設置された単独または複数のカメラである場合における、図４のステップＳ４０１の詳細動作を示すフローチャート図４のステップＳ４０２の詳細動作を示すフローチャート図４のステップＳ４０４の詳細動作を示すフローチャート図８のステップＳ８０１で読み出されるオフセット情報付きＧＵＩ部品データのフォーマットの一例を示す図２回目以降に図８のフローチャートに変えて処理されるステップＳ４０４の詳細動作を示すフローチャート図４のステップＳ４０４で描画される画面の一例を示す図図４のステップＳ４０４で描画される画面の一例を示す図図４のステップＳ４０４で描画される画面の一例を示す図本発明の実施形態にかかるユーザインタフェイス装置のタッチパッドが車内のセンタコンソールに設置された一例を示す図本発明の実施形態にかかるユーザインタフェイス装置のタッチパッドが車内のハンドルに設置される一例を示す図

符号の説明

１００ユーザインタフェイス装置
１１０接触位置検出部
１１１、３０４手
１２０コンピュータ
１２１ＲＡＭ
１２２接触位置情報
１２３、３０５、１１０１、１２１１手形状画像
１３０、１４０１、１５０１ディスプレイ

Claims

機器を操作するためのユーザインタフェイス装置であって、
操作者の手形状を取得する手形状取得部と、
前記取得した手形状の指先位置を検出する指先位置検出部と、
前記機器を操作するための機能に対して一意に割り当てられたＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）部品を表すＧＵＩ部品データを記憶するＧＵＩ部品データ記憶部と、
前記手形状取得部が取得した手形状の各指先位置にＧＵＩ部品データ記憶部から読み出したＧＵＩ部品データを割り当てるＧＵＩ部品割り当て部と、
前記ＧＵＩ部品割り当て部が割り当てたＧＵＩ部品の画像と手形状の画像との合成画像を作成する重畳表示映像作成部と、
前記重畳表示映像作成部が作成した合成画像を表示する表示部とを備え、
前記表示部に表示される手形状の画像の手首から中指の指先に向う方向にほぼ等しい前記表示部の縦方向をＹ軸方向とし、前記Ｙ軸方向に直交する前記表示部の横方向をＸ軸方向とすると、
前記ＧＵＩ部品割り当て部は、前記手形状の少なくとも１本の指に対して複数のＧＵＩ部品を前記指先位置からＹ軸方向に所定のオフセット値を持たせて割り当て、
前記重畳表示映像作成部は、前記指先位置のＸ軸方向の動きに対しては前記ＧＵＩ部品の画像を各指先位置に追従させ、前記指先位置のＹ軸方向の動きに対しては前記ＧＵＩ部品の画像を動かさずに手形状の画像との合成画像を作成することを特徴とする、ユーザインタフェイス装置。