JP2014067388A - アイコン操作装置 - Google Patents

Abstract

【課題】操作性が良好で、操作手法が分かり易いアイコン操作装置を提供する。
【解決手段】ユーザが操作機器に対して命令や情報を入力するためのアイコン操作装置であって、ユーザが自分の体のどこを触れば、操作機器に対してどのような操作が可能かを、操作機器の操作内容に対応させた複数のアイコンに関するデータを記憶するメモリと、ユーザに対向して配置され、ユーザの距離画像を取得する取得部と、取得部で取得した距離画像データに基づいて、ユーザの体の形状を把握する把握部と、把握部で得られた手の指の位置に基づいて、ユーザが自分の体のどこを触れたかを示す操作位置を特定する特定部と、ユーザの体の形状と操作位置に基づいて、アイコンの選択およびユーザによる操作機器に対する操作内容を判定する判定部と、操作内容にもとづいて操作機器に対する操作を指示する操作指示部とを備える。
【選択図】図１

Description

本発明の実施形態は、操作機器に視線を向けることがあまり許されない車両搭載機器などでの操作に使用されるアイコン操作装置に関する。

機器を操作する際には、機器に対する命令や情報の入力が欠かせない。しかし、入力操作が複雑なものであったり、操作性が良好でない場合には、例え機器の性能が優れていても、ユーザには受け入れてもらえなくなる。

そこで、簡便にしかも誤操作を防ぐように配慮した入力操作に関する提案がなされている。例えば、操作機器を近く（手元）に置き、命令や情報を入力するＧＵＩ部品を表示する表示部に操作機器への接触情報から手形状モデル画像を表示させ、手形状モデル画像を見ながら、所望のＧＵＩ部品を操作可能とするものである。

また、車載機器の操作では、運転者が装置を注視せずに操作できるように、形状ジェスチャ、方向ジェスチャを入力可能とするものも提案されている。

しかし、手元の操作機器と表示部とが離れている場合には、操作面の位置が直感的にわかりづらく、一度視線を操作面に向けるか、表示部を見ながら手がどこにあるか見る必要がある。

また、ジェスチャで操作する場合には、各操作に対応するジェスチャを覚える必要があり、ジェスチャの種類には限りがある。

特開２００６−７２８５４号公報 特開２００５−１３５４３９号公報

本発明が解決しようとする課題は、操作性が良好で、操作手法が分かり易いアイコン操作装置を提供することである。

実施形態のアイコン操作装置は、ユーザが操作機器に対して命令や情報を入力するためのアイコン操作装置であって、ユーザが自分の体のどこを触れば、前記操作機器に対してどのような操作が可能かを、前記操作機器の操作内容に対応させた複数のアイコンに関するデータを記憶するメモリと、ユーザに対向して配置され、ユーザの距離画像を取得する取得部と、前記取得部で取得した距離画像データに基づいて、ユーザの体の形状を把握する把握部と、前記把握部で得られた手の指の位置に基づいて、ユーザが自分の体のどこを触れたかを示す操作位置を特定する特定部と、前記ユーザの体の形状と前記操作位置に基づいて、前記アイコンの選択およびユーザによる前記操作機器に対する操作内容を判定する判定部と、前記操作内容にもとづいて前記操作機器に対する操作を指示する操作指示部とを備える。

本発明の実施形態に係るアイコン操作装置の概略構成を示すブロック図である。 アイコン操作装置における基本的な処理の流れを示すフローチャートである。 体の形状を把握する処理の流れを示すフローチャートである。 操作位置を特定する処理の流れを示すフローチャートである。 操作の有無を判定する処理の流れを示すフローチャートである。 ユーザの体とアイコンの表示例である。 取得部の配置の一例を示す図である。 顔の位置特定の一例を示す図である。 体の深度情報を説明する図である。 図９における点線部分の拡大図である。 関節位置に対するアイコン位置範囲を説明する図である。 関節位置に対する接点位置を説明する図である。 手のひらにアイコンを配置した表示例である。 アイコンの変形表示の一例を示す図である。 表示部１１に表示されるアイコン表示の一例を示す図である。 左右反転したユーザの体とアイコンの表示例である。 顔や体のアイコンの別の表示例である。 手の各部位を使ったアイコンの表示例である。 細かいユーザの手とアイコンの表示例である。 アイコンの操作可能範囲を例示する図である。 指の細部にアイコンを配置する場合や、手のひら全体をアイコンとして触る場所を示す表示の位置をずらした表示の指定場所例である。

以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。

（第１の実施形態）
第１の実施形態に係るアイコン操作装置では、簡易的な自分の体の絵（イラスト）を表示部の画面上に表示させて、その上にアイコンを貼り付ける。そのアイコンの貼り付けられた部分の体をタッチすることにより、アイコンを選択可能とする。

本実施形態に係るアイコン操作装置は、演算処理装置（ＣＰＵ）、主メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、入力装置（例えば、操作パネルなど）、ハードディスク装置や半導体メモリであるフラッシュメモリを使用したソリッドステートドライブ（ＳＳＤ）装置等の記憶装置を具備したパーソナル・コンピュータ等の汎用計算機を用いることができ、アイコン操作支援用の処理プログラムをインストールすることにより実現できる。

図1は、本発明の実施形態に係るアイコン操作装置の概略構成を示すブロック図である。第１の実施形態に係るアイコン操作装置１００は、主としてメモリ１０、表示部１１、取得部１２、把握部１３、特定部１４、判定部１５、表示指示部１６、操作指示部１７から構成されている。

アイコン操作装置１００は、操作機器２００に対して、操作指示部１７から指示を発して操作機器２００を操作する。操作機器２００は、例えば車載ステレオ装置である。操作指示部１７により音量をアップするように指示が来た場合、音量をアップする。

把握部１３、特定部１４、判定部１５、表示指示部１６、操作指示部１７は、コンピュータを構成するハードウェアと協働するソフトウェアとして実現され、良く知られたオペレーティングシステムの下で動作する。

メモリ１０は、操作機器２００の操作内容に対応させた複数のアイコンに関するデータを記憶する。各アイコンには、それぞれ異なった操作内容を表示させてもよく、また１つのアイコンにおいて操作内容を階層構造として表示させることができる。

表示部１１は、ユーザが自分の体のどこを触れば、操作機器に対してどのような操作が可能かを表示するもので、体の一部を絵やイラストで表示し、表示部１１としては、例えば人間の視野に直接情報を映し出すヘッドアップディスプレイ（ＨＵＤ）が好適である。また、表示部は、液晶ディスプレイ、プロジェクタ、裸眼立体視ディスプレイ、偏光眼鏡でのディスプレイ、フォログラム、ヘッドマウントディスプレイも使用することができる。

図６は、アイコン表示の一例を示す図である。図６に示す例では、表示部１１に車両のハンドルを握っている状態の手の絵を表示し、その上にアイコンを表示させている。図６に示す例では、左右の手が表示され、手首から指のつけ根までのハンドルを握った時に外側になる面である手の甲、肘から手首までの間である前腕部、肩から肘までの間である上腕部（二の腕）の計６ケ所にアイコンが配置されている。各アイコンには、それぞれ異なった操作内容を表示させてもよく、また１つのアイコンにおいて操作内容を階層構造として表示させることができる。

図６に示す表示を見たユーザは、自分の手あるいは腕のどこを触れば操作が可能かをたちどころに判断することができる。自分の体を介したアイコン表示を利用する操作（入力）は、使用回数を重ねることにより容易に習得しやすい。そのため、操作機器を操作する度に、表示部の表示を見なくても、操作できるようになる。

取得部１２は、距離画像を取得するものである。取得部１２は、例えば、ステレオカメラや深度センサが好適である。ステレオカメラは、対象物を複数の異なる方向から同時に撮影することにより、その奥行き方向の情報も記録できるようにしたカメラである。ステレオ画像から距離を求める場合には、三角測量の原理を用いるのが通常である。また、深度センサでは、ある一定の範囲に赤外線を照射して細かい点が分布した状態とし、そこに存在する物体によって点の模様が変化するので、それを捉えて奥行き情報を得る。図７は、取得部１２の配置の一例を示す図である。図７に示す例では、車両の運転者の上部前方に配置している。

把握部１３は、機器ユーザの体の形状を判定するものである。把握部１３は、取得部１２により得られた距離画像に基づいて、体の形状を判定する。基本的に、体の形状は、頭の位置、顔の位置、肩の位置、手の位置等によって把握することができる。体形状判定の詳細は後述する。

特定部１４は、把握部１３で得られた手の指の位置から、操作位置を特定するものである。操作位置の判定の詳細については、後述する。

判定部１５は、ユーザの体と操作する手の位置関係からどのアイコンが選ばれたかを判定するものである。操作判定の詳細は、後述する。

表示指示部１６は、選ばれたアイコンにしたがい、表示部１１に表示する表示内容を切り替えるものである。例えば、触っているときには、アイコンが押されたことを示すために、少しアイコンを大きくしたり小さくしたり色を変えたりする。選んだアイコンにより次の階層の選択肢がある場合には、アイコンの表示を切り替える。

操作指示部１７は、選ばれたアイコンにしたがい、操作機器２００に対して操作指示を伝えるものである。例えば、音量アップのアイコンであった場合には、音量をアップするために指示を操作機器２００に出す。

次に、以上のように構成されたアイコン操作装置１００による基本的な処理の流れについて説明する。

図２は、アイコン操作装置１００における基本的な処理の流れを示すフローチャートである。本実施形態に係るアイコン操作装置１００では、アイコンを貼り付ける簡易的な自分の体の絵を表示部１１の画面上に表示させ、アイコンの貼り付けられた部分の体をユーザがタッチすることにより、アイコンを選択可能とする。

まず、取得部１２を成す深度センサやステレオカメラによって、距離画像を取得する（ステップＳ２０１）。

次いで、ユーザの体形状の把握を行う（ステップＳ２０２）。表示部１１に表示されたアイコンの位置との相対的な体の位置を特定するために、体形状の把握を行うものである。ここでの把握の詳細は後述する。

次に、把握部１３で得られた手の指の位置に基づいて、ユーザが自分の体のどこを触れたかを示す操作位置を特定する（ステップＳ２０３）。ここでの特定の詳細は後述する。

次いで、ユーザの体の形状と操作位置に基づいて、表示部１１の画面上に配列されたアイコンの選択およびユーザによる操作機器２００に対する操作の有無を判定する（ステップＳ２０４）。同様に、ここでの判定の詳細は後述する。

次に、ユーザが操作しているか否かを判定する（ステップＳ２０５）。ユーザが操作していると判定した場合（ステップＳ２０５でＹｅｓ）には、操作機器２００に対する操作指示を出力（ステップＳ２０６）し、選択されたアイコンにしたがい、表示部１１に表示する表示内容を切り替える（ステップＳ２０７）。

一方、ステップＳ２０５においてユーザが操作していないと判定した場合（ステップＳ２０５でＮｏ）には、ステップＳ２０１へ戻る。

尚、図２に示す基本的処理では、アイコン操作装置１００が電源断あるいは、車両の運転を止める場合等を除き、「終了」とさせることは必須ではない。

＜体形状把握＞
次に、ユーザの体形状の把握処理について説明する。図３は、体の形状を把握する処理の流れを示すフローチャートである。

まず、ユーザの“顔の位置”を特定する（ステップＳ３０１）。図７に示した配置のように深度センサやステレオカメラを設置した場合、体の見える範囲が映るようにする。運転席など人の座る位置が限定される場合には、“頭の位置”も限定される。取得部１２で取得した距離画像において、“頭の位置”に物体があった場合、“頭”として認識する。

図８は、顔の位置特定の一例を示す図である。ユーザの座る場所が限定されない場合には、例えば、図８のように“顔の位置”など人として認識しやすい部分を、ＨｏＧ (Histogram of Oriented Gradients）などを使用して特定する。ＨｏＧは、物体の認識のための輝度勾配ベースの特徴量であって、一定（局所）領域に対して輝度の勾配方向と勾配強度を算出し、勾配ヒストグラムを生成し、ブロック領域による正規化により勾配方向と勾配強度を可視化するものである。

次に、“肩の位置”を特定する（ステップＳ３０２）。図９は、体の深度情報を説明する図であり、図中、色が濃いほど手前であることを表している。図９に示すように距離画像を使用して、“顔の位置”に対して重力方向に対してや目や口の位置から、“肩の位置”を特定する。

次に、“肩の位置”に対して伸びている部分を“腕の方向”として特定する（ステップＳ３０３）。

次に、“腕の方向”に伸ばしていったところで折り曲がっているところを“肘の位置”として特定する（ステップＳ３０４）。

次いで、肘からある程度の距離を伸ばしていって折れ曲がっていない場合は、そのまま伸ばしていったところから“手の位置”として特定する（ステップＳ３０５）。

次いで、肩から肘の長さ分程度、肘から折り曲がった方向に伸ばしていったところで太くなっているところ、もしくは指の溝が多く見られたところを“手”と特定する。手の部分で厚みの無い方向が“手のひら”となり、厚みのある方向のどちらかが“親指のある方向”となる。

図１０は、図９における点線部分の拡大図で、指の付け根の探索に使用する。図１０中□印で示すように、厚みのある方向の凹んだ部位を探し、そこを“親指の付け根”と特定（ステップＳ３０６）する。２ケ所の“親指の付け根”が特定できたので、親指の方向と左右のどちらかの手かにより“手の向き”が特定できる（ステップＳ３０７）。

次に、図１０中○印で示すように、腕のある方向の反対側に“手の指の付け根”の溝を探索し特定する。そして、“指の付け根”からどのように指が伸びているか特定（ステップＳ３０８）し、“指の形状”を特定する（ステップＳ３０９）。

以上のようにして体の形状を特定することができる。

＜操作位置特定＞
次に、操作位置の特定について説明する。図４は、操作位置を特定する処理の流れを示すフローチャートである。ここでは、“人差し指の指先部分の爪が無い側”で操作が行われるものとして説明する。

まず、把握部１３で得られた“手の指の位置”を取得する（ステップＳ４０１）。

既に、“手のひら”の向きは特定できているので、手のひらのある側で親指の付け根と、親指の付け根に一番近い指の溝の間が“人差し指”となる。“人差し指”が特定できたので、操作に関与する指先として特定することができる（ステップＳ４０２）。概ね、“指先より少し指の付け根”側が操作位置となる。

次に、“手のひら”が取得部１２（ここでは、深度センサとする）側に向いているか否かについて判定する（ステップＳ４０３）。“手のひら”が深度センサ１２側に向いている場合（ステップＳ４０３でＹｅｓ）には、深度センサ１２で見える“人差し指の指先の少し手前”を操作位置と特定する（ステップＳ４０４）。

一方、“手のひら”が深度センサ１２側に向いていない場合（ステップＳ４０３でＮｏ）には、深度センサ１２で見える“人差し指の指先の少し手前から指の太さ分だけ奥側にずらした位置”を操作位置と特定する（ステップＳ４０５）。尚、指の太さは、予め一般的な太さに決めておいても良いし、手を回転させて深度センサ１２により取得しておいてもよい。

以上のようにして操作位置を特定することができる。尚、左右どちらの指で操作してもよい。例えば、右手にアイコンがある場合に左手で操作し、左手にアイコンがある場合に右手で操作する。顔などにアイコンがある場合はどちらの手で受け付けてもよい。また、特定の指の形にしたときのみ操作を受け付けてもよい。もしくは、アイコンの表示をしてもよい。そうすることにより、普段表示されなくなるため、煩わしさが低減される。指の形状は例えば、人差し指と中指だけ伸ばし、その指を横にそろえる、または縦にそろえるなどが考えられる。

＜操作有無判定＞
次に、操作の有無の判定について説明する。図５は、操作の有無を判定する処理の流れを示すフローチャートである。

まず、把握部１３により得られた“体の形状”と、特定部１４により得られた手の“人差し指の操作位置”と、表示部１１に示された“アイコンの位置関係”もしくは、事前に決めておいた“アイコンの位置関係”を取得しておく。

体の形状は、操作位置となる手に隠されて細部が見えなくなる。そこで、操作で見えなくなる直前の“関節位置”と関節位置に対しての相対的な“関節間の形状(距離データ)”を取得しておく（ステップＳ５０１）。“関節位置”と“関節間の形状”を利用し、操作位置となる手に隠され見えなくなった関節間の奥行きが、関節位置とその位置に対しての関節間の奥行きから求められる。尚、体の位置が変化したとしても“関節位置”から“関節間の奥行き”が相対的に特定される。

次に、ユーザの体と操作位置が近いか否かを判定する（ステップＳ５０２）。“関節間の奥行き”に対して操作位置が触っているかの判定は、３次元での体の位置と、３次元での人差し指の操作位置が所定の値より近いか否かで判定することができる。

ユーザの体と操作位置が近い場合（ステップＳ５０２でＹｅｓ）には、“触っている”と判定する（ステップＳ５０３）。触った位置に対して、どのアイコンが配列されているかを特定する。

各アイコンは、予め体の“関節位置”に対してどの位置の範囲であれば触れる範囲かをそれぞれ特定しておくのが好適である。図１１は、関節位置に対するアイコン位置範囲を説明する図である。図１１中、ａは操作領域である手首と肘の長さを表している。例えば、図１１に示すように、手首と肘の間のアイコンを、手首と肘の中心から手首の方向にa/4から-a/4の範囲、手のひらの法線方向にa/8から-a/8の範囲、手首と肘の線と手のひらの法線方向の垂直方向にa/6から-a/6の範囲内に配置されるとして特定しておく。また、球の半径で特定し、手首と肘の中心からa/4の球の半径を触れる範囲としてもよい。

次に、触った位置が体のどの関節間かを特定（ステップＳ５０４）し、関節間距離に対しての接触位置割合を取得する（ステップＳ５０５）。図１２は、関節位置に対する接点位置を説明する図である。図１２中、ｂは接触領域である手首と肘の長さを表している。例えば、図１２に示すように、肘と手首の中心から手首側にb/8の位置で、手のひらの法線方向に-b/16で、手首と肘の線と手のひらの法線方向の垂直方向にb/10の位置と、接触位置割合が特定される。

関節間距離に対しての接触位置割合にすることにより、ユーザによって異なる腕の長さや手の大きさの違いの影響をなくして操作することができ、関節の位置が変わっても特定の体の位置を操作位置と判定できる。

例えば、図６の場合、手の甲と、手から肘までの腕と、肘から肩までの腕に、左右それぞれにアイコンが配置されている。この場合、関節の間にそれぞれ一つしかアイコンが無いので、関節のどちら側を触ったかによって、アイコンには触れていない位置でも触ったことにしてもよい。把握部１３により、肩と肘と手の位置から腕の位置も分かるので、手首より手側を触った場合は手の甲でのアイコンが選択される。手首から肘までの間は、手から肘までの腕に配置したアイコンが選択される。肘から肩までの間は、肘から肩までの腕に配置されたアイコンが選択される。

次に、触った位置がアイコン接触範囲内か否かを判定する（ステップＳ５０６）。

アイコン接触範囲内であれば（ステップＳ５０６でＹｅｓ）、当該アイコンが選択され操作されたと特定する（ステップＳ５０７）。

次いで、操作されたと判定された場合、選択されたアイコンにしたがい表示指示部１６を介して表示部１１に表示する内容を切り替え、操作指示部１７から選択されたアイコンにしたがった操作指示が操作機器２００に送られる（ステップＳ５０８）。

一方、ユーザの体と操作位置が遠い場合（ステップＳ５０２でＮｏ）およびアイコン接触範囲内でなければ（ステップＳ５０６でＮｏ）、操作していないと特定する（ステップＳ５１０）。

以上のようにして操作の有無の判定することができる。尚、触った後に音や音声で触ったことやどんな操作かの確認を報知し、もう一度触るか、触り続けるか、特定の場所(例えば手首)を確認OKとしてそこを触ったときに、操作したことを受け付けてもよい。

第１の実施形態によれば、自分の体を絵（イラスト）で表し、その上にアイコンを重畳させて表示させている。このように自分の体を絵（イラスト）としておくことにより、自分の体が動いてもアイコンの位置が変わることが無いため見やすい。

（第２の実施形態）
次に、第２の実施形態について説明する。

第２の実施形態に係るアイコン操作装置１００では、自分の体を取得部１２を構成するステレオカメラで撮像し、それを表示部１１の画面上に表示させて、その上にアイコンを貼り付ける。そのアイコンの貼り付けられた部分の体をタッチすることにより、アイコンを選択可能とする。

第２の実施形態に係るアイコン操作装置１００の基本的な構成は、第１の実施形態に係るアイコン操作装置１００と略同様とすることができる。

ステレオカメラ１２から得られた画像をそのまま表示部１１に表示してもよいが、自分からの見え方とステレオカメラ１２からの見え方は異なる。そのため、ステレオカメラ１２を目の辺りになるように、眼鏡や帽子に取り付けてもよい。もしくは、ステレオカメラ１２や深度センサによって得られた３次元の位置配置を、自分からの見え方になるように回転や拡大縮小加工して表示してもよい。

図１３は、手のひらにアイコンを配置した表示例である。例えば図１３のように、手のひらにアイコンを表示させる場合、アイコンの位置は関節の位置から計算される。手のひらのように、移動できたり形状を変えたりできる場所でのアイコン表示は、自分が動いてしまうとアイコンの位置も動いて見づらくなってしまう。それを防ぐために、手首など決まった位置を基準として、その位置からの相対位置で表示してもよい。また、ある時間で取得しておいた画像をそのまま表示し続け、静止画で表示してもよい。

図１４は、アイコンの変形表示の一例を示す図である。

また、アイコンの大きさや傾きを変えず、位置だけを追従して表示してもよいが、図１４のように、手の傾きや奥行きに合わせてアイコンの表示を傾けたり、大きさを変えたりしてもよい。この場合、より見やすくするために３Ｄディスプレイを利用し立体視表示をしても良い。

アイコンを触るときには、操作位置表示がアイコンの上にかぶさってしまう。その場合、アイコンをそのまま表示し続けてもよいし、かぶさったところはアイコンの表示を消してもよい。もしくはアイコンを表示している部分の画像を記憶しておき、操作位置で隠れた部分を表示し続けて、操作位置表示を消してもよい。または、操作位置表示を半透明にして表示して、アイコンを隠さず表示して操作も見やすくしてもよい。

第２の実施形態によれば、より直感的に操作対象となる自分の体やアイコンの位置関係がわかりやすくなる。また、同時に操作位置も表示することにより、アイコンと操作位置の相対関係がわかりやすくなり、より直感的に操作することができるようになる。また、操作画面を目の前に置くことができるので、操作する手元となる下を見たり、操作する手元を見やすいように手元を目の前に持ってきたりする必要が無いため、長時間操作しても疲れにくくなる。

（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態では、表示部１１に表示されるアイコン表示と曲名リストを対応付けするものである。

図１５は、表示部１１に表示されるアイコン表示の一例を示す図である。図１５に示す例では、左右の手の甲のアイコン、左右の腕のアイコンの計４種のアイコンが表示されている。各アイコンには、それぞれ異なった曲名がリストアップして表示されている。１つのアイコンにおいて、複数の曲名を階層構造として表示させることもできる。

図１５に示す表示を見たユーザは、自分の左右の手の甲あるいは左右の腕のいずれを触ればどの曲が選曲可能か、たちどころに判断することができる。

リストは曲名には限らず、ナビゲーションの案内する住所リストや、インターネットブラウザでの項目選択やなどが考えられる。

また、具体的にどこを触ればいいかわかりやすいように、図１５のようにアイコン上に点などで強調表示や点滅表示などをしておいてもよい。

（変形例）
本実施形態については、以下のような変形例が可能である。

表示部は説明書に書かれた絵や説明文でもよく、使用者が常に見える状態にしておく必要はない。

図１６は、左右反転したユーザの体とアイコンの表示例である。図１６に示すように、顔や体にアイコンを表示してもよい。その場合、鏡のように左右反転させて表示させてもよい。実際の体をカメラで取得して表示する場合には、ディスプレイの面が鏡に見えるように表示位置を３次元的に回転、並進移動してもよい。顔にアイコンがある場合には、左右どちらの手による操作であっても受け付けるようにする。

また、手のひらと手の甲のように表と裏がある場合には、それぞれに対してアイコンを変えてもよい。また、アイコンの配置される手のひらなどを画面に向けたときだけアイコンの表示を行ってもよい。

図１７は、顔や体のアイコンの別の表示例である。図１７に示すように、触れる場所を含む全体をアイコンとしておき、左手の手のひらや右手の手のひらに触る場所を示す表示の位置をずらした表示をしてもよい。また、左肩、左耳、左手首、左頬に触る場所を示す表示の位置をずらした表示をしてもよい。右肩、右耳、右手首、右頬に触る場所を示す表示の位置をずらした表示をして左手で操作させてもよい。さらに、あごや額に触る場所を示す表示の位置をずらした表示をさせてもよい。

図１８は、手の各部位を使ったアイコンの表示例である。図１８に示すように、触れる場所を含む全体をアイコンとしておき、親指、人差し指、中指の付け根、手のひらの左上、手のひらの右下、手首等に触る場所を示す表示の位置をずらした表示をさせてもよい。

アイコン操作は、左右どちらの指あるいは手で操作してもよい。例えば、右手のアイコンがある場合に左手で操作し、左手のアイコンがある場合に右手で操作してもよい。

操作するときはかゆくなったときにかくのと区別するために、人差し指と中指を横にそろえたり、縦にそろえたりした状態で触るなど、特定の指の形にした場合に操作したことを受け付けてもよい。

特定の指の形にしたときのみアイコンの表示をしてもよい。そうすることにより、普段表示されなくなるため、煩わしさが低減される。

また、図１９は、細かいユーザの手とアイコンの表示例である。運転停止中など細かい操作ができるときには、図１９に示すように、手のひらにアイコンを表示してもよい。手のひらの場合、指の位置から細かい位置が特定できるためより細かい操作が可能となる。また、逆に、煩雑に操作できるように手のひらや拳などで操作してもよい。

図２０は、アイコンの操作可能範囲を例示する図である。アイコンは通常触るか触らないかの操作(0次元(点)操作)である。そこで、図２０に示すように、アイコンをスライダー(1次元(線)操作)やタッチパッド(2次元(面)操作)や空間認識操作機器(3次元(体)操作)とし、アナログ的な操作ができる部位として操作できるようにしてもよい。

＜アイコンについて＞
アイコンは、カメラで画像を取得して、実画像でのアイコンとしてもよい。その場合、最初の１回での静止画でもよいし、動画としてリアルタイム表示してもよい。表示しているアイコンの画像はすべて同じにして、触る場所を示す表示の位置のみ変えてもよい。

カメラがユーザに対して対面にあり、手のひらをユーザに向けてそこがアイコンで示された場合、手のひらと操作位置がカメラに映らない。その場合は、手の甲を取得し手の厚さ分手のひらの方向に移動させたところを触る位置とすればよい。また、操作する指の位置は、手で隠れていないときの指の形を取得しておき、その形が変わらないとして、手首の位置や小指の位置により移動や回転をさせて予測すればよい。この場合、手のひらに限らず腕の反対側の腕の厚さ分ずらした位置を触る位置とするなど、体の厚さ分ずらした位置とすればよい。その時のアイコン表示はあらかじめ用意しておいた絵としてもよいし、カメラに裏側を見せておいてそれを記録し、その映像を加工して表示すればよい。そのとき、ユーザの顔より人の違いを認識し、ユーザによって使用する画像を切り替えてもよい。

表示機器のアイコン位置が表示されているところをユーザが見ているときのみ受け付けても良い。

体のアイコンでは細かすぎて見えないときは、その表示が体のどこの部分かを番号や記号で明示しておき、それに関連付けされた番号や記号をアイコンで表示して、見やすくしても良い。その場合、関連付けがわかるように、表示画面上に、体と番号や記号を示した画像を表示しておいて、関連付けをその場でもわかるようにしてもよい。

体のアイコンは人ではなく、猫などの動物やアニメなどのキャラクターで置き換えて表示してもよい。例えば猫の手のひらだと肉球があって愛着をもち、また、どちらが手のひらかわかりやすくなる。また像の鼻や、ウサギの耳や、キリンの首など特徴を持った動物やキャラクターを使って表示して、わかりやすくしてもよい。

体のアイコンをわかりやすい位置となるようにどの体のアイコンを優先的に使用するか優先順位を決められるようにして、決めておいても良い。また、ユーザが優先順位ごとに触って指定してもよい。

体ならどこでもよいので、頭や、背中や、足でもよい。体ではなく、髪や服や手袋や靴の位置で触ったことにしてもよい。

触る指側の手に、リストバンドや指輪でカメラを設置し、そのカメラを使用してどこを触っているか確認してもよい。そうすることにより、背中や後頭部など通常一箇所に取り付けられたカメラでは見えない位置でも触ることが確認できる。

触るアイコンの近くに触る指が近づいてきた場合、アイコン上にその指を相対的な位置で表示してもよい。そのとき、アイコンが見えなくなることを防ぐために、二つの画像を係数(アルファ値)を用いて半透明合成（アルファブレンド）して表示させてもよい。

図２１は、指の細部にアイコンを配置する場合や、手のひら全体をアイコンとして触る場所を示す表示の位置をずらした表示の指定場所例である。図２１に示すように、関節間や関節上にアイコンを配置し、親指で同じ手の指の関節や、関節間を触るようにさせてもよい。また、カメラがユーザに対して対面にあることを想定し、指の側面を触る場所として触る場所がカメラから見えるようにしてもよい。例えば、図の上側の指の側面は親指の腹でさわり、図の下側の指の側面は親指の爪で触ればよい。

＜カメラ操作＞
ヘッドマウントディスプレイのようにユーザに取り付けたカメラで見る場合、ユーザの全体像がわかりづらい場合には、鏡やガラスの前で、鏡やガラス越しに自分の全体をカメラで読み取って処理してもよい。

＜アイコン操作の受付＞
アイコン操作の誤確認を避けるため、少しの時間触ったときに操作したことを受け付けてもよい。触った後に音や音声で触ったことやどんな操作かを確認を知らせて、もう一度触るか、触り続けるか、特定の場所(例えば手首)を確認する。OKとしてそこを触ったときに、操作したことを受け付けてもよい。そうすることにより、表示しなくても操作することができる。

本実施形態によれば、操作機器を操作する際、視線を進行方向からそらさずに操作することができるので、例えば車を安全に運転することができる。所望の操作を行う際、自分の体のどこを触ればよいかは、習熟していくにつれ自然に覚えることができるようになる。そのため、最初にどこを触ればよいか確認の目的で表示部を見る必要がなくなり、より安全に運転することができるようになる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００・・・アイコン操作装置
１０・・・メモリ
１１・・・表示部
１２・・・取得部
１３・・・把握部
１４・・・特定部
１５・・・判定部
１６・・・表示指示部
１７・・・操作指示部
２００・・・操作機器

Claims (22)

1. ユーザが操作機器に対して命令や情報を入力するためのアイコン操作装置であって、
   ユーザが自分の体のどこを触れば、前記操作機器に対してどのような操作が可能かを、前記操作機器の操作内容に対応させた複数のアイコンに関するデータを記憶するメモリと、
   ユーザに対向して配置され、ユーザの距離画像を取得する取得部と、
   前記取得部で取得した距離画像データに基づいて、ユーザの体の形状を把握する把握部と、
   前記把握部で得られた手の指の位置に基づいて、ユーザが自分の体のどこを触れたかを示す操作位置を特定する特定部と、
   前記ユーザの体の形状と前記操作位置に基づいて、前記アイコンの選択およびユーザによる前記操作機器に対する操作内容を判定する判定部と、
   前記操作内容にもとづいて前記操作機器に対する操作を指示する操作指示部とを備えるアイコン操作装置。
2. 前記判定部で、ユーザによる操作内容が把握できた場合に、音声で報知する請求項１記載のアイコン操作装置。
3. 前記判定部で、ユーザによる操作内容が把握できた場合に、さらに体の特定部位への接触を条件として前記操作機器に対する操作指示を有効とする請求項１又は請求項２に記載のアイコン操作装置。
4. 前記判定部は、前記把握部で特定の指の形状と判定した場合のみ、操作を受け付ける請求項１記載のアイコン操作装置。
5. 前記取得部は、車両の運転席上部前方にユーザの上半身に対向して配置され、車両内部に搭載される請求項１乃至請求項４のいずれか１項に記載のアイコン操作装置。
6. 前記取得部で取得した距離画像データに基づいて、体の一部を表示し、該表示画像上に前記アイコンを重畳させて配列して表示する表示部と、
   前記選択されたアイコンにしたがい、前記表示部に表示する表示内容を切り替える表示指示部とを備える請求項１乃至請求項５のいずれか１項に記載のアイコン操作装置。
7. 前記表示指示部は、前記配列されているアイコンのうち、選択されたアイコンを拡大して表示あるいは縮小して表示する請求項６記載のアイコン操作装置。
8. 前記表示指示部は、前記配列されているアイコンのうち、選択されたアイコンを変色して表示する請求項６又は請求項７に記載のアイコン操作装置。
9. 前記表示指示部は、選択されたアイコンに次の階層の選択肢がある場合には、アイコンの表示を切り替えて表示する請求項６乃至請求項８のいずれか１項に記載のアイコン操作装置。
10. 前記特定部は、前記表示部に表示される右手にアイコンが配列されている場合にはユーザによる左手での操作を受け付け、左手にアイコンが配列されている場合にはユーザによる右手での操作を受け付ける請求項６乃至請求項９のいずれか１項に記載のアイコン操作装置。
11. 前記表示部は、前記把握部で特定の指の形状と判定した場合のみ、前記表示部にアイコンを配列して表示する請求項６記載のアイコン操作装置。
12. 前記表示部には、顔を表示し、重畳してアイコンを配列表示する請求項６記載のアイコン操作装置。
13. 前記表示部には、体を左右反転させて表示する請求項６記載のアイコン操作装置。
14. 前記表示部には、手のひらを表示し、重畳してアイコンを配列表示する請求項６記載のアイコン操作装置。
15. 前記表示部には、体に重畳してアイコンを配列した表示が、ユーザの操作位置によって陰になる場合に、前記操作位置を非表示もしくは前記アイコンとユーザの操作する指の二つの画像を所定の係数を用いて半透明合成して表示する請求項６記載のアイコン操作装置。
16. 前記表示部に、ディスプレイの面が鏡に見えるように表示位置を３次元的に回転とともに並進移動させて表示する請求項６記載のアイコン操作装置。
17. 前記表示部には、ユーザの手の甲の表裏によって、アイコンを変えて表示する請求項６記載のアイコン操作装置。
18. 前記表示部には、ユーザがアイコンの配置される手のひらを前記表示部に向けたときだけアイコンの表示を行う請求項６記載のアイコン操作装置。
19. 前記アイコンの操作可能範囲を、１次元の線操作であるスライド操作あるいは２次元の面操作であるタッチパッド操作あるいは３次元操作である空間認識操作のいずれかとする請求項１乃至請求項１８のいずれか１項に記載のアイコン操作装置。
20. 前記取得部には見えない体の反対側に、体の厚さ分を考慮してアイコンを配置し、見えていたときの操作位置の形状により予測した操作位置とする請求項１乃至請求項１９のいずれか１項に記載のアイコン操作装置。
21. 前記表示部には、手の各部位を表示して、該各部位に重畳してアイコンを配列表示する請求項６記載のアイコン操作装置。
22. 前記表示部には、体の各部位をアイコンとして表示し、リストを選択する請求項１乃至請求項２１のいずれか１項に記載のアイコン操作装置。

Images