JP6585431B2 - 入力装置、統合入力システム、入力装置の制御方法およびプログラム - Google Patents

Description

開示の実施形態は、入力装置、統合入力システム、入力装置の制御方法およびプログラムに関する。

従来、ユーザに触覚を与えることで入力を受け付けたことを知らせる入力装置が知られている。かかる入力装置では、例えばユーザによる押圧力に応じて振動を発生させることで、ユーザに対して入力を受け付けたことを知らせている（例えば、特許文献１参照）。

特開２０１３−２３５６１４号公報

しかしながら、従来の入力装置では、接触位置におけるユーザの押圧力に応じて振動を発生させているに過ぎず、例えばユーザが操作面に対して接触位置を移動させる操作を行った場合に、どのように触覚をフィードバックするか考慮されていなかった。このように、従来の入力装置では、ユーザの操作性を向上させるうえで更なる改善の余地がある。

また、例えば多様な機器が搭載され、これら機器や各機器の有するモード等をユーザが制御対象とする必要のある車載システム等においては、これら多様な制御対象をより操作性高くユーザに操作させたいというニーズがある。

実施形態の一態様は、上記に鑑みてなされたものであって、多様な制御対象を操作性高く操作することができる入力装置、統合入力システム、入力装置の制御方法およびプログラムを提供することを目的とする。

実施形態の一態様に係る入力装置は、一つの操作面と、選択部と、検出部と、少なくとも一つの振動素子と、設定部と、振動制御部とを備える。前記選択部は、操作面を用いた制御対象をユーザの挙動に基づいて選択する。前記検出部は、前記操作面に対する前記ユーザの所定の接触操作を検出する。前記振動素子は、前記操作面を振動させる。前記設定部は、前記検出部によって前記接触操作が検出された場合の該接触操作に対応する前記振動素子の振動状態を、前記選択部によって選択された前記制御対象に応じて設定する。前記振動制御部は、前記検出部によって前記接触操作が検出された場合に、前記設定部によって設定された前記振動状態となるように前記振動素子を制御する。また、前記接触操作は、前記操作面への接触を含む数個の平易なジェスチャ操作であって、前記設定部は、前記ジェスチャ操作のそれぞれに対応する前記振動状態の組み合わせが前記制御対象によって異なるように規定された組み合わせ情報に基づき、前記選択部によって選択された前記制御対象へ向けて前記ジェスチャ操作のそれぞれが行われた場合における前記振動状態を設定する。

実施形態の一態様によれば、多様な制御対象を操作性高く操作することができる。

図１Ａは、実施形態に係る入力装置の制御方法の概要を示す図（その１）である。 図１Ｂは、実施形態に係る入力装置の制御方法の概要を示す図（その２）である。 図１Ｃは、実施形態に係る入力装置の制御方法の概要を示す図（その３）である。 図２は、実施形態に係る統合入力システムのブロック図である。 図３Ａは、触覚のフィードバックの具体例を示す図（その１）である。 図３Ｂは、触覚のフィードバックの具体例を示す図（その２）である。 図３Ｃは、触覚のフィードバックの具体例を示す図（その３）である。 図３Ｄは、触覚のフィードバックの具体例を示す図（その４）である。 図４Ａは、ジェスチャ操作の具体例を示す図（その１）である。 図４Ｂは、ジェスチャ操作の具体例を示す図（その２）である。 図４Ｃは、ジェスチャ操作の具体例を示す図（その３）である。 図５Ａは、組み合わせ情報の具体例を示す図である。 図５Ｂは、振動状態情報の具体例を示す図である。 図６は、実施形態に係る入力装置が実行する処理手順を示すフローチャートである。 図７は、実施形態に係る統合入力システムの機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下、添付図面を参照して、本願の開示する入力装置、統合入力システム、入力装置の制御方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、本実施形態に係る入力装置１０の制御方法の概要について図１Ａ〜図１Ｃを用いて説明した後に、入力装置１０およびこれを含む統合入力システム１について、図２〜図７を用いて説明することとする。なお、本実施形態では、統合入力システム１が車載用のシステムとして構成される例を挙げる。

まず、本実施形態に係る入力装置１０の制御方法の概要について、図１Ａ〜図１Ｃを用いて説明する。図１Ａ〜図１Ｃは、実施形態に係る入力装置１０の制御方法の概要を示す図（その１）〜（その３）である。

図１Ａに示すように、統合入力システム１は、入力装置１０を備える。入力装置１０は、操作面Ｐを有する。操作面Ｐは、例えば静電容量方式の情報入力機能を有するタッチパッドを用いて構成され、ユーザＤの制御対象となる各種機器６０（図２にて後述）を制御するための接触操作をユーザＤから受け付ける。

入力装置１０は、かかる操作面Ｐが、例えば運転席のシフトレバー近傍の、運転中のユーザＤから届く位置に配置されるように設けられる。

より具体的に、入力装置１０は、図１Ｂの（ａ）に示すように、操作面Ｐを振動させる振動素子１３ａを少なくとも一つ備える。なお、ここでは、振動素子１３ａを二つ備えた例を図示している。

振動素子１３ａは、例えば圧電素子であり、操作面Ｐを高周波振動させることができる。例えばユーザＤの指Ｕ１が操作面Ｐを押下した状態で振動素子１３ａを振動させると、指Ｕ１と操作面Ｐとの間の摩擦力を変化させることができる。

かかる状態で指Ｕ１を動かすと、変化した摩擦力に応じた触覚を指Ｕ１にフィードバックすることができる。また、振動素子１３ａの振動状態を変化させることで、指Ｕ１と操作面Ｐとの間の摩擦力の大きさを変化させることができ、指Ｕ１にフィードバックする触覚を変化させることができる。

例えば、図１Ｂの（ａ）および（ｂ）に示すように、Ｘ軸方向に沿って指Ｕ１を左右にスライドさせる場合に、区間Ｄ１において摩擦力をその他の区間よりも大きくなるように変化させることによって、ユーザＤに対し、操作面Ｐに例えばボタンＢ１があるような触覚をフィードバックすることができる。なお、かかる触覚の態様はあくまで一例であって、その他の具体的な例については、図３Ａ〜図３Ｄを用いて後述する。

また、図１Ａに示すように、統合入力システム１は、マイク２０と、撮像部３０とを備える。マイク２０および撮像部３０は、例えばステアリングコラムの上部に配置される。マイク２０は、ユーザＤが発話する音声を集音し、入力する。撮像部３０は、運転席に着座したユーザＤの例えば顔画像を撮像する。

また、統合入力システム１は、表示部４０（図２にて後述）として、例えばセンターディスプレイ４１と、ＨＵＤ（ヘッドアップディスプレイ）４２とを備える。

センターディスプレイ４１は、例えば各種機器６０の一つとして搭載されるＡＶ一体型のナビ装置の表示部として用いられ、ナビモードやオーディオモードといった選択中のモードごとにおける各種情報出力を行う。ＨＵＤ４２は、運転中のユーザＤの視野内において、例えば車速やエンジンの回転数といった運転状況に関する各種情報出力を行う。

また、統合入力システム１は、その他の各種機器６０の一つとして、エアコン６１を備える。また、統合入力システム１は、スピーカ７０を備える。

このように多様な機器を搭載するシステムにおいては、ユーザＤの制御対象となる各種機器６０やその各モードへ向けた操作態様もまた多様となりがちである。このため、これら多様な制御対象を操作性高く操作できることが、ユーザＤに対する利便性の向上や安全性の確保の観点から望まれていた。

そこで、本実施形態に係る統合入力システム１では、基本的に１つの操作面Ｐにおける接触操作によって、多様な各種機器６０やその各モード等を集中的に操作可能とするようにした。また、このとき、操作面Ｐに対しては、ユーザＤの所望する制御対象となる各種機器６０およびその各モードに応じた異なる触覚をフィードバックすることとした。

なお、異なる制御対象の選択については、操作面Ｐにおける接触操作以外の手法、例えば音声入力操作等を複合的に組み合わせることができる。

これにより、例えば制御対象をユーザＤが視認することなく、ブラインドタッチ操作のみで制御することも可能になる。具体的には、図１Ｃに示すように、ユーザＤは、制御対象としたい各種機器６０やその各モードを例えば発話する。図１Ｃに示す例では、ユーザＤは「オーディオ！」と発話したものとする。

かかる場合、本実施形態では、入力装置１０が、かかるユーザＤの発話内容をマイク２０を介して入力して受け付け、操作面Ｐによる制御対象がカーナビゲーションのオーディオモードとなるように選択する（図中のステップＳ１参照）。

そして、入力装置１０は、選択された制御対象であるオーディオモードに応じた振動素子１３ａの振動状態の設定を行う（図中のステップＳ２参照）。これにより、入力装置１０には、オーディオモードにおいてユーザＤの指Ｕ１により操作面Ｐへの接触操作が行われた場合の、オーディオモードに固有の振動素子１３ａの振動状態が設定される。

そして、かかる設定状態において、入力装置１０は、ユーザＤによる操作面Ｐへの接触操作を検出したならば、ステップＳ２において設定された振動状態となるように振動素子１３ａを制御することによって、制御対象であるオーディオモードに応じた触覚をフィードバックする（図中のステップＳ３参照）。

これにより、一つの操作面Ｐによって多様な制御対象を操作することが可能となる。なお、ここで、接触操作は、平易な数個のジェスチャ操作であって、そのそれぞれに対応する振動状態の組み合わせが制御対象によって異なるように設定される。

すなわち、本実施形態では、異なる制御対象の間で共通に用いることができる平易なジェスチャ操作のセットによって制御対象をそれぞれ操作できるが、制御対象が異なれば、その各ジェスチャ操作にはそれぞれ異なる触覚がフィードバックされるようにした。

これにより、ユーザＤは、数個の平易なジェスチャ操作を覚えるだけで、多様な制御対象を同様のブラインドタッチ操作で操作することが可能となる。すなわち、操作性高く多様な制御対象を操作することができる。

なお、制御対象ごとの各ジェスチャ操作の組み合わせの具体例については、図５Ａおよび図５Ｂを用いて後述する。また、制御対象の選択手法は、ユーザＤの挙動に基づくものであればよく、上述した音声入力によるものに限られない。この点については、図２を用いた説明で補足することとする。

このように、本実施形態では、ユーザＤの挙動に基づいて制御対象を選択し、選択された制御対象に応じた振動状態を設定し、ユーザＤによる操作面Ｐへの接触操作が検出されたならば、設定された振動状態となるように振動素子１３ａを制御することによって、制御対象に応じた触覚をフィードバックすることとした。したがって、本実施形態によれば、多様な制御対象を操作性高く操作することができる。

なお、ここでは、入力装置１０の操作面Ｐが例えばタッチパッドである場合について説明したが、これに限られない。例えばセンターディスプレイ４１と一体になったタッチパネルなどであってもよい。以下、上述した制御方法によって制御される入力装置１０を含む統合入力システム１についてさらに具体的に説明する。

図２は、実施形態に係る統合入力システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

図２に示すように、統合入力システム１は、入力装置１０と、マイク２０と、撮像部３０と、表示部４０と、表示制御部５０と、各種機器６０と、スピーカ７０と、記憶部８０とを備える。

マイク２０は、ユーザＤの発話する音声を集音し、入力装置１０へ入力する。撮像部３０は、例えば赤外線ＬＥＤと赤外線カメラとを含んで構成され、赤外線ＬＥＤによってユーザＤを照らしつつ赤外線カメラによってユーザＤの例えば顔画像を撮像し、入力装置１０へ入力する。

表示部４０は、例えば上述したセンターディスプレイ４１やＨＵＤ４２等であって、表示制御部５０が出力する視覚情報としての画像をユーザＤへ提示する。

表示制御部５０は、例えば入力装置１０がユーザＤから受け付けた操作内容に基づき、表示部４０に表示させる画像を生成し、表示部４０へ出力する。また、表示制御部５０は、表示部４０を制御して、ユーザＤに画像を提示させる。

各種機器６０は、例えば上述したナビ装置やエアコン６１等であって、入力装置１０を介したユーザＤの制御対象である。スピーカ７０は、例えば入力装置１０がユーザＤから受け付けた操作内容に基づき、聴覚情報としての音声をユーザＤへ提示する。

記憶部８０は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、組み合わせ情報８０ａと、振動状態情報８０ｂとを記憶する。

入力装置１０は、既に述べたように例えばタッチパッドやタッチパネル等を含む情報入力デバイスであって、ユーザＤからの入力操作を受け付け、その操作内容に応じた信号を表示制御部５０や各種機器６０、スピーカ７０へ出力する。

入力装置１０は、操作部１１と、制御部１２と、振動部１３とを備える。まず、操作部１１と振動部１３について説明する。操作部１１は、例えば上述のタッチパッドやタッチパネル等の平板状のセンサであり、ユーザＤによる入力操作を受け付ける操作面Ｐ（例えば図１Ａ参照）を備える。ユーザＤが操作面Ｐに対し接触動作を行うと、操作部１１はユーザＤの接触操作に応じたセンサ値を制御部１２へ出力する。

振動部１３は、少なくとも一つの振動素子１３ａ（例えば図１Ｂの（ａ）参照）を備える。振動素子１３ａは、例えば圧電素子（ピエゾ素子）等の圧電アクチュエータであって、制御部１２から与えられた電圧信号に応じて伸縮することで操作部１１を振動させる。振動素子１３ａは、例えば操作部１１の端部など、ユーザＤが視認できない位置に、操作部１１と接するように配置される。

なお、既に図１Ｂの（ａ）に示した例では、振動素子１３ａは、操作面Ｐの左右外側の領域であって、操作面Ｐと対向する面に配置される場合を示したが、かかる配置は一例であり、これに限られるものではない。

例えば一つの振動素子１３ａのみで操作面Ｐを振動させてもよい。このように、振動素子１３ａの個数や配置は任意であるが、操作面Ｐの全体を均一に振動させるような個数および配置とすることが好ましい。また、振動素子１３ａは圧電素子に限られず、例えば操作面Ｐを超音波周波数帯で振動させることが可能な素子であればよい。

つづいて制御部１２について説明する。図２に示すように、制御部１２は、音声受付部１２ａと、視線検出部１２ｂと、選択部１２ｃと、設定部１２ｄと、検出部１２ｅと、振動制御部１２ｆと、操作処理部１２ｇとを備える。

制御部１２は、入力装置１０の各部を制御する。音声受付部１２ａは、マイク２０から入力される音声を受け付けて音声内容を解析し、解析結果を選択部１２ｃへ渡す。

視線検出部１２ｂは、撮像部３０によって撮像された顔画像中の、例えば眼球上に生じる赤外照明反射像（角膜反射）と瞳孔との位置関係によりユーザＤの視線方向を検出し、検出結果を選択部１２ｃへ渡す。

選択部１２ｃは、音声受付部１２ａの解析結果を受け取った場合、かかる解析結果に基づいてユーザＤの所望する制御対象を選択する。また、選択部１２ｃは、視線検出部１２ｂの検出結果を受け取った場合、かかる検出結果に基づいてユーザＤの所望する制御対象を選択する。

すなわち、選択部１２ｃは、ユーザＤの注視している方向から制御対象を選択することができる。また、選択部１２ｃは、選択した制御対象を設定部１２ｄへ通知する。

設定部１２ｄは、ユーザＤの接触操作が検出された場合のこの接触操作に対応する振動素子１３ａの振動状態を、選択部１２ｃによって選択された制御対象に応じて設定する。

具体的に、設定部１２ｄは、上述のジェスチャ操作のそれぞれに対応する振動素子１３ａの振動状態の組み合わせが制御対象によって異なるように規定された組み合わせ情報８０ａに基づき、選択部１２ｃによって選択された制御対象へ向けてジェスチャ操作のそれぞれが行われた場合における各制御対象に固有の振動素子１３ａの振動状態を設定する。組み合わせ情報８０ａの一例については図５Ａを用いて後述する。

また、設定部１２ｄは、設定された設定内容を振動状態情報８０ｂとして記憶部８０へ記憶させる。例えば、振動状態情報８０ｂは、振動素子１３ａの制御値を含む情報である。振動状態情報８０ｂの一例については図５Ｂを用いて後述する。

検出部１２ｅは、操作部１１が出力するセンサ値に基づき、操作面Ｐに対するユーザＤの所定のジェスチャ操作を検出し、検出結果を振動制御部１２ｆおよび操作処理部１２ｇへ渡す。

振動制御部１２ｆは、検出部１２ｅによってジェスチャ操作が検出された場合に、設定部１２ｄによって設定された振動状態となるように、振動状態情報８０ｂに基づいて振動部１３の振動素子１３ａを制御する。振動制御部１２ｆの振動素子１３ａの制御による触覚のフィードバックの具体例については図３Ａ〜図３Ｄを用いて後述する。

操作処理部１２ｇは、検出部１２ｅによって検出されたジェスチャ操作に対応する操作内容を、表示制御部５０に視覚的に表示部４０へフィードバックさせる。また、操作処理部１２ｇは、かかるジェスチャ操作に対応する操作内容を各種機器６０へ反映させる処理を行う。

また、操作処理部１２ｇは、かかるジェスチャ操作に対応する例えばガイダンス音声をスピーカ７０から出力させる。すなわち、ユーザＤへ操作面Ｐから触覚をフィードバックする場合に、このようにスピーカ７０からのガイダンス音声を併用することによって、ユーザＤの例えばブラインドタッチ操作を聴覚的に支援し、操作性を高めることができる。

次に、制御対象ごとの触覚のフィードバックの具体例について、図３Ａ〜図３Ｄを用いて説明する。図３Ａ〜図３Ｄは、触覚のフィードバックの具体例を示す図（その１）〜（その４）である。

まず図３Ａおよび図３Ｂでは、制御対象がオーディオモードにおけるボリュームＵＰ／ＤＯＷＮの機能である場合について説明する。したがって、ユーザＤが、例えば「ボリューム」といった発話を行い、制御対象として選択済みであるものとする。

かかる場合、図３Ａに示すように、例えば入力装置１０の操作面Ｐには、ボリューム調整ダイヤルに見立てた触覚のフィードバックが可能となるように、振動素子１３ａの振動状態が設定される。

具体的には、かかる場合、例えば操作面Ｐに円形の軌跡を描くような領域Ｒ１が設定される。また、これ以外の領域は、領域Ｒ２として設定される。そして、領域Ｒ１は、摩擦力の小さい領域として設定され、領域Ｒ２は、相対的に摩擦力の大きい領域として設定される。

摩擦力の大小は、振動制御部１２ｆによる振動素子１３ａの振動状態の制御によって実現される。すなわち、振動制御部１２ｆは、指Ｕ１の接触位置が領域Ｒ１内である場合においては、例えば振動素子１３ａが高周波（例えば超音波周波数帯）で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。

また、これに対し、振動制御部１２ｆは、指Ｕ１の接触位置が領域Ｒ２内である場合においては、領域Ｒ１の場合よりも低い周波数帯で振動する電圧信号を生成し、かかる電圧信号によって振動素子１３ａを振動させる。

これにより、領域Ｒ１においては、指Ｕ１が滑りやすい触覚をユーザＤへフィードバックすることができる（図中の矢印３０１参照）。また、領域Ｒ１から逸れた領域Ｒ２においては、指Ｕ１が滑りにくい触覚をユーザＤへフィードバックすることができる（図中の矢印３０２参照）。

したがって、ユーザＤは、滑りやすい触覚のフィードバックによって領域Ｒ１に沿って案内されつつ、指Ｕ１で操作面Ｐに実際のダイヤル調整のイメージに近い円形の軌跡を描くことによって、ボリュームＵＰ／ＤＯＷＮの機能の操作入力を行うことができる。なお、このとき、表示部４０には、図３Ａに示すように例えばボリューム調整ダイヤルの画像が視覚的にフィードバックされていてもよい。

これは、例えば視線検出部１２ｂによってユーザＤがセンターディスプレイ４１を継続して注視していることが明らかである場合等に有効である。すなわち、この場合には、ユーザＤが運転動作にないことが想定されるので、触覚に視覚のフィードバックを併用することによって確実な制御対象の操作が可能になる。

一方、例えば視線検出部１２ｂによってユーザＤがＨＵＤ４２を注視していることが明らかである場合は、ユーザＤが運転動作にあることが想定されるので、安全性の観点から表示部４０への視覚的なフィードバックは限定的にとどめ、操作面Ｐからの例えばブラインドタッチ操作のみ受け付けることが好ましい。

そのようなブラインドタッチ操作を支援する触覚のフィードバックの例としては、例えば図３Ｂに示すように、指Ｕ１に円形の軌跡を描かせた場合に（図中の矢印３０３参照）、ボリューム調整ダイヤルの目盛りに対応する位置で「カチッ！」とした境界を乗り越える触覚を与えられるように摩擦力を変化させる制御を行ってもよい。

このとき、例えばスピーカ７０を介して「カチッ！」という音を出力してもよく、あるいは振動制御部１２ｆによって振動部１３の振動素子１３ａを可聴領域で振動させることで音を出力するようにしてもよい。

次に図３Ｃおよび図３Ｄでは、制御対象がエアコン６１の設定温度調整の機能である場合について説明する。したがって、ユーザＤが、例えば「エアコン温度」といった発話を行い、制御対象として選択済みであるものとする。

かかる場合、図３Ｃに示すように、例えば入力装置１０の操作面Ｐには、温度調整のＵＰ／ＤＯＷＮボタンに見立てた触覚のフィードバックが可能となるように、振動素子１３ａの振動状態が設定される。

具体的には、かかる場合、例えば操作面ＰにＵＰボタンに対応する領域Ｒ１１とＤＯＷＮボタンに対応する領域Ｒ１２とが設定される。これら領域Ｒ１１，Ｒ１２は、摩擦力の大きい領域として設定される。また、領域Ｒ１１，Ｒ１２以外の領域は、相対的に摩擦力の小さい領域として設定される。

これにより、領域Ｒ１１においては、ＵＰボタンが存在する触覚をユーザＤへフィードバックすることができる。また、領域Ｒ１２においては、ＤＯＷＮボタンが存在する触覚をユーザＤへフィードバックすることができる。

そして、ユーザＤは、図３Ｄに示すように、例えば領域Ｒ１１を押下することによって、エアコン６１の設定温度を上げる操作を行うことができる。このとき、例えばユーザＤが領域Ｒ１１から指Ｕ１を離したタイミングで（図中の矢印３０４参照）、スピーカ７０から「設定温度はＸＸ℃です」といったガイダンス音声を出力することによって、上述したブラインドタッチ操作を操作性高く確実に行うのに資することができる。

なお、図３Ｃおよび図３Ｄでは、温度調整のＵＰ／ＤＯＷＮボタンに対応する例を示したが、あくまで一例であって、例えば上下に延びる直線状のスライドバーに見立てた領域を設定し、かかる領域の摩擦力を小さくして、指Ｕ１をかかる領域で上げ下げすることで操作してもよい。

次に、ジェスチャ操作について、図４Ａ〜図４Ｃを用いて説明する。これまでは、例えば指Ｕ１で円形の軌跡を描く場合や、上下に上げ下げする場合を説明したため、ここではそれ以外の場合を説明する。

図４Ａ〜図４Ｃは、ジェスチャ操作の具体例を示す図（その１）〜（その３）である。ジェスチャ操作は、上述したように、ユーザＤの覚えやすい平易な態様であることが操作性を高めるうえで好ましい。

その一つとして、例えば図４Ａに示すように、指Ｕ１を操作面Ｐにおいて、左右方向にスライドさせるジェスチャ操作を挙げることができる。

また、他の一つとして、例えば図４Ｂに示すように、指Ｕ１を操作面Ｐにおいて、三角形の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。

また、他の一つとして、例えば図４Ｃに示すように、指Ｕ１を操作面Ｐにおいて、×印の軌跡を描くようにスライドさせるジェスチャ操作を挙げることができる。

本実施形態では、これら平易で覚えやすい数個のジェスチャ操作のそれぞれに対応する振動状態の組み合わせを、制御対象によって異なるように設定する。

言い換えれば、本実施形態の入力装置１０では、異なる制御対象の間で共通に用いることができる平易なジェスチャ操作のセットによって制御対象をそれぞれ操作し、制御対象が異なれば、その各ジェスチャ操作にはそれぞれ異なる触覚がフィードバックされることとなる。

これにより、ユーザＤは、数個の平易なジェスチャ操作を覚えるだけで、多様な制御対象を同様のジェスチャ操作で操作でき、しかも異なる制御対象ごとに異なる触覚のフィードバックを受けることができるので、多様な制御対象を操作性高く操作することができる。

これを実現するための、組み合わせ情報８０ａおよび振動状態情報８０ｂの具体例について、図５Ａおよび図５Ｂを用いて説明する。図５Ａは、組み合わせ情報８０ａの具体例を示す図である。図５Ｂは、振動状態情報８０ｂの具体例を示す図である。

まず、組み合わせ情報８０ａは、既に述べたように、ジェスチャ操作のそれぞれに対応する振動素子１３ａの振動状態の組み合わせが制御対象によって異なるように規定された情報である。

具体的には、図５Ａに示すように、組み合わせ情報８０ａは、例えば制御対象項目と、ジェスチャ操作項目と、機能項目と、振動状態項目とを含んでいる。制御対象項目は例えばさらに機器項目とかかる機器の有するモード項目とに内訳される。

例えばナビ装置は、制御対象としてナビモード、オーディオモードといった複数のモードを有する。各モードには、共通のジェスチャ操作のセットが割り当てられる。例えばここでは、先に示した「上下」、「左右」、「円形」、「三角形」、「×印」の五つのジェスチャ操作のセットを想定している。

そして、ナビ装置のナビモードにおいては、例えば「上下」のジェスチャ操作に地図スクロール（上下）の機能が割り当てられ、振動状態項目にはこれに固有に対応する第１の振動状態が対応付けられる。

一方、ナビ装置のオーディオモードにおいては、同じ「上下」のジェスチャ操作にトラック切替の機能が割り当てられ、振動状態項目にはこれに固有に対応する第６の振動状態が対応付けられる。

同様に、ナビモードおよびオーデイオモードにおける「左右」、「円形」、「三角形」、「×印」の各ジェスチャ操作にもそれぞれ個別の機能が割り当てられ、振動状態項目にはこれらにそれぞれ固有に対応する第２〜５および７〜１０の振動状態が対応付けられる。

エアコン６１については、例えば「上下」のジェスチャ操作に対し設定温度ＵＰ／ＤＯＷＮの機能が割り当てられ、これに固有に対応する例えば第１１の振動状態が対応付けられる。

ところで、制御対象となる各種機器６０およびその各モードは、未接続であったり故障中であったりすることで選択自体が無効である場合がある。かかる場合のため、組み合わせ情報８０ａは、例えば「共通」的に、振動素子１３ａを振動させない第１２の振動状態を含むことができる。

上述した設定部１２ｄは、例えば図５Ａのように規定された組み合わせ情報８０ａを参照し、検出部１２ｅによってジェスチャ操作が検出された場合のこのジェスチャ操作に対応する振動素子１３ａの振動状態を、選択部１２ｃによって選択された制御対象に応じて設定することとなる。かかる設定は、例えば振動状態情報８０ｂにいずれの振動状態が選択されたかを示す情報を設定部１２ｄが書き込むことによって行われる。

振動状態情報８０ｂは、各振動状態における振動素子１３ａの制御値を含む情報である。具体的には、図５Ｂに示すように、振動状態情報８０ｂは、例えば設定中項目と、振動状態項目と、接触位置座標項目と、振動周波数項目とを含んでいる。

振動状態項目は、各振動状態を識別する情報であり、各振動状態には、操作面Ｐにおける指Ｕ１の接触位置座標が定義されている。そして、各接触位置座標には、例えば振動素子１３ａを振動させる振動周波数が対応付けられる。

そして、設定中項目には、いずれの振動状態が選択されたかを示す情報が設定部１２ｄにより書き込まれる。例えば図５Ｂには、第１の振動状態にチェックマークが付いている例を示しているが、設定部１２ｄがチェックマークを付けたことにより、第１の振動状態が設定中であることを示すものである。

なお、図５Ｂには、例えば図５Ａで振動素子１３ａを振動させないとした第１２の振動状態に関する例も示している。かかる第１２の振動状態では、接触位置座標や振動周波数といった制御値は、例えば定義されない。

振動制御部１２ｆは、このような振動状態情報８０ｂを参照し、設定中である振動状態に対応付けられた接触位置座標および振動周波数といった制御値を用いることによって、振動素子１３ａを制御することとなる。

なお、図５Ａおよび図５Ｂに示した組み合わせ情報８０ａおよび振動状態情報８０ｂはあくまで一例であって、その構成を限定するものではない。

次に、実施形態に係る入力装置１０が実行する処理手順について、図６を用いて説明する。図６は、実施形態に係る入力装置１０が実行する処理手順を示すフローチャートである。

図６に示すように、入力装置１０は、まず選択部１２ｃが、ユーザＤの挙動に基づいて制御対象を選択する（ステップＳ１０１）。つづいて、設定部１２ｄが、選択部１２ｃの選択した制御対象に応じた振動素子１３ａの振動状態を設定する（ステップＳ１０２）。

つづいて、検出部１２ｅが、操作面Ｐに対するユーザＤの接触操作を検出する（ステップＳ１０３）。

そして、振動制御部１２ｆが、設定された振動状態情報８０ｂに基づき、振動部１３の振動素子１３ａを制御する。

このとき振動制御部１２ｆは、操作が有効である場合（ステップＳ１０４，Ｙｅｓ）、すなわち制御対象が選択部１２ｃによって有効に選択されていれば、振動状態情報８０ｂに基づいて振動素子１３ａを振動させることによって制御対象に応じた触覚をフィードバックし（ステップＳ１０５）、処理を終了する。

なお、ステップＳ１０５にて上述の各ジェスチャ操作に応じた振動状態とするためには、ユーザＤが所望するジェスチャ操作に対応する振動状態を選択する必要があるが、例えば上述のマイク２０からの音声認識等によって選択すればよい。

音声認識の場合、具体的には、次のような手順を踏むこととなる。まずユーザＤが、「円形」のジェスチャ操作を行いたければ、例えば「円」との発話を行い、音声受付部１２ａがこのときの音声を受け付けて解析結果を選択部１２ｃへ渡す。

選択部１２ｃは、解析結果に基づいて「円形」のジェスチャ操作を選択し、設定部１２ｄへ通知する。設定部１２ｄは、かかる通知を受けて、選択中の制御対象におけるこの「円形」のジェスチャ操作に応じた振動状態を組み合わせ情報８０ａから選択し、かかる振動状態を「設定中」であると振動状態情報８０ｂへ設定する。

そして、その設定結果に基づき、振動制御部１２ｆが、ユーザＤの所望の「円形」のジェスチャ操作に対応する振動状態となるように振動部１３の振動素子１３ａを制御する。後はユーザＤは、例えば既に図３Ａで示した領域Ｒ１に沿って案内されつつ、指Ｕ１を動かして「円形」のジェスチャ操作を行えばよい。

また、図６に示すように、振動制御部１２ｆは、操作が無効である場合（ステップＳ１０４，Ｎｏ）、すなわち選択部１２ｃによる制御対象の選択が無効であれば、振動状態情報８０ｂに基づいて振動素子１３ａを振動させないことによって制御対象に応じた触覚をフィードバックせずに（ステップＳ１０６）、処理を終了する。

本実施形態に係る統合入力システム１は、図７に一例として示す構成のコンピュータ６００で実現することができる。図７は、実施形態に係る統合入力システム１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示部４０、スピーカ７０等の出力部、キーボードやマウス、ボタン、操作部１１等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部４０や出力部に出力する。

例えば、コンピュータ６００が統合入力システム１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、音声受付部１２ａと、視線検出部１２ｂと、選択部１２ｃと、設定部１２ｄと、検出部１２ｅと、振動制御部１２ｆと、操作処理部１２ｇとを含む入力装置１０の制御部１２および表示制御部５０の各機能を実現する。

コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部８０が記憶する情報を記憶することができる。

上述してきたように、実施形態に係る入力装置は、一つの操作面と、選択部と、検出部と、少なくとも一つの振動素子と、設定部と、振動制御部とを備える。選択部は、操作面を用いた制御対象をユーザの挙動に基づいて選択する。

検出部は、操作面に対するユーザの所定の接触操作を検出する。振動素子は、操作面を振動させる。設定部は、検出部によって接触操作が検出された場合のかかる接触操作に対応する振動素子の振動状態を、選択部によって選択された制御対象に応じて設定する。

振動制御部は、検出部によって接触操作が検出された場合に、設定部によって設定された振動状態となるように振動素子を制御する。

したがって、実施形態に係る入力装置によれば、多様な制御対象を操作性高く操作することができる。

なお、上述した実施形態では、選択部１２ｃが、マイク２０からの音声入力や、ユーザＤの視線検出に基づいて制御対象を選択する場合を例に挙げたが、これに限られるものではない。例えば、入力装置１０が、制御対象を切り替えるスイッチを備えることとしたうえで、単にこれを押下して切り替えるユーザＤの挙動によって制御対象を選択してもよい。

また、上述した実施形態では、操作面Ｐが一つである場合を例に挙げたが、かかる一つの操作面Ｐを複数の領域に分割し、各領域で異なる触覚をフィードバックするように、振動制御部１２ｆが振動素子１３ａを制御してもよい。

この場合、各領域に、例えばナビ装置の各モードを割り当て、ユーザＤがその各領域を触覚のフィードバックに従って選択することによって、選択部１２ｃが操作面Ｐの制御対象とするモードを選択することとしてもよい。これにより、ユーザＤは、音声認識や視線検出によることなく容易に、制御対象とするモード選択操作を行うことができる。

具体的には、操作面Ｐは、複数の分割領域を有し、分割領域のそれぞれには異なるモードが割り当てられ、振動制御部１２ｆは、分割領域のそれぞれで異なる振動状態となるように振動素子１３ａを制御する。選択部１２ｃは、ユーザＤが分割領域それぞれからの触覚のフィードバックに従って選択した分割領域に対応するモードを選択することとなる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 統合入力システム
１０ 入力装置
１１ 操作部
１２ 制御部
１２ａ 音声受付部
１２ｂ 視線検出部
１２ｃ 選択部
１２ｄ 設定部
１２ｅ 検出部
１２ｆ 振動制御部
１２ｇ 操作処理部
１３ 振動部
１３ａ 振動素子
２０ マイク
３０ 撮像部
４０ 表示部
５０ 表示制御部
６０ 各種機器
７０ スピーカ
８０ 記憶部
Ｄ ユーザ
Ｐ 操作面
Ｕ１ 指

Claims (13)

1. 一つの操作面と、
   前記操作面を用いた制御対象をユーザの挙動に基づいて選択する選択部と、
   前記操作面に対する前記ユーザの所定の接触操作を検出する検出部と、
   前記操作面を振動させる少なくとも一つの振動素子と、
   前記検出部によって前記接触操作が検出された場合の該接触操作に対応する前記振動素子の振動状態を、前記選択部によって選択された前記制御対象に応じて設定する設定部と、
   前記検出部によって前記接触操作が検出された場合に、前記設定部によって設定された前記振動状態となるように前記振動素子を制御する振動制御部と
   を備え、
   前記接触操作は、前記操作面への接触を含む数個の平易なジェスチャ操作であって、
   前記設定部は、
   前記ジェスチャ操作のそれぞれに対応する前記振動状態の組み合わせが前記制御対象によって異なるように規定された組み合わせ情報に基づき、前記選択部によって選択された前記制御対象へ向けて前記ジェスチャ操作のそれぞれが行われた場合における前記振動状態を設定すること
   を特徴とする入力装置。
2. 前記制御対象は、複数の機器のうちの一つであること
   を特徴とする請求項１に記載の入力装置。
3. 前記制御対象は、一つの機器が有する複数のモードのうちの一つであること
   を特徴とする請求項１または２に記載の入力装置。
4. 音声入力を受け付ける音声受付部
   をさらに備え、
   前記選択部は、
   前記音声受付部によって受け付けられた前記音声入力の内容に基づいて前記制御対象を選択すること
   を特徴とする請求項１、２または３に記載の入力装置。
5. 前記ユーザを撮像する撮像部からの撮像画像に基づいて前記ユーザの視線方向を検出する視線検出部
   をさらに備え、
   前記選択部は、
   前記視線検出部の検出結果に基づいて前記制御対象を選択すること
   を特徴とする請求項１〜４のいずれか一つに記載の入力装置。
6. 前記振動制御部は、
   前記選択部によって前記制御対象が有効に選択された場合に、前記検出部により前記制御対象へ向けての前記接触操作が検出されたならば、前記ユーザへ前記操作面から触覚をフィードバックする振動状態となるように前記振動素子を制御すること
   を特徴とする請求項１〜５のいずれか一つに記載の入力装置。
7. 前記振動制御部は、
   前記制御対象を前記選択部によって選択することが無効である場合に、前記検出部により前記制御対象へ向けての前記接触操作が検出されたならば、前記ユーザへ前記操作面から触覚をフィードバックしない振動状態となるように前記振動素子を制御すること
   を特徴とする請求項１〜６のいずれか一つに記載の入力装置。
8. 前記操作面は、複数の分割領域を有し、前記分割領域のそれぞれには異なる前記制御対象が割り当てられ、
   前記振動制御部は、
   前記分割領域のそれぞれで異なる振動状態となるように前記振動素子を制御し、
   前記選択部は
   前記ユーザが前記分割領域の各々からの触覚のフィードバックに従って選択した該分割領域に対応する前記制御対象を選択すること
   を特徴とする請求項１〜７のいずれか一つに記載の入力装置。
9. 前記ユーザへ前記操作面から触覚をフィードバックする場合に、音声出力部によって出力されるガイダンス音声を併用すること
   を特徴とする請求項１〜８のいずれか一つに記載の入力装置。
10. 前記振動制御部は、
    所定の前記ジェスチャ操作に対応する所定の軌跡として前記操作面に設定される一の領域から当該一の領域以外の他の領域へ逸れる前記接触操作が前記検出部により検出されたならば、前記他の領域において前記一の領域よりも摩擦力が大きい触覚をフィードバックする振動状態となるように前記振動素子を制御すること
    を特徴とする請求項１〜９のいずれか一つに記載の入力装置。
11. 請求項１〜１０のいずれか一つに記載の入力装置と、
    前記操作面に対する前記ユーザの所定の接触操作に応じた画像を表示する表示部と
    を備えることを特徴とする統合入力システム。
12. 一つの操作面を備える入力装置の制御方法であって、
    前記操作面を用いた制御対象をユーザの挙動に基づいて選択する選択工程と、
    前記操作面に対する前記ユーザの所定の接触操作を検出する検出工程と、
    少なくとも一つの振動素子によって前記操作面を振動させる振動工程と、
    前記検出工程で前記接触操作が検出された場合の該接触操作に対応する前記振動素子の振動状態を、前記選択工程で選択された前記制御対象に応じて設定する設定工程と、
    前記検出工程で前記接触操作が検出された場合に、前記設定工程で設定された前記振動状態となるように前記振動素子を制御する振動制御工程と
    を含み、
    前記接触操作は、前記操作面への接触を含む数個の平易なジェスチャ操作であって、
    前記設定工程は、
    前記ジェスチャ操作のそれぞれに対応する前記振動状態の組み合わせが前記制御対象によって異なるように規定された組み合わせ情報に基づき、前記選択工程で選択された前記制御対象へ向けて前記ジェスチャ操作のそれぞれが行われた場合における前記振動状態を設定すること
    を特徴とする入力装置の制御方法。
13. 一つの操作面を用いた制御対象をユーザの挙動に基づいて選択する選択ステップと、
    前記操作面に対する前記ユーザの所定の接触操作を検出する検出ステップと、
    少なくとも一つの振動素子によって前記操作面を振動させる振動ステップと、
    前記検出ステップで前記接触操作が検出された場合の該接触操作に対応する前記振動素子の振動状態を、前記選択ステップで選択された前記制御対象に応じて設定する設定ステップと、
    前記検出ステップで前記接触操作が検出された場合に、前記設定ステップで設定された前記振動状態となるように前記振動素子を制御する振動制御ステップと
    をコンピュータに実行させ、
    前記接触操作は、前記操作面への接触を含む数個の平易なジェスチャ操作であって、
    前記設定ステップは、
    前記ジェスチャ操作のそれぞれに対応する前記振動状態の組み合わせが前記制御対象によって異なるように規定された組み合わせ情報に基づき、前記選択ステップで選択された前記制御対象へ向けて前記ジェスチャ操作のそれぞれが行われた場合における前記振動状態を設定する
    ことを特徴とするプログラム。

Images