JP6960716B2 - 入力装置、表示装置、入力装置の制御方法およびプログラム - Google Patents

Description

本発明は、入力装置、表示装置、入力装置の制御方法およびプログラム。

従来、ユーザに触覚を与えることで入力を受け付けたことを知らせる入力装置が知られている。かかる入力装置では、たとえばユーザによる押圧力に応じて振動を発生させることで、ユーザに対して入力を受け付けたことを知らせている（たとえば特許文献１参照）。

特開２０１３−２３５６１４号公報

しかしながら、従来の入力装置では、発生した振動が、電話による通話や、音声認識機能などの音声入力系に悪影響を与えるおそれがある。たとえば、入力装置の近傍で、ユーザがスマートフォンなどを用いて、通話や音声認識機能を利用した入力操作などを行うと、入力装置の振動が空気に伝播して通話時に雑音が生じたり、音声認識率が低下したりするおそれがある。

本発明は、上記に鑑みてなされたものであって、入力装置の振動による音声入力系への支障を抑制することのできる入力装置、表示装置、入力装置の制御方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明の入力装置は、検出部と、少なくとも一つの振動素子と、操作受付部と、振動制御部と、音声受付部と、排他制御部とを備える。検出部は、操作面に対するユーザの接触位置を検出する。少なくとも一つの振動素子は、前記操作面を振動させる。操作受付部は、前記検出部の検出結果に基づく所定の入力操作を受け付ける。振動制御部は、前記操作受付部によって受け付けられた前記入力操作に応じた振動状態となるように前記振動素子を制御する。音声受付部は、音声入力を受け付ける。排他制御部は、前記操作受付部による前記入力操作の受け付け、および、前記音声受付部による前記音声入力の受け付けを排他的に制御する。

本発明によれば、入力装置の振動による音声入力系への支障を抑制することのできる入力装置、表示装置、入力装置の制御方法およびプログラムを提供することができる。

図１は、第１の実施形態に係る入力装置の搭載例を示す図である。 図２は、第１の実施形態に係る入力装置の概要を示す図である。 図３は、第１の実施形態に係る入力装置の構成を示すブロック図である。 図４は、操作情報の一例を示す図である。 図５は、振動状態の一例を示す図である。 図６は、入力方法の一例を示すタイミングチャートである。 図７は、表示画像の一例である。 図８は、第１の実施形態に係る入力装置の第１排他処理手順の一例を示すフローチャートである。 図９は、第１の実施形態に係る入力装置の第２排他処理手順の一例を示すフローチャートである。 図１０は、実施形態に係る入力装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 図１１は、第２の実施形態に係る入力装置の構成を示すブロック図である。

以下、添付図面を参照して、本願の開示する入力装置、表示装置、入力装置の制御方法およびプログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

[第１の実施形態]
＜１．入力装置の概要＞
まず、第１の実施形態に係る入力装置の概要について図１および図２を用いて説明する。図１は、第１の実施形態に係る入力装置の搭載例を示す図である。図２は、第１の実施形態に係る入力装置の概要を示す図である。

図１に示すように、本実施形態に係る入力装置１は、車両に搭載される。そして、入力装置１は、たとえば、車載装置２（図３参照）とネットワークを介して接続されているものとする。入力装置１は、ユーザの操作を受け付けるタッチパッドなどの操作受付部材（以下、操作面と記載する）を有する操作部５と、ユーザによって発せられた音声を取得するマイク３とを備え、ユーザ（たとえば、運転手）は、入力装置１に対して接触操作あるいは音声入力による入力操作を行うことで車載装置２を操作することができる。

すなわち、入力装置１は、ユーザが操作面を押下する接触操作による入力操作と、マイク３に対して音声入力することによる入力操作を実行することができる。しかも、本実施形態に係る入力装置１では、詳しくは後述するが、接触操作による入力操作と音声による入力操作とを排他的に受付けるようにしている。

そして、車載装置２は、車両内に設けられたスピーカ４に接続しており入力操作に応じた音声データを、かかるスピーカ４から出力することができる。

また、入力装置１の操作部５は、たとえばセンターコンソールのシフトレバーＳの付近など、運転者から操作しやすい位置に配置される。図１の例では、操作部５をアームレストＲとシフトレバーＳとの間に配置している。したがって、ユーザは、腕をアームレストＲに置いた状態で操作面を操作することができる。これにより、ユーザは、運転姿勢を変化させることなく入力装置１を容易に操作することができる。

車載装置２は、たとえば、カーナビゲーションシステム、エアコン、オーディオなどの機器であり、かかる車載装置２は、所定の画像を表示する表示部２Ａを備える。かかる表示部２Ａに表示される画像は、地図など車両のナビゲーションを行うための画像やテレビ、インターネットの動画、あるいはエアコンやオーディオの状況を表す画像などである。なお、表示部２Ａは、たとえばダッシュボードの中央位置など、適宜位置に設けられる。

また、車載装置２は、たとえば、Ｂｌｕｅ ｔｏｏｔｈ（登録商標）などの近距離無線通信でスマートフォンなどの携帯端末と接続することができる。したがって、ユーザは、入力装置１により、車載装置２を介してスマートフォンを操作することもできる。スマートフォンの操作の一例として、たとえば、ユーザは、入力装置１を介してハンズフリー通話を行うことができる。

ここで、たとえば運転中にユーザが入力装置１で入力操作をしようとする場合、入力装置１を視認することで運転への注意力がそがれてしまうおそれがある。そこで、入力装置１では、入力装置１を操作するユーザの指に、振動を利用した所定の触感を与えることで入力操作を受け付けたことを知らせるようにしている。

また、ユーザは、入力装置１で所望の操作を音声入力によっても入力することができる。これにより、ユーザは、入力装置１を視認することなく容易に入力操作を実行することができる。

ここで、図２を用いて入力装置１の構成について説明する。図２に示すように、入力装置１は、主構成要素として、操作部５と、操作部５の表面に設けられる操作面５Ａを振動させる振動素子３１ａ、３１ｂとを有する。

操作部５は、たとえば静電容量方式の情報入力機能を有するパネルにより構成され、ユーザが指やタッチペン等のポインティングデバイスで操作面５Ａに接触すると、入力装置１は、操作面５Ａにおけるユーザの接触位置を検出する。そして、入力装置１は、かかる接触位置の移動を押圧力などに基づく操作によって受け付ける。

振動素子３１ａ、３１ｂは、たとえば圧電素子（ピエゾ素子）であり、操作部５の操作面５Ａを高周波振動させることができる。たとえばユーザの指が操作面５Ａを押下した状態で振動素子３１ａ、３１ｂを振動させると、振動による圧力変動で、空気が指と操作面５Ａとの間に引き込まれて空気層が形成され、指と操作面５Ａとの間の摩擦力が変化する。かかる状態で指を動かすと、変化した摩擦力に応じた触覚を指に与えることができる。また、振動素子３１ａ、３１ｂの振動状態を変化させることで、指と操作面５Ａとの間の摩擦力の大きさを変化させることができ、指に与える触覚を変化させることができる。

このように、本実施形態に係る入力装置１は、振動素子３１ａ、３１ｂを用いて操作面５Ａを振動させることで、ユーザに触覚を与える入力装置である。なお、以下の説明では、振動素子３１ａ、３１ｂをまとめて振動素子３１と記載する場合がある。

ところで、入力装置１では、接触操作および音声入力を同時に行うと、振動素子３１の振動が空気に伝播し、音声入力に支障をきたすおそれがある。かかる音声入力への支障は、たとえば、音声入力の音声認識における認識率の低下や、電話における雑音（ノイズ）発生などである。

そこで、本実施形態にかかる入力装置１は、入力装置１の接触操作と音声入力とを排他的に制御することとした。その一例として、入力装置１は、音声入力を受け付け中である場合に接触操作の受け付けを停止させ、振動素子３１の振動を停止させる。これにより、入力装置の振動による音声入力への支障を抑止することができる。

また、入力装置１は、接触操作と音声入力とを排他的に制御する代わりに、振動素子３１の振動によって生じるノイズ成分を減衰させることとしてもよい。この点については、後述する。

なお、ここでは、入力装置１と車載装置２とが別体である場合について説明したが、これに限られない。入力装置１と車載装置２とを一体に構成してもよい。また、たとえば、ダッシュボードに設けた車載装置２の表示部２Ａに代えて、車両のフロントガラスの所定の領域Ｌに投影されるヘッドアップディスプレイとしてもよい。また、入力装置１をたとえばタッチパネルで構成し、入力装置１が表示部を有する構成としてもよい。

また、入力装置１についての説明を、車載装置２と接続されている場合を例示して説明したが、たとえば、スマートフォンやタブレット端末、パソコンなどと直接接続することもできる。以下、入力装置１について、さらに説明を加える。

＜２．入力装置の構成＞
図３は、第１の実施形態に係る入力装置１の構成を示すブロック図である。入力装置１は、操作部５と、振動部３０と、マイク３と、制御部１０と、記憶部２０とを備える。また、入力装置１は、車載装置２とスピーカ４とに接続される。

＜２．１．操作部＞
操作部５は、たとえばタッチパッドやタッチパネル等の平板状のセンサである。操作部５は、ユーザによる接触操作による入力操作を受け付ける操作面５Ａを備える。ユーザが操作面５Ａに接触すると、操作部５はユーザの接触位置に応じたセンサ値を制御部１０に出力する。

＜２．２．振動部＞
振動部３０は、少なくとも１つの振動素子３１を備える。図２に示す例では、振動部３０は、２つの振動素子３１ａ、３１ｂを備える。振動素子３１ａ、３１ｂは、たとえば圧電素子（ピエゾ素子）などの圧電アクチュエータであって、制御部１０から与えられた電圧信号に応じて伸縮することで操作部５を振動させる。振動素子３１ａ、３１ｂは、たとえば操作部５の端部など、ユーザが視認できない位置に、操作部５と接するように配置される。

図２の例では、振動素子３１ａ、３１ｂは、操作面５Ａの左右外側の領域であって、操作部５の操作面５Ａと対向する面に配置される。なお、図２に示す振動素子３１ａ、３１ｂの個数および配置は一例であり、これに限られない。たとえば１つの振動素子３１ａで操作面５Ａを振動させてもよい。このように、振動素子３１ａ、３１ｂの個数や配置は任意であるが、操作面５Ａ全体を均一に振動させるような個数および配置とすることが望ましい。

また、ここでは、振動素子３１ａ、３１ｂとして圧電素子を用いる場合について説明したが、これに限られず、たとえば操作面５Ａを超音波周波数帯で振動させる素子であればよい。なお、振動素子３１ａ、３１ｂは互いに同じ周波数帯で振動させる素子であってもよいし、異なる周波数帯で振動させる素子であってもよい。また、超音波周波数帯以外で振動させる素子をさらに備えることにしてもよい。これにより、入力装置１は、操作面５Ａのみならず、入力装置１自体を振動させることもできる。

＜２．３．マイクおよびスピーカ＞
マイク３は、ユーザの音声を取得する音声入力部である。マイク３によって取得された音声データは、制御部１０へ出力される。また、スピーカ４は、制御部１０から入力された音声データに基づく音声を出力する音声出力部である。なお、車載装置２がマイク３を備える場合、入力装置１にマイク３を備えない構成にしてもよい。

＜２．４．制御部＞
制御部１０は、入力装置１の各部を制御する。また制御部１０は、操作部５およびマイク３を介して受け付けた入力操作に応じた信号を車載装置２およびスピーカ４に出力する。制御部１０は、検出部１１と、操作受付部１２と、音声受付部１３と、排他制御部１４と、振動制御部１５と、情報処理部１６とを備える。

＜２．４．１．検出部＞
検出部１１は、操作部５が出力するセンサ値に基づいて、操作面５Ａに対するユーザの接触位置を検出する。たとえば、検出部１１が所定の周期でユーザの接触位置を検出することで、ユーザの指が操作面５Ａ上を移動し接触位置が変化した場合であっても、検出部１１はかかる変化に追従して接触位置を検出することができる。検出部１１は、検出結果である接触位置に関する情報を操作受付部１２へ出力する。

＜２．４．２．操作受付部＞
操作受付部１２は、排他制御部１４が入力操作の受け付けを許可している場合に、検出部１１の検出結果に基づく所定の入力操作を受け付け、記憶部２０に記憶された操作情報２１に基づいてかかる入力操作の振動状態に関する情報などを関連付けて排他制御部１４へ出力する。

ここで、記憶部２０に記憶された操作情報２１について、図４および図５を用いて説明しておく。図４は操作情報の一例である。図５は振動状態の一例を示す図である。なお、図５では、以下の説明を簡潔にするために、操作面５Ａ上に、実際には存在しない仮想ダイヤルＤを示した。

図４に示すように、操作情報２１には、たとえば「操作」と、「機器」と、「モード」と、「振動状態」とが関連付けられて記憶される。「操作」は、ユーザの操作面５Ａに対する入力操作を示し、指の移動方向や移動距離、あるいは移動速度などと、振動素子３１による操作面５Ａの振動状態（振動特性）とが関連付けられている。「機器」は、かかる「操作」によって操作される機器を示し、「モード」は、操作される機器のモードに関する情報である。「振動状態」は、各モードにおける操作面５Ａの振動状態を示す。

図４に示す例では、ユーザが、たとえば指で操作面５Ａに「○」を描くと、入力装置１は、ユーザの入力操作がエアコンの温度調整モード移行要求であると判定し、判定結果を車載装置２へ出力するとともに、判定結果に対応する振動状態（この場合、第１の振動状態）で操作部５が振動する。

詳しくは、制御部１０の検出部１１が、ユーザの入力操作となる「○」を描く指の動きに対応する検出結果を操作受付部１２に出力する。操作受付部１２は、取得した検出結果と記憶部２０に記憶された操作情報２１とに基づいて、ユーザの入力操作がエアコンの温度調整モード移行要求であると判定する。そして、かかる判定結果を車載装置２へ出力する。また、操作受付部１２は、かかる判定結果に対応する振動状態（この場合、第１の振動状態）を示す信号を振動制御部１５へ出力する。

車載装置２は、かかる判定結果を入力装置１の制御部１０から受けると、エアコンの温度調整モードに移行する。一方、制御部１０の振動制御部１５は、判定結果の取得以降にユーザの指が操作面５Ａと接触すると第１の振動状態で振動するよう振動素子３１を制御する。

たとえば、ユーザが、図５に示す操作面５Ａに指を接触させ、実際のダイヤルをイメージしながら指を回転させるとする。すなわち、図示するような仮想ダイヤルＤを回転させるように、指を図中の矢印方向に移動すると、第１の振動状態で操作面５Ａが振動し、ユーザは、あたかもダイヤルを回すような触覚が得られる。

具体的には、振動制御部１５は、ユーザが仮想ダイヤルＤを回転する操作に連動して、振動素子３１の振動のＯＮ／ＯＦＦを所定の周期で切り替える。これにより、操作面５Ａと指との間の摩擦力が振動素子３１のＯＮ／ＯＦＦの周期で変動するため、たとえば極めて短い周期でクリック感が連続するような触感、すなわち、実際のダイヤルを回しているような触覚をユーザに与えることができる。

こうして、ユーザは、実際のダイヤルを指で操作するような感覚で、操作面５Ａにおいて指を所定の方向へ回転させる入力操作（仮想ダイヤルＤを回転する入力操作）を行うことで、エアコンの温度を調整することができる。たとえば、この場合、ユーザの指が操作面５Ａと接触すると、振動制御部１５は、第１の振動状態を選択するとともに、たとえば、温度を０．５度変更するのに伴い、ダイヤルを一つ回す触覚が得られるように振動部３０を制御して操作面５Ａを振動させる。

なお、このとき、入力装置１は、スピーカ４から仮想ダイヤルＤの回転に連動して「カチッ」といった効果音を出力することとしてもよい。これにより、ユーザは、効果音との相乗効果によって、聴覚によっても操作を認識し易くなる。

なお、図５では、説明を簡潔にするために、実際には存在しない仮想ダイヤルＤを表示しているが、入力装置１に、実際のダイヤルを模したダイヤル画像を表示することにしてもよい。なお、かかるダイヤル画像を表示する場合には、入力装置１は、たとえばタッチパネルのように表示部を備えることとなる。

また、図４に示すように、操作情報２１は、「○」のほかにも、「Ｔ」、「？」、「Ｇ」などといったユーザが容易に操作入力できる操作に対応する情報を関連付けて記憶される。これにより、ユーザは、容易に所望するモード移行要求を行うことができる。

図４の例では、たとえば、操作「Ｔ」は、電話帳呼び出しモード、操作「？」は、インターネットの検索モード、操作「Ｇ」は、カーナビゲーションによる目的地設定モードにそれぞれ対応している。

また、操作情報２１は、モード移行要求のほか、すべての機器で共通の入力操作についても関連付けられている。たとえば、操作「×」は、モード移行をキャンセルする。この他、共通の入力操作には、画像の縮小、拡大を行う「ピンチ（ピンチイン／ピンチアウト）操作」や、画像を回転する「ローテート操作」などの操作が含まれる。

また、振動制御部１５は、たとえば、第２の振動状態では、いわゆる「ざらざら」した触覚、第３の振動状態では、「つるつる」した触覚など振動素子３１の振動の強弱、周期および周波数を制御することで、多様な触覚をユーザに与えることができる。なお、図４に示した操作情報２１は一例であり、ユーザによってカスタマイズすることもできる。

図３の説明にもどり、操作受付部１２の説明を続ける。図１に示した入力装置１の配置例では、ユーザが腕をアームレストＲに置くと、ユーザの手が意図せずして操作面５Ａに接触してしまうおそれがある。

そこで、操作受付部１２は、検出部１１によって検出された操作の接触面積に基づいて、かかる操作を無効とすることにしてもよい。すなわち、ユーザの入力操作は、指あるいはタッチペンなどで行われることを前提とすることができ、入力操作を受け付ける接触面積を所定の許容範囲に設定することが可能である。

したがって、たとえば、ユーザの手のひら全体が操作面５Ａと接触している場合などにおいては、ユーザが接触操作を意図していない接触状態であると見做してよいため、接触面積が許容範囲を超える接触操作は無効と判定することができる。

＜２．４．３．音声受付部＞
音声受付部１３は、排他制御部１４が音声入力の受け付けを許可している場合に、マイク３によって取得される音声データの音声入力を受け付け、受け付けた音声データをテキストデータへ変換し、かかるテキストデータを排他制御部１４へ出力する。

なお、ユーザが、たとえば電話による通話を、ハンズフリーの状態で入力装置１を介して行っている場合には、音声受付部１３は、上記した処理を実行せずに、マイク３によって取得された音声データをスピーカ４へ出力する。

＜２．４．４．排他制御部＞
排他制御部１４は、操作受付部１２による入力操作の受け付け、および、音声受付部１３による音声入力の受け付けを排他的に制御するとともに、振動制御部１５を介して振動素子３１の振動のＯＮ／ＯＦＦおよび振幅を制御する。

具体的には、排他制御部１４は、操作受付部１２が入力操作の受け付け中である場合に、音声受付部１３による音声入力の受け付けを停止させて振動制御部１５に振動素子３１の振動を停止させる一方、音声受付部１３が音声入力受け付け中である場合に、操作受付部１２による操作受け付けを停止する。

つまり、排他制御部１４は、操作受付部１２および音声受付部１３が同時に入力受け付け中とならないように制御する。さらに、排他制御部１４は、音声受付部１２による音声入力の受け付け中である場合に、振動制御部１５に対して振動素子３１の振動を停止させる。これにより、音声受付部１３が音声入力の受け付け中である場合に、振動素子３１は振動しない。したがって、本実施形態に係る入力装置１は、振動素子３１の振動による音声入力系への支障を抑制することができる。

また、排他制御部１４は、操作受付部１２および音声受付部１３による入力受け付けを所定の周期で切り替えることとしてもよい。たとえば、排他制御部１４が、操作受付部１２および音声受付部１３による入力受け付けをごく短い周期で相互に切り替えることとすれば、操作受付部１２による入力操作、および振動素子３１の振動は実質的に遮断されない。

一方、音声受付部１３は、たとえばマイク３からローパスフィルタを介して音声データを取得することとすれば、音声受付部１３による入力受け付けが遮断される期間の音声データを補完して取得することができる。

したがって、操作受付部１２および音声受付部１３による入力の受け付けは、実質的に遮断されないことになる。これにより、ユーザは、入力装置１に対する接触操作および音声入力を同時に行うことができる。

また、排他制御処理の一例として、排他制御部１４は、音声受付部１３による音声入力の受け付け中である場合に、操作受付部１２による入力操作の受け付けを停止する代わりに、振動制御部１５に振動素子３１の振幅を低減させる指示を出力することにしてもよい。

かかる振動素子３１の振幅は、上記した音声入力系へ支障を与えない程度に低減することが好ましく、設計時に振動素子３１およびマイク３の取り付け位置を考慮して実験等で決定することとすればよい。これにより、操作受付部１２および音声受付部１３が入力受け付け中であっても、振動素子３１の振動による音声入力系への支障を低減することができる。

＜２．４．５．振動制御部＞
振動制御部１５は、操作受付部１２によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する。まず、振動制御部１５は、排他制御部１４から、入力操作に基づく振動状態情報を取得する。つづいて、振動制御部１５は、操作面５Ａに操作入力が行われると、操作面５Ａが振動状態情報に基づいた振動状態となるように振動部３０の振動素子３１を制御する。

＜２．４．６．情報処理部＞
情報処理部１６は、排他制御部１４を介して操作受付部１２および音声受付部１３から、入力操作情報およびテキストデータを取得し、かかる情報に対応する処理を実行し、処理結果を車載装置２やスピーカ４へ出力する。

＜２．５．記憶部＞
記憶部２０は、操作受付部１２が行う処理に必要な情報として、たとえば前述した操作情報２１を記憶するとともに、各種処理結果を記憶する。記憶部２０は、たとえばＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置である。なお、入力装置１は、記憶部２０に記憶される一部または、全てをインターネットなどのネットワークを介して取得することとしてもよい。

＜３．入力処理＞
つづいて、図６および図７を用いて、入力装置１の入力方法について説明する。図６は、入力方法の一例を示すタイミングチャートである。図７は、表示画像の一例である。ここでは、ユーザが入力装置１を用いて、カーナビゲーションの目的地として、たとえば東京スカイツリーに設定する場合について説明する。また、以下の説明では、排他制御部１４が、操作受付部１２または音声受付部１３による入力の受け付けを許可している状態を「ＯＮ状態」、受け付けを停止させている状態を「ＯＦＦ状態」と記載する。

図６に示すように、たとえば、ユーザが入力装置１に対して接触操作および音声入力のいずれも行っていない場合に（入力操作受付中：ＯＦＦ、音声入力受付中：ＯＦＦ）、操作受付部１２はＯＮ状態であって、音声受付部１３がＯＦＦ状態とする（時刻ｔ０〜ｔ１）。かかる状態で、時刻ｔ１の時点から、ユーザが、たとえば操作面５Ａに指で「Ｇ」と書くと、振動制御部１５は、かかる入力操作に対応した振動状態で操作面５Ａを振動させる（時刻ｔ１〜ｔ２）。

操作受付部１２は、かかる入力操作をカーナビゲーションの目的地設定モード移行要求と判定し（図４参照）、かかる判定結果を排他制御部１４および車載装置２へ出力する。

排他制御部１４は、かかる判定結果を取得すると、たとえば、所定時間（時刻ｔ２〜ｔ３）の経過を待って操作受付部１２をＯＦＦ状態、音声受付部１３をＯＮ状態へと移行させる（時刻ｔ３）。車載装置２は、かかる判定結果を入力装置１から取得すると、カーナビゲーションの目的地設定モードに移行する。

時刻ｔ２〜ｔ３の期間に、入力装置１は、スピーカ４から、「目的地をどこに設定しますか？」といった音声ガイダンスを出力する。ここで、かかる音声ガイダンス中は、音声受付部１３がＯＦＦ状態であるため、かかる音声ガイダンスによる誤入力を防ぐことができる。また、この期間に操作受付部１２はＯＮ状態であるため、たとえば、ユーザが、操作面５Ａに「×」と描くと、操作受付部１２は、かかる接触操作を受け付け、モード移行要求をキャンセルすることもできる（図４参照）。

排他制御部１４が、操作受付部１２および音声受付部１３のＯＮ／ＯＦＦの状態を切り替えると、入力装置１は、かかる状態をユーザに報知する。かかる報知手法は、たとえば、操作面５Ａの振動であったり、スピーカ４による音声や、表示部２Ａに表示されるナビ画像などである。

あるいは、たとえば、ユーザに視認可能な位置（たとえば、ハンドル）に発光体を設け、発光体の色によって操作受付部１２および音声受付部１３の状態を報知することとしてもよい。これにより、ユーザは、操作受付部１２および音声受付部１３のＯＮ／ＯＦＦの状態を容易に把握することができる。

音声ガイダンスを受けて、ユーザは、時刻ｔ４〜ｔ５の期間に音声ガイダンスと対話するように、「東京スカイツリー」と発声することで、音声受付部１３は、かかる音声データをテキストデータに変換し、車載装置２へと出力する。

これにより、車載装置２は、たとえば、車載装置２に記憶される地図情報から、東京スカイツリーに該当する候補地の検索を開始し、検索結果を表示部２Ａへ出力する（図７参照）。

排他制御部１４は、音声受付部１３による音声入力の受け付けが終了すると、音声受付部１３をＯＦＦ状態、操作受付部１２をＯＮ状態に移行させる（時刻ｔ６以降）。

図７に示した例では、東京スカイツリーに該当する候補地が２０件有り、車載装置２の表示部２Ａには、そのうち幾つかの候補地のリストが表示される。また、たとえば、表示部２ＡにはポインタＰと操作ボタンＢとが表示される。ユーザは、ポインタＰの位置によって目的地を候補地から選択し、操作面５Ａに対する接触操作によってポインタＰを操作する。ここで、たとえば、操作ボタンＢと操作面５Ａの振動状態とは連動させることにしてもよい。

すなわち、ユーザが、操作面５Ａに指を接触させた状態で指を上下させると、操作ボタンＢを操作する触覚が得られる。具体的には、振動制御部１５は、ユーザがポインタＰの位置を一つ移動させるような接触操作に伴い、振動素子３１の振動のＯＮ／ＯＦＦを制御し、ユーザに実際にボタンＢを操作しているような触覚を与える(ｔ７〜ｔ８)。

そして、ポインタＰが所望する候補地に到達すると、ユーザは、所定の操作（たとえばタップ操作など）を行うことで目的地を決定する。そして、操作受付部１２は、かかる入力操作を車載装置２へ出力する。ここで、入力装置１は、スピーカ４から「目的地はここでよろしいですか？」といった音声ガイダンスを出力する。

ユーザが所定の操作（たとえばタップ操作など）を行うと、入力装置１は、目的地を決定し、その旨を車載装置２へ出力する。これにより、カーナビゲーションの目的地設定が完了する。

このように、排他制御部１４は、ユーザの入力操作に応じて、操作受付部１２および音声受付部１３のＯＮ／ＯＦＦ状態を排他的に制御する。これにより、ユーザは、接触操作と音声入力を適宜使い分けることができる。したがって、ユーザは、所望する入力操作を容易に行うことができる。また、入力装置１では、あらかじめ入力操作によってモード移行を行うことによって、つづくユーザの発話目的を絞ることができる。これにより、音声入力の処理の精度が高まる。

また、音声受付部１３がＯＮ状態中（たとえば時刻ｔ３〜ｔ６）に、ユーザが、音声入力せずに、接触操作を行った場合、排他制御部１４は、音声受付部１３をＯＦＦ状態、操作受付部１２をＯＮ状態に移行させ、操作受付部１２が、かかる接触操作を受け付けることとしてもよい。

あるいは、音声受付部１３がＯＮ状態中（たとえば時刻ｔ３〜ｔ６）に、ユーザが、所定期間音声入力しなかった場合に、排他制御部１４は、音声受付部１３をＯＦＦ状態、操作受付部１２をＯＮ状態に移行させることにしてもよい。

また、操作受付部１２がＯＮ状態中（たとえば時刻ｔ６以降）に、ユーザが所定の操作（たとえば、ダブルタップ操作）を行った場合に、排他制御部１４は、音声受付部１３をＯＮ状態とし、操作受付部１２をＯＦＦ状態へ移行させることとしてもよい。これによりユーザは、表示された候補リストを見て、ユーザが、たとえば「２番目」や「東京スカイツリー第１駐車場」などといった表示画面に対応した音声を発することで、目的地を設定することができる。

また、ここでは、排他制御部１４が、操作受付部１２と音声受付部１３とのＯＮ／ＯＦＦ状態を相互に切り替える場合について説明したが、これに限られない。たとえば、排他制御部１４は、操作受付部１２と音声受付部１３とを共にＯＮ状態として、操作受付部１２が接触操作を受け付けた場合に、音声受付部１３のみをＯＦＦ状態に移行させるように制御することにしてもよい。

＜４．制御処理＞
次に、本実施形態に係る入力装置１が実行する排他処理手順について図８および図９を用いて説明する。図８は、第１の実施形態に係る入力装置１の第１排他処理手順の一例を示すフローチャートである。図９は、第１の実施形態に係る入力装置１の第２排他処理手順の一例を示すフローチャートである。

なお、ここでは、入力装置１に対して、接触操作が行われた場合の排他処理手順を第１排他処理手順、音声入力が行われた場合の排他処理手順を第２排他処理手順として説明を行う。

図８に示すように、第１排他処理では、入力装置１の排他制御部１４は、検出部１１が操作面５Ａに対する接触を検知すると、操作受付部１２が操作受付ＯＮか否かを判定する（ステップＳ１０１）。ここで、排他制御部１４は、操作受付部１２が操作受付ＯＮであった場合（ステップＳ１０１，Ｙｅｓ）、音声受付部１３による音声の受付を禁止する（ステップＳ１０２）。

つづいて、排他制御部１４は、情報処理部１６を介して車載装置２やスピーカ４を制御し、音声受付禁止中である旨をユーザに報知して（ステップＳ１０３）、処理を終了する。一方、ステップＳ１０１の判定において、操作受付部１２が操作受付ＯＦＦであった場合（ステップＳ１０１，Ｎｏ）、排他制御部１４は、音声受付部１３による音声受付を許可して（ステップＳ１０４）、処理を終了する。

次に、入力装置１の第２排他処理手順について図９を用いて説明する。図９に示すように、まず、入力装置１の排他制御部１４は、マイク３に音声入力が行われると音声受付部１３が音声受付ＯＮか否かを判定する（ステップＳ２０１）。ここで、排他制御部１４は、音声受付部１３が音声受付ＯＮであった場合に（ステップＳ２０１，Ｙｅｓ）、操作受付部１２による操作の受付を禁止する（ステップＳ２０２）。

つづいて、排他制御部１４は、情報処理部１６を介して車載装置２やスピーカ４を制御し、操作受付禁止中である旨をユーザに報知して（ステップＳ２０３）、処理を終了する。一方、ステップＳ２０１の判定において、音声受付部１３が音声受付ＯＦＦであった場合（ステップＳ２０１，Ｎｏ）、排他制御部１４は、操作受付部１２による操作受付を許可して（ステップＳ２０４）、処理を終了する。

＜５．ハードウェア構成＞
本実施形態に係る入力装置１は、図１０に一例として示す構成のコンピュータ６００で実現することができる。図１０は、入力装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。

コンピュータ６００は、ＣＰＵ（Central Processing Unit）６１０と、ＲＯＭ（Read Only Memory）６２０と、ＲＡＭ（Random Access Memory）６３０と、ＨＤＤ（Hard Disk Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。

なお、コンピュータ６００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。

ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、たとえばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。

ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、ディスプレイ等の表示部２Ａ、スピーカ４等の出力部、キーボードやマウス、ボタン、操作部５等の入力部を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、入力部からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示部や出力部に出力する。

たとえば、コンピュータ６００が入力装置１として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行することにより、検出部１１と、操作受付部１２と、音声受付部１３と、排他制御部１４と、振動制御部１５と、情報処理部１６の各機能を実現する。

コンピュータ６００のＣＰＵ６１０は、たとえばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ６４０は、記憶部２０が記憶する情報を記憶することができる。

上述してきたように、本実施形態に係る入力装置１は、検出部１１と、少なくとも一つの振動素子３１と、操作受付部１２と、振動制御部１５と、音声受付部１３と、排他制御部１４とを備える。検出部１１は、操作面５Ａに対するユーザの接触位置を検出する。少なくとも一つの振動素子３１は、操作面５Ａを振動させる。操作受付部１２は、検出部１１の検出結果に基づく所定の入力操作を受け付ける。振動制御部１５は、操作受付部１２によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する。音声受付部１３は、音声入力を受け付ける。排他制御部１４は、操作受付部１２による入力操作の受け付け、および、音声受付部１３による音声入力の受け付けを排他的に制御する。これにより、振動素子３１による入力装置１の振動によって、音声入力に支障をきたすことを抑制することができる。

[第２の実施形態]
つづいて、図１１を用いて本実施形態の変形例を説明する。図１１は、第２の実施形態に係る入力装置１の構成を示すブロック図である。

図１１に示すように、第２の実施形態に係る入力装置１は、第１の実施形態に係る入力装置１の構成の排他制御部１４（図３参照）の代わりに、マイク３の後段、すなわちマイク３と音声受付部１３との間に減衰部１７を備える。なお、図３に示す表示装置１と同じ構成には、同一符号を付し説明を省略する。

減衰部１７は、マイク３から取得する音声データに、振動素子３１ａ、３１ｂの振動によって生じるノイズ成分が含まれている場合、かかるノイズ成分を減衰させる。たとえば、減衰部１７は、マイク３から取得する音声データからかかるノイズ成分を検出した場合に、ノイズ成分の逆位相のパルスを生成する。つづいて、減衰部１７は、かかるパルスを音声データに重畳することで、ノイズ成分が減衰した音声データが得られる。かかる音声データは音声受付部１３へ入力される。

また、入力装置１は、減衰部１７として、特定の周波数帯をカットするフィルタを備える構成としてもよい。かかるフィルタは、たとえば、ノイズ成分の周波数帯をカットするフィルタであり、たとえば、マイク３の後段に設けられる。

これにより、音声受付部１３は、振動素子３１の振動によって生じるノイズ成分が減衰またはカットされた音声データを取得することができる。したがって、本実施形態に係る入力装置１では、振動素子３１が振動し、その振動が伝播してマイク３に入力されたとしても、音声入力へ支障をきたすことを抑制することができる。

たとえば、ユーザが、入力装置１によって、入力操作と音声入力とを同時に実行することができる。たとえば、ユーザが、ハンズフリー通話中であっても、入力装置１で、入力操作をすることができる。

上述してきたように、本実施形態に係る入力装置１は、検出部１１と、少なくとも一つの振動素子３１と、操作受付部１２と、振動制御部１５と、音声受付部１３と、減衰部１７とを備える。検出部１１は、操作面５Ａに対するユーザの接触位置を検出する。少なくとも一つの振動素子３１は、操作面５Ａを振動させる。操作受付部１２は、検出部１１の検出結果に基づく所定の入力操作を受け付ける。振動制御部１５は、操作受付部１２によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する。音声受付部１３は、音声入力を受け付ける。減衰部１７は、振動素子３１の振動によって生じるノイズ成分を減衰する。これにより、入力装置１の振動による音声入力への支障を抑制することができる。

ところで、上述してきた実施形態では、入力装置１に、音声を入力するためのマイク３や、マイク３と音声受付部１３との間に設けた減衰部１７が組込まれたものとして説明した。しかし、入力装置１としては、マイク３および減衰部１７を入力装置１の外部に設けておき、入力装置１との間を、たとえば有線あるいは無線によるライン入力で接続できる構成、すなわち入力システムとして機能する構成であってもよい。

また、上述してきた実施形態では、音声受付部１３が音声入力を受け付け中である場合に、排他制御部１４が操作受付部１２による入力操作の受け付けを停止させる場合について説明したが、音声受付部１３が音声入力を受け付け中である場合に、操作受付部１２による入力操作は受け付けるものの、かかる入力操作に対して振動を利用した触感を付与しないことにしてもよい。

また、上述してきた実施形態では、ユーザが入力装置１のみで入力を行う場合について説明したが、車載装置２の表示部２Ａがタッチパネルなどどの入力装置と表示装置とを兼ねる場合、ユーザは、入力装置１と表示部２Ａとを併用して入力操作を行うこととしてもよい。

上述してきた実施形態により、以下の入力装置１、表示装置、入力装置１の制御方法、およびプログラムが実現できる。

（１）操作面５Ａに対するユーザの接触位置を検出する検出部１１と、操作面５Ａを振動させる少なくとも一つの振動素子３１と、検出部１１の検出結果に基づく所定の入力操作を受け付ける操作受付部１２と、操作受付部１２によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御部１５と、音声入力を受け付ける音声受付部１３と、操作受付部１２による入力操作の受け付け、および、音声受付部１３による音声入力の受け付けを排他的に制御する排他制御部１４とを備える入力装置１。

（２）上記（１）の入力装置１において、排他制御部１４は、音声受付部１３が音声入力の受け付け中である場合に、操作受付部１２に入力操作の受け付けを停止させて振動制御部１５に振動素子３１を停止させる入力装置１。

（３）上記（２）の入力装置１において、排他制御部１４は、音声受付部１３による音声入力の受け付けが終了した場合に、操作受付部１２による入力操作の受け付けを再開させる入力装置１。

（４）上記（１）〜（３）の入力装置１において、排他制御部１４は、操作受付部１２が入力操作の受け付け中である場合に、音声受付部１３に音声入力の受け付けを停止させる入力装置１。

（５）上記（４）の入力装置１において、排他制御部１４は、操作受付部１２による入力操作の受け付けが終了した場合に、音声受付部１３に音声入力の受け付けを再開させる入力装置１。

（６）上記（１）の入力装置１において、排他制御部１４は、音声受付部１３が音声入力の受け付け中である場合に、振動制御部１５に振動素子３１の振幅を低減させることを特徴とする入力装置１。

上記（１）〜（６）の入力装置１によれば、入力装置１の振動による音声入力系への支障を抑制することができる。

（７）操作面５Ａに対するユーザの接触位置を検出する検出部１１と、操作面５Ａを振動させる少なくとも一つの振動素子３１と、検出部１１の検出結果に基づく所定の入力操作を受け付ける操作受付部１２と、操作受付部１２によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御部１５と、振動素子３１の振動によって生じるノイズ成分を減衰させる減衰部１７とを備える入力装置１。

上記（７）の入力装置１によれば、入力装置１が振動し、その振動が伝播して、入力装置１へ入力されたとしても、音声入力へ支障をきたすことを抑制することができる。

（８）上記(１)〜（７）のいずれか一つに記載の入力装置１と、入力装置１によって受け付けられた入力操作および音声入力に応じた画像を表示する表示部とを備える表示装置。

上記（８）の表示装置によれば、ユーザは、表示部に表示される画像によっても入力操作を確認することができる。これにより、ユーザの操作性が向上する。

(９)入力装置１の制御方法であって、操作面５Ａに対するユーザの接触位置を検出する検出工程と、少なくとも一つの振動素子３１によって操作面５Ａを振動させる振動工程と、検出部１１の検出結果に基づく所定の入力操作を受け付ける操作受付工程と、操作受付工程によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御工程と、音声入力を受け付ける音声受付工程と、操作受付工程における入力操作の受け付け、および、音声受付工程における音声入力の受け付けを排他的に制御する排他制御工程とを含む入力装置の制御方法。

上記（９）の入力装置１の制御方法によれば、入力装置１の振動による音声入力系への支障を抑制することができる入力装置１の制御方法を提供することができる。

(１０)入力装置１の制御方法であって、操作面５Ａに対するユーザの接触位置を検出する検出工程と、少なくとも一つの振動素子３１によって操作面５Ａを振動させる振動工程と、検出工程の検出結果に基づく所定の入力操作を受け付ける操作受付工程と、操作受付工程によって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御工程と、振動素子３１の振動によって生じるノイズ成分を減衰させる減衰工程とを含む入力装置の制御方法。

上記（１０）の入力装置１の制御方法によれば、入力装置１が振動し、その振動が伝播して、入力装置１へ入力されたとしても、音声入力へ支障をきたすことを抑制することができる入力装置１の制御方法を提供することができる。

(１１)入力装置１の制御プログラムであって、操作面５Ａに対するユーザの接触位置を検出する検出ステップと、少なくとも一つの振動素子３１によって操作面５Ａを振動させる振動ステップと、検出ステップの検出結果に基づく所定の入力操作を受け付ける操作受付ステップと、操作受付ステップによって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御ステップと、音声入力を受け付ける音声受付ステップと、操作受付ステップによる入力操作の受け付け、および、音声受付ステップによる音声入力の受け付けを排他的に制御する排他制御ステップとをコンピュータに実行させるプログラム。

上記（１１）のプログラムによれば、入力装置１の振動による音声入力系への支障を抑制することができるプログラムを提供することができる。

(１２)入力装置１のプログラムであって、操作面５Ａに対するユーザの接触位置を検出する検出ステップと、少なくとも一つの振動素子３１によって操作面５Ａを振動させる振動ステップと、検出ステップの検出結果に基づく所定の入力操作を受け付ける操作受付ステップと、操作受付ステップによって受け付けられた入力操作に応じた振動状態となるように振動素子３１を制御する振動制御ステップと、音声入力を受け付ける音声受付ステップと、振動素子３１の振動によって生じるノイズ成分を減衰させる減衰ステップとをコンピュータに実行させるプログラム。

上記（１２）の入力装置１のプログラムによれば、入力装置１が振動し、その振動が伝播して、入力装置１へ入力されたとしても、音声入力へ支障をきたすことを抑制することができる入力装置１のプログラムを提供することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 入力装置
２ 車載装置
３ マイク
４ スピーカ
５ 操作部
１０ 制御部
１１ 検出部
１２ 操作受付部
１３ 音声受付部
１４ 排他制御部
１５ 振動制御部
１６ 情報処理部
１７ 減衰部
２０ 記憶部
２１ 操作情報
３０ 振動部
３１ 振動素子

Claims (5)

1. 操作面に対するユーザの接触位置を検出する検出部と、
   前記操作面を振動させる少なくとも一つの振動素子と、
   前記検出部の検出結果に基づく入力操作を受け付ける操作受付部と、
   前記操作受付部によって受け付けられた前記入力操作に応じた振動状態となるように前記振動素子を制御する振動制御部と、
   音声入力部が取得した音声データの音声入力を受け付ける音声受付部と、
   前記音声入力部と前記音声受付部との間に設けられ、前記音声データから前記振動素子の振動によって生じるノイズ成分を減衰する減衰部と、
   を備え、
   前記振動制御部は、
   前記音声受付部によって前記音声入力が受け付け中である場合に前記操作受付部によって前記入力操作を受け付けたときには、前記振動素子による振動を停止すること
   を特徴とする入力装置。
2. 前記振動制御部は、
   前記音声受付部による前記音声入力の受け付けが終了した場合に、前記入力操作に応じた前記振動素子の制御を再開させること
   を特徴とする請求項１に記載の入力装置。
3. 請求項１または２に記載の入力装置と、
   前記入力装置によって受け付けられた前記入力操作および前記音声入力に応じた画像を表示する表示部と
   を備えることを特徴とする表示装置。
4. 入力装置の制御方法であって、
   操作面に対するユーザの接触位置を検出する検出工程と、
   少なくとも一つの振動素子によって前記操作面を振動させる振動工程と、
   前記検出工程の検出結果に基づく入力操作を受け付ける操作受付工程と、
   前記操作受付工程によって受け付けられた前記入力操作に応じた振動状態となるように前記振動素子を制御する振動制御工程と、
   音声入力工程が取得した音声データの音声入力を受け付ける音声受付工程と、
   前記音声入力工程と前記音声受付工程との間に設けられ、前記音声データから前記振動素子の振動によって生じるノイズ成分を減衰する減衰工程と、
   を含み、
   前記振動制御工程は、
   前記音声受付工程によって前記音声入力が受け付け中である場合に前記操作受付工程によって前記入力操作を受け付けたときには、前記振動素子による振動を停止すること
   を特徴とする入力装置の制御方法。
5. 操作面に対するユーザの接触位置を検出する検出ステップと、
   少なくとも一つの振動素子によって前記操作面を振動させる振動ステップと、
   前記検出ステップの検出結果に基づく入力操作を受け付ける操作受付ステップと、
   前記操作受付ステップによって受け付けられた前記入力操作に応じた振動状態となるように前記振動素子を制御する振動制御ステップと、
   音声入力ステップが取得した音声データの音声入力を受け付ける音声受付ステップと、
   前記音声入力ステップと前記音声受付ステップとの間に設けられ、前記音声データから前記振動素子の振動によって生じるノイズ成分を減衰する減衰ステップと、
   をコンピュータに実行させ、
   前記振動制御ステップは、
   前記音声受付ステップによって前記音声入力が受け付け中である場合に前記操作受付ステップによって前記入力操作を受け付けたときには、前記振動素子による振動を停止すること
   を特徴とするプログラム。
   

Images