JP6103509B2 - タッチパネルの制御方法、装置、プログラムおよびストレージ - Google Patents

Description

本発明は、タッチ位置が検出可能なパネルに対してタッチ操作による入力が行われた際に、タッチ操作による入力が受け付けられたことを、パネルを振動させることによりユーザに出力するものである。特に、複数の指でタッチ操作を行った際に、複数の指おのおのに同時に異なる振動を提示することにより、入力が受け付けられたことをユーザに提示する触覚入出力装置および電子機器に関する。

近年、スマートフォン、タブレット、車載用ナビゲーション機器、パソコン、ゲーム機、ＡＴＭ、券売機など様々な機器に、タッチパネルやタッチパッドが搭載されている。これらの機器では、ユーザがタッチパネルに触れた位置を検出し、タッチ位置に表示されているＧＵＩを操作する。一般に、タッチパネルは機械的なボタンスイッチとは異なり、ＧＵＩを操作したときにボタンスイッチを押したような感覚が得られないため、ＧＵＩを操作したときにタッチパネルを振動させることにより、入力を受け付けた結果をユーザに認識させる技術が実用化されている。

特許文献１には、タッチパネルを振動させる振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。

特許第３８８８０９９号

特許文献１には、振動パターンによってタッチパネルに触れている操作者の指先に触角を通じて情報の提供、また触れた状態の指先を表示されている所定のボタン位置まで誘導することが開示されている。しかしながら、特許文献１記載の技術によれば、操作対象のボタン位置まで指を誘導する必要があるため、素早い入力操作ができないという課題があった。そこで、本発明は、パネル振動によってユーザが入力結果の確認を可能とする触覚入出力装置を提供する。

本発明の一態様に係るタッチパネルの制御方法は、タッチパネルへのマルチタッチ入力として、第１タッチ入力と第２タッチ入力を検出し、前記第１タッチ入力の前記タッチパネルにおける第１位置と、前記第２タッチ入力の前記タッチパネルにおける第２位置を判定し、前記第１タッチ入力と前記第２タッチ入力の（ｉ）各タッチタイプ、（ｉｉ）検出順序、（ｉｉｉ）前記第１位置及び前記第２位置、（ｉｖ）前記第１位置及び前記第２位置それぞれの時系列変化、のすくなくともいずれか１つ又は複数の組み合わせを含む、マルチタッチ入力の状態情報を判定し、前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、前記タッチパネルに接続されるアクチュエータにより、前記触感位置の近傍を振動させる。
また、本発明の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第１のタッチ位置とし、前記複数のタッチ位置のうち第１のタッチ位置以外のタッチ位置を第２のタッチ位置として決定する振動提示位置決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、記録媒体またはストレージで実現されてもよく、システム、方法、集積回路、コンピュータプログラム記録媒体およびストレージの任意な組み合わせで実現されてもよい。

開示された実施の形態が提供する更なる利益や利点は、明細書および図面から明らかになる。それらの利益や利点は、さまざまな実施の形態や明細書および図面の特徴によって個々にもたらされる場合があり、１つ以上の利益や利点を得るために、全てが必ずしも提供される必要はない。

本発明の一態様に係る触覚入出力装置の効果の一つは、ユーザがタッチしているどのタッチ位置に振動を提示させるかを制御することにより受け付けられた設定情報を適切にユーザに確認させることができる。

図１は、実施の形態１における触覚入出力装置の構成を示すブロック図である。 図２は、実施の形態１における触覚入出力装置の構造を示す図である。 図３は、実施の形態１における触覚入出力装置で用いる設定情報の一例を示す図である。 図４は、実施の形態１における触覚入出力装置の動作を示すフローチャートである。 図５Ａは、コンテンツを選択するタッチ入力とパネルの振動位置の一例を示す図である。 図５Ｂは、音量を上げるタッチ入力とパネルの振動位置の一例を示す図である。 図５Ｃは、音量を下げるタッチ入力とパネルの振動位置の一例を示す図である。 図６Ａは、再生または一時停止するタッチ入力とパネルの振動位置の一例を示す図である。 図６Ｂは、コンテンツを巻戻しするタッチ入力とパネルの振動位置の一例を示す図である。 図６Ｃは、コンテンツを早送りするタッチ入力とパネルの振動位置の一例を示す図である。 図７Ａは、触感信号の一例を示す図である。 図７Ｂは、触感信号の一例を示す図である。 図８は、実施の形態１における多点同時振動制御部の構成の一例を示すブロック図である。 図９は、アクチュエータからパネル上のある位置に振動が伝播する経路を示す図である。 図１０Ａは、ＴＳＰの一例を示す図である。 図１０Ｂは、ＴＳＰ応答の一例を示す図である。 図１０Ｃは、ＴＳＰの逆関数の一例を示す図である。 図１０Ｄは、ＴＳＰ応答から算出されるインパルス応答の一例を示す図である。 図１１は、実施の形態１における多点同時振動制御部の動作を示すフローチャートである。 図１２は、実施の形態１における多点同時振動制御部の処理動作を説明するための図である。 図１３は、フィルタの一例を示す図である。 図１４は、駆動信号の一例を示す図である。 図１５は、各タッチ位置におけるパネルの振動の実験結果を示す図である。 図１６は、実施の形態２における触覚入出力装置の構成を示すブロック図である。 図１７は、実施の形態２における触覚入出力装置の動作を示すフローチャートである。 図１８は、実施の形態２における触覚入出力装置で用いる設定情報の一例を示す図である。 図１９Ａは、トラック設定を下げるタッチ入力の一例を示す図である。 図１９Ｂは、トラック設定を上げるタッチ入力の一例を示す図である。 図２０は、実施の形態２における触覚入出力装置の構成を示すブロック図である。 図２１は、階層化された設定情報の一例を示す図である。 図２２は、実施の形態２における触覚入出力装置の動作を示すフローチャートである。 図２３は、階層化された設定情報の一例を示す図である。

本発明の一態様に係るタッチパネルの制御方法は、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる。

この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。

本発明の一態様に係るタッチパネル制御装置は、マルチタッチが入力できるように構成されたタッチパネルと、複数のアクチュエータと、プロセッサを有し、前記プロセッサは、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出し、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出し、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定し、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行し、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させる制御を行なうように構成されている。

この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。

本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の空間順序と対応付けて記憶する設定情報記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間関係を表す空間順序を算出し、算出した前記空間順序と、前記設定情報記憶部に記憶されている空間順序とを比較して、前記空間順序に対応する設定情報を決定する順序入力判定部と、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を、第１のタッチ位置とし、前記複数のタッチ位置のうち第１のタッチ位置以外のタッチ位置を第２のタッチ位置として決定する振動提示位置決定部と、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。

この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

本発明の別の一態様に係る触覚入出力装置は、さらに、前記順序入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する提示振動決定部とを備える。

この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。

本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、タッチ入力する設定情報をタッチ位置の移動方向と対応付けて記憶する設定情報記憶部と、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記設定情報記憶部に記憶されている移動方向とを比較して、対応する設定情報を決定する移動入力判定部と、前記移動入力判定部により決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも１つに基づいて変更する設定情報変更部と、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する振動提示条件決定部と、前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成する提示振動決定部と、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。

この構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。

本発明の別の一態様に係る触覚入出力装置では、前記振動提示条件決定部は、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、タッチ位置の移動中および／または前記移動の停止位置近傍で前記タッチ位置が継続する場合、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

この構成によれば、移動入力の停止後においても、受け付けられた設定情報や設定値を振動により確認することができる。

本発明の別の一態様に係る触覚入出力装置は、ユーザによるタッチ入力を受け付けて結果を振動により出力するパネルを含む触覚入出力装置であって、パネルと、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するタッチ情報取得部と、前記パネルの互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータと、前記機器の設定情報を複数の選択モードに階層化してタッチ位置の空間順序と対応付けて記憶する設定情報階層化記憶部と、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報階層化記憶部に記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記選択されたタッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行し、さらに、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ−１階層の選択モードへ移行する階層化情報入力判定部と、前記階層化情報入力判定部により決定された前記設定情報の設定値を変更する設定情報変更部と、前記階層ごとおよび／または選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定する階層別振動提示条件決定部と、前記第１のタッチ位置に提示する振動を示す触感信号を、前記第１の入力パターン、前記第２の入力パターン、前記設定情報の設定値、または階層値Ｎの少なくとも１つに基づいて決定する提示振動決定部と、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する多点同時振動制御部とを備える。

この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。

本発明の別の一態様に係る触覚入出力装置では、前記第２の入力パターンは、各選択モードにおいて、選択肢の数と同数のタッチ位置が検出されており、かつ前記タッチ位置とは別にタッチ位置が検出される入力パターンである。

この構成によれば、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、ユーザは、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができる。

本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。

この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

本発明の別の一態様に係る触覚入出力方法は、さらに、決定された前記設定情報の設定値を変更し、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定情報の設定値に基づいて決定する。

この構成によれば、ユーザは受け付けられた設定情報の設定値を触覚信号による振動によって確認することができる。

本発明の別の一態様に係る触覚入出力方法は、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法において、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の移動方向を算出し、前記タッチ位置の移動方向に対応する設定情報を決定し、決定された前記設定情報の設定値を、前記タッチ位置の移動の有無、移動距離、移動回数、移動速度の少なくとも１つに基づいて変更し、前記複数のタッチ位置の移動方向が同一のとき、前記同一の移動方向に対する先頭順序のタッチ位置を算出し、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に提示する振動を示す触感信号を、前記設定情報の設定値に基づいて生成し、前記第１のタッチ位置に振動を提示し、前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。

本構成によれば、複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できる。

本発明の一態様に係るコンピュータプログラムは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御する触覚入出力方法のためのコンピュータプログラムであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得し、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出し、前記空間順序と関連付けられた設定情報を決定し、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定し、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する、触覚入出力方法をコンピュータに実行させるためのコンピュータプログラムである。

この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

本発明の別の一態様に係るストレージは、ユーザによるタッチ入力に応じてパネルを振動させ、前記パネルの近傍の互いに異なる位置に設置され、前記パネルを振動させるための複数のアクチュエータを制御するためのコンピュータプログラムが格納されたストレージであって、前記パネルの複数の位置で同時に検出されるタッチ位置を取得するインストラクションと、前記パネルで同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出される複数のタッチ位置の空間順序を算出するインストラクションと、前記空間順序と関連付けられた設定情報を決定するインストラクションと、前記複数のタッチ位置のうち、前記決定された設定情報と対応するタッチ位置を振動を提示する第１のタッチ位置とし、前記複数のタッチ位置のうち、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定するインストラクションと、前記第１のタッチ位置に所定の振動を提示し、かつ前記第２の位置に前記所定の振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御するインストラクションとを含むコンピュータプログラムが格納されたストレージである。

この構成によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

本発明の別の一態様に係るストレージは、タッチパネル表面またはその近傍にマルチタッチ入力された、第１タッチ入力と第２タッチ入力を含む少なくとも２つの入力を検出するインストラクションと、前記第１タッチ入力が入力された位置である第１位置と、前記第２タッチ入力が入力された位置である第２位置を検出するインストラクションと、前記第１タッチ入力と前記第２タッチ入力の検出順序を判定するインストラクションと、前記第１位置と前記第２位置との位置関係と前記検出順序に基づいて指定の動作を選択及び実行するインストラクションと、前記第１位置の近傍と前記第２位置の近傍の一方を振動させるステップにおいて、第１タッチ入力と第２タッチ入力のうち新しく検出された１つに対応する位置近傍を振動させるインストラクション、とを含むコンピュータプログラムが格納されたストレージである。

この構成によれば、ユーザのどちらのタッチ位置に振動を提示するかを制御することにより、タッチ入力によりどの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。

本明細書において、マルチタッチとは、パネルに同時に接触している状態を有する複数のタッチを意味する。換言すれば、マルチタッチとは、ある時点においてパネルに接触している複数のタッチを意味する。つまり、マルチタッチとは、パネル上の複数の位置に対する複数のタッチであって、時間的に重複する複数のタッチを意味する。したがって、マルチタッチは、同時に開始された複数のタッチだけではなく、異なる時刻に開始され、ある時点において同時に検出される複数のタッチを含む。具体的には、第１タッチが開始された後に、第１タッチが継続された状態で第２タッチが開始された場合、第２タッチの開始時点において、第１タッチと第２タッチとはマルチタッチに相当する。

（本発明の基礎となった知見）
発明者らは、タッチパネルを縦横に水平振動させることで指をＧＵＩ画面上に表示されたボタンまで誘導する技術では、素早い入力操作ができないという課題を発見した。また、複数の設定情報を入力する場合や、階層メニューなど複雑な操作においては、頻繁に指を誘導する必要があり、入力操作が煩雑になるという課題を発見した。

本発明は、例えば、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から１つを選択する場合、検出した複数のタッチ位置の空間順序に基づいて、あらかじめ記憶されている設定情報の各々とタッチ位置の空間順序との対応を特定し、ユーザが選択する設定情報に対応する空間順序のタッチ位置にある指を一旦パネルから離して所定の時間内に再度パネルにタッチする入力（以下、タップ入力と呼ぶ）を検出して、タップ入力したタッチ位置に振動を提示し、かつタップ入力したタッチ位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指に振動を提示させるかを制御することにより受け付けられた設定情報を確認させることにより、パネルを注視することなく、パネル上の任意の位置にタッチして、複数の設定情報の選択とパネル振動による入力結果の確認を可能とする触覚入出力装置を提供する。あらかじめアイコンやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などにより入力領域を設定して、その入力領域の位置のみでユーザに入力させる代わりに、パネル上の任意の位置で、パネルを注視することなく、複数の設定情報の選択とパネル振動による入力結果の確認ができる。

以下本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
実施の形態１は、タッチ入力するパネルを注視することなくパネルを振動させる触覚フィードバックに基づいて機器を操作することを目的とする。具体的には、ユーザが複数のタッチ位置を同時に検出できるパネルを操作して複数の設定情報から１つを選択する場合に、タッチ位置の空間順序に対応して記憶されている設定情報を、対応する空間順序のタッチ位置でユーザが指をタップすることにより選択する際に、タップした指のタッチ位置にのみ振動を提示し、タップした指の位置以外のタッチ位置に振動を提示しないことにより、すなわち、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザが容易に確認でき、かつタッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩ（例えば、アイコンやボタン）を選択させるのではなく、パネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできるよう考慮したものである。

図１は、本発明の実施の形態における触覚入出力装置の構成を示すブロック図である。

本実施形態の触覚入出力装置１００は、パネル１０１、アクチュエータ１０２、タッチ情報取得部１０３、設定情報記憶部１０４、順序入力判定部１０５、設定情報変更部１０６、振動提示位置決定部１０７、提示振動決定部１０８、多点同時振動制御部１０９を備える。各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ１９０などのプログラム実行部が、ハードディスクまたは半導体メモリなどのストレージや記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。以下、各構成要素について説明する。

＜パネル１０１＞
パネル１０１は振動を伝達する部材であり、ユーザのタッチ操作を受け付け、振動することによりタッチ操作が受け付けられたことをユーザに通知する。パネルの材質としては、ガラス、ポリカ、アクリル、ＡＢＳなどユーザのタッチ操作に対して耐久性のあるものが好ましい。しかしながらこれらに限定されるものではなく、ユーザに振動がフィードバックできる部材であればよい。

なお、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などは、特に限定される必要はない。ただし、パネル１０１の形状、大きさ、厚さ、硬さおよび固定方法などに依存して、アクチュエータ１０２からパネル１０１上の各位置（以後、「点」とも呼ぶ）までの振動の伝達特性は変化する。

＜アクチュエータ１０２＞
アクチュエータ１０２は、パネル１０１を振動させ、ユーザに触覚を提示する。アクチュエータ１０２として、例えば、圧電素子、振動モータ、ボイスコイル、人工筋肉などを用いることができる。

図２は、アクチュエータ１０２のパネル１０１への配置の一例である。アクチュエータ１０２は、例えば、接着剤など（図示しない。アクチュエータ１０２が圧電素子の場合、エポキシ系の接着剤などを用いればよい。）でパネル１０１に固定する。

本実施の形態では、アクチュエータ１０２の数を、パネル１０１をタッチ操作するタッチ位置の数以上とする例で説明する。これにより、同時に検出されるアクチュエータ１０２の数Ｍ（Ｍは２以上の整数）と同数のタッチ位置に対して、互いに異なる振動を提示することができる。本実施の形態においては、図２に示すように、アクチュエータ１０２の数は４、タッチ位置の数は２（指１および指２）とした。

アクチュエータ１０２の配置位置は、特に限定される必要はない。例えば、複数のアクチュエータ１０２は、パネル１０１を効率良く振動させることができるように配置されればよい。また、アクチュエータ１０２の数を４としたが、これに限るものではない。

＜タッチ情報取得部１０３＞
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。

説明の便宜上、図２に示すように、例えば２本の指、指１および指２でタッチ操作されている場合、指１および指２の２つのタッチ位置をそれぞれＰ_１（ｘ_１、ｙ_１）、Ｐ_２（ｘ_２、ｙ_２）で表す。図２では、紙面に対してパネル１０１の左上隅を原点Ｏとする２次元平面のｘｙ座標を用いてタッチ位置を表す。

タッチ情報取得部１０３としては、例えば静電容量方式や抵抗膜方式などのマルチタッチパネルを用いることができる。例えば、タッチ情報取得部１０３が静電容量方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる静電容量の変化に基づいて複数のタッチ位置を取得する。また例えば、タッチ情報取得部１０３が感圧方式のマルチタッチパネルで構成される場合、タッチ情報取得部１０３は、マルチタッチによる圧力の変化に基づいて、複数のタッチ位置を取得する。

なお、マルチタッチの検出は、静電容量方式あるいは感圧方式のマルチタッチパネルに限定される必要はない。どのような方式のマルチタッチ検出方式であっても構わない。例えば、指の位置をＣＣＤやＣＭＯＳカメラで撮影して画像処理により取得してもよい。あるいはパネル１０１を透明のアクリル部材としてパネル１０１の側壁から赤外光を入射すると全反射の性質によりパネル１０１内に赤外光が閉じ込められるが、タッチ操作によるパネル１０１のひずみにより漏れた赤外光を、赤外フィルタを備えたカメラにより検出するＦＴＩＲ（Ｆｒｕｓｔｒａｔｅｄ Ｔｏｔａｌ Ｉｎｔｅｒｎａｌ Ｒｅｆｌｅｃｔｉｏｎ）方式などを用いてもよい。

＜設定情報記憶部１０４＞
設定情報記憶部１０４は機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などを、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶するものでハードディスクや半導体メモリなどのメモリからなる。

＜順序入力判定部１０５＞
順序入力判定部１０５はパネル１０１で同時に検出される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、前記設定情報記憶部１０４に記憶されている空間順序とを比較して、対応する設定項目を決定する。

＜設定情報変更部１０６＞
設定情報変更部１０６は順序入力判定部１０５で決定された設定項目の設定値を変更する。

＜振動提示位置決定部１０７＞
振動提示位置決定部１０７は、前記決定された設定項目と対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、同時に検出されている第１のタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。すなわち、順序入力判定部１０５により決定された機器の設定項目に対応する順序のタッチ位置を振動させる第１のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第２のタッチ位置として決定する。これによりユーザは、ユーザが決定した設定項目が機器に受け付けられたことを、パネル１０１にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。

＜提示振動決定部１０８＞
提示振動決定部１０８は、前記第１のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値に基づいて決定する。

＜多点同時振動制御部１０９＞
多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、かつ前記第２の位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動して前記パネルの振動をタッチ位置別に同時に制御する。

＜動作＞
上記のように構成された本実施の形態１の触覚入出力装置１００の動作を図３〜図１５に基づいて説明する。

図４は本発明の実施の形態における触覚入出力装置１００の動作を示すフローチャートであり、これに基づいて本実施の形態１における触覚入出力装置１００の動作を詳細に説明する。

本実施の形態１では、例えば、図５Ａに示すように、モニタ１１０に表示される映像コンテンツ１１１を再生制御する電子機器１０に触覚入出力装置１００を搭載した例で説明する。ここでは、モニタ１１０と触覚入出力装置１００は物理的に離れたコントローラに搭載されている例で説明する。コントローラとしては、例えば、タッチパネルやタッチパッドを搭載したリモートコントローラや、ネットワーク接続されたタブレットやスマートフォンの形態をとることができる。この例により、モニタ１１０に表示されている映像コンテンツ１１１を注視した状態で、ユーザの手元のパネル１０１を注視することなく、例えば音量設定や再生設定の操作を可能とする本実施の形態の動作について説明する。

（ステップＳ１０１：タッチ情報取得）
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を取得する。

図５Ａの例では、指１のパネル１０１上のｘ軸上のタッチ位置ｘ_１を時刻ｔ１で取得する。タッチ位置ｘ_１は例えば１０ｍｓなどのサンプリング間隔で時系列情報として取得する。図５Ｂの例では、指１のパネル１０１上のｘ軸上のタッチ位置ｘ_１を時刻ｔ１で取得した後、パネル１０１上で指１のタッチ位置ｘ_１が検出されている状態で、時刻ｔ２でタッチ位置ｘ_１とは異なる指２による別のｘ軸上のタッチ位置ｘ_２を検出する。図５Ｃの例では、パネル１０１上で時刻ｔ１で検出された指２のｘ軸上のタッチ位置ｘ_１が検出されている状態で、時刻ｔ２においてｘ軸上のタッチ位置ｘ_１とは異なる指１による別のｘ軸上のタッチ位置ｘ_２を検出する。

（ステップＳ１０２：順序入力判定）
順序入力判定部１０５はパネル１０１で継続して検出されるタッチ位置およびパネル１０１で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。

設定情報記憶部１０４には、機器の設定情報として、設定項目、入力項目、入力項目の選択による設定値の増減値、設定値などが、タッチ数やタッチ位置の空間順序などタッチ入力に関する情報を対応付けて記憶されている。

図３に設定情報の一例を示す。図３に示すように、機器の設定項目は、例えば、機器が映像や音楽などのコンテンツを再生する機器の場合にはコンテンツ選択、音量設定、早送り／巻戻しなどの再生設定があり、それぞれ設定値としては音量レベルや巻戻し速度・早送り速度などを表す数値を記憶する。ユーザがタッチ入力により選択する入力項目として、コンテンツ選択については、指１本でタッチ入力した第１順序のタッチ位置を入力項目である「タッチ位置座標」と対応づけて記憶する。音量設定については、第１順序のタッチ位置による入力項目である「音量ＤＯＷＮ」、第２順序のタッチ位置による入力項目である「音量ＵＰ」として、同時に検出される２つのタッチ位置の空間順序と対応付けて記憶する。また、再生設定については、第１順序のタッチ位置による入力項目を「巻戻し」、第２順序のタッチ位置による入力項目を「再生／一時停止」、第３順序のタッチ位置による入力項目を「早送り」として、同時に検出される３つのタッチ位置の空間順序と対応づけて記憶する。

なお、一度に選択できる入力項目の数は、単純にはタッチ情報取得部１０３で検出可能なタッチ数であるが、同時に利用するタッチ位置を組み合わせることにより、タッチ数より多くの設定項目を設定することもできる。

順序入力判定部１０５は、タッチ位置の検出順序と空間順序に基づいて図３に示す［１］〜［６］の入力判定を行う。ここでは、検出順序が最新であるタッチ位置の空間順序に対応付けられた入力項目を選択する例で説明する。

＜コンテンツ選択の入力判定＞
入力判定［１］について、図３、図５Ａ用いてコンテンツ選択の入力判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が１のとき、図３に示すように設定情報記憶部１０４に記憶されているコンテンツ選択の入力と判定し、図５Ａに示すように、指１での入力である第１順序のタッチ位置ｘ_１と対応づけて図３に示すように記憶されている入力項目であるタッチ位置座標を選択する。

＜音量設定の入力判定＞
入力判定［２］および入力判定［３］について、図３、図５Ｂおよび図５Ｃを用いて音量設定の入力判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が２のとき、図３に示すように設定情報記憶部１０４に記憶されている音量設定を選択する。次に、２つのタッチ位置の検出順序と空間順序を判定して音量設定を変更する例を説明する。ここでは、第１順序のタッチ位置による入力項目を「音量ＤＯＷＮ」、第２順序のタッチ位置による入力項目を「音量ＵＰ」として記憶する例で説明する。図５Ｂおよび図５Ｃを用いて、パネル１０１上でタッチ位置の検出順序および空間順序の判定を、本実施の形態では水平方向（パネルの長軸方向）であるｘ座標上で実行する例で説明するが、これに限定されずどの方向の座標上で判定できる。例えば、垂直方向であるｙ座標上で実行してもよい。

入力判定［３］について説明する。図５Ｂでは、指１によるタッチ位置ｘ_１が継続して検出されている状態から、指２によりパネル１０１上で別のタッチ位置ｘ_２が検出された状態を示しており、検出順序はｘ_１、ｘ_２であり、最新のタッチ位置はｘ_２と判定する。このとき、最新のタッチ位置ｘ_２はｘ_１＜ｘ_２を満たしており、ｘ座標上で座標値の小さいものからタッチ位置を順序付けると、ｘ_１は第１順序のタッチ位置、ｘ_２は第２順序のタッチ位置と順序付けられ、指２による最新のタッチ位置ｘ_２による入力は第２順序のタッチ位置による入力であると判定し、「音量ＵＰ」の入力項目を選択したと決定する。

入力判定［２］について説明する。図５Ｃの場合、指２によるタッチ位置ｘ_１が継続して検出されている状態から、指１によりパネル１０１上で別のタッチ位置ｘ_２が検出された状態を示しており、検出順序はｘ_１、ｘ_２であり、最新のタッチ位置はｘ_２と判定する。指１による最新タッチ位置ｘ_２はｘ_２＜ｘ_１を満たしており、ｘ座標上で座標値の小さいものからタッチ位置を順序付けると、別のタッチ位置ｘ_２は第１順序のタッチ位置、ｘ_１は第２順序のタッチ位置と順序付けられ、指１による最新タッチ位置ｘ２による入力は第１順序のタッチ位置による入力であると判定し、「音量ＤＯＷＮ」の入力項目を選択したと決定する。

＜再生設定の入力判定＞
入力判定［４］〜入力判定［６］について、図３、図６Ａ，図６Ｂおよび図６Ｃを用いて、再生設定の判定について説明する。タッチ情報取得部１０３により検出されるタッチ数が３のとき、図３に示すように設定情報記憶部１０４に記憶されている再生設定を選択する。次に、３つのタッチ位置の検出順序と空間順序を判定して再生設定を変更する例を説明する。ここでは、第１順序のタッチ位置による入力項目を「巻戻し」、第２順序のタッチ位置による入力項目を「再生／一時停止」の切り替え、第３順序のタッチ位置による入力項目を「早送り」として記憶する例で説明する。図６Ａ、図６Ｂおよび図６Ｃを用いて、パネル１０１上でタッチ位置の検出順序および空間順序の判定をｘ座標上で実行する例で説明する。

入力判定［５］について説明する。図６Ａはユーザが「再生／一時停止」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ_１、ｘ_２、ｘ_３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を再生するために、指２を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチする入力を行う。この入力を以下「タップ入力」と呼ぶ。このとき、指１および指３によるタッチ位置ｘ_１およびｘ_３が継続して検出されている状態から、指２による別のタッチ位置ｘ_２が検出されることになり、検出順序はｘ_２のタッチ位置が最新となる。また、タッチ位置ｘ_１、ｘ_２、ｘ_３の順序関係は、ｘ_１＜ｘ_２＜ｘ_３であり、ユーザによる指２によるタップ入力は最新の検出順序のタッチ位置ｘ_２で、第２順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「再生／一時停止」の入力項目が選択されたと判定する。

入力判定［４］について説明する。図６Ｂはユーザが「巻戻し」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ_１、ｘ_２、ｘ_３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を巻戻しするために、指１を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチするタップ入力を行う。このとき、指２および指３によるタッチ位置ｘ_２およびｘ_３が継続して検出されている状態から、指１による別のタッチ位置ｘ_１が検出されることになり、検出順序はｘ_１のタッチ位置が最新となる。また、タッチ位置ｘ_１、ｘ_２、ｘ_３の順序関係は、ｘ_１＜ｘ_２＜ｘ_３となり、ユーザによる指１によるタップ入力は最新の検出順序のタッチ位置ｘ_１で、第１順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「巻戻し」の入力項目が選択されたと判定する。

入力判定［６］について説明する。図６Ｃはユーザが「早送り」の入力を行う例である。まず、指１、指２、指３がそれぞれタッチ位置ｘ_１、ｘ_２、ｘ_３で検出されている。このとき、タッチ数が３であるから、順序入力判定部１０５は、設定情報記憶部１０４に図３に示すように記憶されている設定情報から、再生設定についての入力であると判定する。次に、ユーザは映像コンテンツ１１１を早送りするために、指３を一旦パネル１０１から離し、所定の時間内（例えば２００ｍｓ以内）に再度パネル１０１にタッチするタップ入力を行う。このとき、指１および指２によるタッチ位置ｘ_１およびｘ_２が継続して検出されている状態から、指３による別のタッチ位置ｘ_３が検出されることになり検出順序はｘ_３のタッチ位置が最新となる。また、タッチ位置ｘ_１、ｘ_２、ｘ_３の順序関係は、ｘ_１＜ｘ_２＜ｘ_３となり、ユーザによる指３によるタップ入力は最新の検出順序のタッチ位置ｘ_３で、第３順序のタッチ位置となり、図３に示すように設定情報記憶部１０４に記憶されている「早送り」の入力項目が選択されたと判定する。

（ステップＳ１０３：設定情報変更）
設定情報変更部１０６は順序入力判定部１０５で決定された設定項目の設定値を前記最新のタッチ位置のタッチ時に変更する。

＜コンテンツ選択の設定値変更＞
図３、図５Ａ用いてコンテンツ選択の設定値変更について説明する。ステップＳ１０２で選択された入力項目であるタッチ位置座標に基づいて、図３の入力判定［１］の設定値である選択枠表示座標を変更する（図５Ａの選択枠表示１１２の位置座標）。ここでは、図５Ａに示すタッチ位置座標ｘ_１に基づいて、モニタ１１０に表示されているコンテンツＡ，Ｂ，またはＣの選択状況を選択枠表示１１２により表示し、例えばタッチ位置ｘ_１をパネル１０１から指１を離した際にコンテンツ選択を確定する。

＜音量設定の設定値変更＞
図３、図５Ｂおよび図５Ｃを用いて、タッチ情報取得部１０３により取得されたタッチ数が２のときの音量設定の設定値を変更する例について説明する。まず、図５Ｂに示すように、ステップ１０２Ｓで順序入力判定部１０５により判定される指２による最新のタッチ位置ｘ_２は第２順序のタッチ位置であり、対応する入力項目である「音量ＵＰ」が選択されたとき、図３に示す設定値の増減値を用いて設定値を変更する。具体的には、第２順序のタッチ位置でのタップ入力が検出されたとき、設定値の増減値により設定値を増減させる。「音量ＵＰ」の設定値の増減値ΔＶは＋１であり、音量レベルをＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。図３の例では、音量設定の設定値は音量レベルが［０，４９］であり、現状の設定値がレベル１５であるから、このとき音量レベルの設定値は１５＋１＝１６となる。次に、図５Ｃに示すように、ステップ１０２Ｓで順序入力判定部１０５により判定される指２による最新のタッチ位置ｘ_２は第１順序であり、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは−１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。

＜再生設定の設定値変更＞
図３、図６Ａ、図６Ｂおよび図６Ｃを用いて、タッチ情報取得部１０３により取得されたタッチ数が３のときの再生設定の設定値を変更する例について説明する。ステップ１０２Ｓにより、順序入力判定部１０５により、図６Ａのように指２による第２順序のタッチ位置ｘ_２による入力項目である「再生／一時停止」が選択されたとき、図３に示す入力項目の設定値を設定する。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。具体的には、再生の時には１、一時停止の時には２を設定値に設定する。再生と一時停止は交互に設定する。すなわち、現在の設定値が１（再生）であれば２（一時停止）に、設定値が２（一時停止）であれば１（再生）に設定値を設定する。図３の再生設定の入力項目が第２順序のときの設定値は０になっているが、これは早送りまたは巻戻しのときに設定する。次に図６Ｂのように指１による第１順序のタッチ位置ｘ_１による入力項目である「巻戻し」が選択されたとき、設定値の増減値により設定値を増減させる。「巻戻し」の設定値の増減値は＋１であり、巻戻し速度のレベルを１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。巻戻し速度のレベルは１〜４の４段階であり、この間の値を設定する。図３に示すように現在の巻戻し速度の設定値は０であるが、これは現在の機器の動作が早送りなので０に設定されており、今回のタッチ位置ｘ_１による入力により設定値は１に設定される。図６Ｂの巻戻しと同様に、図６Ｃにおける指３によるタッチ位置ｘ_３が第３順序のタッチ位置であるとき、入力項目としては「早送り」が選択され、設定値の増減値は＋１であり、早送り速度の設定値を１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示する。

（ステップＳ１０４：振動提示位置選択）
振動提示位置決定部１０７は前記最新の検出順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記最新の検出順序のタッチ位置が検出される以前より検出されているタッチ位置を振動を提示しない第２のタッチ位置として決定する。すなわち、順序入力判定部１０５により決定された機器の入力項目に対応する空間順序のタッチ位置を振動させる第１のタッチ位置として決定し、かつ同時にその他のタッチ位置を振動を提示しない第２のタッチ位置として決定する。これによりユーザは、ユーザが選択した入力項目が機器に受け付けられたことを、パネル１０１にタッチしている複数のタッチ位置、すなわち複数のタッチしている指の中から、どの指に振動を感じたかにより確認することができる。

なお、コンテンツの「巻戻し」や「早送り」の入力において、最新のタッチ位置がタップ入力された後、その位置で継続してタッチ位置が検出される場合、所定の時間間隔で、設定値に対応する回数の刺激信号を提示してもよい。また、コンテンツにシーンチェンジ、人物情報などのインデックスが提供されている場合、シーンチェンジや人物情報が出現するタイミングで振動を提示してもよい。また、「巻戻し」または「早送り」の方向を提示するため、複数のタッチ位置が継続して検出されているとき、「巻戻し」の場合、第２順序、第１順序のタッチ位置の順序で振動を提示し、「早送り」の場合、第１順序、第２順序のタッチ位置の順序で、所定の時間間隔で振動を提示してもよい。

（ステップＳ１０５：提示振動決定）
提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を前記設定項目の設定値および／または設定値の増減値に基づいて決定する。

例えば、タッチ情報取得部１０３により取得されたタッチ位置の数で２あり、順序入力判定部１０５により図３に示した判定基準により「音量ＤＯＷＮ」または「音量ＵＰ」の設定項目が選択され、その設定値の増減値が＋１または−１であるため、ユーザが前記最新のタッチ位置に指でタップ入力した際に、前記設定値が１だけ増減したことをユーザに伝えるために、例えば図７Ａに示す触感信号を生成する。図７Ａは、周波数ｆｃの正弦波のｒ周期分の信号に基づいて前記触感信号をｓ（ｎ）生成しており、式（１）に示すように、ｒ周期がちょうど半周期になるような変調周波数ｆｍを用いて正弦波を変調したものである。

ここで、Ｔｓは、サンプリング周期を表す。図７Ａの例では、ｆｃ＝２００Ｈｚ、ｒ＝１０であるので、変調周波数ｆｍは１０Ｈｚである。このように生成された触感信号は、物理的なスイッチを１回クリックしたような触感を提示するための信号（以下、１回刺激信号と呼ぶ。）として用いることができ、これにより、ユーザは前記設定値が１だけ増減したことを触覚により確認できる。

同様に、図７Ｂはｒ周期がちょうど１周期になるような変調周波数ｆｍを用いて正弦波を変調したものであり、物理的なスイッチを２回連続してクリックしたような触感を提示するための信号（以下、２回刺激信号と呼ぶ。）として用いることができる。例えば図３に示すように、早送り速度の設定値が２であるとき、図７Ｂに示すような物理的なスイッチを２回クリックしたような触感を提示することにより、ユーザがタッチ入力により設定した早送り速度の設定値が２であることを触覚により確認することができる。

なお、触感信号は、必ずしも上記のように生成された信号である必要はない。例えば、式（１）に示すような変調が行われる必要はない。つまり、触感信号として、正弦波が用いられてもよい。

なお、周波数ｆｃは、人間が触覚により感知できる周波数であればどのような周波数であってもよい。例えば、周波数ｆｃは、パネル１０１の振動特性に基づいて決定されればよい。

例えば、周波数ｆｃは、パネル１０１の共振周波数と一致するように決定されてもよい。周波数ｆｃがこのように決定されることにより、アクチュエータ１０２によってパネル１０１に与えられた振動の減衰を少なくすることができ、効率良く触感を呈示することができる。

（ステップＳ１０６：多点同時振動制御）
多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、前記第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル１０１の振動をタッチ位置別に同時に制御する。

多点同時振動制御部１０９の具体的な構成と動作の一例については後述する。

上記の構成と動作により、本実施の形態１にかかる触覚入出力装置１００は、ユーザが複数のタッチ位置を同時に検出できるパネル１０１を操作して、複数の設定情報から１つを選択する場合に、タッチ情報取得部１０３により検出される複数のタッチ位置の検出順序と空間順序に基づいて、順序入力判定部１０５により、ユーザがタップ入力した最新の検出順序に対応するタッチ位置の空間順序により、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている設定情報を選択し、振動提示位置決定部１０８により、選択された設定情報に対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、第１のタッチ位置以外のタッチ位置に振動を提示しない第２のタッチ位置として決定し、多点振動制御部１０９により、アクチュエータ１０２を駆動して、タップした指のタッチ位置である第１のタッチ位置に提示振動決定部１０８により設定情報の設定値と関連した振動を提示し、タップした指の位置以外のタッチ位置に前記振動を提示しない。

これにより、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

＜多点同時振動制御部１０９の構成と動作の一例の説明＞
ここで、ステップＳ１０６の動作にかかる、第１の実施の形態の構成要素である多点同時振動制御部１０９の構成と動作の一例を説明する。図８は多点同時振動制御部のより詳細な構成を表すブロック図を示す。本実施の形態の多点同時振動制御部１０９は、伝達特性記憶部２０１、伝達特性取得部２０２、フィルタ算出部２０３、触感信号記憶部２０４、フィルタ処理部２０５を備える。以下、各構成要素と動作について説明する。

＜伝達特性記憶部２０１＞
伝達特性記憶部２０１は、例えば、ハードディスクあるいは半導体メモリである。伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までの伝達特性を記憶している。つまり、伝達特性記憶部２０１は、パネル１０１上の複数の位置および複数のアクチュエータ１０２について、位置とアクチュエータ１０２との組合せに対応付けて伝達特性を記憶している。

伝達特性は、システムにおける入力と出力との関係を示す。ここでは、アクチュエータの駆動信号が入力に相当し、パネル上の１点における振動が出力に相当する。一般的に、伝達特性Ｇ（ω）は、系への入力Ｘ（ω）に対する系からの出力Ｙ（ω）の比で表わされる（Ｇ（ω）＝Ｙ（ω）／Ｘ（ω））。例えば、入力Ｘ（ω）がインパルスである場合（Ｘ（ω）＝１）、伝達特性Ｇ（ω）は、出力Ｙ（ω）（インパルス応答）と一致する。

そこで、本実施の形態では、伝達特性記憶部２０１は、パネル１０１上の各点について、各アクチュエータ１０２から当該点までのインパルス応答を伝達特性として記憶している。なお、インパルス応答は、時間領域で表されてもよいし、周波数領域で表わされてもよい。つまり、伝達特性記憶部２０１には、インパルス応答の時間波形が記憶されてもよいし、インパルス応答のスペクトルが記憶されてもよい。

ここで、パネル１０１上の各点は、例えば、パネル１０１上の各分割領域の代表点（例えば、中心あるいは重心など）であればよい。分割領域は、例えば、パネル１０１上の領域を１０ｍｍ単位で格子状に分割して得られる。なお、分割領域の形状は、必ずしも矩形状である必要はなく、その他の形状であっても構わない。また、分割領域の大きさはすべての分割領域で同一である必要はない。例えば、パネル１０１上の位置によって分割領域の大きさが異なってもよい。

ここで、各分割領域が小さいほど（つまり、分割領域の数が多いほど）、触感呈示の分解能を向上させことができるが、伝達特性を記憶するための記憶容量は増大する。つまり、分解能と記憶容量とはトレードオフの関係にあるため、必要な分解能あるいは許容される記憶容量などに基づいて、各分割領域の大きさが決定されればよい。

以下に、伝達特性記憶部２０１に記憶される伝達特性について、さらに詳細に説明する。

ここでは、伝達特性記憶部２０１は、Ｍ（Ｍは２以上の整数）個のアクチュエータ１０２（Ａ_１、Ａ_２、・・・、Ａ_Ｍ）の各々から、パネル１０１上のＮ（Ｎは２以上の整数）個の位置（Ｐ_１（ｘ_１，ｙ_１）、Ｐ_２（ｘ_２，ｙ_２）、・・・、Ｐ_Ｎ（ｘ_Ｎ，ｙ_Ｎ））の各々までのＭ×Ｎ個の伝達特性を記憶しているとして説明する。

図９は、アクチュエータ１０２からパネル１０１上のある位置に振動が伝播する経路を示す。

図９に示すように、位置Ｐ_ｉにおける振動は、アクチュエータＡ_ｊから位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）に直接到達する振動、およびパネル１０１の端で反射して位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）に到達する振動などが合成された振動である。したがって、伝達特性には、アクチュエータＡ_ｊからパネル上のある位置Ｐ_ｉまでのあらゆる経路の伝播の特性が含まれる。

なお、伝達特性は、時間領域で表現されてもよいし、周波数領域で表現されてもよい。時間領域で表現された伝達特性と周波数領域で表現された伝達特性とは、情報としては等価であり、互いに変換することができる。

アクチュエータＡ_ｊから位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）までの伝達特性は、例えば、アクチュエータＡ_ｊにインパルスを入力したときの位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）における振動（インパルス応答）を計測することで取得することができる。インパルス応答は、アクチュエータＡ_ｊから位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）までの系の特性を完全に表現することができる。そこで、本実施の形態では、伝達特性としてインパルス応答を用いる。

なお、通常、インパルスが直接印加された場合、インパルスの継続時間が非常に短いために、インパルス応答のＳＮ比が低くなるという傾向がある。そこで、インパルスの代わりにＴＳＰ（Ｔｉｍｅ Ｓｔｒｅｔｃｈｅｄ Ｐｕｌｓｅ）を用いてインパルス応答が測定されてもよい。これにより、ＳＮ比が高いインパルス応答を伝達特性として得ることができる。以下に、ＴＳＰを用いてインパルス応答を測定する方法について説明する。

ＴＳＰは、式（２）に示すように、インパルスの位相を周波数の２乗に比例して変化させることにより、インパルスよりも時間軸が引き伸ばされた信号である。図１０Ａは、ＴＳＰの一例を示す。

式（２）において、Ｈ（ｎ）は、周波数領域におけるＴＳＰを表す。ｊは、虚数単位（−１の平方根）を表す。ｋは、定数であり伸縮の度合いを表す。ｎは、離散化された周波数単位を表す。Ｈ＊は、Ｈの複素共役を表す。

式（２）に示すＴＳＰを逆フーリエ変換して得られる信号を用いて、アクチュエータＡ_ｊが駆動され、パネル１０１上の位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）での振動（以降、「ＴＳＰ応答」と呼ぶ）が計測される。計測方法は限定される必要はないが、例えばドップラー変位計などを用いて振動（ＴＳＰ応答）が計測される。図１０Ｂは、ＴＳＰ応答の一例を示す。

計測されたＴＳＰ応答を用いて、インパルス応答が算出される。具体的には、式（２）に示すＴＳＰの逆関数を用いて畳み込み演算を行なうことにより、インパルス応答が算出される。

式（３）において、Ｈ−１（ｎ）は、ＴＳＰの逆関数を表す。図１０Ｃは、ＴＳＰの逆関数の一例を示す。また、図１０Ｄは、図１０ＢのＴＳＰ応答から算出されるインパルス応答の一例を示す。

以上のように、ＴＳＰを用いて、アクチュエータＡ_ｊから位置Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）までのインパルス応答が計測される。このような計測を、Ｍ個のアクチュエータ１０２（Ａ_１、Ａ_２、・・・、Ａ_Ｍ）とＮ個の位置（Ｐ_１（ｘ_１，ｙ_１）、Ｐ_２（ｘ_２，ｙ_２）、・・・、Ｐ_Ｎ（ｘ_Ｎ，ｙ_Ｎ））との全ての組合せについて行うことにより、Ｍ×Ｎ個の伝達特性が得られる。このようにして得られたＭ×Ｎ個の伝達特性が伝達特性記憶部２０１に記憶される。

なお、伝達特性の計測方法は上述の方法に限るものではない。例えば、伝達特性は、Ｍ系列信号を用いて計測されてもよい。また例えば、伝達特性は、ガウス乱数を用いて計測されてもよい。

＜伝達特性取得部２０２＞
伝達特性取得部２０２は、伝達特性記憶部２０１に記憶されている複数の伝達特性の中から、タッチ情報取得部１０３により取得された各タッチ位置に対応する伝達特性を取得する。つまり、伝達特性取得部２０２は、各アクチュエータ１０２から各タッチ位置までの伝達特性を伝達特性記憶部２０１から読み出す。

＜フィルタ算出部２０３＞
フィルタ算出部２０３は、フィルタ取得部の一例である。フィルタ算出部２０３は、任意の触感信号に対するフィルタ処理によって所望の駆動信号を生成するためのフィルタを取得する。ここで、所望の駆動信号とは、振動を提示する第１のタッチ位置でパネル１０１が任意の触感信号に従って振動し、かつ振動を提示しない第２のタッチ位置でパネル１０１が振動しないように各アクチュエータ１０２を駆動するための信号である。

つまり、フィルタ算出部２０３は、伝達特性取得部２０２により取得された伝達特性を用いて、タッチ情報取得部１０３が取得した複数のタッチ位置のうち、第１のタッチ位置にのみ触感を呈示し、第２のタッチ位置（振動を提示しないタッチ位置）に触感を呈示しないためのフィルタを算出する。より具体的なフィルタの算出方法については後述する。

＜触感信号記憶部２０４＞
触感信号記憶部２０４は、例えば、ハードディスクあるいは半導体メモリである。触感信号記憶部２０４は、提示振動決定部１０８により生成された触感信号を記憶しており、図７Ａおよび図７Ｂの各々は、触感信号の一例である。

触感信号は、ユーザに触感を呈示できればどのような信号であってもよいが、例えば、パネル１０１の振動特性に基づいて決定されてもよい。具体的には、触感信号は、例えば、パネル１０１の共振周波数あるいはその近傍の周波数の信号であってもよい。これにより、エネルギー効率を向上させることが可能となる。

本実施の形態では、触感信号は、提示振動決定部１０８により、設定情報の設定値に基づいてオンラインで生成しているが、生成した信号を触感信号記憶部２０４に記憶し、アクチュエータ１０２の駆動信号をフィルタ処理部２０５により生成する。なお、提示振動決定部１０８は、逆に、触感信号記憶部２０４にあらかじめ図７Ａおよび図７Ｂに示すような設定情報の設定値に応じた触感信号を記憶しておき、それらを設定値に基づいて選択する構成としてもよい。

＜フィルタ処理部２０５＞
フィルタ処理部２０５は、フィルタ算出部２０３により算出された各アクチュエータ１０２のためのフィルタを用いて、触感信号記憶部２０４に記憶されている触感信号をフィルタ処理（フィルタリング）することにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。

各アクチュエータ１０２は、このようにフィルタ処理部２０５により生成された駆動信号に従って、パネル１０１を振動させる。その結果、複数のタッチ位置のうち第１のタッチ位置においてのみ触感信号に基づく振動が発生し、振動を提示しない第２のタッチ位置において振動が抑制される。これにより、多点同時振動制御部１０９により、振動提示位置においてユーザに触感を呈示し、振動を提示しない第２のタッチ位置において触感を呈示しないことが可能となる。

＜動作＞
次に、以上のように構成された多点同時振動制御部１０９の各構成要素の動作に関して具体的に説明する。図１１は、実施の形態１における触覚入出力装置１００の処理動作を示すフローチャートである。図１２は、実施の形態１における触覚入出力装置１００の処理動作を説明するための図である。

（ステップＳ２０１：伝達特性を取得）
次に、伝達特性取得部２０２は、振動提示位置決定部１０７により決定された第１のタッチ位置および第２のタッチ位置に対応する伝達特性を伝達特性記憶部２０１から取得する。伝達特性取得部２０２は、例えば図１２に一例を示すように、アクチュエータＡ_１、Ａ_２、Ａ_３、Ａ_４の各々からタッチ位置Ｐ_１までの伝達特性ｇ_１１、ｇ_１２、ｇ_１３、ｇ_１４と、アクチュエータＡ_１、Ａ_２、Ａ_３、Ａ_４の各々からタッチ位置Ｐ_２までの伝達特性ｇ_２１、ｇ_２２、ｇ_２３、ｇ_２４とを伝達特性記憶部２０１から読み出す。ここでは、例えば第１のタッチ位置（提示位置）をＰ_１、第２のタッチ位置（非提示位置）をＰ_２とする。

（ステップＳ２０２：フィルタを算出）
続いて、フィルタ算出部２０３は、提示位置において触感を提示し、かつ、非呈示位置において触感を提示しないためのフィルタを算出する。具体的には、フィルタ算出部２０３は、各アクチュエータ１０２から提示位置までの伝達特性と、各アクチュエータ１０２から非呈示位置までの伝達特性とを用いてフィルタを算出する。例えば、フィルタ算出部２０３は、タッチ位置Ｐ_１において触感を提示し、タッチ位置Ｐ_２において触感を提示しないためのフィルタを、伝達特性ｇ_１１、ｇ_１２、ｇ_１３、ｇ_１４、ｇ_２１、ｇ_２２、ｇ_２３、ｇ_２４を用いて算出する。

以下に、より具体的なフィルタの算出方法の一例を示す。

ここでは、アクチュエータＡ_ｊからタッチ位置Ｐ_ｉまでの伝達特性（インパルス応答）ｇ_ｉｊを、式（４）のように表す。また、アクチュエータＡ_ｊのための駆動信号を生成するためのフィルタｈ_ｊを、式（５）のように表す。また、すべてのアクチュエータＡ_１〜Ａ_Ｍへの入力に対するタッチ位置Ｐ_ｉにおける応答（出力）ｄ_ｉを、式（６）のように表す。

式（４）において、Ｌ_ｇは、インパルス応答の長さを示す。式（５）において、Ｌは、フィルタの長さ（フィルタ長）を示す。このフィルタ長が長いほど、より細かな制御が可能となる。

ここで、アクチュエータＡ_１〜Ａ_Ｍへの入力およびフィルタｈ_１〜ｈ_Ｍと、１つのタッチ位置Ｐ_ｉにおける応答ｄ_ｉとの関係を考える。１つのアクチュエータＡ_ｊへの入力に対する１つのタッチ位置Ｐ_ｉにおける応答は、フィルタｈ_ｊと伝達特性ｇ_ｉｊとの畳み込み演算によって算出される。そして、１つのアクチュエータＡ_ｊへの入力に対する１つのタッチ位置Ｐ_ｉにおける応答を全てのアクチュエータＡ_１〜Ａ_Ｍについて重ね合わせることにより、すべてのアクチュエータＡ_１〜Ａ_Ｍへの入力に対する１つのタッチ位置Ｐ_ｉにおける応答ｄ_ｉを算出することができる。つまり、応答ｄ_ｉは、フィルタｈ_ｊと伝達特性ｇ_ｉｊとを用いて式（７）のように表すことができる。

式（７）に示すように、アクチュエータＡ_１〜Ａ_Ｍへの入力に対するタッチ位置Ｐ_１〜Ｐ_Ｎにおける応答ｄ_１〜ｄ_Ｎは、各アクチュエータＡ_ｊから各タッチ位置Ｐ_ｉまでの伝達特性ｇ_ｉｊと、算出すべきフィルタｈ_ｊとの畳み込み演算結果の和で表される。

ここで、複数のタッチ位置Ｐ_１〜Ｐ_Ｎのうち、タッチ位置Ｐ_ｋ（０＜ｋ≦Ｎ）における応答ｄ_ｋのみがインパルス（ｄ_ｋ（０）＝１、ｄ_ｋ（１）＝０、ｄ_ｋ（２）＝０、・・・、ｄ_ｋ（Ｍ）＝０）となり、他のタッチ位置Ｐ_ｌ（０＜ｌ≦Ｎ、ｌ≠ｋ）における応答が零（ｄ_ｌ（０）＝０、ｄ_ｌ（１）＝０、ｄ_ｌ（２）＝０、・・・、ｄ_ｌ（Ｍ）＝０）となるようなフィルタｈ_ｊを算出できれば、所望のフィルタを得ることができる。つまり、このように算出されるフィルタｈ_ｊを用いて任意の触感信号に対してフィルタ処理を行うことにより、タッチ位置Ｐ_ｋでのみ当該任意の触感信号に従って触感を呈示し、他のタッチ位置Ｐ_ｌ（ｌ≠ｋ）では触感を呈示しないための駆動信号を生成することができる。

そこで、フィルタ算出部２０３は、各アクチュエータ１０２から呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和がインパルスを示し、かつ、各アクチュエータ１０２から非呈示位置までの伝達特性とフィルタとの時間領域における畳み込み演算結果の和が零を示すように、フィルタを算出する。

上述のようなフィルタの算出方法は特に限定するものではないが、Ｇの一般逆行列Ｇ＊を算出することにより、式（８）のようにフィルタを算出することができる。つまり、Ｇの一般逆行列Ｇ＊とインパルスを示すＤとから、所望のフィルタを示すＨを算出することができる。

一般に、アクチュエータの数（Ｍ）がタッチ位置の数（Ｎ）以上であれば、式（８）を解くことができる。なお、任意のタッチ位置の組合せに対して安定的に式（８）を解くためには、各位置において、複数のアクチュエータ１０２からの伝達特性ｇ_ｉｊが同じゼロ点を持たないようにすることが望ましい。例えば、タッチ位置の数が２つの場合は、図１２に示すようにパネル１０１の長辺側の端部に２個ずつアクチュエータ１０２を配置することにより、任意の２点における伝達特性が異なるようにアクチュエータ１０２を配置することができる。

なお、ゼロ点とは、周波数領域において、伝達特性のレベルが０または０に限りなく近くなる周波数のことである。つまり、入力にゼロ点の周波数成分が含まれていても、出力には、その周波数成分がほとんど含まれない。

したがって、全てのアクチュエータ１０２からある位置までの伝達特性が同じ周波数でゼロ点を有する場合、どのような信号が入力されても、その位置においてその周波数ではパネル１０１は振動しない。つまり、特定の周波数において振動を制御することができなくなる。したがって、制御対象となる各周波数において、少なくとも１つのアクチュエータ１０２からの伝達特性が、ゼロ点ではない特性を有するようにしておくことが望ましい。

図１３は、フィルタの一例を示す。具体的には、図１３は、図１２において、タッチ位置Ｐ_１が提示位置と決定された場合に算出されたフィルタを示す。

（ステップＳ２０３：触感信号をフィルタ処理）
次に、フィルタ処理部２０５は、触感信号記憶部２０４に記憶されている触感信号に対して、ステップＳ２０２において算出されたフィルタを用いてフィルタ処理を行なうことにより、各アクチュエータ１０２を駆動するための駆動信号を生成する。具体的には、フィルタ処理部２０５は、触感信号Ｓ（ｎ）とフィルタｈ_ｊ（ｎ）との畳み込み演算を行なうことにより、アクチュエータＡ_ｊのための駆動信号を生成する。

ここでは、触感信号Ｓ（ｎ）としては、提示振動決定部１０８により設定値に応じて決定され、触感信号記憶部２０４に記憶されている、タッチ位置Ｐ_１に提示する図７Ａに示す触感信号をフィルタ処理する例で説明する。

ここで、フィルタ処理についてより詳細に説明する。

フィルタ処理部１０９は、式（９）に示すように、アクチュエータＡ_ｊを駆動するための駆動信号ｕ_ｊ（ｎ）を生成する。つまり、フィルタ処理部１０９は、触感信号ｓ（ｎ）と、フィルタ算出部１０７により算出されたフィルタｈ_ｊ（ｎ）との畳み込み演算を行うことにより、駆動信号ｕ_ｊ（ｎ）を生成する。

図１４は、駆動信号の一例を示す。つまり、図１４は、式（９）に従ってフィルタ処理部２０５によって生成された駆動信号の一例を示す。より具体的には、図１４は、図１３に示すフィルタを用いて、図７Ａに示す触感信号を処理することにより生成された駆動信号を示す。

（ステップＳ２０４：アクチュエータを駆動）
次に、アクチュエータＡ_ｊは、ステップＳ２０３で生成された駆動信号ｕ_ｊ（ｎ）を用いて駆動される。つまり、アクチュエータＡ_ｊは、駆動信号ｕ_ｊ（ｎ）に従ってパネル１０１を振動させる。

なお、アクチュエータの種類によっては、高電圧の駆動信号を必要とする場合がある。そのような場合には、アクチュエータ１０２は、駆動信号を増幅するためのアンプを備えてもよい。

図１５は、各タッチ位置におけるパネル１０１の振動の実験結果を示す。具体的には、図１５は、図１５に示す駆動信号を用いてアクチュエータ１０２が駆動された場合のタッチ位置Ｐ_１およびＰ_２におけるパネル１０１の振動を示す。

タッチ位置Ｐ_１では、振動のピーク間の差（以後、「振幅強度」と呼ぶ）が約３０μｍとなっており、強く振動していることが分かる。一方、タッチ位置Ｐ_２では、振幅強度が約１μｍとなっており、人が感知できない程度でしか振動していないことが分かる。

なお、図１５では、タッチ位置Ｐ_１、Ｐ_２における振動特性を示したが、タッチ位置Ｐ_１、Ｐ_２以外の位置でも振動が生じている。しかしながら、タッチ位置Ｐ_１、Ｐ_２以外の位置はユーザにタッチされていない位置であるので、どのような振動が生じていてもユーザに触感が提示されることがない。

上記の構成と動作により、本実施の形態１における多点同時振動制御部１０９によれば、振動を提示する第１のタッチ位置に触感を提示し、振動を提示しない第２のタッチ位置において触感を提示しないことができる。したがって、複数のタッチ位置のうち、触感の提示が必要なタッチ入力に対してのみ触感を提示することができる。

なお、多点同時振動制御部１０９の変形例１として、実施の形態１では、時間領域においてフィルタの算出を行ったが、これを周波数領域で算出することにより、処理負荷を低減できることは言うまでもない。また、人間が触覚として感じる周波数帯域に処理を限定することによりさらに処理負荷を低減できることもいうまでもない。

また、多点同時振動制御部１０９の変形例２として、フィルタを算出するまでの処理を、オンラインではなくオフラインで実施することにより、処理負荷を低減できることはいうまでもない。

なお、多点同時振動制御部１０９の変形例３として、あらかじめ複数のタッチ位置の組み合わせパターンのすべてについて、駆動信号を算出して記憶しておき、タッチ位置の組み合わせパターンによって選択することにより、さらに処理負荷を低減でき、より処理能力の低い計算資源でもタッチ位置ごとに異なる振動を提示できることはいうまでもない。

さらに、多点同時振動制御部１０９の変形例４として、例えば、第１のタッチ位置Ｐ_１に図７Ａの振動を提示し、第２のタッチ位置Ｐ_２には図７Ａの振動を提示しないための駆動信号１と、Ｐ_２を第１のタッチ位置として図７Ｂの振動を提示し、Ｐ_１を第２のタッチ位置として図７Ｂの振動を提示しないための駆動信号２とを加算した駆動信号によりアクチュエータ１０２を駆動することで、Ｐ_１に図７Ａの振動を提示し、かつＰ_２に図７Ｂの振動を同時に提示することができることはいうまでもない。

なお、ここで説明した多点同時触感制御部１０９の構成と動作は一例であり、他の構成と動作とすることもできる。例えばパネルがフレキシブルなディスプレイで構成されており、その表面を局所的に振動させるアクチュエータを備えたものであってもよい。

以上のように、第１の実施の形態の触覚入出力装置１００によれば、選択肢である複数の設定情報とあらかじめ対応付けられたタッチ位置の空間順序に基づいて、ユーザのどの指（どの空間順序のタッチ位置）に振動を提示するかを制御することにより、どの設定情報が機器に受け付けられたかをユーザに容易に確認させることができる。また、タッチ位置の空間順序と設定情報を対応づけることにより、パネル上の特定の位置に設定したＧＵＩを選択させることなく、すなわちパネルを注視することなく、パネル上の任意の位置で複数の設定情報の選択が容易にできる。

（実施の形態２）
実施の形態２は、第１の実施の形態における複数のタッチ位置を選択的にタップするタップ入力の判定に加え、さらに複数のタッチ位置をタッチしたまま移動させる移動入力を判定し、移動方向に応じて振動を提示するタッチ位置を変更することにより、機器が受け付けた移動入力の方向や操作対象の進行方向をユーザが触覚により確認できるよう考慮したものである。

図１６は、本発明の実施の形態２における触覚入出力装置の構成を示すブロック図である。第１の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態１と異なる構成要素である移動入力判定部３０１、振動提示条件決定部３０２の構成と動作を中心に説明する。

＜移動入力判定部３０１＞
移動入力判定部３０１は、パネル１０１へのタッチ入力に対してタッチ情報取得部１０３により検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部１０４には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部１０４に記憶されている移動方向とを比較して、対応する設定情報を決定する。

＜振動提示条件決定部３０２＞
振動提示条件決定部３０２は、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

上記のように構成された本実施の形態２の触覚入出力装置１００の動作を図１７〜図１９に基づいて説明する。

図１７は、実施の形態２の触覚入出力装置１００の動作を示すフローチャートである。

ここでは、カーナビゲーションなどの車載システムに本実施の形態２の触覚入出力装置１００を搭載した例で本実施の形態２の動作を説明する。図１８にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図１８に示す［１］〜［１０］の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図１９Ａに示すように、地図などを表示するモニタ１１０の上部に透明な素材からなるパネル１０１を配置する構成であってもよく、また、モニタ１１０とは別にセンターコンソールやアームレストにパネル１０１を配置する構成であってもよい。実施の形態２は、いずれの構成であっても、ユーザはパネル１０１を注視することなく入力操作できるよう考慮したものである。

（ステップＳ３０１：タッチ情報取得）
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図１９Ａに示すように、２本の指、指１および指２でパネル１０１にタッチしているとき、時刻ｔにおける指１によるタッチ位置Ｐ_１（ｘ_１（ｔ），ｙ_１（ｔ））、指２によるタッチ位置Ｐ_２（ｘ_２（ｔ），ｙ_２（ｔ））を、例えば２０ｍｓなど所定のサンプリング間隔Δｔごとに取得する。

（ステップＳ３０２：移動入力判定）
移動入力判定部３０１は、パネル１０１で検出される複数のタッチ位置の時系列情報に基づいて、前記複数のタッチ位置の同一方向への移動および前記移動方向に対するタッチ位置の空間順序を算出する。設定情報記憶部１０４には、前記移動方向に対応づけて設定情報が記憶されており、前記移動方向に基づいて、前記設定情報記憶部１０４に記憶されている移動方向とを比較して、対応する設定情報を決定する。

タッチ位置の移動方向は次のように算出する。ここでは、ステップＳ３０１で取得するタッチ位置の時系列情報により、指をパネル１０１上にタッチしたままタッチ位置を移動させるときの移動方向を算出する。具体的には、サンプリング間隔Δｔごとのタッチ位置Ｐ_１の移動方向を表す移動ベクトルはｖ１（ｘ_１（ｔ）−ｘ_１（ｔ−１），ｙ_１（ｔ）−ｙ_１（ｔ−１））、タッチ位置Ｐ_２の移動ベクトルはｖ２（ｘ_２（ｔ）−ｘ_２（ｔ−１），ｙ_２（ｔ）−ｙ_２（ｔ−１））で算出する。

タッチ位置Ｐ_１，Ｐ_２の移動方向の同一性は、例えば、移動ベクトルｖ１、ｖ２のなす角θのｃｏｓの値が所定の閾値より小さいときに同一であると判定する。

タッチ位置の移動距離は次のように算出する。ユーザが指１でパネル１０１にタッチした時刻（ｔ＝０、移動開始位置Ｐ_１（ｘ_１（０），ｙ_１（０））から時刻ｔ（タッチ位置Ｐ_１（ｘ_１（ｔ）、ｙ_１（ｔ）））までのタッチ位置の移動距離ｄ_１（ｔ）を、式（１０）により求める。ここで、時刻ｔで取得したタッチ位置Ｐ_１（ｘ_１（ｔ）、ｙ_１（ｔ））と、時刻（ｔ−Δｔ）で取得したタッチ位置Ｐ_１（ｘ_１（ｔ−１）、ｙ_１（ｔ−１））が同じであるとき、あるいは、Ｐ_１（ｘ_１（ｔ）、ｙ_１（ｔ））とＰ_１（ｘ_１（ｔ−１）、ｙ_１（ｔ−１））の距離が所定の距離より小さいとき、指１のなぞりによるタッチ位置Ｐ_１の移動は停止したと判定する。タッチ位置の移動が停止したと判定されたとき、移動開始位置をＰ_１（ｘ_１（０），ｙ_１（０））で初期化する。また、タッチ位置の移動が停止したと判定された時刻を基点として、サンプリング間隔Δｔごとに、タッチ位置の移動が停止したのと同じ位置にタッチが静止しているかを確認し静止時間ｔ１ｓを記録し更新する。指２によるタッチ位置Ｐ_２の移動距離ｄ_２（ｔ）も式（１０）により同様に算出し、Ｐ_２の静止時間ｔ２ｓも同様に記録し、更新する。

移動方向に対するタッチ位置の空間順序は次のようにして算出する。移動ベクトルｖ１、ｖ２いずれかを含む直線上にタッチ位置Ｐ_１，Ｐ_２を射影し、移動方向を正としてタッチ位置Ｐ_１、Ｐ_２を順序づける。移動ベクトルｖ１、ｖ２の選択は任意でよいが、例えば、上記手順で算出した移動距離が大きいほうの移動ベクトルを選択すればよい。

以下、上記の手順で算出したタッチ位置の移動方向、移動距離、移動方向に対するタッチ位置の空間順序、タッチ位置の静止時間に基づいて、ユーザのタッチ入力を判定する手順について説明する。ここでは、一例として、図１８に示す［１］から［１０］のいずれの入力であるかを判定する手順について説明する。

＜地図スクロールの入力判定＞
入力判定［１］は、タッチ情報検出部１０３で検出されるタッチ数１であり、かつタッチ位置Ｐ_１が移動ベクトルｖ１の方向へ移動している場合であり、設定項目として「地図スクロール」が選択される。具体的な入力項目としては、タッチ位置の移動距離だけ地図をスクロールする「移動距離スクロール」が選択される。

入力判定［２］は、タッチ情報検出部１０３で検出されるタッチ数１であり、かつタッチ位置Ｐ_１が移動ベクトルｖ１の方向へ移動し、移動距離が所定の閾値Ｄ以上で、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合であり、設定項目として地図スクロールが選択される。具体的な入力項目としては、タッチ位置が所定の距離だけ移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択される。

＜音量設定の入力判定＞
入力判定［３］および入力判定［５］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しない場合であり、ステップＳ３０３の順序入力判定に進む。設定項目として「音量設定」が選択される。

＜トラック設定の入力判定＞
入力判定［７］〜［１０］は、タッチ情報検出１０３で検出されるタッチ数は入力判定［３］〜［６］と同様に２であるが、タッチ位置の移動方向ｖ１とｖ２が同一かつ、タッチ位置の移動距離が所定の閾値Ｄ以上のときであり、設定項目としては「トラック設定」が選択される。トラック設定とは、例えばオーディオ操作において、アルバムのトラックを次のトラックに移動する、あるいは前のトラックに移動する入力操作である。

入力判定［７］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。図１９Ａにトラック設定を下げるタッチ入力の一例を示す。指１、指２はそれぞれ、時刻（ｔ−ｎ）において、同時にパネル１０１にタッチしており、タッチ位置Ｐ_１，Ｐ_２はそれぞれｘ_１（ｔ−ｎ）、ｘ_２（ｔ−ｎ）である。ｎはサンプリング回数であり、現在時刻ｔからｎサンプル前を表している。指１、指２のタッチ位置Ｐ_１，Ｐ_２の移動方向はそれぞれ、ｖ１＝ｘ_１（ｔ）−ｘ_１（ｔ−ｎ）、ｖ２＝ｘ_２（ｔ）−ｘ_２（ｔ−ｎ）、である。図１９Ａの例の場合、タッチ位置Ｐ_２，Ｐ_２は所定の座標軸ｘについて平行に同一方向に移動し、その方向はマイナス方向であり、かつＰ_１の移動距離｜ｖ１｜またはＰ_２の移動距離｜ｖ２｜が所定の閾値Ｄ以上であるとき、入力項目として「トラックＤＯＷＮ」が選択される。

入力判定［８］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。

入力判定［９］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。図１９Ｂにトラック設定を上げるタッチ入力の一例を示す。指１、指２はそれぞれ、時刻（ｔ−ｎ）において、同時にパネル１０１にタッチしており、タッチ位置Ｐ_１，Ｐ_２はそれぞれｘ_１（ｔ−ｎ）、ｘ_２（ｔ−ｎ）である。ｎはサンプリング回数であり、現在時刻ｔからｎサンプル前を表している。指１、指２のタッチ位置Ｐ_１，Ｐ_２の移動方向はそれぞれ、ｖ１＝ｘ_１（ｔ）−ｘ_１（ｔ−ｎ）、ｖ２＝ｘ_２（ｔ）−ｘ_２（ｔ−ｎ）、である。図１９Ａの例の場合、タッチ位置Ｐ_２，Ｐ_２は所定の座標軸ｘについて平行に同一方向に移動し、その方向はプラス方向であり、かつＰ_１の移動距離｜ｖ１｜またはＰ_２の移動距離｜ｖ２｜が所定の閾値Ｄ以上であるとき、入力項目として「トラックＵＰ」が選択される。

入力判定［１０］は、タッチ数が２、かつタッチ位置の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。

なお、ここでは移動距離の閾値を用いて入力判定をする例で説明したが、さらに移動速度を用いて判定してもよい。移動速度を用いることにより、より詳細な入力項目の選択と設定値の設定が可能となる。

（ステップＳ３０３：順序入力判定）
順序入力判定部１０５は、実施の形態１におけるステップＳ１０２と同様に、ユーザがパネル１０１をタップ入力することを検出し、すなわち、パネル１０１で継続して検出されるタッチ位置およびパネル１０１で同時に検出される別のタッチ位置により算出されるタッチ位置の空間順序に基づいて、設定情報記憶部１０４にあらかじめタッチ位置の空間順序と対応付けて記憶されている入力項目を決定する。

実施の形態２では、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しないとき、図１８の入力判定［３］〜［６］に示す音量設定と判定する。

入力判定［３］および入力判定［５］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動しない場合であり、設定項目として「音量設定」が選択される。この入力判定［３］および［５］は、実施の形態１における音量設定と同一の動作であるため説明を省略する。

入力判定［４］および入力判定［６］は、タッチ情報検出部１０３で検出されるタッチ数が２であり、かつ、タッチ位置が移動せず、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合であり、それぞれタッチ位置の空間順序が、第１順序であるとき、入力項目として「連続音量ＤＯＷＮ」が選択され、第２順序であるとき、入力項目として「連続音量ＵＰ」が選択される。

ステップＳ３０３により、タップ入力と移動入力を判定することにより、同じタッチ数でも異なる入力操作を簡単に実行することができる。

（ステップＳ３０４：設定情報変更）
設定情報変更部１０６は移動入力判定部３０１および順序入力判定部１０５で決定された設定項目の設定値を変更する。

＜地図スクロールの設定値変更＞
図１８を用いて地図スクロールの設定値変更について説明する。

入力判定［１］と判定された場合、タッチ位置Ｐ_１の移動方向ｖ１へ移動距離｜ｖ１｜だけモニタ１１０に表示される地図の表示領域を移動する。表示領域の移動は、例えば、地図の座標系でモニタ１１０に表示する領域を指定すればよいが、例えば、表示する領域を長方形で指定する場合、長方形の左上の頂点の座標を地図表示の基準座標として、表示基準座標を−ｖ１の方向へ移動することにより地図をスクロールさせることができる。

入力判定［２］と判定された場合、タッチ位置Ｐ_１が所定の距離Ｄ以上移動したあと静止を継続する場合に地図を連続的にスクロールする「連続スクロール」が選択された場合、前記地図の表示基準座標を所定の時間間隔で−αｖ１の方向へ連続的に移動させる。ここでαは移動量を制御する係数であり、例えば、タッチ位置Ｐ_１の単位時間当たりの移動距離である移動速度によって変更してもよい。これにより、速い速度でタッチ位置Ｐ_１を移動させたあとタッチ位置を静止させた場合は、αの値を大きくして表示基準位置の移動量を大きくし、逆に遅い速度でタッチ位置Ｐ_１を移動させた場合は、αを小さくして表示基準位置の移動量を小さくすることにより、ユーザの意図に応じてスクロールの移動量を簡単に設定することができる。

＜音量設定の設定値変更＞
図１８を用いて音量設定の設定値変更について説明する。

入力設定［３］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは−１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力設定［４］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＶは−１であり、所定の時間間隔、例えばＴｓごとに音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力設定［５］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＵＰ」が選択される。このとき、設定値の増減値ΔＶは＋１であり、音量レベルＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力設定［６］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＵＰ」が選択される。このとき、設定値の増減値ΔＶは＋１であり、所定の時間間隔、例えばＴｓごとに音量レベルＶ＝Ｖ＋ΔＶに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

＜トラック設定の設定値変更＞
図１８を用いてトラック設定の設定値変更について説明する。ここでは例えばオーディオ操作における音楽タイトルのトラック番号Ｎｔを設定する例で説明する。

入力判定［７］と判定された場合、すなわち、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＮｔは−１であり、トラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力判定［８］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。このとき、設定値の増減値ΔＮｔは−１であり、所定の時間間隔、例えばＴｓごとにトラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１減少させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力判定［９］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。このとき、設定値の増減値ΔＮｔは＋１であり、トラック番号をＮｔ＝Ｎｔ＋ΔＮｔに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

入力判定［１０］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。このとき、設定値の増減値ΔＮｔは＋１であり、所定の時間間隔、例えばＴｓごとにトラック番号Ｎｔ＝Ｎｔ＋ΔＮｔに従って１増加させる。このとき、モニタ１１０に設定値表示部１１３を表示しユーザに設定値を提示してもよい。

なお、さらにタッチ位置Ｐ_１またはＰ_２の移動速度を用いてトラック番号を設定する時間間隔Ｔｓを変更してもよい。これにより、速い速度でタッチ位置Ｐ_１、Ｐ_２を移動させたあとタッチ位置を静止させた場合は、Ｔｓを短くしてトラック番号を短い時間間隔で変更し、逆に遅い速度でタッチ位置Ｐ_１、Ｐ_２を移動させた場合は、Ｔｓを長くしてトラック番号をゆっくり変更することにより、ユーザの意図に応じてトラック番号の変更を簡単に設定することができる。

なお、タッチ位置の移動距離は、ユーザによって入力しやすい移動距離にはバラツキがある場合、移動距離による入力判定を、移動距離の累積距離を用いて判定してもよい。具体的には、複数回のタッチ位置の移動による移動距離の累積値が所定の閾値Ｄ以上であるかにより入力を判定すればよい。

（ステップＳ３０５：振動提示条件決定）
振動提示条件決定部３０２は、タッチ位置が移動する移動入力の場合、前記複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

振動提示条件決定部３０２は、最新タッチ位置の空間順序を判定する順序入力の場合、決定された入力項目に対応する空間順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記タッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

図１８に、入力判定［１］〜入力判定［１０］のときに振動を提示する第１のタッチ位置を示し、以下、振動提示条件について説明する。

＜地図スクロール時の振動提示条件＞
入力判定［１］と判定された場合、すなわち、タッチ位置の移動距離による「移動距離地図スクロール」と判定された場合、振動提示位置はタッチされている１点として決定する。

振動提示条件は、タッチ位置の移動距離によって決定する。例えばタッチ位置の移動量による地図の移動量と地図の縮尺によって決定する。すなわち、振動提示条件決定部３０２は、例えば現在の地図の縮尺を取得し、地図が１００ｍを基準として表示されているならば、タッチ位置Ｐ_１の移動距離が地図上での距離１００ｍに相当するごとに、タッチ位置Ｐ_１に振動を提示してもよい。これにより、モニタ１１０に表示されている地図を注視しなくとも、地図をどれだけ移動させたかを触覚により認識することができる。

なお、変形例として、地図の領域を移動させずに固定した場合、地図上でタッチ位置を移動させたときに所定の距離ごとに振動を提示することにより、例えば目的地間の距離や中間地点までの距離などを触覚により認識することができる。

また、変形例として、例えば、タッチ位置を移動させ始めたときに、例えば音声案内により基準距離を案内することにより、振動が提示される回数を数えることで、１００ｍ、２００ｍ、３００ｍなどと、触覚により距離を把握することができる。さらに、３００ｍごと、５００ｍごとなど所定の距離ごとに、音声案内を併用してもよい。音声による頻繁なフィードバックは場合によってわずらわしく感じることがあるが、振動フィードバックと併用することにより、必要な情報を適切な伝達形態で伝えることができる。入力判定［２］と判定された場合、すなわち、タッチ位置の移動距離と移動後のタッチ位置の静止時間により「連続スクロール」と判定された場合、振動提示位置はタッチされている１点として決定する。

振動提示条件は、タッチ位置の移動距離とタッチ位置の静止時間によって決定する。例えば、自動でスクロールしている地図が所定の距離移動するごとにタッチ位置を振動させることによりユーザに移動距離を触感によりフィードバックしてもよいし、静止時間が所定の閾値Ｔｓ経過するごとに振動させてもよい。ユーザが地図が移動する速度をあらかじめ知っていれば、提示される振動の回数により経過時間を認識し、地図の大まかな移動距離を知ることができる。

なお、変形例としては、地図の移動にともなってあらかじめ記憶させてある施設などがモニタ１１０に表示された際、あるいは、ネットワークやＶＩＣＳ（登録商標）などにより関連情報が取得された地図の位置にきたときに振動を提示してもよい。これにより、地図を移動させている過程で地図を注視する必要がなく、例えば車載システムであれば運転に集中することができる。またコンテンツの再生中であれば、コンテンツに集中することができる。

なお、変形例としては、映像や音楽などコンテンツのリストを連続スクロールさせ、ジャンルの切り替わりや、アルバムの切り替わりごとに振動を提示してもよい。

なお、変形例として、タッチ位置の移動方向により電子ブックのページを連続的に進める、あるいは戻す操作をするときに、あらかじめマークしたページ、内容が更新されたページなどが表示された際に振動を提示してもよい。

なお、変形例として、同時に検出される２つのタッチ位置の移動により地図をスクロールする際に、地図の移動方向または指の移動方向に対して先頭のタッチ位置を振動させることにより、地図の移動方向やタッチ位置の移動方向がユーザの意図通りに受け付けられているかを確認できるようにしてもよい。また、２つのタッチ位置を同時に所定の距離移動させた後に停止させ、停止位置でタッチを継続した場合に、地図の移動方向に対して先頭のタッチ位置を所定の時間間隔で振動させて、地図の移動方向を提示してもよい。また、地図上に周辺施設などのランドマークや目的地がモニタ１１０上に表示されたときに振動を提示してもよい。

＜音量設定時の振動提示条件＞
入力設定［３］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＤＯＷＮ」が選択される。このとき、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量ＤＯＷＮ」が選択されたことを触覚により認識することができる。

入力設定［４］と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＤＯＷＮ」が選択される。このとき、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定し、さらに所定の時間Ｔｓ以上タッチ位置が継続して検出されるごとに前記第１のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量ＤＯＷＮ」が選択されたことを触覚により認識することができる。

入力設定［５］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力された場合、対応する入力項目として「音量ＵＰ」が選択される。このとき、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定する。これにより、ユーザは振動が提示される指の空間順序により、「音量ＵＰ」が選択されたことを触覚により認識することができる。

入力設定［６］と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置がタップ入力されたあと、所定の時間Ｔｓ以上タッチ位置が継続して検出された場合、対応する入力項目として「連続音量ＵＰ」が選択される。このとき、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、それ以外のタッチ位置には振動を提示しない第２のタッチ位置として決定し、さらに所定の時間Ｔｓ以上タッチ位置が継続して検出されるごとに前記第１のタッチ位置に振動を提示することを決定する。ユーザは振動が提示される指の空間順序と継続的な振動の提示により、「連続音量ＵＰ」が選択されたことを触覚により認識することができる。

なお、ここでは、第１順序のタッチ位置に「音量ＤＯＷＮ」、第２順序のタッチ位置に「音量ＵＰ」という入力項目を割り当て、２点タッチされているうち最新のタッチ位置の入力項目を選択するという例で説明したが、これに限らず、任意の設定項目を設定し得る。例えば電子ブックの「ページ送り」、「ページ戻し」に対応づけてもよいし、ＴＶチャンネルのアップ、ダウン、コンテンツリストまたはメニュー項目などのアップ、ダウンに対応づけてもよい。

＜トラック設定時の振動提示条件＞
入力判定［７］と判定された場合、すなわち、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＤＯＷＮ」が選択される。このとき、図１８の空間順序（第１のタッチ位置）に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ_２）は振動を提示しない第２のタッチ位置と決定する。図１９Ａの例で説明すると、タッチ位置Ｐ_１とＰ_２はｘ軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ_１となり、このタッチ位置を振動を提示する第１のタッチ位置と決定する。これにより、斜線が記された指１に振動が提示され、指２には振動が提示されないことになり、その結果、ユーザは、ｘ軸のマイナス方向にタッチ位置Ｐ_１とＰ_２を移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Ｐ_１に振動が提示され、その他のタッチ位置（ここではＰ_２）に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。

入力判定［８］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のマイナス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＤＯＷＮ」が選択される。このとき、入力判定［７］の場合と同様に、タッチ位置Ｐ_１とＰ_２はｘ軸に対して同一のマイナス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ_１となり、タッチ位置Ｐ_１を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ_２）は振動を提示しない第２のタッチ位置と決定する。これにより、入力判定［７］の場合と同様に、機器に受け付けられた移動方向をタッチ位置Ｐ_１に振動を提示し、タッチ位置Ｐ_２に振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Ｔｓでタッチ位置Ｐ_１に振動を提示することにより、トラック番号が連続して減少していることをユーザに認識させることができる。

入力判定［９］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上のとき、入力項目として「トラックＵＰ」が選択される。このとき、図１８の空間順序（第１のタッチ位置）に示すように、タッチ位置を移動方向に対して順序付けて先頭のタッチ位置を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ_２）は振動を提示しない第２のタッチ位置と決定する。図１９Ｂの例で説明すると、タッチ位置Ｐ_１とＰ_２はｘ軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ_２となり、このタッチ位置を振動を提示する第１のタッチ位置と決定する。これにより、斜線が記された指２に振動が提示され、指１には振動が提示されないことになり、その結果、ユーザは、ｘ軸のプラス方向にタッチ位置を移動させて入力したことが機器に受け付けられたことを、移動方向の先頭のタッチ位置Ｐ_２に振動が提示され、その他のタッチ位置（ここではＰ_１）に振動が提示されないことにより、容易に入力が受け付けられた方向を知ることができる。

入力判定［１０］は、タッチ数が２、かつタッチ位置Ｐ_１とＰ_２の移動方向ｖ１とｖ２が同一かつ所定の座標軸のプラス方向、かつタッチ位置の移動距離が所定の閾値Ｄ以上、かつタッチ位置の静止時間ｔ１ｓが所定の閾値Ｔｓ以上の場合、入力項目として「連続トラックＵＰ」が選択される。このとき、入力判定［９］の場合と同様に、タッチ位置Ｐ_１とＰ_２はｘ軸に対して同一のプラス方向に移動しており、その移動方向に対して先頭のタッチ位置はＰ_２となり、タッチ位置Ｐ_２を振動を提示する第１のタッチ位置とし、その他のタッチ位置（ここではＰ_１）は振動を提示しない第２のタッチ位置と決定する。これにより、入力判定［９］の場合と同様に、機器に受け付けられた移動方向をタッチ位置Ｐ_２に振動を提示し、タッチ位置Ｐ_１に振動を提示しないことによりユーザ認識させるとともに、所定の時間間隔Ｔｓでタッチ位置Ｐ_２に振動を提示することにより、トラック番号が連続して増加していることをユーザに認識させることができる。

なお、さらにタッチ位置Ｐ_１またはＰ_２の移動速度を用いてトラック番号を設定する時間間隔Ｔｓを変更し、変更した時間間隔で触覚を提示するようにしてもよい。これにより、速い速度でタッチ位置Ｐ_１、Ｐ_２を移動させたあとタッチ位置を静止させた場合は、Ｔｓを短くしてトラック番号を短い時間間隔で変更され、逆に遅い速度でタッチ位置Ｐ_１、Ｐ_２を移動させた場合は、Ｔｓを長くしてトラック番号をゆっくり変更されるが、変更した時間間隔に合わせて触覚を提示することにより、ユーザの意図に応じてトラック番号の変更をわかりやすく通知することができる。

また、Ｔｓがかなり短い場合、トラック番号ごとに振動を提示すると、トラック番号の切り替わりを識別しづらくなることもあるため、実施の形態１のコンテンツの早送り、巻戻しと同様に、トラック番号についても早送り、巻戻しのレベルを設定し、そのレベル値を振動によりフィードバックしてもよい。

なお、タッチ入力の結果をパネル１０１の振動によりユーザに通知するとき、タッチ位置が移動中でであっても振動を知覚することはできるが、タッチ位置の移動が停止したときまたは移動速度が小さいときに振動を提示することにより、より容易にユーザは各タッチ位置での振動を知覚させることができる。すなわち、移動入力の結果を振動でフィードバックする際にも、移動中の振動提示だけでなく、移動の停止時に振動をフィードバックすることで、より容易に振動を知覚して受け付けられた入力について知ることができる。

なお、実施の形態２では、振動提示条件決定部３０２で決定する振動提示条件として、複数のタッチ位置を移動させた後に静止状態を維持することで、設定値を連続的に変化させるという例で説明したが、これにかぎらず、例えば、静止状態に移行したあとは、所定の時間間隔で現在の設定値を振動により知らせるようにしてもよい。

なお、ここでは、複数のタッチ位置を同一方向に移動させる例で説明したが、例えば、２点タッチした状態で、一方のタッチ位置は静止しており、他方のタッチ位置をｘ軸のプラス方向またはマイナス方向に移動させたときに、移動させたタッチ位置のみを振動させ、かつ設定項目としては、「早送り」あるいは「巻戻し」、「トラック番号の増加」あるいは「トラック番号の減少」などを実行してもよい。移動させたタッチ位置への振動提示は、タッチ位置の移動中でもよいし、移動の停止時およびその前後でもよい。移動の停止時およびその前後は、ユーザはより振動を感じやすく、入力結果の確認がより容易である。

（ステップＳ３０６：提示振動決定）
提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を、ステップＳ３０４で決定した設定値と設定値の増減値、およびステップＳ３０５で決定した振動提示条件に基づいて決定する。

実施の形態１と同様に、図７Ａおよび図７Ｂに示すような１回刺激信号や２回刺激信号の触感信号を用いて、設定値や設定値の増減値を提示する。例えば設定値の増減値が１であれば１回刺激信号に決定し、トラック番号の早送りや巻戻しなどの２段階以上の設定値を知らせるときは図７Ｂに示す２回刺激信号、さらには１回刺激信号を繰り返すことで得られる３回刺激信号などの触感信号に決定する。

（ステップＳ３０７：多点同時振動制御）
多点同時振動制御部１０９は前記第１のタッチ位置に前記触感信号が示す振動を提示し、前記第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号により前記アクチュエータを駆動してパネル１０１の振動をタッチ位置別に同時に制御する。

ステップＳ３０７は実施の形態１のステップＳ１０６と同じ動作のため説明は省略する。

上記の構成と動作により、本実施の形態２にかかる触覚入出力装置１００は、実施の形態１に、移動入力判定部３０１を追加し、複数のタッチ位置をタッチしたまま同一方向へ移動させる移動入力を判定し、振動提示条件決定部３０２により移動方向に対して先頭のタッチ位置を判定し、多点同時振動制御部１０９により、移動方向に対して先頭のタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、機器が受け付けた移動入力の方向や地図や音楽トラックなど操作対象の進行方向を触覚により確認できる。また、ＧＵＩを目視してタッチすることなく、パネル上の任意の位置で、複数のタッチ位置に基づく移動入力と順序入力より、機器の設定を操作できる。

（実施の形態３）
実施の形態３は、空調やオーディオなど、複数の機器の機能が混在したシステムにおいても、タッチ入力用のパネルを注視せずに入力設定ができるよう考慮したものである。

図２０は、本発明の実施の形態３における触覚入出力装置の構成を示すブロック図である。第１の実施の形態の構成を示すブロック図と同一の構成要素には同一の番号を付し、実施の形態１と異なる構成要素である設定情報階層化記憶部４０１、階層化入力判定部４０２、階層別振動提示条件決定部４０３の構成と動作を中心に説明する。

＜設定情報階層化記憶部４０１＞
設定情報階層化記憶部４０１は、機器の設定情報を階層化してタッチ位置の空間順序と対応付けて記憶する。図２１に階層化して記憶された設定情報の一例を示す。実施の形態３では、空調機能とオーディオ機能を備えたシステムを例として説明する。ここでは、図２１に示すように、選択モード１〜選択モード７の７つの選択モードが３つの階層に階層化されて記憶されている例で説明する。

第１階層は、空調設定またはオーディオ設定を選択する選択モード１からなる。

第２階層は、温度設定または風量設定を選択する選択モード２、および、音量設定またはトラック設定を選択する選択モード３からなる。

第３階層は、温度ＤＯＷＮまたは温度ＵＰを選択する選択モード４、風量ＤＯＷＮまたは風量ＵＰを選択する選択モード５、音量ＤＯＷＮまたは音量ＵＰを選択する選択モード６、および、トラックＤＯＷＮまたはトラックＵＰを選択する選択モード７からなる。

＜階層化情報入力判定部４０２＞
階層化情報入力判定部４０２は、タッチ情報取得部１０３で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部４０１に記憶されているＮ階層に階層化された選択モードを選択して、目的の設定項目を決定する。

具体的には、パネル１０１に入力される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出して、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ−１階層の選択モードへ移行し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部４０１にあらかじめ記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行する。

＜階層別振動提示条件決定部４０３＞
階層別振動提示条件決定部４０３は、複数のタッチ位置のうち、前記移動方向に対する先頭順序のタッチ位置を算出し、前記移動の停止位置でタッチ位置が継続する場合を含め、前記先頭順序のタッチ位置を振動を提示する第１のタッチ位置とし、前記先頭順序以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

上記のように構成された本実施の形態３の触覚入出力装置１００の動作を図２１〜図２３に基づいて説明する。

図２２は、実施の形態２の触覚入出力装置１００の動作を示すフローチャートである。

ここでは、カーナビなどの車載システムに本実施の形態３の触覚入出力装置１００を搭載した例で本実施の形態３の動作を説明する。図１８にユーザが入力する設定項目の一例を示す。ここでは、地図スクロール、音量設定、トラック設定を例として、図１８に示す［１］〜［１０］の入力を判定し、受け付けられた入力の結果を触覚によりフィードバックする手順の一例について説明する。車載システムの構成の一例としては、図１９Ａに示すように、地図などを表示するモニタ１１０の上部に透明な素材からなるパネル１０１を配置する構成であってもよく、また、モニタ１１０とは別にセンターコンソールやアームレストにパネル１０１を配置する構成であってもよい。実施の形態２は、いずれの構成であっても、ユーザはパネル１０１を注視することなく入力操作できるよう考慮したものである。

（ステップＳ４０１：タッチ情報取得）
タッチ情報取得部１０３は、パネル１０１に対するユーザの複数のタッチ位置を時系列情報として取得する。例えば図１９Ａに示すように、２本の指、指１および指２でパネル１０１にタッチしているとき、時刻ｔにおける指１によるタッチ位置Ｐ_１（ｘ_１（ｔ），ｙ_１（ｔ））、指２によるタッチ位置Ｐ_２（ｘ_２（ｔ），ｙ_２（ｔ））を、例えば２０ｍｓなど所定のサンプリング間隔Δｔごとに取得する。

（ステップＳ４０２：階層化入力判定）
階層化情報入力判定部４０２は、タッチ情報取得部１０３で取得される複数のタッチ位置の時系列情報に基づいて、前記設定情報階層化記憶部４０１に記憶されているＮ階層に階層化された選択モードを選択して、目的の設定項目を決定する。

具体的には、パネル１０１に入力され、タッチ情報取得部１０３により取得される複数のタッチ位置の時系列情報に基づいて、同時に検出されるタッチ位置の検出順序と空間順序を算出し、前記検出順序に基づいて選択した前記タッチ位置の空間順序と、設定情報階層化記憶部４０１にあらかじめ記憶されている第Ｎ階層の選択モードの設定項目の空間順序とに基づいて、前記タッチ位置の空間順序と一致する前記設定項目を決定して第Ｎ＋１階層の選択モードへ移行する。また、前記複数のタッチ位置の時系列情報に基づいて、第１の入力パターンが検出されたとき第１階層の選択モードへ移行し、第２の入力パターンが検出されたとき第Ｎ−１階層の選択モードへ移行する。

さらに具体的には、第Ｎ階層において、タッチ位置が１つでタッチの継続時間が所定の時間内（例えば１００ｍｓ〜５００ｍｓ以内）である場合、あるいは、少なくとも１つのタッチ位置が継続されているときに、別の位置に新たな１つのタッチ位置が検出される場合（以下、「シングルタップ入力」と呼ぶ。）を「選択入力」として判定し、新たなタッチ位置の空間順序に対応する第Ｎ階層の選択モードの設定項目を選択し、第Ｎ＋１階層へ移行する。

また、前記第１の入力パターンとして、例えば、２つ以上のタッチ位置が所定の時間内（例えば１００ｍｓ〜５００ｍｓの時間内）に２回検出される場合（以下、「ダブルタップ入力」と呼ぶ。）を「初期選択入力」として判定し、第１階層の選択モード１に戻る。

また、前記第２の入力パターンとして、例えば、第Ｎ階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも１つ検出される場合を「戻り入力」として判定し、第Ｎ−１階層の選択モードに戻る。

階層化情報入力判定部４０２は、上記手順に基づいて、「選択入力」、「初期選択入力」、「戻り入力」を判定し、ユーザが目的としている設定項目を決定する。

以下、図２１を用いて、階層化された設定項目から目的の設定項目を決定する手順の一例について説明する。ここでは、選択モード１〜選択モード７は、空調調整またはオーディオ調整、温度調整または風量調整など、各選択モードはすべて２つの選択肢からなる例で説明する。ただし、選択肢の数は２に限るものではなく、片手または両手によるタッチ操作により、より多くの選択肢から選択してもよい。

以下、図２１を用いて、「選択入力」および「初期選択入力」の２種類のタッチ入力のみで空調設定およびオーディオ設定を実施する手順の一例を説明する。図２３は、「選択入力」、「初期選択入力」に加え、「戻り入力」の３種類のタッチ入力で設定項目を決定する一例であり、これについては後述する。

＜第１階層、選択モード１での設定項目選択＞
階層化情報入力判定部４０２は、ダブルタップ入力が検出された場合、「初期選択入力」と判定して、第１階層の選択モード１に移行する。選択モード１は空調に関する設定項目を選択する、またはオーディオに関する設定項目を選択するモードである。ユーザは空調設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、オーディオ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序を判定する。新たなタッチ位置の空間順序の判定は、実施の形態１のステップＳ１０２で、図５Ｂおよび図５Ｃを用いて説明した音量設定の入力判定と同様に、新たなタッチ位置の空間順序が第１順序であるか第２順序であるかを判定する。階層化情報入力判定部４０２は、新たなタッチ位置の空間順序が第１順序である場合、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、空間順序が一致する空調設定を選択し、第２階層の選択モード２に移行する。同様に、新たなタッチ位置の空間順序が第２順序である場合、図２１に示すようにオーディオ設定を選択し、第２階層の選択モード３に移行する。

＜第２階層、選択モード２での設定項目選択＞
選択モード２は、空調設定における、温度設定または風量設定を選択するモードである。選択モード１と同様に、ユーザは温度設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、風量設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第１順序と対応付けられて記憶されている温度設定を選択し、第３階層の選択モード４に移行する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように風量設定を選択し、第３階層の選択モード５へ移行する。

＜第２階層、選択モード３での設定項目選択＞
選択モード３は、オーディオ設定における、音量設定またはトラック設定を選択するモードである。選択モード１と同様に、ユーザは音量設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、トラック設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、少なくとも１つのタッチ位置が継続して検出されているとき、別の位置に新たな１つのタッチ位置が検出される場合、「選択入力」と判定し、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、設定情報階層化記憶部４０１に記憶されている設定項目に対応付けられて記憶されている空間順序と比較して、第１順序と対応付けられて記憶されている音量設定を選択し、第３階層の選択モード６に移行する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すようにトラック設定を選択し、第３階層の選択モード７へ移行する。

＜第３階層、選択モード４および選択モード５での設定項目選択＞
選択モード４は、空調設定における、設定温度を下げる設定（温度ＤＯＷＮ設定）または設定温度を上げる設定（温度ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは温度ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、温度ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、第１階層および第２階層での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている温度ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように温度ＵＰ設定を選択する。

選択モード５は、空調設定における、設定風量を下げる設定（風量ＤＯＷＮ設定）または設定風量を上げる設定（風量ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは風量ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、風量ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード４での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている風量ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように風量ＵＰ設定を選択する。

＜第３階層、選択モード６および選択モード７での設定項目選択＞
選択モード６は、オーディオ設定における、設定音量を下げる設定（音量ＤＯＷＮ設定）または設定音量を上げる設定（音量ＵＰ設定）を選択するモードである。選択モード１と同様に、ユーザは音量ＤＯＷＮ設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、音量ＵＰ設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード４での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている音量ＤＯＷＮ設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように音量ＵＰ設定を選択する。

選択モード７は、オーディオ設定における、設定トラックを前に戻す設定（前トラック設定）または設定トラックを次に進める設定（次トラック設定）を選択するモードである。選択モード１と同様に、ユーザは前トラック設定を選択する場合は第１順序である指１でシングルタップ入力を実行し、次トラック設定を選択する場合は第２順序である指２でシングルタップ入力を実行する。階層化情報入力判定部４０２は、選択モード６での選択入力の判定と同様に、新たなタッチ位置の空間順序が第１順序であるとき、図２１に示すように、第１順序と対応付けられて記憶されている前トラック設定を選択する。また、新たなタッチ位置の空間順序が第２順序であるとき、図２１に示すように次トラック設定を選択する。

（ステップＳ４０３：設定情報の変更）
設定情報変更部１０６は階層情報入力判定部４０２で決定された設定項目の設定値を変更する。第１階層、第２階層では設定項目を選択するのみであり、第３階層の選択モード４〜選択モード７で決定された設定項目の設定情報を変更する。

設定情報の変更は、実施の形態２のステップＳ３０４で説明した音量設定およびトラック設定と同様の手順により実行される。

＜第３階層、選択モード４および選択モード５での設定情報変更＞
選択モード４で温度ＤＯＷＮ設定と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＴ＝−１として、設定値である温度レベルＴを、Ｔ＝Ｔ＋ΔＴに従って１減少させる。設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。

選択モード４で温度ＵＰ設定と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＴ＝＋１として、設定値である温度レベルＴを、Ｔ＝Ｔ＋ΔＴに従って１増加させる。

選択モード５で風量ＤＯＷＮ設定と判定された場合、または、風量ＵＰ設定と判定された場合はそれぞれ、選択モード４で温度ＤＯＷＮ設定と判定された場合、または、温度ＵＰ設定と判定された場合と同様に、風量の設定値の増減値ΔＷをΔＷ＝―１または＋１として、風量レベルＷをＷ＝Ｗ＋ΔＷに従って設定値を変更する。

設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。

＜第３階層、選択モード６および選択モード７での設定情報変更＞
選択モード６で音量ＤＯＷＮ設定と判定された場合、すなわち２点あるタッチ位置のうち、第１順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、音量設定の増減値ΔＶ＝−１として、音量レベルＶ＝Ｖ＋ΔＶに従って１減少させる。

選択モード６で音量ＵＰ設定と判定された場合、すなわち２点あるタッチ位置のうち、第２順序のタッチ位置が新たにシングルタップ入力されたタッチ位置である場合、例えば、図１８の音量設定の設定値の増減値と同様に、温度設定の増減値ΔＶ＝＋１として、設定値である温度レベルＴを、Ｖ＝Ｖ＋ΔＶに従って１増加させる。

選択モード７で前トラック設定と判定された場合、または、次トラック設定と判定された場合はそれぞれ、図１８のトラック設定と同様に、トラック番号の増減値ΔＮｔをΔＮｔ＝―１または＋１として、トラック番号ＮｔをＮｔ＝Ｎｔ＋ΔＮｔに従って設定値を変更する。

設定値の変更は、例えば、新たにシングルタップ入力されたタッチ位置が検出されたときに実行する。

（ステップＳ４０４：階層別に振動提示条件決定）
階層別振動提示条件決定部４０３は、階層ごと、および選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定する。

＜第１階層での振動提示条件＞
階層別振動提示条件決定部４０３は、図２１に示すように、ダブルタップ入力が検出され、「初期選択入力」と判定された場合、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に１回ずつ振動を提示することを決定する。例えば、ダブルタップが検出された２つのタッチ位置に対して、まず、第１順序のタッチ位置を振動を提示する第１のタッチ位置とし、第２順序のタッチ位置を振動を提示しない第２のタッチ位置とした後、所定の時間後、例えば２５０ｍｓ後に、第２順序のタッチ位置を振動を提示する第１のタッチ位置とし、第１順序のタッチ位置を振動を提示しない第２のタッチ位置とする。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード１に移行したことを認識することができる。

なお、同時に複数のタッチ位置が継続されている場合、あるタッチ位置に振動を提示して、別のタッチに振動を提示するまでのインターバルを２５０ｍｓ以上に設定することにより、ユーザはより容易に各指に順に振動が提示されたことを認識できる。

また、実施の形態３では選択モードに移行したことを振動により通知するため、ユーザはダブルタップ入力後、そのままタッチ位置を継続することが望ましく、また、例えば、２点タッチの場合、１つのタッチ位置をパネル１０１で継続したまま、他のタッチ位置でシングルタップ入力することにより、一方の指が支点になるので、容易にシングルタップ入力ができ、かつ２つの選択肢のうちどちらを選択しているのかを容易に認識することができる。

また、階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

＜第２階層での振動提示条件＞
階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード２では、温度設定（第１順序）が選択されたのか、あるいは風量設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード３では、音量設定（第１順序）が選択されたのか、あるいはトラック設定（第２順序）が選択されたのかを触覚により認識することができる。

＜第３階層での振動提示条件＞
階層別振動提示条件決定部４０３は、図２１に示すように、シングルタップ入力が検出され、「選択入力」と判定された場合、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、新たなタッチ位置を振動を提示する第１のタッチ位置とし、新たなタッチ位置以外のタッチ位置を振動を提示しない第２のタッチ位置として決定する。

これにより、ユーザは振動が提示されるタッチ位置にある指の空間順序により、選択モード４では、温度ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは温度ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード５では、風量ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは風量ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード６では、音量ＤＯＷＮ設定（第１順序）が選択されたのか、あるいは音量ＵＰ設定（第２順序）が選択されたのかを触覚により認識することができる。また、選択モード７では、前トラック設定（第１順序）が選択されたのか、あるいは次トラック設定（第２順序）が選択されたのかを触覚により認識することができる。

（ステップＳ４０５：提示振動決定）
提示振動決定部１０８は前記第１のタッチ位置に提示する振動を示す触感信号を、ステップＳ４０３で決定した設定値と設定値の増減値、およびステップＳ４０４で決定した振動提示条件に基づいて決定する。

実施の形態１と同様に、図７Ａおよび図７Ｂに示すような１回刺激信号や２回刺激信号の触感信号を用いて、選択入力が受け付けられたこと、また、設定値、設定値の増減値をユーザに提示する。例えば設定値の増減値が１であれば１回刺激信号に決定し、第２階層で選択入力が検出された際には、図７Ｂに示す２回刺激信号などの触感信号に決定し、第２階層での選択入力であることをユーザに提示する。すなわち刺激信号の回数と選択している階層数Ｎを同一にすることにより、第Ｎ階層での選択入力であることをユーザに提示する。

＜第１階層での提示振動＞
提示振動決定部１０８は、ステップＳ４０２によりダブルタップ入力が検出され、第１階層の選択モード１に移行する「初期選択入力」と判定され、ステップＳ４０４により、検出された複数のタッチ位置に対して、各タッチ位置に所定の時間内に１回ずつ振動を提示すると決定された際に、例えば図７Ａに示す１回刺激信号を触感信号として決定する。これにより、ユーザは、受け付けられたタッチ位置の数を認識することができ、すなわち、選択項目の数と選択モード１に移行したことを認識することができる。また、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば図７Ａに示す１回刺激信号を触感信号として決定する。これにより、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知することができる。

＜第２階層での提示振動＞
提示振動決定部１０８は、第２階層の選択モード２または選択モード３のいずれにおいても、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、第２階層において、「選択入力」が受け付けられて次の選択モードに移行したこと、また、選択された項目が第１順序のタッチ位置の設定項目であるか、第２順序のタッチ位置の設定項目であるかをユーザに通知するため、例えば図７Ｂに示す２回刺激信号を触感信号として決定する。

＜第３階層での提示振動＞
提示振動決定部１０８は、第３階層の選択モード４から選択モード７のいずれにおいても、ステップＳ４０２によりシングルタップ入力が検出され、「選択入力」と判定された場合、例えば設定値の増減値が１であれば１回刺激信号に決定する。これにより、ユーザがシングルタップ入力したタッチ位置に、１回刺激信号によりパネル１０１を振動させることにより、設定値が１だけ増減したことを通知する。

なお、例えば選択モード５で、風量レベルを設定する場合など設定値が数段階の離散値をとる場合、例えば風量レベルが５段階程度であれば、シングルタップ入力したタッチ位置が所定の時間継続した場合に、１回刺激信号〜５回刺激信号によりパネル１０１を振動させ、現在の設定値を触覚によりフィードバックしてもよい。

さらに、設定値が変更された後、同じタッチ位置が継続的に検出される場合、所定の時間間隔ごとに設定値を振動によりフィードバックしてもよい。

また、設定値の振動によるフィードバックが所定の時間、あるいは所定の回数継続した後に、タッチ位置が継続して検出されていても振動を停止させてもよい。

なお、各階層で、タッチ位置が継続して検出されており、かつ所定の時間以上、次の階層へ移行する入力が実行されない場合、ユーザが選択を迷っている判断して、音声等により、設定項目の名称を提示してもよい。あるいは、各タッチ位置に１回ずつ順に振動を提示することを所定の時間間隔で繰り返すことにより、選択肢の数とタッチ位置として受け付けられているタッチ位置をユーザにフィードバックしてもよい。

また、各階層で、タッチ位置の数と設定項目の選択肢の数が一致しない場合、例えば所定の時間経過後に、設定値を通知する振動とは周波数や振幅の異なる別の振動を提示することにより、あるいは音声等により、不一致をユーザに通知してもよい。

（ステップＳ４０６：多点同時振動提示）
多点同時振動制御部１０９は、ステップＳ４０４で決定された第１のタッチ位置に、ステップＳ４０５で決定された触感信号が示す振動を提示し、ステップＳ４０４で決定された第２のタッチ位置に振動を提示しないように各アクチュエータの駆動信号を算出し、算出した前記駆動信号によりアクチュエータ１０２を駆動してパネル１０１の振動をタッチ位置別に同時に制御する。

ステップＳ４０６は実施の形態１のステップＳ１０６と同じ動作のため説明は省略する。

上記の構成と動作によれば、実施の形態３にかかる触覚入出力装置１００は、図２１に示すような階層化された設定項目を容易に選択し、入力結果を触覚により確認することができる。図２１の例では、まずユーザは、２本の指によるダブルタップ入力により選択モード１に移行させる。このとき、ダブルタップ入力の後、パネル１０１上で静止している各指に、１回ずつ振動を提示することにより、受け付けられたタッチ数と選択項目の数が一致していることを触覚により確認できる。次に、選択モード１において、空調設定またはオーディオ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき空調設定が選択され、空間順序が第２順序のとき、オーディオ設定が選択される。このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは容易に確認することができる。

選択モード１で空調が選択された場合、第２階層である選択モード２に移行する。選択モード２においては、選択モード１と同様に、温度設定または風量設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき温度設定が選択され、空間順序が第２順序のとき、風量設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード２において、温度設定が選択された場合、第３階層である選択モード４に移行する。選択モード２において、風量設定が選択された場合、第３階層である選択モード５に移行する。選択モード４においては、温度ＤＯＷＮ設定または温度ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき温度ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、温度ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード５においては、風量ＤＯＷＮ設定または風量ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき風量ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、風量ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。

選択モード１でオーディオが選択された場合、第２階層である選択モード３に移行する。選択モード３においては、選択モード１と同様に、音量設定またはトラック設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき音量設定が選択され、空間順序が第２順序のとき、トラック設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。選択モード３において、音量設定が選択された場合、第３階層である選択モード６に移行する。選択モード３において、トラック設定が選択された場合、第３階層である選択モード７に移行する。選択モード６においては、音量ＤＯＷＮ設定または音量ＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のとき音量ＤＯＷＮ設定が選択され、空間順序が第２順序のとき、音量ＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。また、選択モード７においては、トラックＤＯＷＮ設定またはトラックＵＰ設定を選択するために、タッチした２本の指の一方をシングルタップ入力する。新たなタッチ位置の空間順序が第１順序のときトラックＤＯＷＮ設定が選択され、空間順序が第２順序のとき、トラックＵＰ設定が選択され、このとき、新たなタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しないことにより、どちらの設定項目が選択されたかをユーザは確認できる。

なお、上記ステップＳ４０１〜Ｓ４０６では、新たな設定項目を選択する際、例えば、温度を設定した後、次にオーディオの音量を設定するような場合、一旦ダブルタップ入力により第１階層の選択モード１に戻り、各選択モードに移行する例で説明した。

ここでは、第Ｎ階層から第Ｎ−１階層に戻る「戻り入力」を考慮した設定項目の決定手順の一例について説明する。具体的には、ステップＳ４０２において、階層化情報入力判定部４０２は、第Ｎ階層の選択モードにおいて、選択肢の数と同数のタッチ位置が継続して検出され、同時に別の新たなタッチ位置が少なくとも１つ検出される場合を「戻り入力」として判定し、第Ｎ−１階層の選択モードに戻る。

以下、図２３を用いて、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも１つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化された設定情報の決定手順の一例について説明する。

図２３の例では、まず、２つのタッチ位置で同時にダブルタップ入力を行うことにより、選択モード１に移行する。次に、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、振動によるフィードバックは２回刺激信号を用いて、第２階層に移行することをユーザに確認させる。

第１階層で空調設定が選択された場合、第２階層の選択モード２に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第２階層から第１階層へ戻ることを振動によりユーザに確認させるため、１回刺激信号を用いて第３のタッチ位置にのみ振動を提示することによりユーザに通知する。選択モード２において、温度設定または風量設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に３回刺激信号を用いて振動をフィードバックすることにより、第３階層に移行することをユーザに確認させる。

第２階層で温度設定が選択された場合、第３階層の選択モード４に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード３において、温度ＤＯＷＮ設定または温度ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。

第２階層で風量設定が選択された場合、第３階層の選択モード５に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード５において、風量ＤＯＷＮ設定または風量ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。

第１階層でオーディオ設定が選択された場合、第２階層の選択モード３に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第２階層から第１階層へ戻ることを振動によりユーザに確認させるため、１回刺激信号を用いて第３のタッチ位置のみに振動を提示することによりユーザに通知する。選択モード３において、音量設定またはトラック設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でダブルタップが検出されたときに、「１点ダブルタップ入力」による「選択入力」と判定し、別のタッチ位置に３回刺激信号を用いて振動をフィードバックすることにより、第３階層に移行することをユーザに確認させる。

第２階層で音量設定が選択された場合、第３階層の選択モード６に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード６において、音量ＤＯＷＮ設定または音量ＵＰ設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。

第２階層でトラック設定が選択された場合、第３階層の選択モード７に移行する。ここで、選択肢の数のタッチ位置が検出されている状態で、別の第３のタッチ位置においてダブルタップ入力が検出されたとき、「戻り入力」と判定され、この場合、第３階層から第２階層へ戻ることを振動によりユーザに確認させるため、２回刺激信号を用いて第３のタッチ位置のみを振動させることによりユーザに通知する。選択モード７において、前トラック設定または次トラック設定を選択するために、１つのタッチ点が継続した状態で、別のタッチ位置でシングルタップが検出されたときに、「シングルタップ入力」による「選択入力」と判定し、別のタッチ位置に１回刺激信号を用いて振動をフィードバックすることにより、設定値の増減値をユーザに確認させる。

なお、ここでは、選択モードの選択肢が２であり、２つのタッチ位置が検出されている状態で、別の第３のタッチ位置が検出されたときに「戻り入力」と判定する例で説明したが、これに限らず、例えば、同時にタッチ位置の空間順序を判定し、例えば、（選択肢数＋１）番目のタッチ位置が最も右側（ｘ軸の座標値が最大）であれば、次の階層の選択モードへ移行し、（選択肢数＋１）番目のタッチ位置が最も左側（ｘ軸の座標値が最小）であれば、１つ前の階層に戻るなどとしてもよい。

以上の構成と動作により、本実施の形態３にかかる触覚入出力装置１００は、階層化情報入力判定部４０２により、シングルタップ入力による「選択入力」、ダブルタップ入力による「初期選択入力」、各選択モードにおける選択肢の数だけタッチ位置が継続して検出されている状態で、少なくとも１つの別のタッチ位置が検出される場合の「戻り入力」を判定することにより、階層化されて記憶されている設定項目を選択し、階層別振動提示条件決定部４０３により、階層ごとまたは選択モードごとに、振動を提示する第１のタッチ位置、および振動を提示しない第２のタッチ位置を決定して、多点同時振動制御部１０９により、設定項目を選択したタッチ位置に振動を提示し、その他のタッチ位置に振動を提示しない。これにより、ユーザは、複数の機器の機能が混在したシステムにおいても、階層化された設定項目を、どの階層で、どの設定項目を選択したかを振動により通知することにより、タッチ入力用のパネルを注視せずに入力設定ができる。

なお、実施の形態１から実施の形態３においては、タッチ位置が検出されない場合は、アクチュエータ１０２の駆動を停止し、パネル１０１を振動させないことが好ましい。ただし、タッチ位置が離れた後に、入力状態や機器の状態を振動によりフィードバックしてもよい。

なお、実施の形態１から実施の形態３においては、タッチ位置の時系列情報に基づいて、検出順序、移動方向、空間順序を算出したが、これに限らず、例えばタッチパネルドライバからオペレーティングシステムに通知されるタッチ数、タッチ番号、タッチ開始イベント、タッチ継続イベント、タッチ終了イベントなどのタッチイベントを併用して算出してもよい。

また、実施の形態１から実施の形態３では、タッチ位置の検出時、タッチ位置の移動時、タッチ位置の移動後の停止時に振動を提示する例で説明したが、これに限らず、タッチの押圧が所定の閾値以上のとき、タッチ位置での指の接触面積が所定の閾値以上のとき、あるいは他のマルチタッチジェスチャーが検出されたときに振動を提示してもよい。

上記説明した実施の形態１から実施の形態３に係る触覚入出力装置は、タッチ入力により機器を操作する際に、入力するタッチパネルやタッチパッドを注視することなく、機器の設定操作ができるので、モニタのコンテンツを注視しながら手元のタッチリモートコントローラを操作する際にはリモコンを注視することなく操作する、あるいはモニタをできるだけ注視しないで操作することが望まれるカーナビゲーションなどの車載システムに応用できる。また、設定項目とタッチ位置の空間順序を対応づけ、選択された設定項目に対応するタッチ位置のみを振動させることにより、機器に受け付けられた設定項目をユーザが触覚により容易に確認できるので、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に応用できる。また、洗濯機、電子レンジなどのタッチパネルが搭載された家電機器の触覚入出力装置、また、家電機器を制御する携帯電話やタブレット端末などでタッチパネルが搭載されている機器の触覚入出力装置としても応用できる。

以上、例示的な各実施の形態について説明したが、本願の請求の範囲は、これらの実施の形態に限定されるものではない。添付の請求の範囲に記載された主題の新規な教示および利点から逸脱することなく、上記各実施の形態においてさまざまな変形を施してもよく、上記各実施の形態の構成要素を任意に組み合わせて他の実施の形態を得てもよいことを、当業者であれば容易に理解するであろう。したがって、そのような変形例や他の実施の形態も本開示に含まれる。

本発明にかかる触覚入出力装置は、カーナビゲーションシステムの他、タッチ入力装置を供えたさまざまな機器の操作に応用できる。例えば、タッチパネルやタッチパッドなどタッチ入力で操作するタブレット端末、ゲーム機、ＴＶ用リモコン、デジタルカメラ、ムービー、パーソナルコンピュータ、携帯情報端末、携帯電話、電子黒板やデジタルサイネージ用ディスプレイなどの触覚入出力装置に利用可能である。

１ 指
２ 指
３ 指
１０ 電子機器
１００ 触覚入出力装置
１０１ パネル
１０２ アクチュエータ
１０３ タッチ情報取得部
１０４ 設定情報記憶部
１０５ 順序入力判定部
１０６ 設定情報変更部
１０７ 振動提示位置決定部
１０８ 提示振動決定部
１０９ 多点同時振動制御部
１１０ モニタ
１１１ 映像コンテンツ
１１２ 選択枠表示
１１３ 設定値表示部
１９０ プロセッサ
２０１ 伝達特性記憶部
２０２ 伝達特性取得部
２０３ フィルタ算出部
２０４ 触感信号記憶部
２０５ フィルタ処理部
３０１ 移動入力判定部
３０２ 振動提示条件決定部
４０１ 設定情報階層化記憶部
４０２ 階層化情報入力判定部
４０３ 階層別振動提示条件決定部

Claims (8)

1. 互いに異なる位置に複数のアクチュエータが設置されたタッチパネルへのマルチタッチ入力として、第１タッチ入力と第２タッチ入力を検出し、
   前記第１タッチ入力の前記タッチパネルにおける第１位置と、前記第２タッチ入力の前記タッチパネルにおける第２位置を判定し、
   前記第１タッチ入力と前記第２タッチ入力の（ｉ）各タッチタイプ、（ｉｉ）検出順序、（ｉｉｉ）前記第１位置及び前記第２位置、（ｉｖ）前記第１位置及び前記第２位置それぞれの時系列変化、のすくなくともいずれか１つ又は複数の組み合わせを含む、マルチタッチ入力の状態情報を判定し、
   前記タッチパネルの複数の位置で略同時に検出される複数のタッチ位置及び前記複数のタッチ位置それぞれの時系列変化の組み合わせを含む前記状態情報を判定し、
   前記状態情報が示す、互いに異なる複数の前記マルチタッチ入力の状態それぞれに対する設定情報の中から、前記複数のタッチ位置に対応する設定情報を選択し、
   前記選択された設定情報に対応する前記複数のタッチ位置の１つを、前記タッチパネルにおいて触感を提示する触感位置に設定し、
   前記触感位置に、第１所定値以上の振幅の振動を提示させ、前記触感位置に設定されていない他のタッチ位置に、第２所定値未満の振幅の振動を提示させる駆動信号をそれぞれの前記複数のアクチュエータに対して設定し、設定された前記駆動信号で前記複数のアクチュエータを駆動して前記複数のタッチ位置に対する触感を略同時に制御する、
   タッチパネルの制御方法。
2. マルチタッチ入力を受けるタッチパネルと、
   複数のアクチュエータと、
   前記タッチパネルの複数の位置で略同時に検出される複数のタッチ位置を検出するセンサと、
   タッチパネルへのマルチタッチ入力として、第１タッチ入力と第２タッチ入力を検出し、
   前記第１タッチ入力の前記タッチパネルにおける第１位置と、前記第２タッチ入力の前記タッチパネルにおける第２位置を判定し、
   前記第１タッチ入力と前記第２タッチ入力の（ｉ）各タッチタイプ、（ｉｉ）検出順序、（ｉｉｉ）前記第１位置及び前記第２位置、（ｉＶ）前記第１位置及び前記第２位置それぞれの時系列変化、のいずれか１つ又は複数の組み合わせで示されるマルチタッチ入力の状態情報を判定し、
   前記状態情報に基づいて、前記タッチパネルにおいて触感を提示する触感位置を決定し、
   前記タッチパネルに接続されるアクチュエータにより、前記触感位置の近傍を振動させる１以上のプロセッサと、
   前記状態情報が示す、互いに異なる複数の前記マルチタッチ入力の状態それぞれに対して設定情報を記憶する記憶部と、を有し、
   前記複数のアクチュエータは、前記タッチパネルに対して互いに異なる位置に設置され、
   前記１以上のプロセッサは、
   前記複数のタッチ位置及び前記複数のタッチ位置それぞれの時系列変化の組み合わせを含む前記状態情報を判定し、
   前記記憶部に記憶されている設定情報の中から、前記複数のタッチ位置に対応する設定
   情報を選択し、
   前記選択された設定情報に対応する前記複数のタッチ位置の１つを、前記触感位置に設定し、
   前記触感位置に、第１所定値以上の振幅の振動を提示させ、前記触感位置に設定されていない他のタッチ位置に、第２所定値未満の振幅の振動を提示させる駆動信号をそれぞれの前記複数のアクチュエータに対して設定し、設定された前記駆動信号で前記複数のアクチュエータを駆動して前記複数のタッチ位置に対する触感を略同時に制御する、
   装置。
3. 前記１以上のプロセッサは、さらに、
   前記状態情報の時系列変化に応じて、選択する前記設定情報を変更し、
   前記触感位置の振動を示す触感信号を変更後の前記設定情報に基づいて決定する、
   請求項２に記載の装置。
4. 前記１以上のプロセッサは、さらに、
   前記複数のタッチ位置の時系列変化に基づいて、前記複数のタッチ位置それぞれの移動の有無、移動距離、移動回数、および移動速度の少なくとも１つを含む移動情報を算出し、当該移動情報を、前記設定情報に対応づけられて記憶されている移動情報との比較から、設定する設定情報を変更し、
   前記複数のタッチ位置の移動方向が互いに略一致する場合、前記移動方向に対して先頭に位置する１つのタッチ位置を前記触感位置に設定し、前記触感位置に設定されていない他のタッチ位置は、振動を抑制した触感抑制位置として決定し、
   前記触感位置に提示する振動を示す触感信号を、変更後の前記設定情報に基づいて生成し、
   前記触感位置に、第１所定値以上の振幅の振動を提示させ、前記触感抑制位置に、第２所定値未満の振幅の振動を提示させる駆動信号をそれぞれの前記複数のアクチュエータに対して設定し、設定された前記駆動信号で前記複数のアクチュエータを駆動して前記複数のタッチ位置に対する触感を略同時に制御する、
   請求項２に記載の装置。
5. 前記１以上のプロセッサは、さらに、
   前記状態情報に基づいて、複数のレイヤに階層化された前記設定情報を選択し、
   前記状態情報の時系列変化に応じて、前記設定情報の複数のレイヤのうち１つのレイヤを選択し、選択されたレイヤごとに設定された設定項目に基づき、前記複数のタッチ位置それぞれに対して、前記触感位置及び振動を抑制した触感抑制位置を決定する、
   請求項２に記載の装置。
6. 既に検出されている複数のタッチ位置とは異なる位置に新たな入力が検出された場合には、１階層上のレイヤを選択し直す、
   請求項５に記載の装置。
7. 請求項１に記載のタッチパネル制御方法を、前記タッチパネルに接続されたコンピュータに実行させるためのプログラム。
8. 請求項１に記載のタッチパネル制御方法を、前記タッチパネルに接続されたコンピュータに実行させるためのプログラムが格納されたストレージ。

Images