JP2018064216A - 力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラム - Google Patents

Abstract

【課題】騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することを可能とする。【解決手段】力覚データ生成装置（２）は、音声信号および画像信号の少なくとも一方を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイス（６）の動作を制御する力覚データを生成する。【選択図】図１

Description

本発明は、力覚デバイスの動作を制御する力覚データを生成する力覚データ生成装置、この力覚データ生成装置を備えた電子機器、力覚デバイスの動作を制御する力覚データを生成する力覚データ生成方法、および制御プログラムに関する。

従来、騒がしい場所において、ユーザが複数の音を識別することを補助するため、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスを使用することができる。そして、当該力覚デバイスの使用と併せて、当該力覚デバイスの動作を制御する力覚データを生成する力覚データ生成装置が知られている。

上記力覚データ生成装置の一例が、特許文献１に開示されている。特許文献１に開示されているＤＪ再生用システムは、オーディオ信号における拍の位置を示す拍信号を振動として出力することでユーザに対して力覚を与え、ユーザは当該振動によって複数の音を容易に識別することができる。

特開２０１４−０６８１００号公報（２０１４年４月１７日公開）

しかしながら、特許文献１に開示されているＤＪ再生用システムにおいては、拍信号を振動として出力することでユーザに対して力覚を与えているため、連続する拍が類似した複数の音を適切に識別することが難しいという問題が発生する。

本発明は、上記の課題に鑑みて為されたものであり、その目的は、騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することを可能とする力覚データ生成装置、電子機器、力覚データ生成方法、および制御プログラムを提供することにある。

上記の課題を解決するために、本発明の一態様に係る力覚データ生成装置は、音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成することを特徴としている。

また、上記の課題を解決するために、本発明の別の態様に係る電子機器は、音声信号および画像信号の少なくとも一方である視聴覚信号を、当該視聴覚信号と関連付けられた、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データと共に再生することを特徴としている。

また、上記の課題を解決するために、本発明のさらに別の態様に係る力覚データ生成方法は、音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成することを特徴としている。

さらに、本発明の一態様に係る力覚データ生成装置としてコンピュータを機能させるための制御プログラムについても、本発明の範疇に入る。

本発明の各態様によれば、騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することが可能となる。

本発明の実施の形態１に係る電子機器の概略構成を示すブロック図である。 図１に示す電子機器の力覚データ生成装置の概略構成を示すブロック図である。 図１に示す電子機器の動作の流れの第１例を示すフローチャートである。 図１に示す電子機器の動作の流れの第２例を示すフローチャートである。 本発明の実施の形態２に係る電子機器の第１例の装置構成を概略的に示す図である。 本発明の実施の形態２に係る電子機器の第２例の装置構成を概略的に示す図である。 本発明の実施の形態２に係る電子機器の第３例の装置構成を概略的に示す図である。 本発明の実施の形態２に係る電子機器の第４例の装置構成を概略的に示す図である。 本発明の実施の形態２に係る電子機器の第５例の装置構成を概略的に示す図である。 本発明の実施の形態３に係る電子機器の第１例の装置構成を概略的に示す図である。 本発明の実施の形態３に係る電子機器の第２例の装置構成を概略的に示す図である。 本発明の実施の形態３に係る電子機器の第３例の装置構成を概略的に示す図である。 本発明の実施の形態４に係る電子機器の第１例の装置構成を概略的に示す図である。 本発明の実施の形態４に係る電子機器の第２例の装置構成を概略的に示す図である。

〔実施の形態１〕
本発明を実施するための形態について、図１〜図１４を参照して説明する。なお、説明の便宜上、先に説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。図１は、本発明の実施の形態１に係る電子機器の概略構成を示すブロック図である。図１に示す電子機器１０１は、記憶部１、力覚データ生成装置２、制御部３、音声出力部４、表示部５、および力覚デバイス６を備えている。

記憶部１は、コンテンツ記憶部１ａ、および力覚基データ記憶部１ｂを有している。コンテンツ記憶部１ａには、音楽等の音声を含むコンテンツ、ならびに映像等の音声および画像を含むコンテンツ等が記憶されている。力覚基データ記憶部１ｂには、力覚デバイス６の動作を制御する力覚データの基となる力覚基データが、複数種類の力覚毎に１対１に対応付けられて記憶されている。具体的に、各力覚基データは、ユーザに対して与えるべき力覚の種類に応じた力覚デバイス６の動作を示すデータである。当該力覚の一例として、振動、ザラザラとした感触、ツルツルとした感触、肩を叩かれる感覚、押される感覚、引っ張られる感覚、上から落ちる感覚、下から上っていく感覚、前後左右に力が加わる感覚、音声の音色に応じた固有の感覚、低周波の衝撃を受けるような感覚、乗り物固有の振動や加速度的感覚、画像に表示される物体の動きに対応した力を受ける感覚、物や空気の流れ、液体等が身体に当たる感覚が挙げられる。

力覚データ生成装置２は、コンテンツ記憶部１ａに記憶されたコンテンツに含まれる音声信号および画像信号の少なくとも一方（視聴覚信号）を基に、上記力覚データを生成する。力覚データ生成装置２の詳細な説明については後述する。制御部３は、例えばＣＰＵ（Central Processing Unit）によって構成されている。制御部３は、音声制御部３ａ、表示制御部３ｂ、力覚制御部３ｃ、および同期部３ｄを有している。制御部３は、記憶部１のコンテンツ記憶部１ａからコンテンツを読み出す。また、制御部３には、力覚データ生成装置２から上記力覚データが供給される。

音声制御部３ａは、制御部３がコンテンツ記憶部１ａから読み出したコンテンツに含まれる音声信号を再生し、当該音声信号から得られる音声を音声出力部４に出力させる。音声出力部４は例えば、スピーカ、またはヘッドフォンである。表示制御部３ｂは、制御部３がコンテンツ記憶部１ａから読み出したコンテンツに含まれる画像信号を再生し、当該画像信号から得られる画像を表示部５に表示させる。表示部５は例えば、画像を表示可能な種々の表示装置のいずれかである。力覚制御部３ｃは、力覚データ生成装置２から制御部３に供給された上記力覚データを再生し、当該力覚データに基づいて、力覚デバイス６の動作を制御する。力覚制御部３ｃは、当該力覚データに含まれる力覚デバイス６の動作情報を、実際の力覚デバイス６の動作に変換することが可能な信号処理機能を有しているものであればよく、周知の技術で実現可能なものである。力覚デバイス６は、力覚制御部３ｃによる制御の下、ユーザに対して少なくとも１種類の力覚を与えることができるデバイスである。力覚デバイス６としては、自身が振動する部材等、ユーザに対して力覚を与えることが可能な各種のデバイスが挙げられる。力覚デバイス６の具体例として、微小な震動と人間の錯覚を利用して力覚を使用者に感じさせるいわゆるハプティクスデバイス、および筋肉への電気刺激による錯覚を利用して力覚を使用者に感じさせるデバイスが挙げられる。同期部３ｄは、力覚デバイス６の動作と、音声出力部４による音声の出力とを同期させる。同期部３ｄは、力覚デバイス６の動作と、音声出力部４による音声の出力と、表示部５による画像の表示とを同期させてもよい。

図２は、電子機器１０１の力覚データ生成装置２の概略構成を示すブロック図である。ここでは一例として、音声信号を基に上記力覚データを生成する力覚データ生成装置２の概略構成について、より詳細に説明を行う。力覚データ生成装置２は、音質判定部７、力覚選択部８、および力覚パターン生成部９を備えている。

音質判定部７は、コンテンツ記憶部１ａに記憶されたコンテンツを読み出し、当該コンテンツに含まれる音声信号から得られる音声の音質を判定する。例えば、音質判定部７は、当該音声信号に含まれるノイズ成分を解析することによって、当該音声がノイジーであるか否かを判定する。例えば、音質判定部７は、当該音声信号に対して周波数解析を行う。ノイジーな音声は一般的に、各周波数域においてフラットもしくは滑らかなピークの無い周波数特性を持つ特徴がある。音質判定部７は、この特徴に近い特性を持つ音声を、ノイジーな音声であると判定する。例えば、音質判定部７は、当該音声信号に対して、１オクターブ毎に平均化を行った平均化周波数特性を算出する。このときに使用する周波数帯域は、例えば可聴域（２０Ｈｚ〜２０ｋＨｚ）を５分割して最も高い聴感レベルを持つ。この平均化周波数特性と当該音声信号の周波数特性を比較し、当該音声信号の周波数特性が１０ｄＢ以上高くなるようなピークが見られない場合、音質判定部７は、当該音声がノイジーであると判定する。

力覚選択部８は、音質判定部７による判定結果に応じて、力覚基データ記憶部１ｂから所望の力覚基データを少なくとも１つ読み出し、これにより、少なくとも１種類の力覚基データを選択する。例えば、音質判定部７が上記音声をノイジーな音声であると判定した場合、力覚選択部８は、当該ノイジーな音声に適した力覚基データを選択する。

力覚パターン生成部９は、上記音声信号の波形および位相のうち少なくとも一方に応じて、力覚選択部８が選択した少なくとも１種類の力覚基データの各々について、力覚パターンを設定する。当該力覚パターンは、力覚デバイス６の動作タイミングおよび動作期間等を示すパターンである。例えば、力覚パターン生成部９は、上記音声信号から得られる音声の音量が大きい程、ある１つの力覚基データの出現によりユーザに対して力覚を与える期間を長くすることが考えられる。力覚パターン生成部９が生成したデータは、力覚データとして、制御部３に供給される。

なお、力覚データ生成装置２は、コンテンツ記憶部１ａに記憶されたコンテンツに含まれる画像信号をさらに参照して、上記力覚データを生成してもよい。この場合、力覚選択部８は、音質判定部７による判定結果および当該画像信号の入力に応じて、力覚基データ記憶部１ｂから所望の力覚基データを少なくとも１つ読み出し、これにより、少なくとも１種類の力覚基データを選択する。また、力覚パターン生成部９は、上記音声信号の波形および位相のうち少なくとも一方と上記画像信号の波形および位相のうち少なくとも一方とに応じて、力覚選択部８が選択した少なくとも１種類の力覚基データの各々について、力覚パターンを設定する。

また、力覚データ生成装置２は、音声信号の代わりに、コンテンツ記憶部１ａに記憶されたコンテンツに含まれる画像信号を基に、上記力覚データを生成してもよい。この場合、力覚選択部８は、当該画像信号の入力に応じて、力覚基データ記憶部１ｂから所望の力覚基データを少なくとも１つ読み出し、これにより、少なくとも１種類の力覚基データを選択する。また、力覚パターン生成部９は、上記画像信号の波形および位相のうち少なくとも一方に応じて、力覚選択部８が選択した少なくとも１種類の力覚基データの各々について、力覚パターンを設定する。

また、コンテンツ記憶部１ａに記憶されたコンテンツに含まれる音声信号から得られる音声の音質とは無関係に力覚基データを選択する場合、音質判定部７は省略可能である。この場合、力覚選択部８は、当該音声信号の入力に応じて、力覚基データ記憶部１ｂから所望の力覚基データを少なくとも１つ読み出し、これにより、少なくとも１種類の力覚基データを選択する。

図３は、電子機器１０１の動作の流れの第１例を示すフローチャートである。まず、音声制御部３ａは音声信号を再生し、表示制御部３ｂは画像信号を再生する。同時に、力覚制御部３ｃは、制御部３に供給された力覚データを再生する（ステップＳ１）。そして、ステップＳ１の後、音声出力部４から出力される音声、および表示部５に表示される画像と同期して、上記力覚データに基づいて、力覚デバイス６を動作させる（ステップＳ２）。

図４は、電子機器１０１の動作の流れの第２例を示すフローチャートである。まず、コンテンツ記憶部１ａに記憶されたコンテンツの再生が指示される（ステップＳ１１）と、力覚データ生成装置２は、当該コンテンツに含まれる音声信号（必要に応じて、さらに画像信号）を基に、力覚データを生成する（ステップＳ１２）。その後、同期部３ｄは、力覚制御部３ｃによる力覚デバイス６の動作（ステップＳ１３）と、音声出力部４による音声出力（必要に応じて、さらに表示部５による画像表示）（ステップＳ１４）とを同期させる。ステップＳ１３の後、ステップＳ１２に戻り、当該コンテンツが再生されている間、電子機器１０１は、音声出力部４による音声出力（必要に応じて、さらに表示部５による画像表示）との同期を取るように、ステップＳ１２およびステップＳ１３を繰り返す。

ここで、コンテンツ記憶部１ａに記憶されたコンテンツの音声信号および画像信号と、力覚デバイス６によってユーザに対して与える力覚との関係の一例について説明する。以下では、〔例１〕〜〔例９〕という計９例を挙げている。しかしながら、当該関係は、以下の〔例１〕〜〔例９〕に限定されるものではない。

〔例１〕音声信号から得られる音声の音量が一定以上の条件において、当該音声信号に雑音成分が多い（例えば、上述した要領で、当該音声がノイジーであると音質判定部７が判定した）場合ザラザラとした感触を与え、当該音声信号に雑音成分が少ない場合ツルツルとした感触を与える。これらのどちらにも該当しない場合、力覚を与えない。雑音成分が少ない音声信号として、当該音声信号から得られる音声の音質が正弦波に近く柔らかい場合が考えられる。正弦波に近い音質の判定方法の例として、音質判定部７は例えば、特定の周波数に高いピークを持つ（例えば、２番目に高いピークより２０ｄＢ以上高いピークを持つ）ことを検知する。

〔例２〕音声信号から得られる音声の音量がだんだん大きくなる（例えば、音質判定部７が、音量が累積１０ｄＢ以上大きくなる、または、音量が１０秒間大きくなり続けることを検知する）場合に押される感覚を与え、当該音量がだんだん小さくなる（例えば、音質判定部７が、音量が累積１０ｄＢ以上小さくなる、または、音量が１０秒間小さくなり続けることを検知する）場合に引っ張られる感覚を与える。

〔例３〕音声信号の周波数が低下する（例えば、音質判定部７が、周波数が音程１オクターブ分低下することを検知する）ときに上から落ちる感覚を与え、当該周波数が上昇する（例えば、音質判定部７が、周波数が音程１オクターブ分上昇することを検知する）ときに下から上っていく感覚を与える。

〔例４〕音声出力部４による音声の出力方向に応じて、前後左右に力が加わる感覚を与える。このとき、例えば音声出力部４がヘッドフォンまたは左右のスピーカにある場合、音質判定部７は例えば、音声出力部４の左右の音声出力レベルを比較して、当該音声出力レベルが大きい方を当該音声の出力方向と判定する。もしくは、音質判定部７は例えば、周波数解析によって当該音声信号から特徴的なピークを抽出して、そのピークを含む音声が出力された方を検出して左右の動きを判定する。

〔例５〕音声信号から得られる音声の音色に応じた固有の感覚を与える。このとき、音質判定部７は例えば、当該音声信号の周波数と、音色毎に予め用意されたサンプルの周波数パターンとをマッチングして、当該音声の音色を判定する。

・衝撃音に対応して物がぶつかるような感覚を与える
・風の吹くような音声に対応して風が顔に当たる感覚を与える
・雷のような音声に対して低周波の衝撃を受けるような感覚を与える
・破裂音に対応して頬に何かがプツプツ当たる感覚を与える
・乗り物が動作する音声に対応して、乗り物固有の振動や加速度的感覚を与える
〔例６〕音声信号から得られる音声が人の声である場合、話している内容を分析し、当該分析の結果に対応した感覚を与える。このとき、音質判定部７は例えば、周知の音声認識技術で当該音声の内容を正しく検出することができれば、当該音声を人の声と判定する。

・「もしもし」という文言に対応して肩を叩かれる感覚を与える
〔例７〕画像信号から得られる画像に表示される物体の動きに対応した力を受ける感覚を与える。この場合、例えば、画面内の移動物（オブジェクト）を画像検出で検出する。ぶつかって下に落ちる動きを検出すればぶつかった感覚を与える。右から左にオブジェクトが素早く通り過ぎれば風を感じる感覚を与える。

・遠くにある物が近くに来た（オブジェクトがだんだん大きくなった）場合、押される感覚を与える。

・画像内で特定の物体と別の物体とがぶつかれば、ぶつかった感覚（強く・弱く）を与える
・画像内で物体が通り過ぎれば風を感じる感覚を与える
〔例８〕画像信号から得られる画像内で前後上下左右の動きを検出したときに、その方向に力が加わる感覚を与える。この場合、例えば、画像内のオブジェクトの移動を検出して、各オブジェクトが同じ方向に画面の１／４以上移動している場合は移動を検出する。

〔例９〕上述した〔例１〕〜〔例８〕のうち２例以上の発生タイミングが重なった場合、これらを組み合わせる、または例えば制御部３により的確な例を選択する。

なお、力覚データ生成装置２は、コンテンツに含まれる音声信号とは異なる音声信号を基に、上記力覚データを生成してもよい。例えば、力覚データ生成装置２は、電子機器１０１が配置された雰囲気で聞こえる音声を構成する音声信号を基に、上記力覚データを生成してもよい。

力覚データ生成装置２は、音声信号および画像信号の少なくとも一方を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイス６の動作を制御する上記力覚データを生成する。力覚データ生成装置２によれば、拍ではなく、音声信号および画像信号の少なくとも一方を基に、上記力覚データを生成しているため、複数の音において連続する拍が類似していても、影響なく、これらの音を適切に識別することができる。従って、力覚データ生成装置２によれば、騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することが可能となる。

また、力覚データ生成装置２は、力覚選択部８、および力覚パターン生成部９を備えている。これにより、力覚データ生成装置２は、音声信号および画像信号の少なくとも一方に適した力覚を、適切なタイミングおよび期間で、ユーザに対して与えることができる。また、力覚データ生成装置２は、音質判定部７を備えている。そして、力覚選択部８は、音質判定部７による判定結果に応じて、少なくとも１種類の力覚基データを選択する。これにより、力覚データ生成装置２は、音声信号から得られる音声の音質に応じた力覚をユーザに対して与えることができる。特に、音質判定部７は、上記音声信号に含まれるノイズ成分を解析することによって、上記音声がノイジーな音声であるか否かを判定し、音質判定部７がこの音声をノイジーな音声であると判定した場合、力覚選択部８は、当該ノイジーな音声に適した力覚基データを選択する。これにより、力覚データ生成装置２は、当該ノイジーな音声に適した力覚をユーザに対して与えることができる。

そして、電子機器１０１は、力覚データ生成装置２によって生成された上記力覚データを、音声信号および画像信号の少なくとも一方と共に再生する。また、電子機器１０１は、力覚データ生成装置２を備えている。これにより、電子機器１０１による効果として、力覚データ生成装置２による効果と同等の効果を得ることができる。また、電子機器１０１は、音声出力部４、および同期部３ｄを備えている。これにより、力覚デバイス６の動作と、音声出力部４による音声の出力とを同期させることができる。

さらに、力覚データ生成装置２が実行する各動作、換言すれば、力覚データ生成装置２に対応する方法についても、力覚データ生成方法として、本発明の範疇に含まれる。これにより、力覚データ生成方法による効果として、力覚データ生成装置２による効果と同等の効果を得ることができる。

〔実施の形態２〕
図５は、本発明の実施の形態２に係る電子機器の第１例の装置構成を概略的に示す図である。図５に示す電子機器１０２は、力覚デバイス６をヘッドフォン１０に搭載した形態であり、音声出力部４、力覚デバイス６、再生装置１１、および耳当て１２を備えている。再生装置１１は、コンテンツを再生するものであり、記憶部１、力覚データ生成装置２、および制御部３を備えている。再生装置１１は、再生装置１１外の記録媒体または伝送媒体等からコンテンツが供給されてもよく、この場合、記憶部１のコンテンツ記憶部１ａは省略可能である。耳当て１２は、ユーザが音声出力部４から出力される音声を聴くために、ユーザが自身の耳を当てる部分である。力覚デバイス６は、耳当て１２に搭載されている。電子機器１０２は、力覚デバイス６を耳当て１２に備えている。これにより、ユーザは、音声と力覚デバイス６の動作とを耳で感じることができるため、耳を含む頭部で、これらをリアルに感じることができる。

図６は、本発明の実施の形態２に係る電子機器の第２例の装置構成を概略的に示す図である。図６に示す電子機器１０３は、力覚デバイス６をヘッドフォン１３に搭載した形態であり、電子機器１０２の構成に加え、表示部５をさらに備えている。電子機器１０３によれば、力覚デバイス６の動作と、コンテンツの音声および画像とを同期させることにより、電子機器１０２と比較して、ユーザは、音声と画像と力覚デバイス６の動作とをよりリアルに感じることができる。

図７は、本発明の実施の形態２に係る電子機器の第３例の装置構成を概略的に示す図である。図７に示す電子機器１０４は、力覚デバイス６をリストバンド１４に搭載した形態であり、音声出力部４、表示部５、力覚デバイス６、再生装置１１、およびバンド部１５を備えている。バンド部１５は、ユーザの手首を通すことができるものであり、環状に形成されている。音声出力部４が、表示部５、再生装置１１、またはバンド部１５のいずれかに搭載されていてもよい。力覚デバイス６は、バンド部１５に搭載されている。電子機器１０４は、力覚デバイス６をバンド部１５に備えている。これにより、ユーザは、画像を目で、力覚デバイス６の動作を手首で感じることができるため、上半身の広い範囲で、これらをリアルに感じることができる。また、電子機器１０４によれば、力覚デバイス６の動作と、コンテンツの音声および画像とを同期させることにより、ユーザは、これらを非常にリアルに感じることができる。

図８は、本発明の実施の形態２に係る電子機器の第４例の装置構成を概略的に示す図である。図８に示す電子機器１０５は、力覚デバイス６をヘッドフォン１６に搭載した形態であり、電子機器１０２の構成に加え、スイッチ１７を備えている。スイッチ１７は、例えばヘッドフォン１６または力覚デバイス６のオン状態とオフ状態とを切り替える一般的なスイッチであり、力覚パターン生成部９とは別に、力覚デバイス６の動作タイミングおよび動作期間の調整を行うことができるものである。電子機器１０５は、スイッチ１７を備えている。これにより、ユーザは、所望のタイミングで、スイッチ１７によって、力覚デバイス６の動作タイミングおよび動作期間を調整することができる。

図９は、本発明の実施の形態２に係る電子機器の第５例の装置構成を概略的に示す図である。図９に示す電子機器１０６は、力覚デバイス６をヘッドフォン１８に搭載した形態であり、電子機器１０２の構成に加え、音声取得部１９、および力覚パターン調整部２０を備えている。音声取得部１９は、例えば集音マイクによって構成されており、電子機器１０６の周囲の音声を取得する。力覚パターン調整部２０は、音声取得部１９が取得した音声に応じて、力覚デバイス６の動作タイミングおよび動作期間の調整を行う。例えば、音声取得部１９が取得した、電子機器１０６の周囲の音声の音量が所定より大きい場合、力覚パターン調整部２０は、力覚デバイス６の動作期間を長くする。力覚パターン調整部２０は、ヘッドフォン１８または力覚デバイス６のオン状態とオフ状態とを切り替える機能を有していてもよい。電子機器１０６は、音声取得部１９および力覚パターン調整部２０を備えている。これにより、電子機器１０６の周囲の音声に応じて、力覚デバイス６の動作タイミングおよび動作期間を調整することができる。

〔実施の形態３〕
図１０は、本発明の実施の形態３に係る電子機器の第１例の装置構成を概略的に示す図である。図１０に示す電子機器１０７は、図５に示す電子機器１０２と同様の構成を有しており、音声データと動作パターンデータとが、再生装置１１からヘッドフォン１０に同時に供給されている。ここで、音声データとは、音声制御部３ａ（図１参照）から音声出力部４に供給されるデータである。動作パターンデータとは、力覚制御部３ｃ（図１参照）から力覚デバイス６に供給されるデータである。動作パターンデータは、当該音声データの基となる音声信号から生成される。電子機器１０７によれば、音声データに加えて、動作パターンデータをヘッドフォン１０に供給することができるため、従来技術と比較して、音声を用いて可能な表現の選択肢を拡張することができる。

図１１は、本発明の実施の形態３に係る電子機器の第２例の装置構成を概略的に示す図である。図１１に示す電子機器１０８は、力覚デバイス６をヘッドフォン２１に搭載した形態であり、音声出力部４、力覚デバイス６、耳当て１２、再生装置２２、および力覚データ生成ユニット２３を備えている。再生装置２２は、コンテンツを再生するものであり、記憶部１のコンテンツ記憶部１ａを備えている。再生装置２２は、力覚データ生成ユニット２３に対してコンテンツを供給することが可能な、記録媒体または伝送媒体等に置換されてもよい。力覚データ生成ユニット２３は、記憶部１の力覚基データ記憶部１ｂ、力覚データ生成装置２、および制御部３を備えている。電子機器１０８においては、音声信号が、再生装置２２からヘッドフォン２１に供給されており、音声データおよび動作パターンデータは、ヘッドフォン２１の力覚データ生成ユニット２３にて生成される。電子機器１０８によれば、コンテンツ記憶部１ａを除く各部が、ヘッドフォン２１に設けられている。このため、ヘッドフォン２１が外部からコンテンツを取得することが可能な構成でさえあれば、コンテンツを記憶する側の装置の構成については限定されない。つまり、電子機器１０８によれば、電子機器１０７と比較して、力覚デバイス６の動作を制御することが可能なコンテンツの種類を増やすことができる。

図１２は、本発明の実施の形態３に係る電子機器の第３例の装置構成を概略的に示す図である。図１２に示す電子機器１０９は、図６に示す電子機器１０３と同様の構成を有している。電子機器１０９においては、音声データと動作パターンデータとが、再生装置１１からヘッドフォン１３に同時に供給されている。さらに、電子機器１０９においては、画像データが、再生装置１１から表示部５に、音声データおよび動作パターンデータと同時に供給されている。ここで、画像データとは、表示制御部３ｂ（図１参照）から表示部５に供給されるデータである。動作パターンデータは、当該音声データの基となる音声信号、および当該画像データの基となる画像信号から生成される。電子機器１０９によれば、音声データに加えて、動作パターンデータをヘッドフォン１３に供給することができるため、従来技術と比較して、音声を用いて可能な表現の選択肢を拡張することができる。さらに、電子機器１０９によれば、動作パターンデータと画像データとも関連があることから、電子機器１０７と比較して、音声を用いて可能な表現の選択肢を拡張することができる。

〔実施の形態４〕
図１３は、本発明の実施の形態４に係る電子機器の第１例の装置構成を概略的に示す図である。図１３に示す電子機器１１０は、音声出力部４、表示部５、再生装置２４、および力覚デバイス搭載機器２５を備えている。再生装置２４は、再生装置１１の構成に加え、メモリ２６を備えている。メモリ２６は、力覚データを保存するものである。力覚デバイス搭載機器２５は、力覚デバイス６が搭載された機器であり、例えば、リストバンド、ウェアラブルデバイス、リモコン、スマートフォン、または椅子である。音声データは、音声出力部４に供給されている。画像データは、表示部５に供給されている。動作パターンデータは、力覚デバイス搭載機器２５に供給されている。当該音声データと、当該画像データと、当該動作パターンデータとは、対応する供給先に同時に供給されている。電子機器１１０においては、力覚デバイス搭載機器２５に力覚デバイス６を搭載し、音声および画像と力覚デバイス６の動作とを連携させることにより、高い表現力およびエンターテインメント性を実現することができる。

メモリ２６には予め、再生すべきコンテンツの音声信号および／または画像信号と関連付けられた力覚データが記憶されている。この場合、制御部３は、メモリ２６から当該力覚データを読み出すことができる。これにより、力覚データ生成装置２を省略することも可能である。つまりこのとき、電子機器１１０は、音声信号および画像信号の少なくとも一方を、当該信号と関連付けられた力覚データと共に再生する。

図１４は、本発明の実施の形態４に係る電子機器の第２例の装置構成を概略的に示す図である。図１４に示す電子機器１１１の構成は、音声出力部４および力覚デバイス搭載機器２５の代わりに、ヘッドフォン１０、リストバンド１４、および椅子２７を備えている点が、図１３に示す電子機器１１０の構成と異なっている。椅子２７は、背もたれ部分に力覚デバイス６が搭載されている。動作パターンデータは、ヘッドフォン１０、リストバンド１４、および椅子２７のそれぞれに供給される。ヘッドフォン１０に供給される動作パターンデータと、リストバンド１４に供給される動作パターンデータと、椅子２７に供給される動作パターンデータとは、互いに同じであってもよいし、これらのうち少なくとも１つが他と異なっていてもよい。電子機器１１１によれば、複数の力覚デバイス６に対してコンテンツに応じた動作パターンデータを与え、音声および画像のシーンに合わせて、複数の力覚デバイス６の中から最適なものを選択して動作させることができる。具体例を挙げると、ユーザの頭や顔に力覚を与えたい場合、ヘッドフォン１０の力覚デバイス６を動作させ、ユーザの腕等に力覚を与えたい場合、リストバンド１４の力覚デバイス６を動作させ、ユーザの背中等に力覚を与えたい場合、椅子２７の力覚デバイス６を動作させればよい。

〔実施の形態５〕
力覚データ生成装置２および制御部３のそれぞれの制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、力覚データ生成装置２および制御部３のそれぞれは、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る力覚データ生成装置は、音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成する。

上記の構成によれば、拍ではなく、視聴覚信号を基に、上記力覚データを生成しているため、複数の音において連続する拍が類似していても、影響なく、これらの音を適切に識別することができる。従って、上記の構成によれば、騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することが可能となる。

本発明の態様２に係る力覚データ生成装置は、上記態様１において、複数種類の上記力覚とそれぞれ対応付けられた複数の力覚基データから、少なくとも１種類を選択する力覚選択部と、上記視聴覚信号の波形および位相のうち少なくとも一方に応じて、上記力覚選択部が選択した少なくとも１種類の力覚基データの各々について、上記力覚デバイスの動作タイミングおよび動作期間を示す力覚パターンを設定することによって、上記力覚データを生成する力覚パターン生成部とを備えている。

上記の構成によれば、視聴覚信号に適した力覚を、適切なタイミングおよび期間で、ユーザに対して与えることができる。

本発明の態様３に係る力覚データ生成装置は、上記態様２において、上記視聴覚信号は、上記音声信号を含んでおり、上記力覚データ生成装置は、上記音声信号から得られる音声の音質を判定する音質判定部を備えており、上記力覚選択部は、上記音質判定部による判定結果に応じて、上記少なくとも１種類の力覚基データを選択する。

上記の構成によれば、音声信号から得られる音声の音質に応じた力覚をユーザに対して与えることができる。

本発明の態様４に係る力覚データ生成装置は、上記態様３において、上記音質判定部は、上記音声信号に含まれるノイズ成分を解析することによって、上記音声がノイジーな音声であるか否かを判定し、上記音質判定部が上記音声をノイジーな音声であると判定した場合、上記力覚選択部は、当該ノイジーな音声に適した力覚基データを選択する。

上記の構成によれば、ノイジーな音声に適した力覚をユーザに対して与えることができる。

本発明の態様５に係る電子機器は、音声信号および画像信号の少なくとも一方である視聴覚信号を、当該視聴覚信号と関連付けられた、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データと共に再生する。

上記の構成によれば、拍ではなく、視聴覚信号と関連付けられた、上記力覚データを用いているため、複数の音において連続する拍が類似していても、影響なく、これらの音を適切に識別することができる。従って、上記の構成によれば、騒がしい場所において、ユーザが、連続する拍が類似した複数の音を適切に識別することを補助することが可能となる。

本発明の態様６に係る電子機器は、上記態様１から４のいずれかの力覚データ生成装置によって生成された上記力覚データを、上記視聴覚信号と共に再生する。

本発明の態様７に係る電子機器は、上記態様６において、上記力覚データ生成装置を備えている。

上記の各構成によれば、電子機器による効果として、力覚データ生成装置による効果と同等の効果を得ることができる。

本発明の態様８に係る電子機器は、上記態様５から７のいずれかにおいて、上記視聴覚信号は、上記音声信号を含んでおり、上記音声信号から得られる音声を出力する音声出力部と、上記力覚デバイスの動作と、上記音声出力部による音声の出力とを同期させる同期部とを備えている。

上記の構成によれば、力覚デバイスの動作と、音声出力部による音声の出力とを同期させることができる。

本発明の態様９に係る電子機器は、上記態様５から８のいずれかにおいて、上記力覚デバイスの動作タイミングおよび動作期間の調整を行うスイッチを備えている。

上記の構成によれば、ユーザは、所望のタイミングで、スイッチによって、力覚デバイスの動作タイミングおよび動作期間を調整することができる。

本発明の態様１０に係る電子機器は、上記態様５から８のいずれかにおいて、上記電子機器の周囲の音声を取得する音声取得部と、上記音声取得部が取得した音声に応じて、上記力覚デバイスの動作タイミングおよび動作期間の調整を行う力覚パターン調整部とを備えている。

上記の構成によれば、電子機器の周囲の音声に応じて、力覚デバイスの動作タイミングおよび動作期間を調整することができる。

本発明の態様１１に係る力覚データ生成方法は、音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成する。

上記の構成によれば、力覚データ生成方法による効果として、力覚データ生成装置による効果と同等の効果を得ることができる。

本発明の各態様に係る力覚データ生成装置は、コンピュータによって実現してもよく、この場合には、当該力覚データ生成装置としてコンピュータを機能させるための制御プログラムも、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

２ 力覚データ生成装置
３ｄ 同期部
４ 音声出力部
６ 力覚デバイス
７ 音質判定部
８ 力覚選択部
９ 力覚パターン生成部
１７ スイッチ
１９ 音声取得部
２０ 力覚パターン調整部
１０１〜１１１ 電子機器

Claims (12)

1. 音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成することを特徴とする力覚データ生成装置。
2. 複数種類の上記力覚とそれぞれ対応付けられた複数の力覚基データから、少なくとも１種類を選択する力覚選択部と、
   上記視聴覚信号の波形および位相のうち少なくとも一方に応じて、上記力覚選択部が選択した少なくとも１種類の力覚基データの各々について、上記力覚デバイスの動作タイミングおよび動作期間を示す力覚パターンを設定することによって、上記力覚データを生成する力覚パターン生成部とを備えていることを特徴とする請求項１に記載の力覚データ生成装置。
3. 上記視聴覚信号は、上記音声信号を含んでおり、
   上記力覚データ生成装置は、上記音声信号から得られる音声の音質を判定する音質判定部を備えており、
   上記力覚選択部は、上記音質判定部による判定結果に応じて、上記少なくとも１種類の力覚基データを選択することを特徴とする請求項２に記載の力覚データ生成装置。
4. 上記音質判定部は、上記音声信号に含まれるノイズ成分を解析することによって、上記音声がノイジーな音声であるか否かを判定し、
   上記音質判定部が上記音声をノイジーな音声であると判定した場合、上記力覚選択部は、当該ノイジーな音声に適した力覚基データを選択することを特徴とする請求項３に記載の力覚データ生成装置。
5. 音声信号および画像信号の少なくとも一方である視聴覚信号を、当該視聴覚信号と関連付けられた、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データと共に再生することを特徴とする電子機器。
6. 請求項１から４のいずれか１項に記載の力覚データ生成装置によって生成された上記力覚データを、上記視聴覚信号と共に再生することを特徴とする電子機器。
7. 上記力覚データ生成装置を備えていることを特徴とする請求項６に記載の電子機器。
8. 上記視聴覚信号は、上記音声信号を含んでおり、
   上記音声信号から得られる音声を出力する音声出力部と、
   上記力覚デバイスの動作と、上記音声出力部による音声の出力とを同期させる同期部とを備えていることを特徴とする請求項５から７のいずれか１項に記載の電子機器。
9. 上記力覚デバイスの動作タイミングおよび動作期間の調整を行うスイッチを備えていることを特徴とする請求項５から８のいずれか１項に記載の電子機器。
10. 上記電子機器の周囲の音声を取得する音声取得部と、
    上記音声取得部が取得した音声に応じて、上記力覚デバイスの動作タイミングおよび動作期間の調整を行う力覚パターン調整部とを備えていることを特徴とする請求項５から８のいずれか１項に記載の電子機器。
11. 音声信号および画像信号の少なくとも一方である視聴覚信号を基に、ユーザに対して少なくとも１種類の力覚を与える力覚デバイスの動作を制御する力覚データを生成することを特徴とする力覚データ生成方法。
12. 請求項１から４のいずれか１項に記載の力覚データ生成装置としてコンピュータを機能させるための制御プログラム。

Images