JP2023116488A - 復号装置、復号方法、プログラム - Google Patents

Abstract

【課題】触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図る。【解決手段】本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える。これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。【選択図】図１６

Description

本技術は、符号化された触覚信号を復号する復号装置とその方法、及びプログラムに関する。

近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル（又は筐体）を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやＶＲ（仮想現実）の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。

また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある（例：災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>）
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触（硬さ）を操作者にフィードバックすることで、手術精度を向上させることが研究されている（例：手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>）

なお、関連する従来技術については下記特許文献１を挙げることができる。該特許文献１には、振動等の触覚情報をセンシングして触覚刺激のパターンを表す触覚信号を生成するのではなく、音声信号に基づき触覚信号を生成する技術が開示されている。

特開２０１５－５３０３８号公報

ここで、触覚情報を再現する触覚再現システムについては、触覚提示デバイスを複数用意して人体の複数部位に触覚刺激を与えたり、触覚信号を有線や無線により通信すること等が考えられている。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。

本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図ることを目的とする。

本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備えるものである。

これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。

これにより、人体の３以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、前記復号部は、前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力することが望ましい。

これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。

上記した本技術に係る復号装置においては、前記復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。

これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、前記復号部は、前記利用有無情報に基づいて前記触覚符号化データを復号することが望ましい。

これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。

上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、前記復号部は、前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力することが望ましい。

これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。

上記した本技術に係る復号装置においては、前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされたことが望ましい。

これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、２番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。

上記した本技術に係る復号装置においては、前記復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号することが望ましい。

これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。

上記した本技術に係る復号装置においては、前記触覚信号は触覚センサの検出信号に基づく信号とされたことが望ましい。

これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。

上記した本技術に係る復号装置においては、前記触覚信号は音声信号に基づく信号とされたことが望ましい。

これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。

また、本技術に係る復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。

このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。

さらに、本技術に係るプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。

このような本技術に係るプログラムにより、上記した本技術に係る復号装置が実現される。

本技術によれば、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術に係る実施形態としての復号装置を含んで構成される触覚再現システムの構成例を示した図である。 実施形態としての符号化装置の内部構成例を説明するための図である。 第一実施形態としての再生装置の内部構成例を示した図である。 実施形態としての復号装置の内部構成例を説明するための図である。 振動検出閾値曲線の説明図である。 指接触型の触覚デバイスの例を説明するための図である。 胴接触型の触覚デバイスの例を説明するための図である。 ファントムセンセーションについての説明図である。 仮現運動についての説明図である。 ファントムセンセーションを利用した符号化の例についての説明図である。 仮現運動を利用した符号化の例について説明するための図として、再現すべき触覚刺激の例を示した図である。 仮現運動を利用した符号化の例について説明するための図として、センサにより検出される信号と収録されるデータとの関係を例示した図である。 高次知覚を利用した符号化フォーマットの例を説明するための図である。 実施形態としての符号化を実現するための具体的な処理の手順を示したフローチャートである。 ブロックサイズ決定の例を示した図である。 実施形態としての復号装置が有する復号に係る機能を説明するための機能ブロック図である。 実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。 第一実施形態の変形例としての符号化装置の構成例を説明するための図である。 第二実施形態としての触覚再現システムの構成例を示した図である。 第二実施形態としての再生装置の内部構成例を説明するための図で 第二実施形態としての符号化手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。 高次知覚適用閾値直線の例を示した図である。 高次知覚適用閾値を調整するためのＧＵＩの例を示した図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．第一実施形態＞
［1-1．触覚再現システムの概要］
［1-2．符号化装置の構成］
［1-3．再生装置の構成］
［1-4．復号装置の構成］
［1-5．実施形態としての触覚再現手法］
（符号化手法）
（符号化側の処理手順）
（復号側の機能構成・処理手順）
［1-6．第一実施形態の変形例］
＜２．第二実施形態＞
［2-1．触覚再現システムの概要］
［2-2．再生装置の構成］
［2-3．符号化手法］
＜３．実施形態のまとめ＞
＜４．本技術＞

ここで、本明細書においては以下のように各用語を定義する。
触覚刺激：例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示：触覚刺激を発生させること。
触覚情報：例えば振動情報等、触覚により知覚される情報。
触覚信号：例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者：触覚提示を受ける人。
触覚特性：人間の触覚に関する特性。部位（手、顔、足等）によって異なる。
触覚感度：触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
符号化データ：信号を符号化したデータ。下位概念としてストリーム、フレームがある。
触覚符号化データ：触覚信号を符号化したデータ。

＜１．第一実施形態＞
［1-1．触覚再現システムの概要］

図１は、本技術に係る実施形態としての復号装置（復号装置３）を含んで構成される触覚再現システム１の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報（触覚刺激）をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データＤｃを収録する収録環境と、触覚符号化データＤｃを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。

図示のように、触覚再現システム１は、収録環境において、複数の触覚センサ５とそれら触覚センサ５が接続された符号化装置２とを備えると共に、再現環境において、触覚符号化データＤｃを取得可能に構成された再生装置４と、再生装置４と無線通信可能に構成された復号装置３と、復号装置３と接続された複数の触覚提示装置６とを備えている。

触覚センサ５は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
本例において、各触覚センサ５は符号化装置２に対して有線接続されており、各触覚センサ５は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。

符号化装置２は、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のコンピュータ装置を備えて構成され、各触覚センサ５による検出信号（触覚信号）について所定のデータフォーマットに従った符号化を行い、該符号化により得られる触覚符号化データＤｃを例えば内部に設けられた記憶デバイスに収録する。

再生装置４は、ＣＰＵやＤＳＰ等のコンピュータ装置を備えて構成され、取得した触覚符号化データＤｃを復号装置３に送信する。例えば、収録環境において収録された触覚符号化データＤｃは、インターネット等の所要のネットワークを介して再生装置４に取得させる。或いは、触覚符号化データＤｃは可搬型の記録媒体に収録し、該記録媒体を介して再生装置４に触覚符号化データＤｃを取得させることもできる。

復号装置３は、再生装置４より受信した触覚符号化データＤｃを復号し、該復号により得られた触覚信号に基づいて各触覚提示装置６を駆動する。

触覚提示装置６は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
本例では、各触覚提示装置６は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ５でセンシングされた触覚刺激を再現するようにされる。

ここで、本例では、各触覚提示装置６は復号装置３に対して有線接続されており、図中の破線により囲った部分、すなわち復号装置３と各触覚提示装置６とが、受触者に対して装着される部分とされる。
触覚再現システム１としては、再生装置４に復号装置３の機能を与えて、再生装置４と各触覚提示装置６とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置６を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
図１に示す触覚再現システム１の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。

図１に示す触覚再現システム１は、触覚センサ５を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。

なお、本実施形態において、触覚センサ５、触覚提示装置６の各々の数、すなわち触覚刺激をセンシングし再現する人体の部位の数は少なくとも３以上とされる。

［1-2．符号化装置の構成］

図２は、符号化装置２の内部構成例を説明するための図である。なお図２では符号化装置２の内部構成例と共に図１に示した各触覚センサ５を併せて示している。
図示のように符号化装置２は、複数の増幅器２１と複数のＡ／Ｄコンバータ２２、及び前処理部２３、符号化部２４、制御部２５、記憶部２６、通信部２７、バス２８を備えている。前処理部２３、符号化部２４、制御部２５、記憶部２６、及び通信部２７はバス２８を介して接続され、互いにデータ通信可能とされている。

各触覚センサ５の検出信号は、それぞれ対応する一つの増幅器２１に入力されて適切なダイナミックレンジに調整された後、対応する一つのＡ／Ｄコンバータ２２にそれぞれ入力されてＡ／Ｄ変換(アナログ／デジタル変換)される。
Ａ／Ｄ変換された各検出信号（つまり部位ごとの触覚信号）は、前処理部２３に入力される。前処理部２３においては、ノイズ除去や触覚センサ５のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部２３による信号処理を施された各触覚信号は、符号化部２４に入力される。

符号化部２４は、例えばＤＳＰで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化し、上述した触覚符号化データＤｃを得る。
なお、本実施形態としての触覚信号の符号化については改めて説明する。

制御部２５は、例えばＣＰＵ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有するマイクロコンピュータを備えて構成され、ＲＯＭに記憶されたプログラムに従った処理を実行することで符号化装置２の全体制御を行う。
例えば、制御部２５は、通信部２７を介して外部装置との間でのデータ通信を行う。
通信部２７は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部２５は、該通信部２７を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部２４で得られた触覚符号化データＤｃを通信部２７を介して外部装置に送信させることが可能とされる。

記憶部２６は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の記憶デバイスを包括的に表したものであり、符号化装置２において各種のデータ記憶に用いられる。例えば記憶部２６には、制御部２５による制御に必要なデータが記憶される。また、制御部２５の制御に基づき、符号化部２４で得られた触覚符号化データＤｃを記憶部２６に記憶させることもできる。

［1-3．再生装置の構成］

図３は、再生装置４の内部構成例を示した図である。
図示のように再生装置４は、制御部４１、通信部４２、メディアドライブ４３、記憶部４４、及び無線通信部４５を備えると共に、これらの各部を互いにデータ通信可能に接続するバス４６を備えている。

制御部４１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、再生装置４の全体制御を行う。

通信部４２は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部４１は、該通信部４２を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、触覚符号化データＤｃを通信部４２によって受信させることが可能とされる。

メディアドライブ４３は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ／ライタ部として構成されている。メディアドライブ４３が対応する記録媒体としては、例えば、メモリカード（例えば可搬型のフラッシュメモリ）や光ディスク記録媒体等を挙げることができる。
このメディアドライブ４３により、可搬型の記録媒体に記録された触覚符号化データＤｃの読み出しが可能とされる。

記憶部４４は、例えばＨＤＤやＳＳＤ等の記憶デバイスを包括的に表したものであり、再生装置４において各種のデータ記憶に用いられる。例えば記憶部４４には、制御部４１による制御に必要なデータが記憶される。また、制御部４１の制御に基づき、メディアドライブ４３により読み出された触覚符号化データＤｃや、通信部４２により外部装置から受信した触覚符号化データＤｃを記憶部４４に記憶させることもできる。

無線通信部４５は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の所定通信方式による近距離無線通信を行う。

ここで、制御部４１は、上記した全体制御の一部として、触覚符号化データＤｃについての通信部４２による受信やメディアドライブ４３による読み出しを実行させるための制御を行う。また、制御部４１は、これら通信部４２やメディアドライブ４３経由で得られる触覚符号化データＤｃを、無線通信部４５により復号装置３に送信させる制御を行う。

［1-4．復号装置の構成］

図４は、復号装置３の内部構成例を説明するための図であり、復号装置３の内部構成例と共に各触覚提示装置６を併せて示している。
図示のように復号装置３は、複数の増幅器３１と複数のＤ／Ａコンバータ３２、及び後処理部３３、復号部３４を備えると共に、制御部３５、無線通信部３６、記憶部３７、及びバス３８を備えている。後処理部３３、復号部３４、制御部３５、無線通信部３６、及び記憶部３７はバス３８を介して接続され、互いにデータ通信可能とされている。

制御部３５は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、復号装置３の全体制御を行う。

無線通信部３６は、例えばＢｌｕｅｔｏｏｔｈ等、再生装置３における無線通信部４５との間で通信が可能な方式による近距離無線通信を行う。再生装置３から送信された触覚符号化データＤｃは無線通信部３６により受信される。

記憶部３７は、例えば記憶部２６や記憶部４４等と同様の記憶デバイスとされ、制御部３５等が用いる各種データの記憶に用いられる。

復号部３４は、無線通信部３６を介して入力される触覚符号化データＤｃについて、後述する手法で復号を行い、部位ごとの触覚信号を得る。復号部３４で得られた部位ごとの触覚信号は後処理部３３に入力される。

後処理部３３は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置６の校正や所定のフィルタ処理等の信号処理を施す。

後処理部３３を経た各触覚信号は、それぞれ対応する一つのＤ／Ａコンバータ３２に入力されてＤ／Ａ変換（デジタル／アナログ変換）された後、それぞれ対応する一つの増幅器３１で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置６に出力される。
これにより、各触覚提示装置６が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる（つまり触覚情報を再現することができる）。

なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。

［1-5．実施形態としての触覚再現手法］
（符号化手法）

以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図５に示す振動検出閾値曲線が報告されている。なお図５において、横軸は周波数、縦軸は触覚刺激（振動：ここでは変位）の大きさを表す。
図５に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。

図５に示す振動検出閾値曲線からは、人間が１ｋＨｚ程度までの振動を触覚刺激として感じ得ることが示されている。また、図５では１ｋＨｚ以上の値が記載されていないが、感度は高くないものの実際には数ｋＨｚ程度の周波数の振動でも人間は振動を触覚刺激として知覚し得ることが知られている。

従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても２００Ｈｚ程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが２００Ｈｚ程度であることに起因している。

しかしながら、上記の通り人間は１ｋＨｚまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数ｋＨｚといった高い周波数を含んでいる。これを数１００Ｈｚまでしか再現しなければ、現実とは全く異なる触覚しか得られない。

そこで、本実施形態では、触覚信号と触覚提示装置６の特性を１ｋＨｚ程度まで広帯域化することで、より現実感を高めることとする。
具体的に本実施形態では、現実に発生した振動等の触覚情報をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。

近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図５に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸（振動）が５０ｄＢ（－２０ｄＢ～３０ｄＢ）以上、横軸が１０００Ｈｚ程度である。本例では、実際に人間の感じる触覚情報の分布を考慮し、閾値曲線から＋２０ｄＢの範囲の信号をセンシングすることとする。
これによると、対象とする１０００Ｈｚまでの周波数帯域において、振動の範囲は７０ｄＢ（－２０ｄＢ～５０ｄＢ）となる。

このように対象とする周波数帯域を１０００Ｈｚまで、振動の範囲を７０ｄＢとすると、触覚信号をＬＰＣＭ（Linear Pulse Code Modulation）にてデジタル化する場合、１ビットで表現できるのは６ｄＢであるから縦軸については９ｂｉｔ、１０００Ｈｚまでを再現するためには２倍のサンプリング周波数である２０００Ｈｚ（sample/sec)が必要となるから、必要なビットレートＢ０は以下の［式１］で求められる。

Ｂ０＝１２bit/sample×２０００sample/sec＝２４kbit/sec・・・［式１］

この値自体は、例えば音声信号の代表的フォーマットであるＣＤ（Compact Disc）のビットレート＝７００kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。

しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数ｋＨｚまでに及ぶことが分かっている。例えば触覚信号を２０００Ｈｚまで再現する場合、ビットレートは［式１］に比べて２倍の４８kbit/secとなる。

また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても１０か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに１０倍の４８０kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。

さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は３軸（ｘ、ｙ、ｚ）で捉えることができる。これを全て扱おうとすると、さらに３倍の１４４０kbit/secというビットレートが必要となるが、この値はオーディオＣＤの１４１１kbit/secを超える大きなものとなる。

このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。

ここで、触覚提示装置６は人体に接触することになるため、復号装置３と再生装置４とが有線で接続されているような形態では受触者に煩わしさを与えることになり、図１に示したように無線化することが望まれる。この際の無線通信を従来の主な無線方式で実現することを考えると、例えばＷｉ－Ｆｉ（登録商標）などの広帯域無線方式では、消費電力の大きさによりバッテリーが大容量化する虞があり、触覚提示装置６と復号装置３とを含むユニット部の小型化に影響がある。また、Ｗｉ－Ｆｉでは信号の送信要求が発生してから実際に受信されるまでの手続きに処理時間を要するため、大きな遅延が発生する虞がある。
これに対し、Ｂｌｕｅｔｏｏｔｈなどの近距離無線方式であれば、他の無線方式に比べて低消費電力で低遅延に送受信する仕組みが利用できるため、触覚再現目的での利用に関して適していると考えられる。しかしながら、これら近距離無線通信では情報伝送量の制限があり、例えば音声信号と触覚信号を同期して送受信することを考えると、触覚信号に与えられるデータ量の余地は少ないと言える。
また、インターネットを介して映像と音声をストリーミングするサービスが普及しているが、さらなる臨場感向上のために触覚情報も付加することを考えた場合、現在でも既に回線の通信速度が十分でないためＱｏＳ（Quality of Service）機能によるデータ量の調整が行われている中で、触覚情報に与えられるデータ量の余地は少ないと言える。

上記事情に鑑み、触覚信号を高能率に符号化して伝送することが考えられる。例えば、振動信号を触覚信号として扱う場合、振動信号と同じ一次元信号である音声信号用の音声符号化方式、例えばＭＰ３(MPEG Audio Layer3）やＡＡＣ（Advanced Audio Coding）などをそのまま振動信号に適用することも考えられるが、音声符号化方式はそもそも人間の聴覚特性を考慮した符号化方式であり、触覚の特性は考慮されていないため、振動信号に適用したとしても、触覚に重要な情報を棄損する可能性が高く、最適な符号化を実現できるものではない。

そこで、本実施形態では、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることにより、触覚再現システムの効率化を図ることを目的とする。

先ず、図６及び図７を参照し、本実施形態で想定する触覚デバイスの具体例について説明しておく。
図６は、指接触型の触覚デバイスの例を説明するための図である。具体的には、手の指に触覚情報を提示する際に用いられる触覚センサ５と各指との対応関係を模式的に表している。
この場合、触覚センサ５としては、それぞれが対応する１本の指に対して装着される五つの触覚センサ５が設けられる。以下では、親指側から順に、各指に装着される触覚センサ５を符号の末尾に「－ａ」～「－ｅ」を付して区別する。
なお、図６では触覚センサ５のみを例示しているが、触覚提示装置６についても同様に各指に対して装着されるべき五つの触覚提示装置６（６－ａ～６－ｅ）が設けられる。

このような指接触型の触覚デバイスを用いた場合には、収録環境では、例えば指先で物体に触れた感触や、バットでボールを打った際に各指に生じる衝撃等をセンシングすることが可能とされ、片手で５チャンネル、両手なら１０チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境においては、触覚提示装置６－ａ～６－ｅをそれぞれ対応する指に装着された受触者に対し、物体に触れた感触、バットでボールを打った際の衝撃等を体感させることができる。
なお、このような触覚再現を実現するための触覚デバイスとしては、例えば指サック型のように指ごとに独立した形態とすることや、グローブ型のような一体型の形態とすることもできる。

図７は、胴接触型の触覚デバイスの例を説明するための図であり、具体的には、胸から腹にかけて触覚情報を提示する際に用いられる触覚センサ５とそれらの位置関係を模式的に表している。
この図の例では、触覚センサ５は、胴体の前面側（胸及び腹側）において上下方向に三段に分けて配置している。各段において、左右方向における触覚センサ５の配置数は三つとされ、合計九つの触覚センサ５が胴体の前面側に配置される。図示のように、これら九つの触覚センサ５については符号の末尾に「－ｆ」～「－ｎ」を付して区別する。
なお、図７では触覚センサ５のみを例示しているが、触覚提示装置６についても同様の位置関係による九つの触覚提示装置６（６－ｆ～６－ｎ）が設けられる。

このような胴接触型の触覚デバイスを用いる場合には、収録環境では、例えば物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃などをセンシングすることで、前面で９チャンネル、背面と合わせると１８チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境では、触覚提示装置６－ｆ～６－ｎをそれぞれ収録環境における触覚センサ５－ｆ～５ーｎと対応する位置関係で装着された受触者に対し、物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃等を体感させることができる。
なお、胴接触型の触覚デバイスについては、例えば図示のようなシャツ型の衣服、或いはジャケット型の衣服に対して設けることが考えられる。

ここで、人間の他の感覚同様に、触覚においても高次知覚というものが報告されている。高次知覚とは、物理的な刺激の情報を脳が統合して、複雑な知覚に結び付けるもので、触覚の場合には主に「ファントムセンセーション」（Alles, D.S.: Information Transmission by Phantom Sensations, IEEE Trans. Man-machine Systems, Vol.11, pp.85-91, 1970）、及び「仮現運動」（Bekesy, G.V.: Sensation on the Skin Similar to Directional Hearing, Beats and Harmonics of the Ear, Journal of the Acoustic Society of America, Vol.29, No.4, pp.489-501, 1957）が報告されている。

図８は、ファントムセンセーションについての説明図である。
図８Ａでは、人体における或る程度離れたＡ～Ｃの３箇所のうち、両端のＡとＣに対してのみ触覚刺激を同時に与えていることを示している。ファントムセンセーションによると、図８Ｂに示すように、刺激されていないＢも、Ａ及びＣと同時に刺激されたように知覚されることになる。すなわち、ファントムセンセーションとは、刺激点と刺激点との間に、刺激像が知覚されるという現象である。この際、刺激点の刺激強度が異なる場合、刺激像は刺激強度が強い方に偏って知覚される。

図９は、仮現運動についての説明図である。
図９Ａでは、人体における或る程度離れたＡ～Ｄの４箇所に対して、ＡからＤまで順番に瞬間的な触覚刺激を時系列にて与えていることを示している。図９Ｂでは、図９Ａに示す刺激を与えたことに応じて知覚される刺激を表している。
仮現運動は、刺激点の離散的な時系列移動によって、刺激点の間の刺激が補間され、あたかも刺激点が移動しているかのように知覚されるという現象を意味する。

なお、ファントムセンセーションを利用して触覚刺激を知覚させること自体については、例えば下記参考文献１を挙げられるように公知である。

参考文献１：特開２０１３－０４４７０６号公報

本実施形態では、上記のような高次知覚を利用して触覚信号についての効率的な符号化を実現する。
先ずは、図１０を参照し、ファントムセンセーションを利用した符号化の例について説明する。ここでは、触覚デバイスとして図６に示したような指接触型の触覚デバイスを用いる例とする。

人間の指はその位置関係や関節の拘束条件により、何れかの指同士がある程度の近さの位置にあることが多い。そのため、或る触覚刺激に対して、何れかの指同士が同時に刺激を知覚することが多い。例えば、何らかの物体を手で拾う際に、複数の指先で同時に触れた後に掴むという動作になり、バットやハンドルを握る際に、複数の指先が同時に触れた状態になる。図１０Ａは、図６に示した触覚センサ５－ａ～５－ｅにより、実際にボールを拾った際に検出される触覚信号を示している。この図１０Ａより、ボールを拾った際には全ての指に同じような強度の触覚刺激が同時に知覚されることが分かる。
この知覚を得るために、触覚提示装置６－ａ～６－ｅを用いて触覚再現を行うことを考えると、図１０Ａに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、各指の間にある指の刺激、具体的には、触覚センサ５－ｂ、５－ｄにより検出される触覚信号については、ファントムセンセーションの発生を利用することで、図１０Ｂに示すように、省略することができる。すなわち、収録すべき触覚情報の量を削減できるものである。

この削減は、デジタル符号化において、使用チャンネル数が可変な仕組みであれば、触覚センサ５－ｂ、５－ｄのチャンネルを一時的に使用チャンネルから除外することで実現でき、これによると情報量を一時的に３／５に削減することができる（４０％の削減）。また、使用チャンネル数が固定になっている符号化方式であっても、触覚センサ５－ｂ、５－ｄの該当する期間における信号のシンボルにゼロを割り当てるという手法を採ることで、情報量の削減を図ることができる。すなわち、シンボルをゼロとすることは情報エントロピーを大きく削減することに繋がり、ハフマン符号化等のエントロピー符号化（可変長符号化）を採用する場合には非常に大きな情報量削減効果を得ることができる。また、情報量削減だけでなく、触覚提示装置６の駆動数を削減することになるため、省電力化と耐久性向上も図ることができる。

図１１及び図１２を参照し、仮現運動を利用した符号化の例について説明する。
ここでは、仮現運動を利用した符号化の例として、図７に示したような胴接触型の触覚デバイスを用いた場合の例を挙げる。
人間の胴体は、比較的面積が広い部位であり、触覚刺激の移動や伝搬を知覚することが多い。臨場感向上のための演出としては、例えば、刀剣で斬りつけられる演出や虫などが這い回る演出等が挙げられる。ここでは、図１１に示すように、刀剣で図中の矢印方向に斬り付けられる演出を行う場合、具体的には、左胸上部から右腹部の方向に斬り付けられた後、右腹部から左腹部の方向に斬り付けられるような演出を行う場合を例に挙げる。

図１２Ａは、このような演出を行う際に触覚センサ５－ｆ～５－ｎにおいて検出される信号を例示している。図示のようにこの場合は、触覚センサ５－ｈ、５－ｊ、５－ｌ、５－ｍ、５－ｎの順で触覚刺激が発生することが分かる。
このような、或る物体の移動に伴う触覚刺激においては、触覚信号の性質（強度や周波数）そのものの違いよりも、移動している感覚の方に意識が向く。

上記のような刀剣が移動している際の刺激は、図１２Ａに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、仮現運動の発生を利用して、触覚刺激の開始点と終了点の間を補間することで、同様の刺激を再現しながら、触覚信号を削減することができる。
つまり、デジタル符号化において、信号の実データに対する付帯情報を使用する仕組みであれば、例えば図１２Ｂに示すように、触覚センサ５－ｈの触覚信号は収録する一方、触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎの触覚信号そのものは収録せず、代わりに、付帯情報として、触覚センサ５－ｈの触覚信号と同一の触覚信号を触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎの各位置で然るべき時間にて再生することを指示する情報を収録しておく（図中「付帯情報」）。これにより、刀剣が移動している際の刺激の再現を可能としつつ、情報量の削減を図ることができる。具体的に上記例では、該当する期間の情報量を（１／５）＋α（αは付帯情報の分）程度に削減することができる（８０－α％の削減）。

なお、上記では、仮現運動を利用可能な触覚信号のチャンネルのうち、単一のチャンネルの触覚信号のみを収録する例を挙げたが、２以上のチャンネルの触覚信号を収録することも可能である。例えば、図１１で例示した刀剣で切り付けられる触覚刺激の場合においては、触覚センサ５－ｌの位置において刀剣の向きが変化すること等に起因して、触覚センサ５－ｈ～５－ｊの位置までの刺激と、触覚センサ５－ｌの位置以降の刺激とに性質の差が生じることも考えられ、その場合には、該刺激の差が忠実に再現されるべく、触覚センサ５－ｈによる触覚信号のみでなく触覚センサ５－ｌによる触覚信号も収録することが考えられる。

図１３は、高次知覚を利用した符号化フォーマットの例を説明するための図である。
ここで、デジタルの触覚信号としては、触覚センサ５で取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うＬＰＣＭ方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ（フレームヘッダ）を付加する。
具体的には、図１３に示すようなデータ形式が考えられる。図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。

フレームヘッダにおいては、先頭から順にシンク、使用チャンネルＩＤ、サンプリング周波数、量子化ビット数、ブロックサイズ、仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの各情報を格納する領域が定められている。
シンクは、フレームの先頭を表わす識別子とされる。使用チャンネルＩＤは、触覚信号のチャンネルとして、システムが対応する最大数のチャンネルのうち使用するチャンネルの識別子を表す。
サンプリング周波数、量子化ビット数は、それぞれ触覚信号のサンプリング周波数、１サンプル当りの量子化ビット数を表す。

ブロックサイズは、フレームに格納される触覚信号の時間方向におけるサイズ（サンプル数）を表す。ここでのブロックは、触覚信号の時間方向における処理単位を表すものである。本実施形態では、ブロックサイズはフレームごとに変化させることが許容されている。なお、このようにブロックサイズが可変とされることの意義については後述する。

仮現運動被利用チャンネルＩＤは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルに触覚信号が利用されるチャンネル（以下「被利用チャンネル」とも表記する）の識別子を表す。例えば、図１２Ｂに示した例の場合、仮現運動被利用チャンネルＩＤには、触覚センサ５－ｈに対応するチャンネルを表す情報が格納される。
仮現運動利用チャンネルＩＤは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルの触覚信号を利用することになるチャンネル（以下「利用チャンネル」とも表記する）の識別子を表す。例えば、図１２Ｂに示した例の場合、仮現運動利用チャンネルＩＤには、触覚センサ５－ｈの触覚信号を利用することになる触覚センサ５－ｊ、５－ｌ、５－ｍ、５－ｎのチャンネルを表す情報が格納される。

ヘッダ領域に続く実データ領域には、所定のブロックサイズとされた各チャンネルの触覚信号が格納される。

本実施形態の符号化によっては、上記のようなデータ構造とされたフレームが時間方向において並べられた態様によるストリームデータが得られる。前述した触覚符号化データＤｃは、このようなストリームデータの態様で収録、伝送される。

なお、図示による説明は省略するが、ストリームデータにおいて、触覚信号の実データは、実際にはチャンネルごとにインタリーブされて格納される。

（符号化側の処理手順）

続いて、図１４のフローチャートを参照し、上記した高次知覚を利用した触覚信号の符号化を実現するための具体的な処理の手順を説明する。
なお、図１４に示す処理は、図２に示した符号化部２４が実行する。図１４に示す処理は、図１３で説明したフレームごとに実行される。

図１４において、符号化部２４はステップＳ１０１で、あるチャンネルと類似した信号が同時に発生しているチャンネルがあるか否かを判定する。具体的に、符号化部２４は、前処理部２３を介して入力される各チャンネルの触覚信号について、一定の分析長にて分析を行い、同時発生している類似波形があるかを分析する。同時発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かにより判別する。ここで、類似波形というのは、信号同士において、時間包絡が類似している波形のことを言う。本例では、時間包絡が類似しているか否かの判定は、対比する信号同士の相関を計算して時間包絡類似度を求め、該時間包絡類似度が所定閾値以上か否かを判別することで行う。なお、時間包絡の類似の分析は、ＦＦＴ（高速フーリエ変換）等の周波数分析により行ってもよい。

ステップＳ１０１において、あるチャンネルと類似した信号が同時に発生しているチャンネルがあると判定した場合、符号化部２４はステップＳ１０２に進み、ファントムセンセーションを利用可能なチャンネルがあるか否かを判定する。具体的には、類似波形が同時発生していると判定したチャンネルが３以上あり、且つそれらのチャンネルのうち、触覚センサ５の配置位置の面で３以上連続しているチャンネルがあるか否かを判定する。

ファントムセンセーションを利用可能なチャンネルがあれば、符号化部２４はステップＳ１０３に進み、使用しないチャンネルを決定する。具体的には、例えば上記のように３以上連続しているチャンネルのうち偶数番目のチャンネルを使用しないチャンネルとして決定する。
符号化部２４は、該ステップＳ１０３で使用しないチャンネルとして決定したチャンネルについては、後述するステップＳ１０７のフレームヘッダ付加処理において、フレームヘッダにおけるチャンネルＩＤの領域にチャンネルＩＤを格納せず、また実データ領域において触覚信号を格納しない。
これにより、ファントムセンセーションを利用可能な場合に対応して、触覚信号の情報量を効果的に削減することができる。

なお、上記では、ファントムセンセーションを利用した情報量の削減手法として、触覚刺激を省略可能なチャンネルを一時的に使用チャンネルから外す手法を例示したが、該チャンネルを使用チャンネルから外さず、該チャンネルの触覚信号の符号化シンボルにゼロを割り当てることでエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。

符号化部２４は、ステップＳ１０３の処理を実行したことに応じ、後述するステップＳ１０６に処理を進める。

また、符号化部２４は、ステップＳ１０１においてあるチャンネルと類似した信号が同時に発生しているチャンネルがないと判定した場合、又は、ステップＳ１０２においてファントムセンセーションを利用可能なチャンネルがないと判定した場合のそれぞれにおいて、処理をステップＳ１０４に進める。

ステップＳ１０４で符号化部２４は、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあるか否かを判定する。ここで、センサ離間距離は、対象とするチャンネル間における触覚センサ５の離間距離を意味する。
ステップＳ１０４で符号化部２４は、各チャンネルの触覚信号を一定の分析長（例えば２～３秒等）にて分析を行い、所定時間以内の時間差で発生している類似波形があるかを分析する。所定時間以内の時間差で発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かで判別する。また、類似波形は、ステップＳ１０１と同様の分析により判別する。
ステップＳ１０４において、符号化部２４は、上記の分析に基づき、所定時間以内の時間差を持って類似波形が発生しているチャンネルの組があるか否かを判別し、該チャンネルの組がある場合には、該組におけるチャンネル同士のセンサ離間距離が所定距離以内であるか否か判別する。
符号化部２４は、上記の判別により肯定結果が得られたチャンネルを「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として特定する手法により、ステップＳ１０４の判定処理を行う。

上記のようなステップＳ１０４の処理により、例えば図１１に例示した刀剣で切り付けられる連続的な触覚刺激が発生した際には、該触覚刺激の発生時間長が一定の時間長（例えば２～３秒）以内であれば、「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として、触覚センサ５－ｈ・５－ｊのチャンネルの組、触覚センサ５－ｊ・５－ｌのチャンネルの組、触覚センサ５－ｌ・５－ｍのチャンネルの組、触覚センサ５－ｍ・５－ｎのチャンネルの組が特定されることになる。

ステップＳ１０４において、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあると判定した場合、符号化部２４はステップＳ１０５に処理を進めて、仮現運動の被利用チャンネルと利用チャンネルの決定処理を行う。
本例では、仮現運動に係る被利用チャンネルは、ステップＳ１０４での分析から仮現運動を利用可能とされるチャンネル（つまり図１１、図１２の例では触覚センサ５－ｈ、５－ｊ、５－ｌ、５－ｍ、５－ｎのチャンネル）のうち、触覚刺激のタイミングが最も早いチャンネルとする（図１１、図１２の例では触覚センサ５－ｈのチャンネル）。換言すれば、信号の立ち上がりタイミングが最早のチャンネルとする。
また、仮現運動に係る利用チャンネルは、仮現運動を利用可能とされるチャンネルのうち、２番目以降の触覚刺激を発生させるべきチャンネルとする。

ここで、符号化部２４は、処理対象としているフレームが、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、最早の触覚刺激タイミングに対応するフレーム（以下「初期フレーム」と表記する）である場合と、２番目以降の触覚刺激タイミングに対応するフレーム（以下「非初期フレーム」と表記する）である場合とで、それぞれ異なるフレームヘッダ付加処理を行う。
具体的に、処理対象としているフレームが初期フレームである場合、符号化部２４は、ステップ１０７のフレームヘッダ付加処理において、フレームヘッダにおける被利用チャンネルＩＤには上述した触覚刺激のタイミングが最も早いチャンネルを表す値を格納し、利用チャンネルＩＤには無効値（つまり該当するチャンネルがない旨を表す値：例えば０）を格納する。
一方、処理対象としているフレームが非初期フレームである場合、符号化部２４は、ステップＳ１０７のフレームヘッダ付加処理において、被利用チャンネルＩＤには無効値（例えば０）を格納し、利用チャンネルＩＤには、仮現運動を利用可能とされるチャンネルのうち、当該フレームの期間内において触覚信号の立ち上がりが検知されているチャンネルを表す値を格納する。

ここで、処理対象としているフレームが非初期フレームである場合には、利用チャンネルの触覚信号を実データ領域に格納することは必須ではなく、例えば、利用チャンネルを使用チャンネルから外す手法を採ることでの情報量削減を図ることができる。或いは、利用チャンネルにおける触覚信号の符号化シンボルにゼロを割り当ててエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。

符号化部２４は、ステップＳ１０５の決定処理を実行した場合、又はステップＳ１０４においてあるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがないと判定した場合のそれぞれにおいて、ステップＳ１０６に処理を進める。

ステップＳ１０６で符号化部２４は、ブロックサイズ決定処理を行う。ブロックサイズについては、ステップＳ１０１又はＳ１０４での波形分析の結果に基づき、信号の立ち上がりがフレームの先頭となるように決定する。具体的に、ファントムセンセーション利用時であれば、例えば図１５Ａの上部の両矢印で表す範囲をブロックサイズとする。また、仮現運動であれば、例えば図１５Ｂの上部の両矢印で表す範囲をブロックサイズとする。
なお、図１５Ａ、図１５Ｂでは、一つの触覚刺激の期間を一つのブロック内に収める例を示しているが、複数のブロックに分割して収めることも可能である。

図１４において、符号化部２４は、ステップＳ１０６のブロックサイズ決定処理を実行したことに応じ、ステップＳ１０７のフレームヘッダ付加処理を実行する。なお、ファントムセンセーション利用時、仮現運動利用時それぞれで実行されるべきフレームヘッダ付加処理の内容については既に説明したため重複説明を避ける。
符号化部２４は、ステップＳ１０７の処理を実行したことに応じて図１４に示す一連の処理を終える。

（復号側の機能構成・処理手順）

続いて、上記手法により符号化された触覚信号の復号について説明する。
図１６は、復号装置３が有する復号に係る機能を説明するための機能ブロック図である。
図示のように復号装置３は、取得処理部Ｆ１と復号処理部Ｆ２としての機能を有している。
取得処理部Ｆ１は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データＤｃを取得する。この取得処理部Ｆ１としての機能は、本例では、無線通信部３６が再生装置４側から触覚符号化データＤｃを受信する機能に相当する。

復号処理部Ｆ２は、取得処理部Ｆ２が取得した触覚符号化データＤｃを復号する。取得処理部Ｆ２としての機能は、復号部３４により実現される。

本例では、取得処理部Ｆ１は、ファントムセンセーションや仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データＤｃを取得する。
ファントムセンセーションが利用される場合、取得処理部Ｆ１は、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報（本例では使用チャンネルＩＤ）が含まれた触覚符号化データＤｃを取得する。そして、復号処理部Ｆ２は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力する。
これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置３では、符号化データを解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。

また、取得処理部Ｆ１は、仮現運動が利用される場合は、仮現運動の利用有無を示す利用有無情報が含まれた触覚符号化データＤｃを取得し、復号処理部Ｆ２は、利用有無情報に基づいて触覚符号化データＤｃを復号する。本例では、利用有無情報は、フレームヘッダにおける仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報が該当する。
前述のように、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうちの初期フレームにおいては、仮現運動被利用チャンネルＩＤには有効値が、仮現運動利用チャンネルＩＤには無効値が格納されるので、復号処理部Ｆ２は、これら仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報に基づき、当該フレームに被利用チャンネルとしてのチャンネルがある旨、及び被利用チャンネルのチャンネルＩＤを識別可能とされる。
また、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、２番目以降の触覚刺激タイミングに対応するフレームにおいては、仮現運動被利用チャンネルＩＤには無効値が、仮現運動利用チャンネルＩＤには有効値が格納されるため、復号処理部Ｆ２は、これら仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報に基づき、当該フレームに初期フレームにおける被利用チャンネルの波形部分を利用すべきチャンネルがある旨、及び該波形部分を利用すべき（出力すべき）チャンネルのチャンネルＩＤを識別可能とされる。

また、仮現運動が利用される場合、取得処理部Ｆ１は、仮現運動の利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれた触覚符号化データＤｃを取得し、復号処理部Ｆ２は、出力制御情報に従って単一のチャンネルの触覚信号を出力する。
出力制御情報は、本例ではフレームヘッダにおける仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤの情報が該当する。仮現運動利用チャンネルＩＤの情報は、適切なフレームにおいて有効値が格納されることで、初期フレームの仮現運動被利用チャンネルにおける触覚信号の出力チャンネルと出力タイミングとを表す情報として機能する。

図１７のフローチャートを参照し、上記のような実施形態としての復号機能を実現するために実行すべき具体的な処理手順を説明する。
なお、図１７に示す処理は、復号部３４が触覚符号化データＤｃのフレームごとに実行する。

先ず、復号部３４はステップＳ２０１で、フレームヘッダ解析処理を実行し、続くステップＳ２０２で、仮現運動を利用しているか否かを判定する。具体的には、仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの少なくとも何れかに有効値が格納されているか否かを判定する。
仮現運動被利用チャンネルＩＤ、仮現運動利用チャンネルＩＤの少なくとも何れかに有効値が格納されているとの条件が満たされておらず、仮現運動を利用していないと判定した場合、復号部３４はステップＳ２０５に進んで使用チャンネルの触覚信号を出力する処理を実行する。これにより、処理対象としているフレームがファントムセンセーション、仮現運動の何れの利用にも係らないフレームである場合や、ファントムセンセーションの利用に係るフレームである場合に対応して、使用チャンネルＩＤが表す使用チャンネルの触覚信号が出力される。
復号部３４はステップＳ２０５の出力処理を実行したことに応じ、後述するステップＳ２０７に処理を進める。

一方、ステップＳ２０２で仮現運動を利用していると判定した場合、復号部３４はステップＳ２０３に進み、仮現運動を利用する初期フレームか否かを判定する。具体的には、仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤのうち前者にのみ有効値が格納されているか否かを判定する。
仮現運動被利用チャンネルＩＤにのみ有効値が格納されており、仮現運動を利用する初期フレームであると判定した場合、復号部３４はステップＳ２０４に進み、被利用チャンネルの触覚信号を記憶する処理を実行した後、ステップＳ２０５に進む。
なお、ステップＳ２０４の処理の実行後、ステップＳ２０５の処理が実行されることで、初期フレームにおいて被利用チャンネルの触覚信号が出力される。

また、ステップＳ２０３において、仮現運動被利用チャンネルＩＤにのみ有効値が格納されているとの条件が満たされず、仮現運動を利用する初期フレームではないと判定した場合、復号部３４はステップＳ２０６に進む。なお、ステップＳ２０３で否定結果が得られる場合とは、すなわち仮現運動被利用チャンネルＩＤと仮現運動利用チャンネルＩＤのうち仮現運動利用チャンネルＩＤにのみ有効値が格納されている場合となる。
ステップＳ２０６で復号部３４は、記憶された被利用チャンネルの触覚信号を利用チャンネルの信号として出力する処理を行い、ステップＳ２０７に処理を進める。

ステップＳ２０７で復号部３４は、全チャンネル分の復号が完了したか否かを判定し、否定結果が得られた場合はステップＳ２０２に戻り、肯定結果が得られた場合はこの図に示す一連の処理を終える。

上記のような復号処理により、高次知覚を利用して情報量を圧縮する符号化が行われた触覚符号化データＤｃを適切に復号することができ、収録環境にてセンシングされた触覚情報の再現が高次知覚を利用して適切に行われるようにすることができる。

［1-6．第一実施形態の変形例］

上記では、触覚信号を触覚センサ５によりセンシングする例を挙げたが、触覚信号は、音声信号に基づき得られたものでもよい。
例えば、サンプリング周波数４８ｋＨｚの音声信号にローパスフィルタ（ＬＰＦ）処理を施して得たものを使用してもよい。

図１８は、触覚信号を音声信号に基づき得る場合における符号化側の構成を例示している。
図１８では、音声信号が例えば５．１チャンネルサラウンドの音声信号とされた場合に対応した構成を例示している。図示のように音声信号のチャンネルごとにＬＰＦ５０を用意し、これらＬＰＦ５０により音声信号の低域成分（例えば２ｋＨｚ以下）を抽出して各チャンネルの触覚信号を得る。符号化部２４Ａは、これらＬＰＦ５０により得られた各チャンネルの触覚信号について、符号化部２４と同様の符号化処理を行って触覚符号化データＤｃを得る。

例えば、５．１チャンネルや７．１チャンネル等のサラウンドコンテンツ等、音源の定位する位置が空間的に移動し得るコンテンツであれば、疑似的に指の間を移動する感覚や、疑似的に胸から腹にかけて移動する感覚等、人体の異なる部位間を移動する感覚を再現することができる。

この場合、復号装置３は、符号化部２４Ａで得られた触覚符号化データＤｃを取得し、取得した触覚符号化データＤｃについて復号部３４が図１７と同様の復号処理を行う。

＜２．第二実施形態＞
［2-1．触覚再現システムの概要］

続いて、第二実施形態の触覚再現システム１Ｂについて説明する。
第二実施形態は、高次知覚に係る感度の個人差に応じて、高次知覚の利用可否の判定基準を可変とするものである。

図１９は、触覚再現システム１Ｂの構成例を示した図である。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
触覚再現システム１Ｂは、再生装置４Ｂ、復号装置３、複数の触覚提示装置６（本例においても少なくとも３以上であるとする）、及び表示装置７を備えている。

再生装置４Ｂは、触覚データＤｈを取得可能に構成されている。触覚データＤｈは、デジタルデータとされた各チャンネルの触覚信号を指すものであり、本例では実施形態としての符号化、すなわち高次知覚を利用して情報量を圧縮する符号化が施される前の触覚信号とされる。

再生装置４Ｂは、触覚データＤｈについて実施形態としての符号化を行い、該符号化により得られた触覚符号化データＤｃを無線通信により復号装置３に送信することが可能に構成されている。
また再生装置４Ｂは、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされた表示装置７が接続されており、表示装置７に各種の情報を表示させることが可能に構成されている。

［2-2．再生装置の構成］

図２０は、再生装置４Ｂの内部構成例を説明するための図であり、再生装置４Ｂの内部構成例と共に表示装置７を併せて示している。
再生装置４Ｂは、図３に示した再生装置４と比較して、制御部４１に代えて制御部４１Ｂが設けられた点と、符号化部２４Ｂ、操作部６０、及び表示制御部６１が追加された点が異なる。
再生装置４Ｂは、メディアドライブ４３経由、或いは通信部４２を介した通信により触覚データＤｈを取得可能とされている。

符号化部２４Ｂは、触覚データＤｈ、すなわち各チャンネルの触覚信号を入力し、実施形態としての符号化処理を行って触覚符号化データＤｃを得る。
符号化部２４との差異点は、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、及び仮現運動を利用した符号化を行うか否かについて判定基準を変化させることが可能に構成された点である。
先の説明から理解されるように、実施形態では、ファントムセンセーションを利用可能であるか否かの判定は、対比するチャンネル間で、触覚信号の時間包絡波形の類似度が所定閾値以上であること、及び触覚信号の立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。また、仮現運動を利用可能であるか否かの判定としても、対比するチャンネル間で、時間包絡波形の類似度が所定閾値以上であること、及び立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。
本例の符号化部２４Ｂは、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、仮現運動を利用した符号化を行うか否かについて判定基準として、上記のような時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値を少なくとも変更可能に構成されている。

操作部６０は、再生装置４Ｂに設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部４１Ｂに出力する。

制御部４１Ｂは、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を有するマイクロコンピュータを備えて構成され、上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、再生装置４Ｂの全体制御を行う。
なお、制御部４１Ｂが実行する実施形態としての処理については以下で改めて説明する。

表示制御部６１はバス４６に接続され、制御部４１Ｂからの指示に基づき表示装置７の表示制御を行う。これにより制御部４１Ｂは、表示装置７に各種の情報を表示させることが可能とされる。

［2-3．符号化手法］

第二実施形態において、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、ファントムセンセーションや仮現運動を知覚し易いほど、それらファントムセンセーションや仮現運動を利用した符号化が行われ易くなるように変化させる。
ここでは、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、上述した時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値であるとする。以下の説明において、これらの閾値をまとめて「高次知覚適用閾値」と呼ぶことにする。

高次知覚適用閾値を受触者の高次知覚に係る感度に応じて定める手法については種々考えられるが、ここでは一例として、受触者に対して試験的に触覚刺激を与え、該触覚刺激に対する受触者からの回答に応じて高次知覚に係る感度を推定し、推定した感度に応じて高次知覚適用閾値を定める手法を説明する。

図２１は、第二実施形態としての符号化手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。
なお、図２１に示す処理は、本例では制御部４１Ｂが実行する。
ここでは、触覚デバイスとして図６に示した指接触型の触覚デバイスが用いられる場合に対応した処理を説明するものとし、図中の「ａ」～「ｅ」は、図６に示した触覚デバイスそれぞれの位置を表すものとする。

先ず、制御部４１ＢはステップＳ３０１～Ｓ３０３で、それぞれａとｃ、ｂとｄ、ｃとｅを同時刺激時に、ｂ、ｃ、ｄに刺激をどの程度感じるかの回答情報を取得するための処理を実行する。
これらステップＳ３０１～Ｓ３０３の処理は、無線通信部４５を介して復号装置３側に該当する位置の触覚提示装置６を同時駆動する指示を行うと共に、表示装置７に回答情報の受け付け画面を表示させて、操作部６０に対する操作入力を受け付ける処理として実行する。この際、触覚提示装置６の駆動信号は一定の強さのパルス信号とする。
この場合の回答情報としては、受触者が感じたファントムセンセーションの度合いを３段階で表すスコア（１：刺激された指の間に刺激を感じない／２：感じる／３：強く感じる等）の情報であるとする。

ステップＳ３０３に続くステップＳ３０４で制御部４１Ｂは、ａ～ｅを順次刺激時に移動感をどの程度感じるかの回答情報を得るための処理を実行する。
この処理は、無線通信部４５を介して復号装置３側に該当する位置の触覚提示装置６を順次駆動させる指示を行うと共に、表示装置７に回答情報の受け付け画面を表示させて、操作部６０に対する操作入力を受け付ける処理として実行する。
この場合の回答情報としては、受触者が感じた仮現運動の度合いを３段階で表すスコア（１：移動感を感じない／２：感じる／３：強く感じる等）の情報であるとする。

ステップＳ３０４に続くステップＳ３０５で制御部４１Ｂは、ステップＳ３０１～Ｓ３０４で回答情報として得られたスコアの平均を算出し、ステップＳ３０６でスコア平均値と高次知覚適用閾値直線に基づいた高次知覚適用閾値を求める処理を行う。

図２２は、高次知覚適用閾値直線の例を示している。
図２２では、高次知覚適用閾値が、前述した時間包絡波形の類似度についての閾値である場合に対応した高次知覚適用閾値直線を例示している。
図示のようにこの場合の高次知覚適用閾値直線は、スコア平均値が高くなるほど高次知覚適用閾値が小さくなるようにしている。すなわち、高次知覚に係る感度が高いほど、時間包絡波形の類似度についての閾値が低くなる設計とされており、高次知覚に係る感度が高いほど、高次知覚を利用した情報圧縮が行い易くなる。図中に例示した高次知覚適用閾値直線によると、スコア平均値が２．３３のときに高次知覚適用閾値として０．４８が求まる。
なお、高次知覚適用閾値が信号立ち上がり時間の差についての閾値である場合、高次知覚適用閾値直線は、逆にスコア平均値が高くなるほど高次知覚適用閾値が小さくなる設計とすればよい。

上記処理を行うことで、受触者の高次知覚に係る感度に応じて、触覚信号のデータ量を効率的に削減することが可能となる。

なお、上記ではファントムセンセーションと仮現運動とで共通の高次知覚適用閾値を設定する例を挙げたが、高次知覚適用閾値はファントムセンセーションと仮現運動とで別々の閾値とすることもできる。

ここで、受触者となるユーザには、触覚信号の質を落としてでも伝送途切れを防ぎたいユーザや、逆に伝送途切れが多少起きてでも触覚信号の質にこだわるようなユーザ等、嗜好が異なるユーザの存在が想定され、それらのユーザに対して、高次知覚適用閾値を自身で調整することができるようにする仕組みを提供することも考えられる。

図２３は、高次知覚適用閾値を調整するためのＧＵＩ（Graphical User Interface）の例を示した図であり、具体的には、高次知覚適用閾値の調整のために表示装置７の表示画面７ａ上に表示される画像の例を示している。
先の図２１では、高次知覚適用閾値という表現を用いたが、図２３では対象とする各指の組合わせごとに、高次知覚を利用した符号化の適用され易さを表す指標を「適用閾値」と表している。つまり、図２１ではユーザの高次知覚に係る感度を事前調査して閾値を定めていたのを、図２３ではユーザ自らが好みに応じて適用閾値を定めることができるようになっている。図２３の例では、ファントムセンセーション、仮現運動それぞれについて適用閾値を調整可能なＧＵＩとされている。
ユーザは、適用閾値を低く設定することで、高次知覚を利用した情報圧縮がより頻繁に行われるようにし、伝送途切れ防止や省電力化が図られるようにすることができる。逆に、適用閾値を高く設定することで、高次知覚を利用した情報圧縮が殆ど行われないようにし、できるだけ触覚再現の精度を低下させないようにすることができる。

また、図２３のＧＵＩでは、ファントムセンセーションの適用閾値について、ａ－ｃ間、ｂ－ｄ間、ｃ－ｅ間の各指の組合わせごとに適用閾値を調整可能としているが、これにより、例えば人差し指の感覚は鋭いが他の指の感覚はそれほどでもないと自覚しているユーザは、ａ－ｃ間のファントムセンセーション適用閾値を高めに設定して他の適用閾値を低めに設定することで、鋭敏な人差し指の触覚情報が損なわれないようにしつつ、他の指の情報を圧縮してデータ量の削減を図ることができる。

＜３．実施形態のまとめ＞

上記のように実施形態としての復号装置（同３）は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部（復号処理部Ｆ２、復号部３４）を備えるものである。

これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
また、高次知覚を利用すれば、本来は触覚信号を出力すべきチャンネル（部位）について、触覚信号の出力を不要とすることが可能となるため、触覚提示装置の駆動回数削減が図られ、触覚提示装置の省電力化や耐久性向上を図ることができる。

また、実施形態としての復号装置においては、復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。

これにより、人体の３以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。

さらに、実施形態としての復号装置においては、触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、復号部は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力している。

これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。

さらにまた、実施形態としての復号装置においては、復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。

これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。

また、実施形態としての復号装置においては、触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、復号部は、利用有無情報に基づいて触覚符号化データを復号している。

これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。

さらに、実施形態としての復号装置においては、触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、復号部は、出力制御情報に従って単一のチャンネルの触覚信号を出力している。

これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。
従って、触覚信号のデータ量のさらなる削減を図ることができ、触覚再現システムのさらなる効率化を図ることができる。

さらにまた、実施形態としての復号装置においては、単一のチャンネルは、利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされている。

これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、２番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。
従って、単一チャンネルの触覚信号のみを用いて仮現運動を利用した触覚再現を実現するにあたり、徒に遅延が発生することの防止を図ることができる。

また、実施形態としての復号装置においては、復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた触覚符号化データを復号している。

これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。
従って、上述したファントムセンセーションや仮現運動の利用時のように触覚信号中の特定の波形部分のみを対象としたいときに、復号装置において、触覚信号中から信号解析により該波形部分を抽出する処理を行う必要がなくなり、高次知覚を利用して符号化された触覚信号の復号に係る処理負担の軽減を図ることができる。

さらに、実施形態としての復号装置においては、触覚信号は触覚センサの検出信号に基づく信号とされている。

これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。
従って、触覚の再現性を高めることができる。

さらにまた、実施形態としての復号装置においては、触覚信号は音声信号に基づく信号とされている。

これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。
従って、例えば音源が定位する位置の変化に応じて触覚刺激を与える部位を変化させる等、音声情報の変化に連動した興趣の高い触覚再現を実現することができる。

また、実施形態としての復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。

このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。

ここで、これまでで説明した符号化部（２４、２４Ａ、２４Ｂ）や復号部（３４）による機能は、ＣＰＵ等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、ＣＰＵ等のコンピュータ装置（情報処理装置）が読み出し可能な記憶装置に記憶される。

実施形態としてのプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。

このようなプログラムによって、上記した実施形態としての復号装置を実現することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜４．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
復号装置。
（２）
前記復号部は、
ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記（１）に記載の復号装置。
（３）
前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
前記復号部は、
前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
前記（２）に記載の復号装置。
（４）
前記復号部は、
仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記（１）乃至（３）の何れかに記載の復号装置。
（５）
前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
前記復号部は、
前記利用有無情報に基づいて前記触覚符号化データを復号する
前記（４）に記載の復号装置。
（６）
前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
前記復号部は、
前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
前記（５）に記載の復号装置。
（７）
前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
前記（６）に記載の復号装置。
（８）
前記復号部は、
時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
前記（１）乃至（７）の何れかに記載の復号装置。
（９）
前記触覚信号は触覚センサの検出信号に基づく信号とされた
前記（１）乃至（８）の何れかに記載の復号装置。
（１０）
前記触覚信号は音声信号に基づく信号とされた
前記（１）乃至（８）の何れかに記載の復号装置。

１、１Ｂ 触覚再現システム、２ 符号化装置、３ 復号装置、４、４Ｂ 再生装置、５ 触覚センサ、６ 触覚提示装置、７ 表示装置、７ａ 表示画面、Ｄｃ 符号化データ、２４、２４Ａ、２４Ｂ 符号化部、３４ 復号部、３６ 無線通信部、Ｆ１ 取得処理部、Ｆ２ 復号処理部、５０ ＬＰＦ（ローパスフィルタ）Ｄｈ 触覚データ、６０ 操作部

Claims (12)

1. 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
   復号装置。
2. 前記復号部は、
   ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
   請求項１に記載の復号装置。
3. 前記触覚符号化データには、３以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
   前記復号部は、
   前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
   請求項２に記載の復号装置。
4. 前記復号部は、
   仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
   請求項１に記載の復号装置。
5. 前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
   前記復号部は、
   前記利用有無情報に基づいて前記触覚符号化データを復号する
   請求項４に記載の復号装置。
6. 前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
   前記復号部は、
   前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
   請求項５に記載の復号装置。
7. 前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
   請求項６に記載の復号装置。
8. 前記復号部は、
   時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
   請求項１に記載の復号装置。
9. 前記触覚信号は触覚センサの検出信号に基づく信号とされた
   請求項１に記載の復号装置。
10. 前記触覚信号は音声信号に基づく信号とされた
    請求項１に記載の復号装置。
11. 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する
    復号方法。
12. 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させる
    プログラム。

Images