JP2023116488A - 復号装置、復号方法、プログラム - Google Patents
復号装置、復号方法、プログラム Download PDFInfo
- Publication number
- JP2023116488A JP2023116488A JP2023084097A JP2023084097A JP2023116488A JP 2023116488 A JP2023116488 A JP 2023116488A JP 2023084097 A JP2023084097 A JP 2023084097A JP 2023084097 A JP2023084097 A JP 2023084097A JP 2023116488 A JP2023116488 A JP 2023116488A
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- signal
- haptic
- channel
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000008447 perception Effects 0.000 claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims description 98
- 230000015541 sensory perception of touch Effects 0.000 claims description 88
- 238000012545 processing Methods 0.000 claims description 67
- 208000004983 Phantom Limb Diseases 0.000 claims description 42
- 230000005236 sound signal Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 4
- 230000000630 rising effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 43
- 230000035807 sensation Effects 0.000 description 36
- 235000019615 sensations Nutrition 0.000 description 36
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 30
- 210000003811 finger Anatomy 0.000 description 28
- 230000000638 stimulation Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 24
- 230000035945 sensitivity Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 10
- 241000282412 Homo Species 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 210000001015 abdomen Anatomy 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000007799 cork Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
- H03M7/3062—Compressive sampling or sensing
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/70—Type of the data to be coded, other than image and sound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6011—Encoder aspects
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図る。【解決手段】本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える。これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。【選択図】図16
Description
本技術は、符号化された触覚信号を復号する復号装置とその方法、及びプログラムに関する。
近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある(例:災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
なお、関連する従来技術については下記特許文献1を挙げることができる。該特許文献1には、振動等の触覚情報をセンシングして触覚刺激のパターンを表す触覚信号を生成するのではなく、音声信号に基づき触覚信号を生成する技術が開示されている。
ここで、触覚情報を再現する触覚再現システムについては、触覚提示デバイスを複数用意して人体の複数部位に触覚刺激を与えたり、触覚信号を有線や無線により通信すること等が考えられている。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
しかしながら、触覚刺激を与える部位の数が増大することに伴い、触覚信号のチャンネル数も増大し、データ量の増大化を招いてしまう。触覚信号のデータ量が増大すると、触覚再現に係る処理負担の増大化や伝送遅延等を招く虞があり望ましくない。
本技術は上記の事情に鑑み為されたものであり、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることで、触覚再現システムの効率化を図ることを目的とする。
本技術に係る復号装置は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備えるものである。
これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
上記した本技術に係る復号装置においては、前記復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。
これにより、人体の3以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
上記した本技術に係る復号装置においては、前記触覚符号化データには、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、前記復号部は、前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力することが望ましい。
これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
上記した本技術に係る復号装置においては、前記復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号することが望ましい。
これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、前記復号部は、前記利用有無情報に基づいて前記触覚符号化データを復号することが望ましい。
これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。
上記した本技術に係る復号装置においては、前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、前記復号部は、前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力することが望ましい。
これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。
上記した本技術に係る復号装置においては、前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされたことが望ましい。
これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、2番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。
上記した本技術に係る復号装置においては、前記復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号することが望ましい。
これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。
上記した本技術に係る復号装置においては、前記触覚信号は触覚センサの検出信号に基づく信号とされたことが望ましい。
これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。
上記した本技術に係る復号装置においては、前記触覚信号は音声信号に基づく信号とされたことが望ましい。
これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。
また、本技術に係る復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。
このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。
さらに、本技術に係るプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。
このような本技術に係るプログラムにより、上記した本技術に係る復号装置が実現される。
本技術によれば、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.復号装置の構成]
[1-5.実施形態としての触覚再現手法]
(符号化手法)
(符号化側の処理手順)
(復号側の機能構成・処理手順)
[1-6.第一実施形態の変形例]
<2.第二実施形態>
[2-1.触覚再現システムの概要]
[2-2.再生装置の構成]
[2-3.符号化手法]
<3.実施形態のまとめ>
<4.本技術>
<1.第一実施形態>
[1-1.触覚再現システムの概要]
[1-2.符号化装置の構成]
[1-3.再生装置の構成]
[1-4.復号装置の構成]
[1-5.実施形態としての触覚再現手法]
(符号化手法)
(符号化側の処理手順)
(復号側の機能構成・処理手順)
[1-6.第一実施形態の変形例]
<2.第二実施形態>
[2-1.触覚再現システムの概要]
[2-2.再生装置の構成]
[2-3.符号化手法]
<3.実施形態のまとめ>
<4.本技術>
ここで、本明細書においては以下のように各用語を定義する。
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
触覚特性:人間の触覚に関する特性。部位(手、顔、足等)によって異なる。
触覚感度:触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
符号化データ:信号を符号化したデータ。下位概念としてストリーム、フレームがある。
触覚符号化データ:触覚信号を符号化したデータ。
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
触覚特性:人間の触覚に関する特性。部位(手、顔、足等)によって異なる。
触覚感度:触覚刺激を主観的にどの程度の強度と捉えるかの感度。人体における受容器や部位によって異なる。
符号化データ:信号を符号化したデータ。下位概念としてストリーム、フレームがある。
触覚符号化データ:触覚信号を符号化したデータ。
<1.第一実施形態>
[1-1.触覚再現システムの概要]
図1は、本技術に係る実施形態としての復号装置(復号装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データDcを収録する収録環境と、触覚符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
[1-1.触覚再現システムの概要]
図1は、本技術に係る実施形態としての復号装置(復号装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた触覚符号化データDcを収録する収録環境と、触覚符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
図示のように、触覚再現システム1は、収録環境において、複数の触覚センサ5とそれら触覚センサ5が接続された符号化装置2とを備えると共に、再現環境において、触覚符号化データDcを取得可能に構成された再生装置4と、再生装置4と無線通信可能に構成された復号装置3と、復号装置3と接続された複数の触覚提示装置6とを備えている。
触覚センサ5は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。触覚センサは、センシングの対象物、すなわち本例では人体に接触させることで、振動や運動を電圧変化として出力する。
本例において、各触覚センサ5は符号化装置2に対して有線接続されており、各触覚センサ5は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。
本例において、各触覚センサ5は符号化装置2に対して有線接続されており、各触覚センサ5は対象物としての人体のそれぞれ異なる部位に装着されて各部位に生じる触覚刺激をセンシングする。
符号化装置2は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のコンピュータ装置を備えて構成され、各触覚センサ5による検出信号(触覚信号)について所定のデータフォーマットに従った符号化を行い、該符号化により得られる触覚符号化データDcを例えば内部に設けられた記憶デバイスに収録する。
再生装置4は、CPUやDSP等のコンピュータ装置を備えて構成され、取得した触覚符号化データDcを復号装置3に送信する。例えば、収録環境において収録された触覚符号化データDcは、インターネット等の所要のネットワークを介して再生装置4に取得させる。或いは、触覚符号化データDcは可搬型の記録媒体に収録し、該記録媒体を介して再生装置4に触覚符号化データDcを取得させることもできる。
復号装置3は、再生装置4より受信した触覚符号化データDcを復号し、該復号により得られた触覚信号に基づいて各触覚提示装置6を駆動する。
触覚提示装置6は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
本例では、各触覚提示装置6は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ5でセンシングされた触覚刺激を再現するようにされる。
本例では、各触覚提示装置6は、受触者の人体におけるそれぞれ異なる部位に装着され、それぞれ対応する触覚センサ5でセンシングされた触覚刺激を再現するようにされる。
ここで、本例では、各触覚提示装置6は復号装置3に対して有線接続されており、図中の破線により囲った部分、すなわち復号装置3と各触覚提示装置6とが、受触者に対して装着される部分とされる。
触覚再現システム1としては、再生装置4に復号装置3の機能を与えて、再生装置4と各触覚提示装置6とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置6を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
図1に示す触覚再現システム1の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。
触覚再現システム1としては、再生装置4に復号装置3の機能を与えて、再生装置4と各触覚提示装置6とを有線接続する構成とすることも可能であるが、その場合には、触覚提示装置6を装着された受触者に煩わしさを与える虞がある。この煩わしさは、触覚刺激を与える部位の数が多くなるに従って増すことが予想される。
図1に示す触覚再現システム1の構成により、そのような煩わしさを受触者に与えてしまうことの防止を図ることができる。
図1に示す触覚再現システム1は、触覚センサ5を装着された人物によって知覚される各部位の触覚を、受触者において再現するシステムとして、両者が遠隔に配置された場合にも対応可能なシステムとして構成されている。
なお、本実施形態において、触覚センサ5、触覚提示装置6の各々の数、すなわち触覚刺激をセンシングし再現する人体の部位の数は少なくとも3以上とされる。
[1-2.符号化装置の構成]
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した各触覚センサ5を併せて示している。
図示のように符号化装置2は、複数の増幅器21と複数のA/Dコンバータ22、及び前処理部23、符号化部24、制御部25、記憶部26、通信部27、バス28を備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した各触覚センサ5を併せて示している。
図示のように符号化装置2は、複数の増幅器21と複数のA/Dコンバータ22、及び前処理部23、符号化部24、制御部25、記憶部26、通信部27、バス28を備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
各触覚センサ5の検出信号は、それぞれ対応する一つの増幅器21に入力されて適切なダイナミックレンジに調整された後、対応する一つのA/Dコンバータ22にそれぞれ入力されてA/D変換(アナログ/デジタル変換)される。
A/D変換された各検出信号(つまり部位ごとの触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や触覚センサ5のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された各触覚信号は、符号化部24に入力される。
A/D変換された各検出信号(つまり部位ごとの触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や触覚センサ5のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された各触覚信号は、符号化部24に入力される。
符号化部24は、例えばDSPで構成され、入力された各触覚信号を所定のデータフォーマットに従って符号化し、上述した触覚符号化データDcを得る。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
制御部25は、例えばCPU、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで符号化装置2の全体制御を行う。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24で得られた触覚符号化データDcを通信部27を介して外部装置に送信させることが可能とされる。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24で得られた触覚符号化データDcを通信部27を介して外部装置に送信させることが可能とされる。
記憶部26は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶デバイスを包括的に表したものであり、符号化装置2において各種のデータ記憶に用いられる。例えば記憶部26には、制御部25による制御に必要なデータが記憶される。また、制御部25の制御に基づき、符号化部24で得られた触覚符号化データDcを記憶部26に記憶させることもできる。
[1-3.再生装置の構成]
図3は、再生装置4の内部構成例を示した図である。
図示のように再生装置4は、制御部41、通信部42、メディアドライブ43、記憶部44、及び無線通信部45を備えると共に、これらの各部を互いにデータ通信可能に接続するバス46を備えている。
図3は、再生装置4の内部構成例を示した図である。
図示のように再生装置4は、制御部41、通信部42、メディアドライブ43、記憶部44、及び無線通信部45を備えると共に、これらの各部を互いにデータ通信可能に接続するバス46を備えている。
制御部41は、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、再生装置4の全体制御を行う。
通信部42は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部41は、該通信部42を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、触覚符号化データDcを通信部42によって受信させることが可能とされる。
メディアドライブ43は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ/ライタ部として構成されている。メディアドライブ43が対応する記録媒体としては、例えば、メモリカード(例えば可搬型のフラッシュメモリ)や光ディスク記録媒体等を挙げることができる。
このメディアドライブ43により、可搬型の記録媒体に記録された触覚符号化データDcの読み出しが可能とされる。
このメディアドライブ43により、可搬型の記録媒体に記録された触覚符号化データDcの読み出しが可能とされる。
記憶部44は、例えばHDDやSSD等の記憶デバイスを包括的に表したものであり、再生装置4において各種のデータ記憶に用いられる。例えば記憶部44には、制御部41による制御に必要なデータが記憶される。また、制御部41の制御に基づき、メディアドライブ43により読み出された触覚符号化データDcや、通信部42により外部装置から受信した触覚符号化データDcを記憶部44に記憶させることもできる。
無線通信部45は、例えばBluetooth(登録商標)等の所定通信方式による近距離無線通信を行う。
ここで、制御部41は、上記した全体制御の一部として、触覚符号化データDcについての通信部42による受信やメディアドライブ43による読み出しを実行させるための制御を行う。また、制御部41は、これら通信部42やメディアドライブ43経由で得られる触覚符号化データDcを、無線通信部45により復号装置3に送信させる制御を行う。
[1-4.復号装置の構成]
図4は、復号装置3の内部構成例を説明するための図であり、復号装置3の内部構成例と共に各触覚提示装置6を併せて示している。
図示のように復号装置3は、複数の増幅器31と複数のD/Aコンバータ32、及び後処理部33、復号部34を備えると共に、制御部35、無線通信部36、記憶部37、及びバス38を備えている。後処理部33、復号部34、制御部35、無線通信部36、及び記憶部37はバス38を介して接続され、互いにデータ通信可能とされている。
図4は、復号装置3の内部構成例を説明するための図であり、復号装置3の内部構成例と共に各触覚提示装置6を併せて示している。
図示のように復号装置3は、複数の増幅器31と複数のD/Aコンバータ32、及び後処理部33、復号部34を備えると共に、制御部35、無線通信部36、記憶部37、及びバス38を備えている。後処理部33、復号部34、制御部35、無線通信部36、及び記憶部37はバス38を介して接続され、互いにデータ通信可能とされている。
制御部35は、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、復号装置3の全体制御を行う。
無線通信部36は、例えばBluetooth等、再生装置3における無線通信部45との間で通信が可能な方式による近距離無線通信を行う。再生装置3から送信された触覚符号化データDcは無線通信部36により受信される。
記憶部37は、例えば記憶部26や記憶部44等と同様の記憶デバイスとされ、制御部35等が用いる各種データの記憶に用いられる。
復号部34は、無線通信部36を介して入力される触覚符号化データDcについて、後述する手法で復号を行い、部位ごとの触覚信号を得る。復号部34で得られた部位ごとの触覚信号は後処理部33に入力される。
後処理部33は、入力された部位ごとの触覚信号について、必要に応じて触覚提示装置6の校正や所定のフィルタ処理等の信号処理を施す。
後処理部33を経た各触覚信号は、それぞれ対応する一つのD/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、それぞれ対応する一つの増幅器31で適切なダイナミックレンジに調整され、対応する一つの触覚提示装置6に出力される。
これにより、各触覚提示装置6が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
これにより、各触覚提示装置6が触覚信号に基づき駆動され、検出環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。
[1-5.実施形態としての触覚再現手法]
(符号化手法)
以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図5に示す振動検出閾値曲線が報告されている。なお図5において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
図5に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
(符号化手法)
以下、第一実施形態における第一例としての触覚再現手法について説明する。
先ず、実施形態としての触覚再現手法は、人間の触覚特性に着目した手法となる。
人間の触覚感度の目安として、図5に示す振動検出閾値曲線が報告されている。なお図5において、横軸は周波数、縦軸は触覚刺激(振動:ここでは変位)の大きさを表す。
図5に示す振動検出閾値曲線は、人間がその振動を触覚として感じるか感じないか、つまり触覚感度を実験によって調べた一例である。人間は、この曲線より小さい振動は触覚として知覚することができない。
図5に示す振動検出閾値曲線からは、人間が1kHz程度までの振動を触覚刺激として感じ得ることが示されている。また、図5では1kHz以上の値が記載されていないが、感度は高くないものの実際には数kHz程度の周波数の振動でも人間は振動を触覚刺激として知覚し得ることが知られている。
従来における触覚再現のアプリケーションにおいては、殆どの場合、高くても200Hz程度までの振動をターゲットにしている。これは、人間の触覚感度が最も高いのが200Hz程度であることに起因している。
しかしながら、上記の通り人間は1kHzまでの振動を触覚刺激として感じられることは過去の様々な実験から明らかにされており、従来のアプリケーションでは高い現実感を持つ触覚を再現することは困難であると言わざるを得ない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数kHzといった高い周波数を含んでいる。これを数100Hzまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
例えば、ビンのコルク栓を抜いた際の振動は、現実では数kHzといった高い周波数を含んでいる。これを数100Hzまでしか再現しなければ、現実とは全く異なる触覚しか得られない。
そこで、本実施形態では、触覚信号と触覚提示装置6の特性を1kHz程度まで広帯域化することで、より現実感を高めることとする。
具体的に本実施形態では、現実に発生した振動等の触覚情報をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
具体的に本実施形態では、現実に発生した振動等の触覚情報をセンシングして触覚信号を得、該触覚信号によって触覚提示を行うという手法を採る。
近年はあらゆる情報がデジタル化されて利用されるが、触覚信号についても同様にデジタル化して扱うことを考える。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図5に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸(振動)が50dB(-20dB~30dB)以上、横軸が1000Hz程度である。本例では、実際に人間の感じる触覚情報の分布を考慮し、閾値曲線から+20dBの範囲の信号をセンシングすることとする。
これによると、対象とする1000Hzまでの周波数帯域において、振動の範囲は70dB(-20dB~50dB)となる。
デジタル化されたデータ量は、単位時間当たりに必要なビット数、つまりビットレートで考えることができる。例えば、図5に示した振動検出閾値曲線において人間が感じることのできる領域は、少なくとも、縦軸(振動)が50dB(-20dB~30dB)以上、横軸が1000Hz程度である。本例では、実際に人間の感じる触覚情報の分布を考慮し、閾値曲線から+20dBの範囲の信号をセンシングすることとする。
これによると、対象とする1000Hzまでの周波数帯域において、振動の範囲は70dB(-20dB~50dB)となる。
このように対象とする周波数帯域を1000Hzまで、振動の範囲を70dBとすると、触覚信号をLPCM(Linear Pulse Code Modulation)にてデジタル化する場合、1ビットで表現できるのは6dBであるから縦軸については9bit、1000Hzまでを再現するためには2倍のサンプリング周波数である2000Hz(sample/sec)が必要となるから、必要なビットレートB0は以下の[式1]で求められる。
B0=12bit/sample×2000sample/sec=24kbit/sec・・・[式1]
B0=12bit/sample×2000sample/sec=24kbit/sec・・・[式1]
この値自体は、例えば音声信号の代表的フォーマットであるCD(Compact Disc)のビットレート=700kbps/chと比べると非常に小さいため、この触覚信号を何らかのシステムに付加的に組み込んだとしても大きな問題となる可能性は少ないように見える。
しかしながら、先に示したように人間が感じることのできる触覚信号の帯域は数kHzまでに及ぶことが分かっている。例えば触覚信号を2000Hzまで再現する場合、ビットレートは[式1]に比べて2倍の48kbit/secとなる。
また、触覚は視覚(二つの目)と聴覚(二つの耳)と違って人体表面のあらゆる場所に存在している。両手の指先だけを考えても10か所あり、これらすべての触覚信号を扱おうとすれば、ビットレートはさらに10倍の480kbit/secとなる。指の関節ごと、手の平と場所を増やしてくとビットレートは飛躍的に増大してしまう。
さらに、触覚信号は基本的に一次元信号であるが、振動という物理現象は3軸(x、y、z)で捉えることができる。これを全て扱おうとすると、さらに3倍の1440kbit/secというビットレートが必要となるが、この値はオーディオCDの1411kbit/secを超える大きなものとなる。
このように、一つの触覚信号に係るビットレートはそれほど大きくないものの、人間が感知できる触覚を考えると膨大な量となり、触覚信号を扱うシステムに大きな負荷を与えることは確実である。
ここで、触覚提示装置6は人体に接触することになるため、復号装置3と再生装置4とが有線で接続されているような形態では受触者に煩わしさを与えることになり、図1に示したように無線化することが望まれる。この際の無線通信を従来の主な無線方式で実現することを考えると、例えばWi-Fi(登録商標)などの広帯域無線方式では、消費電力の大きさによりバッテリーが大容量化する虞があり、触覚提示装置6と復号装置3とを含むユニット部の小型化に影響がある。また、Wi-Fiでは信号の送信要求が発生してから実際に受信されるまでの手続きに処理時間を要するため、大きな遅延が発生する虞がある。
これに対し、Bluetoothなどの近距離無線方式であれば、他の無線方式に比べて低消費電力で低遅延に送受信する仕組みが利用できるため、触覚再現目的での利用に関して適していると考えられる。しかしながら、これら近距離無線通信では情報伝送量の制限があり、例えば音声信号と触覚信号を同期して送受信することを考えると、触覚信号に与えられるデータ量の余地は少ないと言える。
また、インターネットを介して映像と音声をストリーミングするサービスが普及しているが、さらなる臨場感向上のために触覚情報も付加することを考えた場合、現在でも既に回線の通信速度が十分でないためQoS(Quality of Service)機能によるデータ量の調整が行われている中で、触覚情報に与えられるデータ量の余地は少ないと言える。
これに対し、Bluetoothなどの近距離無線方式であれば、他の無線方式に比べて低消費電力で低遅延に送受信する仕組みが利用できるため、触覚再現目的での利用に関して適していると考えられる。しかしながら、これら近距離無線通信では情報伝送量の制限があり、例えば音声信号と触覚信号を同期して送受信することを考えると、触覚信号に与えられるデータ量の余地は少ないと言える。
また、インターネットを介して映像と音声をストリーミングするサービスが普及しているが、さらなる臨場感向上のために触覚情報も付加することを考えた場合、現在でも既に回線の通信速度が十分でないためQoS(Quality of Service)機能によるデータ量の調整が行われている中で、触覚情報に与えられるデータ量の余地は少ないと言える。
上記事情に鑑み、触覚信号を高能率に符号化して伝送することが考えられる。例えば、振動信号を触覚信号として扱う場合、振動信号と同じ一次元信号である音声信号用の音声符号化方式、例えばMP3(MPEG Audio Layer3)やAAC(Advanced Audio Coding)などをそのまま振動信号に適用することも考えられるが、音声符号化方式はそもそも人間の聴覚特性を考慮した符号化方式であり、触覚の特性は考慮されていないため、振動信号に適用したとしても、触覚に重要な情報を棄損する可能性が高く、最適な符号化を実現できるものではない。
そこで、本実施形態では、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることにより、触覚再現システムの効率化を図ることを目的とする。
先ず、図6及び図7を参照し、本実施形態で想定する触覚デバイスの具体例について説明しておく。
図6は、指接触型の触覚デバイスの例を説明するための図である。具体的には、手の指に触覚情報を提示する際に用いられる触覚センサ5と各指との対応関係を模式的に表している。
この場合、触覚センサ5としては、それぞれが対応する1本の指に対して装着される五つの触覚センサ5が設けられる。以下では、親指側から順に、各指に装着される触覚センサ5を符号の末尾に「-a」~「-e」を付して区別する。
なお、図6では触覚センサ5のみを例示しているが、触覚提示装置6についても同様に各指に対して装着されるべき五つの触覚提示装置6(6-a~6-e)が設けられる。
図6は、指接触型の触覚デバイスの例を説明するための図である。具体的には、手の指に触覚情報を提示する際に用いられる触覚センサ5と各指との対応関係を模式的に表している。
この場合、触覚センサ5としては、それぞれが対応する1本の指に対して装着される五つの触覚センサ5が設けられる。以下では、親指側から順に、各指に装着される触覚センサ5を符号の末尾に「-a」~「-e」を付して区別する。
なお、図6では触覚センサ5のみを例示しているが、触覚提示装置6についても同様に各指に対して装着されるべき五つの触覚提示装置6(6-a~6-e)が設けられる。
このような指接触型の触覚デバイスを用いた場合には、収録環境では、例えば指先で物体に触れた感触や、バットでボールを打った際に各指に生じる衝撃等をセンシングすることが可能とされ、片手で5チャンネル、両手なら10チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境においては、触覚提示装置6-a~6-eをそれぞれ対応する指に装着された受触者に対し、物体に触れた感触、バットでボールを打った際の衝撃等を体感させることができる。
なお、このような触覚再現を実現するための触覚デバイスとしては、例えば指サック型のように指ごとに独立した形態とすることや、グローブ型のような一体型の形態とすることもできる。
なお、このような触覚再現を実現するための触覚デバイスとしては、例えば指サック型のように指ごとに独立した形態とすることや、グローブ型のような一体型の形態とすることもできる。
図7は、胴接触型の触覚デバイスの例を説明するための図であり、具体的には、胸から腹にかけて触覚情報を提示する際に用いられる触覚センサ5とそれらの位置関係を模式的に表している。
この図の例では、触覚センサ5は、胴体の前面側(胸及び腹側)において上下方向に三段に分けて配置している。各段において、左右方向における触覚センサ5の配置数は三つとされ、合計九つの触覚センサ5が胴体の前面側に配置される。図示のように、これら九つの触覚センサ5については符号の末尾に「-f」~「-n」を付して区別する。
なお、図7では触覚センサ5のみを例示しているが、触覚提示装置6についても同様の位置関係による九つの触覚提示装置6(6-f~6-n)が設けられる。
この図の例では、触覚センサ5は、胴体の前面側(胸及び腹側)において上下方向に三段に分けて配置している。各段において、左右方向における触覚センサ5の配置数は三つとされ、合計九つの触覚センサ5が胴体の前面側に配置される。図示のように、これら九つの触覚センサ5については符号の末尾に「-f」~「-n」を付して区別する。
なお、図7では触覚センサ5のみを例示しているが、触覚提示装置6についても同様の位置関係による九つの触覚提示装置6(6-f~6-n)が設けられる。
このような胴接触型の触覚デバイスを用いる場合には、収録環境では、例えば物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃などをセンシングすることで、前面で9チャンネル、背面と合わせると18チャンネル分の触覚信号が取得できる。そして、取得した触覚信号に基づき、再現環境では、触覚提示装置6-f~6-nをそれぞれ収録環境における触覚センサ5-f~5ーnと対応する位置関係で装着された受触者に対し、物体に触れた感触、銃で撃たれたり刀剣で斬り付けられた衝撃等を体感させることができる。
なお、胴接触型の触覚デバイスについては、例えば図示のようなシャツ型の衣服、或いはジャケット型の衣服に対して設けることが考えられる。
なお、胴接触型の触覚デバイスについては、例えば図示のようなシャツ型の衣服、或いはジャケット型の衣服に対して設けることが考えられる。
ここで、人間の他の感覚同様に、触覚においても高次知覚というものが報告されている。高次知覚とは、物理的な刺激の情報を脳が統合して、複雑な知覚に結び付けるもので、触覚の場合には主に「ファントムセンセーション」(Alles, D.S.: Information Transmission by Phantom Sensations, IEEE Trans. Man-machine Systems, Vol.11, pp.85-91, 1970)、及び「仮現運動」(Bekesy, G.V.: Sensation on the Skin Similar to Directional Hearing, Beats and Harmonics of the Ear, Journal of the Acoustic Society of America, Vol.29, No.4, pp.489-501, 1957)が報告されている。
図8は、ファントムセンセーションについての説明図である。
図8Aでは、人体における或る程度離れたA~Cの3箇所のうち、両端のAとCに対してのみ触覚刺激を同時に与えていることを示している。ファントムセンセーションによると、図8Bに示すように、刺激されていないBも、A及びCと同時に刺激されたように知覚されることになる。すなわち、ファントムセンセーションとは、刺激点と刺激点との間に、刺激像が知覚されるという現象である。この際、刺激点の刺激強度が異なる場合、刺激像は刺激強度が強い方に偏って知覚される。
図8Aでは、人体における或る程度離れたA~Cの3箇所のうち、両端のAとCに対してのみ触覚刺激を同時に与えていることを示している。ファントムセンセーションによると、図8Bに示すように、刺激されていないBも、A及びCと同時に刺激されたように知覚されることになる。すなわち、ファントムセンセーションとは、刺激点と刺激点との間に、刺激像が知覚されるという現象である。この際、刺激点の刺激強度が異なる場合、刺激像は刺激強度が強い方に偏って知覚される。
図9は、仮現運動についての説明図である。
図9Aでは、人体における或る程度離れたA~Dの4箇所に対して、AからDまで順番に瞬間的な触覚刺激を時系列にて与えていることを示している。図9Bでは、図9Aに示す刺激を与えたことに応じて知覚される刺激を表している。
仮現運動は、刺激点の離散的な時系列移動によって、刺激点の間の刺激が補間され、あたかも刺激点が移動しているかのように知覚されるという現象を意味する。
図9Aでは、人体における或る程度離れたA~Dの4箇所に対して、AからDまで順番に瞬間的な触覚刺激を時系列にて与えていることを示している。図9Bでは、図9Aに示す刺激を与えたことに応じて知覚される刺激を表している。
仮現運動は、刺激点の離散的な時系列移動によって、刺激点の間の刺激が補間され、あたかも刺激点が移動しているかのように知覚されるという現象を意味する。
なお、ファントムセンセーションを利用して触覚刺激を知覚させること自体については、例えば下記参考文献1を挙げられるように公知である。
参考文献1:特開2013-044706号公報
参考文献1:特開2013-044706号公報
本実施形態では、上記のような高次知覚を利用して触覚信号についての効率的な符号化を実現する。
先ずは、図10を参照し、ファントムセンセーションを利用した符号化の例について説明する。ここでは、触覚デバイスとして図6に示したような指接触型の触覚デバイスを用いる例とする。
先ずは、図10を参照し、ファントムセンセーションを利用した符号化の例について説明する。ここでは、触覚デバイスとして図6に示したような指接触型の触覚デバイスを用いる例とする。
人間の指はその位置関係や関節の拘束条件により、何れかの指同士がある程度の近さの位置にあることが多い。そのため、或る触覚刺激に対して、何れかの指同士が同時に刺激を知覚することが多い。例えば、何らかの物体を手で拾う際に、複数の指先で同時に触れた後に掴むという動作になり、バットやハンドルを握る際に、複数の指先が同時に触れた状態になる。図10Aは、図6に示した触覚センサ5-a~5-eにより、実際にボールを拾った際に検出される触覚信号を示している。この図10Aより、ボールを拾った際には全ての指に同じような強度の触覚刺激が同時に知覚されることが分かる。
この知覚を得るために、触覚提示装置6-a~6-eを用いて触覚再現を行うことを考えると、図10Aに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、各指の間にある指の刺激、具体的には、触覚センサ5-b、5-dにより検出される触覚信号については、ファントムセンセーションの発生を利用することで、図10Bに示すように、省略することができる。すなわち、収録すべき触覚情報の量を削減できるものである。
この知覚を得るために、触覚提示装置6-a~6-eを用いて触覚再現を行うことを考えると、図10Aに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、各指の間にある指の刺激、具体的には、触覚センサ5-b、5-dにより検出される触覚信号については、ファントムセンセーションの発生を利用することで、図10Bに示すように、省略することができる。すなわち、収録すべき触覚情報の量を削減できるものである。
この削減は、デジタル符号化において、使用チャンネル数が可変な仕組みであれば、触覚センサ5-b、5-dのチャンネルを一時的に使用チャンネルから除外することで実現でき、これによると情報量を一時的に3/5に削減することができる(40%の削減)。また、使用チャンネル数が固定になっている符号化方式であっても、触覚センサ5-b、5-dの該当する期間における信号のシンボルにゼロを割り当てるという手法を採ることで、情報量の削減を図ることができる。すなわち、シンボルをゼロとすることは情報エントロピーを大きく削減することに繋がり、ハフマン符号化等のエントロピー符号化(可変長符号化)を採用する場合には非常に大きな情報量削減効果を得ることができる。また、情報量削減だけでなく、触覚提示装置6の駆動数を削減することになるため、省電力化と耐久性向上も図ることができる。
図11及び図12を参照し、仮現運動を利用した符号化の例について説明する。
ここでは、仮現運動を利用した符号化の例として、図7に示したような胴接触型の触覚デバイスを用いた場合の例を挙げる。
人間の胴体は、比較的面積が広い部位であり、触覚刺激の移動や伝搬を知覚することが多い。臨場感向上のための演出としては、例えば、刀剣で斬りつけられる演出や虫などが這い回る演出等が挙げられる。ここでは、図11に示すように、刀剣で図中の矢印方向に斬り付けられる演出を行う場合、具体的には、左胸上部から右腹部の方向に斬り付けられた後、右腹部から左腹部の方向に斬り付けられるような演出を行う場合を例に挙げる。
ここでは、仮現運動を利用した符号化の例として、図7に示したような胴接触型の触覚デバイスを用いた場合の例を挙げる。
人間の胴体は、比較的面積が広い部位であり、触覚刺激の移動や伝搬を知覚することが多い。臨場感向上のための演出としては、例えば、刀剣で斬りつけられる演出や虫などが這い回る演出等が挙げられる。ここでは、図11に示すように、刀剣で図中の矢印方向に斬り付けられる演出を行う場合、具体的には、左胸上部から右腹部の方向に斬り付けられた後、右腹部から左腹部の方向に斬り付けられるような演出を行う場合を例に挙げる。
図12Aは、このような演出を行う際に触覚センサ5-f~5-nにおいて検出される信号を例示している。図示のようにこの場合は、触覚センサ5-h、5-j、5-l、5-m、5-nの順で触覚刺激が発生することが分かる。
このような、或る物体の移動に伴う触覚刺激においては、触覚信号の性質(強度や周波数)そのものの違いよりも、移動している感覚の方に意識が向く。
このような、或る物体の移動に伴う触覚刺激においては、触覚信号の性質(強度や周波数)そのものの違いよりも、移動している感覚の方に意識が向く。
上記のような刀剣が移動している際の刺激は、図12Aに示す各チャンネルの触覚信号を全てそのまま収録することでも実現はできるが、仮現運動の発生を利用して、触覚刺激の開始点と終了点の間を補間することで、同様の刺激を再現しながら、触覚信号を削減することができる。
つまり、デジタル符号化において、信号の実データに対する付帯情報を使用する仕組みであれば、例えば図12Bに示すように、触覚センサ5-hの触覚信号は収録する一方、触覚センサ5-j、5-l、5-m、5-nの触覚信号そのものは収録せず、代わりに、付帯情報として、触覚センサ5-hの触覚信号と同一の触覚信号を触覚センサ5-j、5-l、5-m、5-nの各位置で然るべき時間にて再生することを指示する情報を収録しておく(図中「付帯情報」)。これにより、刀剣が移動している際の刺激の再現を可能としつつ、情報量の削減を図ることができる。具体的に上記例では、該当する期間の情報量を(1/5)+α(αは付帯情報の分)程度に削減することができる(80-α%の削減)。
つまり、デジタル符号化において、信号の実データに対する付帯情報を使用する仕組みであれば、例えば図12Bに示すように、触覚センサ5-hの触覚信号は収録する一方、触覚センサ5-j、5-l、5-m、5-nの触覚信号そのものは収録せず、代わりに、付帯情報として、触覚センサ5-hの触覚信号と同一の触覚信号を触覚センサ5-j、5-l、5-m、5-nの各位置で然るべき時間にて再生することを指示する情報を収録しておく(図中「付帯情報」)。これにより、刀剣が移動している際の刺激の再現を可能としつつ、情報量の削減を図ることができる。具体的に上記例では、該当する期間の情報量を(1/5)+α(αは付帯情報の分)程度に削減することができる(80-α%の削減)。
なお、上記では、仮現運動を利用可能な触覚信号のチャンネルのうち、単一のチャンネルの触覚信号のみを収録する例を挙げたが、2以上のチャンネルの触覚信号を収録することも可能である。例えば、図11で例示した刀剣で切り付けられる触覚刺激の場合においては、触覚センサ5-lの位置において刀剣の向きが変化すること等に起因して、触覚センサ5-h~5-jの位置までの刺激と、触覚センサ5-lの位置以降の刺激とに性質の差が生じることも考えられ、その場合には、該刺激の差が忠実に再現されるべく、触覚センサ5-hによる触覚信号のみでなく触覚センサ5-lによる触覚信号も収録することが考えられる。
図13は、高次知覚を利用した符号化フォーマットの例を説明するための図である。
ここで、デジタルの触覚信号としては、触覚センサ5で取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うLPCM方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ(フレームヘッダ)を付加する。
具体的には、図13に示すようなデータ形式が考えられる。図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。
ここで、デジタルの触覚信号としては、触覚センサ5で取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うLPCM方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ(フレームヘッダ)を付加する。
具体的には、図13に示すようなデータ形式が考えられる。図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。
フレームヘッダにおいては、先頭から順にシンク、使用チャンネルID、サンプリング周波数、量子化ビット数、ブロックサイズ、仮現運動被利用チャンネルID、仮現運動利用チャンネルIDの各情報を格納する領域が定められている。
シンクは、フレームの先頭を表わす識別子とされる。使用チャンネルIDは、触覚信号のチャンネルとして、システムが対応する最大数のチャンネルのうち使用するチャンネルの識別子を表す。
サンプリング周波数、量子化ビット数は、それぞれ触覚信号のサンプリング周波数、1サンプル当りの量子化ビット数を表す。
シンクは、フレームの先頭を表わす識別子とされる。使用チャンネルIDは、触覚信号のチャンネルとして、システムが対応する最大数のチャンネルのうち使用するチャンネルの識別子を表す。
サンプリング周波数、量子化ビット数は、それぞれ触覚信号のサンプリング周波数、1サンプル当りの量子化ビット数を表す。
ブロックサイズは、フレームに格納される触覚信号の時間方向におけるサイズ(サンプル数)を表す。ここでのブロックは、触覚信号の時間方向における処理単位を表すものである。本実施形態では、ブロックサイズはフレームごとに変化させることが許容されている。なお、このようにブロックサイズが可変とされることの意義については後述する。
仮現運動被利用チャンネルIDは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルに触覚信号が利用されるチャンネル(以下「被利用チャンネル」とも表記する)の識別子を表す。例えば、図12Bに示した例の場合、仮現運動被利用チャンネルIDには、触覚センサ5-hに対応するチャンネルを表す情報が格納される。
仮現運動利用チャンネルIDは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルの触覚信号を利用することになるチャンネル(以下「利用チャンネル」とも表記する)の識別子を表す。例えば、図12Bに示した例の場合、仮現運動利用チャンネルIDには、触覚センサ5-hの触覚信号を利用することになる触覚センサ5-j、5-l、5-m、5-nのチャンネルを表す情報が格納される。
仮現運動利用チャンネルIDは、仮現運動利用時において、仮現運動を利用可能なチャンネルのうち他のチャンネルの触覚信号を利用することになるチャンネル(以下「利用チャンネル」とも表記する)の識別子を表す。例えば、図12Bに示した例の場合、仮現運動利用チャンネルIDには、触覚センサ5-hの触覚信号を利用することになる触覚センサ5-j、5-l、5-m、5-nのチャンネルを表す情報が格納される。
ヘッダ領域に続く実データ領域には、所定のブロックサイズとされた各チャンネルの触覚信号が格納される。
本実施形態の符号化によっては、上記のようなデータ構造とされたフレームが時間方向において並べられた態様によるストリームデータが得られる。前述した触覚符号化データDcは、このようなストリームデータの態様で収録、伝送される。
なお、図示による説明は省略するが、ストリームデータにおいて、触覚信号の実データは、実際にはチャンネルごとにインタリーブされて格納される。
(符号化側の処理手順)
続いて、図14のフローチャートを参照し、上記した高次知覚を利用した触覚信号の符号化を実現するための具体的な処理の手順を説明する。
なお、図14に示す処理は、図2に示した符号化部24が実行する。図14に示す処理は、図13で説明したフレームごとに実行される。
続いて、図14のフローチャートを参照し、上記した高次知覚を利用した触覚信号の符号化を実現するための具体的な処理の手順を説明する。
なお、図14に示す処理は、図2に示した符号化部24が実行する。図14に示す処理は、図13で説明したフレームごとに実行される。
図14において、符号化部24はステップS101で、あるチャンネルと類似した信号が同時に発生しているチャンネルがあるか否かを判定する。具体的に、符号化部24は、前処理部23を介して入力される各チャンネルの触覚信号について、一定の分析長にて分析を行い、同時発生している類似波形があるかを分析する。同時発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かにより判別する。ここで、類似波形というのは、信号同士において、時間包絡が類似している波形のことを言う。本例では、時間包絡が類似しているか否かの判定は、対比する信号同士の相関を計算して時間包絡類似度を求め、該時間包絡類似度が所定閾値以上か否かを判別することで行う。なお、時間包絡の類似の分析は、FFT(高速フーリエ変換)等の周波数分析により行ってもよい。
ステップS101において、あるチャンネルと類似した信号が同時に発生しているチャンネルがあると判定した場合、符号化部24はステップS102に進み、ファントムセンセーションを利用可能なチャンネルがあるか否かを判定する。具体的には、類似波形が同時発生していると判定したチャンネルが3以上あり、且つそれらのチャンネルのうち、触覚センサ5の配置位置の面で3以上連続しているチャンネルがあるか否かを判定する。
ファントムセンセーションを利用可能なチャンネルがあれば、符号化部24はステップS103に進み、使用しないチャンネルを決定する。具体的には、例えば上記のように3以上連続しているチャンネルのうち偶数番目のチャンネルを使用しないチャンネルとして決定する。
符号化部24は、該ステップS103で使用しないチャンネルとして決定したチャンネルについては、後述するステップS107のフレームヘッダ付加処理において、フレームヘッダにおけるチャンネルIDの領域にチャンネルIDを格納せず、また実データ領域において触覚信号を格納しない。
これにより、ファントムセンセーションを利用可能な場合に対応して、触覚信号の情報量を効果的に削減することができる。
符号化部24は、該ステップS103で使用しないチャンネルとして決定したチャンネルについては、後述するステップS107のフレームヘッダ付加処理において、フレームヘッダにおけるチャンネルIDの領域にチャンネルIDを格納せず、また実データ領域において触覚信号を格納しない。
これにより、ファントムセンセーションを利用可能な場合に対応して、触覚信号の情報量を効果的に削減することができる。
なお、上記では、ファントムセンセーションを利用した情報量の削減手法として、触覚刺激を省略可能なチャンネルを一時的に使用チャンネルから外す手法を例示したが、該チャンネルを使用チャンネルから外さず、該チャンネルの触覚信号の符号化シンボルにゼロを割り当てることでエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。
符号化部24は、ステップS103の処理を実行したことに応じ、後述するステップS106に処理を進める。
また、符号化部24は、ステップS101においてあるチャンネルと類似した信号が同時に発生しているチャンネルがないと判定した場合、又は、ステップS102においてファントムセンセーションを利用可能なチャンネルがないと判定した場合のそれぞれにおいて、処理をステップS104に進める。
ステップS104で符号化部24は、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあるか否かを判定する。ここで、センサ離間距離は、対象とするチャンネル間における触覚センサ5の離間距離を意味する。
ステップS104で符号化部24は、各チャンネルの触覚信号を一定の分析長(例えば2~3秒等)にて分析を行い、所定時間以内の時間差で発生している類似波形があるかを分析する。所定時間以内の時間差で発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かで判別する。また、類似波形は、ステップS101と同様の分析により判別する。
ステップS104において、符号化部24は、上記の分析に基づき、所定時間以内の時間差を持って類似波形が発生しているチャンネルの組があるか否かを判別し、該チャンネルの組がある場合には、該組におけるチャンネル同士のセンサ離間距離が所定距離以内であるか否か判別する。
符号化部24は、上記の判別により肯定結果が得られたチャンネルを「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として特定する手法により、ステップS104の判定処理を行う。
ステップS104で符号化部24は、各チャンネルの触覚信号を一定の分析長(例えば2~3秒等)にて分析を行い、所定時間以内の時間差で発生している類似波形があるかを分析する。所定時間以内の時間差で発生しているか否かは、信号の立ち上がり時間の差が一定の範囲内に収まっているか否かで判別する。また、類似波形は、ステップS101と同様の分析により判別する。
ステップS104において、符号化部24は、上記の分析に基づき、所定時間以内の時間差を持って類似波形が発生しているチャンネルの組があるか否かを判別し、該チャンネルの組がある場合には、該組におけるチャンネル同士のセンサ離間距離が所定距離以内であるか否か判別する。
符号化部24は、上記の判別により肯定結果が得られたチャンネルを「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として特定する手法により、ステップS104の判定処理を行う。
上記のようなステップS104の処理により、例えば図11に例示した刀剣で切り付けられる連続的な触覚刺激が発生した際には、該触覚刺激の発生時間長が一定の時間長(例えば2~3秒)以内であれば、「あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネル」として、触覚センサ5-h・5-jのチャンネルの組、触覚センサ5-j・5-lのチャンネルの組、触覚センサ5-l・5-mのチャンネルの組、触覚センサ5-m・5-nのチャンネルの組が特定されることになる。
ステップS104において、あるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがあると判定した場合、符号化部24はステップS105に処理を進めて、仮現運動の被利用チャンネルと利用チャンネルの決定処理を行う。
本例では、仮現運動に係る被利用チャンネルは、ステップS104での分析から仮現運動を利用可能とされるチャンネル(つまり図11、図12の例では触覚センサ5-h、5-j、5-l、5-m、5-nのチャンネル)のうち、触覚刺激のタイミングが最も早いチャンネルとする(図11、図12の例では触覚センサ5-hのチャンネル)。換言すれば、信号の立ち上がりタイミングが最早のチャンネルとする。
また、仮現運動に係る利用チャンネルは、仮現運動を利用可能とされるチャンネルのうち、2番目以降の触覚刺激を発生させるべきチャンネルとする。
本例では、仮現運動に係る被利用チャンネルは、ステップS104での分析から仮現運動を利用可能とされるチャンネル(つまり図11、図12の例では触覚センサ5-h、5-j、5-l、5-m、5-nのチャンネル)のうち、触覚刺激のタイミングが最も早いチャンネルとする(図11、図12の例では触覚センサ5-hのチャンネル)。換言すれば、信号の立ち上がりタイミングが最早のチャンネルとする。
また、仮現運動に係る利用チャンネルは、仮現運動を利用可能とされるチャンネルのうち、2番目以降の触覚刺激を発生させるべきチャンネルとする。
ここで、符号化部24は、処理対象としているフレームが、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、最早の触覚刺激タイミングに対応するフレーム(以下「初期フレーム」と表記する)である場合と、2番目以降の触覚刺激タイミングに対応するフレーム(以下「非初期フレーム」と表記する)である場合とで、それぞれ異なるフレームヘッダ付加処理を行う。
具体的に、処理対象としているフレームが初期フレームである場合、符号化部24は、ステップ107のフレームヘッダ付加処理において、フレームヘッダにおける被利用チャンネルIDには上述した触覚刺激のタイミングが最も早いチャンネルを表す値を格納し、利用チャンネルIDには無効値(つまり該当するチャンネルがない旨を表す値:例えば0)を格納する。
一方、処理対象としているフレームが非初期フレームである場合、符号化部24は、ステップS107のフレームヘッダ付加処理において、被利用チャンネルIDには無効値(例えば0)を格納し、利用チャンネルIDには、仮現運動を利用可能とされるチャンネルのうち、当該フレームの期間内において触覚信号の立ち上がりが検知されているチャンネルを表す値を格納する。
具体的に、処理対象としているフレームが初期フレームである場合、符号化部24は、ステップ107のフレームヘッダ付加処理において、フレームヘッダにおける被利用チャンネルIDには上述した触覚刺激のタイミングが最も早いチャンネルを表す値を格納し、利用チャンネルIDには無効値(つまり該当するチャンネルがない旨を表す値:例えば0)を格納する。
一方、処理対象としているフレームが非初期フレームである場合、符号化部24は、ステップS107のフレームヘッダ付加処理において、被利用チャンネルIDには無効値(例えば0)を格納し、利用チャンネルIDには、仮現運動を利用可能とされるチャンネルのうち、当該フレームの期間内において触覚信号の立ち上がりが検知されているチャンネルを表す値を格納する。
ここで、処理対象としているフレームが非初期フレームである場合には、利用チャンネルの触覚信号を実データ領域に格納することは必須ではなく、例えば、利用チャンネルを使用チャンネルから外す手法を採ることでの情報量削減を図ることができる。或いは、利用チャンネルにおける触覚信号の符号化シンボルにゼロを割り当ててエントロピー符号化を利用しての情報量削減が図られるようにすることもできる。
符号化部24は、ステップS105の決定処理を実行した場合、又はステップS104においてあるチャンネルと類似した信号が所定の時間差内、且つセンサ離間距離内で発生しているチャンネルがないと判定した場合のそれぞれにおいて、ステップS106に処理を進める。
ステップS106で符号化部24は、ブロックサイズ決定処理を行う。ブロックサイズについては、ステップS101又はS104での波形分析の結果に基づき、信号の立ち上がりがフレームの先頭となるように決定する。具体的に、ファントムセンセーション利用時であれば、例えば図15Aの上部の両矢印で表す範囲をブロックサイズとする。また、仮現運動であれば、例えば図15Bの上部の両矢印で表す範囲をブロックサイズとする。
なお、図15A、図15Bでは、一つの触覚刺激の期間を一つのブロック内に収める例を示しているが、複数のブロックに分割して収めることも可能である。
なお、図15A、図15Bでは、一つの触覚刺激の期間を一つのブロック内に収める例を示しているが、複数のブロックに分割して収めることも可能である。
図14において、符号化部24は、ステップS106のブロックサイズ決定処理を実行したことに応じ、ステップS107のフレームヘッダ付加処理を実行する。なお、ファントムセンセーション利用時、仮現運動利用時それぞれで実行されるべきフレームヘッダ付加処理の内容については既に説明したため重複説明を避ける。
符号化部24は、ステップS107の処理を実行したことに応じて図14に示す一連の処理を終える。
符号化部24は、ステップS107の処理を実行したことに応じて図14に示す一連の処理を終える。
(復号側の機能構成・処理手順)
続いて、上記手法により符号化された触覚信号の復号について説明する。
図16は、復号装置3が有する復号に係る機能を説明するための機能ブロック図である。
図示のように復号装置3は、取得処理部F1と復号処理部F2としての機能を有している。
取得処理部F1は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データDcを取得する。この取得処理部F1としての機能は、本例では、無線通信部36が再生装置4側から触覚符号化データDcを受信する機能に相当する。
続いて、上記手法により符号化された触覚信号の復号について説明する。
図16は、復号装置3が有する復号に係る機能を説明するための機能ブロック図である。
図示のように復号装置3は、取得処理部F1と復号処理部F2としての機能を有している。
取得処理部F1は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データDcを取得する。この取得処理部F1としての機能は、本例では、無線通信部36が再生装置4側から触覚符号化データDcを受信する機能に相当する。
復号処理部F2は、取得処理部F2が取得した触覚符号化データDcを復号する。取得処理部F2としての機能は、復号部34により実現される。
本例では、取得処理部F1は、ファントムセンセーションや仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データDcを取得する。
ファントムセンセーションが利用される場合、取得処理部F1は、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報(本例では使用チャンネルID)が含まれた触覚符号化データDcを取得する。そして、復号処理部F2は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力する。
これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置3では、符号化データを解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
ファントムセンセーションが利用される場合、取得処理部F1は、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報(本例では使用チャンネルID)が含まれた触覚符号化データDcを取得する。そして、復号処理部F2は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力する。
これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置3では、符号化データを解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
また、取得処理部F1は、仮現運動が利用される場合は、仮現運動の利用有無を示す利用有無情報が含まれた触覚符号化データDcを取得し、復号処理部F2は、利用有無情報に基づいて触覚符号化データDcを復号する。本例では、利用有無情報は、フレームヘッダにおける仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報が該当する。
前述のように、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうちの初期フレームにおいては、仮現運動被利用チャンネルIDには有効値が、仮現運動利用チャンネルIDには無効値が格納されるので、復号処理部F2は、これら仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報に基づき、当該フレームに被利用チャンネルとしてのチャンネルがある旨、及び被利用チャンネルのチャンネルIDを識別可能とされる。
また、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、2番目以降の触覚刺激タイミングに対応するフレームにおいては、仮現運動被利用チャンネルIDには無効値が、仮現運動利用チャンネルIDには有効値が格納されるため、復号処理部F2は、これら仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報に基づき、当該フレームに初期フレームにおける被利用チャンネルの波形部分を利用すべきチャンネルがある旨、及び該波形部分を利用すべき(出力すべき)チャンネルのチャンネルIDを識別可能とされる。
前述のように、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうちの初期フレームにおいては、仮現運動被利用チャンネルIDには有効値が、仮現運動利用チャンネルIDには無効値が格納されるので、復号処理部F2は、これら仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報に基づき、当該フレームに被利用チャンネルとしてのチャンネルがある旨、及び被利用チャンネルのチャンネルIDを識別可能とされる。
また、仮現運動を利用可能とされる連続的な触覚刺激の期間におけるフレームのうち、2番目以降の触覚刺激タイミングに対応するフレームにおいては、仮現運動被利用チャンネルIDには無効値が、仮現運動利用チャンネルIDには有効値が格納されるため、復号処理部F2は、これら仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報に基づき、当該フレームに初期フレームにおける被利用チャンネルの波形部分を利用すべきチャンネルがある旨、及び該波形部分を利用すべき(出力すべき)チャンネルのチャンネルIDを識別可能とされる。
また、仮現運動が利用される場合、取得処理部F1は、仮現運動の利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれた触覚符号化データDcを取得し、復号処理部F2は、出力制御情報に従って単一のチャンネルの触覚信号を出力する。
出力制御情報は、本例ではフレームヘッダにおける仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報が該当する。仮現運動利用チャンネルIDの情報は、適切なフレームにおいて有効値が格納されることで、初期フレームの仮現運動被利用チャンネルにおける触覚信号の出力チャンネルと出力タイミングとを表す情報として機能する。
出力制御情報は、本例ではフレームヘッダにおける仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDの情報が該当する。仮現運動利用チャンネルIDの情報は、適切なフレームにおいて有効値が格納されることで、初期フレームの仮現運動被利用チャンネルにおける触覚信号の出力チャンネルと出力タイミングとを表す情報として機能する。
図17のフローチャートを参照し、上記のような実施形態としての復号機能を実現するために実行すべき具体的な処理手順を説明する。
なお、図17に示す処理は、復号部34が触覚符号化データDcのフレームごとに実行する。
なお、図17に示す処理は、復号部34が触覚符号化データDcのフレームごとに実行する。
先ず、復号部34はステップS201で、フレームヘッダ解析処理を実行し、続くステップS202で、仮現運動を利用しているか否かを判定する。具体的には、仮現運動被利用チャンネルID、仮現運動利用チャンネルIDの少なくとも何れかに有効値が格納されているか否かを判定する。
仮現運動被利用チャンネルID、仮現運動利用チャンネルIDの少なくとも何れかに有効値が格納されているとの条件が満たされておらず、仮現運動を利用していないと判定した場合、復号部34はステップS205に進んで使用チャンネルの触覚信号を出力する処理を実行する。これにより、処理対象としているフレームがファントムセンセーション、仮現運動の何れの利用にも係らないフレームである場合や、ファントムセンセーションの利用に係るフレームである場合に対応して、使用チャンネルIDが表す使用チャンネルの触覚信号が出力される。
復号部34はステップS205の出力処理を実行したことに応じ、後述するステップS207に処理を進める。
仮現運動被利用チャンネルID、仮現運動利用チャンネルIDの少なくとも何れかに有効値が格納されているとの条件が満たされておらず、仮現運動を利用していないと判定した場合、復号部34はステップS205に進んで使用チャンネルの触覚信号を出力する処理を実行する。これにより、処理対象としているフレームがファントムセンセーション、仮現運動の何れの利用にも係らないフレームである場合や、ファントムセンセーションの利用に係るフレームである場合に対応して、使用チャンネルIDが表す使用チャンネルの触覚信号が出力される。
復号部34はステップS205の出力処理を実行したことに応じ、後述するステップS207に処理を進める。
一方、ステップS202で仮現運動を利用していると判定した場合、復号部34はステップS203に進み、仮現運動を利用する初期フレームか否かを判定する。具体的には、仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDのうち前者にのみ有効値が格納されているか否かを判定する。
仮現運動被利用チャンネルIDにのみ有効値が格納されており、仮現運動を利用する初期フレームであると判定した場合、復号部34はステップS204に進み、被利用チャンネルの触覚信号を記憶する処理を実行した後、ステップS205に進む。
なお、ステップS204の処理の実行後、ステップS205の処理が実行されることで、初期フレームにおいて被利用チャンネルの触覚信号が出力される。
仮現運動被利用チャンネルIDにのみ有効値が格納されており、仮現運動を利用する初期フレームであると判定した場合、復号部34はステップS204に進み、被利用チャンネルの触覚信号を記憶する処理を実行した後、ステップS205に進む。
なお、ステップS204の処理の実行後、ステップS205の処理が実行されることで、初期フレームにおいて被利用チャンネルの触覚信号が出力される。
また、ステップS203において、仮現運動被利用チャンネルIDにのみ有効値が格納されているとの条件が満たされず、仮現運動を利用する初期フレームではないと判定した場合、復号部34はステップS206に進む。なお、ステップS203で否定結果が得られる場合とは、すなわち仮現運動被利用チャンネルIDと仮現運動利用チャンネルIDのうち仮現運動利用チャンネルIDにのみ有効値が格納されている場合となる。
ステップS206で復号部34は、記憶された被利用チャンネルの触覚信号を利用チャンネルの信号として出力する処理を行い、ステップS207に処理を進める。
ステップS206で復号部34は、記憶された被利用チャンネルの触覚信号を利用チャンネルの信号として出力する処理を行い、ステップS207に処理を進める。
ステップS207で復号部34は、全チャンネル分の復号が完了したか否かを判定し、否定結果が得られた場合はステップS202に戻り、肯定結果が得られた場合はこの図に示す一連の処理を終える。
上記のような復号処理により、高次知覚を利用して情報量を圧縮する符号化が行われた触覚符号化データDcを適切に復号することができ、収録環境にてセンシングされた触覚情報の再現が高次知覚を利用して適切に行われるようにすることができる。
[1-6.第一実施形態の変形例]
上記では、触覚信号を触覚センサ5によりセンシングする例を挙げたが、触覚信号は、音声信号に基づき得られたものでもよい。
例えば、サンプリング周波数48kHzの音声信号にローパスフィルタ(LPF)処理を施して得たものを使用してもよい。
上記では、触覚信号を触覚センサ5によりセンシングする例を挙げたが、触覚信号は、音声信号に基づき得られたものでもよい。
例えば、サンプリング周波数48kHzの音声信号にローパスフィルタ(LPF)処理を施して得たものを使用してもよい。
図18は、触覚信号を音声信号に基づき得る場合における符号化側の構成を例示している。
図18では、音声信号が例えば5.1チャンネルサラウンドの音声信号とされた場合に対応した構成を例示している。図示のように音声信号のチャンネルごとにLPF50を用意し、これらLPF50により音声信号の低域成分(例えば2kHz以下)を抽出して各チャンネルの触覚信号を得る。符号化部24Aは、これらLPF50により得られた各チャンネルの触覚信号について、符号化部24と同様の符号化処理を行って触覚符号化データDcを得る。
図18では、音声信号が例えば5.1チャンネルサラウンドの音声信号とされた場合に対応した構成を例示している。図示のように音声信号のチャンネルごとにLPF50を用意し、これらLPF50により音声信号の低域成分(例えば2kHz以下)を抽出して各チャンネルの触覚信号を得る。符号化部24Aは、これらLPF50により得られた各チャンネルの触覚信号について、符号化部24と同様の符号化処理を行って触覚符号化データDcを得る。
例えば、5.1チャンネルや7.1チャンネル等のサラウンドコンテンツ等、音源の定位する位置が空間的に移動し得るコンテンツであれば、疑似的に指の間を移動する感覚や、疑似的に胸から腹にかけて移動する感覚等、人体の異なる部位間を移動する感覚を再現することができる。
この場合、復号装置3は、符号化部24Aで得られた触覚符号化データDcを取得し、取得した触覚符号化データDcについて復号部34が図17と同様の復号処理を行う。
<2.第二実施形態>
[2-1.触覚再現システムの概要]
続いて、第二実施形態の触覚再現システム1Bについて説明する。
第二実施形態は、高次知覚に係る感度の個人差に応じて、高次知覚の利用可否の判定基準を可変とするものである。
[2-1.触覚再現システムの概要]
続いて、第二実施形態の触覚再現システム1Bについて説明する。
第二実施形態は、高次知覚に係る感度の個人差に応じて、高次知覚の利用可否の判定基準を可変とするものである。
図19は、触覚再現システム1Bの構成例を示した図である。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
触覚再現システム1Bは、再生装置4B、復号装置3、複数の触覚提示装置6(本例においても少なくとも3以上であるとする)、及び表示装置7を備えている。
なお以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
触覚再現システム1Bは、再生装置4B、復号装置3、複数の触覚提示装置6(本例においても少なくとも3以上であるとする)、及び表示装置7を備えている。
再生装置4Bは、触覚データDhを取得可能に構成されている。触覚データDhは、デジタルデータとされた各チャンネルの触覚信号を指すものであり、本例では実施形態としての符号化、すなわち高次知覚を利用して情報量を圧縮する符号化が施される前の触覚信号とされる。
再生装置4Bは、触覚データDhについて実施形態としての符号化を行い、該符号化により得られた触覚符号化データDcを無線通信により復号装置3に送信することが可能に構成されている。
また再生装置4Bは、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスとされた表示装置7が接続されており、表示装置7に各種の情報を表示させることが可能に構成されている。
また再生装置4Bは、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスとされた表示装置7が接続されており、表示装置7に各種の情報を表示させることが可能に構成されている。
[2-2.再生装置の構成]
図20は、再生装置4Bの内部構成例を説明するための図であり、再生装置4Bの内部構成例と共に表示装置7を併せて示している。
再生装置4Bは、図3に示した再生装置4と比較して、制御部41に代えて制御部41Bが設けられた点と、符号化部24B、操作部60、及び表示制御部61が追加された点が異なる。
再生装置4Bは、メディアドライブ43経由、或いは通信部42を介した通信により触覚データDhを取得可能とされている。
図20は、再生装置4Bの内部構成例を説明するための図であり、再生装置4Bの内部構成例と共に表示装置7を併せて示している。
再生装置4Bは、図3に示した再生装置4と比較して、制御部41に代えて制御部41Bが設けられた点と、符号化部24B、操作部60、及び表示制御部61が追加された点が異なる。
再生装置4Bは、メディアドライブ43経由、或いは通信部42を介した通信により触覚データDhを取得可能とされている。
符号化部24Bは、触覚データDh、すなわち各チャンネルの触覚信号を入力し、実施形態としての符号化処理を行って触覚符号化データDcを得る。
符号化部24との差異点は、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、及び仮現運動を利用した符号化を行うか否かについて判定基準を変化させることが可能に構成された点である。
先の説明から理解されるように、実施形態では、ファントムセンセーションを利用可能であるか否かの判定は、対比するチャンネル間で、触覚信号の時間包絡波形の類似度が所定閾値以上であること、及び触覚信号の立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。また、仮現運動を利用可能であるか否かの判定としても、対比するチャンネル間で、時間包絡波形の類似度が所定閾値以上であること、及び立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。
本例の符号化部24Bは、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、仮現運動を利用した符号化を行うか否かについて判定基準として、上記のような時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値を少なくとも変更可能に構成されている。
符号化部24との差異点は、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、及び仮現運動を利用した符号化を行うか否かについて判定基準を変化させることが可能に構成された点である。
先の説明から理解されるように、実施形態では、ファントムセンセーションを利用可能であるか否かの判定は、対比するチャンネル間で、触覚信号の時間包絡波形の類似度が所定閾値以上であること、及び触覚信号の立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。また、仮現運動を利用可能であるか否かの判定としても、対比するチャンネル間で、時間包絡波形の類似度が所定閾値以上であること、及び立ち上がり時間の差が所定閾値以内であること、との条件を満たすか否かを判別することで行われる。
本例の符号化部24Bは、ファントムセンセーションを利用した符号化を行うか否かについての判定基準、仮現運動を利用した符号化を行うか否かについて判定基準として、上記のような時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値を少なくとも変更可能に構成されている。
操作部60は、再生装置4Bに設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部41Bに出力する。
制御部41Bは、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、上記ROM等に格納されたプログラムに従った処理を実行することで、再生装置4Bの全体制御を行う。
なお、制御部41Bが実行する実施形態としての処理については以下で改めて説明する。
なお、制御部41Bが実行する実施形態としての処理については以下で改めて説明する。
表示制御部61はバス46に接続され、制御部41Bからの指示に基づき表示装置7の表示制御を行う。これにより制御部41Bは、表示装置7に各種の情報を表示させることが可能とされる。
[2-3.符号化手法]
第二実施形態において、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、ファントムセンセーションや仮現運動を知覚し易いほど、それらファントムセンセーションや仮現運動を利用した符号化が行われ易くなるように変化させる。
ここでは、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、上述した時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値であるとする。以下の説明において、これらの閾値をまとめて「高次知覚適用閾値」と呼ぶことにする。
第二実施形態において、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、ファントムセンセーションや仮現運動を知覚し易いほど、それらファントムセンセーションや仮現運動を利用した符号化が行われ易くなるように変化させる。
ここでは、ファントムセンセーションや仮現運動を利用した符号化を行うか否かについての判定基準は、上述した時間包絡波形の類似度についての閾値、及び信号立ち上がり時間の差についての閾値であるとする。以下の説明において、これらの閾値をまとめて「高次知覚適用閾値」と呼ぶことにする。
高次知覚適用閾値を受触者の高次知覚に係る感度に応じて定める手法については種々考えられるが、ここでは一例として、受触者に対して試験的に触覚刺激を与え、該触覚刺激に対する受触者からの回答に応じて高次知覚に係る感度を推定し、推定した感度に応じて高次知覚適用閾値を定める手法を説明する。
図21は、第二実施形態としての符号化手法を実現するために実行すべき具体的な処理手順を示したフローチャートである。
なお、図21に示す処理は、本例では制御部41Bが実行する。
ここでは、触覚デバイスとして図6に示した指接触型の触覚デバイスが用いられる場合に対応した処理を説明するものとし、図中の「a」~「e」は、図6に示した触覚デバイスそれぞれの位置を表すものとする。
なお、図21に示す処理は、本例では制御部41Bが実行する。
ここでは、触覚デバイスとして図6に示した指接触型の触覚デバイスが用いられる場合に対応した処理を説明するものとし、図中の「a」~「e」は、図6に示した触覚デバイスそれぞれの位置を表すものとする。
先ず、制御部41BはステップS301~S303で、それぞれaとc、bとd、cとeを同時刺激時に、b、c、dに刺激をどの程度感じるかの回答情報を取得するための処理を実行する。
これらステップS301~S303の処理は、無線通信部45を介して復号装置3側に該当する位置の触覚提示装置6を同時駆動する指示を行うと共に、表示装置7に回答情報の受け付け画面を表示させて、操作部60に対する操作入力を受け付ける処理として実行する。この際、触覚提示装置6の駆動信号は一定の強さのパルス信号とする。
この場合の回答情報としては、受触者が感じたファントムセンセーションの度合いを3段階で表すスコア(1:刺激された指の間に刺激を感じない/2:感じる/3:強く感じる等)の情報であるとする。
これらステップS301~S303の処理は、無線通信部45を介して復号装置3側に該当する位置の触覚提示装置6を同時駆動する指示を行うと共に、表示装置7に回答情報の受け付け画面を表示させて、操作部60に対する操作入力を受け付ける処理として実行する。この際、触覚提示装置6の駆動信号は一定の強さのパルス信号とする。
この場合の回答情報としては、受触者が感じたファントムセンセーションの度合いを3段階で表すスコア(1:刺激された指の間に刺激を感じない/2:感じる/3:強く感じる等)の情報であるとする。
ステップS303に続くステップS304で制御部41Bは、a~eを順次刺激時に移動感をどの程度感じるかの回答情報を得るための処理を実行する。
この処理は、無線通信部45を介して復号装置3側に該当する位置の触覚提示装置6を順次駆動させる指示を行うと共に、表示装置7に回答情報の受け付け画面を表示させて、操作部60に対する操作入力を受け付ける処理として実行する。
この場合の回答情報としては、受触者が感じた仮現運動の度合いを3段階で表すスコア(1:移動感を感じない/2:感じる/3:強く感じる等)の情報であるとする。
この処理は、無線通信部45を介して復号装置3側に該当する位置の触覚提示装置6を順次駆動させる指示を行うと共に、表示装置7に回答情報の受け付け画面を表示させて、操作部60に対する操作入力を受け付ける処理として実行する。
この場合の回答情報としては、受触者が感じた仮現運動の度合いを3段階で表すスコア(1:移動感を感じない/2:感じる/3:強く感じる等)の情報であるとする。
ステップS304に続くステップS305で制御部41Bは、ステップS301~S304で回答情報として得られたスコアの平均を算出し、ステップS306でスコア平均値と高次知覚適用閾値直線に基づいた高次知覚適用閾値を求める処理を行う。
図22は、高次知覚適用閾値直線の例を示している。
図22では、高次知覚適用閾値が、前述した時間包絡波形の類似度についての閾値である場合に対応した高次知覚適用閾値直線を例示している。
図示のようにこの場合の高次知覚適用閾値直線は、スコア平均値が高くなるほど高次知覚適用閾値が小さくなるようにしている。すなわち、高次知覚に係る感度が高いほど、時間包絡波形の類似度についての閾値が低くなる設計とされており、高次知覚に係る感度が高いほど、高次知覚を利用した情報圧縮が行い易くなる。図中に例示した高次知覚適用閾値直線によると、スコア平均値が2.33のときに高次知覚適用閾値として0.48が求まる。
なお、高次知覚適用閾値が信号立ち上がり時間の差についての閾値である場合、高次知覚適用閾値直線は、逆にスコア平均値が高くなるほど高次知覚適用閾値が小さくなる設計とすればよい。
図22では、高次知覚適用閾値が、前述した時間包絡波形の類似度についての閾値である場合に対応した高次知覚適用閾値直線を例示している。
図示のようにこの場合の高次知覚適用閾値直線は、スコア平均値が高くなるほど高次知覚適用閾値が小さくなるようにしている。すなわち、高次知覚に係る感度が高いほど、時間包絡波形の類似度についての閾値が低くなる設計とされており、高次知覚に係る感度が高いほど、高次知覚を利用した情報圧縮が行い易くなる。図中に例示した高次知覚適用閾値直線によると、スコア平均値が2.33のときに高次知覚適用閾値として0.48が求まる。
なお、高次知覚適用閾値が信号立ち上がり時間の差についての閾値である場合、高次知覚適用閾値直線は、逆にスコア平均値が高くなるほど高次知覚適用閾値が小さくなる設計とすればよい。
上記処理を行うことで、受触者の高次知覚に係る感度に応じて、触覚信号のデータ量を効率的に削減することが可能となる。
なお、上記ではファントムセンセーションと仮現運動とで共通の高次知覚適用閾値を設定する例を挙げたが、高次知覚適用閾値はファントムセンセーションと仮現運動とで別々の閾値とすることもできる。
ここで、受触者となるユーザには、触覚信号の質を落としてでも伝送途切れを防ぎたいユーザや、逆に伝送途切れが多少起きてでも触覚信号の質にこだわるようなユーザ等、嗜好が異なるユーザの存在が想定され、それらのユーザに対して、高次知覚適用閾値を自身で調整することができるようにする仕組みを提供することも考えられる。
図23は、高次知覚適用閾値を調整するためのGUI(Graphical User Interface)の例を示した図であり、具体的には、高次知覚適用閾値の調整のために表示装置7の表示画面7a上に表示される画像の例を示している。
先の図21では、高次知覚適用閾値という表現を用いたが、図23では対象とする各指の組合わせごとに、高次知覚を利用した符号化の適用され易さを表す指標を「適用閾値」と表している。つまり、図21ではユーザの高次知覚に係る感度を事前調査して閾値を定めていたのを、図23ではユーザ自らが好みに応じて適用閾値を定めることができるようになっている。図23の例では、ファントムセンセーション、仮現運動それぞれについて適用閾値を調整可能なGUIとされている。
ユーザは、適用閾値を低く設定することで、高次知覚を利用した情報圧縮がより頻繁に行われるようにし、伝送途切れ防止や省電力化が図られるようにすることができる。逆に、適用閾値を高く設定することで、高次知覚を利用した情報圧縮が殆ど行われないようにし、できるだけ触覚再現の精度を低下させないようにすることができる。
先の図21では、高次知覚適用閾値という表現を用いたが、図23では対象とする各指の組合わせごとに、高次知覚を利用した符号化の適用され易さを表す指標を「適用閾値」と表している。つまり、図21ではユーザの高次知覚に係る感度を事前調査して閾値を定めていたのを、図23ではユーザ自らが好みに応じて適用閾値を定めることができるようになっている。図23の例では、ファントムセンセーション、仮現運動それぞれについて適用閾値を調整可能なGUIとされている。
ユーザは、適用閾値を低く設定することで、高次知覚を利用した情報圧縮がより頻繁に行われるようにし、伝送途切れ防止や省電力化が図られるようにすることができる。逆に、適用閾値を高く設定することで、高次知覚を利用した情報圧縮が殆ど行われないようにし、できるだけ触覚再現の精度を低下させないようにすることができる。
また、図23のGUIでは、ファントムセンセーションの適用閾値について、a-c間、b-d間、c-e間の各指の組合わせごとに適用閾値を調整可能としているが、これにより、例えば人差し指の感覚は鋭いが他の指の感覚はそれほどでもないと自覚しているユーザは、a-c間のファントムセンセーション適用閾値を高めに設定して他の適用閾値を低めに設定することで、鋭敏な人差し指の触覚情報が損なわれないようにしつつ、他の指の情報を圧縮してデータ量の削減を図ることができる。
<3.実施形態のまとめ>
上記のように実施形態としての復号装置(同3)は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部(復号処理部F2、復号部34)を備えるものである。
上記のように実施形態としての復号装置(同3)は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部(復号処理部F2、復号部34)を備えるものである。
これにより、触覚信号について、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
また、高次知覚を利用すれば、本来は触覚信号を出力すべきチャンネル(部位)について、触覚信号の出力を不要とすることが可能となるため、触覚提示装置の駆動回数削減が図られ、触覚提示装置の省電力化や耐久性向上を図ることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
また、高次知覚を利用すれば、本来は触覚信号を出力すべきチャンネル(部位)について、触覚信号の出力を不要とすることが可能となるため、触覚提示装置の駆動回数削減が図られ、触覚提示装置の省電力化や耐久性向上を図ることができる。
また、実施形態としての復号装置においては、復号部は、ファントムセンセーションを利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。
これにより、人体の3以上の部位に類似した触覚刺激を同時に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
さらに、実施形態としての復号装置においては、触覚符号化データには、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、復号部は、使用チャンネル指示情報が示すチャンネルの触覚信号を出力している。
これにより、ファントムセンセーションを利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析してファントムセンセーションの利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる使用チャンネル指示情報に従って触覚信号を出力するという簡易な処理を行えば済む。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
さらにまた、実施形態としての復号装置においては、復号部は、仮現運動を利用して情報量を圧縮する符号化が行われた触覚符号化データを復号している。
これにより、人体の異なる部位に類似した触覚刺激を順次に与えるべき場合に対応して、人間の触覚特性に応じたデータ量削減を行うことが可能とされる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
従って、触覚の再現性を担保しつつ触覚信号のデータ量削減を図ることができ、触覚再現システムの効率化を図ることができる。
また、実施形態としての復号装置においては、触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、復号部は、利用有無情報に基づいて触覚符号化データを復号している。
これにより、仮現運動を利用したデータ量削減を実現するにあたり、復号装置では、触覚信号を解析して仮現運動の利用有無を判定する等の処理を行う必要はなく、触覚符号化データに含まれる利用有無情報に従って触覚信号を出力するという簡易な処理を行えば済む。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
従って、触覚再現システムの効率化を図る上で、復号装置の処理負担の軽減、及び構成の簡略化によるコスト削減を図ることができる。
さらに、実施形態としての復号装置においては、触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、復号部は、出力制御情報に従って単一のチャンネルの触覚信号を出力している。
これにより、仮現運動を利用した触覚再現を実現するにあたり、触覚符号化データに触覚刺激を与えるべき各チャンネルの触覚信号を含ませる必要はなく、単一のチャンネルの触覚信号を含ませれば済む。
従って、触覚信号のデータ量のさらなる削減を図ることができ、触覚再現システムのさらなる効率化を図ることができる。
従って、触覚信号のデータ量のさらなる削減を図ることができ、触覚再現システムのさらなる効率化を図ることができる。
さらにまた、実施形態としての復号装置においては、単一のチャンネルは、利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされている。
これにより、仮現運動に係る順次の触覚刺激のうち最早の触覚刺激を与えるにあたり、2番目以降の触覚刺激を表す触覚信号が取得できるまで待機する必要がなくなる。
従って、単一チャンネルの触覚信号のみを用いて仮現運動を利用した触覚再現を実現するにあたり、徒に遅延が発生することの防止を図ることができる。
従って、単一チャンネルの触覚信号のみを用いて仮現運動を利用した触覚再現を実現するにあたり、徒に遅延が発生することの防止を図ることができる。
また、実施形態としての復号装置においては、復号部は、時間方向における処理単位を表すブロックのサイズが可変とされた触覚符号化データを復号している。
これにより、時間信号としての触覚信号について、特定の波形部分とそうでない部分とを異なるブロックのデータとして扱うことが可能とされる。
従って、上述したファントムセンセーションや仮現運動の利用時のように触覚信号中の特定の波形部分のみを対象としたいときに、復号装置において、触覚信号中から信号解析により該波形部分を抽出する処理を行う必要がなくなり、高次知覚を利用して符号化された触覚信号の復号に係る処理負担の軽減を図ることができる。
従って、上述したファントムセンセーションや仮現運動の利用時のように触覚信号中の特定の波形部分のみを対象としたいときに、復号装置において、触覚信号中から信号解析により該波形部分を抽出する処理を行う必要がなくなり、高次知覚を利用して符号化された触覚信号の復号に係る処理負担の軽減を図ることができる。
さらに、実施形態としての復号装置においては、触覚信号は触覚センサの検出信号に基づく信号とされている。
これにより、実際にセンシングした触覚情報に基づいて触覚再現を行うことが可能とされる。
従って、触覚の再現性を高めることができる。
従って、触覚の再現性を高めることができる。
さらにまた、実施形態としての復号装置においては、触覚信号は音声信号に基づく信号とされている。
これにより、音声情報との関連性が高い触覚情報を再現することが可能とされる。
従って、例えば音源が定位する位置の変化に応じて触覚刺激を与える部位を変化させる等、音声情報の変化に連動した興趣の高い触覚再現を実現することができる。
従って、例えば音源が定位する位置の変化に応じて触覚刺激を与える部位を変化させる等、音声情報の変化に連動した興趣の高い触覚再現を実現することができる。
また、実施形態としての復号方法は、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号方法である。
このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。
ここで、これまでで説明した符号化部(24、24A、24B)や復号部(34)による機能は、CPU等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、CPU等のコンピュータ装置(情報処理装置)が読み出し可能な記憶装置に記憶される。
実施形態としてのプログラムは、触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させるプログラムである。
このようなプログラムによって、上記した実施形態としての復号装置を実現することができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<4.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
復号装置。
(2)
前記復号部は、
ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記(1)に記載の復号装置。
(3)
前記触覚符号化データには、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
前記復号部は、
前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
前記(2)に記載の復号装置。
(4)
前記復号部は、
仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記(1)乃至(3)の何れかに記載の復号装置。
(5)
前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
前記復号部は、
前記利用有無情報に基づいて前記触覚符号化データを復号する
前記(4)に記載の復号装置。
(6)
前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
前記復号部は、
前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
前記(5)に記載の復号装置。
(7)
前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
前記(6)に記載の復号装置。
(8)
前記復号部は、
時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
前記(1)乃至(7)の何れかに記載の復号装置。
(9)
前記触覚信号は触覚センサの検出信号に基づく信号とされた
前記(1)乃至(8)の何れかに記載の復号装置。
(10)
前記触覚信号は音声信号に基づく信号とされた
前記(1)乃至(8)の何れかに記載の復号装置。
なお本技術は以下のような構成も採ることができる。
(1)
触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
復号装置。
(2)
前記復号部は、
ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記(1)に記載の復号装置。
(3)
前記触覚符号化データには、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
前記復号部は、
前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
前記(2)に記載の復号装置。
(4)
前記復号部は、
仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
前記(1)乃至(3)の何れかに記載の復号装置。
(5)
前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
前記復号部は、
前記利用有無情報に基づいて前記触覚符号化データを復号する
前記(4)に記載の復号装置。
(6)
前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
前記復号部は、
前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
前記(5)に記載の復号装置。
(7)
前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
前記(6)に記載の復号装置。
(8)
前記復号部は、
時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
前記(1)乃至(7)の何れかに記載の復号装置。
(9)
前記触覚信号は触覚センサの検出信号に基づく信号とされた
前記(1)乃至(8)の何れかに記載の復号装置。
(10)
前記触覚信号は音声信号に基づく信号とされた
前記(1)乃至(8)の何れかに記載の復号装置。
1、1B 触覚再現システム、2 符号化装置、3 復号装置、4、4B 再生装置、5 触覚センサ、6 触覚提示装置、7 表示装置、7a 表示画面、Dc 符号化データ、24、24A、24B 符号化部、34 復号部、36 無線通信部、F1 取得処理部、F2 復号処理部、50 LPF(ローパスフィルタ)Dh 触覚データ、60 操作部
Claims (12)
- 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する復号部を備える
復号装置。 - 前記復号部は、
ファントムセンセーションを利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
請求項1に記載の復号装置。 - 前記触覚符号化データには、3以上の触覚信号のチャンネルのうち使用チャンネルを指示するための使用チャンネル指示情報が含まれ、
前記復号部は、
前記使用チャンネル指示情報が示すチャンネルの触覚信号を出力する
請求項2に記載の復号装置。 - 前記復号部は、
仮現運動を利用して情報量を圧縮する符号化が行われた前記触覚符号化データを復号する
請求項1に記載の復号装置。 - 前記触覚符号化データには、仮現運動の利用有無を示す利用有無情報が含まれ、
前記復号部は、
前記利用有無情報に基づいて前記触覚符号化データを復号する
請求項4に記載の復号装置。 - 前記触覚符号化データには、仮現運動を利用可能な触覚信号のチャンネルである利用可能チャンネルのうち単一のチャンネルのみの触覚信号と、該触覚信号の出力チャンネルと出力タイミングとを表す出力制御情報とが含まれ、
前記復号部は、
前記出力制御情報に従って前記単一のチャンネルの触覚信号を出力する
請求項5に記載の復号装置。 - 前記単一のチャンネルは、前記利用可能チャンネルのうち信号の立ち上がりタイミングが最早のチャンネルとされた
請求項6に記載の復号装置。 - 前記復号部は、
時間方向における処理単位を表すブロックのサイズが可変とされた前記触覚符号化データを復号する
請求項1に記載の復号装置。 - 前記触覚信号は触覚センサの検出信号に基づく信号とされた
請求項1に記載の復号装置。 - 前記触覚信号は音声信号に基づく信号とされた
請求項1に記載の復号装置。 - 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する
復号方法。 - 触覚信号に対し触覚における高次知覚を利用して情報量を圧縮する符号化を行って得られる触覚符号化データを復号する機能を情報処理装置に実現させる
プログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122962 | 2018-06-28 | ||
JP2018122962 | 2018-06-28 | ||
JP2020527237A JPWO2020003727A1 (ja) | 2018-06-28 | 2019-04-25 | 復号装置、復号方法、プログラム |
PCT/JP2019/017709 WO2020003727A1 (ja) | 2018-06-28 | 2019-04-25 | 復号装置、復号方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527237A Division JPWO2020003727A1 (ja) | 2018-06-28 | 2019-04-25 | 復号装置、復号方法、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023116488A true JP2023116488A (ja) | 2023-08-22 |
Family
ID=68986331
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527237A Pending JPWO2020003727A1 (ja) | 2018-06-28 | 2019-04-25 | 復号装置、復号方法、プログラム |
JP2023084097A Pending JP2023116488A (ja) | 2018-06-28 | 2023-05-22 | 復号装置、復号方法、プログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527237A Pending JPWO2020003727A1 (ja) | 2018-06-28 | 2019-04-25 | 復号装置、復号方法、プログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US20210266010A1 (ja) |
JP (2) | JPWO2020003727A1 (ja) |
DE (1) | DE112019003217T5 (ja) |
WO (1) | WO2020003727A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112313603B (zh) | 2018-06-28 | 2024-05-17 | 索尼公司 | 编码装置、编码方法、解码装置、解码方法和程序 |
WO2020008716A1 (ja) | 2018-07-03 | 2020-01-09 | ソニー株式会社 | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム |
WO2020031483A1 (ja) * | 2018-08-08 | 2020-02-13 | ソニー株式会社 | 復号装置、復号方法、プログラム |
JPWO2021176842A1 (ja) * | 2020-03-04 | 2021-09-10 | ||
JPWO2021220339A1 (ja) * | 2020-04-27 | 2021-11-04 | ||
FR3127829B1 (fr) * | 2021-10-01 | 2023-10-20 | Actronika | Procédé de pilotage d'une pluralité d'actionneurs haptiques |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6930590B2 (en) * | 2002-06-10 | 2005-08-16 | Ownway Biotronics, Inc. | Modular electrotactile system and method |
JP2013091114A (ja) * | 2011-10-05 | 2013-05-16 | Kyokko Denki Kk | インタラクション操作システム |
US10599218B2 (en) * | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
JP2015121918A (ja) * | 2013-12-24 | 2015-07-02 | 株式会社ニコン | 振動装置及び電子機器 |
EP3100244B1 (en) * | 2014-01-29 | 2020-08-05 | The Guitammer Company | Haptic-tactile, motion or movement signal conversion system and assembly |
US9454915B2 (en) * | 2014-08-20 | 2016-09-27 | Thieab Ibrahim Aldossary | Electro tactile communication apparatus, method, and computer program product |
JP6971553B2 (ja) * | 2016-06-10 | 2021-11-24 | 任天堂株式会社 | ゲームコントローラ |
JP2018060313A (ja) * | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
JP6943807B2 (ja) * | 2018-04-17 | 2021-10-06 | 株式会社東海理化電機製作所 | 触覚情報呈示装置 |
-
2019
- 2019-04-25 WO PCT/JP2019/017709 patent/WO2020003727A1/ja active Application Filing
- 2019-04-25 JP JP2020527237A patent/JPWO2020003727A1/ja active Pending
- 2019-04-25 DE DE112019003217.8T patent/DE112019003217T5/de active Pending
- 2019-04-25 US US17/254,792 patent/US20210266010A1/en active Granted
-
2023
- 2023-05-22 JP JP2023084097A patent/JP2023116488A/ja active Pending
- 2023-10-05 US US18/481,416 patent/US20240030936A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2020003727A1 (ja) | 2021-08-02 |
CN112313604A (zh) | 2021-02-02 |
US20210266010A1 (en) | 2021-08-26 |
US20240030936A1 (en) | 2024-01-25 |
WO2020003727A1 (ja) | 2020-01-02 |
DE112019003217T5 (de) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023116488A (ja) | 復号装置、復号方法、プログラム | |
US20230419795A1 (en) | Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program | |
Prakash et al. | EarSense: earphones as a teeth activity sensor | |
JP2017509181A (ja) | ジェスチャ相互作用式の装着可能な空間オーディオシステム | |
WO2021176842A1 (ja) | 復号装置、復号方法、プログラム、符号化装置、符号化方法 | |
US11496152B2 (en) | Decoding device, decoding method, and program | |
TW201820315A (zh) | 改良型音訊耳機裝置及其聲音播放方法、電腦程式 | |
US11482086B2 (en) | Drive control device, drive control method, and program | |
US11967976B2 (en) | Coding device, coding method, decoding device, decoding method, and program | |
JP7272360B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法、プログラム | |
CN112313604B (zh) | 解码设备、解码方法和程序 | |
WO2020158596A1 (ja) | 復号装置、復号方法、及びプログラム | |
WO2020031527A1 (ja) | 信号生成装置、信号生成方法、プログラム、再生装置 | |
US11594113B2 (en) | Decoding device, decoding method, and program | |
CN108028055A (zh) | 信息处理装置、信息处理***和程序 | |
WO2021220659A1 (ja) | 復号装置、復号方法、プログラム、符号化装置、符号化方法 | |
WO2024018922A1 (ja) | 信号処理装置、信号処理方法、プログラム | |
US20240017166A1 (en) | Systems and methods for generating real-time directional haptic output | |
JP2021170148A (ja) | 情報処理装置、情報処理方法、および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |