JP7272360B2 - 符号化装置、符号化方法、復号装置、復号方法、プログラム - Google Patents
符号化装置、符号化方法、復号装置、復号方法、プログラム Download PDFInfo
- Publication number
- JP7272360B2 JP7272360B2 JP2020527238A JP2020527238A JP7272360B2 JP 7272360 B2 JP7272360 B2 JP 7272360B2 JP 2020527238 A JP2020527238 A JP 2020527238A JP 2020527238 A JP2020527238 A JP 2020527238A JP 7272360 B2 JP7272360 B2 JP 7272360B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- physical quantity
- tactile
- encoding
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Description
本技術は、振動信号等の触覚信号を符号化する符号化装置とその方法、及び触覚信号を符号化して得られる符号化データについての復号を行う復号装置とその方法、及びプログラムに関する。
近年、人間の皮膚に接触させた触覚提示デバイスにより触覚刺激を与えるアプリケーションが様々な場面で利用されている。ここで、「触覚提示」とは、触覚刺激を発生させることを意味する。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
例えば、スマートフォン等のタッチパネル搭載モバイル端末においては、パネルのタッチ操作時にパネル(又は筐体)を振動させて指に触覚刺激を与えることで、ボタンのタッチ感を疑似的に作り出すことが行われている。
音楽リスニングにおいては、ヘッドフォン筐体に触覚提示デバイスを組み込み、音楽再生と並行して触覚刺激も与えることで、重低音を強調しているものもある。
コンピュータゲームやVR(仮想現実)の分野では、ユーザの操作に応じてコントローラ内に設置した触覚提示デバイスによってシーンに合わせてインタラクティブに触覚刺激を与えることで、ユーザの没入感を高めるものがある。
アミューズメント施設においては、映画館やテーマパーク等で場面に応じて座席内に設置した触覚提示デバイスによって触覚刺激を与えることで、来場者の臨場感を向上させているものがある。
また、研究開発段階のものにおいては、ロボット等を遠隔操作する際に、ロボット又は操作される対象物が受けた振動を操作者の手元のコントローラにフィードバックすることで、ロボット又は対象物周辺の状況を直感的に察知させて危険予測に役立てるものもある(例:災害対応ロボット<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
さらに、医療の分野では、手術ロボットの操作時に、内視鏡の鉗子が臓器に触れた感触(硬さ)を操作者にフィードバックすることで、手術精度を向上させることが研究されている(例:手術支援ロボット ダヴィンチ<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/404460/?P=2>)
なお、関連する従来技術については下記特許文献1や特許文献2を挙げることができる。
ここで、人間に触覚刺激を与えるための触覚提示デバイス(触覚提示装置)は多種多様であり、それらを駆動するための電気信号が表すべき物理量も加速度、変位、角速度等多岐にわたる。触覚情報を再現するシステムとしては、このように対応する物理量が異なる異種の触覚提示装置が混在して用いられるシステムも想定され、その場合、触覚信号としては何れの触覚提示装置でも使用可能となるように多種類の物理量を表す信号を用意しておく必要がある。
しかしながら、全ての物理量を記録・伝送すれば膨大な情報量となりシステム負荷の増大に繋がる。
本技術は上記の事情に鑑み為されたものであり、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることを目的とする。
本技術に係る符号化装置は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備えるものである。
これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
上記した本技術に係る符号化装置においては、前記符号化部は、前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませることが望ましい。
これにより、復号側では、特定信号を物理量換算した信号を誤差情報に基づき補正することで、特定信号の物理量(特定物理量)以外の物理量を表す触覚信号を正確に得ることが可能とされる。このため、符号化データには、特定物理量以外の物理量を表す触覚信号そのものを含ませる必要がなくなる。
上記した本技術に係る符号化装置においては、前記符号化部は、前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませることが望ましい。
これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
上記した本技術に係る符号化装置においては、前記符号化部は、前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませることが望ましい。
これにより、復号側で特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
上記した本技術に係る符号化装置においては、前記符号化部は、前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行うことが望ましい。
これにより、復号側では、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
また、本技術に係る符号化方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化方法である。
このような符号化方法によっても、上記した本技術に係る符号化装置と同様の作用が得られる。
さらに、本技術に係る第一のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させるプログラムである。
このような本技術に係る第一のプログラムにより、上記した本技術に係る符号化装置が実現される。
本技術に係る復号装置は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備えるものである。
これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
上記した本技術に係る復号装置においては、前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、前記復号部は、前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正することが望ましい。
これにより、特定信号の物理量(「特定物理量」と表記)以外の物理量を表す触覚信号については、符号化データに信号そのものを含ませる必要がなくなる。このとき、特定信号を物理量換算した信号が誤差情報に基づき補正されることで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。
上記した本技術に係る復号装置においては、前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされたことが望ましい。
これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
上記した本技術に係る復号装置においては、前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、前記復号部は、前記識別情報に基づき前記復号を行うことが望ましい。
これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
上記した本技術に係る復号装置においては、前記復号部は、前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力することが望ましい。
これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致する場合に対応して、触覚提示装置を特定信号に基づき適切に駆動することが可能とされる。
上記した本技術に係る復号装置においては、前記復号部は、前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力することが望ましい。
これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致しない場合に対応して、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置を適切に駆動することが可能とされる。
上記した本技術に係る復号装置においては、前記復号部は、微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号することが望ましい。
これにより、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
上記した本技術に係る復号装置においては、前記復号部は、前記復号により得た触覚信号の振幅調整を行うことが望ましい。
これにより、触覚信号に基づき駆動される触覚提示装置の種類に応じて触覚信号の振幅の大きさを適切に調整することが可能とされる。
また、本技術に係る復号方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号方法である。
このような復号方法によっても、上記した本技術に係る復号装置と同様の作用が得られる。
さらに、本技術に係る第二のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させるプログラムである。
このような本技術に係る第二のプログラムにより、上記した本技術に係る復号装置が実現される。
本技術によれば、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
<1.触覚再現システムの概要>
<2.符号化装置の構成>
<3.復号装置の構成>
<4.実施形態としての触覚再現手法>
[4-1.第一例]
[4-2.第二例]
[4-3.符号化フォーマットの例]
[4-4.復号側の機能構成]
[4-5.復号側の処理手順]
<5.変形例>
<6.実施形態のまとめ>
<7.本技術>
<1.触覚再現システムの概要>
<2.符号化装置の構成>
<3.復号装置の構成>
<4.実施形態としての触覚再現手法>
[4-1.第一例]
[4-2.第二例]
[4-3.符号化フォーマットの例]
[4-4.復号側の機能構成]
[4-5.復号側の処理手順]
<5.変形例>
<6.実施形態のまとめ>
<7.本技術>
ここで、本明細書においては以下のように各用語を定義する。
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
符号化データ:信号を符号化したデータ。下位概念としてストリーム、フレームがある。
触覚刺激:例えば振動現象等、触覚を人に知覚させるための物理的現象。
触覚提示:触覚刺激を発生させること。
触覚情報:例えば振動情報等、触覚により知覚される情報。
触覚信号:例えば振動波形を表す信号等、触覚刺激のパターンを表す信号。
受触者:触覚提示を受ける人。
符号化データ:信号を符号化したデータ。下位概念としてストリーム、フレームがある。
<1.触覚再現システムの概要>
図1は、本技術に係る実施形態としての復号装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた符号化データDcを収録する収録環境と、符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
図1は、本技術に係る実施形態としての復号装置(再生装置3)を含んで構成される触覚再現システム1の構成例を示している。
先ず、本実施形態において、触覚再現を実現するための環境としては、対象とする触覚情報(触覚刺激)をセンシングして得られる触覚信号を符号化し、該符号化により得られた符号化データDcを収録する収録環境と、符号化データDcを復号して得られる触覚信号に基づいて触覚情報を再現する再現環境とに分けられる。
図示のように触覚再現システム1は、収録環境において、第一触覚センサ5-1及び第二触覚センサ5-2と、これら第一触覚センサ5-1及び第二触覚センサ5-2が接続された符号化装置2とを備えると共に、再現環境において、符号化データDcを取得可能に構成された再生装置3と、再生装置3に接続された触覚提示装置6とを備えている。
第一触覚センサ5-1、第二触覚センサ5-2は、触覚刺激のセンシングを行うセンサであり、本例では、ピエゾピックアップや加速度センサ等の振動センサが用いられる。これら第一触覚センサ5-1、第二触覚センサ5-2は、本例ではセンシングの対象物に接触させて用いられ、振動や運動を電圧変化として出力する。
なお、本例では、第一触覚センサ5-1、第二触覚センサ5-2はそれぞれが異なる物理量を表す検出信号を出力するが、これについては後述する。
また、第一触覚センサ5-1、第二触覚センサ5-2としては、対象物と非接触にセンシングを行うセンサを用いることもできる。
なお、本例では、第一触覚センサ5-1、第二触覚センサ5-2はそれぞれが異なる物理量を表す検出信号を出力するが、これについては後述する。
また、第一触覚センサ5-1、第二触覚センサ5-2としては、対象物と非接触にセンシングを行うセンサを用いることもできる。
符号化装置2は、例えばCPU(Central Processing Unit)やDSP(Digital Signal Processor)等のコンピュータ装置を備えて構成され、第一触覚センサ5-1、第二触覚センサ5-2による検出信号(触覚信号)を入力し、所定のデータフォーマットに従った符号化を行って得られる符号化データDcを例えば内部に設けられた記憶デバイスに収録する。
再生装置3は、CPUやDSP等のコンピュータ装置を備えて構成され、取得した符号化データDcを復号し、該復号により得た触覚信号に基づいて触覚提示装置6を駆動する。例えば、収録環境において収録された符号化データDcは、インターネット等の所要のネットワークを介して再生装置3に取得させる。或いは、符号化データDcは可搬型の記録媒体に収録し、該記録媒体を介して再生装置3に符号化データDcを取得させることもできる。
触覚提示装置6は、触覚刺激を発生させるデバイスとされ、本例ではバイブレータやアクチュエータ等の振動デバイスが用いられる。
触覚提示装置6は、本例では受触者の人体における所定の部位に装着され、収録環境においてセンシングされた触覚刺激を再現するようにされる。
なお、触覚提示装置6としては、受触者に非装着の状態で触覚提示を行うものを用いることもできる。
触覚提示装置6は、本例では受触者の人体における所定の部位に装着され、収録環境においてセンシングされた触覚刺激を再現するようにされる。
なお、触覚提示装置6としては、受触者に非装着の状態で触覚提示を行うものを用いることもできる。
図1に示す触覚再現システム1は、収録環境と再現環境とが遠隔に位置された場合にも対応可能なシステムとして構成されている。
なお、図1では触覚提示装置6が再生装置3と別体に設けられる例を示しているが、触覚提示装置6は再生装置3と一体に構成することもできる。具体的には、例えばスマートフォン等の携帯型端末に振動デバイスが内蔵された構成等を挙げることができる。
<2.符号化装置の構成>
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した第一触覚センサ5-1、第二触覚センサ5-2を併せて示している。
図示のように符号化装置2は、第一触覚センサ5-1、第二触覚センサ5-2ごとに増幅器21及びA/Dコンバータ22を備えると共に、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバス28を備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
図2は、符号化装置2の内部構成例を説明するための図である。なお図2では符号化装置2の内部構成例と共に図1に示した第一触覚センサ5-1、第二触覚センサ5-2を併せて示している。
図示のように符号化装置2は、第一触覚センサ5-1、第二触覚センサ5-2ごとに増幅器21及びA/Dコンバータ22を備えると共に、前処理部23、符号化部24、制御部25、記憶部26、通信部27、及びバス28を備えている。前処理部23、符号化部24、制御部25、記憶部26、及び通信部27はバス28を介して接続され、互いにデータ通信可能とされている。
第一触覚センサ5-1、第二触覚センサ5-2の検出信号はそれぞれ対応する増幅器21に入力されて適切なダイナミックレンジに調整された後、対応するA/Dコンバータ22に入力されてA/D変換(アナログ/デジタル変換)される。
A/D変換された各検出信号(つまり触覚刺激のパターンを表す触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や第一触覚センサ5-1、第二触覚センサ5-2のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された各触覚信号は符号化部24に入力される。
A/D変換された各検出信号(つまり触覚刺激のパターンを表す触覚信号)は、前処理部23に入力される。前処理部23においては、ノイズ除去や第一触覚センサ5-1、第二触覚センサ5-2のセンサ特性の校正などの各種デジタル信号処理が行われる。
前処理部23による信号処理を施された各触覚信号は符号化部24に入力される。
符号化部24は、例えばDSPで構成され、入力された触覚信号を所定のデータフォーマットに従って符号化し、上述した符号化データDcを得る。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
なお、本実施形態としての触覚信号の符号化については改めて説明する。
制御部25は、例えばCPU、ROM(Read Only Memory)、RAM(Random Access Memory)等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで符号化装置2の全体制御を行う。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24で得られた符号化データDcを通信部27を介して外部装置に送信させることが可能とされる。
例えば、制御部25は、通信部27を介して外部装置との間でのデータ通信を行う。
通信部27は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されており、制御部25は、該通信部27を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、符号化部24で得られた符号化データDcを通信部27を介して外部装置に送信させることが可能とされる。
記憶部26は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶デバイスを包括的に表したものであり、符号化装置2において各種のデータ記憶に用いられる。例えば記憶部26には、制御部25による制御に必要なデータが記憶される。また、制御部25の制御に基づき、符号化部24で得られた符号化データDcを記憶部26に記憶させることもできる。
<3.復号装置の構成>
図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。再生装置3は、本技術に係る復号装置の一実施形態である。
図示のように再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、及び復号部34を備えると共に、制御部35、通信部36、メディアドライブ37、記憶部38、及びバス39を備えている。後処理部33、復号部34、制御部35、通信部36、メディアドライブ37、及び記憶部38はバス39を介して接続され、互いにデータ通信可能とされている。
図3は、再生装置3の内部構成例を説明するための図であり、再生装置3の内部構成例と共に図1に示した触覚提示装置6を併せて示している。再生装置3は、本技術に係る復号装置の一実施形態である。
図示のように再生装置3は、増幅器31、D/Aコンバータ32、後処理部33、及び復号部34を備えると共に、制御部35、通信部36、メディアドライブ37、記憶部38、及びバス39を備えている。後処理部33、復号部34、制御部35、通信部36、メディアドライブ37、及び記憶部38はバス39を介して接続され、互いにデータ通信可能とされている。
制御部35は、例えばCPU、ROM、RAM等を有するマイクロコンピュータを備えて構成され、ROMに記憶されたプログラムに従った処理を実行することで再生装置3の全体制御を行う。
通信部36は、インターネット等のネットワークを介した外部装置との間でのデータ通信を行うことが可能に構成されている。制御部35は、通信部36を介して、ネットワークに接続された外部装置との間でデータ通信を行うことが可能とされている。特に、ネットワーク上のサーバ装置等の外部装置より、符号化データDcを通信部36によって受信させることが可能とされる。
メディアドライブ37は、可搬型の記録媒体を着脱可能に構成され、装着された記録媒体に対するデータの書き込み及び読み出しが可能とされたリーダ/ライタ部として構成されている。メディアドライブ37が対応する記録媒体としては、例えば、メモリカード(例えば可搬型のフラッシュメモリ)や光ディスク記録媒体等を挙げることができる。
このメディアドライブ37により、可搬型の記録媒体に記録された符号化データDcの読み出しが可能とされる。
このメディアドライブ37により、可搬型の記録媒体に記録された符号化データDcの読み出しが可能とされる。
記憶部38は、例えばHDDやSSD等の記憶デバイスを包括的に表したものであり、再生装置3において各種のデータ記憶に用いられる。例えば記憶部38には、制御部35による制御に必要なデータが記憶される。また、制御部35の制御に基づき、メディアドライブ37により読み出された符号化データDcや、通信部36により外部装置から受信した符号化データDcを記憶部38に記憶させることもできる。
操作部39は、再生装置3に設けられた各種の操作子を包括的に表したものであり、操作入力に応じた操作入力情報を制御部35に出力する。
制御部35は、操作入力情報に応じた処理を実行する。これにより、再生装置3において操作入力に応じた動作が実現される。
制御部35は、操作入力情報に応じた処理を実行する。これにより、再生装置3において操作入力に応じた動作が実現される。
復号部34には、制御部35の制御に基づき符号化データDcが入力される。
復号部34は、入力した符号化データDcについて、後述する手法で復号を行い、触覚信号を得る。復号部34で得られた触覚信号は後処理部33に入力される。
復号部34は、入力した符号化データDcについて、後述する手法で復号を行い、触覚信号を得る。復号部34で得られた触覚信号は後処理部33に入力される。
後処理部33は、入力された触覚信号について、必要に応じて触覚提示装置6の校正や所定のフィルタ処理等の信号処理を施す。
後処理部33を経た触覚信号は、D/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、増幅器31で適切なダイナミックレンジに調整され、触覚提示装置6に出力される。
これにより、触覚提示装置6が触覚信号に基づき駆動され、収録環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
後処理部33を経た触覚信号は、D/Aコンバータ32に入力されてD/A変換(デジタル/アナログ変換)された後、増幅器31で適切なダイナミックレンジに調整され、触覚提示装置6に出力される。
これにより、触覚提示装置6が触覚信号に基づき駆動され、収録環境においてセンシングの対象とした触覚刺激を受触者に対して与えることができる(つまり触覚情報を再現することができる)。
なお、上記では触覚信号に関してのみ言及したが、触覚信号と共に音声信号や映像信号を収録して、受触者に触覚情報と共に音や映像を提供する構成とすることもできる。
<4.実施形態としての触覚再現手法>
[4-1.第一例]
第一例では、ネットショッピングにおいて売り手が商品の手触りを買い手に提示する場合を考える。この場合の触覚再現システム1では、収録環境において、第一触覚センサ5-1や第二触覚センサ5-2により商品の手触りをセンシングした触覚信号を符号化装置2によって符号化し、再現環境では、再生装置3が該符号化により得られた符号化データDcを復号して得た触覚信号に基づき、買い手としての受触者に装着された触覚提示装置6を駆動する。
[4-1.第一例]
第一例では、ネットショッピングにおいて売り手が商品の手触りを買い手に提示する場合を考える。この場合の触覚再現システム1では、収録環境において、第一触覚センサ5-1や第二触覚センサ5-2により商品の手触りをセンシングした触覚信号を符号化装置2によって符号化し、再現環境では、再生装置3が該符号化により得られた符号化データDcを復号して得た触覚信号に基づき、買い手としての受触者に装着された触覚提示装置6を駆動する。
このとき、買い手側で用いられる触覚提示装置6としては、必ずしも同種の装置とする必要はなく、例えば或る買い手の触覚提示装置6は加速度を表す触覚信号に対応して動作する装置とされ、他の買い手の触覚提示装置6は変位を表す触覚信号に対応して動作する装置とされる等、それぞれが異なる物理量に対応する異種の触覚提示装置6が混在することを許容するシステムとされることが考えられる。
このように異種の触覚提示装置6の混在を許容する場合には、各種類の触覚提示装置6を適切に駆動可能とするために、符号化データDcに各種の物理量を表す複数の触覚信号を含ませることが考えられるが、その場合には符号化データDcの情報量(データ量)が膨大となりシステム負荷の増大化に繋がる。
そこで本実施形態では、対応する物理量が異なる異種の触覚提示装置6の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることを目的とする。
図4は、第一例における収録環境の例を示している。
第一例では、例えばテーブルとしての商品の手触りを第一触覚センサ5-1、及び第二触覚センサ5-2としての複数の触覚センサによりセンシングする。
具体的に、本例では、第一触覚センサ5-1は圧電素子(ピエゾピックアップ)等の加速度を表す検出信号を出力するタイプの触覚センサとされ、第二触覚センサ5-2は、レーザ変位計等の変位を表す検出信号を出力するタイプの触覚センサとされる。この場合、第一触覚センサ5-1を取り付けた器具により商品をなぞることで加速度を表す触覚信号が、また第二触覚センサ5-2を取り付けた器具により商品をなぞることで変位(商品表面の変位)を表す触覚信号がそれぞれ得られることになる。
第一例では、例えばテーブルとしての商品の手触りを第一触覚センサ5-1、及び第二触覚センサ5-2としての複数の触覚センサによりセンシングする。
具体的に、本例では、第一触覚センサ5-1は圧電素子(ピエゾピックアップ)等の加速度を表す検出信号を出力するタイプの触覚センサとされ、第二触覚センサ5-2は、レーザ変位計等の変位を表す検出信号を出力するタイプの触覚センサとされる。この場合、第一触覚センサ5-1を取り付けた器具により商品をなぞることで加速度を表す触覚信号が、また第二触覚センサ5-2を取り付けた器具により商品をなぞることで変位(商品表面の変位)を表す触覚信号がそれぞれ得られることになる。
ここで、加速度は変位に2階微分を施すことで、また変位は加速度に2階積分を施すことで得られるはずの値であることに着目し、加速度の信号はそのまま符号化データDcに含ませる一方、変位の信号は信号全体を含ませる代わりに、加速度の2階積分値との差の値を符号化データDcに含ませる。
さらに、符号化データDcには、復号のための情報として、変位の基準値と速度の基準値をそれぞれ1サンプル以上格納しておく。
変位の基準値については、第二触覚センサ5-2による触覚信号のサンプル値を格納する。速度の基準値については、第二触覚センサ5-2による触覚信号のサンプル値(つまり変位の値)に基づき取得することができる。具体的には、変位の複数サンプルの差分値として取得する。なお、速度の基準値は、収録環境において第一触覚センサ5-1、第二触覚センサ5-2とは別途に用意した速度検出用のセンサによって検出した値を用いることもできる。
これら変位、速度の各基準値のサンプル数は多いほど積分値との差を小さく抑えられるため、情報量の許容度に応じて変えても良い。
さらに、符号化データDcには、復号のための情報として、変位の基準値と速度の基準値をそれぞれ1サンプル以上格納しておく。
変位の基準値については、第二触覚センサ5-2による触覚信号のサンプル値を格納する。速度の基準値については、第二触覚センサ5-2による触覚信号のサンプル値(つまり変位の値)に基づき取得することができる。具体的には、変位の複数サンプルの差分値として取得する。なお、速度の基準値は、収録環境において第一触覚センサ5-1、第二触覚センサ5-2とは別途に用意した速度検出用のセンサによって検出した値を用いることもできる。
これら変位、速度の各基準値のサンプル数は多いほど積分値との差を小さく抑えられるため、情報量の許容度に応じて変えても良い。
上記のように本例では、加速度と変位の2系統の信号をそのまま符号化データDcに含ませるのではなく、加速度については第一触覚センサ5-1により検出された信号をそのまま含ませる一方、変位の信号については、第二触覚センサ5-2により検出された変位の信号と、第一触覚センサ5-1により検出された加速度の信号の2階積分との差の信号を含ませるものとしている。
2階積分の差の信号は信号全体よりも少ない符号長で済むため、2系統の信号をそのまま符号化データDcに含ませるよりも情報量の削減を図ることができる。
2階積分の差の信号は信号全体よりも少ない符号長で済むため、2系統の信号をそのまま符号化データDcに含ませるよりも情報量の削減を図ることができる。
以下では、上記説明における加速度の信号のように、符号化データDcにそのまま含ませる側の信号を「元信号」と表記し、変位の信号のように元信号の物理量換算信号との差分が求められる側の信号を「差分を求める信号」と表記する。さらに、上記説明における変位の信号と加速度の2階積分と差の信号のように、「差分を求める信号」と「元信号の物理量換算信号」との差分を表す信号のことを「差分信号」と表記する。
続いて、再現環境における触覚提示の手法を説明する。
再現環境において、触覚提示装置6としては、例えば圧電素子のように加速度情報によって駆動される装置が用いられる場合もあれば、ピンアレイのように変位情報によって駆動される装置が用いられる場合もあり得る。
触覚提示装置6が加速度情報によって駆動される装置である場合には、符号化データDcにおける加速度を表す信号をそのまま用いて触覚提示装置6を駆動する。
一方、触覚提示装置6が変位情報によって駆動される装置である場合には、符号化データDcにおける加速度の信号と差分信号とに基づいて変位の復号処理を行う。具体的には、先ず、加速度の積分演算の結果と速度の基準値とを用いて速度を求め、さらに、この速度の積分演算結果と変位の基準値とを用いて、加速度の2階積分値としての変位信号を得る。その上で、この変位信号に、差分信号を加算する。これにより、換算により生じる誤差を補正することができ、変位センサ(第二触覚センサ5-2)によるセンシングによって得た変位信号に極めて近い変位信号を得ることができる。
再現環境において、触覚提示装置6としては、例えば圧電素子のように加速度情報によって駆動される装置が用いられる場合もあれば、ピンアレイのように変位情報によって駆動される装置が用いられる場合もあり得る。
触覚提示装置6が加速度情報によって駆動される装置である場合には、符号化データDcにおける加速度を表す信号をそのまま用いて触覚提示装置6を駆動する。
一方、触覚提示装置6が変位情報によって駆動される装置である場合には、符号化データDcにおける加速度の信号と差分信号とに基づいて変位の復号処理を行う。具体的には、先ず、加速度の積分演算の結果と速度の基準値とを用いて速度を求め、さらに、この速度の積分演算結果と変位の基準値とを用いて、加速度の2階積分値としての変位信号を得る。その上で、この変位信号に、差分信号を加算する。これにより、換算により生じる誤差を補正することができ、変位センサ(第二触覚センサ5-2)によるセンシングによって得た変位信号に極めて近い変位信号を得ることができる。
ここで、データ量削減を優先するのであれば、符号化データDcには加速度信号のみを含ませるものとし、これを2階積分して得た変位信号により触覚提示装置6を駆動するということも考えられる。しかしながら、積分演算は信号の直流成分の影響を強く受けるため、加速度信号にノイズが混入した場合は変位が本来とは大きく異なる値となって、正確な触覚再現を行うことができない可能性がある。この問題に対しては、適切な周波数フィルタの適用で回避することも可能であるが、変位による触覚情報としては直流成分付近にも有効な情報が多く存在しており、上記の周波数フィルタにより直流成分が除去されてしまうと、例えば商品の表面の緩やかな形状変化等、有効な触覚情報を再現することが不能となってしまう虞がある。
上記した実施形態としての触覚再現手法では、物理量換算信号に対し、このような周波数フィルタの適用ではなく、差分信号に基づいた補正を行うものとしていることで、有効な触覚情報が失われてしまうことの防止を図った正確な触覚信号を得ることが可能とされ、触覚再現の正確性向上を図ることができる。
上記した実施形態としての触覚再現手法では、物理量換算信号に対し、このような周波数フィルタの適用ではなく、差分信号に基づいた補正を行うものとしていることで、有効な触覚情報が失われてしまうことの防止を図った正確な触覚信号を得ることが可能とされ、触覚再現の正確性向上を図ることができる。
図5は、第一例に対応した符号化部24の構成を示した図である。
図示のように符号化部24は、2階積分部40、差分計算部41、変位基準値取得部42、速度基準値計算部43、及び符号化データ生成部44を備えている。
符号化部24において、加速度を表す触覚信号は2階積分部40及び符号化データ生成部44に入力される。ここで、加速度を表す触覚信号は、本例では第一触覚センサ5-1により検出され前処理部23を介して符号化部24に入力される。
また、符号化部24において、変位を表す触覚信号は差分計算部41、変位基準値取得部42、及び速度基準値計算部43に入力される。変位を表す触覚信号は、本例では第二触覚センサ5-2により検出され前処理部23を介して符号化部24に入力される。
なお以下、加速度を表す触覚信号は「加速度信号」と、変位を表す触覚信号は「変位信号」と表記することもある。
図示のように符号化部24は、2階積分部40、差分計算部41、変位基準値取得部42、速度基準値計算部43、及び符号化データ生成部44を備えている。
符号化部24において、加速度を表す触覚信号は2階積分部40及び符号化データ生成部44に入力される。ここで、加速度を表す触覚信号は、本例では第一触覚センサ5-1により検出され前処理部23を介して符号化部24に入力される。
また、符号化部24において、変位を表す触覚信号は差分計算部41、変位基準値取得部42、及び速度基準値計算部43に入力される。変位を表す触覚信号は、本例では第二触覚センサ5-2により検出され前処理部23を介して符号化部24に入力される。
なお以下、加速度を表す触覚信号は「加速度信号」と、変位を表す触覚信号は「変位信号」と表記することもある。
変位基準値取得部42は、変位信号のサンプル値を変位の基準値として取得し、取得した変位の基準値を2階積分部40と符号化データ生成部44に出力する。
速度基準値計算部43は、変位信号の複数サンプルの差分を計算することにより速度の基準値を取得し、取得した速度の基準値を2階積分部40と符号化データ生成部44に出力する。
速度基準値計算部43は、変位信号の複数サンプルの差分を計算することにより速度の基準値を取得し、取得した速度の基準値を2階積分部40と符号化データ生成部44に出力する。
2階積分部40は、加速度信号に対する積分演算を行い、該積分演算の結果と速度の基準値とに基づいて速度を表す信号(以下「速度信号」とも表記する)を得ると共に、速度信号に対する積分演算を行い、該積分演算の結果と変位の基準値とに基づいて変位を表す信号を得る。このように加速度信号に対する2階積分により得られる、変位を表す触覚信号のことを「変位への物理量換算信号」と表記する。
2階積分部40は、変位への物理量換算信号を差分計算部41に出力する。
2階積分部40は、変位への物理量換算信号を差分計算部41に出力する。
差分計算部41は、変位信号と変位への物理量換算信号との差分を計算して差分信号を得、該差分信号を符号化データ生成部44に出力する。
符号化データ生成部44は、入力された加速度信号、差分信号、速度の基準値、及び変位の基準値を所定のデータフォーマットに従って符号化し、符号化データDcを生成する。本実施形態で採用する符号化フォーマットの具体例については後に改めて説明する。
なお、復号側の構成や処理については、以下で説明する第二例と同様となることから後に改めて説明する。
[4-2.第二例]
第二例は、映画において、映像と音声に加えて実際に収録した振動を始めとする触覚も観客に提示する例である。
本例において、触覚情報のセンシングは、映画撮影の段階での映像撮影、音声収録と同様に触覚収録として行われる。観客に提示したい触覚を表現する複数の物理量をそれぞれ専用のセンサの検出信号として得る。例えば、俳優の体に取り付けた慣性センサ(加速度センサ)で加速度を、測距センサで体の移動の大きさ、つまり変位を測定する。
第二例は、映画において、映像と音声に加えて実際に収録した振動を始めとする触覚も観客に提示する例である。
本例において、触覚情報のセンシングは、映画撮影の段階での映像撮影、音声収録と同様に触覚収録として行われる。観客に提示したい触覚を表現する複数の物理量をそれぞれ専用のセンサの検出信号として得る。例えば、俳優の体に取り付けた慣性センサ(加速度センサ)で加速度を、測距センサで体の移動の大きさ、つまり変位を測定する。
ここで、加速度と変位との間の2階微積分による相互換算性に着目し、変位の信号はそのまま符号化データDcに含ませ、加速度の信号は信号全体を含ませる代わりに変位の2階微分値との差の値を含ませるようにする。
具体的に、本例においても、第一触覚センサ5-1は加速度を表す検出信号を、第二触覚センサ5-2は変位を表す検出信号をそれぞれ出力するタイプの装置であるものとすると、この場合の符号化データDcには、変位については第二触覚センサ5-2により検出された信号をそのまま含ませる一方、加速度の信号については、第一触覚センサ5-1により検出された加速度の信号と、第二触覚センサ5-2により検出された変位の信号の2階微分との差を表す差分信号を含ませる。
具体的に、本例においても、第一触覚センサ5-1は加速度を表す検出信号を、第二触覚センサ5-2は変位を表す検出信号をそれぞれ出力するタイプの装置であるものとすると、この場合の符号化データDcには、変位については第二触覚センサ5-2により検出された信号をそのまま含ませる一方、加速度の信号については、第一触覚センサ5-1により検出された加速度の信号と、第二触覚センサ5-2により検出された変位の信号の2階微分との差を表す差分信号を含ませる。
このような符号化データDcに基づき触覚提示を行う際は、観客がどのような状況で映画を鑑賞するかによって触覚提示装置6の種類が異なる可能性があるため、触覚提示装置6の種類によって復号手法を切り替える。
例えば、触覚提示装置6が変位情報により駆動される装置であった場合には、符号化データDcに含まれる変位信号をそのまま用いて触覚提示装置6を駆動する。
一方、触覚提示装置6が加速度情報により駆動される装置である場合には、加速度の復号処理を行う。具体的には、先ず、符号化データDcに含まれる変位信号の2階微分を行い、さらに該2階微分により得た信号に、符号化データDcに含まれる差分信号を加算する。これにより、変位を2階微分した信号に生じる誤差(実際に検出された加速度信号との誤差)を適切に補正することができる。
例えば、触覚提示装置6が変位情報により駆動される装置であった場合には、符号化データDcに含まれる変位信号をそのまま用いて触覚提示装置6を駆動する。
一方、触覚提示装置6が加速度情報により駆動される装置である場合には、加速度の復号処理を行う。具体的には、先ず、符号化データDcに含まれる変位信号の2階微分を行い、さらに該2階微分により得た信号に、符号化データDcに含まれる差分信号を加算する。これにより、変位を2階微分した信号に生じる誤差(実際に検出された加速度信号との誤差)を適切に補正することができる。
ここで、本例のように符号化データDcに変位信号を含ませるのであれば、加速度に対応する触覚提示装置6の駆動は、該変位信号の2階微分により得た加速度信号を用いて行うことも考えられるが、微分演算は高周波ノイズの影響を強く受けるため、最終的に提示される信号は高周波ノイズが大きく増幅されたものとなってしまい、正確な触覚提示を行うことができなくなる可能性がある。
本例では、変位信号の2階微分により得た加速度信号をそのまま用いるのではなく、差分信号に基づく誤差補正を行うので、正確な触覚提示を行うことができる。
本例では、変位信号の2階微分により得た加速度信号をそのまま用いるのではなく、差分信号に基づく誤差補正を行うので、正確な触覚提示を行うことができる。
また、第二例では、触覚提示装置6そのものの物理特性を考慮し、触覚信号の振幅の大きさを調整する処理を行う。
具体的に、第二例における再現環境で用いられる触覚提示装置6としては、図6に例示するような映画館における座席を振動させるリニアモータのような比較的大出力な変位駆動の装置である場合や、図7に例示するようなスマートフォン等の携帯型端末に搭載された圧電素子のように小出力な加速度駆動の装置である場合が想定され得る。
第二例では、このような触覚提示装置6の物理特性に応じて、再生装置3(復号部34)が触覚信号の振幅の大きさを調整する。具体的に、例えば図6の場合には図7の場合よりも触覚信号の振幅が大きくなるように調整を行う。
具体的に、第二例における再現環境で用いられる触覚提示装置6としては、図6に例示するような映画館における座席を振動させるリニアモータのような比較的大出力な変位駆動の装置である場合や、図7に例示するようなスマートフォン等の携帯型端末に搭載された圧電素子のように小出力な加速度駆動の装置である場合が想定され得る。
第二例では、このような触覚提示装置6の物理特性に応じて、再生装置3(復号部34)が触覚信号の振幅の大きさを調整する。具体的に、例えば図6の場合には図7の場合よりも触覚信号の振幅が大きくなるように調整を行う。
上記のような第二例としての触覚再現システム1により、映画製作者は再現環境側でどのような種類の触覚提示装置6を利用するかについて考慮することなく収録を行い、その情報を大きく損なうことなく符号化データDcのデータ量を圧縮することができる。また、受触者としてのユーザは、映像と音声に触覚刺激も加わることで、より迫力ある映画を楽しむことができる。
図8は、第二例に対応した符号化部24の構成を示した図である。
図示のようにこの場合の符号化部24は、2階微分部45、差分計算部41A、及び符号化データ生成部44Aを備えている。
この場合、変位信号は符号化データ生成部44A及び2階微分部45に入力され、加速度信号は差分計算部41Aに入力される。
図示のようにこの場合の符号化部24は、2階微分部45、差分計算部41A、及び符号化データ生成部44Aを備えている。
この場合、変位信号は符号化データ生成部44A及び2階微分部45に入力され、加速度信号は差分計算部41Aに入力される。
2階微分部45は、変位信号に対する2階微分を行って加速度への物理量換算信号を得る。
差分計算部41Aは、2階微分部45で得られた加速度への物理量換算信号を入力し、加速度信号と該加速度への物理量換算信号との差を計算して差分信号を得る。
差分計算部41Aは、2階微分部45で得られた加速度への物理量換算信号を入力し、加速度信号と該加速度への物理量換算信号との差を計算して差分信号を得る。
符号化データ生成部44Aは、変位信号と差分計算部41Aで得られた差分信号とを所定のデータフォーマットに従って符号化し、符号化データDcを生成する。
[4-3.符号化フォーマットの例]
図9は、本実施形態における符号化フォーマットの例を示している。
ここで、デジタルの触覚信号としては、触覚センサで取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うLPCM(Linear Pulse Code Modulation)方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ(フレームヘッダ)を付加する。
図9は、本実施形態における符号化フォーマットの例を示している。
ここで、デジタルの触覚信号としては、触覚センサで取得される時系列の電圧変化を所定のサンプリング周波数にてサンプリングしたものであり、音声信号で言うLPCM(Linear Pulse Code Modulation)方式と同様のものを想定する。本例の符号化では、このようなデジタルの触覚信号を時間方向において伝送に適したフレームに分割し、該フレームごとの付加情報としてヘッダ(フレームヘッダ)を付加する。
具体的には、図9に示すようなデータ形式が考えられる。
なお、上記の第一例や第二例では、「元信号」と「差分を求める信号」とが2階の微積分の関係となる例を挙げたが、これら「元信号」と「差分を求める信号」は1階の微積分の関係とすることもできる。具体的には、元信号が変位で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が加速度である場合と、さらに元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合である。
図9に示すフォーマットは、このように「元信号」と「差分を求める信号」とが1階の微積分の関係となる場合にも対応可能なフォーマットとされる。
なお、上記の第一例や第二例では、「元信号」と「差分を求める信号」とが2階の微積分の関係となる例を挙げたが、これら「元信号」と「差分を求める信号」は1階の微積分の関係とすることもできる。具体的には、元信号が変位で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が加速度である場合と、さらに元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合である。
図9に示すフォーマットは、このように「元信号」と「差分を求める信号」とが1階の微積分の関係となる場合にも対応可能なフォーマットとされる。
図示のように一つのフレームには、フレームヘッダとしての情報を格納するためのヘッダ領域と、触覚信号の実データを格納するための実データ領域とが設けられる。
実データ領域には、元信号としての触覚信号、及び差分信号が格納される。
実データ領域には、元信号としての触覚信号、及び差分信号が格納される。
フレームヘッダにおいては、先頭から順に「シンク」、「サンプリング周波数」、「元信号の量子化ビット数」、「差分信号の量子化ビット数」、「ブロックサイズ」、「元信号の物理量ID」、「差分信号の物理量ID」、「基準値のサンプル数」、及び「基準値」の各情報を格納する領域が定められている。
「シンク」は、フレームの先頭を表す識別子とされ、所定パターンのデータが格納される。「サンプリング周波数」は、元信号及び差分信号のサンプリング周波数を表す。元信号の量子化ビット数、差分信号の量子化ビット数はそれぞれ元信号、差分信号の1サンプル当りの量子化ビット数を表す。
「シンク」は、フレームの先頭を表す識別子とされ、所定パターンのデータが格納される。「サンプリング周波数」は、元信号及び差分信号のサンプリング周波数を表す。元信号の量子化ビット数、差分信号の量子化ビット数はそれぞれ元信号、差分信号の1サンプル当りの量子化ビット数を表す。
「ブロックサイズ」は、フレームに格納される元信号及び差分信号の時間方向におけるサイズ(サンプル数)を表す。ここでのブロックは、元信号及び差分信号の時間方向における処理単位を表すものである。
「元信号の物理量ID」、「差分信号の物理量ID」は、それぞれ、元信号、差分信号が加速度、速度、変位のうち何れの物理量に対応するものであるかを識別するための識別子とされる。ここで、「差分信号の物理量ID」は、第一例のように「差分を求める信号」が変位信号である場合には「変位」を表すIDが格納され、第二例のように「差分を求める信号」が加速度信号である場合には「加速度」を表すIDが格納される。
物理量IDとしては例えば2ビットによる情報とし、例えば加速度に「00」を、速度に「01」を、変位に「10」をそれぞれ割り当てる等が考えられる。
物理量IDとしては例えば2ビットによる情報とし、例えば加速度に「00」を、速度に「01」を、変位に「10」をそれぞれ割り当てる等が考えられる。
「基準値のサンプル数」には、復号側で元信号の積分演算を要する場合に用いられる速度、変位それぞれの基準値のサンプル数を格納する。本例では、「基準値のサンプル数」は復号側で行われ得る積分演算の階数に等しい値が格納され、例えば第二例のように元信号についての積分演算は行わず微分演算しか行わない場合は「0」を、また、第一例のように元信号に対する積分演算を2階分要する場合には「2」が格納される。
「基準値」には、「基準値のサンプル数」に格納したサンプル数分の基準値が格納される。この「基準値」に必要なビット数は、「元信号の量子化ビット数」と「基準値のサンプル数」によって定まる。例えば、元信号の量子化ビット数を8ビットとした場合は基準値も8ビットで記録し、「基準値のサンプル数」が「2」であれば、「基準値」には16ビットを割り当てる。このとき、「基準値」においては、2階積分を要する場合には速度の基準値、変位の基準値の順に基準値を格納する。
「基準値」には、「基準値のサンプル数」に格納したサンプル数分の基準値が格納される。この「基準値」に必要なビット数は、「元信号の量子化ビット数」と「基準値のサンプル数」によって定まる。例えば、元信号の量子化ビット数を8ビットとした場合は基準値も8ビットで記録し、「基準値のサンプル数」が「2」であれば、「基準値」には16ビットを割り当てる。このとき、「基準値」においては、2階積分を要する場合には速度の基準値、変位の基準値の順に基準値を格納する。
本実施形態の符号化によっては、上記のようなデータ構造とされたフレームが時間方向において並べられた態様によるストリームデータが得られる。前述した符号化データDcは、このようなストリームデータの態様で収録、伝送される。
なお、図示による説明は省略するが、ストリームデータにおいて、実データ領域のデータは、実際には元信号、差分信号ごとにインタリーブされて格納される。
図5や図8に示した符号化データ生成部44、44Aは、このような符号化フォーマットに従って符号化データDcの生成を行う。
[4-4.復号側の機能構成]
続いて、再生装置3が有する符号化データDcの復号に係る機能構成について、図10の機能ブロック図を参照して説明する。
図10に示すように、再生装置3は、符号化データDcの復号に係る機能として、取得処理部F1及び復号処理部F2としての機能を有している。
取得処理部F1は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データDcを取得する。
この取得処理部F1としての機能は、本実施形態では通信部36やメディアドライブ37が符号化データDcを取得する機能に相当する。
続いて、再生装置3が有する符号化データDcの復号に係る機能構成について、図10の機能ブロック図を参照して説明する。
図10に示すように、再生装置3は、符号化データDcの復号に係る機能として、取得処理部F1及び復号処理部F2としての機能を有している。
取得処理部F1は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データDcを取得する。
この取得処理部F1としての機能は、本実施形態では通信部36やメディアドライブ37が符号化データDcを取得する機能に相当する。
復号処理部F2は、取得処理部F1が取得した符号化データDcを復号し、触覚信号を得る。この復号処理部F2としての機能は、本実施形態では復号部34により実現される。
ここで、本実施形態では、符号化データDcには特定の物理量を表す触覚信号である特定信号(元信号)と、特定信号を他の物理量を表す信号に換算した際の換算誤差を表す誤差情報とが含まれている。
そして、復号処理部F2は、特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正する。
具体的に、本実施形態では、上記の誤差情報は、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報(差分信号)とされている。
そして、復号処理部F2は、特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正する。
具体的に、本実施形態では、上記の誤差情報は、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報(差分信号)とされている。
上記のように特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正することで、特定信号の物理量(「特定物理量」と表記)以外の物理量を表す触覚信号については、符号化データDcに信号そのものを含ませる必要がなくなる(第一例における変位信号、第二例における加速度信号)。そして、上記誤差情報に基づく補正を行うことで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
また、誤差情報が差分信号とされることで、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされ、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
また、誤差情報が差分信号とされることで、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされ、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
また、本実施形態では、符号化データDcには、特定信号が表す物理量を識別するための識別情報(元信号の物理量ID)が含まれ、復号処理部F2は、識別情報に基づき復号を行う。
これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなり、復号の処理負担軽減を図ることができる。
これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなり、復号の処理負担軽減を図ることができる。
また、本実施形態において復号処理部F2は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致する場合は特定信号を出力する。
一方、復号処理部F2は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致しない場合は、特定信号を所定の物理量を表す信号に換算し、該換算した信号を誤差情報に基づき補正して出力する。
これにより、特定信号の物理量が触覚提示装置6が対応する物理量と一致する場合に対応して、触覚提示装置6を特定信号に基づき適切に駆動することが可能とされると共に、特定信号の物理量が触覚提示装置6が対応する物理量と一致しない場合には、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置6を適切に駆動することが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置6の駆動を適切に行うことができる。
一方、復号処理部F2は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致しない場合は、特定信号を所定の物理量を表す信号に換算し、該換算した信号を誤差情報に基づき補正して出力する。
これにより、特定信号の物理量が触覚提示装置6が対応する物理量と一致する場合に対応して、触覚提示装置6を特定信号に基づき適切に駆動することが可能とされると共に、特定信号の物理量が触覚提示装置6が対応する物理量と一致しない場合には、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置6を適切に駆動することが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置6の駆動を適切に行うことができる。
[4-5.復号側の処理手順]
図11は、上記により説明した実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。
なお、図11に示す処理は、復号部34が符号化データDcのフレームごとに実行する。
図11は、上記により説明した実施形態としての復号機能を実現するために実行すべき具体的な処理手順を示したフローチャートである。
なお、図11に示す処理は、復号部34が符号化データDcのフレームごとに実行する。
ここで、図11では、触覚提示装置6が加速度、速度、変位の何れの物理量に対応する触覚提示装置6であっても対応可能とすべく、符号化データDcには、差分信号として2種の差分信号が含まれていることを前提とする。
具体的に、第一例のように元信号を加速度信号とした場合には、差分信号として、第一例で例示した変位信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データDcに含ませる。第一例の場合、この速度信号への復号を可能とするための差分信号は、収録環境において第一触覚センサ5-1、第二触覚センサ5-2とは別途に設けた速度センサによる検出信号を符号化装置2に入力し、該速度センサによる検出信号と、加速度信号の1階積分による速度換算信号(加速度信号をその1階積分演算の結果と速度の基準値とに基づき速度に換算した信号)との差分の信号として求める。
また、第二例のように元信号を変位信号とした場合には、差分信号として、第二例で例示した加速度信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データDcに含ませる。第二例の場合における速度信号への復号を可能とするための差分信号は、収録環境において速度センサによる検出信号を符号化装置2に入力し、該速度センサによる検出信号と、変位信号の1階微分による速度換算信号との差分の信号として求める。
具体的に、第一例のように元信号を加速度信号とした場合には、差分信号として、第一例で例示した変位信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データDcに含ませる。第一例の場合、この速度信号への復号を可能とするための差分信号は、収録環境において第一触覚センサ5-1、第二触覚センサ5-2とは別途に設けた速度センサによる検出信号を符号化装置2に入力し、該速度センサによる検出信号と、加速度信号の1階積分による速度換算信号(加速度信号をその1階積分演算の結果と速度の基準値とに基づき速度に換算した信号)との差分の信号として求める。
また、第二例のように元信号を変位信号とした場合には、差分信号として、第二例で例示した加速度信号の復号を可能とするための差分信号と共に、速度信号への復号を可能とするための差分信号を符号化データDcに含ませる。第二例の場合における速度信号への復号を可能とするための差分信号は、収録環境において速度センサによる検出信号を符号化装置2に入力し、該速度センサによる検出信号と、変位信号の1階微分による速度換算信号との差分の信号として求める。
図11において、復号部34はステップS101で、元信号、差分信号の物理量を特定する。具体的には、符号化データDcのフレームヘッダに格納されている「元信号の物理量ID」「差分信号の物理量ID」に基づき元信号、差分信号の物理量を特定する。
続くステップS102で復号部34は、触覚提示装置6の駆動に必要な物理量を特定する。なお、このステップS102の特定処理は、再生装置3に接続される触覚提示装置6の種類が固定であれば省略可能である。
次いで、ステップS103で復号部34は、必要な物理量と元信号の物理量は異なるか否かを判定する。必要な物理量と元信号の物理量が異ならない場合、復号部34はステップS104に進み、元信号を選択してステップS111に処理を進める。
ステップS111では、触覚提示装置6に応じた信号レベルに調整して出力する処理を実行する。つまりステップS104からステップS111に処理を進めた場合、復号部34は、元信号に対して該信号レベルの調整処理を施して図3に示した後処理部33に出力する。ここで、ステップS111における信号レベルの調整は、先の第二例において例示したように触覚提示装置6が大出力の場合に振幅を大きくする等により行う。
復号部34は、ステップS111の処理を実行したことに応じて図11に示す一連の処理を終える。
ステップS111では、触覚提示装置6に応じた信号レベルに調整して出力する処理を実行する。つまりステップS104からステップS111に処理を進めた場合、復号部34は、元信号に対して該信号レベルの調整処理を施して図3に示した後処理部33に出力する。ここで、ステップS111における信号レベルの調整は、先の第二例において例示したように触覚提示装置6が大出力の場合に振幅を大きくする等により行う。
復号部34は、ステップS111の処理を実行したことに応じて図11に示す一連の処理を終える。
上記のように、触覚提示装置6が元信号の物理量と同じ物理量に対応した装置とされる場合には、元信号に基づき触覚提示装置6が駆動されることになる。
一方、ステップS103で必要な物理量と元信号の物理量は異なると判定した場合、復号部34はステップS105に進み、必要な物理量は元信号の積分演算で求まるか否かを判定する。
必要な物理量が元信号の積分演算で求まると判定した場合、復号部34はステップS106に進み、対象とする信号を積分演算と基準値から換算する処理を行った上で、ステップS107で必要分の積分が完了したか否かを判定する。
これらステップS106、S107の処理は、第一例のように元信号が加速度信号とされた場合において、求める物理量が変位とされる場合、又は速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップS106では、先ず、加速度信号としての元信号に対し1階積分の演算を行うと共に、該演算の結果と、符号化データDcのフレームヘッダにおける「基準値」に格納された速度の基準値とに基づいて元信号を速度信号に換算する処理を行う。後者の場合では、必要分の積分は1階であるため、ステップS106の処理が1回行われた段階でステップS107において肯定結果が得られ、ステップS110の差分信号の加算に処理が進められる。
これらステップS106、S107の処理は、第一例のように元信号が加速度信号とされた場合において、求める物理量が変位とされる場合、又は速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップS106では、先ず、加速度信号としての元信号に対し1階積分の演算を行うと共に、該演算の結果と、符号化データDcのフレームヘッダにおける「基準値」に格納された速度の基準値とに基づいて元信号を速度信号に換算する処理を行う。後者の場合では、必要分の積分は1階であるため、ステップS106の処理が1回行われた段階でステップS107において肯定結果が得られ、ステップS110の差分信号の加算に処理が進められる。
一方、前者の場合では、必要分の積分は2階であるため、ステップS106の処理が1回行われた段階では、ステップS107で否定結果が得られ、再度、ステップS106の処理が実行される。このように再度実行されるステップS106では、1回目の換算処理で得られた信号(速度信号)を対象として、積分演算と基準値から換算する処理を行う。具体的には、1回目の換算処理で得られた速度信号に対し1階積分の演算を行うと共に、該演算の結果と、符号化データDcのフレームヘッダにおける「基準値」に格納された変位の基準値とに基づいて変位信号に換算する処理を行う。
前者の場合、このような換算処理により変位信号を得た上で、ステップS110の差分信号の加算に処理が進められる。
前者の場合、このような換算処理により変位信号を得た上で、ステップS110の差分信号の加算に処理が進められる。
また、先のステップ105において、必要な物理量が元信号の積分演算で求まるものではないと判定した場合、復号部34はステップS108に進み、対象とする信号について微分演算による換算を行った上で、ステップS109で必要分の微分が完了したか否かを判定する。
これらステップS108、S109の処理は、第二例のように元信号が変位信号とされた場合において、求める物理量が加速度とされる場合、速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップS108では、先ず、変位信号としての元信号に対し1階微分の演算による速度信号への換算が行われる。後者の場合では、必要分の微分は1階であるため、ステップS108の処理が1回行われた段階でステップS109において肯定結果が得られ、ステップS110の差分信号の加算に処理が進められる。
これらステップS108、S109の処理は、第二例のように元信号が変位信号とされた場合において、求める物理量が加速度とされる場合、速度とされる場合のそれぞれにおいて実行される。
具体的に、ステップS108では、先ず、変位信号としての元信号に対し1階微分の演算による速度信号への換算が行われる。後者の場合では、必要分の微分は1階であるため、ステップS108の処理が1回行われた段階でステップS109において肯定結果が得られ、ステップS110の差分信号の加算に処理が進められる。
一方、前者の場合では、必要分の微分は2階であるため、ステップS107の処理が1回行われた段階では、ステップS109で否定結果が得られ、再度、ステップS108の処理が実行される。このように再度実行されるステップS108では、1回目の換算処理で得られた速度信号を対象として再度、1階微分による演算が行われて変位信号への換算が行われる。前者の場合、この再度の換算処理が行われた段階でステップS109で肯定結果が得られ、ステップS110の差分信号の加算に処理が進められる。
ステップS110で復号部34は、対象とする信号に対し差分信号を加算する。具体的には、上述したステップS106及びS107の処理を経て得られた変位信号又は速度信号としての換算信号、或いはステップS108及びS109を経て得られた変位信号又は速度信号としての換算信号に対し、符号化データDcに格納された対応する差分信号を加算する。
復号部34はステップS110の加算処理を実行したことに応じ、先に述べたステップS111に処理を進める。
これにより、触覚提示装置6が元信号の物理量とは異なる物理量に対応した装置である場合には、元信号を対応する物理量に換算した上で、換算誤差を差分信号により適正に補正した信号に基づき、触覚提示装置6を駆動することができる。
これにより、触覚提示装置6が元信号の物理量とは異なる物理量に対応した装置である場合には、元信号を対応する物理量に換算した上で、換算誤差を差分信号により適正に補正した信号に基づき、触覚提示装置6を駆動することができる。
<5.変形例>
ここで、上記では、触覚提示装置6が加速度駆動、速度駆動、変位駆動の何れのタイプである場合にも対応可能とする例として、符号化データDcに含ませる元信号を加速度信号、変位信号の何れかとする例を挙げたが、元信号は、速度信号とすることもできる。その場合、符号化データDcには、基準値として変位の基準値を格納し、また、変換誤差を表す誤差情報として、速度→変位への換算誤差を表す情報、及び速度→加速度への換算誤差を表す情報を格納する。変位信号は速度信号に対する1階積分と該基準値とを用いた換算により求め、加速度信号は速度信号に対する1階微分により求める。
ここで、上記では、触覚提示装置6が加速度駆動、速度駆動、変位駆動の何れのタイプである場合にも対応可能とする例として、符号化データDcに含ませる元信号を加速度信号、変位信号の何れかとする例を挙げたが、元信号は、速度信号とすることもできる。その場合、符号化データDcには、基準値として変位の基準値を格納し、また、変換誤差を表す誤差情報として、速度→変位への換算誤差を表す情報、及び速度→加速度への換算誤差を表す情報を格納する。変位信号は速度信号に対する1階積分と該基準値とを用いた換算により求め、加速度信号は速度信号に対する1階微分により求める。
また、上記では、加速度、速度、変位の間の微積分演算による換算性を利用する例を挙げたが、微積分に限らず相互に換算可能な物理量間であれば同様の手順により符号化及び復号が可能である。
図12のフローチャートを参照し、物理量を具体的に限定せず、相互に最大でも2階の微積分演算によって換算できる物理量を表す複数の信号を符号化する過程を説明する。
図12に示す処理は、符号化部24が実行する。また、図12に示す処理においては、図1に示したように、符号化装置2には第一触覚センサ5-1及び第二触覚センサ5-2による2系統の触覚信号(つまりそれぞれが異なる物理量を表す触覚信号)が入力される前提とする。
なお、ステップS202~S211の処理は、予め定められたブロックサイズごと(1フレーム分のサンプル数ごと)に繰り返し実行される。
図12に示す処理は、符号化部24が実行する。また、図12に示す処理においては、図1に示したように、符号化装置2には第一触覚センサ5-1及び第二触覚センサ5-2による2系統の触覚信号(つまりそれぞれが異なる物理量を表す触覚信号)が入力される前提とする。
なお、ステップS202~S211の処理は、予め定められたブロックサイズごと(1フレーム分のサンプル数ごと)に繰り返し実行される。
図12において、符号化部24は、先ずステップS201で元信号とする信号、及び元信号との差分を求める信号を決定する。すなわち、第一触覚センサ5-1、第二触覚センサ5-2が検出する触覚信号について、何れを「元信号」とし、また何れを「差分を求める信号」とするかの決定を行う。
この決定基準は、より提示される可能性の高い物理量を表す信号を元信号としても良いし、各信号のダイナミックレンジに基づき選んでも良い(元信号のデータ量が少なくなるように選んでもよい)。
この決定基準は、より提示される可能性の高い物理量を表す信号を元信号としても良いし、各信号のダイナミックレンジに基づき選んでも良い(元信号のデータ量が少なくなるように選んでもよい)。
続くステップS202で符号化部24は、差分を求める信号の物理量は元信号の積分演算で求められるか否かを判定する。例えば、先の第一例のように差分を求める信号の物理量が変位、元信号の物理量が加速度である場合、差分を求める信号の物理量は元信号の積分演算で求められるとの肯定結果が得られる。
なお、ステップS202の判定処理は、各物理量を記録するチャンネルを定めたフォーマットを用意して数学的知識から行っても良い。或いは、各信号の周波数分析結果に基づき行うこともできる。例えば、元信号を周波数軸上で線形に減衰させたような周波数分析結果を得た場合、元信号は積分演算によって得られる物理量を表現していると考えられる。
なお、ステップS202の判定処理は、各物理量を記録するチャンネルを定めたフォーマットを用意して数学的知識から行っても良い。或いは、各信号の周波数分析結果に基づき行うこともできる。例えば、元信号を周波数軸上で線形に減衰させたような周波数分析結果を得た場合、元信号は積分演算によって得られる物理量を表現していると考えられる。
ステップS202において、差分を求める信号の物理量は元信号の積分演算で求められないとして否定結果が得られた場合、符号化部24はステップS203に進み、対象信号の1階微分を計算した上で、ステップS204で必要分の微分が完了したか否かを判定する。
例えば、必要分の微分が1階であれば、ステップS203では元信号に対する1階微分演算を行い、該微分演算に応じてステップS204で肯定結果が得られるものとなり、処理がステップS205に進められる。
或いは、必要分の微分が2階であれば、ステップS203の微分は2度実行される。1度目には、元信号に対する1階微分演算が行われ、2度目には、該1階微分演算で求まった信号に対して1階微分演算が行われる。そして、ステップS204で肯定結果が得られ、処理がステップS205に進められる。
ここで、必要分の微分が1階の場合とは、例えば元信号が変位で差分を求める信号が速度の場合と、元信号が速度で差分を求める信号が加速度の場合が該当する。また、必要分の微分が2階の場合とは、例えば元信号が変位で差分を求める信号が加速度の場合が該当する。
例えば、必要分の微分が1階であれば、ステップS203では元信号に対する1階微分演算を行い、該微分演算に応じてステップS204で肯定結果が得られるものとなり、処理がステップS205に進められる。
或いは、必要分の微分が2階であれば、ステップS203の微分は2度実行される。1度目には、元信号に対する1階微分演算が行われ、2度目には、該1階微分演算で求まった信号に対して1階微分演算が行われる。そして、ステップS204で肯定結果が得られ、処理がステップS205に進められる。
ここで、必要分の微分が1階の場合とは、例えば元信号が変位で差分を求める信号が速度の場合と、元信号が速度で差分を求める信号が加速度の場合が該当する。また、必要分の微分が2階の場合とは、例えば元信号が変位で差分を求める信号が加速度の場合が該当する。
ステップS205で符号化部24は、上記のステップS203及びS204の処理を経て得られた微分信号と、差分を求める信号との差分信号を計算し、ステップS212に処理を進める。
これにより、例えば第二例のように元信号が変位で差分を求める信号が加速度とされる場合には、符号化データDcに対して元信号=変位信号、差分信号=変位の微分信号と加速度信号との差分信号を格納することができる。
これにより、例えば第二例のように元信号が変位で差分を求める信号が加速度とされる場合には、符号化データDcに対して元信号=変位信号、差分信号=変位の微分信号と加速度信号との差分信号を格納することができる。
ステップS212で符号化部24は、符号化終了か否かを判定する。すなわち、例えば符号化の対象とする信号の入力が途絶えた等、符号化の終了条件が成立したか否かを判定する。符号化終了であれば、符号化部24は図12に示す一連の処理を終え、符号化終了でなければステップS202に戻る。
また、先のステップS202において、差分を求める信号の物理量は元信号の積分演算で求められるとの肯定結果が得られた場合、符号化部24はステップS206に進み、求める積分信号の基準値は検出されているか否かを判定する。後述するステップS210の判定処理に伴い、このステップS206の処理は最大で2回実行され得る(1フレームにつき最大で2回)。
ここで、「求める積分信号」とは、必要分の積分が2階のときは、例えば1度目のステップS206においては加速度(元信号)の1階積分に対応する速度信号が該当し、2度目のステップS206においては1度目の積分で得られた速度信号の1階積分に対応する変位信号が該当する。また、必要分の積分が1階のときは、「求める積分信号」とは、例えば元信号が加速度信号であれば加速度信号の1階積分に対応する速度信号が該当し、元信号が速度信号であれば速度信号の1階積分に対応する変位信号が該当する。
「求める積分信号の基準値が検出されている」とは、「求める積分信号」の基準値を対応するセンサにより検出していることを意味する。例えば、第一例のように元信号が加速度信号で差分を求める信号が変位信号とされる場合であって、加速度信号の変位への換算に必要とされる速度の基準値及び変位の基準値のうち変位のみ対応するセンサで検出している場合には、1度目のステップS206(つまり「求める積分信号」が速度信号の場合)では「求める積分信号の基準値が検出されている」に該当せず、一方、2度目のステップS206(「求める積分信号」が変位信号の場合)では「求める積分信号の基準値が検出されている」に該当する。
或いは、元信号が速度信号、差分を求める信号が変位信号である場合において、元信号の変位信号への換算に必要な変位の基準値を対応するセンサで検出している場合には、「求める積分信号の基準値が検出されている」に該当することになる。
ここで、「求める積分信号」とは、必要分の積分が2階のときは、例えば1度目のステップS206においては加速度(元信号)の1階積分に対応する速度信号が該当し、2度目のステップS206においては1度目の積分で得られた速度信号の1階積分に対応する変位信号が該当する。また、必要分の積分が1階のときは、「求める積分信号」とは、例えば元信号が加速度信号であれば加速度信号の1階積分に対応する速度信号が該当し、元信号が速度信号であれば速度信号の1階積分に対応する変位信号が該当する。
「求める積分信号の基準値が検出されている」とは、「求める積分信号」の基準値を対応するセンサにより検出していることを意味する。例えば、第一例のように元信号が加速度信号で差分を求める信号が変位信号とされる場合であって、加速度信号の変位への換算に必要とされる速度の基準値及び変位の基準値のうち変位のみ対応するセンサで検出している場合には、1度目のステップS206(つまり「求める積分信号」が速度信号の場合)では「求める積分信号の基準値が検出されている」に該当せず、一方、2度目のステップS206(「求める積分信号」が変位信号の場合)では「求める積分信号の基準値が検出されている」に該当する。
或いは、元信号が速度信号、差分を求める信号が変位信号である場合において、元信号の変位信号への換算に必要な変位の基準値を対応するセンサで検出している場合には、「求める積分信号の基準値が検出されている」に該当することになる。
ステップS206において、求める積分信号の基準値は検出されていないとの否定結果が得られた場合、符号化部24はステップS207で、差分を求める信号の1階低次の信号の複数サンプルの差分から基準値を取得する。これは、例えば第一例において、図5に示した速度基準値計算部43が変位信号(差分を求める信号)に基づいて速度の基準値を計算して取得することが該当する。
また、ステップS206において、求める積分信号の基準値は検出されているとの肯定結果が得られた場合、符号化部24はステップS208で差分を求める信号から基準値を取得する。
また、ステップS206において、求める積分信号の基準値は検出されているとの肯定結果が得られた場合、符号化部24はステップS208で差分を求める信号から基準値を取得する。
符号化部24は、ステップS207又はS208の処理を実行したことに応じ、ステップS209に進み、1階積分による換算を行う。
すなわち、例えば「求める積分信号」が速度信号である場合には、ステップS207、S208のうち対応する処理で取得した基準値を用いて、加速度信号に対し1階積分による換算を行う。また、「求める積分信号」が変位信号である場合には、ステップS207、S208のうち対応する処理で取得した基準値を用いて、速度信号に対し1階積分による換算を行う。
すなわち、例えば「求める積分信号」が速度信号である場合には、ステップS207、S208のうち対応する処理で取得した基準値を用いて、加速度信号に対し1階積分による換算を行う。また、「求める積分信号」が変位信号である場合には、ステップS207、S208のうち対応する処理で取得した基準値を用いて、速度信号に対し1階積分による換算を行う。
次いで、符号化部24はステップS210で、必要分の積分が完了したか否かを判定する。必要分の積分が完了していなければ、符号化部24はステップS206に戻り、必要分の積分が完了していればステップS211に処理を進める。
確認のため述べておくと、必要分の積分が1階の場合とは、例えば元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合が該当する。また、必要分の積分が2階の場合とは、例えば元信号が加速度で差分を求める信号が変位の場合が該当する。
確認のため述べておくと、必要分の積分が1階の場合とは、例えば元信号が加速度で差分を求める信号が速度である場合と、元信号が速度で差分を求める信号が変位である場合が該当する。また、必要分の積分が2階の場合とは、例えば元信号が加速度で差分を求める信号が変位の場合が該当する。
ステップS210において、必要分の積分が完了していれば、符号化部24はステップS211に進み、積分信号と差分を求める信号との差分信号を計算し、先に説明したステップS212に処理を進める。なお、ステップS210において、「積分信号」は、必要分の積分が完了した元信号を意味するものである。
上記の処理により、相互に最大でも2階の微積分演算によって換算できる物理量を表す複数の信号について、情報量を圧縮する符号化を行うことができる。
ここで、符号化において差分信号は信号全体に対してダイナミックレンジが小さい方がより短い符号長とすることができ、情報量の圧縮効果が大きくなる。これを踏まえ、ステップS201における元信号の選択を、差分信号のダイナミックレンジが小さくなるように行うこともできる。
また、得られた差分信号と「差分を求める信号」とを比較し、時間シフトなどにより差分信号が小さくなるようなフィードバックを行っても良い。
なお、換算誤差は、単純に「差分を求める信号」との時間ずれということもあるので、その場合、誤差情報は該時間ずれの情報とすれば、さらに情報量を削減できる。
なお、換算誤差は、単純に「差分を求める信号」との時間ずれということもあるので、その場合、誤差情報は該時間ずれの情報とすれば、さらに情報量を削減できる。
また信号の性質次第では差分信号を小さくするように元信号にバイアスをかけても良い。例えば加速度が元信号で変位を差分信号とする場合、差分信号と「差分を求める信号」を比較した結果から加速度にごく小さなバイアスをかけることで差分信号のダイナミックレンジを小さくすることが期待できる。
<6.実施形態のまとめ>
上記のように実施形態としての符号化装置(同2)は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部(同24)を備えるものである。
上記のように実施形態としての符号化装置(同2)は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部(同24)を備えるものである。
これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
上記した本技術に係る符号化装置においては、符号化部は、符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませることが望ましい。
これにより、復号側では、特定信号を物理量換算した信号を誤差情報に基づき補正することで、特定信号の物理量(特定物理量)以外の物理量を表す触覚信号を正確に得ることが可能とされる。このため、符号化データには、特定物理量以外の物理量を表す触覚信号そのものを含ませる必要がなくなる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
上記した本技術に係る符号化装置においては、符号化部は、誤差情報として、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報を符号化データに含ませることが望ましい。
これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
上記した本技術に係る符号化装置においては、符号化部は、誤差情報として、特定信号が表す物理量を識別するための識別情報を符号化データに含ませることが望ましい。
これにより、復号側で特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
従って、復号の処理負担軽減を図ることができる。
従って、復号の処理負担軽減を図ることができる。
上記した本技術に係る符号化装置においては、符号化部は、符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行うことが望ましい。
これにより、復号側では、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。
上記のように実施形態としての復号装置(再生装置3)は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部(復号処理部F2、復号部34)を備えるものである。
これにより、物理量間の相互換算性を利用して情報量を圧縮しつつ、相互換算可能な範囲内で所望の物理量を表す触覚信号を得ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
従って、対応する物理量が異なる異種の触覚提示装置の駆動を可能としながら、触覚提示に要するデータ量の削減を図ることが可能とされる。
また、実施形態としての復号装置においては、符号化データには、特定の物理量を表す触覚信号である特定信号と、特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、復号部は、特定信号を他の物理量を表す触覚信号に換算し、該換算した触覚信号を誤差情報に基づき補正している。
これにより、特定信号の物理量(特定物理量)以外の物理量を表す触覚信号については、符号化データに信号そのものを含ませる必要がなくなる。このとき、特定信号を物理量換算した信号が誤差情報に基づき補正されることで、特定物理量以外の物理量を表す触覚信号を正確に得ることが可能とされる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
従って、正確な触覚再現を実現しながら、触覚提示に要するデータ量の削減を図ることができる。
さらに、実施形態としての復号装置においては、誤差情報は、特定信号と他の物理量を表す触覚信号との差分値を表す差分情報とされている。
これにより、特定信号の換算信号についての誤差補正は、該特定信号の換算信号に対し差分情報が表す差分値を加算するという簡易な処理で実現することが可能とされる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
従って、換算誤差の補正を実現するにあたっての処理負担軽減を図ることができる。
さらにまた、実施形態としての復号装置においては、符号化データには、特定信号が表す物理量を識別するための識別情報が含まれ、復号部は、識別情報に基づき復号を行ってている。
これにより、特定信号の物理量を特定するにあたり特定信号についての信号解析を行う必要がなくなる。
従って、復号の処理負担軽減を図ることができる。
従って、復号の処理負担軽減を図ることができる。
また、実施形態としての復号装置においては、復号部は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致する場合は特定信号を出力している。
これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致する場合に対応して、触覚提示装置を特定信号に基づき適切に駆動することが可能とされる。
従って、適切な触覚提示を行うことができる。
従って、適切な触覚提示を行うことができる。
さらに、実施形態としての復号装置においては、復号部は、識別情報に基づき特定した特定信号の物理量が所定の物理量と一致しない場合は、特定信号を所定の物理量を表す信号に換算し、該換算した信号を誤差情報に基づき補正して出力している。
これにより、特定信号の物理量が触覚提示装置が対応する物理量と一致しない場合に対応して、特定信号の換算信号を誤差情報に基づき補正した信号により触覚提示装置を適切に駆動することが可能とされる。
従って、適切な触覚提示を行うことができる。
従って、適切な触覚提示を行うことができる。
さらにまた、実施形態としての復号装置においては、復号部は、微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された符号化データを復号している。
これにより、符号化データに基づき変位、速度、加速度のうちの所望の物理量を表す触覚信号を得ることが可能とされる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。
従って、触覚提示装置が対応する物理量が変位、速度、加速度の何れであっても触覚提示を行うことが可能なシステムを実現することができる。
また、実施形態としての復号装置においては、復号部は、復号により得た触覚信号の振幅調整を行っている。
これにより、触覚信号に基づき駆動される触覚提示装置の種類に応じて触覚信号の振幅の大きさを適切に調整することが可能とされる。
従って、適切な触覚提示を実現することができる。
従って、適切な触覚提示を実現することができる。
また、実施形態としての復号方法は、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号方法である。
このような実施形態としての復号方法によっても、上記した実施形態としての復号装置と同様の作用及び効果を得ることができる。
ここで、これまでで説明した符号化部(24)や復号処理部(F2)による機能は、CPU等によるソフトウェア処理として実現することができる。該ソフトウェア処理は、プログラムに基づき実行され、該プログラムは、CPU等のコンピュータ装置(情報処理装置)が読み出し可能な記憶装置に記憶される。
実施形態としての符号化側のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させるプログラムである。
このようなプログラムによって、上記した実施形態としての符号化装置を実現することができる。
また、実施形態としての復号側のプログラムは、それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させるプログラムである。
このようなプログラムによって、上記した実施形態としての復号装置を実現することができる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<7.本技術>
なお本技術は以下のような構成も採ることができる。
(1)
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える
符号化装置。
(2)
前記符号化部は、
前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませる
前記(1)に記載の符号化装置。
(3)
前記符号化部は、
前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませる
前記(2)に記載の符号化装置。
(4)
前記符号化部は、
前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませる
前記(2)又は(3)に記載の符号化装置。
(5)
前記符号化部は、
前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行う
前記(1)乃至(4)の何れかに記載の符号化装置。
(6)
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備える
復号装置。
(7)
前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、
前記復号部は、
前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正する
前記(6)に記載の復号装置。
(8)
前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされた
前記(7)に記載の復号装置。
(9)
前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、
前記復号部は、
前記識別情報に基づき前記復号を行う
前記(7)又は(8)に記載の復号装置。
(10)
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力する
前記(9)に記載の復号装置。
(11)
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力する
前記(9)又は(10)に記載の復号装置。
(12)
前記復号部は、
微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号する
前記(6)乃至(11)の何れかに記載の復号装置。
(13)
前記復号部は、
前記復号により得た触覚信号の振幅調整を行う
前記(6)乃至(12)の何れかに記載の復号装置。
なお本技術は以下のような構成も採ることができる。
(1)
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える
符号化装置。
(2)
前記符号化部は、
前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませる
前記(1)に記載の符号化装置。
(3)
前記符号化部は、
前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませる
前記(2)に記載の符号化装置。
(4)
前記符号化部は、
前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませる
前記(2)又は(3)に記載の符号化装置。
(5)
前記符号化部は、
前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行う
前記(1)乃至(4)の何れかに記載の符号化装置。
(6)
それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備える
復号装置。
(7)
前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、
前記復号部は、
前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正する
前記(6)に記載の復号装置。
(8)
前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされた
前記(7)に記載の復号装置。
(9)
前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、
前記復号部は、
前記識別情報に基づき前記復号を行う
前記(7)又は(8)に記載の復号装置。
(10)
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力する
前記(9)に記載の復号装置。
(11)
前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力する
前記(9)又は(10)に記載の復号装置。
(12)
前記復号部は、
微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号する
前記(6)乃至(11)の何れかに記載の復号装置。
(13)
前記復号部は、
前記復号により得た触覚信号の振幅調整を行う
前記(6)乃至(12)の何れかに記載の復号装置。
1 触覚再現システム、2 符号化装置、3 再生装置、5-1 第一触覚センサ、5-2 第二触覚センサ、6 触覚提示装置、Dc 符号化データ、24 符号化部、24a 信号解析部、24b 符号化データ生成部、34 復号部、36 通信部、37 メディアドライブ、40 2階積分部、41、41A 差分計算部、42 変位基準値取得部、43 速度基準値計算部、44、44A 符号化データ生成部、45 2階微分部、F1 取得処理部、F2 復号処理部
Claims (17)
- それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する符号化部を備える
符号化装置。 - 前記符号化部は、
前記符号化データに、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とを含ませる
請求項1に記載の符号化装置。 - 前記符号化部は、
前記誤差情報として、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報を前記符号化データに含ませる
請求項2に記載の符号化装置。 - 前記符号化部は、
前記誤差情報として、前記特定信号が表す物理量を識別するための識別情報を前記符号化データに含ませる
請求項2に記載の符号化装置。 - 前記符号化部は、
前記符号化として、微積分による相互換算性を利用して情報量を圧縮する符号化を行う
請求項1に記載の符号化装置。 - それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する
符号化方法。 - それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って符号化データを生成する機能を情報処理装置に実現させる
プログラム。 - それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る復号部を備える
復号装置。 - 前記符号化データには、特定の物理量を表す触覚信号である特定信号と、前記特定信号を他の物理量を表す触覚信号に換算した際の換算誤差を表す誤差情報とが含まれ、
前記復号部は、
前記特定信号を前記他の物理量を表す触覚信号に換算し、該換算した触覚信号を前記誤差情報に基づき補正する
請求項8に記載の復号装置。 - 前記誤差情報は、前記特定信号と前記他の物理量を表す触覚信号との差分値を表す差分情報とされた
請求項9に記載の復号装置。 - 前記符号化データには、前記特定信号が表す物理量を識別するための識別情報が含まれ、
前記復号部は、
前記識別情報に基づき前記復号を行う
請求項9に記載の復号装置。 - 前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致する場合は前記特定信号を出力する
請求項11に記載の復号装置。 - 前記復号部は、
前記識別情報に基づき特定した前記特定信号の物理量が所定の物理量と一致しない場合は、前記特定信号を前記所定の物理量を表す信号に換算し、該換算した信号を前記誤差情報に基づき補正して出力する
請求項11に記載の復号装置。 - 前記復号部は、
微積分による相互換算性を利用して情報量を圧縮する符号化によって生成された前記符号化データを復号する
請求項8に記載の復号装置。 - 前記復号部は、
前記復号により得た触覚信号の振幅調整を行う
請求項8に記載の復号装置。 - それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る
復号方法。 - それぞれが異なる物理量を表す複数の触覚信号に対して物理量間の相互換算性を利用して情報量を圧縮する符号化を行って生成された符号化データを復号し、触覚信号を得る機能を情報処理装置に実現させる
プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018122963 | 2018-06-28 | ||
JP2018122963 | 2018-06-28 | ||
PCT/JP2019/017710 WO2020003728A1 (ja) | 2018-06-28 | 2019-04-25 | 符号化装置、符号化方法、復号装置、復号方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020003728A1 JPWO2020003728A1 (ja) | 2021-08-02 |
JP7272360B2 true JP7272360B2 (ja) | 2023-05-12 |
Family
ID=68986343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527238A Active JP7272360B2 (ja) | 2018-06-28 | 2019-04-25 | 符号化装置、符号化方法、復号装置、復号方法、プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11922797B2 (ja) |
JP (1) | JP7272360B2 (ja) |
CN (1) | CN112313603B (ja) |
DE (1) | DE112019003209T5 (ja) |
WO (1) | WO2020003728A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020008716A1 (ja) | 2018-07-03 | 2020-01-09 | ソニー株式会社 | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム |
CN115047971B (zh) * | 2022-06-16 | 2023-02-14 | 腾讯科技(深圳)有限公司 | 振动编码处理方法、装置、计算机设备及存储介质 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0688113A2 (en) | 1994-06-13 | 1995-12-20 | Sony Corporation | Method and apparatus for encoding and decoding digital audio signals and apparatus for recording digital audio |
JP3539645B2 (ja) | 1995-02-16 | 2004-07-07 | 株式会社日立製作所 | 遠隔手術支援装置 |
JP4066655B2 (ja) | 2001-09-27 | 2008-03-26 | Toto株式会社 | シャワー装置 |
AU2003213439A1 (en) * | 2002-03-08 | 2003-09-22 | Nippon Telegraph And Telephone Corporation | Digital signal encoding method, decoding method, encoding device, decoding device, digital signal encoding program, and decoding program |
US6930590B2 (en) | 2002-06-10 | 2005-08-16 | Ownway Biotronics, Inc. | Modular electrotactile system and method |
US8107527B1 (en) | 2005-07-28 | 2012-01-31 | Teradici Corporation | Progressive block encoding using region analysis |
JP4396683B2 (ja) | 2006-10-02 | 2010-01-13 | カシオ計算機株式会社 | 音声符号化装置、音声符号化方法、及び、プログラム |
JP4989383B2 (ja) | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
EP2277096A1 (en) | 2008-05-09 | 2011-01-26 | Koninklijke Philips Electronics N.V. | Method and system for conveying an emotion |
JP5464312B2 (ja) * | 2008-07-25 | 2014-04-09 | 株式会社セガ | 遊戯乗物システムおよびその制御方法 |
KR101324687B1 (ko) * | 2009-08-10 | 2013-11-04 | 한국과학기술원 | 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치 |
JP2013526199A (ja) | 2010-04-26 | 2013-06-20 | パナソニック株式会社 | 予測誤差から導出されるブロック形状を用いた予測符号化 |
US9924251B2 (en) | 2010-09-01 | 2018-03-20 | Mor Efrati | Transducer holder |
US9264094B2 (en) | 2011-06-09 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Voice coding device, voice decoding device, voice coding method and voice decoding method |
JP2013091114A (ja) * | 2011-10-05 | 2013-05-16 | Kyokko Denki Kk | インタラクション操作システム |
AU2013312252B2 (en) * | 2012-09-07 | 2017-09-28 | Lawrence F. Glaser | Credit card form factor secure mobile computer and methods |
EP3399763A1 (en) | 2013-05-24 | 2018-11-07 | Immersion Corporation | Method and system for haptic data encoding |
US10599218B2 (en) | 2013-09-06 | 2020-03-24 | Immersion Corporation | Haptic conversion system using frequency shifting |
US9317120B2 (en) | 2013-09-06 | 2016-04-19 | Immersion Corporation | Multiplexing and demultiplexing haptic signals |
JP2015121918A (ja) | 2013-12-24 | 2015-07-02 | 株式会社ニコン | 振動装置及び電子機器 |
EP3100244B1 (en) | 2014-01-29 | 2020-08-05 | The Guitammer Company | Haptic-tactile, motion or movement signal conversion system and assembly |
AU2014210579B2 (en) | 2014-07-09 | 2019-10-10 | Baylor College Of Medicine | Providing information to a user through somatosensory feedback |
US9454915B2 (en) | 2014-08-20 | 2016-09-27 | Thieab Ibrahim Aldossary | Electro tactile communication apparatus, method, and computer program product |
US10992727B2 (en) | 2015-04-08 | 2021-04-27 | Sony Corporation | Transmission apparatus, transmission method, reception apparatus, and reception method |
JP6445921B2 (ja) | 2015-04-21 | 2018-12-26 | 任天堂株式会社 | 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム |
MX2017015589A (es) | 2015-06-02 | 2018-07-06 | Battelle Memorial Institute | SISTEMAS Y MíTODOS PARA EL ENLACE NEURONAL DEL SISTEMA NERVIOSO. |
EP3112987A1 (en) | 2015-06-29 | 2017-01-04 | Thomson Licensing | Method and schemes for perceptually driven encoding of haptic effects |
CN109074157B (zh) | 2016-04-07 | 2021-05-11 | 国立研究开发法人科学技术振兴机构 | 触觉信息转换装置、触觉信息转换方法、及触觉信息转换程序、以及元件配置结构体 |
JP6971553B2 (ja) | 2016-06-10 | 2021-11-24 | 任天堂株式会社 | ゲームコントローラ |
CN109416584B (zh) | 2016-07-07 | 2022-08-02 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JP6667810B2 (ja) | 2016-07-15 | 2020-03-18 | 国立大学法人電気通信大学 | 触覚提示装置 |
JP2018060313A (ja) * | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
WO2018092595A1 (ja) | 2016-11-17 | 2018-05-24 | ソニー株式会社 | 振動提示装置および振動提示方法、並びにプログラム |
US10427039B2 (en) | 2016-12-08 | 2019-10-01 | Immersion Corporation | Haptic surround functionality |
WO2018194884A1 (en) | 2017-04-17 | 2018-10-25 | Facebook, Inc. | Haptic communication system using cutaneous actuators for simulation of continuous human touch |
WO2019009449A1 (ko) | 2017-07-06 | 2019-01-10 | 삼성전자 주식회사 | 영상을 부호화/복호화 하는 방법 및 그 장치 |
JP6943807B2 (ja) | 2018-04-17 | 2021-10-06 | 株式会社東海理化電機製作所 | 触覚情報呈示装置 |
WO2020003727A1 (ja) | 2018-06-28 | 2020-01-02 | ソニー株式会社 | 復号装置、復号方法、プログラム |
WO2020008716A1 (ja) | 2018-07-03 | 2020-01-09 | ソニー株式会社 | 符号化装置、符号化方法、復号装置、復号方法、伝送システム、受信装置、プログラム |
-
2019
- 2019-04-25 CN CN201980041828.2A patent/CN112313603B/zh active Active
- 2019-04-25 US US17/254,566 patent/US11922797B2/en active Active
- 2019-04-25 WO PCT/JP2019/017710 patent/WO2020003728A1/ja active Application Filing
- 2019-04-25 DE DE112019003209.7T patent/DE112019003209T5/de active Pending
- 2019-04-25 JP JP2020527238A patent/JP7272360B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20210272426A1 (en) | 2021-09-02 |
WO2020003728A1 (ja) | 2020-01-02 |
DE112019003209T5 (de) | 2021-04-08 |
CN112313603A (zh) | 2021-02-02 |
JPWO2020003728A1 (ja) | 2021-08-02 |
CN112313603B (zh) | 2024-05-17 |
US11922797B2 (en) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6664137B2 (ja) | 触感記録および再生 | |
KR101884483B1 (ko) | 미디어 인식 및 움직임 신호와의 동기화 | |
KR20160078226A (ko) | 고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션 | |
US20240030936A1 (en) | Decoding apparatus, decoding method, and program | |
US11496152B2 (en) | Decoding device, decoding method, and program | |
US20230419795A1 (en) | Encoding apparatus, encoding method, decoding apparatus, decoding method, transmission system, receiving apparatus, and program | |
JP7272360B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法、プログラム | |
KR20060112601A (ko) | 키 생성 방법 및 키 생성 장치 | |
JP7380568B2 (ja) | 触覚提示装置の事前駆動 | |
WO2019046744A1 (en) | AID TO THE VIBROTACTILE WORD TO WEAR ABOUT | |
CN111415675B (zh) | 音频信号处理方法、装置、设备及存储介质 | |
US11967976B2 (en) | Coding device, coding method, decoding device, decoding method, and program | |
KR102091460B1 (ko) | 음장 데이터를 처리하는 장치 및 방법 | |
WO2020031527A1 (ja) | 信号生成装置、信号生成方法、プログラム、再生装置 | |
WO2021220659A1 (ja) | 復号装置、復号方法、プログラム、符号化装置、符号化方法 | |
CN112313604B (zh) | 解码设备、解码方法和程序 | |
Roze et al. | A TECHNOLOGICAL PLATFORM FOR ANALYZING AND IMPROVING MUSICIANS'SOUND-GESTURE INTERACTIONS | |
CN115623410A (zh) | 一种音频处理方法、装置及存储介质 | |
KR20010096868A (ko) | 진동효과장치 | |
KR20040052527A (ko) | 진동주파수를 동영상파일에 함께 저장하고 재생하게 하는 기술과 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7272360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |