JP7494848B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7494848B2
JP7494848B2 JP2021522737A JP2021522737A JP7494848B2 JP 7494848 B2 JP7494848 B2 JP 7494848B2 JP 2021522737 A JP2021522737 A JP 2021522737A JP 2021522737 A JP2021522737 A JP 2021522737A JP 7494848 B2 JP7494848 B2 JP 7494848B2
Authority
JP
Japan
Prior art keywords
signal
haptic
change
playback
playback speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021522737A
Other languages
English (en)
Other versions
JPWO2020241170A1 (ja
Inventor
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020241170A1 publication Critical patent/JPWO2020241170A1/ja
Application granted granted Critical
Publication of JP7494848B2 publication Critical patent/JP7494848B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、振動刺激等の触覚刺激をユーザに提供することができる様々なコンテンツ及び装置が開発されている。例えば、以下の特許文献1には、振動刺激を用いて、機能及び操作性等の向上を図ることのできる情報処理装置が開示されている。
特開2018-64264号公報
しかし、特許文献1等に開示の技術によっては、コンテンツの再生速度に基づいて触覚刺激を適切に提供することができない場合があった。例えば、コンテンツの再生速度を標準よりもはるかに遅くする場合(再生速度を所定値よりも遅くする場合。以降、「スーパースロー再生」と呼称する場合もある)において、単純に触覚刺激の再生速度も遅くすると、触覚刺激に対してユーザが違和感を覚え臨場感が損なわれる可能性がある。一方、コンテンツのスーパースロー再生が行われる間、触覚刺激の提供を省略すると、やはり臨場感が損なわれる可能性がある(なお、上記の課題はあくまで一例であり、本開示に係る課題はこれらに限定されない)。
そこで、本開示は、上記事情に鑑みてなされたものであり、コンテンツの再生速度に基づいて触覚刺激をより適切に提供することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供する。
本開示によれば、ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成する触覚制御部を備え、前記触覚制御部は、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、情報処理装置が提供される。
また、本開示によれば、ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成することを有し、前記生成することは、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、コンピュータにより実行される情報処理方法が提供される。
また、本開示によれば、ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成すること、をコンピュータに実現させ、前記生成することは、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、ためのプログラムが提供される。
また、本開示によれば、ユーザに提供されるコンテンツの再生速度に基づいて生成され、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を受信する通信部と、前記信号を用いて前記触覚刺激を出力する触覚出力部と、を備え、前記信号は、前記再生速度の変化に基づいて再生期間が変化するように変化し、前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように変化する、情報処理装置が提供される。
本実施形態に係る情報処理システムの構成例を示すブロック図である。 本実施形態に係る配信装置の構成例を示すブロック図である。 本実施形態に係る再生装置の構成例を示すブロック図である。 コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させる処理の具体例について説明するための図である。 コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させる処理の具体例について説明するための図である。 コンテンツの再生速度に基づく触覚信号の再生態様の具体例について説明するための図である。 本実施形態に係る各構成の処理フロー例を示すフローチャートである。 振動アクチュエータの周波数特性の一例を示す図である。 変形例において、コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させる処理の具体例について説明するための図である。 変形例に係る各構成の処理フロー例を示すフローチャートである。 シークバーにより再生速度が変更される場合において表示される映像の具体例について説明するための図である。 本実施形態及び変形例に係る各装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.概要
2.実施形態
2.1.構成例
2.2.触覚制御部による制御例
2.3.処理フロー例
3.変形例
4.備考
5.ハードウェア構成例
6.むすび
<1.概要>
まず、本開示の概要について説明する。
上記のとおり、近年、振動刺激等の触覚刺激をユーザに提供することができる様々な装置が開発されており、触覚刺激は、映像や音声と共に(メディア)コンテンツの要素としてより広く提供されるようになる可能性がある。
コンテンツについては、既に、様々な表現とそれに対応する再生技術が開発されている。具体的には、コンテンツの再生速度を速める、又は遅らせる場合におけるコンテンツの様々な表現手法が開発されている。例えば、映像の再生速度を標準よりもはるかに遅くすることによって肉眼ではとらえにくい速い動きを認識可能にする技術が開発されており、当該技術は、例えばスポーツ中継等で用いられている。逆に、映像の再生速度を標準よりもはるかに速くする技術も開発されており、コンテンツにおける所望の場面を探索すること等に用いられている。
映像の再生速度が変更される場合における音声の表現手法について言及すると、音声も映像の再生速度に対応するように再生速度が変更される場合、ユーザの耳には実際の音声よりも低く又は高く音声が聞こえてしまう。そのため、映像の再生速度が変更される間には音声の再生を省略したり別の音声に置換したりする手法がとられる場合がある。もちろん、これらの表現手法に限定されず、様々な表現手法が開発され実現されている。
一方で、映像の再生速度が変更される場合における触覚刺激の表現手法についても、音声と同様に様々な表現手法が開発されているが、従来技術(例えば、上記の特許文献1等に開示の技術)によっては、コンテンツの再生速度に基づいて触覚刺激を適切に提供することができない場合があった。例えば、映像のスーパースロー再生が行われる場合において、単純に触覚刺激の再生速度も遅くすると、触覚刺激に対してユーザが違和感を覚え臨場感が損なわれる可能性がある。具体的には、周波数が160[Hz]の振動刺激が1/8倍速で再生される場合、振動刺激の周波数が20[Hz]に変化することにより、ユーザが大きな違和感を受けてしまう可能性がある。また、再生速度の変化後の周波数が、振動刺激を出力する装置(例えば、振動アクチュエータ等)の出力可能な範囲から外れることで、振動刺激が出力されない場合もある。一方、映像のスーパースロー再生が行われる間、触覚刺激の提供を省略すると、やはり臨場感が損なわれる可能性がある。これらの課題は、コンテンツの再生速度がより速く変更される場合についても同様に当てはまる。
ここで、人間の触覚刺激に対する感覚特性と、音声に対する感覚特性とは互いに異なる。例えば、人間の感覚は、音声よりも触覚刺激の方が周波数変化に鈍感である。具体的には、音声の周波数の変化率が1[%]以下であっても、人間はその変化を知覚する可能性が高い一方で、振動刺激(触覚刺激の一例である)の周波数の変化率が30[%]以下であれば、人間はその変化を知覚しない可能性が高いことが知られている。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置は、ユーザに提供されるコンテンツの再生速度に基づいて、コンテンツに対応する触覚刺激をユーザに提供することに用いられる信号を生成する。具体的には、本開示に係る情報処理装置は、コンテンツの再生速度の変化に基づいて当該信号を変化させる。例えば、本開示に係る情報処理装置は、コンテンツの再生速度の変化に基づいて当該信号の再生期間を変化させるように信号を変化させる。
これにより、本開示に係る情報処理装置は、コンテンツの再生速度に基づいて触覚刺激をより適切に提供することができる。具体的に説明すると、上記のとおり、触覚刺激の周波数変化に対する人間の感覚は比較的鈍感であるため、本開示に係る情報処理装置は、触覚刺激をユーザに提供することに用いられる信号の再生期間を変化させるように当該信号を変化させても違和感のない触覚刺激をユーザに提供することができる。以降では、本開示に係る情報処理装置の機能及び処理について詳細に説明していく。
<2.実施形態>
(2.1.構成例)
上記では、本開示の概要について説明した。続いて、本開示の一実施形態に係る種々の構成例について説明する。
(情報処理システムの構成例)
図1は、本実施形態に係る情報処理システム1の構成例を示すブロック図である。図1に示すように、本実施形態に係る情報処理システム1は、配信装置100と、再生装置200と、を備える。
配信装置100は、再生装置200に対してコンテンツを配信する情報処理装置である。例えば、配信装置100は、再生装置200から受信する要求信号(リクエスト)に基づいて再生装置200に対してコンテンツを配信する。なお、配信態様は必ずしもこれに限定されない。例えば、配信装置100は、再生装置200からの要求信号なしにコンテンツを配信してもよい。
ここで、「コンテンツ」は、少なくとも触覚刺激を含むものであればよく、触覚刺激の他に例えば映像、又は音声を含むものであってもよい。本実施形態では、コンテンツが映像、音声、及び触覚刺激を含むものである場合を一例として説明する。すなわち、配信装置100は、映像、音声、及び触覚刺激の出力に用いられる、所定フォーマットの信号を生成し、当該信号を再生装置200へ送信する。なお、配信装置100による信号の生成方法や配信方法は特に限定されない。以降では、映像の出力に用いられる信号を「映像信号」、音声の出力に用いられる信号を「音声信号」、触覚刺激の出力に用いられる信号を「触覚信号」とも呼称する。
また、「触覚刺激」とは、振動刺激、電気刺激、温度変化による刺激、力覚に関する刺激(例えば、物体に押される感覚の刺激、物体と接触した感覚の刺激、又は締め付けられる感覚の刺激等)、及び皮膚感覚に関する刺激(例えば、ざらざらした感覚の刺激、又はつるつるした感覚の刺激等)のうちの少なくともいずれか1つを含み、これらが組み合わされたものであってもよい。なお、触覚刺激は、必ずしもこれらに限定されず、ユーザの触覚に対して作用する刺激であればよい。本実施形態では、主として触覚刺激が振動刺激である場合を一例として説明する。
配信装置100は、必ずしも一台で実現されなくてもよい。例えば、コンテンツが野球等のスポーツ中継である場合、配信装置100は、野球場に配置され撮影を行うビデオカメラ、ビデオカメラの映像を編集する装置、編集後の映像を配信する装置等により実現されてもよく、それぞれの装置の台数も特に限定されない。
一方、再生装置200は、配信装置100から受信した各種信号を用いてコンテンツを再生する情報処理装置である。再生装置200は、少なくとも触覚刺激を提供可能なものであればよく、例えば、スマートフォン、タブレットPC(Personal Computer)、又はヘッドマウントディスプレイ等であってもよい。本実施形態では、再生装置200がスマートフォンである場合を一例として説明する。すなわち、再生装置200は、配信装置100から受信した触覚信号を用いて振動アクチュエータ等を振動させることで振動刺激を出力し、映像信号を用いてディスプレイ等に映像を表示し、音声信号を用いてスピーカ等から音声を出力する。
再生装置200も、配信装置100と同様に、必ずしも一台で実現されなくてもよい。例えば、再生装置200は、触覚刺激を出力可能な装置、映像を出力可能な装置、及び音声を出力可能な装置等により実現されてもよく、それぞれの装置の台数も特に限定されない。
本実施形態に係る再生装置200は、コンテンツの再生速度の変更処理、及びそれに伴う各種制御を行う。例えば、再生装置200は、ユーザによる入力に基づいてコンテンツの再生速度を変化させる(換言すると、コンテンツの再生速度は、ユーザによる入力に基づいて決定される)。そして、再生装置200は、コンテンツの再生速度の変化に伴い、配信装置100から受信した各種信号を変化させることで出力を変化させる。ここで、「コンテンツの再生速度」とは、映像、音声、及び触覚刺激を含むコンテンツがユーザに提供される速度であり、ユーザが体感する速度、及び再生装置200による処理速度のいずれを指してもよい。コンテンツの再生速度の範囲は特に制限されるものではない。具体的には、0.125倍速程度のスーパースロー再生、0.5~0.9倍速程度の再生(「ゆっくり見再生」とも呼称される)、又は2.0~8.0倍速程度の再生(「早送り再生」とも呼称される)等を含めて様々な態様で再生が行われ得る。また、コンテンツの再生場面の制御に用いられるユーザインタフェースの操作(例えば、シークバーにおけるノブ(つまみ)の移動等)による場面転換の速度が再生速度として扱われてもよい(詳細については後述する)。なお、コンテンツの再生速度の変更処理、及びそれに伴う各種制御は、配信装置100により実現されてもよいし、配信装置100及び再生装置200の分散処理により実現されてもよい。
また、図1に示した構成はあくまで一例であり、本実施形態に係る情報処理システム1の構成例は必ずしも図1の例に限定されない。例えば、配信装置100及び再生装置200以外の装置が別途備えられてもよい。
(配信装置の構成例)
図2は、本実施形態に係る配信装置100の構成例を示すブロック図である。図2に示すように、本実施形態に係る配信装置100は、制御部110と、通信部120と、記憶部130と、を備える。そして、制御部110は、映像制御部111と、音声制御部112と、触覚制御部113と、を備える。
制御部110は、配信装置100が行う処理全般を統括的に制御する構成である。例えば、制御部110は、再生装置200からの要求信号に基づいて各構成(例えば、映像制御部111、音声制御部112、及び触覚制御部113等)の起動及び停止を制御する。なお、制御部110の制御内容は特に限定されない。例えば、制御部110は、各種サーバ、汎用コンピュータ、PC、又はタブレットPC等において一般的に行われる処理(例えば、OS(Operating System)に関する処理等)を制御してもよい。
映像制御部111は、再生装置200により出力される映像の内容を制御する構成である。具体的には、映像制御部111は、再生装置200からの要求信号に基づいて映像信号を生成し、通信部120を介して映像信号を再生装置200へ送信する。なお、映像制御部111により提供される映像の内容は特に限定されない。例えば、映像制御部111により提供される映像は、再生装置200からの要求信号により特定される映像であってもよいし、再生装置200がヘッドマウントディスプレイ等のように位置及び姿勢が変化する情報処理装置である場合には再生装置200の位置及び姿勢により決まる映像であってもよい。また、映像制御部111により提供される映像は、右目用の映像、及び左目用の映像により構成されてもよい。また、映像信号は、音声信号及び触覚信号と併せてひとまとまりのデータとして提供されてもよいし、別々のデータとして提供されてもよい(いずれにせよ、映像、音声、及び触覚刺激は同期して提供されることが望ましい)。
音声制御部112は、再生装置200により出力される音声の内容を制御する構成である。具体的には、音声制御部112は、再生装置200からの要求信号に基づいて音声信号を生成し、通信部120を介して音声信号を再生装置200へ送信する。なお、音声制御部112により提供される音声の内容は特に限定されない。例えば、音声制御部112により提供される音声は、再生装置200からの要求信号により特定される音声であってもよいし、再生装置200がヘッドマウントディスプレイ等である場合には再生装置200の位置及び姿勢により決まる音声であってもよい。また、音声制御部112により提供される音声は、右耳用の音声、及び左耳用の音声により構成されてもよい。
触覚制御部113は、再生装置200により出力される触覚刺激(例えば、振動刺激等)の内容を制御する構成である。具体的には、触覚制御部113は、再生装置200からの要求信号に基づいて触覚信号を生成し、通信部120を介して触覚信号を再生装置200へ送信する。なお、触覚制御部113により提供される触覚刺激の内容は特に限定されない。例えば、触覚制御部113により提供される触覚刺激は、再生装置200からの要求信号により特定される触覚刺激であってもよいし、再生装置200がヘッドマウントディスプレイ等である場合には再生装置200の位置及び姿勢により決まる触覚刺激であってもよい。
通信部120は、再生装置200と通信を行う構成である。例えば、通信部120は、コンテンツの要求信号を再生装置200から受信したり、映像信号、音声信号、及び触覚信号を再生装置200へ送信したりする。なお、通信部120が通信する情報、及び通信するケースはこれらに限定されない。
記憶部130は、各種情報を記憶する構成である。例えば、記憶部130は、制御部110によって生成された各種信号等を記憶したり、配信装置100の各構成によって使用されるプログラムやパラメータ等を記憶したりする。なお、記憶部130が記憶する情報はこれらに限定されない。
以上、配信装置100の構成例について説明した。なお、図2を用いて説明した上記の構成はあくまで一例であり、配信装置100の構成は係る例に限定されない。例えば、配信装置100は、図2に示す構成の全てを必ずしも備えなくてもよいし、図2に示していない構成を備えていてもよい。また、配信装置100の構成は、仕様や運用に応じて柔軟に変形可能である。
(再生装置の構成例)
図3は、本実施形態に係る再生装置200の構成例を示すブロック図である。図3に示すように、本実施形態に係る再生装置200は、制御部210と、通信部220と、入力部230と、出力部240と、記憶部250と、を備える。そして、制御部210は、速度決定部211と、映像制御部212と、音声制御部213と、触覚制御部214と、を備え、出力部240は、映像出力部241と、音声出力部242と、触覚出力部243と、を備える。
制御部210は、再生装置200が行う処理全般を統括的に制御する構成である。例えば、制御部210は、配信装置100からの各種信号に基づいて各構成(例えば、速度決定部211、映像制御部212、音声制御部213、及び触覚制御部214等)の起動及び停止を制御する。なお、制御部210の制御内容は特に限定されない。例えば、制御部210は、各種サーバ、汎用コンピュータ、PC、又はタブレットPC等において一般的に行われる処理(例えば、OSに関する処理等)を制御してもよい。
速度決定部211は、コンテンツの再生速度を決定する構成である。例えば、速度決定部211は、入力部230に対して行われるユーザによる入力に基づいてコンテンツの再生速度を決定する。これにより、ユーザは所望の速度でコンテンツを再生することができる。上記のとおり、コンテンツの再生速度の範囲は特に制限されるものではない。
映像制御部212は、映像の出力を制御する構成である。具体的には、映像制御部212は、配信装置100から提供された映像信号を映像出力部241に提供することで映像出力部241による映像の出力を制御する。その際、映像制御部212は、速度決定部211により決定された再生速度で映像が出力されるように映像信号の提供を行う。
音声制御部213は、音声の出力を制御する構成である。具体的には、音声制御部213は、配信装置100から提供された音声信号を音声出力部242に提供することで音声出力部242による音声の出力を制御する。その際、音声制御部213は、速度決定部211により決定された再生速度で音声が出力されるように音声信号の提供を行う。ここで、上記のとおり、人間の感覚は触覚刺激よりも音声の方が周波数変化に敏感である。そこで、再生速度の変化率が所定値より大きい場合(音声の変化が知覚される程度に大きい場合)、音声制御部213は、話速変換処理を用いて音声信号を変化させ、音声出力部242に提供する。「話速変換処理」は、音声の質及び高さを維持したまま再生期間を変化させる処理である。これにより、音声制御部213は、ユーザに違和感を与えることなく、音声をゆっくり又は速く出力させることができる。音声制御部213は、既存の話速変換処理を用いることができるため、話速変換処理の詳細な説明については省略する。なお、音声制御部213は、再生速度の変化前後で必ずしも音声の質及び高さを維持しなくてもよい。
触覚制御部214は、触覚刺激の出力を制御する構成である。具体的には、触覚制御部214は、配信装置100から提供された触覚信号を触覚出力部243に提供することで触覚出力部243による触覚刺激の出力を制御する。その際、触覚制御部214は、速度決定部211により決定された再生速度で触覚刺激が出力されるように触覚信号の提供を行う。また、本実施形態において触覚制御部214は、コンテンツの再生速度に基づいて触覚信号を変化させることができる(なお、触覚信号を変化させることは、触覚信号を生成することと等価である点に留意されたい)。詳細については後述する。
通信部220は、配信装置100と通信を行う構成である。例えば、通信部220は、コンテンツの要求信号を配信装置100へ送信したり、映像信号、音声信号、及び触覚信号を配信装置100から受信したりする。なお、通信部220が通信する情報、及び通信するケースはこれらに限定されない。
入力部230は、ユーザによる入力を受ける構成である。例えば、入力部230は、マウス、キーボード、タッチパネル、ボタン、スイッチ、又はマイクロフォン等の入力装置を備えており、ユーザは、これらの入力装置を用いることによってコンテンツの要求や、コンテンツの再生速度の変更等のための入力操作を行うことができる。なお、入力部230が備える入力装置はこれらに限定されない。
出力部240は、制御部210により制御されることで各種出力を行う構成である。具体的には、映像出力部241は、映像を出力可能なディスプレイ等の映像出力装置であり、音声出力部242は、音声を出力可能なスピーカ等の音声出力装置であり、触覚出力部243は、振動刺激を出力可能な振動アクチュエータ等の触覚出力装置等である。これらの構成は、制御部210から提供される信号(映像信号、音声信号、及び触覚信号)を用いて各種出力を行う。なお、出力部240の各構成が備える出力装置は上記に限定されない。例えば、触覚刺激は必ずしも振動刺激に限定されないところ、触覚出力部243の種類が、提供の対象となる触覚刺激に応じて変わることは言うまでもない。
記憶部250は、各種情報を記憶する構成である。例えば、記憶部250は、制御部210によって処理された各種信号等を記憶したり、再生装置200の各構成によって使用されるプログラムやパラメータ等を記憶したりする。なお、記憶部250が記憶する情報はこれらに限定されない。
以上、再生装置200の構成例について説明した。なお、図3を用いて説明した上記の構成はあくまで一例であり、再生装置200の構成は係る例に限定されない。例えば、再生装置200は、図3に示す構成の全てを必ずしも備えなくてもよいし、図3に示していない構成を備えていてもよい。また、再生装置200の構成は、仕様や運用に応じて柔軟に変形可能である。また、コンテンツの再生速度の変更に伴う各種制御が再生装置200ではなく配信装置100により実現される場合、再生装置200の通信部220は、再生速度に基づいて配信装置100により生成された触覚信号を受信し、触覚出力部243は、当該触覚信号を用いて触覚刺激を出力することになる。
(2.2.触覚制御部による制御例)
上記では、本実施形態に係る種々の構成例について説明した。続いて、再生装置200の触覚制御部214による制御例について説明する。
上記のとおり、触覚制御部214は、コンテンツの再生速度に基づいて触覚信号(触覚刺激をユーザに提供することに用いられる信号)を変化させる(なお、触覚信号を変化させることは、触覚信号を生成することと等価である点に留意されたい)。具体的には、触覚制御部214は、コンテンツの再生速度の変化に基づいて配信装置100から提供された触覚信号を変化させる。例えば、触覚制御部214は、コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させるように触覚信号を変化させる。
ここで、図4及び図5を参照して、コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させる処理の具体例について説明する。図4には、コンテンツが1.0倍速で再生される場合、0.8倍速で再生される場合、1.2倍速で再生される場合のそれぞれについての触覚信号が示されている。触覚制御部214は、図4に示すように、再生速度の変化に基づいて触覚信号の周波数を変化させるように触覚信号を伸長又は圧縮することで、触覚信号の再生期間を延長又は短縮してもよい。具体的には、再生速度が0.8倍速である場合、触覚制御部214は、再生速度が1.0倍速である場合に比べて、触覚信号の周波数が低くなるように触覚信号を伸長することで、触覚信号の再生期間を延長してもよい。また、再生速度が1.2倍速である場合、触覚制御部214は、再生速度が1.0倍速である場合に比べて、触覚信号の周波数が高くなるように触覚信号を圧縮することで、触覚信号の再生期間を短縮してもよい。
上記のとおり、触覚刺激の周波数変化に対する人間の感覚は比較的鈍感であるため、触覚制御部214は、再生速度の変化に基づいて触覚信号の周波数を変化させるように触覚信号を伸長又は圧縮しても違和感のない触覚刺激をユーザに提供することができる。また、触覚信号の周波数を変化させるように触覚信号を伸長又は圧縮する処理は、以下で説明する、触覚信号の周波数を維持するように触覚信号を変化させる処理に比べて低い負荷で実現可能である。
また、コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きい場合、図4のように触覚信号の周波数が変化すると、人間は触覚刺激の変化を知覚する可能性が高い。図5には、コンテンツが1倍速で再生される場合、0.5倍速で再生される場合のそれぞれについての触覚信号が示されているところ、触覚制御部214は、図5に示すように、コンテンツの再生速度の変化に基づいて触覚信号の周波数を維持するように触覚信号を変化させることで、触覚信号の再生期間を延長又は短縮してもよい。具体的には、触覚制御部214は、コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きい場合、当該変化率に基づいて触覚信号の周波数を維持するように触覚信号を変化させることで、触覚信号の再生期間を延長又は短縮してもよい。例えば、触覚制御部214は、音声制御部213が行う話速変換処理と同様の処理を行うことで当該触覚信号の周波数を維持するように触覚信号を変化させることができる。なお、必ずしも話速変換処理が用いられなくてもよい。これにより、コンテンツの再生速度の変化率が、触覚刺激の変化を知覚されるほど大きい場合であっても、触覚制御部214は、違和感のない触覚刺激をユーザに提供することができる。また、当該処理によっては触覚信号の周波数が維持されるため、触覚制御部214は、より高精度の(製作者が意図した通りの)触覚刺激を提供することができる。
また、触覚制御部214は、コンテンツの再生速度に基づいて触覚信号の再生を省略したり、触覚信号を変化させることなく再生させたりしてもよい。図6には、コンテンツの再生速度に基づく触覚信号の再生態様の具体例が示されている。例えば、コンテンツの再生速度が所定の範囲内(例えば、0.5倍速~4.0倍速の範囲内)である場合、上記のように触覚信号の再生期間を変化させる一方で、コンテンツの再生速度が所定値(例えば、0.5倍速)よりも遅い場合、上記のように触覚信号の再生期間を延長させると、再生期間が長すぎることによりユーザが違和感(又は不快感)を覚える可能性がある。そこで、触覚制御部214は、コンテンツの再生速度が所定値(例えば、0.5倍速)よりも遅い場合、図6に示すように、触覚信号の再生を省略してもよい。なお、図6には示していないが、コンテンツの再生速度が所定値よりも速い場合についても同様に触覚信号の再生が省略されてもよい。
また、例えば、コンテンツの再生速度が所定値(例えば、4.0倍速)よりも速い場合、上記のように触覚信号の再生期間を短縮させると、再生期間が短すぎることによりユーザが振動刺激を適切に知覚できない可能性がある。そこで、触覚制御部214は、コンテンツの再生速度が所定値(例えば、4.0倍速)よりも速い場合、図6に示すように、元の触覚信号のまま再生を行わせてもよい。なお、図6には示していないが、コンテンツの再生速度が所定値よりも遅い場合についても同様に触覚信号を変化させることなく再生を行わせてもよい。
なお、コンテンツの再生速度に基づく触覚信号の再生態様は必ずしも図6の例に限定されない。例えば、触覚信号の再生期間が長すぎたり、再生頻度が多すぎたりすることによりユーザが違和感(又は不快感)を覚える可能性がある場合、触覚制御部214は、適宜触覚信号を間引いてもよい。間引く処理を加える場合には、触覚信号の再生箇所は、特徴的な箇所に限定されていても良い。特徴的な箇所の抽出方法としては、例えば、信号のボリュームが一定値を超える箇所、時間当たりの信号強度が一定値を超える箇所などが考えられる。あるいは、再生速度が4倍速の場合には、8秒のシーンに対して1箇所、再生速度が8倍速の場合には、16秒のシーンに対して1箇所、というように、再生速度に応じた時間当たりの再生箇所の数を限定することで抽出しても良い。
間引く処理を加えた場合にも、1箇所の触覚信号の長さが長い場合には、再生速度によっては、複数の信号の再生が重なる恐れがある。そのような場合には、1箇所の触覚信号の再生期間を一定値以下として、それ以降の時間分は再生しない、あるいは、重なる後ろ側の触覚信号の再生を省略する、などの処理が考えらえられる。また、人間の触覚の特性として、2つの触覚(振動)刺激の時間間隔が一定値(振動刺激が強い場合には例えば10[ms]程度、弱い場合には例えば50[ms]程度と言われる)以内であった時には、2つの刺激が繋がって1つに感じることが知られている。そのため、この数値を考慮して、2つの触覚信号の時間間隔(1つ目の触覚信号の最後と、2つ目の触覚信号の最初)が一定以内である場合には、同様に、2つ目の信号を再生しない、あるいは、1つ目の信号を短く切って、一定時間間隔を空けた後に2つ目の信号を再生する、などの処理が有効となる。
また、コンテンツの再生速度に基づく触覚信号の再生態様として、映像の再生に合わせて音声を再生する条件(再生速度が1.0倍速に近い場合など)においては、触覚信号を再生し、音声を再生しない場合には、触覚信号の再生も行わない、という処理も考えられる。逆に、音声が再生されない条件でも、コンテンツのシーン変化の理解補助等の目的で、触覚信号は再生する実施も考えられる。一般に、端末の出力する音声から触覚信号を自動的に生成するアルゴリズムが知られており、商用利用されているが、本実施形態の場合には、当該アルゴリズムが、触覚信号の再生用に、音声信号の非再生時にも動作することが処理上の特徴となり得る。
(2.3.処理フロー例)
上記では、再生装置200の触覚制御部214による制御例について説明した。続いて、本実施形態に係る各構成の処理フロー例について説明する。
図7は、本実施形態に係る各構成の処理フロー例を示すフローチャートである。ステップS1000では、ユーザが、例えば再生装置200の入力部230を介して入力を行う。ステップS1004では、速度決定部211が、当該入力に基づいてコンテンツの再生速度を決定する。なお、ユーザによる入力がない場合、ステップS1000及びステップS1004は省略される。
コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きくない場合(ステップS1008/No)、周波数の変化による触覚刺激の変化が知覚されない可能性が高いため、ステップS1012にて、触覚制御部214は、再生速度の変化率に基づいて触覚信号の周波数を変化させるように触覚信号を伸長(又は圧縮)することで、触覚信号の再生期間を延長(又は短縮)する。なお、図4に示したように、再生速度が遅くなる場合に触覚信号が伸長され、再生速度が速くなる場合に触覚信号が圧縮される。
コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きい場合(ステップS1008/Yes)、周波数の変化による触覚刺激の変化が知覚される可能性が高いため、ステップS1016にて、触覚制御部214は、再生速度の変化率に基づいて触覚信号の周波数を維持するように触覚信号を変化させることで、触覚信号の再生期間を延長(又は短縮)する。
ステップS1020では、触覚出力部243が触覚制御部214から提供される触覚信号を用いて振動刺激を出力する。コンテンツが終了した場合(ステップS1024/Yes)、一連の処理が終了する。コンテンツが継続している場合(ステップS1024/No)、ステップS1000~ステップS1020の処理が継続される。
図7に示すフローチャートの処理が、所定の単位毎(例えば、フレーム毎)に繰り返される。これにより、本実施形態に係る情報処理システム1は、コンテンツの再生速度に基づいて振動刺激をより適切に提供することができる。具体的には、周波数の変化による触覚刺激の変化が知覚されない程度に再生速度の変化率が小さい場合には、情報処理システム1は、周波数を変化させるように触覚信号を伸長又は圧縮することで処理負荷を低減させつつ違和感のない振動刺激をユーザに提供できる。また、周波数の変化による触覚刺激の変化が知覚されるほど再生速度の変化率が大きい場合であっても、情報処理システム1は、周波数を維持するように触覚信号の再生期間を延長又は短縮することで、違和感のない、より高精度の(製作者が意図した通りの)振動刺激をユーザに提供できる。
なお、図7で説明したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい(後段のフローチャートについても同様)。
<3.変形例>
上記では、本開示の一実施形態について説明した。続いて、本開示の変形例について説明する。
触覚刺激を出力する触覚出力部243の特性により、出力可能な範囲が限られている場合がある。例えば、振動刺激を出力する振動アクチュエータについては、出力可能な周波数帯域が、音声を出力するスピーカ等に比べて狭く、VCM(Voice Coil Motor)では80~500[Hz]程度、LRA(Linear Resonant Actuator)では100±5[Hz]程度となる。加えて、周波数の変化によって出力強度が変化する場合がある。例えば、振動アクチュエータについては、周波数の変化によって同じ電圧の入力に対して出力される加速度が変化する場合がある。
図8を参照して具体的に説明する。図8は、振動アクチュエータの周波数特性の一例を示す図である。図8に示す例では、周波数が100[Hz]のときに加速度が最大値(1A[m/s2])をとり、周波数が90[Hz]のときに加速度が最大値の1/3(1/3×A[m/s2])まで低下する。そして、周波数が80[Hz]以下では加速度が0[m/s2]になる。このように、触覚出力部243は、その特性により出力可能な周波数帯域が制限されており、かつ、周波数の変化によって、同じ電圧の入力に対して出力される加速度も変化する。したがって、図4で示したように、再生速度の変化に基づいて触覚信号の周波数を変化させるように触覚信号が伸長又は圧縮された場合、周波数の変化によって、同じ電圧の入力に対して出力される加速度も変化したり、振動刺激が出力されなかったりする場合がある。
そこで、変形例に係る再生装置200の触覚制御部214は、(触覚刺激を出力する)触覚出力部243の特性に基づいて触覚信号を変化させてもよい。図9を参照して、変形例において、コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させる処理の具体例について説明する。図9には、コンテンツが1.0倍速で再生される場合、0.9倍速で再生される場合、0.8倍速で再生される場合のそれぞれについての触覚信号が示されている。
コンテンツが0.9倍速で再生される場合、図4に示した方法で触覚信号が伸長されると、1.0倍速時に100[Hz]だった触覚信号が90[Hz](100×0.9=90[Hz])となるため、図8に示した周波数特性を有する振動アクチュエータによっては、出力される加速度が1A[m/s2]から1/3×A[m/s2]へ低下してしまう。これにより、振動刺激の出力強度が製作者の意図するものより弱くなってしまう。そこで触覚制御部214は、図9に示すように、触覚信号を伸長しつつ、再生速度の変化前後で触覚刺激の出力強度を維持するように触覚信号の振幅を変化させる(触覚信号の振幅を3倍に変化させる)。これによって、触覚制御部214は、再生速度の変化前後でユーザが感じる触覚刺激の強度を維持することができる。
また、コンテンツが0.8倍速で再生される場合、図4に示した方法で触覚信号が伸長されると、1.0倍速時に100[Hz]だった触覚信号が80[Hz](100×0.8=80[Hz])となるため、図8に示した周波数特性を有する振動アクチュエータによっては、出力される加速度が1A[m/s2]から0[m/s2]へ低下してしまう。これにより、振動刺激が提供されなくなってしまう。そこで、再生速度の変化後における触覚刺激の出力強度が所定値より弱くなる場合(例えば、触覚信号の振幅の増幅では対応できないほど出力強度が弱い場合)、触覚制御部214は、再生速度の変化前後での周波数の変化率を制限してもよい。具体的には、触覚制御部214は、図9に示すように再生速度の変化前後での周波数の変化率を0.9までに制限して(すなわち周波数の下限を、0.9倍速時の周波数である90[Hz]として)、周波数が90[Hz]以下となるような再生速度の変化に際しては、90[Hz]を維持するように触覚信号を伸長する。例えば、触覚制御部214は、音声制御部213が行う話速変換処理と同様の処理を行うことで当該触覚信号の周波数を90[Hz]に維持するように触覚信号を伸長することができる(必ずしも話速変換処理が用いられなくてもよい)。このとき、触覚制御部214は、0.9倍速時と同様に触覚信号の振幅を3倍に変化させる。これにより、触覚出力部243の出力可能な範囲を外れるほど再生速度の変化率が大きい場合であっても、触覚制御部214は、適切に触覚刺激を出力させることができる。
なお、ユーザによる触覚刺激の知覚特性について、触覚刺激の周波数が低下するほどユーザが触覚刺激を強く感じる場合(触覚刺激の周波数と知覚強度とが非線形の関係を有する場合)、触覚制御部214は、当該ユーザの知覚特性にも基づいて触覚信号を変化させてもよい。これにより、触覚制御部214は、再生速度の変化前後でユーザが知覚する触覚刺激の強度を、より高精度に維持することができる。
また、上記では、変形例における触覚刺激の提供の態様について説明したところ、変形例における映像及び音声の提供の態様については上記の実施形態で説明したものと同様であり得る。例えば、音声制御部213は、再生速度の変化前後で、話速変換処理により音声の質及び高さを維持したまま再生期間を変化させてもよいし、音声の質及び高さを維持しなくてもよい。
図10は、変形例に係る各構成の処理フロー例を示すフローチャートである。ステップS1100では、ユーザが、例えば再生装置200の入力部230を介して入力を行う。ステップS1104では、速度決定部211が、当該入力に基づいてコンテンツの再生速度を決定する。なお、ユーザによる入力がない場合、ステップS1100及びステップS1104は省略される。
コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きくない場合(ステップS1108/No)、かつ、加速度が所定値より小さくない場合(すなわち、触覚刺激の出力強度が所定値より弱くない場合。ステップS1112/No)、ステップS1116にて、触覚制御部214は、再生速度の変化率に基づいて触覚信号の周波数を変化させるように触覚信号を伸長(又は圧縮)させ、触覚出力部243の周波数特性に基づいて触覚信号の振幅を増幅(又は減衰)させる。すなわち、触覚制御部214は、図9の0.9倍速時の処理を行う。
ステップS1112にて、加速度が所定値より小さい場合(すなわち、触覚刺激の出力強度が所定値より弱い場合。ステップS1112/Yes)、ステップS1120にて、触覚制御部214は、再生速度の変化率、及び触覚出力部243の周波数特性に基づいて周波数の変化率を制限しつつ触覚信号を伸長(又は圧縮)させ、触覚信号の振幅を増幅(又は減衰)させる。すなわち、触覚制御部214は、図9の0.8倍速時の処理を行う。
ステップS1108にて、コンテンツの再生速度の変化率が所定値(例えば、30[%]程度)より大きい場合(ステップS1108/Yes)、周波数の変化による触覚刺激の変化が知覚される可能性が高いため、ステップS1124にて、触覚制御部214は、再生速度の変化率に基づいて触覚信号の周波数を維持するように触覚信号を変化させることで、触覚信号の再生期間を延長(又は短縮)する。
ステップS1128では、触覚出力部243が触覚制御部214から提供される触覚信号を用いて振動刺激を出力する。コンテンツが終了した場合(ステップS1132/Yes)、一連の処理が終了する。コンテンツが継続している場合(ステップS1132/No)、ステップS1100~ステップS1128の処理が継続される。
図10に示すフローチャートの処理が、所定の単位毎(例えば、フレーム毎)に繰り返される。これにより、変形例に係る情報処理システム1は、触覚出力部243の特性にも基づいて振動刺激をより適切に提供することができる。なお、上記の実施形態で説明した技術的事項は変形例にも適用され得る点に留意されたい。
<4.備考>
上記で説明したとおり、コンテンツの再生場面の制御に用いられるユーザインタフェースの操作(例えば、シークバーにおけるノブ(つまみ)の移動等)による場面転換の速度が再生速度として扱われてもよい。そこで以降では、一例として、シークバーにおけるノブの移動により再生速度が変更される場合の具体例について説明する。
図11は、シークバーにおけるノブの移動により再生速度が変更される場合において表示される映像10の具体例について説明するための図である。図11の映像10は、ボールを打つために野球選手がバットを振る場面を示している。そして、映像10の下段には、再生場面の制御に用いられるシークバー20と、ノブ21と、触覚刺激が提供される場面を示すマーカ22と、が表示されている。
ユーザは、再生装置200の入力部230を用いてシークバー20におけるノブ21の位置を移動させることで再生場面を転換することができる。そして、ノブ21の位置がマーカ22に達した場合に触覚刺激が提供される。このように、触覚刺激が提供される場面を示すマーカ22が表示されることで、ユーザは、所望の場面を探索する際の目安としても当該マーカ22を利用することができる。
そして、再生装置200の触覚制御部214は、例えばシークバー20におけるノブ21の移動速度(場面転換の速度)を再生速度として扱う(必ずしもノブ21の移動速度に限定されない)。つまり、触覚制御部214は、ノブ21の移動速度の変化に基づいて触覚信号の再生期間を変化させるように触覚信号を変化させる。その際、触覚制御部214は、触覚信号の周波数を変化させるように触覚信号を変化させてもよいし、触覚信号の周波数を維持するように触覚信号を変化させてもよい。また、触覚制御部214は、変形例のように、触覚出力部243の特性に基づいて触覚信号を変化させてもよい。あるいは、ノブの移動速度に関わらず、元のコンテンツの持つ触覚信号を、周波数および再生期間を維持したまま再生してもよい。この場合、ノブがマーカに達したタイミングで触覚信号の再生が行われる。マーカが付与される、ノブ移動時に再生される触覚信号は、コンテンツ全般に付与された触覚信号の中から、特徴的な箇所に限定されていても良い。特徴的な箇所の抽出方法としては、例えば、信号のボリュームが一定値を超える箇所、時間当たりの信号強度が一定値を超える箇所等が考えられる。あるいは、ノブの移動速度に応じて、「5秒のシーンに対して1箇所」のように、時間当たりの再生箇所の数を限定することで抽出しても良い。
また、図11ではマーカ22の位置が図示されているが、特徴的な箇所として抽出された場所に、マーカを図示しない方法も取り得る。いずれの場合も、シークバー操作に伴って触覚信号を再生させることで、ユーザによるノブ21の操作(例えば、左方向での移動)に応じて、特定箇所(例えばバットにボールが当たるシーン)をノブ21が通過するタイミングで、ユーザの指に触覚刺激が提示されることとなり、ユーザがシーンの検索をしやすくなったり、シーンの変化を理解しやすくなったりする効果が得られる。この際、例えば時間間隔5秒の2つのシーンに、それぞれ1秒の触覚信号が付与されている場合を考えると、指の移動速度が大きく、この2つのシーンを1秒以内に通過する場合、1つ目の触覚信号の再生が終わる前に、2つ目の触覚信号の再生が始まってしまい、両者が混ざる恐れがある。そのような場合には、後ろ側の触覚信号の再生を省略してもよい。また、人間の触覚の特性として、2つの触覚(振動)刺激の時間間隔が一定値(振動刺激が強い場合には例えば10[ms]程度、弱い場合には例えば50[ms]程度と言われる)以内であった時には、2つの刺激が繋がって1つに感じることが知られている。そのため、この数値を考慮して、シークバー操作に伴い触覚信号を再生するような状況において、2つの触覚信号の時間間隔(1つ目の触覚信号の最後と、2つ目の触覚信号の最初)が一定以内である場合には、2つ目の信号を再生しない、あるいは、1つ目の信号を短く切って、一定時間間隔を空けた後に2つ目の信号を再生する、などの処理が有効となる。
なお、シークバーの操作の操作方法の例としては、タッチパネルUIにおけるタッチ操作や、TV画面による視聴におけるリモコン操作、PC画面の視聴におけるマウス、タッチパッド操作、などが考えらえる。シークバー操作の場合も、前述の説明と同様に、映像の再生に合わせて音声を再生する条件(シークバーの移動速度が1.0倍速に近い場合、など)においては、触覚信号を再生し、音声を再生しない場合には、触覚信号の再生も行わない、という処理も考えられる。逆に、音声が再生されない条件でも、上述したコンテンツのシーン変化の理解補助等の目的で、触覚信号は再生する実施も考えられる。一般に、端末の出力する音声から触覚信号を自動的に生成するアルゴリズムが知られており、商用利用されているが、この実施形態の場合には、当該アルゴリズムが、触覚信号の再生用に、音声信号の非再生時にも動作することが処理上の特徴となり得る。なお、コンテンツの再生場面の制御に用いられるユーザインタフェースは、必ずしもシークバー20に限定されない。
<5.ハードウェア構成例>
続いて、図12を参照して、本実施形態及び変形例に係るハードウェア構成例について説明する。図12は、本実施形態及び変形例に係る再生装置200(又は配信装置100)を実現する情報処理装置900のハードウェア構成例を示すブロック図である。本実施形態及び変形例に係る再生装置200(又は配信装置100)による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図12に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911、及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、再生装置200の制御部210(又は配信装置100の制御部110)を実現し得る。
CPU901、ROM902及びRAM903は、CPUバス等を含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904及び外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路等を含んでいてもよい。ユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置906は、再生装置200の入力部230を実現し得る。
出力装置907は、取得した情報をユーザに対して視覚的、聴覚的、又は触覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、及びELディスプレイ装置等の映像出力装置や、スピーカ及びヘッドホン等の音声出力装置や、振動アクチュエータ等の触覚出力装置等が挙げられる。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。出力装置907は、再生装置200の出力部240を実現し得る。
ストレージ装置908は、情報処理装置900に備えられ得る記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、再生装置200の記憶部250(又は配信装置100の記憶部130)を実現し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)等によりデータ伝送可能な外部機器との接続口である。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、再生装置200の通信部220(又は配信装置100の通信部120)を実現し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、又は無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)等を含んでもよい。また、ネットワーク920は、IP-VPN(Internet Protocol-Virtual Private Network)等の専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。したがって、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<6.むすび>
以上で説明したように、本開示に係る情報処理装置は、ユーザに提供されるコンテンツの再生速度に基づいて、コンテンツに対応する触覚刺激をユーザに提供することに用いられる触覚信号を生成する。具体的には、本開示に係る情報処理装置は、コンテンツの再生速度の変化に基づいて触覚信号を変化させる。例えば、本開示に係る情報処理装置は、コンテンツの再生速度の変化に基づいて触覚信号の再生期間を変化させるように触覚信号を変化させる。
これにより、本開示に係る情報処理装置は、コンテンツの再生速度に基づいて触覚刺激をより適切に提供することができる。触覚刺激の周波数変化に対する人間の感覚は比較的鈍感であるため、本開示に係る情報処理装置は、触覚信号の再生期間を変化させるように触覚信号を変化させても違和感のない触覚刺激をユーザに提供することができる。このとき、本開示に係る情報処理装置は、周波数を変化させるように触覚信号を変化させたり、周波数を維持するように触覚信号を変化させる等、様々な態様で触覚信号を変化させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成する触覚制御部を備える、
情報処理装置。
(2)
前記触覚制御部は、前記再生速度の変化に基づいて前記信号を変化させる、
前記(1)に記載の情報処理装置。
(3)
前記触覚制御部は、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させる、
前記(2)に記載の情報処理装置。
(4)
前記触覚制御部は、前記再生速度の変化に基づいて前記信号の周波数を変化させるように前記信号を伸長又は圧縮する、
前記(3)に記載の情報処理装置。
(5)
前記触覚制御部は、前記再生速度の変化に基づいて前記信号の周波数を維持するように前記信号を変化させる、
前記(3)に記載の情報処理装置。
(6)
前記触覚制御部は、前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、
前記(5)に記載の情報処理装置。
(7)
前記触覚制御部は、前記触覚刺激を出力する触覚出力部の特性に基づいて前記信号を変化させる、
前記(4)に記載の情報処理装置。
(8)
前記触覚制御部は、前記再生速度の変化前後で前記触覚刺激の出力強度を維持するように前記信号の振幅を変化させる、
前記(7)に記載の情報処理装置。
(9)
前記触覚制御部は、前記再生速度の変化後における前記触覚刺激の出力強度が所定値より弱くなる場合、前記再生速度の変化前後での前記周波数の変化率を制限する、
前記(8)に記載の情報処理装置。
(10)
前記再生速度は、前記ユーザによる入力に基づいて決定される、
前記(1)から(9)のいずれか1項に記載の情報処理装置。
(11)
前記触覚刺激は、振動刺激、電気刺激、温度変化による刺激、力覚に関する刺激、及び皮膚感覚に関する刺激のうちの少なくともいずれか1つを含む、
前記(1)から(10)のいずれか1項に記載の情報処理装置。
(12)
ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成することを有する、
コンピュータにより実行される情報処理方法。
(13)
ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成すること、
をコンピュータに実現させるためのプログラム。
(14)
ユーザに提供されるコンテンツの再生速度に基づいて生成され、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を受信する通信部と、
前記信号を用いて前記触覚刺激を出力する触覚出力部と、を備える、
情報処理装置。
100 配信装置
110 制御部
111 映像制御部
112 音声制御部
113 触覚制御部
120 通信部
130 記憶部
200 再生装置
210 制御部
211 速度決定部
212 映像制御部
213 音声制御部
214 触覚制御部
220 通信部
230 入力部
240 出力部
241 映像出力部
242 音声出力部
243 触覚出力部
250 記憶部

Claims (10)

  1. ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成する触覚制御部を備え
    前記触覚制御部は、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、
    前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、
    情報処理装置。
  2. 前記触覚制御部は、前記再生速度の変化に基づいて前記信号の周波数を変化させるように前記信号を伸長又は圧縮する、
    請求項に記載の情報処理装置。
  3. 前記触覚制御部は、前記触覚刺激を出力する触覚出力部の特性に基づいて前記信号を変化させる、
    請求項に記載の情報処理装置。
  4. 前記触覚制御部は、前記再生速度の変化前後で前記触覚刺激の出力強度を維持するように前記信号の振幅を変化させる、
    請求項に記載の情報処理装置。
  5. 前記触覚制御部は、前記再生速度の変化後における前記触覚刺激の出力強度が所定値より弱くなる場合、前記再生速度の変化前後での前記周波数の変化率を制限する、
    請求項に記載の情報処理装置。
  6. 前記再生速度は、前記ユーザによる入力に基づいて決定される、
    請求項1に記載の情報処理装置。
  7. 前記触覚刺激は、振動刺激、電気刺激、温度変化による刺激、力覚に関する刺激、及び皮膚感覚に関する刺激のうちの少なくともいずれか1つを含む、
    請求項1に記載の情報処理装置。
  8. ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成することを有し、
    前記生成することは、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、
    前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、
    コンピュータにより実行される情報処理方法。
  9. ユーザに提供されるコンテンツの再生速度に基づいて、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を生成すること、
    をコンピュータに実現させ
    前記生成することは、前記再生速度の変化に基づいて前記信号の再生期間を変化させるように前記信号を変化させ、
    前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように前記信号を変化させる、
    ためのプログラム。
  10. ユーザに提供されるコンテンツの再生速度に基づいて生成され、前記コンテンツに対応する触覚刺激を前記ユーザに提供することに用いられる信号を受信する通信部と、
    前記信号を用いて前記触覚刺激を出力する触覚出力部と、を備え
    前記信号は、
    前記再生速度の変化に基づいて再生期間が変化するように変化し、
    前記再生速度の変化率が所定値より大きい場合、前記変化率に基づいて前記信号の周波数を維持するように変化する、
    情報処理装置。
JP2021522737A 2019-05-28 2020-04-30 情報処理装置、情報処理方法、及びプログラム Active JP7494848B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019099717 2019-05-28
JP2019099717 2019-05-28
PCT/JP2020/018229 WO2020241170A1 (ja) 2019-05-28 2020-04-30 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020241170A1 JPWO2020241170A1 (ja) 2020-12-03
JP7494848B2 true JP7494848B2 (ja) 2024-06-04

Family

ID=73552895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522737A Active JP7494848B2 (ja) 2019-05-28 2020-04-30 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (1) US20220244784A1 (ja)
EP (1) EP3979044A4 (ja)
JP (1) JP7494848B2 (ja)
CN (1) CN113874815A (ja)
WO (1) WO2020241170A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506614A (ja) 2001-10-10 2005-03-03 イマージョン コーポレイション 触覚フィードバックを使用する音声データ出力および操作
JP2015053043A (ja) 2013-09-06 2015-03-19 イマージョン コーポレーションImmersion Corporation ハプティックワーピングシステム
JP2018513430A (ja) 2015-02-25 2018-05-24 イマージョン コーポレーションImmersion Corporation スローモーションのためのハプティック効果の修正
JP2019008798A (ja) 2017-06-22 2019-01-17 イマージョン コーポレーションImmersion Corporation 注視方向可変の仮想環境における触覚次元

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
CN107924235A (zh) * 2015-09-25 2018-04-17 意美森公司 触觉效果设计***
EP3483701B1 (en) * 2016-07-07 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program
JP6977312B2 (ja) 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP6877995B2 (ja) * 2016-12-27 2021-05-26 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506614A (ja) 2001-10-10 2005-03-03 イマージョン コーポレイション 触覚フィードバックを使用する音声データ出力および操作
JP2015053043A (ja) 2013-09-06 2015-03-19 イマージョン コーポレーションImmersion Corporation ハプティックワーピングシステム
JP2018513430A (ja) 2015-02-25 2018-05-24 イマージョン コーポレーションImmersion Corporation スローモーションのためのハプティック効果の修正
JP2019008798A (ja) 2017-06-22 2019-01-17 イマージョン コーポレーションImmersion Corporation 注視方向可変の仮想環境における触覚次元

Also Published As

Publication number Publication date
US20220244784A1 (en) 2022-08-04
EP3979044A4 (en) 2022-07-06
WO2020241170A1 (ja) 2020-12-03
CN113874815A (zh) 2021-12-31
EP3979044A1 (en) 2022-04-06
JPWO2020241170A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
CN107683399B (zh) 声音输出装置、电子装置、以及其控制方法
TW201349227A (zh) 音頻播放裝置及音量調節方法
WO2021176842A1 (ja) 復号装置、復号方法、プログラム、符号化装置、符号化方法
US11482086B2 (en) Drive control device, drive control method, and program
CN113643728B (zh) 一种音频录制方法、电子设备、介质及程序产品
JP6295342B2 (ja) 疑似ホワイトノイズを使用した音声信号に制御信号を埋め込むスキーム
WO2020008862A1 (ja) 情報処理装置、情報処理方法及び情報処理装置可読記録媒体
JP2023116488A (ja) 復号装置、復号方法、プログラム
US11275554B2 (en) Information processing apparatus, information processing method, and program
JP7494848B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US10923098B2 (en) Binaural recording-based demonstration of wearable audio device functions
JP4382045B2 (ja) データ出力装置、データ出力方法、データ出力プログラム、および記録媒体
KR100597668B1 (ko) 멀티미디어 콘텐츠의 갱신 및 재생이 가능한이동통신단말기 및 그 재생방법
JP2004178558A (ja) コンピュータシステム及びその制御方法
WO2020158596A1 (ja) 復号装置、復号方法、及びプログラム
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
JP7172999B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108028055A (zh) 信息处理装置、信息处理***和程序
US8163991B2 (en) Headphone metronome
JP2021177264A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110892475A (zh) 信息处理装置、信息处理方法和程序
JPWO2020039476A1 (ja) メッセージ出力装置、学習装置、メッセージ出力方法、学習方法及びプログラム
JP7049515B1 (ja) 情報処理装置、プログラム及び描画方法
WO2023084933A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2009080298A (ja) 補聴装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240506

R150 Certificate of patent or registration of utility model

Ref document number: 7494848

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150