JP7314926B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7314926B2
JP7314926B2 JP2020502043A JP2020502043A JP7314926B2 JP 7314926 B2 JP7314926 B2 JP 7314926B2 JP 2020502043 A JP2020502043 A JP 2020502043A JP 2020502043 A JP2020502043 A JP 2020502043A JP 7314926 B2 JP7314926 B2 JP 7314926B2
Authority
JP
Japan
Prior art keywords
tactile
tactile sense
presentation device
information processing
perceived
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502043A
Other languages
English (en)
Other versions
JPWO2019163260A1 (ja
Inventor
諒 横山
鎮 伊藤
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019163260A1 publication Critical patent/JPWO2019163260A1/ja
Application granted granted Critical
Publication of JP7314926B2 publication Critical patent/JP7314926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、例えば、振動などの触覚刺激をユーザに提示するための技術が各種提案されている。
下記特許文献1には、仮想空間においてイベントが発生した場合に、所定のデバイスに触覚刺激を出力させる技術が記載されている。
特開2015-166890号公報
ところで、触覚刺激の対象となる位置などによって、出力される触覚刺激が異なることが望まれる場合があるが、特許文献1に記載の技術では、位置情報によらずに、同一の触覚刺激が出力されていた。
また、触覚提示の効果は、各触覚提示デバイスに出力される信号の波形で確認するしかなく、実際の提示効果が分り難かった。
そこで、本開示では、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 各触覚刺激部から出力される触覚を波形で表示する場合の例について示す図である。 本実施形態による知覚効果デザインにおける工程の削減について説明する図である。 本実施形態による情報処理装置および触覚提示デバイスの構成の一例を示すブロック図である。 本実施形態による触覚刺激部の位置を設定する設定画面の一例を示す図である。 本実施形態による知覚効果の設定画面の一例を示す図である。 本実施形態による触覚刺激の波形種類を設定する設定画面の一例を示す図である。 本実施形態による設定した知覚効果の再生画面の一例を示す図である。 本実施形態による複数の触覚刺激提示部の配置推薦の一例を示す図である。 本実施形態による複数の触覚刺激提示部の配置修正の一例を示す図である。 本実施形態による知覚位置の移動経路の最適化表示の一例を示す図である。 本実施形態による触覚刺激の決定処理を示すフローチャートである。 本実施形態による本実施形態による触覚ポインタについて説明する図である。 本実施形態による 触覚ポインタの構成の一例を示すブロック図である。 本実施形態による触覚ポインタのボタン操作による触覚刺激の提示面積の調整について説明する図である。 本実施形態による身体を貫通する知覚位置の移動経路を設定する場合について説明する図である。 本実施形態による触覚提示デバイスを用いず触覚ポインタのみで知覚効果の設定を行う場合について説明する図である。 本実施形態による人形を用いた知覚効果の設定について説明する図である。 本実施形態による人形を用いた知覚効果の種々の設定について説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2-1.情報処理装置の構成
2-2.触覚提示デバイスの構成
3.知覚効果の設定画面例
4.動作処理
5.触覚ポインタ
6.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
図1は、本開示の一実施形態による情報処理システムの概要について説明する図である。図1に示すように、本実施形態による情報処理システムは、ユーザに触覚刺激を提示する触覚提示デバイス10と、触覚刺激の出力設定等を行う情報処理装置20とを含む。
触覚提示デバイス10の形状は特に限定しないが、一例として、図1に示すような、ユーザに着用されるベスト型を挙げる。図1に示す触覚提示デバイス10は、内部に複数の触覚刺激部100(アクチュエータとも称す)、および、2個の音声出力部102を有する。例えば、触覚提示デバイス10の内部において、ユーザの正面側および背面側にそれぞれ所定の個数(例えば6個)ずつ触覚刺激部100が配置され得る。一例として、正面側に配置されている個々の触覚刺激部100と、背面側に配置されている個々の触覚刺激部100とが向かい合うような位置関係で、個々の触覚刺激部100は配置される。
なお、図1では、触覚提示デバイス10がベスト型(袖なしの服)である例を示しているが、かかる例に限定されず、触覚提示デバイス10は、袖を有したものであってもよい。この場合、触覚刺激部100は、ユーザの胸部および腹部だけでなく、ユーザの両腕に対応する位置にも一以上配置され得る。また、触覚提示デバイス10は、図1に示すような上着に限定されず、ズボンや靴下、靴、ベルト、帽子、手袋、またはマスク等であってもよい。また、図1に示す触覚提示デバイス10には、肩の部分に左右にそれぞれ一つずつ音声出力部102を配置しているが、本実施例はこれに限定されず、音声出力部102が1個だけ配置されてもよいし、または、3個以上配置されてもよい。また、音声出力部102は、触覚提示デバイス10に含まれる代わりに、独立した装置として当該所定の空間内に配置されてもよいし、または、触覚提示デバイス10とは異なる装着型装置(例えばヘッドフォンやヘッドセットなど)や携帯型装置(例えば携帯型音楽プレーヤ、スマートフォン、携帯型ゲーム機など)に含まれてもよい。
さらに、触覚提示デバイス10は、上記例示した服飾品に限定されず、例えばコントローラ、銃型のコントローラ、ベッド、椅子等も挙げられる。
(触覚刺激部100)
触覚提示デバイス10に含まれる複数の触覚刺激部100がそれぞれ単独で振動を発生する場合、発生された振動は、当該触覚刺激部100の周辺部でのみ知覚され得る。つまり、個々の触覚刺激部100が離れて配置されている場合には、個々の触覚刺激部100が別々に発生する振動は、ユーザの身体において離散的に知覚され得る。
一方、ファントムセンセーションという錯覚現象が医学的に解明されている。このファントムセンセーションは、皮膚上の異なる位置に対して同時に刺激が提示されると、人間は、提示された刺激位置の間において刺激を一つだけ知覚するような錯覚現象である。例えば、ユーザの身体上に配置された2個の触覚刺激部100に同時に刺激を出力させると、通常、ユーザに知覚される刺激の位置(以下、知覚位置と称する)は、2個の触覚刺激部100の間の位置になることが知られている。
また、複数の触覚刺激部100の出力強度を変化させることにより、個々の触覚刺激部100の配置間隔を変えることなく、複数の触覚刺激部100により提示可能な触覚刺激の範囲を連続的に拡大し得る。例えば2個の触覚刺激部100の各々の出力強度と、知覚位置との関係の例(ファントムセンセーションの例)について説明する。例えば、時間の経過に応じて、第1の触覚刺激部100の出力強度を例えば「1」、「0.6」、「0」のように連続的に弱くし、かつ、第2の触覚刺激部100の出力強度を「0」、「0.6」、「1」のように連続的に強くしたとする。この場合、(ユーザに知覚される)知覚位置は、第1の触覚刺激部100の接触位置から第2の触覚刺激部100の接触位置へと連続的に移動し得る。
(背景)
ここで、様々な触覚提示デバイスの触覚信号をデザインするにあたり、直感的な操作が望まれる。しかしながら、各触覚刺激部100(アクチュエータ)により提示される触覚刺激が、図2に示すように波形(触覚信号)で表示されたとしても、実際の知覚効果(どの部位がどのように感じるか)は不明であった。
そこで、本実施形態では、GUI上で知覚位置と知覚強度とを指定できるようにし、指定された知覚位置と強度とに基づいて、対応する複数の触覚刺激部への出力信号を自動生成する。これにより、ユーザは、触覚刺激の知覚位置の設定に関して直感的な操作が可能となる。
また、本実施形態によれば、知覚効果デザインにおける工程を削減することができる。具体的には、例えば図3左に示すように、通常は、実現したい知覚効果(知覚位置および知覚強度)を構想した上で、各触覚刺激部による出力を制御し、知覚効果を確認(体感)し、再度、GUI上で実現したい知覚効果を構想/修正して、出力制御を行い、実際に体感する、というように、3つのステップを繰り返す必要があった。これに対し、本実施形態によれば、図3右に示すように、GUI上で実現したい知覚効果を制御(知覚位置や強さの指定)し、知覚効果を確認(体感)する、といった2つのステップを繰り返すことで、知覚効果デザインを直感的に行うことが可能となる。知覚効果の指定(すなわち知覚位置および知覚強度)は、GUI上でマウス操作やタッチ操作、または3Dポインタ等のコントローラで指定することが可能であり、その知覚効果が提示されるように、複数の触覚提示デバイス10の出力が変化する。このように、実際にどう感じさせるか(どの場所にどのくらいの強さで)を指定することで、個々の触覚刺激部100そのもののユーザによる制御を省略し、自動化することが可能となる。
<<2.構成>>
続いて、図4を参照して本実施形態による情報処理装置20および触覚提示デバイス10の構成について具体的に説明する。
<2-1.情報処理装置20の構成>
図4は、本実施形態による情報処理装置20は、制御部200、通信部210、操作入力部220、表示部230、および記憶部240を有する。
(制御部200)
制御部200は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置20内の動作全般を制御する。制御部200は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部200は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
また、本実施形態による制御部200は、知覚位置・強度決定部201、画面生成部202、および出力制御部203としても機能する。
・知覚位置・強度決定部201
知覚位置・強度決定部201は、指定された知覚位置および知覚強度に応じて、(指定された知覚位置で指定された知覚強度を知覚するよう)目標の知覚位置に対応する複数の触覚刺激部100に対する振動強度を決定(算出)し、複数の触覚刺激部100に出力する出力制御信号を生成する生成部として機能する。指定される知覚位置には、知覚位置の移動経路も含まれる。
知覚位置および知覚位置の移動経路は、ユーザの身体の表面上に設定され得る。例えば、ユーザの身体上の始点となる位置から、終点となる位置まで知覚位置が連続的に移動するように、ユーザに触覚刺激を提示することが可能となる。若しくは、知覚位置の移動経路は、ユーザの身体の第1の面、ユーザの身体の内部、および、当該第1の面と向かい合う第2の面を結ぶ経路として設定することも可能である。ここで、第1の面は、ユーザの正面であり、また、第2の面は、ユーザの背面であり得る。あるいは、第1の面は、例えば腕などの所定の部位の表側の面であり、また、第2の面は、当該部位の裏側の面であってもよい。例えば移動経路が、ユーザの正面における位置、ユーザの身体の内部、および、ユーザの背面における位置を結ぶ経路である場合、正面から背面へと身体の内部に突き刺さるような感覚をユーザに提示することができる。
また、知覚位置・強度決定部201は、知覚範囲を設定することも可能である。
さらに、知覚位置・強度決定部201は、知覚位置を、再生中のコンテンツ(映画やゲームコンテンツ等)に応じたタイミングに対応付けることも可能である。これにより、触覚提示デバイス10を用いて、コンテンツを視聴しているユーザに対し、所定のタイミングで所定の触覚刺激を与えることが可能となる。
知覚位置・強度決定部201は、まず、指定された知覚位置の近隣に位置する複数(例えば3個)の触覚刺激部100を特定する。そして、知覚位置・強度決定部201は、当該複数の触覚刺激部100の各々と当該指定された知覚位置との位置関係、および、指定された知覚強度に基づいて、当該複数の触覚刺激部100の各々の出力強度を決定する。すなわち、知覚位置・強度決定部201は、指定された知覚位置および知覚強度と、近隣に配置されている複数の触覚刺激部100との距離に基づいて、当該複数の触覚刺激部100の出力強度を調整する(各触覚刺激部100に出力する出力制御信を生成する)。ユーザの身体上における目標位置に所定の触覚刺激を提示するための複数の触覚刺激部100の出力強度の調整に関しては、PCT/JP2017/14379に記載の技術を用い得る。
例えば、指定された知覚位置の近隣に第1の触覚刺激部100および第2の触覚刺激部100が位置する場合、知覚位置・強度決定部201は、ユーザの身体における第1の触覚刺激部100の接触位置と目標の知覚位置との距離に基づいて、第1の触覚刺激部100の出力強度を決定する。また、知覚位置・強度決定部201は、ユーザの身体における第2の触覚刺激部100の接触位置と目標の知覚位置との距離に基づいて、第2の触覚刺激部100の出力強度を決定する。
以下、上記の機能についてより詳細に説明する。まず、2個の触覚刺激部100の接触位置の間に目標の知覚位置が位置する場合における、当該2個の触覚刺激部100の出力強度の調整例について説明する。例えば、知覚位置・強度決定部201は、第1の触覚刺激部100の接触位置と第2の触覚刺激部100の接触位置との中間位置と、目標の知覚位置との位置関係に基づいて、第1の触覚刺激部100の出力強度および第2の触覚刺激部100の出力強度をそれぞれ決定する。
例えば、知覚位置・強度決定部201は、当該中間位置と目標の知覚位置との距離が小さいほど、第1の触覚刺激部100の出力強度および第2の触覚刺激部100の出力強度の合計値が大きくなるように、第1の触覚刺激部100および第2の触覚刺激部100の出力強度を決定してもよい。または、第2の触覚刺激部100の接触位置よりも第1の触覚刺激部100の接触位置の近くに目標の知覚位置が位置する場合、知覚位置・強度決定部201は、第1の触覚刺激部100の接触位置と目標の知覚位置との距離が大きくなるほど第1の触覚刺激部100の出力強度が大きくなるように第1の触覚刺激部100の出力強度を決定してもよい。また、第2の触覚刺激部100に関しても同様である(つまり、逆の関係になる)。
同時に、知覚位置・強度決定部201は、当該中間位置と目標の知覚位置との位置関係に基づいて、第1の触覚刺激部100の出力強度と第2の触覚刺激部100の出力強度との比を変更する。
・画面生成部202
画面生成部202は、目標とする知覚位置および知覚強度の設定画面を生成し得る。設定画面には、触覚提示デバイス10に関連する情報として、触覚提示デバイス10に設けられた複数の触覚刺激部100の位置を示す画像や、触覚提示デバイス10の外形を示す画像が表示され、これに対し、ユーザは、提示したい触覚刺激の位置(知覚位置)を指定し得る。複数の触覚刺激部100の位置は、仮想のものとしてユーザが自由に配置できるようにしてもよい。また、複数の触覚刺激部100の位置が予め設定されて既知の場合は、各触覚刺激部100の位置を示す画像が表示される。また、複数の触覚刺激部100の位置が予め設定されて既知であるが利用者には提示しない設定がされている場合(例えば、各触覚刺激部100の位置が企業秘密の場合)、触覚提示デバイス10の外形のみを示す画像が表示されるようにしてもよい。また、設定画面では、知覚位置の移動経路を入力することが可能である。また、複数の知覚位置(複数の知覚位置の移動経路)を設定することも可能である。また、所定のコンテンツの再生に対応する所定のタイミングで所定位置に触覚刺激を発生させるよう、知覚位置と知覚強度を設定することも可能である。このような設定画面における知覚位置および知覚強度の指定は、例えば、マウス操作やタッチ操作、3Dポインタ等のコントローラで行われ得る。本実施形態による具体的な設定画面の例については、図5~図11を参照して後述する。
なお、画面生成部202は、知覚位置・強度決定部201により生成された、各触覚刺激部100に出力される出力制御信号(波形)を表示する画面を生成することも可能である。
・出力制御部203
出力制御部203は、知覚位置・強度決定部201の決定内容に従って、触覚提示デバイス10に対して触覚刺激の出力制御を行う。これにより、例えばユーザが実際に触覚提示デバイス10を着用して体感することで、指定した触覚刺激の効果(知覚効果)を確認することが可能となる。具体的には、出力制御部203は、知覚位置・強度決定部201により決定された所定の複数の触覚刺激部100に対し、生成された出力制御信号を出力(振動の発生を制御)する。また、出力制御部203は、表示装置(ディスプレイ、HMD、プロジェクター、PC、またはスマートフォン等)で再生するコンテンツ(映像)の再生制御、および当該コンテンツの再生に応じて、設定された所定のタイミングで触覚提示デバイス10からの触覚刺激の出力制御を行うことも可能である。また、出力制御部203は、提示する触覚刺激に対応する衝撃音等の音声を、触覚提示デバイス10の音声出力部102から再生する制御を行うことも可能である。また、出力制御部203は、画面生成部202により生成された各種画面を、表示部230に表示する制御を行い得る。
(通信部210)
通信部210は、他の装置との間で情報の送受信を行う。例えば、通信部210は、出力制御部203の制御に従って、触覚刺激の出力の制御信号を複数の触覚刺激部100の各々(または触覚提示デバイス10)へ送信する。また、通信部210は、出力制御部203の制御に従って、再生対象の画像の表示の制御信号を表示装置(不図示)へ送信し、かつ、再生対象の音声の出力の制御信号を複数の音声出力部102の各々(または触覚提示デバイス10)へ送信する。
通信部210は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。
(操作入力部220)
操作入力部220は、ユーザによる操作指示を受付け、その操作内容を制御部200に出力する。操作入力部220は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部220は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
(表示部230)
表示部230は、知覚効果の設定を行える設定画面等を出力する表示装置である。この表示部230は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL((Electro Luminescence)ディスプレイなどの表示装置であってもよい。
(記憶部240)
記憶部240は、制御部200の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
以上、本実施形態による情報処理装置20の構成について具体的に説明した。なお情報処理装置20の構成は、図4に示す例に限定されない。例えば、情報処理装置20は、複数の装置により構成されていてもよい。また、情報処理装置20は、音声入力部および音声出力部をさらに有していてもよい。
また、情報処理装置20は、図1に示すようなPCに限定されず、スマートフォン、携帯電話端末、タブレット端末、または専用端末等により実現されてもよい。また、情報処理装置20の制御部200の少なくとも一部が、ネットワーク上のサーバにより実現されていてもよい。また、表示部230がプロジェクターにより実現され、設定画面等が、壁やテーブル、スクリーン等に投影されるようにしてもよい。この場合、投影画面に対するユーザの操作入力は、別途設けられたカメラにより投影画面に対するタッチ操作が検出されるようにしてもよい。
<2-2.触覚提示デバイス10の構成>
次に、本実施形態による触覚提示デバイス10の構成について図4を参照して説明する。図4に示すように、本実施形態による触覚提示デバイス10は、複数の触覚刺激部100a~100c、制御部110、通信部120、および音声出力部102を有する。
制御部110は、演算処理装置および制御装置として機能し、各種プログラムに従って触覚提示デバイス10内の動作全般を制御する。制御部110は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、触覚提示デバイス10は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
例えば制御部110は、通信部120を介して情報処理装置20から受信した各触覚刺激部100に対応する触覚刺激の出力の制御信号に従って、複数の触覚刺激部100a~100cにおける触覚刺激(例えば振動)の出力を制御する。
通信部120は、他の装置との間で情報の送受信を行う。例えば、通信部120は、情報処理装置20から、各触覚刺激部100に対応する触覚刺激の出力の制御信号を受信する。また、通信部120は、情報処理装置20から、再生対象の音声の出力の制御信号を受信する。通信部120は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。
触覚刺激部100は、ユーザに対して触覚刺激を提示するアクチュエータである。例えば触覚刺激部100は、触覚刺激として、振動を発生する。なお、触覚刺激部100により提示される触覚刺激は、振動に限定されず、例えば、冷たさ、暖かさ、風、水、圧力等の刺激も想定される。
音声出力部102は、音声信号を再生するスピーカと、スピーカに対するアンプ回路を有する。
以上、本実施形態による触覚提示デバイス10の構成の一例について説明した。なお本実施形態による触覚提示デバイス10の構成は、図4に示す例に限定されない。例えば、触覚提示デバイス10は、音声出力部102を有さない構成であってもよい。
<<3.知覚効果の設定画面例>>
次に、本実施形態による知覚効果の設定画面例について、図5~図11を参照して具体的に説明する。
図5は、本実施形態による触覚刺激部100の位置を設定する設定画面40の一例を示す図である。図5に示すように、設定画面40には、例えばジャケット型の触覚提示デバイス10の形状の表示401上に、触覚刺激部100を示す表示402a~402gが表示されている。触覚刺激部100を示す表示402a~402gは、マウス操作、タッチ操作、その他コントローラを用いてカーソル403を操作し、任意の位置に移動させることが可能である。なお、触覚刺激部100の位置は既知であってもよい。すなわち既に生成された触覚提示デバイス10の3Dデータを取り込み、触覚提示デバイス10の外形と、当該触覚提示デバイス10に配置されている触覚刺激部100の位置を表示するようにしてもよい。
図5に示す例では、一例として正面画像と側面画像を示しているが、さらに背面画像を表示してもよい。また、ユーザ操作に応じて正面画像、側面画像、および背面画像が切り替えられてもよい。
図6は、本実施形態による知覚効果の設定画面42の一例を示す図である。図6に示すように、設定画面42には、複数の触覚刺激部100の配置を示す表示420が表示されている。ユーザは、触覚刺激を発生させたい位置(すなわち知覚位置)を、マウス操作等により指定する。指定された位置には、知覚位置表示423が表示される。また、ユーザは、知覚位置を連続的に移動させたい場合、その移動経路424も、マウス操作等により指定し得る。また、ユーザは、知覚位置の移動速度を設定することも可能である。
また、設定画面42の再生ボタン426を選択すると、知覚位置の移動軌跡を示す動画が再生される。すなわち、知覚位置表示423が移動経路424に沿って移動する動画が再生され得る。これによりユーザは設定内容を確認することが可能となる。また、情報処理装置20は、再生ボタン426が選択された場合に、表示部230に表示する設定画面42で知覚位置の移動軌跡を示す動画を再生すると共に、接続する触覚提示デバイス10から、対応する触覚刺激の出力制御を行うようにしてもよい。これによりユーザは、即座に知覚効果のフィードバックを受けることが可能となる。
図7は、触覚刺激の波形種類を設定する設定画面44の一例を示す図である。触覚刺激には、例えば打撃振動など、多数の種類が想定される。ユーザは、図7に示すように、任意の触覚刺激の波形種類(かかる波形データを、「ライブラリ」とも称す)をマウスドラッグ等によって任意の知覚位置443に移動させることで、知覚位置443における触覚刺激の種類(例えば振動波形の種類)を設定することが可能である。ライブラリは、予め多数設定されていてもよいし、任意のオーディオ波形や動画データを取り込んで情報処理装置20により生成するようにしてもよい。情報処理装置20は、メディアを触覚刺激の信号に変換するためのフィルタ/アルゴリズムを有する。また、情報処理装置20は、ユーザが指定した知覚位置の移動経路の場所や長さ、知覚位置の移動速度等に応じて、最適なライブラリを推薦することも可能である。
図8は、設定した知覚効果の再生画面の一例を示す図である。図8に示すように、再生画面46-1~46-3には、知覚位置の表示画面460と、シークバー462と、当該知覚位置に設定された触覚刺激の(時間的)長さを示すコンテンツバー464とが表示されている。再生ボタン463が選択されると、知覚位置の変化が示されると共に、対応する触覚刺激コンテンツのシーク位置も変化する。また、知覚位置の強度は、例えば知覚位置の表示461の大きさで示される。図8に示す例では、再生画面46-2に示す知覚位置461bにおいて、始点である知覚位置461aよりも知覚強度が大きくなっていることが分かる。ユーザは、シークバーを動かすことによって知覚位置や知覚強度を確認することも可能である。
また、再生画面46-3に示すように、複数の知覚効果を配置することも可能である。この場合、再生画面46-3に示すように、知覚位置465に対応する触覚刺激のコンテンツバー466も表示され得る。
また、コンテンツバー464、466の時間的長さ(触覚刺激の長さ)は、ユーザが任意に調整することも可能である。
また、図示していないが、知覚効果の再生画面では、対応する(同期する)映像コンテンツや音響コンテンツも併せて表示し、知覚位置の変化と共に、各コンテンツのシーク位置の変化を確認できるようにしてもよい。
また、知覚効果の設定画面において、触覚の質(提示の大小、だんだん強く/弱く、温度の制御など)や、他モーダルに関わるエフェクト(照明効果、映像の効果、音響効果など)を制御できるようにしてもよい。
また、本実施形態では、複数の異なった(周波数特性や応答性能、大きさなどが異なる)触覚刺激部100を用いたとしても、それらの違いを補正して制御することも可能である。
また、本実施形態では、過大な出力が予想できる場合、警告を表示するなどして、触覚提示デバイス10が故障しないようにすることができる。例えば、本実施形態では、指定された知覚位置および知覚強度を実現するための出力制御信号を生成するが、人体にとって、触覚提示時間が長すぎたり強すぎたり、駆動時間が長すぎて発熱したり、温度提示デバイスによる低温やけどや高温やけど等の要因で負荷になりそうなことを事前にシミュレートし、設定画面上で警告表示を行ったり、負荷とならないように、出力を自動補正してもよい。
また、本実施形態では、設定画面において、触覚提示の強度をマーカーの大きさで表現したり、提示時間の長さをマーカーの色や透明度で表現してもよい。
また、本実施形態では、知覚位置の移動が早すぎる(経路が長い)場合に、最適な経路を表示したり自動調整することも可能である。
また、本実施形態では、ユーザが指定した知覚効果に対して、実際の出力が厳密に連動していなくてもよい。例えば、短時間の間に100回の別々の触覚知覚を発生するような設定がなされたとしても、実際の出力は10回程度に留めてもよい。この場合、最適化後の回数や提示時間は、設定画面上に表示してもしなくてもよい。
また、(お腹にボールが当たる等の表現で)知覚位置がお腹付近の場合、ヘッドホンの音量(対応する音響の音量)を小さくしたり、一方、知覚位置が胸付近の場合、音量を大きくするなど、知覚位置に応じて、音響効果や映像効果を自動調整することも可能である。
また、本実施形態では、最終的に、触覚提示デバイス10における数分の制御信号を出力したり、あるいは、ツール自体がプレイヤー(再生ソフト)として機能し得る。
(触覚刺激部100の配置の推薦)
以上説明した例では、知覚位置を設定する前に、複数の触覚刺激部100の配置を決定しているが、本実施形態はこれに限定されず、情報処理装置20は、ユーザが指定した任意の知覚位置および移動経路に基づいて、複数の触覚刺激部100の最適な配置を推薦することも可能である。最適な配置は、例えば少なくとも設定される知覚位置における触覚提示が可能な配置であって、かつ、例えば省電力および負荷の軽減等を実現し得る配置が想定される。この際、ユーザ側で、使用可能な触覚刺激部100の数や、設置可能な範囲の制約などの情報をインプットできるようにしてもよい。
図9は、複数の触覚刺激部100の配置推薦の一例を示す図である。まず、図9左に示すように、設定画面48-1において、触覚提示デバイス10の輪郭のみが表示される。次に、図9中央に示すように、ユーザは、設定画面48-2において、1以上の知覚位置の移動経路481a、481bを触覚提示デバイス10の輪郭内に描き、知覚効果の設定を行う。そして、図9右に示すように、設定画面48-3において、例えば最適位置表示ボタン483が選択されると、設定された知覚効果を実現するための複数の触覚刺激部100の最適な配置(表示484a~484f)が示される。
また、複数の触覚刺激部100の最適な配置の推薦は、既に配置された複数の触覚刺激部100の修正提案も含む。以下、図10を参照して説明する。
図10は、複数の触覚刺激部100の配置修正の一例を示す図である。まず、図10左に示すように、設定画面50-1において、予め設定された(若しくはユーザが任意に配置した)複数の触覚刺激部100の位置を示す表示501a~501iが表示されている際に、ユーザは、マウス等を操作し、目標とする知覚位置の移動経路503a、503bを描く。次に、図10中央に示すように、ユーザが設定画面50-2において、最適位置表示ボタン504を選択すると、情報処理装置20により、指定された知覚位置の移動経路503a、503bに応じた複数の触覚刺激部100の最適位置が算出され、図に示すように、複数の触覚刺激部100の最適位置を示す表示505a~505iが重畳表示される。図10に示す例では、予め設定された触覚刺激部100の表示501c、501f、501iと、最適位置の表示505c、505f、505iがずれており、修正されていることが分かる。
そして、図10右に示すように、ユーザが設定画面50-3において、最適化表示ボタン506を選択すると、複数の触覚刺激部100が最適位置に変更された状態が表示され、確定する。ユーザはこのように提示された複数の触覚刺激部100の最適位置に応じて、触覚提示デバイス10に設ける実際の複数の触覚刺激部100の配置を調整することが可能である。
次いで、指定した知覚位置の最適経路の推薦について図11を参照して説明する。図11は、知覚位置の移動経路の最適化表示の一例を示す図である。
図11に示すように、ユーザが設定画面52-1において、まず、知覚位置および移動経路520の入力を行う。次に、設定画面52-2に示す最適経路表示ボタン521を選択すると、情報処理装置20により、知覚位置の最適経路が算出され、最適経路522として表示される。最適経路は、例えば触覚刺激の人体への影響や、触覚刺激部100への負荷、また、周辺の触覚刺激部100の配置等を考慮して、算出され得る。
そして、図11右に示すように、ユーザが設定画面52-3において、経路最適化ボタン523を選択すると、知覚位置の移動経路の最適化が確定する。
<<4.動作処理>>
続いて、本実施形態による情報処理システムの動作処理について図12を参照して説明する。図12は、本実施形態による触覚刺激の決定処理を示すフローチャートである。
図12に示すように、まず、マウス、タッチパネル等の入力装置によって、触覚刺激を知覚させたい位置(および強度)が、GUI上にて指定される(ステップS103)。
次に、情報処理装置20は、指定された知覚位置(および知覚強度)に基づいて、触覚提示を行う触覚刺激部100と、提示強度(触覚刺激部100から出力する触覚制御信号の大きさ)を決定する(ステップS106)。
このように決定された内容は、例えばGUI上の再生ボタンの操作に応じて、触覚提示デバイス10に出力されてもよい。ユーザは、GUI上における直感的な知覚効果の設定を行うと共に、設定した知覚効果を、すぐに触覚提示デバイス10で体感して確認することができ、これを繰り返して調整することができる。
なお、知覚効果の設定は、マウスやタッチパネル等に限定されず、触覚ポインタ(3Dポインタ)を用いて実物体上において直接入力することも可能である。以下、このような触覚ポインタについて説明する。
<<5.触覚ポインタ>>
図13は、本実施形態による触覚ポインタ60について説明する図である。図13に示すように、触覚ポインタ60を触覚提示デバイス10に向けて動かすことで、触覚提示デバイス10上(実物体)に直感的に軌跡601を描き、知覚位置や知覚位置の移動経路を設定することが可能となる。触覚提示デバイス10上で描かれる軌跡601は、触覚提示デバイス10の表示部640に表示してもよいし、触覚提示デバイス10からLED等の可視光線を発射して触覚提示デバイス10上の軌跡601を可視化してもよい。
また、触覚ポインタ60または触覚ポインタ60と接続する情報処理装置20により、触覚ポインタ60で描いた軌跡で触覚刺激を提示するよう、リアルタイムで触覚提示デバイス10における触覚提示制御(触覚刺激の出力制御)を行うようにしてもよい。これにより、ユーザはリアルタイムで知覚位置の移動経路を指定すると共に、知覚効果を体感することができる。なお触覚提示デバイス10を着用したユーザ自身が触覚ポインタ60を操作してもよい。ユーザは、専門知識がなくとも、触覚ポインタ60を用いてリアルタイムで知覚効果を確認することで、自分が感じた通りのデータを作成することができる。
軌跡601の認識は、例えば触覚ポインタ60から発光されるIR(赤外線)等の距離センサにより、対象物(触覚提示デバイス10)までの距離dを検出して対象物の3次元位置(触覚ポインタ60に対する相対位置)を把握すると共に、触覚ポインタ60により設けられたジャイロセンサや加速度センサ等の姿勢センサにより触覚ポインタ60の動きを取得することで行われ得る。
また、触覚提示デバイス10に配置される各触覚刺激部100の位置は既知であってもよいし、触覚ポインタ60に設けられたカメラにより検出してもよいし、ユーザが触覚ポインタ60を用いて各触覚刺激部100の位置(相対位置)を指定して記憶させてもよい。
また、触覚ポインタ60には、収録開始・停止ボタンや再生開始・停止ボタン等の操作入力部620が設けられている。ユーザが収録開始ボタンを選択した際、触覚ポインタ60は赤外線を発光して対象物(触覚提示デバイス10)の3次元位置の認識を開始する。そして、収録停止ボタンが押されると、触覚ポインタ60は、3次元位置の認識を終了すると共に、認識した3次元位置の移動経路(すなわち、触覚提示デバイス10上における軌跡601)を保存する。また、再生開始ボタンが選択された場合には、触覚ポインタ60は、保存したデータのプレイバック、すなわち、保存した触覚提示デバイス10上における軌跡601において触覚刺激を提示するよう、触覚提示デバイス10からの出力制御を開始する。
<5-1.構成>
次に、本実施形態による触覚ポインタ60の構成の一例を図14に示す。図14に示すように、触覚ポインタ60は、制御部600、通信部610、操作入力部620、センサ630、表示部640、触覚提示部650、および記憶部660を有する。
制御部600は、演算処理装置および制御装置として機能し、各種プログラムに従って触覚ポインタ60内の動作全般を制御する。制御部600は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部600は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
本実施形態による制御部600は、操作入力部620からのユーザ操作に応じて、ライブラリ(触覚の種類)の選択、強度調整、収録の開始/停止(収録された多チャンネル触覚データを保存)、再生/停止(収録されたデータのプレイバック)、触覚提示面積の設定(狭/広)、触覚提示モードの選択(表面なぞり(提示の境界コントラスト設定-はっきり/ぼんやり)、突き抜け表現(銃に打たれた感などの提示))、温度調整(温度感の提示設定)、力調整(力覚の提示設定)等を行い得る。なお、振動、温度、力の情報は、一つのライブラリに包含されていてもよい。
また、制御部600は、センサ630による検出結果に基づいて、触覚提示デバイス10上における軌跡の認識を行い得る。具体的には、制御部600は、例えば赤外線やビーコン(Bluetooth)、カメラ等を用いて、触覚提示デバイス10までの距離dを検出し、触覚ポインタ60に対する触覚提示デバイス10の位置(3次元位置)を取得する。そして、制御部600は、姿勢センサの検出結果に応じて触覚ポインタ60の動きを検出し、上記3次元位置と併せて、触覚提示デバイス10上における軌跡を認識する。また、制御部600は、触覚ポインタ60に設けられたカメラにより撮像した撮像画像を解析して触覚提示デバイス10の形状を認識し、触覚提示デバイス10に対する軌跡の相対位置を認識することも可能である。
また、制御部600は、触覚提示デバイス10に設けられた触覚刺激部100の位置を取得し、指定された軌跡で知覚提示するための、各触覚刺激部100における出力制御信号を生成することも可能である。生成方法については、上述した情報処理装置20の知覚位置・強度決定部201で説明した通りである。また、触覚提示デバイス10に設けられた触覚刺激部100の位置は、ユーザが触覚ポインタ60を用いて入力してもよい。例えば、ユーザは、触覚ポインタ60により触覚提示デバイス10に設けられた触覚刺激部100を指し示して、触覚ポインタ60により対象の3次元位置を取得させると共に、「触覚刺激部100の位置」として当該3次元位置を登録する操作を行う。また、触覚提示デバイス10に、各触覚刺激部100の位置に対応する箇所にマーカー(LED、赤外線マーカー、またはQRコード(登録商標)など)が設けられている場合、制御部600は、カメラ画像によりマーカーの検出を行い、各触覚刺激部100の位置を把握し得る。
若しくは、制御部600は、触覚提示デバイス10または各触覚刺激部100から3次元位置情報を取得してもよい。
通信部610は、他の装置との間で情報の送受信を行う。例えば、通信部610は、ネットワーク上からライブラリの更新情報を取得したり、収録データをアップロードしたり、情報処理装置20に送信したりしてもよい。また、通信部610は、触覚提示デバイス10または各触覚刺激部100に、出力制御信号(触覚刺激の出力の制御信号)を送信してもよい。通信部610は、例えば有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、近距離無線通信、携帯通信網(LTE(Long Term Evolution)、または3G(第3世代の移動体通信方式))等により他の装置と通信接続する。
操作入力部620は、ユーザによる操作指示を受付け、その操作内容を制御部600に出力する。操作入力部620は、タッチセンサ、圧力センサ、若しくは近接センサであってもよい。あるいは、操作入力部620は、キーボード、マウス、ボタン、スイッチ、およびレバーなど、物理的構成であってもよい。
センサ630は、例えば、3次元位置センサ(赤外線センサ、ビーコン、カメラ等のいわゆる距離センサ)や、姿勢センサ(ジャイロセンサ、加速度センサ等)を含む。またセンサ630は、触覚提示デバイス10に設けられた複数の触覚刺激部100の位置を示すマーカーを検出する赤外線カメラ、RGBカメラ等を含んでもよい。
表示部640は、各種操作画面や、入力した軌跡(知覚位置の移動経路)を表示する画面等を出力する表示装置である。この表示部640は、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機EL((Electro Luminescence)ディスプレイなどの表示装置であってもよい。
触覚提示部650は、触覚ポインタ60を把持しているユーザの手に対してフィードバックを行う機能を有する。例えば触覚提示部650は、振動、力、温度等を、触覚刺激として提示し得る。触覚提示部650は、例えばユーザが触覚提示デバイス10に対して知覚効果の入力を行っている際に、リアルタイムで振動を提示するようにしてもよい。これにより、触覚ポインタ60の操作者が触覚提示デバイス10を着用していない場合でも、リアルタイムで設定している触覚を把握することが可能となる。
記憶部660は、制御部600の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。例えば記憶部660は、ライブラリの保存および収録したデータの保存を行い得る。
以上、本実施形態による触覚ポインタ60の構成について具体的に説明した。なお、図14に示す構成は一例であって、本実施形態はこれに限定されない。例えば触覚ポインタ60は、表示部640または触覚提示部650を有さない構成であってもよい。
<5-2.知覚効果の設定操作例>
続いて、本実施形態による触覚ポインタ60を用いた知覚効果の具体的な設定操作例について、図面を用いて説明する。
図15は、触覚ポインタ60のボタン操作による触覚刺激の提示面積の調整について説明する図である。触覚刺激の提示面積は、例えば触覚ポインタ60に設けられた所定のボタンの押込み量に応じて変化させることが可能である。例えば図15左に示すように、ボタンの押込み量が少ない場合は、提示面積が小さく(狭く)なり、図15右に示すように、ボタンの押込み量が多い場合は、提示面積が大きく(広く)なる。この場合の軌跡602a、602bを、触覚ポインタ60から発光するLED等により可視化してもよい。
図16は、身体を貫通する知覚位置の移動経路を設定する場合について説明する図である。触覚ポインタ60では、触覚刺激の提示種類を選択することが可能であり、例えば、「貫通モード」や「表面なぞりモード」が想定される。貫通モードが選択された場合、図7に示すように、触覚提示デバイス10を着用するユーザの身体の正面から内部および背面を結ぶ移動経路、すなわちユーザの身体を貫通する移動経路603を入力することが可能となる。この状態で触覚ポインタ60により身体をなぞると、刀で身体が真っ二つに斬られたような感覚を提示することが可能となる。また、「表面なぞりモード」では、触覚提示の境界コントラストを設定することも可能である。例えば、「表面なぞり-鉛筆」では、触覚提示の境界がはっきりとした感覚が提示され、「表面なぞり-ブラシ」では、触覚提示の境界がぼんやりとした感覚が提示されるようにしてもよい。
また、触覚ポインタ60を、触覚提示デバイス10に対して略垂直に前後させることで、距離に応じて圧力提示の強さを変化させることも可能である。
図17は、触覚提示デバイス10を用いず触覚ポインタ60のみで知覚効果の設定を行う場合について説明する図である。図17に示すように、触覚ポインタ60の先端を身体(実物体の一例)に直接接触させた状態で軌跡を描き、身体上における知覚位置の移動経路を設定することが可能である。触覚ポインタ60は、先端の3次元座標情報を取得し得る。この際、触覚ポインタ60の先端で振動や温度変化等の触覚提示を行ってもよい。
このように設定した知覚位置の移動経路を実際に触覚提示デバイス10で再生する場合、触覚ポインタ60または情報処理装置20は、収録された身体上の軌跡である3次元位置情報と、身体に着用された触覚提示デバイス10に設けられた各触覚刺激部100の位置情報を考慮し、目標の軌跡で触覚刺激が知覚されるよう、周辺の触覚刺激部100からの出力レベル(触覚制御信号の大きさ)を決定する。
図18は、人形を用いた知覚効果の設定について説明する図である。図18に示すように、例えばユーザが触覚提示デバイス10を着用した状態で、人形70(実物体の一例)に対して触覚ポインタ60により軌跡を描き、当該軌跡に対応する触覚刺激を、触覚提示デバイス10で(リアルタイムで)フィードバックすることが可能である。この際、触覚ポインタ60からレーザーポインタにより照射し、知覚位置を視認できるようにしてもよい。触覚ポインタ60は、距離センサにより人形の3次元位置を取得し、また、姿勢センサによる触覚ポインタ60の動きを検出し、これらに基づいて、人形の身体上に描いた軌跡を検出する。または、触覚ポインタ60は、人形に照射されたレーザーポインタの照射位置をカメラにより取得し、人形の身体上に描かれた軌跡を検出することも可能である。
また、ユーザは、触覚ポインタ60の収録ボタンを押しながら触覚ポインタ60を動かして軌跡を描く。ユーザが収録ボタンを離すと、触覚ポインタ60は、複数チャンネル分のデータ(すなわち、描かれた軌跡に応じて生成した各触覚刺激部100の出力制御信号)を保存する。
図19は、人形を用いた知覚効果の種々の設定について説明する図である。図19の上段に示すように、ユーザは、触覚ポインタ60を用いて人形70に対してレーザーポインタで照射して位置を確認しながら、人形70を、触覚提示デバイス10を着用した人間に見立てて、知覚位置の移動経路を入力することが可能である。なお人形70の大きさは特に限定しない。人形70の大きさが、触覚提示デバイス10(または触覚提示デバイス10を着用する人間)と異なる場合、触覚ポインタ60は、人形の大きさと、触覚提示デバイス10(または人間の身体)の大きさに応じて、スケールのマッチングを行う。
また、図19の中段に示すように、レーザーポインタによる照射の濃さにより、触覚提示の強度を表現することも可能である。ユーザは、触覚ポインタ60のボタンを操作して、触覚提示の強度を調整することが可能であるが、これを視覚的にフィードバックするため、例えば触覚提示が弱い場合は薄い色のポインタ606aを照射し、触覚提示が強い場合は濃い色のポインタ606bを照射するようにしてもよい。
また、図19の下段に示すように、レーザーポインタによる照射の大きさにより、触覚提示の範囲を表現することも可能である。ユーザは、触覚ポインタ60のボタンを操作して、触覚提示の範囲を調整することが可能であるが、これを視覚的にフィードバックするため、例えば触覚提示の範囲が狭い場合は小さいポインタ607aを照射し、触覚提示の範囲が広い場合は大きいポインタ607bを照射するようにしてもよい。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、触覚刺激の知覚位置の設定に関して直感的な操作を可能とする。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した触覚提示デバイス10、情報処理装置20、または触覚ポインタ60に内蔵されるCPU、ROM、およびRAM等のハードウェアに、触覚提示デバイス10、情報処理装置20、または触覚ポインタ60の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
を備える、情報処理装置。
(2)
前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスにおける複数の触覚刺激部の位置を示す情報である、前記(1)に記載の情報処理装置。
(3)
前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスの外形を示す情報である、前記(1)に記載の情報処理装置。
(4)
前記生成部は、前記ユーザに指定された前記知覚位置と知覚強度に応じて、前記出力制御信号を生成する、前記(1)~(3)のいずれか1項に記載の情報処理装置。
(5)
前記生成部は、前記ユーザに選択された種類の触覚刺激が前記知覚位置で知覚されるよう、前記出力制御信号を生成する、前記(1)~(4)のいずれか1項に記載の情報処理装置。
(6)
前記表示制御部は、複数種類の触覚刺激の選択画面を表示する、前記(5)に記載の情報処理装置。
(7)
前記表示制御部は、前記ユーザに指定された前記知覚位置に応じて、適した触覚刺激の種類を推薦する推薦画面を表示する、前記(5)に記載の情報処理装置。
(8)
前記表示制御部は、前記知覚位置の移動経路を示す表示を行う、前記(1)~(7)のいずれか1項に記載の情報処理装置。
(9)
前記表示制御部は、
前記知覚位置の移動を示す動画と、
前記動画のシークバーと、を表示する、前記(8)に記載の情報処理装置。
(10)
前記表示制御部は、
前記知覚位置で触覚刺激が提示される際に再生される動画コンテンツを併せて表示する、前記(9)に記載の情報処理装置。
(11)
前記情報処理装置は、
前記知覚位置の移動を示す動画の再生に合わせて、前記生成した出力制御信号を前記触覚提示デバイスに出力する制御を行う、前記(9)または(10)に記載の情報処理装置。
(12)
前記表示制御部は、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示する、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
前記表示制御部は、前記ユーザに指定された知覚位置と、前記複数の触覚刺激部の位置に応じて、前記知覚位置を最適化した推薦画面を表示する、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)
前記知覚位置および前記知覚位置の移動経路は、実物体上の3次元位置を取得するコントローラにより入力される、前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)
プロセッサが、
触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、
前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、
を含む、情報処理方法。
(16)
コンピュータを、
触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、
として機能させるための、プログラム。
10 触覚提示デバイス
100 触覚刺激部
102 音声出力部
110 制御部
120 通信部
20 情報処理装置
200 制御部
201 知覚位置・強度決定部
202 画面生成部
203 出力制御部
210 通信部
220 操作入力部
230 表示部
240 記憶部
60 触覚ポインタ
600 制御部
610 通信部
620 操作入力部
630 センサ
640 表示部
650 触覚提示部
660 記憶部

Claims (13)

  1. 触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
    前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、を備え、
    前記表示制御部は、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示する、
    情報処理装置。
  2. 前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスにおける複数の触覚刺激部の位置を示す情報である、請求項1に記載の情報処理装置。
  3. 前記触覚提示デバイスに関連する情報は、前記触覚提示デバイスの外形を示す情報である、請求項1に記載の情報処理装置。
  4. 前記生成部は、前記ユーザに指定された前記知覚位置と知覚強度に応じて、前記出力制御信号を生成する、請求項1に記載の情報処理装置。
  5. 前記生成部は、前記ユーザに選択された種類の触覚刺激が前記知覚位置で知覚されるよう、前記出力制御信号を生成する、請求項1に記載の情報処理装置。
  6. 前記表示制御部は、複数種類の触覚刺激の選択画面を表示する、請求項5に記載の情報処理装置。
  7. 前記表示制御部は、前記知覚位置の移動経路を示す表示を行う、請求項1に記載の情報処理装置。
  8. 前記表示制御部は、
    前記知覚位置の移動を示す動画と、
    前記動画のシークバーと、を表示する、請求項に記載の情報処理装置。
  9. 前記表示制御部は、
    前記知覚位置で触覚刺激が提示される際に再生される動画コンテンツを併せて表示する、請求項に記載の情報処理装置。
  10. 前記情報処理装置は、
    前記知覚位置の移動を示す動画の再生に合わせて、前記生成した出力制御信号を前記触覚提示デバイスに出力する制御を行う、請求項に記載の情報処理装置。
  11. 前記知覚位置および前記知覚位置の移動経路は、実物体上の3次元位置を取得するコントローラにより入力される、請求項1に記載の情報処理装置。
  12. プロセッサが、
    触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示することと、
    前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成することと、を含み、
    さらに、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示することを含む、
    情報処理方法。
  13. コンピュータを、
    触覚提示デバイスに関連する情報と、ユーザにより指定された前記触覚提示デバイスにおける知覚位置と、を表示する表示制御部と、
    前記知覚位置および前記触覚提示デバイスに設けられた複数の触覚刺激部の位置に応じて、前記知覚位置で触覚刺激を知覚するよう前記複数の触覚刺激部に出力する出力制御信号を生成する生成部と、として機能させるためのプログラムであって、
    前記表示制御部は、前記ユーザに指定された知覚位置に応じて、前記複数の触覚刺激部の位置を最適化した推薦画面を表示する、
    プログラム。
JP2020502043A 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム Active JP7314926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018027689 2018-02-20
JP2018027689 2018-02-20
PCT/JP2018/045563 WO2019163260A1 (ja) 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019163260A1 JPWO2019163260A1 (ja) 2021-02-04
JP7314926B2 true JP7314926B2 (ja) 2023-07-26

Family

ID=67687521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502043A Active JP7314926B2 (ja) 2018-02-20 2018-12-11 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11334226B2 (ja)
EP (1) EP3757721A4 (ja)
JP (1) JP7314926B2 (ja)
CN (1) CN111712779A (ja)
WO (1) WO2019163260A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026618A (ja) * 2019-08-07 2021-02-22 ソニー株式会社 生成装置、生成方法、プログラム及び触覚提示デバイス
JP7205512B2 (ja) * 2020-03-19 2023-01-17 豊田合成株式会社 アクチュエータ装置
JP7006714B2 (ja) * 2020-03-23 2022-01-24 カシオ計算機株式会社 位置測定システム、位置測定装置、位置測定方法及びプログラム
US20230135709A1 (en) * 2020-04-14 2023-05-04 Sony Group Corporation Information processing device and information processing method
JPWO2022118746A1 (ja) * 2020-12-04 2022-06-09

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014203960A1 (ja) 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
US20160291694A1 (en) 2015-04-03 2016-10-06 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100078294A (ko) * 2008-12-30 2010-07-08 삼성전자주식회사 진동 패턴 생성 방법 및 이를 이용한 휴대 단말기
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US9880621B2 (en) * 2010-04-08 2018-01-30 Disney Enterprises, Inc. Generating virtual stimulation devices and illusory sensations using tactile display technology
US8872762B2 (en) * 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN104768455B (zh) * 2012-09-11 2018-01-02 L.I.F.E.公司 可穿戴式通信平台
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
CN110251112B (zh) * 2014-02-04 2022-10-04 蒂姆土库尔斯有限公司 可穿戴设备
EP3125073B1 (en) * 2014-03-26 2020-11-18 Sony Corporation Sensory feedback introducing device, sensory feedback introducing system, and sensory feedback introduction method
US20170098350A1 (en) * 2015-05-15 2017-04-06 Mick Ebeling Vibrotactile control software systems and methods
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
WO2016007798A2 (en) * 2014-07-09 2016-01-14 Akari Systems, Inc. Wearable therapeutic light source
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
US20180036531A1 (en) * 2015-02-18 2018-02-08 Wearable Life Science Gmbh Device, system and method for the transmission of stimuli
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
EP3329350A4 (en) * 2015-09-25 2019-01-23 Immersion Corporation SYSTEM FOR DESIGNING HAPTIC EFFECTS
EP3454815A4 (en) * 2016-05-09 2020-01-08 Subpac, Inc. TACTILE SOUND DEVICE WITH ACTIVE FEEDBACK SYSTEM
CN109416584B (zh) * 2016-07-07 2022-08-02 索尼公司 信息处理装置、信息处理方法和程序
US9797729B1 (en) * 2016-10-25 2017-10-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for automatic fit adjustment of a wearable device
US10744058B2 (en) * 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
CN107320095B (zh) * 2017-06-30 2020-06-23 联想(北京)有限公司 一种心电监测方法和心电监测设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014203960A1 (ja) 2013-06-21 2014-12-24 株式会社ニコン 振動データ生成プログラム、および振動データ生成装置
US20160291694A1 (en) 2015-04-03 2016-10-06 Disney Enterprises, Inc. Haptic authoring tool for animated haptic media production

Also Published As

Publication number Publication date
WO2019163260A1 (ja) 2019-08-29
JPWO2019163260A1 (ja) 2021-02-04
CN111712779A (zh) 2020-09-25
US20210004132A1 (en) 2021-01-07
US11334226B2 (en) 2022-05-17
EP3757721A4 (en) 2021-04-21
EP3757721A1 (en) 2020-12-30

Similar Documents

Publication Publication Date Title
JP7314926B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
EP2945044B1 (en) Systems and methods for providing haptic feedback for remote interactions
US20230102542A1 (en) Information processing device, information processing method, and recording medium
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020107264A (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP6290467B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
KR101415944B1 (ko) 기상 상태에 대한 입체 음향을 제공하는 가상 골프 시뮬레이션 장치 및 방법
JP7488867B2 (ja) プログラムおよびシステム
WO2018116544A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN109984911B (zh) 一种具有虚拟现实功能的按摩设备及其控制方法
KR20210075082A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
CN114253393A (zh) 信息处理设备、终端、方法以及计算机可读记录介质
JP2021073749A (ja) 情報処理装置、情報処理方法、およびプログラム
US11228855B2 (en) Information processing device and information processing method
US11190874B2 (en) Information processing device and information processing method
US20230033892A1 (en) Information processing device and information processing terminal
JP7238886B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP6498090B2 (ja) カラオケ装置及びカラオケ用プログラム
JPWO2021059372A1 (ja) アニメーション制作システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R151 Written notification of patent or utility model registration

Ref document number: 7314926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151