JP2023150607A - 入出力装置 - Google Patents
入出力装置 Download PDFInfo
- Publication number
- JP2023150607A JP2023150607A JP2022059806A JP2022059806A JP2023150607A JP 2023150607 A JP2023150607 A JP 2023150607A JP 2022059806 A JP2022059806 A JP 2022059806A JP 2022059806 A JP2022059806 A JP 2022059806A JP 2023150607 A JP2023150607 A JP 2023150607A
- Authority
- JP
- Japan
- Prior art keywords
- data
- tactile
- auditory
- input
- tactile data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 10
- 230000015541 sensory perception of touch Effects 0.000 claims description 3
- 230000035807 sensation Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 25
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 230000005057 finger movement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】触覚に適した音を発生する入出力装置を提供する。【解決手段】入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを学習済みモデルに入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。【選択図】図2
Description
本開示は、入出力装置に関する。
近年、仮想現実(VR; Virtual Reality)、拡張現実(AR; Augmented Reality)、複合現実(MR; Mixed Reality)等の技術を用いてメタバースと呼ばれる仮想空間を提供するサービスが始まっている。ユーザがヘッドマウントディスプレイを頭に装着すると、アバタとしてメタバースに入ることができる。メタバースでは、ユーザはヘッドマウントディスプレイで表示される3次元画像を見たり、スピーカで生成される音を聞いたりすることができる。ユーザはまた、両手に装着したコントローラを操作することにより、3次元画像として表示される仮想オブジェクトを動かすことができる。これと同時に、コントローラに対する操作に応じて特有の効果音が発生する場合もある。たとえば、ユーザがコントローラのボタンを押すと、「ピッ」という効果音が発生する。ユーザはこの効果音を聞き、ボタンを押したことを確認することができる。しかしながら、ボタンを押した量や押す速度に関わらず、操作と効果音が1対1に対応づけられているため、リアリティに欠ける。
上記の技術は視覚と聴覚をユーザに与えるものであるが、これらに加え、触覚も与える技術もある。たとえば、ユーザがコントローラのボタンを押すと、効果音が発生すると同時に、コントローラが振動する。ユーザはこの振動を感じ、ボタンを押したことを確認することができる。しかしながら、効果音と同様に、操作と振動が1対1に対応づけられているため、リアリティに欠ける。
一方、単純な振動ではなく、もっとリアルな触覚をユーザに提示できる装置も提案されている。
たとえば、特開2017-138651号公報(特許文献1)は、映像に映し出された物体の力覚を操作者に提示する力覚提示装置に関し、複雑な制御を必要とすることなく、映像の動きと操作部において提示される力覚とを高い精度でリンクさせることが可能な力覚提示装置を開示する。しかし、この公報は、音の発生には全く言及していない。
特開2020-17159号公報(特許文献2)は、ディスプレイに表示される仮想オブジェクトの種類に応じた触覚をユーザの手に与えることができる仮想オブジェクト触覚提示装置を開示する。しかし、この公報も、音の発生には全く言及していない。
特開2017-174381号公報(特許文献3)は、ハプティック効果を生成する方法を開示する。「ハプティック」とは、ユーザに対する力、振動、及び運動などのハプティックフィードバック効果(すなわち、「ハプティック効果」)をユーザに加えることによって、ユーザのタッチの検知を利用するハプティック及び力のフィードバック技術である。しかし、この公報も、音の発生には全く言及していない。
WO2018/11003公報(特許文献4)は、表示部により表示される仮想オブジェクトに対するユーザのモーション情報を取得する取得部と、モーション情報と仮想オブジェクトとに応じて、オノマトペを含む画像の表示を制御する出力制御部とを備える情報処理装置を開示する。オノマトペは、例えばコミックや小説などでも利用されているように、皮膚感覚を視覚情報として提示するための有効な手法であると考えられる。オノマトペは擬音語(例えば、物体が発する音を表現した文字列)、および、擬態語(例えば、物体の状態や人間の感情などを表現した文字列)を含み得る。しかし、この公報も、音の発生には全く言及していない。
スマートフォンを含む汎用コンピュータの分野では、マウス、キーボード、タッチパネル等の入力装置に対する操作に応じて効果音を発生する技術がある。また、コンピュータゲームの分野では、コントローラのボタンの押下に応じて効果音を発生する技術もある。しかしながら、上記と同様に、操作と効果音が1対1に対応づけられているため、リアリティに欠ける。
また、操作に対する反動で返ってくる感触は操作の対象物や態様によって異なることが多い。そのため、操作に応じて発生する又は発生するであろう音も異なることが多い。しかしながら、触覚に適した音を発生する技術はない。
特開2003-345496号公報(特許文献5)は、触覚を呈示することによりコミュニケーションを行う情報処理システムを開示する。
特開2019-169195号公報(特許文献6)は、1以上の触覚効果を推奨する触覚設計オーサリングツールを開示する。このツールは、人間の触覚設計者のスタイルを学習することによって生成される触覚化モデルを用い、音声、映像、及びイベントを含む入力を受信し、イベントに関連付けるための一の種類の触覚効果を推奨する。
本開示の課題は、触覚に適した音を発生する入出力装置を提供することである。
本開示による入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを前記学習済みモデルに入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
本開示によるもう1つの入出力装置は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
<実施形態の概要>
本実施形態による入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを学習済みモデルに入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
本実施形態による入出力装置は、入力された触覚データに対応する聴覚データを出力する学習済みモデルと、触覚データを取得し、取得した触覚データを学習済みモデルに入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
この入出力装置では、取得した触覚データを学習済みモデルに入力すると、学習済みモデルから出力された聴覚データに基づいてスピーカが制御される。その結果、この入出力装置は、触覚に適した音を発生することができる。
本実施形態によるもう1つの入出力装置は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える。
この入出力装置では、取得した触覚データに対応するクラスが判別され、そのクラスに対応する聴覚データが聴覚データ記憶部から読み出され、その聴覚データに基づいてスピーカが制御される。その結果、この入出力装置は、触覚に適した音を発生することができる。
入出力装置は、さらに、触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部を備えてもよい。この場合、入出力装置は、触覚に適した音を発生するだけでなく、触覚も提示することができる。
入出力装置は、第1コンピュータに含まれてもよい。聴覚制御部は、第2コンピュータから送信された触覚データを受信してもよい。この場合、入出力装置は、他のユーザから送られて来た触覚に適した音を発生することができる。
本実施形態による入出力方法は、触覚データを取得するステップと、入力された触覚データに対応する聴覚データを出力する学習済みモデルに、取得した触覚データを入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとを含む。
本実施形態による入出力プログラムは、触覚データを取得するステップと、入力された触覚データに対応する聴覚データを出力する学習済みモデルに、取得した触覚データを入力し、学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。
本実施形態によるもう1つの入出力方法は、触覚データを取得するステップと、取得した触覚データに対応するクラスを判別するステップと、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとを含む。
本実施形態によるもう1つの入出力プログラムは、触覚データを取得するステップと、取得した触覚データに対応するクラスを判別するステップと、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるためのものである。
<実施形態の詳細>
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
以下、添付の図面を参照しながら本実施形態を詳しく説明する。図中、同一又は相当部分には同一参照符号を付し、その説明を繰り返さない。
<第1実施形態>
図1に示されるように、第1実施形態による入出力システム10は、タップユニット12と、スマートフォン(スマホ)14とを備える。
図1に示されるように、第1実施形態による入出力システム10は、タップユニット12と、スマートフォン(スマホ)14とを備える。
タップユニット12は、人の指の動き(モーション)を時間経過とともに検知する角度センサ121と、角度センサ121により検知された指の動きに応じて提示すべき触覚を制御する触覚制御部122とを含む。角度センサ121は、具体的には、タップユニット12を装着したユーザが人差し指で可動片13を押したとき、可動片13が最初の位置から回転した角度を人差し指の位置として検知する。ユーザは指をゆっくり動かす場合もあれば、素早く動かす場合もある。角度センサ121は、指の角度(位置)を経過時間とともに検知してもよい。この場合、検知される指の角度は時間の関数である。
スマートフォン14は、角度センサ121により検知された指の動きに応じて発生すべき音を制御する聴覚制御部141と、角度センサ121により検知された指の動きに応じて表示すべき画像を制御する視覚制御部142とを含む。スマートフォン14として、電話機能を有する携帯情報端末を使用することができる。スマートフォン14には、基本プログラムのほか、コンピュータを聴覚制御部141及び視覚制御部142として機能させるためのアプリケーションプログラムがインストールされる。
より具体的には、図2に示されるように、タップユニット12は、無線通信部123と、バッテリ124と、触覚データ記憶部125と、触覚制御部122と、MRFデバイス(触覚提示装置)126と、角度センサ121とを含む。スマートフォン14は、無線通信部143と、CPU(中央演算装置)144と、入出力装置145と、タッチパネル146と、スピーカ147とを含む。入出力装置145は、人工知能(AI)160と、データベース(DB)148と、アプリケーションプログラム(アプリ)149とを含む。人工知能(AI)160は、学習済みモデル161を含む。データベース148は、視覚データベース151を含む。アプリケーションプログラム149は、CPU144を聴覚制御部141として機能させるためのプログラムと、CPU144を視覚制御部142として機能させるためのプログラムと、CPU144を触覚制御部153として機能させるためのプログラムとを含む。学習済みモデル161は、入力された触覚データに対応する聴覚データを出力する。視覚データベース151には、複数の仮想オブジェクトに対応する複数の視覚データが予め記憶されている。視覚データの各々は、対応する仮想オブジェクトの視覚を表現する視覚信号(画像信号)を含む。聴覚制御部141は、触覚データを取得し、取得した触覚データを学習済みモデル161に入力し、学習済みモデル161から出力された聴覚データに基づいてスピーカ147を制御する。触覚制御部153は、取得した触覚データをタップユニット12に送出することにより、触覚データに基づいてMRFデバイス126を制御する。タッチパネル146は、画像を表示する表示機能と、ユーザの指による操作を受け付ける入力機能とを有する。スピーカ147は、音(音声、音楽、効果音など)を発生する。
無線通信部123及び143は、たとえば近距離無線モジュールを含み、タップユニット12及びスマートフォン14は相互に無線で接続される。ただし、無線に限定されることなく、タップユニット12及びスマートフォン14は相互に有線で接続されてもよい。触覚データ記憶部125は、スマートフォン14から送出されて来た触覚データを記憶する。MRFデバイス126は、磁気粘性流体(Magneto-rheological fluid)(図示せず)と、磁気粘性流体の周りに巻かれるコイル(図示せず)とを含む。触覚制御部122は、バッテリ124からMRFデバイス126のコイルに供給される電流の量を制御する。これにより、MRFデバイス126は、タップユニット12を操作する人の指に対して適切な触覚を提示する。MRFデバイス126の他に、モータや振動素子などのアクチュエータも採用できる。電流の量に応じたアクチュエータの動作により、触覚を提示できる。
スマートフォン14はさらに、ウェブ方式等の通信部155を含む。スマートフォン14は、通信部155を介して他のスマートフォン15に接続される。スマートフォン15は、ユーザの操作に応じて選択された触覚データを触覚データ記憶部156から読み出し、スマートフォン14に送信することができる。
図3に示されるように、学習済みモデル161は、ディープラーニング等の機械学習により予め作成される。具体的には、大量の学習用触覚データセットを準備する。このセットは、複数の学習用触覚データを含む。学習用触覚データの各々は、触覚データと、これに対応する聴覚(音)データとを含む。触覚データは、たとえば人の身体の位置に対する触覚力の関数であり、位置と触覚力との相関関係の波形で表わされる。
学習用触覚データの各々は、たとえば図4又は図5に示されるように、複数の触覚データと、これらに対応する複数の聴覚データとを含む。触覚データの各々は、対応する触覚を表現する触覚信号を含む。触覚データは、触覚の長さ、初期値、最大値、最大値からの勾配等の特徴を表現する。聴覚データの各々は、対応する聴覚(音)を表現するオノマトペ(擬音語、擬声語、擬態語など)と、オノマトペを表現する音声信号(音声ファイル)とを含む。
図4に示されるように、人の身体の動きに対する反作用の触覚を表現する場合、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。指位置は、0度から90度まで1度ごとの指の角度を含む。触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値を含んでもよい。
一方、図5に示されるように、人の身体を動かすときの触覚を表現する場合、触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値とを含む。通電時間は、0ミリ秒から1000ミリ秒まで1ミリ秒ごとの通電時間を含む。触覚信号は、たとえばユーザごとに作成され、各ユーザの特徴や感情等を表現してもよい。あるいは、触覚信号は、たとえば仮想空間内における現象(イベント)ごとにAI等で自動的に生成され、アバタの衝突や仮想オブジェクトの崩壊等の現象を表現してもよい。また、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含んでも良い。
図3に示されるように、AI160は、所定の教師あり学習処理を実行し、準備された学習用触覚データセットを使用して学習済みモデル161を生成する。学習済みモデル161は、入力された触覚データに対応する聴覚データを出力する。具体的には、AI160は、所定の推論処理を実行し、未知の聴覚データに対応する聴覚データを算出する。
次に、第1実施形態による入出力システムの動作を説明する。
図6を参照して、ステップS11で、スマートフォン14は、ユーザの操作に応じて、アプリケーションプログラム149を起動する。一方、ステップS21で、タップユニット12は、ユーザの操作に応じて、電源をオンにする。これにより、タップユニット12は、スマートフォン14と無線で接続される。
ステップS12で、スマートフォン14において、聴覚制御部141は、他のスマートフォン15から送信されて来た触覚データを受信(取得)する。
ステップS13で、聴覚制御部141は、取得した触覚データを学習済みモデル161に入力し、学習済みモデル161から出力される聴覚データを読み出す。
ステップS14で、触覚制御部153は、取得した触覚データをタップユニット12に送出する。
一方、ステップS22で、タップユニット12は、スマートフォン14から送出されて来た触覚データを触覚データ記憶部125に保存する。
ステップS23で、タップユニット12は、角度センサ121を起動する。
ステップS24で、触覚制御部122は、角度センサ121により検知された指の位置を取得し、取得した指の位置をスマートフォン14に送出する。以降、触覚制御部122は、この動作を繰り返し続ける。これにより、触覚制御部122は角度センサ121により検知された指の位置を時間経過とともにスマートフォン14に送出し続ける。
ステップS27で、触覚制御部122は、MRFデバイス126を制御し、MRFデバイス126はユーザに対して触覚を提示する。具体的には、触覚制御部122は、ステップS25で、角度センサ121により検知された指の位置に対応する触覚データを触覚データ記憶部125から読み出し、ステップS26で、読み出した触覚データをMRFデバイス126に送出する。ステップS27で、MRFデバイス126は、触覚制御部122から送出されて来た触覚データに基づいて、タップユニット12を押し込んでいるユーザの指に触覚を与える。
一方、ステップS15で、視覚制御部142は、タップユニット12から送出されて来る指の位置に対応する視覚データ(視覚信号の画像ファイル)を視覚データベース151から読み出す。
ステップS16で、視覚制御部142は、読み出した視覚データをタッチパネル146に送出することにより、視覚データに基づいてタッチパネル146を制御する。また、聴覚制御部141は、学習済みモデル161から出力された聴覚データをスピーカ147に送出することにより、聴覚データに基づいてスピーカ147を制御する。
ステップS17で、タッチパネル146は、視覚制御部142から送出されて来る視覚データに基づいて画像を表示する。また、スピーカ147は、聴覚制御部141から送出されて来る聴覚データに基づいて音を発生する。
以上のとおり、第1実施形態による入出力システム10は、取得した触覚データを学習済みモデル161に入力し、学習済みモデル161から出力される聴覚データに基づいてスピーカ147を制御する。その結果、入出力システム10は、触覚に適した音を発生することができる。また、入出力システム10は、触覚データに基づいてMRFデバイス126を制御する。その結果、入出力システム10は、音だけでなく、触覚も同時に提示することができる。さらに、入出力システム10は、視覚データに基づいてタッチパネル146を制御する。その結果、入出力システム10は、音や触覚だけでなく、触覚に適した画像も同時に表示することができる。このように、聴覚、触覚及び視覚が相互に連動し、リアリティが高くなる。
<第2実施形態>
第2実施形態による入出力装置145は、図7に示されるように、人工知能(AI)160に代えて、データベース(DB)148を含む。データベース148は、視覚データベース151に加えて、聴覚データベース(聴覚データ記憶部)152を含む。聴覚データベース152は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する。聴覚制御部141は、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース152から読み出し、読み出した聴覚データに基づいてスピーカ147を制御する。
第2実施形態による入出力装置145は、図7に示されるように、人工知能(AI)160に代えて、データベース(DB)148を含む。データベース148は、視覚データベース151に加えて、聴覚データベース(聴覚データ記憶部)152を含む。聴覚データベース152は、複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する。聴覚制御部141は、触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース152から読み出し、読み出した聴覚データに基づいてスピーカ147を制御する。
図8に示されるように、聴覚データベース152は、ディープラーニング等の機械学習により予め作成される。学習用触覚データの各々は、たとえば図9又は図10に示されるように、複数の触覚データを含む。触覚データの各々は、対応する触覚を表現する触覚信号を含む。図9に示されるように、人の身体の動きに対する反作用の触覚を表現する場合、触覚信号の各々は、複数の指位置と、これらに対応する複数の電流値とを含む。一方、図10に示されるように、人の身体を動かすときの触覚を表現する場合、触覚信号の各々は、複数の通電時間と、これらに対応する複数の電流値とを含む。
図8に示されるように、AI160は、所定の教師なし学習処理、より具体的にはクラスタリング処理を実行し、準備された学習用触覚データセットを使用し、複数の触覚データをクラスタリングし、複数の触覚データを複数のクラスに分類する。各クラスに適した聴覚データ(音声信号を含む)を手動又は自動で割り当て、これにより聴覚データベース152を構築する。聴覚制御部141は、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース152から読み出す。
次に、第2実施形態による入出力システムの動作を説明する。ただし、以下では、再び図6を参照して、第1実施形態と異なるステップのみを説明する。
ステップS13で、聴覚制御部141は、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを聴覚データベース152から読み出す。
ステップS16で、聴覚制御部141は、聴覚データベース152から読み出した聴覚データをスピーカ147に送出することにより、聴覚データに基づいてスピーカ147を制御する。
ステップS17で、スピーカ147は、聴覚制御部141から送出されて来る聴覚データに基づいて音を発生する。
以上のとおり、第2実施形態による入出力システム10は、取得した触覚データに対応するクラスを判別し、そのクラスに対応する聴覚データを聴覚データベース152から読み出し、その聴覚データに基づいてスピーカ147を制御する。その結果、入出力システム10は、触覚に適した音を発生することができる。
<他の実施形態>
本発明は、スマートフォン同士の通信だけでなく、家庭用ゲーム機やVRゴーグル等、ユーザ同士が相互通信可能な機器にも適用可能である。また、本発明は、機器間の直接通信に限定されることなく、サーバやホストコンピュータを経由した通信にも利用できる。
本発明は、スマートフォン同士の通信だけでなく、家庭用ゲーム機やVRゴーグル等、ユーザ同士が相互通信可能な機器にも適用可能である。また、本発明は、機器間の直接通信に限定されることなく、サーバやホストコンピュータを経由した通信にも利用できる。
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されることなく、その趣旨を逸脱しない限り、種々の改良、変形などが可能である。
10 :入出力システム
121:角度センサ
122,153:触覚制御部
141:聴覚制御部
142:視覚制御部
145:入出力装置
146:タッチパネル
147:スピーカ
148:データベース
149:アプリケーションプログラム
151:視覚データベース
152:聴覚データベース
121:角度センサ
122,153:触覚制御部
141:聴覚制御部
142:視覚制御部
145:入出力装置
146:タッチパネル
147:スピーカ
148:データベース
149:アプリケーションプログラム
151:視覚データベース
152:聴覚データベース
Claims (8)
- 入力された触覚データに対応する聴覚データを出力する学習済みモデルと、
触覚データを取得し、取得した触覚データを前記学習済みモデルに入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。 - 複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部と、
触覚データを取得し、取得した触覚データに対応するクラスを判別し、判別したクラスに対応する聴覚データを前記聴覚データ記憶部から読み出し、読み出した聴覚データに基づいてスピーカを制御する聴覚制御部とを備える、入出力装置。 - 請求項1又は2に記載の入出力装置であって、さらに、
前記触覚データに基づいて触覚を提示する触覚提示装置を制御する触覚制御部を備える、入出力装置。 - 請求項1~3のいずれか1項に記載の入出力装置であって、
前記入出力装置は、第1コンピュータに含まれ、
前記聴覚制御部は、第2コンピュータから送信された触覚データを受信する、入出力装置。 - 触覚データを取得するステップと、
入力された触覚データに対応する聴覚データを出力する学習済みモデルに、前記取得した触覚データを入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。 - 触覚データを取得するステップと、
入力された触覚データに対応する聴覚データを出力する学習済みモデルに、前記取得した触覚データを入力し、前記学習済みモデルから出力された聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。 - 触覚データを取得するステップと、
前記取得した触覚データに対応するクラスを判別するステップと、
複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、前記判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとを含む、入出力方法。 - 触覚データを取得するステップと、
前記取得した触覚データに対応するクラスを判別するステップと、
複数の触覚データをクラスタリングすることにより得られた複数のクラスに対応する複数の聴覚データを記憶する聴覚データ記憶部から、前記判別したクラスに対応する聴覚データを読み出し、読み出した聴覚データに基づいてスピーカを制御するステップとをコンピュータに実行させるための入出力プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022059806A JP2023150607A (ja) | 2022-03-31 | 2022-03-31 | 入出力装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022059806A JP2023150607A (ja) | 2022-03-31 | 2022-03-31 | 入出力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023150607A true JP2023150607A (ja) | 2023-10-16 |
Family
ID=88326458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022059806A Pending JP2023150607A (ja) | 2022-03-31 | 2022-03-31 | 入出力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023150607A (ja) |
-
2022
- 2022-03-31 JP JP2022059806A patent/JP2023150607A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11398067B2 (en) | Virtual reality presentation of body postures of avatars | |
Coburn et al. | A review of the capabilities of current low-cost virtual reality technology and its potential to enhance the design process | |
JP6552114B2 (ja) | ハプティックフィードバック機能性を備えたチャットインターフェース | |
US11100694B2 (en) | Virtual reality presentation of eye movement and eye contact | |
CN106445157B (zh) | 一种画面显示方向调整的方法以及装置 | |
JP2018008316A (ja) | 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム | |
US20230053767A1 (en) | System, game console and method for adjusting a virtual environment | |
CN112166602B (zh) | 信息处理装置、信息处理方法以及程序 | |
KR20090020417A (ko) | 완구 로봇 | |
Hashimoto et al. | Novel tactile display for emotional tactile experience | |
JP2023150607A (ja) | 入出力装置 | |
WO2023189404A1 (ja) | 入出力装置 | |
CN110609615A (zh) | 用于在增强现实中集成触觉覆盖的***和方法 | |
WO2023189405A1 (ja) | 入出力装置 | |
JP2023150608A (ja) | 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法 | |
WO2023189406A1 (ja) | 出力制御装置、出力制御プログラム及び出力制御方法 | |
WO2023189407A1 (ja) | 触覚パターン提供システム、触覚パターン提供プログラム、及び、触覚パターン提供方法 | |
JP7371820B1 (ja) | アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム | |
CN111459288B (zh) | 一种运用头控实现语音输入的方法和装置 | |
WO2023210164A1 (ja) | アニメーション操作方法、アニメーション操作プログラム及びアニメーション操作システム | |
KR20110040128A (ko) | 헵틱 콘텐츠 스트리밍 시스템 | |
Fernandez | “Through the looking glass: envisioning new library technologies” an experience you can feel: haptic technology | |
Ni et al. | Enhancing mobile VR immersion: a multimodal system of neural networks approach to an IMU gesture controller | |
Deneke | Enabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control systemEnabling people with motor impairments to get around in 360° video experiences: Concept and prototype of an adaptable control system | |
KR20230111943A (ko) | 가상현실에 기반하여 상호적인 커뮤니케이션 서비스를 제공하는 방법 및 그 전자장치 |