JP7441787B2 - 振動触覚をフィードバックする方法およびデバイス - Google Patents
振動触覚をフィードバックする方法およびデバイス Download PDFInfo
- Publication number
- JP7441787B2 JP7441787B2 JP2020537047A JP2020537047A JP7441787B2 JP 7441787 B2 JP7441787 B2 JP 7441787B2 JP 2020537047 A JP2020537047 A JP 2020537047A JP 2020537047 A JP2020537047 A JP 2020537047A JP 7441787 B2 JP7441787 B2 JP 7441787B2
- Authority
- JP
- Japan
- Prior art keywords
- force feedback
- information
- audio
- vibrotactile
- actuator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000003155 kinesthetic effect Effects 0.000 claims description 154
- 238000012952 Resampling Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 10
- 230000003139 buffering effect Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 16
- 238000004088 simulation Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 10
- 230000036316 preload Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000035807 sensation Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000007493 shaping process Methods 0.000 description 3
- 230000001934 delay Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009347 mechanical transmission Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000380131 Ammophila arenaria Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
- A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/013—Force feedback applied to a game
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/014—Force feedback applied to GUI
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/015—Force feedback applied to a joystick
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Automatic Assembly (AREA)
- Manipulator (AREA)
- Circuit For Audible Band Transducer (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Description
(12+a)Hz
式中、0≦a<4000
(50+a)Hz
式中、0≦a<100
-ステアリングホイールアセンブリ、
-コンピュータゲーム入力デバイス、
-コンピュータジョイスティック、
-キーボード、
-ペダルまたはペダルアセンブリ、
-ボタン、
-ハンドル、
-座席、
-クッション、
-ヘルメット、
-ゴーグル、
-ガーメント、
-ウェアラブルデバイス、
-ハンドヘルド入力デバイス、
-グローブ、
-コンピュータゲーム用のスポーツ機器シミュレーション、
-コンピュータゲーム用の武器シミュレーションデバイス、
-コンピュータゲーム用の運転コックピットシミュレーションデバイス、
-コンピュータゲーム用のパイロットコックピット(または操縦翼面)シミュレーションデバイス、
-コンピュータゲーム用の舵手/船長/艦長の舵輪シミュレーションデバイス、
-医療機器
が含まれる。
-コンピュータゲーム、
-コンピュータトレーニングシステム、
-運転シミュレーション、
-飛行シミュレーション、
-水上車両操縦シミュレーション、
-スポーツシミュレーション、
-射撃シミュレーション、
-医療シミュレーション、
-ロボット装置を操作するためのアプリケーション、
-遠隔配置されたロボット装置を遠隔操作するためのアプリケーション
が含まれ、この各々がハードウェアおよび/またはソフトウェアとして組み込まれる。
-アプリケーションデバイスの汎用音声出力ポート、
-アプリケーションデバイスの専用音声出力ポートまたはチャネル、
-アプリケーションデバイスとの有線通信リンク、
-アプリケーションデバイスとの無線通信リンク、
-アプリケーションデバイスの力フィードバック出力ポート、
-スピーカ、
-マイクロフォン、
-センサ
の少なくとも1つを介して取得されてよい。
-取得した音声情報および/または音響情報の少なくとも一部をスケーリングする、
-取得した音声情報および/または音響情報の少なくとも一部をピッチングする、
-取得した音声情報および/または音響情報の少なくとも一部を周波数シフトする、
-取得した音声情報および/または音響情報の少なくとも一部をフィルタリングする、
-取得した音声情報および/または音響情報の少なくとも一部を帯域幅制限する、
-取得した音声情報および/または音響情報の少なくとも一部を等化する、
-取得した音声情報および/または音響情報の少なくとも一部を切り捨てる、
-取得した音声情報および/または音響情報の少なくとも一部を圧縮する、
-取得した音声情報および/または音響情報の少なくとも一部を遅延させる、
-取得した音声情報および/または音響情報の少なくとも一部を畳み込む、
-音声情報および/または音響情報の少なくとも一部をバッファリングする、
-連続性を維持する人工的音声情報および/または音響情報のコンテンツを生成する、
-音声情報および/または音響情報をリサンプリングする、
-所望数の音声情報および/または音響情報をバッファリングするためにリサンプリングレートを変調する、
-音声情報および/または音響情報を暗号化する、
-音声情報および/または音響情報をパケット化する、
の少なくとも1つによって生成されてよい。
-スケーリング、
-ピッチング、
-周波数シフト、
-フィルタリング、
-帯域幅制限、
-等化、
-切り捨て、
-圧縮、
-遅延、
-畳み込み
の少なくとも1つによって少なくとも部分的に修正されてよい。
-電気モータ、
-ステップモータ、
-ブラシレスモータ、
-電気力学的励磁機、
-スピーカ、
-ボイスコイルトランスデューサ、
-可動磁石トランスデューサ、
-圧電トランスデューサ、
-コンデンサ構成、
-電磁石構成、
-摩擦系トランスデューサ、
-粒子ブレーキ、
-偏心回転質量、
-線形共振アクチュエータ、
-流体が入っている可撓性本体(これは例えば、クッションに座っているユーザが振動を感じるように揺らすことができる水/空気を充満させたクッションであってよい)、
の少なくとも1つを含んでいてよい。
-少なくとも2つの振動触覚力フィードバック制御情報のいずれか一方を用いて少なくとも2つのアクチュエータの少なくとも一方を制御すること、および
-少なくとも2つの振動触覚力フィードバック制御情報の残りのうち少なくとも1つを用いて少なくとも2つのアクチュエータの少なくとももう一方を制御すること
を含んでいてよい。
-アプリケーションデバイスから取得した振動触覚フィードバック制御情報と力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを生成し、力フィードバック制御情報は、ユーザに提供する少なくとも1つの力フィードバックを決定すること、
-ユーザに対して少なくとも1つの振動触覚フィードバックおよび少なくとも1つの力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とを用いてユーザインターフェースデバイスの少なくとも1つのアクチュエータを制御すること
を含んでいてよい。
-アプリケーションデバイスから力フィードバック制御情報を取得し、力フィードバック制御情報は、ユーザに提供する少なくとも1つの力フィードバックを決定すること、
-ユーザに対して少なくとも1つの力フィードバックを生成するために、力フィードバック制御情報を用いて少なくとも1つの力フィードバックアクチュエータを制御すること
を含んでいてよい。
-制御ユニット、
-制御ユニットに通信するように接続された入力部であって、アプリケーションデバイスから音声情報および/または音響情報の音声情報および/または音響情報を取得し、取得した音声情報および/または音響情報を制御ユニットに提供するように適応している、入力部
を有する。
-取得した音声情報および/または音響情報を基に振動触覚フィードバック制御情報を生成し、振動触覚力フィードバック制御情報は、ユーザに提供する少なくとも1つの振動触覚力フィードバックを決定する
ように適応していてよい。
-ユーザに対して少なくとも1つの振動触覚力フィードバックを生成するために、振動触覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも1つのアクチュエータを制御する
ように適応していてよい。
-アプリケーションデバイスから取得した振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、力フィードバック制御情報は、ユーザに提供する少なくとも1つの力フィードバックを決定する
ように適応していてよい。
-ユーザに対して少なくとも1つの振動触覚力フィードバックおよび少なくとも1つの運動感覚力フィードバックを生成するために、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を用いてユーザインターフェースデバイスの少なくとも1つのアクチュエータを制御する
ように適応していてよい。
-アプリケーションデバイスから運動感覚力フィードバック制御情報を取得し、運動感覚力フィードバック制御情報は、ユーザに提供する少なくとも1つの運動感覚力フィードバックを決定する
ように適応していてよい。
-ユーザに対して少なくとも1つの運動感覚力フィードバックを生成するために、運動感覚力フィードバック制御情報を用いて少なくとも1つの運動感覚力フィードバックアクチュエータを制御する
ように適応していてよい。
-アプリケーションデバイスの汎用音声出力ポート、
-アプリケーションデバイスの専用音声出力ポートまたはチャネル、
-アプリケーションデバイスとの有線通信リンク、
-アプリケーションデバイスとの無線通信リンク、
-アプリケーションデバイスの力フィードバック出力ポート、
-スピーカ、
-マイクロフォン、
-センサ
の少なくとも1つを介して音声情報および/または音響情報を取得するように適応していてよい。
-取得した音声情報および/または音響情報の少なくとも一部をスケーリングする、
-取得した音声情報および/または音響情報の少なくとも一部をピッチングする、
-取得した音声情報および/または音響情報の少なくとも一部を周波数シフトする、
-取得した音声情報および/または音響情報の少なくとも一部をフィルタリングする、
-取得した音声情報および/または音響情報の少なくとも一部を帯域幅制限する、
-取得した音声情報および/または音響情報の少なくとも一部を等化する、
-取得した音声情報および/または音響情報の少なくとも一部を切り捨てる、
-取得した音声情報および/または音響情報の少なくとも一部を圧縮する、
-取得した音声情報および/または音響情報の少なくとも一部を遅延させる、
-取得した音声情報および/または音響情報の少なくとも一部を畳み込む、
-音声情報および/または音響情報の少なくとも一部をバッファリングする、
-連続性を維持する人工的音声情報および/または音響情報のコンテンツを生成する、
-音声情報および/または音響情報をリサンプリングする、
-所望数の音声情報および/または音響情報をバッファリングするためにリサンプリングレートを変調する、
-音声情報および/または音響情報を暗号化する、
-音声情報および/または音響情報をパケット化する、
の少なくとも1つによって振動触覚フィードバック制御情報を生成するように適応していてよい。
-スケーリング、
-ピッチング、
-周波数シフト、
-フィルタリング、
-帯域幅制限、
-等化、
-切り捨て、
-圧縮、
-遅延、
-畳み込み
の少なくとも1つによって少なくとも部分的に、運動感覚力フィードバック制御情報および/または振動触覚力フィードバック制御情報を修正するように適応していてよい。
-少なくとも2つの振動触覚力フィードバック制御情報のうちの一方を用いて少なくとも2つのアクチュエータの少なくとも一方を制御し、かつ
-少なくとも2つの振動触覚力フィードバック制御情報の残りのうち少なくとも1つを用いて少なくとも2つのアクチュエータの少なくとももう一方を制御する
ように適応していてよい。
このような例では、振動触覚力フィードバックの生成は、ユーザインターフェースデバイス20のみで行われると言える。
これは、間のトルクオフセットが固定しているか可変である2つのモータ1および2を操作することによって解決され得る。例えばトルクオフセットは、トルクオフセットの結果少なくとも2つのモータによって提供されるトルクが、少なくとも2つのモータと振動触覚力フィードバックが提供される場所との間に、例えばドライブトレインの機械的遊びを取り除く方法でドライブトレイン(例えばギア)に予荷重(バイアス)をかけるように、制御されてよい。
静的な最大アクチュエータ出力(例えばアクチュエータが長期間にわたって常時提供し得る最大出力トルク)
動的または瞬間的な最大アクチュエータ出力(例えばアクチュエータが短期間に動的に、瞬間的に提供し得る最大出力トルク)
例えば所与のデューティサイクルに対する周期的な最大アクチュエータ出力(例えばアクチュエータが周期的に提供し得る最大出力トルク)
アクチュエータおよび/またはその制御ユニットの動作特徴(例えば故障を防止するための熱要件または短い動作寿命)を考慮して時間とともに変化する最大アクチュエータ出力
-スケーリング
-ピッチング、
-周波数シフト、
-フィルタリング、
-帯域幅制限、
-等化、
-切り捨て、
-圧縮、
-遅延、
-畳み込み
の少なくとも1つが含まれてよい。
ドロップアウトは、振動触覚力フィードバックが一時的に中断されたときに発生することがある。短いドロップアウトでさえ、ユーザが知覚する振動触覚力フィードバックの現実味には多大な影響を及ぼすことがある。ドロップアウトは、触覚デバイスに配信される前に遅延および/または中断される音声情報および/または音響情報の結果である。
ジッタは、振動触覚力フィードバックが力フィードバックデバイスによって非周期的にユーザに適用されるときに発生することがある。これは、ユーザの機械的刺激受容器が知覚した周波数コンテンツに影響を及ぼすことがあり、その結果、アプリケーションが意図するフィードバックとは異なる振動触覚フィードバックになる。ジッタは、要求された振動触覚力フィードバック値をアクチュエータに適用するために力フィードバックデバイスが使用する配信機構が、振動触覚コンテンツを中断せず周期的に配信することを確実にするのに十分な優先性を与えられていないときに発生することがある。またジッタは、力フィードバックデバイスの内部のタイミング基準(クロック)がアプリケーションデバイスのタイミング基準と合致していないときにも発生することがある。力フィードバックデバイスとアプリケーションデバイスとの間にこの時間単位の不一致がある結果、力フィードバックデバイスは、振動触覚サンプルを意図したよりもわずかに遅く配信するか(それによって振動触覚力フィードバックを配信するのに遅延が大きくなり、これは望ましくない)、意図したよりもわずかに速く配信するか(それによって振動触覚データが周期的にスキップされ、それがユーザにはジッタとして現れる)のいずれかになることがある。
クリッピングは、振動触覚力フィードバックの振幅が力フィードバックデバイスのアクチュエータの出力範囲を超えたときに発生することがある(例えば上記の考察を参照)。これは、ユーザに配信される信号の周波数領域のコンテンツを変化させることがあり、ユーザにとっては、実際の振動触覚フィードバックが、ユーザが感じるはずの所望の力フィードバックとは異なるものになることがある。クリッピングは、振動触覚信号の処理ロジックが、アクチュエータを駆動している力フィードバックソースをすべて合計した出力を正確に計算に入れていない場合に発生することがあり、それによって合計出力は、アクチュエータが生成できる利用可能な最大出力を超えてしまう。
バッファリングは、力フィードバックデバイスが適用する振動触覚力フィードバックのサンプル数を、力フィードバックデバイスによるそのサンプルの周期的配信を開始する前に保存することを含む。これにより、力フィードバックデバイスは、アプリケーションからの音声情報および/または音響情報の送信の一時的な遅延を(少なくとも部分的に)吸収することができる。バッファのサイズは、生成された振動触覚力フィードバックと運動感覚力フィードバックの両方の性質を合わせたものに左右され得るほか、音声および/または音響の配信の確実性にも左右され得る。
コンテンツ生成により、力フィードバックデバイスの制御ソフトウェアは、ユーザによる継続的な振動触覚力フィードバックの錯覚を壊すことなく、欠落している振動触覚データを埋めるための人工的な置換サンプルを自動的に生成することが可能になる。コンテンツ生成は、アプリケーションが振動触覚力フィードバックデータの一部を配信し損ねた場合、および/または振動触覚サンプル配信の遅延がバッファで吸収できるよりも大きい場合に使用できる。コンテンツ生成は、データ送信が再開されると、振動触覚サンプルの配信に継続的に移行するサンプルを生成することを伴ってよい。
リサンプリングにより、力フィードバックデバイスは、アプリケーションの時間単位で表された振動触覚サンプルを適用することが可能になる。これは、力フィードバックデバイスの動作をアプリケーションに監視させて、力フィードバックデバイスの内部クロックのスキューをアプリケーションのクロックを対照として推測し、力フィードバックデバイスに送信された音声データおよび/または音響データをリサンプリングして振動触覚サンプルがアプリケーションの時間単位での正しい値で適用されるようにすることで達成され得る。リサンプリングにより、アプリケーションは、ユーザに振動触覚コンテンツを適用する際の遅延を正確に制御することが可能になる。
リサンプリング変調により、アプリケーションは、リサンプリングレートを(好ましくは人間が知覚する周波数変化閾値よりも低く)(わずかに)変更して、バッファリングした所望数の振動触覚サンプルを維持することが可能になる。これにより、アプリケーションが、力フィードバックデバイスのクロックとアプリケーションのクロックとの間のクロックスキューにある何らかの離散化を緩和することが可能になってよい。この機構により、バッファリングアルゴリズムが、音声データおよび/または音響データの送信時に永続的な遅延が発生した後に、バッファリングされた振動触覚サンプルの保存部を補充し、かつ/またはバッファがほぼ満杯になればバッファリングされたサンプル数を減らすことができるようにもしてよい。
Xs:スレーブステアリングホイールの角度位置
Km;マスターステアリングホイールが知覚する仮想ばねの硬さ
Ks;スレーブステアリングホイールが知覚する仮想ばねの硬さ
Fm:マスターステアリングホイールが知覚する運動感覚ばね力
Fs:スレーブステアリングホイールが知覚する運動感覚ばね力
Fm=Km*(Xs-Xm)
Fs=Ks*(Xm-Xs)
Claims (14)
- 少なくとも1つのアクチュエータを備えているユーザインターフェースデバイスのユーザに振動触覚力フィードバックを提供する方法であって、前記アクチュエータは、前記ユーザに振動触覚力フィードバックと運動感覚力フィードバックとを提供するように適応し、アプリケーションデバイスと通信するように接続している、方法において、前記方法は、
-前記アプリケーションデバイスから音声情報および/または音響情報を取得すること;
-前記取得した音声情報および/または音響情報から振動触覚力フィードバック制御情報を生成することであって、前記振動触覚力フィードバック制御情報は、前記ユーザに提供する少なくとも1つの振動触覚力フィードバックを決定する、前記生成すること;
-前記アプリケーションデバイスから運動感覚力フィードバック制御情報を取得することであって、前記運動感覚力フィードバック制御情報は、前記ユーザに提供する少なくとも1つの運動感覚力フィードバックを決定する、前記取得すること;
-前記振動触覚力フィードバック制御情報と前記アプリケーションデバイスから取得した運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報は、前記ユーザに提供する少なくとも1つの振動触覚力フィードバックおよび前記ユーザに提供する少なくとも1つの運動感覚力フィードバックを決定し;
前記運動感覚力フィードバック制御情報および/または前記振動触覚力フィードバック制御情報は、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報が、少なくとも1つのアクチュエータ出力制限を超えないように修正され、
- 前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を用いて、前記ユーザインターフェースデバイスの前記少なくとも1つのアクチュエータを制御し、前記ユーザに対する少なくとも1つの振動触覚力フィードバックおよび前記ユーザに対する少なくとも1つの運動感覚力フィードバックの両方を生成すること;
を含む、
方法。 - 前記少なくとも1つのアクチュエータ出力制限は、以下のうちの少なくとも1つ:
- 前記少なくとも1つのアクチュエータが一定期間提供し得る静的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが動的または瞬間的に提供し得る、動的または瞬間的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが周期的に提供し得る、周期的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが時間とともに変化するように提供し得る、時間とともに変化する最大アクチュエータ出力、
である、請求項1に記載の方法。 - 前記運動感覚力フィードバック制御情報および/または振動触覚力フィードバック制御情報は、少なくとも以下のうちの1つ:
-スケーリング、
-ピッチング、
-周波数シフト、
-フィルタリング、
-帯域幅制限、
-等化、
-切り捨て、
-圧縮、
-遅延、
-畳み込み
によって少なくとも部分的に修正される、請求項1または2に記載の方法。 - 振動触覚力フィードバック制御情報の前記生成は、
-前記音声情報および/または音響情報の少なくとも一部をスケーリングする、
-前記音声情報および/または音響情報の少なくとも一部をピッチングする、
-前記音声情報および/または音響情報の少なくとも一部を周波数シフトする、
-前記音声情報および/または音響情報の少なくとも一部をフィルタリングする、
-前記音声情報および/または音響情報の少なくとも一部を帯域幅制限する、
-前記音声情報および/または音響情報の少なくとも一部を等化する、
-前記音声情報および/または音響情報の少なくとも一部を切り捨てる、
-前記音声情報および/または音響情報の少なくとも一部を圧縮する、
-前記音声情報および/または音響情報の少なくとも一部を遅延させる、
-前記音声情報および/または音響情報の少なくとも一部を畳み込む、
-前記音声情報および/または音響情報の少なくとも一部をバッファリングする、
-連続性を維持する人工的音声情報および/または音響情報のコンテンツを生成する、
-音声情報および/または音響情報をリサンプリングする、
-所望数の音声情報および/または音響情報をバッファリングするためにリサンプリングレートを変調する、
-音声情報および/または音響情報を暗号化する、
-音声情報および/または音響情報をパケット化する、
の少なくとも1つを含む、請求項1~3のいずれか一項に記載の方法。 - 前記音声情報および/または音響情報は、少なくとも2つの異なる音声情報および/または音響情報源からの音声情報および/または音響情報を含み、前記音声情報および/または音響情報の前記取得は、前記少なくとも2つの異なる音声情報および/または音響情報源から音声情報および/または音響情報を選択すること、および/または前記少なくとも2つの異なる音声情報および/または音響情報源からの音声情報および/または音響情報をミキシングすることを含み、前記ミキシングした音声情報および/または音響情報は、前記少なくとも1つのアクチュエータを制御するために使用される、請求項1~4のいずれか一項に記載の方法。
- 前記少なくとも1つのアクチュエータは、2つのモータを備え、前記少なくとも1つのアクチュエータの前記制御は、間のトルクオフセットが固定しているか可変である前記2つのモータを操作することを含み、前記トルクオフセットは、好ましくは、前記2つのモータのうちの第1のモータが第1の回転方向のトルクオフセットを提供し、前記2つのモータのうちの第2のモータが前記第1の回転方向とは逆の第2の回転方向のトルクオフセットを提供するように制御される、請求項1~5のいずれか一項に記載の方法。
- ユーザに振動触覚力フィードバックおよび運動感覚力フィードバックを提供するように適応した少なくとも1つのアクチュエータを備えているユーザインターフェースデバイスの前記ユーザに、前記振動触覚力フィードバックを提供するための振動触覚力フィードバック提供デバイスであって、前記デバイスは、
-制御ユニット、
-前記制御ユニットに通信するように接続された入力部であって、アプリケーションデバイスから音声情報および/または音響情報を取得して前記取得した音声情報および/または音響情報を前記制御ユニットに提供するように適応している、入力部
を有し;
前記制御ユニットは、
-前記取得した音声情報および/または音響情報から振動触覚力フィードバック制御情報を生成し、前記振動触覚力フィードバック制御情報は、前記ユーザに提供する少なくとも1つの振動触覚力フィードバックを決定する
ように適応し;
-アプリケーションデバイスから運動感覚力フィードバック制御情報を取得し、前記運動感覚力フィードバック制御情報は、ユーザに提供されるべき少なくとも1つの運動感覚力フィードバックを決定し、
-前記アプリケーションデバイスから取得した前記振動触覚力フィードバック制御情報と前記運動感覚力フィードバック制御情報とをミキシングして、ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を生成し、
-前記制御ユニットは、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報がアクチュエータ出力制限を超えないように、前記運動感覚力フィードバック制御情報および振動触覚力フィードバック制御情報を修正する
ように適応し、
-前記制御ユニットが、前記ミキシングした振動触覚力フィードバック制御情報と運動感覚力フィードバック制御情報を、前記ユーザインターフェースデバイスの少なくとも1つのアクチュエータに提供するための少なくとも1つの出力を備え、
- 前記制御ユニットは、前記ミキシングした振動触覚力フィードバック制御情報と前記運動感覚力フィードバック制御情報を用いて前記ユーザインターフェースデバイスの前記少なくとも1つのアクチュエータを制御して、前記ユーザに対して少なくとも1つの振動触覚力フィードバックおよび少なくとも1つの運動感覚力フィードバックの両方を生成するよう適応している、デバイス。 - - 前記少なくとも1つのアクチュエータが一定期間提供し得る静的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが動的または瞬間的に提供し得る、動的または瞬間的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが周期的に提供し得る、周期的な最大アクチュエータ出力、
- 前記少なくとも1つのアクチュエータが時間とともに変化するように提供し得る、時間とともに変化する最大アクチュエータ出力、
である、請求項7に記載のデバイス。 - 前記制御ユニットは、運動感覚力フィードバック制御情報および/または振動触覚力フィードバック制御情報を、少なくとも以下のうちの1つ:
-スケーリング、
-ピッチング、
-周波数シフト、
-フィルタリング、
-帯域幅制限、
-等化、
-切り捨て、
-圧縮、
-遅延、
-畳み込み
によって少なくとも部分的に修正されるように適応している、請求項7または8に記載のデバイス。 - 前記制御ユニットは、
-前記取得した音声情報および/または音響情報の少なくとも一部をスケーリングする、
-前記取得した音声情報および/または音響情報の少なくとも一部をピッチングする、
-前記取得した音声情報および/または音響情報の少なくとも一部を周波数シフトする、
-前記取得した音声情報および/または音響情報の少なくとも一部をフィルタリングする、
-前記取得した音声情報および/または音響情報の少なくとも一部を帯域幅制限する、
-前記取得した音声情報および/または音響情報の少なくとも一部を等化する、
-前記取得した音声情報および/または音響情報の少なくとも一部を切り捨てる、
-前記取得した音声情報および/または音響情報の少なくとも一部を圧縮する、
-前記取得した音声情報および/または音響情報の少なくとも一部を遅延させる、
-前記取得した音声情報および/または音響情報の少なくとも一部を畳み込む、
-前記音声情報および/または音響情報の少なくとも一部をバッファリングする、
-連続性を維持する人工的音声情報および/または音響情報のコンテンツを生成する、
-音声情報および/または音響情報をリサンプリングする、
-所望数の音声情報および/または音響情報をバッファリングするためにリサンプリングレートを変調する、
-音声情報および/または音響情報を暗号化する、
-音声情報および/または音響情報をパケット化する、
の少なくとも1つによって前記振動触覚力フィードバック制御情報を生成するように適応している、請求項7~9のいずれか一項に記載のデバイス。 - 前記制御ユニットの前記入力は、少なくとも2つの異なる音声情報および/または音響情報源から音声情報および/または音響情報を取得または選択するように、かつ/または前記少なくとも2つの異なる音声情報および/または音響情報源からの音声情報および/または音響情報をミキシングするように適応し、前記ミキシングした音声情報および/または音響情報は、前記少なくとも1つのアクチュエータを制御するために使用され;
前記制御ユニットは、少なくとも2つの異なる音声情報および/または音響情報源からの前記取得した音声情報および/または音響情報の各々に対して振動触覚力フィードバック制御情報を生成するように適応し、それによって少なくとも2つの振動触覚力フィードバック制御情報が生成され、前記振動触覚力フィードバック制御情報の各々が前記ユーザに提供する少なくとも1つの振動触覚力フィードバックを決定する、
請求項7~10のいずれか一項に記載のデバイス。 - 請求項7~11のいずれか一項に記載のデバイス、およびユーザに振動触覚力フィードバックを提供するように適応した少なくとも1つのアクチュエータを備えているユーザインターフェースデバイスを含むシステム。
- 前記少なくとも1つのアクチュエータは、2つのモータを備え、前記制御ユニットは、間のトルクオフセットが固定しているか可変である前記2つのモータを操作するように適応し、前記トルクオフセットは、好ましくは、前記2つのモータのうちの第1のモータが第1の回転方向のトルクオフセットを提供し、前記2つのモータのうちの第2のモータが前記第1の回転方向とは逆の第2の回転方向のトルクオフセットを提供するように制御される、請求項12に記載のシステム。
- コンピュータ可読媒体に保存されている実行可能なソフトウェアコードを含み、コンピューティングデバイスを用いて実行されるときに、請求項1~6のいずれか一項に記載の方法の工程を実行する、コンピュータソフトウェア製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17191501 | 2017-09-15 | ||
EP17191501.0 | 2017-09-15 | ||
PCT/EP2018/075103 WO2019053273A1 (en) | 2017-09-15 | 2018-09-17 | VIBRO-TACTILE FEEDBACK METHOD AND DEVICE |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537796A JP2020537796A (ja) | 2020-12-24 |
JP7441787B2 true JP7441787B2 (ja) | 2024-03-01 |
Family
ID=59914311
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020537047A Active JP7441787B2 (ja) | 2017-09-15 | 2018-09-17 | 振動触覚をフィードバックする方法およびデバイス |
Country Status (5)
Country | Link |
---|---|
US (1) | US11163365B2 (ja) |
EP (1) | EP3682312A1 (ja) |
JP (1) | JP7441787B2 (ja) |
KR (1) | KR102443324B1 (ja) |
WO (1) | WO2019053273A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021017194A (ja) * | 2019-07-23 | 2021-02-15 | トヨタ自動車株式会社 | 操作部制御装置及び車両制御システム |
KR102495314B1 (ko) * | 2021-05-04 | 2023-02-06 | 김수영 | 햅틱피드백이 가능한 다기능 입출력 핸드헬드 장치 |
WO2024119033A1 (en) * | 2022-12-01 | 2024-06-06 | Microchip Technology Incorporated | System and method to convert audio signals to haptic signals |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005506613A (ja) | 2001-10-09 | 2005-03-03 | イマージョン コーポレイション | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
JP2012168947A (ja) | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
JP2015095264A (ja) | 2013-11-14 | 2015-05-18 | イマージョン コーポレーションImmersion Corporation | ハプティックトリガ制御システム |
JP2016082536A (ja) | 2014-10-22 | 2016-05-16 | 日本電信電話株式会社 | 加速度発生装置および情報呈示方法 |
JP2017068874A (ja) | 2012-02-03 | 2017-04-06 | イマージョン コーポレーションImmersion Corporation | 波形を利用した音響−触覚効果変換システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114886569A (zh) * | 2016-01-12 | 2022-08-12 | 直观外科手术操作公司 | 触觉致动器的均匀缩放 |
-
2018
- 2018-07-17 KR KR1020207009067A patent/KR102443324B1/ko active IP Right Grant
- 2018-09-17 US US16/646,671 patent/US11163365B2/en active Active
- 2018-09-17 JP JP2020537047A patent/JP7441787B2/ja active Active
- 2018-09-17 WO PCT/EP2018/075103 patent/WO2019053273A1/en unknown
- 2018-09-17 EP EP18769192.8A patent/EP3682312A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005506613A (ja) | 2001-10-09 | 2005-03-03 | イマージョン コーポレイション | コンピュータ装置からのオーディオ出力に基づく触覚フィードバック感覚 |
JP2012168947A (ja) | 2011-02-11 | 2012-09-06 | Immersion Corp | 振幅値を利用した音響−触覚効果変換システム |
JP2017068874A (ja) | 2012-02-03 | 2017-04-06 | イマージョン コーポレーションImmersion Corporation | 波形を利用した音響−触覚効果変換システム |
JP2015095264A (ja) | 2013-11-14 | 2015-05-18 | イマージョン コーポレーションImmersion Corporation | ハプティックトリガ制御システム |
JP2016082536A (ja) | 2014-10-22 | 2016-05-16 | 日本電信電話株式会社 | 加速度発生装置および情報呈示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020537796A (ja) | 2020-12-24 |
US20200409460A1 (en) | 2020-12-31 |
WO2019053273A1 (en) | 2019-03-21 |
KR20200047632A (ko) | 2020-05-07 |
US11163365B2 (en) | 2021-11-02 |
EP3682312A1 (en) | 2020-07-22 |
KR102443324B1 (ko) | 2022-09-14 |
WO2019053273A8 (en) | 2020-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7441787B2 (ja) | 振動触覚をフィードバックする方法およびデバイス | |
JP6005187B2 (ja) | 触覚フィードバックにより特有の動きを模擬する方法および該方法を実行する装置 | |
EP0951714B1 (en) | Method and apparatus for shaping force signals for a force feedback device | |
US7446752B2 (en) | Controlling haptic sensations for vibrotactile feedback interface devices | |
EP1330811B1 (en) | Directional tactile feedback for haptic feedback interface devices | |
US10178454B2 (en) | Motor matrix control method and wearable apparatus | |
WO2019038887A1 (ja) | 振動制御装置 | |
JP2002196660A (ja) | 疑似操舵感装置 | |
KR20180068123A (ko) | Vr을 이용한 레이싱 시뮬레이터 | |
US20050124412A1 (en) | Haptic simulation system and method for providing real-time haptic interaction in virtual simulation | |
KR102234776B1 (ko) | 햅틱 휠을 이용한 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템 | |
Kammerl et al. | Combining contact models with perceptual data reduction for efficient haptic data communication in networked VEs | |
TWI768590B (zh) | 減少虛擬實境之動暈症的方法與頭戴式減暈裝置 | |
JP6005254B2 (ja) | 複数のローカルな力フィードバックを用いてグローバルな6自由度運動効果を提供する方法 | |
JP3579041B2 (ja) | ゲームシステム、ゲーム装置、ゲーム制御方法、ならびに、プログラム | |
JP2004325828A (ja) | シミュレータ、プログラム及び情報記憶媒体 | |
JP7082618B2 (ja) | バーチャルリアリティアクセサリ | |
JP2014142869A (ja) | 情報処理装置、情報処理方法、プログラム及び記録媒体 | |
CN220438888U (zh) | 一种大型虚拟现实交互娱乐装置 | |
JP3243841U (ja) | トレーニング専用シミュレータ及びトレーニング専用シミュレータキット | |
JP2008152216A (ja) | シミュレータ装置及び振動発生方法 | |
US20240066395A1 (en) | Haptic Module and Controller Having Rotational Weight Distribution | |
US12013978B1 (en) | Apparatus and method for inducing head motion | |
JP2022177643A (ja) | コンテンツ制御装置、コンテンツ制御方法、プログラム、およびコンテンツ提供システム | |
JP2023509950A (ja) | モーションジェネレータ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200521 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200428 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230725 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7441787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |