JP6893868B2 - 空間依存コンテンツのための力覚エフェクト生成 - Google Patents
空間依存コンテンツのための力覚エフェクト生成 Download PDFInfo
- Publication number
- JP6893868B2 JP6893868B2 JP2017251387A JP2017251387A JP6893868B2 JP 6893868 B2 JP6893868 B2 JP 6893868B2 JP 2017251387 A JP2017251387 A JP 2017251387A JP 2017251387 A JP2017251387 A JP 2017251387A JP 6893868 B2 JP6893868 B2 JP 6893868B2
- Authority
- JP
- Japan
- Prior art keywords
- force
- video
- pixel
- data
- texture map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims description 186
- 230000035807 sensation Effects 0.000 title claims description 104
- 230000001419 dependent effect Effects 0.000 title description 3
- 239000003607 modifier Substances 0.000 claims description 100
- 238000000034 method Methods 0.000 claims description 99
- 238000009877 rendering Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 230000001953 sensory effect Effects 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003491 array Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 239000002520 smart material Substances 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 238000000018 DNA microarray Methods 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
- H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
- H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
102 力覚エフェクトオーサリングデバイス
104 力覚対応装置
106 力覚エフェクトレンダリングデバイス
108 コンテンツ提示デバイス
110 力覚ピクセル
112 力覚エフェクトオーサリングシステム
112 力覚トラック
112A 力覚トラック1
112B 力覚トラック2
114 コンテンツデータ
140 バス
144 I/Oコントローラ
148 ネットワークインターフェースコントローラ
150 UI
152 ユーザ入力獲得モジュール
154 データ獲得モジュール
156 力覚オーサリングモジュール
158 通信モジュール
162 入力デバイス
164 出力デバイス
168 ネットワーク
212 ビデオテクスチャマップ
218 ビデオフレーム
222 力覚テクスチャマップ
242 プロセッサ
254 選択されたエリア
256A パラメータ1
256B パラメータ2
302 入力デバイス
304 プロセッサ
306 メモリ
308 アクチュエータドライブ回路
314 アクチュエータドライブモジュール
316 表示デバイス
320 フレーム1
324 マップ1
340A 修正後の力覚トラック1
340B 修正後の力覚トラック2
Claims (71)
- 力覚エフェクトをオーサリングおよびレンダリングする方法であって、前記方法は、
力覚トラックおよびビデオテクスチャマップを受信するステップであって、前記力覚トラックは、力覚データを有し、前記力覚データは、力覚アクチュエータの動作を定義し、前記ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表し、前記力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、ステップと、
力覚ピクセルに関連付けられた力覚データ修飾子を生成するステップであって、各力覚ピクセルは、少なくとも1つの前記ビデオピクセルに関連付けられており、前記力覚データ修飾子は、前記力覚データの少なくとも一部を修正するとともに前記力覚アクチュエータの動作を修正するためのものである、ステップと、
前記力覚トラックおよび前記力覚ピクセルに基づいて前記力覚アクチュエータを制御するステップと、
前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。 - 前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するステップをさらに含む、請求項1に記載の方法。
- 前記力覚テクスチャマップは、前記ビデオテクスチャマップの空間分解能とは異なる空間分解能を有する、請求項2に記載の方法。
- 前記力覚テクスチャマップは、前記ビデオテクスチャマップの時間分解能とは異なる時間分解能を有する、請求項2に記載の方法。
- 前記力覚テクスチャマップを表示するステップと、
少なくとも1つの力覚エフェクトパラメータのユーザ入力を受信するステップと、
前記少なくとも1つの力覚エフェクトパラメータの前記ユーザ入力を表す修正後の力覚テクスチャマップを表示するステップとをさらに含む、請求項2に記載の方法。 - コンピュータデバイス内の表示スクリーン上に前記力覚テクスチャマップを表示するステップをさらに含む、請求項2に記載の方法。
- 前記力覚テクスチャマップは、前記力覚データ修飾子を表す単色画像を含む、請求項6に記載の方法。
- 前記単色画像の前記力覚ピクセルの少なくとも一部は、異なる力覚データ修飾子を表す異なる値を有する、請求項7に記載の方法。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項1に記載の方法。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項1に記載の方法。
- 前記ビデオは、360度ビデオ、バーチャルリアリティ環境、3次元ビデオ、3次元ビデオゲーム、3次元モデリング環境、およびその組合せからなるグループから選択される、請求項1に記載の方法。
- 前記ビデオは、複数のフレームを含み、前記力覚トラックおよび前記ビデオテクスチャマップを受信するステップと、前記力覚データ修飾子を生成するステップとは、前記ビデオ内の複数のフレームの少なくとも一部のために繰り返される、請求項1に記載の方法。
- 前記力覚ピクセルの各々は、2つ以上の前記ビデオピクセルに関連付けられている、請求項1に記載の方法。
- 2つ以上の前記力覚ピクセルは、前記ビデオピクセルの各々に関連付けられている、請求項1に記載の方法。
- 力覚トラックおよびビデオテクスチャマップを受信するステップは、
複数の力覚トラックおよびビデオテクスチャマップを受信するステップであって、各力覚トラックは、力覚データを有し、前記ビデオテクスチャマップは、ビデオのフレームを表し、前記複数の力覚トラックは、前記ビデオの前記フレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、ステップを含み、
前記力覚データ修飾子は、前記複数の力覚トラックの前記力覚データの少なくとも一部を修正するように構成される、請求項1に記載の方法。 - 前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正するステップをさらに含む、請求項1に記載の方法。
- 力覚エフェクトをオーサリングおよびレンダリングするためのシステムであって、前記システムは、
ネットワークに接続された、力覚エフェクトオーサリングデバイスであって、
力覚トラックおよびビデオテクスチャマップを受信することであって、前記力覚トラックは、力覚データを有し、前記力覚データは、力覚アクチュエータの動作を定義し、前記ビデオテクスチャマップは、ビデオの少なくとも1つのフレームを表し、前記力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられており、前記ビデオテクスチャマップは、複数のビデオピクセルを有する、受信することと、
力覚ピクセルに関連付けられた力覚データ修飾子を生成することであって、各力覚ピクセルは、少なくとも1つの前記ビデオピクセルに関連付けられており、前記力覚データ修飾子は、前記力覚データの少なくとも一部を修正するとともに前記力覚アクチュエータの動作を修正するためのものである、生成することと
をするように構成されるプロセッサを備える、力覚エフェクトオーサリングデバイスと、
前記ネットワークに接続された、力覚対応デバイスであって、
前記力覚アクチュエータと、前記力覚トラックおよび前記力覚ピクセルに基づいて前記力覚アクチュエータを制御するように構成されるプロセッサとを備え、前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、力覚対応デバイスと
を備える、システム。 - 前記力覚エフェクトオーサリングデバイスは、
ユーザ入力を受信するように構成される、入力デバイスと、
表示デバイスとをさらに備え、
前記力覚エフェクトオーサリングデバイスの前記プロセッサが、
前記表示デバイスを使用して力覚テクスチャマップを表示することであって、前記力覚テクスチャマップは、前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む、表示することをさらに行うように構成される、請求項17に記載のシステム。 - 前記力覚テクスチャマップは、前記ビデオテクスチャマップの空間分解能とは異なる空間分解能を有する、請求項18に記載のシステム。
- 前記力覚テクスチャマップは、前記ビデオテクスチャマップの時間分解能とは異なる時間分解能を有する、請求項18に記載のシステム。
- 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
前記入力デバイスを介して少なくとも1つの力覚エフェクトパラメータのユーザ入力を受信することと、
前記表示デバイスを介して修正後の力覚テクスチャマップを表示することであって、前記修正後の力覚テクスチャマップは、前記少なくとも1つの力覚エフェクトパラメータの前記ユーザ入力を表す、表示することとをするようにさらに構成される、請求項18に記載のシステム。 - 前記力覚テクスチャマップは、前記力覚データ修飾子を表す単色画像を含む、請求項18に記載のシステム。
- 前記単色画像の前記力覚ピクセルの少なくとも一部は、異なる力覚データ修飾子を表す異なる値を有する、請求項22に記載のシステム。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項17に記載のシステム。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項17に記載のシステム。
- 前記ビデオは、360度ビデオ、バーチャルリアリティ環境、3次元ビデオ、3次元ビデオゲーム、3次元モデリング環境、およびその組合せからなるグループから選択される、請求項17に記載のシステム。
- 前記ビデオは、複数のフレームを含み、前記力覚トラックおよび前記ビデオテクスチャマップを受信することと、前記力覚データ修飾子を生成することとは、前記ビデオ内の複数のフレームの少なくとも一部のために繰り返される、請求項17に記載のシステム。
- 前記力覚ピクセルの各々は、2つ以上の前記ビデオピクセルに関連付けられている、請求項17に記載のシステム。
- 2つ以上の前記力覚ピクセルは、前記ビデオピクセルの各々に関連付けられている、請求項17に記載のシステム。
- 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
複数の力覚トラックおよび前記ビデオテクスチャマップを受信することであって、各力覚トラックは、力覚データを有し、前記複数の力覚トラックは、前記ビデオの前記少なくとも1つのフレームに関連付けられている、受信するようにさらに構成され、
前記力覚データ修飾子は、前記複数の力覚トラックの前記力覚データの少なくとも一部を修正するように構成される、請求項17に記載のシステム。 - 力覚エフェクトをレンダリングする方法であって、前記方法は、
力覚データを含む力覚トラックを受信するステップであって、前記力覚データは、力覚アクチュエータの動作を定義する、ステップと、
力覚データ修飾子を含む複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、前記少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、
前記ビデオの前記フレーム内の関心地点を特定するステップであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、ステップと、
前記力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、ステップと、
前記ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得するステップと、
前記ターゲット力覚データ修飾子に基づいて前記力覚トラック内の前記力覚データを修正するステップと、
修正後の前記力覚データに基づいて力覚アクチュエータの動作を制御するステップと、
前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。 - 前記力覚トラックは、前記力覚ピクセルが前記力覚データおよび前記力覚データ修飾子を含むように、前記力覚ピクセルにおいて符号化される、請求項31に記載の方法。
- 前記力覚トラックを前記ビデオと同期させるステップをさらに含む、請求項31に記載の方法。
- 前記力覚トラックを前記ビデオと同期させるステップは、
前記ビデオのタイムスタンプを受信するステップと、
前記タイムスタンプに基づいて前記力覚トラックを前記ビデオと同期させるステップとを含む、請求項33に記載の方法。 - 前記関心地点は、3次元ベクトルによって定義され、ターゲット力覚ピクセルを決定するステップは、
前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップを含む、請求項31に記載の方法。 - 前記3次元ベクトルを関連付けるステップは、
前記3次元ベクトルを前記ビデオの前記フレームに対応する前記ビデオテクスチャマップ内のビデオピクセルに関連付けるステップと、
前記ビデオテクスチャマップ内の前記ビデオピクセルに対応する前記ターゲット力覚ピクセルを特定するステップとを含む、請求項35に記載の方法。 - 前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップは、
前記3次元ベクトルと前記ビデオテクスチャマップの球面射影との間の交点を決定するステップと、
前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定するステップと、
前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定するステップとを含む、請求項35に記載の方法。 - 前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるステップは、
前記3次元ベクトルと前記ビデオテクスチャマップの非球面射影との間の交点を決定するステップと、
前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定するステップと、
前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定するステップとを含む、請求項35に記載の方法。 - 表示デバイスを使用して前記ビデオを再生するステップをさらに含む、請求項31に記載の方法。
- 力覚エフェクトをレンダリングするための装置であって、前記装置は、
アクチュエータと、
前記アクチュエータを動作するように構成される、アクチュエータドライブ回路と、
関心地点を検出するように構成される、センサと、
前記アクチュエータドライブ回路および前記センサに接続される、プロセッサとを備え、前記プロセッサは、
力覚データを含む力覚トラックを受信することであって、前記力覚データは、力覚アクチュエータの動作を定義する、受信することと、
力覚データ修飾子を含む複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられており、前記少なくとも1つのビデオピクセルは、ビデオのフレームを表すビデオテクスチャマップに含まれる、受信することと、
前記センサを使用して、前記ビデオの前記フレーム内の関心地点を特定することであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、特定することと、
前記力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、決定することと、
前記ターゲット力覚ピクセルに含まれるターゲット力覚データ修飾子を取得することと、
前記ターゲット力覚データ修飾子に基づいて前記力覚トラック内の前記力覚データを修正することと、
修正後の前記力覚データに基づいて制御信号を生成することと、
前記制御信号を前記アクチュエータドライブ回路に送信することであって、前記制御信号は、前記アクチュエータドライブ回路が前記アクチュエータを制御することを可能にする、送信することと
をするように構成され、
前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、装置。 - 前記力覚トラックは、前記力覚ピクセルが前記力覚データおよび前記力覚データ修飾子を含むように、前記力覚ピクセルにおいて符号化される、請求項40に記載の装置。
- 前記プロセッサに接続される、表示デバイスであって、前記プロセッサは、前記ビデオを表示するようにさらに構成される、表示デバイスをさらに備える、請求項40に記載の装置。
- 前記プロセッサは、
前記力覚トラックを前記ビデオと同期させるようにさらに構成される、請求項40に記載の装置。 - 前記プロセッサは、
前記ビデオのタイムスタンプを受信することと、
前記タイムスタンプに基づいて前記力覚トラックを前記ビデオと同期させることとをするようにさらに構成される、請求項43に記載の装置。 - 前記関心地点は、3次元ベクトルによって定義され、前記プロセッサは、
前記3次元ベクトルを前記ターゲット力覚ピクセルに関連付けるようにさらに構成される、請求項40に記載の装置。 - 前記プロセッサは、
前記3次元ベクトルを前記ビデオの前記フレームに対応する前記ビデオテクスチャマップ内のビデオピクセルに関連付けることと、
前記ビデオテクスチャマップ内の前記ビデオピクセルに対応する前記ターゲット力覚ピクセルを特定することとをするようにさらに構成される、請求項45に記載の装置。 - 前記プロセッサは、
前記3次元ベクトルと前記ビデオテクスチャマップの球面射影との間の交点を決定することと、
前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定することと、
前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定することとをするようにさらに構成される、請求項45に記載の装置。 - 前記プロセッサは、
前記3次元ベクトルと前記ビデオテクスチャマップの非球面射影との間の交点を決定することと、
前記ビデオテクスチャマップ内の前記ターゲットビデオピクセルとして前記交点を特定することと、
前記ターゲットビデオピクセルに基づいて前記ターゲット力覚ピクセルを決定することとをするようにさらに構成される、請求項45に記載の装置。 - 前記プロセッサは、
表示デバイスを使用して前記ビデオを再生するようにさらに構成される、請求項40に記載の装置。 - 力覚エフェクトをレンダリングする方法であって、前記方法は、
複数の力覚ピクセルを受信するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、前記力覚データは、力覚アクチュエータの動作を定義し、前記少なくとも1つのビデオピクセルは、ビデオの少なくとも1つのフレームを表すビデオテクスチャマップに含まれる、ステップと、
前記ビデオの前記少なくとも1つのフレーム内の関心地点を特定するステップであって、前記関心地点は、前記ビデオの前記少なくとも1つのフレーム内のターゲットビデオピクセルを含む、ステップと、
前記力覚ピクセルのうちのターゲット力覚ピクセルを決定するステップであって、前記ターゲット力覚ピクセルは、前記ビデオの前記少なくとも1つのフレーム内の前記ターゲットビデオピクセルに対応する、ステップと、
前記ターゲット力覚ピクセルに含まれるターゲット力覚データを取得するステップと、
前記ターゲット力覚データに基づいて力覚アクチュエータの動作を制御するステップと、
前記力覚アクチュエータによって、ユーザのための前記力覚エフェクトを生成するステップとを含む、方法。 - 力覚エフェクトをレンダリングするための装置であって、前記装置は、
アクチュエータと、
前記アクチュエータを動作するように構成される、アクチュエータドライブ回路と、
関心地点を検出するように構成される、センサと、
前記アクチュエータドライブ回路および前記センサに接続される、プロセッサとを備え、前記プロセッサは、
複数の力覚ピクセルを受信することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられるとともに力覚データを含み、前記力覚データは、力覚アクチュエータの動作を定義し、ビデオテクスチャマップに含まれる前記少なくとも1つのビデオピクセルは、ビデオのフレームを表す、受信することと、
前記ビデオの前記フレーム内の関心地点を特定することであって、前記関心地点は、前記ビデオの前記フレーム内のターゲットビデオピクセルを含む、特定することと、
前記力覚ピクセルのうちのターゲット力覚ピクセルを決定することであって、前記ターゲット力覚ピクセルは、前記ビデオの前記フレーム内の前記ターゲットビデオピクセルに対応する、決定することと、
前記ターゲット力覚ピクセルに含まれるターゲット力覚データを取得することと、
前記ターゲット力覚データに基づいて制御信号を生成することと、
前記制御信号を前記アクチュエータドライブ回路に送信することであって、前記制御信号は、前記アクチュエータドライブ回路が前記アクチュエータを制御することを可能にする、送信することと
をするように構成され、
前記力覚アクチュエータは、ユーザのための前記力覚エフェクトを生成する、装置。 - 力覚エフェクトをオーサリングおよびレンダリングする方法であって、前記方法は、
力覚トラックと、少なくとも1つのビデオフレームを表すビデオテクスチャマップとを受信するステップであって、前記力覚トラックは、力覚出力デバイスの動作を定義する力覚データを含み、前記ビデオテクスチャマップは、ビデオピクセルを含む、ステップと、
力覚ピクセルに関連付けられた力覚データ修飾子を生成するステップであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている、ステップと、
修正後の力覚データを生成するために前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正するステップと、
前記修正後の力覚データに基づいて前記力覚出力デバイスの前記動作を修正するステップとを含む、方法。 - 少なくとも1つの力覚ピクセルは、各ビデオピクセルに関連付けられている、請求項52に記載の方法。
- 前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するステップをさらに含む、請求項52に記載の方法。
- 前記ビデオテクスチャマップは、時間分解能および空間分解能を含み、前記力覚テクスチャマップは、時間分解能および空間分解能を含む、請求項54に記載の方法。
- 前記力覚テクスチャマップの前記時間分解能は、前記ビデオテクスチャマップの前記時間分解能とは異なる、請求項55に記載の方法。
- 前記力覚テクスチャマップの前記空間分解能は、前記ビデオテクスチャマップの前記空間分解能とは異なる、請求項55に記載の方法。
- 前記力覚テクスチャマップは、単色画像であり、各力覚ピクセルは、関連力覚データ修飾子を表す値を有する、請求項54に記載の方法。
- 前記力覚テクスチャマップは、カラー画像であり、各力覚ピクセルは、複数の関連力覚データ修飾子を表す複数の値を有する、請求項54に記載の方法。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項52に記載の方法。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項52に記載の方法。
- 力覚エフェクトをオーサリングおよびレンダリングするためのシステムであって、前記システムは、
ネットワークに接続された、力覚エフェクトオーサリングデバイスであって、
力覚トラックと、少なくとも1つのビデオフレームを表すビデオテクスチャマップとを受信することであって、前記力覚トラックは、力覚出力デバイスの動作を定義する力覚データを含み、前記ビデオテクスチャマップは、ビデオピクセルを含む、受信することと、
力覚ピクセルに関連付けられた力覚データ修飾子を生成することであって、各力覚ピクセルは、少なくとも1つのビデオピクセルに関連付けられている、生成することと
をするように構成されるプロセッサを備える、力覚エフェクトオーサリングデバイスと、
前記ネットワークに接続された、力覚対応デバイスであって、前記力覚出力デバイスと、
修正後の力覚データを生成するために前記力覚データ修飾子に基づいて前記力覚データの少なくとも一部を修正することと、
前記修正後の力覚データに基づいて前記力覚出力デバイスの前記動作を修正することと
をするように構成されるプロセッサとを備える、力覚対応デバイスとを備える、システム。 - 少なくとも1つの力覚ピクセルは、各ビデオピクセルに関連付けられている、請求項62に記載のシステム。
- 前記力覚エフェクトオーサリングデバイスの前記プロセッサは、
前記力覚ピクセルおよび前記力覚ピクセルに関連付けられた前記力覚データ修飾子を含む力覚テクスチャマップを生成するように構成される、請求項62に記載のシステム。 - 前記ビデオテクスチャマップは、時間分解能および空間分解能を含み、前記力覚テクスチャマップは、時間分解能および空間分解能を含む、請求項64に記載のシステム。
- 前記力覚テクスチャマップの前記時間分解能は、前記ビデオテクスチャマップの前記時間分解能とは異なる、請求項65に記載のシステム。
- 前記力覚テクスチャマップの前記空間分解能は、前記ビデオテクスチャマップの前記空間分解能とは異なる、請求項65に記載のシステム。
- 前記力覚テクスチャマップは、単色画像であり、各力覚ピクセルは、関連力覚データ修飾子を表す値を有する、請求項64に記載のシステム。
- 前記力覚テクスチャマップは、カラー画像であり、各力覚ピクセルは、複数の関連力覚データ修飾子を表す複数の値を有する、請求項64に記載のシステム。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの大きさを調整するための減衰データを含む、請求項62に記載のシステム。
- 前記力覚データ修飾子は、前記力覚トラック内の前記力覚データによって定義された力覚エフェクトの周波数、波形、シャープネス、およびアクチュエータ選択のうちの少なくとも1つを調整するための減衰データを含む、請求項62に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/392,744 US10147460B2 (en) | 2016-12-28 | 2016-12-28 | Haptic effect generation for space-dependent content |
US15/392,744 | 2016-12-28 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018109984A JP2018109984A (ja) | 2018-07-12 |
JP2018109984A5 JP2018109984A5 (ja) | 2021-01-21 |
JP6893868B2 true JP6893868B2 (ja) | 2021-06-23 |
Family
ID=60813769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017251387A Active JP6893868B2 (ja) | 2016-12-28 | 2017-12-27 | 空間依存コンテンツのための力覚エフェクト生成 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10147460B2 (ja) |
EP (2) | EP3343329B1 (ja) |
JP (1) | JP6893868B2 (ja) |
KR (2) | KR102276173B1 (ja) |
CN (1) | CN108255295B (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220083138A1 (en) * | 2018-02-23 | 2022-03-17 | Wai Pong MOK | Virtual Reality Input and Haptic Feedback System |
CN111316205A (zh) * | 2018-02-23 | 2020-06-19 | 莫伟邦 | 虚拟现实输入和触觉反馈*** |
US10963841B2 (en) | 2019-03-27 | 2021-03-30 | On Time Staffing Inc. | Employment candidate empathy scoring system |
US10728443B1 (en) | 2019-03-27 | 2020-07-28 | On Time Staffing Inc. | Automatic camera angle switching to create combined audiovisual file |
US11297366B2 (en) | 2019-05-22 | 2022-04-05 | Google Llc | Methods, systems, and media for object grouping and manipulation in immersive environments |
JP7145373B2 (ja) * | 2019-06-19 | 2022-10-03 | 豊田合成株式会社 | アクチュエータ装置、電圧波形の作成方法、電場応答性高分子アクチュエータの駆動方法、及びプログラム |
US11467668B2 (en) * | 2019-10-21 | 2022-10-11 | Neosensory, Inc. | System and method for representing virtual object information with haptic stimulation |
US20220387885A1 (en) * | 2019-11-19 | 2022-12-08 | Immersion Corporation | Dynamic modification of multiple haptic effects |
US11127232B2 (en) | 2019-11-26 | 2021-09-21 | On Time Staffing Inc. | Multi-camera, multi-sensor panel data extraction system and method |
CN111291677B (zh) * | 2020-02-05 | 2022-09-09 | 吉林大学 | 一种动态视频触觉特征提取及渲染的方法 |
US11023735B1 (en) | 2020-04-02 | 2021-06-01 | On Time Staffing, Inc. | Automatic versioning of video presentations |
US11698680B2 (en) * | 2020-06-23 | 2023-07-11 | Immersion Corporation | Methods and systems for decoding and rendering a haptic effect associated with a 3D environment |
US11144882B1 (en) | 2020-09-18 | 2021-10-12 | On Time Staffing Inc. | Systems and methods for evaluating actions over a computer network and establishing live network connections |
CN115374062A (zh) * | 2021-05-20 | 2022-11-22 | 荣耀终端有限公司 | 振动描述文件的生成方法、装置、设备及可读存储介质 |
US11727040B2 (en) | 2021-08-06 | 2023-08-15 | On Time Staffing, Inc. | Monitoring third-party forum contributions to improve searching through time-to-live data assignments |
CN113521738B (zh) * | 2021-08-11 | 2024-07-16 | 网易(杭州)网络有限公司 | 特效生成方法和装置、计算机可读存储介质、电子设备 |
US11423071B1 (en) | 2021-08-31 | 2022-08-23 | On Time Staffing, Inc. | Candidate data ranking method using previously selected candidate data |
US11995240B2 (en) * | 2021-11-16 | 2024-05-28 | Neosensory, Inc. | Method and system for conveying digital texture information to a user |
KR102654176B1 (ko) * | 2022-01-10 | 2024-04-04 | 울산과학기술원 | 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법 |
US11907652B2 (en) | 2022-06-02 | 2024-02-20 | On Time Staffing, Inc. | User interface and systems for document creation |
CN116777914B (zh) * | 2023-08-22 | 2023-11-07 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、设备以及计算机可读存储介质 |
Family Cites Families (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6650338B1 (en) * | 1998-11-24 | 2003-11-18 | Interval Research Corporation | Haptic interaction with video and image data |
US9948885B2 (en) | 2003-12-12 | 2018-04-17 | Kurzweil Technologies, Inc. | Virtual encounters |
US9370704B2 (en) | 2006-08-21 | 2016-06-21 | Pillar Vision, Inc. | Trajectory detection and feedback system for tennis |
KR100860547B1 (ko) | 2007-03-02 | 2008-09-26 | 광주과학기술원 | 촉감 정보 저작 방법과 장치, 및 컴퓨터로 판독가능한 기록매체 |
WO2009092107A2 (en) | 2008-01-17 | 2009-07-23 | Articulate Technologies, Inc. | Methods and devices for intraoral tactile feedback |
KR101670109B1 (ko) * | 2009-03-12 | 2016-10-27 | 임머숀 코퍼레이션 | 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법 |
CN102349042A (zh) * | 2009-03-12 | 2012-02-08 | 伊梅森公司 | 用于在图形用户界面小部件中使用纹理的***和方法 |
US8294557B1 (en) * | 2009-06-09 | 2012-10-23 | University Of Ottawa | Synchronous interpersonal haptic communication system |
US9370459B2 (en) | 2009-06-19 | 2016-06-21 | Andrew Mahoney | System and method for alerting visually impaired users of nearby objects |
US9251721B2 (en) | 2010-04-09 | 2016-02-02 | University Of Florida Research Foundation, Inc. | Interactive mixed reality system and uses thereof |
WO2012037157A2 (en) * | 2010-09-13 | 2012-03-22 | Alt Software (Us) Llc | System and method for displaying data having spatial coordinates |
US9462262B1 (en) | 2011-08-29 | 2016-10-04 | Amazon Technologies, Inc. | Augmented reality environment with environmental condition control |
WO2013049248A2 (en) * | 2011-09-26 | 2013-04-04 | Osterhout Group, Inc. | Video display modification based on sensor input for a see-through near-to-eye display |
US10852093B2 (en) | 2012-05-22 | 2020-12-01 | Haptech, Inc. | Methods and apparatuses for haptic systems |
US9280206B2 (en) * | 2012-08-20 | 2016-03-08 | Samsung Electronics Co., Ltd. | System and method for perceiving images with multimodal feedback |
FR2999741B1 (fr) | 2012-12-17 | 2015-02-06 | Centre Nat Rech Scient | Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel |
US9880623B2 (en) * | 2013-01-24 | 2018-01-30 | Immersion Corporation | Friction modulation for three dimensional relief in a haptic device |
US9992491B2 (en) * | 2013-03-15 | 2018-06-05 | Immersion Corporation | Method and apparatus for encoding and decoding haptic information in multi-media files |
US9367136B2 (en) | 2013-04-12 | 2016-06-14 | Microsoft Technology Licensing, Llc | Holographic object feedback |
US9908048B2 (en) | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
US9811854B2 (en) | 2013-07-02 | 2017-11-07 | John A. Lucido | 3-D immersion technology in a virtual store |
EP4083758A1 (en) | 2013-07-05 | 2022-11-02 | Rubin, Jacob A. | Whole-body human-computer interface |
US9630105B2 (en) | 2013-09-30 | 2017-04-25 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US9392094B2 (en) | 2014-01-15 | 2016-07-12 | Sony Corporation | Mobile electronic wearable device and method for providing haptic notification |
US10437341B2 (en) * | 2014-01-16 | 2019-10-08 | Immersion Corporation | Systems and methods for user generated content authoring |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN104932681B (zh) * | 2014-03-21 | 2019-09-20 | 意美森公司 | 触觉效果的自动调整 |
KR20150110356A (ko) * | 2014-03-21 | 2015-10-02 | 임머숀 코퍼레이션 | 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들 |
US20150323994A1 (en) * | 2014-05-07 | 2015-11-12 | Immersion Corporation | Dynamic haptic effect modification |
US9551873B2 (en) | 2014-05-30 | 2017-01-24 | Sony Interactive Entertainment America Llc | Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content |
US9773389B2 (en) | 2014-07-28 | 2017-09-26 | Ck Materials Lab Co., Ltd. | Tactile information supply module |
US9645646B2 (en) | 2014-09-04 | 2017-05-09 | Intel Corporation | Three dimensional contextual feedback wristband device |
US9667907B2 (en) * | 2014-09-13 | 2017-05-30 | Vicente Diaz | System and method for haptic integration and generation in multimedia devices |
US9799177B2 (en) | 2014-09-23 | 2017-10-24 | Intel Corporation | Apparatus and methods for haptic covert communication |
US10166466B2 (en) | 2014-12-11 | 2019-01-01 | Elwha Llc | Feedback for enhanced situational awareness |
US9870718B2 (en) | 2014-12-11 | 2018-01-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Imaging devices including spacing members and imaging devices including tactile feedback devices |
US20160170508A1 (en) | 2014-12-11 | 2016-06-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Tactile display devices |
US9478109B2 (en) | 2014-12-29 | 2016-10-25 | Immersion Corporation | Virtual sensor in a virtual environment |
US10073516B2 (en) | 2014-12-29 | 2018-09-11 | Sony Interactive Entertainment Inc. | Methods and systems for user interaction within virtual reality scene using head mounted display |
US9746921B2 (en) | 2014-12-31 | 2017-08-29 | Sony Interactive Entertainment Inc. | Signal generation and detector systems and methods for determining positions of fingers of a user |
US9843744B2 (en) | 2015-01-13 | 2017-12-12 | Disney Enterprises, Inc. | Audience interaction projection system |
US10322203B2 (en) | 2015-06-26 | 2019-06-18 | Intel Corporation | Air flow generation for scent output |
WO2017053878A1 (en) | 2015-09-25 | 2017-03-30 | Oculus Vr, Llc | Haptic surface with damping apparatus |
US20170103574A1 (en) | 2015-10-13 | 2017-04-13 | Google Inc. | System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience |
US20170131775A1 (en) | 2015-11-10 | 2017-05-11 | Castar, Inc. | System and method of haptic feedback by referral of sensation |
WO2017095951A1 (en) | 2015-11-30 | 2017-06-08 | Nike Innovate C.V. | Apparel with ultrasonic position sensing and haptic feedback for activities |
US10310804B2 (en) | 2015-12-11 | 2019-06-04 | Facebook Technologies, Llc | Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback |
US10324530B2 (en) | 2015-12-14 | 2019-06-18 | Facebook Technologies, Llc | Haptic devices that simulate rigidity of virtual objects |
US10096163B2 (en) | 2015-12-22 | 2018-10-09 | Intel Corporation | Haptic augmented reality to reduce noxious stimuli |
US10065124B2 (en) | 2016-01-15 | 2018-09-04 | Disney Enterprises, Inc. | Interacting with a remote participant through control of the voice of a toy device |
US11351472B2 (en) | 2016-01-19 | 2022-06-07 | Disney Enterprises, Inc. | Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon |
US9846971B2 (en) | 2016-01-19 | 2017-12-19 | Disney Enterprises, Inc. | Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon |
TWI688879B (zh) | 2016-01-22 | 2020-03-21 | 宏達國際電子股份有限公司 | 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體 |
US9933851B2 (en) | 2016-02-22 | 2018-04-03 | Disney Enterprises, Inc. | Systems and methods for interacting with virtual objects using sensory feedback |
US10555153B2 (en) | 2016-03-01 | 2020-02-04 | Disney Enterprises, Inc. | Systems and methods for making non-smart objects smart for internet of things |
US20170352185A1 (en) | 2016-06-02 | 2017-12-07 | Dennis Rommel BONILLA ACEVEDO | System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation |
US10155159B2 (en) | 2016-08-18 | 2018-12-18 | Activision Publishing, Inc. | Tactile feedback systems and methods for augmented reality and virtual reality systems |
US20180053351A1 (en) | 2016-08-19 | 2018-02-22 | Intel Corporation | Augmented reality experience enhancement method and apparatus |
US10372213B2 (en) | 2016-09-20 | 2019-08-06 | Facebook Technologies, Llc | Composite ribbon in a virtual reality device |
US10779583B2 (en) | 2016-09-20 | 2020-09-22 | Facebook Technologies, Llc | Actuated tendon pairs in a virtual reality device |
US10300372B2 (en) | 2016-09-30 | 2019-05-28 | Disney Enterprises, Inc. | Virtual blaster |
US10281982B2 (en) | 2016-10-17 | 2019-05-07 | Facebook Technologies, Llc | Inflatable actuators in virtual reality |
US10088902B2 (en) | 2016-11-01 | 2018-10-02 | Oculus Vr, Llc | Fiducial rings in virtual reality |
US20170102771A1 (en) | 2016-12-12 | 2017-04-13 | Leibs Technology Limited | Wearable ultrasonic haptic feedback system |
-
2016
- 2016-12-28 US US15/392,744 patent/US10147460B2/en active Active
-
2017
- 2017-12-27 JP JP2017251387A patent/JP6893868B2/ja active Active
- 2017-12-28 EP EP17210978.7A patent/EP3343329B1/en active Active
- 2017-12-28 KR KR1020170182378A patent/KR102276173B1/ko active IP Right Grant
- 2017-12-28 CN CN201711457878.8A patent/CN108255295B/zh active Active
- 2017-12-28 EP EP17210976.1A patent/EP3343328A1/en not_active Ceased
-
2018
- 2018-11-05 US US16/181,235 patent/US10720189B2/en active Active
-
2020
- 2020-07-21 US US16/934,842 patent/US20200349982A1/en not_active Abandoned
-
2021
- 2021-07-06 KR KR1020210088218A patent/KR20210087921A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
CN108255295A (zh) | 2018-07-06 |
EP3343329A1 (en) | 2018-07-04 |
EP3343329B1 (en) | 2020-02-26 |
CN108255295B (zh) | 2022-06-03 |
US20180182436A1 (en) | 2018-06-28 |
KR102276173B1 (ko) | 2021-07-12 |
KR20180077091A (ko) | 2018-07-06 |
JP2018109984A (ja) | 2018-07-12 |
KR20210087921A (ko) | 2021-07-13 |
US10720189B2 (en) | 2020-07-21 |
EP3343328A1 (en) | 2018-07-04 |
US20190074037A1 (en) | 2019-03-07 |
US10147460B2 (en) | 2018-12-04 |
US20200349982A1 (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6893868B2 (ja) | 空間依存コンテンツのための力覚エフェクト生成 | |
JP6158406B2 (ja) | 携帯デバイスによるインタラクティブアプリケーションのビデオキャプチャを可能とするためのシステム | |
US10671239B2 (en) | Three dimensional digital content editing in virtual reality | |
GB2556347B (en) | Virtual Reality | |
EP3364272A1 (en) | Automatic localized haptics generation system | |
KR20150085801A (ko) | 사용자에 의해 생성되는 콘텐츠 저작을 위한 시스템 및 방법 | |
KR20140082266A (ko) | 혼합현실 콘텐츠 시뮬레이션 시스템 | |
US11189057B2 (en) | Provision of virtual reality content | |
US20200111257A1 (en) | Sound reproduction apparatus for reproducing virtual speaker based on image information | |
Caruso et al. | Interactive augmented reality system for product design review | |
Blach | Virtual reality technology-an overview | |
JPH10214344A (ja) | インタラクティブ表示装置 | |
EP3422150A1 (en) | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality | |
YAN | Tangible user interfaces for augmented reality | |
Ishikawa et al. | Dynamic Information Space Based on High-Speed Sensor Technology | |
Tecchia et al. | Addressing the problem of Interaction in fully Immersive Virtual Environments: from raw sensor data to effective devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201202 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201202 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201202 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210602 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6893868 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |