JP2019121368A - 直観的な触覚設計 - Google Patents

直観的な触覚設計 Download PDF

Info

Publication number
JP2019121368A
JP2019121368A JP2018221083A JP2018221083A JP2019121368A JP 2019121368 A JP2019121368 A JP 2019121368A JP 2018221083 A JP2018221083 A JP 2018221083A JP 2018221083 A JP2018221083 A JP 2018221083A JP 2019121368 A JP2019121368 A JP 2019121368A
Authority
JP
Japan
Prior art keywords
haptic
real time
video
tracking
emitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018221083A
Other languages
English (en)
Other versions
JP2019121368A5 (ja
Inventor
ウィリアム・エス・リーン
S Rihn William
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019121368A publication Critical patent/JP2019121368A/ja
Publication of JP2019121368A5 publication Critical patent/JP2019121368A5/ja
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/126—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for graphical editing of individual notes, parts or phrases represented as variable length segments on a 2D or 3D representation, e.g. graphical edition of musical collage, remix files or pianoroll representations of MIDI-like files

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ビデオからハプティクスを設計する方法を提供すること。【解決手段】ビデオからハプティクスを設計することは、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡し、A/V要素の追跡に基づいて、タイムライン上のA/V要素の異なる位置に、A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成することを含む。触覚再生トラックは、タイムライン上のA/V要素の割り当てられた触覚効果位置に基づいて生成される。【選択図】図1

Description

例示的な実施形態は、空間化ハプティクス(spatialized haptics)により触覚フィードバックを設計することを対象とし、より詳細には、オーディオ/ビデオ要素の複数の位置と相互参照することによって空間化されたハプティクスに基づいて触覚フィードバックを設計することを対象とする。
デジタルオーディオワークステーション(「DAW」)または非線形編集システム(「NLE」)など従来の触覚設計ツールでは、通常、触覚化される移動するオーディオ/ビジュアル(「A/V」)要素の位置ごとに、単一の触覚再生トラックが生成される。
例示的な実施形態は、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡し、割り当てられた触覚効果位置を生成するために、A/V要素の追跡に基づいて、タイムライン上のA/V要素の異なる位置に、A/V要素についてリアルタイムで触覚効果を割り当て、タイムライン上のA/V要素の割り当てられた触覚効果位置に基づいて触覚再生トラックを生成することによって、ハプティクスを設計することを提供する。
第1の実施形態は、仮想現実(「VR」)/拡張現実(「AR」)システムまたはリアルタイム編集システムを使用して、触覚放出体を作成し、ビデオの空間環境内に配置し、ビデオの再生中にリアルタイムでA/V要素とともに空間環境内の触覚放出体を移動させ、触覚放出体の移動中に触覚放出体の空間データを取得することによってA/V要素を追跡することを含む。触覚放出体の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
第2の実施形態は、VR/ARシステムまたはリアルタイム編集システムを使用して、パーティクルエフェクトをビデオの空間環境内に配置し、ビデオの再生中に空間環境内のパーティクルエフェクトをリアルタイムで移動させることによってA/V要素のパスを作成し、パーティクルエフェクトの移動中にA/V要素の空間データを取得することによってA/V要素を追跡することを含む。A/V要素の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
第3の実施形態は、編集システムを使用して、ビデオの再生中にリアルタイムでA/V要素を視覚的に追跡することによって、A/V要素の空間データを取得することよってA/V要素を追跡することを含む。A/V要素の空間データをタイムライン上のA/V要素の異なる位置にリアルタイムで関連付けることによって、触覚効果がA/V要素に割り当てられる。
上述の実施形態は、複数の視角を有する線形的な体験においてハプティクスを加えることの難しさを克服する。
例示的な実施形態は、以下の詳細な説明を添付の図面と併せ読めば、より明確に理解されるであろう。図1〜図16は、本明細書に記載の非限定的な例示的な実施形態を表す。
例示的な実施形態によるハプティクスを設計するフロー図である。 例示的な一実施形態による編集システムによるハプティクスの設計のフロー図である。 例示的な実施形態による触覚効果の図である。 例示的な実施形態による触覚効果の図である。 例示的な実施形態による空間化ハプティクスの図である。 例示的な実施形態による触覚効果の図である。 例示的な実施形態による触覚効果の図である。 例示的な実施形態による触覚効果の図である。 例示的な実施形態による触覚効果の図である。 例示的な一実施形態によるVR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計のフロー図である。 例示的な一実施形態による触覚設計システムのブロック図である。 例示的な一実施形態によるリアルタイムのホストシステムのブロック図である。 例示的な一実施形態による電子デバイスにおける触覚設計システムのブロック図である。 例示的な実施形態による触覚編集ウィンドウの画像である。 例示的な実施形態による触覚編集ウィンドウの画像である。 例示的な実施形態による触覚編集ウィンドウの画像である。
例示的な実施形態は、オーディオ/ビデオ要素の複数の位置と相互参照することによって空間化されたハプティクスに基づいて触覚フィードバックを設計し、それによってより没入できる経験をもたらすことを対象とする。
ハプティクスは、個人の触感を使用して、個人に対する力、振動、および動きなどの触覚フィードバック効果(「触覚フィードバック」または「触覚効果」としても知られる)を生成する、触知できるかつ/または運動感覚のフィードバック技術である。触覚対応デバイスは、触覚効果を適用するように構成された組込み型ハードウェア(たとえば、アクチュエータまたは他の出力機構)を含むことができる。組込み型ハードウェアは、一般に、特定の1組の触覚効果を適用(または再生)するようにプログラムされている。触覚対応デバイスによって、どの触覚効果を再生するかを指定する信号が受信されると、触覚対応デバイスは、指定された触覚効果を与える。たとえば、個人が触覚イベントを経験しようとするとき、触覚対応デバイスの組込み型ハードウェアは、制御回路を介して再生コマンドを受信する。次いで、組込み型ハードウェアは、適切な触覚効果を適用する。
どの触覚効果を再生するかを指定する信号は、ここでは触覚再生トラックと呼ばれる。例示的な実施形態による触覚再生トラックは、DAW(NLEなど、オーディオファイルの録音、編集、および生成に使用される電子デバイスまたはアプリケーションソフトウェア)、VR/ARシステム、および/またはパーティクルエフェクトライブラリを使用して設計され、または生成され得る。
例示的な実施形態によるNLEは、元のコンテンツが編集の過程で変更されないオーディオ、ビデオまたは画像編集の形態である。NLEにおける編集は、専門的なソフトウェアによって指定され、変更される。
NLEの1つのタイプは、アドビシステムズ社の「Adobe After Effects」アプリケーションソフトウェアであり、ビデオをタイムライン上に編成されたレイヤのシステムに変更して、静止画像および/またはモーション映像などのビデオファイルから合成物を作成するために使用される。
例示的な実施形態によれば、触知できる触覚パターンを生成することによってVR/ARシステムにおける仮想ドラムの鼓動についてのハプティクスを与えることができる。触知できる触覚パターンは、ビデオの再生中に仮想ドラムの位置(または仮想ドラムを打つ仮想オブジェクトの位置)を観察し、ビデオタイムライン上の仮想ドラムの観察された位置にハプティクスを割り当てることによって設計または生成することができる。代替的に、触知できる触覚パターンは、仮想ドラム上に触覚放出体を配置し、再生中に触覚放出体の動きを観察することによって設計することができる。触知できる触覚パターンは、触覚放出体の動きをビデオタイムライン上の仮想ドラムの画像と相互参照することによって設計される。次いで、触知できる触覚パターンは、VR/ARシステム上でユーザに与えられる。
図1は、例示的な実施形態によるハプティクスを設計するフロー図である。
図1を参照すると、ハプティクス100の設計は、120で、ビデオの再生中にリアルタイムでオーディオ/ビジュアル(「A/V」)要素を追跡することを含む。A/V要素は、たとえば、ビデオ内のオブジェクト、アバター、または現象とすることができる。例示的な実施形態によれば、リアルタイムとは、実質的に遅延なしで、または無視できる遅延でタスクを実行し、ユーザには、ほぼ即時に実行されているように見えることを意味する。
タイムラインにおいてA/V要素の合成物がひとたび編成されると、150でA/V要素の追跡に基づいてタイムラインにおけるA/V要素の異なる位置にA/V要素についての触覚効果が割り当てられて、割り当てられた触覚効果位置を生成する。
次いで、190で、タイムラインにおけるA/V要素の割り当てられた触覚効果位置に基づいて、触覚再生トラック、およびオプションでメタデータファイルが生成される。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
触覚再生トラック、およびオプションでメタデータファイルを、触覚対応デバイスに出力することができる。
例示的な実施形態による編集システム、VR/ARシステム、リアルタイム編集システム、およびパーティクルエフェクトライブラリを使用した触覚フィードバックの設計の詳細な説明を以下に示す。図2は、例示的な一実施形態による編集システムによる触覚フィードバックの設計のフロー図である。
図2を参照すると、210で、ビデオを、編集システムの編集環境にインポートすることができる。ビデオは、360度ビデオとすることができる。360度ビデオは、全方向のカメラまたはカメラの集合を使用して、すべての方向のビューが同時に記録されるビデオ記録である。220で、ハプティクスに関連付けられ、またはハプティクスで与えられるビデオ内のA/V要素(たとえば、打たれているドラム、ブンブンいう蜂など)が選択され、A/V要素上のポイントをピン止めするために追跡システムを使用してリアルタイムで追跡される。A/V要素は、ガンショット、爆発、エンジン、電気、気象、自然災害、走行、落下など、任意のオブジェクトまたはイベントとすることができる。A/V要素は、人を引き付ける音または動きを有し得る。
230で、オーディオ触覚ドライバを介してアクチュエータにハプティクスをルーティングするためにオーディオチャネル/トラックを使用する場合(たとえば、NLEにおいて)、A/V要素に使用される1つまたは複数のオーディオチャネルが選択または作成される。オーディオ触覚ドライバの使用は、オーディオに使用されるオーディオチャネルとハプティクスに使用されるオーディオチャネルとを区別することを必要とし得る。
次いで、ビデオが再生される。再生は、編集環境を介して、コンピュータ、モバイルデバイス、またはヘッドマウントディスプレイ(「HMD」)上で視聴することができる。360度ビデオの再生中、視聴者は、パノラマのような視聴方向を制御する。したがって、視聴者は、A/V要素を異なる角度または視点から視覚的に追跡するために、ビデオの周りをパンすることができる。
240で、空間データを取得するために、ビデオの再生中、A/V要素のピン止めされた位置/座標が視覚的に示される。A/V要素についての触覚効果の減衰範囲を設定することができる。したがって、A/V要素の追跡は、ビデオの再生中にA/V要素のピン止めされたポイント/座標、および/または減衰範囲を視覚的に追跡することによって、A/V要素の空間データを取得することを含む。
次いで、A/V要素の合成物が所望のタイムラインにおいて編成される。250で、A/V要素の空間データ(またはピン止めされたポイント/座標、および/または減衰範囲)を、タイムライン上のA/V要素の異なる位置に関連付けることによって、触覚効果は、タイムライン上のA/V要素の異なる位置に割り当てられる。
触覚効果は、たとえば、全周囲(full ambience)、視点(「POV」)、キャラクター選択、キャラクターの注視(gaze of a character)、タッチ、強調された3次元(「3D」)オブジェクト、および/またはアクチュエータ選択など、エディタおよび/または視聴者/ユーザが、ハプティクスがどのように与えられることを好むか、または望むかに基づいて、リアルタイムで割り当てることができる。視聴者の選好は、すべてのデータを維持し、メタデータ(視聴者の選好と相互参照される)を使用して再生する触覚トラックを決定することによって実現することができる。触覚トラックは、事前にまたはリアルタイムで生成することができる。
図3、図4、および図6〜図9は、例示的な実施形態による触覚効果の図である。
触覚効果は、POVに基づいて割り当てることができる。POVの1つのタイプは、触覚効果をすべてのアクションに、しかし、異なる強度で割り当てることができる全周囲である。図3に示すように、特定のPOVに強調を置くことができる。図3を参照すると、(a)では、中央ビューの視覚的アクションに強調が置かれている。(b)では、周辺ビューおよび/またはPOV外の非視覚的アクションに強調が置かれている。(c)では、360度ビュー内のすべてのアクションに強調が置かれている。
全周囲駆動触覚効果は、単一の触覚トラックを使用して達成することができ、任意の触覚対応デバイス(たとえば、モバイルデバイス、HMD、コンピュータなど)上に与えることができる。A/V要素が共通のオブジェクト(ジェット内部またはバイクなど)によって接地されている360度アクションカメラには、全周囲駆動触覚効果が理想的である。
POV駆動触覚効果では、360度ビデオのすべての可能な角度は、基準点として使用するいくつかのキーアングルを識別し、触覚効果をあたかも別々のビデオのように適用することによって、従来のコンテンツのように扱うことができる。図4を参照すると、ハプティクスは、(a)に示すように、POV内のアクションについて与えることができる。あるいは周囲認識のために、図4の(b)に示すように、POV外のアクションついての触覚効果を与えるために、ハプティクスを反転させることができる。ある視覚要素についてのPOV駆動触覚効果は、(ヘッドトラッキングにおいてなど)見られている方向の認識を必要とし得る。
ビデオのオーディオ要素にPOV駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。両耳用オーディオは、3Dステレオサウンドの感覚を作り出すために、2つのマイクロフォンを使用して作成されたオーディオである。POV駆動触覚効果をHMD上に与えるために、HMDは、触覚周辺機器を必要とし得る。
POV駆動触覚効果は、任意の一般的なコンテンツの使用事例に理想的である。
図5は、例示的な実施形態による空間化ハプティクスの図である。
図5を参照すると、たとえば全周囲のPOV駆動触覚効果では、触覚効果を空間化することができ、またはすべてのアクションに割り当てることができるので、触覚ミキサーを使用して、触覚効果を混ぜ合わせて1つの触覚効果から別の触覚効果への滑らかな移行を作成することができる。ミキサーなしでは、1つの触覚効果から別の触覚効果への移行は、たとえば、パンするときなど、突然である可能性がある。
キャラクター駆動触覚効果では、図6に示すように、ハプティクスは、単一のキャラクターのアクションに基づいて割り当てられる。キャラクター駆動触覚効果は、単一の触覚トラックを使用して達成することができるが、より好ましくは、空間化触覚を使用して達成される。空間化は、ユーザがキャラクターの位置を追跡することを可能にする。キャラクターの動きを追跡するために、「ホットまたはコールド」スタイルの空間化を使用することができる。「ホットまたはコールド」スタイルの空間化は、キャラクターに関連付けられた触覚トラックまたは効果を変調することを指す。たとえば、視野(「FOV」)外のキャラクターがFOVに近づくにつれて、キャラクターに関連付けられた触覚効果が柔らかく与えられ得る。キャラクターがFOVに入ると、触覚効果の強度がピークに達することがある。別の例として、ユーザが触覚効果のソースを見つけることを彼/彼女に促すために、FOVの外に何があるかをユーザが感じるように、「ホットまたはコールド」スタイルの空間化を使用することができる。キャラクター駆動触覚効果は、(ヘッドトラッキングなど)見られている方向の認識を必要とし得る。
たとえば、図16を参照すると、例示的な一実施形態による触覚編集ウィンドウの画像であり、鳥瞰図から「家」の方向および向きが示されている。
(特に360度ビデオにおける)キャラクターの位置および動きを追跡する複雑さのために、キャラクター駆動触覚効果を生成するために、一般に、高度な設計ツールが必要とされる。たとえば、アルゴリズムのオプションには、可視のみ再生、すべて再生、オールフォーカス可視を再生(play all-focus visible)、オールフォーカス非表示を再生(play all-focus hidden)、非表示のみ再生などがある。
ビデオ内のオーディオ要素にキャラクター駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。キャラクター駆動触覚効果をHMD上に与えるために、HMDは、触覚周辺機器を必要とし得る。
キャラクター駆動触覚効果は、オブジェクトまたはキャラクターに焦点を当てた広告、限定された数のキャラクターを有するビデオショート、および伏線のキャラクターハプティクスに理想的である。
注視駆動触覚効果では、図7に示すように、ユーザが視覚的にフォーカスしているまたは見ている一般的なゾーンに基づいて触覚が割り当てられる。モバイルデバイスまたはHMD上で行うことができるアイトラッキングは、注視駆動触覚効果に最適である。注視駆動触覚効果は、(眼の中心窩(fovea)によって注視される領域の外側の)周辺視野の画質を低下させることによって、レンダリングの作業負荷を低減するために、VRヘッドセットでアイトラッキングを使用するグラフィックスレンダリング技法である、中心窩適応(foveated)レンダリングで使用できる。
注視駆動触覚効果は、リアルタイムの触覚イベントおよびオーサリングにとってさらに複雑である。ビデオ内のオーディオ要素に注視駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。
注視駆動触覚効果は、ライブイベント(たとえば、スポーツ、演劇など)、および製品に焦点を当てた広告に理想的である。
タッチ駆動触覚効果では、図8に示すように、ユーザのタッチポイントに基づいてハプティクスが割り当てられる。タッチ駆動触覚効果は、ユーザがタッチしている場所を追跡することによって達成することができ、これは、静電容量スクリーンまたは任意の手を基にした周辺機器を備えたモバイルデバイス上で行うことができる。あるいは、空手(empty hand)追跡を使用して、HMD内で見るときの視聴者の手を追跡することができる。
タッチ駆動触覚効果は、一般に、たとえばHMDを使用せずに、ユーザが360度ビデオを見ているときに使用される。HMDを使用するとき、手を基にした周辺機器または手の接触を維持するスプリットコントローラが使用される。ビデオ内のオーディオ要素にタッチ駆動触覚効果を割り当てるには、両耳用オーディオが好ましい。
タッチ駆動触覚効果は、環境探査およびビデオゲームに理想的である。
3Dフォーカス触覚効果では、図9に示すように、仮想空間で見た3Dオブジェクトがハプティクスに割り当てられる。3Dオブジェクトは、意図された設計美学として仮想設定から「ポップ」するように見えることがある。3Dフォーカス触覚効果は、たとえば、3D効果を適用するために作成者によって選択された可能性のある3Dオブジェクトの外観をさらに強調するために使用することができる。従来の2Dコンテンツが3Dシーケンスで強化されているとき(たとえば、視聴者が効果を見るために3Dゴーグルを着用するときなど)、3Dフォーカス触覚効果を使用することができる。
3Dフォーカス触覚効果は、仮想またはシミュレートされた劇場環境に適している。3Dフォーカス触覚効果は、立体映像にオーサリングすることができる。所望の効果を達成するには、3Dフォーカス触覚効果を与えながら(周辺機器を使用する可能性が高い)HMDで見ることが好ましい。3Dフォーカス触覚効果は、HMDタッチ駆動触覚効果とうまく動作する。
3Dフォーカス触覚効果は、立体映像3D効果を備えた非360度ビデオコンテンツに理想的である。
再び図2を参照すると、260で、触覚トラックは、タイムライン上の触覚効果に基づいて、またはタイムライン上の触覚効果を所望の触覚トラックに挿入することによって生成される。
270で、ハプティクスを有することになる追跡されていないA/V要素があるかどうかの判定が行われる。触覚を有することになる追跡されていないA/V要素がある場合、対応する触覚効果が触覚トラックに挿入される。
280で、追跡されることになる追加のA/V要素があるかどうかの判定が行われる。追跡されることになる追加のA/V要素がある場合、プロセスは、220から開始して繰り返される。
290で、触覚再生トラック、およびオプションでメタデータファイルが生成される。触覚再生トラックは、単一の混合触覚トラックまたはいくつかの触覚トラックから成り得る。たとえば、単一の混合触覚トラックは、1つもしくは複数の追跡されたA/V要素、および/または1つもしくは複数の追跡されないA/V要素から成り得る。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
触覚再生トラック、およびオプションでメタデータファイルを、触覚対応デバイスに出力することができる。
図10は、例示的な一実施形態によるVR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計のフロー図である。
図10を参照すると、VR/ARシステムまたはリアルタイム編集システムによるハプティクスの設計は、1000で、空間コンテンツの触覚トラックをインポートまたは生成することを含む。
1010で、触覚放出体は、たとえば「Unity 3D」または「Unreal Engine」、VR/AR環境またはエディタツールのリアルタイム編集環境のようなゲームエンジン内などの3D空間環境内に置かれる。1020で、触覚放出体が作成され、それぞれの環境に配置される。触覚放出体は、2Dまたは3Dの空間環境において波形または形状を描くことによって、作成され、それぞれの環境に配置され得る。たとえば、3Dにおいて描くとき、Y軸は強度を制御し、X軸は時間を制御し、Z軸は周波数を制御し得る。代替的に、強度、時間、および周波数以外のパラメータを使用することができる。
1050で、触覚放出体を、オプションで、ビデオ内のA/V要素に割り当てることができる。触覚効果についての減衰範囲を設定することができる。たとえば、蜂がアバターの頭の周りでブンブンいっている場合、触覚放出体を蜂の上に置くことができる。代替的に、3D環境内に配置することによって、作成者は、触覚放出体がA/V要素に関連している場所を容易に見ることができ、触覚放出体をA/V要素に直接割り当てることなく触覚放出体をA/V要素のそばに配置し、A/V要素とともに触覚放出体を移動させることができる。
例示的な一実施形態では、1050で、ビデオ内のA/V要素にパーティクルエフェクトを割り当てることができる。パーティクルエフェクトは、非常に小さいスプリット、3Dモデルまたは他のグラフィックオブジェクト(本明細書では「パーティクル」と呼ぶ)を多数使用して、従来のレンダリング技法では再現するのが難しいいくつかの動的イベントまたは現象(たとえば、火災、爆発、煙、レーザービーム、動く水、雪、落石、星など化学反応によって引き起こされる、非常に混沌としたシステム、自然現象、エネルギーまたはプロセスなど)をシミュレートするゲームまたはコンピュータグラフィックス技法である。
1055で、ビデオ内の所望のタイムラインの位置が決定される。
次に、1060で、触覚放出体が現在のタイムコードで再生を開始すべきかどうかが判定される。触覚放出体/パーティクルエフェクトが現在のタイムコードで再生を開始すべきではないと判定された場合、1065で、触覚効果/パーティクルエフェクトが再生を開始すべきタイムコードまでビデオが中止される。触覚放出体/パーティクルエフェクトが現在のタイムコードで再生を開始すべき場合、ビデオの再生が開始され、触覚放出体/パーティクルエフェクトは、1070で、A/V要素の位置に対応するように、リアルタイムでエディタ(すなわち、人)によって移動され位置決めされるものとする。
ビデオの再生中に触覚放出体/パーティクルエフェクトを移動し、位置決めしている間に、触覚放出体/パーティクルエフェクトについての空間データが取得される。次いで、触覚放出体/パーティクルエフェクトの空間データは、タイムラインにおけるA/V要素の異なる位置に関連付けられる。たとえば、蜂の例では、蜂が見えるとき、触覚効果がタイムラインに挿入される。蜂が見えない場合、触覚効果はタイムラインに挿入されない。
1075で、追加の触覚トラックが必要かどうかの判定が行われる。追加の触覚トラックが必要である場合、プロセスは、1000から開始して繰り返される。
追加の触覚トラックが必要でない場合、1080で、触覚放出体/パーティクルエフェクトが微調整を必要とするかどうかの判定が行われる。触覚放出体/パーティクルエフェクトが微調整を必要とする場合、1085で、ビデオが中止され、調整される。
パーティクルエフェクトの微調整は、パーティクルエフェクトのパラメータを調整することを含むことができる。パーティクルエフェクトのパラメータは、たとえば、スポーンレート(spawning rate)(単位時間あたりに生成されるパーティクルの数)、パーティクルの初期速度ベクトル(作成時に放出される方向)、パーティクルの寿命(各個々のパーティクルが消滅するまでの時間の長さ)、およびパーティクルの色を含み得る。パラメータは、中央値と中央値の両側で許容されるランダム性の程度(すなわち、平均パーティクルの寿命は50フレーム±20%)をエディタが指定することによって(正確な数値とは対照的に)「ファジィ」にすることができる。
触覚放出体/パーティクルエフェクトの微調整が必要でない場合、1090で、触覚再生トラックが生成される。1090で、空間データを含むメタデータファイルを生成することもできる。
触覚再生トラックおよびメタデータファイルを、触覚対応デバイス(モバイルデバイス、コンソール、コンピュータなど)、ハンドヘルドゲームコントローラ、VR/ARコントローラ、または別の周辺デバイス(たとえば、ゲームパッド、コンピュータマウス、トラックボール、キーボード、タブレット、マイクロフォン、およびヘッドセット、またはウェアラブル)に出力することができる。
図11は、例示的な一実施形態による編集システムのブロック図である。
図11を参照すると、例示的な実施形態による編集システム1105は、ビデオ入力1110を介してビデオを受信する。編集システム1105は、NLEとすることができる。ビデオは、360度ビデオとすることができる。
編集システム1105は、ハプティクスに関連付けられ、またはハプティクスで与えられるように選択されたビデオ内のA/V要素を追跡する追跡システム1115を含む。追跡システム1115は、再生中にA/V要素上のポイントをピン止めする。
再生は、編集システム1105に接続された視覚ディスプレイ1120上のウィンドウを通して見ることができる。視覚ディスプレイ1120は、コンピュータスクリーン、モバイルデバイススクリーン、またはヘッドマウントディスプレイ(「HMD」)とすることができる。ビデオの再生中、エディタは、パノラマのような視聴方向を制御することができる。したがって、エディタは、異なる角度または視点からA/V要素を視覚的にたどるために、ビデオの周りをパンすることができる。
たとえば、図14を参照すると、本発明の一実施形態による触覚編集ウィンドウの画像であり、プレビューウィンドウ1410は、ビデオを表示することができる。ビデオの再生中、A/V要素のピン止めされた位置/座標は、空間データを取得するために、図11に示す視覚ディスプレイ1120上の追跡ウィンドウ1420に視覚的に示され得る。代替的に、触覚トラックをビデオ内のA/V要素にピン止めすることができ、A/V要素の座標を追跡することができる。
図11に示すように、編集システム1105は、ビデオ入力1110から受信されたビデオを使用して所望のタイムラインにおいてエディタによって編成されたA/V要素の合成物、および追跡システム1115から受信されたA/V要素の空間データ(または、ピン止めされたポイント/座標および/または減衰範囲)をタイムライン上のA/V要素の異なる位置に関連付けることによって、エディタによってタイムライン上のA/V要素の異なる位置に割り当てられた触覚効果に基づいて触覚トラックを生成する触覚トラック生成器1125を含む。
触覚効果は、編集システム1105内の触覚効果データベース1127から取得することができる。あるいは、外部ソースから触覚効果を取得することができる。
触覚効果は、上記で説明したように、たとえば、全周囲、視点(「POV」)、キャラクター選択、キャラクターの注視、タッチ、強調された3次元(「3D」)オブジェクト、および/またはアクチュエータ選択など、エディタが、ハプティクスがどのように与えられることを望むかに基づいて、割り当てることができる。
触覚を有する追跡されないA/V要素がある場合、触覚トラック生成器1125は、対応する触覚効果を触覚トラックに挿入する。
追跡される追加のA/V要素がある場合、ビデオは再度再生され、追跡システム1115は再生中にA/V要素のポイントをピン止めする。あるいは、追跡システム1115は、ビデオの再生中に複数のA/V要素を追跡するように構成することができる。
触覚再生トラック生成器1130は、触覚再生トラック、およびオプションでメタデータファイルを生成する。触覚再生トラックは、単一の混合触覚トラックまたは複数の触覚トラックから成り得る。たとえば、単一の混合触覚トラックは、1つもしくは複数の追跡されたA/V要素、および/または1つもしくはいくつかの追跡されないA/V要素から成り得る。メタデータファイルは、空間データおよび触覚再生トラックを含み得る。
触覚再生トラック生成器1130は、触覚再生トラック、複数の触覚再生トラックを含む触覚ファイル、およびオプションでメタデータファイルのうちの1つまたは複数を触覚対応デバイス1135に出力する。
編集システム1105は、触覚対応デバイス1135に電気的にかつ無線で接続することができる。触覚対応デバイス1135は、モバイルデバイス、コンソール、コンピュータ、ハンドヘルドゲームコントローラ、VR/ARコントローラ、または別の周辺デバイス(たとえば、ゲームパッド、コンピュータマウス、トラックボール、キーボード、タブレット、マイクロフォン、およびヘッドセット、またはウェアラブル)とすることができる。
触覚効果は、触覚対応デバイス1135によって適用される。触覚効果は、振動触知できる触覚効果、変形触覚効果、超音波触覚効果、および/または静電摩擦触覚効果として適用することができる。触覚効果の適用は、触知、変形、超音波および/または静電気ソースを使用した振動の適用を含むことができる。
例示的な実施形態による触覚対応デバイス1135は、触覚出力デバイス1145も含むことができる。触覚出力デバイス1145は、触覚駆動信号に応答して、たとえば振動触知できる触覚効果、静電摩擦触覚効果、変形触覚効果、超音波触覚効果など任意の形態の触覚効果を出力するように構成された機構を含むデバイスである。
触覚出力デバイス1145は、触覚効果を適用するために、圧電アクチュエータまたは電気活性ポリマー(「EAP」)アクチュエータなどの電気機械アクチュエータとすることができる。例示的な一実施形態では、圧電アクチュエータは、セラミックアクチュエータまたはマクロファイバ合成(「MFC」)アクチュエータとすることができる。しかしながら、例示的な実施形態はこれに限定されない。たとえば、触覚出力デバイス1145に加えて、電気モーター、電磁アクチュエータ、ボイスコイル、形状記憶合金、ソレノイド、偏心回転質量モーター(「ERM」)、線形共振アクチュエータ(「LRA」)、または高帯域幅アクチュエータを使用することができる。
代替の例示的な実施形態では、直流(「DC」)モーターを、触覚出力デバイス1145に代えて、またはそれに加えて、振動を適用するために使用することができる。
他の例示的な実施形態では、触覚対応デバイス1135は、触覚効果を適用するための非機械デバイスを含むことができる。非機械デバイスは、実際の(または自然の)動きを生成する感覚刺激と同じレートで電流を発射することを使用して筋紡錘を励起するために、ユーザの筋紡錘の近くに埋め込まれた電極、静電気摩擦(「ESF」)または超音波表面摩擦(「USF」)を使用するデバイス、超音波触覚トランスデューサにより音響放射圧を誘導するデバイス、触覚基板と、柔軟なまたは変形可能な表面または形状変化デバイスとを使用し、個人の身体に取り付けることができるデバイス、強制空気(たとえば、空気ジェットを使用した一吹きの空気)、レーザーベースの発射物、音ベースの発射物などの発射された触覚出力を提供するデバイスなどを含むことができる。
例示的な一実施形態によれば、レーザーベースの発射物は、レーザーエネルギーを使用して、プラズマ(正および負の粒子の濃縮混合物)を提供するように、空中の濃縮領域内の空気分子をイオン化する。レーザーは、非常に速く非常に強いペースでパルスを放出するフェムト秒レーザーとすることができる。レーザーが速くなればなるほど、人間が触れるのがより安全になる。レーザーベースの発射物は、触覚でインタラクティブなホログラムとして現れ得る。プラズマが個人の皮膚と接触すると、個人は濃縮領域内の励起された空気分子の振動を感知することができる。個人の皮膚に対する感覚は、個人が空中でプラズマと相互作用するときに生成される波によって引き起こされる。したがって、個人をプラズマ濃縮領域にさらすことによって、触覚効果を個人に提供することができる。代替または追加として、指向性のある音エネルギーによって生成された振動に個人をさらすことによって、触覚効果を個人に提供することができる。
図12は、例示的な一実施形態によるリアルタイムのホストシステムのブロック図である。
図12を参照すると、例示的な実施形態によるリアルタイムホストシステム1200は、仮想現実/拡張現実システムまたは任意のリアルタイム編集システムとすることができる。ホストシステム1200は、触覚トラック入力1210を介して触覚トラックを受信するリアルタイム触覚設計システム1205を含む。リアルタイム触覚設計システム1205は、NLEとすることができる。ビデオは、360度ビデオとすることができる。
触覚トラックの空間コンテンツは、抽出器1215によって3D空間環境、VR/AR環境、またはリアルタイム編集環境に抽出され、ディスプレイ1220上に与えられる。
触覚放出体配置システム1217は、触覚放出体を生成し、ディスプレイ1220上に表示された環境に触覚放出体を配置する。触覚放出体は、空間環境において波形または形状を描くことによって、作成され、それぞれの環境に配置され得る。
触覚放出体は、対応するビデオ内のA/V要素に割り当てられる。触覚効果についての減衰範囲を設定することができる。
たとえば、図15を参照すると、それは例示的な一実施形態による触覚編集ウィンドウの画像であり、2次ウィンドウ1510は、触覚放出体の変化領域/減衰を表す。羽付きエッジ1520は、触覚放出体の減衰を表す。
例示的な一実施形態では、パーティクルエフェクトライブラリ1230からのパーティクルエフェクトをビデオ内のA/V要素に割り当てることができる。
ビデオ内の所望のタイムラインの位置が決定される。
触覚トラックエディタ1225は、ビデオの再生中に触覚放出体/パーティクルエフェクトを移動し、位置決めする間、触覚放出体/パーティクルエフェクトの空間データを取得し、触覚放出体/パーティクルエフェクトの空間データをタイムライン上のA/V要素の異なる位置に関連付けることによって、触覚トラックを変調または編集する。触覚トラックの変調は、リアルタイムで行うことができる。
触覚放出体/パーティクルエフェクトが微調整を必要とする場合、ビデオは、微調整器1227によって中止され、調整される。
触覚放出体の微調整は、触覚効果の少なくとも1つのパラメータ(たとえば、位置、大きさ(または強度)、周波数、持続時間など)の変化を引き起こす可能性がある。
例示的な一実施形態によれば、特定の触覚効果を定義する高水準パラメータは、位置、大きさ、周波数、および持続時間を含む。ストリーミングモーターコマンドのような低レベルのパラメータも、触覚効果を与えるために使用することができる。これらのパラメータの何らかの変動は、触覚効果の感触を変える可能性があり、および/または、さらに触覚効果を「動的」とみなさせることができる。
パーティクルエフェクトの微調整は、パーティクルエフェクトのパラメータを調整することを含むことができる。パーティクルエフェクトのパラメータは、たとえば、スポーンレート(単位時間あたりに生成されるパーティクルの数)、パーティクルの初期速度ベクトル(作成時に放出される方向)、パーティクルの寿命(各個々のパーティクルが消滅するまでの時間の長さ)、パーティクルの色を含み得る。パラメータは、中央値と中央値の両側で許容されるランダム性の程度(つまり、平均パーティクルの寿命は50フレーム±20%である)をエディタが指定することによって(正確な数値とは対照的に)「ファジィ」にすることができる。
触覚放出体/パーティクルエフェクトの微調整後、触覚再生トラックは、触覚再生トラック生成器1230によって生成される。空間データを含むメタデータファイルを生成することもできる。
触覚再生トラック生成器1230は、触覚再生トラックおよびメタデータファイルを、触覚対応デバイス1235に出力する。
例示的な実施形態による触覚対応デバイス1235は、触覚出力デバイス1245も含むことができる。触覚出力デバイス1245は、任意の形態の触覚効果を出力するように構成された機構を含むデバイスである。
図13は、例示的な一実施形態による電子デバイスにおける触覚設計システムのブロック図である。
図13を参照すると、例示的な一実施形態による電子デバイス内のシステム1300は、デバイスの触覚編集機能を提供する。
単一のシステムとして示されているが、システム1300の機能は、分散型システムとして実現することができる。システム1300は、バス1304または情報を伝達するための他の通信機構と、情報を処理するためにバス1304に結合されたプロセッサ1314とを含む。プロセッサ1314は、任意のタイプの汎用プロセッサまたは特定目的プロセッサとすることができる。システム1300は、プロセッサ1314によって実行される情報および命令を記憶するためのメモリ1302をさらに含む。メモリ1302は、ランダムアクセスメモリ(「RAM」)、リードオンリメモリ(「ROM」)、磁気ディスクまたは光ディスクのような静的ストレージ、または任意の他のタイプの非一時的コンピュータ可読媒体の任意の組み合わせから成り得る。
非一時的コンピュータ可読媒体は、プロセッサ1314によってアクセス可能な任意の利用可能な媒体とすることができ、揮発性および不揮発性媒体の両方、取外し可能および取外し不能媒体、通信媒体、および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波もしくは他の搬送機構などの変調データ信号内の他のデータを含むことができ、当技術分野で知られている任意の他の形態の情報伝達媒体を含むことができる。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリメモリ(「EPROM」)、電気消去可能プログラマブルリードオンリメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリメモリ(「CD-ROM」)、または当技術分野で知られている記憶媒体の任意の他の形態を含むことができる。
例示的な一実施形態によれば、メモリ1302は、プロセッサ1314によって実行されると機能を提供するソフトウェアモジュールを記憶する。ソフトウェアモジュールは、システム1300のためのオペレーティングシステム機能を提供するオペレーティングシステム1306、ならびに残りの電子デバイスを含む。ソフトウェアモジュールは、(上述のように)触覚混合および変調機能を提供する触覚設計システム1305も含むことができる。しかしながら、例示的な実施形態はこれに限定されない。たとえば、触覚設計システム1305は、たとえば、電子デバイスと通信する中央ゲームコンソールにおいて、電子デバイスの外部にあってもよい。ソフトウェアモジュールは、ビデオ触覚変換アルゴリズムなど他のアプリケーション1308をさらに含む。
システム1300は、赤外線、無線、Wi-Fi、またはセルラーネットワーク通信のための無線ネットワーク通信を提供する通信デバイス1312(たとえば、ネットワークインターフェースカード)をさらに含むことができる。あるいは、通信デバイス1312は、有線ネットワーク接続(たとえば、ケーブル/Ethernet/光ファイバー接続、またはモデム)を提供することができる。
プロセッサ1314はさらに、バス1304を介して、グラフィック表現を表示するための視覚ディスプレイ1320またはエンドユーザへのユーザインターフェースに結合される。視覚ディスプレイ1320は、プロセッサ1314との間で信号を送受信するように構成されたタッチセンシティブ入力デバイス(すなわち、タッチスクリーン)であってもよく、マルチタッチタッチスクリーンであってもよい。
システム1300は、触覚対応デバイス1335をさらに含む。プロセッサ1314は、触覚効果に関連する触覚信号を、触覚対応デバイス1335に送信することができ、触覚対応デバイス1335は、ひいては触覚効果(たとえば、振動触知できる触覚効果または変形触覚効果)を出力する。
いくつかの例示的な実施形態は、仮想現実(「VR」)/拡張現実(「AR」)システムまたはリアルタイム編集システムを使用して、他の例示的な実施形態では編集システムを使用して説明されているが、実施形態は、同じワークフローで一緒に使用することができる。
例示的な実施形態によれば、触覚データは、ユーザ入力/出力の位置、設計された触覚トラック、選好およびハードウェアに基づいてリアルタイムで混合され、変調される。動的な360度のコンテンツの部分は、たとえば、ユーザのFOVを予測することができないので、リアルタイムで混合して変調することが望ましい。
例示的な実施形態によれば、触覚フィードバックは、A/V要素の複数の位置を触覚放出体と相互参照することによって、またはA/V要素のピン止めされた位置にハプティクスを割り当てることによって空間化されたハプティクスから設計される。
上記は、様々な例示的な実施形態を例示するものであり、それらの限定的なものと解釈すべきではない。したがって、そのような変更のすべては、特許請求の範囲において規定されている本開示の範囲内に含まれるものとする。
100 ハプティクス
1105 編集システム
1110 ビデオ入力
1115 追跡システム
1120 視覚ディスプレイ
1125 触覚トラック生成器
1127 触覚効果データベース
1130 触覚再生トラック生成器
1135 触覚対応デバイス
1145 触覚出力デバイス
1200 リアルタイムホストシステム
1205 リアルタイム触覚設計システム
1210 触覚トラック入力
1215 抽出器
1217 触覚放出体配置システム
1220 ディスプレイ
1225 触覚トラックエディタ
1227 微調整器
1230 パーティクルエフェクトライブラリ
1230 触覚再生トラック生成器
1235 触覚対応デバイス
1245 触覚出力デバイス
1300 システム
1302 メモリ
1304 バス
1305 触覚設計システム
1306 オペレーティングシステム
1308 他のアプリケーション
1312 通信デバイス
1314 プロセッサ
1320 視覚ディスプレイ
1335 触覚対応デバイス
1410 プレビューウィンドウ
1420 追跡ウィンドウ
1510 2次ウィンドウ
1520 羽付きエッジ

Claims (20)

  1. ハプティクスを設計する方法であって、
    ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡するステップと、
    前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成するステップと、
    前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成するステップと
    を含む方法。
  2. 前記A/V要素を追跡する前記ステップが、
    触覚放出体を作成し、前記ビデオの空間環境内に配置するステップと、
    前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内の触覚放出体を移動させるステップと、
    前記触覚放出体の移動中に前記触覚放出体の空間データを取得するステップと
    を含み、
    前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む
    請求項1に記載の方法。
  3. 前記空間データを含むメタデータファイルを生成するステップ
    をさらに含む請求項2に記載の方法。
  4. 前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記触覚効果についての減衰範囲をリアルタイムで設定することをさらに含む、請求項2に記載の方法。
  5. 前記触覚放出体を作成し、配置する前記ステップが、2Dまたは3Dの前記空間環境において波形または形状を描くステップを含む、請求項2に記載の方法。
  6. 前記A/V要素を追跡する前記ステップが、
    パーティクルエフェクトを前記ビデオの空間環境内に配置するステップと、
    前記ビデオの再生中に前記空間環境内の前記パーティクルエフェクトをリアルタイムで移動させることによって前記A/V要素がたどるパスを作成するステップと、
    前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得するステップと
    を含み、
    前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む
    請求項1に記載の方法。
  7. 前記触覚再生トラックを生成する前記ステップが、前記パーティクルエフェクトのパラメータを調整するステップを含む、請求項6に記載の方法。
  8. 前記A/V要素を追跡する前記ステップが、前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡することによって、前記A/V要素の空間データを取得するステップを含み、
    前記A/V要素について前記触覚効果を割り当てる前記ステップが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるステップを含む、請求項1に記載の方法。
  9. 命令を記憶した非一時的コンピュータ可読媒体であって、前記命令は、プロセッサによって実行されると、前記プロセッサに、
    ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡することと、
    前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果を割り当てて、割り当てられた触覚効果位置を生成することと、
    前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成することと
    を含む動作を実行させる、非一時的コンピュータ可読媒体。
  10. 前記A/V要素を追跡することが、
    触覚放出体を作成し、前記ビデオの空間環境内に配置することと、
    前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内の触覚放出体を移動させることと、
    前記触覚放出体の移動中に前記触覚放出体の空間データを取得することと、
    を含み、
    前記A/V要素について前記触覚効果を割り当てることが、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
  11. 前記空間データを含むメタデータファイルを生成すること
    をさらに含む請求項10に記載の非一時的コンピュータ可読媒体。
  12. 前記A/V要素について前記触覚効果を割り当てることが、前記触覚効果についての減衰範囲をリアルタイムで設定することをさらに含む、請求項10に記載の非一時的コンピュータ可読媒体。
  13. 前記触覚放出体を作成し、配置することが、2Dまたは3Dの前記空間環境において波形または形状を描くことを含む、請求項10に記載の非一時的コンピュータ可読媒体。
  14. 前記A/V要素を追跡することが、
    パーティクルエフェクトを前記ビデオの空間環境内に配置することと、
    前記ビデオの再生中に前記空間環境内の前記パーティクルエフェクトをリアルタイムで移動させることによって前記A/V要素がたどるパスを作成することと、
    前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得することと
    を含み、
    前記A/V要素について前記触覚効果を割り当てることが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
  15. 前記触覚再生トラックを生成することが、前記パーティクルエフェクトのパラメータを調整することを含む、請求項14に記載の非一時的コンピュータ可読媒体。
  16. 前記A/V要素を追跡することが、前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡することによって、前記A/V要素の空間データを取得することを含み、
    前記A/V要素について前記触覚効果を割り当てることが、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることを含む、請求項9に記載の非一時的コンピュータ可読媒体。
  17. 触覚設計システムであって、
    ビデオの再生中にリアルタイムでオーディオ/ビジュアル(A/V)要素を追跡するように構成された追跡システムであって、前記A/V要素の追跡に基づいて、タイムライン上の前記A/V要素の異なる位置に、前記A/V要素についてリアルタイムで触覚効果が割り当てられて、割り当てられた触覚効果位置を生成することを可能にするように構成される、追跡システムと、
    前記タイムライン上の前記A/V要素の前記割り当てられた触覚効果位置に基づいて触覚再生トラックを生成する触覚再生追跡生成器と
    を含む触覚設計システム。
  18. 前記追跡システムが、
    触覚放出体を前記ビデオの空間環境内に配置するように構成された触覚放出体配置システムであって、前記触覚放出体が、前記ビデオの再生中にリアルタイムで前記A/V要素とともに前記空間環境内で移動することできる、触覚放出体配置システムと、
    前記触覚放出体の移動中に前記触覚放出体の空間データを取得し、前記触覚放出体の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるように構成された触覚トラックエディタと
    を含む、請求項17に記載の触覚設計システム。
  19. 前記追跡システムが、
    前記ビデオの空間環境内にパーティクルエフェクトを配置するように構成された触覚放出体配置システムであって、前記ビデオの再生中に前記空間環境内のパーティクルエフェクトをリアルタイムで移動させることによって、前記A/V要素がたどるパスが作成される、触覚放出体配置システムと、
    前記パーティクルエフェクトの移動中に前記A/V要素の空間データを取得し、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けるように構成された触覚トラックエディタと
    を含む、請求項17に記載の触覚設計システム。
  20. 前記追跡システムが、
    前記ビデオの再生中にリアルタイムで前記A/V要素を視覚的に追跡し、前記A/V要素の空間データを前記タイムライン上の前記A/V要素の異なる位置にリアルタイムで関連付けることによって、前記A/V要素の空間データを取得するように構成された触覚トラックエディタ
    を含む、請求項17に記載の触覚設計システム。
JP2018221083A 2017-12-28 2018-11-27 直観的な触覚設計 Ceased JP2019121368A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/856,520 2017-12-28
US15/856,520 US20190204917A1 (en) 2017-12-28 2017-12-28 Intuitive haptic design

Publications (2)

Publication Number Publication Date
JP2019121368A true JP2019121368A (ja) 2019-07-22
JP2019121368A5 JP2019121368A5 (ja) 2022-01-06

Family

ID=64556647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018221083A Ceased JP2019121368A (ja) 2017-12-28 2018-11-27 直観的な触覚設計

Country Status (5)

Country Link
US (1) US20190204917A1 (ja)
EP (1) EP3506262A1 (ja)
JP (1) JP2019121368A (ja)
KR (1) KR20190080734A (ja)
CN (1) CN109976507A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021105778A (ja) * 2019-12-26 2021-07-26 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101775A1 (en) * 2019-11-19 2021-05-27 Immersion Corporation Dynamic modification of multiple haptic effects
WO2021252998A1 (en) * 2020-06-12 2021-12-16 Emerge Now Inc. Method and system for the generation and management of tactile commands for tactile sensation
KR102349002B1 (ko) * 2020-06-19 2022-01-11 서울미디어대학원대학교 산학협력단 동적 프로젝션 매핑 연동 제스처 인식 인터랙티브 미디어 콘텐츠 제작 방법 및 장치
EP4211540A1 (en) * 2020-09-14 2023-07-19 InterDigital CE Patent Holdings, SAS Haptic scene representation format

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150268723A1 (en) * 2014-03-21 2015-09-24 Immersion Corporation Automatic tuning of haptic effects
JP2015232880A (ja) * 2014-06-09 2015-12-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視野および／または近接度に基づいて触覚強度を変更するためのプログラマブル触覚デバイスおよび方法
JP2016126766A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想環境における仮想センサ
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232051A1 (en) * 2017-02-16 2018-08-16 Immersion Corporation Automatic localized haptics generation system
US11122258B2 (en) * 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150268723A1 (en) * 2014-03-21 2015-09-24 Immersion Corporation Automatic tuning of haptic effects
JP2015185168A (ja) * 2014-03-21 2015-10-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ハプティック効果の自動チューニング
JP2015232880A (ja) * 2014-06-09 2015-12-24 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 視野および／または近接度に基づいて触覚強度を変更するためのプログラマブル触覚デバイスおよび方法
JP2016126766A (ja) * 2014-12-29 2016-07-11 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 仮想環境における仮想センサ
EP3118723A1 (en) * 2015-07-13 2017-01-18 Thomson Licensing Method and apparatus for providing haptic feedback and interactivity based on user haptic space (hapspace)
JP2018527655A (ja) * 2015-07-13 2018-09-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ・ハプティック空間（ＨａｐＳｐａｃｅ）に基づくハプティック・フィードバックおよびインタラクティブ性を提供する方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021105778A (ja) * 2019-12-26 2021-07-26 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
JP7345387B2 (ja) 2019-12-26 2023-09-15 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
JP2022541968A (ja) * 2020-06-30 2022-09-29 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド ビデオ処理方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
CN109976507A (zh) 2019-07-05
EP3506262A1 (en) 2019-07-03
US20190204917A1 (en) 2019-07-04
KR20190080734A (ko) 2019-07-08

Similar Documents

Publication Publication Date Title
JP2019121368A (ja) 直観的な触覚設計
US11438724B2 (en) Head pose mixing of audio files
US10241580B2 (en) Overlaying of haptic effects
Schneider et al. Tactile animation by direct manipulation of grid displays
US20190251751A1 (en) Production and packaging of entertainment data for virtual reality
Israr et al. Tactile brush: drawing on skin with a tactile grid display
JP6873529B2 (ja) オーディオを視覚的に表現するインタフェースに基づいてゲームサービスを提供するゲームサービス提供サーバ及び方法
KR20150141156A (ko) 오디오 트랙들을 통해 햅틱 효과들을 제공하는 햅틱 디바이스들 및 방법들
KR20140082266A (ko) 혼합현실 콘텐츠 시뮬레이션 시스템
EP3470960A1 (en) Haptic effects with multiple peripheral devices
US9478067B1 (en) Augmented reality environment with secondary sensory feedback
US20220387885A1 (en) Dynamic modification of multiple haptic effects
Guillotel et al. Introducing Basic Principles of Haptic Cinematography and Editing.
Grani et al. Spatial sound and multimodal interaction in immersive environments
US20230077102A1 (en) Virtual Scene
US11244516B2 (en) Object interactivity in virtual space
US20220113801A1 (en) Spatial audio and haptics
Shinoda Creation of Realistic Haptic Experiences for Materialized Graphics
Shinoda The University of Tokyo, 5-1-5 Kashiwano-Ha, Kashiwa 277-8561, Chiba, Japan hiroyuki_shinoda@ ku-tokyo. ac. jp
Babu et al. HelloHapticWorld: A haptics educational kit for interacting with robots
Moule et al. A method for automatically aligning projection mapping systems

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221017

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230703

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20231127