JP6426356B2 - Broadcast haptic effects during group events - Google Patents
Broadcast haptic effects during group events Download PDFInfo
- Publication number
- JP6426356B2 JP6426356B2 JP2014047765A JP2014047765A JP6426356B2 JP 6426356 B2 JP6426356 B2 JP 6426356B2 JP 2014047765 A JP2014047765 A JP 2014047765A JP 2014047765 A JP2014047765 A JP 2014047765A JP 6426356 B2 JP6426356 B2 JP 6426356B2
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- effect
- mobile devices
- haptic effect
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 title claims description 250
- 230000001360 synchronised effect Effects 0.000 claims description 48
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 15
- 230000001960 triggered effect Effects 0.000 description 71
- 238000010586 diagram Methods 0.000 description 12
- 238000004880 explosion Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 210000003746 feather Anatomy 0.000 description 3
- 238000010009 beating Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003467 diminishing effect Effects 0.000 description 1
- 229920001746 electroactive polymer Polymers 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
- H04W4/08—User group management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03F—AMPLIFIERS
- H03F1/00—Details of amplifiers with only discharge tubes, only semiconductor devices or only unspecified devices as amplifying elements
- H03F1/34—Negative-feedback-circuit arrangements with or without positive feedback
- H03F1/36—Negative-feedback-circuit arrangements with or without positive feedback in discharge-tube amplifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R27/00—Public address systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Power Engineering (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Details Of Audible-Bandwidth Transducers (AREA)
Description
本発明の一実施形態の対象は、全般的には、ハプティック効果であり、特に、グループイベント時のハプティック効果のブロードキャストである。 The subject of an embodiment of the present invention is generally the haptic effect, in particular the broadcast of the haptic effect at group events.
携帯電話、スマートフォン、カメラ付き携帯電話、カメラ、携帯情報端末(PDA)などの携帯型モバイル電子装置は、一般的には、装置に対して特定のイベントが発生したことをユーザに警告するための出力機構を含む。例えば、携帯電話は、通常、ユーザに電話の発呼を音声で知らせるためのスピーカを含む。音声信号は、特有の着信音、音楽、音響効果などを含む場合がある。さらに、携帯電話は、ユーザに電話の発呼を視覚的に知らせるのに使用できる表示画面を含む場合がある。 Portable mobile electronic devices, such as cell phones, smart phones, camera phones, cameras, personal digital assistants (PDAs), are generally used to alert the user that a particular event has occurred to the device. Includes an output mechanism. For example, mobile phones typically include a speaker to audibly alert the user to an outgoing call. Audio signals may include distinctive ringtones, music, sound effects, and the like. Additionally, the mobile phone may include a display screen that can be used to visually notify the user of the call origination.
一部のモバイル装置では、特に、総称として「ハプティックフィードバック」または「ハプティック効果」として周知である運動感覚フィードバック(例えば、能動的かつ抵抗性の力のフィードバック)および/または触覚フィードバック(例えば、振動、テクスチャ、および熱)もユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを拡張し簡略化するキューを提供することができる。具体的には、ユーザに特定のイベントを警告するために、またはシミュレート環境もしくは仮想環境内でより深く感覚的に熱中することができるように現実的なフィードバックを提供するために、電子装置のユーザにキューを提供するのに、振動効果または振動触覚ハプティック効果が有効である場合がある。 In some mobile devices, in particular, kinesthetic feedback (e.g. active and resistive force feedback) and / or tactile feedback (e.g. vibration, known as generically as "haptic feedback" or "haptic effect") Textures, and heat) are also provided to the user. Haptic feedback can provide cues that enhance and simplify the user interface. In particular, to alert the user to specific events, or to provide realistic feedback so that they can more deeply inspire in a simulated or virtual environment. Vibratory or vibrotactile haptic effects may be effective in providing cues to the user.
さらに、映画、音楽コンサートなどのグループイベント時に、一般に、映画館に居るグループに種々の効果がブロードキャストされる。通常、映画の時の音声映像効果がグループにブロードキャストされ、いくつかの環境においては、グループの特定のメンバーが他のメンバーとは異なる効果を体験する場合がある。例えば、一部の音声効果は、Dolby(登録商標)Surround Soundのような技術を使用して、映画館内でのユーザの座席位置に応じて違って聞こえる場合がある。また、テーマパークの劇場での一部の「三次元」体験では、「風」効果、「雨」効果、および劇場内のそれぞれの座席に(誰がその座席に座っているかに関係なく)固有の動き効果が得られる。 In addition, at group events such as movies, music concerts, etc., various effects are generally broadcast to the groups in the cinema. Typically, audiovisual effects at the time of a movie are broadcast to the group, and in some circumstances, certain members of the group may experience different effects than other members. For example, some sound effects may sound different depending on the user's seating position in the cinema, using technologies such as Dolby® Surround Sound. Also, some “three-dimensional” experiences at theme park theaters are “wind” effects, “rain” effects, and unique to each seat in the theater (regardless of who sits in that seat) Movement effect is obtained.
一実施形態は、グループイベント時に携帯電話にハプティック効果を生成するシステムである。当該システムは、グループイベント時にブロードキャストされる第1のタイプのハプティック効果のアイデンティティを受信して、グループイベント時にハプティック効果を生成する第1の組のモバイル装置を決定する。その後、システムはグループイベント時に第1のタイプのハプティック効果を第1の組のモバイル装置にブロードキャストする。 One embodiment is a system for generating haptic effects on mobile phones during group events. The system receives an identity of a first type of haptic effect broadcasted at a group event to determine a first set of mobile devices that generate the haptic effect at a group event. The system then broadcasts the first type of haptic effect to the first set of mobile devices during a group event.
一実施形態は、ハプティック効果、さらには場合によっては、音声効果および視覚効果のような他の効果を、グループイベントの観衆/グループ内の各ユーザが携帯しているモバイル装置にブロードキャストするシステムである。各ユーザは、グループ内のユーザの位置に応じて、異なる時間に異なるハプティック効果を受信することができる。その結果、グループのそれぞれの特定のユーザに対する体験を拡張することができる。 One embodiment is a system for broadcasting haptic effects, and possibly other effects such as audio effects and visual effects, to mobile devices carried by each user in the audience / group of group events. . Each user can receive different haptic effects at different times depending on the position of the user in the group. As a result, the experience for each particular user of the group can be extended.
一実施形態では、中央サーバ/コントローラは、映画もしくはコンサートのようなグループイベント時に、グループの各メンバーもしくはユーザが所持している1つまたは複数のハンドヘルド装置もしくはモバイル装置にハプティック効果または他の効果をブロードキャストする。図1は、一実施形態の中央サーバを実装し、別個の実施形態の任意のモバイル装置を実装することができるシステム10のブロック図である。これらの実装のいずれも、図1に示されている要素の全てが必要であるとは限らない、もしくは存在するわけではない。例えば、通常はハプティック効果が直接生成されない中央サーバでは、図1に示されているアクチュエータは含まれない場合がある。 In one embodiment, the central server / controller is configured to send haptic effects or other effects to one or more handheld or mobile devices carried by each member or user of the group at a group event such as a movie or concert. Broadcast. FIG. 1 is a block diagram of a system 10 that can implement the central server of one embodiment and can implement any of the mobile devices of the separate embodiment. None of these implementations require or all of the elements shown in FIG. 1 to be required. For example, in a central server where haptic effects are not usually generated directly, the actuators shown in FIG. 1 may not be included.
システム10は、情報を通信するためのバス12もしくは他の通信機構と、情報を処理するためのバス12に結合されたプロセッサ22とを含む。プロセッサ22は、任意のタイプの汎用もしくは専用のプロセッサにしてもよい。プロセッサ22は、どんなハプティック効果が実行されるのかを決定し、そして高レベルのパラメータに基づいて実行されるハプティック効果の順序を決定することができる。一般に、特定のハプティック効果を定義する高レベルパラメータは、マグニチュード、周波数、および継続時間を含む。特定のハプティック効果を決定するのにストリーミング運動命令のような低レベルパラメータを使用してもよい。ハプティック効果は、ハプティック効果が生成される時に上述のパラメータの一部の変化を含む場合、またはユーザインタラクションに基づいて上述のパラメータの変化を含む場合に、「動的」であると見なすことができる。 System 10 includes a bus 12 or other communication mechanism for communicating information, and a processor 22 coupled with bus 12 for processing information. Processor 22 may be any type of general purpose or special purpose processor. Processor 22 may determine what haptic effects are to be performed, and may determine the order of haptic effects to be performed based on high level parameters. In general, the high level parameters that define a particular haptic effect include magnitude, frequency, and duration. Low level parameters such as streaming motion commands may be used to determine a particular haptic effect. A haptic effect can be considered "dynamic" if it includes changes in some of the parameters described above when the haptic effect is generated, or if it includes changes in the parameters described above based on user interaction .
システム10は、情報およびプロセッサ22によって実行される命令を記憶するためのメモリ14を含む。メモリ14は、ランダム・アクセス・メモリ(RAM)、リード・オンリ・メモリ(ROM)、磁気ディスクもしくは光ディスクなどの静的記憶装置、フラッシュメモリ、または任意の他のタイプのコンピュータ可読媒体の任意の組み合わせで構成される。 System 10 includes a memory 14 for storing information and instructions to be executed by processor 22. Memory 14 may be random access memory (RAM), read only memory (ROM), static storage such as a magnetic or optical disk, flash memory, or any combination of any other type of computer readable medium. It consists of
コンピュータ可読媒体は、プロセッサ22がアクセスできる任意の利用可能な媒体としてもよいし、揮発性および不揮発性の媒体、取り外し可能および取り外し不可能な媒体、通信媒体、ストレージ媒体を含んでもよい。通信媒体は、コンピュータ可読命令、データ構造体、プログラムモジュール、またはキャリア波もしくは搬送機構のような変調データ信号の他のデータを含んでもよく、また当技術分野で周知の任意の他の形態の情報送達媒体を含んでもよい。ストレージ媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブル・リード・オンリ・メモリ(EPROM)、電気的消去可能プログラマブル・リード・オンリ・メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクト・ディスク・リード・オンリ・メモリ(CD−ROM)、または当技術分野で周知の任意の他の形態のストレージ媒体を含んでもよい。 Computer readable media can be any available media that can be accessed by the processor 22, and can include volatile and nonvolatile media, removable and non-removable media, communication media, storage media. The communication medium may include computer readable instructions, data structures, program modules, or other data of a modulated data signal such as a carrier wave or transport mechanism, and any other form of information known in the art. It may include a delivery vehicle. Storage media include RAM, flash memory, ROM, erasable programmable read only memory (EPROM), electrically erasable programmable read only memory (EEPROM), registers, hard disk, removable disk, compact disk It may include a read only memory (CD-ROM), or any other form of storage medium known in the art.
一実施形態では、メモリ14は、プロセッサ22によって実行される時に機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10のオペレーティングシステム機能を提供するオペレーティングシステム15を含む。モジュールはさらに、以下で詳述するように、(システム10が中央サーバを実装する場合)ハプティック効果をブロードキャストする、または(システム10がモバイル装置の1つを実装する場合)ブロードキャストされたハプティック効果を受信および生成するハプティック・グループ・ブロードキャスト・モジュール16を含む。システム10は、一般的には、TouchSense(登録商標)Haptic Feedback Technology(Immersion社)を支援するためのソフトウェアのような追加の機能を含むために1つまたは複数の追加のアプリケーションモジュール18を含む。 In one embodiment, memory 14 stores software modules that provide functionality when executed by processor 22. The modules include an operating system 15 that provides operating system functions of the system 10. The module also broadcasts haptic effects (if system 10 implements a central server), or broadcasts haptic effects (if system 10 implements one of the mobile devices), as described in more detail below. It includes a haptic group broadcast module 16 that receives and generates. System 10 generally includes one or more additional application modules 18 to include additional functionality, such as software to support TouchSense® Haptic Feedback Technology (Immersion).
システム10はさらに、Bluetooth(登録商標)のようなワイヤレスネットワーク通信、赤外線、無線、Wi−Fi、またはセルラーネットワーク通信を提供するためのネットワーク・インターフェース・カードなどの通信装置20を含む。通信は、中央サーバとモバイル装置との間の通信、いくつかの実施形態ではその逆の通信である。 System 10 further includes a communication device 20 such as a network interface card to provide wireless network communication such as Bluetooth®, infrared, wireless, Wi-Fi, or cellular network communication. Communication is communication between the central server and the mobile device, and in some embodiments the opposite.
プロセッサ22はさらに、グラフィック表現またはユーザインターフェースをユーザに表示するために、バス12を介して液晶ディスプレイ(LDC)のようなディスプレイ24に結合される。ディスプレイ24は、プロセッサ22からの信号を送受信する構造であるタッチスクリーンのようなタッチセンサー式入力装置としてもよいし、マルチタッチ式タッチスクリーンとしてもよい。ディスプレイ24は、映像効果を生成することができ、さらに音声効果を生成するためのスピーカを含むことができる。 Processor 22 is further coupled via bus 12 to a display 24, such as a liquid crystal display (LDC), for displaying a graphical representation or user interface to a user. The display 24 may be a touch-sensitive input device such as a touch screen that transmits and receives signals from the processor 22, or may be a multi-touch touch screen. The display 24 can generate video effects and can further include speakers for generating audio effects.
システム10はさらに、1つまたは複数のアクチュエータ26を含む。プロセッサ22は、ハプティック効果に関連付けられたハプティック信号をアクチュエータ26に送信し、これを受けてアクチュエータ26がハプティック効果を出力してもよい。アクチュエータ26は、例えば、電気モータ、電磁アクチュエータ、音声コイル、線形共振アクチュエータ、圧電アクチュエータ、形状記憶合金、電気活性高分子、ソレノイド、偏心モータ(ERM)、または線形共振アクチュエータ(LRA)としてよい。 System 10 further includes one or more actuators 26. The processor 22 may send a haptic signal associated with the haptic effect to the actuator 26, which may then output the haptic effect. The actuator 26 may be, for example, an electric motor, an electromagnetic actuator, a voice coil, a linear resonant actuator, a piezoelectric actuator, a shape memory alloy, an electroactive polymer, a solenoid, an eccentric motor (ERM), or a linear resonant actuator (LRA).
システム10は、アクチュエータ26の他に、静電気摩擦(ESF)、超音波表面摩擦(USF)を使用する装置や、超音波ハプティック変換器によって音響放射圧を誘発する装置、ハプティック基板および可撓性もしくは変形可能な表面もしくは形状が変化するデバイスを使用した装置であって、ユーザの身体に付着することができる装置、空気ジェットを使用して空気を吹き出すような放出式のハプティック出力を提供する装置などの非機械的もしくは非振動式装置である他のタイプのハプティック出力装置(図示せず)を含んでもよい。複数のハプティック効果を有する複数のハプティック出力装置で、ハプティック効果を生成することができる。 In addition to the actuator 26, the system 10 includes devices that use electrostatic friction (ESF), ultrasonic surface friction (USF), devices that induce acoustic radiation pressure with ultrasonic haptic transducers, haptic substrates and flexibility or A device using a deformable surface or a device that changes shape, such as a device capable of adhering to the user's body, a device that provides an emitting haptic output such as blowing air using an air jet, etc. May include other types of haptic output devices (not shown) that are non-mechanical or non-oscillating devices. Haptic effects can be generated with multiple haptic output devices having multiple haptic effects.
ブロードキャストされるハプティック効果は、例えば、振動、変形、締め付け、つつき、伸縮、表面摩擦、熱などの広範囲の効果および技術を含むことができる。また、ハプティック効果は、モバイル装置自身によって、または装身具(例えば、ブレスレット、眼鏡、靴、ベルトなど)、または他の遠隔操作の付属品(例えば、車のキー、ラップトップコンピュータ、音楽プレイヤ、もしくは任意の他の触覚対応の装置)によって生成される場合もある。 The haptic effects that are broadcast can include a wide range of effects and techniques, such as, for example, vibration, deformation, squeeze, stick, stretch, surface friction, heat, and the like. Also, haptic effects may be by the mobile device itself, or by accessories (eg, bracelets, glasses, shoes, belts, etc.), or other remotely operated accessories (eg, car keys, laptop computers, music players, or any other Other haptically-enabled devices).
システム10はさらに、1つまたは複数のセンサ28を含む。センサ28は、加速度計、ジャイロスコープ、全地球測位システム(GPS)センサ、タッチセンサー式入力装置(例えば、タッチスクリーン、タッチパッド)、テクスチャスタイラス、画像センサ、またはいくつかの他のタイプのセンサとしてよい。センサ28は、加速変化、傾斜変化、慣性変化、または位置変化を検出する構造にしてよい。また、センサ28は、位置センサ、回転速度センサ、光センサ、圧力センサ、テクスチャセンサ、カメラ、マイクロホン、または他のタイプのセンサとしてもよい。 System 10 further includes one or more sensors 28. Sensor 28 may be an accelerometer, gyroscope, global positioning system (GPS) sensor, touch sensitive input device (eg, touch screen, touch pad), texture stylus, image sensor, or some other type of sensor Good. Sensor 28 may be configured to detect changes in acceleration, changes in slope, changes in inertia, or changes in position. Also, the sensor 28 may be a position sensor, a rotational speed sensor, an optical sensor, a pressure sensor, a texture sensor, a camera, a microphone, or another type of sensor.
一実施形態によれば、中央サーバは、ハプティック効果を同期的に(すなわち、全ての人に対して同じハプティック効果を)、または非同期的に(すなわち、それぞれの人の位置もしくは属性に応じて多様な効果を)音声/視覚イベントに関連したユーザのグループにブロードキャストすることにより、音声/視覚効果のみでは得ることができなかった高度な体験が可能になる。ほとんどのユーザがモバイル装置を携帯している状態でこの視聴体験をするので、スクリーンもしくはステージ上での音声/視覚イベントと同期した装置を使用してグループハプティック体験を実現することができる。さらに、心臓が鼓動するような音声要素もしくは視覚要素がなくても、鼓動シミュレートハプティック効果のように、音声/視覚イベントとは切り離されたグループハプティック効果が生成される場合がある。ハプティック効果はモバイル装置自体によって生成されるので、この実施形態は、いくつかの周知の「三次元」視聴体験のような座席固有の効果ではない。中央サーバは、実際のハプティック信号自体(すなわち、ハプティックパラメータ)またはハプティック効果のアイデンティティもしくは機能をブロードキャストして、受信側のモバイル装置のプロセッサがメモリからハプティック信号を読み出す、またはハプティック信号を生成するようにしてもよい。 According to one embodiment, the central server synchronizes haptic effects synchronously (i.e. the same haptic effect for all people) or asynchronously (i.e. depending on the location or attributes of each person) Broadcasting the effect to the group of users associated with the audio / visual event allows for a sophisticated experience that could not be obtained with audio / visual effects alone. Because this viewing experience takes place with most users carrying a mobile device, a group haptic experience can be realized using a device synchronized with audio / visual events on the screen or stage. Furthermore, even without an audio or visual element that beats the heart, a group haptic effect that is separate from the audio / visual event may be generated, such as a beating simulated haptic effect. Because the haptic effects are generated by the mobile device itself, this embodiment is not a seat-specific effect like some of the well known "three-dimensional" viewing experiences. The central server broadcasts the actual haptic signal itself (i.e. haptic parameters) or the identity or function of the haptic effect, so that the processor of the receiving mobile device reads the haptic signal from memory or generates a haptic signal. May be
当技術分野で周知であるように、マグニチュード、周波数、または継続時間のような1つまたは複数のハプティック効果パラメータを変化させることによって、異なるタイプのハプティック効果を生成することができる。また、運動シグナルを受信してハプティック効果を生成するアクチュエータまたは他のハプティック出力装置の種類を変えることで、異なるタイプのハプティック効果を生成することも可能である。例えば、ERMアクチュエータによって生成されるハプティック効果は、ESF装置によって生成されるハプティック効果とは異なるタイプのハプティック効果である。 As is well known in the art, different types of haptic effects can be generated by varying one or more haptic effect parameters such as magnitude, frequency, or duration. It is also possible to generate different types of haptic effects by changing the type of actuator or other haptic output device that receives motion signals and generates haptic effects. For example, the haptic effect generated by the ERM actuator is a different type of haptic effect than the haptic effect generated by the ESF device.
各ユーザの位置に基づいて非同期的にハプティック効果を送信する実施形態は、まず各ユーザのグループ内の近似位置を決定する。この位置では、ハプティック効果を受信する各ユーザがモバイル装置を携帯している。そのために、モバイル装置の現在位置を追跡/決定する周知の方法を使用することができる。例えば、イベントが屋外で行われる場合、モバイル装置の近似位置を決定するために、GPSに基づく技術を使用することができる。イベントが映画館のような屋内で行われる場合、モバイル装置またはスマートフォンの位置を追跡する屋内位置機能、例えば、「Micro−Location」システム(NearBuy Systems社製)を提供するために、映画館内のワイヤレス・アクセス・ポイントを使用することができる。各モバイル装置の位置を決定する他の方法は、Wi−Fi、Bluetooth(登録商標)、または近距離無線通信(NFC)に基づく位置決定システムを含む。 Embodiments that transmit haptic effects asynchronously based on the position of each user first determine an approximate position within the group of each user. In this position, each user receiving the haptic effect is carrying the mobile device. To that end, known methods of tracking / determining the current position of the mobile device can be used. For example, if the event takes place outdoors, GPS based techniques can be used to determine the approximate location of the mobile device. If the event takes place indoors, such as in a movie theater, wireless in the movie theater to provide an indoor location feature that tracks the location of the mobile device or smartphone, eg "Micro-Location" system (made by NearBuy Systems). Access points can be used. Other methods of determining the position of each mobile device include a position determination system based on Wi-Fi, Bluetooth, or Near Field Communication (NFC).
一実施形態では、各モバイル装置は装置識別子を有し、各モバイル装置(任意で対応するユーザ)は、イベントにおいてユーザがグループの一部である時に識別される。一実施形態では、各ユーザは、手動でまたは自動的にログインすることによって、または他の検出方法を使用することによって、イベントのネットワークに接続する。各モバイル装置のアイデンティティ、およびグループ内にあるモバイル装置と対応する座席位置の全てのマッピングに基づいて、中央サーバは、必要に応じて、位置に基づいて異なる装置に異なるハプティック効果をブロードキャストすることができる。アイデンティティは、モバイル装置の構成、例えば、ハプティック効果を生成するのに利用できるアクチュエータおよび他のハプティック出力装置のアイデンティティを含んでもよい。 In one embodiment, each mobile device has a device identifier, and each mobile device (optionally the corresponding user) is identified in the event when the user is part of a group. In one embodiment, each user connects to the network of events manually or automatically by logging in or by using other detection methods. Based on the identity of each mobile device and the mapping of all of the mobile device and corresponding seat positions in the group, the central server may broadcast different haptic effects to different devices based on position, as needed. it can. The identity may include the configuration of the mobile device, eg, the identities of actuators and other haptic output devices that can be utilized to generate haptic effects.
本発明の実施形態を、全般的には、映画館内に座って映画を観ているグループ/観衆の一例に関して説明する。観衆のメンバーは映画を観賞している時に、映画の「ハプティックトラック」内の特定のイベントに基づいて観衆のモバイル装置にトリガされたハプティック効果/イベントを体感する。観衆のモバイル装置に送信されるハプティック効果は、
・座席位置または映画のイベントのタイミングに関係なく、それぞれの観衆メンバーに対して全く同じである(すなわち、全員に対する同期体験)、
・座席位置または映画のイベントのタイミングに基づいて、ぞれぞれの観衆メンバーに対して異なる(すなわち、非同期体験)、
・座席位置と映画のイベントのタイミングの両方に基づいて、それぞれの観衆メンバーに対して異なる(すなわち、非同期例)、
・観衆のモバイル装置に送信される音声/視覚イベントを含んでもよいし、含まなくてもよい。
Embodiments of the present invention will generally be described with respect to an example of a group / audience sitting in a cinema and watching a movie. While watching a movie, members of the audience experience haptic effects / events triggered by the audience's mobile device based on specific events within the movie's "haptic track". The haptic effect sent to the audience's mobile device is
-The same for each audience member (i.e. the sync experience for all), regardless of the seating position or the timing of the movie event.
Different for each audience member based on seating position or timing of movie events (ie asynchronous experience)
Different for each audience member (ie asynchronous example) based on both the seating position and the timing of the movie event
• It may or may not include audio / visual events sent to the audience's mobile devices.
図2は、一実施形態の同期例を示した映画館50の概略図である。映画館50は、視覚要素55(例えば、映画スクリーン)と、音声要素61〜64(例えば、音声サラウンドシステムの一部のスピーカ)のような音声要素と、座席71〜74のような座席とを含み、この座席にはシステム10によって実現可能である触覚対応のモバイル装置をそれぞれ携帯しているユーザが座っている。図2の例は同期例であるので、それぞれのモバイル装置は同じハプティック効果(すなわち、ハプティック効果「H1」)を受信する。 FIG. 2 is a schematic diagram of a movie theater 50 showing an example synchronization of one embodiment. The movie theater 50 includes a visual element 55 (for example, a movie screen), an audio element such as audio elements 61 to 64 (for example, some speakers of an audio surround system), and a seat such as seats 71 to 74. In this seat, there are seated users each carrying a haptic enabled mobile device that can be implemented by the system 10. As the example of FIG. 2 is a synchronous example, each mobile device receives the same haptic effect (ie, haptic effect “H1”).
同期例では、映画の中のイベントは、同じハプティックイベントをトリガして同時に全てのユーザのモバイル装置上で再生する。例えば、雨が降り始める映画の1シーンでは、雨が降り始めると同時に観衆の誰もが、モバイル装置上で生成された雨をシミュレートしたハプティック効果H1によって同じ触覚的な降雨感覚を体感することができる。別の例では、登場人物が全ての観衆メンバーがお化け屋敷内を移動する時または恋人が部屋に入ってくるのを見た時に、モバイル装置上で鼓動が速くなる感覚をシミュレートしたハプティック効果を受信する。図2の例では、全ての観客メンバーが同時に同じハプティック効果を体感し、各ユーザの位置は必要でない、または利用されない。 In the synchronization example, events in a movie trigger the same haptic event to play simultaneously on all users' mobile devices. For example, in one scene of a movie that starts to rain, everyone in the audience will experience the same tactile sense of rain with a haptic effect H1 that simulates the rain generated on the mobile device as it starts to rain Can. Another example is a haptic effect that simulates a feeling of faster beating on a mobile device as the character travels through the haunted house or when a lover is entering the room To receive. In the example of FIG. 2, all audience members experience the same haptic effect at the same time, and the position of each user is not necessary or not used.
図3は、一実施形態の別の同期例を示した映画館50の概略図である。この例では、ユーザの位置が必要であり、ユーザが座っている座席列が決定される。各ユーザのモバイル装置は、その位置に基づいて識別される。図3の例では、映画の中のイベントは同じハプティックイベントをトリガして同時に全てのユーザのモバイル装置上で再生するが、ハプティック効果のタイプは位置によって異なる場合がある(すなわち、ハプティック効果のタイプは、「H1」、「H2」、または「H3」である)。例えば、爆発が発生する映画の1シーンでは、前列にいるユーザは、異なるハプティック効果のマグニチュードによって、爆発力をシミュレートしたハプティック効果を中央列もしくは後列のユーザよりも強く体感することができる。 FIG. 3 is a schematic diagram of a movie theater 50 showing another synchronization example of one embodiment. In this example, the position of the user is required, and the row of seats where the user is sitting is determined. The mobile device of each user is identified based on its location. In the example of FIG. 3, the events in the movie trigger the same haptic event to play simultaneously on all users' mobile devices, but the type of haptic effect may differ by location (ie, the type of haptic effect) Is “H1”, “H2”, or “H3”). For example, in one scene of a movie where an explosion occurs, users in the front row can experience haptic effects simulating explosion power more strongly than users in the middle row or the rear row due to different haptic effect magnitudes.
図4は、一実施形態の非同期例を示した映画館50の概略図である。この例では、ユーザの位置が必要であり、各ユーザが座っている列が決定される。ハプティック効果を受信する各ユーザは、同じハプティック効果(すなわち、ハプティック効果「H1」)を受信する。図4の例では、映画の中のイベントは同じハプティックイベントをトリガして、経時的に特定のユーザのモバイル装置上でのみハプティックイベントを再生する。例えば、ネズミが群衆の中を走っている映画の1シーンでは、前列の特定のユーザがハプティック効果を体感し(時間T1)、前列のユーザに対する効果は中央列の何人かのユーザに対して同じ効果がトリガされた時に終了し(時間T1+T2)、その後、中央列のユーザに対する効果は後列の数人のユーザに対して同じ効果がトリガされた時に終了する(時間T1+T2+T3)。映画のイベントタイミングと座席位置とに基づいた別の例では、車がスクリーンの左側から右側に駆け抜けるというシーンがある。車がスクリーンを横切って移動すると、ハプティック効果が観衆メンバーに送信されて室内の左側に疾走車を表現し、その後、車がスクリーンの右側に走り去る時にハプティック効果は室内の右側の他の観衆メンバーへと移る。 FIG. 4 is a schematic diagram of a movie theater 50 showing an asynchronous example of one embodiment. In this example, the position of the user is required, and the row in which each user sits is determined. Each user receiving haptic effects receives the same haptic effect (i.e. haptic effect "H1"). In the example of FIG. 4, the events in the movie trigger the same haptic event, replaying the haptic event only on the mobile device of a particular user over time. For example, in one scene of a movie in which a mouse is running in a crowd, certain users in the front row experience haptic effects (time T1), and the effects on the users in the front row are the same for some users in the middle row It ends when the effect is triggered (time T1 + T2), and then the effect for the middle row of users ends when the same effect is triggered for several users in the rear row (time T1 + T2 + T3). In another example based on movie event timing and seat position, there is a scene where a car runs from the left side of the screen to the right side. As the car travels across the screen, a haptic effect is sent to the audience members to express the car on the left side of the room, and then, when the car runs away on the right side of the screen, the haptic effect is to other crowd members on the right side of the room And move.
図5は、一実施形態の別の非同期例を示した映画館50の概略図である。図5の例では、映画の中のイベントは異なるハプティックイベントをトリガして、経時的に特定のユーザのモバイル装置上でのみハプティックイベントを再生する(すなわち、ハプティック効果「H1」、「H2」、または「H3」)。例えば、ジェット戦闘機が敵戦闘機を破壊し、敵戦闘機がスクリーンの左側近くの空中で爆発し、勝利した戦闘機が必然的に爆発の中を飛行するという航空戦闘シーンの場合がある。前列左側のユーザは強い爆発のハプティック効果を体感し(時間T1)、中央列の中央より左側のユーザはジェット機がデブリの真ん中を移動する時にトリガされる弱いハプティック効果を体感し(時間T1+T2)、後列中央のユーザはジェット機がデブリ雲の中を移動し終わるとすぐに、次第に減少していくハプティック効果を体感する(時間T1+T2+T3)。 FIG. 5 is a schematic diagram of a movie theater 50 showing another asynchronous example of one embodiment. In the example of FIG. 5, events in the movie trigger different haptic events to play haptic events only on the mobile device of a particular user over time (ie haptic effects "H1", "H2", Or "H3"). For example, in the case of an air combat scene, a jet fighter destroys an enemy fighter, the enemy fighter explodes in the air near the left side of the screen, and the winning fighter inevitably flies in the explosion. Users on the left side of the front row experience the haptic effect of strong explosion (time T1), and users on the left side of the center row center experience the weak haptic effect triggered when the jet moves in the middle of debris (time T1 + T2) The user in the middle of the back row experiences a gradually decreasing haptic effect as soon as the jet has finished moving through the debris cloud (time T1 + T2 + T3).
図6は、一実施形態に従って、中央サーバでハプティック効果をブロードキャストし、またはブロードキャストされたハプティック効果を各モバイル装置で受信して生成する時の図1のハプティック・グループ・ブロードキャスト・モジュール16およびシステム10の機能フロー図である。一実施形態では、図6のフロー図の機能は、メモリまたはコンピュータ可読媒体もしくは有形媒体に記憶されているソフトウェアによって実現され、プロセッサによって実行される。他の実施形態では、図6のフロー図の機能は、ハードウェア(例えば、特定用途向け集積回路(ASIC)を使用して)、プログラマブル・ゲート・アレイ(PGA)、フィールド・プログラマブル・ゲート・アレイ(FPGA)など、またはハードウェアとソフトウェアの任意の組み合わせによって実行可能である。 FIG. 6 illustrates haptic group broadcast module 16 and system 10 of FIG. 1 as it broadcasts haptic effects at a central server, or receives and generates broadcast haptic effects at each mobile device, according to one embodiment. Is a functional flow diagram of FIG. In one embodiment, the functions of the flow diagram of FIG. 6 are implemented by software stored in a memory or computer readable or tangible medium and executed by a processor. In another embodiment, the functions of the flow diagram of FIG. 6 may be implemented in hardware (eg, using an application specific integrated circuit (ASIC)), programmable gate array (PGA), field programmable gate array It can be implemented by (FPGA) or the like, or by any combination of hardware and software.
602において、中央サーバが、グループ内の1つまたは複数のモバイル装置にブロードキャストされてそのモバイル装置で生成されるハプティック効果のアイデンティティ/記述を受信する。一実施形態では、ハプティック効果は、映画の時間軸のようにイベントの音声または映像と同期する。それぞれのハプティック効果は、マグニチュード、周波数、および継続時間などの高レベルのパラメータで定義することができる。一部のユーザのみがハプティック効果を受信する(例えば、第1列のユーザが第1のタイプのハプティック効果を受信し、第2列のユーザが第2のタイプのハプティック効果を受信するなど)の実施形態では、アイデンティティ/記述は、ハプティック効果を受信して生成する1つまたは複数のモバイル装置のアイデンティティを含む。 At 602, the central server is broadcast to one or more mobile devices in the group to receive an identity / description of haptic effects generated at the mobile device. In one embodiment, the haptic effects are synchronized with the audio or video of the event, such as a movie timeline. Each haptic effect can be defined by high-level parameters such as magnitude, frequency, and duration. Only some users receive haptic effects (eg, first row of users receive first type of haptic effects, second row of users receive second type of haptic effects, etc.) In an embodiment, the identity / description includes the identity of one or more mobile devices that receive and generate haptic effects.
604において、必要に応じて、各モバイル装置の位置およびIDが決定される、または取り出される。上述したように、位置およびIDは周知の技術を使用して決定される。IDは、アクチュエータまたは各モバイル装置内の他のハプティック出力装置のアイデンティティを含む場合がある。 At 604, the location and ID of each mobile device are determined or retrieved, as needed. As mentioned above, the location and ID are determined using known techniques. The ID may include the identity of the actuator or other haptic output device within each mobile device.
606において、ハプティック効果を生成するモバイル装置が決定される。一部のハプティック効果の場合、全てのモバイル装置がハプティック効果を生成するが、その他のハプティック効果の場合は、全てのモバイル装置のうちの一部のみがハプティック効果を生成する。 At 606, a mobile device that generates haptic effects is determined. For some haptic effects, all mobile devices generate haptic effects, while for other haptic effects, only some of the mobile devices generate haptic effects.
608において、ハプティック効果自体またはハプティック効果のアイデンティティが中央サーバから全ての識別されたモバイル装置にブロードキャストされる。一実施形態では、ハプティック効果は、通常、グループ全体にブロードキャストされ、ハプティック効果を生成するモバイル装置の識別子を含む。識別されていないモバイル装置は、ブロードキャストされたハプティック効果を無視する。 At 608, the haptic effect itself or the haptic effect identity is broadcast from the central server to all identified mobile devices. In one embodiment, the haptic effect is typically broadcasted throughout the group and includes an identifier of the mobile device that produces the haptic effect. Mobile devices not identified ignore the broadcast haptic effects.
610において、606で決定されたそれぞれのモバイル装置がハプティック効果を生成する。一実施形態では、ハプティック効果パラメータは、ローカルメモリから取り出されて、アクチュエータまたは他のタイプのハプティック出力装置に送信される運動シグナルに変換される。アクチュエータは、その後、振動に基づくハプティック効果または上述したような他の種類のハプティック効果を生成する。ハプティック効果は、ハプティック効果のアイデンティティがブロードキャストから受信されるとすぐに生成されてもよいし、ブロードキャストの中で指定したようにタイミングを遅らせることも可能である。 At 610, each mobile device determined at 606 generates a haptic effect. In one embodiment, haptic effect parameters are retrieved from local memory and converted into motion signals that are sent to an actuator or other type of haptic output device. The actuator then generates a vibration-based haptic effect or other type of haptic effect as described above. The haptic effect may be generated as soon as the haptic effect's identity is received from the broadcast, or it may be delayed in timing as specified in the broadcast.
実施形態は、ハプティック効果、またはハプティック効果と音声効果ならびに映像効果との組み合わせをブロードキャストすることができる。さらに、実施形態は、同じハプティック効果を全てのモバイル装置にブロードキャストする、またはモバイル装置の位置に基づいてブロードキャストすることができる。さらに、実施形態は同じタイプのハプティック効果を全てのモバイル装置にブロードキャストする、または異なるタイプのハプティック効果を異なるモバイル装置にブロードキャストする(すなわち、それぞれのハプティック効果を全てのモバイル装置の一部(いくつか)にブロードキャストする)ことができる。以下に、本発明の実施形態の可能な実装例のいくつかについて説明する。 Embodiments can broadcast haptic effects, or a combination of haptic effects and audio and video effects. Furthermore, embodiments can broadcast the same haptic effect to all mobile devices or broadcast based on the location of the mobile devices. Furthermore, embodiments broadcast the same type of haptic effect to all mobile devices, or broadcast different types of haptic effects to different mobile devices (ie, each haptic effect being part of all mobile devices (some Can be broadcast). The following describes some of the possible implementations of the embodiments of the present invention.
「Single Effect Some−triggered at once synched w/AV」:同じハプティック効果が音声/映像コンテンツに合わせていくつかのモバイル装置上で同時にトリガされる。例えば、スクリーン上の爆発シーンにおいて、スクリーンイベントの最も近くに座っている人のみにハプティック効果が送信される。 "Single Effect Some-triggered at once synchronized w / AV": The same haptic effect is triggered simultaneously on several mobile devices to match audio / video content. For example, in an explosion scene on the screen, haptic effects are sent only to the person sitting closest to the screen event.
「Single Effect All−triggered at once synched w/AV」:同じハプティック効果が音声/映像コンテンツに合わせて全てのモバイル装置上で同時にトリガされる。例えば、スクリーン上の爆発シーンにおいて、どのモバイル装置にも同じハプティックパラメータが同時に送信される。 "Single Effect All-triggered at once synchronized w / AV": The same haptic effect is triggered simultaneously on all mobile devices to match the audio / video content. For example, in an explosion scene on the screen, the same haptic parameters are simultaneously transmitted to any mobile device.
「Different Effect Some−triggered at once synched w/AV」:異なるハプティック効果が音声/映像コンテンツに合わせて全てのモバイル装置上で同時にトリガされる。例えば、爆発シーンにおいて、前列に座っている人が他の全ての列の人より強いハプティック効果を受信するが、そのハプティック効果は全て同時にトリガされる。別の例として、同じ効果のタイプ(例えば、発砲をシミュレートしたハプティック効果)であるが、異なるハプティック効果パラメータをいくつかのモバイル装置に送信して、異なるモバイル装置アクチュエータのタイプ(例えば、ERM、LRA、圧電式、静電気式など)の差異を補償することができる。これは、モバイル装置のいくつかに異なるパラメータを送信することによって全てのモバイル装置にわたって同じハプティック体験を作り出すのが目的である。 "Different Effect Some-triggered at once synchronized w / AV": Different haptic effects are triggered simultaneously on all mobile devices to match audio / video content. For example, in an explosion scene, a person sitting in the front row receives stronger haptic effects than all other rows of people, but all the haptic effects are triggered simultaneously. As another example, the same effect type (eg, a haptic effect simulating firing) but different haptic effect parameters may be sent to several mobile devices to provide different mobile device actuator types (eg, ERM, Differences in LRA, piezoelectric, electrostatic, etc.) can be compensated. This is aimed at creating the same haptic experience across all mobile devices by sending different parameters to some of the mobile devices.
「Different Effect All−triggered at once synched w/AV」:ハプティック効果は、音声/映像コンテンツに合わせて同時にいくついかのモバイル装置でのみトリガされる。全てのユーザが爆発ハプティック効果を体感するが、それぞれのモバイル装置は強さに差がある異なるパラメータのハプティック効果を体感する。上述したように、異なる装置アクチュエータタイプの差異を補償することもできる。 "Different Effect All-triggered at once synchronized w / AV": The haptic effect is triggered only on some mobile devices at the same time according to the audio / video content. Although all users experience explosive haptic effects, each mobile device experiences haptic effects of different parameters that differ in strength. As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered at once synched w/A only」:ハプティック効果に関連付けられた視覚要素がなく、音声のみである一実施形態では、音声要素に最も近い人のみが同時にハプティック効果を体感する。例えば、体験の後列に座っている人のみがイベントに対して後方スピーカで鼓動を聞いて、シミュレートされた鼓動のハプティック効果を体感するが、スクリーン上で視覚的な鼓動を見ることできない、またはイベントで、コンサートホールでよくあることだが、スクリーンが使用されないかもしれない。 "Single Effect Some-triggered at once synchronized w / A only": In an embodiment in which there is no visual element associated with haptic effects and only audio, only the person closest to the audio element experiences haptic effects at the same time. For example, only people sitting in the back row of the experience hear the beat on the rear speakers for the event and experience the haptic effects of the simulated beat, but can not see the visual beat on the screen, or At events, as is often the case in concert halls, the screen may not be used.
「Single Effect All−triggered at once synched w/A only」:上述した「Single Effect Some−triggered at once synched w/A only」と同様であるが、この場合、ハプティック効果は同時に等しく全てのモバイル装置に送信される。 "Single Effect All-triggered at once synchronized w / A only": similar to "Single Effect Some-triggered at once synchronized w / A only" described above, but in this case the haptic effect is simultaneously equal to all mobile devices Will be sent.
「Different Effect Some−triggered at once synched w/A only」:上述した「Different Effect Some−triggered at once synched w/AV」と同様であるが、この場合は視覚要素がない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 “Different Effect Some-triggered at once synchronized w / A only”: Similar to “Different Effect Some-triggered at once synchronized w / AV” described above, but there is no visual element in this case. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered at once synched w/A only」:上述した「Different Effect All−triggered at once synched w/AV」と同様であるが、この場合は視覚要素がない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 “Different Effect All-triggered at once synchronized w / A only”: Similar to “Different Effect All-triggered at once synchronized w / AV” described above, but there is no visual element in this case. As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered at once synched w/V only」:上述した「Single Effect Some−triggered at once synched w/AV」と同様であるが、この場合は音声要素がない。例えば、この場合のハプティック効果は、例えば、宇宙空間の爆発のように全く音がしない視覚要素に対するハプティック効果とすることができる。観衆は、視覚要素を見て、体験に関係するハプティック効果を体感することができるが、音声は聞こえない。爆発の最も近くに座っている人のみがこのハプティック効果を体感するかもしれない。 "Single Effect Some-triggered at once synchronized w / V only": Similar to "Single Effect Some-triggered at once synchronized w / AV" described above, but there is no voice component in this case. For example, the haptic effect in this case can be, for example, a haptic effect on a visual element that has no sound at all, such as an explosion in space. The audience can see the visual elements and experience haptic effects related to the experience but can not hear the audio. Only the person sitting closest to the explosion may experience this haptic effect.
「Single Effect All−triggered at once synched w/V only」:上述した「Single Effect Some−triggered at once synched w/V only」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に送信される。 "Single Effect All-triggered at once synchronized w / V only": similar to "Single Effect Some-triggered at once synchronized w / V only" described above, but in this case the same haptic effect applies to all mobile devices Will be sent.
「Different Effect Some−triggered at once synched w/V only」:上述した「Different Effect Some−triggered at once synched w/AV」と同様であるが、この場合は音声要素がない。例えば、この場合のハプティック効果は、いくつかの三次元物体が観衆の中に向かって映し出される3D映画のハプティック効果があるが、それに関連した音は全く出ない。3D効果の影響を最も受ける観衆メンバーは、最も強いハプティック効果の再生を受信する可能性があり、あまり影響を受けないメンバーはそれよりも弱いハプティック効果を受信し、さらに他のメンバーは全くハプティック効果の再生を受信しないかもしれない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。これらの効果の全ては、経時的にではなく、一度にトリガされる。 “Different Effect Some-triggered at once synchronized w / V only”: Similar to “Different Effect Some-triggered at once synchronized w / AV” described above, but there is no voice component in this case. For example, the haptic effect in this case is that of a 3D movie in which several 3D objects are projected into the audience, but there is no sound associated with it. The audience members most affected by the 3D effect may receive the reproduction of the strongest haptic effect, the less affected members receive the weaker haptic effect, and the other members all haptic effects May not receive playback of As mentioned above, differences between different device actuator types can also be compensated. All of these effects are triggered at once, not over time.
「Different Effect All−triggered at once synched w/V only」:上述した「Different Effect Some−triggered at once synched w/V only」と同様であるが、いくつかのモバイル装置は異なるハプティック効果パラメータを受信し、このパラメータは異なるアクチュエータタイプの差異の補償を含むことができる。 "Different Effect All-triggered at once synchronized w / V only": similar to "Different Effect Some-triggered at once synchronized w / V only" described above, but some mobile devices receive different haptic effect parameters This parameter can include compensation for differences between different actuator types.
「Single Effect Some−triggered at once separate from A/V」:同じハプティック効果がいくつかのモバイル装置でのみ同時にトリガされるが、この場合のハプティック効果は音声/映像コンテンツのいずれにも関連付けられていない。一例として、観衆の一部における音質または警告の設定を助けるような完全に周囲環境のハプティックイベントがある。例えば、ホラー映画では、幼い子供が目を覆うことができるように、観衆の一部に怖い瞬間が迫っていることを警告する必要がある場合がある。さらに、コンサート体験では、バンドがアリーナに登場する直前に、バンドがステージの左もしくはステージの右から、または観衆エリアの一部の中から登場する場合に、特定の観衆メンバーにハプティック効果を送信して観衆の一部にバンドがそのエリアに到着したことを警告するが、ハプティック効果は任意の映し出される視覚媒体もしくは音声媒体に関連付けられていない。 "Single Effect Some-triggered at once separate from A / V": The same haptic effect is triggered simultaneously only on some mobile devices, but in this case the haptic effect is not associated with either audio or video content . An example is a completely ambient haptic event that helps set up the sound quality or alert in a part of the audience. For example, in a horror movie, it may be necessary to warn a part of the audience that a scary moment is imminent so that young children can cover their eyes. In addition, the concert experience sends haptic effects to specific audience members just as they appear in the arena, if they appear from the left of the stage or from the right of the stage, or from part of the audience area. Alerting a portion of the audience that the band has arrived in the area, but the haptic effect is not associated with any projected visual or audio media.
「Single Effect All−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に伝達される。 "Single Effect All-triggered at once separate from A / V": similar to "Single Effect Some-triggered at once separate from A / V" described above, but in this case the same haptic effect applies to all mobile devices It is transmitted.
「Different Effect Some−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、ハプティック効果の強さのパラメータは、観衆の中のモバイル装置の位置に基づいて再生される。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect Some-triggered at once separate from A / V": Similar to "Single Effect Some-triggered at once separate from A / V" described above, but the parameter of the strength of the haptic effect is within the audience. It is played based on the position of the mobile device. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered at once separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、ブロードキャストの中で全てのモバイル装置にわたって、強さなどのハプティック効果パラメータは、観衆の中のモバイル装置の位置に応じて変化する場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect All-triggered at once separate from A / V": similar to "Single Effect Some-triggered at once separate from A / V" described above, but the strength, etc., across all mobile devices in the broadcast The haptic effect parameters of may vary depending on the location of the mobile device in the audience. As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered over time synched w/AV」:例えば、いくつかの3D物体が関連する音声と一緒に観衆の中に向かって映し出されるという3D映画のハプティック効果がある。3D要素は観衆メンバーに対して経時的に閾値を超えるので、おそらく映画館の後方にいる一部の観衆メンバーは全くハプティック再生を受信できないと思われる場合でも同じハプティック効果をトリガすることができる。3Dでない例としては、物体がスクリーンの一方から他方にズームする場合で、同じ1つのハプティック効果が室内を横断するが、最もスクリーンに近いモバイル装置上でのみ再生される。 "Single Effect Some-triggered over time synchronized w / AV": For example, there is a 3D movie haptic effect in which some 3D objects are projected into the audience with associated audio. Since the 3D element exceeds the threshold with respect to audience members over time, perhaps some audience members behind the cinema can trigger the same haptic effect even if they seem not to receive haptic replay at all. As an example that is not 3D, when an object zooms from one side of the screen to the other, the same one haptic effect traverses the room but is played back only on the mobile device closest to the screen.
「Single Effect All−triggered over time synched w/AV」:上述した「Single Effect Some−triggered over time synched w/AV」と同様であるが、全ての観衆メンバーが経時的に同じ効果を受信する、つまり、いくつかの閾値条件が満たされて全ての観衆メンバーに対してハプティック効果をトリガするものである。3Dでない例としては、物体がスクリーンの一方から他方にズームする場合で、同じ1つのハプティック効果が室内を横断し、ブロードキャストの中で全てのモバイル装置上で再生される。 "Single Effect All-triggered over time synchronized w / AV": Similar to "Single Effect Some-triggered over time synchronized w / AV" described above, but all audience members receive the same effect over time, that is, Some threshold conditions are met to trigger haptic effects to all audience members. As an example that is not 3D, when an object zooms from one side of the screen to another, the same one haptic effect traverses the room and is played on all mobile devices in the broadcast.
「Different Effect Some−triggered over time synched w/AV」:一例として、ジェット戦闘機が敵戦闘機を破壊し、敵戦闘機がスクリーンの左側近くの空中で爆発し、勝利した戦闘機が必然的に爆発の中を飛行するという映画の航空戦闘シーンがある。前列左側のユーザは、強い爆発のハプティック効果を体感し、中央列の中央より左側のユーザはジェット機がデブリの真ん中を移動する時にトリガされる弱いハプティック効果を体感し、後列中央のユーザはジェット機がデブリ雲の中を移動し終わるとすぐに、次第に減少していくハプティック効果を体感するするかもしれない。この例では、全体のシーンに応じて異なるハプティック効果が再生されており、観衆の誰もがハプティック効果を体感するとは限らない。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect Some-triggered over time synchronized w / AV": As an example, a jet fighter destroys an enemy fighter, the enemy fighter explodes in the air near the left side of the screen, and the fighter who won is inevitable There is an air battle scene of a movie that flies in an explosion. Users in the front row on the left side experience the haptic effects of strong explosions, users on the left from the center of the middle row experience weak haptic effects triggered when the jet moves through the middle of the debris, and users in the middle of the back row receive jets As soon as you move through the debris cloud, you may experience the diminishing haptic effect. In this example, different haptic effects are reproduced according to the whole scene, and not everyone in the audience can experience the haptic effects. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered over time synched w/AV」:上述した「Different Effect Some−triggered over time synched w/AV」と同様であるが、この場合は、全てのモバイル装置が体験の中に含まれる。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect All-triggered over time synchronized w / AV": similar to "Different Effect Some-triggered over time synchronized w / AV" described above, but in this case all mobile devices are included in the experience . As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered over time synched w/A only」:一例として、目に見えないハエの羽音が観衆の中で響くサラウンド音響のハプティック効果がある。同じハプティック効果を、映画館の中のハエの羽音が最も響くエリアだけでなく、全てのユーザのモバイル装置上で経時的にトリガすることができる。 "Single Effect Some-triggered over time synchronized w / A only": As an example, there is a haptic effect of surround sound in which an invisible fly's feathers resound in the audience. The same haptic effect can be triggered over time on the mobile devices of all users, not only in the area of the cinema where the feathers of the flies sound most.
「Single Effect All−triggered over time synched w/A only」:上述した「Single Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、同じハプティック効果が全てのモバイル装置に送られる。 "Single Effect All-triggered over time synchronized w / A only": similar to "Single Effect Some-triggered over time synchronized w / A only" described above, but in this case the same haptic effect applies to all mobile devices Sent.
「Different Effect Some−triggered over time synched w/A only」:上述した「Single Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、例えば、音声パラメータの変化に応じてハプティック効果パラメータが異なる。例えば、ハエの羽音が一部の観衆メンバーの周囲で大きく響く場合、ハプティック効果も映画館のその領域で強くなる可能性がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 “Different Effect Some-triggered over time synchronized w / A only”: similar to “Single Effect Some-triggered over time synchronized w / A only” described above, but in this case, for example, in response to a change in voice parameter Haptic effect parameters are different. For example, if the feathers of flies fly loudly around some audience members, the haptic effect may also be stronger in that area of the cinema. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered over time synched w/A only」:上述した「Different Effect Some−triggered over time synched w/A only」と同様であるが、この場合は、ハプティック効果は全ての観衆のモバイル装置上で再生され、ハプティックパラメータはそれぞれのモバイル装置上で異なる場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect All-triggered over time synchronized w / A only": similar to "Different Effect Some-triggered over time synchronized w / A only" described above, but in this case the haptic effect is the mobile device of all the audience Played above, the haptic parameters may be different on each mobile device. As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered over time synched w/V only」:上述した「Single Effect Some−triggered at once synched w/A only」と同様であるが、この場合は、爆発または他の視覚要素がスクリーンを横断する時に、閾値トリガ点に達すると、移動している物体に最も近い観衆メンバーに対して同じハプティック効果がトリガされる。 "Single Effect Some-triggered over time synchronized w / V only": similar to "Single Effect Some-triggered at once synchronized w / A only" described above, but in this case an explosion or other visual element may cause the screen to When crossing, when the threshold trigger point is reached, the same haptic effect is triggered for the audience member closest to the moving object.
「Single Effect All−triggered over time synched w/V only」:上述した「Single Effect Some−triggered over time synched w/V only」と同様であるが、この場合は、トリガされた時に全てのモバイル装置が同じハプティック効果を受信する。 "Single Effect All-triggered over time synchronized w / V only": similar to "Single Effect Some-triggered over time synchronized w / V only" described above, but in this case all mobile devices are triggered when triggered Receive the same haptic effect.
「Different Effect Some−triggered over time synched w/V only」:上述した「Different Effect All−triggered over time synched w/AV」と同様であるが、この場合は、視覚媒体のみに基づいて行われる。例えば、ジェット戦闘機ではなく、音の出ない宇宙戦闘機の場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 “Different effect Some-triggered over time synchronized w / V only”: Similar to “Different effect All-triggered over time synchronized w / AV” described above, but in this case, it is performed based only on the visual medium. For example, there may be a sounding space fighter instead of a jet fighter. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered over time synched w/V only」:上述した「Different Effect Some−triggered over time synched w/V only」と同様であるが、この場合は、室内の全てのモバイル装置がハプティック効果再生を体験する。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect All-triggered over time synchronized w / V only": similar to "Different Effect Some-triggered over time synchronized w / V only" described above, but in this case all mobile devices in the room have haptic effects Experience playback. As mentioned above, differences between different device actuator types can also be compensated.
「Single Effect Some−triggered over time separate from A/V」:上述した「Single Effect Some−triggered at once separate from A/V」と同様であるが、この場合はハプティック効果が経時的に観衆の中を移動することができる。例えば、「ハプティックウェーブ」は、群衆がスタジアム内で「ウェーブ」を作るために立ち上がる様子と同じように観衆の中を移動して行くことができるが、この場合は、全ての観衆メンバーがハプティックイベントを受信するわけではない。 "Single Effect Some-triggered over time separate from A / V": Similar to "Single Effect Some-triggered at once separate from A / V" described above, but in this case a haptic effect is taken over the audience over time It can move. For example, "Haptic Wave" can be moved around in the audience just as the crowd stand up to create "Wave" in the stadium, but in this case all the audience members are haptic events It does not mean to receive
「Single Effect All−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は全ての観衆メンバーがハプティックイベントを受信する。 "Single Effect All-triggered over time separate from A / V": Similar to "Single Effect Some-triggered over time separate from A / V" described above, but in this case all audience members receive haptic events. .
「Different Effect Some−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は、ハプティック効果の強さのパラメータは、観衆の中のモバイル装置の位置に基づいて再生される。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different Effect Some-triggered over time separate from A / V": Similar to "Single Effect Some-triggered over time separate from A / V" described above, but in this case, the parameter of the strength of the haptic effect is It is played based on the position of the mobile device in the audience. As mentioned above, differences between different device actuator types can also be compensated.
「Different Effect All−triggered over time separate from A/V」:上述した「Single Effect Some−triggered over time separate from A/V」と同様であるが、この場合は、ブロードキャストの中で全てのモバイル装置にわたって、強さなどのハプティック効果パラメータは、観衆の中のモバイル装置の位置に応じて変化する場合がある。上述したように、異なる装置アクチュエータのタイプの差異を補償することもできる。 "Different effect All-triggered over time separate from A / V": similar to "Single Effect Some-triggered over time separate from A / V" described above, but in this case, in all the mobile devices in the broadcast Haptic effect parameters, such as intensity, may change depending on the location of the mobile device in the audience. As mentioned above, differences between different device actuator types can also be compensated.
上述したように、いくつかの実施形態は、ライブの音楽コンサートのような音声特定のイベントに応答してハプティック効果をブロードキャストする。この実施形態では、ライブパフォーマンスのハプティックイベントへのストリーミング変換を使用して、観衆に対して同期および非同期ハプティックイベントが実現される。例えば、同期ハプティック効果は、ブロードキャストされる音声/ハプティックイベントストレート変換によって生成され、全ての観衆メンバーが位置に関係なく同じハプティック効果を体感する。非同期実施形態は、観衆が体感するものが観衆の中の位置に関係付けられるサラウンドサウンドにリンクされる場合がある。この実施形態では、観衆の前方/中央/後方かつ左側/右側にブロードキャストされる内容は、特に、サウンド・システム・サラウンド・ダイナミクスによって演出されている内容によって決まる場合がある。 As mentioned above, some embodiments broadcast haptic effects in response to audio specific events such as live music concerts. In this embodiment, synchronous and asynchronous haptic events are implemented for the audience using streaming conversion to live performance haptic events. For example, a synchronous haptic effect is generated by a broadcast voice / haptic event straight conversion, where all audience members experience the same haptic effect regardless of position. Asynchronous embodiments may be linked to surround sound where what the audience experiences is related to the location within the audience. In this embodiment, the content broadcasted to the front / center / rear and the left / right of the audience may depend in particular on the content being rendered by the sound system surround dynamics.
さらに、映画の実施形態およびコンサートの実施形態の両方において、音声要素および視覚要素をモバイル装置にブロードキャストすることも可能である。これらの追加の要素は、主要なメディアコンテンツと同期することができる、または非同期である場合がある。ネズミが観衆の中を走っている例では、ハプティック体験は、ユーザのモバイル装置からすぐに入ってくる局所的な視覚要素または音声要素によってさらに効果が高まる。 In addition, it is also possible to broadcast audio and visual elements to mobile devices in both movie and concert embodiments. These additional elements may be synchronized or asynchronous with the main media content. In the example where a rat is running in the audience, the haptic experience is further enhanced by local visual or audio elements coming in immediately from the user's mobile device.
上述の実施形態の他に、ユーザは、ユーザのモバイル装置のソフトウェア設定を選択することで、例えば、ハプティック体験の強さのマグニチュードを高くするもしくは低くすることによって、または媒体の特定の要素を強調することによって、例えば、(1)低音域または高音域を変える、(2)映画の中の鼓動の例のように、周囲環境のコンテンツを増やす、(3)ハプティック体験と共にモバイル装置に追加の音声/映像ブロードキャストを追加することによって、ユーザ自身の体験をカスタマイズすることができる。さらに、いくつかの実施形態では、モバイル装置のユーザがハプティック効果を介してコンテンツの特定の要素のみを体感できるように、ブロードキャストがフィルタリングされる。 例えば、フィルタリングすることにより、ユーザは音楽ブロードキャストの中の特定の楽器のみ、または映像ブロードキャストの中の特定の視覚要素のみを体感することができる。 In addition to the above-described embodiments, the user selects the software settings of the user's mobile device, for example by raising or lowering the magnitude of the haptic experience strength, or highlighting certain elements of the medium By changing, for example, (1) changing the bass or treble, (2) increasing the content of the surrounding environment, as in the example of a heartbeat in a movie, (3) adding audio to the mobile device with the haptic experience The user's own experience can be customized by adding / video broadcast. Further, in some embodiments, the broadcast is filtered so that the user of the mobile device can experience only certain elements of the content via haptic effects. For example, filtering allows the user to experience only certain instruments in the music broadcast, or only certain visual elements in the video broadcast.
上述したように、実施形態は、一人または複数人の観衆にハプティック効果をブロードキャストする。実施形態は、「ハプティックトラック」を有する音声および/映像を含むマルチモーダル媒体と、再生媒体と観衆のモバイル装置との間の通信を含む、またはこれらによって機能する。実施形態は、マルチモーダルコンテンツとインターフェース接続するためにモバイル装置にアプリケーションレベルのサポートまたはソフトウェアスイッチを含んでもよい。これは、カスタムビデオプレイヤのようなアプリケーションまたはユーザ側でハプティック受信器の機能を果たすアプリケーションとしてもよい。ハプティックトラックからのハプティックイベントは、観衆のモバイル装置上でこの媒体に関連して再生される。観衆の全てのモバイル装置を位置マッピングすることにより、経時的に、同期的および非同期的なハプティック効果の再生が可能になり、「サラウンドハプティック」体験が作り出される。 As mentioned above, embodiments broadcast haptic effects to one or more audiences. Embodiments include or function by communication between multimodal media including audio and / or video with "haptic tracks" and playback media and mobile devices of the audience. Embodiments may include application level support or software switches on the mobile device to interface with multimodal content. This may be an application such as a custom video player or an application that performs the function of a haptic receiver at the user end. Haptic events from the haptic track are played in conjunction with this medium on the audience's mobile device. Location mapping of all mobile devices of the audience allows for synchronous and asynchronous haptic effect reproduction over time, creating a "surround haptic" experience.
本明細書では、複数の実施形態を具体的に例示および/または説明している。しかし、開示されている実施形態の修正および変更も、上述の教示の対象範囲に含まれ、本発明の精神および範囲から逸脱せずに添付の請求項の範囲内に含まれるものとする。 Several embodiments are specifically illustrated and / or described herein. However, modifications and variations of the disclosed embodiments are also included within the scope of the above teachings, and are intended to be included within the scope of the appended claims without departing from the spirit and scope of the present invention.
Claims (9)
前記中央サーバにおいて、前記グループイベント時にブロードキャストされる第1のタイプのハプティック効果のアイデンティティを受信するステップであって、前記グループイベントは、音声/視覚イベントとハプティックトラックとを含み、前記ハプティックトラックは、ハプティックイベントを含む、ステップと、
前記中央サーバにおいて、前記グループイベント時に前記第1のタイプのハプティック効果を生成する第1の組のモバイル装置を決定するステップであって、少なくとも前記第1の組のモバイル装置のそれぞれのモバイル装置の位置に基づいて決定される、ステップと、
前記グループイベント時に前記第1のタイプのハプティック効果生成のためのデータを前記中央サーバから前記第1の組のモバイル装置にブロードキャストするステップであって、前記第1のタイプのハプティック効果は、1又は複数のハプティックイベントと、1又は複数の音声/視覚イベントによって同期される、ステップと
を含む方法。 A method of generating haptic effects on a mobile device at a group event at a central server communicatively connected to the mobile device, comprising:
Receiving, at the central server, the identity of a first type haptic effect broadcasted during the group event, the group event comprising audio / visual events and a haptic track, the haptic track comprising Steps, including haptic events
Determining at the central server a first set of mobile devices generating the first type of haptic effect at the group event, the mobile device of at least the first set of mobile devices A step determined based on the position ;
Broadcasting data for generating the first type of haptic effects from the central server to the first set of mobile devices during the group event, the first type of haptic effects being one or more than one. A method comprising a plurality of haptic events and a step synchronized by one or more audio / visual events.
をさらに含む、請求項1に記載の方法。 The method of claim 1, further comprising: determining, at the central server, the location and ID of a second set of mobile devices including all mobile devices configured to receive haptic effect broadcasts during the group event. the method of.
前記中央サーバにおいて、前記グループイベント時に前記第2のタイプのハプティック効果を生成する第3の組のモバイル装置を決定するステップと、
前記グループイベント時に、前記第2のタイプのハプティック効果を前記中央サーバから前記第3の組のモバイル装置にブロードキャストするステップと、をさらに含み、
前記第2のタイプのハプティック効果は、前記第1のタイプのハプティック効果とは異なるタイプである、請求項1に記載の方法。 Receiving at the central server an identity of a second type haptic effect broadcasted at the group event;
Determining, at the central server, a third set of mobile devices that generate the second type of haptic effect upon the group event;
Broadcasting the second type haptic effect from the central server to the third set of mobile devices at the group event;
The method of claim 1, wherein the second type of haptic effect is of a type different from the first type of haptic effect.
前記プロセッサに結合される請求項8に記載のコンピュータ可読媒体(14)と
を備えるグループイベント用ブロードキャストシステム。 A processor (22) of the central server;
A group event broadcast system comprising the computer readable medium (14) of claim 8 coupled to the processor.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/803,277 | 2013-03-14 | ||
US13/803,277 US9098984B2 (en) | 2013-03-14 | 2013-03-14 | Haptic effects broadcasting during a group event |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018199917A Division JP6576538B2 (en) | 2013-03-14 | 2018-10-24 | Broadcast haptic effects during group events |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014179984A JP2014179984A (en) | 2014-09-25 |
JP6426356B2 true JP6426356B2 (en) | 2018-11-21 |
Family
ID=50423954
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014047765A Active JP6426356B2 (en) | 2013-03-14 | 2014-03-11 | Broadcast haptic effects during group events |
JP2018199917A Expired - Fee Related JP6576538B2 (en) | 2013-03-14 | 2018-10-24 | Broadcast haptic effects during group events |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018199917A Expired - Fee Related JP6576538B2 (en) | 2013-03-14 | 2018-10-24 | Broadcast haptic effects during group events |
Country Status (5)
Country | Link |
---|---|
US (3) | US9098984B2 (en) |
EP (2) | EP2779706B1 (en) |
JP (2) | JP6426356B2 (en) |
KR (1) | KR102220727B1 (en) |
CN (2) | CN104049735B (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11190874B2 (en) | 2017-07-10 | 2021-11-30 | Sony Corporation | Information processing device and information processing method |
Families Citing this family (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7765333B2 (en) | 2004-07-15 | 2010-07-27 | Immersion Corporation | System and method for ordering haptic effects |
US8487759B2 (en) | 2009-09-30 | 2013-07-16 | Apple Inc. | Self adapting haptic device |
JP2014183559A (en) * | 2013-03-21 | 2014-09-29 | Casio Comput Co Ltd | Notification control device, notification control method and program |
US9699494B2 (en) * | 2013-07-19 | 2017-07-04 | El Media Holdings Usa, Llc | Multiple contact and/or sense promotional systems and methods |
US20150054727A1 (en) * | 2013-08-23 | 2015-02-26 | Immersion Corporation | Haptically enabled viewing of sporting events |
WO2015047372A1 (en) | 2013-09-30 | 2015-04-02 | Pearl Capital Developments Llc | Magnetic actuators for haptic response |
US20150293590A1 (en) * | 2014-04-11 | 2015-10-15 | Nokia Corporation | Method, Apparatus, And Computer Program Product For Haptically Providing Information Via A Wearable Device |
AU2014391723B2 (en) | 2014-04-21 | 2018-04-05 | Apple Inc. | Apportionment of forces for multi-touch input devices of electronic devices |
TWI547827B (en) * | 2014-10-14 | 2016-09-01 | 拓連科技股份有限公司 | Group event management methods and systems, and related computer program products |
EP3037918A1 (en) * | 2014-12-23 | 2016-06-29 | Thomson Licensing | System and method for localizing haptic effects on a body |
JP2016197350A (en) * | 2015-04-03 | 2016-11-24 | シャープ株式会社 | Information transmitter, motion experience system, information transmission method and motion experience method |
JP2016197352A (en) * | 2015-04-03 | 2016-11-24 | シャープ株式会社 | Wearable communication apparatus, wearable communication apparatus system, and wearable communication apparatus control method |
AU2016100399B4 (en) | 2015-04-17 | 2017-02-02 | Apple Inc. | Contracting and elongating materials for providing input and output for an electronic device |
US9691238B2 (en) * | 2015-07-29 | 2017-06-27 | Immersion Corporation | Crowd-based haptics |
WO2017044618A1 (en) | 2015-09-08 | 2017-03-16 | Apple Inc. | Linear actuators for use in electronic devices |
US9711015B2 (en) * | 2015-09-16 | 2017-07-18 | Immersion Corporation | Customizing haptic feedback in live events |
US10039080B2 (en) * | 2016-03-04 | 2018-07-31 | Apple Inc. | Situationally-aware alerts |
US10268272B2 (en) | 2016-03-31 | 2019-04-23 | Apple Inc. | Dampening mechanical modes of a haptic actuator using a delay |
JP6835070B2 (en) * | 2016-04-07 | 2021-02-24 | ソニー株式会社 | Systems, terminals, methods and recording media |
US10741028B2 (en) * | 2016-09-08 | 2020-08-11 | Sony Corporation | Output control device, output controlling method and program |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
WO2018053159A1 (en) * | 2016-09-14 | 2018-03-22 | SonicSensory, Inc. | Multi-device audio streaming system with synchronization |
US10713908B2 (en) * | 2016-09-30 | 2020-07-14 | Sony Corporation | Content providing system, control apparatus, and reception apparatus |
JP6626992B2 (en) | 2016-12-15 | 2019-12-25 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing system, vibration control method, and program |
US10969867B2 (en) | 2016-12-15 | 2021-04-06 | Sony Interactive Entertainment Inc. | Information processing system, controller device, controller device control method and program |
US10963055B2 (en) | 2016-12-15 | 2021-03-30 | Sony Interactive Entertainment Inc. | Vibration device and control system for presenting corrected vibration data |
JP6955861B2 (en) * | 2016-12-16 | 2021-10-27 | 株式会社バンダイナムコエンターテインメント | Event control system and program |
US10075251B2 (en) | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
WO2018193513A1 (en) | 2017-04-18 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device |
WO2018193514A1 (en) | 2017-04-18 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device |
WO2018193557A1 (en) | 2017-04-19 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device |
JP6757466B2 (en) | 2017-04-26 | 2020-09-16 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device |
JP7140120B2 (en) * | 2017-07-10 | 2022-09-21 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
JP6771435B2 (en) | 2017-07-20 | 2020-10-21 | 株式会社ソニー・インタラクティブエンタテインメント | Information processing device and location information acquisition method |
US11779836B2 (en) | 2017-08-24 | 2023-10-10 | Sony Interactive Entertainment Inc. | Vibration control apparatus |
WO2019038887A1 (en) | 2017-08-24 | 2019-02-28 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device |
JP7037567B2 (en) | 2017-08-29 | 2022-03-16 | 株式会社ソニー・インタラクティブエンタテインメント | Vibration control device, vibration control method, and program |
US10360599B2 (en) * | 2017-08-30 | 2019-07-23 | Ncr Corporation | Tracking of members within a group |
KR102208810B1 (en) * | 2017-10-20 | 2021-01-28 | 주식회사 씨케이머티리얼즈랩 | Tactile-information supply system |
KR101899538B1 (en) * | 2017-11-13 | 2018-09-19 | 주식회사 씨케이머티리얼즈랩 | Apparatus and method for providing haptic control signal |
US10917180B2 (en) | 2018-07-24 | 2021-02-09 | Comcast Cable Communications, Llc | Controlling vibration output from a computing device |
US11380470B2 (en) | 2019-09-24 | 2022-07-05 | Apple Inc. | Methods to control force in reluctance actuators based on flux related parameters |
US11107286B2 (en) * | 2019-09-25 | 2021-08-31 | Disney Enterprises, Inc. | Synchronized effects for multi-user mixed reality experiences |
US11977683B2 (en) | 2021-03-12 | 2024-05-07 | Apple Inc. | Modular systems configured to provide localized haptic feedback using inertial actuators |
US11809631B2 (en) | 2021-09-21 | 2023-11-07 | Apple Inc. | Reluctance haptic engine for an electronic device |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3774358B2 (en) * | 2000-07-14 | 2006-05-10 | 株式会社東芝 | Content service method using mobile communication terminal |
US7065418B2 (en) * | 2001-02-26 | 2006-06-20 | Worldstage Llc | Systems and methods for encoding a DMX data stream and decoding an AES digital audio stream |
JP2003036981A (en) * | 2001-07-24 | 2003-02-07 | Komaden:Kk | Light-emitting device for rendition by portable light- emitting device and directing method |
US7623114B2 (en) * | 2001-10-09 | 2009-11-24 | Immersion Corporation | Haptic feedback sensations based on audio output from computer devices |
JP4078404B2 (en) * | 2002-03-25 | 2008-04-23 | 株式会社フジタ | Fire experience device |
JP4215256B2 (en) * | 2004-04-13 | 2009-01-28 | 日本電信電話株式会社 | Communication system that conveys a sense of unity |
US8700791B2 (en) * | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
EP2126667B1 (en) * | 2006-12-27 | 2020-06-24 | Immersion Corporation | Virtual detents through vibrotactile feedback |
US8621348B2 (en) * | 2007-05-25 | 2013-12-31 | Immersion Corporation | Customizing haptic effects on an end user device |
US8638219B2 (en) * | 2007-06-18 | 2014-01-28 | Qualcomm Incorporated | Device and methods of providing radio data system information alerts |
US7839269B2 (en) | 2007-12-12 | 2010-11-23 | Immersion Corporation | Method and apparatus for distributing haptic synchronous signals |
US8180296B2 (en) | 2008-04-29 | 2012-05-15 | Immersion Corporation | Providing haptic effects to users in a short range wireless system |
KR101498622B1 (en) * | 2008-06-25 | 2015-03-04 | 엘지전자 주식회사 | Mobile terminal for providing haptic effect and control method thereof |
CN102204225B (en) * | 2008-09-05 | 2013-12-11 | Sk电信有限公司 | Mobile communication terminal that delivers vibration information, and method thereof |
KR100989079B1 (en) * | 2008-10-28 | 2010-10-25 | 한국전자통신연구원 | System and method for orchestral media service |
US8362882B2 (en) * | 2008-12-10 | 2013-01-29 | Immersion Corporation | Method and apparatus for providing Haptic feedback from Haptic textile |
US9003447B2 (en) | 2008-12-31 | 2015-04-07 | Google Technology Holdings LLC | System and method for customizing communication in a social television framework |
US8108468B2 (en) * | 2009-01-20 | 2012-01-31 | Disney Enterprises, Inc. | System and method for customized experiences in a shared online environment |
JP5299018B2 (en) * | 2009-03-26 | 2013-09-25 | ソニー株式会社 | Information processing apparatus, content processing method, and program |
JP5163906B2 (en) * | 2009-03-30 | 2013-03-13 | 岩崎通信機株式会社 | Image transmission type server device |
KR101553842B1 (en) * | 2009-04-21 | 2015-09-17 | 엘지전자 주식회사 | Mobile terminal providing multi haptic effect and control method thereof |
KR20110051044A (en) * | 2009-11-09 | 2011-05-17 | 광주과학기술원 | Method and apparatus for providing users with haptic information on a 3-d object |
KR20110074333A (en) * | 2009-12-24 | 2011-06-30 | 삼성전자주식회사 | Method and apparatus for generating vibration in potable terminal |
US9436280B2 (en) * | 2010-01-07 | 2016-09-06 | Qualcomm Incorporated | Simulation of three-dimensional touch sensation using haptics |
KR101746453B1 (en) * | 2010-04-12 | 2017-06-13 | 삼성전자주식회사 | System and Method for Processing Sensory Effect |
US10191546B2 (en) * | 2011-06-20 | 2019-01-29 | Immersion Corporation | Haptic theme framework |
JP5919542B2 (en) * | 2011-07-29 | 2016-05-18 | パナソニックIpマネジメント株式会社 | Electronics |
EP3321780A1 (en) * | 2012-02-15 | 2018-05-16 | Immersion Corporation | High definition haptic effects generation using primitives |
US9715276B2 (en) * | 2012-04-04 | 2017-07-25 | Immersion Corporation | Sound to haptic effect conversion system using multiple actuators |
US9368005B2 (en) * | 2012-08-31 | 2016-06-14 | Immersion Corporation | Sound to haptic effect conversion system using mapping |
-
2013
- 2013-03-14 US US13/803,277 patent/US9098984B2/en active Active
-
2014
- 2014-03-05 EP EP14157820.3A patent/EP2779706B1/en not_active Not-in-force
- 2014-03-05 EP EP17185673.5A patent/EP3270614B1/en active Active
- 2014-03-11 JP JP2014047765A patent/JP6426356B2/en active Active
- 2014-03-11 KR KR1020140028060A patent/KR102220727B1/en active IP Right Grant
- 2014-03-14 CN CN201410093893.9A patent/CN104049735B/en active Active
- 2014-03-14 CN CN201811338192.1A patent/CN109582135B/en not_active Expired - Fee Related
-
2015
- 2015-07-20 US US14/803,515 patent/US9349264B2/en not_active Expired - Fee Related
-
2016
- 2016-04-20 US US15/133,593 patent/US9510164B2/en active Active
-
2018
- 2018-10-24 JP JP2018199917A patent/JP6576538B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11190874B2 (en) | 2017-07-10 | 2021-11-30 | Sony Corporation | Information processing device and information processing method |
Also Published As
Publication number | Publication date |
---|---|
CN109582135B (en) | 2021-02-12 |
US9098984B2 (en) | 2015-08-04 |
US20160234662A1 (en) | 2016-08-11 |
EP3270614A1 (en) | 2018-01-17 |
US9510164B2 (en) | 2016-11-29 |
EP3270614B1 (en) | 2020-02-26 |
EP2779706B1 (en) | 2017-10-18 |
US20140266644A1 (en) | 2014-09-18 |
JP2019017113A (en) | 2019-01-31 |
KR102220727B1 (en) | 2021-02-26 |
CN104049735A (en) | 2014-09-17 |
US9349264B2 (en) | 2016-05-24 |
JP2014179984A (en) | 2014-09-25 |
CN104049735B (en) | 2018-12-07 |
KR20140113390A (en) | 2014-09-24 |
US20150325090A1 (en) | 2015-11-12 |
JP6576538B2 (en) | 2019-09-18 |
CN109582135A (en) | 2019-04-05 |
EP2779706A1 (en) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576538B2 (en) | Broadcast haptic effects during group events | |
US9906885B2 (en) | Methods and systems for inserting virtual sounds into an environment | |
CN108141696B (en) | System and method for spatial audio conditioning | |
JP6923245B2 (en) | Audience-based haptics | |
KR101490725B1 (en) | A video display apparatus, an audio-video system, a method for sound reproduction, and a sound reproduction system for localized perceptual audio | |
JP2015041385A (en) | Haptically enabled viewing of sporting events | |
US9276541B1 (en) | Event-based presentation and processing of content | |
CN105764581A (en) | Variable audio parameter setting | |
WO2019093155A1 (en) | Information processing device information processing method, and program | |
CN110677781B (en) | System and method for directing speaker and microphone arrays using coded light | |
JP6218197B1 (en) | Simulated earthquake damage actual phenomenon data generation system, simulated earthquake damage actual phenomenon data generation method | |
JP6523038B2 (en) | Sensory presentation device | |
US11696085B2 (en) | Apparatus, method and computer program for providing notifications | |
WO2023281820A1 (en) | Information processing device, information processing method, and storage medium | |
WO2022102446A1 (en) | Information processing device, information processing method, information processing system and data generation method | |
US20240107257A1 (en) | Relocation of sound components in spatial audio content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6426356 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |