JP6976424B2 - 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー - Google Patents
実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー Download PDFInfo
- Publication number
- JP6976424B2 JP6976424B2 JP2020517884A JP2020517884A JP6976424B2 JP 6976424 B2 JP6976424 B2 JP 6976424B2 JP 2020517884 A JP2020517884 A JP 2020517884A JP 2020517884 A JP2020517884 A JP 2020517884A JP 6976424 B2 JP6976424 B2 JP 6976424B2
- Authority
- JP
- Japan
- Prior art keywords
- view
- remote user
- live
- world
- spectator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims description 78
- 238000000034 method Methods 0.000 claims description 61
- 230000003190 augmentative effect Effects 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 description 26
- 230000033001 locomotion Effects 0.000 description 22
- 230000009471 action Effects 0.000 description 20
- 238000003860 storage Methods 0.000 description 20
- 241000270281 Coluber constrictor Species 0.000 description 19
- OQZCSNDVOWYALR-UHFFFAOYSA-N flurochloridone Chemical compound FC(F)(F)C1=CC=CC(N2C(C(Cl)C(CCl)C2)=O)=C1 OQZCSNDVOWYALR-UHFFFAOYSA-N 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 241001310793 Podium Species 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 241000270272 Coluber Species 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002040 relaxant effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 102100026816 DNA-dependent metalloprotease SPRTN Human genes 0.000 description 1
- 101710175461 DNA-dependent metalloprotease SPRTN Proteins 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001994 activation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/27—Output arrangements for video game devices characterised by a large display in a public venue, e.g. in a movie theatre, stadium or game arena
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/31—Communication aspects specific to video games, e.g. between several handheld game devices at close range
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
- A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
- A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/85—Providing additional services to players
- A63F13/86—Watching games played by other players
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
Description
コンピュータ可読媒体は、サーバから第1のリモートユーザのHMDにネットワークを介して3Dライブビューをストリーミングするプログラム命令を含み、第1のリモートユーザは、実世界の会場の外におり、3Dライブビューは、ヘッドマウントディスプレイ(HMD)を通じて第1のリモートユーザにライブイベントの拡張現実ビューを提示する。コンピュータ可読媒体は、インタラクティブなゲーム世界の仮想位置によって規定された第1の仮想POVからインタラクティブなゲーム世界の観客としてゲームセッションに飛び込む要求を、第1のリモートユーザからサーバで受信するプログラム命令を含む。
コンピュータ可読媒体は、第1の仮想POVに関連付けられた第1の観客ビューをサーバが生成するプログラム命令を含む。コンピュータ可読媒体は、第1のリモートユーザのHMDに表示するために、ネットワークを介して第1の観客ビューを配信するプログラム命令を含み、第1の観客ビューは、HMDを通じてインタラクティブなゲーム世界の仮想現実ビューを第1のリモートユーザに提示する。
この方法では、1つまたは複数の撮影されたビデオストリームに基づいて、実世界の会場の三次元(3D)ライブビューをサーバで生成し、3Dライブビューは、ライブイベントの物理的視点(POV)に対して生成され、物理的POVは、実世界の会場の物理的位置に固定される。この方法では、サーバから第1のリモートユーザのHMDにネットワークを介して3Dライブビューをストリーミングすることを含み、第1のリモートユーザは、実世界の会場の外におり、3Dライブビューは、ヘッドマウントディスプレイ(HMD)を通じて第1のリモートユーザにライブイベントの拡張現実ビューを提示する。この方法では、インタラクティブなゲーム世界の仮想位置によって規定された第1の仮想POVからインタラクティブなゲーム世界の観客として、ゲームセッションに飛び込む要求を第1のリモートユーザからサーバで受信することを含む。
この方法は、第1の仮想POVに関連付けられた第1の観客ビューをサーバが生成することを含む。この方法は、第1のリモートユーザのHMDに表示するためにネットワークを介して第1の観客ビューを配信することを含み、第1の観客ビューは、HMDを通じて第1のリモートユーザにインタラクティブなゲーム世界の仮想現実ビューを提示する。
プレビューモードにおいて、リモートユーザは、eスポーツアリーナの1つまたは複数の選択された座席からPOVをプレビューすることができ、プレビューは、eスポーツイベントのライブビュー、または、eスポーツアリーナで開催された以前のイベントの一般的ビューを含む。eスポーツイベントの拡張現実ビューが、提示されてもよく、拡張ビューは、実世界の会場の選択された座席から取得されたPOVに対して仮想で生成され、デジタルデータで拡張されたeスポーツイベントのライブビューを含む(例えば、別の仮想の聴衆としてユーザの友達のデジタル化表現を挿入する)。
すなわち、eスポーツイベントのライブビュー及び/または拡張現実ビューを見るのではなく、リモートユーザは、任意の位置でゲーム世界に飛び込んで、アクションを見てもよい。この飛び込みビューは、必ずしも、プロのゲーマーの1人のPOVから生成される必要はなく、鳥瞰図、プロのゲーマーの1人がプレイしているキャラクタの側から生成された側面図等、リモートユーザが選択可能な位置から生成されたPOVを含んでもよい。このように、リモートユーザは、2人以上のプロのゲーマー間のアクションの中心にあり得るアクションへのクローズアップを提供するビューを選択し得る。
詳細には、ビデオ収集装置から記録した画像を使用して、eスポーツアリーナのどこの位置からでも(例えば、アリーナ席140の選択された座席から)提示されるように、ライブeスポーツイベントの仮想ビューを生成してもよい。ライブeスポーツイベントの仮想ビューは、1つまたは複数のビデオ収集装置130から取得されたビデオ記録からつなぎ合わされてもよい。
VIPセクション150に対して生成されたライブeスポーツイベントの仮想体験は、より没入型であることを意図しているので、追加のビデオ収集装置130が、VIPセクション150またはVIPセクション150の周囲の位置からの画像を記録するために割り当てられてもよい。このようにして、より詳細なPOVが、最少の数のビデオ収集装置130からつなぎ合わされたVIPセクション150の座席に割り当てられた1つまたは2つのビューではなく、多数のビデオ収集装置からのビデオに基づいて、VIPセクション150の各座席に対して生成されてもよい。
すなわち、ライブに近いビューは、ライブに近いビューが実世界の会場内で収集されたビューを投影している以外は、ライブの従来のスポーツイベント(例えば、バスケットボール、野球、ボクシング、フットボール、テニス等)を、ネットワークを介して視聴するのとよく似ている。収集データは、HMDを用いて表示できるフォーマットで収集してもよく、または、HMD内に表示するようにフォーマットされてもよい。
他の実施形態においては、HMDによって提示されるビューは、アリーナ100の特定の位置からのライブビューを提示するように修正されたライブイベントのハイブリッド及び/または拡張現実ビューであり、デジタルデータまたは変換を用いて拡張されてもよい。すなわち、ハイブリッドビューは、アリーナ100のあらゆる場所にあるデータ(例えば、ビデオ)収集装置231(例えば、ビデオ収集、カメラ、音声レコーダ、スピーカ、温度モニタ、圧力モニタ等)から収集されたライブビューから生成される。ハイブリッドビューは、ライブビューからつぎ合わされてもよく、より従来的なビデオまたは画像をユーザU1に提示してもよい。すなわち、ハイブリッドビューは、仮想とはみなされなくてもよい。
ある実施形態においては、ハイブリッドビューは、データ収集装置231から収集されたライブビューから一部、生成された拡張現実ビューであってもよい。すなわち、拡張現実ビューは、前述のようにデータ収集装置から収集され、最小限、修正されたライブビューにデジタルコンテンツを挿入する。さらに他の実施形態においては、HMDによって提示されるハイブリッドビューは、データ収集装置231から収集されたライブビューから生成されたライブイベントの仮想ビューである。すなわち、仮想ビューは、ライブeスポーツイベントのデジタル表現である。
ライブビュー生成部260は、複数のソースから収集されたデータ(例えば、音声及び/またはビデオ)をつなぎ合わせるステッチング技術等を用いて、アリーナ内の任意の位置に対してライブビューを生成してもよい。さらに、エンターテイメントサーバは、ライブeスポーツイベントのライブビューにデジタルコンテンツをオーバーレイするように構成された拡張現実ライブビュー生成部270を含む。例えば、ライブeスポーツイベントに仮想の聴衆として参加しているリモートユーザは、eスポーツライブイベントの拡張ライブビューを通じて見るように、隣の席に座っている別のリモートユーザ(例えば、ユーザU1のソーシャルネットワークの友達)のデジタルアバタ表現を見てもよい。また、エンターテイメントサーバは、アリーナ100の1つまたは複数の選択された席のPOVに関連してユーザU1が体験し得るライブビュー及び/またはハイブリッドビューのプレビューを提示するように構成された座席プレビュー生成部280を含む。
具体的には、ユーザU1がプレビューインタフェースをナビゲートして、アリーナ席140の座席を選択すると、その座席に対して生成されたライブビュー及び/またはハイブリッドビューのプレビューを示すオプションが与えられてもよい。ユーザU1は、同じインタフェースから所与の座席を選択してもよい。さらに、エンターテイメントサーバは、リモート参加者が視聴位置を変更する(例えば、実世界の会場の仮想または拡張表現で座席を変更する)時、実世界の会場のライブビュー及び/または拡張現実ビューの生成に使用される構成要素及び装置のマッピングスケジュールを変更するように構成された再マッピングモジュール281を含む。すなわち、視聴位置が変更されると、キャプチャ装置の異なるセットを使用して、ライブビュー、ハイブリッドビュー、及び/または、拡張ビューを生成してもよい。
例えば、実世界の会場内の第1の位置及び第2の位置のビューを生成する時、ビデオキャプチャ装置、音声キャプチャ装置、スピーカ等の異なるセットを用いてもよい。従って、再マッピングモジュール281は、特定の位置のビューを生成するために使用される適切なキャプチャ装置を決定するように構成され、適切なライブビュー、ハイブリッドビュー、及び/または、拡張現実ビューを生成する目的のための再マッピング中にこれらの装置を新しい位置に割り当てる。ある実施形態においては、エンターテイメントサーバ260及び実世界の会場のサーバ235で提供された機能及び特徴は、実世界の会場のサーバ(複数可)またはエンターテイメントサーバ(複数可)等、1つの位置で行われてもよい。
ビデオゲームの実行は、MOG、または、多人数同時参加型オンラインゲーム(MMOG)等、1人または複数のユーザによってプレイされるビデオゲームを維持及び実行するために構成されたクラウドゲームネットワーク200によってさらに支援されてもよい。例えば、クラウドゲームネットワーク200は、ライブeスポーツイベント内でプレイされているビデオゲームを支援してもよい。ある実施形態においては、エンターテイメントサーバ260及びクラウドゲームネットワーク200で提供される機能及び特徴は、クラウドゲームネットワーク200またはエンターテイメントサーバ(複数可)260等、1つの位置で行われてもよい。
さらに、コンピュータ106は、リモートユーザU1に配信されるeスポーツライブイベントのライブビュー及び/またはハイブリッドビューを受信するように構成されてもよい。すなわち、コンピュータ106は、ビデオゲームを実行することに制限されず、HMD102によるレンダリングのためにVRコンテンツ(例えば、eスポーツライブイベントのライブビュー及び/またはハイブリッドビュー)を出力するインタラクティブアプリケーションを実行するように構成されてもよい。
これらの撮影された画像を分析して、ユーザ100、HMD102、及び、コントローラ104の位置及び動きを決定してもよい。一実施形態においては、コントローラ104は、コントローラの位置及び向きを決定するために追跡できるライトまたは他のマーカ要素を含む。カメラ108は、インタラクティブ環境からの音を捕捉する1つまたは複数のマイクロフォンを含み得る。マイクロフォンアレイが捕捉した音を処理して、音源の位置を特定してもよい。特定された位置からの音は、選択的に利用または処理されて、特定された位置からではない他の音を除去してもよい。さらに、カメラ108は、複数の画像撮影装置(例えば、立体写真カメラ)、IRカメラ、デプスカメラ、及び、これらの組み合わせを含むように規定されてもよい。
他の実施形態においては、コンピュータ106は、ダウンロードされたビデオゲームを実行するように構成されてもよい。コンピュータ106は、クラウドゲームプロバイダ112と協働して、ビデオゲームを実行してもよい。例えば、ビデオゲームの実行は、クラウドゲームプロバイダ112で開始してよく、ビデオゲームがコンピュータ106に完全にダウンロードされると、コンピュータ106は、ビデオゲームを実行してよく、クラウドゲームプロバイダ112で中断した所からビデオゲームのゲームプレイを再開してもよい。HMD102、コントローラ104、及び、カメラ108からの入力は、コンピュータ106によって処理され、ビデオゲームのゲーム状態は、HMD102、コントローラ104、及び、カメラ108から受信した入力に応答して、調整される。
前述のように、リモートユーザは、実世界の会場の特定の位置(例えば、座席)を選択してよく、異なる位置に移動して、現在は記録されているイベントのビューを取得してもよい。他の実施形態においては、リモートユーザのグループが、記録セッションを通じて記録されたイベントを体験したい場合がある。すなわち、リモートユーザのグループは、異なる物理的位置にいる場合がある。記録セッションは、グループの全てのユーザにとって共通のタイムラインを用いて、記録されたイベントの新しいプレイを生成する。従って、ユーザのグループの各ユーザは、グループの他のユーザと時間的に一致した記録済みのイベントの自分達自身の(記録済みの、視聴者にとってはライブの)ライブビュー、ハイブリッドビュー、及び/または、拡張現実ビューを有してもよい。例えば、ユーザのグループは、仮想または拡張の現実空間で一緒に音楽コンサートを体験してもよい。そのようにして、ユーザのグループは、実世界の会場の仮想表現の1つのエリアの座席を選択してよく、記録されたイベントの自分たちのビュー内にグループの他のユーザの表現を見ることができてもよい。さらに、グループのユーザは、記録されたイベントを視聴しながら、実世界で会話を行う等、実世界で互いにインタラクトもできる。
HMD102とコンピュータ106の間の通信は、有線または無線接続プロトコルに従ってもよい。例えば、アプリケーションを実行するVRコンテンツエンジン220は、ライブビュー及び/またはハイブリッドビュー選択及び/または生成エンジンであってよく、ライブビュー及び/またはハイブリッドビューは、eスポーツライブイベントに関連する。より従来的な意味では、VRコンテンツエンジンは、ビデオゲームを実行するビデオゲームエンジンであってよく、入力を受信して、ビデオゲームのゲーム状態を更新するように構成されてもよい。図1Bの以下の記載は、簡潔で明瞭にするために、ビデオゲームを実行するVRコンテンツエンジン220の文脈内で記載され、VRコンテンツを生成できる任意のアプリケーションの実行を表すことを意図している。ビデオゲームのゲーム状態は、物体の存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロフィール、透視図等、現在のゲームプレイの様々な態様を規定するビデオゲームの様々なパラメータの値によって、少なくとも部分的に規定されてもよい。
音声入力162は、HMD102のマイクロフォン151から、または、ローカルシステム環境内の画像撮影装置108もしくは他の場所に含まれるマイクロフォンから、処理されてもよい。動作入力163は、HMD102に含まれるモーションセンサ159から、または、画像撮影装置108がHMD102の画像を撮影するので、画像撮影装置108から処理されてもよい。(例えば、ゲームアプリケーションを実行する)VRコンテンツエンジン220は、入力を受信し、入力は、ゲームエンジンの設定に従って処理されて、ビデオゲームのゲーム状態を更新する。エンジン220は、ゲーム状態データを様々なレンダリングモジュールに出力し、様々なレンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを規定する。
このようにして、ユーザの眼のすぐ近くにHMDの表示機構を備えることによって、HMDは、ユーザがeスポーツライブイベントのライブビュー及び/またはハイブリッドビュー、または、ゲームアプリケーションのゲームプレイに完全に没入することを可能にする。コンテンツをレンダリングするためにHMDの表示画面に規定される表示領域は、ユーザの視野の広い部分または全体さえ占める場合がある。一実施形態においては、光学素子170のレンズ及び表示画面は、HMD102の支持構造内に配置され、支持構造を装着すると、ユーザ102等のユーザの頭にぴったり合うように構成される。さらに、光学素子170のレンズと表示画面175とは、支持構造内に配置され、HMD102を装着した時、表示画面175がユーザの両眼または片眼の正面に位置する。典型的に、各眼は、1つまたは複数の表示画面を見ている光学素子170の関連するレンズによって支援される。
他の実施形態においては、ハイブリッドビューは、eスポーツアリーナの1つまたは複数の撮影されたビューをつなぎ合わせることによって生成されてもよい。別のハイブリッドビューは、拡張現実ビューを提供する形態等において、デジタルコンテンツをつなぎ合わされたライブビューに組み込むことによって生成されてもよい。例えば、ユーザU1に対して友達のデジタル化された形が、U1の拡張現実ビューに提示される。さらに他の実施形態においては、ライブeスポーツイベントの完全な仮想ビューが、HMD102に提示される。
すなわち、VIPセクション150において、各座席は、ライブeスポーツイベントの一意に生成されたビューを有してもよい。VIPセクション150の外側では、同一場所に配置された座席(例えば、10〜20席)のグループは、ライブeスポーツイベントの一意に生成されたビューを共有してもよい。図に示すように、POV321は、ステージ190のクローズアップビューを含み、両方のチーム及び3つの全てのディスプレイのクローズビューを含む。座席301は、ステージ190の正面に近いので、POV321は、ステージ190の遮られていない、大きい、鮮明なビューを提供するために、より望ましい。
すなわち、アリーナ100の後部、及び、VIPセクション150の外側に位置する座席に関しては、座席302の近くの同一場所に配置された座席(例えば、10〜20席)のグループは、ライブeスポーツイベントの一意に生成されたビューを共有してもよい。図に示すように、POV322は、ステージ190の遠いビューを含み、両方のチーム、3つのディスプレイ、及び、放送ブースの遠くのビューを含む。座席302は、アリーナ100の後部に近いので、ビューは少し遮られ、ステージ190から離れている場合があるので、POV322は、あまり望ましくない。
図3Bに示すように、複数の聴衆の頭部が、POV322に示される。さらに、POV322において、リモートユーザは、ステージ190に、または、ステージ190の近くに位置するディスプレイの遮られていないビューを有する。例えば、POV322は、オートバイコース上のレーサ(例えば、少なくともレーサ180及びレーサ181)を示すメインディスプレイ101のビューを含む。POV322は、第1のチーム171の上にある(例えば、PlayStation Plus LEAGUEロゴを示す)サイドディスプレイ105のビューを含む。また、POV322は、オートバイレーサ180を制御するチームメンバ172aのゲームプレイビューを示すサイドディスプレイ107のビューを含む。前述のように、サイドディスプレイは、オートバイレーサ181の背中のビューを含むオートバイレーサ180の視点を示し、レーサ181は、レースコースでオートバイレーサ180の前にいる。
詳細には、座席301は、eスポーツアリーナ100の正面、または、正面に近いので、POV321は、ステージ190のクローズアップビューを有する。すなわち、座席301からのユーザのビューは、(例えば、ライブまたはデジタルで拡張された)他の聴衆に遮られず、ステージとステージ上の物体とが、視聴者にとって大きく鮮明に見える。例えば、プロのゲーマーの第1のチーム171のメンバは、POV321に鮮明に示され、散切り頭の男性ゲーマー171a、短い髪の女性ゲーマー171b、及び、長い髪の女性ゲーマー171cを含むメンバの顔が鮮明に識別できる。また、プロのゲーマーの第2のチーム172のメンバが、POV321に鮮明に示され、短い髪の男性ゲーマー172a、短い髪の女性ゲーマー172b、及び、短い髪の男性ゲーマー172cを含むメンバの顔は、鮮明に識別可能である。
さらに、POV321において、リモートユーザは、ステージ190にまたはステージ190の近くに位置するディスプレイの鮮明で大きなビューを有する。例えば、POV321は、少なくともレーサ180及びレーサ181を示すメインディスプレイ101の大きいビューを含む。POV322は、第1のチーム171の上に位置するサイドディスプレイ105の(例えば、PlayStation Plus LEAGUEロゴを示す)鮮明で大きなビューを含む。POV322は、(オートバイレーサ181の背中のビューを含む)オートバイレーサ180を制御するチームメンバ172aのゲームプレイビューを示すサイドディスプレイ107の鮮明で大きなビューも含む。
さらに、ライブeスポーツイベントのハイブリッドビューは、eスポーツアリーナのあらゆる場所に配置されたデータ収集装置から収集されたライブビュー(例えば、音声、ビデオ等)から生成されてもよい。一実施態様においては、ハイブリッドビューは、1つまたは複数のライブビデオ記録をつなぎ合わせ、また、1つまたは複数の音声記録をつなぎ合わせてもよい。他の実施形態においては、ハイブリッドビューは、1つまたは複数のデータ収集装置から収集されたライブビューから部分的に生成され、ライブビューに挿入されたデジタルコンテンツを含む拡張現実として提示され、ライブビューは、データ収集装置から収集された1つまたは複数のライブビューをつなぎ合わせることによって生成されてもよい。さらに他の実施形態においては、HMDは、ライブeスポーツイベントを完全に仮想化したビューを提示してよく、仮想ビューは、ライブeスポーツイベントのデジタル表現である。
前述のように、ユーザU1は、eスポーツアリーナ100に仮想でトランスポートされ、何らかの拡張を用いて、座席510に実際に座席に座っているのとあまり変わらない体験をする。例えば、リモートユーザU2を表現するアバタ535は、座席520に座るアバタ535を示すようにPOV540に挿入できる。この拡張現実効果は、ライブ参加者(LP)が座席520に実際に座っていたとしても、デジタルで挿入されてもよい(その場合、LPは、POV540からフィルタリングして除かれる)。従って、HMD102に示されるPOV540は、座席520に仮想で座っているアバタ535のビューを含むことになる。
1つの例示の使用例においては、画像及び/またはビデオデータを使用して、リモートユーザに対するeスポーツイベントのライブビューを構築する。座席パックは、ライブ参加者がいるか否かを決定するように構成された人感センサ640を含んでもよい。例えば、座席610aの座席パック620の人感センサ640は、座席610bにライブ参加者が座っているか否かを決定するように構成されてもよい。人感センサ640は、赤外線検出、ソーナー検出、音波検出、超音波検出、磁気波検出、視覚検出等、任意の適切な検出技術を実施してもよい。
さらに、座席パック620は、アリーナ席610aに座っているライブ参加者が生成する音等、音声データを収集するように構成されたマイクロフォンアレイ630を含んでもよい。アレイ630は、ビーム操縦能力及びビーム形成能力に適したパターンで構成された複数の音声収集装置を含んでもよい。例えば、アリーナ席610aにある座席パックのアレイ630は、アリーナ席610bにいるライブ参加者から発生した音を決定でき、それらの音を近くの環境の他の音からフィルタリングできる。すなわち、アレイ630は、アリーナ席610bのライブ参加者からの音を拾うことができる。追加のセンサが、座席パック620に含まれてもよい。
デバイス700は、ソフトウェアアプリケーションと、任意で、オペレーティングシステムを実行する中央処理装置(CPU)702を含む。CPU702は、1つまたは複数の同種または異種の処理コアから構成されてもよい。例えば、デバイス700は、バックエンドサーバを支援しているクライアント側デバイスであってよく、バックエンドサーバ及びクライアント側デバイスの両方とも、ライブeスポーツイベントに参加しているユーザを支援するように構成される。他の例においては、デバイス700は、クライアント側デバイス(例えば、ゲーム機)を介してライブeスポーツイベントに参加しているユーザを支援するように構成されたサーバ側デバイスであってもよい。
POV生成部723は、アリーナの特定の座席等、アリーナの特定の位置のライブビューを生成するように構成される。例えば、POV生成部は、アリーナの所定の位置から取得したライブイベントの1つまたは複数のビデオをつなぎ合わせて、アリーナの特定の位置からのイベントのライブビューを生成するように構成されたステッチング技術を実施してもよい。従って、特定の位置からライブ記録が収集されなかった場合でさえ、ライブビューは、ライブイベントの1つまたは複数のライブ記録に基づいて、その特定の位置に対して生成されてもよい。
CPU702は、(例えば、生成部720によって)アリーナの特定の位置に対して生成されたライブビューの拡張現実ビューを提示するように構成された拡張現実ライブビュー生成部730も含む。例えば、デジタルコンテンツが、その特定の位置に対して生成されたライブビューに挿入されてもよい。詳細には、アバタ挿入モジュール731は、アバタをライブビューに挿入するように構成される。
アバタは、ライブイベントに参加して、近くに座っている第2のリモートユーザを表してもよい。すなわち、座席ライブビュー生成部720及び拡張現実ライブビュー生成部730が生成したビューに対応するユーザは、ライブイベントに参加している第1のリモートユーザであってよく、さらに、第2のリモートユーザが占める座席の隣または近くに仮想で座っていてもよい。従って、第1のリモートユーザの拡張現実ビューは、第2のリモートユーザのアバタを含む。他のデジタルコンテンツも挿入されてもよい。CPU702は、アリーナ(例えば、eスポーツアリーナ100)の特定の位置に対応するライブイベントのビューのプレビューを生成するように構成された座席プレビュー生成部740も含む。
例えば、アリーナマップ生成部741は、座席チャートを含むようにアリーナの平面図を生成するように構成され、平面図は、プレビューが示されたアリーナ内の位置(例えば、座席)を選択するために使用できる。詳細には、座席選択エンジン742は、平面図を介して、アリーナ内の位置(例えば、座席)をユーザが選択するのを可能にするインタフェースを生成及び管理するように構成される。さらに、インタフェースに備えられた、POVウィンドウ生成部743は、選択された位置(例えば、座席)の視点から生成されたライブイベント(例えば、eスポーツイベント)のビューを含み得るプレビューを生成するように構成される。
ネットワークインタフェース714は、デバイス700が電子通信ネットワークを介して他のコンピュータシステムと通信するのを可能にし、ローカルエリアネットワーク、及び、インターネット等の広域ネットワークを介した有線または無線の通信を含んでもよい。音声プロセッサ712は、CPU702、メモリ704、及び/または、記憶装置706によって提供された命令及び/またはデータからのアナログまたはデジタルの音声出力を生成するように適合される。CPU702、メモリ704、データ記憶装置706、ユーザ入力デバイス708、ネットワークインタフェース710、及び、音声プロセッサ712を含む、デバイス700の構成要素は、1つまたは複数のデータバス722を介して接続される。
画素データは、CPU702から直接、グラフィックスメモリ718に提供されてもよい。あるいは、CPU702は、所望の出力画像を規定するデータ及び/または命令をGPU716に提供し、そのデータ及び/または命令から、GPU716は、1つまたは複数の出力画像の画素データを生成する。所望の出力画像を規定するデータ及び/または命令は、メモリ704及び/またはグラフィックスメモリ718に記憶されてもよい。ある実施形態においては、GPU716は、シーンの形状、光、テクスチャ、動き、及び/または、カメラパラメータを規定する命令及びデータから、出力画像の画素データを生成する3Dレンダリング能力を含む。GPU716は、シェーダプログラムを実行できる1つまたは複数のプログラム可能な実行ユニットをさらに含み得る。
例えば、ゲームアプリケーションのマルチプレイヤゲームセッションは、ライブeスポーツイベントの1人または複数のゲーム競技者によってライブで行われてもよい。ゲームセッションは、CPU702の構成要素のいずれか、図2のクラウドゲームプロバイダ112、または、これらの任意の組み合わせによって確立及び管理されてもよい。メインビューは、1人または複数のユーザのゲームプレイに関連付けられたゲームアプリケーションのゲーム世界のビューに対応する。メインビューは、ゲーム世界内の視点(POV)に対応する。
例えば、メインビューは、ユーザの1人によって制御されているキャラクタの1つのPOVから生成されてもよい。他の実施形態においては、メインビューは、ゲームアプリケーションをプレイしている複数のプレイヤのゲームプレイを中心にeスポーツイベントを見せるeスポーツアリーナのライブビューであってもよい。メインビューは、リモートユーザに表示のために提供されてもよい。さらに、ゲーム世界の1つまたは複数の観客ビューが生成されてもよい。観客ビューは、ゲーム世界内の異なるPOVから取得される。すなわち、1人または複数のユーザのゲームプレイが、1人または複数のユーザによって制御されるゲームアプリケーションの実行を通じて生成されている間、観客ビューも生成されてもよい。
例えば、クラウドゲームプロバイダ112及び/またはバックエンドエンターテイメントサーバ250は、1つまたは複数のゲームプレイを生成するゲームアプリケーションの実行に関連して、観客ビューを生成してもよい。観客ビューは、ゲーム世界内の1つまたは複数の所定の位置に対応してもよい。さらに、観客ビューは、リモートユーザが選択したゲーム世界内の選択位置に対応してもよい。このようにして、リモートユーザは、1人または複数のユーザのゲームプレイによって生成されているライブアクションを見るために、ゲーム世界内の様々な視点を選ぶことができる。例えば、ユーザは、観客ビューの1つから取得されるように、ゲーム世界内のアクションの異なる透視図を取得したい。
ゲームセッションマネージャ759及び/またはゲーム実行エンジンは、図2のクラウドゲームプロバイダ112に置かれてもよい。詳細には、ゲームセッションマネージャ759は、ゲーム実行エンジンと通信して、対応するゲームプレイの結果に影響を及ぼすように使用されるユーザ入力コマンドを伝え、取得してもよい。入力コマンドは、ユーザデバイスからゲームセッションマネージャ759に送信されてもよく、ゲームプレイの駆動に使用される。ゲームプレイは、ゲームセッションマネージャ759によって実行及び管理されるので、これらのゲームプレイから生成及び記憶される情報は、要求を行った任意のユーザが他のユーザのゲームプレイを体験するのを可能にする。例えば、ゲームプレイのゲーム世界の観客ビューが、ゲームセッションに対して生成された情報に基づいて、観客ビュー生成部751によって生成されてもよい。
例えば、POV810aは、第1の観客ビューに対応してよく、クレイトス830と敵820との戦闘の正面ビューとして示されてもよい。第1の観客ビューは、クレイトス830等のキャラクタのPOVに関連付けられてもよい。すなわち、第1の観客ビューは、クレイトス830のビューの視点から取得されてもよい。一実施形態においては、第1の観客ビューは、主なコンテンツとして、リモートユーザのHMDのディスプレイに投影されてもよい。第1の観客ビューは、ゲームアプリケーションをプレイしている複数のプロのゲーマーのゲームプレイを見せるeスポーツアリーナのビュー等、ライブイベントを開催している実世界の会場のライブビューと対照的であってもよい。HMDは、実世界会場のライブビュー、ハイブリッドビュー、もしくは、拡張現実ビュー、または、観客ビューの1つを表示するように選択可能であってもよい。
例えば、1つのボタンが、プレビューウィンドウのスクロールに使用でき、第2のボタンが特定のプレビューウィンドウの選択に使用できるコントローラ方法が実施されてもよい。プレビューウィンドウが選択されると、対応する観客ビューが、大きいウィンドウ920内に表示されてもよい。第3のボタンは、選択解除に使用されてもよく、第3のボタンを複数回、作動させて、大きいウィンドウのビューをPOV810aに対応するメインビューに戻してもよい。さらに他の実施態様は、クリック、または、物体(例えば、眼、手等)の動きを通じて移動及び/または選択されてもよいポインタを含む。
トリガイベントは、実世界の会場内のイベントであってもよい。例えば、実世界の会場内のメインディスプレイは、インタラクティブなゲーム世界のビューを示していてよく、放送アナウンサは、メインディスプレイに示されているゲームプレイの実況放送を行っている。観客ビューが(例えば、インタフェースを通じて、または、メインコンテンツとして)HMDに示されている時、ゲームプレイ間の切り替えがあると、HMDの表示は、聴衆及び放送者にとって矛盾がないように、実世界会場のビューに戻ってもよい。
観客ビューは、ゲーム世界の特定の位置から生成されているので、これらのPOV位置は、追跡されてもよい。従って、2つの異なる観客ビューに関連付けられた2つのアバタ1050及び1110が近接している時、通信ペアリングモジュール756は、交信を可能にするために、第1のリモートユーザと第2のリモートユーザとをペアにする通信チャネルを確立してもよい。例えば、バックエンドエンターテイメントサーバ250は、通信チャネルを確立するように構成されてもよい。このようにして、アバタ1110とアバタ1050が近接している(例えば、2人の人間が無理なく会話し得る距離の)時、通信チャネルは、確立され、自動的に有効にされる。実世界と同様に、2人の人の間の会話は、大掛かりな準備なく生じ得る。
従って、ビデオストリームの第1のサブセットを使用して、第1の座席からの会場の第1のビューを生成してよく、ビデオストリームの第2のサブセットを使用して、第2の座席から会場の第2のビューを生成してもよい。ビューは、実世界の会場のライブビュー、ハイブリッドビュー、及び/または、拡張現実ビューであってもよい。例えば、第1のビューに関して、ビューは、撮影されたビデオストリームの第1のサブセットからのビデオフレームをつなぎ合わせることによって生成されてもよい。
さらに、インタフェースは、リモートユーザによるインタラクションのためにリモートユーザのシステムに配信される。例えば、リモートユーザは、特定のプレビューウィンドウの観客ビューを選択してよく、この場合、メインウィンドウは、選択された観客ビューを表示してもよい。詳細には、方法は、インタフェースで第1のプレビューウィンドウの選択を受信することを含み、第1のプレビューウィンドウは、観客ビューまたは選択された観客ビューに関連付けられる。方法は、一実施態様においては、インタフェースのメインウィンドウに選択された観客ビューを提示することを含む。別の実施態様においては、選択された観客ビューは、前述のように、第1のリモートユーザのHMDに表示するために、メインコンテンツに拡大されてもよい。
このようにして、ゲーム世界の第1の観客ビューは、HMDを通じて見ている第1のリモートユーザにとって身近で個人的なものであり、ゲーム世界のアクションの遠くのビューを通した限定されたものではない。すなわち、アクションへのビューが近ければ近いほど、ゲーム世界を仮想で視聴している第1のリモートユーザにとって、より良くなる。さらに他の実施形態においては、第1の観客ビューは、マルチプレイヤゲームセッション(例えば、eスポーツイベント)を見せる実世界の会場のライブビューであってもよい。
例えば、方法は、第1のリモートユーザを表す第1のアバタと、第2のリモートユーザを表す第2のアバタとを含むインタラクティブなゲーム世界を含んでもよい。第2のリモートアバタは、ゲーム世界を観戦しており、第1のアバタに近接してもよい。例えば、第2のリモートユーザは、インタラクティブなゲーム世界の第2の観客ビューを受信し、第1のリモートユーザは、(例えば、第1の仮想POVで)ゲーム世界の第1の観客ビューを受信する。2つのアバタ同士が近接していると決定されると、第1のリモートユーザと第2のリモートユーザは、通信チャネルを2人のユーザ間に確立して、その通信チャネルを介して2人のユーザ間で交信できるように、ペアにされる。
例えば、2つのキャラクタの戦いに近い第1の位置は、戦場で行われている全ての接近戦から離れた位置(例えば、指揮官がいる見晴らしの良い位置)とは異なって聞こえる。従って、観客ビューに対して生成されている音声は、第1の仮想POVに対して(すなわち、ゲーム世界内の第1の仮想POVの位置に基づいて)ローカライズされる。すなわち、第1の仮想POVに対して、遠くの音は弱められ、ゲーム世界内の近くの音は増幅される。さらに、第1の観客ビューは、ローカライズされた音声と合致している。このようにして、第1の観客ビューを視聴している第1のリモートユーザは、仮想でゲーム世界に参加できる。
シングルプレイヤモードまたはマルチプレイヤモードにおいて、クラウドゲームプロバイダは、1人または複数のゲーマーからのゲーマー入力を処理して、実行しているゲームアプリケーションのゲーム状態(複数可)に影響を及ぼす。さらに、ゲームシステム1400は、シングルプレイヤモードまたはマルチプレイヤモード及び/またはゲームセッションを支援するオンラインまたはネットワークゲームを実施するように構成されてもよい。
例として、マルチプレイヤゲームセッションが、サッカーの試合に対して確立されてもよく、各サイド11人のプレイヤからなる2つのチームが、(例えば、トーナメントモードで)オンラインサッカーゲームをプレイするために署名した。1人のゲーマーが最初に一方のチームのゴールキーパとして開始する。そのゲーマーに関して、ゲームがプレイされていると、ボールがゴールキーパのゴールの方に来ない限り、アクションが持続しなくてもよい。ゲーマーは、ペナルティキックの状況では非常に忙しく、ゲーマーが、アクションの中心にいて、ホイッスルでボールを止めることに集中している。その瞬間、ゲーマーは、各HMDの内の主なビューを受信して、実際のゴールキーパの体験をシミュレーションする。完全に没入して、ゲーマーは、ペナルティキックが行われるとすぐに、ボールを止める反応をする。
このようにして、ゲーマーは、非常に没入型の現実に近い体験をして、プレイヤのビューでネットワークゲームをプレイする。他方、ゴールキーパとしてのゲーマーは、ゴールキーパが絶えずフィールドを走っているわけではないので、始終、集中してアクションに関与しなくてもよく、ゴールを囲む18ヤードのボックス内に主にいる。これも、ゴールキーパの没入型で現実に近い体験に一致する。
しかしながら、本発明の実施形態は、ゴールキーパをプレイしているゲーマーに、ゴールキーパが見ているものを超えたインタラクティブなゲーム世界(サッカーのピッチ)の1つまたは複数の観客ビュー等、1つまたは複数のビューを提供するように構成されてもよい。さらに、ゴールキーパをプレイしているゲーマーが、他のゲーマーと交代することを可能にしてもよい。すなわち、本発明の実施形態は、ゴールキーパをプレイしているゲーマーが他のゲーマーと交代して、(例えば、同じチームまたは反対チームの)センターフォワードになる等、ゲーマーに役割を切り替える追加の柔軟性を提供する。このようにして、マルチプレイヤゲームセッションをプレイしているプレイヤにより多くの興奮を与える。
ビデオサーバシステム1420は、ビデオストリームを最小限のサービス品質で1つまたは複数のクライアント1410に提供するように構成される。例えば、ビデオサーバシステム1420は、ビデオゲームの状態またはビデオゲーム内の視点を変えるゲームコマンドを受信してよく、この状態の変化を反映する更新されたビデオストリームを最小限の遅延時間でクライアント1410に提供してもよい。ビデオサーバシステム1420は、今後、規定されるフォーマットを含む、様々な他のビデオフォーマットでビデオストリームを提供するように構成されてもよい。さらに、ビデオストリームは、広範なフレームレートでユーザに提示すように構成されたビデオフレームを含み得る。典型的なフレームレートは、30フレーム毎秒、80フレーム毎秒、及び、820フレーム毎秒である。しかしながら、より高いまたは低いフレームレートが、開示された他の実施形態に含まれる。
エンコードされたビデオストリームを受信するプロセス及び/またはビデオストリームをデコードするプロセスは、典型的に、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアント1410に一体化されたディスプレイで、または、モニタまたはテレビ等の別個のデバイスで、ユーザに提示されてもよい。クライアント1410は、任意で、複数のゲームプレイヤを支援するように構成される。
例えば、ゲームコンソールは、2人、3人、4人、または、それを超える同時プレイヤを支援するように構成されてもよい。これらの同時プレイヤはそれぞれ、別個のビデオストリームを受信してもよい、または、1つのビデオストリームは、各プレイヤに向けて特に生成されたフレームの領域、例えば、各プレイヤの視点に基づいて生成されたフレームの領域を含んでもよい。クライアント1410は、任意で、地理的に分散している。
ゲームシステム1400に含まれるクライアントの数は、1もしくは2から、何千、何万、または、それより多くまで、広範囲にわたってもよい。本明細書で使用される場合、「ゲームプレイヤ」という用語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という用語は、ゲームのプレイに使用されるデバイスを指して使用される。ある実施形態においては、ゲームプレイデバイスは、協働してゲーム体験をユーザに伝える複数のコンピュータ装置を指してもよい。例えば、ゲームコンソール及びHMDは、ビデオサーバシステム1420と協働して、HMDを通じて視聴されるゲームを配信してもよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム1420からビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにHMDに転送する。
例えば、ある実施形態においては、ゲームコマンドは、ビデオサーバシステム1420を介してゲームサーバ1425に通信される。ある実施形態においては、ゲームコマンドの別個のコピーは、クライアント1410からゲームサーバ1425及びビデオサーバシステム1420に通信される。ゲームコマンドの通信は、任意で、コマンドのIDに依存する。ゲームコマンドは、任意で、音声またはビデオストリームをクライアント1410Aに提供するために使用されるのとは異なるルートまたは通信チャネルを通じてクライアント1410Aから通信される。
ビデオサーバシステム1420とゲームサーバ1425の間の通信は、任意で、ネットワーク1415を介して行われる。従って、ゲームサーバ1425は、ゲーム状態情報を複数のクライアントに送信する先行技術のマルチプレイヤゲームサーバであってもよく、クライアントの1つは、ゲームサーバシステム1420である。ビデオサーバシステム1420は、ゲームサーバ1425の複数のインスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム1420は、複数の異なるビデオゲームを異なるユーザに提供するように構成されてもよい。
これらの異なるビデオゲームは、それぞれ、異なるゲームサーバ1425によって支援されてもよく、及び/または、異なるエンティティによって発行されてもよい。ある実施形態においては、ビデオサーバシステム1420の幾つかの地理的に分散したインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成される。ビデオサーバシステム1420のこれらのインスタンスは、それぞれ、ゲームサーバ1425の同じインスタンスと通信してもよい。ビデオサーバシステム1420と1つまたは複数のゲームサーバ1425の間の通信は、任意で専用通信チャネルを介して生じる。例えば、ビデオサーバシステム1420は、これら2つのシステム間の通信専用の広帯域チャネルを介して、ゲームサーバ1425に接続されてもよい。
レンダリング論理は、未加工ビデオを生成し、未加工ビデオは、通常、クライアント1410に通信する前にエンコードされる。例えば、未加工ビデオは、Adobe Flash(登録商標)規格、.wav、H.264、H.263、On2、VP6、VC−1、WMA、Huffyuv、Lagarith、MPG−x.、Xvid.FFmpeg、x264、VP6−8、リアルビデオ、mp3等に従ってエンコードされてもよい。エンコードプロセスは、ビデオストリームを生成し、ビデオストリームは、任意で、リモートデバイスのデコーダに送るためにパッケージ化される。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。
典型的なフレームサイズは、800x600、1280x720(例えば、720p)、1024x768を含むが、任意の他のフレームサイズが使用されてもよい。フレームレートは、ビデオフレーム数毎秒である。ビデオストリームは、異なる種類のビデオフレームを含んでもよい。例えば、H.264規格は、「P」フレーム及び「I」フレームを含む。Iフレームは、表示装置上の全てのマクロブロック/画素をリフレッシュする情報を含み、Pフレームは、マクロブロック/画素のサブセットをリフレッシュする情報を含む。Pフレームは、典型的に、Iフレームよりデータサイズが小さい。本明細書で使用する場合、「フレームサイズ」という用語は、フレーム内の画素の数を指す。「フレームデータサイズ」という用語は、フレームの記憶に必要なバイト数を指して使用される。
Claims (20)
- ライブイベントへの参加を可能にする方法であって、
ゲームアプリケーションの実行を通じて、複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立し、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは、前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
1つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで、前記実世界の会場の三次元ライブビューを生成し、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第1のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングし、前記第1のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記ヘッドマウントディスプレイを通じて前記第1のリモートユーザに、前記スクリーンを含む前記ライブイベントの拡張現実ビューを提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第1の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第1の観客ビューを見るための要求を、前記第1のリモートユーザから前記サーバで受信し、
前記第1の仮想物理的視点に関連付けられた前記第1の観客ビューを前記サーバが生成し、前記第1の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第1の観客ビューを配信し、前記第1の観客ビューは、前記第1のリモートユーザに前記ヘッドマウントディスプレイを通じて前記インタラクティブなゲーム世界の仮想現実ビューをリアルタイムで提示するものである、
方法。 - 更に、前記第1の観客ビューを終了する要求を前記第1のリモートユーザから前記サーバで受信し、
前記サーバから前記ネットワークを介して前記第1のリモートユーザの前記ヘッドマウントディスプレイに前記三次元ライブビューの配信を開始する、
請求項1に記載の方法。 - 更に、前記第1の観客ビューの配信を行う前に、前記三次元ライブビューの配信を停止する、
請求項1に記載の方法。 - 更に、前記第1の観客ビューを含む、前記インタラクティブなゲーム世界の複数の観客ビューを生成し、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成し、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために、前記ネットワークを介して前記インタフェースを配信し、
前記第1のリモートユーザの前記ヘッドマウントディスプレイへの前記第1の観客ビューの配信をトリガするために、前記第1の観客ビューに対応する第1のプレビューウィンドウの選択を前記第1のリモートユーザから前記サーバで受信する、
請求項1に記載の方法。 - 更に、前記三次元ライブビュー内に前記インタフェースを挿入し、
前記インタフェースにメインウィンドウを生成し、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの1つの選択を受信し、
前記対応する観客ビューを前記メインウィンドウに提示する、
請求項4に記載の方法。 - 更に、前記第1の観客ビューは、前記第1のリモートユーザを表す第1のアバタに関連付けられ、前記第1のアバタは、前記インタラクティブなゲーム世界の前記第1の仮想物理的視点に対応する前記仮想位置におり、
前記インタラクティブなゲーム世界で観戦している第2のリモートユーザを表す第2のアバタが前記第1のアバタに近接していると決定し、前記第2のリモートユーザは、前記インタラクティブなゲーム世界の第2の観客ビューを受信するものであり、
交信を可能にするように通信チャネルを介して前記第1のリモートユーザと前記第2のリモートユーザとをペアにする、
請求項1に記載の方法。 - 更に、前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第1の観客ビューの物体のスケールを合わせる、
請求項1に記載の方法。 - ライブイベントへの参加を可能にするコンピュータプログラムを記憶するコンピュータ可読媒体であって、
ゲームアプリケーションの実行を通じて複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立するプログラム命令が記録され、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは、前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
1つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで前記実世界の会場の三次元ライブビューを生成するプログラム命令が記録され、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第1のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングするプログラム命令が記録され、前記第1のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記スクリーンを含む前記ライブイベントの拡張現実ビューを、前記ヘッドマウントディスプレイを通じて前記第1のリモートユーザに提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第1の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第1の観客ビューを見るための要求を、前記第1のリモートユーザから前記サーバで受信するプログラム命令が記録され、
前記第1の仮想物理的視点に関連付けられた前記第1の観客ビューを前記サーバが生成するプログラム命令が記録され、前記第1の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第1の観客ビューを配信するプログラム命令が記録され、前記第1の観客ビューは、前記インタラクティブなゲーム世界の仮想現実ビューを、前記ヘッドマウントディスプレイを通じて前記第1のリモートユーザにリアルタイムで提示するものである、
コンピュータ可読媒体。 - 更に、前記第1の観客ビューを終了する要求を前記第1のリモートユーザから前記サーバで受信するプログラム命令と、
前記サーバから前記第1のリモートユーザの前記ヘッドマウントディスプレイに前記ネットワークを介した前記三次元ライブビューの配信を開始するプログラム命令と、が記録された、
請求項8に記載のコンピュータ可読媒体。 - 前記第1の観客ビューの配信を行う前に、前記ライブビューの配信を停止するプログラム命令が更に記録された、
請求項8に記載のコンピュータ可読媒体。 - 更に、前記第1の観客ビューを含む、前記インタラクティブなゲーム世界の複数の観客ビューを生成するプログラム命令が記録され、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成するプログラム命令が記録され、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記インタフェースを配信するプログラム命令が記録され、
前記第1のリモートユーザの前記ヘッドマウントディスプレイへの前記第1の観客ビューの配信をトリガするために、前記第1の観客ビューに対応する第1のプレビューウィンドウの選択を前記第1のリモートユーザから前記サーバで受信するプログラム命令が記録された、
請求項8に記載のコンピュータ可読媒体。 - 前記三次元ライブビュー内に前記インタフェースを挿入するプログラム命令と、
前記インタフェースにメインウィンドウを生成するプログラム命令と、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの1つの選択を受信するプログラム命令と、
前記対応する観客ビューを前記メインウィンドウに提示するプログラム命令と、が更に記録された、
請求項11に記載のコンピュータ可読媒体。 - 前記第1の観客ビューは、前記第1のリモートユーザを表す第1のアバタに関連付けられ、前記第1のアバタは、前記インタラクティブなゲーム世界の前記第1の仮想物理的視点に対応する前記仮想位置に置かれ、
更に、前記インタラクティブなゲーム世界で観戦している第2のリモートユーザを表す第2のアバタが前記第1のアバタに近接していることを決定するプログラム命令が記録され、前記第2のリモートユーザは、前記インタラクティブなゲーム世界の第2の観客ビューを受信するものであり、
交信を可能にするために通信チャネルを介して前記第1のリモートユーザと前記第2のリモートユーザとをペアにするプログラム命令が記録された、
請求項8に記載のコンピュータ可読媒体。 - 前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第1の観客ビューの物体のスケールを合わせるプログラム命令が更に記録された、
請求項8に記載のコンピュータ可読媒体。 - プロセッサと、
前記プロセッサに結合され、命令を記憶したメモリと、を有するコンピュータシステムであって、前記命令は、前記コンピュータシステムによって実行されると、前記コンピュータシステムに、ライブイベントへの参加を可能にする方法を実行させるものであり、前記方法は、
ゲームアプリケーションの実行を通じて、複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立し、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
1つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで前記実世界の会場の三次元ライブビューを生成し、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第1のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングし、前記第1のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記ヘッドマウントディスプレイを通じて前記第1のリモートユーザに、前記スクリーンを含む前記ライブイベントの拡張現実ビューを提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第1の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第1の観客ビューを見るための要求を、前記第1のリモートユーザから前記サーバで受信し、
前記第1の仮想物理的視点に関連付けられた前記第1の観客ビューを前記サーバで生成し、前記第1の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第1の観客ビューを配信し、前記第1の観客ビューは、前記インタラクティブなゲーム世界の仮想現実ビューを、前記ヘッドマウントディスプレイを通じて前記第1のリモートユーザにリアルタイムで提示するものである、
コンピュータシステム。 - 前記方法は、更に、
前記第1の観客ビューを終了する要求を前記第1のリモートユーザから前記サーバで受信し、
前記サーバから前記ネットワークを介して前記第1のリモートユーザの前記ヘッドマウントディスプレイへの前記三次元ライブビューの配信を開始する、
請求項15に記載のコンピュータシステム。 - 前記方法は、更に、
前記第1の観客ビューを含む前記インタラクティブなゲーム世界の複数の観客ビューを生成し、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成し、
前記第1のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記インタフェースを配信し、
前記第1のリモートユーザの前記ヘッドマウントディスプレイへの前記第1の観客ビューの配信をトリガするために、前記第1の観客ビューに対応する第1のプレビューウィンドウの選択を前記第1のリモートユーザから前記サーバで受信する、
請求項15に記載のコンピュータシステム。 - 前記方法は、更に、
前記三次元ライブビュー内に前記インタフェースを挿入し、
前記インタフェースにメインウィンドウを生成し、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの1つの選択を受信し、
前記対応する観客ビューを前記メインウィンドウに提示する、
請求項17に記載のコンピュータシステム。 - 前記方法は、更に、
前記第1の観客ビューは、前記第1のリモートユーザを表す第1のアバタに関連付けられ、前記第1のアバタは、前記インタラクティブなゲーム世界の前記第1の仮想物理的視点に対応する前記仮想位置に置かれ、
前記インタラクティブなゲーム世界で観戦している第2のリモートユーザを表す第2のアバタが前記第1のアバタに近接していると決定し、前記第2のリモートユーザは、前記インタラクティブなゲーム世界の第2の観客ビューを受信するものであり、
交信を可能にするために通信チャネルを介して前記第1のリモートユーザと前記第2のリモートユーザとをペアにする、
請求項17に記載のコンピュータシステム。 - 前記方法は、更に、前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第1の観客ビューの物体のスケールを合わせる、
請求項17に記載のコンピュータシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762566203P | 2017-09-29 | 2017-09-29 | |
US62/566,203 | 2017-09-29 | ||
US15/727,137 US10341537B2 (en) | 2017-09-29 | 2017-10-06 | Spectator view into an interactive gaming world showcased in a live event held in a real-world venue |
US15/727,137 | 2017-10-06 | ||
PCT/US2018/047606 WO2019067112A1 (en) | 2017-09-29 | 2018-08-22 | SPECTATOR VIEW IN AN INTERACTIVE GAMING WORLD PRESENTED IN A LIVE EVENT LOCATED IN A PLACE OF THE REAL WORLD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020534952A JP2020534952A (ja) | 2020-12-03 |
JP6976424B2 true JP6976424B2 (ja) | 2021-12-08 |
Family
ID=65896977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517884A Active JP6976424B2 (ja) | 2017-09-29 | 2018-08-22 | 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー |
Country Status (5)
Country | Link |
---|---|
US (3) | US10341537B2 (ja) |
EP (2) | EP3687643B1 (ja) |
JP (1) | JP6976424B2 (ja) |
CN (1) | CN111201069B (ja) |
WO (1) | WO2019067112A1 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11181990B2 (en) * | 2016-03-18 | 2021-11-23 | Sony Interactive Entertainment Inc. | Spectator view tracking of virtual reality (VR) user in VR environments |
WO2018147329A1 (ja) * | 2017-02-10 | 2018-08-16 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
US11113887B2 (en) * | 2018-01-08 | 2021-09-07 | Verizon Patent And Licensing Inc | Generating three-dimensional content from two-dimensional images |
WO2019237085A1 (en) | 2018-06-08 | 2019-12-12 | Vulcan Inc. | Session-based information exchange |
JP6707111B2 (ja) * | 2018-07-25 | 2020-06-10 | 株式会社バーチャルキャスト | 3次元コンテンツ配信システム、3次元コンテンツ配信方法、コンピュータプログラム |
US11058950B2 (en) * | 2019-03-15 | 2021-07-13 | Sony Interactive Entertainment Inc. | Methods and systems for spectating characters in virtual reality views |
US10554596B1 (en) * | 2019-03-28 | 2020-02-04 | Wormhole Labs, Inc. | Context linked messaging system |
WO2020213098A1 (ja) * | 2019-04-17 | 2020-10-22 | マクセル株式会社 | 映像表示装置及びその表示制御方法 |
CN110366046A (zh) * | 2019-07-25 | 2019-10-22 | 天脉聚源(杭州)传媒科技有限公司 | 一种虚拟观众席区域拼图方法、***、装置和存储介质 |
GB2586148A (en) * | 2019-08-07 | 2021-02-10 | Sony Interactive Entertainment Inc | Content generation system and method |
JP7383028B2 (ja) * | 2019-08-20 | 2023-11-17 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像表示方法 |
US11557093B1 (en) * | 2019-09-10 | 2023-01-17 | Meta Platforms Technologies, Llc | Using social connections to define graphical representations of users in an artificial reality setting |
US11166050B2 (en) | 2019-12-11 | 2021-11-02 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event |
US10705597B1 (en) | 2019-12-17 | 2020-07-07 | Liteboxer Technologies, Inc. | Interactive exercise and training system and method |
CN113141501A (zh) * | 2020-01-20 | 2021-07-20 | 北京芯海视界三维科技有限公司 | 实现3d显示的方法、装置及3d显示*** |
US11344816B2 (en) | 2020-03-20 | 2022-05-31 | Amazon Technologies, Inc. | Video game waiting queue and audience interaction |
US11331587B2 (en) * | 2020-03-20 | 2022-05-17 | Amazon Technologies, Inc. | Video game player, spectator and audience interaction |
US11219831B2 (en) | 2020-03-20 | 2022-01-11 | Amazon Technologies, Inc. | Live camera video character representations |
WO2021200494A1 (ja) * | 2020-03-30 | 2021-10-07 | ソニーグループ株式会社 | 仮想空間における視点変更方法 |
US11395049B2 (en) * | 2020-03-31 | 2022-07-19 | Northwest Instrument Inc. | Method and device for content recording and streaming |
US11812084B2 (en) | 2020-03-31 | 2023-11-07 | Northwest Instrument Inc. | Method and device for content recording and streaming |
US11700353B2 (en) * | 2020-04-06 | 2023-07-11 | Eingot Llc | Integration of remote audio into a performance venue |
WO2021220866A1 (ja) * | 2020-05-01 | 2021-11-04 | ソニーグループ株式会社 | サーバ装置、端末装置、情報処理システム及び情報処理方法 |
US11196944B2 (en) * | 2020-05-06 | 2021-12-07 | At&T Intellectual Property I, L.P. | System for infinite windows with optical disparity and depth resolution |
CN111447460B (zh) * | 2020-05-15 | 2022-02-18 | 杭州当虹科技股份有限公司 | 一种将低延时网络应用于导播台的实现方法 |
JP2021182696A (ja) * | 2020-05-19 | 2021-11-25 | 憲保 池田 | 双方向放送方法及びシステム |
US20210377616A1 (en) * | 2020-05-26 | 2021-12-02 | Michael Behagen | System and method for shared viewing of live tv and online content |
CN111672105A (zh) * | 2020-05-28 | 2020-09-18 | 腾讯科技(深圳)有限公司 | 基于虚拟环境的视野数据包发送方法、装置、设备及介质 |
CN111773658B (zh) * | 2020-07-03 | 2024-02-23 | 珠海金山数字网络科技有限公司 | 一种基于计算机视觉库的游戏交互方法及装置 |
US20230269435A1 (en) * | 2020-07-17 | 2023-08-24 | Harman International Industries, Incorporated | System and method for the creation and management of virtually enabled studio |
WO2022016147A1 (en) * | 2020-07-17 | 2022-01-20 | Harman International Industries, Incorporated | System and method for remotely creating an audio/video mix and master of live audio and video |
US11070849B2 (en) * | 2020-08-17 | 2021-07-20 | Zoltan Bathory | Event production and distribution networks, systems, apparatuses, and methods related thereto |
US11438551B2 (en) * | 2020-09-15 | 2022-09-06 | At&T Intellectual Property I, L.P. | Virtual audience using low bitrate avatars and laughter detection |
US11606364B2 (en) | 2020-09-15 | 2023-03-14 | Meta Platforms Technologies, Llc | Artificial reality collaborative working environments |
CN113674520A (zh) * | 2020-09-23 | 2021-11-19 | 许鲁辉 | 一种新型赛车竞技*** |
KR102495213B1 (ko) * | 2020-11-05 | 2023-02-07 | 한국전자통신연구원 | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 |
CN114501040B (zh) * | 2020-11-13 | 2024-01-30 | 腾讯科技(深圳)有限公司 | 直播视频流的获取方法、装置、设备及存储介质 |
JP7129463B2 (ja) * | 2020-12-21 | 2022-09-01 | グリー株式会社 | コンピュータプログラム、方法、及び、サーバ装置 |
US11854230B2 (en) | 2020-12-01 | 2023-12-26 | Meta Platforms Technologies, Llc | Physical keyboard tracking |
US20220176259A1 (en) * | 2020-12-04 | 2022-06-09 | Betsy Bowers | Virtual Scent |
WO2022124233A1 (ja) * | 2020-12-07 | 2022-06-16 | グリー株式会社 | コンピュータプログラム、方法、及び、サーバ |
JP2022134182A (ja) * | 2021-03-03 | 2022-09-15 | ヤマハ株式会社 | 映像出力方法、映像出力装置および映像出力システム |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
DE112022001916T5 (de) * | 2021-03-31 | 2024-01-25 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
US20220321944A1 (en) * | 2021-04-02 | 2022-10-06 | Comcast Cable Communications, Llc | Augmenting Content Items |
WO2022264536A1 (ja) * | 2021-06-15 | 2022-12-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び情報処理システム |
CN113440840B (zh) * | 2021-07-14 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种互动方法和相关装置 |
US11734893B2 (en) * | 2021-08-17 | 2023-08-22 | Sony Interactive Entertainment LLC | Curating virtual tours |
US11645841B2 (en) * | 2021-08-30 | 2023-05-09 | At&T Intellectual Property I, L.P. | Augmented reality event switching |
US11831814B2 (en) * | 2021-09-03 | 2023-11-28 | Meta Platforms Technologies, Llc | Parallel video call and artificial reality spaces |
JP7081860B1 (ja) | 2021-09-22 | 2022-06-07 | シンメトリー・ディメンションズ・インク | 3次元モデル生成システム、3次元モデル生成サーバ、位置情報ゲームサーバ、および3次元モデル生成方法 |
US11921970B1 (en) | 2021-10-11 | 2024-03-05 | Meta Platforms Technologies, Llc | Coordinating virtual interactions with a mini-map |
US11954404B2 (en) * | 2022-06-10 | 2024-04-09 | Qualcomm Incorporated | Verbal communication in a virtual world |
US11890548B1 (en) | 2022-07-21 | 2024-02-06 | Sony Interactive Entertainment LLC | Crowd-sourced esports stream production |
EP4354877A1 (en) * | 2022-10-12 | 2024-04-17 | Holo-Light GmbH | Multi-viewer xr streaming method and xr streaming system |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001264723A1 (en) * | 2000-05-18 | 2001-11-26 | Imove Inc. | Multiple camera video system which displays selected images |
US7491123B2 (en) * | 2004-07-29 | 2009-02-17 | Nintendo Co., Ltd. | Video game voice chat with amplitude-based virtual ranging |
US7794315B2 (en) * | 2005-09-09 | 2010-09-14 | Microsoft Corporation | Role play system |
US7844724B2 (en) * | 2007-10-24 | 2010-11-30 | Social Communications Company | Automated real-time data stream switching in a shared virtual area communication environment |
GB0804274D0 (en) * | 2008-03-07 | 2008-04-16 | Virtually Live Ltd | A media sysyem and method |
WO2010019632A1 (en) * | 2008-08-11 | 2010-02-18 | Haven Holdings Llc | Interactive entertainment and competition system |
US20110225516A1 (en) | 2010-03-10 | 2011-09-15 | Oddmobb, Inc. | Instantiating browser media into a virtual social venue |
US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US9268406B2 (en) | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
US9403090B2 (en) | 2012-04-26 | 2016-08-02 | Riot Games, Inc. | Video game system with spectator mode hud |
CA2897539C (en) * | 2013-04-04 | 2016-05-17 | James S. RAND | Unified communications system and method |
US10137361B2 (en) * | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
US9452354B2 (en) * | 2013-06-07 | 2016-09-27 | Sony Interactive Entertainment Inc. | Sharing three-dimensional gameplay |
US9229235B2 (en) * | 2013-12-01 | 2016-01-05 | Apx Labs, Inc. | Systems and methods for unlocking a wearable device |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
CN204121731U (zh) * | 2014-09-03 | 2015-01-28 | 珠海杨氏网络动画设计有限公司 | 一种具有多种体感效果的游戏机 |
US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
WO2016138178A1 (en) * | 2015-02-25 | 2016-09-01 | Brian Mullins | Visual gestures for a head mounted device |
AU2016240390B2 (en) | 2015-04-02 | 2019-07-11 | Catapult Group International Ltd | Sports virtual reality system |
US10062208B2 (en) * | 2015-04-09 | 2018-08-28 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
US11071919B2 (en) * | 2015-06-30 | 2021-07-27 | Amazon Technologies, Inc. | Joining games from a spectating system |
JP6098691B1 (ja) * | 2015-10-16 | 2017-03-22 | 株式会社セガゲームス | 映像生成システム、制御装置および加工装置 |
US10471355B2 (en) * | 2015-10-21 | 2019-11-12 | Sharp Kabushiki Kaisha | Display system, method of controlling display system, image generation control program, and computer-readable storage medium |
US9573062B1 (en) * | 2015-12-06 | 2017-02-21 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
US9782678B2 (en) * | 2015-12-06 | 2017-10-10 | Sliver VR Technologies, Inc. | Methods and systems for computer video game streaming, highlight, and replay |
US10559117B2 (en) * | 2016-02-08 | 2020-02-11 | Google Llc | Interactions and scaling in virtual reality |
US10412438B2 (en) * | 2016-03-14 | 2019-09-10 | The Directv Group, Inc. | Method and system for viewing sports content within a virtual reality environment |
US11163358B2 (en) | 2016-03-17 | 2021-11-02 | Sony Interactive Entertainment Inc. | Spectating virtual (VR) environments associated with VR user interactivity |
US10112111B2 (en) | 2016-03-18 | 2018-10-30 | Sony Interactive Entertainment Inc. | Spectator view perspectives in VR environments |
US9597567B1 (en) | 2016-05-02 | 2017-03-21 | Bao Tran | Smart sport device |
GB2555378B (en) | 2016-10-18 | 2021-06-09 | Virtually Live Switzerland Gmbh | HMD delivery system and method |
BR112019011452A2 (pt) * | 2016-12-09 | 2019-10-15 | Unity IPR ApS | criar, transmitir e visualizar conteúdo 3d |
CN106873767B (zh) * | 2016-12-30 | 2020-06-23 | 深圳超多维科技有限公司 | 一种虚拟现实应用的运行控制方法和装置 |
-
2017
- 2017-10-06 US US15/727,137 patent/US10341537B2/en active Active
-
2018
- 2018-08-22 EP EP18765278.9A patent/EP3687643B1/en active Active
- 2018-08-22 WO PCT/US2018/047606 patent/WO2019067112A1/en unknown
- 2018-08-22 CN CN201880063838.1A patent/CN111201069B/zh active Active
- 2018-08-22 JP JP2020517884A patent/JP6976424B2/ja active Active
- 2018-08-22 EP EP22184701.5A patent/EP4098335A1/en active Pending
-
2019
- 2019-07-02 US US16/460,946 patent/US11206339B2/en active Active
-
2021
- 2021-12-20 US US17/556,872 patent/US11722629B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11722629B2 (en) | 2023-08-08 |
US10341537B2 (en) | 2019-07-02 |
EP3687643A1 (en) | 2020-08-05 |
CN111201069B (zh) | 2023-09-05 |
WO2019067112A1 (en) | 2019-04-04 |
US20190104235A1 (en) | 2019-04-04 |
US11206339B2 (en) | 2021-12-21 |
US20220191348A1 (en) | 2022-06-16 |
CN111201069A (zh) | 2020-05-26 |
EP4098335A1 (en) | 2022-12-07 |
JP2020534952A (ja) | 2020-12-03 |
EP3687643B1 (en) | 2022-10-05 |
US20190327392A1 (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6976424B2 (ja) | 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー | |
US11179635B2 (en) | Sound localization in an augmented reality view of a live event held in a real-world venue | |
US11662813B2 (en) | Spectating virtual (VR) environments associated with VR user interactivity | |
US11436803B2 (en) | Insertion of VR spectator in live video of a live event | |
US10857455B2 (en) | Spectator management at view locations in virtual reality environments | |
CN109069933B (zh) | 在vr环境中的观众视角 | |
JP7057756B2 (ja) | 仮想現実(vr)環境におけるvrユーザの観客ビュー追跡 | |
JP6770178B2 (ja) | Hmdユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法 | |
JP6929380B2 (ja) | Vr環境への第2の画面の仮想ウィンドウ | |
US10380798B2 (en) | Projectile object rendering for a virtual reality spectator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200511 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200511 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6976424 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |