RU2639118C2 - Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы - Google Patents

Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы Download PDF

Info

Publication number
RU2639118C2
RU2639118C2 RU2015156217A RU2015156217A RU2639118C2 RU 2639118 C2 RU2639118 C2 RU 2639118C2 RU 2015156217 A RU2015156217 A RU 2015156217A RU 2015156217 A RU2015156217 A RU 2015156217A RU 2639118 C2 RU2639118 C2 RU 2639118C2
Authority
RU
Russia
Prior art keywords
game
user
hmd
head
data
Prior art date
Application number
RU2015156217A
Other languages
English (en)
Other versions
RU2015156217A (ru
Inventor
Дэвид ПЕРРИ
Original Assignee
Сони Компьютер Энтертейнмент Америка Ллк
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Компьютер Энтертейнмент Америка Ллк filed Critical Сони Компьютер Энтертейнмент Америка Ллк
Publication of RU2015156217A publication Critical patent/RU2015156217A/ru
Application granted granted Critical
Publication of RU2639118C2 publication Critical patent/RU2639118C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/71—Game security or game management aspects using secure communication between game devices and game servers, e.g. by encrypting game data or authenticating players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/401—Secure communication, e.g. using encryption or authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/532—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing using secure communication, e.g. by encryption, authentication
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Предложены системы и способы для использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемом на голове дисплее. Для ведения игры через игровую облачную систему используется устанавливаемый на голове дисплей. Устанавливаемый на голове дисплей включает в себя схему связи для приема данных реальной среды, связанных с игровой программой, по сети. Данные реальной среды обрабатываются с помощью игровой облачной системы и передаются потоком напрямую из схемы связи в игровую облачную систему. Устанавливаемый на голове дисплей, кроме того, содержит схему обработки данных игры, связанную со схемой связи. Схему обработки данных игры используют для декодирования машинно-генерируемой интерактивной среды, полученных из игровой облачной системы по сети. Схема обработки данных игры приводит в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на данные реальной среды. Машинно-генерируемая интерактивная среда создается на основе реальной среды. 3 н. и 15 з.п. ф-лы, 19 ил.

Description

Область техники
Настоящее изобретение относится к способам и системам для использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.
Уровень техники
Для ведения игры в дополненной виртуальной реальности, главным образом, используют приставку для видеоигр. Например, для ведения игры в дополненной виртуальной реальности пользователь обычно приобретает контроллер и приставку. Приставка может быть связана с сетью Интернет. Приставку подключают к питанию, и пользователь управляет контроллером для ведения игры через приставку и Интернет. Однако число транзитных участков, например, число сетевых устройств и т.п., через которые проходят данные игры в дополненной виртуальной реальности для облегчения ведения игры, может замедлить ход игры. Например, пользователь может быть вынужден ждать игры на определенных этапах игры в дополненной виртуальной реальности.
Именно в данном контексте описаны все возникающие в настоящем изобретении варианты осуществления.
Сущность изобретения
Варианты осуществления, описанные в настоящем изобретении, создают системы и способы использования сокращенных транзитных участков, чтобы создавать сцену дополненной виртуальной реальности в устанавливаемой на голове системе.
Вообще говоря, в ряде вариантов осуществления системы и способы обеспечивают ведение игры в дополненной виртуальной реальности, в которой данные среды, передаются потоком к устанавливаемому на голове дисплею из сети, минуя маршрутизатор между устанавливаемым на голове дисплеем и сетью. Неиспользование маршрутизатора уменьшает число транзитных участков между устанавливаемым на голове дисплеем и игровым облаком, которое исполняет игровую программу, чтобы обеспечить пользователю возможность ведения игры в дополненной виртуальной реальности.
В некоторых вариантах осуществления для ведения игры через игровую облачную систему используется устанавливаемый на голове дисплей. Устанавливаемый на голове дисплей включает в себя схему связи для передачи реальной среды, связанной с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую от схемы связи к игровой облачной системе. Устанавливаемый на голове дисплей, кроме того содержит схему обработки данных игры, связанную со схемой связи. Схему обработки данных игры используют для декодирования машинно-генерируемой интерактивной среды, полученных из игровой облачной системы по сети. Схема обработки данных игры приводит в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.
В некоторых вариантах осуществления описан способ ведения игры через игровую облачную систему. Способ включает в себя передачу реальной среды, связанной, с игровой программой, по сети. Реальная среда обрабатывается с помощью игровой облачной системы и передается потоком напрямую в игровую облачную систему. Способ включает в себя декодирование машинно-генерируемой интерактивной среды, полученных от игрового облака через сеть. Способ включает в себя приведение в действие части интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.
В различных вариантах осуществления описан энергонезависимый машиночитаемый носитель для хранения на нем машиноисполняемых команд для ведения игры через игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины, передают реальную среду, связанную с игровой программой, по сети. Реальную среду обрабатывают с помощью игровой облачной системы и передают потоком напрямую в игровую облачную систему. Машиноисполняемые команды, при выполнении процессором вычислительной машины декодируют машинно-генерируемую интерактивную среду, принятую из игрового облака через сеть. Машиноисполняемые команды при выполнении процессором вычислительной машины приводят в действие часть интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду. Машинно-генерируемая интерактивная среда создается на основе реальной среды.
Другие описанные аспекты будут вполне очевидны из следующего подробного описания, в сочетании с прилагаемыми чертежами, иллюстрирующими, в качестве примера, принципы вариантов осуществления, описанных в настоящем документе.
Краткое описание чертежей
Различные варианты осуществления, описанные в настоящем изобретении, могут быть лучше понятны со ссылкой на следующее описание вместе с прилагаемыми чертежами, на которых:
На фиг. 1А приведена схема системы для использования числа сокращенных транзитных участков между игровым облаком и устанавливаемым на голове дисплеем (head mounted display, HMD) или ручным контроллером (hand-held controller, HHC) для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 1В приведена схема системы для передачи данных между HMD или ННС и игровым облаком по сети и маршрутизатору для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 1С приведена схема системы для использования приставки для передачи данных среды, и для использования или не использования маршрутизатора для передачи входных данных и/или данных среды, и/или данных реальной окружающей среды для создания сцены дополненной виртуальной реальности в HMD в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 2 приведена схема системы для иллюстрирования создания входных данных на основании движения головы и/или движений рукой пользователя, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 3 приведена схема HMD, которая является примером HMD по фиг. 1А, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 4А приведена схема изображения, которое отображается на экране дисплея HMD по фиг. 3 для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 4В приведена схема изображения, которое отображается на экране дисплея вычислительной машины для доступа к беспроводной сети, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 5А приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где периферийная область экрана дисплея HMD имеет низкое разрешение, а центральная область имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 5В приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где верхняя область и нижняя область экрана дисплея HMD имеет низкое разрешение, а область между верхней и нижней областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 5С приведена схема изображения игры, которое отображается на экране дисплея HMD по фиг. 3, где правая область и левая область экрана дисплея HMD имеет низкое разрешение, а область между правой и левой областями имеет высокое разрешение, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 6 приведена схема, иллюстрирующая различные типы ННС, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 7А приведена схема варианта осуществления HMD, которая является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 7В приведен вид в изометрии варианта осуществления HMD, который является примером HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 8А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 8В приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Move™ в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 9А приведена схема, иллюстрирующая использование HMD по фиг. 7В с контроллером Dualshock по фиг. 8А для ведения игры в сцене дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 9В приведена схема, иллюстрирующая сцену дополненной виртуальной реальности по фиг. 9А в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг 10 приведена структурная схема приставки, которая совместима для взаимодействия с ННС и HMD по фиг. 3, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
На фиг. 11 приведена структурная схема, иллюстрирующая вариант осуществления игровой системы, в соответствии с одним вариантом осуществления, описанным в настоящем документе.
Осуществление изобретения
Описаны системы и способы для использования сокращенных транзитных участков, чтобы создавать дополненную виртуальную реальность в устанавливаемой на голове системе. Например, сетевое устройство, например, маршрутизатор, повторитель, концентратор, вычислительная машина, приставка, и т.п., добавляет транзитный участок в данные, передаваемые через сетевое устройство. Одно или больше сетевых устройств может быть расположено между устанавливаемым на голове дисплеем (head mounted display, HMD) и сетью и/или между ручным контроллером (hand-held controller, ННС) и сетью. Транзитный участок может быть добавлен в результате приема данных сетевым устройством от другого устройства, буферизации данных сетевым устройством, анализа данных, и пересылки Данных к другому устройству сетевым устройством. Системы и способы сокращают число сетевых устройств между HMD и сетью и/или между ННС и сетью. Сокращение числа сетевых устройств уменьшает задержку, например, время запаздывания, время буферизации данных, время приема данных, время анализа данных, время пересылки данных и т.п. При уменьшении задержки HMD и/или НМС используют для отображения насыщенных графических данных, которые приняты из игрового облака по сети с минимальной задержкой. Для создания сцены дополненной виртуальной реальности используется насыщенная графика. Следует заметить, что различные варианты осуществления, описанные в настоящем документе, могут быть осуществлены без некоторых или всех указанных конкретных деталей. В других примерах хорошо известные операции обработки не описаны подробно, чтобы излишне не загромождать различные варианты осуществления, описанные в настоящем документе.
В некоторых вариантах осуществления система включает в себя вычислительную машину, ННС и HMD. В различных вариантах осуществления вычислительную машину может быть. вычислительной машиной специального назначения, игровой приставкой, мобильным телефоном, планшетом, или любым другим устройством, которое выполняет одну или больше частей интерактивной игровой программы, которая воспроизводится на дисплее. В данных вариантах осуществления любые оставшиеся части интерактивной игровой программы выполняются в игровой облачной системе, например, на одной или больше виртуальных машин (virtual machines, VM). В некоторых вариантах осуществления игровая облачная система включает в себя ряд серверов, которые выполняют игровую программу, чтобы создавать игровую среду на игровом устройстве, например, HMD, экране вычислительной машины, телевизионном экране, и т.п. Например, гипервизор выполняется в верхней части физических ресурсов, например, процессоров, устройств памяти, серверов, и т.п., для выполнения ряда операционных систем и ряда машинных программ для создания данных, которые в дальнейшем используются для создания игровой среды на HMD. Примеры игровых приставок включают те, которые изготавливает Sony Computer Entertainment™, Inc. и другие производители. Интерактивная игровая программа может быть многопользовательской игровой программой, которую использует множество пользователей, или игровой программой для одного пользователя, которую использует пользователь с помощью вычислительной машины.
В нескольких вариантах осуществления все части интерактивной игровой программы выполняются в игровой облачной системе или на вычислительной машине.
HMD представляет собой устройство, надеваемое на голову пользователя, или часть шлема, который имеет малое оптическое устройство дисплея, например, линзу, стекло, и т.п., перед одним или каждым глазом пользователя. В некоторых вариантах осуществления одна сцена, например, виртуальная сцена, сцена дополненной виртуальной реальности и т.п. отображаются на экране дисплея HMD, даже хотя два оптических устройства используются для двух глаз. Оба глаза наблюдают одну сцену.
В некоторых вариантах осуществления HMD обладает возможностью приема- и воспроизведения видеовыхода от вычислительной машины. В различных вариантах осуществления ННС и/или HMD поддерживает беспроводную связь с вычислительной машиной, поскольку это обеспечивает большую свободу перемещения ННС и/или HMD, чем проводное соединение.
ННС может включать в себя какие-либо из разнообразных функций, такие как, например, кнопки, джойстик, навигационная клавиша, пусковой механизм, сенсорная панель, жесты рукой, сенсорный экран или другие типы механизмов ввода, и т.п., для создания входного сигнала для интерактивных игровых программ. Одним из примеров ННС является контроллер Sony Dualshock 4, изготавливаемый Sony Computer Entertainment™, Inc. Другие примеры ННС включают в себя контроллеры, изготавливаемые другими предприятиями и имеющие какое-либо число моделей и любой номер версии.
Кроме того, ННС может быть контроллером движения, который дает возможность пользователю взаимодействия и обеспечивает входной сигнал для интерактивной игровой программы путем перемещения контроллера движения. Одним из примеров контроллера движения является контроллер PlayStation Move™, изготавливаемый Sony Computer Entertainment™, Inc.
Аналогично, HMD может включать в себя схему пользовательского ввода, дающую пользователю возможность взаимодействия и обеспечивающую входной сигнал для интерактивной игровой программы за счет движения HMD. Для определения положения и перемещения контроллера движения и/или HMD могут быть использованы различные методы. Например, контроллер движения и/или схема пользовательского ввода может включать в себя различные типы схем инерционных датчиков, таких как акселерометры, гироскопы и магнитометры. В некоторых вариантах осуществления акселерометр представляет собой 6-осный акселерометр с низкой задержкой. В некоторых вариантах осуществления контроллер движения и/или HMD может включать в себя один или больше неподвижных опорных объектов, например, светоизлучающие диоды (light emitting diodes, LED), окрашенные точки, отражатели света, маркеры, отражающий в обратном направлении материал, заранее заданную форму, заранее заданный цвет, заранее заданный объект, штрих-код, метки, быстродействующий (quick response, QR) код, и т.п., и изображения неподвижных опорных объектов захватываются одной или большим количеством цифровых камер. В некоторых вариантах осуществления цифровая камера включает в себя видеокамеру, которая дополнительно содержит один прибор с зарядовой связью (Charge Coupled Device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и кодирования данных в режиме реального времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG). Положение и перемещение контроллера движения и/или HMD затем можно определять путем анализа изображений, захваченных одной или большим количеством цифровых камер.
На фиг. 1А приведена схема варианта осуществления системы 100 для использования сокращенных транзитных участков между игровым облаком 102 и HMD 104 или ННС 106 для создания сцены дополненной виртуальной реальности в HMD 104. В некоторых вариантах осуществления игровое облако 102 здесь называют игровой облачной системой. В некоторых вариантах осуществления пользователь 108 располагает HMD 104 на своей голове таким образом, чтобы линзы HMD 104 располагались перед глазами таким же образом, как пользователь 108 надевал бы шлем. В некоторых вариантах осуществления HMD 104 надевают, как очки, например, корректирующие очки, защитные очки и т.п. В некоторых вариантах осуществления HMD 104 покрывает оба глаза пользователя 108. ННС 106 пользователь 106 удерживает руками.
В некоторых вариантах осуществления вместо ННС 106, пользователь 106 использует руки для выполнения жестов, например, жестов рукой, жестов пальцем и т.п. для HMD 104. Например, цифровая камера в HMD 104 захватывает изображения жестов, и процессор в HMD 104 анализирует жесты для определения того, зависит ли игра, отображаемая в HMD 104, от жестов.
Используемый здесь процессор может быть микропроцессором, программируемым логическим устройством (programmable logic device, PLD), специализированной интегральной микросхемой (application specific integrated circuit, ASIC), или их сочетанием.
Система 100 включает в себя сеть 110, которая может быть локальной сетью (local area network, LAN), глобальной сетью (wide area network, WAN), или их сочетанием. Примеры сети 110 включают в себя Интернет, Интранет или их сочетание. В некоторых вариантах осуществления сеть 110 использует протокол управления передачей (transmission control protocol, ТСР)/протокол Internet Protocol (IP) или протокол пользовательских дейтаграмм (user datagram protocol/IP, UDP/IP) для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. В различных вариантах осуществления сеть 110 использует протокол Ethernet, протокол TCP/IP, или оба протокола, для передачи данных среды, по сети 110 между игровым облаком 102 и HMD 104 или ННС 106. Игровое облако 102 включает в себя кодирующее/декодирующее устройство (кодек) 112 и потоковый буфер 114. Потоковый буфер 114 сохраняет поток данных 116 среды, который создается после выполнения игровой программы 117. Игровая программа 117 представляет собой пример интерактивной игровой программы и выполняется на одном или больше серверов игрового облака 102.
Данные 116 среды, включают в себя данные о виртуальной среде, данные виртуального игрового объекта, их сочетание и т.п. В ряде вариантов осуществления данные о виртуальной среде воспроизводятся для создания виртуальной среды игры, а данные виртуального игрового объекта воспроизводятся для создания одного или больше виртуальных игровых объектов, например, виртуальных игровых персонажей, виртуальных точек, виртуальных призов, игрового интерфейса и т.п.
В ряде вариантов осуществления виртуальная среда игры включает в себя виртуальный игровой объект. Примеры виртуальной среды включают в себя виртуальную географическую область, например, виртуальный город, виртуальную дорогу, виртуальное озеро, виртуальный океан и т.п.
Пример кодека 112 включает в себя компрессионное/декомпрессионное устройство. Например, кодек 112 кодирует/декодирует данные 116 среды. Примеры сжатия включают в себя сжатие с потерей данных, сжатие без потери данных, и т.п.
В некоторых вариантах осуществления кодек 112 выполняет пакетирование и депакетирование, и выполняет кодирование и декодирование данных. В данных вариантах осуществления кодек 112 включает в себя потоковый буфер 114.
Пользователь 108 использует HMD 104 для доступа к операционной системе (operating system, OS), которая выполняется на обрабатывающем устройстве HMD 104. Например, пользователь 108 включает посредством кнопки HMD 104, и процессор HMD 104 выполняет OS.
В некоторых вариантах осуществления OS позволяет HMD 104 получать доступ к сети 110. Например, когда пользователь 108 выбирает приложение сетевого доступа, например, значок сетевого доступа, символ сетевого доступа, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение сетевого доступа представляет список сетей на микроконтроллере HMD 104 для показа пользователю 108. Пользователь 108 использует схему пользовательского ввода для выбора одной из сетей для доступа к сети 110. Например, пользователь 108 выполняет одно или больше движения головы, например, наклон головы, подмигивание, пристальное вглядывание, широко раскрытый взгляд, кивание, встряхивание, и т.п., которое обнаруживается схемой пользовательского ввода, для создания входного сигнала, чтобы выбрать одну из сетей. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора одной из сетей, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106. Примеры схемы связи включают в себя приемопередатчик, схему передачи/приема, контроллер сетевого интерфейса, или их сочетание и т.п. Приложение сетевого доступа также требует пароля, например, ключа с секретом, секретного кода и т.п., от пользователя 108 для доступа к сети 110. После подтверждения того, что пароль действителен, приложение сетевого доступа позволяет доступ к сети 110 пользователю 108.
После выполнения доступа к сети 110, OS позволяет HMD 104 доступ к игровой программе 117. Например, когда пользователь 108 выбирает приложение доступа к игре, например, значок доступа к игре, символ доступа к игре, и т.п., которое выполняется процессором HMD 104 в верхней части OS, приложение доступа к игре требует доступа к игровой программе 117 по сети 110. Например, пользователь 108 выполняет одно или больше движения головы, которое обнаруживается схемой пользовательского ввода, чтобы создавать входной сигнал для выбора приложения доступа к игре. В другом примере пользователь 108 выбирает кнопку на ННС 106 для выбора приложения доступа к игре, и выбор передается от ННС 106 к HMD 104 с помощью схемы связи ННС 106.
После получения доступа к игровой программе 117 по сети 110, микроконтроллер HMD 104 отображает игру на экране дисплея HMD 104. В некоторых вариантах осуществления экран дисплея HMD 104 представляет собой быстродействующий экран для уменьшения размытости, когда HMD 104 перемещается быстро. Пользователь 108 выполняет одно или больше движения головы, и каждое движение головой запускает схему пользовательского ввода для создания входного сигнала, который может быть использован для ведения игры. В некоторых вариантах осуществления пользователь 108 выполняет выбор одной или больше кнопок ННС 106, используя руку, и каждое действие руки, например, нажатие пальцем, движение пальцем, вращение пальцем, сдвигание вверх пальцем, сдвигание вниз пальцем, сдвигание вправо пальцем, сдвигание влево пальцем, и т.п., запускает ННС 106, чтобы создавать входной сигнал, который может быть использован для ведения игры.
В некоторых вариантах осуществления приложение доступа к игре требует имени пользователя и/или пароля от пользователя 108 для доступа к игровой программе 117. После получения подтверждения от игрового облака 102, что имя пользователя и/или пароль действительны, приложение доступа к игре позволяет доступ к игровой программе 117 пользователю 108. В некоторых вариантах осуществления пользователь 108 предоставляет имя пользователя и/или пароль, выполняя одно или больше движений рукой и/или выполняя одно или больше движения головы.
В некоторых вариантах осуществления вместо доступа к приложению доступа к игре пользователь 108 запрашивает доступ к веб-странице после доступа к сети 110, и веб-страница Позволяет пользователю 108 доступ к игровой программе 117. Например, пользователь 108 выбирает приложение веб-браузера через схему пользовательского ввода, выполняя одно или больше движения головы, или через ННС 106, выполняя одно или больше Движений рукой для доступа к веб-странице. После доступа к веб-странице пользователь 108 ведет игру, отображаемую на веб-странице. Игра отображается, когда игровая программа 117 выполняется в игровом облаке 102.
В некоторых вариантах осуществления имя пользователя и/или пароль пользователя 108 подтверждается перед доступом к веб-странице для ведения игры, которая отображается, когда игровая программа 117 выполняется в игровом облаке 102. Имя пользователя и/или пароль подтверждаются в режиме, аналогичном описанному выше, когда пользователь 108 получает доступ к игре с помощью приложения доступа к игре.
Когда получен доступ к игровой программе 117, кодек 112 кодирует, например, сжимает и т.д. поток цифровых данных для данных 116 среды, для оправки потока закодированных данных среды, в HMD 104 по сети 110. В некоторых вариантах осуществления поток цифровых данных закодированных данных среды, находится, в виде пакетов для отправки по сети 110. HMD 104 принимает поток цифровых данных зазакодированных данных среды, по сети 110 от кодека 112, и поток цифровых данных обрабатывается, например, декодируется, депакетируется, и т.д., и воспроизводится для отображения игры на экране дисплея HMD 104.
Когда игра отображается на экране дисплея HMD 104, наружная видеокамера HMD 104 захватывает одно или больше изображений реальной окружающей среды, окружающей пользователя 108. Примеры реальной окружающей среды включают в себя помещение, в котором находится пользователь 108, географический район, в котором находится пользователь 108, реальные объекты вокруг пользователя 108 и т.п. Примеры географического района включают в себя парк, дорогу; улицу, озеро, город, ориентир, и т.п. Примеры реальных объектов включают в себя автобусную остановку, кофейную, магазин, игральную карту, колоду карт, участок, бутылку, телефон, мобильный телефон, штрих-код на игральной карте, офис, транспортное средство, помещение, пульт управления, рабочий стол, стул и т.п. Данные реальной окружающей среды, которые представляют собой данные одного или больше изображений реальной окружающей среды, пакетируются и кодируются посредством HMD 104 и отправляются в виде потока закодированных данных окружающей среды по сети 110 в кодек 112. Например, когда данные реальной окружающей среды не отправляют через маршрутизатор, их отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. В некоторых вариантах осуществления данные реальной окружающей среды включают в себя аудиоданные, видеоданные или их сочетание. В различных вариантах осуществления данные реальной окружающей среды в настоящем документе называют реальной средой.
В некоторых вариантах осуществления вместо или в дополнение к внешней видеокамере HMD 104, для захвата изображений реальной среды используют цифровую камеру, являющуюся мобильной. Например, для захвата изображений реальной окружающей среды, окружающей пользователя 108, и включающей его, видеокамера связана с роботизированным устройством. Примеры роботизированного устройства включают в себя мультикоптер, роботизированную руку, робот, роботизированное транспортное средство, роботизированный автомобиль, квадрокоптер и т.п. Например, цифровая камера прикреплена относительно, например, под, над, сбоку и т.д., роботизированного устройства для захвата изображений реального окружения HMD 104, пользователя 108 и/или ННС 106.
После приема потока закодированных данных реальной окружающей среды кодек 112 декодирует закодированные данные реальной окружающей среды, и один или больше серверов игрового облака 102 депакетируют поток. В некоторых вариантах осуществления поток закодированных данных реальной окружающей среды, полученных от HMD 104, вначале депакетируется, а затем декодируется игровым облаком 102.
На основании декодированных данных реальной окружающей среды игровая программа 117 создает дополнительные данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока дополнительных данных среды. Например, игровая программа 117 создает виртуального игрового персонажа, отображаемого спереди на изображении реального рабочего стола. В качестве другого примера игровая программа 117 создает виртуальный экран дисплея, подлежащий отображению на изображении реального офиса пользователя 108.
В некоторых вариантах осуществления виртуальный игровой объект, который создается, основан на реальных связях между реальными объектами. Например, в реальном мире реальную машину ведут по реальной дороге. В данном примере виртуальный автомобиль создается, когда изображение реальной дороги принимается игровой программой 117. В качестве другого примера реальный телефон или реальная вычислительная машина установлены на реальном пульте управления в реальном офисе. В данном примере виртуальный телефон или виртуальный экран дисплея установлен на изображении реального рабочего стола, расположенного в реальном офисе. Дополнительные данные среды, включают в себя данные виртуального игрового объекта и/или данные виртуальной окружающей среды. Примеры виртуального игрового объекта и данных виртуальной окружающей среды включают в себя данные машинно-генерируемого объекта, данные объекта, созданные одним или больше серверов игрового облака 102 и т.п.
В некоторых вариантах осуществления дополнительные данные среды, включают в себя данные виртуального игрового объекта, которые созданы одним или больше серверами игрового облака 102, и включают в себя данные реальной окружающей среды, которые получены по сети 110 от HMD 104.
Поток дополнительных данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются для создания потока закодированных дополнительных данных среды. HMD 104 принимает поток закодированных дополнительных данных среды, депакетирует поток и декодирует закодированные дополнительные данные среды, чтобы передавать дополнительные данные среды к микроконтроллеру HMD 104.
Микроконтроллер HMD 104 изменяет отображение игры, которое выполняется игровой программой 117, на основе дополнительных данных среды. Например, микроконтроллер HMD 104 воспроизводит данные виртуального игрового объекта для создания одного или больше изображений виртуального игрового объекта, и виртуальный игровой объект накладывается с помощью микроконтроллера на одно или больше изображений реальной окружающей среды, захваченных наружной видеокамерой HMD 104. В качестве другого примера аватар или виртуальный игровой персонаж накладывается поверх штрихкода игральной карты.
В качестве иллюстрации виртуального игрового объекта, наложенного на одно или больше изображений реальной среды, изменяется вид, например, цвет, форма, текстура и т.п., стола в реальной окружающей среде. В качестве другой иллюстрации все реальные объекты в реальном помещении, кроме некоторых реальных объектов, удаляются.
Во время ведения игры, например, перед наложением виртуального игрового объекта или после его наложения на одно или больше изображений реальной окружающей среды один или больше входных сигналов принимаются от HMD 104 и/или ННС 106. Например, пользователь 108 выполняет одно или больше движения головы после надевания HMD 104. Одно или больше движения головы выполняют, чтобы управлять, например, изменять местоположение, изменять позу, изменять вид, изменять движение и т.п. виртуального игрового объекта или наложения виртуальной окружающей среды на одно или больше изображений реальной окружающей среды. В качестве другого примера, пользователь 108 выполняет одно или больше движений рукой, например, нажимает кнопку, перемещает джойстик, жест рукой, жест пальцем, их сочетание, и т.п. для управления виртуальным игровым объектом или наложением виртуальной среды на одно или больше изображений реальной среды, и, когда выполнено одно или больше движений рукой, ННС 106 создает входные данные, которые преобразуются во входные сигналы с помощью схемы связи ННС 106 для отправки в схему связи HMD 104. В ряде вариантов осуществления пользователь 108 выполняет движение головой и/или движение рукой, чтобы изменять местоположение и/или ориентацию виртуального объекта, наложенного на одно или больше изображений реальной окружающей среды. Входные сигналы преобразуются из аналоговой формы в цифровую форму с помощью схемы связи HMD 104 для создания входных данных, и входные данные пакетируются и кодируются с помощью HMD 104 и отправляются по сети 110 к кодеку 112.
В некоторых вариантах осуществления игровая программа 117 устанавливает соответствие входных данных, созданных на основе одного или больше движения головы с входными данными, созданными на основе одного или больше движений рукой для определения того, изменилось ли состояние игры, которое отображается на HMD 104. Например, когда входной сигнал, указывающий наклон головы, принят по сети 110 с входным сигналом, указывающим нажатие кнопки на ННС 106, игровая программа 117 определяет изменение состояния игры. В противном случае игровая программа 117 определяет отсутствие изменения состояния игры.
Входные данные входных сигналов, созданные на основе одного или больше движения головы и/или одного или больше движений рукой, пакетируются и кодируются с помощью HMD 104, и отправляются в виде потока закодированных входных данных по сети 110 к кодеку 112. Например, когда входные данные не отправляют через маршрутизатор, входные данные отправляют напрямую из HMD 104 по сети 110 в игровое облако 102. Маршрутизатор может быть расположен между HMD 104 и сетью 110, чтобы направлять, например, направлять, отправлять и т.п., к адресуемому устройству, и т.п., данные между HMD 104 и сетью 110.
Кодек 112 декодирует, например, разворачивает, и т.д., поток закодированных входных данных, полученных по сети 110 от HMD 104, и декодированные входные данные буферизируются в потоковом буфере 114 для депакетирования и отправки в игровую программу 117. Одно или больше игровых облаков 102 депакетирует поток декодированных входных данных и отправляет входные данные в игровую программу 117. В некоторых вариантах осуществления игровое облако 102 вначале выполняет депакетирование, а затем выполняет декодирование.
На основании входных данных игровая программа 117 создает следующие данные среды, которые пакетируются одним или больше серверов игрового облака 102 для создания потока следующих данных среды. Поток следующих данных среды, сохраняется в потоковом буфере 114, кодируется кодеком 112, и отправляется в виде потока закодированных дополнительных данных среды, по сети 110 в HMD 104. В некоторых вариантах осуществления дополнительные данные среды, вначале кодируются, а затем пакетируются перед отправкой дополнительных данных среды, по сети 110 в HMD 104. HMD 104 принимает поток закодированных следующих данных среды, депакетирует поток и декодирует закодированные следующие данные среды, чтобы передавать следующие данные среды, к микроконтроллеру HMD 104.
В некоторых вариантах осуществления игровая среда включает в себя данные 116 среды или дополнительные данные среды, или следующие данные среды, или их сочетание.
Микроконтроллер HMD 104 изменяет отображение игры, которая выполняется игровой программой 117, на основе следующих данных среды. Например, микроконтроллер изменяет вид, положение и/или ориентацию виртуального игрового объекта, который накладывается на одно или больше изображений реальной окружающей среды. В качестве другого примера, когда пользователь 108 кивает, аватар пользователя 108 также кивает в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В еще одном примере, когда пользователь 108 качает головой в знак отрицания, аватар пользователя 108 также качает головой в знак отрицания в виртуальном мире игры, который создается путем выполнения игровой программы 117. В данном примере аватар наложен на одно или больше изображений реальной окружающей среды. В другом примере, когда пользователь 108 смотрит на виртуальный игровой персонаж, отображаемый на экране дисплея HMD 104, виртуальный игровой персонаж оглядывается на пользователя 108. Когда пользователь 108 отводит взгляд от виртуального игрового персонажа, виртуальный игровой персонаж отводит взгляд от пользователя 108. В данном примере аватар наложен на одно или больше изображений реальной среды. Кроме того, в данном примере, наружная видеокамера HMD 104 захватывает изображение глаз или расположение головы пользователя 108. На основе взгляда глаз или положения головы игровая программа 117 изменяет положение глаз виртуального игрового персонажа.
Следует заметить, что входные данные входных сигналов, создаваемых на основе одного или больше движения головы и/или одного или больше движений рукой, изменяют состояние игры. В некоторых вариантах осуществления отображение игры упоминается в настоящем документе как часть интерактивности, связанная с игровой программой 117.
В различных вариантах осуществления, вместо передачи входных данных, которые созданы на основе одного или больше движений рукой, от ННС 106 к HMD 104, входные данные передаются напрямую от ННС 106 по сети 110 к кодеку 112. Например, входные данные передаются Напрямую от ННС 106 по сети 110 к кодеку 112, когда входные данные не передаются через маршрутизатор (не показано) между ННС 106 и сетью 110. Входные данные, которые создаются на основе одного или больше движений рукой, из HMD 104 передаются с помощью ННС 106 способом, аналогичным тому, которым входные данные передаются с помощью HMD 104. Например, входные данные, которые созданы на основе одного или больше движений рукой, из HMD 104, кодируются и пакетируются с помощью ННС 106, и отправляются в виде потока закодированных входных данных по сети 110 к кодеку 112.
Следует заметить, что отсутствие маршрутизатора (не показано) между HMD 104 и сетью 110 уменьшает число транзитных участков между сетью 110 и HMD 104. В вариантах осуществления, в которых маршрутизатор отсутствует, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., передаются потоком напрямую к карте беспроводного доступа (wireless access card, WAC) HMD 104 с помощью кодека 112 игрового облака 102 по сети 110. Кроме того, в данных вариантах осуществления данные, например, входные данные, данные реальной окружающей среды и т.п., передаются потоком напрямую посредством WAC HMD 104 к кодеку 112 игрового облака 102 по сети 110. Сокращение числа транзитных участков экономит время, связанное с маршрутизатором. Например, маршрутизатор принимает данные от другого сетевого устройства, буферизирует данные, анализирует данные и пересылает данные к другому сетевому устройству. Время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между HMD 104 и игровым облаком 102 по сети 110, минуя маршрутизатор. Кроме того, время приема данных, буферизации данных, анализа данных и пересылки данных экономится, если данные передаются между ННС 106 и игровым облаком 102 по сети 110, минуя маршрутизатор.
Аналогично, когда между HMD 104 или ННС 104 и сетью 110 не используется вычислительная машина, например, приставка, мобильное устройство и т.п., время, связанное с приемом, сохранением, анализом и пересылкой данных, экономится.
На фиг. 1В приведена схема варианта осуществления системы 150 для передачи данных между HMD 104 или ННС 106 и игровым облаком 102 по сети 110 и маршрутизатору 152. Система 150 похожа на систему 100 (фиг. 1А), за исключением того, что система 150 содержит маршрутизатор 152 между HMD 104 и сетью 110. Маршрутизатор 152 также расположен между ННС 106 и сетью 110.
HMD 104 связан с маршрутизатором 152 посредством беспроводного подключения, например, соединения Bluetooth, соединения Wi-Fi, и т.п. Кроме того, ННС 106 связано с маршрутизатором 152 посредством беспроводного соединения, например соединения Bluetooth, подключения Wi-Fi и т.п. В некоторых вариантах осуществления маршрутизатор 152 связан с сетью 110 посредством проводного соединения.
Система 150 работает аналогично системе 100 (фиг. 1А), за исключением того, что поток закодированных данных отправляется от HMD 104 или ННС 106 к маршрутизатору 152. Маршрутизатор. 152 направляет, например, направляет и т.п., поток закодированных данных в канал в сети 110 для облегчения отправки потока к кодеку 112. Маршрутизатор 152 использует IP-адрес и/или адрес уровня доступа к среде (media access layer, МАС-адрес) кодека 112, чтобы направлять поток закодированных данных к кодеку 112. В некоторых вариантах осуществления маршрутизатор 152 определяет сетевой канал сети 110 на основании одного или больше показателей сетевого трафика, например, пакетного трафика в сетевом канале, затора в сетевом канале, и т.п.
Маршрутизатор 152 принимает поток закодированных данных из игрового облака 102 по сети 110 и направляет поток закодированных данных к HMD 104. Например, маршрутизатор 152 направляет поток закодированных данных, принятых из игрового облака 102 по сети 110, к HMD 104 на основе IP-адреса и/или МАС-адреса HMD 104.
На фиг. 1С приведена схема варианта осуществления системы 170 для использования вычислительной машины 172 для передачи данных среды, и для использования маршрутизатора 152 для передачи входных данных и/или данных среды и/или данных реальной окружающей среды.
В некоторых вариантах осуществления вместо HMD 104, на экране дисплея представляется список беспроводных сетей, которые подключены к вычислительной машине 172 или установлены на вычислительной машине 172. Например, когда вычислительная машина 172 представляет собой мобильный телефон, вычислительная машина 172 включает в себя экран дисплея для отображения списка беспроводных сетей. В другом примере, когда вычислительная машина 172 подключена к экрану телевизионного дисплея, список беспроводных сетей отображается на экране дисплея. В данных вариантах осуществления список беспроводных сетей доступен, когда процессор 176 вычислительной машины 172 выполняет приложение с беспроводным доступом, сохраняемое в запоминающем устройстве вычислительной машины 172. Процессор 176 выполняет приложение с беспроводным доступом, когда пользователь 108 получает доступ к приложению с беспроводным доступом через HMD 104 или ННС 106, путем выполнения одного или больше движения головы и/или одного или больше движений рукой. Входные данные, созданные на основе одного или больше движения головы и/или одного или больше движений рукой, отправляются из схемы связи HMD 104 или ННС 106 к вычислительной машине 172. Когда процессор 176 вычислительной машины 172 принимает входные данные, приложение с беспроводным доступом выполняется для создания списка беспроводных сетей.
Вычислительная машина 172 включает в себя контроллер 174 сетевого интерфейса (network interface controller, NIC), который запрашивает часть игровой программы 117 у игрового облака 102. Примеры NIC включают в себя сетевую интерфейсную плату и сетевой адаптер. Часть игровой программы 117 кодируется кодеком 112 и передается потоком по сети 110 к NIC 174 вычислительной машины 172. Процессор 176 вычислительной машины 172 выполняет часть игровой программы 117 для создания данных среды, которые отправляются из схемы связи 178, например, приемопередатчика, схемы приема/передачи, контроллера сетевого интерфейса, и т.п., в HMD 104 для отображения на экране дисплея HMD 104. Схема связи HMD 104 принимает данные среды, от вычислительной машины 172 и оправляет данные среды, к микроконтроллеру HMD 104 для отображения на экране дисплея HMD 104.
Кроме того, схема 178 связи вычислительной машины 172 принимает данные реальной окружающей среды от схемы связи HMD 104. В ответ на данные реальной окружающей среды процессор 176 выполняет часть игровой программы 117, которая хранится на вычислительной машине 172, чтобы создавать дополнительные данные среды, которые отправляются из схемы 178 связи в схему связи HMD 104.
Перед приемом дополнительных данных среды, или после него входные данные от HMD 104 и/или ННС 106, которые созданы на основе одного или больше движения головы и/или одного или больше движений рукой, и отправляются схемой связи HMD 104 к процессору 176 с помощью схемы 178 связи. В ответ на входные данные процессор 176 выполняет часть игровой программы 117, которая хранится на вычислительной машине 172, чтобы создавать следующие данные среды, которые отправляются из схемы 178 связи в схему связи HMD 104. Следующие данные среды, отправляют в схему связи HMD 104 для изменения виртуальных игровых объектов и/или виртуальной среды игры, отображаемой при выполнении игровой программы 117. Когда игровые объекты, например, реальные игровые объекты, виртуальные игровые объекты и т.п. и/или вреда, например, реальная окружающая среда, виртуальная окружающая Среда и т.п. изменяет игровое состояние игры, отображаемое при выполнении изменений игровой программы 117.
В некоторых вариантах осуществления состояние игры отправляется с помощью NIC 174 вычислительной машины 172 через маршрутизатор 152 и сеть 110 в игровое облако 102, чтобы информировать один или больше серверов игрового облака 102 о состоянии игры.
В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., отправляются из кодека 112 по сети 110 и маршрутизатору 152 к HMD 104, пока часть игровой программы 117 не будет- загружена в вычислительную машину 172 из игрового облака 102. Например, вначале пользователь 108 использует приложение доступа к игре для доступа к игровой программе 117. Во время доступа к части игровой программы 117, данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п. отправляются из кодека 112 по сети 110 и маршрутизатору 152 в HMD 104 для отображения на экране дисплея HMD 104. Во время доступа к данным среды, из игрового облака 102 для отображения на HMD 104, NIC 174 вычислительной машины 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.
В некоторых вариантах осуществления, когда часть игровой программы 117 доступна с помощью приставки 172, данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., направляются из кодека 112 через сеть 110 к HMD 104 для отображения на экране дисплея HMD 104. В данных вариантах осуществления маршрутизатор 152 обходят для сокращения числа транзитных участков. Во время доступа к данным среды, например, данным 116 среды, дополнительным данным среды, следующим данным среды, и т.п., из игрового облака 102 для отображения на HMD 104, после обхода маршрутизатора 152, NIC 174 вычислительной машины 172 загружает часть игровой программы 117 из игрового облака 102 через сеть 110 и маршрутизатор 152.
В ряде вариантов осуществления часть входных данных, созданных на основе одного или больше движения головы и/или одного или больше движений рукой, и/или часть данных реальной окружающей среды отправляется из HMD 104 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных и/или остальная часть данных реальной окружающей среды отправляется из схемы связи HMD 104 в схему 178 связи вычислительной машины 172.
В различных вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи вычислительной машины 172.
В некоторых вариантах осуществления часть входных данных, созданных на основе одного или больше движения головы и/или одного или больше движений рукой, и/или часть данных реальной окружающей среды отправляется из HMD 104 через сеть 110 к кодеку 112 игрового облака 102, и остальная часть входных данных и/или остальная часть данных реальной окружающей среды отправляется из схемы связи HMD 104 в схему 178 связи вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходится.
В некоторых вариантах осуществления часть входных данных, созданных на основе одного или больше движений рукой, отправляется из схемы связи ННС 106 через сеть 110 к кодеку 112 игрового облака 102, а остальная часть входных данных отправляется из схемы связи ННС 106 в схему 178 связи вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходится.
В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных среды, чтобы отображать игру на экране дисплея HMD 104, и данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172, отправляются из схемы 178 связи вычислительной машины 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления игровое облако 102 и вычислительная машина 172 имеют синхронизированные состояния игры. Например, кодек 112 отправляет состояние игры, созданное путем выполнения игровой программы 117, через сеть 110 и маршрутизатор 152 к NIC 174 вычислительной машины 172, чтобы информировать вычислительную машину 172 о состоянии игры. В другом варианте осуществления NIC 174 вычислительной машины 172 отправляет состояние игры, созданное путем выполнения части игровой программы 117 на вычислительной машине 172, через маршрутизатор 152 и сеть 110 к кодеку 112 игрового облака 102, чтобы информировать один или больше серверов игрового облака о состоянии игры.
В различных вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных среды, чтобы отображать игру на экране дисплея HMD 104, и данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172, отправляются из схемы 178 связи вычислительной машины 172 в HMD 104 для отображения игры на экране дисплея. В данных вариантах осуществления маршрутизатор 152 обходится, когда данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., отправляются из кодека 112 в HMD 104. В данных вариантах осуществления игровое облако 102 и вычислительная машина 172 имеют синхронизированные состояния игры, как описано выше.
В некоторых вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 и маршрутизатор 152 к HMD 104 для воспроизведения данных среды, на экране дисплея HMD 104, имеют больший объем графики, чем данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172.
В некоторых вариантах осуществления данные среды, например, данные 116 среды, дополнительные данные среды, следующие данные среды, и т.п., которые созданы путем выполнения игровой программы 117, и которые отправляются из кодека 112 игрового облака 102 через сеть 110 к HMD 104 для воспроизведения данных среды, на экране дисплея HMD 104, имеют больший объем графики, чем данные среды, созданные путем выполнения части игровой программы 117 с помощью процессора 176 вычислительной машины 172. В данных вариантах осуществления маршрутизатор 152 обходят, когда данные среды, отправляют из кодека 112 игрового облака 102 через сеть 110 к HMD 104.
В различных вариантах осуществления HMD 104 (фиг. 1А-1С, 2) используют для отображения двумерного или трехмерного изображения.
На фиг. 2 приведена схема варианта осуществления системы 200 для иллюстрации создания входных данных на основе одного или больше движения головы и/или одного или больше движений рукой. Пользователь 108 надевает HMD 202 и удерживает ННС 204. HMD 202 представляет собой пример HMD 104 (фиг. 1А-1С), и ННС 204 представляет собой пример ННС 106 (фиг. 1А-1С).
HMD 202 включает в себя один или больше маркеров, например, маркер M1, маркер М2, и маркер М3, и т.п. Аналогично, ННС 204 включает в себя один или больше маркеров, например, маркер М4, маркер М5, и маркер М6 , и т.п. Каждый маркер может быть светоизлучающим диодом, источником света, цветом, отражающим материалом и т.п.
Видеокамера 206 захватывает изображение HMD 202. Когда голова пользователя 108 наклоняется или движется, положение и местонахождение маркеров М1-М3 изменяется в системе координат xyz. Видеокамера 206 захватывает изображение маркеров М1-М3 и отправляет изображение в вычислительную машину 172. Изображение маркеров М1-М3 представляет собой пример входных данных. Положение HMD 202 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 (фиг. 1С) вычислительной машины 172 на основе положений маркеров М1-М3 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, и качание, и т.п., HMD 202 определяется с помощью процессора 176 (фиг. 1С) вычислительной машины 172 на основании перемещения маркеров М1-М3.
В различных вариантах осуществления видеокамера 206 является мобильной. Например, видеокамера 206 прикреплена к роботизированному устройству, например, мультикоптеру, роботизированной руке, роботу, роботизированному транспортному средству, роботизированному автомобилю, квадрокоптеру и т.п. Например, видеокамера 206 прикреплена относительно, например, под, над, сбоку и т.д., роботизированного устройства для захвата изображений пользователя 108 и/или HMD 202 и/или ННС 204. HMD 202 движется при движении головы пользователя 108. В некоторых вариантах осуществления вместо видеокамеры 206 используют цифровую камеру.
В некоторых вариантах осуществления видеокамера 206 захватывает изображение ННС 204. Когда рука пользователя 108 движется, положение и местонахождение маркеров М4-М6 изменяется в системе координат. Видеокамера 206 захватывает изображение маркеров М4-М6 и отправляет изображение в вычислительную машину 172. Изображение маркеров М4-М6 представляет собой пример входных данных. Положение ННС 204 в трехмерном пространстве (X, Y, Z) может быть определено с помощью процессора 176 вычислительной машины 172 на основе положений маркеров М4-М6 в изображении. Кроме того, движение по инерции, например, отклонение, наклон, и качание, и т.п., ННС 204 определяется с помощью процессора 176 вычислительной машины 172 на основании перемещения маркеров М4-М6.
В некоторых вариантах осуществления вместо ННС 204, рука пользователя 108 помечена маркерами М4-М6.
На фиг. 3 приведена схема варианта осуществления HMD 250, который является примером HMD 104 (фиг. 1А-1С). HMD 250 включает в себя видео-аудиоразделитель 254, видеодекодер 255, WAC 258, потоковый буфер 259, один или больше динамиков 260, схему 262 пользовательского ввода, экран 266 дисплея, микроконтроллер 268, аудиобуфер 272, наружную видеокамеру 274, аудиокодек 276, внутреннюю цифровую камеру 278, видеобуфер 280, видео- аудиосинхронизирующее устройство 282, микрофон 284 и схему 287 связи контроллера/вычислительной машины. Наружная видеокамера 274 обращена к реальной среде пользователя 108, а внутренняя цифровая камера 278 обращена к пользователю 108, например, глазам, голове и т.д. пользователя 108.
В ряде вариантов осуществления динамики 260 представляют собой звуковую схему. В различных вариантах осуществления аудиокодек 276, аудиобуфер 272 и/или динамики 260 представляют собой звуковую схему. В некоторых вариантах осуществления комбинация видеодекодера 255 и микроконтроллера 268 называется в настоящем документе схемой обработки данных игры. В различных вариантах осуществления микроконтроллер 268 представляет собой схему дисплея. Примеры экрана дисплея включают в себя экран на светодиодах, жидкокристаллический (liquid crystal display, LCD) экран, жидкие кристаллы на экране из кристаллического кремния, органический (organic LED, OLED) экран, плазменный экран и т.п. Пример наружной цифровой камеры 274 включает в себя Playstation Eye®, изготавливаемую Sony Computer Entertainment, Inc.
Микроконтроллер 268 сохраняет программу 286 воспроизведения и операционную систему 288. Программа 286 воспроизведения и операционная система 288 сохраняются в запоминающем устройстве микроконтроллера 286 и выполняются микропроцессором микроконтроллера 268. Пример микроконтроллера 268 включает в себя недорогой микроконтроллер, который содержит привод, например, LCD привод, который приводит в действие, например, создает сигнал для обеспечения, создает сигнал для активации и т.п., элементов, например, жидкокристаллических, экрана 266 дисплея для отображения игры на экране 266 дисплея. Другой пример микроконтроллера 268 включает в себя графический процессор (graphical processing unit, GPU) и запоминающее устройство.
В некоторых вариантах осуществления запоминающее устройство микроконтроллера 268 является иным, чем флэш-память или оперативное запоминающее устройство (random access memory, RAM). Например, запоминающее устройство микроконтроллера представляет собой буфер. В различных вариантах осуществления запоминающее устройство микроконтроллера 268 представляет собой флэш-память или RAM. Примеры схемы 262 пользовательского ввода включают в себя гироскоп, магнитометр и акселерометр. Пример WAC 258 включает в себя NIC. В некоторых вариантах осуществления WAC 258 называют в настоящем документе схемой связи.
Поток закодированных данных среды, принимается в потоковом буфере 259 из сети 110 или маршрутизатора 152 (фиг. 1В-1С, 2). Примеры закодированных данных среды, которые приняты потоковым буфером 259, включают в себя данные 116 среды, (фиг. 1А-1С, 2), которые закодированы, дополнительные данные среды, которые закодированы, следующие данные среды, которые закодированы, и т.п. Следует заметить, что, когда маршрутизатор 152 связан с вычислительной машиной 172 (фиг. 2), данные, полученные от вычислительной машины 172, сохраняются в буфере (не показано) HMD 250, а не в потоковом буфере 259.
WAC 258 получает доступ к потоку закодированных данных среды, из потокового буфера 259 и депакетирует поток. Кроме того, WAC 258 также включает в себя декодер для декодирования закодированных данных среды.
В вариантах осуществления, в которых поток закодированных данных среды, принимается вычислительной машиной 172 (фиг. 1С) через маршрутизатор 152 (фиг. 1С), NIC 174 (фиг. 1С) вычислительной машины 172 депакетирует и декодирует поток закодированных данных среды, чтобы создавать декодированные данные, которые отправляются маршрутизатором 152 в буфер (не показано) HMD 250 для хранения.
Декодированные данные доступны с помощью видео-аудиоразделителя 254 от WAC 258 или от буфера (не показан) HMD 250. Видео-аудиоразделитель 254 отделяет аудиоданные в декодированных данных от видеоданных.
Видео-аудиоразделитель 254 отправляет аудиоданные в аудиобуфер 272 и видеоданные в видеобуфер 280. Видео-аудиосинхронизирующее устройство 282 синхронизирует видеоданные, сохраненные в видеобуфере 280 и аудиоданными, сохраненными в аудиобуфере 272. Например, видео-аудиосинхронизирующее устройство 282 использует время воспроизведения видеоданных и аудиоданных для синхронизации видеоданных с аудиоданными.
Аудиокодек 276 преобразует синхронизированные аудиоданные из цифрового формата в аналоговый формат, чтобы создавать аудиосигналы, и аудиосигналы воспроизводятся динамиками 260 для создания звука. Видеодекодер 255 декодирует, например, изменяет из цифровой формы в аналоговую форму и т.д., синхронизированные видеоданные для создания аналоговых видеосигналов. Микроконтроллер 268 выполняет программу 286 воспроизведения для отображения игры на экране 266 дисплея на основе синхронизированных аналоговых видеосигналов, которые создаются видеодекодером 255. В некоторых вариантах осуществления игра, отображаемая на экране 266 дисплея, отображается синхронно с воспроизведением аудиосигналов.
Кроме того, пользователь 108 (фиг. 1А-1С, 2) говорит в микрофон 284, который преобразует звуковые, например, голосовые и т.п. сигналы в электрические сигналы, например, аудиосигналы. Аудиокодек 276 преобразует аудиосигналы из аналогового формата в цифровой формат для создания аудиоданных, которые сохраняются в аудиобуфере 276. Аудиоданные, сохраняемые в аудиобуфере 276, представляют собой пример входных данных, созданных на основе звука пользователя 108. Аудиоданные доступны через WAC 258 из аудиобуфера 276 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует аудиоданные, доступные из аудиобуфера 276, для отправки по сети 110 в кодек 112.
В некоторых вариантах осуществления аудиоданные доступны через WAC 258 из аудиобуфера 276 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует аудиоданные, доступные из аудиобуфера 276, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.
Внутренняя цифровая камера 278 захватывает одно или больше изображений одного или больше движения головы пользователя 108 (фиг. 1А-1С, 2), чтобы создавать данные изображения, которые представляют собой пример входных данных, которые созданы на основе одного или больше движения головы. Аналогично, наружная видеокамера 274 захватывает одно или больше изображений реальной окружающей среды и/или маркеров, расположенных на HMD 250, или на руке пользователя 108, и/или на руках пользователя 108, чтобы создавать данные изображения, которые представляют собой пример входных данных. Данные изображения, созданные на основе маркеров, расположенных на руке пользователя 108, или на основе движения рукой пользователя 108, представляют собой пример входных данных, которые созданы на основе движений рукой. Данные изображения, захваченного камерами 274 и 278, сохраняются в видеобуфере 280.
В некоторых вариантах осуществления данные изображения, захваченного камерами 274 и 278, сохраняются в буфере HMD 250, и буферы, являются другими, кроме видеобуфера 280. В различных вариантах осуществления данные изображения, захваченного камерами 274 и 278, декодируются видеодекодером 255 и отправляются в микроконтроллер 268 для отображения изображений на экране дисплея 266.
В некоторых вариантах осуществления данные изображения, захваченного камерами 274 и 278, доступны через WAC 258 из видеобуфера 280 для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует данные изображения, доступные из аудиобуфера 280, для отправки по сети 110 в кодек 112.
В некоторых вариантах осуществления видеоданные доступны через WAC 258 Из видеобуфера 280 для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует видеоданные, доступные из видеобуфера 280, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.
Схема 287 связи контроллера/вычислительной машины принимает данные среды, от вычислительной машины 172 для сохранения в буфере (не показан) HMD 250. Кроме того, схема 287 связи контроллера/вычислительной машины принимает входные сигналы от ННС 106 (фиг. 1А-1С, 2), преобразует входные сигналы из аналоговой формы в цифровую форму для создания входных данных, которые доступны через WAC 258, для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует входные данные, доступные из схемы 287 связи контроллера/вычислительной машины, для отправки по сети 110 в кодек 112.
В некоторых вариантах осуществления входные данные доступны через WAC 258 из схемы 287 связи контроллера/вычислительной машины для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует видеоданные, доступные из видеобуфера 280, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.
В некоторых вариантах осуществления схема 287 связи контроллера/вычислительной машины принимает данные реальной окружающей среды от ННС 106 (фиг. 1А-1С, 2), доступные через WAC 258, для отправки по сети 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102 (фиг. 1А-1С, 2). Например, WAC 258 пакетирует и кодирует данные реальной окружающей среды, принятые из схемы 287 связи контроллера/вычислительной машины ННС 106, для отправки по сети 110 в кодек 112.
В некоторых вариантах осуществления данные реальной окружающей среды доступны через WAC 258 из схемы 287 связи контроллера/вычислительной машины для отправки через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110 (фиг. 1А-1С, 2) в кодек 112 (фиг. 1А-1С) игрового облака 102. Например, WAC 258 пакетирует и кодирует данные реальной окружающей среды, доступные из схемы 287 связи контроллера/вычислительной машины, для отправки через маршрутизатор 152 и сеть 110 в кодек 112.
Следует заметить, что вместо схемы 287 связи контроллера/вычислительной машины могут быть использованы две отдельные схемы связи, одна для связи, например, приема, отправки и т.д. данных с помощью вычислительной машины 172 (фиг 1B), а другая для обмена данными с ННС 106 (фиг. 1А-1С, 2).
В ряде вариантов осуществления декодер WAC 258 расположен за пределами WAC 258. В различных вариантах осуществления потоковый буфер 259 расположен в WAC 258.
В некоторых вариантах осуществления HMD 250 включает в себя какое-либо число микроконтроллеров, какое-либо число буферов, и/или какое-либо число запоминающих устройств.
В различных вариантах осуществления HMD 250 включает в себя одну или больше аккумуляторных батарей, обеспечивающих питание компонентов, например, видео- аудиоразделителя 254, карты 258 беспроводного доступа, потокового буфера 259, одного или больше динамиков 260, схемы 262 пользовательского ввода, экрана 266 дисплея микроконтроллера 268, аудиобуфера 272, наружной видеокамеры 274, аудиокодека 276, внутренней цифровой камеры 278, видеобуфера 280, видео-аудиосинхронизирующего устройства 282, микрофона 284 и схемы 287 связи контроллера/вычислительной машины. Одну или больше аккумуляторных батарей заряжают с помощью зарядного устройства (не показано), которое может быть включено в розетку переменного тока.
В некоторых вариантах осуществления HMD 250 включает в себя схему связи (не показано) для облегчения пиринговой многоканальной связи между локальными пользователями путем составления пар. Например, HMD 250 включает в себя приемопередатчик, который модулирует звуковые сигналы, полученные от микрофона 284, и отправляет модулированные сигналы по каналу в приемопередатчик другого HMD (не показано). Приемопередатчик другого HMD демодулирует сигналы для доставки к динамикам другого HMD, чтобы облегчать связь между пользователями.
В различных вариантах осуществления приемопередатчиком HMD 250 используются различные каналы для связи с различными другими HMD. Например, канал, по которому отправляются модулированные сигналы к первому другому HMD, является иным, чем канал, по которому отправляются модулированные сигналы ко второму другому HMD.
В некоторых вариантах осуществления WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видеодекодер 255 интегрированы в одну или больше отдельных интегральных микросхем. Например, WAC 258, видеодекодер 255 и микроконтроллер 268 интегрированы в одну интегральную микросхему, а схема 262 пользовательского ввода интегрирована в другую интегральную микросхему. В качестве другого примера, каждый из элементов, WAC 258, схема 262 пользовательского ввода, микроконтроллер 268 и видеодекодер 255, интегрирован в отдельную интегральную микросхему.
В некоторых вариантах осуществления HMD 250 лишен наружной цифровой камеры 274 и/или лишен внутренней цифровой камеры 278. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) вычислительной машины 172 (фиг. 1С) на основе входных данных, созданных схемой 262 пользовательского ввода и отправленных по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, вычислительную машину 172 и сеть 110.
В некоторых вариантах осуществления, если внутренняя цифровая камера 278 не имеет возможности «видеть» глаза или голову пользователя 108, и/или если видеокамера 206 (фиг. 2) не имеет возможности «видеть» глаза или голову пользователя 108, схема 262 пользовательского ввода создает входные данные. В данных вариантах осуществления положение и движение HMD 250 определяется одним или больше серверов игрового облака 102 и/или процессором 176 (фиг. 1С) вычислительной машины 172 (фиг. 1С) на основе входных данных, отправленных к игровому облаку 102 по сети 110 (фиг. 1А-1С, 2), или отправленных через маршрутизатор 152 (фиг. 1В-1С, 2) и сеть 110, или отправленных через маршрутизатор 152, вычислительную машину 172 и сеть 110.
В некоторых вариантах осуществления HMD 250, например, WAC 258 HMD 250 и т.п., переключается между двумя или больше режимами. Первый режим включает в себя использование маршрутизатора 152 (фиг. 1В-1С, 2) и вычислительной машины 172 (фиг. 1С и 2) в обмене данными между HMD 250 и игровым облаком 102 (фиг. 1А-1С, 2) по сети 110 (фиг. 1А-1С, 2). Второй режим включает в себя использование маршрутизатора 152 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. Во втором режиме при обмене данными вычислительную машину 172 обходят. Третий режим включает в себя использование сети 110 в обмене данными между HMD 250 и игровым облаком 102 по сети 110. В третьем режиме при обмене данными маршрутизатор 152 и вычислительную машину 172 обходят.
В некоторых вариантах осуществления пользователь 108 использует HMD 104 с ННС 106, и положение и движение HMD 104, и положение и движение ННС 106 представляются в одной игровой сцене дополненной виртуальной реальности. Например, ННС 106 представляется как меч в игре, например, игре в дополненной виртуальной реальности, которая создается путем выполнения игровой программы 117, и которая отображается в HMD 104. В данном примере игра имеет игровую сцену дополненной виртуальной реальности, в которой меч Накладывается на изображение реального леса. Когда пользователь 108 поворачивает голову влево, пользователю 108 показывается левая часть леса, а когда пользователь 108 поворачивает голову вправо, пользователю 108 показывается правая часть леса. Отображение части леса основано на положении и движении HMD 104. Кроме того, когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 влево, пользователю показывается меч, направленный влево в левой части леса. Когда пользователь 108 перемещает ННС 106 влево, и перемещает HMD 104 вправо, пользователю показывается правая часть леса, и меч не отображается в правой части. Кроме того, когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 вправо, пользователю показывается меч; направленный вправо в правой части леса. Когда пользователь 108 перемещает ННС 106 вправо, и перемещает HMD 104 влево, пользователю показывается левая часть леса, и меч не отображается в левой части. Отображение или отсутствие отображения меча в части-леса Основано на положении и движении ННС 106.
На фиг. 4А приведена схема варианта осуществления изображения 300, которое отображается на экране дисплея 266 HMD 250 (фиг. 3) для доступа к беспроводной сети. Изображение 300 создается с помощью микроконтроллера 268 (фиг. 3), когда приложение сетевого доступа выполняется микроконтроллером 268 (фиг. 3). Изображение 300 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С, и т.д., с которыми HMD 250 может связываться для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движения головы и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью.
В ряде вариантов осуществления изображение 300 включает в себя какое-либо число беспроводных сетей в списке.
На фиг. 4В приведена схема варианта осуществления изображения 310, которое отображается на экране дисплея 312 HMD вычислительной машины 172 (фиг. 2) для доступа к беспроводной сети. Изображение 310 создается с помощью GPU вычислительной машины 172, когда приложение сетевого доступа выполняется процессором 176 (фиг. 2) вычислительной машины 172. Изображение 310 включает в себя список сетей, например, беспроводной сети А, беспроводной сети В, беспроводной сети С, и т.д., с которыми HMD 250 может связываться через маршрутизатор 152 и вычислительную машину 172, для доступа к игровой программе 117 из игрового облака 102. Пользователь 108 выбирает, путем выполнения одного или больше движения головы и/или одного или больше движений рукой, одну из беспроводных сетей А, В и С для связи HMD 250 с беспроводной сетью через маршрутизатор 152 и вычислительную машину 172.
В ряде вариантов осуществления изображение 310 включает в себя какое-либо число беспроводных сетей в списке.
На фиг. 5А приведена схема варианта осуществления изображения 320 игры, отображаемого на экране дисплея 321, который является примером экрана дисплея 266 (фиг. 3). Периферийная область 322 изображения 320 отображается при низком разрешении с помощью микроконтроллера 268 (фиг. 3), а центральная область 324 отображается при высоком разрешении с помощью микроконтроллера 268. Высокое разрешение больше, чем низкое разрешение. Периферийная область 322 находится рядом с краями Е1-Е4 экрана дисплея 321.
В некоторых вариантах осуществления край Е1 является перпендикулярным к краю Е2 и к краю Е4. Край Е3 является перпендикулярным к краям Е2 и Е4 и параллельным к краю Е1. В различных вариантах осуществления края Е1 по существу перпендикулярны, например, находятся под углом от 87 градусов до 93 градусов, и т.д., к краю Е2 и к краю Е4. Край Е3 является по существу перпендикулярным к краям Е2 и Е4 и по существу параллельным к краю Е1.
Следует заметить, что в некоторых вариантах осуществления экран дисплея 321 имеет любую форму, например, напрямуюугольную, квадратную, круглую, овальную, многоугольную, криволинейную и т.п.
На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 322 и 324. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на центральную область 324, микроконтроллер 268 определяет, что центральная область 324 имеет высокое разрешение, определяет, что периферийная область 322 имеет низкое разрешение, и выполняет программу 286 воспроизведения для отображения центральной области 324 с высоким разрешением и для отображения периферийной области 322 с низким разрешением.
На фиг. 5В приведена схема варианта осуществления изображения 330, которое отображается на экране дисплея 321. Изображение 330 имеет верхнюю периферийную область 332 и нижнюю периферийную область 334. Верхняя периферийная область 332 находится рядом с краем Е1, а нижняя периферийная область 334 находится рядом с краем Е3. Периферийные области 332 и 334 имеют низкое разрешение, а промежуточная зона 336 имеет высокое разрешение. Промежуточная зона 336 расположена рядом с краями Е2 и Е4 и расположена между областями 332 и 334.
На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 332, 334 и 336. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 336, микроконтроллер 268 определяет, что промежуточная область 336 имеет высокое разрешение, определяет, что периферийные области 332 и 334 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 336 с высоким разрешением и для отображения периферийных областей 332 и 334 с низким разрешением.
В некоторых вариантах осуществления периферийная область 332 имеет разрешение, отличающееся от разрешения периферийной области 334. Например, периферийная область 332 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 334 имеет низкое разрешение. В другом примере периферийная область 334 имеет среднее разрешение, а периферийная область 332 имеет низкое разрешение.
На фиг. 5С приведена схема варианта осуществления изображения 340, которое отображается на экране дисплея 321. Изображение 340 имеет правую периферийную область 342 и левую периферийную область 344. Правая периферийная область 342 находится рядом с краем Е2, а левая периферийная область 344 находится рядом с краем Е4. Периферийные области 342 и 344 имеют низкое разрешение, а промежуточная зона 346 имеет высокое разрешение. Промежуточная зона 346 расположена рядом с краями Е1 и Е3, и расположена между областями 342 и 344.
На основании изображения взгляда, захваченного внутренней цифровой камерой 278 (фиг. 3), микроконтроллер 268 (фиг. 3) разделяет экран дисплея 321 на области 342, 344 и 346. Например, после определения того, что пользователь 108 (фиг. 1А-1С, 2) смотрит на промежуточную область 346, микроконтроллер 268 определяет, что промежуточная область 346 имеет высокое разрешение, определяет, что периферийные области 342 и 344 имеют низкое разрешение, и выполняет программу 286 воспроизведения для отображения промежуточной области 346 с высоким разрешением и для отображения периферийных областей 342 и 344 с низким разрешением.
В некоторых вариантах осуществления периферийная область 342 имеет разрешение, отличающееся от разрешения периферийной области 344. Например, периферийная область 342 имеет среднее разрешение, которое находится между низким и высоким разрешениями, а периферийная область 344 имеет низкое разрешение. В другом примере периферийная область 344 имеет среднее разрешение, а периферийная область 342 имеет низкое разрешение.
В различных вариантах осуществления для Определения одной или больше областей экрана 321 дисплея, имеющих высокое разрешение и для определения одной или больше областей экрана 321 дисплея, имеющих низкое разрешение, вместо взгляда используется какое-либо движение головой.
В некоторых вариантах осуществления периферийная область экрана дисплея имеет любую форму, например, криволинейную, полукруглую, многоугольную и т.п., и центральная или промежуточная область экрана дисплея имеет любую форму, например, напрямуюугольную, круглую, многоугольную, эллиптическую, криволинейную и т.п.
На фиг. 6 приведена схема, иллюстрирующая различные типы ННС 350, 352, 354, 356, 358 и 360. Каждый ННС 350, 352, 354, 356, 358 и 360 является примером ННС 106 (фиг. 1А-1С, 2). Как показано, ННС 350 имеет форму бумеранга, ННС 352 имеет форму микрофона, а ННС 354 имеет форму штурвала. Кроме того, ННС 356 представляет собой перчатку, надеваемую пользователем 108 на руки, ННС 358 представляет собой куртку, костюм для верхней части тела или рубашку, и т.д., надеваемую пользователем 108 на верхнюю часть тела, а ННС 360 представляет собой штаны, надеваемые пользователем 108 на нижнюю часть тела.
Каждый из элементов, ННС 350, 352, 354, 356, 358 и 360 содержит один или больше механизмов обратной связи, например, датчиков, механических компрессоров, механических усилителей массы, механических преобразователей массы, механических декомпрессоров, вибрационных механизмов, механизмов тактильной обратной связи, нагревателей, охладителей, электрошокеров, и т.п., для обеспечения обратной связи пользователю 108 во время ведения игры в игре дополненной виртуальной реальности, отображаемой при выполнении игровой программы 117 (фиг. 1А-1С, 2).
В различных вариантах осуществления пользователь 108 надевает ННС 356 на руки и гладит виртуальную собаку по время ведения игры в игре дополненной виртуальной реальности, отображаемой при выполнении игровой программы 117. Виртуальная собака накладывается на изображение реального общественного парка. Механизмы, тактильной обратной связи обеспечивают тактильную обратную связь пользователю 108 для обеспечения пользователю 108 возможности чувствовать, будто бы пользователь 108 гладит реальную собаку. Когда пользователь 108 поднимает виртуальную собаку, функция усиления массы дает пользователю 108 возможность чувствовать, будто бы пользователь 108 поднимает реальную собаку.
В ряде вариантов осуществления пользователь 108 надевает ННС 356 на руки в дополнение к надеванию HMD 104, и HMD 104 создает сцену реального места, например, Токио, Нью-Йорка и т.д. Когда пользователь 108 протягивает руки, чтобы схватить виртуальную чашку кофе, выполняется игровая программа 117 для отображения виртуальных рук пользователя 108 в сцене для создания сцены дополненной виртуальной реальности. Когда пользователь 108 поднимает чашку, усилители массы прилагают массу к реальным рукам пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто пользователь 108 поднимает реальную чашку. Когда пользователь 108 ставит чашку на изображение реального стола в сцене, преобразователи массы уменьшают массу, воздействующую на реальные руки пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто пользователь 108 ставит реальную чашку.
В некоторых вариантах осуществления пользователь 108 надевает ННС 358 в дополнение к надеванию HMD 104 и приступает к виртуальному плаванию с аквалангом в качестве виртуального персонажа в видео реального океана. Механические усилители массы увеличивают массу, действующую на пользователя 108, чтобы дать пользователю 108 возможность чувствовать, будто бы пользователь 108 плавает с аквалангом в реальном океане, и чувствовать массу воды над пользователем 108. Аналогично, если пользователь 108 приближается к поверхности океана, механические преобразователи массы уменьшают массу, действующую на пользователя 108.
В некоторых вариантах осуществления каждый из ННС 350, 352, 354, 356, 358 и 360 включает в себя один или больше неподвижных опорных объектов, примеры которых приведены выше, для определения положения и движения ННС.
В различных вариантах осуществления ННС 106 имеет любую форму, например, напрямуюугольную, круглую, овальную, многоугольную криволинейную, спиральную и т.п.
На фиг. 7А приведена схема варианта осуществления HMD 370. HMD 370 является примером HMD 250 (фиг. 3). HMD 370 включает в себя бандажи 372 и 374, которые проходят позади головы пользователя 108 (фиг. 1А-1С, 2), когда надеты пользователем 108. Кроме того, HMD 370 содержит головные телефоны 376А и 376В, например, динамики, и т.п., которые излучают звук, связанный с игрой, которую проводят при выполнении игровой программы 117 (фиг. 1А-1С). HMD 370 содержит линзы 378А и 378В, которые позволяют пользователю 108 видеть игру, которую проводят при выполнении игровой программы 117, и которая отображается на экране 266 дисплея (фиг. 3). Вырез 380 расположен на носе пользователя 108, чтобы поддерживать HMD 370 на носе.
В некоторых вариантах осуществления HMD 370 надевается пользователем 108 таким же образом, как пользователь 108 надевает солнцезащитные очки, очки, или очки для чтения.
На фиг. 7В приведен вид в изометрии варианта осуществления HMD 400, который является примером HMD 250 (фиг. 3). В некоторых вариантах осуществления HMD 400 представляет собой продукт исследований и разработок Sony Computer Entertainment America LLC. HMD 400 содержит подголовник 402. HMD 400, кроме того, содержит маркеры, например, светодиоды 404А и 404В, излучатели 406А, 406В, 406C, 406D, 406Е, 406F, 406G и 406Н инфракрасного света. Примеры излучателей инфракрасного света включают светодиод. HMD 400 включает в себя включатель/выключатель 408, который обеспечивает включение или выключение HMD 400.
Маркеры используют для определения положения и движения HMD 400. Например, при движении головы пользователя 108 (фиг. 1А-1С, 2), размер изображения светодиодов 404А и 404 В, захваченного наружной видеокамерой 274 (фиг. 3), изменяется. На основе размера процессор вычислительной машины 172 (фиг. 3) или один или больше серверов игрового облака 102 (фиг. 1А-1С, 2) определяет положение и движение HMD 400 в системе координат.
На фиг. 8А приведена схема, иллюстрирующая использование HMD 400 по фиг. 7В с контроллером 450 Dualshock в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет контроллером 450 Dualshock, чтобы изменять положение и/или движение виртуального объекта, например, виртуального автомобиля, виртуального персонажа и т.п., накладываемого на реальную сцену. Наложение виртуального объекта на реальную сцену отображается в HMD 400.
На фиг. 8В приведена схема, иллюстрирующая использование HMD 400 (фиг. 7В) с контроллером Move™, например, ННС 352, в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет движением контроллера, чтобы изменять положение и/или движение виртуального объекта, например, меча, пера и т.п., накладываемого на реальную сцену. Наложение виртуального объекта на реальную сцену отображается в HMD 400.
На фиг. 9А приведена схема, иллюстрирующая использование HMD 400 по фиг. 7В с контроллером 450 Dualshock для ведения игры в сцене дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе. Пользователь 108 управляет контроллером 450 Dualshock и HMD 400 для ведения игры в сцене дополненной виртуальной реальности. Положение и местоположение контроллера 450 Dualshock и HMD 400 определяется по изображениям, захваченным видеокамерой 208.
На фиг. 9В приведена схема, иллюстрирующая сцену 410 дополненной виртуальной реальности в соответствии с одним вариантом осуществления, описанным в настоящем документе. Сцена 410 дополненной виртуальной реальности отображается в HMD 400, которую надевает пользователь 108. Когда пользователь 108 выполняет одно или больше действий рукой для управления контроллером 450 Dualshock (фиг. 9А), выполняется игровая программа 117 (фиг. 1А-1С, 2) для отображения виртуального штурвала 411 в сцене 410 дополненной виртуальной реальности. Кроме того, игровая программа 117 выполняется для отображения изображения реальной окружающей среды, например, реальной улицы, реальных рук, пользователя 108, и т.п. Изображения 412А и 412В реальных рук пользователя 108 накладывается на виртуальный штурвал 411. В некоторых вариантах осуществления игровая программа 117 выполняется, чтобы накладывать изображение реальной окружающей среды на виртуальную окружающую среду.
В различных вариантах осуществления вместо изображений 412А и 412В в сцене 410 дополненной виртуальной реальности отображаются виртуальные руки в перчатках, цветные руки и т.п. В ряде вариантов осуществления вместо изображений 413 реальной улицы в сцене 410 дополненной виртуальной реальности используют изображение виртуальной улицы.
На фиг. 10 приведена структурная схема варианта осуществления приставки 500, которая совместима для взаимодействия с ННС 106 и HMD 104 (фиг. 1А-1С, 2). Приставка 500 может быть использована для выполнения и воспроизведения части игровой программы 117. Приставка 500 является совместимой для взаимодействия ННС 106 и HMD 104 (фиг. 1А-1С, 2) с игровой программой 117. Приставка 500 поставляется с различными периферийными устройствами, выполненными с возможностью соединения с приставкой 500. Приставка 500 имеет cell-процессор 528, блок 526 динамического запоминающего устройства с произвольной выборкой Rambus® (dynamic random access memory, XDRAM), блок 530 графического процессора синтезатора реальности с блоком 532 выделенной видеопамяти с произвольной выборкой (video random access memory, VRAM), и мостом 534 ввода/вывода (input/output, I/O). Приставка 500 также имеет считывающее устройство 540 компактного оптического диска Blu Ray® (Disk read-only memory, BD-ROM) для считывания данных с диска 540а и съемный вставляемый накопитель на жестком диске (hard disk drive, HDD) 536, с доступом через мост 534 ввода/вывода. Дополнительно приставка 500 также включает в себя устройство 538 считывания карты памяти для считывания компактных карт флэш-памяти, карты памяти Memory Stick® и другие, которые также доступны через мост 534 ввода/вывода.
Мост 534 ввода/вывода также соединен с портами 524 универсальной последовательной шины (Universal Serial Bus, USB) 2.0, портом 522 gigabit Ethernet, портом 520 беспроводной сети (Wi-Fi) IEEE 802.1 lb/g и портом 518 линии радиосвязи Bluetooth, способным поддерживать соединения Bluetooth.
Во время действия мост 534 ввода/вывода обрабатывает все данные беспроводной связи, универсальной последовательной шины (USB) и сети Ethernet, в том числе, данные от одного или больше игровых контроллеров 502 и 503 и от HMD 505, который является примером HMD 250 (фиг. 3). Например, когда пользователь 108 (фиг. 1А-1С, 2) ведет игру, создаваемую при выполнении части игровой программы 117 (фиг. 1А), мост 534 ввода/вывода получает входные данные от игрового контроллера 502 или 503, или от HMD 505 через соединение Bluetooth, и направляет входные данные к cell-процессору 528, который обновляет текущее состояние игры, соответственно. Каждый игровой контроллер 502 и 503 представляет собой пример ННС 106 (фиг. 1А-1С, 2).
Беспроводные, USB и Ethernet порты также предоставляют возможность соединения для других периферийных устройств в дополнение к игровым контроллерам 502 и 503, и HMD 505, как, например, дистанционное управление 504, клавиатура 506, мышь 508, переносное развлекательное устройство 510, такое как развлекательное устройство Sony Playstation Portable®, видеокамера, такая как видеокамера 512 ЕуеТоу®, микрофон с головным телефоном 514, и микрофон 515. Данные периферийные устройства, таким образом, могут быть в принципе соединены с приставкой 500 посредством беспроводной связи, например, переносное развлекательное устройство 510 может быть связано через специальное соединение Wi-Fi, тогда как микрофон с головным телефоном 514 может быть связан через соединение Bluetooth.
Предоставление этих интерфейсов означает, что приставка 500 также потенциально совместима с другими периферийными устройствами, такими как цифровые видеомагнитофоны (digital video recorders, DVR), цифровые телевизионные приставки, цифровые камеры, портативные медиаплееры, телефоны с передачей голоса по IP-протоколу, мобильные телефоны, принтеры и сканеры.
Кроме того, устройство 516 считывания стандартных карт памяти может быть соединено с приставкой 500 через USB-порт 524, обеспечивая возможность считывания карт памяти 548 типа, используемого приставкой 500.
Игровые контроллеры 502 и 503 и HMD 505 выполнены с возможностью поддержания беспроводной связи с приставкой 500 посредством связи, или подключения к USB-порту, тем самым обеспечивая питание, с помощью которого заряжают батареи игрового контроллера 502 и 503, и HMD 505. В некоторых вариантах осуществления каждый из игровых контроллеров 502 и 503, и HMD 505 может также включать в себя память, процессор, устройство считывания карт памяти, постоянную память, такую как флэш-память, излучатели света, такие как освещенные сферические секции, светодиоды, или инфракрасный свет, микрофон и динамик для ультразвуковой связи, сурдокамеру, цифровую камеру, внутренний генератор тактовых импульсов, распознаваемую форму, такую как сферическая секция, обращенная к игровой приставке и беспроводную связь, использующую протоколы, такие как, например, Bluetooth, Wi-Fi и т.п.
Игровой контроллер 502 представляет собой контроллер, предназначенный для использования двумя руками пользователя 108, а игровой контроллер 503 представляет собой контроллер для одной руки с дополнительным приспособлением. HMD 505 предназначен для установки поверх головы и/или перед глазами пользователя 108. В дополнение к одному или больше аналоговым джойстикам и обычным кнопкам управления, каждый игровой контроллер 502 и 503 восприимчив к определению трехмерного положения. Аналогично, HMD 505 восприимчив к определению трехмерного положения. Соответственно, жесты и движения, сделанные пользователем 108 игрового контроллера 502 и 503, и HMD 505 могут быть преобразованы как входные сигналы для игры в дополнение или вместо обычных команд кнопки или джойстика. При необходимости в качестве контроллера могут быть использованы другие периферийные устройства, выполненные с возможностью беспроводной связи, такие как переносное устройство Playstation™. В случае переносного устройства Playstation™ дополнительная игровая или управляющая информация (например, управляющие команды или число жизней) может выводиться на экран дисплея устройства. Могут также использоваться другие альтернативные или дополнительные устройства управления, такие как танцевальный коврик (не показан), световой пистолет (не показан), и штурвал и педали (не показаны) или специальные контроллеры, такие как одна или несколько больших кнопок для тестовых игр на быстроту реакции (также не показаны).
Дистанционное управление 504 также выполнено с возможностью работы с беспроводной связью с приставкой 500 посредством связи Bluetooth. Дистанционное управление 504 содержит устройства управления, подходящие для работы считывающего устройства 540 Blu Ray™ Disk BD-ROM и для навигации по содержимому диска.
Считывающее устройство 540 Blu Ray™ Disk BD-ROM выполнено с возможность работы для считывания компакт-дисков, совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам, и так называемым супераудиодискам. Считывающее устройство 540 выполнено с возможностью считывания цифровых видеодисков ПЗУ (digital video disk-ROM, DVD-ROM) совместимых с приставкой 500, в дополнение к обычным предварительно записанным и перезаписываемым компакт-дискам. Считывающее устройство 540, кроме того, выполнено с возможностью считывания дисков BD-ROM, совместимых с приставкой 500, и также обычных предварительно записанных и перезаписываемых дисков Blu-Ray.
Приставка 500 выполнена с возможностью подачи аудио- и видеосигналов, либо созданных, либо декодированных с помощью блока. 530 графического процессора синтезатора реальности, через аудиосоединительные устройства 550 и видеосоединительные устройства 552, к устройству 542 вывода отображения и звука, такому как монитор или телевизор, имеющий экран 544 дисплея и один или больше громкоговорителей 546. Аудиосоединительные устройства 550 могут включать в себя обычные аналоговые и цифровые выходы, тогда как видеосоединительные устройства 552 могут по-разному включать в себя компонент видеосигнала, стерео видеосигнала, полного видеосигнала и один или больше выходов универсального интерфейса высокой четкости (High Definition Multimedia Interface, HDMI). Соответственно, видеовыход может быть в таких форматах, как PAL или NTSC, или в 520р, 1080i или 1080р высокой четкости.
Обработка аудиосигнала (создание, декодирование и т.д.) выполняется cell-процессором 528. Операционная система приставки 500 поддерживает пространственное звучание Dolby® 5.1, театральное звучание Dolby® (DTS), и декодирование пространственного звучания 7.1 с дисков Blu-Ray®.
В некоторых вариантах осуществления видеокамера, например, видеокамера 512 включает в себя один прибор с зарядовой связью (charge coupled device, CCD), светодиодный индикатор, и аппаратное устройство сжатия и кодирования данных в режиме реального. времени, так что сжатые видеоданные могут быть переданы в соответствующем формате, таком как основанный на интраобразе стандарт экспертной группы по вопросам движущегося изображения (motion picture expert group, MPEG) для декодирования с помощью приставки 500. Светодиодный индикатор видеокамеры 512 выполнен с возможностью освещения в зависимости от соответствующих управляющих данных от приставки 500, например, для обозначения неблагоприятных условий освещения. Варианты осуществления видеокамеры 512 могут быть по-разному связаны с приставкой 500 через порт связи USB, Bluetooth или Wi-Fi. Варианты осуществления видеокамеры могут включать в себя один или больше связанных микрофонов, а также могут обладать возможностью передачи аудиоданных. В вариантах осуществления видеокамеры CCD может иметь разрешение, подходящее для захвата видео с высокой четкостью. При использовании изображения, захваченные видеокамерой, могут, например, быть включены в игру или интерпретированы, как игровые управляющие входные сигналы. В другом варианте осуществления видеокамера представляет собой инфракрасную камеру, подходящую для обнаружения инфракрасного света.
В различных вариантах осуществления, для успешной передачи данных, происходящих в периферийном устройстве, таком как, например, видеокамера или дистанционное управление, через один из портов связи приставки 500, предоставлена соответствующая часть программы, такая как привод устройства.
В некоторых вариантах осуществления вышеупомянутые устройства системы, включая устройство приставки, переносной ННС, и переносной HMD дают возможность ННС и переносному HMD отображать и захватывать видео интерактивной сессии игровой программы 117 (фиг. 1А-1С). Устройство приставки инициирует интерактивный сеанс игровой программы 117, причем интерактивный сеанс определяет интерактивность между пользователем 108 и игровой программой 117. Устройства системы определяют начальное положение и ориентацию ННС и/или HMD, управляемых пользователем 108. Устройство приставки определяет текущее состояние игровой программы 117, на основе интерактивности между пользователем 108 и игровой программой 117. Устройства системы отслеживают положение и ориентацию ННС и/или HMD во время интерактивного сеанса пользователя 108 в игровой программе 117. Устройства системы создают видеопоток наблюдателя интерактивного сеанса на основе текущего состояния игровой программы 117 и отслеженного положения и ориентации ННС и/или HMD. В некоторых вариантах осуществления ННС воспроизводит видеопоток наблюдателя на экране дисплея ННС. В некоторых вариантах осуществления HMD воспроизведения видеопоток наблюдателя на экране дисплея HMD.
На фиг. 11 приведена структурная схема игровой системы 600, в соответствии с различными вариантами осуществления, описанными в настоящем документе. В некоторых вариантах осуществления игровая система 600 представляет собой облачную игровую систему, в которой виртуальные машины (VM), например, операционные системы, программные приложения и т.п., выполняются, используя один или больше ресурсов, например, серверы, запоминающие устройства и т.п., после установления связи между ресурсами и виртуальными машинами с помощью гипервизора. Игровая система 600 используется для создания видеопотока к одному или больше клиентов 610 через сеть 615, которая является примером сети 110 (фиг. 1А-1С, 2). Игровая система 600 включает в себя видеосерверную систему 620 и дополнительный игровой сервер 625. Видеосерверная система 620 используется для создания видеопотока к одному или больше клиентов 610 с качеством обслуживания. Например, видеосерверная система 620 может получать игровую команду, которая изменяет состояние или точку зрения в видеоигре, например, игре, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., и представляет клиенту 610 обновленный видеопоток, отображающий данные изменения в состоянии при минимальном времени задержки. Видеосерверная система 620 может быть использована для создания видеопотока в широком диапазоне альтернативных форматов видео, включая еще определяемые форматы. Кроме того, видеопоток может включать в себя видеокадры, используемые для представления пользователю 108 (фиг. 1А-1С, 2) в широком диапазоне частоты кадров. Типичная частота кадров составляет 30 кадров в секунду, 60 кадров в секунду и 620 кадров в секунду. Хотя более высокие или более низкие частоты кадров входят в различные варианты осуществления, описанные в настоящем документе.
Клиенты 610, упоминаемые в настоящем документе отдельно как 610A, 610В и т.д., могут включать в себя HMD 104 (фиг. 1А-1С, 2), ННС 104 (фиг. 1А-1С, 2), оконечные устройства, Персональные вычислительные машины, игровые приставки, планшетные вычислительные машины, телефоны, телевизионные приставки, киоски, беспроводные устройства, цифровые панели, автономные устройства и/или другие. Клиенты 610 используются для приема закодированных видеопотоков, декодирования видеопотоков и представления полученного видео пользователю 108, например, ведущему игру. Процессы получения закодированных видеопотоков и/или декодирования видеопотоков включают в себя сохранение отдельных видеокадров в приемном буфере клиента. Видеопотоки могут быть представлены пользователю 108 на дисплее, объединенным с клиентом 610, или на отдельном устройстве, таком как монитор или телевизор.
Клиенты 610 при необходимости используются для поддержки более чем одного игрока. Например, игровая приставка может быть использована для поддержки двух, трех, четырех или больше одновременно играющих. Каждый из этих игроков может принимать отдельный видеопоток, или один видеопоток может включать в себя области кадров, созданных специально для каждого игрока, например, созданных на основе точки зрения каждого игрока.
Клиенты 610 при необходимости территориально рассредоточены. Число клиентов, включенных в игровую систему 600, может колебаться в широких пределах, от одного или двух до тысяч, десятков тысяч или больше. Используемый здесь термин «игрок» используется для обозначения человека, который ведет игру, а термин «устройство ведения игры» используется для обозначения устройства, используемого для ведения игры, например, ведения игры при выполнении игровой программы 116 (фиг. 1А-1С), и т.д. В некоторых вариантах осуществления устройство ведения игры может упоминаться для нескольких вычислительных устройств, которые действуют совместно Для получения игрового опыта пользователем 108. Например, игровая приставка и HMD 104 (фиг. 1А-1С, 2) могут действовать совместно с видеосерверной системой 620 для доставки игры, наблюдаемой посредством HMD 104. В одном варианте осуществления игровая приставка получает видеопоток от видеосерверной системы 620, и игровая приставка направляет видеопоток или обновляет видеопоток к HMD 104 для воспроизведения.
Клиент 610 используется для приема видеопотоков по сети 615. Сеть 615 может быть сетью связи любого типа, включая телефонную сеть, Интернет, беспроводные сети, сети линий электропередачи, локальные сети, глобальные сети, частные сети и/или другие. В некоторых вариантах осуществления видеопотоки связаны посредством стандартных протоколов, таких как TCP/IP или UDP/IP. В ряде вариантов осуществления видеопотоки связаны посредством частных стандартов.
Типичным примером одного из клиентов 610 служит персональный компьютер, включающий в себя процессор, энергонезависимую память, дисплей, логическую схему декодирования, средства сетевой связи и одно или больше устройств ввода данных. Логическая схема декодирования может включать в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом Машиночитаемом носителе данных.
Клиенты 610 могут, но не обязательно, дополнительно включать в себя системы, используемые для модификации принятой видеоинформации. Например, клиент может быть использован для выполнения дальнейшего воспроизведения, чтобы накладывать одно видеоизображение на другое видеоизображение, чтобы обрезать видеоизображение и/или т.п. В качестве другого примера клиент накладывает виртуальную окружающую среду поверх изображения реальной окружающей среды, чтобы создавать сцену дополненной виртуальной реальности на экране дисплея. В качестве другого примера клиенты 610 могут быть использованы для приема видеокадров, таких как изображение с внутренним кодированием (intra-coded picture, I-кадры), кадры, сжатые с использованием ссылки на одно изображение (predicted frames, Р-кадры) и видеокадры, формируемые способом предсказания вперед/назад (bi-predictive picture frames, В-кадры), и для обработки этих кадров в изображения для отображения игры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., для пользователя 108. В некоторых вариантах осуществления Компонент клиента 610 используется для выполнения дальнейшего воспроизведения, затенения, преобразования в 3-D, или подобных операций над видеопотоком. Компонент клиентов 610 при необходимости используют для приема больше, чем одного аудио- или видеопотока данных.
Устройства ввода клиентов 610 могут включать в себя, например, игровой контроллер для одной руки, игровой контроллер для двух рук, систему распознавания жестов, систему распознавания взгляда, систему распознавания голоса, клавиатуру, джойстик, указывающее устройство, устройство обратной связи по усилию, чувствительный элемент движения и/или местоположения, мышь, сенсорный экран, нейронный интерфейс, камеру, устройства ввода, еще подлежащие разработке и/или другие.
Видеопоток и, при необходимости, аудиопоток, принятый клиентами 610, создается и передается видеосерверной системой 620. Данный видеопоток включает в себя видеокадры, а аудиопоток включает в себя аудиокадры. Видеокадры, которые включают в себя пиксельную информацию в соответствующей структуре данных, способствуют выразительности изображений, отображаемых для пользователя 108. Используемый здесь термин «видеокадры» используется для обозначения кадров, содержащих, преимущественно, информацию, которая используется, чтобы способствовать, например, получению эффектов и т.п. изображений игры, например игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.д., проводимой пользователем 108. Большинство принципов, приведенных здесь в отношении «видеокадров» также могут применяться в отношении «аудиокадров».
В различных вариантах осуществления клиенты 610 используются для приема входных данных от пользователя 108. Эти входные данные могут включать в себя игровые команды, используемые для изменения состояния видеоигры, например игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С) и т.п., или иначе зависящие от проводимой игры. Игровые команды могут быть приняты с использованием устройств ввода, например, схемы 262 пользовательского ввода (фиг. 4), и т.п., и/или могут быть автоматически созданы с помощью вычислительных инструкций на клиентах 610. Принятые игровые команды передаются от клиентов 610 по сети 615 к видеосерверной системе 620 и/или к игровому серверу 625. Например, игровые команды передаются к игровому серверу 625 через видеосерверную систему 620.
В некоторых вариантах осуществления отдельные копии игровых команд передаются от клиентов 610 к игровому серверу 625 и видеосерверной системе 620.
Передача игровых команд при необходимости зависит от идентичности команды. Игровые команды при необходимости передаются от клиента 610А через другой маршрутизатор или канал связи, чем тот, который используют для передачи аудио- или видеопотоков к клиенту 610А.
Игровым сервером 625 при необходимости управляют с помощью других объектов, чем видеосерверная система 620. Например, видеосервером 625 можно управлять с помощью сервера публикаций игры. В данном примере видеосерверная система 620 при необходимости рассматривается игровым сервером 625 в качестве клиента, и при необходимости используется, чтобы фигурировать с точки зрения игрового сервера 625, как клиент, выполняющий игровой движок. Связь между видеосерверной системой 620 и игровым сервером 625 при необходимости происходит по сети 615. Таким образом, игровой сервер 625 может быть многопользовательским игровым сервером, который отправляет информацию о состоянии игры многим клиентам, одним из которых является игровая серверная система 620.
Видеосерверная система 620 может быть использована для связи с многими экземплярами игрового сервера 625 одновременно. Например, видеосерверная система 620 может быть использована для доставки множества различных видеоигр различным пользователям. Каждая из этих различных видеоигр может поддерживаться с помощью различных игровых серверов 625 и/или публиковаться с помощью различных объектов.
В некоторых вариантах осуществления несколько территориально рассредоточенных экземпляров видеосерверной системы 620 используют для доставки игровых видеоданных множеству различных пользователей. Каждый из этих экземпляров видеосерверной системы 620 может поддерживать связь с одним экземпляром игрового сервера 625.
Связь между видеосерверной системой 620 и одним или больше игровых серверов 625 при необходимости осуществляется по выделенному каналу связи. Например, видеосерверная система 620 может быть связана с игровым сервером 625 посредством канала с высокой пропускной способностью, который выделен для связи между данными двумя системами.
Видеосерверная система 620 включает в себя по меньшей мере источник 630 видеосигнала, устройство 645 ввода/вывода, процессор 650, и запоминающее устройство 655. Видеосерверная система 620 может включать в себя одно вычислительное устройство или может быть распределена среди множества вычислительных устройств. Данные вычислительные устройства при необходимости связаны посредством системы связи, такой как локальная сеть.
Источник 630 видеосигнала используют для доставки видеопотока, например, потокового видео или ряда видеокадров, которые формируют движущееся изображение. В некоторых вариантах осуществления источник 630 видеосигнала включает в себя движок видеоигры и логическую схему воспроизведения.
Движок видеоигры используют для приема игровых команд от игрока и для поддержания копии состояния видеоигры, например, игры, проводимой при выполнении игровой программы 116 (фиг. 1А-1С), и т.п., на основе принятых команд. Данное состояние игры включает в себя положение объекта в игровой среде, а также точку зрения. Состояние игры может также включать в себя свойства, изображения, цвета и/или текстуры объектов. Состояние игры поддерживается на основании правил игры, а также игровых команд, таких как движение, поворот, атака, фокусировка, взаимодействие, использование и/или другие. Часть игрового движка при необходимости расположена в игровом сервере 625. Игровой сервер 625 может поддерживать копию состояния игры на основе игровых команд, принятых от множества игроков, использующих территориально рассредоточенные клиенты. В данных случаях состояние игры доставляется с помощью игрового сервера 625 к источнику 630 видеосигнала, где выполняется сохранение и воспроизведение копии состояния игры. Игровой сервер 625 может принимать игровые команды напрямую от клиентов 610 по сети 615, и/или может принимать игровые команды по видеосерверной системе 620.
Источник 630 видеосигнала включает в себя логическую схему воспроизведения, например, аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом машиночитаемом носителе данных, таком как запоминающее устройство 655. Логическую схему воспроизведения используют для создания видеокадров видеопотока на основе состояния игры. Вся логическая схема воспроизведения или ее часть при необходимости расположена в GPU. Логическая схема воспроизведения включает в себя этапы обработки, используемые для определения трехмерных пространственных связей между объектами и/или применения соответствующих текстур и т.п.на основе состояния игры и точки зрения. Логическая схема воспроизведения производит необработанный видеосигнал, который обычно кодируется перед передачей к клиентам 610. Например, необработанный видеосигнал может быть закодирован в соответствии со стандартом Adobe Flash®,.wav, Н.264, Н.263, On2, VP6, VC-1, WMA, Huffyuv, Lagarith, MPG-x. Xvid. FFmpeg, x264, VP6-8, realvideo, mp3, или т.п. Процесс кодирования обеспечивает видеопоток, который при необходимости пакетируется для доставки к декодеру на удаленном устройстве.
Видеопоток характеризуется размером кадра и частотой кадров. Типичные размеры кадров включают в себя 800×600, 1280×720 (например, 720 р), 1024×768, хотя могут быть использованы любые другие размеры кадра. Частота кадров представляет собой число видеокадров в секунду. Видеопоток может включать в себя разные типы видеокадров. Например, стандарт Н.264 включает в себя Р-кадр и I-кадр. I-кадры содержат информацию для обновления всех макро блоков/пикселей на устройстве отображения, тогда как Р-кадры содержат информацию для обновления их подмножества. Р-кадры меньше по размеру данных, чем I-кадры. Используемый здесь термин «размер кадра» означает число пикселей в кадре. Термин «размер данных кадра» используется здесь для обозначения числа байтов, необходимого для сохранения кадра.
В некоторых вариантах осуществления источник 630 видеоданных содержит устройство видеозаписи, такое как камера. Данная камера может быть использована для создания запаздывающего видео или видео в реальном времени, которое может быть включено в видеопоток компьютерной игры. Полученный видеопоток при необходимости включает в себя как воспроизведенные изображения, так и изображения, записанные с использованием фото или видеокамеры. Источник 630 видеосигнала может также содержать запоминающие устройства, используемые для сохранения ранее записанного видео, подлежащего включению в видеопоток. Источник 630 видеосигнала может также включать в себя чувствительные элементы движения или позиционирования для обнаружения движения или положения HMD 104, ННС 106, или пользователя 108 (фиг. 1А-1С, 2), и логическую схему, используемую для определения состояния игры или создания видео на основе обнаруженного движения и/или положения.
Источник 630 видеосигнала при необходимости используют для создания наложений, используемых для помещения на другое видео. Например, данные наложения могут включать в себя командный интерфейс, команды входа, сообщения игроку, изображения других игроков, источники видеосигнала других игроков (например, видео веб-камеры). В некоторых вариантах осуществления клиента 610А, включающего в себя интерфейс сенсорного экрана или интерфейс обнаружения взгляда, наложение может включать в себя виртуальную клавиатуру, джойстик, сенсорную панель и/или т.п. В одном примере наложения голос игрока накладывается на аудиопоток. Источник 630 видеосигнала при необходимости дополнительно содержит один или больше источников аудиосигнала.
В вариантах осуществления, где видеосерверная система 620 используется для поддержания состояния игры на основе входного сигнала от более чем одного игрока, каждый игрок может иметь другую точку зрения, включающую положение и направление обзора. Источник 630 видеосигнала при необходимости используется для создания отдельного видеопотока для каждого игрока на основании его точки зрения. Кроме того, источник 630 видеосигнала может быть использован для создания разных размеров кадра, размера данных кадра и/или кодирования для каждого из клиентов 610. Источник 630 видеосигнала при необходимости используется для создания объемного видео.
Устройство 645 ввода/вывода используют для видеосерверной системы 620 для отправки и/или приема информации, такой как видео, команды, запросы информации, состояние игры, информация о взгляде, движение устройства, местоположение устройства, движение пользователя, идентичность клиента, идентичность игрока, игровые команды, информация о безопасности, аудиосигнал и/или т.п. Устройство 645 ввода/вывода включает в себя аппаратные средства связи, такие как сетевая интерфейсная плата или модем. Устройство 645 ввода/вывода используют для связи с игровым сервером 625, сетью 615 и/или клиентами 610.
Процессор 650 используют для выполнения логической схемы, например, программы, включенной в различные компоненты видеосерверной системы 620, описанной в настоящем документе. Например, процессор 650 может быть запрограммирован с помощью инструкций программы для выполнения функций источника 630 видеосигнала, игрового сервера 625 и/или классификатора 660 клиента. Видеосерверная система 620 при необходимости включает в себя больше, чем один экземпляр процессора 650. Процессор 650 также может быть запрограммирован с помощью инструкций программы для выполнения команд, принятых видеосерверной системой 620, или для координации действий различных элементов игровой системы 600, описанной в настоящем документе. Процессор 650 может включать в себя одно или больше аппаратных устройств. Процессор 650 представляет собой электронный процессор.
Запоминающее устройство 655 содержит энергонезависимые аналоговые и/или цифровые запоминающие устройства. Например, запоминающее устройство 655 может включать в себя аналоговое запоминающее устройство, используемое для сохранения видеокадров. Запоминающее устройство 655 может включать в себя энергонезависимое машиночитаемое цифровое запоминающее устройство, например, жесткий диск, оптический диск, или твердотельное запоминающее устройство. Запоминающее устройство 615 используют (например, с помощью соответствующей структуры данных или файловой системы) для хранения видеокадров, искусственных кадров, видеопотока, включающего как видеокадры, так и искусственные кадры, аудиокадры, аудиопоток и/или т.п.Запоминающее устройство 655 при необходимости распределено среди множества устройств. В некоторых вариантах осуществления запоминающее устройство 655 используют для сохранения компонентов программного обеспечения источника 630 видеосигнала, описываемого в настоящем документе. Данные компоненты могут быть сохранены в формате, готовом к доставке, при необходимости.
Видеосерверная система 620 при необходимости дополнительно включает в себя классификатор 660 клиента. Классификатор 660 клиента используют для удаленного определения возможностей клиента, такого как клиенты 610A или 610В. Данные возможности могут включать в себя как возможности самого клиента 610А, так и возможности одного или больше каналов связи между клиентом 610А и видеосерверной системой 620. Например, классификатор 660 клиента может быть использован для испытаний канала связи через сеть 615.
Классификатор 660 клиента может определять (например, обнаруживать) возможности клиента 610А в ручном или автоматическом режиме. Определение вручную включает в себя связь с пользователем 108 клиента 610А и запрос пользователя 108 для предоставления возможностей. Например, в некоторых вариантах осуществления классификатор 660 клиента используется для отображения изображений, текста и/или т.п. в веб-браузере клиента 610А. В одном варианте осуществления клиент 610А представляет собой HMD, например, HMD 104, и т.п., который включает в себя веб-браузер. В другом варианте осуществления клиент 610А представляет собой игровую приставку, имеющую веб-браузер, который может быть отображен на HMD. Отображаемые объекты запрашивают, чтобы пользователь 108 ввел информацию, такую как операционная система, процессор, тип видеодекодера, тип сетевого соединения, разрешение дисплея и т.п. клиента 610А. Информация, введенная пользователем 108, передается обратно в классификатор 660 клиента.
Автоматическое определение может происходить, например, при выполнении агента на клиенте 610А и/или при отправке испытательного видеосигнала к клиенту 610А. Агент может включать в себя команды для вычисления, такие как java script, встроенные в веб-страницу или установленные в качестве дополнения. Агент при необходимости снабжен классификатором 660 клиента. В различных вариантах осуществления агент может выяснять вычислительную мощность клиента 610A, возможности декодирования и отображения клиента 610A, достоверность времени запаздывания и полосу пропускания каналов связи между клиентом 610A и видеосерверной системой 620, тип дисплея клиента 610A, наличие брандмауэра на клиенте 610A, аппаратные средства клиента 610A, программное обеспечение, выполняемое на клиенте 610A, записи реестра в клиенте 610A и/или т.п.
Классификатор 660 клиента включает в себя аппаратные средства, программно-аппаратные средства и/или программное обеспечение, сохраняемое на энергонезависимом машиночитаемом носителе данных. Классификатор 660 клиента при необходимости расположен на вычислительном устройстве, отдельно от одного или больше других элементов видеосерверной системы 620. Например, в некоторых вариантах осуществления классификатор 660 клиента используют для определения характеристик каналов связи между клиентами 610 и более чем одним экземпляром видеосерверной системы 620. В некоторых вариантах осуществления информация, обнаруженная классификатором клиента, может быть использована для определения того, какой экземпляр видеосерверной системы 620 лучше подходит для доставки потокового видео к одному из клиентов 610.
В некоторых вариантах осуществления данные среды, включают в себя данные реальной среды, данные о виртуальной среде или их сочетание. Данные о реальной среде включают в себя данные, созданные по одному или больше изображений реальной среды, например, реальные автомобили, реальные люди, реальные географические местоположения, реальные структуры, реальные здания, реальные деревья, реальные объекты, реальные живые существа, неживые существа и т.п. Данные реальной среды создаются с помощью камеры, например, видеокамеры, аудиокамеры и др., когда камера захватывает изображения реальной среды. Данные виртуальной среды представляют собой данные, созданные с помощью вычислительной машины, например, процессора, который выполняет игровую программу 117, и т.п.
В ряде вариантов осуществления один или больше пользователей, например, пользователь 108, другой пользователь и др. могут взаимодействовать с миром дополненной виртуальной реальности. Используемый здесь термин «мир дополненной виртуальной реальности» включает в себя реальную окружающую среду и виртуальную окружающую среду, которая представляет собой вымышленную, например, созданную на вычислительной машине и т.п., среду. Вымышленная окружающая среда имеет правила взаимодействия, имитируемые одним или больше процессоров, которые реальный пользователь может воспринимать через один или больше экранов дисплея и/или может взаимодействовать с ними через одно или больше устройств пользовательского интерфейса. Используемый здесь термин «устройство пользовательского интерфейса» относится к реальному устройству, например, HMD 104, ННС 106 (фиг. 1А-1С, 2) и т.п., с помощью которых пользователь 108 может отправлять входные сигналы в мир дополненной виртуальной реальности или принимать от него выходные сигналы. Мир дополненной виртуальной реальности может быть имитирован с помощью одного или больше процессорных модулей, например, одного или больше серверов игрового облака 102 (фиг. 1А-1С, 2), микроконтроллера 268 (фиг. 3), процессора 176 (фиг. 1С), и т.п. Один или больше процессорных модулей могут быть связаны вместе посредством сети 110 (фиг. 1А-1С, 2). Пользователь 108 может взаимодействовать с миром дополненной виртуальной реальности через устройство пользовательского интерфейса, которое может быть связано с процессорными модулями и другими устройствами пользовательского интерфейса через сеть 110. Некоторые аспекты мира дополненной виртуальной реальности могут быть представлены пользователю 108 в графической форме на экране графического дисплея, таком как, например, монитор вычислительной машины, телевизионный монитор, экран дисплея 266, экран дисплея ННС 106 или аналогичный дисплей. Некоторые другие аспекты мира дополненной виртуальной реальности могут быть представлены пользователю в звуковой форме на динамике, например, динамиках 260 (фиг. 3) динамиках вычислительной машины 172 (фиг. 1С), динамиках ННС 106 (фиг. 1А-1С) и т.п., которые могут быть связаны с графическим дисплеем.
В мире дополненной виртуальной реальности пользователи могут быть представлены аватарами. Каждый аватар в мире дополненной виртуальной реальности может быть однозначно связан с другим пользователем. Имя или псевдоним пользователя 108 может отображаться рядом с аватаром, так что пользователь 108 с легкостью идентифицируется другим пользователем. Взаимодействие пользователя 108 с миром дополненной виртуальной реальности может быть представлено с помощью одного или больше соответствующих действий аватара. Например, когда пользователь 108 выполняет движения головой, аватар выполняет такое же движение головой. В качестве другого примера, когда пользователь 108 выполняет движение рукой, аватар выполняет такое же движение рукой в мире дополненной виртуальной реальности. Разные пользователи могут взаимодействовать друг с другом в общественном пространстве дополненной виртуальной реальности, например, географическом регионе дополненной виртуальной реальности и т.п., с помощью своих аватаров. Аватар, представляющий пользователя 108, может иметь внешний вид, похожий на человека, животное или объект. Аватар в виде человека, может иметь тот же пол, что пользователь 108, или другой пол. Аватар может быть отображен на экране дисплея, например, экране дисплея 266 (фиг. 3), экране дисплея 544 (фиг. 10), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея вычислительной машины 172 (фиг. 1С) и т.п., так что пользователь 108 может видеть аватар вместе с другими объектами в мире дополненной виртуальной реальности.
В различных вариантах осуществления экран дисплея, например, экран дисплея 266 (фиг. 3), экран дисплея 544 (фиг. 10), экран дисплея ННС 106 (фиг. 1А-1С), экран дисплея вычислительной машины 172 (фиг. 1С) и т.п., может отображать мир дополненной виртуальной реальности с точки зрения аватара, без отображения аватара. Перспектива аватара в мире дополненной виртуальной реальности может рассматриваться как вид виртуальной камеры. Используемый здесь термин «виртуальная камера» относится к точке зрения в мире дополненной виртуальной реальности, которая может быть использована для воспроизведения двумерных изображений трехмерной сцены в мире дополненной виртуальной реальности. Пользователи могут взаимодействовать друг с другом в мире дополненной виртуальной реальности с помощью своих аватаров посредством каналов чата, связанных с каждым «залом ожидания». Пользователи могут вводить текст для беседы с другими пользователями через пользовательский интерфейс. Текст может появляться поверх или рядом с аватаром пользователя, например, в форме диалоговых кружков в стиле комиксов, иногда называемых кружками чата. Такой чат может быть облегчен путем использования стандартной системы фраз чата, иногда называемой «быстрый чат». При «быстром чате» пользователь 108 может выбрать одну или больше фраз чата из меню.
В некоторых вариантах осуществления общественное пространство представляет собой публику в сцене, в которой общественное пространство не однозначно связано с каким-либо конкретным пользователем или группой пользователей, и никакой пользователь или группа пользователей не может исключать другого пользователя из общественного пространства. Частное пространство, напротив, связано с конкретным пользователем среди множества пользователей. Частное пространство является частным в сцене, в которой конкретный пользователь, связанный с частным пространством, может ограничивать доступ в частное пространство других пользователей. Частное пространство может принимать вид привычного частного недвижимого имущества. В других вариантах осуществления пользователям не нужно контролировать аватары, видимые на экране дисплея, например, экране 266 дисплея (фиг. 3), экране 544 дисплея (фиг. 10), экране дисплея ННС 106 (фиг. 1А-1С), экране дисплея вычислительной машины 172 (фиг. 1С), и т.п. Аватары, отображаемые в виртуально пространстве, могут быть ботами, контролируемыми машиной, например, процессором и т.п. Боты аватаров, таким образом, могут двигаться по миру дополненной виртуальной реальности таким же образом, как это делают аватары, контролируемые пользователем 108, однако никакие реальные пользователи фактически не контролируют боты аватаров. Во многих случаях боты аватаров бродят по пространству, принимают меры, отправляют сообщения, назначают права для определенных сообщений, взаимодействуют с другими ботами аватаров или аватарами, контролируемыми реальными пользователями, и т.д. Кроме того, ботам может быть назначено взаимодействие определенным образом, изменение среды, отправка рекламы, отправка сообщений, построение виртуальных пространств, виртуальных задний или создание виртуальных объектов, графическое представление объектов, обмен реальными или виртуальными деньгами и т.п.
В некоторых вариантах осуществления наложение или совмещение является прозрачным, полупрозрачным или непрозрачным. Например, виртуальный объект, который наложен на реальный объект, является прозрачным, полупрозрачным или непрозрачным. В качестве другого примера виртуальная окружающая среда, которая наложена на реальную окружающую среду, является прозрачной, полупрозрачной или непрозрачной.
Описанные в настоящем документе варианты осуществления могут быть осуществлены с помощью различных конфигураций вычислительной системы, включая ручные устройства, микропроцессорные системы, микропроцессорные или программируемые бытовые электронные устройства, миникомпьютеры, универсальные вычислительные машины и т.п. Некоторые описанные в настоящем документе варианты осуществления также могут быть осуществлены в распределенной вычислительной среде, где задачи выполняются с помощью удаленных процессоров, которые связаны с помощью проводной или беспроводной сети.
Имея в виду вышеописанные варианты осуществления, должно быть понятно, что многие варианты осуществления, описанные в настоящем документе, могут использовать различные реализуемые на вычислительной машине операции, включающие данные, сохраняемые в вычислительных системах. Эти операций являются такими, которые требуют физических манипуляций физическими величинами. Какие-либо операции, описанные в настоящем документе, составляющие часть различных вариантов осуществления, описанных в настоящем документе, представляют собой полезные машинные операции. Некоторые варианты осуществления, описанные в настоящем документе, также относятся к устройствам или аппаратам для выполнения данных операций. Устройство может быть специально сконструировано для требуемой цели, или устройство может быть вычислительной машиной, избирательно активированной или настроенной с помощью машинной программы, сохраняемой в вычислительной машине. В частности, различные вычислительные машины могут быть использованы с машинными программами, написанными в соответствии с изложенными здесь принципами, или может быть более удобно создать более специализированное устройство для выполнения требуемых операций.
Различные варианты осуществления, описанные в настоящем документе, также могут быть встроены в качестве машиночитаемого кода на энергонезависимом машиночитаемом носителе данных. Энергонезависимый машиночитаемый носитель данных представляет собой какое-либо устройство для хранения данных, которое может сохранять данные, например, RAM, ROM, флэш-память, диск, и т.п., которые впоследствии могут быть считаны с помощью вычислительной системы. Примеры машиночитаемых носителей включают в себя жесткие диски, устройство хранения данных, подключаемое к сети (network attached storage, NAS), ROM, RAM, компакт диски ROM (CD-ROMs), записываемые компакт-диски (CD-recordables, CD-Rs), перезаписываемые компакт-диски (CD-rewritables, RWs), магнитные ленты и другие оптические и не оптические запоминающие устройства. Энергонезависимый машиночитаемый носитель данных может включать в себя машиночитаемый материальный носитель, распределенный в системе вычислительных машин, соединенной сетью, так что машиночитаемый код сохраняется и выполняется в распределенном виде.
Хотя операции способа были описаны в определенном порядке, должно быть понятно, что другие вспомогательные операции могут быть выполнены между операциями, или операции могут быть скорректированы таким образом, чтобы они происходили в немного разное время, или могли быть распределены в системе, что обеспечивает события операций обработки с различными интервалами, связанными с обработкой, или операции могут быть выполнены в другом порядке, при условии, что обработка операций наложения выполняется желаемым способом.
Хотя вышеуказанные варианты осуществления были описаны довольно подробно с целью ясности понимания, должно быть очевидно, что могут быть осуществлены определенные изменения и модификации в пределах объема прилагаемых пунктов формулы. Соответственно, настоящие варианты осуществления следует рассматривать как иллюстративные, а не ограничивающие, и различные варианты осуществления, описанные настоящем документе, не должны быть ограничены параметрами, указанными у настоящем документе, но могут быть модифицированы в пределах объема и эквивалентов прилагаемых пунктов формулы.

Claims (28)

1. Устанавливаемый на голове дисплей для ведения игры через игровую облачную систему, содержащий:
схему связи для передачи реальной среды в игровую программу через маршрутизатор и сеть, при этом игровая программа выполняется игровой облачной системой и реальная среда захватывается камерой устанавливаемого на голове дисплея, схема связи выполнена с возможностью связи с игровой облачной системой через маршрутизатор, который соединяется с сетью, без использования игровой приставки для связи с маршрутизатором; и
схему обработки данных игры, связанную со схемой связи, для декодирования машинно-генерируемой интерактивной среды, полученной от игровой облачной системы через сеть и маршрутизатор, при этом схема обработки данных игры выполнена с возможностью приведения в действие части интерактивности, связанной с игровой программой с помощью наложения машинно-генерируемой интерактивной среды на реальную среду, причем машинно-генерируемая интерактивная среда создана на основе реальной среды.
2. Устанавливаемый на голове дисплей по п. 1, в котором схему обработки данных игры используют для воспроизведения изображений реальной среды и машинно-генерируемой интерактивной среды.
3. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий:
схему пользовательского ввода, связанную со схемой обработки данных игры, для создания входного сигнала на основе движения головы пользователя, и
звуковую схему для создания звуков на основе декодированной среды или на основе входного сигнала.
4. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему пользовательского ввода, связанную со схемой обработки данных игры, причем схема пользовательского ввода служит для создания входного сигнала на основе движения головы пользователя, и схема пользовательского ввода включает в себя схему инерционного датчика для определения положения и движения.
5. Устанавливаемый на голове дисплей по п. 4, в котором схема инерционного датчика включает в себя гироскоп, магнитометр, акселерометр или их сочетание.
6. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему связи для облегчения пиринговой многоканальной связи между локальными пользователями путем составления пар.
7. Устанавливаемый на голове дисплей по п. 1, в котором схему связи используют для удаленного интерактивного многопользовательского ведения игры между пользователями через сеть.
8. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему пользовательского ввода, связанную со схемой обработки данных игры, для создания входного сигнала на основе движения головы пользователя, при этом схема связи, схема пользовательского ввода и схема обработки данных игры встроены в одну или больше отдельных интегральных микросхем.
9. Устанавливаемый на голове дисплей по п. 1, в котором схема обработки данных игры включает в себя микропроцессор для воспроизведения декодированной интерактивной среды, при этом устанавливаемый на голове дисплей дополнительно содержит буфер для буферизации машинно-генерируемой интерактивной среды.
10. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему связи для связи с ручным контроллером.
11. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему пользовательского ввода для приема действий от пользователя для создания входного сигнала, при этом входной сигнал представляет собой голос пользователя или взгляд пользователя.
12. Устанавливаемый на голове дисплей по п. 11, в котором обеспечена возможность установления соответствия указанного входного сигнала с входным сигналом ручного контроллера.
13. Устанавливаемый на голове дисплей по п. 1, который используется с ручным контроллером, сообщающимся напрямую с игровой облачной системой.
14. Устанавливаемый на голове дисплей по п. 1, который используется с ручным контроллером, причем положение и движение устанавливаемого на голове дисплея и положение и движение ручного контроллера представлено в одной сцене дополненной виртуальной реальности.
15. Устанавливаемый на голове дисплей по п. 1, который используется с ручным контроллером, сообщающимся с игровой приставкой.
16. Устанавливаемый на голове дисплей по п. 1, дополнительно содержащий схему пользовательского ввода для приема действий от пользователя для создания входного сигнала, включающего в себя положение и движение, определяемые схемой пользовательского ввода, причем схема связи передает входной сигнал в игровую облачную систему через маршрутизатор.
17. Способ ведения игры через игровую облачную систему, включающий в себя:
передачу, из устанавливаемого на голове дисплея, реальной среды в игровую программу через маршрутизатор и сеть, при этом игровая программа выполняется игровой облачной системой и реальная среда захватывается камерой устанавливаемого на голове дисплея, в котором устанавливаемый на голове дисплей соединяется с маршрутизатором без использования игровой приставки для связи с маршрутизатором;
декодирование машинно-генерируемой интерактивной среды, полученной из игровой облачной системы через сеть и маршрутизатор; и
приведение в действие части интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду, причем машинно-генерируемая интерактивная среда создана на основе реальной среды.
18. Энергонезависимый машиночитаемый носитель данных для хранения на нем машиноисполняемых команд для ведения игры через игровую облачную систему, причем машиноисполняемые команды при выполнении процессором вычислительной машины, выполняют следующее:
передачу, из устанавливаемого на голове дисплея, реальной среды в игровую программу через маршрутизатор и сеть, при этом игровая программа выполняется игровой облачной системой и реальная среда захватывается камерой устанавливаемого на голове дисплея, в котором устанавливаемый на голове дисплей соединяется с маршрутизатором без использования игровой приставки для связи с маршрутизатором;
декодирование машинно-генерируемой интерактивной среды, полученной из игровой облачной системы через сеть и маршрутизатор; и
приведение в действие части интерактивности, связанной с игровой программой, путем наложения машинно-генерируемой интерактивной среды на реальную среду, причем машинно-генерируемая интерактивная среда создана на основе реальной среды.
RU2015156217A 2013-06-07 2014-05-23 Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы RU2639118C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832776P 2013-06-07 2013-06-07
US61/832,776 2013-06-07
US14/144,210 US10137361B2 (en) 2013-06-07 2013-12-30 Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US14/144,210 2013-12-30
PCT/US2014/039409 WO2014197230A1 (en) 2013-06-07 2014-05-23 Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system

Publications (2)

Publication Number Publication Date
RU2015156217A RU2015156217A (ru) 2017-07-14
RU2639118C2 true RU2639118C2 (ru) 2017-12-19

Family

ID=52005903

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015156217A RU2639118C2 (ru) 2013-06-07 2014-05-23 Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы

Country Status (8)

Country Link
US (3) US10137361B2 (ru)
EP (2) EP3003514B1 (ru)
JP (3) JP6532864B2 (ru)
KR (5) KR20200098736A (ru)
CN (2) CN110083227B (ru)
BR (1) BR112015030580B1 (ru)
RU (1) RU2639118C2 (ru)
WO (1) WO2014197230A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2751130C1 (ru) * 2018-02-23 2021-07-08 Телефонактиеболагет Лм Эрикссон (Пабл) Способ координационного совмещения систем координат, используемых устройством генерируемой компьютером реальности и устройством для передачи тактильных ощущений

Families Citing this family (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
IL298018B2 (en) * 2013-03-11 2024-04-01 Magic Leap Inc System and method for augmentation and virtual reality
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
EP2973532A4 (en) 2013-03-15 2017-01-18 Magic Leap, Inc. Display system and method
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US9721383B1 (en) 2013-08-29 2017-08-01 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9785231B1 (en) * 2013-09-26 2017-10-10 Rockwell Collins, Inc. Head worn display integrity monitor system and methods
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9575319B2 (en) * 2014-03-10 2017-02-21 Ion Virtual Technology Corporation Method and system for reducing motion blur when experiencing virtual or augmented reality environments
JP6307627B2 (ja) 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
DE202014103729U1 (de) 2014-08-08 2014-09-09 Leap Motion, Inc. Augmented-Reality mit Bewegungserfassung
US9690367B2 (en) * 2014-12-10 2017-06-27 Sixense Entertainment, Inc. System and method for assisting a user in locating physical objects while the user is in a virtual reality environment
US9851786B2 (en) * 2014-12-10 2017-12-26 Sixense Entertainment, Inc. System and method for assisting a user in remaining in a selected area while the user is in a virtual reality environment
US20160342968A1 (en) * 2014-12-15 2016-11-24 Empire Technology Development Llc Loyalty program system
US10353532B1 (en) 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9767613B1 (en) * 2015-01-23 2017-09-19 Leap Motion, Inc. Systems and method of interacting with a virtual object
US10726625B2 (en) * 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
JP6693718B2 (ja) 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
EP4236299A3 (en) * 2015-02-27 2023-09-06 Sony Interactive Entertainment Inc. Display control program, dislay control device, and display control method
US9558760B2 (en) * 2015-03-06 2017-01-31 Microsoft Technology Licensing, Llc Real-time remodeling of user voice in an immersive visualization system
US10102674B2 (en) * 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
CN104699247B (zh) * 2015-03-18 2017-12-12 北京七鑫易维信息技术有限公司 一种基于机器视觉的虚拟现实交互***及方法
US9779554B2 (en) * 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
EP3286620A4 (en) * 2015-04-20 2018-12-05 Tiltsta Pty Ltd. Interactive media system and method
JP6501904B2 (ja) * 2015-05-27 2019-04-17 グーグル エルエルシー 球面ビデオのストリーミング
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
JP2018524134A (ja) * 2015-06-14 2018-08-30 株式会社ソニー・インタラクティブエンタテインメント Ｖｒ観戦のための拡大された視野再レンダリング
US9704298B2 (en) * 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
CN105653020A (zh) * 2015-07-14 2016-06-08 朱金彪 穿越时空的方法和装置以及使用其的眼镜或头盔
CN106358104A (zh) * 2015-07-15 2017-01-25 视讯联合科技股份有限公司 一种具备隐藏视像屏及多种传感器的耳机
CN105169701A (zh) * 2015-07-22 2015-12-23 陈飞 用于情境模拟训练/游戏的头盔
US10799792B2 (en) 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
CN105068648A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互***
KR20170134606A (ko) 2015-08-19 2017-12-06 선전 로욜 테크놀로지스 컴퍼니 리미티드 착용가능한 디스플레이 장비
WO2017028283A1 (zh) 2015-08-19 2017-02-23 深圳市柔宇科技有限公司 头戴式电子装置
KR102064204B1 (ko) 2015-08-19 2020-01-09 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드마운트형 전자 기기
WO2017028281A1 (zh) 2015-08-19 2017-02-23 深圳市柔宇科技有限公司 头戴式电子装置
CN105117017A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的手套
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
WO2017045110A1 (zh) * 2015-09-14 2017-03-23 深圳市柔宇科技有限公司 一种头戴式显示设备
US9711015B2 (en) * 2015-09-16 2017-07-18 Immersion Corporation Customizing haptic feedback in live events
CN105148513B (zh) * 2015-09-23 2017-06-06 腾讯科技（深圳）有限公司 智能硬件的操作方法及装置
CN105334959B (zh) * 2015-10-22 2019-01-15 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制***和方法
CN105334494B (zh) * 2015-10-22 2017-10-31 浙江大学 一种基于眼镜架的头部运动轨迹射频追踪***
CN106648043A (zh) * 2015-11-02 2017-05-10 广东虚拟现实科技有限公司 用于控制器的信号采集方法及控制器
CN105913371A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种针对虚拟现实应用延迟的***优化方法和装置
US10353473B2 (en) * 2015-11-19 2019-07-16 International Business Machines Corporation Client device motion control via a video feed
WO2017090298A1 (ja) * 2015-11-26 2017-06-01 株式会社コロプラ 仮想空間内オブジェクトへの動作指示方法、及びプログラム
CN105338272A (zh) * 2015-11-27 2016-02-17 广东长虹电子有限公司 基于VR技术及Miracast技术的电视机
WO2017088187A1 (zh) * 2015-11-27 2017-06-01 深圳市欢创科技有限公司 对虚拟现实设备实现位置追踪的***及方法
US11010972B2 (en) * 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US20170178395A1 (en) * 2015-12-16 2017-06-22 Google Inc. Light field rendering of an image using variable computational complexity
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10582017B2 (en) * 2015-12-24 2020-03-03 Intel Corporation Techniques to provide wireless storage and processing capabilities
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实***
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10089725B2 (en) * 2016-02-09 2018-10-02 Google Llc Electronic display stabilization at a graphics processing unit
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
JP6783541B2 (ja) 2016-03-30 2020-11-11 株式会社バンダイナムコエンターテインメント プログラム及び仮想現実体験提供装置
US10509487B2 (en) * 2016-05-11 2019-12-17 Google Llc Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106095090A (zh) * 2016-06-07 2016-11-09 北京行云时空科技有限公司 基于智能***的空间场景的操控方法、装置和***
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10249090B2 (en) 2016-06-09 2019-04-02 Microsoft Technology Licensing, Llc Robust optical disambiguation and tracking of two or more hand-held controllers with passive optical and inertial tracking
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
CN106094989A (zh) * 2016-06-10 2016-11-09 北京行云时空科技有限公司 一种增强现实图像定位显示方法、装置和***
CN109314800B (zh) * 2016-06-13 2022-02-01 索尼互动娱乐有限责任公司 用于将用户注意力引导到基于位置的游戏进行伴随应用的方法和***
US10126553B2 (en) * 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
EP3472716A4 (en) * 2016-06-21 2020-02-05 Blue Goji LLC MULTIPLE ELECTRONIC CONTROL AND TRACKING DEVICES FOR INTERACTIONS IN A MIXED REALITY
CN106200899A (zh) * 2016-06-24 2016-12-07 北京奇思信息技术有限公司 根据用户头部动作控制虚拟现实交互的方法及***
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10453262B1 (en) 2016-07-21 2019-10-22 Relay Cars LLC Apparatus and method for dynamic reflecting car mirrors in virtual reality applications in head mounted displays
US20180059812A1 (en) * 2016-08-22 2018-03-01 Colopl, Inc. Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
CN106648048A (zh) * 2016-09-18 2017-05-10 三峡大学 一种基于虚拟现实的外语学习方法与***
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
US10303820B2 (en) * 2016-09-27 2019-05-28 Google Llc Selective simulation of virtualized hardware inputs
CN109791346B (zh) 2016-09-27 2021-04-20 斯纳普公司 眼镜装置模式指示
KR20180041890A (ko) 2016-10-17 2018-04-25 삼성전자주식회사 가상 객체를 표시하는 방법 및 장치
CN106331181B (zh) * 2016-11-09 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种虚拟公交站台的实现方法及装置
WO2018101279A1 (ja) 2016-11-29 2018-06-07 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
CN106708258A (zh) * 2016-11-29 2017-05-24 维沃移动通信有限公司 一种虚拟现实终端的数据处理方法和虚拟现实终端
CN106648084A (zh) * 2016-12-09 2017-05-10 深圳市天易联科技有限公司 虚拟现实设备中的数据处理方法及装置
CN108205409A (zh) * 2016-12-16 2018-06-26 百度在线网络技术（北京）有限公司 用于调整虚拟场景的方法和装置以及设备
CN106823408B (zh) * 2016-12-30 2019-05-07 武汉市马里欧网络有限公司 基于ar的儿童积木搭建***及方法
US11740690B2 (en) 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
EP3579940A4 (en) * 2017-02-08 2020-11-18 Immersive Robotics Pty Ltd DISPLAYING CONTENT TO USERS IN A MULTIPLAYER LOCATION
JP2018142168A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP2018141874A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部搭載型表示装置及び画像形成光学系
JP2018148257A (ja) * 2017-03-01 2018-09-20 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106913449A (zh) * 2017-03-23 2017-07-04 郑州诚优成电子科技有限公司 互动式增强现实视力康复装置
SE540869C2 (en) * 2017-04-11 2018-12-11 Cargotec Patenter Ab A three dimensional presentation system using an orientation sensor and a digital curtain
CN110574375B (zh) * 2017-04-28 2023-06-02 苹果公司 视频流水线
CN107198876B (zh) * 2017-06-07 2021-02-05 北京小鸟看看科技有限公司 游戏场景的加载方法及装置
US10904449B2 (en) 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
KR102374408B1 (ko) * 2017-09-08 2022-03-15 삼성전자주식회사 가상 현실에서의 포인터 제어 방법 및 전자 장치
US10532814B2 (en) * 2017-09-11 2020-01-14 Disney Enterprises, Inc. Augmented reality travel route planning
US10341537B2 (en) * 2017-09-29 2019-07-02 Sony Interactive Entertainment America Llc Spectator view into an interactive gaming world showcased in a live event held in a real-world venue
US10556185B2 (en) * 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
US10668382B2 (en) * 2017-09-29 2020-06-02 Sony Interactive Entertainment America Llc Augmenting virtual reality video games with friend avatars
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
CN108031116A (zh) * 2017-11-01 2018-05-15 上海绿岸网络科技股份有限公司 实时进行动作行为补偿的vr游戏***
CN107831831B (zh) * 2017-11-13 2020-11-27 重庆市科源能源技术发展有限公司 一种电力企业员工业务内容培训***
CN107959887B (zh) * 2017-12-04 2019-12-10 神州租屏(武汉)网络技术有限公司 一种屏幕展示互动***及实现方法
CN108187338A (zh) * 2018-01-18 2018-06-22 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的高空跳伞***
CN108211365A (zh) * 2018-01-18 2018-06-29 安徽三弟电子科技有限责任公司 一种基于vr虚拟体验的过山车***
CN108452521A (zh) * 2018-01-18 2018-08-28 安徽三弟电子科技有限责任公司 一种基于vr虚拟现实的游戏***
CN108319369B (zh) * 2018-02-01 2021-04-27 网易（杭州）网络有限公司 驾驶交互方法、装置、存储介质及处理器
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field
JP2019149066A (ja) * 2018-02-28 2019-09-05 富士ゼロックス株式会社 情報処理装置及びプログラム
CN108196686B (zh) * 2018-03-13 2024-01-26 北京无远弗届科技有限公司 一种手部动作姿态捕捉设备、方法及虚拟现实交互***
CN110809149B (zh) * 2018-08-06 2022-02-25 苹果公司 用于计算机生成现实的媒体合成器
US10569164B1 (en) * 2018-09-26 2020-02-25 Valve Corporation Augmented reality (AR) system for providing AR in video games
US11347303B2 (en) * 2018-11-30 2022-05-31 Sony Interactive Entertainment Inc. Systems and methods for determining movement of a controller with respect to an HMD
CN109765035B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于渐变编码的vr头盔的移动延迟测量方法
CN109632263B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种基于光栅尺的vr头盔的移动延迟测量方法
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
KR102237608B1 (ko) * 2019-01-22 2021-04-09 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
WO2020171824A1 (en) * 2019-02-22 2020-08-27 Mursion, Inc. Peer to peer communication system and method
US11107293B2 (en) 2019-04-23 2021-08-31 XRSpace CO., LTD. Head mounted display system capable of assigning at least one predetermined interactive characteristic to a virtual object in a virtual environment created according to a real object in a real environment, a related method and a related non-transitory computer readable storage medium
US11327307B2 (en) 2019-05-03 2022-05-10 Microsoft Technology Licensing, Llc Near-eye peripheral display device
US20210405758A1 (en) * 2019-06-05 2021-12-30 Lg Electronics Inc. Method of controlling augmented reality electronic device
WO2020250106A1 (en) * 2019-06-08 2020-12-17 Pankaj Raut A system and a method for teleportation for enhanced audio-visual interaction in mixed reality (mr) using a head mounted device (hmd)
CN112068693A (zh) * 2019-06-10 2020-12-11 Oppo广东移动通信有限公司 控制方法、头戴设备、服务器和运算***
US11023095B2 (en) * 2019-07-12 2021-06-01 Cinemoi North America, LLC Providing a first person view in a virtual world using a lens
US11470017B2 (en) * 2019-07-30 2022-10-11 At&T Intellectual Property I, L.P. Immersive reality component management via a reduced competition core network component
WO2021061350A1 (en) * 2019-09-27 2021-04-01 Apple Inc. Managing devices having additive displays
TWI724615B (zh) * 2019-11-07 2021-04-11 南開科技大學 依據擴增實境之圖像配置進行解鎖的系統及其方法
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111475132A (zh) * 2020-04-07 2020-07-31 捷开通讯(深圳)有限公司 虚拟或增强现实文字输入方法、***及存储介质
US11257391B2 (en) 2020-04-27 2022-02-22 Nithin S Senthil System and a method for virtual learning of driving a vehicle
KR20220018330A (ko) 2020-08-06 2022-02-15 주식회사 엘지화학 양극 활물질 전구체 및 그 제조 방법
JP7197217B2 (ja) * 2021-06-04 2022-12-27 株式会社コナミアミューズメント ゲームシステム、それに用いるコンピュータプログラム、及び制御方法
KR102567805B1 (ko) * 2021-06-14 2023-08-21 (주)이머시브캐스트 컨트롤 입력 기반의 pc 게임 확장 vr 시스템
CN113542849B (zh) * 2021-07-06 2023-06-30 腾讯科技（深圳）有限公司 视频数据处理方法及装置、电子设备、存储介质
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
RU2470380C2 (ru) * 2007-07-11 2012-12-20 Сони Корпорейшн Устройство дисплея, способ обработки сигнала изображения и программа
US20130065692A1 (en) * 2011-09-14 2013-03-14 Steelseries Hq Apparatus for adapting virtual gaming with real world information
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system

Family Cites Families (104)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04350608A (ja) 1991-05-29 1992-12-04 Mitsubishi Electric Corp ズームレンズユニット
JP3163786B2 (ja) 1992-10-09 2001-05-08 ソニー株式会社 眼鏡型映像表示装置
JPH06176131A (ja) * 1992-12-03 1994-06-24 Namco Ltd 画像合成装置及びこれを用いた仮想体験装置
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
DE69732150T2 (de) * 1997-10-31 2006-01-12 Stmicroelectronics Asia Pacific (Pte) Ltd. Anordnung und verfahren für paketauflösung und zum ausrichten von eingangsdatenpaketen
US6490324B1 (en) 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
US6963937B1 (en) * 1998-12-17 2005-11-08 International Business Machines Corporation Method and apparatus for providing configurability and customization of adaptive user-input filtration
JP4374708B2 (ja) * 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
KR20020040676A (ko) * 2000-04-12 2002-05-30 이데이 노부유끼 데이터 전송 방법 및 데이터 전송 장치
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
US7445549B1 (en) * 2001-05-10 2008-11-04 Best Robert M Networked portable and console game systems
US7046214B2 (en) * 2003-12-17 2006-05-16 Information Decision Technologies, Llc Method and system for accomplishing a scalable, multi-user, extended range, distributed, augmented reality environment
JP2003346190A (ja) * 2002-05-29 2003-12-05 Canon Inc 画像処理装置
KR20050013233A (ko) 2002-06-26 2005-02-03 노키아 코포레이션 블루투스 ｒｆ 기반 ｒｆ 태그 판독/기록기
US7096383B2 (en) * 2002-08-29 2006-08-22 Cosine Communications, Inc. System and method for virtual router failover in a network routing system
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US9108107B2 (en) * 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US9756349B2 (en) * 2002-12-10 2017-09-05 Sony Interactive Entertainment America Llc User interface, system and method for controlling a video stream
US20040176143A1 (en) * 2003-02-07 2004-09-09 Willins Bruce A. System and method for wireless collection and presentation of data
WO2005022236A1 (en) 2003-09-03 2005-03-10 Human Sense Tech Co., Ltd. Hmd apparatus having a memory slot built-in thereof
JP2005165776A (ja) * 2003-12-03 2005-06-23 Canon Inc 画像処理方法、画像処理装置
KR100586818B1 (ko) 2004-02-18 2006-06-08 한국과학기술원 증강현실 기술을 이용하는 두부장착 디스플레이 장치
US20060230073A1 (en) * 2004-08-31 2006-10-12 Gopalakrishnan Kumar C Information Services for Real World Augmentation
US8460108B2 (en) * 2005-02-25 2013-06-11 Microsoft Corporation Computerized method and system for generating a gaming experience in a networked environment
US20070132785A1 (en) * 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US8275397B2 (en) 2005-07-14 2012-09-25 Huston Charles D GPS based friend location and identification system and method
WO2007020591A2 (en) * 2005-08-15 2007-02-22 Koninklijke Philips Electronics N.V. System, apparatus, and method for augmented reality glasses for end-user programming
KR20080080657A (ko) * 2005-12-22 2008-09-04 피케이알 리미티드 온라인 게이밍에 관한 개선
WO2008137432A2 (en) * 2007-05-01 2008-11-13 Dyyno Sharing of information and formatting information for transmission over a communication network
US8675017B2 (en) * 2007-06-26 2014-03-18 Qualcomm Incorporated Real world gaming framework
US8825468B2 (en) 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
US10058778B2 (en) * 2007-12-05 2018-08-28 Sony Interactive Entertainment America Llc Video compression system and method for reducing the effects of packet loss over a communication channel
US7730219B2 (en) * 2008-01-07 2010-06-01 Lenovo (Singapore) Pte. Ltd. System and method for detecting free and open wireless networks
US8786675B2 (en) 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
TW201018132A (en) * 2008-10-23 2010-05-01 Asustek Comp Inc Power saving control method for wireless LAN
US8199507B2 (en) * 2008-12-19 2012-06-12 Openpeak Inc. Telephony and digital media services device
WO2010129679A1 (en) 2009-05-08 2010-11-11 Kopin Corporation Remote control of host application using motion and voice commands
US8745494B2 (en) * 2009-05-27 2014-06-03 Zambala Lllp System and method for control of a simulated object that is associated with a physical location in the real world environment
US8320954B2 (en) * 2009-07-31 2012-11-27 Research In Motion Limited System and method for enabling messages to be sent while a mobile device is out-of-coverage
TWI392485B (zh) * 2009-12-03 2013-04-11 Univ Nat Yang Ming 一種具立體視覺之頭盔式弱視輔具裝置及系統
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8947455B2 (en) * 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
JP5499762B2 (ja) * 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20110214082A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
KR101171660B1 (ko) * 2010-03-01 2012-08-09 이문기 증강현실의 포인팅 장치
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
CA2696925A1 (en) * 2010-03-19 2011-09-19 Bertrand Nepveu Integrated field-configurable headset and system
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
US8649297B2 (en) * 2010-03-26 2014-02-11 Cisco Technology, Inc. System and method for simplifying secure network setup
WO2011129907A1 (en) 2010-04-13 2011-10-20 Sony Computer Entertainment America Llc Calibration of portable devices in a shared virtual space
JP4971483B2 (ja) * 2010-05-14 2012-07-11 任天堂株式会社 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法
US20110307927A1 (en) * 2010-06-11 2011-12-15 Toshihisa Nakano Method, system and apparatus for managing network services
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
EP2619749A4 (en) * 2010-09-21 2017-11-15 4IIII Innovations Inc. Head-mounted peripheral vision display systems and methods
US20120077437A1 (en) * 2010-09-27 2012-03-29 Sony Ericsson Mobile Communications Ab Navigation Using a Headset Having an Integrated Sensor
IL208600A (en) 2010-10-10 2016-07-31 Rafael Advanced Defense Systems Ltd Real-time network-based laminated reality for mobile devices
US20120092327A1 (en) * 2010-10-14 2012-04-19 Sony Corporation Overlaying graphical assets onto viewing plane of 3d glasses per metadata accompanying 3d image
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
CN105898429B (zh) 2011-02-25 2019-05-28 英派尔科技开发有限公司 能够增强现实演出的方法、设备和增强现实设备
US20120224070A1 (en) * 2011-03-04 2012-09-06 ZionEyez, LLC Eyeglasses with Integrated Camera for Video Streaming
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
CA3035118C (en) * 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8964008B2 (en) 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US20120327116A1 (en) * 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8190749B1 (en) * 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
JP2013044913A (ja) * 2011-08-24 2013-03-04 Sony Corp 表示装置及び表示制御方法
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US20130084976A1 (en) 2011-10-01 2013-04-04 Microsoft Corporation Game paradigm for language learning and linguistic data generation
US8971873B2 (en) * 2011-11-18 2015-03-03 General Motors Llc Method of selecting wireless base stations
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台***及应用方法
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8970960B2 (en) 2011-12-22 2015-03-03 Mattel, Inc. Augmented reality head gear
US9141194B1 (en) * 2012-01-04 2015-09-22 Google Inc. Magnetometer-based gesture sensing with a wearable device
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US20150170418A1 (en) * 2012-01-18 2015-06-18 Google Inc. Method to Provide Entry Into a Virtual Map Space Using a Mobile Device's Camera
WO2013161662A1 (ja) * 2012-04-23 2013-10-31 独立行政法人科学技術振興機構 動きガイド提示方法、そのシステム及び動きガイド提示装置
US20130286053A1 (en) * 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US9491425B2 (en) * 2012-07-10 2016-11-08 Empire Technology Development Llc Device and method for projecting a scrambled image
KR20140025930A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
US8971194B2 (en) * 2012-10-29 2015-03-03 At&T Intellectual Property I, L.P. Controlling wireless transition timers based on application and content
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US20140129343A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Dynamic targeted advertising avatar
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US20140172640A1 (en) 2012-12-19 2014-06-19 Wal-Mart Stores, Inc. Augmented reality shopping game
US9746926B2 (en) * 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US8976197B1 (en) * 2013-02-21 2015-03-10 Hurricane Electric LLC Solution generating devices and methods
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9082018B1 (en) * 2014-09-30 2015-07-14 Google Inc. Method and system for retroactively changing a display characteristic of event indicators on an event timeline
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US11882188B2 (en) * 2019-12-23 2024-01-23 Sony Interactive Entertainment Inc. Methods and systems for maintaining smooth frame rate during transmission of streaming video content
US20230289194A1 (en) * 2022-03-14 2023-09-14 Sony Interactive Entertainment Inc. Sled level boot management control of compute nodes for context switching using boot controllers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2470380C2 (ru) * 2007-07-11 2012-12-20 Сони Корпорейшн Устройство дисплея, способ обработки сигнала изображения и программа
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20130065692A1 (en) * 2011-09-14 2013-03-14 Steelseries Hq Apparatus for adapting virtual gaming with real world information
US20130083008A1 (en) * 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US20130083003A1 (en) * 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2751130C1 (ru) * 2018-02-23 2021-07-08 Телефонактиеболагет Лм Эрикссон (Пабл) Способ координационного совмещения систем координат, используемых устройством генерируемой компьютером реальности и устройством для передачи тактильных ощущений

Also Published As

Publication number Publication date
US20140364209A1 (en) 2014-12-11
KR20200098736A (ko) 2020-08-20
CN104238738A (zh) 2014-12-24
JP6532864B2 (ja) 2019-06-19
EP3003514A1 (en) 2016-04-13
EP3659682B1 (en) 2023-08-16
RU2015156217A (ru) 2017-07-14
EP3003514B1 (en) 2020-03-04
JP2020171712A (ja) 2020-10-22
KR20190090880A (ko) 2019-08-02
US20210220730A1 (en) 2021-07-22
CN104238738B (zh) 2018-12-28
US20190070498A1 (en) 2019-03-07
JP2016528942A (ja) 2016-09-23
JP6982466B2 (ja) 2021-12-17
KR20160018691A (ko) 2016-02-17
KR20180049225A (ko) 2018-05-10
BR112015030580A2 (pt) 2017-07-25
US10974136B2 (en) 2021-04-13
JP2018069069A (ja) 2018-05-10
CN110083227B (zh) 2022-08-23
JP7073444B2 (ja) 2022-05-23
KR20210097210A (ko) 2021-08-06
BR112015030580B1 (pt) 2021-11-09
EP3659682A1 (en) 2020-06-03
US10137361B2 (en) 2018-11-27
WO2014197230A1 (en) 2014-12-11
KR102378669B1 (ko) 2022-03-25
CN110083227A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
RU2639118C2 (ru) Системы и способы использования сокращенных транзитных участков для создания сцены дополненной виртуальной реальности с помощью устанавливаемой на голове системы
US11697061B2 (en) Systems and methods for reducing hops associated with a head mounted system
JP6438087B2 (ja) ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法