TWI555561B - 頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法 - Google Patents

頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法 Download PDF

Info

Publication number
TWI555561B
TWI555561B TW103119754A TW103119754A TWI555561B TW I555561 B TWI555561 B TW I555561B TW 103119754 A TW103119754 A TW 103119754A TW 103119754 A TW103119754 A TW 103119754A TW I555561 B TWI555561 B TW I555561B
Authority
TW
Taiwan
Prior art keywords
mounted display
game
hmd
head
data
Prior art date
Application number
TW103119754A
Other languages
English (en)
Other versions
TW201511803A (zh
Inventor
安東 米克海洛夫
毛夏東
Original Assignee
新力電腦娛樂股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新力電腦娛樂股份有限公司 filed Critical 新力電腦娛樂股份有限公司
Publication of TW201511803A publication Critical patent/TW201511803A/zh
Application granted granted Critical
Publication of TWI555561B publication Critical patent/TWI555561B/zh

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G09G3/3413—Details of control of colour illumination sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/301—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device using an additional display connected to the game console, e.g. on the controller
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法
本發明係關於用於使用頭戴式顯示器(HMD)及控制器來玩遊戲之方法及系統，以及HMD設備單元。
視訊遊戲業多年來已發生許多變化。隨著計算能力的擴展，視訊遊戲開發者同樣已創建了利用此等計算能力增長的遊戲軟體。為此目的，視訊遊戲開發者已經在編碼併入了複雜的運算及數學來產生非常真實的遊戲體驗之遊戲。然而，使用HMD設備玩遊戲仍需更多改良。
本發明之實施例正是在此情境下出現的。
本發明之實施例提供用於在頭戴式顯示器(HMD)上呈現遊戲之方法及系統。在一些實施例中，玩遊戲可能與使用者所使用的控制器相關或者係使用該控制器 來執行。該等方法定義追蹤HMD及控制器以及提供沈浸式互動性的方式。獲追蹤的HMD及控制器允許在三維空間內進行相關的互動遊戲。應瞭解，本發明可以許多方式來實行，諸如處理程序、設備、系統、裝置或電腦可讀媒體上的方法。以下描述本發明之若干發明性實施例。
揭示一種頭戴式顯示器，其包括一頭部附接部分。亦包括一耦接至該頭部附接部分之檢視模組。該檢視模組包括：一內側，其具有看向一螢幕之一視埠(view port)，該螢幕被建構成用於呈現影像內容；以及一外部殼體。進一步包括：與該檢視模組之該外部殼體整合的複數個發光元件。該複數個發光元件經定義用於該頭戴式顯示器之影像追蹤；以及發光邏輯，其用於控制該複數個發光元件起作用(active)或不起作用(inactive)。
在一些實施例中，藉由通訊模組來交換之資料包括輸入資料、影像資料、音訊資料以及慣性資料。
在一些實施例中，該複數個發光元件係定義為發光二極體(LED)或紅外(IR)發射器。
在一些實施例中，LED經定義來發出一或多個顏色的光，該一或多個顏色的發光係由發光邏輯來控制。
在一些實施例中，該複數個發光元件在該外部殼體上配置成已定義的圖案。
在一些實施例中，該外部殼體具有一部分彎曲形狀，且該複數個發光元件繞該部分彎曲形狀配置成一 圖案。
在一些實施例中，該外部殼體具有多個部分，且該複數個發光元件繞該多個部分配置成一圖案。
在一些實施例中，其中該複數個發光元件包括兩個或兩個以上的形狀或大小。
在一些實施例中，其中該複數個發光元件中之額外發光元件連接至該頭部附接部分。
在另一實施例中，揭示一種頭戴式顯示器(HMD)。該HMD包括：一頭部附接部分，其用於置放於一使用者之頭上；以及一檢視模組，其耦接至該頭部附接部分且被建構用於置放於一使用者之眼睛前方。該檢視模組包括：一內側，其具有看向一螢幕之一視埠，該螢幕被建構成用於呈現影像內容；以及一外部殼體，其圍繞該內側。該HMD進一步包括一通訊模組，其用於與一電腦系統交換資料。該資料包括輸入資料、影像資料、音訊資料以及慣性資料(且其他資料係可能的)。該HMD亦包括：一影像處理模組，其用於處理該影像資料以便在該螢幕上呈現該影像內容；以及與該檢視模組之該外部殼體整合的複數個發光元件。該複數個發光元件經定義用於該頭戴式顯示器藉由一攝影機之影像追蹤。該HMD亦包括發光邏輯，其用於控制該複數個發光元件中之特定發光元件在特定時間或在使用期間起作用或不起作用。
在一些實施例中，該外部殼體具有一面向前的部分、一左側部分以及一右側部分。
在一些實施例中，該複數個發光元件中之一者安置於該左側部分，且該複數個發光元件中之另一者發光安置於該右側部分。
在一些實施例中，該複數個發光元件中的該第一發光元件具有部分地安置於該面向前的部分及該左側部分中之兩段式形狀(two-part shape)，且該複數個發光元件中的該第二發光元件具有部分地安置於該面向前的部分及該右側部分中之兩段式形狀。
在一些實施例中，該複數個發光元件係定義為發光二極體(LED)或紅外(IR)發射器。
在一些實施例中，LED經定義來發出一或多個顏色的光，該一或多個顏色的發光係由發光邏輯來控制。
在一些實施例中，該複數個發光元件在該外部殼體上配置成預定義的圖案。
在一些實施例中，該通訊模組係具有與電腦成有線連接或無線連接之通訊模組。
在一些實施例中，該慣性資料係由該頭戴式顯示器在由使用者戴上時回應於偵測到之移動所產生的。
在一些實施例中，該輸入資料係由該頭戴式顯示器在由使用者戴上時回應於使用者輸入所產生的。
在一些實施例中，該音訊資料及該影像資料與將要在該頭戴式顯示器處呈現之互動媒體內容相關聯。
在一些實施例中，該互動媒體內容包括遊戲 資料、視訊資料、網際網路導航資料、遊戲資料與網際網路資料之組合、社交媒體資料，或其組合。
在一些實施例中，該外部殼體具有一部分彎曲形狀，且該複數個發光元件繞該部分彎曲形狀配置成一圖案。
在一些實施例中，該外部殼體具有多個部分，且該複數個發光元件繞該多個部分配置成一圖案。
在一些實施例中，該複數個發光元件包括兩個或兩個以上的形狀或大小。
在一些實施例中，其中該複數個發光元件中之額外發光元件連接至該頭部附接部分。
在一些實施例中，該複數個發光元件在該外部殼體上配置成已定義的圖案。
在另一實施例中，揭示一種頭戴式顯示器。
該頭戴式顯示器包括一主體，該主體包括一頭部附接部分及一檢視模組。該檢視模組包括一內側，其具有看向一螢幕之一視埠，該螢幕被建構成用於呈現影像內容，且該主體包括一覆蓋該檢視模組之外部殼體。該頭戴式顯示器進一步包括與該檢視模組之該外部殼體整合的複數個發光元件。該複數個發光元件經定義用於該頭戴式顯示器之影像追蹤。該複數個發光元件配置成圖案。亦包括發光邏輯，其用於控制該複數個發光元件起作用來促進該影像追蹤。
提供一種用於執行一遊戲的方法，該遊戲係呈現在一頭戴式顯示器(HMD)之一螢幕上。執行在該螢幕 上呈現該遊戲之互動場景。該方法包括接收使用者佩戴的HMD之資料來識別一HMD空間定位。該方法亦包括接收該使用者握著的一控制器之資料來識別一控制器空間定位。在玩遊戲期間，該方法包括在該螢幕上呈現一看向該遊戲之互動場景之視角，其中該視角係三維呈現的一空間體積。該方法包括在偵測到該HMD空間定位改變時調整該視角。該控制器可驅動該遊戲中的互動性，且該控制器之定位變化與該HMD之定位變化相關，以便提供沈浸式三維遊戲體驗。
在一些實施例中，該控制器提供驅動互動性之輸入。
在一些實施例中，該控制器空間定位之變化提供額外輸入。
在一些實施例中，該額外輸入包括燈或慣性資料中之一者。
在一些實施例中，該等燈在由攝影機看到時提供位置資料且該等燈之顏色提供額外資料。
在一些實施例中，該顏色指示玩家數或基於房間條件的模式或設定。
在一些實施例中，該控制器在互動場景中表示為一虛擬物件，該虛擬物件在互動場景中呈現在一虛擬空間定位中，該虛擬空間定位大體上對映至該控制器空間定位，且該控制器空間定位之變化改變該螢幕上所展示的該虛擬物件之虛擬空間定位。
在另一實施例中，提供一種用於執行一遊戲的方法，該遊戲係呈現在一頭戴式顯示器(HMD)之一螢幕上。該方法包括執行一遊戲，其中該執行在該螢幕上呈現該遊戲之互動場景。該方法包括：接收使用者佩戴的HMD之資料來識別一HMD空間定位；接收該使用者握著的一控制器之資料來識別一控制器空間定位；在該螢幕上呈現一看向該遊戲之互動場景之視角；以及在偵測到該HMD空間定位改變時調整該視角，該方法係由一處理器來執行。
在一些實施例中，該控制器在互動場景中表示為一虛擬物件，該虛擬物件在互動場景中呈現在一虛擬空間定位中，該虛擬空間定位對映至該控制器空間定位，且該控制器空間定位之變化改變該虛擬物件之虛擬空間定位。
在一些實施例中，該等互動場景係以三維格式呈現，以使得該等互動場景中之物件出現在HMD前方且向該等互動場景中延伸一距離。
在一些實施例中，使用影像資料、慣性資料、無線資料、紅外資料或其組合中之一或多者來追蹤該HMD空間定位及該控制器空間定位。
在一些實施例中，使用影像資料的追蹤包括使用一提供深度資料的立體攝影機來偵測該HMD空間定位及該控制器空間定位中之一者或兩者。
在另一實施例中，提供一種用於執行一遊戲 的方法，該遊戲係呈現在一頭戴式顯示器(HMD)之一螢幕上。該方法包括執行一遊戲，其中該執行在該螢幕上呈現該遊戲之互動場景。該方法包括：接收使用者佩戴的HMD之影像來識別相對於一朝向該使用者之捕獲位置的一HMD空間定位；接收該使用者握著的一控制器之影像來識別相對於該捕獲位置的一控制器空間定位，該控制器提供輸入來至少部分地驅動與所執行的遊戲之互動；在該螢幕上呈現一看向該遊戲之互動場景之視角；以及在該HMD之所接收影像中偵測到該HMD空間定位改變時調整該視角。
在一些實施例中，該控制器在互動場景中表示為一虛擬物件，該虛擬物件在互動場景中呈現在一虛擬空間定位中，該虛擬空間定位對映至該控制器空間定位，且該控制器空間定位之變化改變該虛擬物件之虛擬空間定位。
在一些實施例中，該遊戲係在一電腦上執行，該電腦可通訊地連接至該頭戴式顯示器。
在一些實施例中，該遊戲係在一遊戲雲端上執行，且該頭戴式顯示器可通訊地連接至該遊戲雲端。
在一些實施例中，該HMD空間定位及該控制器空間定位中之每一者另外可藉由慣性資料來識別。
本發明之其他態樣將自結合附圖進行的藉由實例來例示出本發明之原理的以下詳細描述變得顯而易見。
100‧‧‧使用者
102‧‧‧頭戴式顯示器、HMD
1021‧‧‧頭部附接部分
1022‧‧‧檢視模組
1022a‧‧‧內側
1022b‧‧‧外部殼體
1022b1‧‧‧面向前的部分、部分
1022b2‧‧‧左側部分、部分
1022b3‧‧‧右側部分、部分
104‧‧‧控制器
106‧‧‧電腦
108‧‧‧攝影機
110‧‧‧網路
112‧‧‧雲端遊戲提供者
200A‧‧‧燈
200B‧‧‧燈
200C‧‧‧燈
200D‧‧‧燈
200E‧‧‧燈
200F‧‧‧燈
200G‧‧‧燈
200H‧‧‧燈
202A‧‧‧影像捕獲設備
202B‧‧‧影像捕獲設備
204A‧‧‧麥克風
204B‧‧‧麥克風
300‧‧‧運動感測器
302‧‧‧麥克風
304‧‧‧揚聲器
306‧‧‧眼睛
308‧‧‧光學元件
310‧‧‧顯示器/投影儀機構
312‧‧‧注視追蹤攝影機
314‧‧‧控制器輸入
316‧‧‧音訊輸入
318‧‧‧運動輸入
320‧‧‧遊戲引擎
322‧‧‧視訊呈現模組
324‧‧‧音訊呈現模組
326‧‧‧觸覺回饋模組
1300‧‧‧處理器
1302‧‧‧記憶體
1304‧‧‧顯示器
1306‧‧‧電池
1308‧‧‧運動偵測模組
1310‧‧‧磁強計
1312‧‧‧加速計
1314‧‧‧迴轉儀
1316‧‧‧攝影機
1318‧‧‧深度攝影機
1320‧‧‧揚聲器
1322‧‧‧麥克風
1324‧‧‧觸覺回饋模組
1326‧‧‧發光二極體
1328‧‧‧讀卡器
1330‧‧‧USB介面
1332‧‧‧WiFi模組
1334‧‧‧藍芽模組
1336‧‧‧通訊鏈路
1338‧‧‧輸入按鈕/感測器
1340‧‧‧超音波通訊模組
1342‧‧‧生物感測器
1400‧‧‧遊戲系統
1410‧‧‧用戶端
1410A‧‧‧用戶端
1410B‧‧‧用戶端
1415‧‧‧網路
1420‧‧‧視訊伺服器系統
1425‧‧‧遊戲伺服器
1430‧‧‧視訊源
1445‧‧‧I/O設備
1450‧‧‧處理器
1455‧‧‧非暫時性儲存器
1460‧‧‧用戶端限定器
參考結合附圖進行的以下描述，可最好地理解本發明，在附圖中：圖1例示出根據本發明之一實施例之用於視訊遊戲的互動遊戲之系統。
圖2例示出根據本發明之一實施例之頭戴式顯示器(HMD)。
圖3根據本發明之一實施例結合正在執行的視訊遊戲概念性地例示出HMD的功能。
圖4A至圖4B根據本發明之一實施例例示出可自HMD以3D方式看到的虛擬空間之實例以及與控制器的互動及其協調。
圖5A至圖9B根據本發明之一實施例例示出佩戴HMD且握著控制器並且改變看向為視訊遊戲所產生的互動場景之視角之使用者的額外實例。
圖10及圖11例示出在與視訊遊戲介接時佩戴HMD且握著控制器的使用者。
圖12例示出根據本發明之一實施例之頭戴式顯示器的組件。
圖13係根據本發明之各種實施例之遊戲系統的方塊圖。
圖1例示出根據本發明之一實施例之用於視訊遊戲的互動遊戲之系統。儘管本文中參考視訊遊戲及遊戲來提供實例，但實施例亦可用於不同的環境及工具中。此類環境可包括商務工具環境、簡報工具、會議電話系統、虛擬造訪計劃、虛擬項目協同、資訊共享以及社交互動、社交性網路連結、社交性資料採擷、通訊等。
在視訊遊戲實例中，將使用者100展示為佩戴頭戴式顯示器(HMD)102。以類似於眼鏡、護目鏡或頭盔之方式戴上HMD 102且HMD 102被建構成向使用者100顯示視訊遊戲或其他內容。HMD 102藉由在緊靠使用者的眼睛處提供顯示機構來向使用者提供非常沈浸式的體驗。因此，HMD 102可向使用者的眼睛中之每一者提供顯示區，其佔據使用者的視野之大部分或甚至全部。
在一個實施例中，HMD 102可連接至電腦106。至電腦106之連接可為有線或無線連接。電腦106可為此項技術中已知的任何通用電腦或專用電腦，其包括但不限於：遊戲控制台、個人電腦、膝上型電腦、平板型電腦(tablet computer)、行動設備、行動電話、平板電腦(tablet)、精簡型(thin)用戶端、機上盒、媒體串流傳輸設備等。在一個實施例中，電腦106可被建構成執行視訊遊戲，且輸出來自視訊遊戲之視訊及音訊以便由HMD 102呈現。
使用者100可操作控制器104來提供用於視訊遊戲之輸入。另外，攝影機108可被建構成捕獲使用者 100所在的互動環境之影像。可分析此等所捕獲影像來判定使用者100、HMD 102及控制器104之位置及移動。在一個實施例中，控制器104包括燈，可追蹤該燈來判定控制器104之位置及定向。另外，如以下更詳細地描述，HMD 102可包括一或多個燈，可追蹤該一或多個燈來判定HMD 102之位置及定向。該等燈被視為發光物件。
在一個實施例中，發光物件係可發射光或輝光以便在由人眼看到及/或由攝影機或影像偵測設備或偵測器或接收器看到時提供明顯差異之發光物件。在一個實施例中，發光物件可發射人類可見的光，且在其他實施例中，發光物件可發射人類不可見的光。發光物件在一個實施例中可經由IR發射器發射紅外(IR)光。在一個實例中，發光物件可為一或多個發光二極體(LED)。每一個二極體可發射白光或各種明暗度的彩色光。在一些實施例中，發光物件可置放於至少部分透明的表面下方。該表面可為蓋子，以使得該蓋子可發亮或表現為一或多個顏色。
在一些實施例中，將發光物件整合於HMD之主體或殼體中，置放於HMD上的淺色或透明塑膠下方，在HMD之表面上曝露出來，置放於彩色罩/以特定顏色發光之材料下方，且/或配置成特定形狀，以便改良可偵測性，改良追蹤(例如，以便識別傾斜、滾動、偏轉及深度)。在各種實例中，HMD可包括位於各種位置的各種發光物件，以使得HMD可自前方、側面及後方加以追蹤。在一個實施例中，可將發光物件添加至HMD之頭帶，此 類發光物件可在各種位置附接至頭帶之側面，其可在使用者移動、轉動、轉圈等時增強追蹤。
在一個實施例中，可將發光邏輯整合於HMD中。HMD可包括用於啟動發光物件之一或多個電路。在簡單組態中，發光邏輯可由以下各者來定義：將發光物件連接至電路的電線、開關、觸發器、晶片、控制器、CPU(中央處理單元)、DSP(數位信號處理器)、ASIC(特殊應用積體電路)，及/或韌體及/或軟體。發光物件可因此控制發光物件中之一者或全部何時開啟，保持開啟，閃爍，根據程式碼開啟/關閉，變換顏色，變換特定顏色來區分遊戲之多個HMD玩家等。在一些實施例中，HMD之電路可包括用於接收並處理影像資料之邏輯。
例如自電腦或遊戲控制台接收到之影像資料可由HMD接收且被處理。資料之處理可包括將影像資料呈現至檢視模組上。檢視模組可包括螢幕，其呈現影像以便經由HMD看到。在一些實施例中，HMD之螢幕可定義為兩個分開的螢幕，例如，每只眼睛一個螢幕。在另一實施例中，螢幕可為單個螢幕，藉此允許每只眼睛使用光學元件聚焦於螢幕上。
攝影機108可包括一或多個麥克風來捕獲來自互動環境之聲音。可處理由麥克風陣列捕獲之聲音來識別聲音源之位置。可選擇性地利用或處理來自所識別位置之聲音，以便排除並非來自所識別位置之其他聲音。此外，攝影機108可定義成包括多個影像捕獲設備(例如攝 影機之立體像對)、IR攝影機、深度攝影機及其組合。
在另一實施例中，電腦106充當經由網路與雲端遊戲提供者112通訊之精簡型用戶端。雲端遊戲提供者112維護並執行使用者102所玩的視訊遊戲。電腦106將來自HMD 102、控制器104及攝影機108之輸入傳輸至雲端遊戲提供者，雲端遊戲提供者處理該等輸入來影響正在執行之視訊遊戲的遊戲狀態。來自正在執行之視訊遊戲的輸出(諸如視訊資料、音訊資料及觸覺回饋資料)被傳輸至電腦106。電腦106可在傳輸之前進一步處理資料，或可將資料直接傳輸至相關設備。例如，將視訊串流及音訊串流提供至HMD 102，而將振動回饋命令提供至控制器104。
在一個實施例中，HMD 102、控制器104及攝影機108本身可為經網路連接之設備，其連接至網路110來與雲端遊戲提供者112通訊。例如，電腦106可為諸如路由器之區域網路設備，其並不另外執行視訊遊戲處理，但促進通道網路流量。HMD 102、控制器104及攝影機108至網路之連接可為有線或無線連接。
圖2例示出根據本發明之一實施例之頭戴式顯示器(HMD)。如所展示，HMD 102包括頭部附接部分1021和檢視模組1022，該檢視模組1022具有內側1022a和外部殼體1022b，其中該外部殼體1022b形成有複數個燈200A至200H(LED為佳)。此等燈中之每一者可被建構成成具有特定形狀，且可被建構成成具有相同或不同的 顏色。該等燈亦可在HMD上按特定圖案來定向並定義以便改良追蹤。燈200A、200B、200C及200D配置在HMD 102的前表面上。燈200E及200F配置在HMD 102的外部殼體1022b的左側部分1022b2和右側部分1022b3上。且燈200G及200H配置在HMD 102的轉角處，以便跨過HMD 102的面向前的部分1022b1及兩個側部分1022b2，1022b3。應瞭解，在互動環境之所捕獲影像中可識別該等燈，使用者在該互動環境中使用HMD 102。基於對燈的識別及追蹤，可判定HMD 102在互動環境中之位置及定向。應進一步瞭解，取決於HMD 102相對於影像捕獲設備之特定定向，該等燈中之一些可能可見或可能不可見。此外，取決於HMD 102相對於影像捕獲設備之特定定向，燈(例如，燈200G及200H)之不同定位可曝露以便進行影像捕獲。
在一個實施例中，該等燈可被建構成向附近的其他人指示HMD之當前狀態。例如，該等燈中之一些或全部被建構成成具有特定顏色配置、強度配置，被建構成閃光，具有特定的開啟/關閉組態或指示HMD 102之當前狀態的其他配置。舉例而言，該等燈可被建構成在視訊遊戲之作用中玩遊戲(通常係在作用中時間線期間或在遊戲之場景內發生的玩遊戲)與視訊遊戲之其他非作用中玩遊戲態樣(諸如，巡覽選單介面或被建構成遊戲設定，在此期間，遊戲時間線或場景可為非作用中或暫停)期間顯示不同的組態。該等燈亦可被建構成指示玩遊戲之相對強 度等級。例如，燈之強度或閃光速率可在玩遊戲之強度增加時增加。以此方式，在使用者以外的人可看到HMD 102上的燈，且明白使用者正積極參與激烈的玩遊戲且可能不希望在那一刻受到打擾。
HMD 102可另外包括一或多個麥克風。在所例示實施例中，HMD 102包括：定義於HMD 102的面向前的部分1022b1上之麥克風204A及204B；以及定義於HMD 102的兩個側部分1022b2，1022b3的任一者上之麥克風204C。藉由利用麥克風之陣列，可處理來自該等麥克風中之每一者的聲音來判定聲音源之位置。可以各種方式利用此資訊，該等方式包括：排除不需要的聲音源，使聲音源與視覺識別相關聯等。
HMD 102亦可包括一或多個影像捕獲設備。在所例示實施例中，將HMD 102展示為包括影像捕獲設備202A及202B。藉由利用影像捕獲設備之立體像對，可自HMD 102之角度捕獲環境之三維(3D)影像及視訊。可將此視訊呈現給使用者來給佩戴HMD 102時的使用者提供「視訊透視」能力。亦即，雖然使用者在嚴格意義上不能透過HMD 102看見東西，但影像捕獲設備202A及202B所捕獲的視訊可提供看見在HMD 102外部的環境之能力的功能等效物，就如同透過HMD 102來看一樣。此視訊可由虛擬元素加以擴增來提供擴增實境體驗，或可以其他方式與虛擬元素組合或混合。雖然在所例示實施例中在HMD 102的面向前的部分1022b1上展示兩個攝影機， 但應瞭解，可能存在安裝在HMD 102上之任何數目個面向外的攝影機，其定向於任何方向中。例如，在另一實施例中，可能存在安裝在HMD 102的側面上之攝影機，以便提供對環境之額外全景影像捕獲。
圖3根據本發明之一實施例結合正在執行的視訊遊戲概念性地例示出HMD 102的功能。正在執行的視訊遊戲係由遊戲引擎320定義，該遊戲引擎接收輸入來更新視訊遊戲之遊戲狀態。視訊遊戲之遊戲狀態可至少部分由視訊遊戲之各種參數的值來定義，該等參數定義當前玩遊戲之各種態樣，諸如物件之存在及位置、虛擬環境之條件、事件之觸發、使用者設定檔、視角等。
在所例示實施例中，藉由實例，遊戲引擎接收控制器輸入314、音訊輸入316及運動輸入318。控制器輸入314可由與HMD 102分開的遊戲控制器(諸如控制器104)之操作來定義。舉例而言，控制器輸入314可包括方向輸入、按鈕按壓、觸發器啟動、移動，或由遊戲控制器之操作加以處理的其他種類之輸入。音訊輸入316可由HMD 102之麥克風302加以處理，或由影像捕獲設備108中所包括之麥克風加以處理。運動輸入218可由HMD 102中所包括之運動感測器300加以處理，或由影像捕獲設備108在其捕獲HMD 102之影像時加以處理。遊戲引擎320接收輸入，根據遊戲引擎之組態處理該等輸入來更新視訊遊戲之遊戲狀態。遊戲引擎320將遊戲狀態資料輸出至各種呈現模組，該等呈現模組處理遊戲狀態資料來定 義將要呈現給使用者的內容。
在所例示實施例中，視訊呈現模組322經定義來呈現視訊串流以便呈現在HMD 102上。視訊串流可由顯示器/投影儀機構310呈現，且由使用者的眼睛306經由光學元件308看到。音訊呈現模組324被建構成呈現音訊串流以便由使用者聽到。在一個實施例中，音訊串流係經由與HMD 102相關聯的揚聲器304輸出。應瞭解，揚聲器304可呈以下形式：戶外揚聲器、頭戴式耳機或能夠呈現音訊之任何其他種類之揚聲器。
在一個實施例中，HMD 102中包括注視追蹤攝影機312來允許對使用者之注視的追蹤。注視追蹤攝影機捕獲使用者的眼睛之影像，對其進行分析來判定使用者之注視方向。在一個實施例中，關於使用者之注視方向的資訊可用來影響視訊呈現。例如，若判定使用者的眼睛看著特定方向，則可諸如藉由在使用者所看的區中提供更多細節或更快更新來優先化或強調針對該方向之視訊呈現。
另外，觸覺回饋模組326被建構成提供信號至觸覺回饋硬體，該觸覺回饋硬體包括於HMD 102中或由使用者操作之另一設備(諸如控制器104)中。觸覺回饋可呈各個種類之觸覺的形式，諸如振動回饋、溫度回饋、壓力回饋等。
圖4A根據本發明之一個實施例例示出對互動空間之三維視圖，其展示出使用者所玩的視訊遊戲之場景。在此實例中，使用者佩戴頭戴式顯示器(HMD)且握著 控制器，如圖4B所示。在一個實施例中，由朝向使用者之攝影機監視使用者，如圖4B所示。攝影機可為單色攝影機或可識別深度的立體攝影機。攝影機可在玩遊戲期間識別控制器及頭戴式顯示器。對控制器及頭戴式顯示器的識別將識別各自的空間定位。可追蹤各自的空間定位來獨立地識別控制器及頭戴式顯示器之移動。追蹤可包括使用攝影機所捕獲的影像來識別定位及定位變化速率及定位變化等。在另一實施例中，控制器及HMD將各自包括電路，該電路包括可向基地台電腦傳達回資料之慣性感測器。包含慣性感測器資料(及其他日期)之資料可經處理來識別定位、定位變化、定位變化速率及其他6軸型資料元素。
因此，應理解，一些實施例將包括攝影機，而其他實施例將不包括攝影機。在使用攝影機之實施例中，偵測到使用者在玩遊戲時面向前，如圖4A所示。當使用者握著控制器時，如圖4B所示，使用者的手可表現為伸進HMD之螢幕上所呈現之三維場景中。在一個實施例中，看向由正在執行的遊戲產生之互動內容之場景的視角將改變。在一個實施例中，改變係由使用者在佩戴頭戴式顯示器時的頭部移動所提供之定位或視圖來驅動。
為例示出看向互動空間之視角，在勾畫出3D體積之輪廓的虛線內展示使用者看到的區域。在圖中，用虛線展示不可看到(因為使用者未看著該特定區或方向)的互動場景資料。在操作中，直至使用者看著該特定位置或 方向，才呈現虛線中的內容。然而，為提供與使用者在頭戴式顯示器之螢幕中看到互動場景之特定部分的能力有關的清晰性，已提供虛線。
在一個實施例中，可偵測使用者的手在握著控制器時的定位且可將其展示為進入HMD之螢幕，就如同使用者將他的手伸進互動場景中一樣。此係例示於圖4A中，其中使用者在描繪賽車場景之視訊遊戲中握著方向盤。應注意，HMD之圖式僅例示出R&D型HMD，且可以更符合人體工學且製成品的方式產生商用實施例。
HMD可給使用者提供看向互動場景之視圖。如圖4B所示，使用者握著的控制器例示出使用者可能正在玩遊戲，其中追蹤運動、定位、按鈕輸入等且使其與提供至在電腦系統上執行之遊戲的輸入相關。如以下所描述，電腦系統可為：遊戲控制台、獨立電腦、平板電腦、智慧型電話、基於網路之電腦、雲端伺服器，或能夠處理指令之任何其他系統。在又一實施例中，控制器及或HMD可直接與網路通訊。網路隨後與雲端系統通訊以便執行指令。
圖5A例示出使用者向左轉動他的頭，從而曝露出看向互動場景之額外視角的實施例。圖5B例示出向左轉動他的頭之現實世界使用者之定位，此轉動觸發了在使用者前方呈現自頭戴式顯示器之螢幕看到之不同的三維場景。另外，圖5B例示出使用者向左轉動控制器。向左轉動可為逐步的或突然，且可使用控制器之慣性感測器偵 測到，其中此資料被傳遞至計算設備來進行處理。在另一實施例中，可由偵測不同空間定位之攝影機監視控制器之移動。可藉由識別攝影機所看到的控制器之定位或定向或者定位及定向來監視不同空間定位。
如圖5A所示，圖5B中所表示的使用者使控制器向左移動將導致使用者在虛擬場景中向左轉動方向盤。因此，可在自頭戴式顯示器之螢幕看到之虛擬場景中表示使用者對控制器所做的動作。同時，如圖5A所示，看向虛擬場景之視角亦將基於頭戴式顯示器之偵測到的定位及定向而改變。偵測頭戴式顯示器之定位可能係藉由識別燈、標記、紅外發光或其組合。
在其他實施例中，對頭戴式顯示器之空間定位之識別可能係藉由追蹤頭戴式顯示器中之慣性感測器。在再其他實施例中，攝影機可在不偵測感測器的情況下，而藉由使用三維深度對映簡單地偵測頭部之定位，來追蹤頭部之定位。因此，可追蹤控制器之運動及頭戴式顯示器之運動，且可追蹤相依性運動定位、定位變化、移動速率變化及其他輸入類型移動並使其彼此相關。該相關可能係藉由對映演算法，此演算法追蹤控制器及頭戴式顯示器之運動，且頭戴式顯示器螢幕中所得的視圖可根據頭戴式顯示器之運動及移動以及由使用者握著的控制器所提供之互動回饋來改變。
因此，在圖5B中藉由參考真實的現實世界使用者來展示使用者頭部之動作與對控制器所做的動作之間 的對映，且在圖5A中展示看向螢幕之視角。如上文所述，使用者在一個實施例中能夠進入使用者所感知之互動螢幕中。亦即，給使用者提供的觀察感覺為：使用者已實際上進入螢幕中且握著真實的方向盤。對使用者而言，當使用者看到他或她的手時，握著方向盤的虛擬手得以呈現。隨後將他或她的手之移動大體上對映至虛擬手在螢幕中之移動且使兩種移動相關。在一個實施例中，虛擬手可為擴增實境或虛擬實境。一個擴增實境視圖可為如下擴增實境視圖：其中使用者的真手之影像在頭戴式顯示器螢幕所提供的視圖中略有擴增。
儘管將手描述為能夠進入螢幕中，但可經由HMD看到的任何身體部分亦可呈現在螢幕中，以便提供使用者實際上存在於3D場景中的表像。另外，使用者可握著其他控制器或穿著可獲追蹤之衣服來提供融入場景中的能力，以便模糊化現實世界輪廓與虛擬世界輪廓。在再其他實施例中，使用者可穿著衣服或佩戴手套，給該等衣服或手套提供觸覺回饋，以使得虛擬場景中的動作被轉換至現實世界。若使用者進入虛擬場景中，則使用者可與虛擬人物握手，且可使用對手套之觸覺回饋來模擬手的抓握。
圖6A及圖6B例示出使用者向右轉動他的頭且亦向右轉動控制器的實例。在圖6A中，使用者的虛擬手表現為向右轉動賽車之方向盤。頭戴式顯示器之螢幕中所提供的看向三維空間中之影像展示出由於使用者向右轉 動控制器而發生的變化。同時，使用者稍微向右轉動他的頭，此係在向右轉動方向盤時在現實生活中所做的典型自然移動。此現實生活移動將因此在頭戴式顯示器螢幕中所例示的虛擬環境中表現相同的移動。
圖6A展示出向右轉動的方向盤以及向右偏移的看向虛擬場景之視角。如上文所述，提供在看向三維空間之視角外的虛線僅僅係為了提供如下說明：在使用者當前所看到的虛擬環境以外，存在額外的虛擬環境。延伸超出使用者當前所看到的區在一個實施例中係當前虛擬視角之自然延伸。亦即，若使用者在賽車中一直向前看，則使用者向左轉動他的頭可實際上看向賽車的左側車窗外。若觀眾(或物件)在看台上站在賽車左邊，則當使用者開賽車經過時向左轉動他的頭時，該觀眾可進入視野。
圖7A及圖7B例示出另一實施例，其中控制器係不同類型之控制器。所展示控制器之類型為由Sony Computer Entertainment公司製造的MOVETM控制器。此控制器具有手柄及球形物件，該球形物件發光以便於追蹤。控制器亦包括慣性感測器及用於向基本電腦傳達回資訊之其他按鈕。在一個實施例中，攝影機可在6個軸(例如，X軸、Y軸、Z軸；俯仰軸；滾動軸；偏轉軸)中追蹤控制器。攝影機亦可同時追蹤頭戴式顯示器。在另一實施例中，可使用其他追蹤功能來追蹤頭戴式顯示器。其他追蹤功能可包括使用慣性感測器、紅外攝影機發光、聲音、藉由按鈕或運動輸入之資料等。
在圖7A及圖7B所示的實施例中，使用者在圖7B中移動控制器，該控制器在圖7A中表示為劍。使用者與遊戲之人物或主題互動，其中追蹤控制器之移動來判定參與遊戲的虛擬人物之移動。追蹤控制器之定位及頭戴式顯示器(及相關聯的運動)之定位，以便提供看向虛擬場景之視角。在此實例中，對使用頭戴式顯示器來玩遊戲之使用者而言，握著控制器之使用者將表現為虛擬遊戲中之虛擬物件(例如，劍)。如所展示，使用者的手臂表現為且感覺就如同使用者正在伸進就在使用者前方的3D空間中一樣。將控制器之移動對映至遊戲中的虛擬物件之移動且使兩種移動相關。
在圖8A及圖8B中，將使用者展示為在將控制器維持在相同定位的同時向左移動他的頭。使用者之頭部移動曝露出看向由所執行之遊戲產生的場景之新視角。使用者頭部之向左移動將曝露出新視角，從而展示遊戲中的額外互動場景元素，就如同該等遊戲元素係現實世界三維元素一樣。
圖9A及圖9B再次展示使用者向右移動他的頭且稍微向右移動控制器。此將曝露出看向在頭戴式顯示器之螢幕中所展示的互動場景之新視圖。在一個實施例中，在使用頭戴式顯示器之定位資訊來協調看向場景之視角的同時，對控制器所做的動作之對映幫助驅動玩遊戲之互動性。
圖10例示出現實世界玩家之實例，該玩家握 著控制器坐在他的沙發上且佩戴頭戴式顯示器。
圖11例示出站著玩遊戲之玩家，其中追蹤玩家的頭及控制器之移動且在看向互動三維環境之場景之視角的變化中表現出來。
在一個實施例中，控制器可包括可由攝影機看到的一或多個燈。可將該等燈提供成某種形狀以使攝影機能夠偵測到控制器之及定向。該等燈可呈水平燈帶之形狀或為複數個燈。該等燈亦可具備可由攝影機識別之各種顏色。該等顏色可提供關於玩家數之資訊，或可識別處於各種環境條件之控制器。
環境條件可例如包括使用者玩遊戲所在的房間之發光。在另一實施例中，條件可包括判定玩家玩遊戲所在的空間之背景顏色。基於背景顏色，且可為控制器燈之顏色選擇適當的顏色。例如，若背景顏色主要為紅色，則可為控制器選擇除紅色以外的顏色來提供更好的可偵測性或識別以獲得改良之追蹤。在再一實施例中，顏色可選自預定義的顏色清單，其中所選顏色係在與背景相比時超過區別性臨限值之顏色。在再一實施例中，顏色選擇控制器可為在背景場景中表示得最少(或接近最少)的顏色。在校準期間，在玩遊戲期間，在遊戲中的特定場景期間，在遊戲中的特定動作序列期間，為了在多玩家遊戲環境中與其他使用者通訊，或在使用者的控制下藉由選擇按鈕，或在計算設備的控制下基於預定義之演算法、情形、規則或規則與情形之組合，可不時地調整對控制器之顏色選擇。
參考圖12，根據本發明之一實施例展示了頭戴式顯示器102之組件的方塊圖被顯示。頭戴式顯示器102包括用於執行程式指令之處理器1300。記憶體1302經提供用於儲存目的，且可包括揮發性記憶體及非揮發性記憶體。包括顯示器1304，其提供使用者可看到的視覺介面。提供電池1306作為頭戴式顯示器102之電源。運動偵測模組1308可包括各個種類之運動敏感硬體中之任一者，諸如磁強計1310、加速計1312及迴轉儀1314。
加速計係用於量測加速度及重力引發的反作用力的設備。單軸模型及多軸模型可用來偵測不同方向中的加速度之量值及方向。使用加速計來感測傾角、振動及震動。在一實施例中，使用三個加速計1312來提供重力方向，該重力方向給出對兩個角(世界空間俯仰角及世界空間滾動角)的絕對參考。
磁強計量測頭戴式顯示器附近的磁場之強度及方向。在一個實施例中，在頭戴式顯示器內使用三個磁強計1310，從而確保對世界空間偏轉角之絕對參考。在一個實施例中，磁強計經設計成跨過地球磁場，即±80微特士拉。磁強計受金屬的影響，且提供隨實際偏轉單調變化的偏轉量測。磁場可能由於環境中的金屬而扭曲，從而導致偏轉量測之扭曲。必要時，可使用來自諸如迴轉儀或攝影機之其他感測器之資訊來校準此扭曲。在一個實施例中，加速計1312與磁強計1310一起用來獲得頭戴式顯示器102之傾角及方位角。
迴轉儀係用於基於角動量原理來量測或維持定向之設備。在一個實施例中，三個迴轉儀1314基於慣性感測來提供關於跨各個軸(x、y及z)之移動的資訊。迴轉儀幫助偵測快速旋轉。然而，在不存在絕對參考的情況下，迴轉儀可隨時間漂移。此要求週期性地重設迴轉儀，此重設可使用其他可用資訊來完成，其他可用資訊諸如：基於對物件(加速計、磁強計等)之視覺追蹤的定位/定向判定。
攝影機1316經提供用於捕獲真實環境之影像及影像串流。頭戴式顯示器102中可包括一個以上的攝影機，其包括面向後(當使用者看著頭戴式顯示器102之顯示時背對使用者)的攝影機及面向前(當使用者看著頭戴式顯示器102之顯示時朝向使用者)的攝影機。另外，頭戴式顯示器102中可包括深度攝影機1318，其用於感測真實環境中的物件之深度資訊。
頭戴式顯示器102包括用於提供音訊輸出之揚聲器1320。亦可包括麥克風1322，其用於捕獲來自真實環境之音訊，該音訊包括來自周圍環境之聲音、使用者所說的話音等。頭戴式顯示器102包括用於向使用者提供觸覺回饋之觸覺回饋模組1324。在一個實施例中，觸覺回饋模組1324能夠導致頭戴式顯示器102之移動及/或振動，以便向使用者提供觸覺回饋。
提供LED 1326作為頭戴式顯示器102之狀態的視覺指示器。例如，LED可指示電池電量、電力開啟 等。提供讀卡器1328來使頭戴式顯示器102能夠自記憶卡讀取資訊並寫入資訊至記憶卡。包括USB介面1330作為介面之一實例，該介面用於實現周邊設備之連接或至其他設備(諸如其他可攜式設備、電腦等)之連接。在頭戴式顯示器102之各種實施例中，可包括各個種類之介面中之任一者來實現頭戴式顯示器102之更大連接性。
包括WiFi模組1332來實現經由無線網路連接技術至網際網路之連接。頭戴式顯示器102亦包括藍芽模組1334來實現至其他設備之無線連接。亦可包括通訊鏈路1336以便連接至其他設備。在一個實施例中，通訊鏈路1336利用紅外傳輸來進行無線通訊。在其他實施例中，通訊鏈路1336可利用各種無線或有線傳輸協定中之任一者來與其他設備通訊。
包括輸入按鈕/感測器1338來為使用者提供輸入介面。可包括各個種類之輸入介面中之任一者，諸如按鈕、觸控板、操縱桿、軌跡球等。頭戴式顯示器102中可包括超音波通訊模組1340來促進經由超音波技術與其他設備的通訊。
可包括生物感測器1342來實現對來自使用者之生理資料的偵測。在一個實施例中，生物感測器1342包括一或多個乾電極，其用於透過使用者的皮膚偵測使用者之生物電信號。
頭戴式顯示器102之前述組件已僅僅作為頭戴式顯示器102中可包括的例示性組件加以描述。在本發 明之各種實施例中，頭戴式顯示器102可包括或可不包括各種前述組件中之一些。頭戴式顯示器102之實施例可另外包括目前未描述但此項技術中已知的其他組件，其目的為促進本文中所描述之本發明之態樣。
熟習此項技術者將瞭解，在本發明之各種實施例中，可結合顯示於顯示器上的互動應用程式來利用前述手持式設備，來提供各種互動功能。僅藉由實例且並非藉由限制來提供本文中所描述之例示性實施例。
圖13係根據本發明之各種實施例之遊戲系統1400的方塊圖。遊戲系統1400被建構成經由網路1415向一或多個用戶端1410提供視訊串流。遊戲系統1400通常包括視訊伺服器系統1420及任擇的遊戲伺服器1425。視訊伺服器系統1420被建構成以最小的服務品質向一或多個用戶端1410提供視訊串流。例如，視訊伺服器系統1420可接收改變視訊遊戲內之視角之狀態的遊戲命令，且以最小的滯後時間給用戶端1410提供反映此狀態變化之更新後的視訊串流。視訊伺服器系統1420被建構成以多種替代性視訊格式(包括還未定義的格式)提供視訊串流。此外，視訊串流可包括被建構用於以多種訊框速率呈現給使用者之視訊框。典型的訊框速率為每秒30個訊框、每秒60個訊框及每秒1420個訊框。但是本發明之替代性實施例中包括更高或更低的訊框速率。
用戶端1410(本文中各自被稱為1410A、1410B等)可包括頭戴式顯示器、終端機、個人電腦、遊 戲控制台、平板型電腦、電話、機上盒、資訊站、無線設備、數位板、獨立設備、手持式玩遊戲的設備及/或類似設備。通常，用戶端1410被建構成接收已編碼視訊串流，對視訊串流進行解碼，並且將所得的視訊呈現給使用者(例如遊戲玩家)。接收已編碼視訊串流及/或對視訊串流進行解碼的過程通常包括將各個視訊框儲存於用戶端的接收緩衝器中。可在與用戶端1410成一體的顯示器上或在諸如監視器或電視的單獨設備上將視訊串流呈現給使用者。用戶端1410任擇地被建構成支援一個以上的遊戲玩家。例如，遊戲控制台可被建構成支援兩個、三個、四個或更多同時的玩家。此等玩家中之每一者可接收單獨的視訊串流，或單個視訊串流可包括特別針對每一玩家所產生的(例如，基於每一玩家的視角所產生的)訊框之多個區。用戶端1410任擇地在地理上分散開。遊戲系統1400中所包括的用戶端的數目可自一個或兩個廣泛變化至幾千個、幾萬個或更多。如本文中所使用，術語「遊戲玩家」係用來指玩遊戲的人，且術語「玩遊戲的設備」係用來指用來玩遊戲之設備。在一些實施例中，玩遊戲的設備可指進行合作來向使用者傳遞遊戲體驗的複數個計算設備。例如，遊戲控制台及HMD可與視訊伺服器系統1420合作來傳遞透過HMD看到的遊戲。在一個實施例中，遊戲控制台自視訊伺服器系統1420接收視訊串流，且遊戲控制台將視訊串流或對視訊串流的更新轉發至HMD以便呈現。
用戶端1410被建構成經由網路1415接收視 視訊串流。網路1415可為任何類型的通訊網路，其包括電話網路、網際網路、無線網路、電力線網路、區域網路、廣域網路、私有網路及/或類似網路。在典型實施例中，經由諸如TCP/IP或UDP/IP之標準協定來傳達視訊串流。或者，經由專屬標準來傳達視訊串流。
用戶端1410之典型實例係個人電腦，該個人電腦包含處理器、非揮發性記憶體、顯示器、解碼邏輯、網路通訊能力及輸入設備。解碼邏輯可包括硬體、韌體及/或儲存於電腦可讀媒體上的軟體。用於對視訊串流進行解碼(及編碼)之系統在此項技術中係熟知的且取決於所使用的特定編碼方案而變化。
用戶端1410可(但不需要)進一步包括被建構用於修改接收到的視訊的系統。例如，用戶端可被建構成：執行進一步呈現，將一個視訊影像疊加在另一視訊影像上，修剪視訊影像，及/或類似者。例如，用戶端1410可被建構成接收各種類型的視訊框，如I訊框、P訊框及B訊框，並且將此等訊框處理成影像以便顯示給使用者。在一些實施例中，用戶端1410的部件被建構成對視訊串流執行進一步呈現、陰影處理、轉換成3-D或類似操作。用戶端1410的部件任擇地被建構成接收一個以上的音訊或視訊串流。用戶端1410的輸入設備可包括：例如，單手遊戲控制器、雙手遊戲控制器、示意動作辨識系統、注視辨識系統、語音辨識系統、鍵盤、操縱桿、指向設備、力回饋設備、運動及/或位置感測設備、滑鼠、觸控螢 幕、神經介面、攝影機、還未開發出的輸入設備，及/或類似設備。
用戶端1410所接收的視訊串流(及任擇的音訊串流)係由視訊伺服器系統1420產生並提供的。如本文中其他地方所進一步描述，此視訊串流包括視訊框(且音訊串流包括音訊框)。視訊框被建構(例如，其在適當資料結構中包括像素資訊)來在很大程度上構成顯示給使用者的影像。如本文中所使用，術語「視訊框」係用來指主要包括如下資訊的訊框，該資訊被建構成構成(例如，實現)展示給使用者的影像。本文中關於「視訊框」的大部分教示亦可適用於「音訊框」。
用戶端1410通常被建構成自使用者接收輸入。此等輸入可包括被建構成改變視訊遊戲之狀態或以其它方式影響玩遊戲的遊戲命令。可使用輸入設備來接收遊戲命令，且/或可由在用戶端1410上執行的計算指令自動產生遊戲命令。將接收到的遊戲命令經由網路1415自用戶端1410傳達至視訊伺服器系統1420及/或遊戲伺服器1425。例如，在一些實施例中，將遊戲命令經由視訊伺服器系統1420傳達至遊戲伺服器1425。在一些實施例中，將遊戲命令之單獨複本自用戶端1410傳達至遊戲伺服器1425及視訊伺服器系統1420。遊戲命令的傳達任擇地取決於命令之身份。經由用來向用戶端1410A提供音訊或視訊串流之不同路線或通訊頻道，自用戶端1410A任擇地傳達遊戲命令。
遊戲伺服器1425任擇地由不同於視訊伺服器系統1420的實體來操作。例如，遊戲伺服器1425可由多玩家遊戲之發行商來操作。在此實例中，視訊伺服器系統1420任擇地被遊戲伺服器1425視為用戶端，且任擇地被建構成(從遊戲伺服器1425的角度看)表現為執行先前技術遊戲引擎的先前技術用戶端。視訊伺服器系統1420與遊戲伺服器1425之間的通訊任擇地經由網路1415發生。因而，遊戲伺服器1425可為先前技術多玩家遊戲伺服器，其向多個用戶端發送遊戲狀態資訊，該等用戶端中之一者係遊戲伺服器系統1420。視訊伺服器系統1420可被建構成同時與遊戲伺服器1425之多個實例通訊。例如，視訊伺服器系統1420可被建構成向不同使用者提供複數個不同視訊遊戲。此等不同視訊遊戲中之每一者可由不同遊戲伺服器1425支援且/或由不同實體發行。在一些實施例中，視訊伺服器系統1420之若干地理分佈式實例被建構成向複數個不同使用者提供遊戲視訊。視訊伺服器系統1420之此等實例中之每一者可與遊戲伺服器1425的相同實例通訊。視訊伺服器系統1420與一或多個遊戲伺服器1425之間的通訊任擇地經由專用通訊頻道發生。例如，視訊伺服器系統1420可經由高頻寬頻道連接至遊戲伺服器1425，該高頻寬頻道專門用於此等兩個系統之間的通訊。
視訊伺服器系統1420至少包含：視訊源1430、I/O設備1445、處理器1450，以及非暫時性儲存器 1455。視訊伺服器系統1420可包括一個計算設備或分佈在複數個計算設備當中。此等計算設備任擇地經由諸如區域網路之通訊系統連接起來。
視訊源1430被建構成提供視訊串流，例如，串流傳輸視訊或形成動畫的一系列視訊框。在一些實施例中，視訊源1430包括視訊遊戲引擎及呈現邏輯。視訊遊戲引擎被建構成：自玩家接收遊戲命令，且基於接收到的命令維持視訊遊戲之狀態的複本。此遊戲狀態包括遊戲環境中的物件之定位，並且通常包括視角。遊戲狀態亦可包括物件之性質、影像、顏色及/或紋理。
基於遊戲規則以及遊戲命令(諸如，移動、轉動、攻擊、設置焦點、互動、使用及/或類似命令)來維持遊戲狀態。遊戲引擎的部分任擇地安置於遊戲伺服器1425內。遊戲伺服器1425可基於使用地理上分散開的用戶端自多個玩家接收到的遊戲命令來維持遊戲狀態之複本。在此等情況下，遊戲伺服器1425將遊戲狀態提供給視訊源1430，其中儲存遊戲狀態之複本並且執行呈現。遊戲伺服器1425可經由網路1415自用戶端1410接收遊戲命令，且/或可經由視訊伺服器系統1420接收遊戲命令。
視訊源1430通常包括呈現邏輯，例如，硬體、韌體及/或儲存於電腦可讀媒體(諸如儲存器1455)上的軟體。此呈現邏輯被建構成基於遊戲狀態創建實行串流的視訊框。呈現邏輯的全部或部分任擇地安置於圖形處理 單元(GPU)內。呈現邏輯通常包括被建構用於判定多個物件之間的三維空間關係且/或用於例如基於遊戲狀態及視角來應用適當的紋理等的處理階段。呈現邏輯產生原始視訊，然後常常對原始視訊進行編碼，然後傳達至用戶端1410。例如，可根據Adobe Flash®標準、.wav、H.264、H.263、On2、VP6、VC-1、WMA、Huffyuv、Lagarith、MPG-x.、Xvid.、FFmpeg、x264、VP6-8、realvideo、mp3或類似標準對原始視訊進行編碼。編碼過程產生視訊串流，該視訊串流任選地經封裝以便傳遞至遠端設備上的解碼器。視訊串流係由訊框大小及訊框速率來表徵。典型的訊框大小包括800 x 600、1280 x 720(例如720p)、1024 x 768，但是可使用任何其他訊框大小。訊框速率係每秒的視訊框數。視訊串流可包括不同類型的視訊框。例如，H.264標準包括「P」訊框及「I」訊框。I訊框包括用來再新顯示設備上的全部巨集區塊/像素的資訊，而P訊框包括用來再新該等巨集區塊/像素之子集的資訊。P訊框之資料大小通常小於I訊框。如本文中所使用，術語「訊框大小」意欲指訊框內的像素數。術語「訊框資料大小」係用來指儲存該訊框所需的位元組數。
在替代性實施例中，視訊源1430包括諸如攝影機之視訊錄製設備。此攝影機可用來產生可包括在電腦遊戲之視訊串流中的延遲視訊或實況視訊。所得的視訊串流任擇地包括所呈現的影像與使用靜態攝影機或視訊攝影機所錄製的影像。視訊源1430亦可包括儲存設備，其被 建構成儲存將要包括在視訊串流中的先前錄製的視訊。視訊源1430亦可包括：運動或定位感測設備，其被建構成偵測物件(例如人)之運動或定位；以及邏輯，其被建構成基於偵測到的運動及/或定位來判定遊戲狀態或產生視訊。
視訊源1430任擇地被建構成提供覆疊物(overlay)，該等覆疊物被建構成置放於其他視訊上。例如，此等覆疊物可包括命令介面、登入指令、發給遊戲玩家之訊息、其他遊戲玩家之影像、其他遊戲玩家之視訊回饋(例如，網路攝影機視訊)。在包括觸控螢幕介面或注視偵測介面之用戶端1410A的實施例中，覆疊物可包括虛擬鍵盤、操縱桿、觸控板及/或類似者。在覆疊物之一實例中，將玩家的語音覆疊在音訊串流上。視訊源1430任擇地進一步包括一或多個音訊源。
在視訊伺服器系統1420被建構成基於來自一個以上的玩家之輸入來維持遊戲狀態之實施例中，每一玩家可具有不同視角，視角包含定位及觀察方向。視訊源1430任擇地被建構成基於玩家的視角為每一玩家提供單獨的視訊串流。此外，視訊源1430可被建構成向用戶端1410中之每一者提供不同的訊框大小、訊框資料大小及/或編碼。視訊源1430任擇地被建構成提供3-D視訊。
I/O設備1445被建構用於視訊伺服器系統1420，用來發送及/或接收資訊，該資訊諸如：視訊、命令、對資訊的請求、遊戲狀態、注視資訊、設備運動、設 備位置、使用者運動、用戶端身份、玩家身份、遊戲命令、安全資訊、音訊及/或類似資訊。I/O設備1445通常包括諸如網路卡或數據機之通訊硬體。I/O設備1445被建構成與遊戲伺服器1425、網路1415及/或用戶端1410通訊。
處理器1450被建構成執行本文中論述的視訊伺服器系統1420之各種組件內所包括的邏輯，例如軟體。例如，處理器1450可由軟體指令加以程式化，以便執行視訊源1430、遊戲伺服器1425及/或用戶端限定器1460之功能。視訊伺服器系統1420任擇地包括處理器1450之一個以上的實例。處理器1450亦可由軟體指令加以程式化，以便執行視訊伺服器系統1420所接收的命令或協調本文中論述的遊戲系統1400之各種元件之操作。處理器1450可包括一或多個硬體設備。處理器1450係電子處理器。
儲存器1455包括非暫時性類比及/或數位儲存設備。例如，儲存器1455可包括被建構成儲存視訊框的類比儲存設備。儲存器1455可包括電腦可讀數位儲存器，例如硬碟機、光碟機或固態儲存器。儲存器1415被建構(例如，藉由適當的資料結構或檔案系統)來儲存視訊框、仿真框、包括視訊框與仿真框的視訊串流、音訊框、音訊串流及/或類似物。儲存器1455任擇地分佈在複數個設備當中。在一些實施例中，儲存器1455被建構成儲存本文中其它地方所論述的視訊源1430之軟體組件。此等 組件可以需要時隨時可以供應的格式加以儲存。
視訊伺服器系統1420任擇地進一步包含用戶端限定器1460。用戶端限定器1460被建構用於遠端判定諸如用戶端1410A或1410B之用戶端的能力。此等能力可包括用戶端1410A本身的能力與介於用戶端1410A與視訊伺服器系統1420之間的一或多個通訊頻道的能力。例如，用戶端限定器1460可被建構成測試通過網路1415的通訊頻道。
用戶端限定器1460可手動或自動地判定(例如發現)用戶端1410A的能力。手動判定包括：與用戶端1410A之使用者通訊，以及要求使用者提供能力。例如，在一些實施例中，用戶端限定器1460被建構成在用戶端1410A之瀏覽器上顯示影像、文字及/或類似物。在一個實施例中，用戶端1410A係包括瀏覽器的HMD。在另一實施例中，用戶端1410A係具有瀏覽器的遊戲控制台，該瀏覽器可顯示在HMD上。所顯示的物件請求使用者輸入用戶端1410A之資訊，諸如作業系統、處理器、視訊解碼器類型、網路連接類型、顯示器解析度等。向用戶端限定器1460傳達回使用者所輸入的資訊。
自動判定可例如藉由在用戶端1410A上執行代理程式及/或藉由向用戶端1410A發送測試視訊來進行。代理程式可包含嵌入網頁中或安裝為加載項的計算指令，如java指令碼。代理程式任擇地由用戶端限定器1460提供。在各種實施例中，代理程式可發現：用戶端 1410A之處理能力、用戶端1410A之解碼及顯示能力、用戶端1410A與視訊伺服器系統1420之間的通訊頻道之滯後時間可靠性及頻寬、用戶端1410A之顯示器類型、用戶端1410A的上存在的防火牆、用戶端1410A之硬體、在用戶端1410A上執行的軟體、用戶端1410A內的登陸項目及/或類似者。
用戶端限定器1460包括硬體、韌體及/或儲存於非暫時性電腦可讀媒體上的軟體。用戶端限定器1460任擇地安置於與視訊伺服器系統1420的一或多個其它元件分開之計算設備上。例如，在一些實施例中，用戶端限定器1460被建構成判定用戶端1410與視訊伺服器系統1420之一個以上的實例之間的通訊頻道之特性。在此等實施例中，用戶端限定器所發現的資訊可用來判定視訊伺服器系統1420的哪個實例最適合於向用戶端1410中之一者傳遞串流傳輸視訊。
應理解，本文中定義的各種實施例可組合或組裝成使用本文中所揭示之各種特徵的特定實行方案。因此，所提供之實例僅為一些可能的實例，而不限於各種實行方案，該等實行方案係藉由組合各種元件來定義更多的實行方案而成為可能。在一些實例中，在不脫離所揭示的或等效的實施例之精神的情況下，一些實行方案可包括更少的元件。
本發明之實施例可藉由各種電腦系統組態來實踐，該等電腦系統組態包括手持式設備、微處理器系 統、基於微處理器的或可程式化的消費電子產品、小型電腦、大型電腦及類似者。本發明亦可在分佈式計算環境下實踐，其中由經由有線或無線網路加以鏈接的遠端處理設備來執行任務。
考慮到以上實施例，應理解，本發明可採用各種電腦實行的操作，其涉及儲存於電腦系統中的資料。此等操作係需要對物理量進行物理操作之操作。本文中所描述之操作中之任一者係有用的機器操作，該等操作形成本發明之部分。本發明亦涉及用於執行此等操作的設備或裝置。該裝置可出於所需目的專門構造而成，或該裝置可為由儲存於電腦中的電腦程式選擇性地啟動或被建構成之通用電腦。特定言之，各種通用機器可與根據本文中之教示編寫的電腦程式一起使用，或者可能更方便的是，構造更專用的裝置來執行所需操作。
本發明亦可體現為電腦可讀媒體上的電腦可讀碼。電腦可讀媒體係可儲存資料之任何資料儲存設備，隨後可由電腦系統對其進行讀取。電腦可讀媒體之實例包括硬碟機、網路附接儲存器(NAS)、唯讀記憶體、隨機存取記憶體、CD-ROM、CD-R、CD-RW、磁帶以及其他光學及非光學資料儲存設備。電腦可讀媒體可包括分佈在網路耦接電腦系統上的電腦可讀有形媒體，以使得電腦可讀碼係以分佈式方式儲存及執行。
雖然以特定次序描述了方法操作，但應理解，可在操作之間執行其他內務操作，或可調整操作以使 得其在略微不同的時間發生，或操作可分佈在系統中，該系統允許以與處理相關聯的各種時間間隔發生處理操作，或只要覆疊操作之處理係以所需方式執行即可。
雖然為了清楚理解之目的而略微詳細地描述了前述發明，但很顯然，可以在所附申請專利範圍之範疇內做出某些變化及修改。因此，本發明之實施例應被視為說明性的而非限制性的，且本發明不限於本文中給出的細節，而可以在所附申請專利範圍的範疇及等效物內進行修改。
102‧‧‧頭戴式顯示器
108‧‧‧攝影機
300‧‧‧運動感測器
302‧‧‧麥克風
304‧‧‧揚聲器
306‧‧‧眼睛
308‧‧‧光學元件
310‧‧‧顯示器/投影儀機構
312‧‧‧注視追蹤攝影機
314‧‧‧控制器輸入
316‧‧‧音訊輸入
318‧‧‧運動輸入
322‧‧‧視訊呈現模組
324‧‧‧音訊呈現模組
326‧‧‧觸覺回饋模組

Claims (50)

  1. 一種頭戴式顯示器，用於具有電腦和攝影機的環境中，其包含，頭部附接部分；檢視模組，耦接至該頭部附接部分，該檢視模組包括內側，該內側具有看向設於該檢視模組的螢幕之視埠，該螢幕被建構成用於呈現影像內容；及外部殼體；通訊模組，其用於與該電腦交換資料；影像處理模組，其用於處理影像資料以便在該螢幕上呈現該影像內容；複數個發光元件，與該檢視模組之該外部殼體整合，該複數個發光元件經定義用於該頭戴式顯示器藉由該攝影機之影像追蹤；以及發光邏輯，其用於控制該複數個發光元件起作用或不起作用。
  2. 如申請專利範圍第1項之頭戴式顯示器，其中該通訊模組所交換的該資料包括輸入資料、影像資料、音訊資料及慣性資料。
  3. 如申請專利範圍第1項之頭戴式顯示器，其中該複數個發光元件為發光二極體(LED)或紅外(IR)發射器。
  4. 如申請專利範圍第3項之頭戴式顯示器，其中該等LED在發光邏輯的控制下發出一或多個顏色的光。
  5. 如申請專利範圍第1項之頭戴式顯示器，其中該複數個發光元件在該外部殼體上配置成預定義的圖案。
  6. 如申請專利範圍第1項之頭戴式顯示器，其中該外部殼體具有一部分彎曲形狀，且該複數個發光元件繞該部分彎曲形狀配置成一圖案。
  7. 如申請專利範圍第1項之頭戴式顯示器，其中該外部殼體具有多個部分，且該複數個發光元件繞該多個部分配置成一圖案。
  8. 如申請專利範圍第1項之頭戴式顯示器，其中該複數個發光元件包括兩個或兩個以上的形狀或大小。
  9. 如申請專利範圍第1項之頭戴式顯示器，其另包含連接至該頭部附接部分的額外發光元件。
  10. 一種頭戴式顯示器，用於具有電腦和攝影機的環境中，其包含，頭部附接部分，其用於置放於使用者之頭上；檢視模組，其耦接至該頭部附接部分且被建構用於置放於使用者之眼睛前方，該檢視模組包括：內側，其具有看向設於該檢視模組的螢幕之視埠，該螢幕被建構成用於呈現影像內容；外部殼體，其圍繞該內側；通訊模組，其用於與該電腦交換資料，該資料包括輸入資料、影像資料、音訊資料及慣性資料；影像處理模組，其用於處理該影像資料以便在該螢幕上呈現該影像內容； 複數個發光元件，與該檢視模組之該外部殼體整合，該複數個發光元件經定義用於該頭戴式顯示器藉由該攝影機之影像追蹤；以及發光邏輯，其用於控制該複數個發光元件中之特定發光元件起作用或不起作用。
  11. 如申請專利範圍第10項之頭戴式顯示器，其中該外部殼體具有面向前的部分、左側部分，以及右側部分。
  12. 如申請專利範圍第11項之頭戴式顯示器，其中該複數個發光元件中之一者安置於該左側部分，且該複數個發光元件中之另一者安置於該右側部分。
  13. 如申請專利範圍第11項之頭戴式顯示器，其中該複數個發光元件中之一者具有部分地安置於該面向前的部分及該左側部分中之兩段式形狀，且該複數個發光元件中之另一者具有部分地安置於該面向前的部分及該右側部分中之兩段式形狀。
  14. 如申請專利範圍第10項之頭戴式顯示器，其中該複數個發光元件為發光二極體(LED)或紅外(IR)發射器。
  15. 如申請專利範圍第14項之頭戴式顯示器，其中該等LED在發光邏輯的控制下發出一或多個顏色的光。
  16. 如申請專利範圍第10項之頭戴式顯示器，其中該複數個發光元件在該外部殼體上配置成預定義的圖案。
  17. 如申請專利範圍第10項之頭戴式顯示器，其中 該通訊模組係具有與該電腦形成有線連接或無線連接之通訊模組。
  18. 如申請專利範圍第10項之頭戴式顯示器，其中該慣性資料係由該頭戴式顯示器在由該使用者戴上時回應於偵測到之移動所產生的。
  19. 如申請專利範圍第10項之頭戴式顯示器，其中該輸入資料係由該頭戴式顯示器在由該使用者戴上時回應於使用者輸入所產生的。
  20. 如申請專利範圍第10項之頭戴式顯示器，其中該音訊資料及該影像資料與將要在該頭戴式顯示器處呈現之互動媒體內容相關聯。
  21. 如申請專利範圍第10項之頭戴式顯示器，其中該互動媒體內容包括遊戲資料、視訊資料、網際網路導航資料、遊戲資料與網際網路資料之組合、社交媒體資料，或其組合。
  22. 如申請專利範圍第10項之頭戴式顯示器，其中該外部殼體具有部分彎曲形狀，且該複數個發光元件繞該部分彎曲形狀配置成一圖案。
  23. 如申請專利範圍第10項之頭戴式顯示器，其中該外部殼體具有多個部分，且該複數個發光元件繞該多個部分配置成一圖案。
  24. 如申請專利範圍第10項之頭戴式顯示器，其中該複數個發光元件包括兩個或兩個以上的形狀或大小。
  25. 如申請專利範圍第10項之頭戴式顯示器，其另 包含連接至該頭部附接部分的額外發光元件。
  26. 一種頭戴式顯示器，用於具有電腦的環境中，其包含，頭部附接部分；檢視模組，耦接至該頭部附接部分，該檢視模組包括：內側，該內側具有看向設於該檢視模組的螢幕之視埠，該螢幕被建構成用於呈現影像內容；及外部殼體；複數個發光元件，與該檢視模組之該外部殼體整合，該複數個發光元件經定義用於該頭戴式顯示器之影像追蹤；以及發光邏輯，其用於控制該複數個發光元件起作用或不起作用。
  27. 如申請專利範圍第26項之頭戴式顯示器，其進一步包含：通訊模組，其用於與該電腦交換資料；以及影像處理模組，其用於處理影像資料以便在該螢幕上呈現該影像內容。
  28. 如申請專利範圍第26項之頭戴式顯示器，其中該複數個發光元件為發光二極體(LED)或紅外(IR)發射器。
  29. 如申請專利範圍第28項之頭戴式顯示器，其中該等LED在發光邏輯的控制下發出一或多個顏色的光。
  30. 如申請專利範圍第26項之頭戴式顯示器，其中該複數個發光元件在該外部殼體上配置成預定義的圖案。
  31. 如申請專利範圍第26項之頭戴式顯示器，其中該外部殼體具有部分彎曲形狀，且該複數個發光元件繞該部分彎曲形狀配置成一圖案。
  32. 如申請專利範圍第26項之頭戴式顯示器，其中該外部殼體具有多個部分，且該複數個發光元件繞該多個部分配置成一圖案。
  33. 如申請專利範圍第26項之頭戴式顯示器，其中該複數個發光元件包括兩個或兩個以上的形狀或大小。
  34. 一種用於執行遊戲的方法，該遊戲將要呈現在如申請專利範圍第1項之頭戴式顯示器(HMD)之螢幕上，該方法包含，執行遊戲，該執行在該螢幕上呈現該遊戲之互動場景；接收使用者佩戴的該HMD之資料來識別HMD空間定位；接收該使用者握著的控制器之資料來識別控制器空間定位；發送資料至該HMD，以便在該HMD之該螢幕上呈現看向該遊戲之該等互動場景之視角；以及發送資料至該HMD，該資料係用於在偵測到該HMD空間定位改變時調整該視角，該方法係由設於該電腦的處理器來執行。
  35. 如申請專利範圍第34項之方法，其中該控制器在該等互動場景中表示為虛擬物件，該虛擬物件在該等互動場景中呈現在虛擬空間定位中，該虛擬空間定位對映至該控制器空間定位，且該控制器空間定位之變化改變該虛擬物件之該虛擬空間定位。
  36. 如申請專利範圍第34項之方法，其中該等互動場景係以三維格式呈現，以使得該等互動場景中之物件出現在該HMD前方且向該等互動場景中延伸一距離。
  37. 如申請專利範圍第34項之方法，其中使用影像資料、慣性資料、無線資料、紅外資料或其組合中之一或多者來追蹤該HMD空間定位及該控制器空間定位。
  38. 如申請專利範圍第37項之方法，其中使用影像資料的追蹤包括使用一立體攝影機來偵測該HMD空間定位及該控制器空間定位中之一者或兩者，其中該立體攝影機設於使用的環境中並提供深度資料。
  39. 一種用於執行遊戲之方法，該遊戲係呈現在如申請專利範圍第1項之頭戴式顯示器(HMD)之螢幕上，該方法包含，執行遊戲，該執行在該螢幕上呈現該遊戲之互動場景；接收使用者佩戴的該HMD之影像來識別相對於朝向該使用者之捕獲位置的HMD空間定位；接收該使用者握著的控制器之影像來識別相對於該捕獲位置的控制器空間定位，該控制器提供輸入來至少部分 地驅動與所執行的該遊戲之互動；以及呈現看向該遊戲之該等互動場景之視角且將其發送至該HMD之該螢幕；在該HMD之該等所接收影像中偵測到該HMD空間定位改變時調整該視角且將其發送至該HMD之該螢幕。
  40. 如申請專利範圍第39項之方法，其中該控制器在該等互動場景中表示為虛擬物件，該虛擬物件在該等互動場景中呈現在虛擬空間定位中，該虛擬空間定位對映至該控制器空間定位，且該控制器空間定位之變化改變該虛擬物件之該虛擬空間定位。
  41. 如申請專利範圍第39項之方法，其中該遊戲係在該電腦上執行，且該電腦可通訊地連接至該頭戴式顯示器。
  42. 如申請專利範圍第41項之方法，其中該遊戲係在遊戲雲端上執行，且該頭戴式顯示器可通訊地連接至該遊戲雲端。
  43. 如申請專利範圍第42項之方法，其中該HMD空間定位及該控制器空間定位中之每一者另外可藉由慣性資料來識別。
  44. 一種用於執行遊戲之方法，該遊戲係呈現在如申請專利範圍第1項之頭戴式顯示器(HMD)之螢幕上，該執行在該螢幕上呈現該遊戲之互動場景，該方法包含，接收使用者佩戴的該HMD之資料來識別HMD空間定位； 接收該使用者握著的控制器之資料來識別控制器空間定位；發送資料至該HMD，以便在該螢幕上呈現看向該遊戲之該等互動場景之視角，該視角係三維呈現的空間體積；以及發送資料至該HMD，以便在偵測到該HMD空間定位改變時調整該視角，該方法係由處理器來執行。
  45. 如申請專利範圍第44項之方法，其中該控制器提供驅動互動性之輸入。
  46. 如申請專利範圍第44項之方法，其中該控制器空間定位之變化提供額外輸入。
  47. 如申請專利範圍第46項之方法，其中該額外輸入包括燈或慣性資料中之一者。
  48. 如申請專利範圍第47項之方法，其中該等燈在由該攝影機看到時提供位置資料且該等燈之顏色提供額外資料。
  49. 如申請專利範圍第48項之方法，其中該顏色指示玩家數或基於房間條件的模式或設定。
  50. 如申請專利範圍第44項之方法，其中該控制器在該等互動場景中表示為虛擬物件，該虛擬物件在該等互動場景中呈現在虛擬空間定位中，該虛擬空間定位大體上對映至該控制器空間定位，且該控制器空間定位之變化改變如該螢幕上所展示的該虛擬物件之該虛擬空間定位。
TW103119754A 2013-06-09 2014-06-06 頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法 TWI555561B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201361832918P 2013-06-09 2013-06-09

Publications (2)

Publication Number Publication Date
TW201511803A TW201511803A (zh) 2015-04-01
TWI555561B true TWI555561B (zh) 2016-11-01

Family

ID=51136796

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103119754A TWI555561B (zh) 2013-06-09 2014-06-06 頭戴式顯示器及用於執行呈現在頭戴式顯示器之螢幕上的遊戲之方法

Country Status (6)

Country Link
US (5) US9630098B2 (zh)
EP (1) EP3008549B1 (zh)
JP (2) JP6313432B2 (zh)
CN (1) CN105359063B (zh)
TW (1) TWI555561B (zh)
WO (1) WO2014200779A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI620100B (zh) * 2017-02-15 2018-04-01 宏達國際電子股份有限公司 虛擬實境移動畫面顯示方法、虛擬實境裝置及記錄媒體
TWI626469B (zh) * 2017-04-27 2018-06-11 宏碁股份有限公司 頭戴式顯示器及其控制方法
CN110794579A (zh) * 2018-08-01 2020-02-14 宏星技术股份有限公司 头戴显示装置
US11287846B2 (en) 2018-08-01 2022-03-29 Starvr Corporation Head-mounted display

Families Citing this family (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US9041739B2 (en) * 2012-01-31 2015-05-26 Microsoft Technology Licensing, Llc Matching physical locations for shared virtual experience
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9110503B2 (en) 2012-11-30 2015-08-18 WorldViz LLC Precision position tracking device
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
DE102013214148A1 (de) * 2013-07-18 2015-01-22 Technische Universität Dresden Verfahren und Vorrichtung zur haptischen Interaktion mit visualisierten Daten
US9555337B2 (en) * 2013-09-16 2017-01-31 Disney Enterprises, Inc. Method for tracking physical play objects by virtual players in online environments
US10423226B2 (en) 2014-02-07 2019-09-24 Ultrahaptics IP Two Limited Systems and methods of providing haptic-like feedback in three-dimensional (3D) sensory space
WO2015139002A1 (en) 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US11030778B2 (en) * 2014-03-31 2021-06-08 Healthy.Io Ltd. Methods and apparatus for enhancing color vision and quantifying color interpretation
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
DE102014006776A1 (de) * 2014-05-08 2015-11-12 Audi Ag Bedienvorrichtung für ein elektronisches Gerät
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US10495726B2 (en) * 2014-11-13 2019-12-03 WorldViz, Inc. Methods and systems for an immersive virtual reality system using multiple active markers
US9804257B2 (en) * 2014-11-13 2017-10-31 WorldViz LLC Methods and systems for an immersive virtual reality system using multiple active markers
WO2016081425A1 (en) * 2014-11-17 2016-05-26 Thika Holdings Llc Device for intuitive dexterous touch and feel interaction in virtual worlds
US10073516B2 (en) * 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
KR101632140B1 (ko) * 2015-01-15 2016-06-21 김진태 초근거리를 볼 수 있는 교정 렌즈 어셈블리
US9846968B2 (en) * 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
JP6693718B2 (ja) * 2015-02-27 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
WO2016136794A1 (ja) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
JP6788327B2 (ja) * 2015-02-27 2020-11-25 株式会社ソニー・インタラクティブエンタテインメント 表示制御プログラム、表示制御装置、及び表示制御方法
US20160259453A1 (en) * 2015-03-06 2016-09-08 Sony Computer Entertainment America Llc Dynamic adjustment of cloud game data streams to output device and network quality
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
DE102015003883A1 (de) * 2015-03-26 2016-09-29 Audi Ag Kraftfahrzeugsimulationsanordnung zur Simulation einer virtuellen Umgebung mit einem virtuellen Kraftfahrzeug und Verfahren zur Simulation einer virtuellen Umgebung
JP6691351B2 (ja) * 2015-03-31 2020-04-28 株式会社バンダイナムコエンターテインメント プログラム及びゲームシステム
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US20180169517A1 (en) * 2015-06-01 2018-06-21 Thomson Licensing Reactive animation for virtual reality
EP3308188A4 (en) * 2015-06-09 2019-01-23 Nokia Technologies Oy TRIGGERING ACTIVE SCAN
US9665170B1 (en) 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
CN107735152B (zh) 2015-06-14 2021-02-02 索尼互动娱乐股份有限公司 用于虚拟现实(vr)观看的扩展视野重新渲染
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
KR20170004608A (ko) 2015-07-03 2017-01-11 엘지전자 주식회사 스마트 디바이스 및 이의 제어방법
BR112018002047A2 (pt) 2015-07-31 2018-09-18 Hsni Llc sistema para a geração de um conteúdo de vídeo, e método para a geração de conteúdo de vídeo
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
US9901816B2 (en) * 2015-08-24 2018-02-27 Htc Corporation Interactive game system with an HMD and a ground pad
US10139902B2 (en) * 2015-09-16 2018-11-27 Colopl, Inc. Method and apparatus for changing a field of view without synchronization with movement of a head-mounted display
US10382746B1 (en) * 2015-09-22 2019-08-13 Rockwell Collins, Inc. Stereoscopic augmented reality head-worn display with indicator conforming to a real-world object
EP3353630B1 (en) * 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US20170092002A1 (en) * 2015-09-30 2017-03-30 Daqri, Llc User interface for augmented reality system
US10368007B2 (en) 2015-10-08 2019-07-30 Sony Interactive Entertainment Inc. Control apparatus, head-mounted display, control system, control method, and program
JPWO2017064926A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 情報処理装置及び情報処理方法
CN105334494B (zh) * 2015-10-22 2017-10-31 浙江大学 一种基于眼镜架的头部运动轨迹射频追踪***
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
KR101632156B1 (ko) * 2015-10-27 2016-06-21 김진태 초근거리를 볼 수 있는 교정렌즈
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
US10304247B2 (en) 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US9851435B2 (en) * 2015-12-14 2017-12-26 Htc Corporation Electronic device and signal generating circuit
US9990689B2 (en) * 2015-12-16 2018-06-05 WorldViz, Inc. Multi-user virtual reality processing
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US10095928B2 (en) 2015-12-22 2018-10-09 WorldViz, Inc. Methods and systems for marker identification
JP2017119032A (ja) * 2015-12-29 2017-07-06 株式会社バンダイナムコエンターテインメント ゲーム装置及びプログラム
US10908694B2 (en) 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US10583361B2 (en) * 2016-02-04 2020-03-10 Disney Enterprises, Inc. Incorporating and coordinating multiple home systems into a play experience
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
KR102658303B1 (ko) * 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10518172B2 (en) 2016-03-07 2019-12-31 Htc Corporation Accessory management of virtual reality system
US10976809B2 (en) * 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
CN105797366A (zh) * 2016-03-25 2016-07-27 中国传媒大学 一种基于声源定位的头戴式交互音频游戏终端
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
CN105912102B (zh) * 2016-03-31 2019-02-05 联想(北京)有限公司 一种信息处理方法和电子设备
FR3057430B1 (fr) * 2016-10-10 2022-02-18 Immersion Dispositif d'immersion dans une representation d'un environnement resultant d'un ensemble d'images
US9823477B1 (en) 2016-05-02 2017-11-21 Futurewei Technologies, Inc. Head mounted display content capture and sharing
US10242501B1 (en) 2016-05-03 2019-03-26 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
CN105931272B (zh) * 2016-05-06 2019-04-05 上海乐相科技有限公司 一种运动对象追踪方法及***
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP6262283B2 (ja) * 2016-05-17 2018-01-17 株式会社コロプラ 仮想空間を提供する方法、プログラム、および記録媒体
CN105894800A (zh) * 2016-05-10 2016-08-24 杭州联络互动信息科技股份有限公司 一种智能手柄以及设备控制***
TWI628634B (zh) * 2016-05-25 2018-07-01 國立中央大學 互動式教學系統以及方法
JP6782297B2 (ja) * 2016-05-25 2020-11-11 株式会社コーエーテクモゲームス ゲーム装置、及びゲーム制御方法
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10249084B2 (en) * 2016-06-10 2019-04-02 Microsoft Technology Licensing, Llc Tap event location with a selection apparatus
US10245507B2 (en) * 2016-06-13 2019-04-02 Sony Interactive Entertainment Inc. Spectator management at view locations in virtual reality environments
US9792029B1 (en) 2016-06-16 2017-10-17 Waygate, Inc. Authoring of real-time interactive computer graphics content for predictive bi-adaptive streaming
CN106199517A (zh) * 2016-06-30 2016-12-07 成都理想境界科技有限公司 一种定位设备、定位基站、空间定位***和方法
WO2018005199A1 (en) 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
CN106546950A (zh) * 2016-06-30 2017-03-29 成都理想境界科技有限公司 一种定位基站
US10471353B2 (en) * 2016-06-30 2019-11-12 Sony Interactive Entertainment America Llc Using HMD camera touch button to render images of a user captured during game play
US10650593B2 (en) * 2016-07-12 2020-05-12 Tyco Fire & Security Gmbh Holographic technology implemented security solution
CN106200981B (zh) * 2016-07-21 2019-06-28 北京小鸟看看科技有限公司 一种虚拟现实***及其无线实现方法
CN106249883B (zh) * 2016-07-26 2019-07-30 努比亚技术有限公司 一种数据处理方法及电子设备
CN106383336B (zh) * 2016-08-10 2019-08-20 成都理想境界科技有限公司 一种定位基站和空间定位***
JP6535641B2 (ja) * 2016-08-23 2019-06-26 株式会社コロプラ 仮想空間に表示されるオブジェクトを制御するための方法および装置、ならびに、当該方法をコンピュータに実行させるためのプログラム
CN106326930A (zh) * 2016-08-24 2017-01-11 *** 一种确定虚拟现实中被跟踪物***置的方法、装置及***
US20180082477A1 (en) * 2016-09-22 2018-03-22 Navitaire Llc Systems and Methods for Improved Data Integration in Virtual Reality Architectures
JP6813670B2 (ja) * 2016-09-30 2021-01-13 株式会社ソニー・インタラクティブエンタテインメント 異なるレンダリング及び音像定位を使用する無線ヘッドマウントディスプレイ
US10613630B2 (en) * 2016-09-30 2020-04-07 Sony Interactive Entertainment Inc. Temperature controlled headset apparatus
WO2018072593A1 (zh) * 2016-10-21 2018-04-26 北京小鸟看看科技有限公司 虚拟现实***及其空间定位装置、定位方法
CN106528020B (zh) * 2016-10-26 2019-05-31 腾讯科技（深圳）有限公司 一种视角模式切换方法及终端
GB2555838A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6799077B2 (ja) 2016-12-15 2020-12-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10475194B2 (en) * 2016-12-19 2019-11-12 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
GB2558278A (en) * 2016-12-23 2018-07-11 Sony Interactive Entertainment Inc Virtual reality
KR20180075732A (ko) * 2016-12-26 2018-07-05 엘지디스플레이 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10895628B2 (en) * 2016-12-29 2021-01-19 Htc Corporation Tracking system, tracking device and tracking method
US10212428B2 (en) * 2017-01-11 2019-02-19 Microsoft Technology Licensing, Llc Reprojecting holographic video to enhance streaming bandwidth/quality
US10430647B2 (en) 2017-01-13 2019-10-01 Microsoft Licensing Technology, LLC Tailored illumination profile for articulated hand tracking
CN106950541A (zh) * 2017-02-23 2017-07-14 成都理想境界科技有限公司 一种定位***、定位基站、定位基站网络和定位终端
US20180255285A1 (en) * 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
CN106960473B (zh) * 2017-03-27 2019-12-10 北京交通大学 一种行为感知***及方法
US10403050B1 (en) * 2017-04-10 2019-09-03 WorldViz, Inc. Multi-user virtual and augmented reality tracking systems
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018193514A1 (ja) * 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
TWI646449B (zh) * 2017-05-12 2019-01-01 華碩電腦股份有限公司 三維定位系統與方法
US10760931B2 (en) 2017-05-23 2020-09-01 Microsoft Technology Licensing, Llc Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem
US10281977B2 (en) 2017-05-25 2019-05-07 Acer Incorporated Virtual reality systems with human interface device emulation and related methods
US10307670B2 (en) * 2017-06-12 2019-06-04 Ju-yup Lee Motorcycle simulation controller
WO2018227504A1 (en) 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of customizing a user interface panel based on user's physical sizes
US10328339B2 (en) * 2017-07-11 2019-06-25 Specular Theory, Inc. Input controller and corresponding game mechanics for virtual reality systems
US10223805B1 (en) * 2017-08-07 2019-03-05 Facebook Technologies, Llc Coded tracking for head-mounted displays
WO2019038888A1 (ja) 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11738261B2 (en) 2017-08-24 2023-08-29 Sony Interactive Entertainment Inc. Vibration control apparatus
KR102479052B1 (ko) * 2017-08-29 2022-12-20 삼성전자주식회사 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
JP7037567B2 (ja) 2017-08-29 2022-03-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
JP6340464B1 (ja) * 2017-09-27 2018-06-06 株式会社Ｃｙｇａｍｅｓ プログラム、情報処理方法、情報処理システム、頭部装着型表示装置、情報処理装置
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US10556185B2 (en) * 2017-09-29 2020-02-11 Sony Interactive Entertainment America Llc Virtual reality presentation of real world space
KR101986808B1 (ko) * 2017-12-12 2019-06-07 주식회사 리얼리티매직 착용형 게임 장치
CN109991740A (zh) * 2017-12-30 2019-07-09 深圳多哚新技术有限责任公司 一种轻薄头戴显示设备
US10623725B2 (en) * 2018-01-03 2020-04-14 Votanic Ltd. 3D glasses incorporating real-time tracking
US10529276B2 (en) * 2018-01-05 2020-01-07 Facebook Technologies, Llc Apparatus, systems, and methods for preventing display flicker
CN108319369B (zh) * 2018-02-01 2021-04-27 网易（杭州）网络有限公司 驾驶交互方法、装置、存储介质及处理器
JP2021512402A (ja) * 2018-02-02 2021-05-13 インターデジタル シーイー パテント ホールディングス マルチビューイング仮想現実ユーザインターフェース
US10981052B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
US10981067B2 (en) * 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
CN110115842B (zh) 2018-02-06 2023-01-13 日本聚逸株式会社 应用处理***、应用处理方法以及应用处理程序
US11181995B2 (en) * 2018-02-27 2021-11-23 Htc Corporation Traceable optical device
US10944957B2 (en) * 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10853014B2 (en) 2018-04-17 2020-12-01 Rockwell Collins, Inc. Head wearable device, system, and method
US10755486B2 (en) * 2018-04-19 2020-08-25 Disney Enterprises, Inc. Occlusion using pre-generated 3D models for augmented reality
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
CN108635840A (zh) * 2018-05-17 2018-10-12 南京华捷艾米软件科技有限公司 一种基于Sikuli图像识别的***体感操控***及方法
KR102551686B1 (ko) * 2018-05-29 2023-07-05 삼성전자주식회사 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
CN108771866B (zh) * 2018-05-29 2021-09-24 网易（杭州）网络有限公司 虚拟现实中的虚拟对象控制方法及装置
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2020010008A1 (en) * 2018-07-03 2020-01-09 Tarseer, Inc. Methods and systems for vision monitoring
CN109671118B (zh) * 2018-11-02 2021-05-28 北京盈迪曼德科技有限公司 一种虚拟现实多人交互方法、装置及***
CN109445598B (zh) * 2018-11-07 2022-04-15 深圳珑璟光电技术有限公司 一种基于视觉的增强现实***装置
US11688297B2 (en) * 2018-11-19 2023-06-27 The Boeing Company Virtual reality with virtualization in trainers and test environments
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
CN109331464A (zh) * 2018-11-30 2019-02-15 宁夏庄周梦蝶科技有限公司 一种基于vr的5d骑行体验设备
KR102163601B1 (ko) * 2018-11-30 2020-10-08 씨제이포디플렉스 주식회사 4d 상영관 시스템
CN109840016A (zh) * 2018-12-14 2019-06-04 维沃移动通信有限公司 一种虚拟交互方法及终端设备
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US10976818B2 (en) * 2019-08-21 2021-04-13 Universal City Studios Llc Interactive attraction system and method for object and user association
KR102237860B1 (ko) * 2019-09-20 2021-04-08 (주)브로틴 키오스크를 통해 vr 컨텐츠를 제공하는 시스템
JP2021067877A (ja) 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
WO2021086304A1 (en) * 2019-10-28 2021-05-06 Hewlett-Packard Development Company, L.P. Provision of feedback to an actuating object
US20210192799A1 (en) * 2019-12-19 2021-06-24 Facebook Technologies, Llc Passthrough window object locator in an artificial reality system
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11945123B2 (en) * 2020-04-28 2024-04-02 Altec Industries, Inc. Head mounted display for remote operation of machinery
US20230186542A1 (en) * 2020-05-29 2023-06-15 Sony Group Corporation Information processing apparatus, information processing method, and computer-readable recording medium
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11422619B2 (en) * 2020-09-01 2022-08-23 Htc Corporation Tracking method and tracking system
US11733530B1 (en) 2020-09-24 2023-08-22 Apple Inc. Head-mountable device having light seal element with adjustable opacity
US11448884B2 (en) * 2020-11-25 2022-09-20 Sony Interactive Entertainment Inc. Image based finger tracking plus controller tracking
WO2023038274A1 (ko) * 2021-09-13 2023-03-16 삼성전자 주식회사 사용자의 착용을 감지하기 위한 웨어러블 장치
USD964988S1 (en) 2021-10-18 2022-09-27 Meta Platforms Technologies, Llc Head-mounted display
US11809640B2 (en) * 2021-12-09 2023-11-07 Htc Corporation Method for detecting movement of ring controller, ring controller, and computer readable medium
US20230381649A1 (en) * 2022-05-27 2023-11-30 Sony Interactive Entertainment LLC Method and system for automatically controlling user interruption during game play of a video game
US11689008B1 (en) 2022-07-28 2023-06-27 Altec Industries, Inc. Wire tensioning system
US11997429B2 (en) 2022-07-28 2024-05-28 Altec Industries, nc. Reducing latency in head-mounted display for the remote operation of machinery
US11697209B1 (en) 2022-07-28 2023-07-11 Altec Industries, Inc. Coordinate mapping for motion control
US11717969B1 (en) 2022-07-28 2023-08-08 Altec Industries, Inc. Cooperative high-capacity and high-dexterity manipulators
US11839962B1 (en) 2022-07-28 2023-12-12 Altec Industries, Inc. Rotary tool for remote power line operations
US11742108B1 (en) 2022-07-28 2023-08-29 Altec Industries, Inc. Operation and insulation techniques
US11794359B1 (en) 2022-07-28 2023-10-24 Altec Industries, Inc. Manual operation of a remote robot assembly
US11749978B1 (en) 2022-07-28 2023-09-05 Altec Industries, Inc. Cross-arm phase-lifter
US11660750B1 (en) 2022-07-28 2023-05-30 Altec Industries, Inc. Autonomous and semi-autonomous control of aerial robotic systems
US20240104792A1 (en) * 2022-09-22 2024-03-28 Apple Inc. Operating Modes for Reducing Distraction in Extended Reality Environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309097A1 (en) * 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
TW201112301A (en) * 2009-09-30 2011-04-01 Mitsubishi Electric Corp Switch lock device and control device
TW201303640A (zh) * 2011-06-23 2013-01-16 Microsoft Corp 用於頭戴式顯示器之全視野分類
TW201312384A (zh) * 2011-09-01 2013-03-16 Ind Tech Res Inst 頭戴式個人電腦及其互動式系統

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
EP0883195A1 (en) 1997-06-03 1998-12-09 BARR & STROUD LIMITED Head tracking system comprising LED with fluorescent coating
JPH11312033A (ja) 1998-04-28 1999-11-09 Sony Corp 眼鏡型画像表示装置
US6630915B1 (en) * 1999-01-26 2003-10-07 Lsa. Inc. Wireless transmission system for transmitting data to a simulation system user
JP2000271342A (ja) * 1999-03-26 2000-10-03 Sony Corp 位置情報発信装置およびこれを使用した仮想空間映像表示装置
JP3833099B2 (ja) * 2000-11-17 2006-10-11 キヤノン株式会社 ゲーム機の制御装置及び制御方法及びコンピュータ読み取り可能な制御プログラム
US8570378B2 (en) * 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4612835B2 (ja) * 2004-12-20 2011-01-12 キヤノン株式会社 画像表示装及び画像表示システム
JP2008077572A (ja) 2006-09-25 2008-04-03 Toshiba Corp 画像表示装置
US20080136775A1 (en) * 2006-12-08 2008-06-12 Conant Carson V Virtual input device for computing
JP4689639B2 (ja) * 2007-04-25 2011-05-25 キヤノン株式会社 画像処理システム
JP5292725B2 (ja) * 2007-05-24 2013-09-18 株式会社島津製作所 モーショントラッカ装置
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US20090237355A1 (en) * 2008-03-24 2009-09-24 Storm Orion Head tracking for virtual reality displays
JP4674634B2 (ja) * 2008-12-19 2011-04-20 ソニー株式会社 頭部装着型ディスプレイ
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US8386718B2 (en) * 2009-11-18 2013-02-26 Research In Motion Limited Method and apparatus for managing application data in a shared cache of a mobile electronic device
JP2011258158A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5336665B2 (ja) 2010-10-07 2013-11-06 株式会社ソニー・コンピュータエンタテインメント ３−ｄメガネと、カメラベースの頭部トラッキング
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP2012173772A (ja) * 2011-02-17 2012-09-10 Panasonic Corp ユーザインタラクション装置、ユーザインタラクション方法、ユーザインタラクションプログラム、及び集積回路
JP2012223363A (ja) 2011-04-20 2012-11-15 Tokyo Institute Of Technology 手術用撮像システム及び手術用ロボット
JP5800602B2 (ja) 2011-06-29 2015-10-28 オリンパス株式会社 情報処理システム、携帯電子機器、プログラム及び情報記憶媒体
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
JP2013073434A (ja) 2011-09-28 2013-04-22 Seiko Epson Corp 情報入力装置、および情報入力方法
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9329678B2 (en) * 2012-08-14 2016-05-03 Microsoft Technology Licensing, Llc Augmented reality overlay for control devices
US20160088417A1 (en) * 2013-04-30 2016-03-24 Intellectual Discovery Co., Ltd. Head mounted display and method for providing audio content by using same
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US9690367B2 (en) * 2014-12-10 2017-06-27 Sixense Entertainment, Inc. System and method for assisting a user in locating physical objects while the user is in a virtual reality environment
US10532277B2 (en) * 2015-06-11 2020-01-14 Facebook Technologies, Llc Hand-held controllers with light-emitting diodes synchronized to an external camera
US10007116B2 (en) * 2015-06-15 2018-06-26 Oculus Vr, Llc Recessed light-emitting diodes in virtual-reality systems
CN108292040B (zh) * 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100309097A1 (en) * 2009-06-04 2010-12-09 Roni Raviv Head mounted 3d display
TW201112301A (en) * 2009-09-30 2011-04-01 Mitsubishi Electric Corp Switch lock device and control device
TW201303640A (zh) * 2011-06-23 2013-01-16 Microsoft Corp 用於頭戴式顯示器之全視野分類
US20130093789A1 (en) * 2011-06-23 2013-04-18 James Chia-Ming Liu Total field of view classification for head-mounted display
TW201312384A (zh) * 2011-09-01 2013-03-16 Ind Tech Res Inst 頭戴式個人電腦及其互動式系統

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI620100B (zh) * 2017-02-15 2018-04-01 宏達國際電子股份有限公司 虛擬實境移動畫面顯示方法、虛擬實境裝置及記錄媒體
TWI626469B (zh) * 2017-04-27 2018-06-11 宏碁股份有限公司 頭戴式顯示器及其控制方法
US10281720B2 (en) 2017-04-27 2019-05-07 Acer Incorporated Head mounted display device and control method thereof
CN110794579A (zh) * 2018-08-01 2020-02-14 宏星技术股份有限公司 头戴显示装置
US11287846B2 (en) 2018-08-01 2022-03-29 Starvr Corporation Head-mounted display
CN110794579B (zh) * 2018-08-01 2022-05-03 宏星技术股份有限公司 头戴显示装置

Also Published As

Publication number Publication date
JP2017152010A (ja) 2017-08-31
WO2014200779A3 (en) 2015-02-19
US11504609B2 (en) 2022-11-22
TW201511803A (zh) 2015-04-01
US10525335B2 (en) 2020-01-07
JP6313432B2 (ja) 2018-04-18
US9630098B2 (en) 2017-04-25
US20200139227A1 (en) 2020-05-07
US20140364215A1 (en) 2014-12-11
US10173129B2 (en) 2019-01-08
CN105359063B (zh) 2018-08-17
US10987574B2 (en) 2021-04-27
JP2016527601A (ja) 2016-09-08
EP3008549A2 (en) 2016-04-20
EP3008549B1 (en) 2021-03-17
US20160129346A1 (en) 2016-05-12
US20140361956A1 (en) 2014-12-11
WO2014200779A2 (en) 2014-12-18
US20210245041A1 (en) 2021-08-12
CN105359063A (zh) 2016-02-24
JP6408634B2 (ja) 2018-10-17

Similar Documents

Publication Publication Date Title
US11504609B2 (en) Head mounted display
US11079999B2 (en) Display screen front panel of HMD for viewing by users viewing the HMD player
JP7419460B2 (ja) Ｖｒ観戦のための拡大された視野再レンダリング
US11389726B2 (en) Second screen virtual window into VR environment
US10445925B2 (en) Using a portable device and a head-mounted display to view a shared virtual reality space
JP6770178B2 (ja) Ｈｍｄユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法
EP3469466B1 (en) Directional interface object
TWI594174B (zh) 頭戴顯示器之追蹤系統、方法及裝置
US11534684B2 (en) Systems and methods for detecting and displaying a boundary associated with player movement
US20170278306A1 (en) Virtual Reality (VR) Cadence Profile Adjustments for Navigating VR Users in VR Environments