TWI459369B - 使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法 - Google Patents

使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法 Download PDF

Info

Publication number
TWI459369B
TWI459369B TW101113836A TW101113836A TWI459369B TW I459369 B TWI459369 B TW I459369B TW 101113836 A TW101113836 A TW 101113836A TW 101113836 A TW101113836 A TW 101113836A TW I459369 B TWI459369 B TW I459369B
Authority
TW
Taiwan
Prior art keywords
hmd
view
location
media content
free
Prior art date
Application number
TW101113836A
Other languages
English (en)
Other versions
TW201248192A (en
Inventor
Stephen Strong
Original Assignee
Echostar Technologies Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Echostar Technologies Llc filed Critical Echostar Technologies Llc
Publication of TW201248192A publication Critical patent/TW201248192A/zh
Application granted granted Critical
Publication of TWI459369B publication Critical patent/TWI459369B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00—Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • G01C19/02—Rotary gyroscopes
    • G01C19/34—Rotary gyroscopes for indicating a direction in the horizontal plane, e.g. directional gyroscopes
    • G01C19/38—Rotary gyroscopes for indicating a direction in the horizontal plane, e.g. directional gyroscopes with north-seeking action by other than magnetic means, e.g. gyrocompasses using earth's rotation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Environmental Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Ecology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geology (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法
本發明係關於用於共享觀察經驗之裝置、系統及方法，且更特定言之係關於使用頭戴式顯示器共享觀察經驗之裝置、系統及方法。
頭戴式顯示器(HMD)器件(亦稱為頭盔式顯示器器件或視訊眼鏡器件)係配戴於一觀察者之頭部上之顯示器器件。HMD為具有定位於觀察者之一眼之前面(單眼HMD)或觀察者之各眼之前面(雙眼HMD)之小型光學顯示器之一顯示器器件。其他HMD具有高於觀察者之雙眼而定位之一相對較大之光學顯示器。一些HMD光學顯示器可經組態以呈現三維(3D)影像。
一些HMD包含經組態以偵測觀察者之頭部之移動之頭部方位及頭部幾何定向偵測系統。藉由安裝於HMD上或製造於HMD中之複數個加速度器及/或陀螺儀感測觀察者之頭部之方位及/或幾何定向之改變。微機電系統(MEMS)器件可用於提供安裝至HMD或安裝於HMD內之相對較小但精確之加速度器及陀螺儀。
有關一些類型之媒體內容，可提供一相對較大之潛在視野至HMD。該相對較大之視野遠大於藉由HMD光學顯示器提供之觀察區域之可用尺寸。基於一經識別之視點位置，選擇該相對較大之視野之一部分以呈現於HMD光學顯示器上。具有一相對較大之潛在視野之一例示性媒體內容 串流可以一多觀察編碼格式串流傳輸至HMD。
當觀察者移動其頭部時，加速度器及陀螺儀感測觀察者頭部之移動。接著，一機上處理系統基於觀察者頭部之經偵測之移動判定該觀察者頭部之幾何定向及/或方位。接著，基於該經偵測之移動判定視點位置之一改變。接著，基於該視點位置之經判定之改變變化藉由HMD所呈現之影像之視野。
然而，此等觀察經驗係限於一單一觀察者。因此，此項技術需要使多個觀察者能在觀察一單一所呈現之媒體內容事件時共享一經驗。
揭示共享一自由視點格式媒體內容事件之一觀察經驗之系統及方法。一例示性實施例接收該自由視點格式媒體內容事件，自複數個頭戴式顯示器(HMD)之各者接收唯一幾何定向資訊，基於自該複數個HMD之各者接收之幾何定向資訊判定該複數個HMD之各者之一唯一視點位置，基於該經判定之唯一視點位置判定該複數個HMD之各者之一唯一視點區域，且將該唯一視點區域之各者傳達至該複數個HMD之相關聯者。
較佳實施例及替代實施例係參考下列圖式於下文予以詳細描述。
圖1係於一媒體器件102中實施之一多重頭戴式顯示器(HMD)呈現系統100之一實施例之一方塊圖。該多重HMD 呈現系統100之實施例係經組態以促進於媒體內容串流104中接收之媒體內容事件之一共享觀察經驗。該媒體內容事件係唯一呈現至通信地耦合至媒體器件102之複數個頭戴式顯示器(HMD)106之各者。該媒體器件102之實例包含(但不限於)一機上盒(STB)、一電視(TV)、一數位視訊光碟(DVD)播放器、一數位視訊記錄器(DVR)、一遊戲播放器件或一個人電腦(PC)。
該非限制性例示性媒體器件102包括一媒體內容串流介面108、一處理器系統110、一記憶體112及一任選呈現器件介面114及一HMD介面116。記憶體112包括用於儲存媒體器件邏輯118、HMD器件邏輯120、HMD幾何定向邏輯122、HMD視野邏輯124及HMD媒體內容串流處理邏輯126之部分。在一些實施例中，該邏輯118、120、122、124及/或126之一或多者可整合在一起，及/或可與其他邏輯整合。在其他實施例中，可藉由及使用經由網際網路或其他方式適當連接至一客戶器件之遠端伺服器或其他電子器件提供此等記憶體及其他資料操縱功能之一些或所有功能。其他媒體器件102可包含上文所描述之媒體處理組件之一些或可省略上文所描述之媒體處理組件之一些。此外，本文未描述之額外組件可包含於替代實施例中。
HMD器件106(亦稱為頭盔顯示器器件或視訊眼鏡器件)之各者係配戴於一觀察者之頭部上之顯示器器件。該等HMD 106具有定位於觀察者之眼睛之前面之一或多個小型光學顯示器128。一些HMD 106可經組態以呈現三維(3-D) 影像。
使用一適當自由視點格式提供所呈現之媒體內容事件。該自由視點格式媒體內容事件之相對較大之視野遠大於藉由HMD光學顯示器128提供之觀察區域之可用尺寸。基於一經識別之視點位置，選擇對應於該相對較大視野之一部分之一視點區域130以呈現於HMD 106之光學顯示器128上。
當複數個HMD 106之使用者之各者移動其等頭部時，加速度器及陀螺儀感測觀察者頭部之移動。基於經判定之HMD 106之幾何定向及/或方位之改變，接著基於自該HMD 106傳達至媒體器件102之幾何定向資訊判定視點位置之一改變。接著，基於該視點位置之經判定改變變化視點區域130。
因此，其等HMD 106之各特定使用者能個別控制呈現於其等HMD 106上之其等視點區域130。例如，HMD 106a之使用者可觀察對應於自由視點格式媒體內容事件之可視區域之所關注之一特定部分之一視點區域130a。替代地，HMD 106b之使用者可觀察對應於相同自由視點格式媒體內容事件之可視區域之所關注之一不同部分之一視點區域130b。
相比之下，一非自由視點媒體內容格式呈現對應於媒體內容事件之經選擇之相機角度之一單一視點。該單一觀察格式類似於一傳統媒體內容事件(諸如，可呈現於一媒體呈現系統132上之一電影或類似物)中呈現之視點。一例示 性媒體呈現系統132可包括包含呈現對應於所呈現之媒體內容事件之視訊部分之一單一視點視訊影像138之一顯示器136之一視訊顯示器器件134。可在一或多個揚聲器142上藉由再生所呈現之媒體內容事件之音訊部分之一音訊呈現器件140呈現音訊部分。該視訊顯示器器件134之非限制性實例包含電視、監視器、電腦或類似物。該音訊呈現器件140之非限制性實例包含立體聲、環繞音效系統或類似物。在一些實施例中，該視訊顯示器器件134及該音訊呈現器件140可整合成一單一媒體呈現器件。
在一例示性實施例中，直接觀察視訊顯示器器件134之顯示器136之一人將經歷以一傳統單一觀察格式呈現媒體內容事件。然而，媒體呈現系統132附近之所有個體將聽到一般呈現之自由視點格式媒體內容事件之音訊部分。一些HMD 106可包含其等自身揚聲器或類似物以便將一般呈現之媒體內容事件之音訊部分呈現給HMD 106之特定使用者。由於HMD 106之複數個使用者各自觀察其等自身唯一視點區域130，且同時聽到一般呈現之自由視點格式媒體內容事件之相同音訊部分，故該複數個HMD 106之使用者具有一共享觀察經驗。
可使用任意適當自由視點媒體內容格式將媒體內容串流104中的一般呈現之媒體內容事件提供至媒體器件102。例如(但不限於)，多觀察視訊編碼(MVC)格式為一例示性自由視點媒體內容格式。
所呈現之視點區域130之判定係基於三維(3-D)空間中的 特定HMD 106之相對幾何定向。該幾何定向可基於任意適當座標參考系統。該幾何定向資訊可基於角度、向量或類似物。例如(但不限於)，該幾何定向資訊可以尤拉角度(Euler angle)、泰特布萊恩角度(Tait-Bryan angle)(偏航、俯仰及翻滾)或類似物之形式表示。該幾何定向資訊可相對於特定HMD 106之當前位置，或可參考一預定位置或點。
基於HMD 106之當前幾何定向，判定一當前視點位置。基於該經判定之當前視點位置，接著判定視點區域130。該視點區域130對應於HMD 106之光學顯示器128之可用可視區域。接著，將該視點區域130呈現於該特定HMD 106之光學顯示器128上。例如，若HMD 106之幾何定向在一直通幾何定向處，則視點區域130將對應於直線前進觀察之自由視點格式媒體內容事件之可視區域之一部分。
藉由常駐於各HMD 106上或常駐於各HMD 106內之一幾何定向系統144判定3-D空間中的HMD 106之幾何定向。該幾何定向系統144可包括經組態以偵測HMD 106之移動之複數個加速度器及/或複數個陀螺儀。例如(但不限於)，HMD 106可包含微機電系統(MEMS)加速度器及/或陀螺儀。在一些實施例中，該幾何定向系統144可基於藉由經組態以判定HMD 106之幾何定向之一外部系統而偵測之HMD 106之表面上之可偵測標記。HMD 106之各種實施例可使用任意適當幾何定向判定系統。
基於HMD 106之經偵測之移動，判定當前視點位置。該 經判定之當前視點位置對應於使用者有興趣觀看之相對較大潛在視野內之所關注之一點。因此，使用者可藉由移動其等之頭部(此對應於被該使用者配戴之HMD 106之經感測之移動)以一平移及/或傾斜方式來改變所呈現之視點區域130。
描述一例示性觀察經驗以促進多重HMD呈現系統100之一實施例之操作之一概念理解。假定HMD 106之複數個使用者一般觀察關於一動作片之一自由視點格式媒體內容事件，其中主題關於在一茂密叢林中狩獵人類之食肉外星人。在一特定場景中，相對較大之潛在視野之當前視點通常可對應於沿著一窄步道穿過叢林行走之人類演員之一或多者。
自由視點格式媒體內容事件之相對較大之潛在視野將提供一潛在大且寬之觀察區域，諸如，人類演員周圍之一360度觀察。使用者能自相對較大之潛在視野媒體內容事件之相對較大之潛在視野選擇所關注之一特定視點區域130。藉由其等特定HMD 106之當前幾何定向判定所呈現之視點區域130，其通常指向所關注之一視點。該HMD 106之幾何定向系統144基於使用者頭部之經偵測之移動在一即時基礎上或接近即時基礎上判定該HMD之幾何定向。
例如，HMD 106a之使用者可注意人類演員在何處行走，且因此其等所呈現之視點區域130a可對應於叢林步道之一向前看觀察(由於使用者頭部將以如可自由該HMD 106a之幾何定向系統144提供之幾何定向資訊判定之一向 前看幾何定向而定向)。然而，於相同時間，HMD 106b之使用者可注意人類演員橫過之地面，且因此，其等所呈現之視點區域130a可對應於叢林步道之地面之一向下看觀察(由於使用者之頭部將以如可自由該HMD 106b之幾何定向系統144提供之幾何定向資訊判定之一向下看幾何定向而定向)。同時，HMD 106i之使用者可向上看至左邊，且因此，其等所呈現之視點區域130i可對應於沿著叢林步道之樹冠之一向上看觀察(由於使用者之頭部將以如可自由該HMD 106i之幾何定向系統144提供之幾何定向資訊判定之一向上看幾何定向而定向)。
所有使用者聽一般呈現之媒體內容事件之所呈現之音訊部分。此外，該等使用者之各者可聽到另一使用者所說之任何事。
繼續描述例示性觀察經驗，假設食肉外星人在上面之樹冠中可視，且假設HMD 106i之使用者在樹冠中看見食肉外星人。接著，該HMD 106i之使用者可呼喊「我在左上之樹中看見食肉外星人！」其他使用者聽到HMD 106i之使用者之聲音，且後續將其等頭部轉向上且至左邊。該等幾何定向系統144偵測其等特定HMD 106之移動，且因此，重新計算該視點區域130以展示自其等當前視點位置平移而改變該所呈現之視點區域130上至對應於樹冠中的食肉外星人之向上觀察之一新視點位置。因此，接著所有使用者能一般共享食肉外星人在其自樹冠向下跳躍以攻擊人類時之觀察經驗。
一例示性多重HMD呈現系統100之操作通常於本文下文中予以描述。媒體內容串流介面108係經組態以接收具有媒體內容事件(其在自由視點媒體內容事件中提供)之媒體內容串流104。實行媒體器件邏輯108之處理器系統110處理該經接收之媒體內容串流104以獲得對應於自由視點格式媒體內容事件之相對較大之潛在視野之視訊資訊。
在通信地耦合至媒體呈現系統132之實施例中，一單一視點視訊影像可藉由處理器系統110源於媒體內容事件。接著，該單一視點視訊影像可經由呈現器件介面114視情況傳達至視訊顯示器器件134以在顯示器136上呈現。
該處理器系統110亦獲得媒體內容事件之音訊部分。該音訊部分可經由該呈現器件介面114傳達至音訊呈現器件140。該音訊呈現器件在一或多個揚聲器142上再生所呈現之媒體內容事件之音訊部分。替代地或此外，該音訊部分可傳達至視訊顯示器器件134且藉由視訊顯示器器件134再生及/或至個別HMD 106。因此，HMD 106之使用者之各者共享聽到一般呈現之媒體內容事件之音訊部分之經驗。
實行HMD器件邏輯120之處理器系統110判定經由HMD器件介面116對其通信地耦合之特定類型之HMD 106。該等HMD 106可彼此不同，且因此，可對各特定HMD 106判定對應於經判定之視點區域130之視訊影像資料。
在各種實施例中，關於各種類型之可用HMD 106之技術說明書之一資料庫可儲存作為HMD器件邏輯120之部分，且可儲存於記憶體112或另一記憶體媒體中的一適當資料 庫中的別處。此外或替代地，一HMD 106可在該HMD 106係最初耦合至HMD介面116時及/或在該HMD 106最初電力開啟時所執行之一初始化程序期間將其技術說明書下載至媒體器件102。各HMD 106之技術說明書可指示視訊影像資料之所需格式，可指定音訊資訊之格式(若藉由HMD 106之揚聲器呈現)，可指定視點區域130之尺寸(可呈現之光學顯示器128之視野)，及/或可指定由幾何定向系統144提供之幾何定向資訊之本質。
基於由各HMD 106之幾何定向系統144提供之幾何定向資訊，HMD幾何定向邏輯122係經組態以即時或以接近即時判定3-D空間中的各HMD 106之幾何定向。在一例示性實施例中，將藉由幾何定向系統144之各種組件偵測之原始移動資料(例如，藉由加速度器及/或陀螺儀偵測之移動)傳達至媒體器件102。藉由該HMD幾何定向邏輯122處理該經接收之原始移動資料以判定3-D空間中的HMD 106之幾何定向。替代地或此外，該HMD 106可包含經組態以判定3-D空間中的其各自當前幾何定向之一處理系統(未展示)。接著，可將經HMD判定之幾何定向資訊傳達至媒體器件102。
基於各HMD 106之經當前判定之當前幾何定向，判定用於各HMD 106之媒體內容事件之可視區域內之當前視點位置。該當前視點位置係用於判定用於各HMD 106之一唯一視點區域130。在一例示性實施例中可在HMD視野邏輯124之管理下判定該視點區域130。當各HMD 106之幾何定向 改變時，改變媒體內容之可視區域內之當前視點位置。當HMD之視點位置隨著自HMD 106之各者接收最新幾何定向資訊而改變時，判定一新當前視點區域130。
基於該經判定之當前視點區域130，接著對該等HMD 106之各者判定視訊影像資料。在HMD媒體內容串流處理邏輯126之管理下判定視訊影像資料。用於一特定HMD 106之視訊影像資料係基於當前視點區域130。此外，該視訊影像資料係基於多種其他因素。
例如，經判定之視訊影像資料係基於各HMD 106之技術說明書。例如，HMD 106可具有其等特定光學顯示器128上之不同的可呈現觀察區域。由於光學顯示器128之可呈現觀察區域可於不同類型之HMD 106之間變化，故對各視點區域130判定之視訊影像資料可隨一HMD 106與另一HMD 106而不同，即使其等具有3-D空間中的相同當前幾何定向。因此，基於被特定HMD 106使用之特定光學顯示器128之可呈現觀察區域部分判定視訊影像資料。
此外，不同HMD 106可使用不同格式之視訊影像資料。因此，HMD媒體內容串流處理邏輯126基於用於各特定HMD 106之所需視訊影像資料格式處理該視訊影像資料。
接著，通過於HMD介面116與HMD 106之各者之間建立之一通信鏈路146將用於各HMD 106之經判定之視訊影像資料傳達至目的地HMD 106。在一例示性實施例中，該HMD介面116係經組態以使用一基於電線之連接器而通信地耦合至該等HMD 106之一或多者。替代地，該HMD介面 116可經組態以使用一適當無線媒體(諸如，一紅外線(IR)信號或一射頻(RF)信號)而與該等HMD 106之一或多者進行無線通信。在此等實施例中，該HMD介面116包括一或多個RF收發器。媒體器件102之一些實施例係經組態以使用不同類型之通信鏈路146而耦合至不同類型之HMD 106。
替代實施例可包括複數個相異處理模組(各者經組態以處理經接收之媒體內容串流104及/或其內之自由視點格式媒體內容事件)以判定用於一特定HMD 106之視點區域130。因此，各處理模組可包括其自身處理器系統110、記憶體112及/或HMD介面116。接著，各處理模組可管理其自身HMD器件邏輯120、HMD幾何定向邏輯122、HMD視野邏輯124及/或HMD媒體內容串流處理邏輯126。一些實施例可共享一組件或模組。例如，HMD介面116可被複數個處理模組共享。替代地或此外，一實施例可將該邏輯120、122、124及/或126之一或多者儲存於一個一般共享之記憶體媒體上且在一如所需基礎上評估此邏輯。在一些實施例中，媒體內容事件之音訊部分可經一般處理且接著傳達至複數個HMD 106。
圖2係於複數個媒體器件102a、102b中實施之一多重HMD呈現系統100之一實施例之一方塊圖。該等媒體器件102a、102b位於不同位置。
第一例示性媒體器件102a係於一第一位置202a處。該第一媒體器件102a呈現來自經接收之媒體內容串流104之一自由視點格式媒體內容事件。第二媒體器件102b係於一第 二位置202b處。該第二媒體器件102b亦呈現來自經同時接收之媒體內容串流104之相同自由視點格式媒體內容事件。於其他位置處之其他媒體器件102(未展示)亦可同時呈現該自由視點格式媒體內容事件。在各種實施例中，第二位置202b不同於第一位置202a。該等位置可在不同房間中、相同城鎮之不同部分、不同城鎮，甚至不同國家。即，不同位置彼此空間分離而至第二位置202b中的使用者不能聽到第一位置202a中呈現之音訊部分之呈現之一程度。
該第一媒體器件102a對複數個HMD 106a至HMD 106i之各者提供基於特定HMD 106之當前幾何定向而判定之一特定視點區域130。該第二媒體器件102b亦對複數個HMD 106j至HMD 106z之各者提供基於該特定HMD 106之當前幾何定向而判定之一特定視點區域130。在一些例子中，可能僅有在位置202a及/或202b處操作之一單一HMD 106。
在一例示性實施例中，第一媒體器件102a與第二媒體器件102b通信以同步呈現自由視點格式媒體內容事件。例如，媒體內容串流104可在略不同時間到達媒體器件102a、102b。因此，在該等媒體器件102a、102b之一或多者處可提前或延緩自由視點格式媒體內容事件之呈現以同時同步呈現。
藉由第一位置202a處之通信系統介面204a及第二位置202b處之通信系統介面204b促進媒體器件102a、102b之間的通信。該等通信系統介面204a、204b係可分離電子通信 器件。替代地，該等通信系統介面204a、204b之一或多者可係其各自媒體器件102a、102b之整合組件。
經由一通信系統206將該等通信系統介面204a、204b通信地耦合在一起。該通信系統206係繪示為一通用通信系統。在一實施例中，該通信系統206包括一射頻(RF)無線系統，諸如，一蜂巢式電話系統。因此，該等通信系統介面204a、204b包含一適當收發器。替代地，該通信系統206可為一電話系統、網際網路、一Wi-Fi系統、一微波通信系統、一光纖系統、一內部網路系統、一區域網路(LAN)系統、一乙太網路(Ethernet)系統、一有線電視系統、一射頻系統、一蜂巢式系統、一紅外線系統、一人造衛星系統或由多重類型之通信媒體組成之一混合系統。此外，可實施該等通信系統介面204a、204b之實施例以使用其他類型之通信技術(諸如(但不限於)數位用戶迴路(DSL)、X.25、網際網路協定(IP)、乙太網路、整合式服務數位網路(ISDN)及非同步傳送模式(ATM))進行通信。此外，媒體器件102之實施例可經組態以通過具有複數個區段之組合系統進行通信，該等組合系統對各區段運用不同格式，該等不同格式在各區段上運用不同技術。
媒體器件102a、102b之各者同時接收媒體內容串流104，且因此一般能無關於其等位置將自由視點格式媒體內容事件之視訊及音訊部分呈現至之複數個HMD 106。因此，各使用者一般能聽到音訊部分且唯一觀察基於其等HMD 106之當前幾何定向判定之其等自身視點區域130。
視情況，多重HMD呈現系統100之一些實施例係組態有允許在第一位置202a處之使用者與第二位置202b處之使用者之間之聲音交換(諸如，在呈現自由視點格式媒體內容事件期間構成之各種使用者之口頭評論)之能力。例如，可在位置202a、202b之間建立一電話或等效鏈路使得在呈現所同時呈現之媒體內容事件期間使用者可有效地彼此交談。各種實施例可使用任意適當電信系統或媒體。在一些情形中，用於支援複數個位置202a、202b之間的聲音通信之通信媒體可與媒體器件102a、102b及/或通信系統介面204a、204b之實施例分離且相異。只要媒體器件102a、102b同時接收媒體內容串流104，或於大體上相同時間接收媒體內容串流104，使用者及位置202a、202b一般將經歷所同時呈現之自由視點格式媒體內容事件之一共享呈現。
例如，可自經由一廣播系統及/或甚至通信系統206廣播自由視點格式媒體內容事件之一媒體內容提供者接收媒體內容串流104。一廣播系統之實例包含(但不限於)一人造衛星系統、一有線電視系統、一無線廣播系統、網際網路或經組態以支援至經分離定位之媒體器件102a、102b之自由視點格式媒體內容事件之共同通信之任意其他適當系統。
在一些實施例中，一般可在媒體器件102a、102b之間強迫偽播放功能性。例如，第一位置202a處之一使用者可希望暫停或倒轉所同時呈現之自由視點格式媒體內容事件。因此，在該媒體器件102a處，偽播放功能操作改變自由視 點格式媒體內容事件之呈現。該媒體器件102a處發生之偽播放功能操作可藉由將相同偽播放功能命令同時傳達至該第二媒體器件102b被第二媒體器件102b仿真。因此，在該媒體器件102b處，該偽播放功能亦改變自由視點格式媒體內容事件之呈現。例如(但不限於)，若該第一位置202a處之使用者暫停或倒轉所一般呈現之媒體內容事件，第二位置202b處之媒體器件102b亦回應於該第一位置202a處所開始之使用者命令而暫停或倒轉所同時呈現之媒體內容事件。該反向亦可為真實的，其中該第二位置202b處之一使用者可同時***體器件102a、102b兩者之操作。
圖3係於一機上盒(STB)類型之媒體器件102中實施之一多重HMD呈現系統100之一實施例之一方塊圖。該非限制性例示性STB類型媒體器件102包括一媒體內容串流介面108、一處理器系統110、一記憶體112及一任選呈現器件介面114、一HMD介面116、一節目緩衝器302、一任選數位視訊記錄器(DVR)304及一任選遠端介面306。記憶體112包括用於儲存媒體器件邏輯118、HMD器件邏輯120、HMD幾何定向邏輯122、HMD視野邏輯124及HMD媒體內容串流處理邏輯126之部分。在一些實施例中，該邏輯118、120、122、124及/或126之一或多者可整合在一起，及/或可與其他邏輯整合。在其他實施例中，可藉由及使用經由網際網路或其他方式適當連接至一客戶器件之遠端伺服器或其他電子器件提供此等記憶體及其他資料操縱功能之一些或所有功能。其他媒體器件可包含上述媒體處理 組件之一些或可省略上述媒體處理組件之一些。此外，本文未描述之額外組件可包含於替代實施例中。
現大致描述STB類型媒體器件102之功能性。一媒體內容提供者提供在可在一或多個運輸頻道中一起多工之一或多個多重媒體內容串流104中接收之自由視點格式媒體內容事件。具有媒體內容串流104之運輸頻道係自源於由媒體內容提供者操作之一遠端頭端設備(未展示)之一媒體系統傳達至STB類型媒體器件102。此等媒體系統之非限制性實例包含人造衛星系統、有線電視系統及網際網路。例如，若媒體內容提供者經由一基於人造衛星之通信系統而提供節目編排，則媒體器件102係經組態以接收藉由一天線(未展示)偵測之一或多個經廣播人造衛星信號。替代地或此外，可自一或多個不同源(諸如(但不限於)一有線電視系統、一射頻(RF)通信系統或網際網路)接收媒體內容串流104。
藉由媒體內容串流介面108接收一或多個媒體內容串流104。該媒體內容串流介面108中的一或多個調諧器308根據自處理器系統110接收之指令選擇性地調諧至該等媒體內容串流104之一者。實行媒體器件邏輯108且基於由一使用者指定之所關注之一媒體內容事件之一請求之處理器系統110剖析出與該所關注之媒體內容事件相關聯之媒體內容。若該媒體內容事件為一自由視點格式媒體內容事件，則該多重HMD呈現系統100之實施例可計算複數個不同視點130且接著將該複數個不同視點130傳達至複數個HMD 106。替代地，若該媒體內容事件為一單一視點格式媒體內容事件，則該多重HMD呈現系統100之實施例使用可呈現於媒體呈現系統132及/或HMD 106上之單一觀察格式呈現媒體內容事件。(即，接著，HMD 106操作以使用該單一觀察格式呈現該媒體內容事件。)
接著，將所關注之自由視點格式媒體內容事件組裝成可藉由節目緩衝器302儲存之一視訊及/或音訊資訊串流使得自該自由視點格式媒體內容事件判定之唯一視點區域130可串流出至HMD 106。替代地或此外，所剖析出之自由視點格式媒體內容事件可保存至DVR 304中用於稍後呈現。該DVR 304可直接提供於(本端連接至或遠端連接至)STB類型媒體器件102中。
該例示性STB類型媒體器件102係經組態以經由一遠端控制310自一使用者接收命令。該遠端控制310包含一或多個控制器312。使用者(藉由啟動該等控制器312之一或多者)使得該遠端控制310產生若干命令且經由一無線信號314將該等命令傳輸至媒體器件102。該等命令可***體器件102、HMD 106，及/或***體呈現系統132。該無線信號314可為一紅外線信號或一RF信號。例如，該等使用者之一者可操作該遠端控制310以暫停或倒轉所同時呈現之自由視點格式媒體內容事件。
藉由STB類型媒體器件102執行之上述程序通常係藉由處理器系統110於實行媒體器件邏輯118時實施。因此，該STB類型媒體器件102可執行與在媒體內容串流104中接收 之一或多個媒體內容事件之處理及呈現相關之各種功能。
在一替代實施例中，該媒體器件102為可耦合至經組態以接收一廣播自由視點格式媒體內容事件之一機上盒或其他媒體器件之一分離電子器件。該自由視點格式媒體內容事件藉由媒體器件102之單獨實施例予以接收且接著處理。此等單獨實施例可與舊有媒體器件一起使用。
在一些實施例中，HMD 106之一經選擇者係用於界定視點位置，該視點位置係用於判定呈現於視訊顯示器器件134之顯示器136上之單一視點視訊影像138。當使用者移動其等頭部且因此改變其等HMD 106之幾何定向時，媒體器件追蹤HMD 106之移動且將一視點區域130呈現於顯示器136上。因此，不使用該等HMD之一者之觀察者亦可經歷自由視點格式媒體內容事件之共享觀察。
在一些實施例中，基於在複數個HMD引導向之媒體內容事件之可視區域內之一視點位置判定單一視點視訊影像138。例如，若HMD 106之所有使用者看至左上方，則改變單一視點視訊影像38以亦呈現通常至左上方之一觀察。可以各種方式判定該單一視點視訊影像138之觀察點位置。一實施例基於HMD 106之個別視點位置判定一平均視點位置。任意適當統計分析技術可基於HMD 106之個別視點位置用來判定單一視點視訊影像138之平均視點位置。一些實施例可運用一臨限值，其中當判定該單一視點視訊影像138之視點位置時，將忽視不在主要數量之其他HMD 106之一方向上看之該等HMD 106。
有時，如藉由HMD 106之兩個或兩個以上之幾何定向判定之視點位置可為同時且可為大體上相同。媒體器件102之一些實施例可經組態以判定同時傳達至具有大體上相同之視點位置之兩個或兩個以上HMD 106之一共同視點區域130。該等視點位置可為相同或可在一些會聚臨限值(諸如，彼此之一預定區域或角度)內。例如，若兩個或兩個以上之HMD 106之幾何定向角度係在彼此之兩度或三度(會聚臨限值)內，則判定一共同視點區域130。該共同視點區域130可被所有使用者接收。此處，當唯一視點區域130轉移至經判定之共同視點區域130之任意突然改變無法被使用者明顯辨別。當利用一共同視點區域130時，該等實施例更有效地利用處理器系統110之計算能力。
後續，當有藉由大於一發散臨限值之一數量發散之兩個或兩個以上HMD 106之後續視點位置之間之一發散，接著唯一觀察區域130係經分離判定且提供至該HMD 106之各者。因此，實施例係經組態以比較該等觀察區域之一位置來判定一位置差異。
在一例示性實施例中，發散臨限值可與會聚臨限值相同。替代地，發散臨限值可不同於會聚臨限值。例如，會聚臨限值可稍大於會聚臨限值達HMD 106之幾何定向角度之一度或兩度。
在一些實施例中，可藉由安裝於HMD 106上或製造於HMD 106中之複數個加速度器及/或陀螺儀偵測及/或藉由媒體器件102判定一特定HMD 106之位置之一改變。在此 等實施例中，可不改變視點位置，然而所呈現之視點區域之視在尺寸(apparent size)應基於HMD 106之位置之經判定之改變調整以提供一更現實經驗。例如，若HMD 106之使用者向前走步，則減小視點區域以模擬一「放大」效應，其中所呈現之物體似乎與使用者更接近。相反，若HMD 106之使用者向後走步，則增加視點區域以模擬一「縮小」效應，其中所呈現之物體似乎更遠離於使用者。
應強調，多重HMD呈現系統100之上述實施例僅為本發明之實施方案之可能實例。可對上述實施例作許多變更及修改。所有此等修改及變更意欲包含於本揭示內容之範疇內且藉由下列申請專利範圍所保護。
100‧‧‧多重頭戴式顯示器呈現系統
102‧‧‧媒體器件
102a‧‧‧媒體器件
102b‧‧‧媒體器件
104‧‧‧媒體內容串流
106‧‧‧頭戴式顯示器
106a‧‧‧頭戴式顯示器
106b‧‧‧頭戴式顯示器
106i‧‧‧頭戴式顯示器
106z‧‧‧頭戴式顯示器
108‧‧‧媒體內容串流介面
110‧‧‧處理器系統
112‧‧‧記憶體
114‧‧‧呈現器件介面
116‧‧‧頭戴式顯示器器件介面
118‧‧‧媒體器件邏輯
120‧‧‧頭戴式顯示器器件邏輯
122‧‧‧頭戴式顯示器幾何定向邏輯
124‧‧‧頭戴式顯示器視野邏輯
126‧‧‧頭戴式顯示器媒體內容串流處理邏輯
128‧‧‧光學顯示器
130a‧‧‧視點區域
130b‧‧‧視點區域
130i‧‧‧視點區域
132‧‧‧媒體呈現系統
134‧‧‧視訊顯示器器件
136‧‧‧顯示器
138‧‧‧單一視點視訊影像
140‧‧‧音訊呈現器件
142‧‧‧揚聲器
144‧‧‧幾何定向系統
146‧‧‧通信鏈路
202a‧‧‧第一位置
202b‧‧‧第二位置
204a‧‧‧通信系統介面
204b‧‧‧通信系統介面
206‧‧‧通信系統
302‧‧‧節目緩衝器
304‧‧‧數位視訊記錄器
306‧‧‧遠端介面
308‧‧‧調諧器
310‧‧‧遠端控制
312‧‧‧控制器
314‧‧‧無線信號
圖1係於一媒體器件中實施之一多重頭戴式顯示器(HMD)呈現系統之一實施例之一方塊圖。
圖2係於不同位置處之媒體器件中實施之一多重HMD呈現系統之一實施例之一方塊圖。
圖3係於一機上盒類型之媒體器件中實施之一多重HMD呈現系統之一實施例之一方塊圖。
100‧‧‧多重頭戴式顯示器呈現系統
102‧‧‧媒體器件
104‧‧‧媒體內容串流
106‧‧‧頭戴式顯示器
106a‧‧‧頭戴式顯示器
106b‧‧‧頭戴式顯示器
106i‧‧‧頭戴式顯示器
108‧‧‧媒體內容串流介面
110‧‧‧處理器系統
112‧‧‧記憶體
114‧‧‧呈現器件介面
116‧‧‧頭戴式顯示器器件介面
118‧‧‧媒體器件邏輯
120‧‧‧頭戴式顯示器器件邏輯
122‧‧‧頭戴式顯示器幾何定向邏輯
124‧‧‧頭戴式顯示器視野邏輯
126‧‧‧頭戴式顯示器媒體內容串流處理邏輯
128‧‧‧光學顯示器
130a‧‧‧視點區域
130b‧‧‧視點區域
130i‧‧‧視點區域
132‧‧‧媒體呈現系統
134‧‧‧視訊顯示器器件
136‧‧‧顯示器
138‧‧‧單一視點視訊影像
140‧‧‧音訊呈現器件
142‧‧‧揚聲器
144‧‧‧幾何定向系統
146‧‧‧通信鏈路

Claims (21)

  1. 一種共享一串流自由視點格式媒體內容事件之一觀看經驗之方法，該方法包括：接收在一媒體內容串流中接收之該串流自由視點格式媒體內容事件，其中該串流自由視點格式媒體內容事件包含一電影之一視訊資訊串流及一音訊資訊串流，其中該串流自由視點格式媒體內容事件之視訊資訊具有一視野，該視野大於可呈現於一電視顯示器上之該電影之一單一視點視野，且其中該單一視點視野係由該串流自由視點格式媒體內容事件之一經選擇之相機角度所定義；自一第一頭戴式顯示器(HMD)接收第一幾何定向資訊，同時在該第一HMD之一顯示器上將該視訊資訊串流呈現至一第一使用者；基於該第一幾何定向資訊判定該第一HMD之該串流自由視點格式媒體內容事件中的一第一視點位置，其中該第一視點位置識別該第一HMD之該第一使用者正在觀看之所呈現之該視訊資訊串流中之一第一有興趣點；基於該經判定之第一視點位置判定該第一HMD之一第一視點區域；自一第二HMD接收第二幾何定向資訊，同時在該第二HMD之一顯示器上將該電影之該視訊資訊串流呈現至一第二使用者；基於該第二幾何定向資訊判定該第二HMD之該串流自由視點格式媒體內容事件中的一第二視點位置，其中該 第二視點位置識別該第二HMD之該第二使用者正在觀看之所呈現之該視訊資訊串流中之一第二有興趣點；及基於該經判定之第二視點位置判定該第二HMD之一第二視點區域；將該第一視點區域傳達至該第一HMD，其中該第一HMD之該第一使用者在該第一HMD之該顯示器上觀看該電影之該第一視點區域；及將該第二視點區域傳達至該第二HMD，其中該第二HMD之該第二使用者在該第二HMD之該顯示器上觀看該電影之該第二視點區域。
  2. 如請求項1之方法，其進一步包括：呈現該串流自由視點格式媒體內容事件之該音訊資訊串流，其中所呈現之該音訊資訊串流可被該第一HMD之該第一使用者辨別且同時可被該第二HMD之該第二使用者辨別。
  3. 如請求項2之方法，其中該第一HMD在一第一位置處，其中該第二HMD在不同於該第一位置之一第二位置處，及其中呈現該音訊資訊串流包括：在該第一位置處呈現該串流自由視點格式媒體內容事件之該音訊資訊串流；及在該第二位置處同時呈現該串流自由視點格式媒體內容事件之該音訊資訊串流，其中在該第一位置處之所呈現之該音訊資訊串流與在 該第二位置處之所呈現之該音訊資訊串流同步。
  4. 如請求項1之方法，其中該第一HMD在一第一位置處，其中該第二HMD在不同於該第一位置之一第二位置處，及進一步包括：接收經組態以操作該第一位置處之一第一媒體器件之一使用者命令，其中該第一媒體器件基於該經接收之使用者命令改變該串流自由視點格式媒體內容事件之呈現；及將該經接收之使用者命令傳達至該第二位置處之一第二媒體器件，其中該第二媒體器件基於該經接收之使用者命令改變該串流自由視點格式媒體內容事件之呈現。
  5. 如請求項1之方法，其中傳達該第一視點區域及該第二視點區域進一步包括：將該第一視點區域自一第一媒體器件傳達至該第一HMD；及將該第二視點區域自一第二媒體器件傳達至該第二HMD。
  6. 如請求項1之方法，其中該第一視點位置及該第二視點位置同時在一會聚臨限值內，且進一步包括：基於該第一視點位置及該第二視點位置之一經選擇者判定一共同視點區域；將該共同視點區域傳達至該第一HMD；及將該共同視點區域傳達至該第二HMD。
  7. 如請求項6之方法，其中回應於一後續第一視點位置與 一後續第二視點位置之間的一差異在變為在該會聚臨限值內之後變為大於一發散臨限值，該方法進一步包括：基於該後續第一視點位置分離地判定該第一HMD之一新第一視點區域；基於該後續第二視點位置分離地判定該第二HMD之一新第二視點區域；將該經分離地判定之新第一視點區域傳達至該第一HMD；及將該經分離地判定之新第二視點區域傳達至該第二HMD。
  8. 如請求項1之方法，其中該第一HMD在一第一位置處，其中該第二HMD在不同於該第一位置之一第二位置處，且進一步包括：在該第一位置處偵測來自該第一使用者之一口頭評論；將該經偵測之該第一使用者之該口頭評論傳達至該第二位置；及於該第二位置處呈現該第一使用者之該口頭評論，其中該第二HMD之該第二使用者聽到該第一使用者之該口頭評論。
  9. 如請求項1之方法，其進一步包括：基於該第一視點位置及該串流自由視點格式媒體內容事件產生一單一視點視訊影像；及將該經產生之單一視點視訊影像傳達至一視訊呈現器 件。
  10. 如請求項1之方法，其中自該第一HMD接收之該第一幾何定向資訊包括來自一加速度器及一陀螺儀之至少一者之感測器資料。
  11. 如請求項1之方法，其中自該第一HMD接收之該第一幾何定向資訊係由該第一HMD判定之幾何定向資訊。
  12. 如請求項1之方法，其進一步包括：判定該第一HMD之位置中的一改變；及基於該第一HMD之位置中的該經判定之改變調整該所呈現之第一視點區域之一視在尺寸。
  13. 一種經組態以將一串流自由視點格式媒體內容事件呈現給複數個頭戴式顯示器(HMD)之媒體器件，其中該串流自由視點格式媒體內容事件係接收於一媒體內容串流中，其中該串流自由視點格式媒體內容事件包含一電影之一視訊資訊串流及一音訊資訊串流，其中該串流自由視點格式媒體內容事件之該視訊資訊串流具有一視野，該視野大於可呈現於一電視顯示器上之該電影之一單一視點視野，且其中該單一視點視野係由該串流自由視點格式媒體內容事件之一經選擇之相機角度所定義，該媒體器件包括：一HMD器件介面，其經組態以通信地耦合至該複數個HMD，其中該HMD器件介面係經進一步組態以自該複數個HMD之各者接收唯一幾何定向資訊，同時在該複數個HMD之每一者之一顯示器上將該視訊資訊串流呈現至一 各別使用者；一處理器系統，其經組態以：處理來自該複數個HMD之各者之該經接收之唯一幾何定向資訊來判定該複數個HMD之各者之一唯一視點位置，其中每一視點位置識別該HMD之該各別使用者正在觀看之所呈現之該視訊資訊串流中之一有興趣點；及基於該經判定唯一視點位置及該串流自由視點格式媒體內容事件判定該複數個HMD之各者之一唯一視點區域；及一呈現器件介面，其經組態以將該串流自由視點格式媒體內容事件之該音訊資訊串流傳達至一音訊呈現系統，其中該等唯一視點區域之各者係經由該HMD器件介面傳達至該複數個HMD之該相關聯者，及其中觀看其等HMD上之該唯一視點區域之該等各別使用者聽到該音訊呈現系統上呈現之該音訊資訊串流。
  14. 如請求項13之媒體器件，其進一步包括：一媒體內容串流介面，其通信地耦合至該處理器系統，其中該媒體內容串流介面係經組態以自廣播該電影之該串流自由視點格式媒體內容事件及該電影之該單一視點視野之一媒體內容供應者接收該串流自由視點格式媒體內容事件。
  15. 如請求項14之媒體器件，其中該媒體器件為一第一位置 處之一第一媒體器件，且進一步包括：一通信系統介面，其經組態以支援該第一媒體器件與一第二位置處之一第二媒體器件之間的通信，其中觀察其等HMD上之該串流自由視點格式媒體內容事件中的該唯一視點區域之該第二位置處之使用者及觀察其等HMD上之該串流自由視點格式媒體內容事件中的該唯一視點區域之該第一位置處之使用者聽到同時呈現於該第一位置及該第二位置處之該音訊資訊串流，其中可在該第一位置處經由該通信系統介面接收該第二位置處偵測之一使用者口頭評論，及其中對該第一位置處之該等使用者呈現該口頭評論。
  16. 一種共享一串流自由視點格式媒體內容事件之一觀看經驗之方法，該方法包括：接收該串流自由視點格式媒體內容事件，其中該串流自由視點格式媒體內容事件係接收於一媒體內容串流中，其中該串流自由視點格式媒體內容事件包含一電影之一視訊資訊串流及一音訊資訊串流，其中該串流自由視點格式媒體內容事件之該視訊資訊串流具有一視野，該視野大於可呈現於一電視顯示器上之該電影之一單一視點視野，且其中該單一視點視野係由該串流自由視點格式媒體內容事件之一經選擇之相機角度所定義；自複數個頭戴式顯示器(HMD)之各者接收唯一幾何定向資訊，同時在該複數個HMD之每一者之一顯示器上將該視訊資訊串流呈現至一各別使用者； 基於自該複數個HMD之各者接收之該幾何定向資訊判定該複數個HMD之各者之一唯一視點位置，其中每一視點位置識別該HMD之該各別使用者正在觀看之該電影之所呈現之該視訊資訊串流中之一有興趣點；基於該經判定之唯一視點位置判定該複數個HMD之各者之該電影之一唯一視點區域；及將該電影之該等唯一視點區域之各者傳達至該複數個HMD之該相關聯者。
  17. 如請求項16之方法，其進一步包括：呈現該串流自由視點格式媒體內容事件之該音訊資訊串流與所呈現之該視訊資訊串流，其中該所呈現之音訊資訊串流可被該複數個HMD之各使用者辨別。
  18. 如請求項16之方法，其中該複數個HMD包括一第一位置處之第一複數個HMD及一第二位置處之第二複數個HMD，其中呈現該音訊資訊串流包括：於該第一位置處呈現該串流自由視點格式媒體內容事件之該音訊資訊串流；及於該第二位置處同時呈現該串流自由視點格式媒體內容事件之該音訊資訊串流。
  19. 如請求項18之方法，其進一步包括：自廣播該電影之該串流自由視點格式媒體內容事件及該電影之該單一視點視野之一媒體內容提供者在該第一位置處及該第二位置處接收該串流自由視點格式媒體內 容事件。
  20. 如請求項18之方法，其進一步包括：接收經組態以操作該第一位置處之一第一媒體器件之一使用者命令，其中該第一媒體器件基於該經接收之使用者命令改變該串流自由視點格式媒體內容事件之呈現；及將該經接收之使用者命令傳達至該第二位置處之一第二媒體器件，其中該第二媒體器件基於該經接收之使用者命令改變該串流自由視點格式媒體內容事件之呈現。
  21. 如請求項18之方法，其進一步包括：在該第一位置處偵測一使用者口頭評論；將該經偵測之使用者口頭評論傳達至該第二位置；及在該第二位置處呈現該使用者口頭評論，其中該複數個HMD之一者之一使用者聽到該使用者口頭評論。
TW101113836A 2011-04-26 2012-04-18 使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法 TWI459369B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/094,621 US8836771B2 (en) 2011-04-26 2011-04-26 Apparatus, systems and methods for shared viewing experience using head mounted displays

Publications (2)

Publication Number Publication Date
TW201248192A TW201248192A (en) 2012-12-01
TWI459369B true TWI459369B (zh) 2014-11-01

Family

ID=46022658

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101113836A TWI459369B (zh) 2011-04-26 2012-04-18 使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法

Country Status (3)

Country Link
US (3) US8836771B2 (zh)
TW (1) TWI459369B (zh)
WO (1) WO2012148678A1 (zh)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8964008B2 (en) * 2011-06-17 2015-02-24 Microsoft Technology Licensing, Llc Volumetric video presentation
US8934015B1 (en) * 2011-07-20 2015-01-13 Google Inc. Experience sharing
US8854282B1 (en) * 2011-09-06 2014-10-07 Google Inc. Measurement method
US10054852B2 (en) * 2012-01-27 2018-08-21 Trackingpoint, Inc. Rifle scope, portable telescope, and binocular display device including a network transceiver
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US10937239B2 (en) * 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
US9691241B1 (en) * 2012-03-14 2017-06-27 Google Inc. Orientation of video based on the orientation of a display
CA2791935A1 (en) * 2012-03-30 2013-09-30 Disternet Technology, Inc. Transcoding system and method
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US9279983B1 (en) * 2012-10-30 2016-03-08 Google Inc. Image cropping
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
JP6123365B2 (ja) * 2013-03-11 2017-05-10 セイコーエプソン株式会社 画像表示システム及び頭部装着型表示装置
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
US9509758B2 (en) * 2013-05-17 2016-11-29 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Relevant commentary for media content
CA2913218C (en) * 2013-05-24 2022-09-27 Awe Company Limited Systems and methods for a shared mixed reality experience
US20160134938A1 (en) * 2013-05-30 2016-05-12 Sony Corporation Display control device, display control method, and computer program
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CA2924504A1 (en) 2013-09-13 2015-03-19 Voke Inc. Video production sharing apparatus and method
CN103581656A (zh) * 2013-10-12 2014-02-12 东莞市凯泰科技有限公司 控制双目立体影像的方法
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
WO2015099215A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
TWI503577B (zh) * 2014-03-20 2015-10-11 Syndiant Inc 頭戴式擴增實境顯示系統
US9557955B2 (en) 2014-05-21 2017-01-31 International Business Machines Corporation Sharing of target objects
GB2527503A (en) * 2014-06-17 2015-12-30 Next Logic Pty Ltd Generating a sequence of stereoscopic images for a head-mounted display
EP3171602A4 (en) * 2014-07-18 2018-02-14 Sony Corporation Information processing device, display device, information processing method, program, and information processing system
WO2016029224A1 (en) * 2014-08-22 2016-02-25 Avegant Corporation Apparatus, system, and method for providing users with a shared media experience
KR102183212B1 (ko) 2014-11-18 2020-11-25 삼성전자주식회사 화면 제어 방법 및 그 방법을 처리하는 전자 장치
US9591349B2 (en) * 2014-12-23 2017-03-07 Intel Corporation Interactive binocular video display
KR102144515B1 (ko) * 2015-01-07 2020-08-14 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US9933985B2 (en) * 2015-01-20 2018-04-03 Qualcomm Incorporated Systems and methods for managing content presentation involving a head mounted display and a presentation device
US20160227267A1 (en) * 2015-01-30 2016-08-04 The Directv Group, Inc. Method and system for viewing set top box content in a virtual reality device
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
CN105093532A (zh) * 2015-08-03 2015-11-25 京东方科技集团股份有限公司 虚拟现实眼镜及显示方法
EP3128413A1 (en) * 2015-08-04 2017-02-08 Nokia Technologies Oy Sharing mediated reality content
US10178150B2 (en) * 2015-08-07 2019-01-08 International Business Machines Corporation Eye contact-based information transfer
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
CN105334494B (zh) * 2015-10-22 2017-10-31 浙江大学 一种基于眼镜架的头部运动轨迹射频追踪***
US9690534B1 (en) * 2015-12-14 2017-06-27 International Business Machines Corporation Wearable computing eyeglasses that provide unobstructed views
US9952429B2 (en) * 2016-01-07 2018-04-24 International Business Machines Corporation Plurality of wearable devices sharing partially obstructing view at different angles to overcome visual obstructions
EP3196838A1 (en) * 2016-01-25 2017-07-26 Nokia Technologies Oy An apparatus and associated methods
JP2017175354A (ja) * 2016-03-23 2017-09-28 Kddi株式会社 システム、情報処理装置、ヘッドマウント装置、及びプログラム
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
CN106162358A (zh) * 2016-06-30 2016-11-23 乐视控股（北京）有限公司 一种vr播放视频进度的调节方法及设备
CN109478339A (zh) * 2016-07-29 2019-03-15 三菱电机株式会社 显示装置、显示控制装置和显示控制方法
CN106385587B (zh) * 2016-09-14 2019-08-02 三星电子（中国）研发中心 分享虚拟现实视角的方法、装置及***
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US9948729B1 (en) 2016-10-15 2018-04-17 International Business Machines Corporation Browsing session transfer using QR codes
US10382806B2 (en) * 2016-11-14 2019-08-13 DISH Technologies L.L.C. Apparatus, systems and methods for controlling presentation of content using a multi-media table
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US10430147B2 (en) * 2017-04-17 2019-10-01 Intel Corporation Collaborative multi-user virtual reality
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
US10574715B2 (en) * 2017-08-03 2020-02-25 Streaming Global, Inc. Method and system for aggregating content streams based on sensor data
US9992449B1 (en) * 2017-08-10 2018-06-05 Everysight Ltd. System and method for sharing sensed data between remote users
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
US10976982B2 (en) 2018-02-02 2021-04-13 Samsung Electronics Co., Ltd. Guided view mode for virtual reality
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
US10388255B2 (en) * 2018-06-29 2019-08-20 Intel Corporation Computers for supporting multiple virtual reality display devices and related methods
US10628115B2 (en) * 2018-08-21 2020-04-21 Facebook Technologies, Llc Synchronization of digital content consumption
CN117572954A (zh) 2018-09-25 2024-02-20 奇跃公司 用于增强现实的***和方法
CN112823528B (zh) * 2018-10-16 2023-12-15 索尼公司 信息处理装置、信息处理方法和信息处理程序
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
CN109474858A (zh) * 2018-12-04 2019-03-15 深圳市诺信连接科技有限责任公司 Vr的远程控制方法及vr
GB201902664D0 (en) * 2019-02-27 2019-04-10 Oxsight Ltd Head mountable imaging apparatus and system for assisting a user with reduced vision
CN111158924B (zh) * 2019-12-02 2023-09-22 百度在线网络技术（北京）有限公司 内容分享方法、装置、电子设备及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20060017657A1 (en) * 2004-07-20 2006-01-26 Olympus Corporation Information display system
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US20090033588A1 (en) * 2007-08-02 2009-02-05 Canon Kabushiki Kaisha System, head-mounted display, and control method thereof
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20100277485A1 (en) * 2006-04-03 2010-11-04 Sony Computer Entertainment America Llc System and method of displaying multiple video feeds

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5659691A (en) 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
US6608622B1 (en) 1994-10-14 2003-08-19 Canon Kabushiki Kaisha Multi-viewpoint image processing method and apparatus
US5703961A (en) 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
JP3579585B2 (ja) 1998-05-26 2004-10-20 日本電信電話株式会社 多視点同時観察型水平配置立体画像表示システム
JP3363861B2 (ja) 2000-01-13 2003-01-08 キヤノン株式会社 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
JP4148671B2 (ja) 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
WO2011097564A1 (en) * 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
JP2012048597A (ja) 2010-08-30 2012-03-08 Univ Of Tokyo 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US20060017657A1 (en) * 2004-07-20 2006-01-26 Olympus Corporation Information display system
US20060284791A1 (en) * 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
US20100277485A1 (en) * 2006-04-03 2010-11-04 Sony Computer Entertainment America Llc System and method of displaying multiple video feeds
US20090033588A1 (en) * 2007-08-02 2009-02-05 Canon Kabushiki Kaisha System, head-mounted display, and control method thereof
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display

Also Published As

Publication number Publication date
US20120274750A1 (en) 2012-11-01
US9602859B2 (en) 2017-03-21
TW201248192A (en) 2012-12-01
US20150007225A1 (en) 2015-01-01
US9253509B2 (en) 2016-02-02
WO2012148678A1 (en) 2012-11-01
US8836771B2 (en) 2014-09-16
US20160150267A1 (en) 2016-05-26

Similar Documents

Publication Publication Date Title
TWI459369B (zh) 使用頭戴式顯示器用於共享觀察經驗之裝置系統及方法
US11044455B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
US11711504B2 (en) Enabling motion parallax with multilayer 360-degree video
US20160198140A1 (en) System and method for preemptive and adaptive 360 degree immersive video streaming
JP6526721B2 (ja) 仮想現実コンテンツをレンダリングするモバイルコンピューティングデバイスを備えたインタフェースを有する頭部装着型デバイス（ｈｍｄ）システム
JP6759451B2 (ja) 人による追跡装置のオクルージョンの影響を低減するシステム及び方法
US20220279237A1 (en) Streaming and Rendering of Multidimensional Video Using a Plurality of Data Streams
US10158685B1 (en) Viewing and participating at virtualized locations
JP2018507650A (ja) コンテンツの生成、送信、および／または、再生をサポートするための方法および装置
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
JP2016048534A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US20190287313A1 (en) Head-mountable apparatus and methods
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
JP2019213196A (ja) 三次元３６０°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置
EP2590419A2 (en) Multi-depth adaptation for video content
EP4221263A1 (en) Head tracking and hrtf prediction
JP7315343B2 (ja) 動画表示システム、情報処理装置および動画表示方法
WO2019155930A1 (ja) 送信装置、送信方法、処理装置および処理方法
US10075693B2 (en) Embedding calibration metadata into stereoscopic video files
JP2023552112A (ja) モーションキャプチャの参照フレーム
CN115039410A (zh) 信息处理***、信息处理方法和程序