JP2017527230A - Method and apparatus for distributing and / or playing content - Google Patents
Method and apparatus for distributing and / or playing content Download PDFInfo
- Publication number
- JP2017527230A JP2017527230A JP2017515038A JP2017515038A JP2017527230A JP 2017527230 A JP2017527230 A JP 2017527230A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017515038 A JP2017515038 A JP 2017515038A JP 2017527230 A JP2017527230 A JP 2017527230A
- Authority
- JP
- Japan
- Prior art keywords
- content
- image
- stream
- view
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000012913 prioritisation Methods 0.000 claims description 31
- 239000002131 composite material Substances 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 9
- 230000000977 initiatory effect Effects 0.000 claims description 5
- 230000011664 signaling Effects 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 155
- 230000008859 change Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 20
- 238000009877 rendering Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 13
- 239000000872 buffer Substances 0.000 description 13
- 210000005069 ears Anatomy 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 8
- 230000007613 environmental effect Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000010348 incorporation Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 229910002804 graphite Inorganic materials 0.000 description 2
- 239000010439 graphite Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 208000034423 Delivery Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004826 seaming Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Information Transfer Between Computers (AREA)
Abstract
コンテンツ配信及び再生方法と装置が記載される。方法と装置は、３６０度環境に対応して、コンテンツの配信と再生のために良好に適用され、スポーツゲーム等のイベントに対応して、例えば、イベントが進行中の間、または、イベントが終了した後、例えば、３Ｄコンテンツ等のコンテンツのストリーミング、及び／または、リアルタイム配信をサポートするために使用され得る。環境の部分は、異なる位置に設けられたカメラによって取り込まれる。異なる場所から取り込まれたコンテンツは、エンコードされ、配信のために利用可能にされる。再生デバイスは、ユーザの頭の位置に基づいて、受け取られるべきコンテンツを選択する。ストリームは、ユーザの現在の視界、及び／または、頭の回転の方向に基づいて、優先度付けされ、配信のために選択され得る。静止画像または合成された画像が、例えば、背景、空、及び／または、地面のために使用され、１つ以上のストリームからのコンテンツと組み合され得る。A content distribution and playback method and apparatus are described. The method and apparatus are well applied for content distribution and playback, corresponding to 360 degree environment, and corresponding to events such as sports games, for example, while an event is in progress or after an event has ended For example, to support streaming of content such as 3D content and / or real-time delivery. The part of the environment is captured by cameras provided at different locations. Content captured from different locations is encoded and made available for distribution. The playback device selects content to be received based on the position of the user's head. Streams can be prioritized and selected for delivery based on the user's current view and / or direction of head rotation. Still images or synthesized images are used, for example, for the background, sky, and / or ground, and can be combined with content from one or more streams.
Description
[0001] 本発明は、コンテンツ配信及び／または再生、例えば、立体視画像コンテンツの再生、に関する。 [0001] The present invention relates to content distribution and / or reproduction, for example, reproduction of stereoscopic image content.
[0002] 没入型の体験を提供することを意図しているディスプレイデバイスは、通常、ユーザが、頭を回すと、表示されたシーンの対応する変化を体験することを可能にする。
ヘッドマウントディスプレイは、時に、ユーザの頭の位置が変わると変化して表示されるシーンでもって、ヘッドマウントディスプレイを装着している間にユーザが向きを変えることができる、３６０度の視野をサポートする。
[0002] Display devices intended to provide an immersive experience typically allow a user to experience a corresponding change in the displayed scene as he turns his head.
The head-mounted display sometimes supports a 360-degree field of view that allows the user to change orientation while wearing the head-mounted display, with scenes that change as the user's head position changes. To do.
[0003] そのような装置を用いると、ユーザは、前を見ている時にはカメラ位置の正面で取り込まれたシーンを提示され、ユーザが完全に振り向いたときにはカメラ位置の後ろで取り込まれたシーンを提示されるべきである。ユーザが後方に頭を向けることができるが、任意の時点で限られた視界を知覚する人間の能力の性質により、任意の時点で、ユーザの視界は、通常、１２０度以下に制限される。 [0003] With such a device, the user is presented with a scene captured in front of the camera position when looking forward, and a scene captured behind the camera position when the user is fully turned. Should be presented. Although the user can turn his head backwards, due to the nature of the human ability to perceive a limited view at any given time, the user's view is usually limited to 120 degrees or less at any given time.
[0004] ３６０度の視野をサポートするために、見るために利用可能にされるべき３６０度シーンを生成するために画像が組み合わされるよう、３６０度シーンは、複数のカメラを使用して取り込まれる。 [0004] In order to support a 360 degree field of view, 360 degree scenes are captured using multiple cameras so that the images are combined to produce a 360 degree scene that should be made available for viewing. .
[0005] ３６０度視野は、通常のテレビや、時間の特定の点で表示されるべき画像を決定するために用いられる視野角を変更する機会をユーザが持たない多くの他の画像アプリケーションのために通常取り込まれ、エンコードされる単純な前方視野よりかなり多くの画像データを含むことを理解すべきである。 [0005] The 360 degree field of view is for normal television and many other image applications where the user does not have the opportunity to change the viewing angle used to determine the image to be displayed at a particular point in time. It should be understood that it contains significantly more image data than a simple front view that is normally captured and encoded.
[0006] ストリーミングされているコンテンツに関連した、例えば、ネットワークデータ制約等の伝送制約があって、コンテンツを受信し、相互作用することを求めている全ての顧客に、フル高解像度映像で完全な３６０度視野をストリーミングすることは可能でないかもしれない。これは、特に、コンテンツが、３Ｄ視界効果を可能にするために、左と右眼の視野に対応するように意図された画像コンテンツを含む立体視コンテンツである場合である。 [0006] For all customers who have transmission constraints related to the content being streamed, such as network data constraints, and that want to receive and interact with the content, full high-resolution video is complete. It may not be possible to stream a 360 degree view. This is especially the case when the content is stereoscopic content including image content intended to correspond to the left and right eye fields of view in order to enable 3D viewing effects.
[0007] 上記説明の観点で、個々のユーザが、例えば、彼または彼女の頭を振り向くことによって、見る位置を変更し、環境の所望の部分を視ることを可能にするような方法で、コンテンツのストリーミング及び／または再生をサポートするための方法及び装置へのニーズがあることが理解されるべきである。ユーザは、帯域幅または他の配信関連の制約により適用し得るデータストリーミング制約内に留まりながら、彼／彼女の頭の位置を変え、結果、視野方向を変える選択肢を与えられたならば、望ましいであろう。全ての実施形態のために必要なわけではないが、異なる場所にいる複数のユーザが、同時にストリームを受信し、他のユーザによって見られている部分や複数の部分に拘わらず、彼らが望む環境のどんな個々の部分でも見ることを、少なくともいくつかの実施形態が可能にすることが望まれる。 [0007] In view of the above description, in such a way as to allow an individual user to change the viewing position and view the desired part of the environment, for example by turning around his or her head, It should be appreciated that there is a need for a method and apparatus for supporting content streaming and / or playback. It would be desirable if the user was given the option of changing his / her head position and consequently changing the viewing direction while remaining within the data streaming constraints that could be applied due to bandwidth or other delivery related constraints. I will. Although not required for all embodiments, multiple users in different locations receive the stream at the same time, and the environment they want, regardless of the part or parts that are viewed by other users It is desirable that at least some embodiments allow viewing any individual part of the.
[0008] ３６０度の視野領域に対応する映像または他のコンテンツの配信、例えば、ストリーミング、をサポートする方法及び装置が記載される。本発明の方法と装置は、特に、データ伝送制約が、３６０度のコンテンツの配信について、最大のサポート品質レベルで、例えば、最良の品質の符号化や最も高いサポートフレームレートを用いて、配信することを困難にするような立体視及び／または他の画像コンテンツのストリーミングのために良く適している。しかし、方法は、立体視コンテンツに限定されるものではない。 [0008] A method and apparatus are described that support the delivery, eg, streaming, of video or other content corresponding to a 360 degree field of view. The method and apparatus of the present invention, particularly for content delivery with 360 degree data transmission constraints, delivers at the highest supported quality level, eg, using the best quality encoding and the highest supported frame rate. It is well suited for stereoscopic viewing and / or other image content streaming that makes it difficult. However, the method is not limited to stereoscopic content.
[0009] 様々な実施形態において、画像コンテンツが得られる環境の３Ｄ（３次元）モデル及び／または対応する３Ｄ情報が生成され、及び／または、アクセスされる。環境の中でのカメラ位置がドキュメント化される。複数の個々のカメラ位置が環境内に存在し得る。例えば、異なる最終目標カメラ位置と１つ以上の中間フィールドカメラの位置がサポートされ、リアルタイムのカメラ送りを取り込むために用いられ得る。 [0009] In various embodiments, a 3D (three-dimensional) model of the environment from which image content is obtained and / or corresponding 3D information is generated and / or accessed. The camera position in the environment is documented. Multiple individual camera positions may exist in the environment. For example, different final target camera positions and one or more intermediate field camera positions are supported and can be used to capture real-time camera feeds.
[00010] ３Ｄモデル及び／または他の３Ｄ情報は、１人以上のユーザに映像をストリーミングするために使用されるサーバまたは画像取り込み装置に記憶される。 [00010] The 3D model and / or other 3D information is stored on a server or image capture device used to stream video to one or more users.
[00011] ３Ｄモデルは、画像描画及び合成能力を有する、例えば、顧客宅内装置等のユーザ再生デバイスに提供される。顧客宅内装置は、例えば、ヘッドマウントディスプレイを介して、顧客宅内装置のユーザに表示される環境の３Ｄ表現を生成する。 [00011] The 3D model is provided to a user playback device such as a customer premises device having image drawing and composition capabilities. The customer premises device generates, for example, a 3D representation of the environment displayed to the customer premises device user via a head-mounted display.
[00012] 様々な実施形態において、完全な３６０度環境より少ないものが、任意の時点で、個々の顧客宅内機器にストリーミングされる。顧客宅内装置は、ユーザ入力に基づいて、どのカメラ送りがストリーミングされるべきかを示す。ユーザは、顧客宅内装置の一部であるか取り付けられている入力デバイスを介して、コート及び／またはカメラの位置を選択し得る。 [00012] In various embodiments, less than a full 360 degree environment is streamed to individual customer premises equipment at any given time. The customer premises device indicates which camera feed should be streamed based on user input. The user may select the court and / or camera position via an input device that is part of or attached to the customer premises equipment.
[00013] いくつかの実施形態では、１８０度の映像ストリームは、例えば、ライブの、リアルタイムの、または、ほぼリアルタイムのストリーム等、コンテンツをストリーミングするために責任があるサーバ及び／または映像カメラから顧客の再生デバイスに伝送される。再生デバイスはユーザの頭の位置を監視し、従って、再生デバイスは、再生デバイスのユーザが再生デバイスにより生成されている３Ｄ環境内で見ている視野領域を知る。顧客宅内装置は、映像コンテンツがない状態において提示されるシミュレートされた３Ｄ環境を置き換える、または、その代替として表示される３Ｄ環境の部分のために利用可能である場合、映像を提示する。再生デバイスのユーザが彼または彼女の頭を振ると、ユーザに提示される環境の部分は、３Ｄモデルから合成的に生成された、及び／または、映像コンテンツとは異なるときに取り込まれた以前に供給された画像コンテンツである他の部分とともに、再生デバイスに供給された（例えば、ストリーミングされた）映像コンテンツからであってよい。 [00013] In some embodiments, the 180 degree video stream is from a server and / or video camera that is responsible for streaming content, eg, a live, real-time, or near real-time stream. To the playback device. The playback device monitors the position of the user's head, so the playback device knows the viewing area that the user of the playback device is looking in the 3D environment being generated by the playback device. The customer premises device replaces the simulated 3D environment presented in the absence of video content, or presents the video if available for the portion of the 3D environment displayed as an alternative. When the user of the playback device shakes his or her head, the part of the environment presented to the user was previously generated synthetically from the 3D model and / or captured when it is different from the video content It may be from video content supplied (eg, streamed) to a playback device, along with other parts that are supplied image content.
[00014] 従って、再生デバイスは、ゲーム、音楽コンサート、または、他のイベントが、例えば、正面の１８０度カメラ視野に対応して進行中である間、完全に合成的に、または、異なる回の環境の側部または後部領域の画像コンテンツからの何れかで生成される３Ｄ環境の後部及び／または側部とともに、例えば、ストリーミングを介して供給された、映像を表示し得る。 [00014] Accordingly, the playback device may be completely synthetic or different at different times while a game, music concert, or other event is in progress, eg, corresponding to a front 180 degree camera field of view. The video supplied, for example via streaming, may be displayed with the back and / or side of the 3D environment generated either from image content in the side or back region of the environment.
[00015] ユーザは、ストリーミングコンテンツを提供するサーバに位置の変化の信号を送ることによって、カメラの位置の間で選択をすることができるが、ストリーミングコンテンツを提供するサーバは、ストリーミングされていない３Ｄ環境の部分のための合成の環境を生成するのに有用な情報を提供し得る。 [00015] A user can select between camera positions by signaling a change of position to a server providing streaming content, but the server providing streaming content is not streamed 3D. Information useful for creating a synthetic environment for a portion of the environment may be provided.
[00016] 例えば、いくつかの実施形態では、複数の後ろや側部の視野が、例えば、コンテンツの部分をストリーミングする以前、または、時間的に早い時点から、異なる回に取り込まれる。画像は、再生デバイスにバッファされる。コンテンツを提供するサーバは、リアルタイムでないシーンまたは画像のどの組が映像ストリームの中で供給されていない環境の部分の合成のために使用されるべきかを、再生デバイスに信号伝送できる、及び、いくつかの実施形態では信号伝送する。例えば、カメラ位置の後ろに座っているコンサート参加者の画像と立っている参加者の別の画像とが、再生デバイスに供給され、記憶され得る。サーバは、記憶された画像データのどの組が特定の時点で使用されるべきかを信号伝送できる。従って、観客が立っているとき、サーバは、立っている観客に対応する画像が画像合成の間に背景の１８０度視野のために用いられるべきであると信号伝送し得、他方、観客が座っているとき、サーバは、３Ｄカメラ環境の側部または後部を合成するときに、座っている観客に対応する画像または画像合成情報を用いるべきであることを、顧客宅内装置に示し得る。 [00016] For example, in some embodiments, multiple back and side views are captured at different times, for example, before streaming portions of content or from an earlier point in time. The image is buffered on the playback device. The server providing the content can signal to the playback device which set of non-real-time scenes or images should be used for the synthesis of the parts of the environment that are not supplied in the video stream, and how many In such an embodiment, signal transmission is performed. For example, an image of a concert participant sitting behind the camera position and another image of a standing participant can be supplied to the playback device and stored. The server can signal which set of stored image data is to be used at a particular time. Thus, when the audience is standing, the server may signal that the image corresponding to the standing audience should be used for the 180 degree field of view during image synthesis while the audience is sitting. The server may indicate to the customer premises device that when compositing the side or rear of the 3D camera environment, the image or image compositing information corresponding to the sitting audience should be used.
[00017] 少なくともいくつかの実施形態において、３Ｄ環境における１つ以上の位置の各々におけるカメラの向きは、画像取り込みの間、追跡される。環境におけるマーカ及び／または識別する点は、顧客宅内装置によってシミュレートされるべき以前にモデル化された及び／またはマッピングされた３Ｄ環境への、例えば、ライブ画像等の取り込まれた画像の配列及び／またはその他のマッピングを容易にするために使用され得る。 [00017] In at least some embodiments, the camera orientation at each of the one or more locations in the 3D environment is tracked during image capture. Markers and / or identifying points in the environment may include an array of captured images, such as live images, to a previously modeled and / or mapped 3D environment to be simulated by the customer premises equipment Can be used to facilitate other mappings.
[00018] 合成環境部分と現実（ストリーミングされた映像）の混合は、臨場感あふれる映像体験を提供する。環境は、映像が利用可能でないとき、例えば、環境が以前にモデル化されていない場合、環境をシミュレートするために使用される３Ｄ情報を生成するのに３Ｄ測光を用いて測定され、または、モデル化され得、時にはそうされる。 [00018] The mixture of the synthetic environment part and reality (streamed video) provides a realistic video experience. The environment is measured using 3D photometry to generate 3D information that is used to simulate the environment when the video is not available, eg, if the environment has not been previously modeled, or Can be modeled, sometimes.
[00019] 決定された場所での現実空間における基準マーカの使用は、映像の以前に生成された３Ｄモデルとのキャリブレーションと位置合わせを助ける。 [00019] The use of fiducial markers in the real space at the determined location helps to calibrate and align the video with the previously generated 3D model.
[00020] 各カメラの位置追跡は、映像が取り込まれながら実装される。会場に対するカメラの位置情報、例えば、それは、Ｘ、Ｙ、Ｚと、度での偏揺角（それによって、各カメラが何処を指しているかを知る）をマッピングする。これは、取り込まれた画像が環境のどの部分に対応するかの簡単な検出を可能にし、取り込まれた映像とともに再生デバイスに通信される場合、我々の映像取り込みを、ユーザへの再生等の画像提示の間に再生デバイスによって生成される合成の環境で自動的にオーバーレイするような再生を可能にする。ストリーミングされたコンテンツは、カメラ位置の正面の領域の取り込まれた１８０度の視野等の３６０度より少ない視野に制限され得る。見る者が周りを見まわすと、見る者は、後ろを向いたときにシミュレートされた背景（黒い空虚ではない）を見、見る者は、正面を向いたときに映像を見る。 [00020] Position tracking for each camera is implemented as video is captured. Camera position information relative to the venue, for example, it maps X, Y, Z, and yaw angle in degrees (so it knows where each camera is pointing). This allows for easy detection of which part of the environment the captured image corresponds to, and when communicated to the playback device along with the captured video, our video capture can be used as an image for playback to the user, etc. Allows playback to automatically overlay in the synthetic environment generated by the playback device during presentation. Streamed content may be limited to a field of view less than 360 degrees, such as a captured 180 degree field of view in front of the camera location. When the viewer looks around, the viewer sees the simulated background (not black emptiness) when looking back, and the viewer sees the video when looking front.
[00021] 合成環境は相互作用し得、いくつかの実施形態ではそうである。いくつかの実施形態では、異なる顧客宅内装置のユーザ等の複数の実際の見る者は、ユーザが仮想３Ｄ環境において彼／彼女の友達とゲームを視ることができ、ユーザが現実にスタジアムにいるようにみえるよう、シミュレートされた環境に含まれる。 [00021] The synthesis environment may interact, in some embodiments. In some embodiments, multiple actual viewers, such as users at different customer premises devices, can allow the user to watch the game with his / her friends in a virtual 3D environment, and the user is actually in the stadium. It is included in the simulated environment so that it looks like.
[00022] ユーザの画像は、シミュレートされた環境を生成することにおける使用のために、顧客宅内装置に含まれた、または、取り付けられたカメラによって取り込まれ、サーバに供給され、グループのメンバ等の他のユーザに提供され得、いくつかの実施例ではそうされる。 [00022] User images are captured by cameras included or attached to customer premises equipment for use in creating a simulated environment, supplied to a server, group members, etc. Can be provided to other users, and in some embodiments it is.
[00023] 方法は、符号化し、リアルタイムで、または、ほぼリアルタイムでコンテンツをエンコードし、提供するために使用され得るが、このようなリアルタイム用途に限定されない。複数のユーザへのリアルタイムやほぼリアルタイムのエンコーディングとストリーミングをサポートする能力を与えられ、この中に記載された方法及び装置は、個々人がイベントを見て、ステージやフィールドを注視するだけでなく、振り向いて、スタジアムや観客等の環境を見ることを鑑賞することができることを好む、スポーツイベント、コンサート、及び／または、他の会場のシーンをストリーミングするために好適である。３６０度視野と３Ｄをサポートすることによって、本発明の方法と装置は、ユーザが環境中に居て、ユーザの頭部が左、右、または、後ろを向いたとした場合にあるように、向きを変えて、異なる視野角からシーンを注視する自由度をもった３Ｄ没入体験をユーザに提供することが意図されたヘッドマウントディスプレイとともに使用するために好適である。 [00023] The method may be used to encode and encode and provide content in real time or near real time, but is not limited to such real time applications. Given the ability to support real-time and near real-time encoding and streaming to multiple users, the methods and devices described therein not only allow individuals to watch events, watch the stage and field, but also turn around. Thus, it is suitable for streaming sports events, concerts and / or other venue scenes that prefer to be able to appreciate viewing the environment such as stadiums and spectators. By supporting a 360 degree field of view and 3D, the method and apparatus of the present invention is as if the user is in the environment and the user's head is facing left, right, or back, Suitable for use with a head mounted display that is intended to change orientation and provide the user with a 3D immersive experience with the freedom to look at the scene from different viewing angles.
[00024] 例えば、３６０度視界に対応したコンテンツ等の画像コンテンツを通信するための方法及び装置が記載される。様々な実施形態において、視界は、環境の異なる部分、例えば、前部、少なくとも１つの後ろの部分、頂部、及び、底部、に対応する。いくつかの実施形態において、環境の左と右の後部例えば、背部、は、別々に生成され、及び／または、通信される。再生デバイスは、ユーザの頭の位置を監視し、例えば、ユーザが所定の時間に見ている環境の部分に対応し、その時、ユーザに表示される立体視画像等の画像を生成する。立体視再生の場合には、別個の左と右の眼の画像が生成される。生成された画像は、例えば、環境の部分等の１つ以上のシーンに対応して行われ得、いくつかの実施態様では行われる。 [00024] For example, a method and apparatus for communicating image content such as content corresponding to a 360 degree view is described. In various embodiments, the field of view corresponds to different parts of the environment, eg, the front, at least one back part, the top, and the bottom. In some embodiments, the left and right rear of the environment, eg, the back, are generated and / or communicated separately. The playback device monitors the position of the user's head and, for example, corresponds to the part of the environment that the user is watching at a predetermined time, and then generates an image such as a stereoscopic image displayed to the user. In the case of stereoscopic playback, separate left and right eye images are generated. The generated image may be performed corresponding to one or more scenes, such as, for example, portions of the environment, and in some implementations.
[00025] 再生の起動時に、ユーザの前方を見る頭のレベル位置が、デフォルトとして、前方シーン部分に対応するように設定される。ユーザが彼／彼女の頭を回し、及び／または、彼または彼女の頭を上げるか下げるかずると、環境の他の部分がユーザの視界に入って来ることができる。 [00025] At the time of starting playback, the level position of the head looking in front of the user is set to correspond to the front scene portion as a default. As the user turns his / her head and / or raises or lowers his or her head, other parts of the environment can enter the user's view.
[00026] 多くの再生デバイスの帯域幅及び画像デコード機能は、装置の処理容量及び／または画像コンテンツを受信するための帯域幅によって制限される。いくつかの実施形態では、再生デバイスは、環境のどの部分がユーザの主たる視界に対応するかを決定する。そして、装置は、ストリームが、優先度の観点から、主要なストリームとして指定されて、例えば、フル解像度等の高いレートで受信されるべき当該部分を選択する。環境の他の部分に対応するコンテンツを提供する１つ以上の他のストリームからのコンテンツも受け取られ得るが、通常は、より低いデータレートである。特定のストリームのためのコンテンツ配信は、例えば、コンテンツ配信をトリガするために使用される信号を送ることにより、再生デバイスによって起動され得る。信号は、環境の部分に対応するコンテンツを提供する、または、切り替えられるデジタル放送の配信を開始するマルチキャストグループに参加するために使用され得る。マルチキャストグループ参加信号等の要求または他の信号を必要としない放送コンテンツの場合には、装置は、コンテンツが利用可能になっているチャネルに同調することによって受信を開始し得る。 [00026] The bandwidth and image decoding capabilities of many playback devices are limited by the processing capacity of the device and / or the bandwidth for receiving image content. In some embodiments, the playback device determines which part of the environment corresponds to the user's primary view. Then, the apparatus selects the part in which the stream is designated as the main stream from the viewpoint of priority, and should be received at a high rate such as full resolution, for example. Content from one or more other streams that provide content corresponding to other parts of the environment may also be received, but usually at a lower data rate. Content delivery for a particular stream may be initiated by a playback device, for example, by sending a signal that is used to trigger content delivery. The signal can be used to provide content corresponding to parts of the environment or to join a multicast group that initiates the distribution of switched digital broadcasts. For broadcast content that does not require a request such as a multicast group join signal or other signals, the device may begin receiving by tuning to the channel on which the content is available.
[00027] コンテンツが、スポーツイベント、ロックコンサート、ファッションショー、または、いくつかの様々なイベントに対応する場合、前方視野部分は、主たるアクションが通常特に進行する場所であるので、ユーザが、通常、環境の前方視野部分に主たる関心をもっているとして、いくつかの実施形態では、環境の前方視野部分は、データ伝送優先度が与えられる。少なくともいくつかの実施形態では、前方視野部分に対応する画像は、３６０度環境の１つ以上の他の部分よりも高いレートでストリーミングされる。環境の他の部分に対応する画像は、より低いデータレートで送信されるか、または、静止画像として送られる。例えば、１つ以上の静的画像、例えば、空等の頂部、地面等の底部、が送信され得る。 [00027] If the content corresponds to a sporting event, a rock concert, a fashion show, or several different events, the forward view portion is where the main action usually proceeds, so the user typically Given the primary interest in the forward view portion of the environment, in some embodiments, the forward view portion of the environment is given data transmission priority. In at least some embodiments, the image corresponding to the front view portion is streamed at a higher rate than one or more other portions of the 360 degree environment. Images corresponding to other parts of the environment are sent at a lower data rate or sent as a still image. For example, one or more static images may be transmitted, for example, a top such as the sky, a bottom such as the ground.
[00028] いくつかの実施形態において、取り込まれた複数の静止画像が、後方視野部分または空部分等の環境の１つ以上の部分のために送信される。いくつかの実施形態では、制御情報が、環境の部分のために静止画像のどの１つが所与の時間に使用されるべきかを示して、送信される。環境の部分のための静止画像が送られる場合において、それらはエンコードされた形式で送られ、そして、他の画像内容との組み合わせで使用するためにデコードされた形式でメモリに記憶される。この方法では、イベントの間に必要とされるデコード用のリソースは、複数のストリームが同じフレームレートで並行してデコードされる必要がないので、低減され得る。静止画像は、メインイベントのコンテンツをストリーミングする前に送信されてもよい。代替的に、前方視野位置からユーザの頭の位置に変化があって、再生の間にそれらが必要となった場合に、いくつかの画像が環境の異なる部分のために送信され、記憶されてもよい。静止の、または、たまにしか変わらない画像は、前方視界方向等の主たるコンテンツを提供するコンテンツストリームの一部としてエンコードされ、送信されてもよく、または、別個のコンテンツストリームとして送られてもよい。 [00028] In some embodiments, a plurality of captured still images are transmitted for one or more portions of the environment, such as a rear view portion or an empty portion. In some embodiments, control information is transmitted indicating which one of the still images should be used at a given time for a portion of the environment. When still images for parts of the environment are sent, they are sent in encoded form and stored in memory in decoded form for use in combination with other image content. In this way, the decoding resources required during the event can be reduced because multiple streams do not need to be decoded in parallel at the same frame rate. The still image may be transmitted before streaming the content of the main event. Alternatively, some images are sent and stored for different parts of the environment when there is a change in the position of the user's head from the front view position and they are needed during playback. Also good. Images that are static or that change only occasionally may be encoded and transmitted as part of a content stream that provides the main content, such as the forward viewing direction, or sent as a separate content stream.
[00029] 環境の前方部分に対応するコンテンツは、例えば、リアルタイムで等、イベントが進行中の間に取り込まれ、ストリーミングされるコンテンツを含み得る、及び、多くの場合には含むが、後方に対応する静止画像は、イベントの前に取り込まれた画像であってよく、時には、そうである。 [00029] The content corresponding to the front part of the environment may include content that is captured and streamed while the event is in progress, such as in real time, and in many cases still, but still The image may be an image that was captured before the event, and sometimes it is.
[00030] 例えば、２つの異なる後部視野シーンが通信され、再生デバイスに記憶される場合を考える。１つのシーンは立った位置である観客に対応し、他の画像は座った位置にある観客に対応し得る。ユーザが、環境の後ろ部分が可視となる位置に彼／彼女の頭を向けたとしたら、所与の時点で、座った、または、立った位置の観客画像が用いられるかどうかを、制御情報は示し得る、及び、いくつかの実施形態では示す。 [00030] For example, consider the case where two different rear view scenes are communicated and stored on a playback device. One scene may correspond to a spectator in a standing position and the other image may correspond to a spectator in a sitting position. If the user points his / her head to a position where the back part of the environment is visible, the control information will indicate whether a seated or standing audience image is used at a given time. It can be shown and in some embodiments.
[00031] 同様に、空の複数の画像が再生デバイスに通信され、エンコードされた、または、デコードされた形態で再生デバイスに記憶される。いくつかの実施形態では、空部分のどの画像が所与の時点で用いられるべきであるかは、制御情報において通信される。他の実施形態において、空のどのシーンが使用されるべきであるかは、例えば、明るい前方シーン領域が検出され、ほとんど雲のない明るい空の画像の選択を制御するために使用され得る等、選択されている前方環境シーン部分に一致するか近い空部分をもった前方シーン領域に対応する１つ以上の画像の輝度に基づいて自動的に決定される。同様に、いくつかの実施形態において、暗い前方環境領域空の検出は、暗い曇り空画像が使用される結果をもたらす。 [00031] Similarly, a plurality of empty images are communicated to a playback device and stored in the playback device in encoded or decoded form. In some embodiments, which image of the sky part should be used at a given time is communicated in the control information. In other embodiments, which scene in the sky should be used, for example, a bright forward scene area can be detected and used to control the selection of a bright sky image with little cloud, etc. It is automatically determined based on the brightness of one or more images corresponding to the front scene area that has a sky portion that matches or is close to the selected front environment scene portion. Similarly, in some embodiments, detection of a dark front environment area sky results in a dark cloudy sky image being used.
[00032] 視界における環境の部分のための画像が利用可能でない場合には、シーンの部分が、例えば、利用可能である環境の他の部分からの情報やコンテンツから、合成され得る。例えば、後部画像部分が利用可能でない場合、前方シーン領域の左及び／または右側からのコンテンツが、環境の欠落している後ろ部分に代えて埋めるために、コピーされ、使用され得る。コンテンツの複製に加えて、ぼかし及び／または他の画像処理動作が、いくつかの実施形態において、環境の欠落部分に代えて埋めるために使用され得る。代替的に、いくつかの実施形態では、描画情報がコンテンツストリームにおいて提供され、再生デバイスは欠落部分のための完全な合成画像を生成する。ビデオゲームコンテンツと同様に、そのようなコンテンツは、本質的に現実味があり得、再生デバイスに記憶された描画及び／または他の画像生成ルールから生成される広範な画像効果及び／またはコンテンツを含み得る。 [00032] If images for portions of the environment in the field of view are not available, portions of the scene can be synthesized, for example, from information or content from other portions of the environment that are available. For example, if the back image portion is not available, content from the left and / or right side of the front scene area can be copied and used to fill in instead of the missing back portion of the environment. In addition to content replication, blurring and / or other image processing operations may be used to fill in place of missing parts of the environment in some embodiments. Alternatively, in some embodiments, rendering information is provided in the content stream and the playback device generates a complete composite image for the missing portion. Similar to video game content, such content may be realistic in nature and includes a wide range of image effects and / or content generated from drawings and / or other image generation rules stored on the playback device. obtain.
[00033] いくつかの実施形態による、再生システムを動作させる例示的な方法は、
見る者の頭の位置を決定することであって、頭の位置は現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力し、または、表示することであって、第１の出力画像は１つ以上の生成された出力画像の１つであることと、
を含む。
いくつかの実施形態による、例示のコンテンツ再生システムは：
見る者の頭の位置を決定するように構成された見る者の頭位置決定モジュールであって、頭の位置が現在の視界に対応することと、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されたコンテンツストリーム受信モジュールと、
第１のコンテンツに含まれた少なくともいくつかのコンテンツ、及び、ｉ）環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）環境の第２の部分をシミュレートする合成画像、に基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成された出力画像コンテンツストリームベース生成モジュールと、
第１の出力画像を出力するよう構成された出力モジュール、または、第１の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、
を含む。
[00033] An exemplary method of operating a playback system, according to some embodiments, is as follows:
Determining the position of the viewer's head, which corresponds to the current field of view,
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to the second part of the environment, or ii) simulate the second part of the environment Generating one or more output images corresponding to the current field of view based on the composite image;
Outputting or displaying a first output image, wherein the first output image is one of one or more generated output images;
including.
An example content playback system, according to some embodiments, is:
A viewer head positioning module configured to determine a position of the viewer's head, the head position corresponding to a current field of view;
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
At least some content included in the first content, and i) stored content corresponding to the second part of the environment, or ii) a composite image that simulates the second part of the environment, Based on an output image content stream base generation module configured to generate one or more output images corresponding to the current view,
At least one of an output module configured to output the first output image or a display module configured to display the first output image;
including.
[00034] 多くの変形及び実施形態が可能であり、以下の詳細な説明で検討される。 [00034] Many variations and embodiments are possible and will be discussed in the detailed description below.
[00068] 図１は、本発明のいくつかの実施形態に従って実装される例示的なシステム１００を示す。システム１００は、顧客宅内に配置された生成装置／コンテンツプレーヤ等の１つ以上の顧客装置に、例えば、画像コンテンツ配信等のコンテンツ配信をサポートする。システム１００は、例示の画像取り込みデバイス１０２、コンテンツ配信システム１０４、通信ネットワーク１０５、及び、複数の顧客宅内１０６、．．、１１０含む。画像取り込みデバイス１０２は、立体視画像の取り込みをサポートする。画像取り込みデバイス１０２は、発明の態様に従って、画像コンテンツを取り込み、処理する。通信ネットワーク１０５は、例えば、光ファイバ−同軸ハイブリッド（hybrid fiber-coaxial：ＨＦＣ）ネットワーク、衛星ネットワーク、及び／または、インターネットであってよい。
[00068] FIG. 1 illustrates an
[00069] コンテンツ配信システム１０４は、エンコーディング装置１１２とコンテンツストリーミング装置／サーバ１１４を含む。エンコーディング装置１１２は、本発明に従って、画像データをエンコードするための１つまたは複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。エンコーダは、シーンの異なる部分をエンコードするために、及び／または、異なるデータレートを有するエンコードされたバージョンを生成するようにシーンの所与の部分を符号化するために、並行に使用され得る。リアルタイム、または、ほぼリアルタイムのストリーミングがサポートされるべき場合、並行して複数のエンコーダを使用することは、特に有用である。
[00069] The
[00070] コンテンツストリーミング装置１１４は、例えば、通信ネットワーク１０５上を、１つ以上の顧客装置にエンコードされた画像コンテンツを配信するために、エンコードされたコンテンツを、例えば、送信する等、ストリーミングするように構成される。ネットワーク１０５を介して、コンテンツ配信システム１０４は、通信ネットワーク１０５を横断するリンク１２０によって図に示されているように、情報を送り、及び／または、顧客宅内１０６、１１０に設けられた装置と情報を交換することができる。
[00070] The
[00071] エンコーディング装置１１２とコンテンツ配信サーバ１１４は、図１の例において個別の物理的な装置として示されているが、いくつかの実施形態において、それらは、コンテンツをエンコードし、ストリーミングする単一の装置として実装される。エンコーディングプロセスは、３Ｄ画像視聴がサポートされ得るように、シーン部分の左と右の眼の視野に対応する情報がエンコードされ、エンコードされた画像データに含まれる３Ｄ、例えば、立体視の、画像エンコーディングプロセスであり得る。使用される特定のエンコーディング方法は、本出願に重要ではなく、広範囲のエンコーダが、エンコーディング装置１１２として、または、エンコーディング装置１１２を実装するために使用され得る。
[00071] Although the
[00072] 各顧客宅内１０６、１１０は、コンテンツストリーミング装置１１４によってストリーミングされた画像コンテンツをデコードし、再生／表示するために使用される、再生システム等の複数の装置／プレーヤを含み得る。顧客宅内１ １０６は、ディスプレイデバイス１２４に接続されたデコーディング機器／再生デバイス１２２を含み、他方、顧客宅内Ｎ １１０は、ディスプレイデバイス１２８に接続されたデコーディング機器／再生デバイス１２６を含む。いくつかの実施形態では、ディスプレイデバイス１２４、１２８は、ヘッドマウント立体視ディスプレイデバイスである。いくつかの実施形態では、再生デバイス１２２／１２６とヘッドマウント装置１２４／１２８が、共に、再生システムを形成する。
[00072] Each
[00073] 様々な実施形態において、デコーディング装置１２２、１２６は、対応するディスプレイデバイス１２４、１２８に画像コンテンツを提示する。デコーディング機器／プレーヤ１２２、１２６は、コンテンツ配信システム１０４から受け取られた画像をデコーディングし、デコードされたコンテンツを用いて画像を生成し、ディスプレイデバイス１２４、１２８上に、例えば、３Ｄ画像コンテンツ等の画像コンテンツを描画することができる装置であり得る。デコーディング機器／再生デバイス１２２、１２６の何れかは、図８に示されたデコーディング機器／再生デバイス８００として使用さえ得る。図８及び図１９に示された装置等のシステム／再生デバイスは6、デコーディング装置／再生デバイス１２２、１２６のいずれかとして使用されることができる。
[00073] In various embodiments, the
[00074] 図２Ａは、分割されているフル３６０度立体視シーン等の例示的な立体視シーン２００を示す。立体視シーンは、単一の映像取り込みプラットフォームまたはカメラマウントに搭載された、例えば、映像カメラ等の複数のカメラから取り込まれる画像データを組み合わせた結果であり得、通常は結果である。
[00074] FIG. 2A shows an exemplary
[00075] 図２Ｂは、シーンが、例えば、１つの例示的な実施形態に従って、正面１８０度部分、左後方９０度部分、及び、右後方９０度部分等の３つ（Ｎ＝３）の例示的な部分に分割されている、例示的な立体視シーンの分割されたバージョン２５０を示す。
[00075] FIG. 2B illustrates three examples (N = 3) of scenes, for example, a front 180 degree portion, a left rear 90 degree portion, and a right rear 90 degree portion, according to one exemplary embodiment. A divided
[00076] 図２Ｃは、１つの例示的な実施形態に従って、４つ（Ｎ＝４）の部分に分割されている例示的な立体視シーン２００の他の分割されたバージョン２８０を示す。
[00076] FIG. 2C shows another divided
[00077] 図２Ｂと２Ｃは２つの例示的な分割を示すが、他の分割が可能であることが理解されるべきである。例えば、シーン２００は、１２個（Ｎ＝１２）の３０度部分に分割され得る。１つのそのような実施形態では、各部分を個別にエンコードするよりもむしろ、複数の部分が一緒にグループ化され、グループとしてエンコードされる。部分の異なるグループは、符号化され、シーンの合計度数に関して同じである各グループのサイズをもつが、ユーザの頭の位置、例えば、０から３６０度のスケールで測定された視野角、に応じてストリーミングされ得る画像の異なる部分に対応して、エンコードされ、ユーザにストリーミングされ得る。
[00077] Although FIGS. 2B and 2C show two exemplary divisions, it should be understood that other divisions are possible. For example, the
[00078] 図３は、１つの例示的な実施形態に従った、例示的な３６０度立体視シーンをエンコーディングする例示的なプロセスを示す。図３に示された方法３００への入力は、例えば、シーンの３６０度視野を取り込むよう構成された複数のカメラによって取り込まれた３６０度立体視画像データを含む。例えば、立体視映像等の立体視画像データは、様々な既知の形式のいずれかであってもよく、ほとんどの実施形態では、３Ｄ体験を可能にするために用いられる左と右眼の画像データを含む。方法は、立体視映像のために特に適しているが、この中に記載された技術及び方法は、また、例えば、３６０度または小さいシーン領域の、２Ｄ（２次元）画像に適用され得る。
[00078] FIG. 3 illustrates an exemplary process for encoding an exemplary 360 degree stereoscopic scene, according to one exemplary embodiment. The input to the
[00079] ステップ３０４において、シーンデータ３０２は、例えば、異なる視野方向に対応するＮ個のシーン領域等の異なるシーン領域に対応するデータに分割される。図２Ｂに示されたもの等の１つの実施形態において、３６０度シーン領域は、９０度部分に対応する左後方部分、正面１８０度部分、右後方９０度部分といった３つの分割に部分化される。異なる部分は、異なるカメラによって取り込まれていてもよいが、これは必須ではなく、実際には、３６０度シーンは、図２Ｂと図２Ｃに示されるようにＮ個のシーン領域に分割される前に、複数のカメラから取り込まれたデータから構成されてもよい。
In
[00080] ステップ３０６において、異なるシーン部分に対応するデータは、本発明に従ってエンコードされる。いくつかの実施形態では、各シーン部分は、各部分についての複数の可能なビットレートストリームをサポートするために、複数のエンコーダによって独立にエンコードされる。ステップ３０８において、エンコードされたシーン部分は、顧客の再生デバイスにストリーミングするために、例えば、コンテンツ配信システム１０４のコンテンツ配信サーバ１１４に、記憶される。
[00080] In
[00081] 図４は、例えば、シーンの１８０度正面部分等の入力画像部分が、同じ入力画像部分の異なるエンコードされたバージョンを生成するために、様々なエンコーダを用いて、どのようにエンコードされるかを示す例を示す図４００である。 [00081] FIG. 4 illustrates how an input image portion, such as a 180-degree front portion of a scene, is encoded using various encoders to generate different encoded versions of the same input image portion. FIG. 400 is a diagram 400 illustrating an example of whether or not.
[00082] 図４００に示されるように、例えば、シーンの１８０度正面部分である入力シーン部４０２は、エンコーディングのために複数のエンコーダに供給される。例では、異なる解像度をもち、画像コンテンツの異なるデータレートストリームをサポートするためにエンコードされたデータを生成するような異なるエンコーディング技術を用いる、入力データをエンコードするＫ個の異なるエンコーダがある。複数のＫ個のエンコーダは、高精細（high definition：ＨＤ）エンコーダ１ ４０４、標準画質（standard definition：ＳＤ）エンコーダ２ ４０６、低減されたフレームレートＳＤエンコーダ３ ４０８、・・・、および、高圧縮の低減されたフレームレートＳＤエンコーダＫ ４１０を含む。
[00082] As shown in FIG. 400, for example, an
[00083] ＨＤエンコーダ１ ４０４は、高ビットレートＨＤエンコード画像４１２を生成するためにフル高解像度（ＨＤ）エンコーディングを実行するよう構成される。ＳＤエンコーダ２ ４０６は、入力画像のＳＤエンコードバージョン２ ４１４を生成するために、低解像度の標準画質エンコーディングを実行するように構成される。低減されたフレームレートＳＤエンコーダ３ ４０８は、入力画像の低減されたレートＳＤエンコードバージョン３ ４１６を生成するために、低減されたフレームレートの低解像度ＳＤエンコーディングを実行するように構成される。低減されたフレームレートは、例えば、エンコーディングのためにＳＤエンコーダ２ ４０６によって使用されるフレームレートの半分であってよい。高圧縮の低減されたフレームレートＳＤエンコーダＫ ４１０は、入力画像の高度に圧縮された、低減されたレートＳＤを生成するために、高圧縮での低減されたフレームレート、低解像度ＳＤエンコーディングを実行するように構成される。
[00083]
[00084] 従って、データ圧縮のレベルも、単独で、または、１つ以上の所望のデータレートをもってシーン部分に対応するデータストリームを生成するために、空間的及び／または時間的な解像度の制御に加えて、使用され得るように、空間的及び／または時間的解像度の制御は、異なるデータレートのデータストリームと他のエンコーダ設定の制御を生成するために使用され得る。 [00084] Accordingly, the level of data compression can also be used to control spatial and / or temporal resolution, alone or to generate a data stream corresponding to a scene portion with one or more desired data rates. In addition, as can be used, spatial and / or temporal resolution controls can be used to generate controls for data streams of different data rates and other encoder settings.
[00085] 図５は、３つの例示的な部分に分割された入力立体視シーンの記憶されたエンコードされた部分５００を示す。記憶されたエンコードされた部分は、例えば、メモリ内のデータ／情報として、コンテンツ配信システム１０４に記憶され得る。立体視シーンの記憶されたエンコードされた部分５００は、エンコード部分の３つの異なる組を含み、各部分は異なるシーン領域に対応し、各組は、対応するシーン部分の複数の異なるエンコードされたバージョンを含む。各エンコードされたバージョンは、エンコードされた映像データのバージョンであり、従って、コード化されている複数のフレームを表す。映像であるエンコードされたバージョン５１０、５１２、５１６の各々は複数の時間期間に対応し、ストリーミング時に、再生されている時間期間に対応する、例えば、フレーム等の部分は、伝送目的のために使用されることが理解されるべきである。
[00085] FIG. 5 shows a stored encoded
[00086] 図４に関して図示及び上述されたように、例えば、正面、後方シーン部分等の各シーン部分は、同じシーンの部分のＫ個の異なるバージョンを生成するために、複数の異なるエンコーダを用いてエンコードされ得る。所与の入力シーンに対応する各エンコーダの出力は、組として共にグループ化され、記憶される。エンコードされたシーン部分５０２の第１の組は正面の１８０度シーン部分に対応し、正面１８０度のエンコードされたバージョン１ ５１０、正面１８０度シーンのエンコードされたバージョン２ ５１２、・・・、正面１８０度シーンのエンコードされたバージョンＫ ５１６を含む。エンコードされたシーン部分５０４の第２の組は、例えば、９０度左後方部分等のシーン部分２に対応し、９０度左後方シーン部分のエンコードされたバージョン１ ５２０、９０度左後方シーン部分のエンコードされたバージョン２ ５２２、・・・、９０度左後方シーン部分のエンコードされたバージョンＫ ５２６を含む。同様に、エンコードされたシーンの部分５０６の第３の組は、例えば、９０度右後方シーン部分等のシーン部分３に対応し、９０度右後方シーン部分のエンコードされたバージョン１ ５３０、９０度右後方シーン部分のエンコードされたバージョン２ ５３２、・・・、９０度右後方シーン部分のエンコードされたバージョンＫ ５３６を含む。
[00086] As illustrated and described above with respect to FIG. 4, for example, each scene portion, such as the front, back scene portion, uses a plurality of different encoders to generate K different versions of the same scene portion. Can be encoded. The outputs of each encoder corresponding to a given input scene are grouped together as a set and stored. The first set of encoded
[00087] ３６０度シーンの様々な異なる記憶されたエンコーされた部分は、顧客再生デバイスに送るように、様々な異なるビットレートストリームを生成するために使用され得る。 [00087] Various different stored encoded portions of the 360 degree scene can be used to generate a variety of different bit rate streams to send to the customer playback device.
[00088] 図６は、例示的な実施形態に従った、画像コンテンツを提供する例示的な方法のステップを示すフローチャート６００である。フローチャート６００の方法は、図１に示した取り込みシステムを用いて、いくつかの実施形態において実施される。
[00088] FIG. 6 is a
[00089] 方法は、例えば、配信システムが電源投入され、初期化されると、ステップ６０２で開始する。方法は、開始ステップ６０２からステップ６０４に進む。ステップ６０４において、例えば、システム１０４の中のサーバ１１４等、コンテンツ配信システム１０４は、例えば以前にエンコードされた番組への、または、ある場合には、例えば、イベントがまだ進行中である間等、リアルタイムまたはほぼリアルタイムでエンコードされ、ストリーミングされているライブイベントへの要求等、コンテンツの要求を受け取る。
[00089] The method begins at
[00090] 要求に応答して、ステップ６０６において、サーバ１１４は、配信のために利用可能なデータレートを決定する。データレートは、サポートされるデータレートを示す要求に含まれた情報から、及び／または、要求している装置にコンテンツを配信するために利用可能である最大帯域幅を示すネットワーク情報等の他の情報から、決定され得る。理解されるように、利用可能なデータレートは、ネットワーク負荷に応じて変化し、コンテンツがストリーミングされている時間期間中に変化し得る。変化は、ユーザ装置によって報告され得、または、ネットワークが使用されているデータレートをサポートする困難さを有していること、及び、現在利用可能なデータレートが使用のために利用可能であると決定された元のデータレートより低いことを示すことになる、パケットが欠落されるか所望の時間量を超えて遅延することを示すメッセージまたは信号から検出され得る。
[00090] In response to the request, at
[00091] 動作は、ステップ６０６からステップ６０８に進み、例えば、要求の時点での現在の頭の位置等のコンテンツへの要求が初期化されるユーザ装置の現在の頭の位置が０度位置であるようにされる。０度または前方を見ている位置は、いくつかの実施形態において、再初期化が起こるべきであることを再生デバイスが信号で知らせて、ユーザによって再初期化され得る。時間が経つにつれて、ユーザの頭の位置、及び／または、例えば元の頭の位置に対するユーザの頭部の位置の変化は、コンテンツ配信システム１０４に通知され、更新された位置がコンテンツ配信決定を行うために、以下に説明するように使用される。
[00091] Operation proceeds from
[00092] 動作は、ステップ６０８から６１０に進み、要求されたコンテンツに対応する３６０度シーンの部分が、再生デバイスを初期化するために送られる。少なくともいくつかの実施形態では、初期化は、例えば、３６０度シーンがＮ個の部分に分割されているＮ個の部分等、シーンデータの３６０度フルの組を送ることを含む。 [00092] Operation proceeds from step 608 to 610, where the portion of the 360 degree scene corresponding to the requested content is sent to initialize the playback device. In at least some embodiments, the initialization includes sending a 360 degree full set of scene data, eg, N parts where the 360 degree scene is divided into N parts.
[00093] ステップ６１０における初期化の結果として、再生デバイスは、３６０度の可能な視野領域の異なる部分の各々に対応するシーンデータを有する。従って、再生デバイスのユーザが突然後方に向いた場合少なくともいくつかのデータは、ユーザが彼の頭を回す前に見ていた部分と同じに最新でない場合でも、ユーザに表示するために利用可能である。
[00093] As a result of the initialization in
[00094] 動作は、ステップ６１０からステップ６１２とステップ６２２に進む。ステップ６２２は、グローバル更新期間毎に少なくとも１回、３６０度シーン全体の更新されたバージョンを再生デバイスが受け取ることを確実にするために使用される、グローバルシーン更新経路に対応する。ステップ６１０で初期化されているとして、グローバルな更新プロセスは、所定時間期間の間の待機ステップ６２２において遅延される。そして、ステップ６２４で、３６０度のシーン更新が行われる。破線矢印６１３は、シーン部分が、ステップ６２２に対応する補助期間の間に再生デバイスに通信されていた情報の通信を表す。ステップ６２４において、３６０度シーン全体が送信され得る。しかし、いくつかの実施形態では、全てではない部分がステップ６２４において送信される。待機期間６２２の間に更新されるシーンの部分は、いくつかの実施形態において、それらが、ユーザの頭の位置に基づいてシーンの少なくともいくつかの部分を送る通常のストリーミングプロセス中に既にリフレッシュされているので、ステップ６２４において実行される更新から除かれる。
[00094] Operation proceeds from
[00095] 動作は、ステップ６２４から待機ステップ６２２に戻り、待機が、次のグローバル更新の前に実行される。なお、ステップ６２２において使用される待機期間を調節することによって、異なるグローバルリフレッシュレートが使用され得ることが理解されるべきである。いくつかの実施形態では、コンテンツサーバは、提供されているシーンコンテンツの種類に基づいて、待機期間を、従って、グローバル基準期間を選択する。主なアクションが前方に面した領域にあり、リフレッシュのための理由の１つが屋外の照明条件の変化の可能性であるスポーツイベントの場合には、待機期間は、例えば、分または数分のオーダーで、比較的長くすることができる。アクションや観衆の行動が異なる曲が演じられる度に頻繁に変わり得るロックコンサートの場合において、ユーザは、振り向き、観衆のリアクションを見て、正面のステージ視野領域で進行中のことに加えて、観衆に起きていることの雰囲気を得たいので、グローバルリフレッシュレートはスポーツイベントのためよりも高くあり得る、いくつかの実施形態ではそうある。
[00095] Operation returns from
[00096] いくつかの実施形態では、グローバル参照期間は、ストリーミングされるプレゼンテーションの部分の関数として変更される。例えば、スポーツイベントのゲーム部分の間、グローバルリフレッシュレートが比較的低いが、タッチダウン後のしばらくの間、または、イベントにおける人または再生デバイスを介してイベントを見ている人が前方の主たる領域から彼または彼女の頭の向きを変える可能性が高いタイムアウトまたは休憩の間は、グローバル基準レートは、ステップ６２２で使用される、例えば、リフレッシュ期間制御等の待機時間を減らすことによって、増加することができる。
[00096] In some embodiments, the global reference period is changed as a function of the portion of the presentation that is streamed. For example, during the game portion of a sporting event, the global refresh rate is relatively low, but for some time after touchdown, or the person at the event or watching the event via a playback device from the main area ahead During a timeout or break that is likely to change his or her head orientation, the global reference rate may be increased by reducing the waiting time used in
[00097] グローバルリフレッシュプロセスがステップ６２２及び６２４を参照して説明されているが、シーンの部分の通常の供給が記載される。理解されるように、シーンまたはシーン部分の通常のリフレッシュは、サポートされている映像フレームレートで、データレートが可能にして、少なくとも一部について起こる。従って、少なくとも１つのフレーム部分について、例えば、彼または彼女の頭が向いていることを示されている部分は、利用可能なデータレートが十分であると想定すると、フル映像ストリーミングフレームレートで供給される。
[00097] Although the global refresh process has been described with reference to
[00098] ステップ６１２において、シーンの部分は、ユーザの、例えば、視野角度等の示された頭の位置に基づいて提供されるために選択される。選択された部分は、例えば、定期的なベースで、再生装置に、例えば、ストリーミングされる等、送信される。部分に対応するデータがストリーミングされるレートは、いくつかの実施形態において、映像フレームレートに依存する。例えば、少なくとも１つの選択された部分は、サポートされているフルフレームレートでストリーミングされる。少なくとも１つのシーン部分がステップ６１２で選択されるが、例えば、ユーザが面しているシーン部分並びに次に最も近いシーン部分等の複数のシーン部分が、通常、選択される。追加のシーン部分も選択され、利用可能なデータレートが複数のフレーム部分の通信をサポートするのに十分である場合に供給され得る。
[00098] In
[00099] ストリーミングされるべきシーン部分がステップ６１２で選択された後、動作はステップ６１４に進み、例えば、利用可能なデータレートやユーザの視野位置に基づいて、選択されたストリーム部分のエンコードバージョンが選択される。例えば、現在報告されている頭の部分によって示されるような、ユーザが面しているシーン部分のフルレート高解像度バージョンが、通常、ストリーミングされ得る。現在の頭の位置の左及び／または右への１つ以上のシーン部分は、現在見られていないシーンを送信するために必要とされる帯域幅の量を低減する、より低い解像度、より低い時間レート、または、他のエンコーディング手法を用いるとして、ストリーミングされるように選択され得る。隣接するシーン部分のエンコードバージョンの選択は、現在見られているシーン部分の高品質バージョンが送信された後にストリーミングする帯域幅の量に依存する。現在見られていないシーン部分が、より低い解像度のエンコードバージョンとして、または、フレーム間のより大きな時間的間隔をもったエンコードバージョンとして送られ得るが、フル解像度の高品質バージョンは、利用可能な十分な帯域幅がある場合、定期的に、または、頻繁に送られ得る。
[00099] After the scene portion to be streamed is selected at
[000100] ステップ６１６において、選択されたシーン部分の選択されたエンコードバージョンが、コンテンツを要求した再生デバイスに送られる。従って、ステップ６１６において、例えば、複数の連続したフレームに対応する立体視映像コンテンツ等の１つ以上の部分に対応するエンコードされたコンテンツが、再生デバイスにストリーミングされる。
[000100] At
[000101] 動作はステップ６１６からステップ６１８に進み、ユーザの現在の頭の位置を示す情報が受け取られる。この情報は、定期的に、及び／または、頭の位置の変化を検出することに応答して再生デバイスから送られ得る。頭の位置の変化に加えて、利用可能なデータレートの変化が、何のコンテンツがストリーミングされるかに影響し得る。動作は、ステップ６１８からステップ６２０に進み、再生デバイスへのコンテンツ配信のために使用することができる現在のデータレートの決定がなされる。従って、コンテンツ配信システムは、要求している装置へのストリーミングをサポートするために利用可能な帯域幅の量の変化を検出することができる。
[000101] Operation proceeds from
[000102] 動作はステップ６２０からステップ６１２に進み、コンテンツが配信されきる、例えば、番組またはイベントの終了、まで、または、コンテンツを要求した再生デバイスから、セッションが終了されるべきであることを示す信号が受け取られるまで、または、再生デバイスがもはやコンテンツサーバ１１４との通信状態にないことを示す、頭の位置更新が検出される等の再生デバイスからの期待される信号を受けることに失敗するまで、ストリーミングが継続する。
[000102] Operation proceeds from
[000103] 上述の方法で配信されたシーンデータから、再生デバイスは、ユーザが彼または彼女の頭を素早く回した場合に表示するために、それに利用可能な各シーン部分に対応する少なくともいくつかのデータを有する。ユーザが彼らの頭を非常に短い時間期間で完全に回すことは、これが多くの人にとって見る位置における不快な変化であるので、めったにないことが理解されるべきである。従って、フル３６０度シーンが常時送信されていないが、所与の時間に見られる可能性が最も高いシーン部分（または、複数の部分）の高品質バージョンがストリーミングされ、ユーザに利用可能にされる。 [000103] From the scene data delivered in the manner described above, the playback device may display at least some corresponding to each scene portion available to it for display when the user quickly turns his or her head. Have data. It should be understood that it is rare for users to turn their heads completely in a very short period of time, as this is an unpleasant change in the viewing position for many people. Thus, a high quality version of the scene portion (or portions) most likely to be seen at a given time is not streamed at all times, but is streamed and made available to the user. .
[000104] エンコーディングプロセスは、シーンのＮ個の部分が、各個々のユーザのために別々にコンテンツをエンコードする必要なく、異なるユーザに対して異なって送信され、処理されることを可能にするので、コンテンツ配信システム１０４は、多くの数の同時のユーザをサポートすることができる。従って、スポーツまたは他のイベントのリアルタイムまたはほぼリアルタイムのストリーミングを可能にするために、リアルタイムエンコーディングをサポートするように、いくつかの並列エンコーダが使用され得るが、使用されるエンコーダの数は、コンテンツがストリーミングされる再生デバイスの数よりもはるか少なくなる傾向がある。
[000104] Because the encoding process allows N parts of the scene to be transmitted and processed differently for different users without having to encode the content separately for each individual user. The
[000105] コンテンツの部分は３６０度視野に対応する部分として記載されるが、シーンは、いくつかの実施形態では、また、垂直方向の次元を有する空間の平坦化バージョンを表し得る、及び、いくつかの実施形態では表すことが理解されるべきである。再生デバイスは、例えば、宇宙等の３Ｄ環境のモデルを使用してシーン部分をマッピングし、垂直方向の視野位置に合わせて調整することができる。従って、本願で検討されている３６０度は、ユーザが、彼の凝視レベルを保持しながら、彼の視野角を左または右に変えたかのように、水平に関する頭の位置をいう。 [000105] Although the portion of content is described as the portion corresponding to the 360 degree field of view, the scene may also represent a flattened version of the space with vertical dimensions in some embodiments, and how many It should be understood that such embodiments represent. The playback device can map a scene portion using a model of a 3D environment such as the universe and adjust it to the vertical visual field position. Thus, 360 degrees considered in this application refers to the position of the head relative to the horizon, as if the user changed his viewing angle to the left or right while holding his gaze level.
[000106] 図７は、本発明の態様に従って、コンテンツをエンコードし、ストリーミングするために使用され得るエンコード能力をもった例示的なコンテンツ配信システム７００を示す。
[000106] FIG. 7 illustrates an exemplary
[000107] システムは、本発明の態様に従って、エンコーディング、記憶、及び、送信、及び／または、コンテンツ出力を実行するために使用され得る。いくつかの実施形態では、システム７００、または、その中の要素は、図６に示されたプロセスに対応する動作を実行する。コンテンツ配信システム７００は、図１のシステム１０４として使用され得る。図７に示されたシステムはコンテンツのエンコーディング、処理、及び、ストリーミングのために使用されるが、システム７００は、また、例えば、オペレータに、処理され及び／またはエンコードされた画像データを、デコードし、表示する機能を含み得ることが理解されるべきである。
[000107] The system may be used to perform encoding, storage and transmission and / or content output in accordance with aspects of the present invention. In some embodiments, the
[000108] システム７００は、ディスプレイ７０２、入力デバイス７０４、入力／出力（Ｉ／Ｏ）インターフェース７０６、プロセッサ７０８、ネットワークインターフェース７１０、及び、メモリ７１２を含。システム７００の様々なコンポーネントは、システム７００のコンポーネント間でデータが通信されることを可能にするバス７０９を介して共に接続される。
[000108] The
[000109] メモリ７１２は、プロセッサ７０８によって実行されたとき、システム７００を、本発明に従った、分割、エンコーディング、記憶、及び、ストリーミング／送信、及び／または、出力動作を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。
[000109] The
[000110] メモリ７１２は、プロセッサ７０８によって実行されたとき、コンピュータシステム７００を、本発明に従った、没入型立体視映像取り込み、エンコーディング、記憶、及び、送信及びまたは出力の方法を実装するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ７１２は、制御ルーチン７１４、分割モジュール７１６、エンコーダ（または、複数のエンコーダ）７１８、ストリーミング制御部７２０、例えば、シーンの３６０度立体視映像等の受け取られた入力画像７３２、エンコードされたシーン部分７３４、及び、タイミング情報７３６を含む。いくつかの実施形態において、モジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、モジュールが対応する機能を実行する回路として各モジュールが実装される、例えば、個別の回路として等、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。
[000110]
[000111] 制御ルーチン７１４は、システム７００の動作を制御するために装置制御ルーチンと通信ルーチンを含む。分割モジュール７１６は、本発明の態様に従って、シーンの受け取られた立体視３６０度バージョンをＮ個のシーン部分に分割するように構成される。
[000111] The
[000112] エンコーダ（または、複数のエンコーダ）７１８は、本発明の態様に従って、例えば、シーンの３６０度バージョン及び／または１つ以上のシーン部分等の受け取られた画像コンテンツをエンコードするように構成された複数のエンコーダを含み得る、及び、いくつかの実施形態では含む。いくつかの実施形態において、エンコーダ（または、複数もエンコーダ）は、各々のエンコーダが、所与のビットレートストリームをサポートするために立体視シーン及び／または分割されたシーン部分をエンコードするように構成されている、複数のエンコーダを含む。従って、いくつかの実施形態において、各シーン部分は、各シーンについて複数の異なるビットレートストリームをサポートするために複数のエンコーダを用いてエンコードされ得る。エンコーダ（または、複数のエンコーダ）７１８の出力は、例えば、再生デバイス等の顧客装置へのストリーミングのためにメモリに記憶されるエンコードされたシーン部分７３４である。エンコードされたコンテンツは、ネットワークインターフェース７１０を介して１つ以上の異なる装置にストリーミングされ得る。
[000112] An encoder (or encoders) 718 is configured to encode received image content, such as, for example, a 360 degree version of a scene and / or one or more scene portions, in accordance with aspects of the present invention. Multiple encoders, and in some embodiments. In some embodiments, encoders (or encoders) are configured such that each encoder encodes a stereoscopic scene and / or a segmented scene portion to support a given bit rate stream. A plurality of encoders. Thus, in some embodiments, each scene portion may be encoded using multiple encoders to support multiple different bit rate streams for each scene. The output of the encoder (or encoders) 718 is an encoded
[000113] ストリーミング制御部７２０は、例えば、通信ネットワーク１０５上で、エンコードされた画像コンテンツを１つ以上の顧客装置に配信するためのエンコードされたコンテンツのストリーミングを制御するために構成される。様々な実施形態において、フローチャート６００の様々なステップは、ストリーミング制御部７２０の様相によって実装される。ストリーミング制御部７２０は、要求処理モジュール７２２、データレート決定モジュール７２４、現在の頭の位置決定モジュール７２６、選択モジュール７２８、及び、ストリーミング制御モジュール７３０を含む。要求処理モジュール７２２は、顧客再生装置からの受け取られた画像コンテンツの要求を処理するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース７１０における受信器を介して受け取られる。いくつかの実施形態において、コンテンツの要求は、要求している再生デバイスの特定を示す情報を含む。いくつかの実施形態において、コンテンツの要求は、顧客再生デバイスによってサポートされるデータレート、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を含み得る。要求処理モジュール７２２は、受け取られた要求を処理し、更なるアクションをとるために、ストリーミング制御部７２０の他の要素に受け取られた情報を提供する。コンテンツの要求は、データレート情報と現在の頭の位置情報を含み得るが、様々な実施形態において、再生デバイスによりサポートされるデータレートは、ネットワークテスト、及び、システム７００と再生デバイスとの間の他のネットワーク情報交換から決定され得る。
[000113] The
[000114] データレート決定モジュール７２４は、顧客装置に画像コンテンツをストリーミングするよう構成され、例えば、複数のエンコードされたシーン部分がサポートされるので、コンテンツ配信システム７００は、複数のデータレートで、コンテンツを顧客装置にストリーミングすることをサポートし得る。データレート決定モジュール７２４は、更に、システム７００からのコンテンツを要求している再生デバイスによってサポートされるデータレートを決定するように構成される。いくつかの実施形態において、データレート決定モジュール７２４は、ネットワーク測定に基づいて、画像コンテンツの配信のための利用可能なデータレートを決定するように構成される。
[000114] The data
[000115] 現在の頭の位置決定モジュール７２６は、再生デバイスから受け取られた情報から、例えば、ヘッドマウントディスプレイの位置等、ユーザの現在の視野角及び／または現在の頭の位置を決定するように構成される。いくつかの実施形態において、再生デバイスは、定期的に、現在の頭の位置情報をシステム７００に送り、そこでは、現在の頭の位置決定モジュール７２６が、現在の視野角、及び／または、現在の頭の位置を決定するために、情報をａｄプロセス（ad processes）で受け取る。
[000115] The current head
[000116] 選択モジュール７２８は、ユーザの現在の視野角／頭の位置情報に基づいて、３６０度シーンのどの部分を再生デバイスにストリーミングするかを決定するように構成される。選択モジュール７２８は、更に、コンテンツのストリーミングをサポートするために利用可能なデータレートに基づいて、決定されたシーン分のエンコードバージョンを選択するように構成される。
[000116] The
[000117] ストリーミング制御部７３０は、本発明の態様に従って、様々なサポートされたデータレートで、例えば、３６０度立体視シーンの複数の部分等の画像コンテンツのストリーミングを制御するように構成される。いくつかの実施形態において、ストリーミング制御モジュール７３０は、再生装置におけるシーンメモリを初期化するために、コンテンツを要求している再生装置に３６０度立体視シーンのストリームのＮ部分を制御するように構成される。様々な実施形態において、ストリーミング制御モジュール７３０は、例えば、決定されたレート等で、定期的に、決定されたシーン部分の選択されたエンコードバージョンを送るように構成される。いくつかの実施形態では、ストリーミング制御モジュール７３０は、更に、例えば、毎分に１回等の時間間隔に応じて、再生装置に３６０度シーン更新を送るように構成される。いくつかの実施形態において、３６０度シーン更新を送ることは、フル３６０度立体視シーンのＮ個のシーン部分またはＮ−Ｘ個のシーン部分を送ることを含み、ここで、Ｎは、フル３６０度立体視シーンが分割されている総数であり、Ｘは、最近再生装置に送られた、選択されたシーン部分を表す。いくつかの実施形態において、ストリーミング制御モジュール７３０は、３６０度シーン更新を送る前に初期化のために最初にＮ個のシーン部分を送った後、所定の時間の間待機する。いくつかの実施形態において、３６０度シーン更新の送りを制御するためのタイミング情報は、タイミング情報７３６に含まれる。いくつかの実施形態において、ストリーミング制御モジュール７３０は、更に、リフレッシュ間隔中に再生デバイスに送信されていないシーン部分を特定し、リフレッシュ間隔中に再生デバイスに送信されなかった特定されたシーン部分の更新バージョンを送信するように構成される。
[000117] The streaming controller 730 is configured to control streaming of image content, such as portions of a 360 degree stereoscopic scene, for example, at various supported data rates, in accordance with aspects of the present invention. In some embodiments, the streaming control module 730 is configured to control the N portion of the 360 degree stereoscopic scene stream to the playback device requesting content to initialize the scene memory at the playback device. Is done. In various embodiments, the streaming control module 730 is configured to send a selected encoded version of the determined scene portion periodically, eg, at a determined rate. In some embodiments, the streaming control module 730 is further configured to send a 360 degree scene update to the playback device, eg, in response to a time interval such as once per minute. In some embodiments, sending a 360 degree scene update includes sending N scene portions or NX scene portions of a full 360 degree stereoscopic scene, where N is full 360 Is the total number of divided stereoscopic scenes, and X represents the selected scene portion that was recently sent to the playback device. In some embodiments, the streaming control module 730 waits for a predetermined time after first sending N scene portions for initialization before sending a 360 degree scene update. In some embodiments, timing information for controlling the sending of 360 degree scene updates is included in timing
[000118] 様々な実施形態において、再生デバイスが、各リフレッシュ期間の間に少なくとも１度、前記シーンの２６０度バージョンをフルにリフレッシュすることを可能にするために、ストリーミング制御モジュール７３０は、定期的なベースで、再生デバイスにN個の部分の少なくとも十分な数を通信するように構成される。 [000118] In various embodiments, the streaming control module 730 periodically updates the playback device to allow the playback device to fully refresh the 260 degree version of the scene at least once during each refresh period. Is configured to communicate at least a sufficient number of the N parts to the playback device on a flexible basis.
[000119] 図８は、本発明に従って実装された再生システム８００を示し、図１と７に示されたものように、コンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、表示するために使用され得る。システム８００は、ディスプレイ８０２を含む単一の再生デバイス８００’として、または、コンピュータシステム８００に接続された、例えば、ヘッドマウントディスプレイ８０５等の外部ディスプレイ等の要素の組み合わせとして実装され得る。
[000119] FIG. 8 illustrates a
[000120] 少なくともいくつかの実施形態において、再生システム８００は、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ８０５を含み得る、ＯＣＵＬＵＳ社のＲＩＦＴ（商標）のＶＲ（virtual reality）ヘッドセットを用いて実装され得る。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、ヘッドマウントヘルメットまたは他のヘッドマウントデバイスは、１つ以上のディスプレイスクリーンが、ユーザの左と右の眼にコンテンツを表示するために使用される。単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別々に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウント装置に挿入され、セルフォンは、画像を表示するために使用される。
[000120] In at least some embodiments, the
[000121] 再生システム８００は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像及び／またはモノ（単一の画像）等の受け取られたエンコード画像データをデコードし、例えば、３Ｄ画像としてユーザによって知覚される異なる左と右の眼の視野を描画し、表示することによって、顧客への表示のために３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態において、再生システム８００は、家庭やオフィス等の顧客宅内場所に配置されるが、同様に、画像取り込みサイトに配置されてもよい。システム８００は、本発明に従って、信号受信、デコーディング、表示、及び／または、他の動作を実行することができる。
[000121] The
[000122] システム８００は、ディスプレイ８０２、ディスプレイデバイスインターフェース８０３、入力デバイス８０４、入力／出力（Ｉ／Ｏ）インターフェース８０６、プロセッサ８０８、ネットワークインターフェース８１０、及び、メモリ８１２を含む。システム８００の様々なコンポーネントは、データがシステム８００のコンポーネント間で通信されることを可能にするバス８０９を介して、及び／または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ８０２は、破線の枠を用いて図示されているように、オプションとしての要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス８０５が、ディスプレイデバイスインターフェース８０３を介して再生デバイスに接続され得る。
[000122] The
[000123] 例えば、セルフォンプロセッサがプロセッサ８０８として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合に、システムは、ヘッドマウント装置の部分として、プロセッサ８０８、ディスプレイ８０２、及び、メモリ８１２を含み得る。プロセッサ８０８、ディスプレイ８０２、及び、メモリ８１２は、全て、セルフォンの部分であってよい。システム８００の他の実施形態において、プロセッサ８０８は、ディスプレイ８０５がヘッドマウント装置に搭載され、ゲームシステムに接続されている、ＸＢＯＸ、または、ＰＳ４等のゲームシステムの部分であってよい。プロセッサ８０８またはメモリ８１２が、頭部に装着される装置に設けられるか否かは重要なことではなく、理解され得るように、いくつかの場合において、ヘッドギアにプロセッサを共に設けることは便利かもしれないが、少なくともいくつかの場合には、電力、熱、及び、重量の観点から、ディスプレイを含むヘッドギアにプロセッサ８０８とメモリ８１２を接続されるようにすることが望ましくあり得る。
[000123] For example, if a cellphone processor is used as the
[000124] 様々な実施形態がヘッドマウントディスプレイ８０５または８０２を想定しているが、方法および装置は、また、３Ｄ画像をサポートすることができるヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム８００はヘッドマウントディスプレイを含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000124] Although various embodiments assume a head-mounted
[000125] メモリ８１２は、プロセッサ８０８によって実行されたとき、再生デバイス８００を、本発明に従ったデコーディングと出力動作を実行するように制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ８１２は、制御ルーチン８１４、コンテンツの要求生成モジュール８１６、頭の位置及び／または視野角決定モジュール８１８、デコーダモジュール８２０、３Ｄ画像生成モジュールとも呼ばれる立体視画像描画モジュール８２２、受け取られたエンコードされた画像コンテンツ８２４を含むデータ／情報、デコードされた画像コンテンツ８２６、３６０度のデコードされたシーンバッファ８２８、及び、生成された立体視コンテンツ８３０を含む。
[000125] The
[000126] 制御ルーチン８１４は、デバイス８００の動作を制御するために、制御ルーチンと通信ルーチンを含む。要求生成モジュール８１６は、コンテンツを提供するためのコンテンツ配信システムに送るために、コンテンツ要求を生成するように構成される。様々な実施形態において、コンテンツの要求は、ネットワークインターフェース８１０を介して送られる。頭の位置及び／または視野角決定モジュール８１８は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の視野角及び／または現在の頭の位置を決定し、決定された位置及び／または視野角情報をコンテンツ配信システム７００に報告するよう構成される。いくつかの実施形態では、再生デバイス８００は、定期的に、現在の頭の位置情報をシステム７００に送る。
[000126] The
[000127] デコーダモジュール８２０は、デコードされた画像データ８２６を生成するために、エンコードされた画像コンテンツ８２４をデコードするよう構成される。デコードされた画像データ８２６は、デコードされた立体視シーン及び／またはデコードされたシーン部分を含み得る。
[000127] The
[000128] ３Ｄ画像描画モジュール８２２は、ディスプレイ８０２及び／またはディスプレイデバイス８０５上でのユーザへの表示のために、例えば、デコードされた画像コンテンツ８２６を使用して、本発明の態様に従って、３Ｄ画像として知覚される方法で表示される、例えば、左と右の眼の画像といった３Ｄ画像を生成する。生成された立体視画像コンテンツ８３０は、３Ｄ画像生成モジュール８２２の出力である。従って、描画モジュール８２２は、ディスプレイに３Ｄ画像コンテンツ８３０を描画する。いくつかの実施形態において、ディスプレイデバイス８０５は、Ｏｃｕｌｕｓ社のＲｉｆｔ等の３Ｄディスプレイ機器の部分であってよい。再生デバイス８００のオペレータは、入力デバイス８０４を介して１つ以上のパラメータを制御し、及び／または、例えば、３Ｄシーンを表示するために選択する等、実行されるべき動作を選択し得る。
[000128] The 3D
[000129] 図９は、３つの異なる搭載位置に搭載された３つのカメラペア９０２、９０４、９０６を有した、時にはカメラリグまたはカメラアレイと呼ばれる例示的なカメラアセンブリ９００と、カメラアセンブリ９００を較正するために使用され得る較正ターゲット９１５とを示す図を表す。カメラのリグ９００は、本発明のいくつかの実施形態に従って、画像コンテンツを取り込むために使用される。いくつかの実施形態において、カメラリグ９００は、図１の画像取り込みデバイス１０２として用いられる。カメラリグ９００は、示された位置にカメラ、立体視カメラ（９０１、９０３）、（９０５、９０７）、（９０９、９１１）の３つのペア９０２、９０４、９０６で合計６台のカメラ、を保持する支持構造（図１１に示される）を含む。支持構造は、カメラを支持し、カメラが搭載されるプレートが固定され得る搭載板（図１１に示された要素１１２０を参照）とこの中で呼ばれる基部１１２０を含む。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料で作られ得、カメラ間の間隔との関係を示すためにも使用される三角形を形成する線によって表される。点線が交差する中心点は、いくつかであるが、必ずしも全てではない実施形態において、カメラペア９０２、９０４、９０６が回転し得る中心節点を表す。いくつかの実施形態において、中心結節点は、三角形の線によって表されたカメラ支持フレーム９１２が回転する中心となる、例えば、三脚基部の、スチールロッドまたはネジ切りされた中央マウントに対応する。支持フレームは、その中にカメラが搭載されるプラスチック筐体、または、三脚構造であってよい。
[000129] FIG. 9 calibrates the
[000130] 図９において、カメラの各ペア９０２、９０４、９０６は、異なるカメラペア位置に対応する。第１のカメラペア９０２は、正面に向いた位置に対して前方０度に対応する。この位置は、例えば、スポーツゲームがプレイされているフィールド、ステージ、または、主なアクションが起こる可能性があるいくつかの他の領域等の主たる関心のシーン領域に通常対応する。第２のカメラペア９０４は、１２０度のカメラ位置に対応し、右後方視野領域を取り込むために使用される。第３のカメラペア９０６は、２４０度位置（０度位置に対して）で、左後方視野領域に対応する。３つのカメラ位置が１２０度離れていることを注記する。各カメラ視野位置は、図９において１つのカメラペアを含み、各カメラペアは、画像を取り込むために使用される左カメラと右カメラを含む。左カメラは、時に左眼画像と呼ばれるものを取り込み、右カメラは、時に右眼画像と呼ばれるものを取り込む。画像はビューシーケンスの部分であるか、１回以上取り込まれた静止画像であってよい。通常、カメラペア９０２に対応する少なくとも正面カメラ位置は、高品質映像カメラで定着される。他のカメラ位置は、高品質のビデオカメラでも、低画質映像カメラでも、静止またはモノ画像を取り込むために使用される単一のカメラで定着されてもよい。いくつかの実施形態において、第２及び第３のカメラ実施形態は未定着のまま残され、第１のカメラペア９０２が３つのカメラ位置に対応するが、異なる回に画像を取り込むことを可能にして、カメラが搭載された支持板が回転される。いくつかのそのような実施形態では、左と右後方の画像は、以前に取り込まれて記憶され、その後、前方カメラ位置の映像がイベント中に取り込まれる。取り込まれた画像は、１つ以上の再生デバイスに、例えば、イベントがまだ進行中の間、リアルタイムでエンコードされ、ストリーミングされ得る。
In FIG. 9, each
[000131] 図９に示された第１のカメラペアは、左カメラ９０１と右カメラ９０３とを含む。左カメラ９０１は、第１のカメラに固定された第１のレンズアセンブリ９２０を有し、右カメラ９０３は、右カメラ９０３に固定された第２のレンズアセンブリ９２０を有する。レンズアセンブリ９２０、９２０’は、広角視界が取り込まれることを可能にするレンズを含む。いくつかの実施形態では、各レンズアセンブリ９２０、９２０’は、魚眼レンズを含む。従って、カメラ９０２、９０３の各々は、１８０度視界または約１８０度を取り込み得る。いくつかの実施形態では、１８０度より少ないものが取り込まれるが、いくつかの実施形態では、隣接するカメラペアから取り込まれた画像中で少なくとも幾分かの重複が依然として存在する。図９の実施形態において、カメラペアは、第１（０度）の、第２（１２０度）の、第３（２４０度）のカメラ搭載位置の各々に設けられ、各ペアは環境の少なくとも１２０度またはそれ以上を取り込むが、多くの場合には、各カメラペアは、環境の１８０度またはほぼ１８０度を取り込む。
The first camera pair shown in FIG. 9 includes a
[000132] 第２ ９０４、及び、第３ ９０６のカメラペアは、第１のカメラペア９０２と同じまたは類似であるが、正面の０度位置に対して１２０と２４０度のカメラ搭載位置に設けられる。第２のカメラペア９０４は、左カメラ９０５と左レンズアセンブリ９２２と右カメラ９０７と右カメラレンズアセンブリ９２２’を含む。第３のカメラペア９０６は、左カメラ９０９と左レンズアセンブリ９２４と右カメラ９１１と右カメラレンズアセンブリ９２４’とを含む。
[000132] The second 904 and third 906 camera pairs are the same or similar to the
[000133] 図９において、Ｄは、カメラ９０１、９０３の第１の立体視ペアの軸間距離を表す。図９の例では、Ｄは、平均的な人の左と右の眼の瞳孔間の距離と同じであるか、同等である１１７ｍｍ（ミリメートル）である。図９における破線９５０は、パノラマアレイの中心点から右カメラレンズ９２０’の入射瞳までの距離（別名、節オフセット（nodal offset））を示す。図９の例に対応する一実施形態では、参照番号９５０によって示される距離は３１５ｍｍ（ミリメートル）であるが、他の距離も可能である。
In FIG. 9, D represents the interaxial distance of the first stereoscopic pair of the
[000134] １つの特定の実施形態では、カメラリグ９００のフットプリント（footprint）は、６４０ｍｍ２（平方ミリメートル）またはそれより小さい水平領域であって、比較的小さい。このような小さなサイズは、例えば、ファンや観客が通常居るか位置される着座位置において等、カメラリグが観客の中に設置されることを可能にする。従って、いくつかの実施形態では、見る者が、そのような効果が望まれる観客の一員であるとの感覚をもつことを可能にして、カメラリグは観客エリアに設置される。いくつかの実施形態でのフットプリントは、いくつかの実施形態においてセンター支持ロッドを含む支持構造が搭載され、または、支持タワーが設けられる基部のサイズに対応する。理解されるように、いくつかの実施形態におけるカメラリグは、カメラの３つのペアの間の中心点に対応する基部の中心点の周りに回転し得る。他の実施形態では、カメラは固定されており、カメラアレイの中心の周りを回転しない。
[000134] In one particular embodiment, the footprint of the
[000135] カメラリグは比較的近いだけでなく、明瞭な被写体を取り込むことが可能である。１つの特定の実施形態において、カメラアレイの最小撮像距離は６４９ｍｍ（ミリメートル）であるが、他の距離も可能であり、この距離は何ら重要ではない。 [000135] The camera rig is not only relatively close, but can capture a clear subject. In one particular embodiment, the minimum imaging distance of the camera array is 649 mm (millimeters), but other distances are possible and this distance is not critical.
[000136] カメラアセンブリの中心から第１と第３のカメラ部品の視野の交点９５１までの距離は、第１と第２のカメラペアによって取り込まれた画像を較正するために使用され得る例示的な較正距離を表す。ターゲット９１５は、最大歪みの領域に、または、それをわずかに越えて設けられたカメラペアからの既知の距離に置かれ得ることを注記する。較正ターゲットは、既知の固定された較正パターンを含む。較正ターゲットは、カメラペアのカメラによって取り込まれる画像のサイズを較正するために使用され得、使用される。そのような較正は、較正ターゲットの大きさと位置が較正ターゲット９１５の画像を取り込むカメラに対して既知であるので、可能である。
[000136] The distance from the center of the camera assembly to the
[000137] 図１０は、図９に示されたカメラアレイのより詳細な図１０００である。カメラリグは、再び、６台のカメラとともに示されているが、いくつかの実施形態では、カメラリグは、例えば、カメラペア９０２等、２つのみのカメラで定着される。示されているように、カメラペア搭載位置の各々の間に１２０度の分離がある。第１のカメラ搭載位置が０度に対応し、第２のカメラ搭載位置が１２０度に対応し、第３のカメラ搭載位置が２４０度に対応する場合のように、例えば、各カメラペアの間の中心がカメラ搭載位置の方向に対応するかを考える。従って、各カメラ搭載位置は、１２０度だけ分離される。これは、各カメラペア９０２、９０４、９０６の中心を通って延びる中心線が延長されたように見られ得、線間の角度が測定される。
[000137] FIG. 10 is a more
[000138] 図１０の例では、カメラのペア９０２、９０４、９０６は、カメラリグ基部の位置を変更する必要なく、異なる視野が異なる回に取り込まれることを可能にして、カメラリグの中心点の周りを回転し得る、及び、いくつかの実施形態では回転する。即ち、カメラがリグの中心支持部の周りを回転され、それが２つのみのカメラで定着されるが、図１０に示されたリグを用いて３６０度シーン取り込みを可能にすべく、異なる回に異なるシーンを取り込むことを可能にされ得る。そのような構成は、立体視カメラのコストを考慮したコストの観点から特に好ましく、同じ視点からであるが、スポーツイベントまたは他のイベントの間の主たるアクションを含む正面シーンが起こり得る時点とは異なる時点で取り込まれる背景を示すことが望まれ得る多くの用途に適している。例えば、イベントの間に、主たるイベントの間に示されないことが好ましいカメラの後ろに被写体が置かれ得ることを考える。そのようなシナリオでは、後方画像は主たるイベントの前に取り込まれ得、時には取り込まれ、画像データの３６０度の組を提供するために、主たるイベントのリアルタイムで取り込まれた画像データと共に利用可能にされる。
[000138] In the example of FIG. 10, the
[000139] 図１１は、１つの例示的な実施形態に従って実装される例示的なカメラリグ１１００の詳細図を示す。図１１から理解され得るように、カメラリグ１１００は、いくつかだが全てではない実施形態において立体視カメラである３つのカメラのペア１１０２、１１０４、及び、１１０６を含む。各カメラペアは、いくつかの実施形態において、２つのカメラを含む。カメラペア１１０２、１１０４、及び、１１０６は、図９−１０について上述されたカメラペア９０２、９０４、９０６と同じまたは類似である。いくつかの実施形態では、カメラペア１１０２、１１０４、及び、１１０６がカメラリグ１１００の支持構造１１２０上に搭載される。いくつかの実施形態では、カメラの３ペア（６台のカメラ）１１０２、１１０４、及び、１１０６が、それぞれのカメラペア搭載板を介して支持構造１１２０上に搭載される。支持構造１１２０は、立体視カメラペアを搭載するために３つの搭載位置を含み、各搭載位置は異なる１２０度視野領域に対応する。図１１の図示された実施形態では、立体視カメラの第１のペア１１０２が、３つの搭載位置の第１の位置、例えば、正面位置に搭載され、１２０度の正面視野領域に対応する。立体視カメラの第２のペア１１０４は３つの搭載位置の第２の搭載位置、例えば、正面位置に対して時計回りに１２０度回った背景位置、に搭載され、異なる１２０度の視野領域に対応する。立体視カメラの第３のペア１１０６は３つの搭載位置の第３の搭載位置、例えば、正面位置に対して２４０度時計回りに回った背景位置に搭載され、他の１２０度視野領域に対応する。カメラリグ１１００の３つのカメラ搭載位置は、互いに対して１２０度だけオフセットされているが、いくつかの実施形態では、カメラリグに搭載された各カメラは、周囲１８０度の視界を有する。いくつかの実施形態では、この拡張された視界は、カメラ装置において魚眼レンズを使用することによって達成される。
[000139] FIG. 11 shows a detailed view of an
[000140] 搭載板の全てが、示されている図において見えている訳ではないが、カメラペア１１０２を搭載するために使用されるカメラ搭載板１１１０が示される。カメラのための搭載板は、ねじが支持基部１１２０におけるスロットを通って底部から搭載板におけるねじ切りされた穴に抜けるように、スロットを有する。これは、該ペアのための搭載板が、底部からアクセス可能なねじを緩め、カメラペア搭載板を支持構造に固定するためにねじを締めることによって調整されることを可能にする。個々のカメラ位置は、同様に調整され、そして、調整の後に固定される。いくつかの実施形態において、個々のカメラは、上部から搭載板に調整／固定され得、カメラ搭載板は、底部から調整／固定され得る。
[000140] Although not all of the mounting plates are visible in the view shown, a camera mounting plate 1110 used to mount the
[000141] 様々な実施形態において、カメラリグ１１００は、支持構造１１２０が回転可能に搭載される基部１１２２を含む。従って、様々な実施形態において、支持構造１１２０上のカメラアセンブリは、基部の中心を通る軸の周りを３６０度回転され得る。いくつかの実施形態では、基部１１２２は、三脚または他の搭載装置の部分であってよい。支持構造は、プラスチック、金属、または、グラファイト若しくはガラス繊維等の複合材料からできている。カメラペアは、いくつかの実施形態において、時に中心節点と呼ばれることもある、中心点の周りに回転され得る。
[000141] In various embodiments, the
[000142] 上記要素に加えて、いくつかの実施形態では、カメラリグ１１００は、更に、２つのシミュレートされた耳１１３０、１１３２を含む。これらのシミュレートされた耳１１３０、１１３２は、人間の耳の形状に成形されたシリコンからできている。シミュレートされた耳１１３０、１１３２は、平均的な人の人間の耳の間の間隔に等しいか、ほぼ等しい距離だけ互いに離されている２つの耳をもったマイクロフォンを含む。シミュレートされた耳１１３０、１１３２に搭載されたマイクロフォンは正面を向いているカメラペア１１０２上に搭載されているが、代わりに、例えば、プラットフォーム１２０等の支持構造上に搭載されることもできる。シミュレートされた耳１１３０、１１３２は、人の耳が人の頭の眼の前面に垂直に位置しているのと同様に、カメラペア１１０２の前面に垂直に位置付けられる。シミュレートされた耳１１３０、１１３２の側面の穴は、シミュレートされた耳の側部の音響の入り口として機能し、シミュレートされた耳と穴は、人の耳が人の耳に含まれた鼓膜に音響を向けるように、シミュレートされた耳の各１つに搭載されたマイクロフォンの方に音響を向けるように組み合わせで機能する。左と右のシミュレートされた耳１１３０、１１３２におけるマイクロフォンは、カメラリグの位置に設けられるならば、カメラリグ１１００の場所にいる人が人の左右の耳を介して知覚するものと同様のステレオ音響取り込みを提供する。
[000142] In addition to the above elements, in some embodiments, the
[000143] 図１１は３つの立体視カメラペアを有する例示的なカメラリグ１１００の一構成を示しているが、他の変形が可能であり、範囲内にあることが理解されるべきである。例えば、１つの実装例では、カメラリグ１１００は、例えば、カメラリグの中心点の周りを回転することができる立体視カメラの１つのペアが、３６０度シーンの異なる部分が異なる回に取り込まれることを可能にする等、単一のカメラペアを含む。従って、単一のカメラペアは、支持構造上に搭載され、リグの中心支持部の周りを回転され、３６０度シーン取り込みを可能にして、異なる回に異なるシーンを取り込むことを可能にされ得る。
[000143] Although FIG. 11 illustrates one configuration of an
[000144] 図１２は、３６０度シーンの異なる部分を取り込む、それぞれのカメラの異なるカメラ位置に対応する異なる視野領域／部分に分割され得る、例えば、３６０度シーン領域等の例示的な３６０度シーン環境１２００を示す。図示された例において、３６０度シーン領域１２００は、例えば、カメラリグ１１００上に搭載され、図９、１０、及び、１１に示されたように位置付けられたカメラ等の３つの異なるカメラ／カメラペアによって取り込まれる３つの１８０度ゾーンに対応する３つの部分に分割される。３６０度シーン１２００上の０度マークは、シーンの中央であると考えられ得る。魚眼レンズが使用されないいくつかの実施形態において、各カメラの視界は約１２０度であり、結果、カメラがほぼ１２０度のシーン領域を取り込むことを可能にする。そのような実施形態では、異なる１２０度シーン部分の境界は、３６０度シーンが各々１２０度の３つの部分の分割である黒の実線を使用して、図に示される。カメラが魚眼レンズで装着される実施形態において、各カメラの視界は約１８０度（＋５度）に広がり、従って、カメラが、ほぼ１８０度（＋５度）シーン領域を取り込むことを可能にする。
[000144] FIG. 12 illustrates an exemplary 360 degree scene, such as a 360 degree scene area, that may be divided into different field of view areas / portions that capture different parts of the 360 degree scene and that correspond to different camera positions for each camera. An
[000145] ０度マークの左右９０度をカバーする第１のゾーン（２７０度から９０度までの１８０度正面シーン領域に対応）は、例えば、カメラがほぼ１８０度の視界をもつことを可能にする魚眼レンズを装着されて、正面シーン領域を取り込むよう位置決めされたカメラペア１１０２等の第１のカメラによって取り込まれ得る。第２のゾーン（ゾーン２）は、例えば、魚眼レンズが装着されて、後方右側シーン領域を取り込むよう位置付けられたカメラペア１１０４等の第２のカメラによって取り込まれ得る、３０度から２１０度までの１８０度後方右側シーン領域に対応し、第３のゾーン（ゾーン３）は、例えば、魚眼レンズが装着され、後方左側シーン領域を取り込むよう位置決めされたカメラペア１１０６等の第３のカメラによって取り込まれ得る、１５０度から３３０度までの１８０度後方左側シーン領域に対応する。凡例１２５０は、例えば、異なるゾーン下でカバーされるシーン領域の開始と終了をマーキングする、異なるゾーン境界を示すために使用される異なるラインパターンを特定する情報を含む。異なるカメラによってカバーされる３つの異なるゾーン下のシーン領域の間に実質的な重複があることが、図から理解され得る。図１２の図示された例では、ゾーン１とゾーン２との間の重なりは６０度、即ち、３０度から９０度下のシーン領域であり、ゾーン２とゾーン３との間の重なりは再び６０度、即ち、１５０度から２１０度下のシーン領域であり、ゾーン３とゾーン１との間の重なりは６０度、即ち、２７０度から３３０度下のシーン領域である。図示された例では、重なりは６０度であるが、異なった多様な重複が可能であることが理解されるべきである。いくつかの実施形態では、２つの異なるシーンカバレッジ領域間の重なりは、３０度から６０度の間である。
[000145] The first zone that covers 90 degrees left and right of the 0 degree mark (corresponding to the 180 degree front scene area from 270 degrees to 90 degrees), for example, allows the camera to have a field of view of approximately 180 degrees Can be captured by a first camera, such as
[000146] いくつかの実施形態では、コンテンツプロバイダは、異なるカメラによって取り込まれた３６０度シーン領域の異なる部分に対応するコンテンツを含むコンテンツストリームを発行、例えば、マルチキャスト、する。いくつかの実施形態では、異なってエンコードされている、異なるシーン領域に対応するコンテンツの複数のバージョンは、コンテンツプロバイダによってマルチキャストされ、特定のバージョンをサポートする及び／または好む再生デバイスは、デコードし、再生するために、好適なコンテンツストリームを選択し得る。いくつかの実施形態の１つの態様によれば、再生デバイスは、ユーザの現在の視界を示す現在の頭の位置を追跡し、再生における使用のために受け取るために、３６０度シーン領域の一部に対応するコンテンツを含む利用可能なコンテンツストリームのどの１つ以上を選択するかを決定する。例えば、ユーザの頭の位置が、ユーザがまっすぐ前方を見ている／眺めている場合、再生デバイスは、３６０度シーンの１８０度前方部分を通信しているストリームをデコードするが、ユーザの頭の位置と視野角が変わった時、再生デバイスは、例えば、３６０度シーン領域の後方右側、後方左側、後方等のユーザの現在の視野角に適応するシーン部分に対応するストリームをデコードする。いくつかの実施形態では、例えば、正面１８０度等の３６０度シーン領域の第１の部分に対応するコンテンツを含むストリームは、３６０度シーンの正面部分を取り込むために使用された正面を向くカメラペアの左右のカメラによって取り込まれたシーン領域を含む。 [000146] In some embodiments, a content provider publishes, eg, multicasts, a content stream that includes content corresponding to different portions of a 360 degree scene region captured by different cameras. In some embodiments, multiple versions of content that are encoded differently and that correspond to different scene regions are multicast by a content provider, and a playback device that supports and / or prefers a particular version decodes, A suitable content stream may be selected for playback. According to one aspect of some embodiments, a playback device tracks a current head position that indicates a user's current view and receives a portion of a 360 degree scene region for use in playback. To determine which one or more of the available content streams including the content corresponding to. For example, if the position of the user's head is looking / viewing straight ahead, the playback device will decode the stream communicating the 180 degree forward portion of the 360 degree scene, When the position and the viewing angle change, the playback device decodes the stream corresponding to the scene portion that adapts to the user's current viewing angle, eg, the back right side, back left side, back, etc. of the 360 degree scene region. In some embodiments, for example, a stream that includes content corresponding to a first portion of a 360 degree scene region, such as 180 degrees front, is a front-facing camera pair that was used to capture the front part of the 360 degree scene. Scene areas captured by the left and right cameras.
[000147] 図１３は、例示的な３６０度シーン領域の視野領域／部分をカバーするために位置付けられ得る、例えば、例示的なカメラリグ１１００上で、異なるカメラによって取り込まれ得る図１２の例示的な３６０度シーン領域の異なる部分を示す例を図示する。図１３の例は、例示的な３６０度シーン領域の異なる部分を示す図１３００、１３２０、及び、１３５０を含む。しかし、図から理解され得るように、いくつかの実施形態において、異なるカメラによって取り込まれたシーンの異なる部分の各々の少なくとも部分が重複する。異なる網掛けパターンが、異なるカメラ位置に対応するシーン領域の部分を示すために、図１３００、１３２０、１３５０の各々において使用されている。いくつかの実施形態では、図１３００、１３２０、１３５０に示される異なるシーン部分は、異なる視野方向に対応するコンテンツを提供する異なるコンテンツストリームを介して通信される。図１３の例では、シーン部分が約１８０度の視野領域をカバーするように示されているが、いくつかの実施形態では、シーン部分は、１２０度から１８０度までの間をカバーしてよい。
[000147] FIG. 13 may be positioned to cover the field of view / portion of an exemplary 360 degree scene region, eg, the exemplary FIG. 12 that may be captured by different cameras on the
[000148] 図１３００は、３６０度シーン１２００の第１の例示的なシーン部分１３０５を示す。第１の例示的なシーン部分１３０５は、正面視野方向に対応し、３６０度シーン環境の内の１８０度またはほぼ１８０度の視野領域をカバーする。第１のシーン部分１３０５は、０度のカメラ位置に位置付けられた、例えば、第１のカメラペア９０２または１１０２によって捕えられ得る。第１の例示のシーンの部分１３０５下の領域は、斜線パターンを使用して図１３００に示される。第１の例示のシーン部分１３０５は、例えば、正面の視野方向に対応するコンテンツのフレームを通信する第１のストリームによって通信され得る。
[000148] FIG. 1300 shows a first
[000149] 図１３２０は、３６０度シーン１２００の第２の例示的なシーン部分１３０７（図１３２０に示された部分１３０７’と１３０７’’を含む）を示す。第２の例示的なシーン部分１３０７は、後方右側視野方向に対応し、３０度から２１０度まで広がる、３６０度シーン環境の内の１８０度またはほぼ１８０度視野領域をカバーする。第２のシーンの部分１３０７は、図９−１０において示されたような１２０度カメラ位置に位置付けられた、例えば、第２のカメラペア９０４によって、取り込まれ得る。第２の例示のシーン部分下の領域１３０７は、水平線パターンを使用して、図１３００に示される。図１３００と１３２０とを考慮する。第１と第２のシーン部分１３０５と１３０７の間のシーン領域の重なり部分１３０８を注記する。重なり部分１３０８は、シーン領域１２００の第１と第２のシーン部分１３０５、１３０７の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第１及び第２のシーン部分１３０５、１３０７間の重なりは、プラス、マイナス２−３度の変位をもって、３０度と６０度の間である。図１３の図示された例では、重なり部分１３０８は、例えば、３０度から９０度の領域等、６０度である。従って、いくつかの実施形態において、異なるコンテンツストリームによって提供された、及び／または、異なるカメラによって取り込まれた異なる視野方向に対応するシーン領域の少なくとも部分は、重なる。いくつかの他の実施形態では、異なるカメラによって取り込まれる異なる視野方向に対応するシーン領域の間に重複は存在しない。いくつかの実施形態では、第２の例示的なシーン部分１３０７は、第２の視野方向に対応するコンテンツのフレームを通信する第２のストリームによって通信され得る。
[000149] FIG. 1320 shows a second
[000150] 図１３５０は、３６０度シーン１２００の第３の例示的なシーン部分１３０９（図１３５０に示された部分１３０９’と１３０９’’を含む）を示す。第３の例示的なシーン部分１３０９は、後方左側視野方向に対応し、１５０度から３３０度まで広がる、３６０度シーン環境の内の１８０度またはほぼ１８０度視野領域をカバーする。第３のシーン部分１３０９は、図９−１０に示されたような２４０度カメラ位置に位置付けられた、例えば、第３のカメラペア９０６等によって取り込まれ得る。第３の例示的なシーン部分１３０９下の領域は、縦線パターンを使用して、図１３００に示される。図１３２０と１３５０を考慮する。第２と第３のシーン部分１３０７と１３０９間の重複領域部分を組み合わせて構成する、重複部分１３１０、１３１０’を注記する。重複部分１３１０、１３１０’下の合同した領域は、シーン領域１２００の第２と第３のシーン部分１３０７、１３０９の両方に共通である、取り込まれたシーン領域の部分を示す。いくつかの実施形態において、第２と第３のシーン部分１３０７、１３０９の間の重なりは、プラス、マイナス２−３度の変位をもって、３０度から６０度の間である。図１３の図示された例では、重なり部分１３１０、１３１０’は、共に、例えば、１５０度から２１０度までの領域等、約６０度カバーを含む。ここで、更に、図１３００と１３５０を考慮する。第１と第３のシーン部分１３０５と１３０９の間の重複領域部分を示す、重なり部分１３１２を注記する。いくつかの実施形態において、第３の例示的なシーン部分１３０９は、第３の視野方向に対応するコンテンツのフレームを通信する第３のストリームによって通信される。
[000150] FIG. 1350 shows a third
[000151] 図は、本発明のいくつかの態様を理解することを容易にするための例を図示する図１３の例の部分として示しているが、他の変形が可能であり、本開示の範囲内であることが理解されるべきである。 [000151] Although the figures are shown as part of the example of FIG. 13 illustrating an example to facilitate understanding of some aspects of the present invention, other variations are possible and It should be understood that it is within range.
[000152] 図１４Ａ及び１４Ｂの組合せからなる図１４は、本発明の例示的な実施形態による、再生システムを動作させる例示的な方法のステップを示すフローチャート１４００である。システムは、図８に示された再生システム８００、または、応用において示された他の図のいずれかの再生システムであってよい。
[000152] FIG. 14, comprising a combination of FIGS. 14A and 14B, is a flowchart 1400 illustrating the steps of an exemplary method of operating a playback system, according to an exemplary embodiment of the present invention. The system may be the
[000153] 例示的な方法は、例えば、図１９の再生デバイス１９００または他の図のいずれかの再生デバイス等の再生デバイスが電源投入され、または、初期化されてステップ１４０２で開始する。検討の目的のために、再生システムは、例えば、ユーザの左と右の眼が立体視コンテンツの場合に異なる画像を提示されて、画像コンテンツが提示されるディスプレイを含むヘッドマウントディスプレイデバイス１９０５に接続されたコンピュータシステム１９００’を含むことを考える。コンピュータシステム１９００’は、ディスプレイを含むヘッドマウントデバイスの外部に示されているが、コンピュータシステム１９００’は、それの外部ではなく、ヘッドマウントディスプレイの中に組み込まれ得る。
[000153] The example method begins in step 1402 with a playback device such as, for example,
[000154] 動作は、開始ステップ１４０２からステップ１４０４に進む。ステップ１４０４において、再生システム１９００は、例えば、番組ガイドの部分として等、複数のコンテンツストリーム及び／または初期化データに関する情報を受け取る。受け取られた情報は、図１８に示されたタイプのものであり、コンテンツを要求する、または、コンテンツに同調するために使用され得る、マルチキャストグループ識別子または他の識別子等のストリームを受け取るために使用され得る情報と共に、どのコンテンツストリームが利用可能であるか、または、利用可能になるであろうかを示す情報を含む。例えば、コンテンツストリームに関連付けられたマルチキャストアドレスが、コンテンツが切り替えられたデジタル映像を介して供給されているときにコンテンツを要求するために使用され得る、受け取られた情報または番組識別子に含まれ得る。ブロードキャストコンテンツの場合には、受け取られた情報は、特定のコンテンツストリームを受け取るために、再生デバイスが同調すべきチャンネル及び／または周波数を示す同調情報を含み得る、及び、時には含む。
[000154] Operation proceeds from start step 1402 to step 1404. In step 1404, the
[000155] ステップ１４０４で受け取られた情報は、１つ以上の番組のための情報を含み得る。例えば、スポーツイベント、コンサート等の所与の番組について、異なるストリームが、コンテンツが対応する環境におけるカメラ位置に対して異なる視野方向に対応するコンテンツを提供して、利用可能であり得る。カメラ位置は、再生中に、視野位置に対応する。従って、再生中のユーザの視野角は、受け取られ得るコンテンツの中に表された環境の部分に相関する。環境の異なる部分は、異なるストリームで通信され得る。環境の各部分、例えば、３６０度環境の部分について、異なるデータレートに対応する１つ以上のストリームが、提供される情報にリストされ得る。また、環境の頂部と底部が提供され得る。いくつかの実施形態における個々のストリームのコンテンツは、左と右の眼の画像に対して異なる情報が与えられ、それによって、所望された３Ｄ効果を提供するために異なる画像がユーザに表示されることを可能にする、立体視コンテンツである。いくつかの実施形態では、球状環境の頂部及び底部は、左右の眼の眺めは同じであり、従って、２つの画像ではなく、１つの画像のみを必要とした、モノ画像として提供される。 [000155] The information received at step 1404 may include information for one or more programs. For example, for a given program such as a sporting event, a concert, etc., different streams may be available providing content corresponding to different viewing directions relative to the camera position in the environment to which the content corresponds. The camera position corresponds to the visual field position during playback. Thus, the viewing angle of the playing user correlates to the portion of the environment represented in the content that can be received. Different parts of the environment can be communicated in different streams. For each part of the environment, eg, a part of the 360 degree environment, one or more streams corresponding to different data rates may be listed in the provided information. Also, the top and bottom of the environment can be provided. The content of the individual streams in some embodiments is given different information for the left and right eye images, so that different images are displayed to the user to provide the desired 3D effect. This is stereoscopic content that makes it possible. In some embodiments, the top and bottom of the spherical environment are provided as a mono image that has the same left-right eye view and therefore only requires one image, not two images.
[000156] 番組、環境の部分、及び、ストリームのデータレートについての情報は、コンテンツをストリーミングするために利用可能である限られた帯域幅を考慮して、どのストリームが受け取られるべきかを優先付けするために再生システムによって使用され得、いくつかの実施形態において使用される。優先付けと所与の時間にどのストリームを受け取るかの選択は、ユーザの頭の位置、及び／または、頭の回転のユーザの現在または過去の方向に基づき得、いくつかの実施形態では基づく。 [000156] Information about the program, part of the environment, and the data rate of the stream prioritizes which stream should be received considering the limited bandwidth available to stream the content To be used by a playback system and in some embodiments. Prioritization and selection of which streams to receive at a given time may be based on the user's head position and / or the user's current or past direction of head rotation, and in some embodiments.
[000157] 立体視コンテンツのストリーミングの場合には、限られた帯域幅及び／またはデータ制約を考慮して、受け取るべき好適なストリームの選択が、満足のいく、高品質の視聴体験のために重要であり得る。図１８に示された情報と同じか類似であり得る、例えば、ストリーム情報１４０５等のステップ１４０４で受け取られた情報は、メモリに記憶され、特定の時点で受け取るためのストリームまたは複数のストリームの選択のため、及び、例えば、選択されたストリームに対応するマルチキャストグループに参加すること、選択されたストリームを提供するチャネルに同調すること、及び／または、所望のストリームが通信される、再生デバイスに供給されるべき切り替えられたデジタル映像チャネルをネットワーク装置に示すことによるストリームの要求された配信によって、選択されたストリームの配信を起動するために使用される。
[000157] In the case of streaming stereoscopic content, considering the limited bandwidth and / or data constraints, the selection of a suitable stream to receive is important for a satisfactory, high quality viewing experience It can be. The information received in step 1404, such as
[000158] 動作は、ステップ１４０４からステップ１４０６に進む。ステップ１４０６において、初期化の間、ユーザの現在の頭の位置が検出される。ユーザは、初期化フェーズ中に検出された頭の位置が前方を見ている位置であると仮定されるであろうことを認識して、通常、ステップ１４０６の間、快適なレベルの前向き位置に彼の頭を維持する。
[000158] Operation proceeds from step 1404 to step 1406. In
[000159] 動作は、ステップ１４０６からステップ１４０８に進む。ステップ１４０８において、ステップ１４０６で検出されたユーザの頭の位置１４０７は、前方（０度）環境視野位置として扱われ、ユーザがこの位置に彼／彼女の頭を有している場合に表示される視野は０度環境位置、即ち、環境の特定の部分に対応するコンテンツストリームにその後エンコードされ、含まれる画像を取り込むために使用されるカメラによって取り込まれる前方位置に対応する。スポーツイベントの場合において、この位置は、通常、例えば、ストリームまたは複数のストリームがコンサートに対応する場合のステージやストリームがスポーツイベントに対応する場合のフィールドの中央等、環境におけるアクションの主たる領域に対応する。従って、ステップ１４０８において、ユーザの視野位置は、例えば、シーン領域の前方／正面部分等のゼロ度視野位置として解釈されるよう設定される。３６０度視野の部分は、ユーザが彼／彼女の頭を回した場合に可視になる異なる部分をもった水平方向の視野位置に対応することを注記する。ユーザの頭を上下に動かすことによって、ユーザは、空の部分及び／または地面の部分を、単独で、または、１つ以上の他の部分との組み合わせて見ることがある。水平の頭の位置と仮定すると、主要なシーン領域が３６０度の回転に沿った部分に分割されるので、そのような部分に対応するストリームが、通常、より多くの帯域幅を割り当てられ、頂部／底部シーン部分は、静止画像を用いて、または、変更頻度の低い画像を用いて表され得る。
[000159] Operation proceeds from
[000160] 動作は、ステップ１４０８から、環境深さマップが受け取られるステップ１４１０に進む。深さマップは、コンテンツストリームの画像がマッピングされるべき３Ｄ環境の表面を規定する。深さマップを受け取らないと、球体は、環境の画像が表示に先立つ描画の間にマッピングされるべき表面である球体の内側表面をもった、環境のデフォルト推定形状である。深さマップを提供し、使用することによって、コンテンツストリーム内の画像が、シミュレートされるべき環境のより現実的な形状と表面をもつ表面にマッピングされるので、より現実的な経験が得られる。従って、ステップ１４１０において受け取られた深さマップは、受け取られるためにユーザによって選択されたコンテンツも対応する環境に対応している。ステップ１４１０で受け取られた環境マップ地図、または、マップが受け取られない場合のデフォルトマップは、画像を描画することにおけるその後の使用のための環境マップ１４１１として記憶される。
[000160] Operation proceeds from
[000161] 動作は、ステップ１４１０からステップ１４１２に進む。ステップ１４１２において、３Ｄ表面の少なくとも一部の上に２Ｄ（２次元）画像コンテンツをマッピングするために使用されるべき１つ以上のＵＶマップが受け取られる。一実施形態において、少なくとも１つのＵＶ（ＵＶ座標）マップが、異なる個々の画像によって表され得る環境の各部分のために受け取られる。いくつかの実施形態において、コンテンツストリームによって通信された画像が、異なるカメラ、例えば、左と右の眼のカメラによって取り込まれる場合、異なるＵＶマップが異なるカメラのために与えられ得、時には与えられる。従って、図１４Ａの例において、第１のＵＶマップが、前方部分等の環境の第１の部分に対応してステップ１４１４１で受け取られ、ステップ１４１６において、左後方部分等の環境の第２の部分に対応する第２のＵＶマップが受け取られ、及び、ステップ１４１７において、右後方部分等の環境の第３の部分に対応する第３のＵＶマップが受け取られる。環境の頂部と底部に対応するＵＶマップは、それぞれ、ステップ１４１８と１４２０において受け取られる。部分が同じサイズのものである場合は、同じＵＶマップが複数の部分のために使用され得る。しかし、いくつかの実施形態では、ＵＶマップは、異なるカメラによって取り込まれた画像のために使用される。
[000161] Operation proceeds from
[000162] 従って、１つのそのような実施形態において、例えば、左と右の眼の画像等の立体視画像データが提供される環境の各部分について、ＵＶマップが特定の左または右の眼の画像コンテンツを取り込むために使用されるカメラアセンブリの特定の特性を考慮することができるように、個別のＵＶマップが、左と右の眼の画像の各々について受け取られ、記憶され得る。 [000162] Accordingly, in one such embodiment, for each portion of the environment in which stereoscopic image data is provided, such as, for example, left and right eye images, the UV map is for a particular left or right eye. Separate UV maps can be received and stored for each of the left and right eye images so that specific characteristics of the camera assembly used to capture the image content can be considered.
[000163] 各ＵＶマップは、マップが対応するコンテンツストリームの２次元画像を３Ｄ環境の表面の対応する部分上にマッピングするために使用されるマップを提供する。このように、カメラによって取り込まれた画像は、２Ｄ画像として送信され得、次いで、３Ｄモデルによって規定される表面または表面の部分上にテクスチャとしてマッピングされる。 [000163] Each UV map provides a map that is used to map a 2D image of the content stream to which the map corresponds onto a corresponding portion of the surface of the 3D environment. In this way, the image captured by the camera can be transmitted as a 2D image and then mapped as a texture on the surface or portion of the surface defined by the 3D model.
[000164] ３Ｄモデル情報とＵＶマップが受け取られて、シーン部分のための他のコンテンツの場合におけるデフォルトとして使用され得る画像が受け取られ、記憶され得る。ステップ１４２２において、第１、第２、第３、及び、第５のシーン部分の１つ以上に対応する、例えば、画像等のコンテンツは、ステップ１４２２で受け取られ、記憶される。いくつかの実施形態では、例えば、背景部分または空の部分等の環境の一部に対応する複数の代替画像がステップ１４２２で受け取られ、記憶される。制御情報は、そのために複数のデフォルト画像が記憶されている部分についてのイベントの間の所与の時点でどのデフォルト画像が使用されるべきであるかを示しつつ受け取られる。例えば、いくつかの実施形態において、座っている観客の背景画像と立っている観客の背景領域画像が２つのデフォルト画像として記憶される。制御情報は、イベントの所与の部分にどの背景画像が使用されるかを示すために使用される。例えば、プレイまたはコンサートでのスタンディングオベーションに対応する部分の間に、ユーザが背景方向に向いた場合に表示されるべき背景画像として、立っている観客の画像が信号化される。しかし、観客が通常座っているであろう、イベントの主たる部分の間に、制御情報は、ユーザが彼／彼女の頭を背景の方に向けた場合に座っている観客のデフォルト画像が使用されるべきであることを信号化する。制御情報は、コンテンツストリームとは別個に信号化され得、または、デフォルト画像の１つ以上が関連する部分とは異なる環境の部分のコンテンツストリームと共に含まれてもよい。例えば、前方方向に対応するコンテンツストリームは、例えば、左と右の眼の画像等の前方方向に対応する画像、並びに、例えば、イベントの間の様々な度において、空、地面、右背景、及び、左背景部分のために、どのデフォルト画像が使用されるべきかを示す制御情報を与え得る。代替的に、再生デバイスは、特定の時点で背景画像の１つ以上の態様への類似の明度に基づいて、どの背景または空の部分を使用するかを決定できる。例えば、前景の画像が暗い場合に、これが検出され、曇り空の画像が自動的に検出され得、他方、前景画像が明るいときは、また、これが検出され、雲がより少ない、より明るい空の画像が、受け取られ、記憶された利用可能なデフォルトの空の画像から自動的に選択される。 [000164] 3D model information and a UV map are received and an image that can be used as a default in the case of other content for a scene portion can be received and stored. In step 1422, content, such as images, corresponding to one or more of the first, second, third, and fifth scene portions is received and stored in step 1422. In some embodiments, a plurality of alternative images corresponding to a portion of the environment, eg, a background portion or an empty portion, are received and stored at step 1422. Control information is received indicating which default image should be used at a given time during an event for a portion for which a plurality of default images are stored. For example, in some embodiments, a sitting spectator background image and a standing spectator background region image are stored as two default images. The control information is used to indicate which background image is used for a given part of the event. For example, during a portion corresponding to a standing ovation in play or concert, an image of a standing spectator is signaled as a background image to be displayed when the user faces the background direction. However, during the main part of the event, where the audience will normally sit, the control information is used as the default image of the sitting audience when the user points his / her head towards the background. Signal that it should. The control information may be signaled separately from the content stream or may be included with the content stream in a portion of the environment that is different from the portion to which one or more of the default images are associated. For example, a content stream corresponding to the forward direction may include, for example, images corresponding to the forward direction, such as left and right eye images, and, for example, at various times during the event, sky, ground, right background, and Control information indicating which default image should be used for the left background portion may be provided. Alternatively, the playback device can determine which background or sky portion to use based on similar lightness to one or more aspects of the background image at a particular point in time. For example, if the foreground image is dark, this can be detected and a cloudy sky image can be detected automatically, while if the foreground image is bright, it can also be detected and there will be fewer clouds and a brighter sky image Are automatically selected from the available default sky images received and stored.
[000165] ステップ１４２２において、異なる環境部分に対応するデフォルト画像が、通常、エンコードされた形式で受け取られ、記憶される。ステップ１４２４において、受け取られた画像の１つ以上がデコードされ、そして、デコードされたコンテンツが、ステップ１４２６において１つ以上の画像バッファに記憶される。この様に、デフォルト画像はデコードされ、再生の間の描画のためにそれらが必要とされたときに再びデコードされる必要がないように、デコードされた形式で記憶される。デフォルト画像は複数回使用されるので、デコーディングと記憶は、さもなければ、描画時点で、または、描画直前に画像をデコードするために必要とされるに違いないデコーディング要件を低減することができる。処理リソースが不足し得ることを考慮すると、予めのデコーディングとデコードされた形式でのデフォルト画像の記憶は、画像が表示する直前にデコードされ、そして、それが必要でなくなったら、例えば、メモリから除かれる等、デコードされた画像が削除される実施形態と比較して、プロセッサリソースの使用を改善する。 [000165] In step 1422, default images corresponding to different environmental portions are typically received and stored in encoded form. In step 1424, one or more of the received images are decoded, and the decoded content is stored in one or more image buffers in step 1426. In this way, the default images are decoded and stored in decoded form so that they do not need to be decoded again when they are needed for rendering during playback. Since the default image is used multiple times, decoding and storage can reduce the decoding requirements that would otherwise be required to decode the image at the time of drawing or just before drawing. it can. Considering that processing resources may be scarce, storing the default image in pre-decoded and decoded form is decoded just before the image is displayed and if it is no longer needed, eg from memory Improved use of processor resources compared to embodiments where the decoded image is deleted, such as removed.
[000166] 同じデフォルトのデコードされた画像は、例えば、空のため等、複数回使用され得るが、他の受け取られた画像コンテンツと組み合される前に処理され得、それは、環境の見られる部分を生成するためにそれが組み合わされる環境の該他の画像とより近く一致する。例えば、いくつかの実施形態では、デコードされたデフォルト画像は、それらが組み合わされる画像部分い基づいて輝度調整の対象となり、または、デフォルト画像が環境の他の部分に対応する画像と組み合される縁に少なくとも沿ってぼやかされる。従って、少なくともいくつかの実施形態での使用の間、画像の明るさ及び／または色特性は、それらが組み合わされる地面の画像の同じ特性に、それらをより似させるためにフィルタされ、または、修正される。 [000166] The same default decoded image can be used multiple times, for example, because of sky, but can be processed before being combined with other received image content, which can It more closely matches the other images of the environment with which it is combined to produce. For example, in some embodiments, decoded default images are subject to brightness adjustment based on the portion of the image they are combined with, or at the edges where the default image is combined with images corresponding to other parts of the environment. At least blurred. Thus, during use in at least some embodiments, the brightness and / or color characteristics of the images are filtered or modified to make them more similar to the same characteristics of the ground image with which they are combined. Is done.
[000167] 将来の使用のために初期化データとデフォルト画像とが記憶されて、動作は、受け取られている１つ以上のストリームの組、例えば、現在の選択されたストリームの組、が初期化されるステップ１４２８に進む。各ストリームは、立体視またはモノ画像データを提供し得る。オプションとして、対応する音響も、選択されたストリームにおいてだが、より一般的には、１つ以上の個別の音響ストリームにおいて受け取られ得る。記載は、音響ストリームも、通常、受け取られ、再生デバイスによってデコードされること、及び、音響がステレオ音響を含み得ることの理解をもって、映像ストリームの受け取りに焦点を当てる。 [000167] Initialization data and default images are stored for future use, and operation is initiated by a set of one or more streams being received, eg, a set of currently selected streams. Go to step 1428. Each stream may provide stereoscopic or mono image data. Optionally, the corresponding sound may also be received in the selected stream, but more generally in one or more individual sound streams. The description focuses on the reception of a video stream with the understanding that an audio stream is also typically received and decoded by a playback device, and that the audio may include stereo sound.
[000168] 例示的なステップ１４２８において、ストリームの現在の選択された組は、環境の前方／正面部分に対応する第１のストリーム通信コンテンツに等しく設定される。これは、開始において、初期位置は前方視野位置になるように設定され、従って、初期化の結果として、ユーザは、開始時に、前方シーン領域を見ることを期待するからである。
[000168] In
[000169] 動作は、ステップ１４２８からステップ１４２９に進む。ステップ１４２９において、リソース割り当て情報が受け取られる。リソース割り当て情報は、帯域幅及び／またはデータレート割り当て制御情報の形態であってよい。ステップ１４２９で受信された情報は、いくつかの実施形態において、環境の異なる部分に対応する１つ以上の通信ストリームに、どのくらい多くの帯域幅またはデータ通信能力が割り当てられるべきかについての情報を含む。情報は、データレートが、通常、帯域幅に一致するとの理解をもって、帯域幅またはデータレートについて表現される。例えば、受け取られ得るデータ量は、帯域幅上を通信するために使用されるデータコーディングのタイプを考慮して、帯域幅の量の関数であってよい。
[000169] Operation proceeds from
[000170] ステップ１４２９で受け取られた情報は、環境の特定の部分に対応する画像の受け取りに割り当てるために、利用可能な通信容量の相対的な最大量を示し得る。例えば、それは、最大で、帯域幅またはサポート可能なデータレートの８０％が、例えば、前方データストリーム等の主要なデータストリームに割り当てられ、最後に、帯域幅の２０％が１つ以上の他のストリームに割り当てられるべきであることを示し得る。異なる方向へのリソースの割り当ては、環境の対応する部分における画像コンテンツ、及び／または、検出された聴衆フィードバックの関数であり得、いくつかの実施形態においてはそうある。例えば、いくつかの実施形態において、コンテンツが対応するイベントの間に起こる休憩中に、ステップ１４２９で受け取られた情報は、増加された量のリソースが、環境の後ろ部分の一方または両方に対応する画像を受け取ることに割り当てられるべきであることを示し得る。これは、休憩中に、ユーザが彼らの頭を回し、メインフィールドやステージから離れたところを見始める可能性がより高くなり、休憩中に聴衆の中で起こっているアクションがあるように見えるように、いくつかの映像が後方のために供給されることが望まれ得るからである。例えば、野球の試合でホットドックを買う、または、席を変える人々の画像が、背景が休憩中はライブで、他の回には静止画で見えるように、送られる。同様に、背景における看板の画像は、広告及び／または娯楽目的のために、休憩中に変更され得る。従って、休憩中に背景部分を受け取るために、イベントの他の部分の間よりも多くのリソースを割り当てるために、再生デバイスを起動することが望ましい。ステップ１４２９で受け取られた制御情報は、イベントの休憩時間または他の区別された部分の間より、イベントの主たる部分の間で異なり得、時には異なる。少なくともいくつかの実施形態において、メインイベントの間に、ステップ１４２９で受け取られた制御情報は、後部より、環境の主たる、例えば、前方の、領域に、より多くの帯域幅及び／またはデータレートが割り当てられるようにさせる。しかし、休憩または他の区別された部分の間は、後部の一方または両方に割り当てられるデータレートが増加されるようにせしめる。 [000170] The information received at step 1429 may indicate a relative maximum amount of available communication capacity to allocate to receiving images corresponding to a particular portion of the environment. For example, it may be that up to 80% of the bandwidth or supportable data rate is allocated to the main data stream, eg, the forward data stream, and finally 20% of the bandwidth is one or more other It may indicate that it should be assigned to the stream. The allocation of resources in different directions can be a function of image content and / or detected audience feedback in the corresponding part of the environment, and in some embodiments it is. For example, in some embodiments, during the break that occurs during the event that the content corresponds to, the information received at step 1429 indicates that the increased amount of resources corresponds to one or both of the back portions of the environment. It may indicate that it should be assigned to receiving the image. This makes it more likely that users will turn their heads and start looking away from the main field or stage during the break, and there will appear to be actions taking place in the audience during the break In addition, it may be desired that several images be provided for the rear. For example, images of people buying a hot dock or changing seats in a baseball game are sent so that the background is live during the break and is visible at other times. Similarly, the signboard image in the background can be changed during the break for advertising and / or entertainment purposes. Therefore, it is desirable to activate the playback device to allocate more resources to receive the background portion during the break than during other portions of the event. The control information received at step 1429 may be different and sometimes different between the main part of the event than during the break time or other distinct parts of the event. In at least some embodiments, during the main event, the control information received at step 1429 may have more bandwidth and / or data rate in the main, eg, forward, region of the environment than in the rear. Let them be assigned. However, during a break or other distinct part, the data rate assigned to one or both of the rears is increased.
[000171] 所与の方向に割り当てられたリソース間の分割は、環境の部分で提示されているコンテンツ、見る者の注目の測定、及び／または、例えば、主たる部分、休憩部分、ショー後の部分、等の進行中であるイベント部分に基づき得る。いくつかの実施形態において、ステップ１４２９で提供される制御情報は、例えば、イベントが進行中の間、環境の１つ以上の部分に対応する画像の受け取りに割り当てられるべき、帯域幅またはデータレートの最大及び／または最小量を特定する。いくつかの実施形態では、情報は、イベントの間に地面から空の画像部分を受け取ることに、何の帯域幅またはデータも割り当てられるべきではなく、従って、これらの部分は、そのような場合に静止画を用いることが必要とされるときに定着されることができることを示す。 [000171] The division between resources allocated in a given direction may be the content presented in the part of the environment, the measurement of the viewer's attention, and / or the main part, rest part, post-show part, for example , Etc. may be based on an ongoing event part. In some embodiments, the control information provided in step 1429 may include, for example, a bandwidth or data rate maximum to be allocated to receiving images corresponding to one or more portions of the environment and an event in progress. Specify a minimum amount. In some embodiments, the information should not be allocated any bandwidth or data to receiving empty image portions from the ground during the event, so these portions are It shows that it can be fixed when it is necessary to use a still image.
[000172] 帯域幅／データレート割り当て制御情報は、異なる情報が異なる回に受け取られて、経時的に変化し得る。制御情報は、前方コンテンツストリームの中に埋め込まれ得、及び／または、例えば、制御情報の個別の組として、別々に送られ得る。 [000172] Bandwidth / data rate allocation control information may change over time as different information is received at different times. The control information may be embedded in the forward content stream and / or sent separately, for example as a separate set of control information.
[000173] 動作は、ステップ１４２９から、既に受け取られていないストリームの選択された組の中のストリーム（または、複数のストリーム）のコンテンツ配信が起動されるステップ１４３０に進む。これは、選択されたストリームが対応するマルチキャストグループに参加すること、ネットワーク装置に、選択されたストリームの配信を要求するメッセージを送ること、及び／または、選択されたストリームまたは複数のストリームが伝送されるブロードキャストチャネルに同調すること、を含み得る。ステップ１４３０を通る第１の経路の場合には、これが配信のために選択される最初の視野部分として設定されたので、これは、環境の前方部分に対応するコンテンツストリームの配信を開始することを含む。しかし、例えば、ユーザが彼／彼女の頭を左または右に回す等、ユーザの頭の位置が変化すると、選択されるストリームの組は、変化し得る、及び、通常は変化する。例えば、前方領域と右後方領域の部分が見えてくるように、ユーザが左に彼の頭を回した場合、選択されるストリームの組は、前方領域と左後方部分の両方に対応したコンテンツが受け取られるように変更される。左後方部分が受け取られておらず、選択される場合、左後方部分に対応するストリームにおけるコンテンツの配信がステップ１４３０で起動される。両方向における最大データレートストリームがサポートされることができない場合、より低いデータレートの前方ストリームが選択され得、従って、より低いデータレート前方ストリームと左後方コンテンツストリームの両方の開始が起動される。選択された組の外のストリームは、新たに選択された組内のストリームの受け取りの前に終了される。受け取られているコンテンツにおける動的な変化、及び／または、一時的なギャップが、ストリーム切り替えが起こるときの画像の品質またはソースにおける変化の著しさを低減するために使用されている、ぼやかし及び／またはフィルタリングを用いて最小化されるように、ストリームの終了と開始は円滑に行われる。例えば、ぼやかしは、描画または表示プロセスの部分として、一緒に縫い合わされる画像の部分にわたって実装され得る。
[000173] Operation proceeds from step 1429 to step 1430 where content delivery of the stream (or streams) in the selected set of streams not already received is activated. This means that the selected stream joins the corresponding multicast group, sends a message to the network device requesting delivery of the selected stream, and / or the selected stream or streams are transmitted. Tuning to a broadcast channel. In the case of the first path through
[000174] 選択されたストリームの現在の組のために起動されるコンテンツ配信をもって、動作は、ステップ１４３０からステップ１４３２に進む。ステップ１４３２において、コンテンツは、コンテンツストリームの選択された組におけるストリームから受け取られる。これは、例えば、視界の主な部分に対応するコンテンツを提供するストリーム等の最も高い優先度のストリームに対応するコンテンツ、及び、例えば、視界に対応する画像コンテンツの小さい部分を提供する部分等の環境の１つ以上の他の部分に対応するコンテンツを受け取ることを含み得る、及び、様々な実施形態では含む。現在の視界のためのコンテンツの小部分を提供するストリームは、２次的ストリームとして記載され得る。単一ストリームがフルの視界のためのコンテンツを提供する一実施形態において、例えば、ユーザが視界の外側の方向に向いた場合に視界外であるコンテンツを提供すること等、１つ以上の２次的またはより低い優先度のストリームを受け取るために、利用可能な帯域幅／サポート可能な受け取りデータレートの２０％またはそれ以下が留保され、使用される。視界が、２つの異なるコンテンツストリームに対応する領域間のほぼ対等な分離である場合に、各ストリームには、それらがほぼ互角の形で寄与し、２つのストリームが提供する画像が対する領域の外の環境の領域を見るために、ユーザが急に位置を変えることはほとんどないので、利用可能なデータレート／受け取りデータレートの約半分を割り当てられる。
[000174] With content delivery activated for the current set of selected streams, operation proceeds from
[000175] コンテンツ受け取りが開始されると、ステップ１４３２において、画像等のコンテンツが、ストリームの選択された組から受け取られる。主たる、例えば、最も高い優先度の、ストリームは、通常、左と右の眼の画像コンテンツの両方がストリームにおいて受け取られている、立体視コンテンツである。優先度の低いストリーム及び／または低いデータレートを割り当てられたストリームについて、単一の画像が左と右の眼の画像の両方への表示のために受け取られて、モノ画像が受け取られ得る。前方シーン部分は、通常、立体視コンテンツとして受け取られるが、１つ以上の後方部分は、モノ画像ストリームとして提供され得る。 [000175] When content reception is initiated, in step 1432 content, such as images, is received from a selected set of streams. The main, e.g., highest priority, stream is typically stereoscopic content in which both left and right eye image content is received in the stream. For low priority streams and / or streams assigned a low data rate, a single image may be received for display on both the left and right eye images, and a mono image may be received. The front scene portion is typically received as stereoscopic content, but one or more rear portions may be provided as a mono image stream.
[000176] エンコードされた画像コンテンツは、ステップ１４３２において、通常、ストリームの中で受け取られる。ステップ１４３４において、受け取られたコンテンツがデコードされ、そして、接続ノードＡ １４３６を介して到達するステップ１４３８において、デコードされたコンテンツが１つ以上の画像バッファに記憶される。いくつかの実施形態では、デコードされた画像バッファは、環境の各部分のために維持される。受け取られた画像の一部のみが最終的に表示される場合でも、フルの受け取られたフレームが、通常、デコードされ、バッファリングされる。デコードされたバッファ画像は、それが同じシーン部分のためのより最近の画像で置き換えられるまで、メモリに維持され得、いくつかの実施形態では維持される。従って、任意の所定の時間において、デコードされた画像は、現在の視界に基づいて必要とされるだけ最終的な出力画像を描画することにおいて使用するために、環境の各部分について利用可能である。デコードされた画像コンテンツは、それがより最近のデコードされた画像によって置き換えられるまで、メモリに維持されるので、３６０度環境の部分の各々に対応する画像のデコーディングは、各フレーム時間中に起こる必要はない。従って、毎秒３０フレームのフレームレートがサポートされ得るが、１５０フレームは、例えば、頂部、底部、前方、左後方、右後方部分の各々について１つ等、各フレーム期間にデコードされる必要はないが、むしろ、主たる視界に対応する部分よりも低いレートで更新される、以前にデコードされた静止画像または以前にデコードされた画像部分から出る画像のいくつかの部分をもって、サポートされ得るフレームレートに等しいか、または、わずかに高いフレームのより少ない数がデコードされ得る。
[000176] The encoded image content is typically received in a stream at step 1432. In
[000177] 従って、ステップ１４３８で更新された後、現在のデコードされたフレームは、ユーザの現在の視界に基づいて画像を描画することにおける使用のために利用可能である。
[000177] Thus, after being updated at
[000178] 動作は、ステップ１４３８からステップ１４４０に進む。ステップ１４４０において、画像バッファ（または、複数の画像バッファ）から利用可能であるデコードされたコンテンツ、例えば、テクスチャ等、１つ以上の画像部分が適用されるべき表面を規定する環境マップ、及び、２Ｄのデコードされた画像を３Ｄ表面のモデルにどのように適用するかの情報を与えるＵＶマップ（または、複数のＵＶマップ）を用いて、コンテンツが描画される。環境の３Ｄメッシュモデルは、環境の画像が適用されるべき表面を規定するメッシュモデルの頂点に対応するＵＶマップにおける点をもった、グリッドの形態であってよい。
[000178] Operation proceeds from
[000179] 描画の部分として、異なるストリームから受け取られたコンテンツに対応する画像部分は、単一のストリームからのコンテンツがユーザの視界をフルに占める部分を提供することができない場合にユーザの視界に対応する環境の画像を生成するために、組み合わされる。フィルタリング、または、ぼやかしが、ユーザ視界に対応する複合画像を形成するために結合される画像にわたって適用され得る、及び、いくつかの実施形態では適用される。これは、継ぎ合わせがユーザにどの程度目立つかを低減する方向に向かう。加えて、複合画像の部分を与える画像部分の輝度は、いくつかの実施形態において、複合画像を形成するために組み合される画像部分間の輝度差を低減するために調整され、複合画像を形成するために組み合される画像部分への輝度調整をする場合に、後部、頂部、側部の輝度値より上の優先度を与えられて前方視野の輝度値が始まる。 [000179] An image portion corresponding to content received from a different stream as a portion of a drawing is not visible to the user's view when the content from a single stream cannot provide a portion that fully occupies the user's view. Combined to produce a corresponding environment image. Filtering or blurring can be applied over the combined images to form a composite image corresponding to the user view, and in some embodiments is applied. This tends to reduce how much the seaming is noticeable to the user. In addition, the brightness of the image portion that provides the portion of the composite image is adjusted in some embodiments to reduce the brightness difference between the image portions that are combined to form the composite image to form the composite image. Therefore, when the luminance adjustment is performed on the image portion to be combined, the luminance value of the front visual field starts with a higher priority than the luminance values of the rear, top, and side portions.
[000180] 異なるコンテンツストリームから受け取られた画像の１つ以上の画像部分の複合であり得る描画された画像は、ステップ１４４２において、記憶され、表示され、または、伝送される。これは、選択されたコンテンツストリームの現在の組に基づいて、コンテンツの１つ以上のフレームの生成と表示を表す。 [000180] A rendered image, which may be a composite of one or more image portions of images received from different content streams, is stored, displayed, or transmitted in step 1442. This represents the generation and display of one or more frames of content based on the current set of selected content streams.
[000181] 経時的に、通信チャネル状態またはネットワーク問題における変化に起因して、最大のサポート可能なデータレートが変わり得る。これは、ステップ１４４３で検出され、どのコンテンツストリームまたは複数のストリームが受け取られ、処理されるべきであるかを選択する場合に考慮され得る。ステップ１４４３において、最大のサポートされるデータレート及び／または帯域幅は、後続のステップで使用されるためのデータ１４４４によって表されるように決定される。ステップ１４４５において、ユーザの現在の頭の位置が検出される。これは、ヘッドマウントディスプレイを含むヘッドギア上の位置センサを使用することによって行われ得る。
[000181] Over time, the maximum supportable data rate may change due to changes in communication channel conditions or network problems. This can be taken into account when selecting at
[000182] 動作は、ステップ１４４５から、ユーザの頭の位置が変わったかどうかについて決定がなされるステップ１４４６に進む。ユーザの頭の位置が変わっていない場合、動作は、現在の利用可能な最大帯域幅または最大のサポート可能なデータレートが、例えば、ストリーム選択がなされた最後の時点から、変化したかどうかについてのチェックがなされる、ステップ１４４７に進む。最大のサポート可能なデータレートまたは頭の位置に変化が検出されなかった場合、以前のストリーム選択が有効なまま残り、コンテンツストリームの選択された組に変更はなされない。従って、再生システムは、変わらないままであるユーザの現在の視界に対応するコンテンツを受け取り続ける。ステップ１４４７において変更が検出されない場合、動作は、接続ノードＢ １４５６を介して、ステップ１４２９に戻る。
[000182] Operation proceeds from step 1445 to step 1446 where a determination is made as to whether the user's head position has changed. If the user's head position has not changed, the operation can determine whether the current available maximum bandwidth or maximum supported data rate has changed, for example, since the last time a stream selection was made. A check is made and proceeds to step 1447. If no change is detected in the maximum supportable data rate or head position, the previous stream selection remains valid and no changes are made to the selected set of content streams. Thus, the playback system continues to receive content corresponding to the user's current view that remains unchanged. If no change is detected at
[000183] しかし、ステップ１４４６または１４４７のいずれかにおいて変化が検出された場合、動作は、ストリーム選択サブルーチンの呼び出しを含むストリーム選択ステップ１４４８に進む。このように、頭の位置及び／またはサポート可能なデータレートにおける検出された変化が考慮され得、ストリームの選択が、ユーザの頭の位置、及び／または、例えば、画像コンテンツ等のデータを受け取るために使用され得るサポート可能なデータレートの観点で再考慮される。
[000183] However, if a change is detected in either
[000184] ストリームがストリーム選択サブルーチンによって選択されると、動作は、選択されたストリームが選択されたストリームの現在の組と異なるか否かについてチェックがなされるステップ１４５０に進む。新たに選択された組が、使用中であるストリームの現在の選択された組と同じ場合、受け取られているストリームについての変更はなされる必要がなく、ステップ１４５２において、ストリームの現在の選択された組が変更されないで残され、動作は、接続ノードＢ １４５６を介してステップ１４２９に進む。しかし、ストリームの新たに選択された組が選択されたストリームの現在の組から異なる場合、例えば、現在選択された組がストリーム選択サブルーチンによって選択されたストリームの新たに選択された組に等しく設定される等、ストリームの選択された組における変更を反映するために、ステップ１４５４において、ストリームの現在の選択された組が更新される。
[000184] Once a stream has been selected by the stream selection subroutine, operation proceeds to step 1450 where a check is made as to whether the selected stream is different from the current set of selected streams. If the newly selected set is the same as the currently selected set of streams in use, no changes need to be made to the received stream and in step 1452 the current selected set of streams. Are left unchanged and operation proceeds to step 1429 via
[000185] 動作は、ステップ１４５４から、ストリームの更新された現在選択された組の中に含まれていないストリームの受け取りが終了されるステップ１４５５に進む。これは、再生システムが、それがもはや受け取られないストリームに対応するマルチキャストグループのメンバであることを望まないことを信号で知らせること、または、例えば、新たに選択されたストリームまたは複数のストリームの受け取り等、他の目的のために終了されているストリームを受け取るために使用されるチューナ等のリソースを使用するために他のアクションをとることを含む。
[000185] Operation proceeds from
[000186] 動作は、ステップ１４５５から、接続ノードＢ １４５６を介してステップ１４２９に進む。そして、ステップ１４３０において、任意の新たに選択されたストリームの受け取りが開始され、受け取られたコンテンツは、１つ以上の画像を描画するために使用される。従って、経時的に、ユーザが彼または彼女の頭の位置を変える、及び／または、サポートされ得るデータレートが変わると、選択されたストリームも同様に変わり得る。
[000186] Operation proceeds from
[000187] 図１５は、図１４の方法のステップ１４４８において呼び出されるストリーム選択サブルーチンとして使用され得る、例示的な実施形態によるストリーム選択サブルーチンのステップを示すフローチャートである。
[000187] FIG. 15 is a flowchart illustrating the steps of a stream selection subroutine according to an exemplary embodiment that may be used as the stream selection subroutine invoked at
[000188] ストリーム選択サブルーチンは、例えば、図１４のステップ１４４８によって、サブルーチンが呼び出されるとき、ステップ１５０２で始まる。動作は、開始ステップ１５９２からストリーム選択ステップ１５０４に進む。ストリーム選択ステップ１５０４への入力は、帯域幅及び／またはデータレート制約１５０３を含む。これらは、１つ以上のシーン部分、ストリーム、及び／または、ストリーム方向に割り当てられるべき利用可能な帯域幅または合計受け取りデータレートの最大部分の情報を含み得る。制約は、また、シーン部分、ストリーム、及び/または、視野方向への最小の帯域幅またはデータ割り当てを含み得る。従って、アクションが、イベント休憩時間の間に、後方領域等の環境部分で起こっている場合に、ある方向に対応する部分が、少なくともまれに、または、特定の回数で更新されるように、制約は、特定の方向に対応するコンテンツを受け取ることに割り当てられるリソースの最大量を制限し、及び／または、ある方向に割り当てられたリソースの最小量に権限を付与し得る。
[000188] The stream selection subroutine begins at
[000189] 最大サポート可能なデータレー及び／または最大利用可能な帯域幅１４４４は、選択ステップ１５０４への他の入力である。この情報１４４４は、コンテンツを受け取るために利用可能な最大の帯域幅、及び／または、コンテンツストリームの１つまたは組み合わせの受け取りをサポートするために使用され得る最大のサポート可能なデータレートを示す。ユーザの現在の頭の位置１４０７、及び、例えば、図１８に示されたもの等のなどのストリームガイド情報といった利用可能なストリームに関する情報１４０５は、また、ステップ１５０４への入力である。
[000189] The maximum supportable data rate and / or the maximum available bandwidth 1444 are other inputs to the
[000190] ストリーム選択ステップ１５０４において、例えば、いくつかの場合には進行中のリアルタイムイベント等の番組またはイベントに対応する１つ以上のコンテンツストリームが選択される。１つ以上のストリームの選択は、ユーザの現在の頭の位置、ストリーム帯域幅またはストリームデータレートの要件等のストリーム情報、及び／または、最大サポート可能データレートまたは最大サポート可能帯域幅についての情報に基づく。視野方向上にあること、または、ストリーム優先度に基づき得る帯域幅及び／またはデータレート制約１５０３は、また、ステップ１５０４においてストリーム選択をすることにおいて考慮され、使用され得、時には使用される。
[000190] In
[000191] 例示的なストリーム選択ステップ１５０４は、ストリームが、ユーザの現在の及び／または過去の頭の位置に基づいて優先度付けされるステップ１５０６を含む。これは、図１６に示されたもの等、ストリーム優先度付けサブルーチンの呼び出しを含み得る。
[000191] Exemplary
[000192] 同じ環境方向に対応するストリームは、いくつかの実施形態では、同じ優先度を割り当てられる。従って、環境及び／または視野方向の同じ部分に対応するコンテンツに対応する複数のストリームは、同じ優先度を割り当てられ得、時には割り当てられる。ストリームが同じ視線方向に対応するが、いくつかのストリームが、高フレームレートで高解像度の立体的コンテンツを提供し、ある場合には、より低い解像度ストリームが、モノ画像コンテンツ及び／または並解像度画像を提供し、及び／または、低フレーム（画像）レートをサポートして、ある場合にストリームは、異なるデータレートを有する。従って、特定の方向は高優先度とみなされ得、高優先度方向に対応するコンテンツを提供する全てのストリームは同じであるが、選択は、そこで、いくつかの実施形態において、特定の方向に対応するコンテンツを受け取るために利用可能な帯域幅の量に基づいてなされる。 [000192] Streams corresponding to the same environmental direction are assigned the same priority in some embodiments. Thus, multiple streams corresponding to content corresponding to the same part of the environment and / or viewing direction can be assigned the same priority and sometimes assigned. Streams correspond to the same line-of-sight direction, but some streams provide high-resolution stereoscopic content at high frame rates, and in some cases, lower resolution streams may be mono-image content and / or parallel-resolution images And / or support low frame (image) rates, in some cases streams have different data rates. Thus, a particular direction can be considered high priority, and all streams providing content corresponding to the high priority direction are the same, but the selection is then in a particular direction in some embodiments. Based on the amount of bandwidth available to receive the corresponding content.
[000193] コンテンツストリームの優先度付けした後、動作は、ステップ１５０６からステップ１５０８に進む。ステップ１５０８において、最も高い優先度を有するストリームのために使用のための最大帯域幅及び／またはデータレートが決定される。この決定は、最も高い優先度のストリームのために割り当てられるべき利用可能な受け取りリソースの最大、最小、または、部分を示し得る、帯域幅または他の制約１５０３に基づいてなされ得る。いくつかの実施形態では、最も高い優先度のストリームのための最小帯域幅／データレート割り当てが５０％以上であるが、他の割り当ても可能である。
[000193] After prioritizing the content streams, operation proceeds from step 1506 to step 1508. In
[000194] ステップ１５１０において、より低い優先度を有した各ストリームのために使用されるべき最大帯域幅及び／またはデータレートが決定される。いくつかの実施形態では、データレートまたは帯域幅の少なくとも２０％が、２次またはより低い優先度のストリームのために使用される。 [000194] In step 1510, the maximum bandwidth and / or data rate to be used for each stream having a lower priority is determined. In some embodiments, at least 20% of the data rate or bandwidth is used for secondary or lower priority streams.
[000195] 異なる優先度のストリームのために使用されるデータレートがステップ１５０８、１５１０で決定されていて、動作は、最も優先度の高いストリームが、最も高い優先度のストリームのための最大帯域幅及び／またはデータレートに基づいてサポートされることができるかどうかを決定するためにチェックがなされるステップ１５１２に進む。最も高い優先度に対応するストリームのいずれか１つがサポートされることができる場合には、ステップ１５１２の決定は肯定となり、動作は、最も高い優先度に対応する最も高い品質のストリームが選択されるステップ１５１４に進む。これは、通常、最も高い優先度を割り当てられたストリームの組から最も高いデータレートのストリームを選択することを含む。例えば、前方方向におけるストリームが最も高い優先度を割り当てられる場合、最も高い優先度のコンテンツストリームのために利用可能なデータレートを与えられてサポートされ得る、最も高いデータレートの前方方向コンテンツストリームが選択されることを考慮する。
[000195] The data rate used for the different priority streams has been determined in
[000196] 動作は、ステップ１５１４からステップ１５１６に進む。ステップ１５１６において、２番目に高い優先度のストリームがサポートされ得るか否かについて決定がなされる。これは、いくつかの実施形態において、最も優先度の高いストリームが選択された後、どれだけの帯域幅／データレートが利用可能か、及び、受け取られた制約に基づいて２番目に高い優先度のストリームのために、帯域幅／データのどれだけが使用され得るか、を決定することを含む。２番目に優先度が高いストリームに何の制約も置かれない場合、帯域幅／データ受け取り能力のフルの量が、２番目に高い優先度のストリームのために使用され得る。ステップ１５１６において、２番目に優先度の高いストリームがサポートされ得ると決定される場合、動作は、例えば、２番目に高い優先度を割り当てられた１以上のストリームの組から、２番目に高い優先度のストリームが選択されるステップ１５１８に進む。ステップ１５１８は、サポートされ得、２番目に高い優先度を有する、最も高いデータレートのストリームを選択することを含み得る、及び、いくつかの実施形態において含む。例えば、２番目に高い優先度が環境の右後方部分に対応している場合、ステップ１５１８は、環境の右後方部分に対応してサポートされ得る最も高いデータレートのストリームを選択することを含む。
[000196] Operation proceeds from
[000197] ほとんどの場合、最も高い優先度と２次のストリームがサポートされるが、例えば、見られていないもの等、環境の他の部分に対応するいくつかのコンテンツを受け取るために、当該２つの最も高い優先度のストリームの選択の後、十分な帯域幅を残してある。動作は、ステップ１５１８からステップ１５２０に、または、２番目に高い優先度のストリームがサポートされることができない場合、ステップ１５１６から直接ステップ１５２０に進む。
[000197] In most cases, the highest priority and secondary streams are supported, but in order to receive some content corresponding to other parts of the environment, such as those not seen, the 2 After selection of the two highest priority streams, there is enough bandwidth left. Operation proceeds from step 1518 to step 1520, or from
[000198] ステップ１５２０において、例えば、第１及び／または第２の優先度のストリームが選択された後で利用可能な帯域幅／データ受け取りリソースを使用して、３番目に高い優先度のストリームがサポートされ得るか否かについてチェックがなされる。ステップ１５２０において、３番目に最も高い優先度のストリームがサポートされ得ると決定される場合、動作は、例えば、サポートされ得る残りの帯域幅／データレートを使用して、３番目に最も優先度の高いストリームが選択されるステップ１５２２に進む。動作は、ステップ１５２２からステップ１５２４に、または、３番目に最も優先度が高いストリームが、利用可能な帯域幅、及び／または、受け取られたデータ及び／または帯域幅制約を与えられて、サポートされ得ない場合、ステップ１５２０からステップ１５２４に直接に進む。
[000198] In
[000199] ステップ１５２４において、他のストリーム選択の後、追加のコンテンツを受け取るために使用され得る残りの、例えば、データを受け取るための容量等の任意の帯域幅があるかを決定するためのチェックがなされる。追加の帯域幅が残っている場合は、動作は、１つ以上のより低い優先度のストリームが、残りの利用可能な帯域幅／データレートを使用するために選択されるステップ１５２６に進む。ステップ１５２６から、動作は、ステップ１５３０に進む。追加の帯域幅が利用できない場合、動作は、はステップ１５２４から戻りステップ１５３０に進む。
[000199] In step 1524, a check to determine if there is any remaining bandwidth that can be used to receive additional content after other stream selection, eg, capacity to receive data. Is made. If additional bandwidth remains, operation proceeds to step 1526 where one or more lower priority streams are selected to use the remaining available bandwidth / data rate. From
[000200] 戻りステップ１５３０は、例えば、ルーチン１５００によって新たに選択されたストリームの組が決定されて、ストリーム選択サブルーチン１５００が呼び出された所に処理を戻させる。
[000201] 図１６は、例示的な実施形態に係る、ストリーム優先度付けサブルーチンのステップを示すフローチャートである。図１６００は、例えば、この中に記載された他のルーチンまたはサブルーチンの１つ以上によって呼び出され、使用され得る、例示的なストリーム優先度付けルーチンを示す。例えば、図１５のステップ１５０６は、サブルーチン１６００の呼び出しによって実装され得る。ストリーム優先度付けサブルーチン１６００は、ルーチンが呼び出されたとき、ステップ１６０２で始まる。動作は、開始ステップ１６０２からステップ１６０４に進む。ステップ１６０４において、ユーザの現在の視界が、ユーザの検出された頭の位置に基づいて決定される。ユーザの視野が１８０度未満であることを考えると、現在の視界は、例えば、前方視認カメラ位置といった単一のカメラの位置から取り込まれる環境の部分に対応し得る。しかし、ユーザが、例えば、頭を左または右に振る、及び／または、上または下を見る等、彼の頭を動かす場合、ユーザの視界は、異なるカメラ位置に位置付けられるカメラによって取り込まれる環境の部分に対応し得る。例えば、異なるカメラによって取り込まれる画像が合致するまたは重なる所に対応する環境の部分を視ている場合、ユーザの視界は、２つの異なるストリームで通信されるコンテンツに対応し得る。視界の最も大きい部分に対応する画像を提供するストリームは、通常、いくつかの実施形態において、最も高い優先度を与えられる。
[000201] FIG. 16 is a flowchart illustrating steps of a stream prioritization subroutine according to an exemplary embodiment. Diagram 1600 illustrates an example stream prioritization routine that may be called and used, for example, by one or more of the other routines or subroutines described herein. For example, step 1506 of FIG. 15 may be implemented by calling
[000202] ステップ１６０４において、ユーザの視界が決定されており、動作は、ユーザの現在の視界に対応する、例えば、モノ画像、または、左と右の眼の画像を含む立体視画像ペア等のコンテンツを通信するストリームが特定されるステップ１６０５に進む。そして、動作は、特定されたストリームから利用可能なユーザの現在の視野に対応するシーン領域の、例えば、画像部分等の部分または複数の部分のサイズが決定されるステップ１６０６に進む。従って、ステップ１６０６の終わりでは、ストリームが、現在の視界に対応する画像コンテンツと当該部分の相対サイズとを提供する情報が利用可能であり、例えば、ストリームを優先度付けする等、ランク付けするために使用され得る。
[000202] In
[000203] 動作は、ステップ１６０６からステップ１６０８に進む。ステップ１６０８において、優先度が、ユーザの現在の視界に対応する画像コンテンツを提供する１つ以上のストリームに割り当てられる。例えば、ランク付け等の優先度付けは、ストリームが提供するユーザの視界の部分または複数の部分のサイズに基づく。例えば、ユーザの視界の８０％に対応する画像コンテンツを提供するストリームは、ユーザの視界の１５％に対応する画像コンテンツを提供するよりも高位にランク付けされ、例えば、頂部または底部等の残りの５％を提供するストリームは、視界の８０％の部分に対応する画像（または、複数の画像）を提供するストリームに割り当てられた最も高い優先度よりも低い３番目の優先度を付与される。
Operation proceeds from
[000204] ステップ１６０８は、ステップ１６１０及び／またはステップ１６１２を含み得、いくつかの実施形態では、含む。ステップ１６１０において、最も高い優先度が、視界の最も大きい部分を提供するストリームに割り当てられる。ステップ１６１０は、主たるストリームとして、視界の最も大きい部分を提供するストリームを指定することを含み得る。ステップ１６１２は、最も優先度の高いストリームによって寄与される部分の外側にある視界の部分に寄与するストリームに次に高い優先度または複数の優先度を割り当てることを含む。そのようなストリームは、より小さい部分に寄与し得るストリームがより低い優先度を割り当てられて、現在の視界に寄与し得る部分のサイズに基づいて、ステップ１６１２において優先度付けされる。
[000204]
[000205] 潜在的に、異なる解像度またはフレームレートであるが、例えば、異なるデータレートを有する、複数のストリームが視界の同じ部分に寄与し得ると想定すると、複数のストリームは同じ優先度を割り当てられ得、例えば、前方視野に対応するストリームが同じ優先度を割り当てられ得、左後方視野を提供するストリームが、例えば、前方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得、右後方視野を提供するストリームが、例えば、前方または左後方ストリームに割り当てられた優先度と異なる優先度で、同じ優先度を割り当てられ得る。 [000205] Assuming that multiple streams could potentially contribute to the same part of the view, potentially with different resolutions or frame rates, but different data rates, the multiple streams are assigned the same priority. For example, streams corresponding to the front view can be assigned the same priority, and streams providing the left rear view can be assigned the same priority, for example, with a different priority than the priority assigned to the front stream. In other words, streams that provide a right rear view can be assigned the same priority, for example, with a different priority than the priority assigned to the front or left rear stream.
[000206] 従って、ステップ１６０８において、視界に寄与するストリームは、ランク付け、即ち優先度付けされている。優先度付けは、最も高い優先度を割り当てられている主たるストリーム（または、複数のストリーム）と、より低い優先度を割り当てられている他のストリームを有した、ランク付けされたリストにおいてストリームをリスト化することで表され得る。
[000206] Accordingly, in
[000207] 全てではないストリームが視界に対応し得る。例えば、頂部または底部のシーン部分が視界外であってもよく、従って、そのような視野を提供するストリームはステップ１６０８において優先度付けされない。動作は、ステップ１６０８からステップ１６１４に進む。ステップ１６１４において、優先度付けされるべき任意の残りのストリームがあるか否かについて決定がなされる。例えば、ストリームの全てがユーザの現在の視界に対応するから、優先度付けされるべき残りのストリームがない場合、動作は、戻りステップ１６３０に進む。しかし、ステップ１６１４において、優先度付けされるべき１つ以上のストリームが残っていると決定された場合、動作は、ステップ１６１６に進む。
[000207] Non-all streams can correspond to view. For example, the top or bottom scene portion may be out of view, and thus streams providing such a view are not prioritized in
[000208] ステップ１６１６において、優先度は、例えば、現在の視界の外のストリーム等、コンテンツを通信する１つ以上の追加のストリームに割り当てられる。ステップ１６１６で実行される優先度付けは、いくつかの実施形態において、現在の視界において可視のコンテンツに優先度付けられているストリームによって提供されるコンテンツの近接に基づく、及び／または、ユーザの現在または過去の頭の回転の方向に基づく。例えば、いくつかの実施形態において、ストリームが、現在の視界に直接隣接する環境の部分に対応する画像コンテンツを提供する場合、それは、ユーザの現在の視界から更に離れた画像部分に対応するコンテンツを提供するストリームよりも高い優先度を割り当てられる。同様に、頭の回転の方向にあるコンテンツが、頭の回転の検出された方向から離れる反対の方向にあるコンテンツよりも、ユーザの視界に直ぐに入ってくる可能性がより高いとの仮定の下、ユーザの頭の回転の方向の画像コンテンツを提供するストリームは、ユーザの検出された頭の回転から離れる回転の方向のコンテンツより、より高い優先度が与えられる。
[000208] In
[000209] 少なくとも１つの実施形態において、ステップ１６１６は、頭の位置の変化は、頭の回転、例えば、頭を上または下に傾けることと対照的に左または右に回す、を示したか決定するためにチェックがなされるステップ１６１８を含む。頭の回転がステップ１６１８で検出されなかった場合、動作は、いくつかの実施形態において、ユーザの現在の視界に対してストリームが提供する画像データのどの部分かに基づいて、ストリームが優先度付けされるステップ１６２０に進む。頂部及び／または底部を提供するストリームは、頂部と底部、並びに、左または右後方部分が視野外である場合、デフォルトでは、左または右後方部分を提供するストリームよりも低い優先度を割り当てられ得る。動作は、ステップ１６２０から戻りステップ１６３０に進む。
[000209] In at least one embodiment,
[000210] ステップ１６１８において、ユーザの頭の回転が検出されたと決定された場合、動作は、ステップ１６２２に進む。ステップ１６２２において、頭の回転の方向が、例えば、ユーザの頭が左または右に回っているかどうかで、決定される。これは、環境の隣の部分がユーザの視野に入ってくることが、頭の回転の方向から離れる方向ではなく、頭の回転の方向にある方がより可能性が高いので、頭の回転方向が考慮されることを可能にする。
[000210] If it is determined in
[000211] 動作は、ステップ１６２２から、優先度が、頭の回転の方向に基づいて、例えば、視界外のストリーム等の１つ以上のコンテンツストリームに割り当てられるステップ１６２４に進む。少なくとも１つの実施形態において、ステップ１６２４は、次に最も低い未使用の優先度が、頭の回転方向における環境の部分に対応するコンテンツを提供するストリームに割り当てられるステップ１６２６を含む。例えば、環境の前方部分を見ているユーザが、彼の頭を右に回している場合、視界外の右後方コンテンツを提供するストリームが、同じく視界外にある左後方コンテンツを提供するストリームよりも高い優先度を割り当てられる。動作は、ステップ１６２４から、既に優先度付けされていない残りのストリームが、優先度が既に割り当てられているにストリームよりも、より低い重要度を示し、より低い優先度を割り当てられる、ステップ１６２８に進む。
[000211] Operation proceeds from
[000212] 動作は、ステップ１６２８から戻りステップ１６３０に進む。戻りステップ１６３０に到達されるときまでに、コンテンツストリームは、優先度に従って、優先度付け、例えば、ランク付けまたは順序付け、がなされる。
[000212] Operation returns from
[000213] 図１７は、例示的な実施形態による描画サブルーチンのステップ１７００のフローチャートである。
[000213] FIG. 17 is a flowchart of
[000214] 描画サブルーチン１７００は、画像描画が要求されるとき、１つ以上のルーチンにより呼び出され得る。立体視コンテンツの場合には、個別の画像が、ユーザの左と右の眼の各々について描画される。モノコンテンツの場合、単一の画像が描画され、ユーザの左と右の眼の各々のために使用される。描画は、しばしば、１つまたは複数のストリームからの画像コンテンツの組み合わせを含む。従って、環境のいくつかの部分はモノコンテンツとして提供され得るが、他の部分は立体視コンテンツとして提供され得、その場合、コンテンツのいくらかが立体であり、他のコンテンツがモノであるが、環境の少なくとも部分が立体視コンテンツとして提示される場合に、単一の画像が、左と右の眼の画像の各々のために生成されて、異なる左と右の眼の画像が描画されえる。
[000214] The
[000215] 描画ルーチン１７００は、開始ステップ１７０２で始まり、描画ステップ１７０６に進む。描画ステップ１７０６への入力は、環境マップ１４１１、１つ以上の視野に対応するデコードされたコンテンツ１７０３、環境マップ１４１１によって規定された表面上に１つ以上のデコードされた画像をマッピングするために使用されるＵＶマップ１７０４を含む。上述したように、環境マップ１４１１は、より複雑な幾何学形状が与えられない場合に、球体に初期設定され、画像が球体の内側面にマッピングされる。
The drawing routine 1700 starts at the
[000216] いくつかの実施形態において、描画ステップ１７０６は、ユーザの現在の視界に対応する少なくとも１つの画像を生成するために、ユーザの現在の視界に対応する１つ以上のコンテンツストリームに含まれた画像をデコードすることによって生成されたコンテンツと、環境マップ、並びに、少なくとも１つのＵＶマップを使用することを含む、ステップ１７０８を含む。例えば、３Ｄ等の立体視画像コンテンツの場合、描画は、左と右の眼の画像が表示するのに適した形式で生成される結果となる。描画された左と右の眼の画像における違いは、いくつかの実施形態では、ユーザに、画像を３Ｄで知覚させる。
[000216] In some embodiments, the
[000217] 動作は、ステップ１７０６から、描画された画像を、ディスプレイデバイスに供給される、記憶される、及び／または、出力されるために、プログラムまたはルーチンに戻させる戻りステップであるステップ１７１０に進む。
[000217] The operation proceeds from
[000218] 描画サブルーチン１７００は、フレームまたは視界の更新されたバージョンが表示されるべき各度に呼び出され得る。従って、描画は、通常、例えば、フレーム、表示レート等、画像と一致したレートで起こる。
[000218] The
[000219] 図１８は、複数のコンテンツストリームに対応するストリーム情報を含む例示的なテーブル１８００を示す。いくつかの実施形態では、例示的なテーブル１８００に含まれるストリーム情報は、例えば、番組ガイド等の再生システムが受け取ることを選択し得るコンテンツストリームに関する情報を提供するガイド情報の一部として受け取られる。凡例１８４０は、テーブル１８００に含まれる情報において略語として使用される様々な文字の意味を示す情報を含む。
[000219] FIG. 18 shows an exemplary table 1800 that includes stream information corresponding to multiple content streams. In some embodiments, the stream information included in the example table 1800 is received as part of guide information that provides information about content streams that a playback system, such as a program guide, for example, may choose to receive.
[000220] テーブル１８００に含まれる情報は、情報が対応するコンテンツストリームにアクセスするために使用されることができる。いくつかの実施形態において検討されるように、ストリーム情報は、複数の利用可能なコンテンツストリームについて、所定の対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストアドレス、所定のコンテンツストリームを提供するために使用される切換えデジタルビデオチャネル（switched digital video channel）へのアクセスを要求するために使用され得る情報、または、所定のコンテンツストリームがブロードキャストされるブロードキャストチャネルに同調するように再生システムのチューナを制御するために使用され得るチャネル同調情報の１つを含む。 [000220] Information included in table 1800 may be used to access a content stream to which the information corresponds. As discussed in some embodiments, the stream information provides, for a plurality of available content streams, a multicast address of a multicast group that can be joined to receive a predetermined corresponding content stream, a predetermined content stream. Information that can be used to request access to a switched digital video channel used to play, or a tuner of a playback system to tune to a broadcast channel on which a given content stream is broadcast One of the channel tuning information that can be used to control
[000221] テーブル１８００において、各行は、コンテンツを通信する個々のコンテンツストリームに対応し、行が対応するコンテンツストリームは、列１８１２における対応するエントリに示されたストリーム識別子によって特定される。列１８０４における各エントリは、行が対応する個々のコンテンツストリームによって通信される番組コンテンツを特定する。テーブル１８００から理解され得るように、行の第１のグループ１８２０は、列１８０４内の対応するエントリに示されるように番組／イベントのタイトルを示すことができる、「サッカー」の番組コンテンツに対応する。様々な異なる番組／イベントに対応する、複数のそのようなグループが存在し得る。各グループは、検討されるように、各々が視野方向に対応し、所与のデータレートをサポートするコンテンツストリームを含む。簡略化のために、２つのグループのみが図示され、第２のグループ１８２２に対応する行は、概念を例示するためだけに部分のみが示されている。行の第２のグループ１８２２は、列１８０４における対応するエントリによって示されるように「ＨＩ」の番組コンテンツに対応する。
[000221] In table 1800, each row corresponds to an individual content stream communicating the content, and the content stream to which the row corresponds is identified by the stream identifier indicated in the corresponding entry in
[000222] 列１８０６の各エントリは、対応するコンテンツストリームによって通信される、例えば、３６０度シーン領域１２００等のシーン領域の部分を示す。従って、グループ１８２０における最初の３行は、各々が異なるコンテンツストリームに対応するが、正面シーン部分（例えば、２７０度から９０度までの視野領域をカバーする、図１２に示されたゾーン１にマッピングする）を通信する。グループ１８２０における次の３行は、各々が異なるコンテンツストリームに対応するが、後方右側シーン部分（例えば、３０度から２１０度の視野領域をカバーする、図１２に示されたゾーン２にマッピングする）を通信する。グループ１８２０における最後の３行は、各々が異なるコンテンツのストリームに対応するが、後方左側シーン部分（例えば、１５０度から３３０度の視野領域をカバーする、図１２に示されたゾーン３にマッピングする）を通信する。
[000222] Each entry in
[000223] 列１８０８における各エントリは、対応するコンテンツストリームがサポートするデータレートを示す。列１８１０における各エントリは、列１８１２における対応するエントリに示されたストリーム識別子によって特定される対応するコンテンツストリームを受け取るために参加され得るマルチキャストグループのマルチキャストグループ識別子／アドレスを示す。列１８１４における各エントリは、列１８１２における対応するエントリにおいて示されたストリーム識別子によって特定される対応するコンテンツストリームについてのストリーム記述子を含む。列１８１６における各エントリは、対応するコンテンツストリームをアクセスする、または、要求するために使用され得る、例えば、同調パラメータ及び／または他のアクセスパラメータ等のアクセス情報を含む。
[000223] Each entry in
[000224] 例示的なテーブル１８００から理解され得るように、図示の例では、再生における使用のために利用可能である、所与の視野方向に対応する各コンテンツストリームの複数、例えば、３つ、の異なるバージョンが存在し、コンテンツストリームの各バージョンは、異なるデータレートをサポートする。従って、再生システムは、図１４−１７に関して詳細に検討されたような本発明の特徴に従って、例えば、サポートされる帯域幅、データレート、ユーザの頭の位置等の１つ以上の要因に基づいて、再生に使用するために、１つ以上のストリームの選択を行うことができる。 [000224] As can be seen from the exemplary table 1800, in the illustrated example, a plurality of each content stream corresponding to a given viewing direction, eg, three, available for use in playback. There are different versions of each, and each version of the content stream supports a different data rate. Thus, the playback system may be based on one or more factors such as, for example, supported bandwidth, data rate, user head position, etc., in accordance with features of the present invention as discussed in detail with respect to FIGS. 14-17. One or more streams can be selected for use in playback.
[000225] １つ以上のコンテンツストリームを選択する、及び／または、アクセスするために、テーブル１８００における情報が再生システムによってどのように利用され得るかをより明確に理解するために、グループ１８２０における最初の行と、列１８０４、１８０６、１８０８、１８１０、１８１２、１８１４、及び、１８１６の各々における最初のエントリを考慮する。列１８０４の最初のエントリは、列１８１２に含まれたストリーム識別子Ｓ１Ｄ１によって特定される第１のコンテンツストリームによって、「サッカー」のイベント／番組が通信されることを示す。列１８０６における対応するエントリは、第１のストリームが、前方シーン部分（例えば、２７０度から９０度までの視野領域）に対応するコンテンツを通信することを示す。この視野領域情報は、現在の視界に対応する、ユーザ／見る者の現在の頭の位置に対応するコンテンツを通信する１つ以上のストリームを特定するために、再生システムによって使用される。例を続けると、列１８０８における対応する最初のエントリは、第１のコンテンツストリームが、データレートＤ１をサポートする、及び／または、必要とすることを示す。列１８１０における対応するエントリは、第１のコンテンツストリームが、マルチキャストグループＭ１に参加することによってアクセスされ得ることを示し、Ｍ１は、マルチキャストグループアドレス、及び／または、アドレスにマッピングする識別子を示す。列１８１４における対応するエントリは、第１のストリームが対応するカメラ視野角（Ｖ１）、第１のストリームに対応するコーデックタイプ（Ｃ１）、サポートされるデータレート（Ｄ１）、フレームレート（Ｆ１）を示す、第１のコンテンツストリームに対応するストリーム記述子「Ｖ１Ｃ１Ｄ１Ｆ１」を含む。最後の列１８１６における対応するエントリは、アクセス同調パラメータ、及び／または、第１のコンテンツストリームをアクセスする、または、要求するために使用され得る他のアクセスパラメータ（Ａ１２３として示される）を示す。
[000225] To more clearly understand how the information in table 1800 can be utilized by the playback system to select and / or access one or more content streams, the first in
[000226] 使用され得る利用可能なコンテンツストリームに関する上述のような情報を用いて、再生システム１９００等の再生システムは、本発明の特徴に従って、再生に使用するための１つ以上のコンテンツストリームを選択し、アクセスし得る。より良い理解のために、ユーザの頭の位置が、ユーザが３６０度シーンの正面部分を見ていることを示していると、再生システムが決定する、１つの単純な例を考える。一実施形態におけるそのような場合には、再生システムは、正面シーン部分を通信する少なくとも１つのコンテンツストリームを選択する。利用可能な帯域幅、サポート可能なデータレート、ストリーム帯域幅、及び／または、データレート制約等の図１４−１７について検討されたような様々な他の要因に応じて、再生システムは、正面シーン部分を通信する３つの異なる利用可能なストリーム（Ｓ１Ｄ１、Ｓ１Ｄ２，Ｓ１Ｄ３）からストリームを選び出すことができる。制約が許すならば、再生システムは、正面シーン部分に対応する複数のコンテンツストリームからの３つの対応するコンテンツストリームから、最高品質のストリーム、例えば、ストリームＳ１Ｄ１、を選択する。テーブル１８００において提供される情報は、選択を行うために使用され得る情報の少なくともいくつかがストリーム情報１８００によって提供されるので、再生における使用のための適切なストリームの選択を容易にする。ストリーム選択の後、再生システムは、選択されたストリームに対応するマルチキャストグループ、例えば、Ｍ１、に参加することによって、または、コンテンツストリームを取得するためにアクセス情報を用いることによって、コンテンツ配信、例えば、コンテンツの受け取り、を起動するために、再びストリーム情報１８００を使用し得る。
[000226] Using information such as described above regarding available content streams that may be used, a playback system, such as
[000227] 図１９は、コンテンツ配信システムから受け取られる画像コンテンツを受け取り、デコードし、記憶し、及び、表示するために使用され得る、本発明に従って実装された再生システム１９００を示す。システム１９００は、ディスプレイ１９０２を含む単一の再生デバイス１９００’として、または、コンピュータシステム１９００’に接続された外部ディスプレイ、例えば、ヘッドマウントディスプレイ１９０５等の要素の組み合わせとして、実装され得る。
[000227] FIG. 19 illustrates a
[000228] 再生システム１９００は、少なくともいくつかの実施形態において、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ１９０５を含み得る、Ｏｃｕｌｕｓ社のＲＩＦＴ（商標） ＶＲ（バーチャルリアリティ）ヘッドセットを使用して実装され得る。また、他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、１つ以上のディスプレイスクリーンがユーザの左と右の眼にコンテンツを表示するために使用されるヘッドマウントヘルメットまたは他のヘッドマウントデバイスが、デバイス１９０５として使用される。単一のスクリーンの異なる部分を異なる眼に露出するよう構成されたヘッドマウントを用いて、単一のスクリーン上で左と右の眼に異なる画像を表示することによって、単一のディスプレイが、見る者の左と右の眼によって別個に知覚される左と右の眼の画像を表示するために使用され得る。いくつかの実施形態において、セルフォンのスクリーンは、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンはヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。いくつかの実施形態では、表示デバイス１９０５は、Ｏｃｕｌｕｓ社のＲｉｆｔ等の３Ｄディスプレイ装置の部分であってもよい。
[000228]
[000229] 再生システム１９００は、受け取られた、エンコードされた画像データ、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び／または、モノ（単一の画像）、をデコードし、例えば、ユーザによって３Ｄ画像として知覚される異なる左と右の眼の画面を描画し、表示することによって、顧客への表示のための３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態における再生システム１９００は、家庭やオフィス等の顧客建物位置に配置されるが、同様に、画像取り込みの場所に配置されてもよい。システム１９００は、本発明に従った信号受け取り、復デコード、表示、及び／または、他の動作を実行することができる。
[000229] The
[000230] システム１９００は、ディスプレイ１９０２、ディスプレイデバイスインターフェース１９０３、入力デバイス１９０４、入力／出力（Ｉ／Ｏ）インターフェース１９０６、プロセッサ１９０８、ネットワークインターフェース１９１０、及び、メモリ１９１２を含む。システム１９００の様々なコンポーネントは、データがシステム１９００のコンポーネントの間を通信されることを可能にするバスを介して、及び／または、他の接続によって、または、無線インターフェースを介して、共に接続される。いくつかの実施形態において、ディスプレイ１９０２は、破線枠を用いて示されるオプション要素として含まれるが、いくつかの実施形態では、例えば、ヘッドマウント立体視ディスプレイデバイス等の外部ディスプレイデバイス１９０５が、ディスプレイデバイスインターフェース１９０３を介して再生デバイスに接続され得る。
The
[000231] 例えば、セルフォンプロセッサがプロセッサ１９０８として使用され、セルフォンが画像を生成し、ヘッドマウントで表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ１９０８、ディスプレイ１９０２、及び、メモリ１９１２を含み得る。プロセッサ１９０８、ディスプレイ１９０２、メモリ１９１２は、全て、セルフォンの部分であってもよい。システム１９００の他の実施形態は、プロセッサ１９０８は、ディスプレイ１９０５がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、ＸＢＯＸまたはＰＳ４等のゲームシステムの部分であってよい。プロセッサ１９０８、または、メモリ１９１２が、頭に装着されるデバイスに設けられるか否かは、重要ではなく、理解され得るように、いくつかの場合には、電力、熱、及び、重量の観点から、ヘッドギアにプロセッサを共同設置することが便利であり得るが、少なくともいくつかの場合には、ディスプレイを含むヘッドギアに接続されたプロセッサ１９０８とメモリを有することが望まれ得る。
[000231] For example, if a cell phone processor is used as the
[000232] 様々な実施形態は、ヘッドマウントディスプレイ１９０５または１９０２を企図しているが、方法及び装置は、また、３Ｄ画像をサポートし得るヘッドマウントでないディスプレイとともに使用されることができる。従って、多くの実施形態において、システム１９００はヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装され得る。
[000232] While various embodiments contemplate head mounted
[000233] 再生システム１９００のオペレータは、入力デバイス１９０４を介して１つ以上のパラメータを制御し、及び／または、例えば、３Ｄシーン表示を選択する等、実行されるべき動作を選択し得る。Ｉ／Ｏインターフェース１９０６を介して、システム１９００は、外部デバイスに接続され、及び／または、他のデバイスと信号及び／または情報を交換し得る。いくつかの実施形態では、Ｉ／Ｏインターフェース１９０６を介して、システム１９００は、カメラリグ９００等のカメラリグの部分であり得る様々なカメラによって取り込まれた画像を受け取ることができる。
[000233] An operator of
[000234] 例えば、ＣＰＵ等のプロセッサ１９０８は、ルーチン１９１４を実行し、再生システム１９００を本発明に従って動作するように制御するために、様々なモジュールを使用する。プロセッサ１９０８は、再生システム１９００の全般的な動作を制御する責任がある。様々ないくつかの実施形態において、プロセッサ１９０８は、再生デバイスによって実行されているとして検討された機能を実行するように構成される。
[000234] For example, a
[000235] ネットワークインターフェース１６１０を介して、システム１９００は、例えば、通信ネットワーク１０５等の通信ネットワーク上で、様々な外部デバイスに、通信及び／または情報（例えば、画像及び／またはビデオコンテンツを含む）を通信し、及び／または、受け取る。ネットワークインターフェース１９１０は、それを介して受信と送信の動作が実行される受信機１９１１及び送信機１９１３を含む。いくつかの実施形態では、システムは、コンテンツプロバイダから、ネットワークインターフェース１９１０を介して１つ以上の選択されたコンテンツストリームを受け取る。いくつかの実施形態では、システム１９００は、インターフェース１９１０の受信機１９１１を介して、再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取る。受け取られたコンテンツストリームは、例えば、エンコードされたシーン部分１９５２等のエンコードされたデータとして受け取られ得る。受信機１９１１は、更に、例えば、番組ガイドの部分として、ストリーム情報１９４６、及び／または、初期化データを受け取るよう構成される。システム１９００は、更に、例えば、受信機１９１１を介して、異なる視野方向のための帯域幅制約を含む、帯域幅及び／またはデータレート割り当て制御情報１９５２を受け取り、個々の帯域幅制約は、当該個々の帯域幅制約に対応する視野方向に対応したコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大帯域幅を指定する。いくつかの実施形態では、受信機１９１１は、更に、例えば、初期化フェーズまたは他の時間の間等、３Ｄ表面の少なくとも一部の上に画像コンテンツをマッピングするために使用されるために、３Ｄ表面を規定する３Ｄ深さマップ等の少なくとも１つの環境マップ、及び、１つ以上のＵＶマップを受け取るように構成される。いくつかの実施形態では、受信機１９１１は、シーン環境の第１の部分に対応する第１のＵＶマップ、当該シーン環境の第２の部分に対応する第２のＵＶマップ、シーン環境の第３の部分に対応する第３のＵＶマップは、第４の部分に対応する第４のＵＶマップ、シーン環境の第５の部分に対応する第５のマップを受け取る。いくつかの実施形態において、初期化の間に、システム１９００は、例えば、インターフェース１９１０の受信機を介して、シーンの第１、第２、第３、第４、及び、第５の部分の１つ以上に対応する、例えば、画像等のコンテンツを受け取る。
[000235] Via the
[000236] メモリ１９１２は、プロセッサ１９０８によって実行されたとき、再生システム１９００を、本発明に従って、デコードと出力動作を実行するよう制御する、例えば、ルーチン等の様々なモジュールを含む。メモリ１９１２は、制御ルーチン１９１４、頭の位置決定モジュール１９１６、現在の視野位置初期化モジュール１９１８、デコーダモジュール１９２０、現在選択されるストリーム初期化モジュール１９２２、コンテンツ配信起動モジュール１９２４、画像バッファ（または、複数のバッファ）１９２６、画像バッファ更新モジュール１９２８、画像生成モジュールとも呼ばれる画像描画モジュール１９３０、利用可能な帯域幅及び／またはサポートされるデータレート決定モジュール１９３２、頭の位置変化決定モジュール１９３４、利用可能な帯域幅及び／またはサポートされるデータレート変化決定モジュール１９３６、ストリーム選択モジュール１９３８、選択されたストリームの組変更決定モジュール１９４０、選択されたストリームの組更新モジュール１９４２、ストリーム（または、複数のストリーム）終了モジュール１９４４、受け取られたストリーム情報を含むデータ／情報１９４６、受け取られた、帯域幅及び／またはデータレート割り当て情報１９４８、決定された現在の最大の利用可能な帯域幅及び／またはサポート可能なデータレート１９５０、受け取られたエンコードされた画像コンテンツ１９５２、受け取られた環境マップ１９５４、受け取られたＵＶマップ（または、複数のＵＶマップ）１９５６、デコードされた画像コンテンツ１９５８、及び、生成された３Ｄコンテンツ１９６０を含む。
[000236] The memory 1912 includes various modules, such as routines, that, when executed by the
[000237] 制御ルーチン１９１４は、システム１９００の動作を制御するために、デバイス制御ルーチンと通信ルーチンとを含む。頭の位置決定モジュール１９１６は、例えば、ヘッドマウントディスプレイの位置等のユーザの現在の頭の位置を決定するように構成される。例えば、頭の位置決定モジュール１９１６は、ヘッドマウントディスプレイを含むヘッドギア上にあってもよい位置センサと統合されてもよく、及び／または、連携して動作してもよい。現在の視野位置初期化モジュール１９１８は、例えば、初期化フェーズ中に、検出されたユーザの現在の頭の位置を前方（０度）視野位置に設定することによって、ユーザの現在の視野位置を、前方（０度）環境視野位置に初期化するように構成される。
[000237] The
[000238] デコーダモジュール１９２０は、デコードされた画像データ１９５８を生成するために、コンテンツ配信システム７００からの受け取られたエンコードされた画像コンテンツ１９５２をデコードするよう構成される。デコードされた画像データ１９５８は、デコードされた立体視シーン、及び／または、デコードされたシーン部分を含み得る。デコードされたコンテンツは、いくつかの実施形態では、１つ以上の画像バッファ１９２６に記憶される。現在選択されるストリーム初期化モジュール１９２２は、受け取られるべく選択される１つ以上のコンテンツストリームの現在の組を初期化するように構成される。現在選択されるストリーム初期化モジュール１９２２は、ストリームの現在選択された組を、環境／シーンの前方／正面部分に対応するコンテンツを通信する第１のストリームに設定するよう構成される。
[000238] The
[000239] コンテンツ配信起動モジュール１９２４は、選択されたコンテンツストリーム（または、複数のストリーム）の配信を起動するように構成される。いくつかの実施形態では、コンテンツ配信起動モジュール１９２４が、既に受け取られていない選択された組におけるコンテンツストリームの配信を起動する。いくつかの実施形態では、コンテンツ配信起動モジュール１９２４は、例えば、ストリームの現在の選択された組に対応するコンテンツを通信するコンテンツストリームに対応したマルチキャストグループ等、選択されたコンテンツストリームに対応するマルチキャストグループ（または、複数のマルチキャストグループ）に参加するための要求信号を送るように構成される。いくつかの他の実施形態では、コンテンツ配信起動モジュール１９２４は、ネットワーク内のデバイスに、選択されたコンテンツストリームが通信される切り替えデジタルチャネルの配信を要求する要求を生成し、送るように構成される。
[000239] The content
[000240] 画像バッファ更新モジュール１９２８は、例えば、コンテンツストリームの選択された組によって通信される、更新されたコンテンツが受け取られ、デコードされたとき、画像バッファ（または、複数の画像バッファ）１９２６を更新されたコンテンツで更新するように構成される。
[000240] The image
[000241] 画像描画モジュール１９３０は、ディスプレイ１９０２及び／またはディスプレイデバイス１９０５上でユーザに表示するために、例えば、デコードされた画像コンテンツ１９５８を用いて、本発明の特徴に従って、３Ｄ画像として知覚されるような方法で表示される、例えば、左と右の眼の画像等の３Ｄ画像を生成する。いくつかの実施形態において、画像描画モジュール１９３０は、ユーザの現在の視野領域に対応する、デコードされた画像コンテンツ１９５８、環境マップ１９５４、及び、ＵＶマップを使用した表示のためにコンテンツを描画するよう構成される。従って、いくつかの実施形態では、画像描画モジュール１９３０は、図１７に示されたステップに関して検討された機能を実行するように構成される。生成された画像コンテンツは、３Ｄ画像生成モジュール１９３０の出力である。従って、描画モジュール１９３０は、ディスプレイに、３Ｄ画像コンテンツ１９６０を描画する。いくつかの実施形態では、画像描画モジュール１９３０は、例えば、ディスプレイデバイスに、または、他のデバイスに、１つ以上の生成された画像を出力するように構成される。生成された画像は、ネットワークインターフェース１９１０及び／またはディスプレイデバイスインターフェース１９３０を介して出力され得る。
[000241]
[000242] 利用可能な帯域幅及び／またはサポートされるデータレート決定モジュール１９３２は、例えば、コンテンツストリームを受け取るために、所与の時間に利用可能であり得る、現在の最大の利用可能な帯域幅及び／または現在の最大のサポート可能なデータレートを決定するように構成される。利用可能な帯域幅及び／またはサポート可能なデータレートが、通信チャネル状態またはネットワーク問題における変化により時間とともに変化し得るので、いくつかの実施形態では、決定モジュール１９３２は、利用可能な帯域幅及び／またはサポートされるデータレートにおける変化を検出するために、継続的ベースで、モニタ及び／または決定を実行する。決定された現在の最大のサポート可能なデータレート及び／または帯域幅１９５０は、決定モジュール１９３２の出力であり、必要があるときに更新され得る。 [000242] Available bandwidth and / or supported data rate determination module 1932 may, for example, be the current maximum available bandwidth that may be available at a given time to receive a content stream. And / or configured to determine a current maximum supportable data rate. In some embodiments, the decision module 1932 may determine the available bandwidth and / or the available bandwidth and / or the supportable data rate because it may change over time due to changes in communication channel conditions or network issues. Or, monitor and / or make decisions on a continuous basis to detect changes in supported data rates. The determined current maximum supportable data rate and / or bandwidth 1950 is an output of the determination module 1932 and can be updated when needed.
[000243] 頭の位置変化決定モジュール１９３４は、例えば、頭の位置決定モジュール１９１６の出力における変化をチェック及び比較することによって、ユーザの頭の位置に変化があったかどうかを決定するように構成される。利用可能な帯域幅及び／またはサポートされるデータレート変化決定モジュール１９３６は、決定モジュール１９３２によって決定される、現在の最大の利用可能な帯域幅及び／または現在の最大のサポート可能なデータレートと比較して、利用可能な帯域幅及び／またはサポートされるデータレートに変化があるかどうかを検出するように構成される。
[000243] Head position
[000244] ストリーム選択モジュール１９３８は、ユーザの現在の頭の位置に基づいて、所定の時間での再生における使用のために、複数のコンテンツストリームのどれを受け取るかを選択するよう構成される。ユーザの現在の頭の位置及び／または他の要因における変化に基づいて、ストリーム選択モジュール１９３８は、異なる度に異なるストリーム（または、複数のストリーム）を選択することができる。ストリームの現在選択された組１９６１は、ストリーム選択モジュール１９３８の出力であり、受け取るために現在選択されたコンテンツストリームの組を示す。いくつかの実施形態では、ストリーム選択モジュール１９３８は、ストリーム選択動作の部分として、様々な機能を実行するように構成される複数のサブモジュールを含む。図２３は、ストリーム選択モジュール１９３８、及び、その中に含まれる様々なモジュールをより詳細に示し、後述される。
[000244] The
[000245] 選択されたストリームの組変更決定モジュール１９４０は、例えば、選択モジュールが１つ以上の追加のコンテンツストリームを選択することに因り、及び／または、受け取られている１つ以上のストリームが終了された／停止されたことに因り、ストリームの現在選択された組１９６１において変更があったかどうかを決定するよう構成される。選択されたストリームの組更新モジュール１９４２は、例えば、ストリーム１９６１の選択された組へのコンテンツストリームの追加または終了に因り、ストリームの選択された組への変更があった場合に、ストリームの選択された組への任意の変更を反映するために、現在の選択されたストリームの組１９６１を更新するように構成される。ストリーム（または、複数のストリーム）終了モジュール１９４４は、例えば、ストリームの現在選択された組１９６１がストリームの選択における変更故に更新されることに因り、以前に受け取られていたが、もはやストリームの現在選択される組にはない１つ以上のコンテンツストリームを受け取ることを終了／停止するよう構成される。
[000245] The selected stream set
[000246] ストリーム情報１９４６は、受け取ること、及び、再生における使用のために利用可能であり得る複数のコンテンツストリームに関する情報を含む。ストリーム情報１９４６に含まれる情報は、図１８に示され、先に検討されたのと同じまたは同様である。受け取られた、帯域幅及び／またはデータレート割り当て制御情報１９４８は、異なる視野方向のための帯域幅制約、及び／または、様々な異なる視野方向のためのコンテンツを提供するコンテンツストリームに対応するデータレート上の制約を示す情報を含む。決定された現在の最大のサポート可能なデータレート及び／または帯域幅１９５０は、所与の時間に、再生システム１９００によって決定される最大のサポート可能なデータレート及び／または帯域幅を示す。
[000246]
[000247] 受け取られた環境マップ１９５４は、３Ｄ表面を規定する環境の３Ｄ深さマップを含む。関心のある環境に対応する１つ以上のそのような深さマップは、いくつかの実施形態では、再生システム１９００によって受け取られ得る。受け取られたＵＶマップ（または、複数のＵＶマップ）１９５６は、関心のある環境／シーンの部分に対応する１つ以上のＵＶマップを含む。デコードされたデータ１９５８は、デコーダ１９２０によって、本発明に従ってデコードされたデータを含む。デコードされたデータ１９５８は、ストリームの選択された組によって通信された環境のシーンまたはシーン部分を含むコンテンツを含む。
[000247] The received
[000248] いくつかの実施形態では、上述の様々なモジュールは、ソフトウェアモジュールとして実装される。他の実施形態では、モジュールは、例えば、各モジュールが、モジュールが対応する機能を実行するための回路として実装される個々の回路として、ハードウェアで実装される。更に、他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。 [000248] In some embodiments, the various modules described above are implemented as software modules. In other embodiments, the modules are implemented in hardware, for example, as individual circuits where each module is implemented as a circuit for performing the corresponding function. Furthermore, in other embodiments, the modules are implemented using a combination of software and hardware.
[000249] メモリ１９１２に含まれる例が図１９に示されるが、再生デバイス１９００に含まれる図示されたモジュールは、例えば、個々の回路として、プロセッサ１９０８の中にハードウェアで全体が実装され得、及び、いくつかの実施形態では実装される。モジュールは、例えば、異なるモジュールに対応する個別の回路として、ハードウェアで全体が実装され得る、及び、いくつかの実施形態では実装される。他の実施形態において、モジュールのいくつかが、例えば、回路として、プロセッサ１９０８の中に実装され、他のモジュールが、プロセッサ１９０８の外部で接続される、例えば、回路として、実装される。理解されるべきであるように、プロセッサ上のモジュールの統合のレベル、及び／または、プロセッサの外部にあるいくつかのモジュールと共に、設計事項の１つであり得る。代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム１９００のメモリ１９１２に記憶され得、モジュールが、例えば、プロセッサ１９０８等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するために、システム１９００の動作を制御する。更に他の実施形態では、様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路がプロセッサ１９０８への入力を提供し、そして、プロセッサ１９０８が、ソフトウェア制御の下で、モジュールの機能の部分を実行するよう動作する。
[000249] Although an example included in the memory 1912 is shown in FIG. 19, the illustrated modules included in the
[000250] 図２３は、再生システム１９００において使用されるストリーム選択モジュールとその中に含まれる各種のモジュールとをより詳細に示す。ストリーム選択モジュールは、図１４−１６に関連して詳細に説明されたように、本発明の方法に従って１つ以上のコンテンツストリームを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュールは、ユーザの頭の位置、ストリーム情報１９４６、及び／または、最大のサポート可能なデータレートに基づいて、複数のコンテンツストリームのどれを受け取るかを選択するように構成される。いくつかの実施形態では、ストリーム選択モジュール１９３８は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度付けをするように構成されたストリームの優先度付けモジュール２３０６を含む。ストリームの優先度付けモジュール２３０６の出力は、例えば、割り当てられた優先度でコンテンツストリームの優先度付けリストである。ストリームの優先度付けモジュール２３０６は、以下に、図２４に関して更に詳細に説明される。
FIG. 23 shows in more detail the stream selection module used in the
[000251] ストリーム選択モジュール１９３８は、更に、例えば、帯域幅及び／またはデータレート制約に基づいて、最も高い優先度を有するストリームのために使用されるべき最大の帯域幅及び／またはデータレートを決定するように構成される最も高い優先度のストリームの最大の帯域幅及び／またはデータレート決定モジュール２３０８と、より低い優先度を有する各ストリームのために使用されるためのより低い優先度ストリーム（または、複数のストリーム）の最大の帯域幅及び／またはデータレート決定モジュール２３１０とを含む。決定モジュール２３０８、２３１０は、いくつかの実施形態におけるそれぞれの決定を行うために、帯域幅制御情報１９４８とストリーム優先度付けモジュール２３０６の出力を使用する。したがって、ストリーム選択モジュール１９３８は、例えば、ネットワークデバイス／サーバから、再生システムに通信された帯域幅制約に基づいて、少なくとも１つのコンテンツストリームのための帯域幅を決定するように構成された１つ以上のストリームの帯域幅決定モジュールを含み得る。
[000251] The
[000252] ストリーム選択モジュール１９３８は、更に、最も高い優先度のストリーム（または、複数のストリーム）のために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅及び／またはサポート可能なデータレートに基づいて、最も高い優先度のストリームがサポートされ得るかどうかを決定するよう構成されたモジュール２３１２と、サポートされ得る最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３１４とを含む。いくつかの実施形態では、選択モジュール２３１４は、最高の優先度を割り当てられた複数のコンテンツストリームから１つのコンテンツストリームを選択するように構成され、最も高い優先度に割り当てられた各コンテンツストリームは、同じ優先度を有する複数のコンテンツストリームから選択するように構成されることの部分として、同じ視線方向に対応するコンテンツを提供する。いくつかの実施形態において、モジュール２３１４は、利用可能な帯域幅の決定された量に基づいて、例えば、最も高い優先度等の同じ優先度を有する複数のコンテンツストリームから選択するように構成される。従って、いくつかの実施形態では、同じ優先度を有する複数のストリームが利用可能である、例えば、いくつかが、より低いデータレート要求を有する他のものと比較して高いデータレート要求をもつ、場合に、選択モジュール２３１４は、利用可能な帯域幅及び／またはサポート可能なデータレート、及び、帯域幅制約がそのような選択を可能にするならば、例えば、高データレートストリーム等の最も高い品質のストリームを選択する。
[000252] The
[000253] ストリーム選択モジュール１９３８は、更に、２番目に最も高い優先度ストリームのために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅（例えば、合計の利用可能な、または、残りの利用可能な）及び／またはサポート可能なデータレートに基づいて、２番目に最も高い優先度のストリームがサポートされ得るかどうかを決定するように構成されたモジュール２３１６、サポートされ得る２番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３１８、３番目に最も高い優先度のストリーム（または、複数のストリーム）のために決定された最大の帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅（例えば、合計の利用可能な、または、残りの利用可能な）及び／またはサポート可能なデータレートに基づいて、３番目の最も高い優先度ストリームがサポートされ得るかどうかを決定するよう構成されたモジュール２３２０、及び、サポートされ得る３番目に最も高い優先度の最も高いデータレートストリームを選択するよう構成されたモジュール２３２２を含む。従って、いくつかの実施形態では、ストリーム選択モジュール１９３８は、例えば、優先度付けモジュール２３０６により、最も高い優先度を割り当てられている１つ以上のコンテンツストリームを選択するように構成される。
[000253] The
[000254] ストリーム選択モジュール１９３８は、更に、例えば、１つ以上のより高い優先度のストリームが受け取りのために選択された後、追加のコンテンツストリームを受け取りための任意の残りのまたは追加の利用可能な帯域幅があるかどうかを決定するように構成される追加の容量／帯域幅利用可能性決定モジュール２３２４を含む。いくつかの実施形態では、ストリーム選択モジュール１９３８は、更に、１つ以上のより低い優先度ストリームのための最大の決定された最大帯域幅及び／またはデータレートに基づいて、及び、利用可能な帯域幅及び／またはサポート可能なデータレートに基づいて、サポートされ得る１つ以上のより低い優先度のストリームを選択するよう構成されたモジュール２３２６を含む。
[000254] The
[000255] 図２４は、ストリーム選択モジュール１９３８の、例えば、サブモジュールとして等の部分として、または、個別のモジュールとして実装され得るストリーム優先度付けモジュール２３０６を示す。ストリームの優先度付けモジュール２３０６は、ユーザの頭の位置に基づいて、コンテンツストリームの優先度を決定するように構成される。コンテンツストリームが優先度付けされると、ストリーム選択モジュール１９３８は、優先度付けされたコンテンツストリームからのストリーム選択を行うことができる。いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、ユーザの現在の頭の位置に基づいて、ユーザが見ているシーン領域の部分を示す、ユーザの現在の視界を特定するように構成された現在の視界特定モジュール２４０４と、ユーザの現在の視界に対応するコンテンツを通信するストリーム（または、複数のストリーム）を特定するよう構成された現在の視界ストリーム（または、複数のストリーム）特定モジュール２４０４を含む。現在の視界ストリーム（または、複数のストリーム）特定モジュール２４０４の出力は、いくつかの実施形態ではメモリ１９１２に記憶され得る特定されたストリームのリストであり、リストは、ユーザの頭の位置、従って、視界が変化すると更新され得る。従って、様々な実施形態では、様々な利用可能なコンテンツストリームを優先度付けするために、まず、ユーザの現在の視界が頭の位置に応じて特定され、視界に対応するコンテンツを通信するストリームが特定される。
[000255] FIG. 24 shows a
[000256] いくつかの実施形態では、ストリーム優度付けモジュール２３０６は、更に、特定されたストリーム（または、複数のストリーム）から、利用可能な、ユーザの現在の視界に対応するシーン領域の部分の大きさを決定するよう構成されたモジュール２４０６と、各ストリームが提供する部分の大きさに基づいて、ユーザの現在の視界に対応するシーン領域の部分を提供する１つ以上のストリームに優先度付与するように構成された優先度付与／割り当てモジュール２４０８を含む。いくつかの実施形態において、優先度付与／割り当てモジュール２４０８は、現在の視界に対応するシーンの最も大きな部分を提供するストリームをプライマリストリームとして指定する等、視界の最も大きい部分を提供するストリームに最も高い優先度を付与するように構成されたモジュール２４１０を含む。いくつかの実施形態では、優先度付与／割り当てモジュール２４０８は、更に、例えば、視界のより大きな部分を提供するストリームが、現在の視界に対応するシーンのより小さい部分を提供する他のストリームよりも高い優先度と指定を与えられて、残りのストリームの各々が提供する視界の部分の大きさに基づいて、残りのストリームに、次に最も高い優先度（または、複数の優先度）を付与し、指定する（例えば、２次、３次、等）ように構成されたモジュール２４１２を含む。
[000256] In some embodiments, the
[000257] いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、更に、現在の視界外のシーン領域に対応するコンテンツを提供するストリーム等、優先度付けされるべき残りのストリームが存在するかどうかを決定するように構成されたモジュール２４１４を含む。
[000257] In some embodiments, the
[000258] いくつかの実施形態では、ストリーム優先度付けモジュール２３０６は、更に、現在の視界への画像コンテンツの近接、または、頭の回転の方向の一方に基づいて、ユーザの現在の視界の外側のコンテンツを提供する１つ以上の追加のストリームに、例えば、優先度を付与する等の優先度付けをするよう構成されたモジュール２４１６を含む。いくつかの実施形態において、モジュール２４１６は、現在の視界の領域に接する画像コンテンツを通信するコンテンツストリームが、現在の視界の外で更に離れたコンテンツストリームより高い優先度を付与されるように、通信される画像コンテンツの現在の視界への近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームを優先度付けするように構成される。
[000258] In some embodiments, the
[000259] いくつかの実施形態において、モジュール２４１６は、ユーザの頭の回転が、例えば、ユーザの頭の位置における変化の部分として、検出されるかどうかを決定するように構成される頭の回転決定モジュール２４１８を含む。いくつかであるが全てではない実施形態において、ユーザが、空や屋根に向かって見上げる、または、地面に向かって見下ろす場合、頭の位置におけるそれからの変化はあるが、そのような頭の動きは頭の回転とはみなされない。いくつかの実施形態において、現在の視界の外だが、頭の回転の方向にある画像コンテンツを提供するコンテンツストリームが、頭の回転の方向から離れた方向で現在の視界の外にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与されるように、モジュール２４１６は、ユーザの頭の回転の方向に基づいて、１つ以上の追加のコンテンツストリームを優先度付けするよう構成される。いくつかのこのような実施形態では、モジュール２４１６は、更に、現在の視界の外のシーンの部分、例えば、シーン環境の頂部または底部、に対応するコンテンツを提供するストリームに、次により低い優先度（例えば、より高い優先度が、視界に対応するコンテンツを提供するストリームに付与された後）とストリーム指定、例えば、３次、を付与するように構成されたモジュール２４２０を含む。いくつかの実施形態では、頭の回転がないと決定された場合、頭の回転決定モジュールは、追加のストリームに優先度を付与するために、モジュール２４２０に制御入力を提供する。
[000259] In some embodiments, the
[000260] いくつかの実施形態において、モジュール２４１６は、更に、先の頭の位置に対するユーザの頭の回転の方向、例えば、左または右、を決定するよう構成される頭の回転の方向決定モジュール２４２２を含む。いくつかの実施形態では、モジュール２４１６は、更に、頭の回転の方向を考慮して、現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームに優先度を付与するように構成されたモジュール２４２４を含む。いくつかの実施形態において、モジュール２４２４は、頭の回転の方向にあるシーンの部分に対応するコンテンツを提供するストリームに、次により低い優先度（例えば、より高いものから次に利用可能な優先度）と、指定、例えば、３次ストリーム、とを付与するように構成されたモジュール２４２６を含む。従って、頭の回転が検出された場合、ストリームへの優先度の付与は、いくつかの実施形態において、頭の回転の方向に基づいて行われることが理解されるべきである。いくつかの実施形態において、モジュール２４１６は、更に、考慮されている残りのストリームのいずれかにより低い優先度を付与するように構成された追加モジュール２４２８を含む。
[000260] In some embodiments, the
[000261] 単一のプロセッサ、例えば、コンピュータ、として、図１９の実施形態に示されるが、プロセッサ１９０８は、例えば、１つ以上のコンピュータ等の１つ以上のプロセッサとして実装されてもよいことが理解されるべきである。ソフトウェアで実施される場合、モジュールは、プロセッサ１９０８によって実行されると、プロセッサ１９０８をモジュールに対応する機能を実装するように構成するコードを含む。図１９、２３、及び、２４に示される様々なモジュールがメモリ１９１２に記憶される実施形態では、メモリ１９１２は、例えば、プロセッサ１９０８等の少なくとも１つのコンピュータにモジュールが対応する機能を実装させるために、例えば、各モジュールのための個別のコード等のコードを備える、コンピュータが読出し可能な媒体を備えるコンピュータプログラム製品である。
[000261] Although illustrated in the embodiment of FIG. 19 as a single processor, eg, a computer, the
[000262] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用され得る。しかし、例えば、回路に実装されたモジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得る。理解されるべきであるように、図１９、２３、及び、２４に示されたモジュールは、図１４のフローチャート１４００に示された、及び／または、記載された対応するステップの機能を実行し、図１５−１７に示された対応するステップの機能を実行するために、システム１９００、または、プロセッサ１９０８等のその中の要素を制御し、及び／または、構成する。
[000262] Completely hardware based or fully software based modules may be used. However, for example, any combination of software and hardware, such as a module implemented in a circuit, can be used to implement a function. As should be understood, the modules shown in FIGS. 19, 23 and 24 perform the functions of the corresponding steps shown and / or described in the flowchart 1400 of FIG. Control and / or configure
[000263] 図２０Ａ、図２０Ｂ、図２０Ｃ、図２０Ｄ、及び、図２０Ｅの組合せを備える図２０は、様々な例示的な実施形態に従ってコンテンツ再生システムを動作させる例示的な方法のフローチャート２０００である。コンテンツ再生システムは、例えば、様々な実施形態に従って、ディスプレイに接続されたコンテンツ再生デバイスまたはコンピュータシステムである。
[000263] FIG. 20, comprising a combination of FIGS. 20A, 20B, 20C, 20D, and 20E, is a
[000264] 例示的な方法の動作は、コンテンツ再生システムが電源投入され、初期化されるステップ２００２で開始する。動作は、ステップ２００２から、コンテンツ再生システムが、前記環境の第１の後方視野部分に対応する第１の画像を受け取るステップ２００４に進む。動作は、ステップ２００４から、コンテンツ再生システムが前記環境の前記第１の後方視界部分に対応する前記受け取られた第１の画像を記憶するステップ２００６に進む。動作は、ステップ２００６から、コンテンツ再生システムが、前記環境の前記第１の後方視野部分に対応する少なくとも第２の画像を含む、前記環境の第１の後方視野部分に対応する１つ以上の追加の画像を受け取るステップ２００８に進む。動作は、ステップ２００８から、コンテンツ再生システムが、前記環境の前記第１の後方視野部分に対応する前記受け取られた１つ以上の追加の画像を記憶するステップ２０１０に進む。動作は、ステップ２０１０からステップ２０１２に進む。
[000264] The operation of the exemplary method begins at
[000265] ステップ２０１２において、コンテンツ再生システムは、前記環境の第２の後方視野部分に対応する第１の画像を受け取る。動作は、ステップ２０１２から、コンテンツ再生システムが前記環境の前記第２の後方視野部分に対応する前記受け取られた第１の画像を記憶するステップ２０１４に進む。動作は、ステップ２０１４から、前記環境の前記第２の後方視野部分に対応する少なくとも第２の画像を含む、前記環境の前記第２の後方視野部分に対応する１つ以上の追加の画像を受け取るステップ２０１６に進む。動作は、ステップ２０１６から、コンテンツ再生システムストアが、前記環境の前記第２の後方視野部分に対応する前記受け取られた１つ以上の追加の画像を記憶するステップ２０１８に進む。動作は、ステップ２０１８からステップ２０２０に進む。
[000265] In
[000266] ステップ２０２０において、コンテンツ再生システムは、前記環境の空の視野部分に対応する１つ以上の画像を受け取る。動作は、ステップ２０２０から、コンテンツ再生システムが、前記環境の前記空の視野部分に対応する前記受け取られた１つ以上の画像を記憶するステップ２０２２に進む。動作は、ステップ２０２２から、コンテンツ再生システムが、前記環境の地面の視野部分に対応する１つ以上の画像を受け取るステップ２０２４に進む。動作は、ステップ２０２４から、コンテンツ再生システムが、前記環境の前記地面の視野部分に対応する前記受け取られた１つ以上の画像を記憶するステップ２０２６に進む。いくつかの実施形態では、空の視野と地面の視野は、見る者の名目上の頭の位置の眺望に関して上と下の方向を指し、屋内環境だけでなく、屋外環境にも適用するために使用される。
[000266] In step 2020, the content playback system receives one or more images corresponding to an empty field of view of the environment. Operation proceeds from step 2020 to step 2022 where the content playback system stores the received one or more images corresponding to the empty field portion of the environment. Operation proceeds from
[000267] いくつかの実施形態では、画像は、例えば、特定の実施形態に応じて、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分の内のいくつかであるが、必ずしも全てではないものに対応して受け取られ得る。 [000267] In some embodiments, an image is included in, for example, a first rear view portion, a second rear view portion, an empty view portion, and a ground view portion, depending on the particular embodiment. Can be received corresponding to some, but not necessarily all.
[000268] 動作は、ステップ２０２６から、接続ノードＡ ２０２８を介して、ステップ２０３０に、ステップ２０３４に進み、及び、接続ノードＢ ２０３６を介して、ステップ２０２８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２に進む。ステップ２０３０に戻って、ステップ２０３０において、コンテンツ再生システムは、見る者の頭の位置を決定し、前記頭の位置は、現在の視界に対応する。動作は、ステップ２０３０から、決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するステップ２０３２に進む。動作は、ステップ２０３２から、ステップ２０３０に進む。ステップ２０３０と２０３２は、例えば、継続ベースで、繰り返し実行され、現在の視界は、例えば、リフレッシュされる等、更新される。決定された現在の視界は、出力画像の生成に使用されるために利用可能である。
[000268] Operation proceeds from
[000269] ステップ２０３４では、コンテンツ再生システムは、環境の第１の部分、例えば、前方部分の視野、に対応するコンテンツを提供する第１のコンテンツストリームを受け取る。 [000269] In step 2034, the content playback system receives a first content stream that provides content corresponding to a first portion of the environment, eg, a field of view of the front portion.
[000270] ステップ２０３８において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第１の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４０において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第１の後方視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000270] In
[000271] ステップ２０４２において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の後方視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４４において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記第２の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000271] In step 2042, the content playback system corresponds to the second rear view portion of the environment during playback time as measured against the playback time indicated in the first content stream. Control information indicating which of a plurality of previously communicated images to be displayed is received. In
[000272] ステップ２０４６では、コンテンツ再生デバイスは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０４８において、コンテンツ再生システムは、前記イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取る。
[000272] In
[000273] ステップ２０５０において、コンテンツ再生システムは、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の前記地面の視野部分に対応する複数の先に通信された画像のどれが表示されるべきかを示す制御情報を受け取る。ステップ２０５２において、コンテンツ再生デバイスは、前記イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取る。
[000273] In
[000274] 動作は、ステップ２０３２、ステップ２０３４から、及び、並列に実行され得るステップ（２０３８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２）から接続ノードＣ ２０５４を介して、接続ノードＤ ２０５６を介して、ステップ２０５８に進む。
[000274] The operations connect from
[000275] いくつかの実施形態では、ステップ２０３８、２０４０、２０４２、２０４４、２０４６、２０４８、２０５０、及び、２０５２からの制御情報は、制御情報が使用されるべきステップ２０３４の対応する第１のストリームコンテンツに、例えば、一度に少しずつの態様で、わずかに先立って送られる。いくつかの他の実施形態では、制御情報のブロックが、第１のコンテンツストリームを受け取ることの開始に先立って、または、同時に、受け取られる。
[000275] In some embodiments, the control information from
[000276] ステップ２０５８において、コンテンツ再生システムは、
環境の前方部分の視野等の第１の部分の視野に対応する第１のコンテンツストリームから受け取られたコンテンツ、
環境の第１の後方視野部分に対応する、記憶された受け取られた画像、
環境の第２の後方視野部分に対応する、記憶された受け取られた画像、
環境の空の視野部分に対応する、記憶された受け取られた画像、
環境の地面の視野部分に対応する、記憶された受け取られた画像、または、
画像が利用可能でない現在の視界の部分に対応する合成された画像、
の内の少なくとも１つに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０５８は、ステップ２０６０、２０６２、２０６４、２０６６、２０６８、２０７６、及び、２０７８を含む。
[000276] In
Content received from a first content stream corresponding to a field of view of the first part, such as a field of view of the front part of the environment;
A stored received image corresponding to a first rear view portion of the environment;
A stored received image corresponding to a second rear view portion of the environment;
A stored received image corresponding to an empty field of view of the environment,
A stored received image corresponding to the ground field of view of the environment, or
A composite image corresponding to the part of the current view where the image is not available,
One or more output images corresponding to the current field of view are generated based on at least one of.
[000277] ステップ２０６０において、コンテンツ再生システムは、１つ以上の出力画像を生成することにおいて使用されるように、現在の視界に基づいて、例えば、そのために利用可能なデータがある、視野部分の組を決定する。いくつかの例示的な決定された組は、例えば、｛｝、｛正面視野部分｝、｛第１の後方視野部分｝、｛第２の後方視野部分｝、｛空の視野部分｝、｛地面の視野部分｝、｛正面視野部分、空の視野部分｝、｛正面視野部分、地面の視野部分｝、｛正面視野部分、第１の後方視野部分｝、｛正面視野部分、第２の後方視野部分｝、｛正面視野部分、第１の後方視野部分、空の部分｝、｛正面視野部分、第２の後方視野部分、空の視野部分｝、｛正面視野部分、第１の後方視野部分、地面の視野部分｝、｛正面視野部分、第２の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、空の視野部分｝、｛第１の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、第２の後方視野部分｝、｛第１の後方視野部分、第２の後方視野部分、空の視野部分｝、｛第１の後方視野部分、第２の後方視野部分、地面の視野部分｝、｛第２の後方視野部分、空の視野部分｝、及び、｛第２の後方視野部分、地面の視野部分｝、を含む。 [000277] In step 2060, the content playback system is used in generating one or more output images, based on the current field of view, for example, data for which there is data available. Determine the pair. Some exemplary determined sets are, for example, {}, {front field part}, {first back field part}, {second back field part}, {sky field part}, {ground Field part}, {front field part, sky field part}, {front field part, ground field part}, {front field part, first rear field part}, {front field part, second rear field part Part}, {front field part, first back field part, sky part}, {front field part, second back field part, sky field part}, {front field part, first back field part, Ground field part}, {front field part, second rear field part, ground field part}, {first back field part, sky field part}, {first back field part, ground field part }, {First back view portion, second back view portion}, {first back view portion, second back view portion, Visual field portion}, {first rear visual field portion, second rear visual field portion, ground visual field portion}, {second rear visual field portion, empty visual field portion}, and {second rear visual field portion, Visual field portion of the ground}.
[000278] 動作は、ステップ２０６０からステップ２０６２に進む。ステップ２０６２において、コンテンツ再生システムは、以下の２つの条件が満たされているか否かを決定する：（ｉ）ステップ２０６０からの決定された視野部分の組は、第１の視野部分のみを含む、及び、（ｉｉ）第１の視野部分の外の現在の視界の部分はない。該決定が、決定された組が第１の視野部分のみを含み、第１の視野部分の外に現在の視界の部分はないことである場合、動作は、ステップ２０６２からステップ２０６４に進み、そうでなければ、動作は、ステップ２０６２からステップ２０６６へ進む。
[000278] Operation proceeds from step 2060 to step 2062. In
[000279] ステップ２０６４において、コンテンツ再生システムは、第１のコンテンツストリームからの受け取られたコンテンツに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。
[000279] In
[000280] ステップ２０６６において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の何れかの部分があるかどうかを決定する。コンテンツ再生システムが、画像が利用可能でない現在の視界の少なくとも１つの部分があると決定した場合、動作は、ステップ２０６６からステップ２０７６に進み、そうでない場合は、動作は、ステップ２０６６からステップ２０６８に進む。
[000280] In
[000281] ステップ２０６８において、コンテンツ再生システムは、１つ以上の出力画像を生成することにおいて使用されるように、視野部分の決定された組に基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０６８は、コンテンツ再生システムは、第１のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、前記環境の第２の部分に対応する記憶されたコンテンツとに基づいて、現在の視界に対応する１つ以上の出力画像を生成するステップ２０７０を含み得る、もしくは、時々含む。いくつかの実施形態において、ステップ２０７０は、ステップ２０７２、及び、２０７４の一方または両方を含む。ステップ２０７２において、コンテンツ再生システムは、受け取られた画像選択情報に基づいて、環境の第２の部分の視野に対応する画像を選択する。動作は、ステップ２０７２から２０７４に進む。ステップ２０７４において、コンテンツ再生システムは、時間の第２の点で取り込まれた前記第１のストリームから得られたコンテンツを、時間の前記第１の点に対応する第１の画像と組み合わせ、ここで、時間の前記第１と第２の点は異なる。 [000281] In step 2068, the content playback system uses one or more corresponding to the current field of view based on the determined set of field portions to be used in generating one or more output images. Generate an output image. Step 2068 allows the content playback system to enter the current view based on at least some received content included in the first content stream and stored content corresponding to the second portion of the environment. A step 2070 of generating one or more corresponding output images may or may not be included. In some embodiments, step 2070 includes one or both of steps 2072 and 2074. In step 2072, the content playback system selects an image corresponding to the field of view of the second portion of the environment based on the received image selection information. Operation proceeds from step 2072 to 2074. In step 2074, the content playback system combines the content obtained from the first stream captured at the second point in time with the first image corresponding to the first point in time, where The first and second points of time are different.
[000282] いくつかの実施形態では、第１の画像は、環境の第２の部分の第１の画像であり、第２の部分は、環境の第１の後方視野部分と環境の第２の後方視野部分の一方である。いくつかのそのような実施形態では、時間における第１の点は、時間における第２の点に先立つ時間に対応する。いくつかのそのような実施形態では、時間における第１の点は、第１のコンテンツストリームにおける画像が取り込まれる間のライブイベントの時間に先行する。 [000282] In some embodiments, the first image is a first image of a second portion of the environment, and the second portion includes a first rear view portion of the environment and a second image of the environment. It is one of the rear vision parts. In some such embodiments, the first point in time corresponds to the time prior to the second point in time. In some such embodiments, the first point in time precedes the time of the live event while images in the first content stream are captured.
[000283] ステップ２０７６に戻って、ステップ２０７６は、画像が利用可能でない各部分のために実行される。ステップ２０７６において、コンテンツ再生システムは、画像が利用可能でない前記現在の視界の部分のために画像を合成する。動作は、ステップ２０７６からステップ２０７８に進む。ステップ２０７８において、コンテンツ再生システムは、１つ以上の出力画像及び／または１つ以上の合成された画像を生成することにおいて使用されるように、環境の視野部分の決定された組に基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０７８によって生成される出力画像は、全体に合成された画像、合成された画像からのコンテンツと第１のコンテンツストリームからのコンテンツを含む画像、合成された画像からのコンテンツと第１のコンテンツストリームからのコンテンツと記憶された画像からのコンテンツを含む画像、及び、合成された画像からのコンテンツと記憶された画像からのコンテンツを含む画像を含み得る。様々な実施形態では、ステップ２０７８は、ステップ２０８０と２０８２の一方または両方を含み得、時には含む。
[000283] Returning to step 2076,
[000284] ステップ２０８０において、コンテンツ再生システムは、第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、環境の例えば第２の部分等の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成する。ステップ２０８２において、コンテンツ再生デバイスは、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせる。
[000284] In step 2080, the content playback system is based on at least some received content included in the first content stream and a composite image that simulates a portion, such as a second portion, of the environment. One or more output images corresponding to the current field of view are generated. In
[000285] 現在の視界は、経時的に変化し得る、及び、一般的には変化することが理解されるべきである。現在の視界の変化に応答して、出力画像を生成するために使用される、視野部分の異なる組が、ステップ２０６０において決定され、異なる画像が、例えば、画像のない視界の異なる部分に対応して、必要とされ得、ステップ２０７６において合成される。加えて、異なる度に、受け取られた制御情報に基づいて、異なる度に組み合された出力画像を生成することにおいて使用されるべく、異なる記憶された画像が特定され得る。
[000285] It should be understood that the current field of view can and will generally change over time. In response to changes in the current field of view, different sets of field portions used to generate the output image are determined in step 2060, with the different images corresponding to, for example, different portions of the field of view without an image. May be required and synthesized in
[000286] 動作は、ステップ２０５８から、接続ノードＥ ２０８４を介して、コンテンツ再生システムが、生成された１つ以上の出力画像を出力する、及び／または、表示するステップ２０８６に進む。ステップ２０８６は、コンテンツ再生システムが、第１の出力画像を出力し、及び／または、表示し、第１の出力画像は１つ以上の生成された出力画像の１つであるステップ２０８８を含む。
[000286] Operation proceeds from
[000287] いくつかの実施形態では、現在の視界に対応する、例えば、ステップ２０７０で生成された、生成された出力画像は、環境の第１の部分、環境の第２の部分、及び、環境の第３の部分からの情報を含み得、時には含む。いくつかの実施形態では、第１のコンテンツストリームに対応する環境の第１の部分は、正面視野部分であり、環境の第２の部分は、環境の、例えば、右後方視野部分である第１の視野部分、及び、例えば、左後方視野部分である第２の後方視野部分の一方であり、環境の第３の部分は、環境の空の視野部分と地面の視野部分の一方である。いくつかのそのような実施形態では、第１の部分に対応するコンテンツは、イベントが進行中の間、取り込まれ、前記再生システムにストリーミングされるリアルタイムコンテンツを含み、第２及び第３の部分に対応するコンテンツは、リアルタイムでない画像である。 [000287] In some embodiments, the generated output image corresponding to the current view, eg, generated in step 2070, is a first part of the environment, a second part of the environment, and the environment. Information, and sometimes including information from the third part. In some embodiments, the first portion of the environment corresponding to the first content stream is a front view portion and the second portion of the environment is a first portion of the environment, eg, the right rear view portion. And the second rear view portion, eg, the left rear view portion, and the third portion of the environment is one of the sky view portion of the environment and the ground view portion. In some such embodiments, the content corresponding to the first portion includes real-time content that is captured and streamed to the playback system while an event is in progress, and corresponds to the second and third portions. The content is an image that is not real time.
[000288] 様々な実施形態では、現在の視界に対応する出力画像を生成するためにコンテンツを組み合わせることは、例えば、環境の正面視野部分に対応する第１のコンテンツストリームから得られる画像、環境の第１の後方視野部分に対応する記憶された画像、環境の第２の後方視野部分に対応する記憶された画像、環境の空の視野部分に対応する記憶された画像、環境の地面視野部分に対応する記憶された画像、及び、画像がない現在の視界における領域に対応する合成された画像の内の任意の２つの間の境界領域といった１つ以上の境界領域において、フィルタリング、ぼかし、輝度変化、及び／または、色変化を行うことを含む。 [000288] In various embodiments, combining the content to generate an output image corresponding to the current view includes, for example, an image obtained from a first content stream corresponding to a front view portion of the environment, A stored image corresponding to the first back view portion of the environment, a stored image corresponding to the second back view portion of the environment, a stored image corresponding to the empty view portion of the environment, and a ground view portion of the environment Filtering, blurring, and luminance changes in one or more boundary regions such as the corresponding stored image and the boundary region between any two of the synthesized images corresponding to the region in the current view where there is no image And / or performing a color change.
[000289] いくつかの実施形態では、第１のコンテンツストリームに対応する、第１の、例えば、正面視野部分、及び、受け取られた画像が記憶される１つ以上の追加の部分によって覆われない、環境のいくつかの部分がある。様々な実施形態では、環境のそれらの覆われていない部分のために、画像が合成される。例えば、一実施形態では、空の視野部分に対応する記憶された画像が存在しないことがあり、現在の視界が空の視野の部分を含む場合、画像が合成される。他の例では、第１の後方視野部分と第２の後方視野部分との間に、例えば、覆われていない領域等の良く見えない場所（dead spot）が存在し得る。いくつかの実施形態では、画像を合成することは、環境中の隣接領域に対応して、例えば、記憶された画像の部分、または、受け取られた第１のコンテンツストリームから得られた画像の部分等の画像の部分を繰り返すことを含む。 [000289] In some embodiments, the first, eg, front view portion, corresponding to the first content stream and not covered by one or more additional portions where the received image is stored There are several parts of the environment. In various embodiments, images are composited for those uncovered parts of the environment. For example, in one embodiment, there may be no stored image corresponding to an empty field of view and if the current field of view includes an empty field of view, the image is synthesized. In other examples, there may be a dead spot between the first rear view portion and the second rear view portion, for example, an uncovered area. In some embodiments, compositing the images may correspond to adjacent regions in the environment, for example, a portion of the stored image or a portion of the image obtained from the received first content stream. Including repeating image portions such as.
[000290] いくつかの実施形態では、ステップ２０３４において受け取られた第１の画像コンテンツは、例えば、左と右の眼の画像のペアが受け取られるといった、左眼の画像と右眼の画像を含む立体視画像コンテンツである。いくつかのそのような実施形態において、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分に対応して受け取られ、記憶された画像は、左の眼の画像と右の眼の画像とを、例えば、ペアで、含む。従って、例えば、ステップ２０７０において、現在の視界に対応する１つ以上の出力画像を生成する場合、例えば、正面視野部分といった第１の視野部分に対応する第１のコンテンツストリームからの左眼の画像は、環境の１つ以上の他の部分に対応する記憶された左眼の画像と組み合され、例えば、正面視野部分等の第１の視野部分に対応する第１のコンテンツストリームからの右眼の画像は、環境の１つ以上の他の部分に対応する記憶された右画像と組み合される。 [000290] In some embodiments, the first image content received in step 2034 includes a left eye image and a right eye image, eg, a left and right eye image pair is received. This is stereoscopic image content. In some such embodiments, the received and stored images corresponding to the first back view portion, the second back view portion, the sky view portion, and the ground view portion are An eye image and a right eye image are included, for example, in pairs. Thus, for example, when generating one or more output images corresponding to the current field of view in step 2070, the left eye image from the first content stream corresponding to the first field portion, eg, the front field portion. Is combined with a stored left eye image corresponding to one or more other parts of the environment, eg, a right eye from a first content stream corresponding to a first field portion, such as a front field portion. Are combined with stored right images corresponding to one or more other parts of the environment.
[000291] いくつかの他の実施形態では、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分に対応する、受け取られ、記憶された画像は、画像の元のペアからの左眼の画像または右眼の画像を含み、または、例えば、視野部分を取り込むために単独で動作している単一のカメラからの、単一（モノ）の画像を含む。従って、そのような実施形態において、例えば、ステップ２０７０において、現在の視野に対応する１つ以上の出力画像を生成するとき、例えば、正面視野部分に対応する、第１のコンテンツストリームからの左眼画像と第１のコンテンツストリームからの対応する右眼の画像の両方が、他の視野部分からの同じ記憶された画像と組み合わされる。 [000291] In some other embodiments, received and stored images corresponding to a first back view portion, a second back view portion, an empty view portion, and a ground view portion are: Contains a left eye image or right eye image from the original pair of images, or a single (mono) image, eg, from a single camera operating alone to capture the field of view Including. Thus, in such an embodiment, for example in step 2070, when generating one or more output images corresponding to the current field of view, for example, the left eye from the first content stream corresponding to the front field of view portion. Both the image and the corresponding right eye image from the first content stream are combined with the same stored image from the other field of view.
[000292] 更に他の実施形態において、記憶された画像のいくつかは、左と右の眼の画像ペアの両方を含み、他方、他のものは単一の記憶された画像を含む。例えば、第１の後方視野部分に対応する記憶された受け取られた画像は、左と右の眼の画像のペアを含み得るが、他方、空の視野部分に対応する記憶された受け取られた画像は、ペアではなく、例えば、モノ画像といった単一の画像を含み得る。 [000292] In still other embodiments, some of the stored images include both left and right eye image pairs, while others include a single stored image. For example, the stored received image corresponding to the first rear view portion may include a pair of left and right eye images, while the stored received image corresponding to the empty view portion. May include a single image, for example a mono image, rather than a pair.
[000293] いくつかの実施形態において、例えば、第１のコンテンツストリームに対応する、環境の第１の部分は、第１の視野部分であり、環境の第２の部分は、例えば、見る者の右後方に対応する第１の後方視野部分、または、見る者の左後方に第２の後方視野部分等の後方視野部分であり、環境の第３の部分は空の視野部分または地面の視野部分である。いくつかのそのような実施形態では、画像は、第１、第２、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分についてより、前記第１の部分に対応するイベントのために、より多くの画像が受け取られる。いくつかのそのような実施形態では、前記第３の部分についてよりも、前記第２の部分に対応して、より多くの画像が受け取られる。 [000293] In some embodiments, for example, the first portion of the environment, corresponding to the first content stream, is a first view portion, and the second portion of the environment is, for example, a viewer's A first rear view portion corresponding to the right rear or a rear view portion such as a second rear view portion on the left rear of the viewer, and the third portion of the environment is an empty view portion or a ground view portion. It is. In some such embodiments, images are received at different rates corresponding to the first, second, and third portions, and more for the second portion, corresponding to the first portion. More images are received for the event. In some such embodiments, more images are received corresponding to the second portion than for the third portion.
[000294] いくつかの実施形態に従って、コンテンツ再生システムを動作させる例示的な方法は、以下を含む：
見る者の頭の位置を決定すること、前記頭の位置は現在の視界対応する、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ること、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツ、及び、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像に基づいて、１つ以上の出力画像を生成すること、及び、
第１の出力画像を出力する、または、表示すること、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
いくつかの実施形態において、コンテンツ再生システムは、コンテンツ再生デバイスである。いくつかの再生システムは、ディスプレイに接続されたコンピュータシステムである。
[000294] An exemplary method of operating a content playback system, according to some embodiments, includes:
Determining the position of the viewer's head, said head position corresponding to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
At least some received content included in the first content stream, and i) stored content corresponding to a second portion of the environment, or ii) a second portion of the environment Generating one or more output images based on the composite image to be simulated; and
Outputting or displaying the first output image, the first output image is one of the one or more generated output images.
In some embodiments, the content playback system is a content playback device. Some playback systems are computer systems connected to a display.
[000295] 様々な態様において、方法は、更に、以下を含む：
前記環境の第２の部分に対応する第１の画像を受け取ること、及び、
前記環境の前記第２の部分に対応する前記第１の画像を記憶すること。
[000295] In various embodiments, the method further comprises:
Receiving a first image corresponding to a second portion of the environment; and
Storing the first image corresponding to the second portion of the environment.
[000296] いくつかの実施形態では、前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、現在の視界に対応する１つ以上の出力画像を生成することは、時間の第２の点で取りこまれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせることを含み、時間の前記第１と第２の点は異なる。いくつかのそのような実施形態では、時間における前記第１の点は、時間における前記第２の点に先行する時間に対応する。いくつかのそのような実施形態では、前記第１のコンテンツストリームに含まれた画像が取り込まれる間のライブイベントの時間に先行する。 [000296] In some embodiments, the first image of the second portion of the environment corresponds to a first point in time and generates one or more output images corresponding to a current view. Doing includes combining content obtained from the first content stream captured at a second point in time with the first image corresponding to the first point in time, The first and second points are different. In some such embodiments, the first point in time corresponds to the time preceding the second point in time. In some such embodiments, it precedes the time of the live event while the images contained in the first content stream are captured.
[000297] 様々な実施形態において、方法は、更に、前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取ることを含み、前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む。 [000297] In various embodiments, the method further includes receiving one or more additional images corresponding to the second portion of the environment, the method corresponding to the second portion of the environment. The one or more additional images include at least a second image.
[000298] いくつかの実施形態において、方法は、前記第１のコンテンツストリームに示された再生時間に対して計測されたような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取ることを含む。 [000298] In some embodiments, a method corresponds to the second portion of the environment during a playback time as measured relative to the playback time indicated in the first content stream. Receiving control information indicating which of a plurality of previously communicated images is to be displayed.
[000299] いくつかの態様では、前記環境の第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。
いくつかのそのような実施形態において、方法は、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取ることを含む。
[000299] In some aspects, the second portion of the environment is one of a first back view portion, a second back view portion, an empty view portion, or a ground view portion.
In some such embodiments, the method further includes receiving one or more images corresponding to the third portion of the environment.
[000300] 様々な実施形態において、前記環境の前記第１の部分は正面視野部分であり、前記第３の部分は、空の視野または地面の視野部分の１つであり、画像は、前記第１、第２、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分についてより、前記第１の部分に対応するイベントに対応するイベントのために、より多くの画像が受け取られる。 [000300] In various embodiments, the first portion of the environment is a front view portion, the third portion is one of an empty view field or a ground view portion, and an image is the first view portion. More images are received for events corresponding to events corresponding to the first part than for the second part, received at different rates corresponding to the first, second and third parts. Received.
[000301] 様々な実施形態において、前記第１の部分に対応するコンテンツは、イベントが進行中であった間に前記再生デバイスに取り込まれ、ストリーミングされたリアルタイムコンテンツを含み、前記第２及び第３の部分に対応する前記画像に対応するコンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記イベントの部分の間に、環境の前記第２の部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取り、少なくともいくつかの受け取られたコンテンツに基づいて、現在の視界に対応する１つ以上の出力画像を生成することは、受け取られた画像選択情報に基づいて、環境の第２の部分に対応する画像を選択することを含む。 [000301] In various embodiments, the content corresponding to the first portion includes real-time content captured and streamed to the playback device while an event was in progress, the second and third The content corresponding to the image corresponding to the part is an image that is not real time. In some such embodiments, during the portion of the event, receiving image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used, and at least Generating one or more output images corresponding to the current view based on some received content is based on the received image selection information to generate an image corresponding to the second portion of the environment. Including selecting.
[000302] 様々な実施形態では、例示的な方法は、画像が前記現在の視界の部分のために利用可能でないことを決定すること、画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成すること、及び、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせることを含む。 [000302] In various embodiments, an exemplary method determines that an image is not available for a portion of the current view, for the portion of the current view where an image is not available. Combining the image to be used and combining the combined image with at least a portion of the received image to generate an image corresponding to the current field of view.
[000303] 様々な実施形態において、第１の画像コンテンツは、左眼の画像と右眼の画像を含む立体視画像コンテンツである。 [000303] In various embodiments, the first image content is a stereoscopic image content including a left-eye image and a right-eye image.
[000304] 図２１は、図１と７に示されたもの等のコンテンツ配信システムから受け取られた画像コンテンツを、受け取り、デコードし、記憶し、処理し、表示するために使用され得る、本発明に従って実装された例示的なコンテンツ再生システム２１００を示す。システム２１００は、ディスプレイ２１０２を含む単一の再生デバイス２１００‘として、または、コンピュータシステム２１００に接続された、例えば、ヘッドマウントディスプレイといった外部ディスプレイ等の要素の組み合わせとして、実装され得る。
[000304] FIG. 21 illustrates the present invention that can be used to receive, decode, store, process, and display image content received from a content distribution system such as that shown in FIGS. 1 illustrates an exemplary
[000305] 少なくともいくつかの実施形態では、コンテンツ再生システム２１００は、３Ｄヘッドマウントディスプレイ含む。ヘッドマウントディスプレイは、ヘッドマウントディスプレイ２１０５を含み得るＯｃｕｌｕｓ社のＲＩＦＴ（商標） ＶＲ（バーチャルリアリティ）ヘッドセットを使用して実装され得る。いくつかの実施形態では、ヘッドマウントディスプレイ２１０５は、ヘッドマウントディスプレイ８０５と同じである。他のヘッドマウントディスプレイも使用され得る。いくつかの実施形態では、１つ以上の表示スクリーンを有するヘッドマウントディスプレイ、または、他のヘッドマウントデバイスが、ユーザの左と右の眼にコンテンツを表示するために使用される。ヘッドマウントは、異なる眼に単一のスクリーンの異なる部分を晒すように構成され、単一のスクリーン上に左と右の眼に異なる画像を表示することによって、単一のディスプレイは、見る者の左と右の眼によって別々に知覚される左と右の眼の像を表示するために使用され得る。いくつかの実施形態では、セルフォンの画面が、ヘッドマウントディスプレイデバイスのディスプレイとして使用される。少なくともいくつかのそのような実施形態において、セルフォンは、ヘッドマウントデバイスに挿入され、セルフォンは、画像を表示するために使用される。
[000305] In at least some embodiments, the
[000306] コンテンツ再生システム２１００は、例えば、環境またはシーンの異なる部分に対応する左と右の眼の画像、及び／または、モノ（単一画像）である、受け取られたエンコードされた画像データをデコードし、例えば、ユーザによって３Ｄ画像として知覚される、異なる左と右の眼の画像を描画し、表示することによって、顧客に対する表示のための３Ｄ画像コンテンツを生成する能力を有する。いくつかの実施形態では、コンテンツ再生システム２１００は、家庭やオフィス等の顧客の宅内に設けられるが、同様に、画像取り込みサイトに設けられてもよい。コンテンツ再生システム２１００は、本発明に従って、信号受け取り、デコード、処理、生成、表示、及び／または、他の動作を実行し得る。
[000306] The
[000307] システム２１００は、ディスプレイ２１０２、ディスプレイデバイスインターフェース２１０３、入力デバイス２１０４、入力／出力（Ｉ／Ｏ）インターフェース２１０６、プロセッサ２１０８、ネットワークインターフェース２１１０、及び、メモリ２１１２を含む。メモリ２１１２は、例えば、ソフトウェアモジュールのアセンブリといったモジュール２１１４のアセンブリと、データ／情報２１１６を含む。いくつかの実施形態では、システム２１００は、例えば、回路等のハードウェアモジュールのアセンブリ等のモジュール２１１５のアセンブリを含む。システム２１００の様々なコンポーネントは、データがシステム２１００のコンポーネント間で、及び／または、他の接続によって、または、無線インターフェースを介して通信されることを可能にするバス２１０９を介して互いに接続される。いくつかの実施形態において、ディスプレイ２１０２は、破線の枠を用いて図示されるオプションの要素として含まれているが、ヘッドマウント立体視ディスプレイデバイス等の外部のディスプレイデバイス２１０５が、ディスプレイデバイスインターフェース２１０３を介して再生デバイスに接続され得る。
[000307] The
[000308] 例えば、セルフォンプロセッサがプロセッサ２１０８として使用され、セルフォンがヘッドマウントにおいて画像を生成し、表示する場合には、システムは、ヘッドマウントデバイスの部分として、プロセッサ２１０８、ディスプレイ２１０２、及び、メモリ２１１２を含み得る。プロセッサ２１０８、ディスプレイ２１０２、メモリ２１１２は、全て、セルフォンの部分であってよい。システム２１００の他の実施形態では、プロセッサ２１０８は、ディスプレイ２１０５がヘッドマウントデバイスに搭載され、ゲームシステムに接続されている、ＸＢＯＸまたはＰＳ４等のゲームシステムの部分であってよい。プロセッサ２１０８及び／またはディスプレイ２１１２が、頭に装着されるデバイスに設けられるか否かは重要ではなく、理解され得るように、いくつかの場合には、電力、熱、重量の観点から、ヘッドギアの中にプロセッサ２１０８を共存させることは便利であり得るが、少なくともいくつかの場合には、プロセッサ２１０８とメモリ２１１２を、ディスプレイを含むヘッドギアに接続されるようにすることが望まれ得る。
[000308] For example, if a cellphone processor is used as the
[000309] 様々な実施形態は、ヘッドマウントディスプレイ２１０５または２１０２を企図するが、方法と装置は、また、３Ｄ画像をサポートすることができる、ヘッドマウントでないディスプレイで使用され得る。従って、多くの実施形態において、システム２１００は、ヘッドマウントディスプレイ含むが、それは、また、ヘッドマウントでないディスプレイを用いて実装されることができる。
[000309] Although various embodiments contemplate a head mounted
[000310] メモリ２１１２は、プロセッサ２１０８によって実行されたとき、本発明に従った動作を実行するようコンテンツ再生システム２１００を制御する、例えば、ルーチンといった様々なモジュールを含む。メモリ２１１２は、例えば、ソフトウェアモジュールのアセンブリといったモジュール２１１４のアセンブリと、データ／情報２１１６とを含む。
[000310] The memory 2112 includes various modules, such as routines, that control the
[000311] データ情報２１１６は、以下の全ての内の１つ以上を含む：
第１の後方視野部分に対応する受け取られた画像２１１８、
第２の後方視野部分に対応する受け取られた画像２１２０、
空の視野部分に対応する受け取られた画像２１２２、及び、
地面の視野部分に対応する受け取られた画像。
後方視野部分に対応する例示的な受け取られた画像は、例えば、立っている聴衆または観衆の画像、座っている聴衆または観衆の画像、異なる可視広告をもった画像、応援している観衆の画像、等を含む。空の視野に対応する例示的な受け取られた画像は、例えば、晴天、異なる雲のパターン、異なる時間に対応する暗さの異なる程度、等を含む。
データ情報２１１６は、更に、以下の内の１以上または全てを含む：
第１の後方視野部分に対応する受け取られた制御情報２１３０、
第２の後方視野部分に対応する受け取られた制御情報２１３２、
空の視野部分に対応する受け取られた制御情報２１３４、及び
地面の視野部分に対応する受け取られた制御情報２１３６。
データ情報２１１６は、更に、
決定された現在の見る者の頭の位置２１２６、
決定された現在の視界２１２８、
例えば、正面視野部分に対応する右眼の画像と左眼の画像のペアを含む受け取られた第１のコンテンツストリーム２１２８、
例えば、組み合わせるために利用可能な少なくともいくつかの受け取られたコンテンツがある現在の視界に対応する、出力画像を生成することにおいて使用されるべき視野部分の決定された組２１３８、
合成された画像（または、複数の画像）２１４０、
生成された出力画像２１４２、
を含む。
生成された出力画像は、例えば、正面といった第１の視野部分に対応する第１のコンテンツストリームからの組み合わされた画像コンテンツを含み、例えば、後方視野部分、空の部分、または、地面の部分からの受け取られ記憶された画像の部分を含み、及び／または、合成された画像または合成された画像の部分を含む、生成された出力画像を含み得、時には含む。
[000311]
A received image 2118 corresponding to the first rear view portion,
A received
A received image 2122 corresponding to an empty field of view, and
The received image corresponding to the field of view of the ground.
Exemplary received images corresponding to the rear view portion include, for example, standing audience or audience images, sitting audience or audience images, images with different visual advertisements, and cheering audience images. , Etc. Exemplary received images corresponding to a sky field of view include, for example, clear sky, different cloud patterns, different degrees of darkness corresponding to different times, and the like.
Received control information 2134 corresponding to the sky field portion and received
The
The determined position 2126 of the current viewer's head,
The determined current field of
For example, a received
For example, a
A combined image (or multiple images) 2140,
Generated output image 2142,
including.
The generated output image includes the combined image content from the first content stream corresponding to the first field of view, eg, front, eg, from the back field part, the sky part, or the ground part And / or may include a generated output image that includes a portion of the received and stored image and / or a composite image or a portion of the composite image.
[000312] 図２２は、例示的な実施形態に従った図２１の例示的なコンテンツ再生システム２１００または図８のシステム８００に含まれ得るモジュールのアセンブリ２２００の図である。モジュール２２００のアセンブリにおけるモジュールは、例えば個別の回路等のプロセッサ２１０８の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。モジュールのアセンブリ２２００におけるモジュールは、例えば、異なるモジュールに対応する個別回路として、モジュールのアセンブリ２１１５の中のハードウェアに全体的に実装され得る、及び、いくつかの実施形態ではされる。他の実施形態において、モジュールのいくつかは、プロセッサ２１０８の中に、例えば、回路として、実装され、他のモジュールは、例えば、プロセッサ２１０８の外部に接続されたモジュールのアセンブリ２１１５の中の回路として、実装される。理解されるべきであるように、プロセッサ上の、及び／または、プロセッサの外部にあるいくつかのモジュールをもった、モジュールの集積のレベルは、設計上の選択肢の１つであってよい。
[000312] FIG. 22 is a diagram of an
[000313] 代替的に、回路として実装されるのではなく、モジュールの全てまたはいくつかは、ソフトウェアで実装され、システム２１００のメモリ２１１２に記憶され、モジュールは、例えば、プロセッサ２１０８等のプロセッサによって実行されるとき、モジュールに対応する機能を実装するようにシステム２１００の動作を制御する。いくつかのそのような実施形態では、モジュールのアセンブリ２２００は、モジュールのアセンブリ２１１４としてメモリ２１１２に含まれる。更に他の実施形態において、モジュールのアセンブリ２２００における様々なモジュールは、ハードウェアとソフトウェアの組み合わせとして実装され、例えば、プロセッサの外部の他の回路は、プロセッサ２１０８に入力を提供し、プロセッサは、次に、ソフトウェア制御の下、モジュールの機能の部分を実行するよう動作する。例えば、コンピュータ等の単一のプロセッサとして図２１の実施形態に示されているが、プロセッサ２１０８は、例えば、複数のコンピュータ等の１つ以上のプロセッサとして実装され得ることが理解されるべきである。
[000313] Alternatively, rather than being implemented as a circuit, all or some of the modules are implemented in software and stored in memory 2112 of
[000314] ソフトウェアで実装される場合、モジュールは、プロセッサ２１０８によって実行されると、モジュールに対応する機能を実装するようにプロセッサ２１０８を構成するコードを含む。モジュール２２００のアセンブリがメモリ２１１２に記憶されている実施形態では、メモリ２１１２は、例えば、プロセッサ２１０８等のコンピュータに、モジュールが対応する機能を実装させるために、各モジュールのための個別のコード等のコードを備えるコンピュータ読出し可能な媒体を備えるコンピュータプログラム製品である。
[000314] When implemented in software, a module, when executed by the
[000315] 完全にハードウェアベースの、または、完全にソフトウェアベースのモジュールが使用されてもよい。しかし、例えば、回路で実装モジュール等のソフトウェアとハードウェアとの任意の組み合わせが、機能を実装するために使用され得ることが理解されるべきである。理解されるべきであるように、図２２に示されたモジュールは、図２０のフローチャート２０００の方法に図示され、及び／または、記載された対応するステップの機能を実行するために、システム２１００、または、プロセッサ２１０８等のその中の要素を制御し、及び／または、構成する。従って、モジュール２２００のアセンブリは、図２０の１つ以上のステップに対応する機能を実行する様々なモジュールを含む。
[000315] Fully hardware based or fully software based modules may be used. However, it should be understood that any combination of software and hardware, such as, for example, a mounting module in a circuit, can be used to implement a function. As should be understood, the modules shown in FIG. 22 may be used to perform the functions of the corresponding steps illustrated and / or described in the method of
[000316] モジュール２２００のアセンブリは、見る者の頭の位置決定モジュール２２０２、現在の視界決定モジュール２２０４、コンテンツストリーム選択モジュール２２０６、コンテンツストリーム受け取りモジュール２２０８、画像受け取りモジュール２２１０、受け取られた画像記憶モジュール２２１２、制御情報受け取りモジュール２２１４、出力画像生成モジュール２２１６、出力モジュール２２４２、ディスプレイモジュール２２４４、及び、制御ルーチン２２４６を含む。
[000316] The assembly of
[000317] 見る者のヘッド位置決定モジュール２２０２は、見る者の頭の位置を決定するように構成され、前記頭の位置は、現在の視界に対応する。現在の視界決定モジュール２２０４は、前記決定された頭の位置に基づいて、前記見る者についての現在の視界を決定するように構成される。
[000317] The viewer's head
[000318] コンテンツストリーム選択モジュール２２０６は、例えば、見る者等のユーザ入力に基づいて、例えば、複数の代替のコンテンツストリームの中から、コンテンツストリームを選択するように構成される。異なるコンテンツストリームは、異なるイベントに対応し得る。様々な実施形態では、同じイベントに対応する異なるコンテンツストリームは、例えば、見る者に代替の正面視野観を提供するため等に、異なる方向を指す異なるカメラに対応する。いくつかの実施形態では、選択され得る、画像ストリームの少なくともいくつかが、左の眼の画像と右の眼の画像のペアを含む立体視画像コンテンツを含む。 [000318] The content stream selection module 2206 is configured to select a content stream from among a plurality of alternative content streams, for example, based on a user input such as a viewer, for example. Different content streams may correspond to different events. In various embodiments, different content streams corresponding to the same event correspond to different cameras pointing in different directions, eg, to provide an alternative front view to the viewer. In some embodiments, at least some of the image streams that may be selected include stereoscopic image content that includes a pair of left eye images and right eye images.
[000319] コンテンツストリーム受け取りモジュール２２０８は、環境の、例えば、前方部分の視野等の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成される。様々な実施形態において、第１のコンテンツストリームにおいて受け取られた、第1の画像コンテンツは、左眼の画像と右眼の画像のペアを含む立体視画像コンテンツである。
[000319] The content
[000320] 画像受け取りモジュール２２１０は、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分、及び、地面の視野部分、等の１つ以上の異なる視野部分に対応する画像を受け取るように構成される。画像受け取りモジュール２２１０は、前記環境の第２の部分に対応する第１の画像を受け取るように構成される。いくつかのそのような実施形態では、画像受け取りモジュールは、更に、環境の前記第２の部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、少なくとも第２の画像を含む環境の第２の部分に対応する。いくつかの実施形態では、前記環境の第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。いくつかの実施形態では、前記環境の第２の部分は、第１の後方視野部分、または、第２の後方視野部分の１つである。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の第３の部分に対応する１つ以上の画像を受け取るように構成される。いくつかの実施形態では、環境の第１の部分は、正面視野部分であり、環境の第３の部分は、空の視野または地面の視野部分の１つである。
[000320]
[000321] いくつかの実施形態において、画像受け取りモジュール２２１０は、前記環境の第１の後方視野部分に対応する第１の画像を受け取るように構成され、更に、前記環境の前記第１の後方視野部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、前記第１の後方視野部分に対応する少なくとも第２の画像を含む前記第１の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の第２の後方視野部分に対応する第１の画像を受け取るよう構成され、更に、前記環境の第２の後方視野部分に対応する１つ以上の追加の画像を受け取るように構成され、前記１つ以上の追加の画像は、前記第２の後方視野部分に対応する少なくとも第２の画像を含む前記第２の後方視野部分に対応する。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の空の視野部分に対応する１つ以上の画像を受け取るように構成される。いくつかの実施形態では、画像受け取りモジュール２２１０は、前記環境の地面の視野部分に対応する１つ以上の画像を受け取るように構成される。
[000321] In some embodiments, the
[000322] 受け取られた画像記憶モジュール２２１２は、画像受け取りモジュール２２１２によって受け取られた画像を記憶するように構成される。受け取られた画像記憶モジュール２２１２は、環境の前記第２の部分に対応する第１の画像を記憶するように構成される。受け取られた画像記憶モジュール２２１２は、環境の第２の部分に対応する１つ以上の追加の画像を記憶するように構成される。受信された画像記憶モジュール２２１２は、前記環境の第３の部分に対応する、受け取られた１つ以上の画像を記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記第１の後方視野部分に対応する第１の画像と、前記環境の第１の後方視野部分に対応する１つ以上の追加の画像とを記憶するように構成される。様々な実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記第２の後方視野部分に対応する第１の画像と、前記環境の第２の後方視野部分に対応する１つ以上の追加の画像とを記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記空の視野部分に対応する１つ以上の画像に記憶するように構成される。いくつかの実施形態では、受け取られた画像記憶モジュール２２１２は、前記環境の前記地面の視野部分に対応する１つ以上の画像を記憶するように構成される。
[000322] The received
[000323] 制御情報受け取りモジュール２２１４は、第１のコンテンツストリームに示された再生時間に対して測定されるような再生時間の間、前記環境の第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。様々な実施形態では、制御情報受け取りモジュール２２１４は、更に、第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間、前記環境の第３の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の第３の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成される。
[000323] The control
[000324] いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第１の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記第１の後方視野部分に対応する複数の画像のどれが表示されるべきかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の後方視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記第２の後方視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000324] In some embodiments, the control
[000325] いくつかの実施形態では、情報制御受け取りモジュール２２１４は、第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記空の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記空の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、前記第１のコンテンツストリームにおける再生時間に対して測定されるような再生時間の間に、前記環境の前記地面の視野部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成される。いくつかの実施形態では、制御情報受け取りモジュール２２１４は、イベントの部分の間に、環境の前記地面の視野部分に対応する複数の画像のどれが使用されるべきであるかを示す画像選択情報を受け取るように構成される。
[000325] In some embodiments, the information
[000326] 出力画像生成モジュール２２１６は、環境の第１の部分の視野に対応する第１のコンテンツストリームからの受け取られたコンテンツ、環境の第１の後方視野部分に対応する記憶された受け取られた画像、環境の第２の後方視野部分に対応する記憶された受け取られた画像、環境の空の視野部分に対応する記憶された受け取られた画像、環境の地面の視野部分に対応する記憶された受け取られた画像、または、画像が利用可能でない現在の視界の部分に対応する合成された画像、の少なくとも１つに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。出力画像生成モジュール２２１６は、視野部分の組決定モジュール２２１８、コンテンツストリームのみの決定モジュール２２２０、欠落部分決定モジュール２２２２、画像合成器モジュール２２２４、コンテンツストリーム出力画像生成モジュール２２２６を含む。合成された出力画像生成モジュール２２２８、出力画像のコンテンツストリームベース生成モジュール２２３０、出力画像のストリームベースでない生成モジュール２２３６も含む。
[000326] The output
[000327] 視野部分の組決定モジュール２２１８は、１つ以上の出力画像を生成することにおいて使用されるために、現在の視界に基づいて、前記環境の、例えば、少なくともいくつかの利用可能な画像コンテンツが存在する、視野部分の組を決定するように構成される。いくつかの例示的な決定された組は、例えば、｛｝、｛正面視野部分｝、｛第１の後方視野部分｝、｛第２の後方視野部分｝、｛空の視野部分｝、｛地面の視野部分｝、｛正面視野部分、空の視野部分｝、｛正面視野部分、地面の視野部分｝、｛正面視野部分、第１の後方視野部分｝、｛正面視野部分、第２の後方視野部分｝、｛正面視野部分、第１の後方視野部分、空の視野部分｝、｛正面視野部分、第２の後方視野部分、空の視野部分｝、｛正面視野部分、第１の後方視野部分、地面の視野部分｝、｛正面視野部分、第２の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、空の視野部分｝、｛第１の後方視野部分、地面の視野部分｝、｛第１の後方視野部分、第２の後方視野部分｝、｛第１の後方視野部分、第２の後方視野部分、空の視野部分｝、｛第１の後方視野部分、第２の後方視野部分、地面の視野部分｝、｛第２の後方視野部分、空の視野部分｝、及び、｛第２の後方視野部分、地面の視野部分｝、を含む。
[000327] The field portion set
[000328] コンテンツストリームのみの決定モジュール２２２０は、１つ以上の出力画像が、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分または地面の視野部分、または、合成された画像等の他の部分の視野からの記憶された受け取られた画像に依存する必要なしに、第１のコンテンツストリーム内のコンテンツに基づいて生成されるべきであるかどうかを決定するよう構成される。コンテンツストリームのみの決定モジュール２２２０は、決定された組が、第１のコンテンツストリームに対応する、例えば、正面の、第１の視野部分である単一の要素を含むかどうかをチェックし、及び、視界が、例えば、正面等の第１の視野部分の中にあるがどうかをチェックするように構成される。
[000328] The content stream only
[000329] 欠落部分決定モジュール２２２２は、画像が現在の視界の部分のために利用可能でないこと、例えば、画像が、環境の正面視野に対応する第１のコンテンツストリームから、または、環境の他の部分に対応する受け取られた記憶された画像からの何れかから利用可能でないことを決定するように構成される。画像合成器モジュール２２２４は、画像が利用可能でない前記現在の視界の部分のために使用されるべき画像を合成するように構成される。様々な実施形態では、画像合成モジュール２２２４は、例えば、境界上のいくらかのつなぎを可能にするために、欠落している部分を埋めるために必要とされるよりも僅かに大きい合成された画像を生成する。
[000329] The missing part determination module 2222 determines that the image is not available for a portion of the current view, eg, the image is from a first content stream corresponding to the front view of the environment or other of the environment It is configured to determine that it is not available from any of the received stored images corresponding to the portion.
[000330] コンテンツストリーム出力画像生成モジュール２２２６は、決定された組が、例えば、正面視野部分等の第１の視野部分だけを含み、例えば、コンテンツストリームのみの決定モジュール２２２０によって決定されるように、第１の視野部分の外に現在の視界の部分がない場合に、第１のコンテンツストリームからの受け取られたコンテンツのみに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。いくつかの実施形態では、コンテンツストリーム出力画像生成モジュール２２２６は、第１のコンテンツストリームから得られた画像に対してトリミング動作を実行する。
[000330] The content stream output
[000331] 出力画像のコンテンツストリームベース生成モジュール２２３０は、例えば、正面視野に対応するコンテンツストリームといった第1のコンテンツストリームに含まれる少なくともいくつかの受け取られたコンテンツと、ｉ）第１の後方視野、第２の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ、または、ｉｉ）画像が利用可能でない視界の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。環境の第２の部分に対応する記憶されたコンテンツは、例えば、受け取られた画像記憶モジュール２２１２によって記憶された、記憶された画像である。合成画像は、例えば、モジュール２２２４によって生成された画像である。いくつかの実施形態では、出力画像のコンテンツストリームベース生成モジュール２２３０は、現在の視界に対応する１つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000331] The output image content stream
[000332] 出力画像のコンテンツストリームベース生成モジュール２２３０は、生成されている出力画像の中に１つ以上の合成画像を組み込むように構成された合成された画像組み込みモジュール２２３２を含む。合成された画像組み込みモジュール２２３２は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、受け取られた第１のコンテンツストリームから得られた、例えば、正面視野部分の、第１の視野部分からの受け取られた画像、または、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つに対応する記憶された受け取られた画像、等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組込みモジュール２２３４は、生成されている出力画像に、１つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール２２３０、モジュール２２３２、及び／または、モジュール２２３４は、境界領域において混ぜ合わせ（ブレンド）を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び／または、色変化を含む。
[000332] The output image content stream
[000333] 出力画像のストリームベースでない生成モジュール２２３６は、ｉ）例えば、第１の後方視野、第２の後方視野、空の視野または地面の視野に対応する記憶されたコンテンツ等の環境の部分に対応する記憶されたコンテンツ、または、ｉｉ）例えば、画像が利用可能ではない視界の部分をシミュレートする合成画像等の環境の部分シミュレートする合成画像、の少なくとも一方に基づいて、現在の視界に対応する１つ以上の出力画像を生成するように構成される。モジュール２２３６は、現在の視界が、第１のコンテンツストリームに対応する、例えば、正面視野といった第１の部分に対応する領域の外にある場合、１つ以上の画像を生成する。いくつかの実施形態では、出力画像のコンテンツストリームベースでない生成モジュール２２３６は、現在の視界に対応する１つ以上の出力画像を生成するように構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000333] The non-stream-based
[000334] 出力画像のストリームベースでない生成モジュール２２３６は、生成されている出力画像の中に、１つ以上の合成された画像を組み込むよう甲構成された合成された画像組込みモジュール２２３８を含む。合成された画像組み込みモジュール２２３８は、現在の視界に対応する画像を生成するために、合成された画像を、例えば、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分からの受け取られた画像等の受け取られた画像の少なくとも部分と組み合わせるよう構成される。記憶された画像組み込みモジュール２２４０は、生成されている出力画像に、１つ以上の記憶された画像の部分を組み込むように構成される。出力画像を生成することの部分として、モジュール２２３６、モジュール２２３２、及び／または、モジュール２２３４は、境界領域において混ぜ合わせ（ブレンド）を実行する。様々な実施形態において、混ぜ合わせることは、フィルタリング、ぼかし、輝度変化、及び／または、色変化を含む。
[000334] The output image non-stream-based
[000335] 出力モジュール２２４２は、例えば、出力画像のコンテンツストリームベース生成モジュール２１３０、コンテンツストリーム出力画像生成モジュール２２２６、出力画像のコンテンツストリームベースでない生成モジュール２２３６によって生成される等の１つ以上の生成された出力画像を出力するように構成され、前記１つ以上の出力画像は、第１の出力画像を含む。出力モジュールは、例えば、ネットワークインターフェース２１１０及び／またはディスプレイデバイスインターフェース２１０３を介して、第１の出力画像を出力するように構成される。
[000335] The
[000336] ディスプレイモジュール２２４４は、例えば、出力画像のコンテンツストリームベース生成モジュール２２３０、コンテンツストリーム出力画像生成モジュール２２２６、及び、出力画像のコンテンツストリームベースでない生成モジュール２１３６によって生成される、１つ以上の生成された出力画像を表示するように構成され、前記１つ以上の出力画像は第１の出力画像を含む。ディスプレイモジュール２２４４は、例えば、ディスプレイ２１０２及び／またはディスプレイ２１０５を介して、第１の出力画像を表示するように構成される。
[000336] The
[000337] 制御ルーチン２２４６は、システム２１００の動作を制御するために、デバイス制御ルーチンと通信ルーチンを含む。
[000337] The
[000338] 例えば、図２１のシステム２１００等の例示的なコンテンツ再生システム、いくつかの実施形態に従って、以下を含む：
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュール２２０２、前記頭の位置は、現在の視界に対応する；
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るように構成されるコンテンツストリーム受け取りモジュール；
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、現在の視界に対応する１つ以上の出力画像を生成するよう構成される出力画像のコンテンツストリームベース生成モジュール２２３０； 及び、
第１の出力画像を出力するように構成された出力モジュール２２４２、または、第１の出力画像を表示するよう構成されたディスプレイモジュール２２４４の少なくとも１つ、前記第１の出力画像は、１つ以上の生成された出力画像の１つである。
[000338] For example, an exemplary content playback system, such as
A viewer's head
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment An output image content stream
At least one
[000339] いくつかの実施形態では、前記コンテンツ再生システム２１００は、コンテンツ再生デバイス２１００’である。いくつかの実施形態では、コンテンツ再生システム２１００は、ディスプレイ２１０５に接続されたコンピュータシステム２１００’である。
[000339] In some embodiments, the
[000340] いくつかの実施形態では、システムは、更に、以下を備える：
前記環境の前記第２の部分に対応する第１の画像を受け取るように構成された画像受け取りモジュール２２１０； 及び
前記環境の前記第２の部分に対応する前記第１の画像を記憶するように構成された受け取られた画像記憶モジュール２２１２。
[000340] In some embodiments, the system further comprises:
An
[000341] 様々な実施形態では、前記環境の前記第２の部分の前記第１の画像は、時間の第１の点に対応し、前記出力画像のコンテンツストリームベース生成モジュール２２３０は、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせるように構成され、時間の前記第１及び第２の点は異なる。いくつかのそのような実施形態では、時間の前記第１の時点は、時間の前記第２の点に先行する時間に対応する。様々な実施形態では、時間の前記第１の点は、その間に前記第１のコンテンツストリームに含まれた画像が取り込まれるライブイベントの時間に先行する。
[000341] In various embodiments, the first image of the second portion of the environment corresponds to a first point in time, and the content stream
[000342] いくつかの実施形態では、前記画像受け取りモジュール２２１０は、更に、前記環境の前記第２の部分に対応する１つ以上の追加の画像を受け取るように構成され、前記環境の前記第２部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む。
[000342] In some embodiments, the
[000343] 様々な実施形態において、システムは、更に、前記第１のコンテンツストリームにおいて示された再生時間に対して測定されるような再生時間の間に、前記環境の前記第２の部分に対応する複数の以前に通信された画像のどれが表示されるべきかを示す制御情報を受け取るように構成された制御情報受け取りモジュール２２１４を備える。
[000343] In various embodiments, the system further corresponds to the second portion of the environment during playback time as measured against the playback time indicated in the first content stream. A control
[000344] いくつかの実施形態では、前記環境の前記第２の部分は、第１の後方視野部分、第２の後方視野部分、空の視野部分、または、地面の視野部分の１つである。いくつかのそのような実施形態において、前記画像受け取りモジュール２２１０は、更に、前記環境の第３の部分に対応する１つ以上の画像を受け取るように構成される。
[000344] In some embodiments, the second portion of the environment is one of a first back view portion, a second back view portion, an empty view portion, or a ground view portion. . In some such embodiments, the
[000345] いくつかの実施形態では、前記環境の前記第１の部分は正面視野部分であり、前記第３の部分は、空の視野または地面の視野部分の１つであり、画像は、前記第１、第２、及び、第３の部分に対応した異なるレートで受け取られ、より多くの画像が、第２の部分のためよりも、第１の部分に対応するイベントのために受け取られる。 [000345] In some embodiments, the first portion of the environment is a front view portion, the third portion is one of a sky view portion or a ground view portion, and an image is More images are received at different rates corresponding to the first, second, and third portions, and more images are received for events corresponding to the first portion than for the second portion.
[000346] いくつかの実施形態では、前記第１の部分に対応する前記コンテンツは、イベントが進行している間に取り込まれ、前記再生デバイスにストリーミングされるリアルタイムコンテンツを含み、前記第２と第３の部分に対応する前記コンテンツは、リアルタイムでない画像である。いくつかのそのような実施形態では、前記制御情報受け取りモジュール２２１４は、更に、前記イベントの部分の間に、環境の前記第２の部分に対応する複数の画像のどれが使用されるべきかを示す画像選択情報を受け取るように構成され、出力画像のコンテンツストリームベース生成モジュール２２３０は、現在の視界に対応する１つ以上の画像を生成するよう構成されることの部分として、受け取られた画像選択情報に基づいて、環境の前記第２の部分に対応する画像を選択するように構成される。
[000346] In some embodiments, the content corresponding to the first portion includes real-time content that is captured and streamed to the playback device while an event is in progress, the second and second The content corresponding to the
[000347] 様々な実施形態において、システムは、更に、画像が前記視界の部分のために利用可能でないことを決定する欠落部分決定モジュール２２２２と、画像が利用可能でない前記視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュール２２２４と、現在の視界に対応する画像を生成するために、合成された画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組込みモジュール２２３２とを備える。
[000347] In various embodiments, the system further includes a missing portion determination module 2222 for determining that an image is not available for a portion of the view, and for the portion of the view where an image is not available. An
[000348] 様々な実施形態においては、前記第１の画像コンテンツは、左眼の画像と右眼の映像を含む立体視画像コンテンツである。 [000348] In various embodiments, the first image content is a stereoscopic image content including a left-eye image and a right-eye image.
[000349] いくつかの実施形態では、モジュールのアセンブリ２２００は、例えば、図８に示された他のモジュールに加えて、図８のコンテンツ再生システム８００に含まれる。モジュールのアセンブリ２２００内のモジュールは、システム８００の中で、バス８０９に接続され、メモリ８１２の中に、プロセッサ８０８の中に、及び／または、プロセッサ８０８の外部のハードウェアモジュールとして、含まれてもよい。
[000349] In some embodiments, the
[000350] 図２３は、いくつかの実施形態に従って再生システム１９００において使用され得る例示的なストリーム選択モジュール１９３８を示す図２３００である。
[000350] FIG. 23 is a drawing 2300 illustrating an exemplary
[000351] 図２４は、図２３のストリーム選択モジュールの部分として、または、個別のモジュールとして実装され得る例示的なストリーム優先度付けモジュール２３０６を示す図２４００である。
[000351] FIG. 24 is a drawing 2400 illustrating an exemplary
[000352] いくつかの実施形態は、立体視映像をエンコードし、圧縮するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装する非一時的なコンピュータ可読媒体に向けられる。他の実施形態は、プレーヤ側で映像をデコードし、解凍するようにコンピュータまたは他のデバイスを制御するために、例えば、コンピュータが実行可能な命令等のソフトウェア命令の組を実装するコンピュータ可読媒体に向けられた実施形態である。エンコード及び圧縮は可能な別個の動作として述べられるが、エンコードは圧縮を実行するために使用され得、従って、エンコードは圧縮を含み得ることが理解されるべきである。同様に、デコードは解凍を含み得る。 [000352] Some embodiments implement a set of software instructions, such as instructions executable by a computer, to control a computer or other device to encode and compress stereoscopic images, for example. Directed to temporary computer-readable media. Other embodiments may be implemented on a computer-readable medium that implements a set of software instructions, such as, for example, computer-executable instructions, to control a computer or other device to decode and decompress video on the player side. FIG. 6 is a directed embodiment. Although encoding and compression are described as possible separate operations, it should be understood that encoding can be used to perform compression, and thus encoding can include compression. Similarly, decoding can include decompression.
[000353] 様々な実施形態の技術は、ソフトウェア、ハードウェア、及び／または、ソフトウェアとハードウェアの組合せを用いて実装され得る。様々な実施形態は、例えば、画像データ処理システム等の機器に向けられる。様々な実施形態は、また、例えば、画像データを処理する方法等の方法に向けられる。様々な実施形態は、また、コンピュータ等の非一時的な機器や、例えば、方法の１つ以上のステップを実装するように機器を制御するための機器が読取り可能な命令を含む、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク、等の読取り可能な媒体に向けられる。 [000353] The techniques of various embodiments may be implemented using software, hardware, and / or a combination of software and hardware. Various embodiments are directed to devices such as, for example, image data processing systems. Various embodiments are also directed to methods such as, for example, methods for processing image data. Various embodiments also include non-transitory equipment such as a computer, ROM, RAM, including instructions readable by the equipment for controlling the equipment to implement one or more steps of the method, for example. , CDs, hard disks, etc.
[000354] 本発明の様々な特徴は、モジュールを使用して実装される。そのようなモジュールは、ソフトウェアモジュールとして実装され得、また、いくつかの実施形態では実装される。他の実施形態では、モジュールは、ハードウェアで実装される。更に他の実施形態では、モジュールは、ソフトウェアとハードウェアの組み合わせを使用して実装される。いくつかの実施形態では、モジュールは、個別の回路として実装され、各モジュールが、該モジュールが対応する機能を実行するための回路として実装される。多様な実施形態は、例えば、いくつかがハードウェアの中に、いくつかがソフトウェアの中に、いくつかがハードウェアとソフトウェアの組み合わせを使用してといったように、異なるモジュールが異なって実装されるいくつかの実施形態を含むよう企図される。また、ルーチン及び／またはサブルーチン、または、そのようなルーチンによって実行されるステップのいくつかは、汎用プロセッサ上で実行されるソフトウェアと対照的に、専用のハードウェアで実装されてもよいことを注記する。そのような実施形態は、本発明の範囲内に留まる。上記の方法または方法ステップの多くは、上述の方法の全てまたは部分を実装するように、例えば、追加のハードウェアをもった、または、もたない汎用コンピュータ等の機械を制御するために、例えば、ＲＡＭ、フロッピー（登録商標）ディスク等のメモリデバイス等の機械が読取り可能な媒体に含まれる、ソフトウェア等の機械が実行可能な命令を使用して実装され得る。従って、他のものもある中で、本発明は、例えば、プロセッサ及び関連するハードウェア等の機械に上述された方法（または、複数の方法）のステップの１つ以上を実行させるための機械が実行可能な命令を含む機械が読取り可能な媒体に向けられる。 [000354] Various features of the present invention are implemented using modules. Such a module may be implemented as a software module, and in some embodiments is implemented. In other embodiments, the module is implemented in hardware. In yet other embodiments, the modules are implemented using a combination of software and hardware. In some embodiments, the modules are implemented as separate circuits, and each module is implemented as a circuit for performing the functions to which the module corresponds. Various embodiments may implement different modules differently, for example, some in hardware, some in software, and some using a combination of hardware and software. It is contemplated to include some embodiments. It is also noted that routines and / or subroutines, or some of the steps performed by such routines, may be implemented with dedicated hardware as opposed to software running on a general purpose processor. To do. Such embodiments remain within the scope of the invention. Many of the methods or method steps described above may be implemented, for example, to control a machine, such as a general purpose computer, with or without additional hardware, to implement all or part of the method described above. It may be implemented using machine-executable instructions, such as software, included in a machine-readable medium such as a memory device such as a RAM, floppy disk, etc. Accordingly, among others, the present invention provides a machine for causing a machine, such as a processor and associated hardware, to perform one or more of the steps of the method (or methods) described above. A machine containing executable instructions is directed to a readable medium.
[000355] 上述された様々な実施形態の方法及び装置に対する多くの追加の変形が、上記説明に鑑みて、当技術に技量を有する者に明らかである。そのような変形は、範囲内にあるとみなされるべきである。 [000355] Many additional variations on the methods and apparatus of the various embodiments described above will be apparent to those skilled in the art in view of the above description. Such variations should be considered within range.
Claims (68)
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第１の時間において、再生システムにおける使用のために受け取るかを選択することと、
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取ることと、
を備える方法。 A method of operating a playback system,
Selecting which of the plurality of content streams to receive at a first time for use in the playback system based on the position of the user's head;
Receiving one or more selected content streams for use for playback;
A method comprising:
前記ユーザの現在の視界に対応するコンテンツを通信する１つ以上のストリームを特定することと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する１つ以上のコンテンツストリームを優先度付けすることと、
を含む、請求項２に記載の方法。 The prioritization means that
Identifying one or more streams communicating content corresponding to the user's current view;
Prioritizing one or more content streams that provide a portion of the scene corresponding to the current view based on the size of the portion of the view that each stream provides;
The method of claim 2 comprising:
前記現在の視界に対して通信された画像部分の近接、または、頭の回転の方向の少なくとも一方に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のストリームを優先度付けすること、
を含む、請求項３に記載の方法。 Prioritizing the content stream further comprises:
One or more additional ones that communicate content corresponding to portions outside the current field of view based on at least one of the proximity of the image portion communicated to the current field of view or the direction of head rotation Prioritize streams,
The method of claim 3 comprising:
前記現在の視界に対して通信された画像コンテンツの近接に基づいて、前記現在の視界の外の部分に対応するコンテンツを通信する１つ以上の追加のコンテンツストリームを優先度付けすること、
を含み、
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項４に記載の方法。 Prioritizing content streams
Prioritizing one or more additional content streams communicating content corresponding to portions outside the current view based on proximity of image content communicated to the current view;
Including
Content streams that communicate image content in contact with the current field of view are given higher priority than content streams that are further away from the current field of view.
The method of claim 4.
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項４に記載の方法。 Prioritizing the one or more additional content streams is based on the direction of rotation of the user's head,
A content stream that provides image content outside the current view but in the direction of head rotation provides an image content outside the view and away from the direction of head rotation. Given higher priority than the content stream,
The method of claim 4.
コンテンツストリームを受け取るために利用可能な帯域幅を決定することと、
前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択することと、
を備える、請求項２に記載の方法。 The step of selecting further comprises:
Determining the bandwidth available to receive the content stream;
Selecting from a plurality of content streams having the same priority based on the determined amount of available bandwidth;
The method of claim 2 comprising:
前記同じ優先度を有する複数のコンテンツストリームから選択することは、更に、前記少なくとも１つのコンテンツストリームのための決定された前記帯域幅に基づく、
請求項８に記載の方法。 Determining bandwidth for at least one content stream based on bandwidth constraints communicated to the playback system;
Selecting from a plurality of content streams having the same priority is further based on the determined bandwidth for the at least one content stream.
The method of claim 8.
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項９に記載の方法。 Further comprising receiving bandwidth constraints for different viewing directions;
The individual bandwidth constraint specifies the maximum bandwidth that should be used to receive one or more content streams that provide content corresponding to the viewing direction corresponding to the individual bandwidth constraint.
The method of claim 9.
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応する、
請求項８に記載の方法。 Selecting from the plurality of content streams having the same priority includes selecting one content stream from the plurality of content streams given the highest priority;
Each content stream given the highest priority corresponds to the same viewing direction,
The method of claim 8.
前記２番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項１１に記載の方法。 Selecting from the plurality of content streams having the same priority includes selecting one content stream from the plurality of content streams given the second highest priority;
Each content stream given the second highest priority provides content corresponding to the same viewing direction;
The method of claim 11.
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送ることを含む、
請求項１５に記載された方法。 Further initiating delivery of the selected content stream;
Initiating delivery of the selected content stream includes signaling to join a multicast group corresponding to the selected content stream.
The method of claim 15.
前記選択されたコンテンツストリームの配信を起動することは、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送ることを含む、
請求項１５に記載の方法。 Further initiating delivery of the selected content stream;
Initiating delivery of the selected content stream includes sending a request to a device in the network requesting delivery of a switched digital channel with which the selected content stream is communicated.
The method of claim 15.
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取るよう構成された受信機を含むインターフェースと、
を備える再生システム。 A stream selection module configured to select which of a plurality of content streams to receive for use in a playback system at a first time based on a user's head position;
An interface including a receiver configured to receive one or more selected content streams for use for playback;
A playback system comprising:
前記ユーザの現在の視界に対応するコンテンツを通信する１つ以上のストリームを特定するよう構成された特定モジュールと、
各ストリームが提供する前記視界の部分の大きさに基づいて、前記現在の視界に対応するシーンの部分を提供する１つ以上のコンテンツストリームを優先度付けするよう構成された優先度付与モジュールと、
を含む、請求項１９に記載の再生システム。 The stream prioritization module is
An identification module configured to identify one or more streams communicating content corresponding to the current view of the user;
A prioritization module configured to prioritize one or more content streams that provide a portion of the scene corresponding to the current view based on the size of the portion of the view provided by each stream;
The playback system according to claim 19, comprising:
前記現在の視界の領域に接した画像コンテンツを通信するコンテンツストリームは、前記現在の視界の外で、更に離れたコンテンツストリームよりも高い優先度を付与される、
請求項２１に記載の再生システム。 The additional stream priority assignment module is configured to communicate one or more additional contents communicating content corresponding to a portion outside the current view based on proximity of image content communicated to the current view. Configured to prioritize streams,
Content streams that communicate image content in contact with the current field of view are given higher priority than content streams that are further away from the current field of view.
The reproduction system according to claim 21.
前記現在の視界の外だが、頭の回転の前記方向にある画像コンテンツを提供するコンテンツストリームは、前記視界の外で、頭の回転の前記方向から離れた方向にある画像コンテンツを提供する他のコンテンツストリームより高い優先度を付与される、
請求項２１に記載の再生システム。 The additional stream priority assignment module prioritizes one or more additional content streams based on the direction of rotation of the user's head;
A content stream that provides image content outside the current view but in the direction of head rotation provides an image content outside the view and away from the direction of head rotation. Given higher priority than the content stream,
The reproduction system according to claim 21.
前記ストリーム選択モジュールは、前記利用可能な帯域幅の決定された量に基づいて、同じ優先度を有する複数のコンテンツストリームから選択するよう構成された選択モジュールを含む、
請求項１９に記載の再生システム。 An available bandwidth and data rate determination module configured to determine available bandwidth to receive the content stream;
The stream selection module includes a selection module configured to select from a plurality of content streams having the same priority based on the determined amount of available bandwidth.
The reproduction system according to claim 19.
前記選択モジュールは、前記少なくとも１つのコンテンツストリームのための決定された前記帯域幅に更に基づき、前記同じ優先度を有する前記複数のコンテンツストリームから選択するよう構成される、
請求項２５に記載の再生システム。 The stream selection module further comprises a stream bandwidth determination module configured to determine bandwidth for at least one content stream based on bandwidth constraints communicated to the playback system;
The selection module is further configured to select from the plurality of content streams having the same priority based further on the determined bandwidth for the at least one content stream.
The reproduction system according to claim 25.
個々の帯域幅制約は、前記個々の帯域幅制約に対応する視野方向に対応するコンテンツを提供する１つ以上のコンテンツストリームを受け取るために使用されるべき最大の帯域幅を指定する、
請求項２６に記載の再生システム。 The receiver is further configured to receive bandwidth constraints for different viewing directions;
The individual bandwidth constraint specifies the maximum bandwidth that should be used to receive one or more content streams that provide content corresponding to the viewing direction corresponding to the individual bandwidth constraint.
The reproduction system according to claim 26.
前記最も高い優先度を付与された各コンテンツストリームは、前記同じ優先度を有する複数のコンテンツストリームから選択するよう構成されることの部分として、前記同じ視野方向に対応するコンテンツを提供する、
請求項２５に記載の再生システム。 The selection module is configured to select one content stream from a plurality of content streams given the highest priority;
Each content stream given the highest priority provides content corresponding to the same viewing direction as part of being configured to select from a plurality of content streams having the same priority;
The reproduction system according to claim 25.
前記２番目に高い優先度を付与された各コンテンツストリームは、前記同じ視野方向に対応するコンテンツを提供する、
請求項２８に記載の再生システム。 The selection module selects one content stream from the plurality of content streams given the second highest priority as part of being configured to select from the plurality of content streams having the same priority. Configured,
Each content stream given the second highest priority provides content corresponding to the same viewing direction;
The reproduction system according to claim 28.
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームに対応するマルチキャストグループに参加するために信号を送るよう構成される、
請求項３２に記載された再生システム。 A content delivery activation module configured to activate delivery of the selected content stream;
The content delivery activation module is further configured to signal to join a multicast group corresponding to the selected content stream.
The reproduction system according to claim 32.
前記コンテンツ配信起動モジュールは、更に、前記選択されたコンテンツストリームが通信される切り替えられるデジタルチャネルの配信を要求する、ネットワークにおけるデバイスへの要求を送るよう構成される、
請求項３２に記載の再生システム。 A content delivery activation module configured to activate the delivery of the selected content stream;
The content delivery activation module is further configured to send a request to a device in the network requesting delivery of a switched digital channel over which the selected content stream is communicated.
The reproduction system according to claim 32.
ユーザの頭の位置に基づいて、複数のコンテンツストリームのどれを、第１の時間において、再生システムにおける使用のために受け取るかを選択するように、
再生のための使用のために、１つ以上の選択されたコンテンツストリームを受け取るように、
再生システムを制御する、プロセッサが実行可能な命令を含む非一時的なコンピュータによって読み出し可能な媒体。 When executed by the processor
Based on the user's head position, to select which of the multiple content streams to receive for use in the playback system at a first time,
To receive one or more selected content streams for use for playback,
A non-transitory computer readable medium containing instructions executable by a processor to control a playback system.
見る者の頭の位置を決定することと、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力すること、または、表示することと、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
方法。 A method of operating a content playback system,
Determining the position of the viewer's head, which corresponds to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment Generating one or more output images corresponding to the current field of view based on the combined image to be
Outputting or displaying a first output image, wherein the first output image is one of the one or more generated output images;
Method.
前記環境の前記第２の部分に対応する前記第１の画像を記憶することと、
を更に備える、請求項３６に記載の方法。 Receiving a first image corresponding to the second portion of the environment;
Storing the first image corresponding to the second portion of the environment;
The method of claim 36, further comprising:
前記現在の視界に対応する１つ以上の出力画像を生成することは、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせることを含み、
時間の前記第１の点と第２の点は異なる、
請求項３９に記載の方法。 The first image of the second part of the environment corresponds to a first point in time;
Generating one or more output images corresponding to the current field of view includes content obtained from the first content stream captured at a second point in time at the first point in time. Combining with the corresponding first image,
The first point and the second point of time are different,
40. The method of claim 39.
前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む、
請求項４０に記載の方法。 Further comprising receiving one or more additional images corresponding to the second portion of the environment;
The one or more additional images corresponding to the second portion of the environment include at least a second image;
41. The method of claim 40.
前記第３の部分は、空の視野または地面の視野部分の１つであり、
画像は、前記第１の部分、第２の部分、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分のためよりもより多くの画像が、前記第１の部分に対応するイベントのために受け取られる、
請求項４６に記載の方法。 The first portion of the environment is a front vision portion;
The third part is one of a sky field or a ground field part;
Images are received at different rates corresponding to the first part, the second part, and the third part, and more images are received in the first part than for the second part. Received for the corresponding event,
48. The method of claim 46.
前記第２の部分と第３の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項４７に記載の方法。 The content corresponding to the first portion includes real-time content captured while the event was in progress and streamed to the content playback system;
The content corresponding to the image corresponding to the second part and the third part is a non-real-time image;
48. The method of claim 47.
少なくともいくつかの受け取られたコンテンツに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することは、受け取られた前記画像選択情報に基づいて、前記環境の前記第２の部分に対応する画像を選択することを含む、
請求項３６に記載の方法。 Further comprising receiving image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used during a portion of the event;
Generating one or more output images corresponding to the current view based on at least some received content is based on the received image selection information based on the second portion of the environment. Including selecting an image corresponding to
37. A method according to claim 36.
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成することと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせることと、
を更に備える、請求項４９に記載の方法。 Determining that an image is not available for the portion of the current view;
Compositing an image to be used for the portion of the current view where no image is available;
Combining the synthesized image with at least a portion of the received image to generate an image corresponding to the current field of view;
50. The method of claim 49, further comprising:
見る者の頭の位置を決定するよう構成された見る者の頭の位置決定モジュールと、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取るよう構成されたコンテンツストリーム受け取りモジュールと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成するよう構成された出力画像のコンテンツストリームベース生成モジュールと、
第１の出力画像を出力するように構成された出力モジュール、または、第１の出力画像を表示するよう構成されたディスプレイモジュールの少なくとも一方と、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
を備えるシステム。 A content playback system,
A viewer head positioning module configured to determine a position of the viewer's head, the head position corresponding to a current field of view;
A content stream receiving module configured to receive a first content stream that provides content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment A content stream base generation module of an output image configured to generate one or more output images corresponding to the current field of view based on a composite image to be
At least one of an output module configured to output a first output image or a display module configured to display a first output image, and the first output image is generated one One of the above output images,
A system comprising:
前記環境の前記第２の部分に対応する前記第１の画像を記憶するよう構成された受け取られた画像記憶モジュールと、
を更に備える、請求項５２に記載のシステム。 An image receiving module configured to receive a first image corresponding to the second portion of the environment;
A received image storage module configured to store the first image corresponding to the second portion of the environment;
53. The system of claim 52, further comprising:
前記出力画像のコンテンツストリームベース生成モジュールは、時間の第２の点において取り込まれた前記第１のコンテンツストリームから得られたコンテンツを、時間の前記第１の点に対応する前記第１の画像と組み合わせるよう構成され、
時間の前記第１の点と第２の点は異なる、
請求項５５に記載のシステム。 The first image of the second part of the environment corresponds to a first point in time;
The output image content stream base generation module is configured to convert content obtained from the first content stream captured at a second point in time to the first image corresponding to the first point in time. Configured to combine,
The first point and the second point of time are different,
56. The system of claim 55.
前記環境の前記第２の部分に対応する前記１つ以上の追加の画像は、少なくとも第２の画像を含む、
請求項５６に記載のシステム。 The image receiving module is further configured to receive one or more additional images corresponding to the second portion of the environment;
The one or more additional images corresponding to the second portion of the environment include at least a second image;
57. The system of claim 56.
前記第３の部分は、空の視野または地面の視野部分の１つであり、
画像は、前記第１の部分、第２の部分、及び、第３の部分に対応する異なるレートで受け取られ、前記第２の部分のためよりもより多くの画像が、前記第１の部分に対応するイベントのために受け取られる、
請求項６２に記載のシステム。 The first portion of the environment is a front vision portion;
The third part is one of a sky field or a ground field part;
Images are received at different rates corresponding to the first part, the second part, and the third part, and more images are received in the first part than for the second part. Received for the corresponding event,
64. The system of claim 62.
前記第２の部分と第３の部分に対応する前記画像に対応する前記コンテンツは、リアルタイムでない画像である、
請求項６３に記載のシステム。 The content corresponding to the first portion includes real-time content captured while the event was in progress and streamed to the content playback system;
The content corresponding to the image corresponding to the second part and the third part is a non-real-time image;
64. The system of claim 63.
前記出力画像のコンテンツストリームベース生成モジュールは、前記現在の視界に対応する１つ以上の出力画像を生成するよう構成されることの部分として、受け取られた前記画像選択情報に基づいて、前記環境の前記第２の部分に対応する画像を選択するよう構成される、
請求項６４に記載のシステム。 The control information receiving module is further configured to receive image selection information indicating which of a plurality of images corresponding to the second portion of the environment is to be used during the portion of the event;
The output image content stream base generation module is configured to generate one or more output images corresponding to the current field of view based on the received image selection information as part of the environment selection. Configured to select an image corresponding to the second portion;
66. The system of claim 64.
画像が利用可能でない前記現在の視界の前記部分のために使用されるべき画像を合成するよう構成された画像合成器モジュールと、
前記現在の視界に対応する画像を生成するために、合成された前記画像を、受け取られた画像の少なくとも部分と組み合わせるよう構成された合成された画像組み込みモジュールと、
を更に備える、請求項６５に記載のシステム。 A missing portion determination module configured to determine that an image is not available for the portion of the current view;
An image synthesizer module configured to synthesize an image to be used for the portion of the current view where no image is available;
A combined image embedding module configured to combine the combined image with at least a portion of the received image to generate an image corresponding to the current field of view;
66. The system of claim 65, further comprising:
見る者の頭の位置を決定することと、ここで、前記頭の位置は現在の視界に対応し、
環境の第１の部分に対応するコンテンツを提供する第１のコンテンツストリームを受け取ることと、
前記第１のコンテンツストリームに含まれた少なくともいくつかの受け取られたコンテンツと、ｉ）前記環境の第２の部分に対応する記憶されたコンテンツ、または、ｉｉ）前記環境の第２の部分をシミュレートする合成画像とに基づいて、前記現在の視界に対応する１つ以上の出力画像を生成することと、
第１の出力画像を出力すること、または、表示することと、前記第１の出力画像は、生成された１つ以上の前記出力画像の１つである、
のステップを実行するように前記コンテンツ再生システムを制御する、プロセッサにより実行可能な命令を含む非一時的な機械により読取り可能な媒体。 When executed by the content playback system processor,
Determining the position of the viewer's head, wherein said head position corresponds to the current field of view;
Receiving a first content stream providing content corresponding to a first portion of the environment;
Simulate at least some received content included in the first content stream and i) stored content corresponding to a second part of the environment, or ii) simulate a second part of the environment Generating one or more output images corresponding to the current field of view based on the combined image to be
Outputting or displaying a first output image, wherein the first output image is one of the one or more generated output images;
A non-transitory machine readable medium containing instructions executable by a processor to control the content playback system to perform the steps of:
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462004547P | 2014-05-29 | 2014-05-29 | |
| US62/004,547 | 2014-05-29 | ||
| PCT/US2015/033420 WO2015184416A1 (en) | 2014-05-29 | 2015-05-29 | Methods and apparatus for delivering content and/or playing back content |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017527230A true JP2017527230A (en) | 2017-09-14 |
Family
ID=54699946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017515038A Withdrawn JP2017527230A (en) | 2014-05-29 | 2015-05-29 | Method and apparatus for distributing and / or playing content |
Country Status (6)
| Country | Link |
|---|---|
| EP (1) | EP3149937A4 (en) |
| JP (1) | JP2017527230A (en) |
| KR (2) | KR102611448B1 (en) |
| CN (1) | CN106416239B (en) |
| CA (1) | CA2948642A1 (en) |
| WO (1) | WO2015184416A1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521584A (en) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Signaling of Virtual Reality Video in Dynamic Adaptive Streaming over HTTP |
| JP2019134383A (en) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | Remote control operation system and communication method thereof |
| JP2021513305A (en) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | Simulate a local experience by livestreaming a shareable perspective of a live event |
| JP2021526778A (en) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | VR video playback method, terminal, and server |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10204658B2 (en) | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
| CN106937128A (en) * | 2015-12-31 | 2017-07-07 | 幸福在线（北京）网络技术有限公司 | A kind of net cast method, server and system and associated uses |
| CN105791882B (en) * | 2016-03-22 | 2018-09-18 | 腾讯科技（深圳）有限公司 | Method for video coding and device |
| WO2017177090A1 (en) * | 2016-04-08 | 2017-10-12 | Visbit Inc. | View-aware 360 degree video streaming |
| US10219014B2 (en) | 2016-06-02 | 2019-02-26 | Biamp Systems, LLC | Systems and methods for bandwidth-limited video transport |
| WO2018004934A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for capturing and displaying segmented content |
| US20180007422A1 (en) * | 2016-06-30 | 2018-01-04 | Sony Interactive Entertainment Inc. | Apparatus and method for providing and displaying content |
| KR20180025797A (en) * | 2016-09-01 | 2018-03-09 | 삼성전자주식회사 | Method for Streaming Image and the Electronic Device supporting the same |
| CN116389433A (en) * | 2016-09-09 | 2023-07-04 | Vid拓展公司 | Method and apparatus for reducing 360 degree view region adaptive streaming media delay |
| CN109716757A (en) * | 2016-09-13 | 2019-05-03 | 交互数字Vc控股公司 | Method, apparatus and stream for immersion video format |
| KR102376593B1 (en) * | 2016-09-29 | 2022-03-21 | 코닌클리케 필립스 엔.브이. | image processing |
| WO2018063957A1 (en) * | 2016-09-30 | 2018-04-05 | Silver VR Technologies, Inc. | Methods and systems for virtual reality streaming and replay of computer video games |
| KR102633595B1 (en) * | 2016-11-21 | 2024-02-05 | 삼성전자주식회사 | Display apparatus and the control method thereof |
| KR20180059210A (en) * | 2016-11-25 | 2018-06-04 | 삼성전자주식회사 | Image processing apparatus and method for image processing thereof |
| US10244215B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | Re-projecting flat projections of pictures of panoramic video for rendering by application |
| US10244200B2 (en) | 2016-11-29 | 2019-03-26 | Microsoft Technology Licensing, Llc | View-dependent operations during playback of panoramic video |
| FI20165925L (en) * | 2016-12-05 | 2018-06-06 | Rolls Royce Oy Ab | Optimizing data stream transmissions from marine vessel |
| US10595069B2 (en) | 2016-12-05 | 2020-03-17 | Adobe Inc. | Prioritizing tile-based virtual reality video streaming using adaptive rate allocation |
| CN108156484B (en) * | 2016-12-05 | 2022-01-14 | 奥多比公司 | Prioritizing tile-based virtual reality video streams with adaptive rate allocation |
| US10242714B2 (en) | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
| US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
| US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
| US10924747B2 (en) | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
| CN108668138B (en) * | 2017-03-28 | 2021-01-29 | 华为技术有限公司 | Video downloading method and user terminal |
| US10979663B2 (en) * | 2017-03-30 | 2021-04-13 | Yerba Buena Vr, Inc. | Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos |
| US10311630B2 (en) * | 2017-05-31 | 2019-06-04 | Verizon Patent And Licensing Inc. | Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene |
| US11093752B2 (en) | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
| WO2019017913A1 (en) * | 2017-07-18 | 2019-01-24 | Hewlett-Packard Development Company, L.P. | Virtual reality buffering |
| CN111226264A (en) * | 2017-10-20 | 2020-06-02 | 索尼公司 | Playback apparatus and method, and generation apparatus and method |
| TWI653882B (en) | 2017-11-23 | 2019-03-11 | 宏碁股份有限公司 | Video device and encoding/decoding method for 3d objects thereof |
| US10990831B2 (en) | 2018-01-05 | 2021-04-27 | Pcms Holdings, Inc. | Method to create a VR event by evaluating third party information and re-providing the processed information in real-time |
| US11328456B2 (en) * | 2018-01-22 | 2022-05-10 | Apple Inc. | Method and device for presenting synthesized reality companion content |
| CN110198457B (en) * | 2018-02-26 | 2022-09-02 | 腾讯科技（深圳）有限公司 | Video playing method and device, system, storage medium, terminal and server thereof |
| KR102638415B1 (en) | 2018-03-22 | 2024-02-19 | 브이아이디 스케일, 인크. | Viewport dependent video streaming events |
| US10666863B2 (en) | 2018-05-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using overlapping partitioned sections |
| US11917127B2 (en) | 2018-05-25 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Monitoring of video streaming events |
| US10764494B2 (en) | 2018-05-25 | 2020-09-01 | Microsoft Technology Licensing, Llc | Adaptive panoramic video streaming using composite pictures |
| KR20190136417A (en) * | 2018-05-30 | 2019-12-10 | 삼성전자주식회사 | Method for tramsmitting stereoscopic 360 degree video data, display apparatus thereof, and storing device of video data thereof |
| KR102435519B1 (en) * | 2018-06-20 | 2022-08-24 | 삼성전자주식회사 | Method and apparatus for processing 360 degree image |
| EP3588970A1 (en) * | 2018-06-22 | 2020-01-01 | Koninklijke Philips N.V. | Apparatus and method for generating an image data stream |
| CN111614974B (en) * | 2020-04-07 | 2021-11-30 | 上海推乐信息技术服务有限公司 | Video image restoration method and system |
| KR20220039113A (en) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | Method and apparatus for transmitting video content using edge computing service |
| US20220103655A1 (en) * | 2020-09-29 | 2022-03-31 | International Business Machines Corporation | Proactively selecting virtual reality content contexts |
| US11632531B1 (en) * | 2021-05-03 | 2023-04-18 | Amazon Technologies, Inc. | Synchronization and presentation of multiple 3D content streams |
| CN115250363A (en) * | 2022-09-22 | 2022-10-28 | 广州市千钧网络科技有限公司 | Multi-view live broadcast system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
| JP2005065051A (en) * | 2003-08-18 | 2005-03-10 | Sony Corp | Imaging apparatus |
| JP2009017064A (en) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | Video receiver and multicast distribution content reception control method |
| JP2013521743A (en) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | Bit rate adjustment in adaptive streaming systems |
| US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
| US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
| US8130260B2 (en) * | 2005-11-09 | 2012-03-06 | Johns Hopkins University | System and method for 3-dimensional display of image data |
| KR101313797B1 (en) * | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | Apparatus and method for presenting display of 3D image using head tracking |
| US20110181601A1 (en) * | 2010-01-22 | 2011-07-28 | Sony Computer Entertainment America Inc. | Capturing views and movements of actors performing within generated scenes |
| US8988512B2 (en) * | 2011-04-14 | 2015-03-24 | Mediatek Inc. | Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof |
| FR2988964A1 (en) * | 2012-03-30 | 2013-10-04 | France Telecom | Method for receiving immersive video content by client entity i.e. smartphone, involves receiving elementary video stream, and returning video content to smartphone from elementary video stream associated with portion of plan |
| CN103533340B (en) * | 2013-10-25 | 2016-04-06 | 深圳市汉普电子技术开发有限公司 | The bore hole 3D player method of mobile terminal and mobile terminal |
-
2015
- 2015-05-29 EP EP15798986.4A patent/EP3149937A4/en not_active Withdrawn
- 2015-05-29 CA CA2948642A patent/CA2948642A1/en active Pending
- 2015-05-29 CN CN201580028645.9A patent/CN106416239B/en active Active
- 2015-05-29 WO PCT/US2015/033420 patent/WO2015184416A1/en active Application Filing
- 2015-05-29 KR KR1020227019042A patent/KR102611448B1/en active IP Right Grant
- 2015-05-29 JP JP2017515038A patent/JP2017527230A/en not_active Withdrawn
- 2015-05-29 KR KR1020167036714A patent/KR102407283B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1127577A (en) * | 1997-06-30 | 1999-01-29 | Hitachi Ltd | Image system with virtual visual point |
| JP2005065051A (en) * | 2003-08-18 | 2005-03-10 | Sony Corp | Imaging apparatus |
| JP2009017064A (en) * | 2007-07-03 | 2009-01-22 | Hitachi Ltd | Video receiver and multicast distribution content reception control method |
| JP2013521743A (en) * | 2010-03-05 | 2013-06-10 | トムソン ライセンシング | Bit rate adjustment in adaptive streaming systems |
| US20130219012A1 (en) * | 2012-02-22 | 2013-08-22 | Citrix Systems, Inc. | Hierarchical Display |
Non-Patent Citations (1)
| Title |
|---|
| S. HEYMANN ET AL.: "Representation, Coding and interactive Rendering of High-Resolution Panoramic Images and Video using", PROC. PANORAMIC PHOTOGRAMMETRY WORKSHOP, JPN6019001113, 2005, pages 1 - 5 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019521584A (en) * | 2016-05-24 | 2019-07-25 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Signaling of Virtual Reality Video in Dynamic Adaptive Streaming over HTTP |
| US11375291B2 (en) | 2016-05-24 | 2022-06-28 | Qualcomm Incorporated | Virtual reality video signaling in dynamic adaptive streaming over HTTP |
| JP2019134383A (en) * | 2018-02-02 | 2019-08-08 | トヨタ自動車株式会社 | Remote control operation system and communication method thereof |
| JP7059662B2 (en) | 2018-02-02 | 2022-04-26 | トヨタ自動車株式会社 | Remote control system and its communication method |
| JP2021513305A (en) * | 2018-02-06 | 2021-05-20 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | Simulate a local experience by livestreaming a shareable perspective of a live event |
| JP7346459B2 (en) | 2018-02-06 | 2023-09-19 | フェニックス リアル タイム ソリューションズ， インコーポレイテッド | Simulating local experiences by live streaming shareable perspectives of live events |
| JP2021526778A (en) * | 2018-05-22 | 2021-10-07 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | VR video playback method, terminal, and server |
| JP7150984B2 (en) | 2018-05-22 | 2022-10-11 | 華為技術有限公司 | VR video playback method, terminal, and server |
| US11765427B2 (en) | 2018-05-22 | 2023-09-19 | Huawei Technologies Co., Ltd. | Virtual reality video playing method, terminal, and server |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102407283B1 (en) | 2022-06-10 |
| CN106416239A (en) | 2017-02-15 |
| KR20170015938A (en) | 2017-02-10 |
| CA2948642A1 (en) | 2015-12-03 |
| CN106416239B (en) | 2019-04-09 |
| WO2015184416A1 (en) | 2015-12-03 |
| EP3149937A4 (en) | 2018-01-10 |
| KR102611448B1 (en) | 2023-12-07 |
| EP3149937A1 (en) | 2017-04-05 |
| KR20220081390A (en) | 2022-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11871085B2 (en) | Methods and apparatus for delivering content and/or playing back content | |
| KR102611448B1 (en) | Methods and apparatus for delivering content and/or playing back content | |
| US20210409672A1 (en) | Methods and apparatus for receiving and/or playing back content | |
| US11381801B2 (en) | Methods and apparatus for receiving and/or using reduced resolution images | |
| RU2665872C2 (en) | Stereo image viewing | |
| US20170324945A1 (en) | Methods and apparatus for streaming content | |
| JP2018507650A (en) | Method and apparatus for supporting content generation, transmission, and / or playback | |
| WO2019146425A1 (en) | Image processing device, image processing method, program, and projection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180516 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190410 |