TW201840181A - 用於360度視訊之有效壓縮之球極投影 - Google Patents

用於360度視訊之有效壓縮之球極投影 Download PDF

Info

Publication number
TW201840181A
TW201840181A TW107109720A TW107109720A TW201840181A TW 201840181 A TW201840181 A TW 201840181A TW 107109720 A TW107109720 A TW 107109720A TW 107109720 A TW107109720 A TW 107109720A TW 201840181 A TW201840181 A TW 201840181A
Authority
TW
Taiwan
Prior art keywords
area
video
rectangular
region
mapping
Prior art date
Application number
TW107109720A
Other languages
English (en)
Inventor
德 奧維拉 葛特 汎
穆漢麥德 柯本
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201840181A publication Critical patent/TW201840181A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本發明提供用於處理360度視訊資料之系統及方法。在各種實施中，一360度視訊圖框之一球面表示可分割成一頂部區、一底部區及一中間區。該中間區可映射至一輸出視訊圖框之一或多個矩形區域中。可使用將一正方形轉換為一圓之一映射將該頂部區映射至該輸出視訊圖框之一第一矩形區域中，使得圓形頂部區中之像素經擴展以填充該第一矩形區。該底部區可映射至該輸出視訊圖框之一第二矩形區域中，使得圓形底部區中之像素經擴展以填充該第二矩形區。

Description

用於360度視訊之有效壓縮之球極投影
虛擬實境(VR)描述可在看起來真實或實體方式內交互之三維之電腦產生的環境。大體而言，經歷虛擬實境環境的使用者可左右轉、上下看及/或前後移動，因此改變其對虛擬環境的視角。呈現給該使用者的360度視訊可因此改變，從而使得使用者之體驗如在真實世界中同樣順暢。虛擬實境視訊可以極高品質被捕捉且顯現，從而潛在地提供真實沈浸式虛擬實境體驗。為提供順暢360度視圖，藉由360度視訊捕捉系統捕捉之視訊通常進行影像縫合。在360度視訊產生之情況下的影像縫合涉及組合或合併視訊圖框重疊或將以其他方式連接所在之區域中的鄰近攝影機之視訊圖框。結果將為大致球形圖框。然而，類似於麥卡托(Mercator)投影，經合併之資料通常以平面樣式表示。舉例而言，經合併視訊圖框中之像素可經映射至立方體形狀或某種其他三維平面形狀(例如，角錐形、八面體、十面體等)之平面上。視訊捕捉及視訊顯示大體上通常按光柵原理操作--意謂視訊圖框作為像素柵格處置--因此，正方形或矩形平面通常用以表示球面環境。360度視訊可經編碼用於儲存及/或傳輸。視訊寫碼標準包括國際電信聯盟(ITU) ITU-T H.261、國際標準組織/國際電子器件委員會(ISO/IEC)動畫群組(MPEG) MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)、包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展及ITU-T H.265(亦稱為ISO/IEC MPEG-4 HEVC)及其擴展。
在各種實施中，描述用於處理360度視訊資料以獲得更好寫碼效率的技術及系統。此等技術及系統可包括使用分段式球體投影將360度視訊圖框之球面表示劃分成北極或頂部區、南極或底部區，及赤道或中間區。該等區可接著映射成可使寫碼器件更容易進行操控之二維矩形格式。在產生此映射時，分段式球體投影之圓形北極區及南極區可使用各種技術擴展，以填充輸出視訊圖框之矩形區。藉由將極性區映射至矩形區之所有拐角中，輸出視訊圖框中之所有可用像素可包括可使用資料。相比已使用其他方法產生之360度視訊之視訊圖框，以此方式產生之視訊圖框可更有效地進行編碼。在各種實施中，額外視覺改良可藉由在輸出視訊圖框之某些區域中應用漸次取樣調整而達成。舉例而言，可藉由將逐步變化應用於樣本在視訊圖框中所映射至之位置來減少其中映射極性區之矩形區與其中映射赤道區之一部分的矩形區之間的任何不連續性。在此實例及其他實例中，針對球面視訊資料之極性區而將逐步變化應用於矩形區。根據至少一個實例，提供一種用於編碼視訊資料之方法。在各種實施中，該方法包括獲得包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於視訊圖框之視訊資料之球面表示。該方法進一步包括將來自該複數個視訊圖框中之視訊圖框分割成頂部區、中間區及底部區，該頂部區包括球面表示之第一圓形區域，該底部區包括球面表示之第二圓形區域，其在球面表示上與第一圓形區域相對，其中該中間區包括球面表示中不包括於頂部區或底部區中之區域。該方法進一步包括將頂部區映射至輸出視訊圖框之第一矩形區域中，其中映射頂部區包括擴展包括於第一圓形區域中之視訊資料以填充第一矩形區域。該方法進一步包括將底部區映射至輸出視訊圖框之第二矩形區域中，其中映射底部區包括擴展包括於第二圓形區域中之視訊資料以填充第二矩形區域。在另一實例中，提供一種裝置，其包括經組態以儲存360度視訊資料之記憶體及處理器。該360度視訊資料可包括複數個視訊圖框，該複數個視訊圖框中之每一視訊圖框包括用於視訊圖框之視訊資料之球面表示。處理器經組態以且可將來自該複數個視訊圖框中之視訊圖框分割成頂部區、中間區及底部區，該頂部區包括球面表示之第一圓形區域，該底部區包括球面表示之第二圓形區域，其在球面表示上與該第一圓形區域相對，其中該中間區包括球面表示中不包括於頂部區或底部區中之區域。處理器經組態以且可將頂部區映射至輸出視訊圖框之第一矩形區域中，其中映射頂部區包括擴展包括於第一圓形區域中之視訊資料以填充第一矩形區域。處理器經組態以且可將底部區映射至輸出視訊圖框之第二矩形區域中，其中映射底部區包括擴展包括於第二圓形區域中之視訊資料以填充第二矩形區域。在另一實例中，提供一種其上儲存有指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器執行包括以下之操作：獲得包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於視訊圖框之視訊資料之球面表示。該等指令可進一步致使該一或多個處理器執行包括以下之操作：將來自複數個視訊圖框之視訊圖框分割成頂部區、中間區及底部區，該頂部區包括球面表示之第一圓形區域，該底部區包括球面表示之第二圓形區域，其在球面表示上與第一圓形區域相對，其中該中間區包括球面表示中不包括於頂部區或底部區中之區域。該等指令可進一步致使一或多個處理器執行包括以下之操作：將頂部區映射至輸出視訊圖框之第一矩形區域中，其中映射頂部區包括擴展包括於第一圓形區域中之視訊資料以填充第一矩形區域。該等指令可進一步致使一或多個處理器執行包括以下之操作：將底部區映射至輸出視訊圖框之第二矩形區域中，其中映射底部區包括擴展包括於第二圓形區域中之視訊資料以填充第二矩形區域。在另一實例中，提供一種裝置，其包括用於獲得包括複數個視訊圖框之360度視訊資料的構件，該複數個視訊圖框中之每一視訊圖框包括用於視訊圖框之視訊資料的球面表示。該裝置進一步包含用於將來自該複數個視訊圖框中之視訊圖框分割成頂部區、中間區及底部區的構件，該頂部區包括球面表示之第一圓形區域，該底部區包括球面表示之第二圓形區域，其在球面表示上與該第一圓形區域相對，其中該中間區包括球面表示中不包括於頂部區或底部區中之區域。該裝置進一步包含用於將頂部區映射至輸出視訊圖框之第一矩形區域中的構件的構件，其中映射頂部區包括擴展包括於第一圓形區域中之視訊資料以填充第一矩形區域。該裝置進一步包含用於將底部區映射至輸出視訊圖框之第二矩形區域中的構件，其中映射底部區包括擴展包括於第二圓形區域中之視訊資料以填充第二矩形區域。在一些態樣中，在高於球面表示之赤道之第一緯度及低於赤道之第二緯度下分割視訊圖框，其中該第一緯度及第二緯度與赤道等距，其中頂部區高於第一緯度，且其中底部區低於第二緯度。 在一些態樣中，映射頂部區及映射底部區包括選擇輸出視訊圖框中之像素位置，及判定球面表示上對應於該像素位置之點，其中使用用於將正方形轉換為圓之映射來判定球面表示上之點。此等態樣進一步包括自球面表示上之點對像素進行取樣，及將經取樣像素置放於像素位置處。在一些態樣中，用於將正方形轉換為圓之映射將輸出視訊圖框中之失真降至最低。在一些態樣中，映射頂部區及映射底部區進一步包括使用漸次曲線函數來調整像素位置。在一些態樣中，在鄰近於視訊圖框中之第三矩形區域之區域中的像素位置處使用漸次曲線函數。在一些態樣中，漸次曲線函數針對第一矩形區域或第二矩形區域之中間區域較少地改變像素位置，且針對第一矩形區域或第二矩形區域之外部區域較多地改變像素位置。在一些態樣中，方法、裝置及電腦可讀媒體進一步包括將中間區映射至輸出視訊圖框之一或多個矩形區域。在一些態樣中，中間區包括左視圖、正視圖及右視圖，其中左視圖在輸出視訊圖框鄰近於正視圖置放，且其中右視圖鄰近於正視圖置放。在一些態樣中，中間區包括後視圖，其中該底部區在輸出視訊圖框中鄰近於後視圖置放，且其中頂部區鄰近於後視圖置放。在一些態樣中，將頂部區映射至第一矩形區域中包括將逐步調整應用於其中第一矩形區域鄰近於輸出視訊圖框中之第三矩形區域的區域中，且其中將底部區映射至第二矩形區域中包括將逐步調整應用於其中第二矩形區域鄰近於輸出視訊圖框中之第四矩形區域的區域中。在一些態樣中，該輸出視訊圖框具有三乘二縱橫比。根據至少一個實例，提供一種用於編碼視訊資料之方法。在各種實施中，該方法包括獲得包括複數個視訊圖框之360度視訊資料，來自該複數個視訊圖框之每一視訊圖框包括用於視訊圖框之視訊資料之二維表示。該方法進一步包括識別來自複數個視訊圖框中之視訊圖框的第一矩形區域。該方法進一步包括將第一矩形區域映射至用於視訊圖框之視訊資料之球面表示的頂部區中，其中該頂部區包含球面表示之第一圓形區域，且其中映射第一矩形區域包括將來自第一矩形區域之視訊資料佈置至第一圓形區域中。該方法進一步包括識別視訊圖框之第二矩形區域。該方法進一步包括將第二矩形區域映射至球面表示的底部區中，其中該底部區包含球面表示之第二圓形區域，且其中映射第二矩形區域包括將來自第二矩形區域之視訊資料佈置至第二圓形區域中。在另一實例中，提供一種裝置，其包括經組態以儲存360度視訊資料之記憶體及處理器。該360度視訊資料可包括複數個視訊圖框，來自該複數個視訊圖框之每一視訊圖框包括用於視訊圖框之視訊資料之二維表示。處理器經組態以且可識別來自複數個視訊圖框中之視訊圖框的第一矩形區域。處理器經組態以且可將第一矩形區域映射至用於視訊圖框之視訊資料之球面表示的頂部區中，其中該頂部區包含球面表示之第一圓形區域，且其中映射第一矩形區域包括將來自第一矩形區域之視訊資料佈置至第一圓形區域中。處理器經組態以且可識別視訊圖框之第二矩形區域。處理器經組態以且可將第二矩形區域映射至球面表示的底部區中，其中該底部區包含球面表示之第二圓形區域，且其中映射第二矩形區域包括將來自第二矩形區域之視訊資料佈置至第二圓形區域中。在另一實例中，提供一種在其上儲存指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器執行包括以下之操作：獲得包括複數個視訊圖框之360度視訊資料，來自該複數個視訊圖框之每一視訊圖框包括用於視訊圖框之視訊資料之二維表示。該等指令可進一步致使一或多個處理器執行包括以下之操作：識別來自複數個視訊圖框之視訊圖框之第一矩形區域。該等指令可進一步致使一或多個處理器執行包括以下之操作：將第一矩形區域映射至用於視訊圖框之視訊資料之球面表示的頂部區中，其中該頂部區包含球面表示之第一圓形區域，且其中映射第一矩形區域包括將來自第一矩形區域之視訊資料佈置至第一圓形區域中。該等指令可進一步致使一或多個處理器執行包括以下之操作：識別視訊圖框之第二矩形區域。該等指令可進一步致使一或多個處理器執行包括以下之操作：將第二矩形區域映射至球面表示的底部區中，其中該底部區包含球面表示之第二圓形區域，且其中映射第二矩形區域包括將來自第二矩形區域之視訊資料佈置至第二圓形區域中。在另一實例中，提供一種裝置，其包括用於獲得包括複數個視訊圖框之360度視訊資料的構件，來自該複數個視訊圖框之每一視訊圖框包括用於視訊圖框之視訊資料的二維表示。該裝置進一步包含用於識別來自複數個視訊圖框中之視訊圖框的第一矩形區域的構件。該裝置進一步包含用於將第一矩形區域映射至用於視訊圖框之視訊資料之球面表示的頂部區中的構件，其中該頂部區包含球面表示之第一圓形區域，且其中映射第一矩形區域包括將來自第一矩形區域之視訊資料佈置至第一圓形區域中。該裝置進一步包含用於識別視訊圖框之第二矩形區域的構件的構件。該裝置進一步包含用於將第二矩形區域映射至球面表示的底部區中的構件的構件，其中該底部區包含球面表示之第二圓形區域，且其中映射第二矩形區域包括將來自第二矩形區域之視訊資料佈置至第二圓形區域中在一些態樣中，頂部區包括球面表示中高於球面表示之第一緯度的表面，其中底部區包括球面表示中低於球面表示之第二緯度的表面，其中該第一緯度及該第二緯度與球面表示之赤道等距。 在一些態樣中，映射一或多個矩形區域包括選擇球面表示上之點及判定視訊圖框中對應於該點的像素位置，其中使用用於將三維球體轉換為二維矩形之映射來判定像素位置。此等態樣進一步包括自該像素位置對像素進行取樣，及將該經取樣像素置放於該點處。 在一些態樣中，映射第一矩形區域及映射第二矩形區域包括選擇球面表示上之一點及判定視訊圖框中對應於該點之像素位置，其中使用用於將圓轉換為正方形之映射來判定像素位置。此等態樣進一步包括自該像素位置對像素取樣，及將該經取樣像素置放於該點處。在一些態樣中，用於將圓轉換為正方形之映射反演在第一矩形區域或第二矩形區域中之視訊資料經擴展以填充第一矩形區域或第二矩形區域時所引起之失真。在一些態樣中，映射第一矩形區域及映射第二矩形區域進一步包括使用漸次曲線函數調整像素位置。在一些態樣中，在鄰近於一或多個額外矩形區域中之至少一者的區域中之像素位置處使用漸次曲線函數。在一些態樣中，漸次曲線函數針對第一矩形區域或第二矩形區域之中間區域較少地改變像素位置，且針對第一矩形區域或第二矩形區域之外部區域較多地改變像素位置。在一些態樣中，方法、裝置及電腦可讀媒體進一步包括將視訊圖框之一或多個額外矩形區域映射至球面表示之中間區中。在一些態樣中，一或多個額外矩形區域包括左視圖、正視圖及右視圖，其中左視圖鄰近於正視圖定位，且其中右視圖鄰近於正視圖。在一些態樣中，該一或多個額外矩形區域包括後視圖，其中第一矩形區域鄰近於後視圖，且其中第二矩形區域鄰近於後視圖。在一些態樣中，將第一矩形區域映射至頂部區中包括將逐步調整應用於其中第一矩形區域鄰近於來自一或多個額外矩形區域中之第三矩形區域的區域中，且其中將第二矩形區域射至底部區中包括將逐步調整應用於其中第二矩形區域鄰近於來自一或多個額外矩形區域中之第四矩形區域的區域中。 此發明內容並不意欲識別所主張主題之關鍵或基本特徵，亦不意欲單獨使用以確定所主張主題之範疇。應參考此專利之整個說明書之適當部分、任何或所有圖式及每一請求項來理解主題。 在參考以下說明書、申請專利範圍及隨附圖式時，前述內容連同其他特徵及實施例將變得更顯而易見。
下文提供本發明之某些態樣及實施例。此等態樣及實施例之一些可獨立地應用並且其中之一些可以將對熟習此項技術者顯而易見之組合來應用。在以下描述中，出於解釋之目的，闡述特定細節以便提供對本發明之實施例的透徹理解。然而，各種實施例可在無此等特定細節之情況下得以實踐將為顯而易見的。圖式及描述不意欲為限定性的。隨後的描述僅提供實例，且並不意欲限制本發明之範疇、適用性或組態。相反，各種實例之隨後描述將為熟習此項技術者提供用於實施實例中之任一者之啟發性描述。應理解，可在不脫離如所附申請專利範圍中所闡述之本發明之精神及範疇的情況下對元件之功能及佈置做出各種改變。在以下描述中，給出特定細節以提供對實例的徹底理解。然而，一般技術者應瞭解，實例可在無需此等具體細節之情況下實踐。舉例而言，電路、系統、網路、過程及其他組件可以方塊圖形式展示為組件以免以不必要的細節混淆實例。在其他情況下，已在無不必要之細節的情況下展示熟知電路、過程、演算法、結構及技術以便避免混淆實例。另外，應注意，個別實例可描述為被描繪為流程圖、流圖、資料流圖、結構圖或方塊圖之過程。儘管流程圖可能將操作描述為順序過程，但許多操作可並行地或同時加以執行。另外，操作之次序可重新佈置。過程在其操作完成時終止，但可具有不包括於圖中之額外步驟。過程可對應於方法、函式、程序、次常式、子程式等。當過程對應於函式時，其終止可對應於函式傳回至呼叫函式或主函式。術語「電腦可讀媒體」包括但不限於攜帶型或非攜帶型儲存器件、光學儲存器件，及能夠儲存、含有或攜載指令及/或資料之各種其他媒體。電腦可讀媒體可包括非暫時性媒體，其中可儲存資料並且不包括載波及/或以無線方式或經由有線連接傳播之暫時電子信號。非暫時性媒體之實例可包括(但不限於)磁碟或磁帶、諸如緊密光碟(CD)或數位化通用光碟(DVD)之光學儲存媒體、快閃記憶體、記憶體或記憶體器件。電腦可讀媒體可具有儲存於其上之程式碼及/或機器可執行指令，該等程式碼及/或機器可執行指令可表示程序、函數、子程式、程式、常式、次常式、模組、軟體套件、類別，或指令、資料結構或程式語句之任何組合。碼段可藉由傳遞及/或接收資訊、資料、引數、參數或記憶體內容耦接至另一碼段或硬體電路。資訊、引數、參數、資料等可經由包括記憶體共用、訊息傳遞、符記傳遞、網路傳輸或類似者之任何合適方式傳遞、轉遞或傳輸。此外，可由硬體、軟體、韌體、中間軟體、微碼、硬體描述語言或其任何組合來實施各種實例。當實施於軟體、韌體、中間軟體或微碼中時，用以執行必要任務之程式碼或碼段(例如，電腦程式產品)可儲存於電腦可讀或機器可讀媒體中。處理器可執行必要任務。虛擬實境(VR)描述可在看起來真實或實體方式內交互之三維之電腦產生的環境。在一些情況下，體驗虛擬實境環境之使用者使用諸如頭戴顯示器(HMD)及視情況選用之其他可穿戴物品(諸如，配備有感測器之手套)的電子裝備以與虛擬環境交互。隨著使用者在真實世界中移動，在虛擬環境中顯現之影像亦改變，從而向使用者給予使用者正在虛擬環境內移動之感知。在一些情況下，虛擬環境包括與使用者之移動相關之聲音，從而向使用者給予聲音來源於特定方向或來源之視聽。虛擬實境視訊可以極高品質被捕捉且顯現，從而潛在地提供真實沈浸式虛擬實境體驗。虛擬實境應用包括遊戲、訓練、教育、體育視訊及線上購物以及其他。360度視訊為經捕捉以用於在虛擬實境環境中顯示的視訊。舉例而言，360度視訊之圖框可包括自給定點可見之完整360度，使得圖框包括以該點為中心之球體之全部或一部分的像素。360度視訊資料亦可被稱作球面視訊，係因為360度視訊捕捉所有方向上之視圖，使得每一360度視訊圖框可被視為所捕捉像素之球體。360度視訊之圖框可為電腦產生的，且可用以呈現虛構環境。在一些應用中，來自真實世界之視訊可用於呈現虛擬實境環境。在此等應用中，使用者可以使用者可體驗目前位置的相同方式體驗另一位置。舉例而言，使用者可在使用定位於舊金山之360度視訊系統時體驗柏林之步行旅行。360度視訊系統可包括視訊捕捉器件及視訊顯示器件，且可能亦包括諸如伺服器、資料儲存器及資料傳輸裝備之其他中間器件。視頻捕捉器件可包括攝影機集合，亦即，多個攝影機之集合，每一攝影機定向於不同方向且捕捉不同視圖。在各種應用中，兩個至六個攝影機可用以捕捉以攝影機集合之位置為中心的完整360度視圖。一些視訊捕捉器件可使用主要捕捉側對側視圖之較少攝影機，諸如視訊捕捉器件。視訊包括圖框，其中圖框為場景之電子寫碼靜態影像。攝影機每秒捕捉某數目個圖框，其通常被稱作攝影機之圖框速率。在一些情況下，為了提供無縫之360度視圖，藉由攝影機集合中之每一攝影機捕捉的視訊經歷影像縫合。在360度視訊產生之情況下的影像縫合涉及組合或合併視訊圖框重疊或將以其他方式連接所在之區域中的鄰近攝影機之視訊圖框。結果為大致球面的視訊資料圖框。為與現有視訊系統整合，球面視訊資料圖框可映射成平面格式。為了映射，可使用諸如用於產生麥卡托投影之技術的技術來產生等矩形格式。作為另一實例，經合併視訊圖框中之像素可經映射至立方體形狀或某種其他三維平面形狀(例如，角錐形、八面體、十面體等)之平面上。視訊捕捉及視訊顯示器件按光柵原理操作--意謂視訊圖框作為像素柵格處置--因此，正方形或矩形平面通常用以表示球面環境。映射至平面表示之360度視訊圖框可經編碼及/或壓縮以供儲存及/或傳輸。可使用視訊編碼解碼器(例如，符合高效率視訊寫碼(HEVC)標準(亦被稱作H.265)之編碼解碼器，或符合進階視訊寫碼標準(亦被稱作H.264)或另一適合寫碼標準之編碼解碼器)實現編碼及/或壓縮，其產生經編碼及/或經壓縮視訊位元串流或位元串流之群組。下文進一步詳細地描述使用視訊編碼解碼器對視訊資料進行編碼。在一些實施中，經編碼視訊位元串流可以媒體格式或檔案格式儲存及/或囊封。一或多個所儲存位元串流可(例如)經由網路傳輸至接收器器件，該接收器器件可解碼並顯現視訊以供顯示。此接收器器件在本文中可被稱作視訊顯示器件。舉例而言，360度視訊系統可自經編碼視訊資料(例如，使用國際標準組織(ISO)基本媒體檔案格式及/或導出之檔案格式)產生經囊封檔案。舉例而言，視訊編碼解碼器可編碼視訊資料，且囊封引擎可藉由將視訊資料囊封於一或多個ISO格式媒體檔案中而產生媒體檔案。或者或另外，一或多個所儲存位元串流可直接自儲存媒體提供至接收器器件。接收器器件亦可實施編碼解碼器以解碼及/或解壓縮經編碼視訊位元串流。在一或多個經編碼視訊位元串流以媒體格式或檔案格式儲存及/或囊封的情況下，接收器器件可支援用以將視訊位元串流封裝至檔案(或多個檔案)中的媒體或檔案格式，且可提取視訊(及亦可能音訊)資料以產生經編碼視訊資料。舉例而言，接收器器件用經囊封視訊資料剖析媒體檔案以產生經編碼視訊資料，且接收器器件中之編碼解碼器可解碼經編碼視訊資料。接收器器件接著可發送經解碼視訊信號至顯現器件(例如，視訊顯示器件、播放器器件或其他適合之顯現器件)。舉例而言，顯現器件包括頭戴顯示器、虛擬實境電視及其他180度或360度顯示器件。大體而言，頭戴式顯示器能夠追蹤穿戴者之頭部之移動及/或穿戴者之眼睛的移動。頭戴顯示器可使用追蹤資訊來顯現對應於穿戴者正觀察之方向的360度視訊之部分，使得穿戴者以與穿戴者將體驗真實世界相同之方式體驗虛擬環境。顯現器件可以捕捉視訊之相同圖框速率或以不同圖框速率顯現視訊。投影及映射用於在二維(2-D)圖上表示三維(3-D)表面。舉例而言，在360度視訊應用中，投影及映射可用於將360度視訊圖框映射至二維視訊圖框上，該360度視訊圖自攝影機捕捉所有方向上的像素且因此可被視為球體。二維投影之實例包括等矩形(ERP)投影及立方圖(CMP)投影以及其他。圖1A說明包括360度視訊圖框之等矩形投影的視訊圖框110。等矩形投影藉由以線性方式將球體上之點的緯度及經度映射至視訊圖框110中之(x , y )座標而將球體上之點映射至二維圖。等矩形投影能夠包括自360度視訊圖框至二維視訊圖框110中的所有像素，因此自視訊圖框110之一個區域至另一區域的轉變係順暢的。無縫轉變意謂等矩形視訊圖框可在經編碼視訊圖框之尺寸方面進行有效編碼。其係因為諸如運動估計及運動補償之操作在視訊圖框之間的運動顯得連續時產生更好結果。圖1B說明包括360度視訊圖框之立方圖投影的視訊圖框120。立方圖投影將球體之表面上的點投影至與球體表面相切之平面上的點。亦即，像素適配至立方體之六個面上，其中立方體之高度、寬度及長度可使得該立方體適配在球面內。圖1B之實例為3×2佈置；亦即，三個立方體面交叉，且兩個立方體面高。3×2佈置產生可有效地編碼的縱橫比。舉例而言，相比使用諸如1×2之佈置的情況，需要儲存較少根據像素線之資料。在圖1B之實例視訊圖框120中，可視為前向正表面122的立方體面置放於視訊圖框120之上半部分的中間中。位於前表面右側及左側的立方體面(例如，右面124及左面126)分別置放於視訊圖框120之上半部分的右側及左側上。可視為背面128的立方體面旋轉-90度，且置放於視訊圖框120之下半部分的中間。可視為上面或頂面130之立方體面置放於背面128的右側，且亦經旋轉使得頂面130之邊緣匹配背面128之邊緣。可視為下面或底面132之立方體面置放於背面128的左側，經旋轉以匹配背面128之邊緣。在圖1B之實例中，包括於前面122中的像素可經選擇為直接置放於觀看者前方的視圖。在其他實例中，可將視訊資料之另一部分選擇為正視圖。另外，在圖1B之實例視訊圖框120中說明的立方體面之佈置為一個實例配置。其他佈置亦為可能的。歸因於對於出現在立方體面之邊緣處的像素資料的部分壓縮，立方圖投影與等矩形投影相比可更為緊湊。立方圖亦產生影像之較少失真，其可改良寫碼效率。 另一投影為被稱作分段式球體投影(SSP)之投影。分段式球體投影描述於Y. Ye、E. Alshina及J. Boyce「Algorithm descriptions of projection format conversion and video quality metrics in 360Lib」，JVET-E1003，2017年1月中，其特此以全文引用之方式及出於所有目的而併入。圖2A為說明球體202之表面至根據分段式球體投影產生之實例二維豎直映射210的分段式球體投影的圖。分段式球體投影將球體分成三段：北極段204、南極段208及赤道段206。北極段及南極段在本文中亦被稱作球極或球極段。在所說明實例中，以北緯45度及南緯45度(例如，如自球體202之中心量測)劃分三段。在其他實例中，可以不同緯度來劃分三段。在圖2A中所說明之實例二維映射210中，由北極段204覆蓋之區域經映射至第一圓形區，其將被稱作頂視圖214。類似地，由南極段208覆蓋之區域經映射至第二圓形區，其將被稱作底視圖218。在此實例中，底視圖218在映射210中置放為靠近頂視圖214及在該頂視圖下方。頂視圖214及底視圖21亦分別標記為面0及面1。赤道段206經劃分成四個相同片段，且每一片段經映射至正方形區域，該等片段在映射210中以一個在另一個下方之方式置放於底視圖218下方。出於此實例之目的，赤道區206之正方形區域自上而下將分別被稱作左視圖216a、正視圖216b、右視圖216c及後視圖216d或面2、面3、面4及面5。在其他實例中，左視圖、右視圖、正視圖及後視圖可以與此處所描述之次序不同的次序來佈置。在其他實例中，其中映射赤道段206之區域可能並非為正方形。舉例而言，當不同於45度之角度用於劃定極性區時，並非正方形之矩形區域可更好地擬合像素資料，且與此實例中資料經映射至正方形區域的情況相比可導致較少失真。在視訊應用中，可使用通常被稱為超廣角投影之角向投影將來自北極段204及南極段208中之每一者的像素分別映射至頂視圖214及底視圖218之圓形區。在此實例中，歸因於每一視圖覆蓋90度緯度，頂視圖214及底視圖218中之每一者中的圓形區之直徑與赤道段中之每一者的邊緣相同。左視圖216a、正視圖216b、右視圖216c及後視圖216c中之每一者可使用用以產生等矩形投影之投影產生，其可產生在此等視圖之間的相對平滑的轉變。 圖2B為說明使用映射之3×2佈置產生之實例二維視訊圖框220之圖，該等映射可使用分段式球體投影產生。在實例視訊圖框220中，正視圖216b置放於視訊圖框220之上半部之中間。左視圖216a及右視圖216c分別置放在正視圖216b之左側及右側。後視圖216d旋轉-90度且置放於視訊圖框220之下半部之中間。頂視圖212亦經旋轉使得該頂視圖之左邊緣與後視圖216d之右邊緣對準，且置放在後視圖216d之右側。底視圖218亦經旋轉使得底視圖218之右邊緣與後視圖216d之左邊緣對準，且置放在後視圖216d之左側。在此實例中，「對準」意謂來自每一視圖之將在原始球體202中相鄰的至少一些像素在視訊圖框220中相鄰。在此實例中，超出超廣角投影範圍之頂視圖212及底視圖218之拐角區域係用灰色填充。在其他實例中，此等拐角區域可用另一顏色填充。 分段式球體投影可產生相比使用等矩形投影或立方圖投影產生之視訊圖框具有更好寫碼效率之視訊圖框。舉例而言，可在使用分段式球體投影時產生較少失真及較平滑轉變，該兩者均可改良寫碼效率。然而，可達成甚至更好的寫碼效率。舉例而言，在頂視圖及底視圖中，拐角區域並不捕捉像素資料，且因此將資料添加至在顯示視訊圖框之內容時不需要的視訊圖框。在一些情況下，此額外資料亦產生在使用立方圖映射時較大的經編碼視訊訊框，同時提供相同數目之主動像素。分段式球體投影亦引入一些新問題。舉例而言，頂視圖及底視圖之圓周比左視圖、正視圖、右視圖及後視圖之經組合寬度短。當重編該等視圖以供顯示時，此差異可產生在北極區與赤道區之間及赤道區與南極區之間的可見邊界。在各種實施中，提供使用避免上文所論述之問題的分段式球體投影處理360度視訊資料的系統及方法。在各種實施中，可使用分段式球體投影將360度視訊圖框映射至二維矩形格式，其可使視訊傳輸器及接收器更容易進行處置。在產生此映射時，分段式球體投影之圓形北極區及南極區可使用各種技術擴展，以填充輸出視訊圖框之矩形區。藉由將極性區映射至矩形區之所有拐角中，輸出視訊圖框中之所有可用像素可包括可使用資料。另外，可使頂視圖及底視圖之周界等於經組合之左視圖、正視圖、右視圖及後視圖之整體長度，由此減少在邊界以及頂視圖及底視圖處的任何失真或偽影。此外，由擴展極性區產生之額外像素可導致對極性區中之像素的更密集取樣，且因此在此區域中產生更精確表示。如上所指出，分段式球體投影之赤道區可使用諸如可用以產生等矩形投影之彼等技術的技術而映射至輸出視訊圖框之一或多個正方形或矩形區域。赤道區亦可使用諸如圓柱等面積投影之其他投影映射。圓柱等面積投影之使用進一步論述於____申請之美國申請案第____號(代理人案號173550)，該美國申請案以全文引用的方式併入本文中。為將分段式球體投影之極性區映射至輸出視訊圖框之正方形或矩形區域，可使用用於將圓形映射至正方形的技術。圖3為說明圓302至正方形304及正方形304至圓302之映射的實例的圖。可使用各種技術來實現此等映射，其中之一些描述於M. Lambers，「Mappings between Sphere, Disc, and Square」，Journal of Computer Graphics Techniques, 第5卷，第2期，2016中，其特此以全文引用之方式及出於所有目的併入。圖4為說明用於將正方形404映射至圓及將圓402映射至正方形之若干技術的實例輸出的圖。所說明之技術包括徑向拉伸412、雪萊式等面積映射414、Fernández-Gausti圓方形映射416 (其在本文中將被稱作圓方形映射)、橢圓弧形映射418及保形映射420。此等及其他技術可在輸出映射之不同部分中產生不同程度的失真。在視訊應用中，使用導致對原始影像之最少量修改的技術，諸如圓方形映射416或橢圓弧形映射418。儘可能多的維持原始影像可有利於寫碼效率。雖然Lambers中論述之技術及許多其他技術中之任一者可用於將圓映射至正方形，但可將圓方形映射及橢圓弧形映射用作實例來說明使用分段式球體投影將360度視訊資料映射成二維矩形格式。在其他實例中，可使用其他正方形至圓之映射技術。圓方形映射提供使用以下方程式之正方形至圓之映射：在方程式(1)及(2)中，(x , y )為正方形內之笛卡爾座標且(u , v )為圓內之笛卡爾座標。橢圓弧形映射提供使用以下方程式之正方形至圓之映射：將360度視訊圖框映射至二維矩形格式涉及將360度視訊資料之三維空間轉換為輸出視訊圖框之二維空間。執行此轉換可包括選擇輸出視訊圖框中之像素位置(m , n )及判定球面視訊資料上之點(ϕ ,θ )。像素樣本可獲自由(ϕ ,θ )指定之點且置放於輸出視訊圖框中之點(m , n )處。 在一些實例(諸如上文所論述之彼等實例)中，球面資料之極性區可映射至輸出視訊圖框之矩形區域。在此等實例中，正方形之尺寸可表示為A ×A 。在其他實例中，矩形區域之長度及寬度彼此不同。視訊圖框中之像素位置最常係以光柵次序給定，其中第0個像素位置在視訊圖框之左上拐角中。因此，將3-D空間轉換為2-D空間過程之第一步係將視訊圖框中之座標(m , n )重歸一化為笛卡爾座標(x , y )。其可使用以下方程式實現：在一個實例中，方程式(5)及(6)可與由圓方形映射提供之正方形至圓方程式相組合，以判定圓中之笛卡爾座標(u , v )：在另一實例中，方程式(5)及(6)可與由橢圓弧形映射提供之正方形至圓方程式相組合，以判定(u , v )：下一步驟係判定對應於(u , v )之三維極座標，如在以上實例中之任一者中或使用另一種正方形至圓映射方法所判定。如圖2A中所說明，三維極座標包括圓角、赤道角ϕ (例如自一點沿球體之赤道選擇為0度的角)及豎直角θ (例如，赤道與極中之一者之間的角)。北極區(圖2A之實例中之面0)的極座標可使用以下方程式判定：南極區(圖2A之實例中之面1)的極座標可使用以下方程式判定：對於北極區及南極區兩者，。 圖5A及圖5B為說明已使用角向超廣角投影映射之球面視訊資料之極性區之實例的圖，該角向超廣角投影亦可描述為圓極映射。圖5A說明藉由映射南極區獲得之底視圖508。圖5B說明藉由映射北極區獲得之頂視圖504。如上文所論述，超廣角投影導致北極區及南極區之像素在其中映射像素之正方形區域526、528內佔據圓形區域522、524。投影能夠保持大部分來自球面視訊資料之資料，儘管由於像素已彎曲成圓形而可能出現某種損失。另外，正方形區中之每一者具有拐角區域530，其中像素係用灰色或某一其他值填充而非用來自球面視訊資料之像素資料填充。在經編碼時，歸因於無視訊資料，拐角區域530可降低寫碼效率。此外，拐角區域530添加不必要資料，係因為將在重編視訊圖框以供顯示時丟棄來自拐角區域530之資料。圖6A及圖6B為說明已使用上文所論述之方程式映射之球面視訊資料之極性區的實例的圖。圖6A說明底視圖608且圖6B說明頂視圖604。底視圖608及頂視圖604各自以映射至圖5A及圖5B中所說明之視圖的相同資料開始。然而，在圖6A及圖6B中，應用以上方程式導致資料拉伸以擬合每一正方形區域626、628之拐角區630。在此等實例中，不會向輸出視訊圖框添加不需要的資料。此外，可藉由將資料拉伸至拐角區630中而非將資料彎曲至圓形區中來保持來自球面視訊資料之更多像素資料。圖7說明藉由使用分段式球體投影及此處論述之方程式映射360度視訊圖框產生的視訊圖框710的實例。實例視訊圖框710包括左視圖、正視圖、右視圖、底視圖、後視圖及頂視圖之3×2佈置。在視訊圖框710之上半部中，左視圖726、正視圖722及右視圖724彼此鄰接地佈置，以形成連續區。在視訊圖框710之下半部中，後視圖728旋轉-90度且置放於中間。在此實例中，頂視圖730之資料在映射至在後視圖728右側之正方形區域之前旋轉45度。底視圖732在映射至在後視圖728左側之正方形區域之前以類似方式旋轉45度。在視訊圖框710之下半部中佈置底視圖732、後視圖728及頂視圖730產生半連續區。每一視圖之間的平滑轉變係合需要的，係因為與突然轉變時相比，對視訊圖框之編碼可產生更緊湊的經編碼表示。在其他實例中，可使用視圖之其他佈置，諸如1×6佈置或6×1佈置。或者或另外，在其他實例中，頂視圖及底視圖可置放於視訊圖框710之頂部或底部、視訊圖框710之左側或右側上，或某一其他部分中。或者或另外，在頂視圖及底視圖經映射至視訊圖框之前，可應用頂視圖及底視圖之其他選擇，以獲得不同的半連續區。 視訊圖框710中之像素之間的連續性可產生更好寫碼效率，且亦可減少偽影或可見疵點在視訊圖框710經投影以供顯示時出現。在圖7之實例視訊圖框710中，在頂視圖730及底視圖732之拐角區750與後視圖728相接的情況下，部分不連續形係明顯的。此不連續性可歸因於用以產生後視圖728及頂視圖及底視圖的不同方法及/或獲自球面視訊圖框之資料之形狀的差異。可藉由逐步及不斷調整自球面視訊資料對像素的取樣來降低由拐角區750引起之不連續性。以頂視圖730為例，可以自鄰近於後視圖728之邊緣(在此實例中)朝向頂視圖730之右側的逐步方式而自球面資料獲取樣本。此外，取樣調整可更多地應用於頂視圖730之外部邊緣(例如應用於拐角區750)而非應用於中間，其中關於後視圖之不連續性較不明顯。在映射底視圖732時可應用相同調整。在各種實施中，對像素之逐步取樣包括調整上文所論述之2-D至3-D轉換。舉例而言，對應於視訊圖框中所選擇之點(m , n )的笛卡爾座標(x , y )可使用以下方程式判定：如前所述，A 為其中映射球面視訊資料之正方形區域之邊的長度。 對於頂視圖(例如面0)，x 座標可根據以下方程式調整：對於後視圖(例如面1)，x 座標可根據以下方程式調整：在以上方程式中，b 為可用於改變像素取樣自頂視圖或底視圖朝向視圖中間變化的量的參數。下文進一步論述選擇b 之值。在一些實例中，為0.2之b 值減少後視圖與頂視圖之間的不連續性而不會明顯影響對頂視圖之中心區域中之像素的取樣。 應注意，在圖7之實例中，因為後視圖728旋轉-90度，所以x 軸處於上下方向且y 軸處於自左至右方向。 在各種實施中，並未調整y 座標，正如根據方程式(17)所判定一般。此外，雙曲正切函數用作產生介於0與1之間的逐步轉變的函數的一個實例。在其他實例中，可使用諸如正弦函數、多項式函數之其他函數或產生逐步轉變之其他函數。 在各種實施中，經調整之x 值及y 值可進一步用於上文所論述之正方形至圓之映射中。圖8說明在不使用上文所論述之逐步轉變技術的情況下所映射之第一部分視訊圖框810及根據逐步轉變技術映射之第二部分視訊圖框820的實例。在此實例中，頂視圖830出現在每一部分視訊圖框之頂部，底視圖832在部分視訊圖框之底部，且後視圖828在中間。 例如，在第一部分視訊圖框810中，將若干不連續性850畫圈。此等不連續性850出現在頂視圖830及底視圖832與後視圖828相接之處。不連續性850表現為水平線，其可在視訊圖框經呈現以供顯示時存在。 在第二部分視訊圖框820中，突出顯示不連續性852之區域，但由於經調整x 座標之方程式已用於映射頂視圖830及底視圖832，所以該不連續性較不明顯。 應注意，在此實例中，x 軸處於水平方向。亦應注意，在此實例中，僅在頂視圖830及底視圖832與後視圖828相接之處而非在第二部分視訊圖框820之頂部邊緣及底部邊緣處應用對x 座標之調整。在其他實例中，亦可在圖框之頂部邊緣及底部邊緣處應用調整。如上文所指出，參數b 用於方程式(18)及(19)中以調整x 座標隨著x 減小或增大而變化的程度。較大b 值可導致自(例如)後視圖至頂視圖之更突然轉變(導致可能可見的不連續性)，且較小b 值可導致更平滑轉變。然而，b 之較小值可使朝向視圖之中心之更多像素受到影響。限制對視圖之中心中的像素之修改可為合乎需要的，係因為保持此等像素儘可能接近球面視訊資料中之像素之定向可在顯示視訊圖框時產生更好寫碼效率及更好表現。作為不同b 值之效應的實例，圖9說明其上根據具有不同b 值之不同方程式(18)標繪(x ' , y )的曲線圖900。在頂視圖與後視圖相接的情況下，y = -1，且與後視圖相對之頂視圖的邊緣為y = 1。在x ' = 0下，禁用逐步取樣，其意謂(例如)圓方形或橢圓弧形映射適用。在x ’ = 1下，發生在數學上匹配後視圖之邊緣之取樣的取樣。曲線圖900中之最左邊曲線係用於b = 0.2。自左至右移動之每一連續曲線使b 增大0.1。最右邊曲線係用於b = 2.0。如自圖9中所說明之實例可見，隨著b 增大，取樣調整愈來愈多地影響對頂視圖之映射，直至視圖中之所有像素受到影響為止。如先前所述，修改視圖之中間區域中的樣本可不利地影響輸出視訊圖框之寫碼效率。然而，在較低b 值下，y 的變化快速下降，導致調整限制於特定區域。根據上文所論述之技術生成之視訊圖框可經編碼以供儲存及/或傳輸。視訊圖框隨後可經解碼以供顯示。為顯示視訊圖框，可將視訊圖框中之像素自視訊圖框之二維佈置映射回至三維表示(例如)作為球面資料。接著可例如使用具備虛擬實境能力之顯示器件顯示經重建構之球面資料。為重建構球面視訊資料，可應用與用以映射視訊圖框之彼等操作相逆的操作。舉例而言，可使用(例如)用以產生等矩形投影之投影的反演將左視圖、正視圖、右視圖及後視圖映射回至分段式球體投影之赤道區。可藉由選擇球體上之點(ϕ ,θ ) (例如，水平角及豎直角；圓角將為恆定的)及判定視訊圖框中之對應點(m , n )，將頂視圖及頂視圖映射回至北極區及南極區。自點(m , n )取樣之像素接著可置放於(ϕ ,θ )處。在以下實例中，由圓方形映射及橢圓弧形映射提供之圓至正方形映射將用作可用以將儲存於視訊圖框之正方形區域中之像素資料轉換至圓形區域中的技術的實例。在其他實例中，可使用其他圓至正方形映射技術。對於頂視圖(例如面0)，且。為將極座標(ϕ ,θ )轉換為笛卡爾座標(u , v )，可將以下方程式用於頂視圖：對於底視圖(例如面1)，且。為將極座標(ϕ ,θ )轉換為笛卡爾座標(u , v )，可將以下方程式用於底視圖：接下來，在點(u , v )給定的情況下，可判定視訊中之對應位置(x , y )。作為第一實例，圓方形映射提供以下用於執行圓至正方形映射之方程式： 在方程式(26)中，sgn 為正負號函數。 作為第二實例，橢圓弧形映射提供以下用於執行圓至正方形映射之方程式：最後，(x , y )座標可經解歸一化至視訊圖框之座標系統。如上文所指出，(x , y )為笛卡爾座標，而視訊圖框可使用左上側拐角作為點(0, 0)。可使用以下方程式判定至視訊圖框之座標(m , n )的轉換。使用圓方形映射抑或橢圓弧形映射(或另一技術)判定之位置(m , n )可用於自視訊圖框選擇像素。像素接著可映射至視訊圖框之球面表示上之點(ϕ ,θ )。 在各種實施中，可應用視訊圖框之一些部分之逐步調整以減少由像素並未在視圖之間的邊界處對準而引起的可見失真。舉例而言，可使用上文所論述之技術執行逐步調整。在此等實例中，可在將(x , y )轉換為(m , n )之前使用以下方程式調整x 座標：如先前所述，相比單獨使用分段式球體映射產生之視訊圖框，使用分段式球體映射及圓方形或橢圓弧形映射之組合產生之視訊圖框可更有效地進行編碼。舉例而言，對於相同數目之二維圖樣本，按照常見測試條件，圓方形映射可勝過分段式球體投影大致1%，如J. Boyce、E. Alshina、A. Abbas、Y. Ye, 「JVET common test conditions and evaluation procedures for 360-degree video」, JVET-E1030中所描述，其特此以全文引用之方式且出於所有目的併入。 圖10為說明用於根據上文所論述之技術處理視訊資料的過程1000的實例的流程圖。在1002處，過程1000包括獲得包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於視訊圖框之視訊資料之球面表示。在一些實例中，360度視訊資料可自視訊捕捉器件直接獲得。在此等實例中，球面表示可包括同時捕捉之多個圖像，諸如多個矩形圖像或一或多個超廣角圖像。或者或另外，360度視訊資料可包括其中多個圖像已藉由視頻捕捉器件或另一器件縫合在一起的視訊圖框。在一些實例中，以矩形格式(例如，等矩形或立方圖格式)獲得的360度視訊資料可經映射至球面表示。在1004處，過程1000包括將來自複數個視訊圖框之視訊圖框分割成頂部區、中間區及底部區。頂部區包括球面表示之第一圓形區域。底部區包括球面表示之第二圓形區域，其在球面表示上與第一圓形區域相對。中間區包括球面表示中不包括於頂部區或底部區中之區域。可以高於球面表示之赤道之第一緯度及低於赤道之第二緯度來分割視訊圖框。第一緯度及第二緯度可與赤道等距。在一些實例中，緯度之角度與赤道成45度。在其他實例中，緯度之角度大於或小於45度。 在一些實施中，過程1000包括將中間區映射至輸出視訊圖框之一或多個矩形區域。映射中間區可包括(例如)選擇輸出視訊圖框中之像素位置及判定球面表示上對應於該像素位置之點。在此實例中，可使用將二維矩形轉換為三維球體之映射(諸如等矩形投影)來判定球面表示上之點。映射中間區可進一步包括在球面表示上之點處對像素進行取樣，及將經取樣像素置放於視訊圖框中之像素位置處。 在1006處，過程1000包括將頂部區映射至輸出視訊圖框之第一矩形區域中。映射頂部區可包括擴展第一圓形區域中所包括之視訊資料以填充第一矩形區域，使得第一矩形區域沒有像素位置，該等像素位置不包括來自視訊圖框之像素。在1008處，過程1000包括將底部區映射至輸出視訊圖框之第二矩形區域中。映射底部區可包括擴展第二圓形區域中所包括之視訊資料以填充第二矩形區域。映射頂部區及映射底部區可包括(例如)選擇輸出視訊圖框中之像素位置及判定球面表示上對應於像素位置的點。在此實例中，可使用用於將正方形轉換為圓之映射(諸如圓方形映射或橢圓弧形映射或另一映射)判定球面表示上之點。映射頂部區及底部區可進一步包括自球面表示上之點對像素進行取樣，及將經取樣像素置放於輸出視訊圖框中之像素位置處。在一些實例中，用於將正方形轉換為圓之映射將輸出視訊圖框中之失真降至最低。在此等實例中，第一及第二矩形區域之中心區域包括自球面表示至輸出視訊圖框之直接映射，使得在此區域中產生較少失真。在一些實例中，映射頂部區及底部區可進一步包括使用漸次曲線函數來調整像素位置。可例如在鄰近於一或多個矩形區域中之至少一者之區域中的像素位置處使用漸次曲線函數。舉例而言，在第一矩形區域鄰近於另一矩形區域(例如，中間區之矩形區域中之一者)的情況下，可應用漸次曲線函數。作為另一實例，在第二矩形區域鄰近於另一矩形區域的情況下，可應用漸次曲線函數。應用漸次曲線函數可減少可能在第一及第二矩形區域與視訊圖框中之其他矩形區域相接之處出現的失真。漸次曲線函數可針對第一矩形區域或第二矩形區域之中間區域較少地改變像素位置，且針對第一矩形區域或第二矩形區域之外部區域較多地改變像素位置。漸次曲線函數之實例包括雙曲正切、正弦、多項式函數及其他函數。在一些實例中，中間區包括可指定為左視圖、正視圖及右視圖之部分。在此等實例中，指定為左視圖之部分可在輸出視訊圖框中鄰近於指定為正視圖之部分置放。此外，指定為右視圖之部分鄰近於正視圖置放。在此等實例中，左視圖、正視圖及右視圖可在輸出視訊圖框中形成連續區域，其中連續意謂在球面表示中相鄰之像素彼此鄰接地置放於輸出視訊圖框中。在一些實例中，中間區包括可指定為後視圖之部分。在此等實例中，底部區可在輸出視訊圖框中鄰近於指定為後視圖之部分置放，且頂部區亦可鄰近於後視圖置放。在此等實例中，底部區及頂部區可在輸出視訊圖框中形成實質上連續的區域。 在一些實例中，將頂部區映射至第一矩形區域中可包括將逐步調整應用於其中第一矩形區域鄰近於來自一或多個矩形區域之矩形區域的區域。舉例而言，在第一矩形區域鄰近於另一矩形區域的情況下，自球面視訊資料取樣之像素可經移位以更好地與來自其他矩形區域之像素對準。對於更遠離第一矩形區域之邊緣的像素位置，此逐步調整可逐漸減少。在一些實例中，相同逐步調整可應用於第二矩形區域。在一些實例中，該輸出視訊圖框具有三乘二縱橫比。三乘二縱橫比可比其他縱橫比更有效地進行編碼。在一些實例中，輸出視訊圖框可使用例如HEVC或AVC編碼解碼器(或另一編碼解碼器)編碼以供儲存及/或傳輸。圖11為說明用於根據上文所論述之技術處理視訊資料的過程1100的實例的流程圖。在1102處，過程1100包括獲得包括複數個視訊圖框之360度視訊資料，來自該複數個視訊圖框之每一視訊圖框包括用於視訊圖框之視訊資料之二維表示。在一些實例中，360度視訊資料可自經編碼位元串流獲得。經編碼位元串流可自儲存位置讀取，及/或可自傳輸接收。在此等實例中，位元串流可解碼成矩形視訊圖框。 在1104處，過程1100包括識別來自複數個視訊圖框中之視訊圖框的第一矩形區域。在1106處，過程1100包括將第一矩形區域映射至用於視訊圖框之視訊資料之球面表示的頂部區中。頂部區可包含球面表示之第一圓形區域。映射第一矩形區域可包括將來自第一矩形區域之視訊資料佈置至第一圓形區域中。在1108處，過程1100包括識別視訊圖框之第二矩形區域。在1110處，過程1100包括將第二矩形區域映射至球面表示之底部區中。底部區可包含球面表示之第二圓形區域。映射第二矩形區域可包括將來自第二矩形區域之視訊資料佈置至第二圓形區域中。頂部區可包括(例如)球面表示中高於球面表示之第一緯度的表面。作為另一實例，底部區可包括球面表示中低於球面表示之第二緯度的表面。在此實例中，第一緯度及第二緯度可與球面表示之赤道等距。在一些實例中，緯度為與赤道成45度。在一些實例中，緯度為大於或小於45度的度數。 在一些實例中，映射第一矩形區域及映射第二矩形區域包括選擇球面表示上之點及判定視訊圖框中對應於該點之像素位置。可使用用於將圓轉換為正方形之映射(諸如圓方形映射、橢圓弧形映射或另一映射)來判定像素位置。此等映射可導致圓經壓縮或變形成正方形。映射第一及第二矩形區域可進一步包括自像素位置對像素進行取樣，及將經取樣像素置放至球面表示上之點處。在一些實例中，用於將圓轉換為正方形之映射反演在第一矩形區域或第二矩形區域中之視訊資料經擴展以填充第一矩形區域或第二矩形區域時所引起之失真。舉例而言，藉由將360度視訊之球面表示之圓形區轉換為矩形區，可用像素資料填充第一及第二矩形區域，其可導致像素之一些可見失真。藉由將像素自矩形形狀映射回至圓形形狀，可去除失真。在一些實例中，映射第一矩形區域及映射第二矩形區域進一步包括使用漸次曲線函數調整像素位置。舉例而言，可在鄰近於一或多個額外矩形區域中之至少一者的區域中之像素位置處使用漸次曲線函數。在此等實例中，在像素映射至球面表示時，可保持鄰近於第一或第二矩形區域之像素與第一或第二矩形區域中之像素之間的連續轉變。在一些實例中，漸次曲線函數針對第一矩形區域或第二矩形區域之中間區域較少地改變像素位置，且針對第一矩形區域或第二矩形區域之外部區域較多地改變像素位置。在一些實施中，過程1100包括將視訊圖框之一或多個額外矩形區域映射至球面表示之中間區中。映射一或多個額外矩形區域可包括(例如)選擇球面表示上之一點，及判定視訊圖框中對應於該點之像素位置。可使用將三維球體轉換為二維矩形之映射(諸如，等矩形投影、立方圖投影或另一投影)來判定像素位置。映射一或多個額外矩形區域可進一步包括自像素位置對像素進行取樣，及將經取樣像素置放至球面表示上之點處。在一些實例中，一或多個額外矩形區域包括可指定為左視圖、正視圖及右視圖之區域。在此等實例中，指定為左視圖之區域可鄰近於指定為正視圖之區域定位，且指定為右視圖之區域亦可鄰近於正視圖定位。在此等實例中，左視圖、正視圖及右視圖可在視訊圖框中形成連續區域。在一些實例中，該一或多個額外矩形區域包括可指定為後視圖之區域。在此等實例中，第一矩形區域可鄰近於指定為後視圖之區域，且第二矩形區域亦可鄰近於後視圖。在此等實例中，第一矩形區域、後視圖及第二矩形區域可在視訊圖框中形成連續區域。 在一些實例中，將第一矩形區域映射至頂部區中可包括將逐步調整應用於其中第一矩形區域鄰近於另一矩形區域之區域。在此等實例中，視訊圖框中之像素位置可經移位，以便產生第一矩形區域與其他矩形區域之間的連續轉變。藉由在將像素自視訊圖框映射至球面表示時應用逐步調整，可將此連續轉變保持於球面表示中。類似逐步調整亦可應用於第二矩形區域。在一些實例中，過程1000、1100可由諸如視訊寫碼器件(例如，編碼器件104及/或解碼器件112)之計算器件或裝置執行。視訊寫碼器件可包括(例如)視訊編碼系統及/或視訊解碼系統。在一些情況下，計算器件或裝置可包括處理器、微處理器、微電腦或經組態以進行過程1000、1100之步驟的器件之其他組件。在一些實例中，計算器件或裝置可包括經組態以捕捉包括視訊圖框之視訊資料(例如，視訊序列)的攝影機。舉例而言，計算器件可包括攝影機器件(例如，IP攝影機或其他類型之攝影機器件），該攝影機器件可包括視訊編碼解碼器。在一些實例中，攝影機或捕捉視訊資料之其他捕捉器件與計算器件分離，在此情況下，計算器件接收所捕捉視訊資料。計算器件可進一步包括經組態以傳達視訊資料之網路介面。網路介面可經組態以傳達基於網際網路協定(IP)之資料。過程1000、1100經說明為邏輯流程圖，其操作表示可以硬體、電腦指令或其組合實施的一系列操作。在電腦指令之上下文中，操作表示儲存於一或多個電腦可讀儲存媒體上當藉由一或多個處理器執行時執行所敍述之操作的電腦可執行指令。大體上，電腦可執行指令包括執行特定功能或實施特定資料類型之常式、程式、對象、組件、資料結構及其類似者。描述操作之次序並不意欲被理解為限制，且任何數目個經描述操作可按任何次序及/或與實施過程並行地組合。另外，過程1000、1100可在經組態有可執行指令之一或多個電腦系統之控制下執行且可經實施為藉由硬體或其組合共同執行於一或多個處理器上之程式碼(例如，可執行指令、一或多個電腦程式或一或多個應用程式)。如上文所陳述，程式碼可儲存於電腦可讀或機器可讀儲存媒體上，例如，呈包含可由一或多個處理器執行之複數個指令之電腦程式的形式。電腦可讀或機器可讀儲存媒體可為非暫時性的。藉由攝影機(例如，超廣角攝影機或其他一或多種適合的攝影機)捕捉之視訊資料可經寫碼以減少傳輸及儲存所需之資料的量。寫碼技術可在實例視訊編碼及解碼系統中實施。在一些實例中，系統包括提供稍後待由目的地器件解碼之經編碼視訊資料的源器件。詳言之，源器件經由電腦可讀媒體將視訊資料提供至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」平板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件及目的地器件可經裝備以用於無線通信。 包括編碼系統及/或解碼系統之視訊寫碼系統可用於編碼及/或解碼視訊資料。實例視訊編碼及解碼系統包括源器件，其提供稍後待由目的地器件解碼之經編碼視訊資料。詳言之，源器件經由電腦可讀媒體提供視訊資料至目的地器件。源器件及目的地器件可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如所謂的「智慧型」電話)、所謂的「智慧型」平板、電視機、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源器件及目的地器件可經裝備以用於無線通信。目的地器件可經由電腦可讀媒體接收待解碼之經編碼視訊資料。電腦可讀媒體可包含能夠將經編碼視訊資料自源器件移動至目的地器件的任何類型之媒體或器件。在一個實例中，電腦可讀媒體可包含通信媒體以使得源器件能夠即時地將經編碼視訊資料直接傳輸至目的地器件。經編碼視訊資料可根據通信標準(諸如，無線通信協定)調變，且經傳輸至目的地器件。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件至目的地器件之通信的任何其他裝備。在一些實例中，經編碼資料可自輸出介面輸出至儲存器件。類似地，經編碼資料可由輸入介面自儲存器件存取。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合之數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件產生之經編碼視訊的另一中間儲存器件。目的地器件可經由串流傳輸或下載自儲存器件存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此可包括適用於存取儲存於檔案伺服器上之經編碼視訊資料的無線通道(例如，Wi-Fi連接)、有線連接(例如，DSL、電纜數據機等)或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其組合。本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。在一個實例中，源器件包括視訊源、視訊編碼器及輸出介面。目的地器件可包括輸入介面、視訊解碼器及顯示器件。源器件之視訊編碼器可經組態以應用本文中所揭示之技術。在其他實例中，源器件及目的地器件可包括其他組件或佈置。舉例而言，源器件可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣，目的地器件可與外部顯示器件介接，而非包括整合式顯示器件。以上實例系統僅為一個實例。用於並行處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編碼解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件及目的地器件僅為源器件產生經寫碼視訊資料以供傳輸至目的地器件之此類寫碼器件的實例。在一些實例中，源器件及目的地器件可以實質上對稱之方式操作，使得該等器件中之每一者包括視訊編碼及解碼組件。因此，實例系統可支援視訊器件之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。視訊源可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊之視訊饋入介面。作為另一替代方案，視訊源可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源為視訊攝影機，則源器件及目的地器件可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器編碼所捕捉、經預捕捉或電腦產生之視訊。經編碼視訊資訊接著可由輸出介面輸出至電腦可讀媒體上。如所提及，電腦可讀媒體可包括暫態媒體，諸如無線廣播或有線網路傳輸；或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未圖示)可自源器件接收經編碼視訊資料且例如經由網路傳輸將經編碼視訊資料提供至目的地器件。類似地，媒體生產設施(諸如，光碟衝壓設施)之計算器件可自源器件接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體可理解為包括各種形式之一或多個電腦可讀媒體。一般技術者將瞭解，在不脫離本說明書之範疇之情況下，本文中所使用之小於(「＜」)及大於(「＞」)符號或術語可分別用小於或等於(「≤」)及大於或等於(「≥」)符號替換。編碼器件104及解碼器件112之特定細節分別展示於圖12及圖13中。圖12為說明可實施本發明中所描述之技術中之一或多者的實例編碼器件104之方塊圖。編碼器件104可(例如)產生本文中所描述之語法結構(例如，VPS、SPS、PPS或其他語法元素之語法結構)。編碼器件104可執行視訊圖塊內之視訊區塊的框內預測及框間預測寫碼。如先前所描述，框內寫碼至少部分地依賴於空間預測以減少或移除給定視訊圖框或圖像內之空間冗餘。框間寫碼至少部分地依賴於時間預測以減少或移除視訊序列之相鄰或周圍圖框內的時間冗餘。框內模式(I模式)可指若干基於空間之壓縮模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之壓縮模式中的任一者。編碼器件104包括分割單元35、預測處理單元41、濾波器單元63、圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。對於視訊區塊重建構，編碼器件104亦包括逆量化單元58、逆變換處理單元60及求和器62。濾波器單元63意欲表示一或多個迴路濾波器，諸如解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。雖然濾波器單元63在圖12中展示為迴路濾波器，但在其他組態中，濾波器單元63可實施為後迴路濾波器。後處理器件57可對由編碼器件104產生之經編碼視訊資料執行額外處理。本發明之技術可在一些情況下由編碼器件104實施。然而，在其他情況下，本發明之技術中之一或多者可由後處理器件57實施。如圖12中所展示，編碼器件104接收視訊資料，且分割單元35將資料分割成視訊區塊。分割亦可包括分割成圖塊、圖塊片段、圖案塊或其他較大單元以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。編碼器件104一般說明編碼待編碼之視訊圖塊內的視訊區塊的組件。圖塊可劃分成多個視訊區塊(且可能劃分成被稱作圖案塊之視訊區塊集合)。預測處理單元41可基於誤差結果(例如，寫碼速率及失真等級，或其類似者)選擇複數個可能寫碼模式中之一者(諸如，複數個框內預測寫碼模式中之一者或複數個框間預測寫碼模式中之一者)以用於當前視訊區塊。預測處理單元41可將所得經框內或框間寫碼區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62以重建構經編碼區塊以用作參考圖像。預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與待寫碼之當前區塊在相同之圖框或圖塊中之一或多個鄰近區塊的框內預測寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊之框間預測性寫碼，以提供時間壓縮。運動估計單元42可經組態以根據視訊序列之預定圖案來判定用於視訊圖塊之框間預測模式。預定圖案可將序列中之視訊圖塊指定為P圖塊、B圖塊或GPB圖塊。運動估計單元42及運動補償單元44可高度整合，但出於概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之過程，該等運動向量估計視訊區塊之運動。運動向量(例如)可指示當前視訊圖框或圖像內之視訊區塊的預測單元(PU)相對於參考圖像內之預測性區塊的移位。預測性區塊為就像素差而言被發現緊密地匹配待寫碼的視訊區塊之PU之區塊，該像素差可由絕對差和(SAD)、平方差和(SSD)或其他差度量判定。在一些實例中，編碼器件104可計算儲存於圖像記憶體64中之參考圖像的次整數像素位置的值。舉例而言，編碼器件104可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。由運動補償單元44執行之運動補償可涉及基於由運動估計(可能執行內插至子像素精確度)判定之運動向量而提取或產生預測性區塊。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中定位運動向量所指向之預測性區塊。編碼器件104藉由自正經寫碼之當前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊。像素差形成用於區塊之殘餘資料，且可包括亮度及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊圖塊相關聯之語法元素，以供解碼器件112用於解碼視訊圖塊之視訊區塊。如上文所描述，作為由運動估計單元42及運動補償單元44所執行之框間預測的替代，框內預測處理單元46可對當前區塊進行框內預測。詳言之，框內預測處理單元46可判定框內預測模式以用以編碼當前區塊。在一些實例中，框內預測處理單元46可例如在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測處理單元46 (或一些實例中的模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種所測試框內預測模式之速率-失真分析來計算速率-失真值，且可在所測試模式間選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元速率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及速率計算比率以判定哪一框內預測模式展現該區塊之最佳速率-失真值。在任何情況下，在選擇用於區塊之框內預測模式後，框內預測處理單元46可將指示用於區塊之所選框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。編碼器件104可將各種區塊之編碼上下文之定義以及待用於上下文中之每一者的最可能的框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示包括於經傳輸位元串流組態資料中。位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。在預測處理單元41經由框間預測或框內預測產生用於當前視訊區塊之預測性區塊之後，編碼器件104藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上類似變換之變換將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域轉換至變換域(諸如，頻域)。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化過程可減小與係數中之一些或所有相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。在量化之後，熵編碼單元56對經量化變換係數進行熵編碼。舉例而言，熵編碼單元56可執行上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼技術。在由熵編碼單元56進行熵編碼之後，經編碼位元串流可傳輸至解碼器件112，或經存檔以供稍後由解碼器件112傳輸或擷取。熵編碼單元56亦可對正經寫碼之當前視訊圖塊的運動向量及其他語法元素進行熵編碼。逆量化單元58及逆變換處理單元60分別應用逆量化及逆變換以重建構像素域中之殘餘區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像清單內之參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構殘餘區塊以計算次整數像素值以用於運動估計。求和器62將經重建構殘餘區塊添加至由運動補償單元44產生之經運動補償之預測區塊以產生用於儲存於圖像記憶體64中之參考區塊。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框或圖像中之區塊進行框間預測。以此方式，圖12之編碼器件104表示經組態以產生經編碼視訊位元串流之語法的視訊編碼器之實例。編碼器件104可(例如)產生如上文所描述之VPS、SPS及PPS參數集。編碼器件104可執行本文中所描述之技術中之任一者，包括上文所描述之過程。本發明之技術已大體上關於編碼器件104加以描述，但如上文所提及，本發明之技術中的一些亦可藉由後處理器件57實施。圖13為說明實例解碼器件112之方塊圖。解碼器件112包括熵解碼單元80、預測處理單元81、逆量化單元86、逆變換處理單元88、求和器90、濾波器單元91及圖像記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，解碼器件112可執行大體上與關於來自圖12之編碼器件104描述的編碼遍次互逆的解碼遍次。在解碼過程期間，解碼器件112接收表示由編碼器件104發送之經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。在一些實施例中，解碼器件112可自編碼器件104接收經編碼視訊位元串流。在一些實施例中，解碼器件112可自網路實體79 (諸如，伺服器、媒體感知網路元件(MANE)、視訊編輯器/編接器或經組態以實施上文所描述之技術中之一或多者的其他此類器件)接收經編碼視訊位元串流。網路實體79可或可不包編碼器件104。在網路實體79將經編碼視訊位元串流傳輸至解碼器件112之前，本發明中所描述之技術中的一些可由網路實體79實施。在一些視訊解碼系統中，網路實體79及解碼器件112可為獨立器件之部分，而在其他情況下，關於網路實體79描述之功能性可由包含解碼器件112之同一器件執行。解碼器件112之熵解碼單元80對位元串流進行熵解碼以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉遞至預測處理單元81。解碼器件112可以視訊圖塊層級及/或視訊區塊層級接收語法元素。熵解碼單元80可處理並剖析諸如VPS、SPS及PPS之一或多個參數集中之固定長度語法元素及可變長度語法元素兩者。當視訊圖塊經寫碼為經框內寫碼(I)圖塊時，預測處理單元81之框內預測處理單元84可基於經傳信框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生用於當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(亦即，B、P或GPB)圖塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素而產生用於當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單內之參考圖像中的一者產生。解碼器件112可基於儲存於圖像記憶體92中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82可使用參數集中之一或多個語法元素來判定用以對視訊圖塊之視訊區塊進行寫碼之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之一或多個參考圖像清單之建構資訊、圖塊之每一經框間編碼之視訊區塊之運動向量、圖塊之每一經框間寫碼之視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元82亦可執行基於內插濾波器之內插。運動補償單元82可使用如在視訊區塊之編碼期間由編碼器件104使用的內插濾波器來計算參考區塊之次整數像素的內插值。在此情況下，運動補償單元82可自所接收語法元素判定由編碼器件104使用之內插濾波器，且可使用內插濾波器來產生預測性區塊。 逆量化單元86逆量化或解量化位元串流中所提供且由熵解碼單元80解碼之經量化變換係數。逆量化過程可包括使用由編碼器件104針對視訊圖塊中之每一視訊區塊計算的量化參數來判定量化程度及同樣應該應用之逆量化程度。逆變換處理單元88將逆變換(例如，逆DCT或其他適合之逆變換)、逆整數變換或概念上類似的逆變換過程應用於變換係數以便在像素域中產生殘餘區塊。在運動補償單元82基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，解碼器件112藉由將來自逆變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可使用迴路濾波器(在寫碼迴路中或在寫碼迴路後)以使像素轉變平滑，或以其他方式改良視訊品質。濾波器單元91意欲表示一或多個迴路濾波器，諸如，解區塊濾波器、自適應迴路濾波器(ALF)及樣本自適應偏移(SAO)濾波器。雖然濾波器單元91在圖13中展示為迴路濾波器，但在其他組態中，濾波器單元91可實施為後迴路濾波器。給定圖框或圖像中之經解碼視訊區塊隨後儲存於圖像記憶體92中，圖像記憶體92儲存用於後續運動補償之參考圖像。圖像記憶體92亦儲存經解碼視訊以便稍後呈現於顯示器件上。在前述描述中，參考申請案之特定實施例描述申請案之態樣，但熟習此項技術者將認識到本發明不限於此。因此，儘管本文中已詳細描述申請案之說明性實施例，但應理解，本發明概念可以其他方式不同地體現並使用，且所附申請專利範圍意欲解釋為包括除先前技術所限制外的此等變化。上文所描述之發明之各種特徵及態樣可單獨地或聯合地使用。另外，實施例可用於超出本文所描述之彼等環境及應用之任何數目個環境及應用，而不脫離本說明書之更廣精神及範疇。因此，本說明書及圖式被視為說明性而非限定性的。出於說明之目的，以特定次序描述方法。應瞭解，在替代實施例中，可以與所描述之次序不同之次序來執行該等方法。在組件被描述為「經組態以」執行某些操作之情況下，可(例如)藉由設計電子電路或其他硬體以執行操作、藉由程式化可程式化電子電路(例如，微處理器或其他適合之電子電路)以執行操作或其任何組合來實現此組態。結合本文所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟可被實施為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體與軟體之此可互換性，各種說明性組件、區塊、模組、電路及步驟已在上文大體按其功能性加以描述。此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以不同方式實施所描述之功能性，但不應將此等實施決策解釋為導致脫離本發明之範疇。本文中所描述之技術亦可以電子硬體、電腦軟體、韌體或其任何組合來實施。此等技術可實施於多種器件中之任一者中，諸如，通用電腦、無線通信器件手持機或具有多種用途(包括在無線通信器件手持機及其他器件中之應用)之積體電路器件。可將描述為模組或組件之任何特徵共同實施於整合式邏輯器件中或分開實施為離散但可互操作之邏輯器件。若以軟體予以實施，則該等技術可至少部分地由包含程式碼之電腦可讀資料儲存媒體實現，該程式碼包括在執行時執行上文所描述之方法中之一或多者的指令。電腦可讀資料儲存媒體可形成電腦程式產品之部分，該電腦程式產品可包括封裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如，隨機存取記憶體(RAM)，諸如，同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似者。另外或替代地，該等技術可至少部分地由電腦可讀通信媒體實現，該電腦可讀通信媒體載送或傳達呈指令或資料結構之形式且可由電腦存取、讀取及/或執行的程式碼，諸如，傳播之信號或波。 程式碼可由可包括一或多個處理器之處理器執行，諸如，一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中之任一者。通用處理器可為微處理器；但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可經實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器或任何其他此類組態。因此，如本文中所使用之術語「處理器」可指前述結構中之任一者、前述結構之任何組合或適合於實施本文中所描述之技術的任何其他結構或裝置。此外，在一些態樣中，本文中描述之功能性可提供於經組態用於編碼及解碼之專用軟體模組或硬體模組內，或併入於組合之視訊編碼器-解碼器(編碼解碼器)中。
35‧‧‧分割單元
40‧‧‧模式選擇單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
57‧‧‧後處理器件
58‧‧‧逆量化單元
60‧‧‧逆變換處理單元
62‧‧‧求和器
63‧‧‧濾波器單元
64‧‧‧圖像記憶體
79‧‧‧網路實體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧逆量化單元
88‧‧‧逆變換處理單元
90‧‧‧求和器
91‧‧‧濾波器單元
92‧‧‧圖像記憶體
104‧‧‧編碼器件
110‧‧‧視訊圖框
112‧‧‧解碼器件
120‧‧‧視訊圖框
122‧‧‧前向正表面
124‧‧‧右面
126‧‧‧左面
128‧‧‧背面
130‧‧‧頂面
132‧‧‧底面
202‧‧‧球體
204‧‧‧北極段
206‧‧‧赤道段
208‧‧‧南極段
210‧‧‧二維豎直映射
214‧‧‧頂視圖
216a‧‧‧左視圖
216b‧‧‧正視圖
216c‧‧‧右視圖
216d‧‧‧後視圖
218‧‧‧底視圖
220‧‧‧視訊圖框
302‧‧‧圓
304‧‧‧正方形
402‧‧‧圓
404‧‧‧正方形
412‧‧‧徑向拉伸
414‧‧‧雪萊式等面積映射
416‧‧‧Fernández-Gausti圓方形映射
418‧‧‧橢圓弧形映射
420‧‧‧保形映射
504‧‧‧頂視圖
508‧‧‧底視圖
522‧‧‧圓形區域
524‧‧‧圓形區域
526‧‧‧正方形區域
528‧‧‧正方形區域
530‧‧‧拐角區域
604‧‧‧頂視圖
608‧‧‧底視圖
626‧‧‧正方形區域
628‧‧‧方形區域
630‧‧‧拐角區
710‧‧‧視訊圖框
722‧‧‧正視圖
724‧‧‧右視圖
726‧‧‧左視圖
728‧‧‧後視圖
730‧‧‧頂視圖
732‧‧‧底視圖
750‧‧‧拐角區
810‧‧‧第一部分視訊圖框
820‧‧‧第二部分視訊圖框
828‧‧‧後視圖
830‧‧‧頂視圖
832‧‧‧底視圖
850‧‧‧不連續性
900‧‧‧曲線圖
1000‧‧‧過程
1100‧‧‧過程
專利或申請案文件含有至少一個彩製圖式。在申請且支付必要費用後，專利局將提供具有彩色圖式之本專利或專利申請公開案之複本。下文參考以下圖式詳細描述本發明之說明性實施例：圖1A說明包括360度視訊圖框之等矩形投影的視訊圖框。圖1B說明包括360度視訊圖框之立方圖投影的視訊圖框。圖2A為說明球體之表面至豎直映射之分段式球體投影的圖。圖2B為說明使用映射之3×2佈置產生之實例視訊圖框的圖，該等映射可使用分段式球體投影產生。圖3為說明圓至正方形及正方形至圓之映射的實例的圖。圖4為說明用於將正方形映射至圓及將圓映射至正方形之若干技術的實例輸出的圖。圖5A及圖5B為說明已使用角向超廣角投影映射之球面視訊資料之極性區的實例的圖。圖6A及圖6B為說明已使用本文所論述之技術映射之球面視訊資料之極性區的實例的圖。圖7說明藉由使用分段式球體投影及此處論述之技術映射360度視訊圖框產生的視訊圖框的實例。圖8說明在不使用上文所論述之逐步轉變技術的情況下所映射之第一部分視訊圖框及根據逐步轉變技術映射之第二部分視訊圖框的實例。圖9說明其上標繪函數之輸出的曲線圖。 圖10為說明用於根據本文所論述之技術處理視訊資料之過程之實例的流程圖。圖11為說明用於根據本文所論述之技術處理視訊資料之過程之實例的流程圖。圖12為說明實例編碼器件之方塊圖。 圖13為說明實例解碼器件之方塊圖。

Claims (29)

  1. 一種用於處理視訊資料之方法，其包含： 獲得包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於該視訊圖框之視訊資料之一球面表示； 將來自該複數個視訊圖框之一視訊圖框分割成一頂部區、一中間區及一底部區，該頂部區包括該球面表示之一第一圓形區域，該底部區包括該球面表示之一第二圓形區域，其在該球面表示上與該第一圓形區域相對，其中該中間區包括該球面表示中不包括於該頂部區或該底部區中之一區域； 將該頂部區映射至一輸出視訊圖框之一第一矩形區域中，其中映射該頂部區包括擴展該第一圓形區域中所包括之視訊資料以填充該第一矩形區域；及 將該底部區映射至該輸出視訊圖框之一第二矩形區域中，其中映射該底部區包括擴展該第二圓形區域中所包括之視訊資料以填充該第二矩形區域。
  2. 如請求項1之方法，其中在高於該球面表示之一赤道之一第一緯度及低於該赤道之一第二緯度下分割該視訊圖框，其中該第一緯度及該第二緯度與該赤道等距，其中該頂部區高於該第一緯度，且其中該底部區低於該第二緯度。
  3. 如請求項1之方法，其中映射該頂部區及映射該底部區包括： 選擇該輸出視訊圖框中之一像素位置； 判定該球面表示上對應於該像素位置之一點，其中使用用於自一正方形轉換為一圓之一映射來判定該球面表示上之該點； 自該球面表示上之該點對一像素進行取樣；及 將該經取樣像素置放在該像素位置處。
  4. 如請求項3之方法，其中該用於將一正方形轉換為一圓之映射將該輸出視訊圖框中之失真降至最低。
  5. 如請求項3之方法，其中映射該頂部區及映射該底部區進一步包括： 使用一漸次曲線函數調整該像素位置。
  6. 如請求項5之方法，其中在鄰近於該輸出視訊圖框中之一額外矩形區域之一區域中之像素位置處使用該漸次曲線函數。
  7. 如請求項5之方法，其中該漸次曲線函數針對該第一矩形區域或該第二矩形區域之一中間區域較少地改變像素位置，且針對該第一矩形區域或該第二矩形區域之一外部區域較多地改變像素位置。
  8. 如請求項1之方法，其進一步包含： 將該中間區映射至一輸出視訊圖框之一或多個矩形區域中。
  9. 如請求項8之方法，其中該中間區包括一左視圖、一正視圖及一右視圖，其中該左視圖在該輸出視訊圖框中鄰近於該正視圖置放，且其中該右視圖鄰近於該正視圖置放。
  10. 如請求項1之方法，其中該中間區包括一後視圖，其中該底部區在該輸出視訊圖框中鄰近於該後視圖置放，且其中該頂部區鄰近於該後視圖置放。
  11. 如請求項1之方法，其中將該頂部區映射至該第一矩形區域中包括將一逐步調整應用於其中該第一矩形區域鄰近於該輸出視訊圖框中之一第三矩形區域的一區域中，且其中將該底部區映射至該第二矩形區域中包括將該逐步調整應用於其中該第二矩形區域鄰近於該輸出視訊圖框中之一第四矩形區域的一區域中。
  12. 如請求項1之方法，其中該輸出視訊圖框具有一三乘二縱橫比。
  13. 一種視訊寫碼器件，其包含： 一記憶體，其經組態以儲存包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於該視訊圖框之視訊資料之一球面表示；及 一處理器，其經組態以： 將來自該複數個視訊圖框之一視訊圖框分割成一頂部區、一中間區及一底部區，該頂部區包括該球面表示之一第一圓形區域，該底部區包括該球面表示之一第二圓形區域，其在該球面表示上與該第一圓形區域相對，其中該中間區包括該球面表示中不包括於該頂部區或該底部區中之一區域； 將該頂部區映射至一輸出視訊圖框之一第一矩形區域中，其中映射該頂部區包括擴展該第一圓形區域中所包括之視訊資料以填充該第一矩形區域；及將該底部區映射至該輸出視訊圖框之一第二矩形區域中，其中映射該底部區包括擴展該第二圓形區域中所包括之視訊資料以填充該第二矩形區域。
  14. 一種在其上儲存指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器執行包括以下之操作： 獲得包括複數個視訊圖框之360度視訊資料，該複數個視訊圖框中之每一視訊圖框包括用於該視訊圖框之視訊資料之一球面表示； 將來自該複數個視訊圖框之一視訊圖框分割成一頂部區、一中間區及一底部區，該頂部區包括該球面表示之一第一圓形區域，該底部區包括該球面表示之一第二圓形區域，其在該球面表示上與該第一圓形區域相對，其中該中間區包括該球面表示中不包括於該頂部區或該底部區中之一區域； 將該頂部區映射至該輸出視訊圖框之一第一矩形區域中，其中映射該頂部區包括擴展該第一圓形區域中所包括之視訊資料以填充該第一矩形區域；及 將該底部區映射至該輸出視訊圖框之一第二矩形區域中，其中映射該底部區包括擴展該第二圓形區域中所包括之視訊資料以填充該第二矩形區域。
  15. 一種裝置，其包含： 用於獲得包括複數個視訊圖框之360度視訊資料的構件，該複數個視訊圖框中之每一視訊圖框包括用於該視訊圖框之視訊資料之一球面表示； 用於將來自該複數個視訊圖框之一視訊圖框分割成一頂部區、一中間區及一底部區的構件，該頂部區包括該球面表示之一第一圓形區域，該底部區包括該球面表示之一第二圓形區域，其在該球面表示上與該第一圓形區域相對，其中該中間區包括該球面表示中不包括於該頂部區或該底部區中之一區域； 用於將該頂部區映射至該輸出視訊圖框之一第一矩形區域中的構件，其中映射該頂部區包括擴展該第一圓形區域中所包括之視訊資料以填充該第一矩形區域；及 將該底部區映射至該輸出視訊圖框之一第二矩形區域中，其中映射該底部區包括擴展該第二圓形區域中所包括之視訊資料以填充該第二矩形區域。
  16. 一種用於處理視訊資料之方法，其包含： 獲得包括複數個視訊圖框之360度視訊資，來自該複數個視訊圖框之每一視訊圖框包括用於該視訊圖框之視訊資料之一二維表示； 識別來自該複數個視訊圖框之一視訊圖框的一第一矩形區域； 將該第一矩形區域映射至用於該視訊圖框之視訊資料之一球面表示的一頂部區中，其中該頂部區包含該球面表示之一第一圓形區域，且其中映射該第一矩形區域包括將來自該第一矩形區域之視訊資料佈置至該第一圓形區域中； 識別該視訊圖框之一第二矩形區域；及 將該第二矩形區域映射至該球面表示的一底部區中，其中該底部區包含該球面表示之一第二圓形區域，且其中映射該第二矩形區域包括將來自該第二矩形區域之視訊資料佈置至該第二圓形區域中。
  17. 如請求項16之方法，其中該頂部區包括該球面表示中高於該球面表示之一第一緯度的一表面，其中該底部區包括該球面表示中低於該球面表示之一第二緯度的一表面，其中該第一緯度及該第二緯度與該球面表示之一赤道等距。
  18. 如請求項16之方法，其中映射該第一矩形區域及映射該第二矩形區域包括： 選擇該球面表示上之一點； 判定該視訊圖框中對應於該點之一像素位置，其中使用用於將一圓轉換為一正方形之一映射來判定該像素位置； 自該像素位置對一像素進行取樣；及 將該經取樣像素置放於該點處。
  19. 如請求項18之方法，其中該用於將一圓轉換為一正方形之映射反演在該第一矩形區域或該第二矩形區域中之視訊資料經擴展以填充該第一矩形區域或第該二矩形區域時所引起之失真。
  20. 如請求項18之方法，其中映射該第一矩形區域及映射該第二矩形區域進一步包括： 使用一漸次曲線函數調整該像素位置。
  21. 如請求項20之方法，其中在鄰近於一或多個額外矩形區域中之至少一者的一區域中之像素位置處使用該漸次曲線函數。
  22. 如請求項20之方法，其中該漸次曲線函數針對該第一矩形區域或該第二矩形區域之一中間區域較少地改變像素位置，且針對該第一矩形區域或該第二矩形區域之一外部區域較多地改變像素位置。
  23. 如請求項16之方法，其進一步包含： 將該視訊圖框之一或多個額外矩形區域映射至該球面表示之一中間區中。
  24. 如請求項23之方法，其中該一或多個額外矩形區域包括一左視圖、一正視圖及一右視圖，其中該左視圖鄰近於該正視圖定位，且其中該右視圖鄰近於該正視圖。
  25. 如請求項16之方法，其中該視訊圖框之一或多個額外矩形區域包括一後視圖，其中該第一矩形區域鄰近於該後視圖，且其中該第二矩形區域鄰近於該後視圖。
  26. 如請求項16之方法，其中將該第一矩形區域映射至該頂部區中包括將一逐步調整應用於其中該第一矩形區域鄰近於該視訊圖框中之一第三矩形區域的一區域中，且其中將該第二矩形區域映射至該底部區中包括將一逐步調整應用於其中該第二矩形區域鄰近於該視訊圖框中之一第四矩形區域的一區域中。
  27. 一種視訊寫碼器件，其包含： 一記憶體，其經組態以儲存包括複數個視訊圖框之360度視訊資料，來自該複數個視訊圖框之每一視訊圖框包括用於該視訊圖框之視訊資料之一二維表示；及 一處理器，其經組態以： 識別來自該複數個視訊圖框之一視訊圖框的一第一矩形區域； 將該第一矩形區域映射至用於該視訊圖框之視訊資料之一球面表示的一頂部區中，其中該頂部區包含該球面表示之一第一圓形區域，且其中映射該第一矩形區域包括將來自該第一矩形區域之視訊資料佈置至該第一圓形區域中； 識別該視訊圖框之一第二矩形區域；及 將該第二矩形區域映射至該球面表示的一底部區中，其中該底部區包含該球面表示之一第二圓形區域，且其中映射該第二矩形區域包括將來自該第二矩形區域之視訊資料佈置至該第二圓形區域中。
  28. 一種在其上儲存指令之非暫時性電腦可讀媒體，該等指令在由一或多個處理器執行時致使該一或多個處理器執行包括以下之操作： 獲得包括複數個視訊圖框之360度視訊資，來自該複數個視訊圖框之每一視訊圖框包括用於該視訊圖框之視訊資料之一二維表示； 識別來自該複數個視訊圖框之一視訊圖框的一第一矩形區域； 將該第一矩形區域映射至用於該視訊圖框之視訊資料之一球面表示的一頂部區中，其中該頂部區包含該球面表示之一第一圓形區域，且其中映射該第一矩形區域包括將來自該第一矩形區域之視訊資料佈置至該第一圓形區域中； 識別該視訊圖框之一第二矩形區域；及 將該第二矩形區域映射至該球面表示的一底部區中，其中該底部區包含該球面表示之一第二圓形區域，且其中映射該第二矩形區域包括將來自該第二矩形區域之視訊資料佈置至該第二圓形區域中。
  29. 一種裝置，其包含： 用於獲得包括複數個視訊圖框之360度視訊資料的構件，來自該複數個視訊圖框之每一視訊圖框包括用於該視訊圖框之視訊資料之一二維表示； 用於識別來自該複數個視訊圖框之一視訊圖框的一第一矩形區域的構件； 用於將該第一矩形區域映射至用於該視訊圖框之視訊資料之一球面表示的一頂部區中的構件，其中該頂部區包含該球面表示之一第一圓形區域，且其中映射該第一矩形區域包括將來自該第一矩形區域之視訊資料佈置至該第一圓形區域中； 用於識別該視訊圖框之一第二矩形區域的構件；及 用於將該第二矩形區域映射至該球面表示的一底部區中的構件，其中該底部區包含該球面表示之一第二圓形區域，且其中映射該第二矩形區域包括將來自該第二矩形區域之視訊資料佈置至該第二圓形區域中。
TW107109720A 2017-03-22 2018-03-21 用於360度視訊之有效壓縮之球極投影 TW201840181A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201762474767P 2017-03-22 2017-03-22
US62/474,767 2017-03-22
US201762528264P 2017-07-03 2017-07-03
US62/528,264 2017-07-03
US15/926,957 2018-03-20
US15/926,957 US10957044B2 (en) 2017-03-22 2018-03-20 Sphere pole projections for efficient compression of 360-degree video

Publications (1)

Publication Number Publication Date
TW201840181A true TW201840181A (zh) 2018-11-01

Family

ID=63581810

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107109720A TW201840181A (zh) 2017-03-22 2018-03-21 用於360度視訊之有效壓縮之球極投影

Country Status (9)

Country Link
US (3) US10957044B2 (zh)
EP (1) EP3603072A1 (zh)
KR (1) KR102646967B1 (zh)
CN (1) CN110463205B (zh)
AU (1) AU2018239451A1 (zh)
BR (1) BR112019019191A2 (zh)
SG (1) SG11201907262QA (zh)
TW (1) TW201840181A (zh)
WO (1) WO2018175614A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video
US10839480B2 (en) * 2017-03-22 2020-11-17 Qualcomm Incorporated Sphere equator projection for efficient compression of 360-degree video
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
US10579898B2 (en) * 2017-04-16 2020-03-03 Facebook, Inc. Systems and methods for provisioning content using barrel projection representation
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
EP3425483B1 (en) * 2017-07-07 2024-01-10 Accenture Global Solutions Limited Intelligent object recognizer
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
US10715832B2 (en) * 2018-03-16 2020-07-14 Mediatek Inc. Method and apparatus of block partition for VR360 video coding
CN110349226B (zh) * 2018-04-01 2021-06-01 浙江大学 一种全景图像处理方法及装置
US10771764B2 (en) * 2018-06-22 2020-09-08 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US11463671B2 (en) * 2018-07-09 2022-10-04 Lg Electronics Inc. Video transmitting method, video transmitting device, video receiving method and video receiving device
US20200213570A1 (en) * 2019-01-02 2020-07-02 Mediatek Inc. Method for processing projection-based frame that includes at least one projection face and at least one padding region packed in 360-degree virtual reality projection layout
US12020395B2 (en) * 2019-03-15 2024-06-25 STX Financing, LLC Systems and methods for compressing and decompressing a sequence of images
US10614553B1 (en) * 2019-05-17 2020-04-07 National Chiao Tung University Method for spherical camera image stitching
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN113542203B (zh) * 2020-04-21 2022-06-28 ***通信集团贵州有限公司 一种视频业务dpi识别方法及服务器
CN111666434B (zh) * 2020-05-26 2021-11-02 武汉大学 基于深度全局特征的街景图片检索方法
TWI756956B (zh) 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US20240040259A1 (en) * 2022-07-26 2024-02-01 KKStream Limited Systems and methods for free-view video streaming
CN115640091B (zh) * 2022-10-28 2023-05-02 合肥通用机械研究院有限公司 一种基于黎曼球面的交互式多样化图案展示控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100412694C (zh) * 2005-03-30 2008-08-20 北京大学 一种自动球形全景图的生成方法
JP2007013514A (ja) * 2005-06-30 2007-01-18 Taiji Kajikawa ７２０°全方位矩形画像モニタリングシステム
KR20150068299A (ko) 2013-12-09 2015-06-19 씨제이씨지브이 주식회사 다면 영상 생성 방법 및 시스템
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
CN105898344A (zh) * 2016-04-12 2016-08-24 乐视控股（北京）有限公司 一种全景视频的播放方法和装置
KR102503342B1 (ko) * 2017-01-10 2023-02-28 삼성전자주식회사 스테레오 스코픽 비디오 콘텐츠를 전송하기 위한 방법 및 장치
CN106803275A (zh) * 2017-02-20 2017-06-06 苏州中科广视文化科技有限公司 基于相机位姿估计和空间采样的2d全景视频生成
US10957044B2 (en) 2017-03-22 2021-03-23 Qualcomm Incorporated Sphere pole projections for efficient compression of 360-degree video

Also Published As

Publication number Publication date
US20180276826A1 (en) 2018-09-27
US20240070871A1 (en) 2024-02-29
KR102646967B1 (ko) 2024-03-13
EP3603072A1 (en) 2020-02-05
US20210166394A1 (en) 2021-06-03
BR112019019191A2 (pt) 2020-04-22
SG11201907262QA (en) 2019-10-30
KR20190128689A (ko) 2019-11-18
AU2018239451A1 (en) 2019-08-29
CN110463205A (zh) 2019-11-15
CN110463205B (zh) 2023-05-09
US11798166B2 (en) 2023-10-24
WO2018175614A1 (en) 2018-09-27
US10957044B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
US11798166B2 (en) Sphere pole projections for efficient compression of 360-degree video
CN110383843B (zh) 用于360度视频的有效压缩的球体赤道投影
JP6640373B2 (ja) 仮想現実ビデオコンテンツを表現するための四角錐台の幾何学的形状およびフレームパッキング構造
US10313664B2 (en) Adjusting field of view of truncated square pyramid projection for 360-degree video
CN110419221B (zh) 自适应扰动立方体的地图投影
CN110754089B (zh) 减少360度视频中的接缝伪影
US20190200023A1 (en) Method and system for signaling of 360-degree video information
TW201911863A (zh) 用於360度視訊寫碼之參考圖推導及動作補償
TW201742435A (zh) 具有用於360度視訊之透鏡失真校正之魚眼呈現
TW201946448A (zh) 用於三百六十度視訊寫碼之環路濾波器填補