TWI702567B - 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法 - Google Patents

用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法 Download PDF

Info

Publication number
TWI702567B
TWI702567B TW107133868A TW107133868A TWI702567B TW I702567 B TWI702567 B TW I702567B TW 107133868 A TW107133868 A TW 107133868A TW 107133868 A TW107133868 A TW 107133868A TW I702567 B TWI702567 B TW I702567B
Authority
TW
Taiwan
Prior art keywords
projection
projection surface
area
layout
filling
Prior art date
Application number
TW107133868A
Other languages
English (en)
Other versions
TW201921035A (zh
Inventor
林建良
王鵬
劉琳
李亞璇
林鴻志
張勝凱
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/917,844 external-priority patent/US11057643B2/en
Priority claimed from PCT/CN2018/081723 external-priority patent/WO2018184528A1/en
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201921035A publication Critical patent/TW201921035A/zh
Application granted granted Critical
Publication of TWI702567B publication Critical patent/TWI702567B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種視訊處理方法，包括：從球體的全向內容中獲取複數個投影面，其中，球體的全向內容通過立方體投影映射到該等投影面上，該等投影面包括第一投影面；通過重採樣電路，使用非均勻映射對第一投影面的至少一部分進行重採樣，獲得第一重採樣投影面；根據立方體投影的投影佈局生成基於投影的圖框，其中基於投影的圖框包括封裝在投影佈局中的第一重採樣投影面；並對基於投影的圖框進行編碼以生成位元流的一部分。

Description

用於處理包括封裝在360度虛擬現實投影佈局中的至少一 個投影面的基於投影的圖框的方法
相關申請的交叉引用：本申請是在2008年12月3日提交的第15/917,844號的美國專利申請的部分延續申請，並要求在2017年9月27日提交的第62/563,787號的美國臨時申請，在2017年11月8日提交的第62/583,078號的美國臨時申請，和在2017年11月9日提交的第62/583,573號的美國臨時申請的優先權，其中第15/917,844號的美國專利申請要求在2017年3月13日提交的第62/470,425號的美國臨時申請的優先權。
相關申請的全部內容，包括第15/917,844號的美國專利申請，第62/563,787號的美國臨時申請，第62/583,078號的美國臨時申請，第62/583,573號的美國臨時申請和第62/470,425號的美國臨時申請，在此合併參考上述申請案的申請標的。
本發明涉及處理全向圖像/視訊內容，更具體地，涉及一種用於處理基於投影的圖框的方法，該基於投影的圖框包括至少一個封裝在360度虛擬現實(360-degree virtual reality，360 VR)投影佈局中的投影面。
具有頭戴式顯示器(head-mounted displays，HMDs)的虛擬現實(VR)與各種應用相關聯。向用戶顯示寬視野內容的能力可用於提供沉浸式視覺體驗。必須在所有方向上捕獲真實世界環境，從而產生對應於球體的全向圖像/視 訊內容。隨著攝像機裝備和HMDs的進步，由於表示這種360度圖像/視訊內容所需的高位元率，VR內容的傳送可能很快成為瓶頸。當全向視訊的分辨率為4K或更高時，資料壓縮/編碼對於降低位元率至關重要。
通常，對應於球體的全向圖像/視訊內容被轉換為圖像序列，每個圖像是基於投影的圖框，其具有由在360度虛擬現實(360 VR)投影佈局中排列的一個或複數個投影面表示的360度圖像/視訊內容，然後基於投影的圖框的序列被編碼成位元流以進行傳輸。基於投影的圖框在佈局邊界和/或面邊界處可能具有圖像內容不連續性。因此在壓縮之後，佈局邊界和/或面邊界周圍的圖像質量可能較差。此外，通過解碼的基於投影的圖框的投影佈局轉換可能引入偽影，從而導致轉換的基於投影的圖框的圖像質量劣化。
本發明的目的之一是提供一種用於處理基於投影的圖框的方法，該基於投影的圖框包括封裝在360度虛擬現實(360 VR)投影佈局中的至少一個投影面。
根據本發明的第一方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：從球體的全向內容獲得複數個投影面，其中球體的全向內容通過立方體投影被映射到投影面上，並且該等投影面包括第一投影面；通過重採樣電路，通過非均勻映射對第一投影面的至少一部分進行重採樣，獲得第一重採樣投影面，其中第一投影面具有第一源區域和第二源區域，第一重採樣投影面具有第一重採樣區域和第二重採樣區域，第一重採樣區域是從第一源區域以第一採樣密度進行重採樣得到的，第二重採樣區域是從第二源區域以第二重採樣密度進行重採樣得到的，第一採樣密度不同於第二採樣密度；根據立方體投影的投影佈局生成基於投影的圖框，其中基於投影的圖框包括封裝在投影佈局中的第一重採樣投影面；以及對基於投影的圖框進行編碼以生成位元流 的一部分。
根據本發明的第二方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：根據立方體投影從球體的全向內容獲得複數個投影面；通過填充電路產生至少一個填充區域；通過封裝在立方體投影的投影佈局中的該等投影面和該至少一個填充區域來生成基於投影的圖框，其中，封裝在投影佈局中的該等投影面包括第一投影面；封裝在投影佈局中的該至少一個填充區域包括第一填充區域；第一填充區域至少與第一投影面連接，並形成投影佈局的一個邊界的至少一部分；以及對基於投影的圖框進行編碼以生成位元流的一部分。
根據本發明的第三方面，公開了一種示例性視訊處理方法。該示例性視訊處理方法包括：接收位元流的一部分，以及解碼位元流的一部分以生成解碼的基於投影的圖框，其中基於投影的圖框具有封裝在360度虛擬現實(360 VR)投影佈局中的至少一個投影面和至少一個填充區域。解碼位元流的一部分以生成解碼的基於投影的圖框的步驟包括：通過混合包括在該至少一個填充區域中的第一像素獲得的解碼像素值和包括在該至少一個投影面中的第二像素獲得的解碼像素值，重建包括在該至少一個填充區域中的該第一像素。
在閱讀了在以下詳細描述的各個附圖和附圖中示出的優選實施例之後，對所屬領域中具有通常知識者而言，本發明的這些和其他目的無疑將顯而易見。
100、1900、2700、3200、3300:360 VR系統
102、1902、2702:源電子設備
103:傳輸裝置
104、3204、3304、3704、3804:目標電子裝置
112:視訊捕獲設備
114、1914、2714、3726、3826:轉換電路
115、2716:填充電路
116:視訊編碼器
122、3222、3322、3722、3822:解碼電路
124:圖形呈現電路
126:顯示螢幕
1915、2715:重採樣電路
3224、3324、3724、3824:混合電路
3700、3800:360 VR系統
202、2002:球體
204:八面體
206、406:八面體投影佈局
208:赤道
302-308:直角三角形部分
310、310'、510、510'、1102:緊湊八面體投影佈局
404:旋轉的八面體
502-508:直角三角形部分
1002:緊湊立方體投影佈局
1202、1302、1402:不具有填充的ERP/EAP佈局
1202'、1302'、1402':ERP/EAP佈局
1502、1602、1702、1802:投影佈局
2004:立方體
2006:CMP佈局
2102、2104、2302、2304、2402、2404:正方形投影面
2312、2316:第一源區域
2314、2318:第二源區域
2322、2326:第一重採樣區域
2324、2328:第二重採樣區域
2802:具有內部邊界填充的3×2立方體佈局
2804:具有內部邊界填充的6×1立方體佈局
2902、3002:具有外部邊界填充和內部邊界填充的3×2立方體佈局
2904、3004:具有外部邊界填充和內部邊界填充的6×1立方體佈局
第1圖是根據本發明的實施例的第一種360度虛擬現實(360 VR)系統的示意圖。
第2圖是從球體到未經旋轉的八面體(octahedron)的投影獲得的基於八面體投影格式中的三角形投影面的示意圖。
第3圖是根據本發明的實施例的第一種緊湊八面體投影佈局(compact octahedron projection layout)的示意圖。
第4圖是從球體到經過旋轉的八面體的投影獲得的基於八面體投影格式中的三角形投影面的示意圖。
第5圖是根據本發明的實施例的第二種緊湊八面體投影佈局的示意圖。
第6圖是根據本發明的實施例的具有填充的第一種緊湊八面體投影佈局的示意圖。
第7圖是根據本發明的實施例的具有填充的第二種緊湊八面體投影佈局的示意圖。
第8圖是由第1圖中所示的填充電路執行的插值的示意圖。
第9圖是由第1圖中所示的填充電路執行的幾何填充的示意圖。
第10圖是根據本發明的實施例的具有填充的緊湊立方體(cubemap)投影佈局的示意圖。
第11圖是根據本發明的實施例的具有填充的第三種緊湊八面體投影佈局的示意圖。
第12圖是根據本發明的實施例的具有填充的第一種ERP/EAP佈局的示意圖。
第13圖是根據本發明的實施例的具有填充的第二種ERP/EAP佈局的示意圖。
第14圖是根據本發明的實施例的具有填充的第三種ERP/EAP佈局的示意圖。
第15圖是根據本發明的實施例的具有填充的八面體投影佈局的示意圖。
第16圖是根據本發明的實施例的具有填充的立方體投影佈局的示意圖。
第17圖是根據本發明的實施例的具有填充的第四種緊湊八面體投影佈局的示意圖。
第18圖是根據本發明的實施例的具有填充的緊湊立方體投影佈局的示意圖。
第19圖是根據本發明的實施例的第二種360 VR系統的示意圖。
第20圖是根據從球體經過立方體投影(cubemap projection，CMP)獲得的立方體投影佈局中的六個正方形投影面的示意圖。
第21圖是根據本發明的實施例的通過均勻映射對立方體投影獲得的正方形投影面進行重採樣的示意圖。
第22圖是根據本發明的實施例的均勻映射函數曲線的示意圖。
第23圖是根據本發明的實施例的通過非均勻映射對立方體投影獲得的正方形投影面進行重採樣的第一示例的示意圖。
第24圖是根據本發明的實施例的通過非均勻映射對立方體投影獲得的正方形投影面進行重採樣的第二示例的示意圖。
第25圖是根據本發明的實施例的第一非均勻映射函數曲線的示意圖。
第26圖是根據本發明的實施例的第二非均勻映射函數曲線的示意圖。
第27圖是根據本發明的實施例的第三種360 VR系統的示意圖。
第28圖是根據本發明的實施例的對立方體投影佈局進行內部邊界填充(edge padding)的示意圖。
第29圖是根據本發明的實施例的對立方體投影佈局進行外部邊界填充(boundary padding)和內部邊界填充的示意圖。
第30圖是根據本發明的實施例的對其他立方體投影佈局進行外部邊界填充和內部邊界填充的示意圖。
第31圖是根據本發明實施例的通過複製另一投影面中的部分區域來產生一個投影面的填充區域的填充設計的示意圖。
第32圖是根據本發明的實施例的第四種360 VR系統的示意圖。
第33圖是根據本發明的實施例的第五種360 VR系統的示意圖。
第34圖是根據本發明的實施例的解碼器側混合操作的示意圖。
第35圖是根據本發明實施例的更新投影面中的像素的像素值所涉及的像素的權 重值與像素的索引值之間關係的示意圖。
第36圖是根據本發明實施例的更新投影面中的像素的像素值所涉及的像素的權重值與像素的索引值之間另一種關係的示意圖。
第37圖是根據本發明的實施例的第六種360 VR系統的示意圖。
第38圖是根據本發明的實施例的第七種360 VR系統的示意圖。
第39圖是根據本發明的實施例的更新投影面中的像素的像素值和填充區域中的填充像素的像素值，所涉及的像素的權重值與像素的索引值之間關係的示意圖。
第40圖是根據本發明的實施例的更新投影面中的像素的像素值和填充區域中的填充像素的像素值，所涉及的像素的權重值與像素的索引值之間另一種關係的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有習知技術者應可理解，電子裝置製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的“包括”和“包含”係為開放式的用語，故應解釋成「包括但不限定於......」。以外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接到一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
第1圖是根據本發明的實施例的第一種360度虛擬現實(360 VR)系統的示意圖。360 VR系統100包括兩個視訊處理裝置(例如，源電子設備102和目標電子設備104)。源電子設備102包括視訊捕獲設備112，轉換電路114和視訊編碼器116。例如，視訊捕獲設備112可以是用於提供對應於球體的全向圖像/視 訊內容(例如，覆蓋整個周圍環境的複數個圖像)S_IN的一組相機。轉換電路114耦接在視訊捕獲設備112和視訊編碼器116之間。轉換電路114根據全向圖像/視訊內容S_IN生成具有360度虛擬現實投影佈局L_VR的基於投影的圖框IMG。例如，基於投影的圖框IMG可以是包括在從轉換電路114生成的基於投影的圖框的序列中的一個圖框。視訊編碼器116是用於編碼/壓縮基於投影的圖框IMG以生成位元流BS的一部分的編碼電路。此外，視訊編碼器116經由傳輸裝置103將位元流BS輸出到目標電子設備104。例如，可以將基於投影的圖框的序列編碼到位元流BS中，並且傳輸裝置103可以是有線/無線通訊鏈路或存儲介質。
目標電子設備104可以是頭戴式顯示器(HMD)設備。如第1圖所示，目標電子設備104包括解碼電路122，圖形呈現電路124和顯示螢幕126。解碼電路122從傳輸裝置103(例如，有線/無線通訊鏈路或存儲器)接收位元流BS，然後，執行視訊解碼器功能，用於解碼所接收的位元流BS的一部分以生成解碼圖框IMG'。例如，解碼電路122通過對接收的位元流BS進行解碼來生成解碼圖框的序列，其中解碼圖框IMG'是包括在解碼圖框的序列中的一個圖框。在該實施例中，由編碼器側的視訊編碼器116編碼的基於投影的圖框IMG具有360 VR投影格式和投影佈局。因此，在解碼器側的解碼電路122對位元流BS進行解碼之後，解碼圖框IMG'是具有相同的360 VR投影格式和相同投影佈局的解碼的基於投影的圖框。圖形呈現電路124耦接在解碼電路122和顯示螢幕126之間。圖形呈現電路124根據解碼圖框IMG'在顯示螢幕126上呈現並顯示輸出圖像資料。例如，與由解碼圖框IMG'承載的360度圖像/視訊內容的一部分相關聯的視埠區域可以經由圖形呈現電路124顯示在顯示螢幕126上。
如上所述，轉換電路114根據360VR投影佈局L_VR和全向圖像/視訊內容S_IN生成基於投影的圖框IMG。如果360 VR投影佈局L_VR是不具有填充的緊湊投影佈局，則投影面的封裝可能導致相鄰投影面之間存在圖像內容不連續 邊界。
第2圖是從球體到未經旋轉的八面體投影獲得的基於八面體投影格式中的三角形投影面的示意圖。球體202的全向圖像/視訊內容被映射到未經旋轉的八面體204的八個三角形投影面(標記為“1”，“2”，“3”，“4”，“5”，“6”，“7”，和“8”)。如第2圖所示，三角形投影面“1”-“8”以八面體投影佈局206排列。每個三角形投影面“1”-“8”的形狀是等邊三角形。對於三角形投影面“K”(K=1-8)，該面具有三個邊，表示為SK1，SK2和SK3。球體202由頂部半球(例如，北半球)和底部半球(例如，南半球)組成。由於基於未經旋轉的八面體204的八面體投影，三角形投影面“1”，“2”，“3”和“4”都來自頂部半球，三角形投影面“5”，“6”“7”，和“8”都來自底部半球，並且球體202的赤道208沿著三角形投影面“1”-“8”的邊S13，S23，S33，S43，S53，S63，S73和S83被映射，如第2圖中的虛線所示。
將要編碼的基於投影的圖框IMG需要是矩形的。如果八面體投影佈局206直接用於創建基於投影的圖框IMG，基於投影的圖框IMG無法具有緊湊的圖框佈局，在基於投影的圖框IMG中需要對許多空置區域進行填充(例如，填充為黑色，灰色或白色的區域)。因此，需要一種緊湊八面體投影佈局，其可以避免出現空置區域(例如，填充為黑色，灰色或白色的區域)。
請結合參考第2圖和第3圖。第3圖是根據本發明的實施例的第一種緊湊八面體投影佈局的示意圖。球體202的赤道208沿著三角形投影面“1”-“8”的邊被映射，如第3圖中的虛線所示。緊湊八面體投影佈局310是通過三角形投影面旋轉和三角形投影面分割來從八面體投影佈局206導出的。如第3圖的中間部分所示，在八面體投影佈局206中的三角形投影面“1”順時針旋轉60°，在八面體投影佈局206中的三角形投影面“3”逆時針旋轉60°，在八面體投影佈局206的三角形投影面“5”逆時針旋轉60°，以及在八面體投影佈局206中的三角形投影面“7”順時 針旋轉60°。因此，三角形投影面“2”的邊S21與三角形投影面“1”的邊S12連接，三角形投影面“2”的邊S22與三角形投影面“3”的邊S31連接。三角形投影面“6”的邊S62與三角形投影面“5”的邊S51連接，三角形投影面“6”的邊S61與三角形投影面“7”的邊S72連接。
如第3圖的中間部分所示，在三角形投影面“2”的邊S21和三角形投影面“1”的邊S12之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“1”和“2”中)，在三角形投影面“2”的邊S22和三角形投影面“3”的邊S31之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“2”和“3”中)，在三角形投影面“2”的邊S23和三角形投影面“6”的邊S63之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“2”和“6”中)，在三角形投影面“6”的邊S62和三角形投影面“5”的邊S51之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“5”和“6”中)，並且在三角形投影面“6”的邊S61和三角形投影面“7”的邊S72之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“6”和“7”中)。
另外，八面體投影佈局206中的三角形投影面“8”被分成兩個直角三角形部分302和304，並且八面體投影佈局206中的三角形投影面“4”被分成兩個直角三角形部分306和308。如第3圖的底部所示，三角形投影面“8”的直角三角形部分304和三角形投影面“4”的直角三角形部分308分別連接到三角形投影面“7”和“3”；三角形投影面“8”的直角三角形部分302和三角形投影面“4”的直角三角形部分306分別重新定位並連接到三角形投影面“5”和“1”。
三角形投影面“8”的直角三角形部分302具有三個邊S811，S812和S83_1，其中邊S811是三角形投影面“8”的邊S81，並且邊S83_1是三角形投影面“8”的邊S83的第一部分。三角形投影面“8”的直角三角形部分304具有三個邊S821，S822和S83_2，其中邊S821是三角形投影面“8”的邊S82，而邊S83_2是三 角形投影面“8”的邊S83的第二部分。
三角形投影面“4”的直角三角形部分306具有三個邊S421，S422和S43_1，其中邊S421是三角形投影面“4”的邊S42，並且邊S43_1是三角形投影面“4”的邊S43的第一部分。三角形投影面“4”的直角三角形部分308具有三個邊S411，S412和S43_2，其中邊S411是三角形投影面“4”的邊S41，而邊S43_2是三角形投影面“4”的邊S43的第二部分。
根據緊湊八面體投影佈局310，三角形投影面“8”的直角三角形部分304的邊S821與三角形投影面“7”的邊S73連接，三角形投影面“8”的直角三角形部分304的邊S83_2與三角形投影面“4”的直角三角形部分308的邊S43_2連接，三角形投影面“4”的直角三角形部分308的邊S411與三角形投影面“3”的邊S33連接，三角形投影面“8”的直角三角形部分302的邊S811與三角形投影面“5”的邊S53連接，三角形投影面“8”的直角三角形部分302的邊S83_1與三角形投影面“4”的直角三角形部分306的邊S43_1連接，三角形投影面“4”的三角形部分306的邊S421與三角形投影面“1”的邊S13連接。
在三角形投影面“8”的直角三角形部分304的邊S83_2與三角形投影面“4”的直角三角形部分308的邊S43_2之間存在圖像內容連續性邊界。在三角形投影面“8”的直角三角形部分302的邊S83_1與三角形投影面“4”的直角三角形部分306的邊S43_1之間存在圖像內容連續性邊界。也就是說，內容連續地表示在三角形投影面“4”和“8”中。此外，在三角形投影面“8”的直角三角形部分304的邊S821與三角形投影面“7”的邊S73之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分308的邊S411和三角形投影面“3”的邊S33之間存在圖像內容不連續邊界，在三角形投影面“8”的直角三角形部分302的邊S811和三角形投影面“5”的邊S53之間存在圖像內容不連續邊界，以及在三角形投影面“4”的直角三角形部分306的邊S421和三角形投影面“1”的邊S13之間存在圖像內容不連續 邊界。
如第3圖的底部所示，由緊湊八面體投影佈局310設置的360 VR投影佈局L_VR是沒有任何虛設區域(例如，黑色區域或白色區域)的矩形。另外，360度圖像/視訊內容的部分在三角形投影面“1”，“2”，“3”，“5”，“6”，“7”中連續表示，沒有圖像內容不連續。然而，一些圖像內容不連續邊界仍然不可避免地存在於緊湊八面體投影佈局310中。因此，如果通過緊湊八面體投影佈局310來設置360VR投影佈局L_VR，則壓縮之後的圖像內容不連續邊界附近的圖像質量可能較差。
當如第2圖所示的三角形投影面“1”-“8”被重新排列並封裝在緊湊八面體投影佈局310中時，一些三角形投影面必須被分割和重新定位，從而導致基於投影的圖框IMG中的赤道208的圖像內容不連續。通常，球體202的頂部和底部區域通常分別代表“天空”和“地面”，並且周圍環境中的移動物體大多位於球體202的赤道208處。如果表示在基於投影的圖框IMG中的赤道208具有圖像內容不連續性，則編碼效率和圖像質量會顯著降低。如果球體202的赤道208沿三角形投影面的中間或除三角形投影面的邊之外的任何位置被映射，則可以提高編碼效率和圖像質量。
第4圖是從球體到經過旋轉的八面體投影獲得的基於八面體投影格式中的三角形投影面的示意圖。球體202的全向圖像/視訊內容被映射到經過旋轉的八面體404的八個三角形投影面(標記為“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。第4圖中所示的經過旋轉的八面體404可以通過向第2圖中所示的八面體204施加90度旋轉來獲得。如第4圖所示，三角形投影面“1”-“8”被封裝在八面體投影佈局406中。每個三角形投影面“1”-“8”的形狀是等邊三角形。對於三角形投影面“K”(K=1-8)，該面具有三個邊，表示為SK1，SK2和SK3。球體202由左半球和右半球組成。三角形投影面“1”，“2”，“3”和“4”都來自右半球，三角形 投影面“5”，“6”，“7”和“8”是全部來自左半球。由於旋轉的八面體404上的八面體投影，球體202的赤道208未沿著每個三角形投影面的任何一邊被映射。在該實施例中，球體202的赤道208沿三角形投影面“2”，“4”，“6”和“8”的中間被映射，如第4圖中的虛線所示。如上所述，將要編碼的基於投影的圖框IMG需要是矩形的。因此，基於投影的圖框IMG應該使用緊湊八面體投影佈局。
請結合參考第4圖和第5圖。第5圖是根據本發明的實施例的第二種緊湊八面體投影佈局的示意圖。球體202的赤道208沿三角形投影面“2”，“4”，“6”和“8”的中間被映射，如第5圖中的虛線所示。緊湊八面體投影佈局510是通過三角形投影面旋轉和三角形投影面分割來從八面體投影佈局406導出的。如第5圖的中間部分所示，在八面體投影佈局406中的三角形投影面“7”順時針旋轉60°，在八面體投影佈局406中的三角形投影面“5”逆時針旋轉60°，在八面體投影佈局406的三角形投影面“3”逆時針旋轉60°，並且在八面體投影佈局406中的三角形投影面“1”順時針旋轉60°。因此，三角形投影面“7”的邊S72與三角形投影面“6”的邊S61連接，三角形投影面“5”的邊S51與三角形投影面“6”的邊S62連接。“三角形投影面“3”的邊S31與三角形投影面“2”的邊S22連接，三角形投影面“1”的邊S12與三角形投影面“2”的邊S21連接。
如第5圖的中間部分所示，在三角形投影面“7”的邊S72和三角形投影面“6”的邊S61之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“6”和“7”中)，在三角形投影面“5”的邊S51和三角形投影面“6”的邊S62之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“5”和“6”中)，在三角形投影面“3”的邊S31和三角形投影面“2”的邊S22之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“2”和“3”中)，在三角形投影面“1”的邊S12和三角形投影面“2”的邊S21之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“1”和“2”中)，以及在三角形投影面“2”的邊S23和三角 形投影面“6”的邊S63之間存在圖像內容連續性邊界(即，內容連續地表示在三角形投影面“2”和“6”中)。
另外，八面體投影佈局406中的三角形投影面“4”被分成兩個直角三角形部分502和504，以及八面體投影佈局406中的三角形投影面“8”被分成兩個直角三角形部分506和508。如第5圖的右部所示，三角形投影面“4”的直角三角形部分504和三角形投影面“8”的直角三角形部分508分別連接到三角形投影面“1”和“5”；三角形投影面“4”的直角三角形部分502和三角形投影面“8”的直角三角形部分506分別重新定位並連接到三角形投影面“3”和“7”。
三角形投影面“4”的直角三角形部分502具有三個邊S411，S412和S43_1，其中邊S411是三角形投影面“4”的邊S41，並且邊S43_1是三角形投影面“4”的邊S43的第一部分。三角形投影面“4”的直角三角形部分504具有三個邊S421，S422和S43_2，其中邊S421是三角形投影面“4”的邊S42，並且邊S43_2是三角形投影面“4”的邊S43的第二部分。
三角形投影面“8”的直角三角形部分506具有三個邊S821，S822和S83_1，其中邊S821是三角形投影面“8”的邊S82，並且邊S83_1是三角形投影面“8”的邊S83的第一部分。三角形投影面“8”的直角三角形部分508具有三個邊S811，S812和S83_2，其中邊S811是三角形投影面“8”的邊S81，而邊S83_2是三角形投影面“8”的邊S83的第二部分。
根據緊湊八面體投影佈局510，三角形投影面“4”的直角三角形部分504的邊S421與三角形投影面“1”的邊S13連接，三角形投影面“4”的直角三角形部分504的邊S43_2與三角形投影面“8”的直角三角形部分508的邊S83_2連接，三角形投影面“8”的直角三角形部分508的邊S811與三角形投影面“5”的邊S53連接，三角形投影面“4”的直角三角形部分502的邊S411與三角形投影面“3”的邊S33連接，三角形投影面“4”的直角三角形部分502的邊S43_1與三角形投影面“8”的直 角三角形部分506的邊S83_1連接，以及三角形投影面“8”的三角形部分506的邊S821與三角形投影面“7”的邊S73連接。
在三角形投影面“4”的直角三角形部分504的邊S43_2與三角形投影面“8”的直角三角形部分508的邊S83_2之間存在圖像內容連續性邊界。在三角形投影面“4”的直角三角形部分502的邊S43_1與三角形投影面“8”的直角三角形部分506的邊S83_1之間存在圖像內容連續性邊界。也就是說，內容連續地表示在三角形投影面“4”和“8”中。此外，在三角形投影面“4”的直角三角形部分504的邊S421與三角形投影面“1”的邊S13之間存在圖像內容不連續邊界，在三角形投影面“8”的直角三角形部分508的邊S811和三角形投影面“5”的邊S53之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分502的邊S411和三角形投影面“3”的邊S33之間存在圖像內容不連續邊界，在三角形投影面“8”的直角三角形部分506的邊S821和三角形投影面“7”的邊S73之間存在圖像內容不連續邊界。
在第5圖的右側部分中，由緊湊八面體投影佈局510的形狀佈置的360 VR投影佈局L_VR是不具有任何空置區域(例如，填充為黑色，灰色或白色的區域)的矩形。另外，360度圖像/視訊內容的部分在三角形投影面“1”，“2”，“3”，“5”，“6”，“7”中連續表示，沒有圖像內容不連續。此外，在基於投影的圖像IMG(其使用緊湊八面體投影佈局510)中由三角形投影面“2”，“4”，“6”和“8”表示的赤道208沒有由於三角投影面分割導致的圖像內容不連續性。然而，一些圖像內容不連續邊界仍然不可避免地存在於緊湊八面體投影佈局510中。因此，如果通過緊湊八面體投影佈局510設置360 VR投影佈局L_VR，則壓縮之後圖像內容不連續邊界附近的圖像質量可能較差。
為解決上述圖像質量劣化問題，本發明提出了一種具有填充的創新360 VR投影佈局設計，其能夠在壓縮之後改善投影面邊界處的圖像質量。例如，360 VR投影佈局L_VR可以通過具有填充的緊湊立方體佈局或具有填充的緊湊 八面體佈局來設置。具體地，轉換電路114從視訊捕獲設備112接收球體202的全向圖像/視訊內容，並從球體202的全向圖像/視訊內容中獲得複數個投影面，其中球體202的全向圖像/視訊內容通過選定的360VR投影(例如，立方體投影或八面體投影)映射到投影面上。如第1圖所示，轉換電路114具有填充電路115，其被佈置為產生至少一個填充區域。轉換電路114通過在360 VR投影佈局L_VR(例如，具有填充的緊湊立方體佈局或具有填充的緊湊八面體佈局)中封裝複數個投影面和至少一個填充區域來創建基於投影的圖框IMG。
例如，封裝在360 VR投影佈局L_VR中的投影面包括第一投影面和第二投影面，其中如果第一投影面的第一邊與第二投影面的第一邊連接，并在第一投影面的第一邊與第二投影面的第一邊之間存在圖像內容不連續邊界。在360 VR投影佈局L_VR中封裝的至少一個填充區域包括第一填充區域，其中第一填充區域與第一投影面的第一邊和第二投影面的第一邊連接，用於將360 VR投影佈局L_VR中的第一投影面的第一邊和第二投影面的第一邊隔離開。有意***第一填充區域以提供壓縮過程的更多信息。這樣一來，可以提高壓縮後的第一投影面的第一邊和第二投影面的第一邊的圖像質量。
第6圖是根據本發明的實施例的具有填充的第一種緊湊八面體投影佈局的示意圖。轉換電路114採用的360 VR投影佈局L_VR可以通過第6圖所示的緊湊八面體投影佈局310'來設置。緊湊八面體投影佈局310'可以從第3圖中所示的緊湊八面體投影佈局310導出。關於第3圖中所示的緊湊八面體投影佈局310，在三角形投影面“8”的直角三角形部分304的邊S821與三角形投影面“7”的邊S73之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分308的邊S411和三角形投影面“3”的邊S33之間存在圖像內容不連續邊界，在三角形投影面“8”的直角三角形部分302的邊S811和三角形投影面“5”的邊S53之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分306的邊S421和三角形投影 面“1”的邊S13之間存在圖像內容不連續邊界。如第6圖所示，***第一填充區域PR_1，以與三角形投影面“4”的直角三角形部分306的邊S421(其也是投影面“4”的邊S42)和投影面“1”的邊S13連接；***第二填充區域PR_2，以與三角形投影面“4”的直角三角形部分308的邊S411(其也是投影面“4”的邊S41)和投影面“3”的邊S33連接；***第三填充區域PR_3，以與三角形投影面“8”的直角三角形部分302的邊S811(其也是投影面“8”的邊S81)和投影面“5”的邊S53連接；以及***第四填充區域PR_4，以與三角形投影“8”的直角三角形部分304的邊S821(其也是投影面“8”的邊S82)和投影面“7”的邊S73連接。假設每個填充區域的寬度是D，並且第3圖中所示的緊湊八面體投影佈局310具有寬度W和高度H，第6圖所示的緊湊八面體投影佈局310'具有寬度W+2D和高度H。例如，每個填充區域的寬度D可以是16個像素。
第7圖是根據本發明的實施例的具有填充的第二種緊湊八面體投影佈局的示意圖。轉換電路114採用的360 VR投影佈局L_VR可以通過第7圖所示的緊湊八面體投影佈局510'來設置。緊湊八面體投影佈局510'可以從第5圖中所示的緊湊八面體投影佈局510導出。關於第5圖中所示的緊湊八面體投影佈局510，在三角形投影面“8”的直角三角形部分506的邊S821與三角形投影面“7”的邊S73之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分502的邊S411和三角形投影面“3”的邊S33之間存在圖像內容不連續邊界，在三角形投影面“8”的直角三角形部分508的邊S811和三角形投影面“5”的邊S53之間存在圖像內容不連續邊界，在三角形投影面“4”的直角三角形部分504的邊S421和三角形投影面“1”的邊S13之間存在圖像內容不連續邊界。如第7圖所示，***第一填充區域PR_1，以與三角形投影面“4”的直角三角形部分504的邊S421(其也是投影面“4”的邊S42)和投影面“1”的邊S13連接；***第二填充區域PR_2，以與三角形投影面“4”的直角三角形部分502的邊S411(其也是投影面“4”的邊S41)和投影面“3” 的邊S33連接；***第三填充區域PR_3，以與三角形投影面“8”的直角三角形部分508的邊S811(也是投影面“8”的邊S81)和投影面“5”的邊S53連接；以及***第四填充區域PR_4，以與三角形投影面“8”的直角三角形部分506的邊S821(其也是投影面“8”的邊S82)和投影面“7”的邊S73連接。假設每個填充區域的高度是D，並且第5圖中所示的緊湊八面體投影佈局510具有寬度W和高度H，則第7圖所示的緊湊八面體投影佈局510'具有寬度W和高度H+2D。例如，每個填充區域的高度D可以是16個像素。
在一個示例性填充實現中，填充電路115通過基於連接到填充區域的相鄰投影面中所包括像素的像素值進行插值運算，來設置填充區域中所包括像素的像素值。關於第6圖中所示的緊湊八面體投影佈局310'和第7圖中所示的緊湊八面體投影佈局510'中的每一個，通過基於在相鄰投影面“1”和“4”中所包括像素的像素值進行插值運算，來獲取第一填充區域PR_1中所包括像素的像素值；通過基於在相鄰投影面“3”和“4”中所包括像素的像素值進行插值運算，來獲取第二填充區域PR_2中所包括像素的像素值；通過基於在相鄰的投影面“8”和“5”中所包括像素的像素值進行插值運算，來獲取第三填充區域PR_3中所包括像素的像素值；通過基於相鄰投影面“7”和“8”中所包括像素的像素值進行插值算，來獲取第四填充區域PR_4中所包括像素的像素值。
所採用的插值可以是最近相鄰插值(nearest neighbor interpolation)，線性插值，雙線性插值或其他合適的插值算法。所採用的插值所使用的採樣點可以從單個方向或不同方向獲得。第8圖是由第1圖中所示的填充電路115執行的插值的示意圖。填充區域PR需要***在相鄰投影面A1和A2之間，所述投影面A1和A2是從球體的所選360VR投影獲得的，其中如果投影面A1與投影面A2連接，則在相鄰投影面A1和A2之間存在圖像內容不連續邊界。如第8圖的子圖(A)所示，對在垂直方向上從相鄰投影面A1和A2獲得的採樣點(即，像素)P1和P2執 行插值。因此，根據採樣點P1和P2的採樣值，採樣點P1和插值採樣點S之間的距離以及採樣點P2和插值採樣點S之間的距離，來確定插值採樣點(即，插值像素)S。
如第8圖的子圖(B)所示，對在水平方向上從相鄰投影面A1和A2獲得的採樣點(即像素)Q1和Q2進行插值。因此，根據採樣點Q1和Q2的採樣值，採樣點Q1和插值採樣點S之間的距離，以及採樣點Q2和插值採樣點S之間的距離，來確定插值採樣點(即，插值像素)S。
如第8圖的子圖(C)所示，對在垂直方向上從相鄰投影面A1和A2獲得的採樣點(即，像素)P1和P2以及在水平方向上從相鄰投影面A1和A2獲得的採樣點(即，像素)Q1和Q2執行插值。因此，根據採樣點P1，P2，Q1和Q2的採樣值，採樣點P1與插值採樣點S之間的距離，採樣點P2和插值採樣點S之間的距離，採樣點Q1和插值採樣點S之間的距離，以及採樣點Q2和插值採樣點S之間的距離，來確定插值採樣點(即，插值像素)S。
在另一示例性填充實現中，填充電路115將第一次幾何填充應用於一個相鄰投影面以確定填充區域中所包括像素的第一像素值，將第二次幾何填充應用於另一個相鄰投影面以確定填充區域中所包括像素的第二像素值，並通過混合從第一次幾何填充導出的第一像素值和從第二次幾何填充導出的第二像素值來設置填充區域中所包括像素的像素值。第9圖是由第1圖中所示的填充電路115執行幾何填充的示意圖。填充區域PR需要***在相鄰的投影面A1和A2之間，這些投影面A1和A2是通過球體的選定的360 VR投影獲得的，其中如果投影面A1與投影面A2連接，則在相鄰的投影面A1和A2之間存在圖像內容不連續邊界。應用於投影面A1的第一次幾何填充確定一幾何映射區域A1_GP，其中幾何映射區域A1_GP是通過將球體(例如，第2圖/第4圖中所示的球體202)上的區域的內容映射到填充區域PR上而獲得的，其中球體上的區域與獲得投影面A1的區 域相鄰。因此，在投影面A1和從投影面A1延伸的幾何映射區域A1_GP之間存在圖像內容連續性邊界(即，內容連續地表示在投影面A1和幾何映射區域A1_GP中)。
應用於投影面A2的第二次幾何填充確定另一幾何映射區域A2_GP，其中幾何映射區域A2_GP是通過將球體(例如，第2圖/第4圖中所示的球體202)上的區域的內容映射到填充區域PR上而獲得的，其中球體上的區域與獲得投影面A2的區域相鄰。因此，在投影面A2和從投影面A2延伸的幾何映射區域A2_GP之間存在圖像內容連續性邊界(即，內容連續地表示在投影面A2和幾何映射區域A2_GP中)。
在獲得與相同填充區域PR相關聯的幾何映射區域A1_GP和A2_GP之後，填充電路115混合幾何映射區域A1_GP和A2_GP以確定填充區域PR中所包括像素的像素值。即，PR=f(A1_GP，A2_GP)，其中f( )是混合函數。例如，混合函數f( )可以是平均函數。關於填充區域PR中的每個像素，填充區域PR中的像素的像素值由幾何映射區域A1_GP中的像素的第一像素值和幾何映射區域A2_GP中的像素的第二像素值的平均值來設置。
在又一示例性填充實現中，填充電路115通過複製在相鄰投影面中所包括像素的像素值來設置填充區域中所包括像素的像素值，所述相鄰投影面是從球體的所選360VR投影獲得的。例如，複製投影面A1的一邊的邊界像素以創建從投影面A1的一邊延伸的填充像素，並且複制投影面A2的一邊的邊界像素以創建從投影面A2的一邊延伸的填充像素。換句話說，填充區域PR的第一部分所包括的填充像素，其中每個填充像素是投影面A1的一個邊界像素的複製品，填充區域PR的第二部分所包括的填充像素，其中每個填充像素是投影面A2的一個邊界像素的複製品。
如果第一投影面的第一邊與第二投影面的第一邊連接，并在第一投 影面的第一邊和第二投影面的第一邊之間具有圖像內容不連續邊界，借助於在第一投影面和第二投影面之間***一個填充區域，可以提高壓縮後的第一投影面的第一邊的圖像質量和壓縮後的第二投影面的第一邊的圖像質量。包括在由解碼電路122生成的解碼圖框IMG'中的投影面可以具有更好的圖像質量。如上所述，圖形呈現電路124根據解碼的圖框IMG'在顯示螢幕126上呈現並顯示輸出圖像資料。由於解碼圖框IMG'中的填充區域被另外添加並且可能不會顯示，因此在從解碼電路122生成解碼圖框IMG'之後，圖形呈現電路124可以丟棄/忽略解碼圖框IMG'中的填充區域。
如第6圖和第7圖所示，填充被添加到緊湊八面體投影佈局中，用於圖像內容不連續邊界處的壓縮的圖像質量改善。然而，這些僅用於說明目的，並不意味著是對本發明的限制。實際上，可以將填充添加到其他360 VR投影佈局中，以提高圖像內容不連續邊界處的壓縮的圖像質量。這些具有填充的替代投影設計都屬於本發明的範圍。
第10圖是根據本發明的實施例的具有填充的緊湊立方體投影佈局的示意圖。通過立方體投影將球體的全向圖像/視訊內容映射到六個正方形投影面上，其中正方形投影面包括標記為“L”的左側投影面，標記為“FR”的正投影面，標記為“R”的右側投影面，標記為“T”的頂部投影面，標記為“BK”的背投影面和標記為“B”的底部投影面。如果在不具有填充的緊湊立方體投影佈局中的左側投影面“L”的底邊與底部投影面“B”的頂邊連接，則在左側投影面“L”和底部投影面“B”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊立方體投影佈局中的正投影面FR的底邊與背投影面BK的頂邊連接，則在正投影面FR和背投影面BK之間存在圖像內容不連續邊界。如果在不具有填充的緊湊立方體投影佈局中的右側投影面R的底邊與頂部投影面T的頂邊連接，則在右側投影面R和頂部投影面T之間存在圖像內容不連續邊界。根據第10圖中所示的緊湊立方體投影佈局 1002，在左側投影面L和底部投影面B之間***第一填充區域PR_1，在正投影面FR和背投影面BK之間***第二填充區域PR_2，並在右側投影面R和頂部投影面T之間***第三填充區域PR_3。可以通過使用上述插值方式，選擇幾何填充方式和複制方式之一來生成每個填充區域PR_1-PR_3。
例如，所提出的填充技術所使用的複制方式可以擴展投影面的邊界像素。因此，***在第一投影面和第二投影面之間的填充區域的第一部分所包括的填充像素，其中每個填充像素是第一投影面的一個邊界像素的複製品，並且***在第一投影面和第二投影面之間的填充區域的第二部分所包括的填充像素，其中每個填充像素是第二投影面的一個邊界像素的複製品。
再例如，所提出的填充技術所使用的複制方式，可以通過複製包括在第一投影面和第二投影面中，但與第一投影面和第二投影面之間的填充區域并不連接的像素的像素值，來設置包括在填充區域中的像素的像素值。在所提出的填充技術使用的複制方式獲得投影面中的部分區域的複製品的情況下。***在第一投影面和第二投影面之間的填充區域的第一部分是第一投影面的部分區域的複製品，以及***在第一投影面和第二投影面之間的填充區域的第二部分是第二投影面的部分區域的複製品，其中該第一投影面的部分區域和該第二投影面的部分區域都不與***在第一投影面和第二投影面之間的填充區域連接。
再例如，所提出的填充技術所使用的複制方式，可以通過複製包括在與第一投影面和第二投影面不同的至少一個投影面中的像素的像素值，來設置***在第一投影面和第二投影面之間的填充區域中包括的像素的像素值。採用第10圖中所示的緊湊立方體投影佈局1002為例，可以通過複製至少一個投影面(例如，FR，BK，R和/或T，其不是左側投影面L和底部投影面B中的任何一個)中的像素(例如，部分區域的像素)，來設置***在左側投影面L和底部投影面B之間的第一填充區域PR_1。可以通過複製至少一個投影面(例如，L，B， R和/或T，其不是正投影面FR和後投影面BK中的任何一個)中的像素(例如，部分區域的像素)，來設置***在正投影面FR和背投影面BK之間的第二填充區域PR_2，和/或可以通過複製至少一個投影面(例如，L，B，FR和/或BK，其不是右側投影面R和頂部投影面T中的任何一個)中的像素(例如，部分區域的像素)，來設置***在右側投影面R和頂部投影面T之間的第三填充區域PR_3。
第11圖是根據本發明的實施例的具有填充的第三種緊湊八面體投影佈局的示意圖。通過八面體投影，球體的全向圖像/視訊內容被映射到八個三角形投影面(標記為參考數字“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。三角形投影面“8”被分成兩個直角三角形部分。如果在不具有填充的緊湊八面體投影佈局中的三角形投影面“8”的一個直角三角形部分的一邊與三角形投影面“1”的一邊連接，則在三角形投影面“8”的一個直角三角形部分和三角形投影面“1”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的三角形投影面“1”的另一邊與三角形投影面“5”的一邊連接，則在三角形投影面“1”和“5”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的三角形投影面“5”的另一邊與三角形投影面“2”的一邊連接，則在三角形投影面“5”和“2”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的三角形投影面“2”的另一邊與三角形投影面“6”的一邊連接，則在三角形投影面“2”和“6”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的投影面“6”的另一邊與三角形投影面“3”的一邊連接，則在三角形投影面“6”和“3”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的三角形投影面“3”的另一邊與三角形投影面“7”的一邊連接，則在三角形投影面“3”和“7”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投影佈局中的投影面“7”的另一邊與三角形投影面“4”的一邊連接，則在三角形投影面“7”和“4”之間存在圖像內容不連續邊界。如果在不具有填充的緊湊八面體投 影佈局中的三角形投影面“8”的另一個直角三角形部分的一邊與三角形投影“4”的另一邊連接，則在三角形投影面“8”的另一個直角三角形部分和三角形投影面“4”之間存在圖像內容不連續邊界。
根據第11圖中所示的緊湊八面體投影佈局1102，在三角形投影面“1”和三角形投影面“8”的一個直角三角形部分之間***第一填充區域PR_1，在三角形投影面“1”和“5”之間***第二填充區域PR_2，在三角形投影面“5”和“2”之間***第三填充區域PR_3，在三角形投影面“2”和“6”之間***第四填充區域PR_4，在三角形投影面“6”和“3”之間***第五填充區域PR_5，，在三角形投影面“3”和“7”之間***第六填充區域PR_6，在三角形投影面“7”和“4”之間***第七填充區域PR_7，在三角形投影面“4”和三角形投影面“8”的另一個直角三角形部分之間***第八填充區域PR_8。可以通過使用上述插值方式，選擇幾何填充方式和複制方式之一來生成填充區域PR_1-PR_8中的每一個。
除了壓縮之後的圖像內容不連續邊界的圖像質量之外，可以通過所提出的填充技術來提高壓縮之後的佈局邊界的圖像質量。例如，當通過等距矩形投影(equirectangular projection，ERP)或等面積投影(equal-area projection，EAP)映射球體的全向圖像/視訊內容時，僅生成單個投影面並將其佈置在ERP/EAP佈局中。如果視埠的視角是180度，并選擇位於ERP/EAP佈局的左側邊界的解碼的部分區域和位於ERP/EAP佈局的右側邊界的解碼的部分區域，組合以形成將要顯示的視埠區域。由於典型ERP/EAP佈局的左側邊界處的塊和右側邊界處的塊是獨立編碼的，由位於ERP/EAP佈局的左側邊界的解碼的部分區域和位於ERP/EAP佈局的右側邊界的解碼的部分區域的組合產生視埠區域，因此視埠區域中可能沿佈局邊界的位置產生偽影。為了解決該問題，本發明進一步提出將填充區域添加到佈局邊界以提供用於壓縮處理的更多信息。
第12圖是根據本發明的實施例的具有填充的第一種ERP/EAP佈局的 示意圖。具有頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R的單個投影面A佈置在不具有填充的ERP/EAP佈局1202中。頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R是ERP/EAP佈局1202的四個邊界。另外，ERP/EAP佈局1202中的投影面A具有第一部分區域P_L和第二部分區域P_R，其中第一部分區域P_L包括左側邊S_L處的邊界像素，第二部分區域P_R包括右側邊S_R處的邊界像素。轉換電路114採用的360 VR投影佈局L_VR可以由第12圖中所示的ERP/EAP佈局1202'來設置。ERP/EAP佈局1202'可以從ERP/EAP佈局1202導出。投影面A是通過球體的等距矩形投影/等面積投影獲得的。投影面A，第一填充區域PR_L和第二填充區域PR_R被封裝在ERP/EAP佈局1202'中。如第12圖所示，第一填充區域PR_L與投影面A的左側邊S_L連接，並形成ERP/EAP佈局1202'的左側邊界，第二填充區域PR_R與投影面A的右側邊S_R連接，並形成ERP/EAP佈局1202'的右側邊界。例如，第一填充區域PR_L的寬度可以是8個像素，第二填充區域PR_R的寬度可以是8個像素。由於投影面A的左側邊S_L和右側邊S_R是相對側，所以第一填充區域PR_L不與投影面A的右側邊S_R連接，並且第二填充區域PR_R不與投影面A的左側邊S_L連接。
在該實施例中，第一填充區域PR_L是投影面A的第二部分區域P_R的複製品，並且第二填充區域PR_R是投影面A的第一部分區域P_L的複製品。因此，第一填充區域PR_L的像素包括投影面A的右側邊S_R處的邊界像素，但是不包括投影面A的左側邊S_L處的邊界像素；第二填充區域PR_R的像素包括投影面A的左側邊S_L處的邊界像素，但是不包括投影面A的右側邊S_R處的邊界像素。由於等距矩形投影/等面積投影的固有特性，在封裝在ERP/EAP佈局1202'中的第一填充區域PR_L和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在投影面A和第一填充區域PR_L中)，並且在封裝在ERP/EAP佈局1202'中的投影面A和第二填充區域PR_R之間存在圖像內容連續性邊界(即，內容連續地表 示在投影面A和第二填充區域PR_R中)。
除了將填充區域添加到通過等距矩形投影/等面積投影獲得的投影面的左側邊和右側邊之外，還可以將填充區域添加到投影面的頂邊和底邊，為壓縮過程提供更多信息。
第13圖是根據本發明的實施例的具有填充的第二種ERP/EAP佈局的示意圖。具有頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R的單個投影面A佈置在不具有填充的ERP/EAP佈局1302中。頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R是ERP/EAP佈局1302的四個邊界。另外，ERP/EAP佈局1302中的投影面A具有複數個圖像區域(標記為“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。圖像區域“1”-“3”形成一個部分區域，並包括頂邊S_T處的邊界像素。圖像區域“3”-“5”形成一個部分區域，並且包括右側邊S_R處的邊界像素。圖像區域“5”-“7”形成一個部分區域，並包括底邊S_B處的邊界像素。圖像區域“1”，“8”和“7”形成一個部分區域，並且包括左側邊S_L處的邊界像素。
轉換電路114採用的360 VR投影佈局L_VR可以由第13圖中所示的ERP/EAP佈局1302'來設置。可以從ERP/EAP佈局1302導出ERP/EAP佈局1302'。通過球體的等距矩形投影/等面積投影獲得投影面A。如第13圖所示，通過複製投影面A的圖像區域“3”-“5”，來生成與投影面A的左側邊S_L連接的第一填充區域；通過複製投影面A的圖像區域“1”，“8”和“7”，來生成與投影面A的右側邊S_R連接的第二填充區域；通過複製投影面A的圖像區域“1”-“3”獲得複製的部分區域，然後翻轉(flipping)該複製的部分區域，來生成與投影面A的頂邊S_T連接的第三填充區域；以及通過複製投影面A的圖像區域“5”-“7”獲得複製的部分區域，然後翻轉該複製的部分區域，來生成與投影面A的底邊S_B連接的第四填充區域。
為了使ERP/EAP佈局1302'的形狀變為矩形，通過複製圖像區域“3” 獲得複制的填充區域，然後翻轉該複制的填充區域，來生成左上角填充區域；通過複製圖像區域“1”獲得複制的填充區域，然後翻轉該複制的填充區域，來生成右上角填充區域；通過複製圖像區域“5”獲得複製的填充區域，然後翻轉該複制的填充區域，來生成左下角填充區域；以及通過複製圖像區域“7”獲得複制的填充區域，然後翻轉該複制的填充區域，來生成右下角填充區域。
由於等距矩形投影/等面積投影的固有特性，在左上角填充區域和第一填充區域之間存在圖像內容連續性邊界，在左上角填充區域和第三填充區域之間存在圖像內容連續性邊界，在右上角填充區域和第二填充區域之間存在圖像內容連續性邊界，在右上角填充區域和第三填充區域之間存在圖像內容連續性邊界，在左下角填充區域和第一填充區域之間存在圖像內容連續性邊界，在左下角填充區域和第四填充區域之間存在圖像內容連續性邊界，在右下角填充區域和第二填充區域之間存在圖像內容連續性邊界，以及在右下角填充區域和第四填充區域之間存在圖像內容連續性邊界。
如第13圖所示，與投影面A的左側邊S_L連接的第一填充區域形成ERP/EAP佈局1302'的左側邊界的一部分，與投影面A的右側邊S_R連接的第二填充區域形成ERP/EAP佈局1302'的右側邊界的一部分，與投影面A的頂邊S_T連接的第三填充區域形成ERP/EAP佈局1302'的頂部邊界的一部分，以及與投影面A的底邊S_B連接的第四填充區域形成ERP/EAP佈局1302'的底部邊界的一部分。由於等距矩形投影/等面積投影的固有特性，在封裝在ERP/EAP佈局1302'中的第一填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第一個填充區域和投影面A中)，在封裝在ERP/EAP佈局1302'中的第二填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第二填充區域和投影面A中中)，在封裝在ERP/EAP佈局1302'中的第三填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第三填充區域和投影面A中)， 並且在封裝在ERP/EAP佈局1302'中的第四填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第四填充區域和投影面A中)。
第14圖是根據本發明的實施例的具有填充的第三種ERP/EAP佈局的示意圖。具有頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R的單個投影面A佈置在不具有填充的ERP/EAP佈局1402中。頂邊S_T，底邊S_B，左側邊S_L和右側邊S_R是ERP/EAP佈局1402的四個邊界。另外，ERP/EAP佈局1402中的投影面A具有複數個圖像區域(標記為“1”，“2”，“3”，“4”，“5”，“6”，“7”和“8”)。圖像區域“1”-“3”形成一個部分區域，並包括頂邊S_T處的邊界像素。圖像區域“3”-“5”形成一個部分區域，並且包括右側邊S_R處的邊界像素。圖像區域“5”-“7”形成一個部分區域，並包括底邊S_B處的邊界像素。圖像區域“7”-“8”和“1”形成一個部分區域，並且包括左側邊S_L處的邊界像素。
轉換電路114採用的360 VR投影佈局L_VR可以由第14圖中所示的ERP/EAP佈局1402'來設置。ERP/EAP佈局1402'可以從典型的ERP/EAP佈局1402導出。投影面A是通過球的等距矩形投影/等面積投影獲得的。如第14圖所示，通過複製投影面A的圖像區域“3”-“5”，生成與投影面A的左側邊S_L連接的第一填充區域；通過複製投影面A的圖像區域“1”，“8”和“7”，來生成與投影面A的右側邊S_R連接的第二填充區域；通過複製投影面A的圖像區域“1”-“3”獲得複製的部分區域，然後將該複製的部分區域旋轉(rotating)180°，來生成與投影面A的頂邊S_T連接的第三填充區域；以及通過複製投影面A的圖像區域“5”-“7”獲得複製的部分區域，然後將該複製的部分區域旋轉180°，來生成與投影面A的底邊S_B連接的第四填充區域。
為了使ERP/EAP佈局1402'的形狀變為矩形，通過複製圖像區域“1”獲得複制的填充區域，然後將該複制的填充區域旋轉180°，來生成左上角填充區域；通過複製圖像區域“3”獲得複制的填充區域，然後將該複制的填充區域旋轉 180°，來生成右上角填充區域；通過複製圖像區域“7”獲得複製的填充區域，然後將該複制的填充區域旋轉180°，來生成左下角填充區域；以及通過複製圖像區域“5”獲得複制的填充區域，然後將該複制的填充區域旋轉180°，來生成右下角填充區域。
由於等距矩形投影/等面積投影的固有特性，在左上角填充區域和第一填充區域之間存在圖像內容連續性邊界，在左上角填充和第三填充區域之間存在圖像內容連續性邊界區域，在右上角填充區域和第二填充區域之間存在圖像內容連續性邊界，在右上角填充區域和第三填充區域之間存在圖像內容連續性邊界，在左下角填充區域和第一填充區域之間存在圖像內容連續性邊界，在左下角填充區域和第四填充區域之間存在圖像內容連續性邊界，在右下角填充區域和第二填充區域之間存在圖像內容連續性邊界，以及在右下角填充區域和第四填充區域之間存在圖像內容連續性邊界。
如第14圖所示，與投影面A的左側邊S_L連接的第一填充區域形成ERP/EAP佈局1402'的左側邊界的一部分，與投影面A的右側邊S_R連接的第二填充區域形成ERP/EAP佈局1402'的右側邊界的一部分，與投影面A的頂邊S_T連接的第三填充區域形成ERP/EAP佈局1402'的頂部邊界的一部分，以及與投影面A的底邊S_B連接的第四填充區域形成ERP/EAP佈局1402'的底部邊界的一部分。由於等距矩形投影/等面積投影的固有特性，在封裝在ERP/EAP佈局1402'中的第一填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第一填充區域和投影面A中)，在封裝在ERP/EAP佈局1402'中的第二填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第二填充區域和投影面A中)，在封裝在ERP/EAP佈局1402'中的第三填充區域和投影面A之間存在圖像內容連續性邊界(即，內容連續地表示在第三填充區域和投影面A中)，並且在封裝在ERP/EAP佈局1402'中的第四填充區域和投影面A之間存在圖像內容連 續性邊界(即，內容連續地表示在第四填充區域和投影面A中)。
如第12圖-第14圖所示，填充被添加到ERP/EAP佈局中，用於在佈局邊界處改進壓縮的圖像質量。然而，這些僅用於說明目的，並不意味著是對本發明的限制。在實踐中，可以將填充添加到其他360 VR投影佈局中，以在佈局邊界處提高壓縮的圖像質量。這些具有填充的替代投影設計都屬於本發明的範圍。
第15圖是根據本發明的實施例的具有填充的八面體投影佈局的示意圖。第16圖是根據本發明的實施例的具有填充的立方體投影佈局的示意圖。第17圖是根據本發明的實施例的具有填充的第四種緊湊八面體投影佈局的示意圖。第18圖是根據本發明的實施例的具有填充的緊湊立方體投影佈局的示意圖。封裝在投影佈局1502/1602/1702/1802中的填充區域可以通過上述幾何填充方式生成，該方式將幾何填充應用於投影面以確定包括在與投影面連接的填充區域中的像素的像素值；或者可以通過上述複製方式生成，該複製方式通過複製投影面的邊界像素的像素值，或者通過複製包括在投影面中但不與填充區域連接的像素的像素值，或者通過複製不包括在投影面中的像素的像素值，來設置包括在與投影面連接的填充區域中的像素的像素值。
應注意，前述佈局示例僅用於說明目的，並不意味著是對本發明的限制。在本發明的其他實施例中，可以通過將填充區域添加到其他投影格式的佈局，例如金字塔(pyramid)投影佈局，四面體(tetrahedron)投影佈局，基於四邊形石英的投影佈局(tetragon quartz-based projection layout)，二十面體(icosahedron)投影佈局，或基於六邊形石英的投影佈局(hexagon quartz-based projection layout)，來獲得具有填充的360 VR投影佈局。
借助於添加到投影佈局的邊界的填充區域，可以提高壓縮之後的邊界的圖像質量。如上所述，圖形呈現電路124根據解碼的圖框IMG'在顯示螢幕126 上呈現並顯示輸出圖像資料。由於解碼圖框IMG'中的填充區域被另外添加並且可能不會顯示，因此在從解碼電路122生成解碼圖框IMG'之後，圖形呈現電路124可以丟棄/忽略解碼圖框IMG'中的填充區域。
第19圖是根據本發明的實施例的第二種360 VR系統的示意圖。360 VR系統100和1900之間的主要區別在於源電子設備1902的轉換電路1914具有重採樣電路1915，其被佈置為執行所提出的編碼器側投影面重採樣功能以調節採樣密度(或採樣率)。例如，編碼器側投影面重採樣功能可以在編碼之前將下採樣(down-sampling)應用於投影面。又例如，編碼器側投影面重採樣功能可以在編碼之前將上採樣(up-sampling)應用於投影面。對於又一示例，編碼器側投影面重採樣功能可以在編碼之前將不具有尺寸改變的重採樣應用於投影面。
在本發明的一些實施例中，360 VR投影佈局L_VR是立方體投影佈局，其是基於非視埠的投影佈局(non-viewport based projection layout)。因此，轉換電路1914從球體的全向圖像/視訊內容獲得複數個正方形投影面，其中球體的全向圖像/視訊內容經由立方體投影(cubemap projection，CMP)被映射到該複數個正方形投影面上。第20圖是根據從球體的立方體投影獲得的立方體投影佈局的六個正方形投影面的示意圖。球體2002的全向圖像/視訊內容被映射到立方體2004的六個正方形投影面(標記為“L”，“F”，“R”，“BK”，“T”和“B”)上。正方形投影面“L”表示立方體2004的左側面。正方形投影面“F”表示立方體2004的正面。正方形投影面“R”表示立方體2004的右側面。正方形投影面“BK”表示立方體2004的背面。正方形投影面“T”表示立方體2004的頂面。正方形投影面“B”表示立方體2004的底面。如第20圖所示，正方形投影面“L”，“F”，“R”，“BK”，“T”和“B”佈置在對應於展開的立方體的CMP佈局2006中。將要編碼的基於投影的圖框IMG需要是矩形的。如果CMP佈局2006直接用於創建基於投影的圖框IMG，則基於投影的圖框IMG必須填充空置區域(例如，填充為黑色，灰色或白 色的區域)以形成用於編碼的矩形圖框。因此，正方形投影面“L”，“F”，“R”，“BK”，“T”和“B”可以封裝在另一種CMP佈局中，例如1x6立方體佈局，6x1立方體佈局，3x2立方體佈局，或2x3立方體佈局。以這種方式，可以提高編碼效率。
正方形投影面“L”，“F”，“R”，“BK”，“T”和“B”中的一個或複數個可以在被封裝到360 VR投影佈局L_VR中之前被重採樣電路1915處理，該360 VR投影佈局L_VR是CMP佈局(例如，1x6立方體佈局，6x1立方體佈局，3x2立方體佈局或2x3立方體佈局)。例如，重採樣電路1915通過所提出的編碼器側投影面重採樣功能，對一個正方形投影面的至少一部分(即，部分或全部)進行重採樣來獲得一個重採樣投影面。轉換電路1914根據所採用的CMP佈局(例如，1x6立方體佈局，6x1立方體佈局，3x2立方體佈局或2x3立方體佈局)生成基於投影的圖框IMG，其中基於投影的圖框IMG具有一個或複數個封裝在所採用的CMP佈局中的重採樣投影面。編碼器側投影面重採樣功能可以是具有非均勻映射的重採樣功能或具有均勻映射的重採樣功能，這取決於實際的設計考慮。均勻映射和非均勻映射的進一步細節描述如下。
請結合參考第21圖和第22圖。第21圖是根據本發明的實施例的通過均勻映射對從立方體投影獲得的正方形投影面進行重採樣的示意圖。第22圖是根據本發明的實施例的均勻映射函數曲線的示意圖。將要重採樣的正方形投影面2102可以是第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”，“B”中的任何一個。在該示例中，正方形投影面2104是從正方形投影面2102在其高度方向和寬度方向上進行下採樣得到的，其中正方形投影面2102具有寬度w和高度h(h=w)，以及正方形投影面2104具有寬度W和高度H(W=H<h)。也就是說，通過均勻映射執行從高度h到高度H的下採樣，以及通過均勻映射執行從寬度w到寬度W的下採樣。作為示例而非限制，相同的均勻映射函數應用於寬度方向(即，x軸方向)和高度方向(即，y軸方向)。例如，可以使用以下公式表示 不同方向上的均勻映射函數。
Figure 107133868-A0305-02-0034-1
Figure 107133868-A0305-02-0034-2
因此，利用位於正方形投影面2104中的y軸坐標Y處的整數像素位置，可以根據公式(1)中表示的均勻映射函數來確定位於正方形投影面2102中的y軸坐標y處的對應採樣點。由於在高度方向上的均勻映射，正方形投影面2102中的兩個垂直相鄰的採樣點以恆定距離D均勻地分佈。類似地，利用位於正方形投影面2104中的x軸坐標X處的整數像素位置，可以根據公式(2)中表示的均勻映射函數來確定位於正方形投影面2102中的x軸坐標x處的對應採樣點。由於在寬度方向上的均勻映射，矩形投影面2102中的兩個水平相鄰的採樣點以恆定距離D'均勻分佈。根據公式(1)和(2)，使用在正方形投影面2102中找到的相應採樣位置p'的像素值導出正方形投影面2104中的位置P的像素值。
正方形投影面2102中的採樣點(即，獲得的像素位置p')可以不在整數位置。如果正方形投影面2102中的採樣點的x軸坐標x和y軸坐標y中的至少一個是非整數位置，則轉換電路1914(具體地，重採樣電路1915)中的插值濾波器(未示出)可以應用於正方形投影面2102中的採樣點周圍的整數像素，以導出採樣點的像素值。
為了保留投影面內的特定區域的更多細節，本發明還提出通過非均勻映射對從立方體投影獲得的正方形投影面進行重採樣。第23圖是根據本發明的實施例的通過非均勻映射對從立方體投影獲得的正方形投影面進行重採樣的第一示例的示意圖。將要重採樣的正方形投影面2302可以是第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”，“B”中的任何一個。在該示例中，正方形投影面2304是從正方形投影面2302在其高度方向(即，y軸方向)和寬度方向 (即，x軸方向)上進行下採樣獲得的，其中，正方形投影面2302具有寬度w和高度h(h=w)，以及正方形投影面2304具有寬度W和高度H(W=H<h)。
利用位於正方形投影面2304中的y軸坐標處的整數像素位置，可以根據非均勻映射函數來確定位於正方形投影面2302中的y軸坐標處的對應採樣點。如第23圖所示，兩個垂直相鄰的採樣點之間的間隔不是常數。例如，兩個垂直相鄰的採樣點之間的間隔可以是D1，D2，D3和D4中的一個，其中D4>D3>D2>D1。具體地，採樣點在正方形投影面2302的高度方向上不均勻地分佈。例如，通過對正方形投影面2302的第一源區域2312重採樣，來獲得正方形投影面2304的第一重採樣區域2322中的像素；以及通過對正方形投影面2302的第二源區域2314進行重採樣，來獲得正方形投影面2304的第二重採樣區域2324中的像素。由於在在高度方向上的非均勻映射，從第一源區域2312獲得的採樣點的密度不同於從第二源區域2314獲得的採樣點的密度。換句話說，在正方形投影面2302的高度方向上使用不同的採樣率。第一重採樣區域2322是從在高度方向上以第一採樣率(或第一採樣密度)重採樣第一源區域2312得到的，並且第二重採樣區域2324是從在高度方向上以第二採樣率(或第二採樣密度)重採樣第二源區域2314得到的，其中第二採樣率(或第二採樣密度)不同於第一採樣率(或第一次採樣密度)。
類似地，利用位於正方形矩形投影面2304中的x軸坐標處的整數像素位置，可以通過非均勻映射函數來確定位於正方形投影面2302中的x軸坐標處的對應採樣點。如第23圖所示，兩個水平相鄰的採樣點之間的間隔不是常數。例如，兩個水平相鄰的採樣點之間的間隔可以是D1'，D2'，D3'和D4'中的一個，其中D4'>D3'>D2'>D1'。具體地，採樣點在正方形投影面2302的寬度方向上不均勻地分佈。例如，通過對第一源區域2316進行重採樣，來獲得正方形投影面2304的第一重採樣區域2326中的像素；以及通過對正方形投影面2302的第二源區域 2318進行重採樣，來獲得正方形投影面2304的第二重採樣區域2328中的像素。由於在寬度方向上的非均勻映射，從第一源區域2316獲得的採樣點的密度不同於從第二源區域2318獲得的採樣點的密度。換句話說，在正方形投影面2302的寬度方向上使用不同的採樣率。第一重採樣區域2326是從在寬度方向上以第一採樣率(或第一採樣密度)重採樣第一源區域2316得到的，以及第二重採樣區域2326是從在寬度方向上以第二採樣率(或第二採樣密度)重採樣第二源區域2318得到的，其中第二採樣率(或第二採樣密度)不同於第一採樣率(或者第一次採樣密度)。
正方形投影面2304中位置P的像素值是根據在x軸方向和y軸方向中使用的非均勻映射函數，使用在正方形投影面2302中找到的對應採樣位置p'的像素值導出的。正方形投影面2302中的採樣點(即，獲得的像素位置p')可以不在整數位置。如果正方形投影面2302中的採樣點的x軸坐標x和y軸坐標y中的至少一個是非整數位置，則轉換電路1914(具體地，重採樣電路1915)中的插值濾波器(未示出)可以應用於正方形投影面2302中的採樣點周圍的整數像素，以導出採樣點的像素值。
在該示例中，應用於正方形投影面2302的非均勻映射包括用於在第一方向(例如，寬度方向和高度方向中的一個)上對正方形投影面2302的至少一部分(即，部分或全部)進行重採樣的第一非均勻映射函數和用於在第二方向(例如，寬度方向和高度方向中的另一個)上對正方形投影面2302的至少一部分(即，部分或全部)進行重採樣的第二非均勻映射函數。在一個示例性設計中，第一非均勻映射函數可以與第二非均勻映射函數相同。也就是說，第一方向和第二方向(例如，寬度方向和高度方向)可以使用相同的非均勻映射曲線。在另一示例性設計中，第一非均勻映射函數可以與第二非均勻映射函數不同。也就是說，第一方向和第二方向(例如，寬度方向和高度方向)可以使用 不同的非均勻映射曲線。
在第23圖所示的示例中，通過非均勻映射將下採樣應用於原始正方形投影面，來導出重採樣的正方形投影面。然而，這僅用於說明目的，並不意味著是對本發明的限制。或者，可以通過非均勻映射將上採樣應用於原始正方形投影面來導出重採樣的正方形投影面，或者可以通過非均勻映射對原始正方形投影面應用不進行尺寸改變的重採樣來導出重採樣的正方形投影面。第24圖是根據本發明的實施例的通過非均勻映射對從立方體投影獲得的正方形投影面進行重採樣的第二示例的示意圖。將要重採樣的正方形投影面2402可以是第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”，“B”中的任何一個。在該示例中，採用不改變尺寸的重採樣。因此，正方形投影面2404通過在其高度方向(即，y軸方向)和寬度方向(即，x軸方向)上對正方形投影面2402進行重採樣而得到，其中正方形投影面2402具有寬度w和高度h(h=w)，並且正方形投影面2404具有寬度W和高度H(W=H=h)。利用位於正方形矩形投影面2404中的y軸坐標處的整數像素位置，可以在y軸方向上根據非均勻映射函數來確定位於正方形投影面2402中的y軸坐標處的對應採樣點。利用位於正方形矩形投影面2404中的x軸坐標處的整數像素位置，可以在x軸方向上根據非均勻映射函數來確定位於正方形投影面2402中的x軸坐標處的對應採樣點，其中在x軸方向上使用的非均勻映射函數可以與在y軸方向上使用的非均勻映射函數相同或不同。
實際上，可以使用經過坐標點(0,0)和(1,1)的任何非遞減函數(non-decreasing function)來實現非均勻映射函數。也就是說，非遞減非均勻映射函數(non-decreasing non-uniform mapping function)的曲線從坐標點(0,0)處開始並且在坐標點(1,1)處結束。例如，非均勻映射函數可以是分段線性函數(piecewise-linear function)，指數函數(exponential function)，二次方程函數 (quadratic equation function)或其他函數。第25圖是根據本發明的實施例的第一非均勻映射函數曲線的示意圖。第26圖是根據本發明的實施例的第二非均勻映射函數曲線的示意圖。第25-26圖中所示的非均勻映射曲線僅用於說明目的，並不意味著是對本發明的限制。
考慮通過二次方程函數設置非均勻映射函數的情況。二次方程函數可以定義為f(p)=A * p2+B * p，其中A+B=1，p表示在所選方向(例如，x軸方向或者y軸方向)上的源正方形投影面內的像素位置，並且f(p)表示在所選方向上的重採樣的正方形投影面內的像素位置。根據實驗結果，A可以設置為-0.385，B可以設置為1.385，以使非均勻映射函數具有最佳BD-rate(Bjøntegaard-Delta rate)。
此外，應用於通過立方體投影獲得的不同正方形投影面的非均勻映射函數不一定相同。例如，重採樣電路1915通過非均勻映射對第一正方形投影面(例如，第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”和“B”中的一個)的至少一部分(即，部分或全部)進行重採樣，來獲得第一重採樣的投影面；通過非均勻映射對第二投影面(例如，第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”和“B”中的另一個)的至少一部分(即，部分或全部)進行重採樣，來獲得第二重採樣投影面，其中封裝成360 VR投影佈局L_VR(其為CMP佈局)的基於投影的圖框IMG中包含第一重採樣投影面和第二重採樣投影面，並且用於重採樣第一投影面的至少一個非均勻映射函數(例如，寬度方向上的非均勻映射函數和/或高度方向上的非均勻映射函數)與用於重採樣第二投影面的至少一個非均勻映射函數(例如，寬度方向上的非均勻映射函數和/或高度方向上的非均勻映射函數)不同。
第27圖是根據本發明的實施例的第三種360 VR系統的示意圖。360 VR系統1900和2700之間的主要區別在於：源電子設備2702的轉換電路2714具有 重採樣電路2715和填充電路2716。類似於第19圖中所示的重採樣電路1915，重採樣電路2715被佈置為執行所提出的編碼器側的投影面重採樣功能，以調節採樣密度(或採樣率)。類似於第1圖中所示的填充電路115，填充電路2716被佈置為產生至少一個填充區域以用於減少偽影。轉換電路2714通過在具有填充的投影佈局中對重採樣的投影面和至少一個填充區域進行封裝，來創建基於投影的圖框IMG。例如，360 VR投影佈局L_VR是具有填充的CMP佈局。
關於第19圖中所示的實施例，重採樣的正方形投影面被封裝在不具有填充的CMP佈局中，例如1x6立方體佈局，6x1立方體佈局，3x2立方體佈局或2x3立方體佈局。然而，編碼之後的基於投影的圖框IMG可能由於CMP的佈局邊界和/或CMP佈局的不連續邊界而具有偽影。例如，不具有填充的CMP佈局具有頂部佈局邊界，底部佈局邊界，左側佈局邊界和右側佈局邊界。另外，在不具有填充的CMP佈局中封裝的兩個相鄰的重採樣的正方形投影面之間存在至少一個圖像內容不連續邊界。圍繞佈局邊界，不連續邊界和/或採樣率的轉變，可以***由像素填充產生的附加保護帶(additional guard band)以減少接縫偽影(seam artifact)。
在第一示例性保護帶設計中，可以僅在不連續邊界處添加像素填充。第28圖是根據本發明的實施例的具有內部邊界填充的立方體投影佈局的示意圖。第2圖的子圖(A)示出了所提出的具有內部邊界填充的3×2立方體佈局2802。重採樣的正方形投影面由“0”，“1”，“2”，“3”，“4”和“5”標記。例如，通過將非均勻映射應用於第20圖所示的正方形投影面“F”來生成重採樣的正方形投影面“0”，通過將非均勻映射應用於第20圖所示的正方形投影面“L”來生成重採樣的正方形投影面“1”，通過將非均勻映射應用於第20圖所示的正方形投影面“R”來生成重採樣的正方形投影面“2”，通過將非均勻映射應用於第20圖所示的正方形投影面“BK”來生成重採樣的正方形投影面“3”，通過將非均勻映射應用於 第20圖所示的正方形投影面“T”來生成重採樣的正方形投影面“4”，通過將非均勻映射應用於第20圖所示的正方形投影面“B”來生成重採樣的正方形投影面“5”。
在不具有填充的典型的3x2立方體投影佈局中，如果重採樣的正方形投影面“1”的底邊與重採樣的正方形投影面“4”的頂邊連接，則在重採樣的正方形投影面“1”和“4”之間存在圖像內容不連續邊界。在不具有填充的典型的3x2立方體投影佈局中，如果重採樣的正方形投影面“0”的底邊與重採樣的正方形投影面“3”的頂邊連接，則在重採樣的正方形投影面“0”和“3”之間存在圖像內容不連續邊界。在不具有填充的典型的3x2立方體投影佈局中，如果重採樣的正方形投影面“2”的底邊與重採樣的正方形投影面“5”的頂邊連接，則在重採樣的正方形投影面“2”和“5”之間存在圖像內容不連續邊界。根據所提出的具有填充的3×2立方體投影佈局2802，在重採樣的正方形投影面“1”和“4”之間***填充區域PR_DE1，在重採樣的正方形投影面“0”和“3”之間***填充區域PR_DE2，在重採樣的正方形投影面“2”和“5”之間***填充區域PR_DE3。
第一填充區域PR_DE1包括重採樣的正方形投影面“1”的保護帶和重採樣的正方形投影面“4”的保護帶，因此在投影佈局2802中將重採樣的正方形投影面“1”的底邊和重採樣的正方形投影面“4”的頂邊隔離開來。第二填充區域PR_DE2包括重採樣的正方形投影面“0”的保護帶和重採樣的正方形投影面“3”的保護帶，因此在投影佈局2802中將重採樣的正方形投影面“0”的底邊與重採樣的正方形投影面“3”的頂邊隔離開來。第三填充區域PR_DE3包括重採樣的正方形投影面“2”的保護帶和重採樣的正方形投影面“5”的保護帶，因此在投影佈局2802中將重採樣的正方形投影“2”的底邊與重採樣的正方形投影面“5”的頂邊隔離開來。每個保護帶具有保護帶尺寸SGB。因此，填充區域PR_DE1/PR_DE2/PR_DE3的每個的寬度等於2 * SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB是可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像 素，16個像素，或者任意數量的像素。
第28圖的子圖(B)示出了所提出的具有內部邊界填充的6×1立方體佈局2804。在不具有填充的典型的6x1立方體投影佈局中，如果重採樣的正方形投影面“2”的右邊與重採樣的正方形投影面“4”的左邊連接，則在重採樣的正方形投影面“2”和“4”之間存在圖像內容不連續邊界。根據所提出的具有填充的6×1立方體投影佈局2804，在重採樣的正方形投影面“2”和“4”之間***填充區域PR_DE。填充區域PR_DE包括重採樣的正方形投影面“2”的保護帶和重採樣的正方形投影面“4”的保護帶，因此在投影佈局2804中，將重採樣的正方形投影面“2”的右邊與重採樣的正方形投影面“4”的左邊隔離開來。每個保護帶具有保護帶尺寸SGB。因此，填充區域PR_DE的寬度等於2 * SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB是可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像素，16個像素，或者任意數量的像素。
在第二示例性保護帶設計中，可以在佈局邊界和不連續邊界處添加填充。第29圖是根據本發明的實施例的具有外部邊界填充和內部邊界填充的立方體投影佈局的示意圖。第29圖子圖(A)示出了所提出的具有外部邊界填充和內部邊界填充的3×2立方體佈局2902。如果重採樣的正方形投影面“0”，“1”，“2”，“3”，“4”和“5”被封裝在不具有填充的典型的3x2立方體投影佈局中，則重採樣的正方形投影面“1”，“0”和“2”的頂邊形成頂部佈局邊界，重採樣的正方形投影面“4”，“3”和“5”的底邊形成底部佈局邊界，重採樣的正方形投影面“1”和“4”的左邊形成左側佈局邊界，並且重採樣的正方形投影面的“2”和“5”的右邊形成右側佈局邊界。可以通過將外部邊界填充添加到所提出的具有內部邊界填充的3x2立方體佈局2802，來導出所提出的具有外部邊界填充和內部邊界填充的3x2立方體佈局2902。因此除了在不連續邊界處的填充區域PR_DE1，PR_DE2，PR_DE3之外，所提出的具有外部邊界填充和內部邊界填充的3x2立方體佈局2902還具 有：與重採樣的正方形投影面“1”，“0”和“2”的頂邊連接的頂部填充區域PR_T，與重採樣的正方形投影面“4”，“3”和“5”的底邊連接的底部填充區域PR_B，與重採樣的正方形投影面“1”和“4”的左邊連接的左側填充區域PR_L，以及與重採樣的正方形投影面“2”和“5”的右邊連接的右側填充區域PR_R。
頂部填充區域PR_T包括重採樣的正方形投影面“1”的保護帶，重採樣的正方形投影面“0”的保護帶，以及重採樣的正方形投影面“2”的保護帶。底部填充區域PR_B包括重採樣的正方形投影面“4”的保護帶，重採樣的正方形投影面“3”的保護帶，以及重採樣的正方形投影面“5”的保護帶。左側填充區域PR_L包括重採樣的正方形投影面“1”的保護帶和重採樣的正方形投影面“4”的保護帶。右側填充區域PR_R包括重採樣的正方形投影面“2”的保護帶和重採樣的正方形投影面“5”的保護帶。每個保護帶具有保護帶尺寸SGB。因此，外部邊界填充區域PR_T/PR_B/PR_L/PR_R的每個的寬度等於SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB是可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像素，16個像素，或者任意數量的像素。
第29圖的子圖(B)示出了所提出的具有外部邊界填充和內部邊界填充的6×1立方體佈局2904。如果重採樣的正方形投影面“0”，“1”，“2”，“3”，“4”和“5”被封裝在不具有填充的典型的6x1立方體投影佈局，則重採樣的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的頂邊形成頂部佈局邊界，重採樣的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的底邊形成底部佈局邊界，重採樣的正方形投影面“1”的左邊形成左側佈局邊界，並且重採樣的正方形投影面“5”的右邊形成右側佈局邊界。可以通過將外部邊界填充添加到所提出的具有內部邊界填充的6x1立方體佈局2804，來導出所提出的具有外部邊界填充和內部邊界填充的6x1立方體佈局2904。因此，除了不連續邊界處的填充區域PR_DE之外，所提出的具有外部邊界填充和內部邊界填充的6x1立方體佈局還具有：與重採樣的正方形 投影面“1”，“0”，“2”，“4”，“3”和“5”的頂邊連接的頂部填充區域PR_T，與重採樣的正方形投影面“1”，“0”，“2”，“4”，“3”和“5”的底邊連接的底部填充區域PR_B，與重採樣的正方形投影面“1”的左邊連接的左側填充區域PR_L，以及與重採樣的正方形投影面“5”的右邊連接的右側填充區域PR_R。
頂部填充區域PR_T包括重採樣的正方形投影面“1”的保護帶，重採樣的正方形投影面“0”的保護帶，重採樣的正方形投影面“2”的保護帶，重採樣的正方形投影面“4”的保護帶，重採樣的正方形投影面“3”的保護帶，以及重採樣的正方形投影面“5”的保護帶。底部填充區域PR_B包括重採樣的正方形投影面“1”的保護帶，重採樣的正方形投影面“0”的保護帶，重採樣的正方形投影面“2”的保護帶，重採樣的正方形投影面“4”的保護帶，重採樣的正方形投影面“3”的保護帶，以及重採樣的正方形投影面“5”的保護帶。左側填充區域PR_L包括重採樣的正方形投影面“1”的保護帶。右側填充區域PR_R包括重採樣的正方形投影面“5”的保護帶。每個保護帶具有保護帶尺寸SGB。因此，外部邊界填充區域PR_T/PR_B/PR_L/PR_R的每個的寬度等於SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB是可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像素，16個像素，或者任意數量的像素。
在第三示例性保護帶設計中，可以在佈局邊界，不連續邊界和連續邊界處添加填充。第30圖是根據本發明的實施例的具有外部邊界填充和內部邊界填充的其他立方體投影佈局的示意圖。第30圖的子圖(A)示出了提出的另一個具有外部邊界填充和內部邊界填充的3×2立方體佈局3002。在不具有填充的典型3x2立方體投影佈局中，如果重採樣的正方形投影面“1”的右邊與重採樣的正方形投影面”0“的左邊連接，則在重採樣的正方形投影面“1”和“0”之間存在圖像內容連續性邊界。在不具有填充的典型3x2立方體投影佈局中，如果重採樣的正方形投影面“0”的右邊與重採樣的正方形投影面“2”的左邊連接，則在重採樣的正 方形投影面“0”和“2”之間存在圖像內容連續性邊界。在不具有填充的典型3x2立方體投影佈局中，如果重採樣的正方形投影面“4”的右邊與重採樣的正方形投影面“3”的左邊連接，則在重採樣的正方形投影面“4”和“3”之間存在圖像內容連續性邊界。在不具有填充的典型3x2立方體投影佈局中，如果重採樣的正方形投影面“3”的右邊與重採樣的正方形投影面“5”的左邊連接，則在重採樣的正方形投影面“3”和“5”之間存在圖像內容連續性邊界。可以通過向所提出的具有外部邊界填充和內部邊界填充的3×2立方體佈局2902添加更多填充，來導出所提出的具有外部邊界填充和內部邊界填充的3×2立方體佈局3002。因此，除了在不連續邊界處的填充區域PR_DE1，PR_DE2，PR_DE3和在佈局邊界處的填充區域PR_T，PR_B，PR_L，PR_R之外，所提出的具有外部邊界填充和內部邊界填充的立方體佈局3002還具有：與重採樣的正方形投影面“1”的右邊和重採樣的正方形投影面“0”的左邊連接的填充區域PR_CE1，與重採樣的正方形投影面“0”的右邊和重採樣的正方形投影面“2”的左邊連接的填充區域PR_CE2，與重採樣的正方形投影面“4”的右邊和重採樣的正方形投影面“3”的左邊連接的填充區域PR_CE3，以及與重採樣的正方形投影面“3”的右邊和重採樣的正方形投影面“5”的左邊連接的填充區域PR_CE4。
填充區域PR_CE1包括重採樣的正方形投影面“1”的保護帶和重採樣的正方形投影面“0”的保護帶，因此在投影佈局3002中將重採樣的正方形投影面“1”的右邊與重採樣的正方形投影面“0”的左邊隔離開來。填充區域PR_CE2包括重採樣的正方形投影面“0”的保護帶和重採樣的正方形投影面“2”的保護帶，因此在投影佈局3002中將重採樣的正方形投影面“0”的右邊與重採樣的正方形投影面“1”的左邊隔離開來。填充區域PR_CE3包括重採樣的正方形投影面“4”的保護帶和重採樣的正方形投影面“3”的保護帶，因此在投影佈局3002中將重採樣的正方形投影面“4”的右邊與重採樣的正方形投影面“3”的左邊隔離開來。填充區域 PR_CE4包括重採樣的正方形投影面“3”的保護帶和重採樣的正方形投影面“5”的保護帶，因此在投影佈局3002中將重採樣的正方形投影面“3”的右邊與重採樣的正方形投影面“5”的左邊隔離開來。每個保護帶具有保護帶尺寸SGB。因此，填充區域PR_CE1/PR_CE2/PR_CE3/PR_CE4的每個的寬度等於2 * SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB是可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像素，16個像素，或者任意數量的像素。
第30圖的子圖(B)示出了所提出的另一個具有外部邊界填充和內部邊界填充的6×1立方體佈局3004。在不具有填充的典型的6x1立方體投影佈局中，如果重採樣的正方形投影面“1”的右邊與重採樣的正方形投影面“0”的左邊連接，則在重採樣的正方形投影面“1”和“0”之間存在圖像內容連續性邊界。在不具有填充的典型的6x1立方體投影佈局中，如果重採樣的正方形投影面“0”的右邊與重採樣的正方形投影面“2”的左邊連接，則在重採樣的正方形投影面“0”和“2”之間存在圖像內容連續性邊界。在不具有填充的典型的6x1立方體投影佈局中，如果重採樣的正方形投影面“4”的右邊與重採樣的正方形投影面“3”的左邊連接，則在重採樣的正方形投影面“4”和“3”之間存在圖像內容連續性邊界。在不具有填充的典型的6x1立方體投影佈局中，如果重採樣的正方形投影面“3”的右邊與重採樣的正方形投影面“5”的左邊連接，則在重採樣的正方形投影面“3”和“5”之間存在圖像內容連續性邊界。
可以通過向所提出的具有外部邊界填充和內部邊界填充的6×1立方體佈局2904添加更多填充，來導出所提出的具有外部邊界填充和內部邊界填充的6×1立方體佈局3004。因此，除了不連續邊界處的填充區域PR_DE和在佈局邊界處的填充區域PR_T，PR_B，PR_L，PR_R之外，所提出的具有外部邊界填充和內部邊界填充的立方體佈局3004還具有：與重採樣的正方形投影面“1”的右邊 和重採樣的正方形投影面“0”的左邊連接的填充區域PR_CE1，與重採樣的正方形投影面“0”的右邊和重採樣的正方形投影面“2”的左邊連接的填充區域PR_CE2，與重採樣的正方形投影面“4”的右邊和重採樣的正方形投影面“3”的左邊連接的填充區域PR_CE3，以及與重採樣的正方形投影面“3”的右邊和重採樣的正方形投影面“5”的左邊連接的填充區域PR_CE4。
填充區域PR_CE1包括重採樣的正方形投影面“1”的保護帶和重採樣的正方形投影面“0”的保護帶，在投影佈局3004中將重採樣的正方形投影面“1”的右邊與重採樣的正方形投影面“0”的左邊隔離開來。填充區域PR_CE2包括重採樣的正方形投影面“0”的保護帶和重採樣的正方形投影面“2”的保護帶，在投影佈局3004中將重採樣的正方形投影面“0”的右邊與重採樣的正方形投影面“2”的左邊隔離開來。填充區域PR_CE3包括重採樣的正方形投影面“4”的保護帶和重採樣的正方形投影面“3”的保護帶，在投影佈局3004中將重採樣的正方形投影面“4”的右邊與重採樣的正方形投影面“3”的左邊隔離開來。填充區域PR_CE4包括重採樣的正方形投影面“3”的保護帶和重採樣的正方形投影面“5”的保護帶，在投影佈局3004中將重採樣的正方形投影面“3”的右邊與重採樣的正方形投影面“5”的左邊隔離開來。每個保護帶具有保護帶尺寸SGB。因此，填充區域PR_CE1/PR_CE2/PR_CE3/PR_CE4的每個的寬度等於2 * SGB。例如，保護帶尺寸SGB的寬度可以是8個像素。應注意，保護帶尺寸SGB可調節的。作為一種選擇，保護帶尺寸SGB的寬度可以是4個像素，16個像素，或者任意數量的像素。
在第一示例性填充設計中，填充電路2716將幾何填充應用於投影面，以確定與投影面連接的填充區域(例如，PR_DE，PR_DE1-PR_DE3，PR_T，PR_B，PR_L，PR_R，和PR_CE1-PR_CE4之一)中包括的像素的像素值。採用第29圖的子圖(A)中所示的填充區域PR_T為例，其包括左側幾何映射區域，中間幾何映射區域和右側幾何映射區域，其中左側幾何映射區域用作重採樣的 正方形投影面“1”的保護帶，中間幾何映射區域用作重採樣的正方形投影面“0”的保護帶，右側幾何映射區域用作重採樣的正方形投影面“2”的保護帶。球體上的區域(例如，第20圖中所示的球體2002)的內容被映射到填充區域PR_T的左側幾何映射區域，其中該球體上的區域與獲得正方形投影面“L”的區域相鄰，並且重採樣的正方形投影面“1”是通過將非均勻映射應用於正方形投影面“L”來獲得的。球體上的區域(例如，第20圖中所示的球體2002)的內容被映射到填充區域PR_T的中間幾何映射區域，其中該球體上的區域與獲得正方形投影面“F”的區域相鄰，並且重採樣的正方形投影面“0”是通過將非均勻映射應用於正方形投影面“F”來獲得的。球體上的區域(例如，第20圖中所示的球體2002)的內容被映射到填充區域PR_T的右側幾何映射區域，其中該球體上的區域與獲得正方形投影面“R”的區域相鄰，並且重採樣的正方形投影面“2”是通過將非均勻映射應用於正方形投影面“R”來獲得的。因此，在重採樣的正方形投影面“1”和填充區域PR_T的左側幾何映射區域之間存在圖像內容連續性，在重採樣的正方形投影面“0”和填充區域PR_T的中間幾何映射區域之間存在圖像內容連續性，並且在重採樣的正方形投影面“2”和填充區域PR_T的右側幾何映射區域之間存在圖像內容連續性。也就是說，內容連續地表示在重採樣的投影面“1”和填充區域PR_T的左側幾個映射區域中，內容連續地表示在重採樣的正方形投影面“0”和填充區域PR_T的中間幾何映射區域中，內容連續地表示在重採樣的正方形投影面“2”和填充區域PR_T的右側幾何映射區域中。
在第二示例性填充設計中，填充電路2716通過複製包括在與填充區域連接的投影面中的像素的像素值，來設置填充區域(例如，PR_DE，PR_DE1-PR_DE3，PR_T，PR_B，PR_L，PR_R和PR_CE1-PR_CE4中的一個)中包括的像素的像素值。例如，複製投影面的邊界像素以創建與投影面連接的填充區域的填充像素。採用第29圖的子圖(A)中所示的填充區域PR_T為例， 其包括左側複製區域，中間複制區域和右側複製區域，其中左側複製區域用作重採樣的正方形投影面“1”的保護帶，中間複製區域用作重採樣的正方形投影面的保護帶“0”，右側複製區域作為重採樣的正方形投影面“2”的保護帶。由於左側複製區域與重採樣的正方形投影面“1”的頂邊連接，因此位於重採樣的正方形投影面“1”的頂邊的邊界像素被直接複製以設置填充區域PR_T的左側複製區域的像素的像素值。由於中間複製區域與重採樣的正方形投影面“0”的頂邊連接，所以位於重採樣的正方形投影面“0”的頂邊的邊界像素被直接複製以設置填充區域PR_T的中間複製區域的像素的像素值。由於右側複製區域與重採樣的正方形投影面“2”的頂邊連接，所以位於重採樣的正方形投影面“2”的頂邊的邊界像素被直接複製以設置填充區域PR_T的右側複製區域的像素的像素值。
在第三示例性填充設計中，填充電路2716通過複製包括在不與填充區域連接的第二投影面中的像素的像素值，來設置第一投影面的填充區域(例如，PR_DE，PR_DE1-PR_DE3，PR_T，PR_B，PR_L，PR_R和PR_CE1-PR_CE4之一)中包括的像素的像素值。例如，第一投影面和第二投影面對應於3D空間中的立方體的相鄰面(例如，第20圖中所示的立方體2004的相鄰面)。第31圖是根據本發明實施例的通過複製另一投影面中的部分區域來產生一個投影面的填充區域的填充設計的示意圖。在該示例中，通過將非均勻映射應用於第20圖中所示的正方形投影面“F”來生成重採樣的正方形投影面“0”，通過將非均勻映射應用於第20圖所示的正方形投影面“L”來生成重採樣的正方形投影面“1”，通過將非均勻映射應用於第20圖所示的正方形投影面“R”來生成重採樣的正方形投影面“2”，通過將非均勻映射應用於第20圖所示的正方形投影面“BK”來生成重採樣的正方形投影面“3”，通過將非均勻映射應用於第20圖所示的正方形投影面“T”來生成重採樣的正方形投影面“4”，以及通過將非均勻映射應用於第20圖所示的正方形投影面“B”來生成重採樣的正方形投影面“5”。此外，採用如第29圖的子圖(A) 所示的所提出的具有外部邊界填充和內部邊界填充的3×2立方體佈局2902。
基於圖像內容連續性特徵，***在重採樣的正方形投影面“1”和“4”之間的填充區域PR_DE1包括重採樣的正方形投影面“5”中的部分區域PK的複製品和在重採樣的正方形投影面“1”中的部分區域PA的複製品；***在重採樣的正方形投影面“0”和“3”之間的填充區域PR_DE2包括重採樣的正方形投影面“5”的部分區域PM的複製品和重採樣的正方形投影面“1”中的部分區域PD的複製品；***在重採樣的正方形投影面“2”和“5”之間的填充區域PR_DE3包括重採樣的正方形投影面“5”中的部分區域PP的複製品和重採樣的正方形投影面“1”中的部分區域PE的複製品。
此外，基於圖像內容連續性特徵，與重採樣的正方形投影面“1”，“0”和“2”連接的頂部填充區域PR_T包括重採樣正方形投影面“4”的部分區域PI的複製品，重採樣正方形投影面“4”中的部分區域PL的複製品，以及重採樣的正方形投影面“4”中的部分區域PN的複製品；與重採樣的正方形投影面“4”，“3”和“5”連接的底部填充區域PR_B包括重採樣的正方形投影面“2”中的部分區域PC的複製品，重採樣的正方形投影面“2”中的部分區域PH的複製品，以及重採樣的正方形投影面“2”中的部分區域PG的複製品；與重採樣的正方形投影面“1”和“4”連接的左側填充區域PR_L包括重採樣的正方形投影面“3”中的部分區域PJ的複製品和重採樣的正方形投影面“0”的部分區域PB的複製品；與重採樣的正方形投影面“2”和“5”連接的右側填充區域PR_R包括重採樣的正方形投影面“3”中的部分區域PO的複製品和重採樣的正方形投影面“0”的部分區域PF的複製品。
此外，執行角落填充，即在重採樣的投影面“1”，“2”，“4”和“5”的某些角落周圍設置角落填充區域。具體地，角落填充區域中的每個填充像素的像素值是利用相鄰填充區域的邊界像素執行插值導出的。以角落填充區域3102為例，通過對複制的部分區域PB的邊界像素Cy和複制的部分區域PC的邊界像素Cx 執行插值來設置填充像素C的像素值，其中填充像素C和邊界像素Cy具有相同的y軸坐標，填充像素C和邊界像素Cx具有相同的x軸坐標。填充像素C和邊界像素Cx之間的水平距離由i表示。填充像素C和邊界像素Cy之間的垂直距離由j表示。可以使用以下公式來表示插值。
Figure 107133868-A0305-02-0050-3
關於第27圖中所示的實施例，轉換電路2714具有重採樣電路2715和填充電路2716，根據360 VR投影佈局L_VR，該佈局由所提出的具有填充的CMP佈局設置，使得從重採樣電路2715產生的重採樣的正方形投影面和從填充電路2716產生的填充區域被封裝在基於投影的圖框IMG中。然而，這僅用於說明目的，並不意味著是對本發明的限制。例如，所提出的具有填充的CMP佈局可以由第1圖中所示的轉換電路114使用。因此，第28-31圖中所示的填充區域可以由填充電路115產生，並且第28-31圖中所示的投影面“0”，“1”，“2”，“3”，“4”，“5”可以是第20圖中所示的正方形投影面“L”，“F”，“R”，“BK”，“T”，“B”。根據360 VR投影佈局L_VR，該佈局由所提出的具有填充的CMP佈局設置，直接通過立方體投影而不需重採樣獲得的正方形投影面“L”，“F”，“R”，“BK”，“T”，“B”，以及從填充電路114產生的填充區域被封裝在基於投影的圖框IMG中。
可以根據從如上所述的第一示例性保護帶設計，第二示例性保護帶設計和第三示例性保護帶設計中選擇的一個保護帶設計來設置保護帶。另外，保護帶尺寸SGB的寬度可以是4個像素，8個像素，16個像素，或者任意數量的像素。並且可以在位元流BS中發送保護帶信息，以進一步用於解碼器側的重建/呈現。根據所提出的語法信令方法，可以採用以下語法表。
Figure 107133868-A0305-02-0050-60
Figure 107133868-A0305-02-0051-5
應注意，以上示例性語法表中的描述符指定每個語法元素的解析過程。例如，描述符u(n)描述使用n位的無符號整數(unsigned integer)。
語法元素guard_band_width以亮度樣本為單位指定每個投影面的頂部/左側/右側/底部尺寸上的保護帶的寬度。當解碼圖像具有4：2：0或4：2：2色度格式時，guard_band_width應為偶數。
語法元素guard_band_type指定保護帶上的像素填充方法。當未指定圍繞投影面的保護帶時，可以將語法元素guard_band_type設置為0(即，guard_band_type==0)。當從複制投影面的邊界像素來導出保護帶中的像素時，語法元素guard_band_type可以設置為1(即，guard_band_type==1)。當從複製3D空間中的相鄰面來導出保護帶中的像素時，可以將語法元素guard_band_type設置為2(即，guard_band_type==2)。當通過將幾何填充應用於投影面來導出投影面的保護帶中的像素時，語法元素guard_band_type可以設置為3(即，guard_band_type==3)。
如上所述，目標電子設備104的解碼電路122從傳輸裝置103(例如，有線/無線通訊鏈路或存儲介質)接收位元流BS，並執行解碼器功能，以解碼接收到的位元流BS的一部分，來生成解碼圖框IMG'，該解碼圖框IMG'是具有由源電子設備102/2702的轉換電路114/2714採用的相同360 VR投影佈局L_VR的基於投影的圖框。在通過具有填充的投影佈局(例如，具有外部邊界填充的投影佈局，具有內部邊界填充的投影佈局，或具有外部邊界填充和內部邊界填充的投影佈局)來設置360 VR投影佈局L_VR的情況下，解碼的圖框IMG'具有位於投影 佈局的佈局邊界和/或面邊界的填充區域。在一個實施例中，解碼電路122可以裁剪填充區域，使得僅重建非填充區域(例如，從360 VR投影獲得的投影面中表示的全向圖像/視訊內容，或者從360 VR投影並進行重採樣后的投影中導出的重採樣投影面中表示的全向圖像/視訊內容)。在替代設計中，可以修改解碼電路122以基於填充區域中的填充像素和非填充區域中的像素執行混合。例如，可以通過將投影面中的像素的原始像素值與填充區域中的對應填充像素的像素值進行混合來更新投影面中的像素的像素值。又例如，可以通過將填充區域中的填充像素的原始像素值與投影面中的對應像素的像素值進行混合來更新填充區域中的填充像素的像素值。
第32圖是根據本發明的實施例的第四種360 VR系統的示意圖。360 VR系統2700和3200之間的主要區別在於目標電子設備3204的解碼電路3222具有混合電路3224，其被配置為在編碼之後執行混合。第33圖是根據本發明的實施例的第五種360 VR系統的示意圖。360 VR系統100和3300之間的主要區別在於目標電子設備3304的解碼電路3322具有混合電路3324，其被配置為在編碼之後執行混合。
解碼電路3222/3322被佈置為解碼位元流BS的一部分以生成解碼圖框(即，解碼的基於投影的圖框)IMG'，其具有封裝在360 VR投影佈局L_VR(例如，具有外部邊界填充的投影佈局，具有內部邊界填充的投影佈局，或具有外部邊界填充和內部邊界填充的投影佈局)中的至少一個投影面和至少一個填充的填充區域。在生成解碼圖框IMG'的解碼處理期間，解碼電路3222/3322通過使用混合電路3224/3324，將包括在投影面中的為第一像素獲得的解碼像素值和包括在填充區域中的為第二像素獲得的解碼像素值進行混合，以重建投影面中的第一像素。例如，通過使用上述第三示例性填充設計，由編碼器側(即，源電子設備2702/102)的填充電路2716/115生成填充區域。這樣封裝在基於投影的圖 框IMG中的填充區域中的第二像素的像素值，是由包括在投影面中的部分區域的像素複制產生的。再例如，通過使用上述第一示例性填充設計，由編碼器側(即源電子設備2702/102)的填充電路2716/115生成填充區域。這樣封裝在基於投影的圖框IMG中的填充區域中的第二像素的像素值，是由包括在投影面中的像素的幾何映射產生的。在本發明的一些實施例中，混合電路3224/3324可以採用基於距離的權重方案。
關於混合電路3224，可以用於更新從重採樣處理獲得的投影面中的像素的像素值。關於混合電路3324，可以用於更新未經歷重採樣處理的投影面中的像素的像素值。混合電路3224和3324可以採用相同的基於距離的權重方案。在以下基於距離的權重方案的描述中，術語“投影面”可以表示從重採樣處理獲得的投影面或未經過重採樣處理的投影面。
第34圖是根據本發明的實施例的解碼器側混合操作的示意圖。假設填充電路2716/115採用第31圖中所示的示例性填充設計。因此，根據上述第三示例性填充設計，通過複製另一投影面中的部分區域來獲得一個投影面的填充區域。基於圖像內容連續性特徵，在第34圖中的投影面“4”的左側添加的填充區域，是通過複製正方形投影面“0”中的部分區域PB來設置的。然而，正方形投影面“0”中的部分區域PB的編碼結果和添加到投影面“4”的左側的填充區域的編碼結果不一定相同。因此，在解碼器側(例如，目標電子設備3204/3304)，從正方形投影面“0”中的部分區域PB的解碼獲得的解碼像素可以與從添加到投影面“4”的左側的填充區域的解碼獲得的解碼像素混合。如果由於填充而投影面具有不同的寬度和/或高度，則需要根據不同寬度和/或高度的比率對填充區域進行重採樣(例如，插值填充像素)以進行混合。
投影面中的目标像素(即，具有将被更新的像素值的源像素)的重建像素值是更新的像素值，可以通過使用以下公式計算。
Figure 107133868-A0305-02-0054-6
在上面的公式(4)中，SREC表示投影面中的目標像素(例如，正方形投影面“0”中的像素A)的重建像素值(更新的像素值)，S表示為目標像素獲得的解碼像素值(原始像素值)，T表示為填充區域中的對應填充像素(例如，添加到正方形投影面“4”的左側的填充區域中的填充像素A')獲得的解碼像素值。M表示填充區域的填充寬度，N表示目標像素與投影面的一邊之間的距離。在第34圖中，像素A和正方形投影面“0”的頂邊之間的距離由d表示(N=d)，並且填充像素A'和正方形投影面“4”的左邊之間的距離由d'表示。根據上述第三示例性填充設計，由於通過複製另一投影面中的部分區域來獲得一個投影面的填充區域，因此在填充區域中，填充像素A'位於整數位置(即，(x，y)，其中x和y是整數位置)，並且d的值等於d'的值。
然而，如果根據前述第一示例性填充設計，通過將幾何填充應用於投影面來獲得投影面的填充區域，則填充像素A'可以位於非整數位置(即，(x，y)，在填充區域中x不是整數位置，和/或y不是整數位置)，並且d的值可以與d'的值不同。具體地，由於幾何映射，填充像素A'的2D坐標是從像素A的2D坐標轉換得到的。也就是說，位於正方形投影面“0”中的整數位置(即，(X，Y)，其中X和Y是整數位置)的像素A可以被映射到填充區域中的位於非整數位置(即，(x，y)，其中x不是整數位置，和/或y不是整數位置)的填充像素A'。由於位於非整數位置的填充像素A'的像素值在填充區域中不可直接獲得，因此混合電路3224/3324可以通過使用插值濾波器來處理位於填充區域中的整數位置處的填充像素，來確定位於填充區域中的非整數位置的填充像素A'的像素值。在確定位於非整數位置的填充像素A'的像素值之後，使用上述公式(4)來計算正方形投影面“0”中的像素A的更新的像素值。
在上面的公式(4)中，N表示目標像素與投影面的一邊之間的距離。在第一示例性設計中，N由正整數值設置。例如，N=i+1，其中i是從投影面的一邊計數的索引(距離)，並且0
Figure 107133868-A0305-02-0055-58
i<M。第35圖是根據本發明實施例的更新投影面中的像素的像素值所涉及的像素的權重值與像素的索引值之間關係的示意圖。假設M=4且N=i+1。上述公式(4)可以改寫如下。
Figure 107133868-A0305-02-0055-7
在上面的公式(5)中，Ai表示為投影面中的具有索引i的目標像素獲得的解碼像素值，Ai,updated表示投影面中的目標像素的重建像素值(更新的像素值)，A'i表示為填充區域中的對應填充像素獲得的解碼像素值。如第35圖所示，目標像素A3(即，i=3的Ai)的權重等於8(即，4+3+1)，並且對應的填充像素A'3(即，i=3的A'i)的權重等於0(即4-3-1)；目標像素A2(即，i=2的Ai)的權重等於7(即4+2+1)，並且對應的填充像素A'2(即，i=2的A'i)的權重等於1(即4-2-1)；目標像素A1(即，i=1的Ai)的權重等於6(即4+1+1)，並且對應的填充像素A'1(即，i=1的A'i)的權重等於2(即4-1-1)；以及目標像素A0(即，i=0的Ai)的權重等於5(即4+0+1)，並且填充像素A'0(即，i=0的A'i)的權重等於3(即4-0-1)。
如第35圖所示，由於相鄰權重值“5”和“3”之間的差等於2，權重并不是隨索引(距離)以恆定的步長(constant step size)從8減小到0。為了解決這個問題，本發明提出目標像素與投影面的一邊之間的距離的另一個設定。在第二示例性設計中，N由正的非整數值設置。例如，N=i+0.5，其中i是從投影面的一邊計數的索引(距離)，並且0
Figure 107133868-A0305-02-0055-59
i<M。第36圖是根據本發明實施例的更新投影面中的像素的像素值所涉及的像素的權重值與像素的索引值之間的另一關係的示意圖。假設M=4且N=i+0.5。上述公式(4)可以改寫如下。
Figure 107133868-A0305-02-0056-8
在上面的公式(6)中，Ai表示為投影面中的具有索引i的目標像素獲得的解碼像素值，Ai,updated表示投影面中的目標像素的重建像素值(更新的像素值)，A'i表示為填充區域中的對應填充像素獲得的解碼像素值。如第36圖所示，目標像素A3(即，i=3的Ai)的權重等於7.5(即，4+3+0.5)，並且對應的填充像素A'3(即，，i=3的A'i)的權重等於0.5(即4-3-0.5)；目標像素A2(即，i=2的Ai)的權重等於6.5(即4+2+0.5)，並且對應的填充像素A'2(即，i=2的A'i)的權重等於1.5(即4-2-0.5)；目標像素A1(即，i=1的Ai)的權重等於5.5(即4+1+0.5)，並且對應的填充像素A'1(即，i=1的A'i)的權重等於2.5(即4-1-0.5)；以及目標像素A0(即，i=0的Ai)的權重等於4.5(即4+0+0.5)，並且填充像素A'0(即，i=0的A'i)的權重等於3.5(即4-0-0.5)。權重以恆定的步長，從7.5減小到0.5。
對於某些應用，可以在目標電子設備中實現轉換電路，以將具有第一360VR投影格式的投影佈局的解碼圖框轉換為具有與第一360 VR投影格式不同的第二360VR投影格式的投影佈局的轉換圖框。例如，從解碼電路生成的解碼圖框可以是基於投影的圖框，其具有封裝在具有填充的立方體投影佈局中的投影面和填充區域；並且由轉換電路生成並由後續圖形呈現電路使用的轉換圖框(converted frame)可以是基於投影的圖框，其具有封裝在不具有填充的典型的等距矩形投影佈局中的投影面。位於轉換圖框中的整數位置(即，(x，y)，其中x和y是整數位置)的像素可以被映射到位於解碼圖框中非整數位置的像素(即，(x'，y')，其中x'不是整數位置和/或y'不是整數位置)。也就是說，當執行投影佈局轉換時，轉換電路可能將位於轉換圖框中的整數位置處的像素的像素值映射為位於解碼圖框中的非整數位置處的像素的像素值。由於位於非整數 位置的像素的像素值在解碼圖框中不可直接獲得，因此轉換電路可通過使用插值濾波器處理位於解碼圖框中的整數位置的像素，來確定位於解碼圖框中的非整數位置的像素的像素值。在具有非整數位置的像素位於解碼圖框中的投影佈局的佈局邊界處或不連續邊界附近的情況下，插值濾波器使用的像素可能包括從投影面中選擇的至少一個像素和從對應的填充區域中選擇的至少一個像素。之後通過混合(例如，基於距離的權重)來更新投影面中的像素的像素值。然而，如果相應填充區域中的填充像素的像素值不通過混合(例如，基於距離的權重)來更新。由於使用投影面中像素的更新像素值和對應填充區域中的填充像素的原始(未更新)像素值執行插值，結果有可能引入偽影。為解決該問題，本發明提出了另一種混合方案，即對投影面中的像素和填充區域中的填充像素都通過混合來更新像素值。
第37圖是根據本發明的實施例的第六種360 VR系統的示意圖。360 VR系統3200和3700之間的主要區別在於：目標電子設備3704的解碼電路3722中的混合電路3724被佈置為對投影面中的像素和填充區域中的填充像素都通過混合來更新像素值，以及目標電子設備3704還包括轉換電路3726，其被設置為將具有一個360 VR投影佈局的解碼圖框(即，解碼的基於投影的圖框)IMG'轉換為具有不同的360 VR投影佈局的轉換圖框(即，轉換後的基於投影的圖框)IMG"。在本發明的一個實施例中，360 VR投影佈局L_VR可以是具有填充的CMP佈局，並且轉換的360 VR投影佈局可以是不具有填充的ERP佈局。然而，這僅用於說明目的，並不意味著是對本發明的限制。
第38圖是根據本發明的實施例的第七種360 VR系統的示意圖。360 VR系統3300和3800之間的主要區別在於：目標電子設備3804的解碼電路3822中的混合電路3824被佈置為對投影面中的像素和填充區域中的填充像素都通過混合來更新像素值，以及目標電子設備3804還包括轉換電路3826，轉換電路3826 被佈置成將具有一個360 VR投影佈局的解碼圖框IMG'轉換為具有不同的360 VR投影佈局的轉換圖框IMG"。在本發明的一個實施例中，360 VR投影佈局L_VR可以是CMP佈局，並且轉換後的360 VR投影佈局可以是ERP佈局。然而，這僅用於說明目的，並不意味著是對本發明的限制。
關於第37圖和第37圖中所示的實施例，基於投影的圖框IMG和解碼圖框IMG'使用的360 VR投影佈局L_VR可以是一個360 VR投影格式的投影佈局，其不同於與轉換圖框IMG"相關聯的另一個360 VR投影格式。例如，解碼圖框IMG'和轉換圖框IMG"使用的不同投影佈局可以從一組投影佈局中選擇，包括ERP佈局，複數個基於立方體的投影佈局(例如，CMP佈局，金字塔投影佈局，截斷的正方形金字塔投影佈局和基於視埠的立方投影佈局)，複數個基於三角形的投影佈局(例如，八面體投影佈局，二十面體投影佈局，四面體投影佈局，基於四邊形石英的投影佈局，以及基於六邊形石英的投影佈局)，分段球體投影(segmented sphere projection，SSP)佈局，赤道圓柱投影佈局，旋轉球體投影佈局等。
在本發明的一些實施例中，混合電路3724/3824可以採用基於距離的權重方案。關於混合電路3724，它可以用於更新從重採樣處理獲得的投影面中的像素的像素值，並且還可以用於更新填充區域中的填充像素的像素值。關於混合電路3824，它可以用於更新未經歷重採樣處理的投影面中的像素的像素值，並且還可以用於更新填充區域中的填充像素的像素值。混合電路3724和3824可以採用相同的基於距離的權重方案。在以下基於距離的權重方案的描述中，術語“投影面”可以表示從重採樣處理獲得的投影面或未經過重採樣處理的投影面。
請再次參考第34圖。假設填充電路2716/115採用第31圖中所示的示例性填充設計。因此，根據上述第三示例性填充設計，通過複製另一投影面中的 部分區域來獲得一個投影面的填充區域。基於圖像內容連續性特徵，添加到投影面“4”的左邊的填充區域由正方形投影面“0”中的部分區域PB的複製品來設置。然而，正方形投影面“0”中的部分區域PB的編碼結果和添加到投影面“4”的左邊的填充區域的編碼結果不一定相同。因此，在解碼器側(例如，目標電子設備3704/3804)，從正方形投影面“0”中的部分區域PB的解碼獲得的解碼像素可以與從添加到投影面“4”的左邊的填充區域的解碼獲得的解碼像素進行混合。在本實施例中，混合電路3724/3824用於通過混合正方形投影面“0”的部分區域PB中的像素的原始像素值和添加到投影面“4”的左邊的填充區域中的填充像素的原始像素值，來更新正方形投影面“0”中的部分區域PB中的像素的像素值；以及混合電路3724/3824還用於通過混合添加到投影面“4”的左邊的填充區域中的填充像素的原始像素值與正方形投影面“0”的部分區域PB中的像素的原始像素值，來更新添加到投影面“4”的左邊的填充區域中的填充像素的像素值。如果由於填充而投影面具有不同的寬度和/或高度，則需要根據不同寬度和/或高度的比率對填充區域進行重採樣(例如，填充像素的插值)以進行混合。
在投影面和填充區域的任何一個中的目標像素(即，具有將要更新的像素值的源像素)的重建像素值，可以通過使用以下公式來計算更新的像素值。
Figure 107133868-A0305-02-0059-9
在上面的公式(7)中，S'REC表示目標像素(例如，第34圖中所示的正方形投影面“0”中的像素A，或添加到第34圖中所示的正方形投影面“4”的左邊的填充區域中的填充像素A')的重建像素值(更新的像素值)，S'表示為目標像素獲得的解碼像素值(原始像素值)，T表示為將與目標像素混合的對應像素(例如，添加到第34圖中所示的正方形投影面“4”的左邊的填充區域中的填充像素 A'，或者如第34圖所示的正方形投影面“0”中的像素A)獲得的解碼像素值；M表示填充區域的填充寬度，N'表示目標像素與投影面的一邊之間的距離。在目標像素是第34圖所示的正方形投影面“0”中的像素A的情況下，N'由表示像素A和正方形投影面“0”的頂邊之間的距離的值來設定。在目標像素是被添加到第34圖所示的正方形投影面“4”的左邊的填充區域中的填充像素A'的另一種情況下，N'由表示填充像素A'和正方形投影面“4”的左邊之間的距離的值來設定。
在第34圖中，像素A和正方形投影面“0”的頂邊之間的距離由d表示，並且填充像素A'和正方形投影面“4”的左邊之間的距離由d'表示。根據上述第三示例性填充設計，由於通過複製另一投影面中的部分區域來獲得一個投影面的填充區域，因此填充區域中的填充像素A'位於整數位置(即，(x，y)，其中x和y是整數位置)，並且d的值等於d'的值。
然而，根據前述第一示例性填充設計，如果通過將幾何填充應用於投影面來獲得投影面的填充區域，若目標像素(具有將要更新的像素值)位於整數位置(即，(x，y)，其中x和y是整數位置)，則非目標像素(其將與目標像素混合的對應像素)可能位於非整數位置(即，(x'，y')，其中x'不是整數位置，和/或y'不是整數位置)。在目標像素是正方形投影面“0”中的像素A的情況下，非目標像素是填充像素A'，其可能位於填充區域中的非整數位置，因此d可能與d'的值不同。具體地，由於幾何映射，填充像素A'的2D坐標是從像素A的2D坐標轉換的。也就是說，位於正方形投影面“0”中的整數位置(即，(x，y)，其中x和y是整數位置)的像素A可能被映射到填充區域中的位於非整數位置(即，(x'，y')，其中x'不是整數位置，和/或y'不是整數位置)的填充像素A'。由於位於非整數位置的填充像素A'的像素值在填充區域中不可直接獲得，因此混合電路3724/3824可以通過使用插值濾波器處理位於填充區域中的整數位置處的填充像素，來確定位於填充區域中的非整數位置的填充像素A'的像素值。在確定位於非 整數位置的填充像素A'的像素值之後，使用上述公式(7)來計算像素A的更新的像素值。
在目標像素是添加到正方形投影面“4”的左邊的填充區域中的填充像素A'的另一種情況下，非目標像素可能是位於正方形投影面“0”中的非整數位置(即，(x'，y')，其中x'不是整數位置，和/或y'不是整數位置)的像素A，因此d的值可能與d'的值不同。具體地，由於幾何映射，像素A的2D坐標是從填充像素A'的2D坐標轉換的。也就是說，填充區域中位於整數位置(即，(x，y)，其中x和y是整數位置)的填充像素A'可能被映射到位於正方形投影面“0”中的非整數位置(即，(x'，y')，其中x'不是整數位置，和/或y'不是整數位置)的像素A。由於位於非整數位置的像素A的像素值在正方形投影面“0”中不可直接獲得，因此混合電路3724/3824可通過使用插值濾波器處理位於正方形投影面“0”中的整數位置的像素，來確定位於正方形投影面“0”中的非整數位置的像素A的像素值。在確定位於非整數位置的像素A的像素值之後，使用上述公式(7)來計算填充像素A'的更新的像素值。
在上面的公式(7)中，N'表示目標像素與投影面的一邊之間的距離，其中目標像素可以是投影面中的像素或填充區域中的填充像素。在第一示例性設計中，N'由非整數值設置。例如，N'=i+0.5，其中i是從投影面的一邊計數的索引(距離)。在本實施例中，當目標像素是位於投影面外部的填充區域中的填充像素時，i被設置為負整數值；並且當目標像素是包括在投影面中的像素時，i被設置為非負整數值。第39圖是根據本發明的實施例的更新投影面中的像素的像素值和填充區域中的填充像素的像素值所涉及的像素的權重值與像素的索引值之間關係的示意圖。假設M=4且N=i+0.5。上述公式(7)可以改寫如下。
Figure 107133868-A0305-02-0061-10
在上面的公式(8)中，Ai表示為具有索引i的目標像素獲得的解碼像素值，Ai,updated表示目標像素的重建像素值(更新的像素值)，並且A'i表示為對應的非目標像素獲得的解碼像素值。如第39圖所示，投影面中的目標像素A3(即，i=3的Ai)的權重等於7.5(即，4+3+0.5)，並且填充區域中的對應的非目標像素A'3(即，i=3的A'i)的權重等於0.5(即，4-3-0.5)；投影面中目標像素A2(即，i=2的Ai)的權重等於6.5(即4+2+0.5)，並且填充區域中對應的非目標像素A'2(即，i=2的A'i)的權重等於1.5(即4-2-0.5)；投影面中目標像素A1(即，i=1的Ai)的權重等於5.5(即4+1+0.5)，並且填充區域中對應的非目標像素A'1(即，i=1的A'i)的權重等於2.5(即4-1-0.5)；以及投影面中的目標像素A0(即，i=0的Ai)的權重等於4.5(即，4+0+0.5)，並且填充區域中的對應的非目標像素A'0(即，i=0的A'i)的權重等於3.5(即，4-0-0.5)。
此外，如第39圖所示，填充區域中的目標像素A-1(即，i=-1的Ai)的權重等於3.5(即，4-1+0.5)，並且投影面中的對應的非目標像素A'-1(即，具有i=-1的A'i)的權重等於4.5(即，4+1-0.5)；填充區域中的目標像素A-2(即，i=-2的Ai)的權重等於2.5(即，4-2+0.5)，並且投影面中的對應的非目標像素A'-2(即，i=-2的A'i)的權重等於5.5(即4+2-0.5)；填充區域中的目標像素A-3(即，i=-3的Ai)的權重等於1.5(即，4-3+0.5)，並且投影面中的對應的非目標像素A'-3(即，i=-3的A'i)的權重等於6.5(即4+3-0.5)；以及填充區域中的目標像素A-4(即，i=-4的Ai)的權重等於0.5(即，4-4+0.5)，並且投影面中的對應的非目標像素A'-4(即，i=-4的A'i)的權重等於7.5(即4+4-0.5)。
在第二示例性設計中，N'由整數值來設置。例如，N'=i+1，其中i是從投影面的一邊計數的索引(距離)。在該實施例中，當目標像素是填充區域中的填充像素時，i被設置為負整數值，以及當目標像素是投影面中的像素時，i被設置為非負整數值。第40圖是根據本發明的實施例的更新投影面中的像素的 像素值和填充區域中的填充像素的像素值所涉及的像素的權重值與像素的索引值之間另一種關係的示意圖。假設M=4且N'=i+1。上述公式(7)可以改寫如下。
Figure 107133868-A0305-02-0063-11
在上面的公式(9)中，Ai表示為具有索引i的目標像素獲得的解碼像素值，Ai,updated表示目標像素的重建像素值(更新的像素值)，並且A'i表示為對應的非目標像素獲得的解碼像素值。如第40圖所示，投影面中的目標像素A3(即，i=3的Ai)的權重等於8(即，4+3+1)，並且填充區域中的對應的非目標像素A'3(即，i=3的A'i)的權重等於0(即，4-3-1)；投影面中的目標像素A2(即，i=2的Ai)的權重等於7(即4+2+1)，並且填充區域中的對應的非目標像素A'2(即，i=2的A'i)的權重等於1(即4-2-1)；投影面中的目標像素A1(即，i=1的Ai)的權重等於6(即4+1+1)，並且填充區域中的對應的非目標像素A'1(即，i=1的A'i)的權重等於2(即4-1-1)；以及投影面中的目標像素A0(即，i=0的Ai)的權重等於5(即，4+0+1)，並且填充區域中的對應的非目標像素A'0(即，i=0的A'i)的權重等於3(即，4-0-1)。
此外，如第40圖所示，填充區域中的目標像素A-1(即，i=-1的Ai)的權重等於4(即，4-1+1)，並且投影面中的對應的非目標像素A'-1(即，i=-1的A'i)的權重等於4(即4+1-1)；填充區域中的目標像素A-2(即，具有i=-2的Ai)的權重等於3(即，4-2+1)，並且投影面中的對應的非目標像素A'-2(即，具有i=-2的A'i)的權重等於5(即，4+2-1)；填充區域中的目標像素A-3(即，i=-3的Ai)的權重等於2(即，4-3+1)，並且投影面中的對應的非目標像素A'-3(即，i=-3的A'i)的權重等於6(即4+3-1)；以及填充區域中的目標像素A-4(即，i=-4的Ai)的權重等於1(即，4-4+1)，並且投影面中的對應的非目標像素A'-4 (即，i=-4的A'i)的權重等於7(即4+4-1)。
所屬技術領域中具有通常知識者將容易地觀察到，可以在保留本發明的教導的同時對裝置和方法進行多種修改和更改。因此，上述公開內容應被解釋為僅受所附權利要求的範圍和界限的限制。
103:傳輸裝置
112:視訊捕獲設備
116:視訊編碼器
124:圖形呈現電路
126:顯示螢幕
2702:源電子設備
2714:轉換電路
2715:重採樣電路
2716:填充電路
3200:360VR系統
3204:目標電子裝置
3222:解碼電路
3224:混合電路

Claims (20)

  1. 一種視訊處理方法，包括：從球體的全向內容獲得複數個投影面，其中通過立方體投影將該球體的全向內容映射到該等投影面上，並且該等投影面包括第一投影面；通過重採樣電路，通過非均勻映射對該第一投影面的至少一部分進行重採樣，以獲得第一重採樣投影面，其中該第一投影面具有第一源區域和第二源區域，該第一重採樣投影面具有第一重採樣區域和第二重採樣區域，該第一重採樣區域是從該第一源區域以第一採樣密度進行重採樣得到的，該第二重採樣區域是從該第二源區域以第二採樣密度進行重採樣得到的，其中該第一採樣密度不同於該第二採樣密度；根據該立方體投影的投影佈局生成基於投影的圖框，其中該基於投影的圖框包括封裝在該投影佈局中的該第一重採樣投影面；以及編碼該基於投影的圖框以生成位元流的一部分。
  2. 如申請專利範圍第1項所述之視訊處理方法，其中，該第一投影面和該第一重採樣投影面具有相同的形狀類型。
  3. 如申請專利範圍第1項所述之視訊處理方法，其中，該等投影面還包括第二投影面，該視訊處理方法還包括：通過非均勻映射對該第二投影面的至少一部分進行重採樣，以獲得第二重採樣投影面，其中，該基於投影的圖框還包括封裝在該投影佈局中的該第二重採樣投影面；以及用於重採樣該第一投影面的至少一部分的至少一個非均勻映射函數不同於用於重採樣該第二投影面的至少一部分的至少一個非均勻映射函數。
  4. 如申請專利範圍第1項所述之視訊處理方法，其中，該非均勻映射包括用於在第一方向上重採樣該第一投影面的至少一部分的第一非均勻映射 函數，以及用於在不同於該第一方向的第二方向上重採樣該第一投影面的至少一部分的第二非均勻映射函數，並且該第二非均勻映射函數與該第一非均勻映射函數不同。
  5. 如申請專利範圍第1項所述之視訊處理方法，其中，該非均勻映射包括用於重採樣該第一投影面的至少一部分的非均勻映射函數，並且該非均勻映射函數由以下表示：f(p)=A*p2+B*p，其中A+B=1，p表示在所選方向上的該第一投影面內的像素位置，f(p)表示在該所選方向上的該第一重採樣投影面內的像素位置。
  6. 如申請專利範圍第5項所述之視訊處理方法，其中A=-0.385且B=1.385。
  7. 一種視訊處理方法，包括：根據立方圖投影從球體的全向內容中獲得複數個投影面；通過填充電路生成至少一個填充區域；通過封裝在該立方體投影的投影佈局中的該等投影面和該至少一個填充區域來生成基於投影的圖框，其中，封裝在該投影佈局中的該等投影面包括第一投影面；封裝在該投影佈局中的該至少一個填充區域包括第一填充區域；該第一填充區域至少與該第一投影面連接，並且該第一填充區域形成該投影佈局的一個邊界的至少一部分；以及編碼該基於投影的圖框以生成位元流的一部分。
  8. 如申請專利範圍第7項所述之視訊處理方法，其中，封裝在該投影佈局中的該至少一個填充區域還包括第二填充區域，第三填充區域和第四填充區域，以及該第一填充區域，該第二填充區域，該第三填充區域和該第四填充區域分別形成該投影佈局的四個邊界。
  9. 如申請專利範圍第7項所述之視訊處理方法，其中，該等投影面還包 括第二投影面；如果該第一投影面的一邊與該第二投影面的一邊連接，則在該第一投影面的該一邊與該第二投影面的該一邊之間存在圖像內容不連續邊界；該至少一個填充區域還包括第二填充區域；該第二填充區域與該第一投影面的該一邊和該第二投影面的該一邊連接，用於在該投影佈局中將該第一投影面的該一邊與該第二投影面的該一邊隔離開來。
  10. 如申請專利範圍第7項所述之視訊處理方法，其中，該等投影面還包括第二投影面；如果該第一投影面的一邊與該第二投影面的一邊連接，則在該第一投影面的該一邊與該第二投影面的該一邊之間存在圖像內容連續性邊界；該至少一個填充區域還包括第二填充區域；該第二填充區域與該第一投影面的該一邊和該第二投影面的該一邊連接，用於在該投影佈局中將該第一投影面的該一邊與該第二投影面的該一邊隔離開來。
  11. 如申請專利範圍第7項所述之視訊處理方法，其中，生成該至少一個填充區域的步驟包括：將幾何填充應用於該第一投影面，以確定包括在該第一填充區域中的像素的像素值。
  12. 如申請專利範圍第7項所述之視訊處理方法，其中，生成該至少一個填充區域的步驟包括：通過複製包括在該第一投影面中的特定像素的像素值，來設置包括在該第一填充區域中的像素的像素值。
  13. 如申請專利範圍第7項所述之視訊處理方法，其中，封裝在該投影佈局中的該等投影面還包括不與該第一填充區域連接的第二投影面，並且生成該至少一個填充區域的步驟包括：通過複製包括在該第二投影面中的特定像素的像素值，來設置包括在該第一填充區域中的像素的像素值。
  14. 如申請專利範圍第7項所述之視訊處理方法，其中，該第一填充區域的填充寬度是4個像素。
  15. 一種視訊處理方法，包括：接收位元流的一部分；以及解碼該位元流的一部分以生成解碼的基於投影的圖框，其具有封裝在360度虛擬現實投影的投影佈局中至少一個投影面和至少一個填充區域，該步驟包括：通過混合包括在該至少一個填充區域中的第一像素獲得的解碼像素值和包括在該至少一個投影面中的第二像素獲得的解碼像素值，重建包括在該至少一個填充區域中的該第一像素。
  16. 如申請專利範圍第15項所述之視訊處理方法，其中，該第一像素包括在該至少一個填充區域的第一填充區域中，該第二像素包括在該至少一個投影面的第一投影面中；該位元流的一部分是通過編碼基於投影的圖框產生的，其中該基於投影的圖框包括封裝在該360度虛擬現實投影的該投影佈局中的該至少一個投影面和該至少一個填充區域；通過複製包括在該第一投影面中的像素的像素值，生成封裝在該基於投影的圖框中的該第一填充區域中包括的像素的像素值。
  17. 如申請專利範圍第15項所述之視訊處理方法，其中，該第一像素包括在該至少一個填充區域的第一填充區域中，該第二像素包括在該至少一個投影面的第一投影面中；該位元流的一部分是通過編碼基於投影的圖框產生的，其中該基於投影的圖框包括封裝在該360度虛擬現實投影的該投影佈局中的該至少一個投影面和該至少一個填充區域；通過將幾何填充應用於該第一投影面，生成封裝在該基於投影的圖框中的該第一填充區域中包括的像素的像素值。
  18. 如申請專利範圍第15項所述之視訊處理方法，其中，通過使用以下 公式計算該第一像素的更新的像素值：
    Figure 107133868-A0305-02-0070-12
     其中S'REC表示該第一像素的更新的像素值，S'表示為該第一像素獲得的解碼像素值，T'表示為該第二像素獲得的解碼像素值，M表示第一填充區域的填充寬度，以及N表示該第一像素和與該第一填充區域連接的投影面的一邊之間的距離。
  19. 如申請專利範圍第18項所述之視訊處理方法，其中，N=i+0.5，i是從與該第一填充區域連接的該投影面的一邊計數的第一像素的索引，並且i是不小於-M的負整數。
  20. 如申請專利範圍第15項所述之視訊處理方法，其中，該投影佈局是具有填充的立方體投影佈局。
TW107133868A 2017-09-27 2018-09-26 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法 TWI702567B (zh)

Applications Claiming Priority (14)

Application Number Priority Date Filing Date Title
US201762563787P 2017-09-27 2017-09-27
US62/563,787 2017-09-27
US201762583078P 2017-11-08 2017-11-08
US62/583,078 2017-11-08
US201762583573P 2017-11-09 2017-11-09
US62/583,573 2017-11-09
US15/917,844 US11057643B2 (en) 2017-03-13 2018-03-12 Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout
US15/917,844 2018-03-12
??PCT/CN2018/081723 2018-04-03
WOPCT/CN2018/081723 2018-04-03
PCT/CN2018/081723 WO2018184528A1 (en) 2017-04-05 2018-04-03 Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
??PCT/CN2018/107351 2018-09-25
WOPCT/CN2018/107351 2018-09-25
PCT/CN2018/107351 WO2019062714A1 (en) 2017-09-27 2018-09-25 PROJECTION-BASED FRAME PROCESSING METHOD COMPRISING AT LEAST ONE CONDITIONED PROJECTION FACE IN A 360 DEGREE VIRTUAL REALITY PROJECTION LAYOUT

Publications (2)

Publication Number Publication Date
TW201921035A TW201921035A (zh) 2019-06-01
TWI702567B true TWI702567B (zh) 2020-08-21

Family

ID=65900591

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107133868A TWI702567B (zh) 2017-09-27 2018-09-26 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法

Country Status (4)

Country Link
CN (2) CN116912129A (zh)
DE (1) DE112018002436T5 (zh)
TW (1) TWI702567B (zh)
WO (1) WO2019062714A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11659206B2 (en) 2019-07-02 2023-05-23 Mediatek Inc. Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus
US11190801B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
US11190768B2 (en) 2019-07-02 2021-11-30 Mediatek Inc. Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus
CN110416240A (zh) * 2019-08-09 2019-11-05 北京思比科微电子技术股份有限公司 一种图像传感器封装结构
US11095912B2 (en) 2019-10-28 2021-08-17 Mediatek Inc. Video decoding method for decoding part of bitstream to generate projection-based frame with constrained guard band size, constrained projection face size, and/or constrained picture size
US20210203995A1 (en) * 2019-12-30 2021-07-01 Mediatek Inc. Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654019B2 (en) * 1998-05-13 2003-11-25 Imove, Inc. Panoramic movie which utilizes a series of captured panoramic images to display movement as observed by a viewer looking in a selected direction
US20040046888A1 (en) * 2002-07-26 2004-03-11 Gwo-Jen Jan Method for presenting fisheye-camera images
US7292722B2 (en) * 2002-12-03 2007-11-06 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
CN106056531A (zh) * 2016-05-13 2016-10-26 杭州当虹科技有限公司 一种360度全景视频球面展开到平面的显示方法
US20170084073A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming
WO2017158236A2 (en) * 2016-03-15 2017-09-21 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000067227A (ja) * 1998-08-25 2000-03-03 Canon Inc 画像表示装置、方法および記憶媒体
KR100732958B1 (ko) * 2004-08-13 2007-06-27 경희대학교 산학협력단 20면체 파노라마 영상의 부호화 및 복호화를 위한 방법 및장치
US10225546B2 (en) * 2016-02-26 2019-03-05 Qualcomm Incorporated Independent multi-resolution coding
CN105898254B (zh) * 2016-05-17 2018-10-23 北京金字塔虚拟现实科技有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、***
CN105915907B (zh) * 2016-06-07 2019-07-26 北京圣威特科技有限公司 全景图的压缩方法、装置及***
CN106162139B (zh) * 2016-08-04 2018-03-30 微鲸科技有限公司 编码方法、视频输出装置、解码方法、以及视频播放装置
CN106846245B (zh) * 2017-01-17 2019-08-02 北京大学深圳研究生院 基于主视点的全景视频映射方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6654019B2 (en) * 1998-05-13 2003-11-25 Imove, Inc. Panoramic movie which utilizes a series of captured panoramic images to display movement as observed by a viewer looking in a selected direction
US20040046888A1 (en) * 2002-07-26 2004-03-11 Gwo-Jen Jan Method for presenting fisheye-camera images
US7292722B2 (en) * 2002-12-03 2007-11-06 Ntt Docomo, Inc. Representation and coding of panoramic and omnidirectional images
US20170084073A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming
WO2017158236A2 (en) * 2016-03-15 2017-09-21 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic images and video
CN106056531A (zh) * 2016-05-13 2016-10-26 杭州当虹科技有限公司 一种360度全景视频球面展开到平面的显示方法

Also Published As

Publication number Publication date
CN116912129A (zh) 2023-10-20
CN109906468B (zh) 2023-08-22
TW201921035A (zh) 2019-06-01
DE112018002436T5 (de) 2020-02-20
CN109906468A (zh) 2019-06-18
WO2019062714A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
TWI702567B (zh) 用於處理包括封裝在360度虛擬現實投影佈局中的至少一個投影面的基於投影的圖框的方法
TWI673995B (zh) 生成和編碼包括堆疊在360度虛擬實境投影佈局中的至少一個填充區域和至少一個投影面的基於投影的圖框的方法及裝置
US11004173B2 (en) Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
US10356386B2 (en) Method and apparatus for processing projection-based frame with at least one projection face generated using non-uniform mapping
TWI666912B (zh) 具有由封包於分段球體投影設計並以投影面表示之360度內容之投影訊框生成及編碼之方法及裝置
TWI690728B (zh) 用於處理包括堆疊在具有填充的基於立方體的投影佈局中的投影面的基於投影的圖框的方法
CN112868237A (zh) 用于处理包括以360度虚拟现实投影布局封装的至少一个投影面和至少一个填充区域的基于投影的帧的方法
TWI681662B (zh) 用於減少基於投影的圖框中的偽影的方法和裝置
US20190325553A1 (en) Method and apparatus for decoding projection-based frame with 360-degree content represented by triangular projection faces packed in octahedron projection layout
US11948268B2 (en) Immersive video bitstream processing
US11405630B2 (en) Video decoding method for decoding part of bitstream to generate projection-based frame with constrained picture size and associated electronic device
CN109845270B (zh) 一种视频处理方法和装置
Choi et al. Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11
Zakharchenko et al. Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11