TW201941597A - 用於重構的基於投影的幀的樣本適應性偏移濾波方法 - Google Patents

Abstract

一種用於一重構的基於投影的幀的樣本適應性偏移(SAO)濾波方法包括：獲得一填充區域的至少一個填充像素，該填充區域充當一第一投影面的一面邊界的一延伸，以及將SAO濾波應用於一塊，該塊具有包含在該第一投影面的至少一個像素。在該重構的基於投影的幀中，在該第一投影面的該面邊界與一第二投影面的一面邊界之間有圖像內容不連續性。該塊的該SAO濾波涉及該至少一個填充像素。

Description

採用360°虛擬實境投影的投影佈局的重構的基於投影的幀的樣本適應性偏移濾波方法

相關引用

本申請要求與2018年3月22日提交的號碼為62/646,389的美國臨時申請案的優先權，並藉由引用納入其中。

本發明涉及處理全景視訊內容，以及更具體地，涉及重構的基於投影的幀的樣本適應性偏移(sample adaptive offset，SAO)濾波方法，該重構的基於投影的幀採用360°虛擬實境投影的投影佈局。

具有頭戴顯示(head-mounted display，HMD)的虛擬實境(VR)與各種應用相關。其向使用者展示寬視場(field of view)內容的能力可以用於提供沉浸式的視覺體驗。需要在所有方向上捕獲真實世界來生成對應觀察球的全景圖像內容。隨著攝像機平臺以及HMD的發展，由於展示如360°圖像內容所需要的高位元率，VR內容的遞送可能很快成為瓶頸。當全景視訊的解析度是4K或者更高時，資料壓縮/編碼對位元率降低是關鍵的。

全景視訊的資料壓縮/編碼可以由傳統的視訊編解碼標準實現，其採用基於塊的編解碼技術來利用空間以及時間冗餘。例如，基本方法是將來源幀拆分成複數個塊(或編碼單元(coding unit))，對每一塊執行幀內預測(intra prediction)/幀間預測(inter prediction)，轉換每一塊的殘差，並執行量化以及熵編碼。此外，生成重構的幀來提供用於編解碼後續塊的參考像素資料。對於某些視訊編解碼標準，環路濾波器可以用於增強重構的幀的圖像品質。例如，由視訊編碼器使用樣本適應性偏移(SAO)濾波器來最小化區域的平均樣本失真(distortion)。視訊解碼器用於執行由視訊編碼器執行的視訊編碼操作的逆操作。因此，視訊解碼器還具有用於增強重構的幀的圖像品質的環路濾波器。例如，由視訊解碼器使用的SAO濾波去來減少失真。

通常，對應於觀察球(sphere)的全景視訊內容被轉換成一系列圖像，該系列圖像的每一個是具有由排列在360°虛擬實境(360VR)投影佈局的一或複數個投影面表示的360°圖像內容的基於投影的幀，以及然後該系列基於投影的幀被編碼成位元流用於傳輸。然而，基於投影的幀在圖像邊界(即，佈局邊界)與/或面邊緣(即，面邊界)可能具有圖像內容不連續性。因此，需要新穎性SAO濾波器設計，能夠對位於一個面邊界的任何像素執行更精確SAO濾波處理，與/或處理位於一個圖像邊界的任何像素的SAO濾波處理。

所要求保護的發明的目的之一是提供用於一重構的基於投影的幀的樣本適應性偏移(SAO)濾波方法，該重構的基於投影的幀採用一360°虛擬現實(360VR)投影的一投影佈局。例如，由一SAO濾波器採用一基於填充的SAO濾波方法。這樣，位於一面邊界上的一像素的一SAO濾波處理可以更精確，與/或位於一圖像邊界上的一像素的一SAO濾波處理可以正確地工作。

根據本發明的一第一方面，公開了用於一重構的基於投影的幀的一示例性樣本適應性偏移(SAO)濾波方法。該重構的基於投影的幀包括包裝於一360°虛擬現實(360VR)投影的一投影佈局的複數個投影面，一觀察球的一360°圖像內容根據該投影佈局被映射到該等投影面。該示例性SAO濾波方法包括：由一SAO濾波器獲得一填充區域中的至少一個填充像素，該填充區域充當一第一投影面的一面邊界的一延伸，以及將SAO濾波應用於一塊。包裝於該重構的基於投影的幀中的該等投影面包括該第一投影面以及一第二投影面。在該重構的基於投影的幀中，該第一投影面的該面邊界與該第二投影面的一面邊界連接，以及在該第一投影面的該面邊界與該第二投影面的該面邊界之間有圖像內容不連續性。該塊具有包含在該第一投影面的至少一個像素，以及該塊的該SAO濾波涉及該填充區域中的該至少一個填充像素。

根據本發明的一第二方面，公開了一種用於一重構的基於投影的幀的一示例性樣本適應性偏移(SAO)濾波方法。該重構的基於投影的幀包括包裝於一360°虛擬現實(360VR)投影的一投影佈局的至少一個投影面，一觀察球的一360°圖像內容根據該投影佈局被映射到該等投影面。該示例性SAO濾波方法包括：由一SAO濾波器獲得一填充區域的至少一個填充像素，該填充區域充當包裝於該重構的基於投影的幀的一投影面的一面邊界的一延伸，以及將SAO濾波應用於一塊。該投影面的該面邊界是該重構的基於投影的幀的一圖像邊界的一部分。該塊具有包含在該投影面的至少一個像素，以及該塊的該SAO濾波涉及該填充區域的該至少一個填充像素。

根據本發明的一第三方面，公開了一種用於一重構的基於投影的幀的一示例性樣本適應性偏移(SAO)濾波方法。該重構的基於投影的幀包括包裝於一360°虛擬現實(360VR)投影的一投影佈局的複數個投影面，一觀察球的一360°圖像內容根據該投影佈局被映射到該等投影面。該示例性SAO濾波方法包括：由一SAO濾波獲得一填充區域的至少一個填充像素，該填充像素充當包裝於該重構的基於投影的幀的一第一投影面的一圖像邊界的一延伸，以及將SAO濾波應用於一塊。包裝於該重構的基於投影的幀的該等投影面包括該第一投影面以及一第二投影面。在該重構的基於投影的幀中，該第一投影面的該面邊界與該第二投影面的一面邊界連接，以及在該第一投影面的該面邊界與該第二投影面的該面邊界之間有圖像內容連續性。該塊具有包含在該投影面的至少一個像素，以及該塊的該SAO濾波涉及該填充區域的該至少一個填充像素。

在閱讀以各種圖示以及附圖示出的優選實施例的後續細節描述後，本發明的這些以及其他目的對本領域習知技術者將是顯而易見的。

貫穿後續描述以及申請專利範圍使用了某些術語，其指特定的元件。本領域習知技術者將能理解的，電子設備製造商可能用不同的名稱指相同的元件。本發明不旨在區分名稱不同但功能相同的元件。在後續描述以及申請專利範圍中，以開放式的方式使用術語“包括(include)”以及“包括(comprise)”，以及因此應當解釋為“包括但不限於……”。另外，術語“耦合”旨在意味著間接或直接的電性連接。因此，如果一個裝置耦合到另一個裝置，該連接可能通過直接電性連接，或者通過經由其他裝置以及連接的間接電性連接。

第1圖示出了根據本發明實施例的360°虛擬實境(360VR)系統。360VR系統包括兩個視訊處理裝置(如，源電子裝置102以及目標電子裝置104)。源電子裝置102包括視訊捕獲裝置112、轉換電路114以及視訊編碼器116。例如，該視訊捕獲裝置112可以是用於提供對應於觀察球的全景圖像內容(如，覆蓋整個環境的複數個圖像)S_IN的一組攝像機。該轉換電路114耦合在視訊捕獲裝置112與視訊編碼器116之間。轉換電路114根據全景圖像內容S_IN生成具有360°虛擬實境(360VR)投影佈局的基於投影的幀IMG。例如，基於投影的幀IMG可以是包含在從轉換電路114生成的一系列基於投影的幀中的一個幀。視訊編碼器116是用於編碼/壓縮該基於投影的幀IMG來生成一部分位元流BS的編碼電路。進一步地，視訊編碼器116經由傳輸方式103輸出位元流BS到目標電子裝置104。例如，該系列的基於投影的幀可以被編碼成位元流BS，以及該傳輸方式103可以是有線的/無線的通信鏈路或存儲媒介。

目標電子裝置104可以是頭戴顯示(HMD)裝置。如第1圖所示，目標電子裝置104包括視訊解碼器122、圖像渲染電路124以及顯示裝置126。視訊解碼器122是用於從傳輸方式103(如，有線/無線通訊鏈路或存儲媒介)接收位元流BS，以及解碼一部分所接收的位元流BS來生成已解碼的幀IMG’的解碼電路。例如，視訊解碼器122由解碼所接收到的位元流BS生成一系列已解碼的幀，其中該已解碼的幀IMG’是包含在一系列已解碼的幀中的一個幀。在這一實施例中，將由視訊編碼器116編碼的基於投影的幀IMG具有360VR投影佈局L_VR。因此，在由視訊解碼器122解碼一部分位元流BS後，已解碼的幀IMG’是具有相同360VR投影佈局L_VR的已解碼的基於投影的幀。圖像渲染電路124耦合在視訊解碼器122與顯示裝置126之間。根據已解碼的幀IMG’，圖像渲染電路124渲染並在顯示裝置126上顯示輸出圖像資料。例如，經由圖像渲染電路124，可以在顯示裝置126上顯示與由已解碼的幀IMG’攜帶的一部分360°圖像內容有關的視口(viewport)區域。

視訊編碼器116可以採用基於塊的方案用於編碼基於投影的幀IMG。因此，視訊編碼器116具有SAO濾波器(標記為“SAO”)124來減少在基於塊的編碼後出現的失真。具體地，從重構電路(標記為“REC”)132生成的重構的基於投影的幀R可以用作用於編碼後續塊的參考幀，以及通過SAO濾波器134被存儲到參考幀緩衝器(標記為“DPB”)136。例如，運動補償電路(標記為“MC”)138可以使用在參考幀中找到的塊來充當預測塊。此外，至少一個工作緩衝器(標記為“BUF”)140可以用於存儲在SAO濾波器134執行SAO濾波處理所需要的重構的幀資料與/或填充像素資料。

SAO濾波器134可以是在編碼樹單元(coding tree unit，CTU)基礎上運行的基於樣本的SAO濾波器。一個CTU包含三個色彩分量的複數個編碼樹塊(coding tree block，CTB)。即，CTU具有一個亮度CTB以及兩個色度CTB。亮度CTB包含亮度(Y)樣本。一個色度CTB包含色度(Cb)樣本，以及另一個色度CTB包含色度(Cr)樣本。換言之，SAO濾波處理可以使用塊(如，CTB)作為基本處理單元，其中塊中的像素可以是亮度樣本或色度樣本。在這一實施例中，對存儲於工作緩衝器140中的重構的幀資料與/或填充像素資料執行SAO濾波處理。重構的基於投影的幀R由視訊編碼器116的內部解碼環路生成。換言之，重構的基於投影的幀R是從基於投影的幀IMG的已編碼資料重建的，以及因此具有與由基於投影的幀IMG使用的相同的360VR投影佈局L_VR。需要注意的是，視訊編碼器116可以包括實現特定編碼功能所需要的其他電路塊(未示出)。

視訊解碼器122用於執行由視訊編碼器116執行的視訊編碼操作的逆操作。因此，視訊解碼器122具有SAO濾波器(標記為“SAO”)144來減少樣本失真。具體地，從重構電路(標記為“REC”)142生成的重構的基於投影的幀R’可以被用作解碼後續塊的參考幀，以及通過SAO濾波器144被存儲到參考幀緩衝器(標記為“DPB”)146。例如，運動補償電路(標記為“MC”)148可以使用在參考幀中找到的塊來充當預測塊。此外，至少一個工作緩衝器(標記為“BUF”)150可以用於存儲在SAO濾波器144執行SAO濾波處理所需要的重構的幀資料與/或填充像素資料。

與在編碼器側的SAO濾波器134類似，在解碼器側的SAO濾波器144可以是在CTU基礎上操作的基於樣本的SAO濾波器。SAO濾波處理可以使用塊(如，CTB)作為基本處理單元，其中塊中的像素可以是亮度樣本或色度樣本。對存儲於工作緩衝器150中的重構的幀資料與/或填充像素資料執行SAO濾波處理。重構的基於投影的幀R’是從基於投影的幀IMG的已編碼資料重建的，以及因此具有與由基於投影的幀IMG使用的相同的360VR投影佈局L_VR。此外，可以藉由使重構的基於投影的幀R’通過SAO濾波器144生成已解碼的幀IMG’。需要注意的是，視訊解碼器122可以包括實現特定解碼功能所需要的其他電路塊(未示出)。

在一個示例性設計中，SAO濾波器134/144可以由專用硬體實施用於對塊中的像素執行SAO濾波處理。在另一個示例性設計中，SAO濾波器134/144可以由執行程式碼的通用處理器實施來對塊中的像素執行SAO濾波處理。然而，這些僅是示例性的，並不意味著對本發明的限制。

如上所提到的，根據360VR投影佈局L_VR以及全景視訊內容S_IN，轉換電路114生成基於投影的幀IMG。在該360VR投影佈局L_VR是基於立方體的投影佈局的情況下，藉由全景圖像內容S_IN在觀察球上的基於立方體的投影，從立方圖的不同面推導六個正方形投影面。第2圖示出了根據本發明實施例的基於立方體的投影。觀察球200上的360°圖像內容被投影到立方體201的六個面，包括頂面、底面、左邊面、正面、右邊面以及背面。具體地，觀察球200的北極區域的圖像內容被投影到立方體201的頂面，觀察球200的南極區域的圖像內容被投影到立方體201的底面，以及觀察球200的赤道區域的圖像內容被投影到立方體201的左邊面、正面、右邊面以及背面。

將被包裝於基於立方體投影的投影佈局中的複數個正方形投影面是分別從立方體201的六個面推導的。例如，從三維(3D)空間中的立方體201的頂面推導二維(2D)平面上的正方形投影面(標記為“頂”)，從3D空間中的立方體201的背面推導2D平面上的正方形投影面(標記為“背”)，從3D空間中的立方體201的底面推導2D平面上的正方形投影面(標記為“底”)，從3D空間中的立方體201的右邊面推導2D平面上的正方形投影面(標記為“右”)，從3D空間中的立方體201的正面推導2D平面上的正方形投影面(標記為“正”)，以及從3D空間中的立方體201的左邊面推導2D平面上的正方形投影面(標記為“左”)。

當360VR投影佈局L_VR由第2圖中示出的立方體貼圖投影(CMP)佈局202設置時，正方形投影面“頂”、“背”、“底”、“右”、“正”以及“背”被包裝在對應於未展開立方體的CMP佈局202中。然而，將被編碼的基於投影的幀IMG需要是矩形的。如果CMP佈局202被直接用於創造基於投影的幀IMG，該基於投影的幀IMG需要用虛擬區域(如，黑色區域、灰色區域或白色區域)填充來形成矩形幀用於編碼。或者，基於投影的幀IMG可以具有排列在緊湊的投影佈局中的已投影圖像資料來避免使用虛擬區域(如，黑色區域、灰色區域或白色區域)。如第2圖所示，正方形投影面“頂”、“背”以及“底”被旋轉然後包裝於緊湊的CMP佈局204中。因此，正方形投影面“頂”、“背”、“底”、“右”、“正”以及“背”被排列在為3X2佈局的緊湊的CMP佈局204中。這樣，可以改善編解碼效率。

然而，根據緊湊的CMP佈局204，正方形投影面的包裝可能導致相鄰正方形投影面之間的圖像內容不連續性邊界。如第2圖所示，具有緊湊的CMP佈局204的基於投影的幀IMG具有頂子幀(其是包含正方形投影面“右”、“正”以及“左”的一個3X1面列)以及底子幀(其是包含正方形投影面“底”、“背”以及“頂”的另一個3X1面列)。在頂子幀與底子幀之間有圖像內容不連續性邊界。特別地，正方形投影面“右”的面邊界S13與正方形投影面“底”的面邊界S62連接，正方形投影面“正”的面邊界S23與正方形投影面“背”的面邊界S52連接，以及正方形投影面“左”的面邊界S33與正方形投影面“頂”的面邊界S42連接，其中在面邊界S13與S62之間有圖像內容不連續性，在面邊界S23與S52之間有圖像內容不連續性，以及在面邊界S33與S42之間有圖像內容不連續性。

更進一步地，根據緊湊的CMP佈局204，正方形投影面的包裝可能導致相鄰正方形投影面之間的圖像內容連續性邊緣。關於頂子幀，正方形投影面“右”的面邊界S14與正方形投影面“正”的面邊界S22連接，以及正方形投影面“正”的面邊界S24與正方形投影面“左”的面邊界S32連接，其中在面邊界S14與S22之間有圖像內容連續性，以及在面邊界S24以及S32之間有圖像內容連續性。關於底子幀，正方形投影面“底”的面邊界S61與正方形投影面“背”的面邊界S53連接，以及正方形投影面“背”的面邊界S51與正方形投影面“頂”的面邊界S43連接，其中在面邊界S61與S53之間有圖像內容連續性，以及在面邊界S51以及S43之間有圖像內容連續性。

此外，緊湊的CMP佈局204具有頂部不連續性邊界(其包含正方形投影面“右”、“正”以及“左”的面邊界S11、S21、S31)、底部不連續性邊界(其包含正方形投影面“底”、“背”以及“頂”的面邊界S64、S54、S44)、左邊不連續性邊界(其包含正方形投影面“右”以及“底”的面邊界S12、S63)以及右邊不連續性邊界(其包含正方形投影面“左”以及“頂”的面邊界S34、S41)。

根據緊湊的CMP佈局204，在頂子幀與底子幀之間的圖像內容不連續性邊緣包括在正方形投影面“右”與“底”之間的圖像內容不連續性邊緣，在正方形投影面“正”與“背”之間的圖像內容不連續性邊緣，以及在正方形投影面“左”與“頂”之間的圖像內容不連續性邊緣。由於在頂子幀與底子幀之間的圖像內容不連續邊緣的對側的像素不是“真的”相鄰像素，典型的SAO濾波器將會降低重構的基於投影的幀R/R’的頂子幀與底子幀之間的圖像內容不連續性邊緣周圍的圖像品質，該典型的SAO濾波器將典型的SAO濾波處理應用到位於頂子幀的底部子幀邊界的像素以及位於底子幀的頂部子幀邊界的像素。此外，由於在圖像邊界外沒有相鄰像素可用的事實，典型的SAO濾波器禁用位於圖像邊界的像素的SAO濾波。

為了解決這些問題，本發明提出了能夠在編碼器側的SAO濾波器134以及解碼器側的SAO濾波器144中實施的新穎的基於填充的SAO濾波方法。當重構的基於投影的幀R/R’採用緊湊的CMP佈局204時，SAO濾波器134/144能夠找到用於適當處理不連續性圖像邊界(如，第2圖中示出的S11、S21、S31、S12、S63、S64、S54、S44、S34或S41)與/或不連續性面邊緣(如，第2圖示出的S13、S23、S33、S62、S52或S42)上的像素的SAO濾波所需要的填充像素。參考附圖在下文描述提出的基於填充的SAO濾波方法的進一步的細節。

SAO濾波器134/144可以支援兩種SAO類型，包括邊緣偏移(edge offset，EO)模式以及帶偏移(band offset，BO)模式。對於BO模式，塊中當前像素的SAO濾波處理取決於當前像素的強度(intensity)。對於EO模式，塊中當前像素的SAO濾波處理取決於當前像素與相鄰像素之間的關係。重構的基於投影的幀R/R’中可能不存在至少一個相鄰像素，與/或至少一個相鄰像素以及當前像素可能在重構的基於投影的幀R/R’的頂子幀與底子幀之間不連續性邊緣的對側。因此，基於填充的SAO濾波方法重點是EO模式。在下文中，假定塊是在為其選定的SAO類型為EO模式的條件下進行濾波。

在本發明的一些實施例中，視訊編碼器116可以被配置為具有充當子幀緩衝器的兩個工作緩衝器140，其中一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R的頂子幀以及從頂子幀的子幀邊界延伸的填充區域，以及另一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R的底子幀以及從底子幀的子幀邊界延伸的填充區域。類似地，視訊解碼器122可以配置為具有充當子幀緩衝器的兩個工作緩衝器150，其中一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R’的頂子幀以及從頂子幀的子幀邊界延伸的填充區域，以及另一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R’的底子幀以及從底子幀的子幀邊界延伸的填充區域。SAO濾波器134/144在圍繞頂子幀以及底子幀的填充區域中找到填充像素，以及根據存儲於子幀緩衝器中的重構的幀資料以及填充像素資料執行SAO濾波處理。

第3圖示出了根據本發明實施例的應用到塊的SAO濾波方法，該塊包含於視訊編碼器116生成的重構的基於投影幀R内。第4圖示出了根據本發明實施例的應用到塊的SAO濾波方法，該塊包含於視訊解碼器122生成的重構的基於投影的幀R’内。需要注意的是，第3圖以及第4圖示出的SAO濾波處理涉及填充像素。

關於EO模式，SAO濾波器134/144可支援多種像素分類方法。舉例來說，而非限制，SAO濾波器134/144可以被配置為支援四個EO類。對於第3圖示出的SAO濾波方法，分別在步驟320、306、310以及314執行四個EO類的像素分類方法。對於第4圖示出的SAO濾波方法，在步驟404執行用於所選擇的EO類的像素分類方法。因為在編碼器側選擇的EO類的資訊經由位元流BS被發信到視訊解碼器122，它藉由解碼器122解碼位元流BS來獲得(步驟402)，以及隨後SAO濾波器144被告知所選擇的EO類(步驟404)。在一個像素分類方法中，塊中的每一像素(如，一個亮度CTB中的每一亮度樣本，或者一個色度CTB中的每一色度樣本)被分類成複數個預定形態(category)。

在步驟302，根據水平圖樣執行像素分類方法(EO類=0)。在步驟404，根據在EO類=0的條件下的水平圖樣執行像素分類方法。第5圖示出了由像素分類(EO類=0)方法使用的水平圖樣。當前像素的像素值被標記為“c”。相鄰像素的像素值被分別標記為“a”以及“b”。例如，當前像素可以根據下面的分類原則被分類成五個類型之一。根據基於填充的SAO濾波方法，水平圖樣中的至少一個相鄰像素可以是填充像素。

在步驟306，根據垂直圖樣執行像素分類方法(EO類=1)。在步驟404中，根據在EO類=1的條件下的水平圖樣執行像素分類方法。第6圖示出了由像素分類方法(EO類=1)使用的垂直圖樣。當前像素的像素值被標記為“c”。相鄰像素的像素值被分別標記為“a”以及“b”。例如，根據以上分類原則，當前像素可以被分類成五個形態之一。根據基於填充的SAO濾波方法，垂直圖樣中的至少一個相鄰像素可以是填充像素。

在步驟310，根據135°對角線圖樣執行像素分類方法(EO=2)。在步驟404，根據在EO類=2的條件下的135°對角線圖樣執行像素分類方法。第7圖示出了由像素分類方法(EO類=2)使用的135°對角線圖樣。當前像素的像素值被標記為“c”，相鄰像素的像素值被分別標記為“a”以及“b”。例如，根據以上分類原則，當前像素可以被分類成五個形態之一。根據基於填充的SAO濾波方法，135°對角線圖樣中的至少一個相鄰像素可以是填充像素。

在步驟314，根據45°對角線圖樣執行像素分類方法(EO類=3)。在步驟404，根據在EO類=3的條件下的45°對角線圖樣執行像素分類方法。第8圖示出了由像素分類方法(EO類=3)使用的45°對角線圖樣。當前像素的像素值被標記為“c”。相鄰像素的像素值被分別標記為“a”以及“b”。例如，根據以上分類原則，當前像素可以被分類成五個形態之一。根據基於填充的SAO濾波方法，45°對角線圖樣中的至少一個相鄰像素可以是填充像素。

形態1以及4分別與沿著所選擇圖樣的局部低谷以及局部峰值有關。形態2以及3分別與沿著所選擇圖樣的凹角以及凸角有關。如果當前像素不屬於EO形態1-4，那麼當前像素是形態0並且SAO濾波不被應用到當前像素。在這一實施例中，在編碼器側的SAO濾波器134適當地計算對於給定EO類的每一形態1-4的偏移，並且明確地發信到解碼器側的SAO濾波器144用於有效地減少樣本失真，同時在編碼器側SAO濾波器134以及解碼器側的SAO濾波器144兩者執行每一像素的分類用於有效地節省邊資訊(side information)。然而，這僅是示例性的，並不意味著對本發明的限制。應用提出的基於填充的SAO濾波到重構的基於投影的幀的任何SAO濾波器在本發明的範圍內。

編碼器側的SAO濾波器134可以指濾波處理，每一者被用於計算對於給定EO類的形態1-4的偏移。在步驟304，對於EO類0的形態1的候選偏移被應用於分類為相同的形態1的塊中的像素，以及根據率失真優化(rate-distortion optimization，RDO)從候選偏移中選擇對於EO類0的形態1的最佳偏移；對於EO類0的形態2的候選偏移被應用於分類為相同的形態2的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類0的形態2的最佳偏移；對於EO類0的形態3的候選偏移被應用於分類為相同的形態3的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類0的形態3的最佳偏移；以及對於EO類0的形態4的候選偏移被應用於分類為相同的形態4的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類0的形態4的最佳偏移。根據基於填充的SAO濾波方法，尋找對於EO類0的每一形態1-4的偏移涉及的一或複數個像素可以是填充像素。

在步驟308，對於EO類1的形態1的候選偏移被應用於分類為相同形態1的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類1的形態1的最佳偏移；對於EO類1的形態2的候選偏移被應用於分類為相同形態2的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類1的形態2的最佳偏移；對於EO類1的形態3的候選偏移被應用於分類為相同形態3的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類1的形態3的最佳偏移；以及對於EO類1的形態4的候選偏移被應用於分類為相同形態4的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類1的形態4的最佳偏移。根據基於填充的SAO濾波方法，尋找對於EO類1的每一形態1-4的偏移所涉及的一或複數個像素可以是填充像素。

在步驟312，對於EO類2的形態1的候選偏移被應用於分類為相同形態1的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類2的形態1的最佳偏移；對於EO類2的形態2的候選偏移被應用於分類為相同形態2的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類2的形態2的最佳偏移；對於EO類2的形態3的候選偏移被應用於分類為相同形態3的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類2的形態3的最佳偏移；以及對於EO類2的形態4的候選偏移被應用於分類為相同形態4的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類2的形態4的最佳偏移。根據基於填充的SAO濾波方法，尋找對於EO類2的每一形態1-4的偏移所涉及的一或複數個像素可以是填充像素。

在步驟316，對於EO類3的形態1的候選偏移被應用於分類為相同形態1的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類3的形態1的最佳偏移；對於EO類3的形態2的候選偏移被應用於分類為相同形態2的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類3的形態2的最佳偏移；對於EO類3的形態3的候選偏移被應用於分類為相同形態3的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類3的形態3的最佳偏移；以及對於EO類3的形態4的候選偏移被應用於分類為相同形態4的塊中的像素，以及根據RDO從候選偏移中選擇對於EO類3的形態4的最佳偏移。根據基於填充的SAO濾波方法，尋找對於EO類3的每一形態1-4的偏移所涉及的一或複數個像素可以是填充像素。

在步驟318，根據RDO從四個EO類0-3中選擇用於塊的最佳EO類。在步驟320，濾波處理被實際應用於塊中的每一像素，從而更新重構的基於投影的幀R中的像素的值。

為塊所選擇的EO類的資訊以及為EO類的形態所選擇的偏移的資訊可以從視訊編碼器116被發信到視訊解碼器122。具體地，在位元流BS中編碼的SAO參數包含用於塊的SAO類型資訊以及偏移資訊，該塊使用EO模式進行SAO濾波。SAO類型資訊包括指示SAO類型是EO模式的一個語法元素以及表明所選擇的EO類的另一個語法元素。偏移資訊包括指示所選擇的EO類的形態1-4的偏移的語法元素。因此，視訊解碼器122從解碼位元流BS來獲得塊的SAO參數。在重構的基於投影的幀R’的塊中的像素被分類成所選擇的EO類的形態1-4之一後，其中由從解碼位元流BS中推導的SAO類型資訊指示所選擇的EO類，SAO濾波器144將像素所分類的EO形態的偏移添加到像素值(步驟406)，其中EO形態的偏移由從解碼位元流BS推導的偏移資訊來指示。

如上所提到的，像素分類處理(步驟302、306、310、314或404)需要複數個像素用於一個像素的EO形態分類，以及濾波處理(步驟302、306、310或314)需要複數個像素用於一個EO形態的偏移決定。根據提出的被應用於鄰近不連續圖像邊界與/或不連續面邊緣的像素的基於填充的SAO濾波方法，一個像素的EO形態分類所需要(或一個EO形態的偏移決定素所需要)的至少一個像素是由SAO濾波器134/144找到的填充像素。

第9圖示出了根據本發明實施例的基於填充的SAO濾波概念。如第9圖的子圖(a)示出的，將被分類的當前像素PC位於第一投影面的面邊界FB1上。考慮到重構的基於投影的幀中的第一投影面的面邊界FB1與第二投影面的面邊界FB2連接，並且在面邊界FB1與FB2之間的邊緣EG_D是圖像內容不連續性邊緣(即，不連續的面邊緣)的情況。例如，面邊界FB1以及FB2是第2圖中示出的S62以及S13，或者第2圖中示出的S52以及S23，或者第2圖中示出的S42以及S33。因此，由於不連續投影面，當前像素PC的相鄰像素N0、N1以及N2不是“真的”相鄰像素。如果非真相鄰像素N0、N1以及N2由當前像素的EO形態分類所使用，當前像素PC的SAO濾波可能遭受不正確的分類結果以及不正確的偏移計算/選擇。

如第9圖中的子幀(b)所示，填充被應用到當前像素PC所位於的面邊界FB1。因此，非真相鄰像素N0、N1以及N2不由當前像素PC的EO形態分類所使用。反而，填充像素D0、D1以及D3替換非真相鄰像素N0、N1以及N2，並由當前像素PC的EO形態分類所使用。隨著填充像素D0、D1以及D3的適當設定，SAO濾波器134/144可以獲得當前像素PC的更精確的分類結果。這樣，可以為當前像素PC計算/選擇更精確的偏移。

考慮到第一投影面的面邊界FB1是重構的基於投影的幀的一個圖像邊界的一部分的另一種情況。因此，重構的基於投影的幀沒有在邊緣EG_D外的像素。換言之，在第9圖的子圖(a)中示出的相鄰像素N0、N1以及N2對當前像素PC的EO形態分類是不可用的。如第9圖的子圖(b)所示，填充被應用於當前像素PC所位於的圖像邊界FB1。因此，創造填充像素D0、D1以及D3去充當當前像素PC的EO形態分類所需要的相鄰像素。隨著填充像素D0、D1以及D3的適當設定，SAO濾波處理被允許應用於位於圖像邊界的當前像素PC。

相同的概念可以被應用於濾波處理，其用於計算對於給定EO類的一個形態的偏移。例如，可以創造填充像素去替代一些在將被SAO濾波的塊(如，CTB)中最初可用的重構的像素(如，非真相鄰像素)。因此，經歷SAO濾波的塊(如CTB)可以包括重構的像素(其在塊中最初可用)以及填充像素(其從至少一個面邊界延伸)。換言之，對於給定EO類的偏移決定涉及填充像素。

如上所提到的，兩個工作緩衝器(如，在編碼器側的工作緩衝器140或在解碼器側的工作緩衝器150)可以用作子幀緩衝器，其中一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R/R’的頂子幀以及從頂子幀的子幀邊界延伸的填充區域，以及另一個子幀緩衝器用於存儲具有緊湊的CMP佈局204的重構的基於投影的幀R/R’的底子幀以及從底子幀的子幀邊界延伸的填充區域。因此，像素分類(步驟302、306、310、314以及404)以及濾波處理(步驟304、308、312以及316)之一可以從子幀緩衝器中讀取所需要的填充像素。

第10圖示出了根據本發明實施例的存儲於SAO濾波器134/144的工作緩衝器140/150的重構的幀資料以及填充像素資料的一個佈置。假定重構的基於投影的幀採用緊湊的CMP佈局204。因此，頂子幀包括正方形投影面“右”、“正”以及“左”，以及底子幀包括正方形投影面“頂”、“背”以及“底”。如上所提到的，在頂子幀的底部子幀邊界與底子幀的頂部子幀邊界有圖像內容不連續性邊緣。此外，重構的基於投影的幀R/R’具有不連續性圖像邊界，其中頂部圖像邊界也是頂子幀的頂部子幀邊界，底部圖像邊界也是底子幀的底部子幀邊界，左邊圖像邊界包括頂子幀的左邊子幀邊界以及底子幀的左邊圖像邊界，以及右邊圖像邊界包括頂子幀的右邊子幀邊界以及底子幀的右邊圖像邊界。根據基於填充的SAO濾波方法，填充像素附加到頂子幀以及底子幀的所有子幀邊界。

如第10圖所示，一個工作緩衝器140/150可以充當用於存儲頂子幀(其包括正方形投影面“右”、“正”以及“左”)以及相關填充像素(其包含在從頂子幀的子幀邊界延伸的複數個填充區域R1-R8以及C1-C4)的子幀緩衝器；以及另一個工作緩衝器140/150可以充當用於存儲底子幀(其包括正方形投影面“頂”、“背”以及“底”)以及相關填充像素(其包含在從底子幀的子幀邊界延伸的複數個填充區域R9-R16以及C5-C8)的子幀緩衝器。

在第一填充設計中，可以由邊緣像素複製方案找到填充像素。根據該邊緣像素複製方案，可以藉由直接複製邊緣像素獲得填充像素，邊緣像素包括位於重構的基於投影的幀R/R’的圖像邊界的像素、位於頂子幀的底部子幀邊界的像素以及位於底子幀的頂部子幀邊界的像素。第11圖示出了根據本發明實施例的藉由複製邊緣像素找到填充像素。填充區域1104從投影面1102的面邊界FB延伸。例如，面邊界FB可以是第2圖中示出的面邊界S11、S21、S31、S12、S13、S23、S33、S34、S63、S64、S54、S44以及S41之一。有邊緣像素P0-PN位於面邊界FB上。藉由複製邊緣像素P0-PN從面邊界FB延伸填充區域1104。

在第二填充設計中，從投影面的面邊界延伸的填充區域中填充像素可以由球面相鄰像素設置，其中填充區域對應的觀察球200上的區域鄰近於從該觀察球200獲得投影面的區域。例如，藉由使用基於面的方案或基於幾何的方案可以找到球面相鄰像素。

根據基於面的方案，由包裝於重構的幀中的投影面中的像素的副本直接設置球面相鄰像素。在有複數個投影面被包裝於投影佈局中的情況下，球面相鄰像素在另一個投影面中找到，該另一個投影面不同於將要被SAO濾波的當前像素所位於的一個投影面。在僅單個投影面被包裝於投影佈局中的另一個情況下，球面相鄰像素在將被SAO濾波的當前像素所位於的相同投影面中找到。

第12圖示出了包裝於緊湊的CMP佈局204的複數個正方形投影面之間的圖像內容連續性關係。重構的基於投影的幀R/R’的頂子幀SF_T包括正方形投影面“右”、“正”以及“左”。重構的基於投影的幀R/R’的底子幀SF_B包括正方形投影面“頂”、“背”以及“底”。在由相同參考數字標記的面邊界之間有圖像內容連續性。以底子幀SF_B的正方形投影面“頂”為例，鄰近由“4”標記的面邊界的頂子幀SF_T中的真正相鄰投影面是正方形投影面“左”，鄰近由“3”標記的面邊界的頂子幀SF_T中的真正相鄰投影面是正方形投影面“正”，鄰近由“2”標記的面邊界的頂子幀SF_T中的真正相鄰投影面是正方形投影面“右”。關於包含在正方形投影面“頂”並且鄰近由“4”標記的面邊界的像素的SAO濾波，藉由複製包含在正方形投影面“左”並且鄰近由“4”標記的面邊界的像素，可以從正方形投影面“左”找到球面相鄰像素(其是SAO濾波所需要的填充像素)。關於包含在正方形投影面“頂”並且鄰近由“3”標記的面邊界的像素的SAO濾波，藉由複製包含在正方形投影面“正”並且鄰近由“3”標記的面邊界的像素，可以從正方形投影面“正”找到球面相鄰像素(其是SAO濾波所需要的填充像素)。關於包含在正方形投影面“頂”並且鄰近由“2”標記的面邊界的像素的SAO濾波，藉由複製包含在正方形投影面“右”並且鄰近由“2”標記的面邊界的像素，可以從正方形投影面“右”找到球面相鄰像素(其是SAO濾波所需要的填充像素)

請結合第12圖參考第10圖。藉由複製正方形投影面“背”的圖像區域S1並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“右”的左邊面邊界延伸的填充區域R1，其中填充區域R1對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“右”的區域。藉由複製正方形投影面“頂”的圖像區域S2，獲得從正方形投影面“右”的頂部面邊界延伸的填充區域R2，其中填充區域R2對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“右”的區域。藉由複製正方形投影面“頂”的圖像區域S3並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“正”的頂部面邊界延伸的填充區域R3，其中填充區域R3對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“正”的區域。藉由複製正方形投影面“頂”的圖像區域S4並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“左”的頂部面邊界延伸的填充區域R4，其中填充區域R4對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“左”的區域。

藉由複製正方形投影面“背”的圖像區域S5並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“左”的右邊面邊界延伸的填充區域R5，其中填充區域R5對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“左”的區域。藉由複製正方形投影面“底”的圖像區域S6，獲得從正方形投影面“左”的底部面邊界延伸的填充區域R6，其中填充區域R6對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“左”的區域。藉由複製正方形投影面“底”的圖像區域S7並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“正”的底部面邊界延伸的填充區域R7，其中填充區域R7對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“正”的區域。藉由複製正方形投影面“底”的圖像區域S8並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“右”的底部面邊界延伸的填充區域R8，其中填充區域R8對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“右”的區域。

藉由複製正方形投影面“正”的圖像區域S9並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“底”的左邊面邊界延伸的填充區域R9，其中填充區域R9對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“底”的區域。藉由複製正方形投影面“右”的圖像區域S10並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“底”的底部面邊界延伸的填充區域R10，其中填充區域R10對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“底”的區域。藉由複製正方形投影面“右”的圖像區域S11並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“背”的底部面邊界延伸的填充區域R11，其中填充區域R11對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“背”的區域。藉由複製正方形投影面“右”的圖像區域S12，獲得從正方形投影面“頂”的底部面邊界延伸的填充區域R12，其中填充區域R12對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“頂”的區域。

藉由複製正方形投影面“正”的圖像區域S13並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“頂”的右邊面邊界延伸的填充區域R13，其中填充區域R13對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“頂”的區域。藉由複製正方形投影面“左”的圖像區域S14並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“頂”的頂部面邊界延伸的填充區域R14，其中填充區域R14對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“頂”的區域。藉由複製正方形投影面“左”的圖像區域S15並隨後適當地旋轉所複製的圖像區域，獲得從正方形投影面“背”的頂部面邊界延伸的填充區域R4，其中填充區域R15對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“背”的區域。藉由複製正方形投影面“左”的圖像區域S16，獲得從正方形投影面“底”的頂部面邊界延伸的填充區域R16，其中填充區域R16對應的觀察球200上的區域鄰近於從該觀察球200上獲得正方形投影面“底”的區域。

關於填充區域C1-C4，它們可以藉由複製頂子幀的四個角落像素來生成。具體地，藉由複製正方形投影面“右”的最上一列的最左像素生成填充區域C1中的填充像素，藉由複製正方形投影面“左”的最上一列的最右像素生成填充區域C2中的填充像素，藉由複製正方形投影面“右”的最下一列的最左像素生成填充區域C3中的填充像素，以及藉由複製正方形投影面“左”的最下一列的最右像素生成填充區域C4中的填充像素。

關於填充區域C5-C8，它們可以藉由複製底子幀的四個角落像素來生成。具體地，藉由複製正方形投影面“底”的最上一列的最左像素生成填充區域C5中的填充像素，藉由複製正方形投影面“頂”的最上一列的最右像素生成填充區域C6中的填充像素，藉由複製正方形投影面“底”的最下一列的最左像素生成填充區域C7中的填充像素，以及藉由複製正方形投影面“頂”的最下一列的最右像素生成填充區域C8中的填充像素。

或者，由使用基於幾何的方案找到球面相鄰像素。根據基於幾何的方案，球面相鄰像素包含在可以由3D投影找到的填充區域中。在有複數個投影面包裝於投影佈局的情況下，基於幾何的方案將幾何映射應用到在投影面的擴展區域(extended area)上的已投影像素來找到在另一個投影面上的點，以及從該點推導球面相鄰像素。在僅單個投影面包裝於投影佈局的另一個情況下，基於幾何的方案將幾何映射應用到在投影面的擴展區域上的已投影像素來找到在相同投影面的點，以及從該點推導球面相鄰像素。

第13圖示出了根據本發明實施例的由基於幾何的方案找到球面相鄰像素。需要為面B(如，立方體201的底面)生成一個填充區域。為了確定在面B的擴展區域B’上的已投影像素(其是球面相鄰像素)Q的像素值，找到面A(如，立方體201的正面)上的點P。如第13圖所示，點P是面A與直線 (其從投影中心O(如，觀察球200的中心)到已投影像素P)的交叉點。點P的像素值用於設置已投影像素Q的像素值。在點P是面A的整數位置像素的情況下，直接由整數位置像素的像素值設置已投影像素Q的像素值。在點P不是面A的整數位置像素的另一個情況下，執行插值來確定點P的像素值。第14圖示出了根據本發明實施例的為點P生成已插值的像素值的示例。在這一示例中，由插值對點P附近的四個最近整數位置像素A1、A2、A3以及A4的像素值進行混合用於生成已插值的像素值來充當點P的像素值。因此，已投影像素Q的像素值由點P的已插值的像素值設置。然而，這一插值設計僅是示例性的，並不意味著對本發明的限制。事實上，取決於實際設計考慮，由基於幾何的方案使用的插值濾波器可以是最近的相鄰濾波器、雙線性濾波器(bilinear filter)、雙三次濾波器(bicubic filter)或蘭索斯濾波器(Lanczos filter)。

因此，藉由應用幾何填充到頂子幀的子幀邊界可以確定頂子幀的填充區域R1-R8以及C1-C4中的球面相鄰像素，以及藉由應用幾何填充到底子幀的子幀邊界可以確定底子幀的填充區域R9-R16以及C5-C8中的球面相鄰像素。

因為頂子幀以及相關填充區域R1-R8以及C1-C4被存儲於工作緩衝器140/150以及底子幀以及相關填充區域R9-R16以及C5-C8被存儲於另一個工作緩衝器140/150，SAO濾波器134/144可以對工作緩衝器140/150執行像素分類(其用於將塊中的像素分類成對於給定EO類的複數個形態之一)與/或濾波處理(其用於計算對於給定EO類的每一形態1-4的偏移)。

例如，當將由第5圖示出的水平圖樣分類的當前像素包含在一個正方形投影面並且在子幀邊界時，可以從為第10圖示出的填充區域R1-R16之一的填充區域中獲得相鄰像素之一；當將由第6圖示出的垂直圖樣分類的當前像素包含在一個正方形投影面並且在子幀邊界時，可以從為第10圖示出的填充區域R1-R16之一的填充區域獲得相鄰像素之一；當將由第7圖示出的135°對角線圖樣分類的當前像素包含在一個正方形投影面並且在子幀邊界時，可以從為第10圖示出的填充區域R1-R16以及C1-C8之一的填充區域獲得相鄰像素之一；以及當將由第8圖示出的45°對角線圖樣分類的當前像素包含在一個正方形投影面並且在子幀邊界時，可以從為第10圖示出的填充區域R1-R16以及C1-C8之一的填充區域獲得相鄰像素之一。

對於另一個示例，當塊(如，CTB)跨過兩個投影面的面邊界之間的圖像內容不連續性邊緣時，可以從為第10圖示出的填充區域R6-R8以及R14-R16之一的填充區域獲得一或複數個填充像素，以及可以被用於計算對於給定EO類的一個EO形態的偏移。

為了簡便，因為由邊緣像素複製方案找到相鄰像素，被應用於鄰近頂子幀與底子幀之間的圖像內容不連續性邊緣的像素的SAO濾波更加精確，基於面的方案或基於幾何的方案在依附到頂子幀的底部子幀邊界以及底子幀的頂部子幀邊界的填充區域中是可用的。此外，因為可以由邊緣像素(其在重構的基於投影的幀R/R’中已經可用)或球面相鄰像素(其可因為被投影到包裝於360VR佈局中的複數個投影面的360VR內容的固有的幾何連續性特性被找到)設置相鄰像素，採用提出的基於填充的SAO濾波方法的SAO濾波器134/144被允許應用SAO濾波到位於重構的基於投影的幀R/R’的圖像邊界的像素。

在本發明的一些實施例中，邊緣像素複製方案/基於面的方案/基於幾何的方案找到相鄰像素(其充當兩個子幀外的填充像素)並在SAO濾波處理之前將所找到的相鄰像素存儲到子幀緩衝器(如，工作緩衝器140/150)。在緩衝器大小與計算複雜度之間有權衡。為了減少工作緩衝器140/150的記憶體使用，可以以實時的方式由邊緣像素複製方案/基於面的方案/基於幾何的方案找到相鄰像素(填充像素)。因此，在SAO濾波處理期間，當需要時可以動態地填充/創造位於當前處理的子幀外的相鄰像素。當在SAO濾波器134以及144的一個或兩者中實施相鄰像素(填充像素)的實時計算時，視訊編碼器116被允許具有充當圖像緩衝器的單個工作緩衝器140，用於緩衝重構的基於投影的幀R，與/或視訊解碼器122被允許具有充當圖像緩衝器的單個工作緩衝器150，用於緩衝重構的基於投影的幀R’。由於在記憶體裝置中創造圖像緩衝器而不需要用於存儲填充像素的額外區域的事實，緩衝器需求得到緩解。然而，由於按需找到所需要填充像素的實時計算，基於填充的SAO濾波方法的執行時間可能更長。

在上述實施例中，填充依附到包含在重構的基於投影的幀R/R’的每一子幀的子幀邊界。然而，這僅是示例性的目的，並不意味著對本發明的限制。或者，填充可以依附到包含在重構的基於投影的幀R/R’的每一投影面的面邊界。根據應用於鄰近連續性面邊緣的提出的基於填充的SAO濾波方法，一個像素的EO形態分類所需要(或一個EO形態的偏移確定所需要的)的至少一個像素是由SAO濾波器134/144找到的的填充像素。

請再次參考第9圖。考慮到重構的基於投影的幀中第一投影面的面邊界FB1與第二投影面的面邊界FB2連接，並且在面邊界FB1與FB2之間的邊緣EG_D是圖像內容連續性邊緣(即，連續性面邊緣)的情況。即，由於連續性投影面，在第一投影面的面邊界FB1與第二投影面的面邊界FB2之間有圖像內容連續性。例如，面邊界FB1以及FB2是第2圖中示出的S14以及S22，或者是第2圖中示出的S24以及S32，或者是第2圖中示出的S61以及S53，或者是第2圖中示出的S51以及S41。然而，由於所採用的360VR投影，跨過邊緣EG_D的連續圖像內容在邊緣EG_D可能是彎曲的。如果第9圖的子圖(a)示出的相鄰像素N0、N1以及N2由當前像素PC的EO形態分類使用，當前像素PC的SAO濾波可能遭受較不精確的分類結果以及較不精確的偏移計算/選擇。

如第9圖的子圖(b)所示，填充被應用於當前像素PC所位於的面邊界FB1。因此，填充像素D0、D1以及D3替換第二投影面中的相鄰像素N0、N1以及N2，並由第一投影面中的當前像素PC的EO形態分類所使用。隨著填充像素D0、D1以及D3的適當的設計，SAO濾波器134/144可以獲得當前像素PC的更精確的分類結果。這樣，可以為當前像素PC計算/選擇更精確的偏移。

相同的概念可以被應用於濾波處理，其用於計算對於給定EO類的一個形態的偏移。例如，可以創造填充像素來替換將被SAO濾波的塊(如，CTB)中最初可用的一些重構像素(如，非真相鄰像素)。因此，經歷SAO濾波的塊可以包括重構的像素(其在塊中最初可用)以及填充像素(其從至少一個面邊界延伸)。換言之，對於給定EO類的偏移確定涉及填充像素。

第15圖示出了根據本發明實施例的存儲於SAO濾波器134/144的工作緩衝器140/150中的重構的幀資料以及填充像素資料的另一個佈置。假定重構的基於投影的幀R/R’採用緊湊的CMP佈局204。因此，被添加到正方形投影面“右”、“正”、“左”、“頂”、“背”以及“底”的面邊界的填充包括被添加到頂子幀以及底子幀的子幀邊界的填充以及被添加到其為連續投影面的相鄰正方形投影面之間的連續性面邊界的填充。以正方形投影面“右”為例，藉由邊緣像素複製方案、基於面的方案或者基於幾何的方案可以生成填充區域R1、R2、R8，以及藉由基於幾何的方案可以生成或藉由複製角落像素生成填充區域C1、C3、C9、C10。關於填充區域R17，其可以由邊緣像素複製方案或基於幾何的方案生成。需要注意的是，在正方形投影面“右”的右邊面邊界與正方形投影面“正”的左邊面邊界之間有圖像內容連續性。換言之，正方形投影面“右”中的圖像區域S17以及正方形投影面“正”中的相鄰圖像區域S18在正方形投影面“右”與“正”之間的圖像內容連續性邊緣的對側。填充區域R17充當正方形投影面“右”的右邊面邊界的延伸。當球面相鄰像素被找到並用作填充區域R17的填充像素時，填充區域R17對應的觀察球200上的區域鄰近於從觀察球200上獲得正方形投影面“右”的區域。換言之，填充區域R17是正方形投影面“右”中圖像區域S17的球面相鄰。

視訊編碼器116可以被配置為具有充當投影面緩衝器的6個工作緩衝器140。此外，視訊解碼器122可以配置為具有充當投影面緩衝器的工作緩衝器140/150。第一投影面緩衝器用於存儲正方形投影面“右”以及從面邊界延伸的相關填充區域。第二投影面緩衝器用於存儲正方形投影面“正”以及從面邊界延伸的相關填充區域。第三投影面緩衝器用於存儲正方形投影面“左”以及從面邊界延伸的填充區域。第四投影面緩衝器用於存儲正方形投影面“頂”以及從面邊界延伸的相關填充區域。第五投影面緩衝器用於存儲正方形投影面“背”以及從面邊界延伸的相關填充區域。第六投影面緩衝器用於存儲正方形投影面“底”以及從面邊界延伸的相關填充區域。

SAO濾波器134/144對存儲於投影面緩衝器中的資料執行SAO濾波處理。為了減少工作緩衝器140/150的記憶體使用，以實時(on-the-fly)的方式由邊緣像素複製方案/基於面的方案/基於幾何的方案找到相鄰像素(填充像素)。因此，在SAO濾波處理期間，當需要時可以動態地填充/創造位於當前處理的投影面外的相鄰像素。當在SAO濾波134以及144的一個或兩者中實施相鄰像素(填充像素)的實時計算時，視訊編碼器116被允許具有充當圖像緩衝器的單個工作緩衝器140，用於緩衝重構的基於投影的幀R，與/或視訊解碼器122被允許具有充當圖像緩衝器的單個工作緩衝器150，用於緩衝重構的基於投影的幀R’。

當填充區域(第10圖或第15圖示出的填充區域之一)中的填充像素由基於幾何的方案找到時，在SAO濾波處理後，填充區域中的填充像素可以直接被丟棄或者由新的填充像素重寫。或者，包含在填充區域(如，第10圖或第15圖中示出的填充區域之一)中的填充像素可以用重構的基於投影的幀R/R’中的像素混合來更新重構的基於投影的幀R/R’中的像素。因此，SAO濾波器134/144可以進一步被配置為處理SAO濾波後的混合。

第16圖示出了根據本發明實施例的混合處理。包含在填充區域中的球面相鄰像素T’由基於幾何的方案找到以及包含在包裝於重構的基於投影的幀R/R’幀的正方形投影面“頂”中的像素T被映射到觀察球200上的相同點S。在完成重構的基於投影的幀R/R’的SAO濾波後，藉由混合函數p’=p*w+q*(1-w)，球面相鄰像素T’的像素值q用於更新像素T的像素值p，以及w表示在[0,1]之間的權重值。

在上述實施例中，由SAO濾波器134/144採用提出的基於填充的SAO濾波方法來處理鄰近重構的基於投影的幀R/R’的子幀邊界(或面邊界)的像素的SAO濾波，該重構的基於投影的幀R/R’具有包裝在基於立方體的投影佈局(如，緊湊的CMP佈局204)中的複數個投影面。然而，這僅是說明的目的，並不意味著對本發明的限制。或者，可以由SAO濾波器134/144採用提出的基於填充的SAO濾波方法來處理鄰近包裝於不同的投影佈局的重構的基於投影的幀R/R’的子幀邊界(或面邊界)的的像素的SAO濾波。例如，360VR投影佈局L_VR可以是等矩形投影(equirectangular projection，ERP)佈局、填充的等矩形投影(padded equirectangular projection，PERP)佈局、八面體投影(octahedron projection)佈局、二十面體投影(icosahedron projection)佈局、截斷正棱錐(truncated square pyramid，TSP)佈局、分段球面投影(segmented sphere projection，SSP)佈局或旋轉的球面投影佈局。

本領域習知技術者將容易觀察到，在保留本發明教導的同時可以對裝置以及方法進行許多修改以及替換。因此，上述公開應當被解釋為僅由所附申請專利範圍的範圍以及邊界所限定。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧360VR系統

102‧‧‧源電子裝置

103‧‧‧傳輸方式

104‧‧‧目標電子裝置

112‧‧‧視訊捕獲裝置

114‧‧‧轉換電路

116‧‧‧視訊編碼器

122‧‧‧視訊解碼器

124‧‧‧圖像渲染電路

126‧‧‧顯示裝置

132、142‧‧‧重構電路

134、144‧‧‧SAO濾波器

136、146‧‧‧參考幀緩衝器

138、148‧‧‧運動補償電路

140、150‧‧‧工作緩衝器

200‧‧‧觀察球

201‧‧‧立方體

202‧‧‧CMP佈局

204‧‧‧緊湊的CMP佈局

302~320、402~406‧‧‧步驟

N0~N2‧‧‧非真相鄰像素

D0~D2‧‧‧填充像素

R1~R16、C1~C8、1104‧‧‧填充區域

S1~S16‧‧‧圖像區域

1102‧‧‧投影面

第1圖示出了根據本發明實施例的360°虛擬實境(360VR)系統。

第2圖示出了根據本發明實施例的基於立方體的投影。

第3圖示出了根據本發明實施例的應用於塊的SAO濾波方法，該塊包含於在視訊編碼器生成的重構的基於投影的幀。

第4圖示出了根據本發明實施例的應用於塊的SAO濾波方法，該塊包含於在視訊解碼器生成的重構的基於投影的幀。

第5圖示出了由像素分類方法(EO類=0)使用的水平圖樣。

第6圖示出了由像素分類方法(EO類=1)使用的垂直圖樣。

第7圖示出了由像素分類方法(EO類=2)使用的135°對角線圖樣。

第8圖示出了由像素分類方法(EO類=3)使用的45°對角線圖樣。

第9圖示出了根據本法實施例的基於填充的SAO濾波概念。

第10圖示出了根據本發明實施例的存儲於SAO濾波器的工作緩衝器中重構的幀資料以及填充像素資料的一個佈置。

第11圖為根據本發明實施例的藉由重複邊緣像素找到填充像素的示意圖。

第12圖為包裝於緊湊的立方體貼圖投影佈局的複數個正方形投影面之間的圖像內容聯繫性關係的示意圖。

第13圖為根據本發明實施例的由基於幾何的方案找到的球面相鄰像素的示意圖。

第14圖示出了根據本發明實施例的為一點生成已插值的像素值的示例。

第15圖示出了根據本發明實施例的存儲於SAO濾波器的工作緩衝器中的重構的幀資料以及填充像素資料的另一個佈置。

第16圖為根據本發明實施例的混合處理的示意圖。

Claims (23)

1. 一種用於重構的基於投影的幀的樣本適應性偏移(SAO)濾波方法，該重構的基於投影的幀包括包裝於一360°虛擬實境(360VR)投影中的一投影佈局的複數個投影面，一觀察球的一360°圖像內容根據該投影佈局被映射到該等投影面，包括： 由一樣本適應性偏移濾波器獲得一填充區域中的至少一個填充像素，該填充區域充當一第一投影面的一個面邊界的一延伸，其中包裝於該重構的基於投影的幀的該等投影面包括該第一投影面以及一第二投影面；以及在該重構的基於投影的幀中，該第一投影面的該一個面邊界與該第二投影面的一個面邊界連接，以及在該第一投影面的該一個面邊界與該第二投影面的該一個面邊界之間有圖像內容不連續性；以及 將樣本適應性偏移濾波應用於一塊，其中該塊具有包含在該第一投影面中的至少一個像素，以及該塊的該樣本適應性偏移濾波涉及該填充區域中的該至少一個填充像素。
2. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，其中獲得該至少一個填充像素包括： 直接複製位於該第一投影面的該一個面邊界的至少一個邊緣像素來充當該至少一個填充像素。
3. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，其中每一該至少一個填充像素是一球面相鄰像素，以及該填充區域對應的該觀察球上的一區域鄰近於從該觀察球獲得該第一投影面的一區域。
4. 如申請專利範圍第3項所述之樣本適應性偏移濾波方法，其中獲得該至少一個填充像素包括： 直接使用從該等投影面之一選擇的至少一個像素來充當該至少一個填充像素；或者 將幾何映射應用到在該第一投影面的一擴展區域的至少一個已投影像素來找到該等投影面之一上的至少一個點，以及從該至少一個點推導該至少一個填充像素。
5. 如申請專利範圍第3項所述之樣本適應性偏移濾波方法，其中該樣本適應性偏移濾波方法進一步包括： 藉由混合為一第一像素獲得的一像素值以及為一第二像素獲得的一像素值，生成該第一像素的一已更新像素值，其中該第一像素位於包含在該等投影面之一的位置，該第二像素從該至少一個填充像素中選擇，以及該第一像素以及該第二像素被映射到該觀察球上的一相同點。
6. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，其中該塊的該樣本適應性偏移濾波包括配置為將該塊的一像素分類成對於一給定邊緣偏移(EO)類的複數個形態之一的一像素分類處理，以及該像素分類處理涉及該至少一個填充像素。
7. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，其中該塊的該樣本適應性偏移濾波包括配置為確定對於一給定的邊緣偏移(EO)類的一個形態的一偏移的一濾波處理，以及該濾波處理涉及該至少一個填充像素。
8. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，其中在該塊的該樣本適應性偏移濾波期間動態地創造該至少一個填充像素。
9. 如申請專利範圍第1項所述之樣本適應性偏移濾波方法，進一步包括： 獲得在另一個填充區域中的至少一個填充區域，該另一個填充區域充當該重構的基於投影的幀的一個圖像邊界的一延伸；以及 將樣本適應性偏移濾波應用於另一塊，其中該另一個塊包括該等投影面之一中的至少一個像素； 其中該等投影面之一的一個面邊界是該重構的基於投影的幀的該一個圖像邊界的一部分，以及該另一個塊的該樣本適應性偏移濾波涉及該另一個填充區域中的該至少一個填充像素。
10. 一種用於重構的基於投影的幀的樣本適應性偏移(SAO)濾波方法，該重構的基於投影的幀包括包裝於一360°虛擬實境(360VR)投影的一投影佈局的至少一個投影面，一觀察球的一360°圖像內容根據該投影佈局被映射到該等投影面，包括： 由一樣本適應性偏移濾波器獲得一填充區域中的至少一個填充像素，該填充區域充當包裝於該重構的基於投影的幀的一投影面的一個面邊界的一延伸，其中該投影面的該一個面邊界是該重構的基於投影的幀的一個圖像邊界的一部分；以及 將樣本適應性偏移濾波應用於一塊，其中該塊具有包含在該投影面的至少一個像素，以及該塊的該樣本適應性偏移濾波涉及該填充區域中的該至少一個填充像素。
11. 如申請專利範圍第10項所述之樣本適應性偏移濾波方法，其中獲得該至少一個填充像素包括： 直接複製在該投影面的該一個面邊界上的至少一個邊緣像素來充當該至少一個填充像素。
12. 如申請專利範圍第10項所述之樣本適應性偏移濾波方法，其中每一該至少一個填充像素是一球面相鄰像素，以及該填充區域對應的該觀察球上的一區域鄰近於從該觀察球上獲得該投影面的一區域。
13. 如申請專利範圍第10項所述之樣本適應性偏移濾波方法，其中獲得該至少一個填充像素包括： 直接使用從該至少一個投影面選擇的至少一個像素來充當該至少一個填充像素；或者 將幾何映射應用到在該投影面的一擴展區域上的至少一個已投影像素來找到在該至少一個投影面的至少一個點，以及從該至少一個點推導該至少一個填充像素。
14. 如申請專利範圍第12項所述之樣本適應性偏移濾波方法，其中該樣本適應性偏移濾波方法進一步包括： 藉由混合為第一像素獲得一像素值以及為一第二像素獲得的一像素值生成該第一像素的一更新的像素值，其中該第一像素位於包含在該至少一個投影面的一位置，該第二像素從該至少一個填充像素中選擇，以及該第一像素以及該第二像素被映射到該觀察球上的一相同點。
15. 如申請專利範圍第10項所述之樣本適應性偏移濾波方法，其中該塊的該樣本適應性偏移濾波包括配置為將該塊的一像素分類成對於一給定邊緣偏移(EO)類的複數個形態之一的一像素分類處理，以及該像素分類處理涉及該至少一個填充像素。
16. 如申請專利範圍第10項所述之樣本適應性偏移濾波方法，其中在該塊的該樣本適應性偏移濾波期間動態地創造該至少一個填充像素。
17. 一種用於重構的基於投影的幀的樣本適應性偏移(SAO)濾波方法，該重構的基於投影的幀包括包裝於一360°虛擬實境(360VR)投影的一投影佈局中的複數個投影面，一觀察球的一360°內容根據該投影佈局被映射到該等投影面，包括： 由一樣本適應性偏移濾波器獲得一填充區域中的至少一個填充像素，該填充區域充當包裝於該重構的基於投影的幀的一第一投影面的一個圖像邊界的一延伸，其中包裝於該重構的基於投影的幀的該等投影面包括該第一投影面以及一第二投影面，該第一投影面的該一個面邊界與該第二投影面的一個面邊界連接，以及在該第一投影面的該一個面邊界與該第二投影面的該一個面邊界之間有圖像內容連續性；以及 將樣本適應性偏移濾波應用於一塊，其中該塊具有包含在該投影面的至少一個像素，以及該塊的該樣本適應性偏移濾波涉及該填充區域中的該至少一個填充像素。
18. 如申請專利範圍第17項所述之樣本適應性偏移濾波方法，其中獲得該至少一個填充像素包括： 直接複製該第一投影面的該一個面邊界上的至少一個邊緣像素來充當該至少一個填充像素。
19. 如申請專利範圍第17項所述之樣本適應性偏移濾波方法，其中每一該至少一個填充像素是一球面相鄰像素，該填充區域對應的該觀察球上的一區域鄰近於從該觀察球上獲得該第一投影面的一區域，以及獲得該至少一個填充區域包括： 將幾何映射應用於該第一投影面的一擴展區域上的至少一個已投影像素來找到該等投影面之一上的至少一個點，以及從該至少一個點推導該至少一個填充像素。
20. 如申請專利範圍第19項所述之樣本適應性偏移濾波方法，其中該樣本適應性偏移濾波方法進一步包括： 藉由混合為一第一像素獲得的一像素值以及為一第二像素獲得的一像素值生成該第一像素的一已更新像素值，其中該第一像素位於包含在該等投影面之一的一位置，該第二像素從該至少一個填充像素中選擇，以及該第一像素以及該第二像素被映射到該觀察球上的一相同點。
21. 如申請專利範圍第17項所述之樣本適應性偏移濾波方法，其中該塊的該樣本適應性偏移濾波包括配置為將該塊的一像素分類成對於一給定邊緣偏移(EO)類的複數個形態之一的一像素分類處理，以及該像素分類處理涉及該至少一個填充像素。
22. 如申請專利範圍第17項所述之樣本適應性偏移濾波方法，其中該塊的該樣本適應性偏移濾波包括配置為確定對於一給定邊緣偏移(EO)類的一個形態的一偏移的一濾波處理，以及該濾波處理涉及該至少一個填充像素。
23. 如申請專利範圍第17項所述之樣本適應性偏移濾波方法，其中在該塊的該樣本適應性偏移濾波期間動態地創造該至少一個填充像素。