TW201935927A

TW201935927A - 用於影像壓縮之頻率分量選擇

Info

Publication number: TW201935927A
Application number: TW107141136A
Authority: TW
Inventors: 丹尼爾利亞姆菲茨杰拉德; 喬納森馬克波維; 蒂莫西西蒙盧卡斯
Original assignee: 澳大利亞商伊門斯機器人控股有限公司
Priority date: 2017-11-21
Filing date: 2018-11-20
Publication date: 2019-09-01
Also published as: US20200366899A1; EP3714598A4; WO2019100109A1; CN111837384A; AU2018373495A1; US11553187B2; EP3714598A1; AU2018373495B2

Abstract

一種將代表一或多個影像的影像資料壓縮之方法，該方法包括：從該影像資料獲得像素資料，該像素資料代表該等一或多個影像之內一像素陣列；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；將該組頻率係數的選取子集編碼；產生指出該等已編碼頻率係數的一索引；以及使用該等已編碼的頻率係數和該索引來產生壓縮影像資料。

Description

用於影像壓縮之頻率分量選擇

本發明係關於壓縮或解壓縮影像資料的方法及設備，並且在一個特定範例中用於壓縮或解壓縮影像資料，允許用降低的頻寬並且較少的延遲來傳輸影像資料。

本說明書中對任何先前申請案(或其衍生資訊)或任何已知事項的引用，不是也不應被視為確認或承認或任何形式的建議，即先前申請案(或其衍生資訊)或已知事物，構成本說明書所涉及努力領域的一般常見知識之一部分。

在虛擬、增強和混合的實境系統中，通常提供一種可戴式顯示裝置，諸如頭戴式顯示器(HMD，Head Mounted Display)，其基於顯示裝置的相對空間位置及/或方位將資訊顯示給佩戴者。這種系統根據關於該顯示裝置姿勢(位置和方位)的資訊產生影像來進行操作，如此隨著該顯示裝置移動，會更新該等影像以反映該顯示裝置的新姿勢。

為了避免暈車，姿勢資訊的收集和相應影像的建立間之時間差最小化，特別是在該顯示裝置快速移動的情況下，這相當重要。結合產生高解析度影像，使得它們看起來盡可能逼真之需求，這表示需要有相當高階的處理硬體。結果，高端現有系統通常需要具有高頻寬並且低延遲連接至該顯示裝置的靜態桌上型電腦。因此，像是HTC Vive^TM 、Oculus Rift^TM 和Playstation VR^TM 這些當前的系統在電腦與HMD之間需要有線連接，這並不方便。

雖然有行動解決方案可用，例如Gear VR^TM ，其併入行動電話來執行HMD本身內的影像處理和顯示，但是處理能力是有限的，意味著可以顯示的內容受到限制，特別是在影像解析度和品質方面。

我們都知道，壓縮影像資料可縮小資料體積。這在許多應用當中都非常有用，如此減少儲存該影像資料所需的儲存容量，或減少傳輸該影像資料伴隨的頻寬需求。

JPEG使用根據離散餘弦轉換(DCT，discrete cosine transform)的有損形式壓縮，此算術運算將視頻源的每個幀/場從空間(2D)域轉換為頻域(也就是轉換域)。鬆散基於人類心理系統的知覺模型忽略了高頻資訊，即強度上和色調上的急劇轉變。在轉換域中，通過量子化（quantized）來減少資訊。然後將量子化係數依序並鬆散地打包至一輸出位元流。

然而，這種方式通常只能完成有限的壓縮量並且需要相當多的處理時間，因此不適合用於低延遲應用，像是虛擬或增強實境、遠程發送等。

傳統壓縮方案遇到的另一個問題是條帶化。尤其是，傳統的離散餘弦變換壓縮方案保留較低頻率分量，因為這些分量往往對未壓縮影像的最終品質具有更大的影響。然而隨著影像的變化，特別是在數位實境應用的情況下，這並不總是最有效的方法，並且可能導致影像偽像，例如條帶。尤其是，色帶往往是由於資訊損失而導致的不準確色彩呈現問題，導致影像相鄰部分之間的頻率逐步變化。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的影像資料壓縮之方法，該方法包括：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；將該組頻率係數的一選取子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及產生一索引指出該已編碼頻率係數；以及使用該已編碼的頻率係數和該索引來產生壓縮影像資料。

在一個具體實施例內，該方法包括：選擇具有n 位元的頻率係數，其中n 為一開始設定為最大位元數的整數；以及選擇具有逐漸減少n 位元值的頻率係數。

在一個具體實施例內，該方法包括選擇具有逐漸減少位元數的頻率係數，直到滿足一或多個編碼參數。

在一個具體實施例內，該等一或多個編碼參數包括至少一個臨界值，並且其中該方法包括編碼頻率係數直到至少以下之一：一些已編碼頻率係數達到一係數編號臨界值；該已編碼頻率係數的一些位元達到一位元臨界值；以及該已編碼頻率係數的位元總數達到一位元總臨界值。

在一個具體實施例內，該方法包括選擇頻率係數來實現一目標壓縮程度。

在一個具體實施例內，該方法包括根據至少以下之一來選擇頻率係數：顯示接收自一顯示裝置的資料，該顯示資料至少部分指出至少以下之一：該顯示裝置的操作；該顯示裝置的使用；以及指出一無線通訊鏈結的通訊鏈結資料；至少部分指出一顯示裝置組態的組態資料；以及至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。

在一個具體實施例內，該顯示資料指出至少以下之一：指出相對於該環境的一顯示裝置姿勢之姿勢資料；指出相對於該環境的一顯示裝置動作之動作資料；一使用者提供的輸入命令；指示一使用者凝視的凝視資料；以及指出該使用者的一生理屬性之生理資料。

在一個具體實施例內，該通訊鏈結資料指出至少以下之一：無線通訊鏈結錯誤指標；無線通訊鏈結服務品質；無線通訊鏈結頻寬；以及無線通訊連結延遲。

在一個具體實施例內，該組態資料指出至少以下之一：一顯示器解析度；一顯示器更新率；一顯示器視野；以及顯示器透鏡屬性。

在一個具體實施例內，該方法資料包括至少以下之一：像素陣列內容；影像內容；該影像不同部分的內容；該影像不同部分的不透明度；該影像之內的興趣區域；該影像之內的興趣位置；關聯於該影像的一或多個提示；以及該影像之內的一或多個顯示物體。

在一個具體實施例內，該方法包括差異壓縮該影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮。

在一個具體實施例內，該方法包括：決定該等一或多個影像之內該像素陣列的一位置；以及至少部分依照該已決定的位置來選擇該組頻率係數的該子集，如此壓縮程度取決於該像素陣列的該已決定位置。

在一個具體實施例內，該方法包括壓縮該像素資料，如此該壓縮程度取決於該像素陣列位置以及至少以下之一：一使用者凝視；以及一顯示裝置組態。

在一個具體實施例內，該像素陣列的該位置已決定關於一已定義位置，並且該已定義位置為至少以下之一：一已測量的該使用者凝視點；一預期的該使用者凝視點；偏移一已測量的該使用者凝視點之處；偏移一預期的該使用者凝視點之處；至少部分依照指示該使用者凝視點的凝視資料所決定之處，該凝視資料從一凝視追蹤系統來獲得；以及根據該顯示裝置的特性。

在一個具體實施例內，該方法包括壓縮該像素資料，如此該壓縮程度取決於下列之一：根據與該已定義點的一距離；根據相對於該已定義點的一距離；從該已定義點進一步增加；以及提供注視點壓縮。

在一個具體實施例內，該方法包括：針對具有一組位元數的頻率係數，在頻率係數對應至較高頻率之前，選擇對應至較低頻率的頻率係數。

在一個具體實施例內，該索引指出：每一已編碼頻率係數的一些位元；以及一位置，該位置為至少以下之一：在一已定義順序內每一已編碼頻率係數的一位置；以及在該係數矩陣之內每一已編碼頻率係數的一位置。

在一個具體實施例內，該已定義順序為至少以下之一：一係數矩陣的一Z字形遍歷；以及一已排序的清單。

在一具體實施例內，該方法包含依照以下產生該索引：指定一位元數n ；針對具有該指定位元數n 的該已編碼頻率係數之每一者，指定該已編碼頻率係數的該位置；以及針對逐漸減少的位元數n 重複步驟a)和b)。

在一個具體實施例內，該方法包括：決定指示所索引的一索引代碼；以及使用該索引代碼產生該壓縮影像資料。

在一個具體實施例內，該索引指出用於每一頻率係數之值。

在一個具體實施例內，一頻率係數的該編碼以至少以下之一來執行：沒有縮放；以及沒有無損編碼。

在一個具體實施例內，該方法包括：針對具有n 位元的頻率係數，通過移除一第一位元而使用n -1來編碼該頻率係數。

在一個具體實施例內，該方法包括使用一位元編碼方案編碼至少某些該等頻率係數，藉此產生一組已編碼的頻率係數，其中該位元編碼方案定義用於將該等頻率係數編碼的該位元數字，並且其中該等頻率係數選擇性編碼，如此至少某些該已編碼頻率係數具有減少的位元數。

在一個具體實施例內，該位元編碼方案使用減少的位元數來編碼至少以下之一：對應至較高頻率的較小頻率係數；以及對應至較高頻率的至少某些頻率係數。

在一個具體實施例內，該方法包括將一縮放因子套用到至少某些該等頻率係數，如此編碼已縮放的頻率係數。

在一個具體實施例內，該影像資料定義複數個通道，並且其中該方法包括針對每一並列通道選擇性編碼頻率係數。

在一個具體實施例內，該像素資料定義RGB通道，並且其中該方法包括：將該RGB通道轉換成YCbCr通道；以及轉變該YCbCr通道來產生各別頻率係數，並且其中使用一最小位元大小來執行該轉換與轉變。

在一個具體實施例內，該方法包括選擇性針對該Y通道而非該等Cb或Cr通道編碼更多頻率係數。

在一個具體實施例內，該轉換為一2-D離散餘弦轉換。

在一個具體實施例內，該方法用於至少以下之一：壓縮數位實境資料；傳輸數位實境資料；以及無線傳輸數位實境資料。

在一個具體實施例內，該方法包括：決定一目標壓縮程度；至少部分根據該目標壓縮程度來選擇一位元編碼方案；以及根據該位元編碼方案編碼該組頻率係數，並且其中該索引指出該已選取的位元編碼方案。

在一個具體實施例內，該方法包括：使用該已選取的位元編碼方案來編碼一像素陣列數；以及根據該像素陣列數，選擇下一個位元編碼方案。

在一個具體實施例內，該方法包括使用至少以下之一來選擇該位元解碼方案：先前像素陣列的一累積位元總數；一目標位元率；在該等一或多個影像之內該像素陣列的一位置；顯示接收自一顯示裝置的資料，該顯示資料至少部分指出至少以下之一：該顯示裝置的操作；該顯示裝置的使用；以及指出一無線通訊鏈結的通訊鏈結資料；至少部分指出一顯示裝置組態的組態資料；至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。

在一個具體實施例內，該方法包括：決定先前像素陣列的一累積位元總數；若該累積位元總數超過一累積位元總臨界：決定先前像素陣列數的一壓縮程度；以及使用該壓縮程度以及該目標壓縮程度來選擇該位元編碼方案。

在一個具體實施例內，該位元編碼方案依照至少以下之一來編碼該頻率係數：編碼頻率係數的一子集；以及用一縮放因子來縮放該頻率係數，並且編碼該已縮放的頻率係數。

在一個具體實施例內，該方法包括：識別一最高幅度頻率係數；計算將該最高幅度頻率係數降低至一目標位元數所需的一最小縮放因子；以及使用至少以下之一來縮放該頻率係數：該最小縮放因子；以及大於該最小縮放係數的一縮放係數。

在一個具體實施例內，該方法包括：選擇一位元編碼方案數之一者，其中每一位元編碼方案定義：可用的縮放因子；以及一位元臨界，其中根據該位元臨界縮放頻率係數，使用為至少一最小縮放係數的一可用縮放係數，來選擇性編碼頻率係數；以及根據該位元臨界依照至少以下之一來編碼已縮放頻率係數：編碼具有比該位元臨界更多位元的已縮放頻率係數；以及忽略具有比該位元臨界更少位元的已縮放頻率係數。

在一個具體實施例內，每一位元編碼方案定義至少以下之一：用於不同顏色通道的一各別位元臨界；用於亮度與色度通道的一各別位元臨界；以及色度通道高於亮度通道的一位元臨界。

在一個具體實施例內，該位元編碼方案定義用於色度與亮度顏色通道每一者的一位元臨界，並且其中該方法針對每一顏色通道包括：套用該轉變給該像素資料；計算一最小縮放因子；選擇該縮放因子；縮放該頻率係數；以及編碼該已縮放頻率係數的該子集。

在一個具體實施例內，該方法包括從位元編碼方案的一已排序清單中選擇一位元編碼方案，該清單已經排序來提供逐漸增加的壓縮。

在一個具體實施例內，該位元編碼方案依照至少以下之一來提供逐漸增加的壓縮：逐漸增加該可用縮放因子的幅度；減少一最低可用縮放因子；以及逐漸增加該位元臨界。

在一個具體實施例內，該可用的縮放因子為至少以下之一：1、2、4和8。

在一個具體實施例內，該位元臨界為至少以下之一：0、1、2、3、4、5和6。

在一個具體實施例內，該頻率係數包括一DC分量，並且其中該DC分向為至少以下之一：維持無壓縮；維持無縮放；以及維持使用原生位元數。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的影像資料壓縮之系統，該系統包括一或多個編碼器處理裝置，其：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；將該組頻率係數的一選取子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及產生一索引指出該已編碼頻率係數；以及使用該已編碼的頻率係數和該索引來產生壓縮影像資料。

在一個具體實施例內，該系統包括：一編碼器輸入緩衝區，用來接收該影像資料；以及一編碼器輸出緩衝區，其中儲存該壓縮影像資料。

在一個具體實施例內，該系統包括一編碼器輸入緩衝區，其：緩衝對應至該影像的下一個m -1列像素之影像資料；緩衝該下一列像素中下一個m 像素的影像資料，允許該至少一個編碼器處理裝置從該已緩衝影像資料中獲取下一個m xm 像素區塊的像素資料；重複步驟b)，直到已經從所有該m 列像素中獲得像素資料；以及重複步驟a)和b)，直到已經從該影像的每一列像素中獲得像素資料。

在一個具體實施例內，該系統包括一編碼器發射器，其發射來自該編碼器輸出緩衝區的該影像資料。

在一個具體實施例內，該一或多個編碼器處理裝置包括：一合適程式編輯的場可程式閘陣列；一專用積體電路；以及一圖形處理單元。

在一個具體實施例內，該像素資料定義複數個通道，並且其中該系統包括：針對每一通道的一各別處理裝置；以及用於平行處理每一通道的一平行處理裝置。

在一個具體實施例內，該系統包括一編碼器，其用無線通訊方式與一解碼器通訊，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。

在一個具體實施例內，該解碼器為耦合至一可穿戴顯示裝置至少以下之一及其一部分。

在一個具體實施例內，該編碼器和解碼器通訊來交換至少以下之一：已壓縮的影像資料；指示一顯示裝置移動的移動資料；至少部分用來控制該顯示裝置的控制資料；指示使用者輸入指令的輸入資料；指示一觀察者的凝視點之凝視資料；以及來自與一可穿戴顯示裝置關聯的感應器之感應器資料。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括：獲得已壓縮的影像資料，包括已編碼的頻率係數以及指出該已編碼頻率系統的一索引；解碼該已編碼頻率係數，來獲得頻率係數的一子集；使用該頻率係數子集以及該索引來產生一組頻率係數；以及對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。

在一個具體實施例內，該方法包括使用該已解碼頻率係數以及該索引來建構至少以下之一：一組頻率係數；一已定義的編碼頻率順序；以及一係數矩陣。

在一個具體實施例內，該方法包括：解碼每一已編碼頻率係數；決定每一頻率係數的位置；根據該位置將該已解碼頻率係數加入到至少該已定義順序以及係數矩陣之一者內；以及將空值加入到至少該已定義順序以及係數矩陣之一者內的空位置。

在一個具體實施例內，該方法包括：從該壓縮影像資料決定一索引代碼；以及從該索引代碼決定該索引。

在一個具體實施例內，以至少以下之一來執行解碼每一已編碼頻率係數：沒有縮放；以及沒有無損解碼。

在一個具體實施例內，該方法包括：針對具有n -1位元的已編碼頻率係數，通過加入一第一位元而使用n 位元來建立一頻率係數。

在一個具體實施例內，該方法包括根據一位元編碼方案來解碼至少某些該已編碼頻率係數，藉此產生一組頻率係數，其中產生至少一個頻率係數，如此該組已編碼頻率係數小於該組頻率係數。

在一個具體實施例內，該方法包括將一縮放因子套用到至少某些該等頻率係數，如此轉變已縮放的頻率係數。

在一個具體實施例內，至少以下之一：將該相同的縮放因子套用到每一頻率係數；以及該縮放因子用來增加每一頻率係數的幅度。

在一個具體實施例內，該影像資料定義複數個通道，並且其中該方法包括針對每一並列通道選擇性解碼已編碼頻率係數。

在一個具體實施例內，該壓縮影像資料定義YCbCr通道，並且其中該方法包括：執行該等YCbCr通道的一逆轉換；以及將該已轉變YCbCr通道轉換成RGB通道，並且其中使用一最小位元大小來執行該轉換與轉變步驟。

在一個具體實施例內，該方法包括產生更多頻率係數給該Cb或Cr通道而非該Y通道。

在一個具體實施例內，該逆轉換為一逆2-D離散餘弦轉換。

在一個具體實施例內，該方法用於至少以下之一：解壓縮數位實境資料；接收數位實境資料；以及無線接收數位實境資料。

在一個具體實施例內，該索引指出一已選擇的位元編碼方案，並且其中該方法包括依照至少以下之一使用該位元編碼方案來產生一組頻率係數：解碼該已編碼頻率係數，來獲得頻率係數的一子集；以及將該縮放係數套用至該組頻率係數。

在一個具體實施例內，該方法包括：從該壓縮影像資料決定該一或多個影像之內一像素陣列內像素的像素值；使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該像素值；以及量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。

在一個具體實施例內，該方法包括根據至少以下之一來選擇一修改碼陣列：在該等一或多個影像內該像素陣列的一位置；至少部分指出至少以下之一的顯示資料：一顯示裝置的操作；該顯示裝置的使用；以及指出一無線通訊鏈結的通訊鏈結資料；至少部分指出一顯示裝置組態的組態資料；以及至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。

在一個具體實施例內，該修改碼陣列與該影像之內不同位置上的像素陣列不同。

在一個具體實施例內，該修改碼陣列與不同影像內相同位置上的像素陣列一致。

在一個具體實施例內，該修改碼值為偽隨機值（pseudorandom values）。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之系統，該系統包括一或多個電子解碼器處理裝置，其：獲得已壓縮的影像資料，包括已編碼的頻率係數以及指出該已編碼頻率系統的一索引；解碼該已編碼頻率係數，來獲得頻率係數的一子集；使用該頻率係數子集以及該索引來產生一組頻率係數；以及對該組頻率係數套用一逆向轉變，來決定代表該等一或多個影像之內一像素陣列的像素資料。

在一個具體實施例內，該系統包括：一解碼器輸入緩衝區，用來接收該影像資料；以及一解碼器輸出緩衝區，其中儲存該影像資料。

在一個具體實施例內，該系統包含一解碼器收發器，其接收該壓縮影像資料並將該壓縮影像資料提供至該輸入緩衝區。

在一個具體實施例內，該至少一個解碼器處理裝置包括一穩定程式編輯的FPGA。

在一個具體實施例內，該壓縮影像資料定義複數個通道，並且其中該系統包括用於每一通道的一各別處理裝置。

在一個具體實施例內，該系統包括一解碼器，其用無線通訊方式與一編碼器通訊，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。

在一個具體實施例內，該編碼器為耦合至合適程式編輯的處理系統至少以下之一及其一部分。

在一個具體實施例內，該解碼器和編碼器通訊來交換至少以下之一：已壓縮的影像資料；指示一顯示裝置移動的移動資料；至少部分用來控制該顯示裝置的控制資料；指示使用者輸入指令的輸入資料；指示一觀察者的凝視點之凝視資料；以及來自與一可穿戴顯示裝置關聯的感應器之感應器資料。

在一個廣義形式中，本發明的一個態樣係在提供一種顯示一數位實境串流的影像成形部分之方法，針對要顯示的每一影像，該方法包括：在一或多個編碼器處理裝置內：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；將該組頻率係數的一選取子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及使用該已編碼的頻率分量產生已壓縮的影像資料；運用一無線通訊鏈結，將該壓縮影像資料無線傳輸至一顯示裝置；以及在關聯於該顯示裝置的一或多個解碼器處理裝置內：獲得該壓縮影像資料來解碼該已編碼頻率係數，以獲得頻率係數的一子集；使用該頻率係數子集來產生一組頻率係數；以及對該組頻率係數套用一逆向轉變，來決定代表該像素陣列的像素資料。

在一個廣義形式中，本發明的一個態樣係在提供一種用於顯示一數位實境串流的影像成形部分之系統，該系統包括：一或多個編碼器處理裝置，其：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；將該組頻率係數的一選取子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及使用該已編碼的頻率分量產生已壓縮的影像資料；一無線通訊鏈結，其無線傳輸該壓縮影像資料；以及關聯於一顯示裝置的一或多個解碼器處理裝置內：獲得該壓縮影像資料來解碼該已編碼頻率係數，以獲得頻率係數的一子集；使用該頻率係數子集來產生一組頻率係數；以及對該組頻率係數套用一逆向轉變，來決定代表該像素陣列的像素資料。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括：獲取已壓縮的影像資料；從該壓縮影像資料決定該一或多個影像之內一像素陣列內像素的像素值；使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該像素值；以及量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。

在一個具體實施例內，該修改碼值為偽隨機值。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之系統，該系統包括一或多個處理裝置，其：獲取已壓縮的影像資料；從該壓縮影像資料決定該一或多個影像之內一像素陣列內像素的像素值；使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該像素值；以及量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的影像資料壓縮之方法，該方法包括：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；決定一目標壓縮程度；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；至少部分根據該目標壓縮程度來選擇一位元編碼方案；根據該位元編碼方案來編碼該組頻率係數，以產生已編碼頻率係數，其中該位元編碼方案通過至少以下之一來編碼該頻率係數：將頻率係數的一子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及用一縮放因子來縮放該頻率係數，並且編碼該已縮放的頻率係數；以及產生指出至少以下之一的一索引：該已選取的位元編碼方案；該縮放因子；以及該已編碼的頻率係數；使用該已編碼的頻率係數和該索引來產生壓縮影像資料。

在一個具體實施例內，該方法包括選擇一位元編碼方案數之一者，其中每一位元編碼方案定義：可用的縮放因子；以及一位元臨界，其中根據該位元臨界選擇性編碼頻率係數。

在一個具體實施例內，該方法包括至少以下之一：編碼具有比該位元臨界更多位元的頻率係數；以及忽略具有比該位元臨界更少位元的頻率係數。

在一個具體實施例內，該縮放因子為至少以下之一：1、2、4和8。

在一個具體實施例內，該方法包括：選擇一位元編碼方案定義；可用的縮放因子；以及一位元臨界；將該轉變套用至該像素資料，來決定該組頻率係數；計算將該最高幅度頻率係數降低至一目標位元數所需的一最小縮放因子；根據該可用縮放因子以及該最小縮放因子來選擇一縮放因子；用該選取的縮放因子來縮放該頻率係數；以及根據該位元臨界來編碼該已縮放頻率係數的一子集。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的影像資料壓縮之系統，該系統包括一或多個編碼器處理裝置，其：從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列；決定該像素陣列的一陣列目標；對該像素資料套用一轉變，以決定指示該像素陣列的頻率係數之一組頻率係數；至少部分根據該陣列目標來選擇一位元編碼方案；根據該位元編碼方案來編碼該組頻率係數，以產生已編碼頻率係數，其中該位元編碼方案通過至少以下之一來編碼該頻率係數：將頻率係數的一子集編碼，該子集已選取來優先編碼具有較高幅度的頻率係數；以及用一縮放因子來縮放該頻率係數，並且編碼該已縮放的頻率係數；以及產生指出至少以下之一的一索引：該已選取的位元編碼方案；該縮放因子；以及該已編碼的頻率係數；使用該已編碼的頻率係數和該索引來產生壓縮影像資料。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括：獲得已壓縮的影像資料，其包括已編碼的頻率係數，以及一索引，其指出一已選取位元編碼方案以及至少以下之一：一縮放因子；以及該已編碼的頻率係數；使用該索引來決定該已選取位元編碼方案；使用該位元編碼方案通過至少以下之一來產生一組頻率係數：解碼該已編碼頻率係數來獲得頻率係數的一子集，並且使用該頻率係數子集以及該索引來產生一組頻率係數；以及將該縮放因子套用至該已編碼頻率係數，來產生該頻率係數；以及對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。

在一個具體實施例內，該方法包括：解碼該已編碼頻率係數，來獲得頻率係數的一子集；以及將該縮放係數套用至該頻率係數子集。

在一個廣泛的形式中，本發明的態樣尋求提供一種將代表一或多個影像的壓縮影像資料解壓縮之系統，該系統包括一或多個解碼器處理裝置，其：獲得已壓縮的影像資料，其包括已編碼的頻率係數，以及一索引，其指出一已選取位元編碼方案以及至少以下之一：一縮放因子；以及該已編碼的頻率係數；使用該索引來決定該已選取位元編碼方案；使用該位元編碼方案通過至少以下之一來產生一組頻率係數：解碼該已編碼頻率係數來獲得頻率係數的一子集，並且使用該頻率係數子集以及該索引來產生一組頻率係數；以及將該縮放因子套用至該已編碼頻率係數，來產生該頻率係數；以及對該組頻率係數套用一逆向轉變，來決定代表該等一或多個影像之內一像素陣列的像素資料。

吾人應了解，本發明的廣泛形式及其各自特徵可以結合使用、可互換及/或獨立使用，並且不用於限制參考單獨的廣泛形式。

此時將參閱第一A圖和第一B圖說明用於壓縮與解壓縮影像資料的方法之範例。

針對例示目的，假設至少部分使用一或多個電子處理裝置來執行該處理。在一個範例中，使用各別處理裝置來壓縮與解壓縮該影像資料，允許壓縮影像資料在該等兩處理裝置之間傳輸，雖然這並非必須並且另外同一個處理裝置可用於壓縮與解壓縮該影像資料。

該處理裝置應形成各別處理系統的一部分，像是電腦系統、電腦伺服器、包含行動電話、可攜式電腦的用戶端裝置、像是可穿戴式或頭戴式顯示器的顯示裝置，或另外可為連結至這種裝置的獨立模組形式。

該影像資料通常代表一或多個影像，並且在一個範例中，代表要顯示在各別顯示裝置上的一系列影像。如從以下說明中將了解，在一個特定範例中，該影像資料為適於遠端顯示至一來源的一數位內容串流之系列影像，像是在其中影像顯示於一可穿戴式顯示器上的虛擬、增強或混合實境圖形應用中，及/或在其中影像從像是無人機搭載攝影機等遠端可控制系統顯示的遠程發送應用中。然而應了解，儘管這裡描述的技術對於數位實境應用特別有用，但是這並非限制，並且這些技術可用於任何內容串流，例如視頻串流、電腦圖形等等。

在此範例中，在步驟100上，從影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列。該像素資料可用任何合適的方式獲取，這取決於該影像資料的格式。在一個範例中，簡單選擇該影像資料之內特定位元組序列就可達成。該像素陣列通常對應至一組像素數量，像是該等影像之一者之內一8x8像素區塊，不過也可使用其他像素陣列。

在步驟110上，對該像素資料套用一轉換，以決定指示該像素陣列的頻率分量之一組頻率係數。因此，該轉換通常為一頻率轉換，像是傅立葉轉換等，並且在一個範例內為2D DCT (離散餘弦轉換)。該轉換可用任何合適的方式套用，例如使用已知的轉換技術，但是在一個範例中以高並行方式執行，藉此縮短處理時間。

在步驟120上，對該組頻率係數的所選子集進行編碼。在這方面，已編碼的頻率係數是所選取的子集，以便最大化已編碼頻率資訊的有效性，例如通過選擇具有最高幅度的頻率係數，並因此對於解壓縮的影像品質有最大貢獻。執行選擇的方式將根據較佳實施方式而變，但是在一個範例中，這涉及選擇具有幅度逐漸變小的頻率係數，因此可通過逐漸減小的位元數來定義，直到達到某個限制。然而，這不是必需的，並且可使用其他選擇方法。頻率係數可以任何合適的方式編碼，其可根據較佳實施方式而變，並且在一個範例中，可包括使用頻率係數的原始位元表示，或者執行一些其他形式的無損編碼，如下面有更詳細說明。

在步驟130上，創建索引，該索引指示已編碼的頻率係數。該索引用於識別頻率係數，讓這些頻率係數可用於在隨後解壓縮步驟中重新生成影像。這是必需的，因為不同的頻率係數對於每個像素陣列將具有不同的幅度，使得編碼的頻率係數將在每個像素陣列之間變化，因此需要將此資訊傳送到解碼器以用於解壓縮。

索引可以是任何適當的形式，並且可以任何適當的方式識別頻率係數，例如通過識別係數的位置，例如在係數矩陣內。索引可與頻率係數分開提供，例如通過提供索引，然後是一串編碼頻率係數，或者可包括索引內的編碼頻率係數，如下面將有更詳細說明。

一旦執行編碼並創建索引，就可在步驟140上產生壓縮影像資料，其中該壓縮影像資料包括該已編碼頻率係數並與該索引一起提供。例如：這可通過建立包含該等已編碼頻率係數順序，選擇性具有額外資訊，像是旗標或其他標記來識別新影像等等的開始，的一位元組串流來執行。

因此，上述處理允許通過對所選頻率係數進行編碼，並使用索引來創建壓縮影像資料，以便識別已編碼頻率係數。通過允許隨意選擇頻率係數，例如根據其幅度，這可在隨後解壓縮影像時導致更高的影像品質。

在這方面，傳統方法集中於編碼對應於較低頻率的頻率係數，基於這些頻率係數通常對影像品質貢獻最大。在這種情況下，通過在每次執行編碼時對相同的頻率係數進行編碼，這使得解碼處理成為可能，但是相反地意味著所執行的編碼不針對每個像素陣列進行最佳化，從而導致諸如長條狀的偽像。

相反，在當前方法中，可選擇頻率係數以最佳化所得到的影像，例如通過對最大幅度係數進行編碼，這反過來對所得影像的外觀提供最大貢獻。最大幅度頻率係數不限於最低頻率係數，意味著也可編碼更大的高頻係數。在這種情況下，通過在壓縮影像資料中包括索引來促進影像的解壓縮，這意味著所選擇的頻率係數可針對每個像素區塊而變，允許針對每個像素區塊及/或影像進行最佳化壓縮，同時最小化對影像品質的衝擊。

在此方面，在步驟150上獲得壓縮影像資料，然後在步驟160上解碼該已編碼頻率係數，來創建頻率係數的子集。應了解，所執行的方式將根據所執行編碼的性質而變。

接著在步驟170上，該索引用於生成全套頻率係數，通常通過定義具有空值的未編碼頻率係數。接著在步驟180上，對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。尤其是，其通常為逆向頻率轉換的形式，像是逆向傅立葉轉換2D DCT等。

因此，上述處理允許通過對所選擇的頻率係數子集進行編碼，來對影像資料進行編碼，並使用索引來識別已編碼頻率係數，然後可在對已編碼頻率係數進行解壓縮時使用該索引。該方法本質上是自適應的，意味著所選擇的頻率係數將根據所編碼像素陣列的內容而變，從而確保針對內容最佳化壓縮，允許最大化可實現的壓縮量，同時最小化對影像品質的衝擊。

除了上述優點，該方案可平行實現，這反過來使得能夠快速執行該處理，從而減少等待時間，這在許多應用中相當重要，諸如虛擬實境應用，其中反應顯示裝置的移動而建立影像，並且必須快速將其傳輸到該顯示裝置來顯示。

此時將描述一些進一步特色。

在一個範例中，該方法包括選擇具有n 位元的頻率係數，其中n 是最初設定為最大位元數的整數，然後選擇具有逐漸減小的n 位元值之頻率係數。這執行來編碼具有更大幅度並因此具有更多位元數的頻率係數，優先於具有較小幅度並因此具有更少位元數的頻率係數，這反過來對影像品質的影響更小。

通常，執行逐漸選擇較小數量位元的處理，直到滿足編碼參數，從而選擇已編碼的頻率係數之子集。例如，這可執行來確保已編碼足夠的頻率係數，以維持期望的影像品質，同時最小化所傳輸影像資料的總體積。編碼參數可以多種方式中的任何一種來定義，並可具體實施固定規則或動態規則，允許根據影像內容、可用的傳輸要求、期望壓縮程度等自適應地編碼像素陣列。

該(等)編碼參數通常包括一或多個臨界，其中該方法包括將係數編碼，直到滿足一臨界。這可包括將頻率係數編碼，直到多個編碼頻率係數達到係數數量臨界、直到該已編碼頻率係數的位元數達到一位元臨界，或直到該已編碼頻率係數的總位元數達到總位元臨界為止。如此，這允許編碼一設定係數數量，或允許編碼一設定位元數量，這又允許根據該係數的幅度對不同數量的係數進行編碼。

在一個範例中，頻率係數經過選擇來實現一目標壓縮程度。例如在需要積極壓縮的事件中，這由只對少許大幅度頻率係數編碼來執行，而若需要較不積極壓縮，則涉及編碼大量係數。

考量到不同因子範圍，可決定該所要壓縮以及因此選取的該頻率係數。這可包括使用至少部分指出該顯示裝置操作及/或該顯示裝置用途的顯示資料、指出該無線通訊鏈結操作的通訊鏈結資料、至少部分指出該顯示裝置組態的組態資料以及至少部分指出該數位實境內容的內容資料。

該顯示資料可定義目前的顯示裝置姿勢及/或動作，其可用於評估與先前影像相比的冗餘，或者定義使用者凝視，其可評估使用者正在關注影像的哪些區域，並且因此需要更高的影像品質以及較少壓縮。類似地，內容資料可用於決定影像內的興趣區域，例如基於視覺內容及/或其他上下文提示，例如可聽到的提示，再次允許確定需要更高影像品質的區域。該組態資料通常定義該影像在顯示裝置視野之外的部分，因此不顯示，及/或在影像的未顯示區域中，因此可使用更積極的壓縮而不會降低影像品質。最後，該通訊鏈結資料可根據目前頻寬及/或延遲，用來控制所使用的總體壓縮程度，從而確保可及時傳輸該壓縮影像資料。

如此，該方法可包括根據與硬體操作有關的一或多個操作參數選擇編碼參數，像是一臨界，及/或與影像有關的影像參數。該操作參數可包括用於發送該壓縮影像資料的一通訊連結之傳輸頻寬、用於發送該壓縮影像資料的一通訊連結之傳輸服務品質、一顯示裝置的移動、影像顯示要求、一目標顯示解析度等之任一或多者。類似地，該等影像參數可包括正在處理的通道、一或多個影像內像素陣列的位置、一或多個影像內像素陣列相對於該等一或多個影像的觀察者凝視點之位置等等。針對另一替代方案，可使用指示該已解壓縮影像內錯誤及/或資料傳輸的誤差度量，以便控制使用的壓縮程度。

將了解，這些配置可用來動態調整壓縮程度，例如利用根據當前誤差值、該像素陣列的內容等，改變該等臨界值。例如：若壓縮物超出一設定量，則利用調整臨界值可降低壓縮程度，而若可用傳輸頻寬下降，則可提高壓縮。此動態調整壓縮的能力幫助將該壓縮最佳化，以獲得當前環境的最佳可能影像品質，

例如：一影像某些部分的相對品質可能不如其他部分那麼重要。在虛擬實境的案例中，由於顯示鏡頭的影像扭曲，所以影像周邊部分通常不會確實顯示給使用者。因此，這些影像部分應使用一有效零品質編碼，藉此在不損失該可視影像的任何影像品質之下，可大幅減少壓縮影像資料量。

類似地，在虛擬實境應用中，可執行觀察者觀看影像哪個部分之分析，例如使用眼睛追蹤技術或類似技術，然後以較高品質編碼靠近該凝視點的影像部分。在此方面，一觀察者對於周邊區域的注視通常會減少，如此通常比較不會注意到影像品質下降。因此，用較高品質編碼靠近觀察者凝視點的影像，這會讓整體品質較差的影像被觀察者認為具有一般水準品質。在這方面，應了解，只要保持整個影像的傳輸時間，在視野中心附近的像素陣列是否包含更多位元並且需要更長時間來傳輸並不重要，因為這可通過減少發送該影像周邊附近位元數來因應。

因此，在一個範例中，該方法包括差異壓縮該影像資料，如此使用不同的壓縮程度來壓縮該影像的不同部分，這反過來允許最大化壓縮程度而不會感覺到影像品質降低。

在一個範例中，通過決定一或多個影像之內該像素陣列的位置，然後根據該位置選擇頻率係數的子集來實現該處理，使得該像素資料的壓縮程度取決於該像素陣列的已決定位置。

在一個範例中，該位置係關於一已定義位置來決定，其可為至少部分指出該使用者的凝視點。如此，該定義的位置可以基於凝視的實際測量點，或該使用者的預期或預測凝視點，例如通過假設使用者戶盯著該影像的大致中心，或基於內容，例如影像內的焦點、頭戴組的移動等來決定。此外，該定義點可偏離該凝視點，例如將此定位在該凝視點底下，來考量到個人傾向稍微聚焦在凝視點底下，避免走路時撞到障礙物。

如此，這提供壓縮與後續解壓縮該影像的機制，其中該壓縮根據一像素陣列的位置來控制。尤其是，這允許根據該像素陣列的位置，選擇壓縮程度，如此在一凝視點附近區域可使用較少壓縮，而遠離該凝視點的區域可使用較大壓縮，例如使用者的視野周邊內。這實際上提供了移動壓縮，通過增加使用者的周邊視野的壓縮，其中降低的影像品質不太明顯，從而允許實現更大的總體壓縮，而無可察覺的品質損失。另外，這可根據該顯示裝置的特性，例如通過改變遠離該顯示裝置透鏡中心的壓縮程度。

在一個範例中，該壓縮程度可基於與該定義點的距離，例如遠離該凝視點時逐漸降低，但也可基於相對於該定義點的方向，如此高於或低於該定義點時壓縮較多。吾人將了解，這允許在相對於該凝視點定位具有任意形狀的區域中使用相應的壓縮程度，並且這可以根據受壓縮內容的特定環境及/或性質來配置。例如，這允許圍繞該定義點的橢圓形、卵形或心形區域與周邊區域相比具有減少的壓縮量，從而在該使用者對任何壓縮物的感知將會更大的區域中優化影像品質。

從上文可了解，由於像素陣列內頻率分佈的固有差異，並且特別是基於對相應像素陣列具有最大幅度的特定頻率係數，每個像素陣列都進行不同的編碼。另外，可通過調整該編碼參數，特別是用於控制該處理的臨界來動態執行編碼，允許考慮外部因素，例如所需的壓縮程度、使用者的凝視等，從而依需要進一步增加或減少壓縮程度。

在一個範例中，該方法包括：針對具有一組位元數的頻率係數，在頻率係數對應至較高頻率之前，選擇對應至較低頻率的頻率係數。因此，例如，若對要編碼的位元總數存在限制，則這可能意味著僅對四個六位元頻率係數中的兩個進行編碼，在這種情況下，具有較低頻率的係數通常優先被選擇為對影像品質產生更大衝擊的係數。然而將了解，這並不重要並且可使用其他方式。

該索引通常指出在定義的序列中或在係數矩陣之內，每個已編碼頻率係數的位元數以及頻率係數的位置。例如，根據該矩陣之內一座標位置，或簡單根據一係數排序清單內一相對位置或一係數矩陣的Z字形遍歷，該索引可識別該頻率係數。利用根據一位置來識別該頻率係數，這將識別該係數所需的位元數最少化，同時確保在解碼時可正確識別該位元。

在這種情況下，可針對多個頻率係數指定位元數一次，允許反覆建構該索引，例如通過指定位元數n，然後列出具有該指定位元數n的每個已編碼頻率係數之位置。然後針對逐漸減少的位元數n 重複此步驟，直到完成該索引，例如當已經滿足該編碼參數時。也應了解，一索引可建構用於所有頻率係數，然後只有其中某些已編碼並且提供該索引的對應部分做為該壓縮影像料的一部分。

雖然該索引可在每次傳送時指定上述資訊，但是應了解，可重複某些索引，例如若影像中的特定像素陣列基本相同時。在這種情況下，該索引可代替一代碼，例如參考前一個像素區塊的索引，在這種情況下，該方法可包括決定指出該索引的一索引代碼並使用該索引代碼產生該壓縮影像資料。

在一個範例中，該索引指出每一頻率係數之值，雖然這並不重要，並且另外該索引可與該已編碼頻率係數分開儲存，例如提供這些當成各別資料結構。

頻率係數可以任何適當的方式編碼，並且這可包括將頻率係數編碼為原始位元序列(即沒有改變)、編碼頻率係數而不縮放及/或無有損編碼。在一個特定範例中，由於編碼該值所需的位元數是已知的，因此第一位元必須是「1」值(如果它是“0”則固有，可以使用較少位元數)，這意味著可省略該值，從而通過去除第一位元，使用n-1位元對具有n位元的頻率係數進行編碼。

然而，應了解，可使用其他形式的編碼，例如使用位元編碼方案，其中一些該已編碼頻率係數具有減少的位元數。這可例如通過縮放及/或省略較大位元數來實現。

因此，將縮放因子應用於至少一些頻率係數，可用於減小頻率係數幅度並因此減少要編碼的位元數。然後，當已執行解壓縮時可套用類似的縮放因子，藉此將各別頻率係數縮放回其原始幅度。在此處理期間，通常執行捨入，如此該已縮放的頻率係數為整數值，或具有有限數量的有效數據，藉此將用來編碼該等係數的位元數字最少化。吾人將了解，當執行時，該等重新建立的頻率係數之精準度會下降，但是這效果對於結果影像品質的影響可忽略不計。

此外，可使用較少位元數來編碼具有較小幅度的頻率係數，例如通過簡單減少所使用的位元數。雖然這同樣導致精確度下降，但與通過確保準確編碼較高幅度頻率係數所獲得之精確度相比，這是最小的。

另應了解，不同的編碼方案可用於不同的像素陣列，例如通過選擇多個編碼方案中之一，並使用所選擇的編碼方案對像素數據進行編碼。這允許根據因素，像是所需的壓縮程度，來選擇不同的編碼方案。如此例如，某些像素陣列不用縮放就可編碼，而其他則可縮放用於具有少於5位元的任何頻率係數。同樣，所使用的該編碼方案可指定為該索引的一部分，來幫助解碼。

在一個範例中，該影像資料定義複數個通道，並且其中該方法包括針對每一通道選擇性編碼頻率係數。通過單獨編碼不同通道，這允許對不同通道進行不同編碼，例如使用不同位元編碼方案，或忽略不同頻率係數。此外，單獨編碼通道可允許通道平行編碼，如此可大幅幫助縮短編碼執行時間，因此降低編碼延遲。

在一個範例中，該像素資料定義RGB通道，並且該方法包括將該等RGB通道轉換成亮度與色度通道YCbCr，並變換該等YCbCr通道。在此方面，人眼對於亮度與色度通道的感受並不同，允許色度通道使用較大壓縮程度來編碼，因此品質相較於該亮度通道較低，但無損所感受到的品質。如此在此範例中，該方法可包括針對該Y通道比該Cb或Cr通道選擇性編碼更多頻率係數，並且類似可包括針對該Y通道用超過該等Cb和Cr通道的位元來選擇性編碼頻率係數。

在進一步範例中，在該像素資料定義RGB通道之處，該方法可包括將該等RGB通道轉換成YCbCr通道，並利用編碼該等CbCr通道並使用該Y通道來產生該壓縮影像資料。實際上在此範例中，該Y通道並未有效編碼，表示保留該亮度通道內含的完整資訊。這在某些編碼場景中特別有用，例如當編碼顯示漸層的像素陣列時，這可幫助保留色彩變化，因此改善畫質，同時僅導致壓縮些微減小。

通常，當將RGB通道轉換為YCbCr通道時，並且另外當隨後變換YCbCr通道以產生各別頻率係數時，使用最小位元大小來執行轉換和轉變步驟。尤其是，使用高於原生位元數的萬元數對每個係數進行編碼，使得在計算頻率係數的步驟期間不存在細節損失。例如，當轉換為YCbCr並隨後計算頻率係數時，8位元RGB係數可視為10位元係數，以避免在此處理期間遺失資訊。應了解，隨後對頻率係數進行編碼及/或縮放，這不會增加壓縮資料的總幅度，但是避免編碼時資訊遺失，因此可導致改善的影像品質並且特別是減少了條帶。

然而，吾人將了解，這並非必需並且處理可另外在該等RGB通道內執行，在此案例中色彩轉換並非必要。這通常也避免損失精準度，並導致改善的影像品質。

如上述，該等不同通道可平行編碼。在此案例中，產生壓縮影像資料的該方法通常包括執行並行至序列（parallel to serial）位元組編碼，如此將該等頻率係數序列成一位元組串流，然後進行位元組編碼。

在這方面，位元組編碼可用來提供一額外無損壓縮步驟。這通常牽涉到代碼序列，其由解析該壓縮影像資料的一系列位元組形成部分、識別包含一些一致位元組的子序列，並且將該子序列替換成指出該等一致位元組之值以及該子序列內一些一致位元組之代碼來執行。在一個範例中，當一致位元組的子序列包括三或多個位元組時，該代碼包括二位元組，不過吾人將了解，應可使用其他合適的編碼方案。

雖然通常稱為運行長度編碼的代碼替換可以在任何位元組序列上執行，但是在一個範例中，該位元組序列為從該已編碼頻率係數形成的該位元流。在此方面，通常有許多該等已編碼頻率係數擁有零值，表示當將從該等已編碼頻率係數形成的該位元流當成位元組序列分析時，在序列內頻繁存在許多零值位元組。因此，通過將這些替換為一代碼，這允許減少位元組數量。

雖然可以從任何來源獲取影像資料，不過在一個範例中，該方法包括從一視頻饋送中，像是要顯示的一系列影像，獲取該像素資料。在另一個範例中，該方法用來當成數位實境系統的一部分，並且在一個特定範例中，用於無線傳輸數位實境內容，諸如增強實境、虛擬實境、混合實境，遠端呈現等。

在一個範例中，實現上述壓縮方案，以便基於目標壓縮程度執行各別像素陣列的動態壓縮。

尤其是在此範例中，使用目標壓縮程度搭配關於先前像素陣列實現的壓縮程度之資訊，來決定應當用於一或多個未來像素陣列的壓縮程度。尤其是，這用於選擇位元編碼方案，然後至少部分利用上述方法來編碼頻率係數，使得可優先編碼具有更高幅度的頻率係數，儘管這並非必需。在此情況下，然後產生要指出該已選取位元編碼方案的索引，因此允許執行對應的解碼。

在此方面，可根據該頻率係數的幅度以及所需的壓縮程度，來選擇不同的位元編碼方案。這允許針對一或多個像素陣列群組動態調整壓縮，使得群組中的像素陣列進行最佳編碼，同時確保在整個影像上獲得期望的目標壓縮。

底下將更詳細說明此方式的進一步特色。

在一個範例中，該方法用於利用透過至少一通訊網路與一無線通訊連結之一者，接收來自一計算裝置的該壓縮影像資料，在一可戴式數位實境頭戴組內顯示影像資料。這可包括從一電腦以無線方式將壓縮影像傳輸至其他類似裝置，或可包括從雲端計算環境將壓縮影像傳輸至本機裝置，像是頭戴式智慧型手機，允許使用雲端計算來執行影像建立。合適連接的範例，包括一有線GB網際網路、至行動電話的串流，例如透過行動通訊網路，像是3G、4G或5G網路，透過有線連接傳輸至一綁定HMD，或透過無線連接傳輸至未綁定HMD等。

另應了解，可使用上述系統，以幫助解壓縮壓縮影像資料。

例如，系統可使用上述的形式索引搭配該已解碼的頻率係數來重建一組頻率係數、一已定義的頻率係數序列及/或一係數矩陣。在一個範例中，此處理涉及解碼每個已編碼的頻率係數，決定每個頻率係數的位置，將該已解碼的頻率係數添加到該已定義的序列或係數矩陣中，並且將空值添加到至少該已定義序列和係數矩陣之一者內的空位置中。

在一個範例中，其中該索引已當成代碼發送，該方法包括從該壓縮影像資料決定一索引代碼，並從該索引代碼決定該索引。

通常，該方法包括不縮放及/或無有損解碼來解碼每個編碼頻率係數，其中執行該解碼的方式根據頻率係數的編碼方式而變化。

在一個特定範例中，通過簡單省略第一位元來編碼頻率係數(因為這總是設置為值「1」)，在這種情況下，該方法包括對於具有n-1位元的編碼頻率係數，通過添加一第一位元創建使用n位元的頻率係數。

然而，另外及/或替代地，可根據當編碼該頻率係數時使用的位元編碼方案，來使用一位元編碼方案。例如，這可包括再生對應於較小頻率係數的一些遺失頻率係數，通常為空值，允許應用後續的逆變換，如下面將更詳細說明。該方法也包括將一縮放因子套用到至少某些該等頻率係數，如此轉變已縮放的頻率係數。

如先前所說明，該影像資料通常定義複數個通道，而已編碼頻率係數選擇性單獨解碼每一通道。該等通道通常包括YCbCr通道，而該方法包括執行該等YCbCr通道的逆變換，並且將該等已變換YCbCr通道轉換成RGB通道。通常，該逆變換為一逆2-D離散餘弦變換，不過可使用其他合適的變換。吾人也將了解，若該Y通道尚未編碼，如上述，該方法可包括解碼該等CbCr通道，然後將該等已解碼CbCr通道和該Y通道轉換成RGB通道。如壓縮該影像資料的範例中，該方法通常包括比該Y通道產生更多頻率係數給該等Cb或Cr通道。

該方法也可包括平行解碼通道，在案例中壓縮影像資料通過序列至並列位元組解碼進行至少部分解碼，有效將該傳入位元組串流區分成單獨位元編碼頻率係數，然後平行進行解碼。

在也執行無損編碼的事件中，該方法通常包括識別序列位元組之內一代碼，並將該代碼替換成包含一些一致位元組的子序列。在此案例中，該代碼通常指出該子序列內該等一致位元組以及一些一致位元組之值。同樣，該子序列通常包括三個或更多位元組，必且該代碼包含兩位元組，不過也可使用其他合適的配置。通常在該壓縮影像資料上執行此處理，用此來產生該位元串流，然後用來建立該等已編碼頻率係數。

該已解壓縮資料也可進行進一步處理，像是使用一去區塊濾波器，用來在使用區塊編碼技術等等時，平順巨區塊之間形成的銳利邊緣。這又可以允許使用更高程度的壓縮，同時避免影像品質的相應降低。

在未來的範例中，像素資料經歷進一步修改以幫助減少條帶。在這方面，壓縮可從係數矩陣中去除較高頻率分量，這可在影像內產生均勻的色帶。為了減少此影響，可修改像素值以破壞這些區域的均勻性。

在一個範例中，這通過從壓縮影像資料決定一或多個影像之內像素陣列中像素的像素值來實現。然後，在量子化該已修改像素值來產生指出影像中像素陣列的像素資料之前，使用表示像素陣列中每一像素的修改器值之修改器陣列，來修改像素值。

可根據一或多個影像中像素陣列的位置、顯示資料、通訊鏈結資料、組態資料及/或內容資料來選擇修改器陣列，這可幫助最佳化所執行的修改。例如，可將修改最大化，其中可能出現均勻的像素區塊，或在使用者可感知到所產生的條帶區域中。

在一個範例中，修改器陣列對於影像內不同位置處的像素陣列並不相同，從而有助於減少導入附加偽像，而修改器陣列對於不同影像中相同位置的像素陣列通常相同，從而確保影像之間的一致性。

雖然可使用任何值，但在一個範例中，修改器值是偽隨機值。

修改器的使用也可與任何壓縮技術一起使用，並且不限於與第一A圖和第一B圖中描述的方法一起使用。如此應了解，此方式可提供本發明的一種替代態樣。

在進一步範例中，由一各別硬體組態執行上述方法，例如：壓縮影像資料可由包括一電子編碼器處理裝置的一編碼器來執行，其中該裝置從該影像資料獲得像素資料、執行一頻率變換、選擇性編碼至少某些該等頻率係數、產生指出該已編碼頻率係數的一索引，以及使用該已編碼頻率係數和該索引產生壓縮影像資料。

類似地，使用包括一電子解碼器處理裝置的一解碼器來執行該壓縮影像資料的解壓縮，其中該裝置獲得壓縮影像資料、從該壓縮影像資料決定一組已編碼頻率係數、執行該等已編碼頻率係數的位元解碼、使用頻率係數的該子集以及該索引來產生一組頻率係數，以及將一逆變換套用至該組頻率係數，來決定代表該等一或多個影像之內一像素陣列的像素資料。

在一個範例中，該設備包括無線通訊的一編碼器和一解碼器，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。在一個特定範例中，這可用來在例如HMD這類可穿戴式顯示裝置及/或像是行動電話這類可攜式裝置與一處理系統(並且在一個範例中為雲端型處理系統)之間提供無線通訊。此時將參照第二A圖來說明此範例。

在此範例中，像是適合程式編輯電腦系統、遊戲控制台等的一處理系統210經過改良來在一HMD 240上產生顯示內容。處理系統210通常通過接收來自該HMD有關該HMD姿勢的感測器資料，並且選擇性輸入來自一或多個各別控制器250的資料，來實現此目的。然後處理系統210根據該感測器及/或輸入資料來產生內容，通常為視頻資料的形式，其可從視頻卡等地方輸出。該視頻資料透過一無線通訊連結260傳輸至一編碼器220，其通過壓縮該影像資料來編碼該視頻資料，然後無線傳輸該壓縮影像資料至解碼器230。解碼器230將該壓縮影像資料解碼，並將該結果視頻資料提供給該HMD來顯示。

吾人將了解，此配置允許現有的電腦系統、遊戲機等以及HMD 210、240透過無線連接260相連，如此避免處理系統210與HMD 240之間有線連接的需求。如此例如一使用者可穿戴一HMD和相關解碼器，然後將該編碼器連接至其電腦系統或遊戲機，建構成一無線HMD配置。這可用於將傳統有線耳機轉換成無線配置。

然而這並非必需，或者處理系統210和HMD 240可設置成包括整合式編碼器與解碼器硬體，允許這些透過直接無線連接260來通訊，如第二B圖內所示。例如：在一電腦系統內可提供該編碼器，用於產生內容，而該解碼器可整合在智慧型手機內，例如Snapdragon 820 Hexagon DSP或類似裝置內，允許該智慧型手機接收並解碼從該電腦系統無線串流來的內容。在一個範例中，這允許該電腦系統串流過一本機無線連接，但在另一個範例中，這可用來透過一行動電話網路或類似網路，提供來自雲端型數位實境引擎的內容。

此時將參照第三圖來更詳細說明該硬體組態的範例。

此範例將用各別硬體編碼器與解碼器來例示，但是吾人將了解，這並非必需並且該相同技術可與整合式硬體結合使用。更進一步，雖然參照虛擬實境應用，同樣這並非必需，並且該技術可用來套用至其中要傳輸影像資料的任何環境，尤其是當要使用有限頻寬傳輸影像資料時，同時保持可接受的影像品質以及期望的延遲，像是在虛擬實境、增強實境或遠端發送應用中。

在此範例中，設備300再次包括一處理系統310、編碼器320、解碼器330以及HMD或類似形式的一顯示裝置340。此時將更詳細說明這些係數每一者。

在此範例中，處理系統310包括一個微處理器311、一記憶體312、一選配輸入/輸出裝置313，像是鍵盤及/或顯示器，以及如所示透過一匯流排315互連的一外部介面314。外部介面314可用於將處理系統310連接至周邊裝置，像是通訊網路、儲存裝置、週邊設備等。雖然顯示單一外部介面314，不過這僅為範例，並且實際上可提供使用許多方法(例如乙太網路、序列、USB、無線等等)的多個介面。在此特定範例中，該外部介面包括至少一資料連接，像是USB，以及視頻連接，像是DisplayPort、HMDI、Thunderbolt等等。

在使用中，微處理器311執行儲存在記憶體312內應用程式軟體形式的指令，允許執行所需的處理。該應用程式軟體可包括一或多個軟體模組，並且可在合適的執行環境內執行，像是一作業系統環境等。

因此，吾人將了解，可從任何合適的處理系統形成處理系統310，像是合適的程式編輯PC等等。在一個特定範例中，處理系統310為標準處理系統，像是Intel架構型處理系統，其執行儲存在非揮發性(例如硬碟)儲存設備內的軟體應用程式，不過這並非必要。然而，吾人也將了解，該處理系統可為任何電子處理裝置，像是微處理器、微晶片處理器、邏輯閘組態、選擇性關聯於實施邏輯的韌體，諸如FPGA (場可程式編輯閘陣列)、一專用積體電路(ASIC)、一晶片上系統(SoC)、一圖形處理單元(GPU)、數位信號處理(DSP)或任何其他電子裝置、系統或配置。

更進一步，雖然處理系統310顯示為單一實體，吾人將了解，實際上處理系統310應由多個實體裝置所形成，可選擇性分配在一些地理各別位置上，例如雲端環境一部分。

編碼器320通常包括一編碼器輸入緩衝區321，依序連結至一編碼器處理裝置322、一編碼器輸出緩衝區323以及一收發器324。提供一各別資料緩衝區325來連結至收發器324。

在使用中，影像資料，並且在一個特定範例中，視頻資料已接收，並且在送至編碼器處理裝置322進行壓縮之前，暫時儲存在輸入緩衝區321內。在此方面，該編碼器輸入緩衝區通常緩衝對應至該影像的接下來m -1列像素，然後接下來m 列像素之影像資料，因此獲得接下來m xm 像素區塊的像素資料。如此，從此可了解，該處理並未要求整個影像都緩衝，而是只有在開始處理之前先將m-1 列像素以及來自下一列的進一步m 個像素緩衝即可。一旦已經完成，則編碼接下來m個像素，重複此步驟直到已獲取並已編碼來自前m列像素的像素資料。然後針對該影像內後續像素列重複此處理，直到已獲取整個影像的像素資料，在此點上以類似方式處理下一個影像。m 值通常為整數並且可根據因素來設定，像是選擇規則、所需的壓縮程度、像素陣列的位置等。在一個範例m =8內，在此情況下該處理包括緩衝七列該影像的像素，然後緩衝下列像素的接下來八個像素，如此編碼器處理裝置322從其開始編碼之前的該已緩衝影像資料獲得接下來8x8像素區塊。

針對此方式的結果，該編碼器輸入緩衝區從來不需要儲存超過影像資。此外，針對已獲取像素資料，這可使用該編碼處理立即處理，即使在緩衝影像資料的接下來八個像素之前。這有兩個主要衝擊，換言之縮短處理時間，接著造成延遲顯著縮小，同時降低整體記憶體需求。

然後，該結果壓縮影像資料儲存在編碼器輸出緩衝器323內，例如依序通過編碼位元內的讀數，藉此透過收發器324，在傳輸至解碼器330之前，執行並列至序列位元組編碼。收發器324也調適成透過編碼器資料緩衝區325傳輸其他資料，像是接收自HMD 340的一感測器資料。

根據較佳具體實施例，緩衝區321、323、325可為任何合適的暫時儲存設備形式，並且在一個範例中，可包括高效能FIFO (先進先出)場記憶體晶片等等。該輸入緩衝區通常連接至HDMI連接埠、顯示器連接埠輸出或任何其他合適的視頻源，而資料緩衝區335連接至USB連接埠，藉此允許等效連接至該電腦系統。

收發器324可為任何合適形式，但是在一個範例中，允許該編碼器與該解碼器之間短程無線電通訊360，例如透過點對點直接WiFi^TM 連接、60 GHz無線技術等等。

處理裝置322可為能夠執行本文所說明該壓縮處理的任何裝置。處理裝置322可包括依照記憶體內儲存的軟體指令操作之通用處理裝置。然而，在一個範例中，為了確定適當的快速壓縮時間，該處理裝置包括設置成執行該壓縮處理的客製化硬體。這應包括選擇性關聯於實現邏輯的韌體，像是一FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU，Graphics Processing Unit)、一專用積體電路(ASIC，Application-Specific Integrated Circuit)、一晶片上系統(SoC，system on a chip)、數位信號處理器(DSP，digitial signal processor)或任何其他電子裝置、系統或配置。在較佳範例中，編碼器處理裝置322設置成執行每一DCT的各別通道並行處理，以及各別頻率係數的並行編碼。如此，雖然顯示單一編碼器處理裝置322，實務上，可提供各別編碼器處理裝置322來平行編碼每一該等通道，或另外可使用、一GPU或其他類似並行處理架構。在像是該Y通道這類通道未編碼的事件中，該編碼器處理裝置可在將該各別資料發送至編碼器輸出緩衝區323當中簡單導入一延遲，確定這仍舊與該等已編碼CbCr通道同步。

在上述範例中，編碼器320和處理系統310為分開的實體，但是應了解，在實際上並不必要如此，在一個範例中，該編碼器的功能在處理系統310之內的硬體內實現，像是在GPU等等內。

解碼器330通常包括一收發器334，其連結至一解碼器輸入緩衝區331，接著連結至一解碼器處理裝置332和一解碼器輸出緩衝區333。另外提供一各別資料緩衝區335，其連結至收發器334。

在使用中，透過收發器334從編碼器320接收壓縮影像資料，並且在送至編碼器處理緩衝區332進行壓縮之前，暫時儲存在輸入緩衝區331內。然後，該結果影像資料在傳輸至顯示裝置340之前，儲存在解碼器輸出緩衝區333內。收發器324也調適成透過解碼器資料緩衝區335傳輸其他資料，像是接收自顯示裝置340的一感測器資料。

根據較佳具體實施例，緩衝區331、333、335可為任何合適的暫時儲存設備形式，並且在一個範例中，可包括高效能FIFO (先進先出)場記憶體晶片等等。該輸出緩衝區通常連接至HDMI連接埠，而資料緩衝區335則連接至USB連接埠，藉此允許等效連接至該顯示裝置。

收發器334可為任何合適形式，但是在一個範例中，允許該編碼器與該解碼器之間短程無線電通訊360，例如透過點對點直接WiFi^TM 連接、60 GHz無線技術等等。

處理裝置332可包括依照記憶體內儲存的軟體指令操作之通用處理裝置。然而，在一個範例中，為了確定適當的低解壓縮時間，該處理裝置包括設置成執行該解壓縮處理的客製化硬體。這應包括選擇性關聯於實現邏輯的韌體，像是一FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU，Graphics Processing Unit)、一專用積體電路(ASIC，Application-Specific Integrated Circuit)、一晶片上系統(SoC，system on a chip)、數位信號處理器(DSP，digitial signal processor)或任何其他電子裝置、系統或配置。在較佳範例中，解碼器處理裝置332設置成執行每一DCT的各別通道並行處理，以及各別頻率係數的並行編碼。同樣，雖然顯示單一解碼器處理裝置332，實務上，可提供各別解碼器處理裝置332來平行編碼每一該等通道，或另外可使用、一GPU或其他類似並行處理架構。在像是該Y通道這類通道未編碼的事件中，該解碼器處理裝置可在將該各別資料發送至解碼器輸出緩衝區333當中簡單導入一延遲，確定這仍舊與該等已解碼CbCr通道同步。

顯示裝置340包括至少一個微處理器341、一記憶體342、一選配輸入/輸出裝置343，像是鍵盤或輸入按鈕、一或多個感測器344、一顯示器345，以及如所示透過一匯流排347互連的一外部介面346。

顯示裝置340可為HMD形式，因此提供於適當外殼內，然後可讓使用者佩戴，並包括相關透鏡，允許觀看到該顯示器，精通技術人士將會了解。

在此範例中，外部介面347經過調適，用來透過有線連接，將該顯示裝置正常連接至處理系統310。雖然顯示單一外部介面347，不過這僅為範例，並且實際上可提供使用許多方法(例如乙太網路、序列、USB、無線等等)的多個介面。在此特定範例中，該外部介面通常包括至少一資料連接，像是USB，以及視頻連接，像是DisplayPort、HMDI、Thunderbolt等等。

在使用中，微處理器341執行儲存在記憶體342內應用程式軟體形式的指令，允許執行所需的處理。該應用程式軟體可包括一或多個軟體模組，並且可在合適的執行環境內執行，像是一作業系統環境等。因此，吾人將了解，該處理裝置可為任何電子處理裝置，像是微處理器、微晶片處理器、邏輯閘組態、選擇性關聯於實施邏輯的韌體，諸如FPGA (場可程式編輯閘陣列)、一圖形處理單元(GPU)、一專用積體電路(ASIC)、一晶片上系統(SoC)、數位信號處理(DSP)或任何其他電子裝置、系統或配置。

感測器344一般用於感測顯示裝置340的方位及/或位置，並且可包括慣性感測器、加速度計等。可提供像是光感測器或近接感測器這些額外感測器，來決定目前是否正在佩戴該顯示裝置，而眼睛追蹤感測器可用於提供使用者凝視點的指示。

在上述範例中，解碼器330和顯示裝置340為分開的實體，但是應了解，在實際上並不必要如此，在一個範例中，該解碼器的功能在顯示裝置340之內的硬體內實現。

在一個範例中，該顯示裝置可因此為現有商業顯示裝置，像是HTC Vive^TM 、Oculus Rift^TM 或Playstation VR^TM 頭戴組，不過吾人將了解，這並非必需並且可使用任何合適的配置。例如，該顯示裝置可為行動電話或結合到可穿戴式耳機中的其他類似顯示裝置之形式，其中數位實境內容通過一或多個無線網路，從遠端電腦(例如雲端型系統)產生和提供。

此時將更詳盡說明該影像壓縮/解壓縮的操作範例。

為了該範例的目的，假設處理系統310正在執行產生顯示在顯示裝置340上內容的應用程式軟體，其中根據來自顯示裝置340上感測器345以及選配的其他感測器之感測器資料，動態地顯示內容，例如手持控制器或位置檢測系統(未顯示)，如精通技術人員將了解的。

由處理系統310所執行的動作，係由處理器311依照在記憶體312內儲存為應用程式軟體的指令來執行，及/或透過I/O裝置313或其他週邊(未顯示)接收自使用者的輸入指令來執行。顯示裝置340所執行的動作由處理器341依照在記憶體342內儲存為應用程式軟體的指令來執行。

編碼器320和解碼器340當成處理系統310與顯示裝置340之間的介面，允許影像資料顯示於顯示裝置340上之前壓縮、無線傳輸然後解壓縮，同時也允許感測器資料或輸入指令資料回傳至該處理系統。由編碼器320和解碼器330所執行的動作通常由各別處理裝置322、332根據已定義的程式編輯來執行，並且在一個範例中，根據一客製化硬體組態及/或嵌入式韌體內的指令來執行。

然而，吾人將了解，針對以下範例目的所假設的上述組態並非必需，並且可使用許多其他組態，例如：該編碼器與解碼器的功能性可直接內建在處理系統310與顯示裝置340之內。此外，該壓縮技術可套用至廣泛的其他場景中，包括在一或多個電腦系統上壓縮與解壓縮影像，不需要使用各別顯示裝置。然而，上述配置對於虛擬或增強實境應用、遠程發送應用等特別有利。

此時將參閱第四A圖至第四D圖說明壓縮與後續解壓縮影像資料的方法之程序。

在此範例中，在步驟400和402上，編碼器320從處理系統310接收代表一系列影像中一或多者的影像資料，並且將此資料暫時儲存在編碼器輸入緩衝區321內。接著分析該影像資料，例如通過解析該資料來識別限定標題的該資料內之旗標、識別一影像的開頭等等，在步驟404上獲取對應至該影像資料中接下來8x8像素區塊的像素資料。在此方面，當緩衝該資料時，該編碼器從該影像要求一初始8x8像素區塊，以便開始處理。因此，在開始處理之前，在編碼器輸入緩衝區321內填入一影像的頭七行像素，以及第八行像素的頭八個像素。隨著接收到接下來八個像素，接著處理接下來8x8區塊，然後重複到已經處理完該影像頭八列內所有像素。接著用類似方式處理接下來八列群組。

在步驟406上，決定一或多個影像及/或操作參數。這些參數用於決定應使用的壓縮程度，並且可用於控制壓縮處理的其他方面，例如是否要使用顏色空間轉換或縮放。影像和操作參數的性質將根該較佳實施方式而變化，並且另應了解，這些術語僅用於方便說明而無限制。

在一個範例中，該影像參數包括該等一或多個影像之內該像素陣列的一位置。該位置可以是該影像之內一絕對位置，使得例如影像邊緣附近的像素陣列可能需要較少的細節，在這種情況下可執行更大的壓縮。額外及/或此外，該位置係關於一已定義位置來決定，其可為至少部分指出該使用者的凝視點。所定義的位置可以基於凝視的實際測量點，其中從可穿戴式顯示裝置340內合適的感測器接收有關於此的資訊，或該使用者的預期或預測凝視點，例如通過假設使用者戶盯著該影像的大致中心，或基於內容，例如影像內的焦點、頭戴組的移動等來決定。此外，該定義點可偏離該凝視點，例如將此定位在該凝視點底下，來考量到個人傾向稍微聚焦在凝視點底下，避免走路時撞到障礙物。這可用於最小化凝視點附近區域中的壓縮程度，同時增加遠離凝視點之處(其中使用者對影像品質的感知較低)的壓縮。

操作參數可包括顯示裝置及/或傳輸系統的操作態樣，諸如耳機的可用頻寬或移動速率。在這種情況下，執行的壓縮等級取決於可用的頻寬，隨著頻寬下降，影像品質降低，以確保成功傳輸影像資料，而在耳機移動的情況下，更快的移動速率通常需要較少的影像細節但是較高的訊框率，這可通過增加壓縮程度來實現。應了解，根據性質和參數以及特定實施方式，可用各種方式決定這些操作參數。這可包括決定來自耳機或其他顯示器的參數，包括關於從內建或外部感測器導出的動作資訊、從傳輸系統決定的傳輸頻寬細節等。

在步驟408上，使用操作及/或影像參數決定一或多個編碼參數，其中編碼參數定義如何執行編碼處理，例如需要執行顏色轉換及/或特定臨界水平值。可以任何合適的方式決定編碼參數，例如使用影像及/或操作參數從查找表或類似物中取得該編碼參數。在這方面，查找表通常為預先設置並且定義將用於不同場景的相關值。例如，這通常將不同臨界值定義給該影像中的不同像素區塊位置，然後可基於諸如可用頻寬的操作參數，來定義要應用於臨界值的進一步偏移。

像素資料通常是多通道RGB資料的形式，並且可在步驟410上由處理裝置322選擇性將其轉換為YCbCr亮度和色度通道，這取決於由編碼參數定義的處理。然而，這不是必需的，並且更一般來說，若希望保持盡可能多的影像品質，則像素資料保持RGB格式。

在步驟412上，一2D DCT套用至每一通道，藉此將該等通道轉換至頻率領域。此處理可用已知的技術執行，並且在較佳範例中，由處理裝置322以並行度非常高的方式執行，藉此縮短處理時間。每一通道上的轉換處理結果為8x8矩陣，具有64個頻率係數，代表該各別影像通道內不同頻率係數的幅度。

在步驟414上，選擇下一個位元值n 。位元值通常設定為定義頻率係數值所需的最大位元數，其可包括8、9、10、11或12位元或更多位元，這取決於特定情況。在第五A圖的範例中，顯示包括多個頻率係數的矩陣，該頻率係數具有可由不同位元數量定義之值，包括0到8位元，由C₀ 至C₈ 表示。

在步驟416上，使用第五B圖中所示的Z字形遍歷路徑遍歷該係數矩陣，直到達到第一個8位元數C₈ 。此時，基於0到63之間的數字（代表沿著遍歷路徑距離的），或使用表示矩陣行列的0到7間之兩個值，來決定頻率係數的位置。應了解，在每一情況下，該位置可使用6位元來表示。

在步驟420上，建立該索引條目，其範例在第五C圖內以圖解顯示。

在此範例中，該索引包括欄501，其包括定義當前位元數n 的條目、表示一位置的第二欄502和表示頻率係數值的第三欄503。雖然在此範例中頻率係數值包括在索引中，但是應了解，這不是必需的，並且另外該索引和頻率值可在分開的資料結構中提供。

身為該處理的一部分，頻率係數通常經歷編碼。在這方面，第一頻率係數以7位元顯示，而第一位元可基於必須是值「1」而省略，否則頻率係數將是7位元值。然而，另應了解，可採用其他編碼方案來進一步減少位元數，例如通過縮放等，並且將不再進一步詳細描述這些處理。

在步驟422上，決定是否到達臨界。該臨界為定義可針對相應像素陣列編碼的總位元數之一位元臨界，允許嚴格控制所生成壓縮影像資料的總幅度。另外，該臨界可為多個頻率係數，意味著對一組係數進行編碼。

假設未達到總位元臨界，則處理前往步驟424，該處理裝置決定是否還有8位元係數C₈ 。若有，則該處理回到步驟416來選擇下一個頻率係數，允許使用上述處理加入至該索引。對於第五C圖內顯示的該範例應了解，此迴圈會重複三次，直到每一8位元係數C₈ 被索引，如列群組511所示。

一旦對該已知長度的所有頻率係數進行編碼，則在針對n 值重複步驟416至424之前，處理前往步驟426，以決定是否已達到n 值的臨界，如果沒有，則處理返回到步驟414，以選擇n 的下一個值。這繼續到到達n 臨界值的總位元臨界時。在第五C圖的範例中，將4之值設定為n 臨界，得到所示的索引結構，分別具有用於7、6和5位元群組的列群組512、513、514。

因此，應了解，使用上面定義的處理，遞迴搜索係數矩陣以獲得位元數n 的連續遞減值，直到達到極限。索引和頻率係數的結果位元數將取決於頻率係數的實際值，這對於不同的像素陣列將顯著變化。不同n 個臨界值所需的總位元數之範例顯示在下面的表格1中。若要編碼64個8位元字通常需要512位元，因此在這種情況下，很明顯只要編碼不小於4位元頻率係數，就會減少需要編碼的位元數。表格1

實際上，大多數係數矩陣具有更大數量有小值的頻率係數，因此位元數的減少要大得多，這意味著實際上可實現更大的壓縮。例示壓縮誤差幅度的圖式顯示於第六圖中。特別地，該圖表示係數矩陣中每個頻率係數編碼的平均位元數，以及平均誤差和標準誤差。這突出了隨著保留位元數的變化，影像品質平順過渡，從而可輕鬆調適改變壓縮程度，同時了解這對最終影像品質產生的影響。在一個範例中，該方法實現為提供具有13-512位元之間索引和已編碼頻率係數給每個區塊。

另應了解，當在矩陣中存在諸如10或12位元幅度頻率係數的較高位元頻率係數時，所獲得的壓縮程度相對較高，這意味著對於較高品質影像通常有益處。

不管獲得的該相對壓縮程度如何，另一個重要因素是保留最重要的頻率係數，特別是具有最高幅度的頻率係數，從而將對所得影像品質的影響最小化。

在上面的範例中，一旦識別出要編碼的頻率係數子集，就停止索引處理。然而應了解，這不是必需的，並且另外可針對所有頻率係數幅度遍歷整個係數矩陣，有效地建立所有頻率係數的索引。在這種情況下，可在建立索引之後套用該臨界，如此僅將所選頻率係數子集合併到該壓縮影像資料中。應了解，這有相同的結果，因此將不再進一步詳細說明。

一旦已經執行編碼，就可在步驟428上通過執行並行至序列位元組編碼，將索引和該已編碼頻率係數子集連接成一位元串流，特別是通過組合三個通道中每一者的索引和頻率係數。

在步驟430上，可通過解析該等位元組以識別相同位元組的子序列，來執行額外編碼，然後將這些子序列替換為代碼，以便執行代碼替換編碼。尤其是，此方式用於識別三個或更多一致位元組的子序列，然後替換成一代碼，不損失任何資訊。特別是針對大部分影像，在該結果編碼頻率係數內有零字串，在此該等已縮放的係數都捨入為零。因此，這些可用一代碼替換，其可由該解碼器識別，允許該解碼器重新***一致位元組的子序列。

雖然該代碼可為任何合適的形式，在一個範例中，該代碼包括識別該特定位元組為代碼的一標題，以及對應至一致位元組的值與編號之資訊。在較佳配置當中，使用布林OR運算將一2位元組代碼與一列(1-8)內零編號組合。在一個範例中，該零數字編號代表為N-1，如此0-7的數字與該2位元組代碼進行OR運算，如此只採用該第二位元組的3位元，例如：所使用的該代碼可為(1111 1111 ; 1111 1000)，其中該第二位元組根據零的數字與0-7進行OR運算。吾人將了解，類似方式可用於不同值。

此方式運作良好，因為該編碼很少導致連續數字超過或等於248之值，如此該解碼演算法可簡單搜尋具有255值的一個位元組以及具有值大於或等於248的後續位元組，將其識別為與已編碼頻率係數相反地代碼。然後用對應至具有由該第二位元中最後3位元所表示一系列零數字的該資料之位元組來取代此代碼。這可導致在根據最新測試的該位元編碼階段之後，資料可進一步縮小19-25%。

在執行代碼替換之後，在步驟432上輸出壓縮影像資料。尤其是，該壓縮影像資料通常儲存在輸出緩衝區323內，直到有足夠資料，此時建立一資料封包並由收發器324傳輸至該編碼器。

在步驟434上，解碼器330透過收發器334接收該已壓縮資料，然後儲存在解碼器輸入緩衝區331內。如上所述，該資料通過解析以識別資料內的代碼，在步驟438上執行序列到並列位元組編碼之前，在步驟436上用重複一致位元組的子序列代替這些代碼，以便重建該等三個顏色通道每一者的該索引和頻率係數。

在步驟440上，執行選擇性位元解碼，尤其是解碼該等已編碼頻率係數之每一者。應了解，在其最簡單的形式中，簡單涉及將「1」位元添加到每個該等已編碼頻率係數的開始處。然後根據該索引中已標識的位置，將該已解碼頻率係數***一頻率係數矩陣中。對於矩陣中的任何空白空間，然後在步驟444上應用一逆向2D DCT變換之前，由空值填充這些空白空間。若需要，在步驟446上將每一YCbCr通道的該已變換矩陣轉換成RGB通道，則允許在步驟448上輸出一8x8像素區塊，而允許由顯示裝置340渲染此區塊。

因此，上述處理可顯著減少每一8x8像素區塊編碼所需的影像資料量，因此減少整體影像量。尤其是，這通過選擇性編碼具有最大幅度的頻率係數，優先編碼這些頻率係數，並將其與索引一起發送，以允許再生係數矩陣來實現。這大幅增加可執行的編碼靈活性，特別是將逐區塊執行的壓縮最佳化。

根據區塊內容自動執行最佳化，特別是根據頻率係數的幅度選擇頻率係數，意味著預設選擇更重要的頻率係數。另外，頻率係數數量的選擇或已編碼的位元數可用於控制所得到的壓縮幅度。這允許在考慮該影像中區塊位置，以及顯示器及/或傳輸系統的操作參數之情況下執行壓縮。這使得能夠執行注視點壓縮，以及根據當前該硬體操作來將壓縮最佳化，例如根據可用傳輸頻寬將壓縮最佳化。

因此，上述配置提供有效的DCT動態位元編碼和索引方案，這特別適用於諸如無條帶串流傳輸高品質視訊的應用，例如用於數位實境應用，例如虛擬實境與增強/混合實境應用。

傳統的DCT壓縮，例如JPEG壓縮，通過在頻率係數矩陣中保留較低頻率係數來操作，在特定等級上丟棄較高頻率係數，與這些頻率係數的大小無關。通過以降低精準度為代價，來縮放係數可實現進一步壓縮。這種方法在數位實境應用中屬於次優，其中影像為動態，具有變化很大的內容。尤其是，這種壓縮方式會造成條帶問題。

因此，上述方法通過在DCT矩陣中保留較大值來尋求保持DCT係數之精準度，來避免這種情況，DCT矩陣在最終影像的品質中有更重要的作用，並且可通過最小化顏色空間轉換(例如從RGB到YCbCr並返回到RGB)引起的精準度損失，選擇性通過最小化來尋求進一步的改進。

在這方面，由於不可能預先知道較大幅度係數的位置，因此識別最大幅度係數，運用產生的該索引以識別矩陣中這些係數的位置。該索引可作為該壓縮影像資料的一部分進行傳輸，並用於在解壓縮期間重建矩陣，從而避免遺失較大幅度的分量。這與已集中於保留較低頻率係數並且丟棄較高頻率係數的傳統方法形成對比，傳統方法又可能導致較高幅度頻率係數的損失。

特別是在條帶化的背景下，上述方法避免損失較高幅度係數、減少條帶效應，並且通過避免顏色轉換步驟的精準度損失來實現進一步改進。儘管可選擇性避免顏色轉換步驟，但是其係針對整性而提供，並且通常包含與否將取決於具體實現以及顏色轉換是否強制。例如，許多影像處理系統都具有RGB ＜ - ＞ YCbCr轉換處理，因此可能需要顏色轉換步驟。另外，轉換到替代顏色空間有助於壓縮，允許色度通道的壓縮程度高於亮度通道，因此如果需要進一步壓縮，這是有益的。但是，轉換到替代顏色空間會導致喪失精準度，具體取決於轉換後像素的表示(例如：如果將8位元轉換為8位元整數)，可能會讓使用者看見一些條帶，因此顏色空間轉換通常不偏好。

為了保留較大幅度的頻率係數，系統採用優先等級和索引框架，其中首先發送最重要係數，然後是越來越不重要的係數，發送的係數數量係根據因素來控制，例如所需的壓縮程度、可用頻寬等。因此，該方法允許每個像素陣列的位元數根據應用而增加或減少，並且結果是針對最少數量位元發送最重要的值。這對於本文件內說明的不同應用範例具有重要的益處。

該方法通常涉及從最高位元值數(例如8位元數)開始，在該係數矩陣內從1級到整個表搜索這些值，通常遵循Z字形圖案。對於每個頻率係數，對數字進行編碼，並且記練索引位元以表示頻率係數的位置。如該處理的一部分，由於每個已識別頻率分量具有定義的位元數，因此可移除有效位元以節省位元，例如將8位元數編碼為包括符號的7位元。在所有最高位元數都已編碼之後，可依次對較低位元值數重複該處理，即：7、6、4、3、2、，對表中所有數進行編碼而不會喪失任何精準度。

下面列出一種可能實現的偽代碼。循環(每個位元數重複8到2位元); 7循環：N = 8到2 a. 找尋數 +/- ＜ (2^N) 和＞= (2^(N-1)) (找尋DCT矩陣內所有N位元數)於係數2-64內( 所有等級 ) i. 如此對向量進行比較，並根據值是否存在，將結果向量設置為0或1 (有效表向量) ii. 如上述，AC係數為+/-，因此在沒有符號位元的情況下執行檢查，然後在表示中包括該位元 iii. 對於將符號位元儲存為一單獨向量可能有用 b. 取得值數(表示為M-1) [6位元] i. 如果沒有找到值，則將[0] (1位元)附加到輸出並移至下一個循環反覆 c. 產生一索引(0-63) [6位元]，根據以下係數順序在向量內定義位置： i. 執行Z字形遍歷以向量形式列出係數，從而建立查找表，該表可支援所有符號數的索引 ii. 取向量並從SECOND值(第一個AC係數)開始，並建立一個63值長數(int 16類型) d. 資料： i. 將資料儲存為(VALUE-1) [大小N-2位元] ii. 備註：資料從最高(第一)位元移除，因為其總是具有最高位元集合 iii. 備註：對於2位元數，沒有發送資料位元，只有符號位元，其可在解碼端上建立+/- 1值 e. 封裝資料 i. [1 (資料發現)] [數值 - 1 (6位元)] [第一索引(6位元)] [第一符號位元(1位元)] [第一資料(N-2位元 - 6、5、4、3、2、1位元)] … [最低有效位元(6位元)] [最低符號位元(1位元)] [最後資料(N-2位元 - 6、5、4、3、2、1)] f. 重複數位元值8到2

在編碼之後，可以發送最高有效頻率分量，同時可丟棄不同數量的最低有效頻率分量，以獲得顯著程度的壓縮。應了解，這允許根據要實現的壓縮比，來調整所傳輸的頻率分量數量。

另應了解，可將各種方法用於上述以及隨後通過通訊媒體發送的該等位元之封裝化。

尤其是，以上允許實現固定或動態位元編碼方案。該固定情況使用預定義規則，來提供位元數的輸出來傳送每像素陣列，而在該範圍之外的位元則丟棄。此範例涉及根據像素陣列遠離使用者眼睛位置的距離，來保持每像素陣列的固定位元數。這可用來提供注視點壓縮。

相較之下，動態編碼使用有關位元編碼處理的資訊，其中每個像素陣列由需要多少位元才能完全表示該像素陣列來表示，例如取決於像素陣列內容的複雜性。在此情況下，可動態編碼每個像素陣列，如此更複雜的像素陣列給予比其他像素陣列更多的位元分配。

此時將更詳盡說明使用一修改器陣列來降低頻寬之範例。針對說明目的，以下範例將討論對單一影像的影響，但是應了解，這可套用於單一離散影像或形成運動視訊訊框的影像，該訊框將經歷有損壓縮和解壓縮，用於例如以低於原始視訊的資料率發送該已壓縮視訊之目的。更進一步，為了簡化文件，將顯示關於4×4像素區塊的範例，但是該方法可應用於任何區塊大小。

在一般顯示器的情況下，其表示每顏色分量具有N 位元像素，顏色分量的值僅可在完整範圍的1/2^N 之離散步驟中改變。當在單個影像中並排觀察兩個顏色區域時，人眼可注意到這種分散的值變化當成可見步階或條帶。

在大區域上包含慢色淡入的影像區域中，離散像素值之間的步階導致視覺色帶的外觀，稱為條帶偽像。

為了避免出現條帶偽影，通常以抖動方式從一個像素值過渡到另一個像素值，從而打破從一個值過渡到另一個值的尖銳邊緣。這導致影像以增加噪訊為代價減少可見的條帶偽影，結果總體上感知到的視覺品質更高。

然而，有損影像壓縮和解壓縮通常導致高頻資訊遺失，這意味著遺失了相鄰像素值之間的小差異。在考慮影像小方形區域的區塊型壓縮方案中，像素之間的小差異可能遺失，導致整個區塊被解碼為對所有像素具有相同的值。這具有消除或平均添加到該來源影像的抖動噪訊之效果，導致條帶偽影再現。此外，像素值變化傾向於與區塊邊界對齊，從而導致可見的區塊偽影以及條帶偽像。

為了避免這種區域在影像中變得明顯，當前的方法使用修改來調整像素值，這反過來導致將區塊中的一些像素設置為稍高或稍低之值，以重建抖動效果並打破明顯的視覺邊界。在一個範例中，這通過在該輸出像素值量子化成其最終表示之前，在影像資料解壓縮時將偽隨機噪訊添加到該影像資料來實現，但是應了解，可使用任何合適的修改。

修改器陣列通常是影像上的固定圖案，對於不同的區則不同，但是對於每個視訊訊框而言在圖像上是相同的。實際上，這可使用線性反饋位移暫存器來實現，該暫存器使用已解碼區塊的螢幕坐標進行初始化。該位移暫存器的輸出可用於在ROM中查找值，以調整添加到正在解碼的像素中偽隨機值之統計分佈。

第七A圖至第七C圖例示對區塊內像素值進行有損壓縮的正常影響。第七A圖內所示來源區塊主要具有值1的像素，只有一些值2。在有損壓縮期間，關於值2像素位置的資訊遺失，而平均值則保留給所有像素，如第七B圖內所示。在最後階段中，必須將像素值舍入(量子化)為整值，得到第七C圖中所示的最終區塊，其中所有像素具有相同的值。

相較之下，在當前的方式中，在解壓縮期間使用修改器陣列修改像素值，如第八C圖內所示。為實現這一點，如前所述壓縮第八A圖的原始像素陣列，如第八B圖所示。然後將得到的陣列與第八C圖的修改器陣列組合，以建立如第八D圖所示的已修改像素陣列，其中一些像素值增加而其他像素值減小。在執行量子化之後，最終像素陣列包含與陣列中其他像素不同的一些像素值。

這對邊界的影響如第九A圖至第九D圖內所示。

尤其是，在此範例中，跨越邊界的連續四個像素陣列顯示於第九A圖中。這些在壓縮期間被平均，導致壓縮陣列如第九B圖內所示。執行傳統的解壓縮方式，這些方式被量子化，產生如第九C圖所示的明顯邊界。相較之下，套用上述修改方式操作來打破邊界，如第九D圖內所示。

因此，該方式可與先前描述的方式結合使用或獨立於前述方式使用，以便減輕由影像壓縮導致的條帶。

如前所述，在一個範例中，可結合頻率係數的縮放來執行上述技術，較佳是，執行該技術以便針對每個像素區塊，動態調整壓縮程度。此時參閱第十A圖和第十B圖，更詳細說明此範例。

在此範例中，在步驟1000上，從影像資料獲得像素資料，該像素料資料通常代表該等一或多個影像之內一像素陣列。用任何合適的方式可獲得像素資料，如上面關於步驟100的範例。

在步驟1005上，已決定一目標壓縮程度。這指出所需的壓縮程度，並且可與關於先前像素區塊的壓縮資訊一起使用，以在步驟1010上選擇位元編碼方案，然後可用於編碼一或多個像素區塊，底下將有更詳細說明。

在步驟110上，對該像素資料套用一變換，以決定指出該像素陣列的頻率分量之一組頻率係數。這通常通過執行2D DCT來實現，如先前例如關於步驟110所說明的。

在步驟1020上，已編碼頻率係數。可對頻率係數進行編碼，如此選擇頻率係數的子集，以便通常通過選擇具有最高幅度的頻率係數，來最大化已編碼的頻率資訊之有效性。此外及/或另外，可通過縮放頻率係數來執行編碼。在此方面，通常一些位元編碼方案通過平行執行縮放以及選擇性編碼頻率係數來操作。然而，另應了解，根據所需的壓縮程度，在一些範例中，位元編碼方案可僅執行頻率係數的縮放，或者可僅執行所選頻率係數的編碼，這取決於該較佳實施方式。

在步驟1025上，已產生索引，該索引至少部分指出所選擇的位元編碼方案，並且選擇性指出該縮放因子及/或已選擇並編碼的縮放係數。在此方面，應了解，可用類似於先前描述的方式來產生該索引。

在步驟1030上，已產生壓縮影像資料並根據需要提供，例如通過將該壓縮影像資料發送到解碼系統，該系統在步驟1035上接收該壓縮影像資料，並且在步驟1040上操作以解碼頻率係數。

為了實現這一點，解碼器將根據該壓縮影像資料決定該索引，並用來識別在壓縮期間使用的位元編碼方案。然後，這允許解碼器產生一組頻率係數，並且如果在步驟1045上需要，則可選擇性應用縮放因子來對頻率係數進行解縮放。在此之後，在步驟1050上可應用逆向2D DCT變換，然後在步驟1055上用於產生影像資料。

因此應了解，上述配置提供一種機制，以便根據目標壓縮程度陣列目標動態壓縮各個像素陣列，從而可根據多個位元編碼方案之一者對像素區塊進行差異編碼，這允許執行頻率係數縮放或選擇性頻率係數編碼中的一或多者，以便維持整體目標壓縮，同時最佳化所得到的影像品質。

此時將描述一些進一步特色。

可以多種方式中的任何一種來選擇位元編碼方案，並且這通常會將多個先前像素陣列的累積位元總數列入考慮。在一個特定範例中，這將影像的累積位元總數和目標壓縮程度或目標位元率列入考慮。因此在這種情況下，可計算一組先前像素陣列的總位元數，例如10、50、500、1000、5000、10000等，然後量身定制當前像素陣列的壓縮，以確保維持整體位元率。

以先前所述類似的方式，另可根據其他因素來調整目標壓縮程度，例如一或多個影像內的像素陣列位置、從顯示裝置接收的顯示資料、指出無線通訊鏈結操作的通訊鏈結資料、指出顯示裝置組態的組態資料或指出關聯於一或多個影像的數位實境內容之內容資料。

由此可了解，這允許根據總體目標位元率以及諸如影像內像素陣列位置、可用的通訊頻寬等之類的因素，通過最佳化在每個像素陣列上使用的壓縮，確保足夠的整體壓縮，來調整單一及/或像素陣列群組的壓縮程度。

在一個特定範例中，針對多個先前像素陣列來決定累積的位元總數，如果累積的位元總數超過累積的位元總臨界，則決定用於先前像素陣列數的壓縮程度，使用該壓縮程度以及該目標壓縮程度來選擇位元編碼方案，不過應了解可使用其他方式。

雖然上述處理可以通過如先前所描述那樣對頻率係數的子集進行編碼來單獨執行，但是額外及/或另外，這可通過利用縮放因子縮放頻率係數來實現。在一個較佳範例中，根據已縮放係數的幅度，兩種方式與已縮放的頻率係數然後已編碼的該已縮放頻率係數之選取子集結合使用。

在一個特定範例中，該方法涉及識別最高幅度頻率係數、計算將最高幅度頻率係數減小到目標位元數所需之最小縮放因子，然後使用該最小縮放因子或較大縮放因子縮放頻率係數。這可用於例如確保所有頻率係數減小到七位元或更小幅度、選擇最高幅度係數以形成該壓縮影像資料，儘管可了解係數矩陣中的第一係數，通常被稱為DC係數，可從此處理中排除，允許DC係數無縮放發送，例如當成八、九、十或十一位元數，這取決於該較佳實施方式。保持未縮放的DC分量可顯著改善所得的影像品質，例如通過減少條帶的影響。

在一個特定範例中，通過選擇多個位元編碼方案之一者來實現上述處理，其中每個位元編碼方案定義可用的縮放因子和一或多個位元臨界。在此範例中，然後使用至少是最小縮放因子的可用縮放因子之一來縮放頻率係數，然後根據位元臨界對縮放的頻率係數進行編碼，例如通過僅編碼具有比位元臨界更多位元的頻率係數及/或丟棄具有比位元臨界更少位元的縮放頻率係數。

因此應了解，在此範例中，位元編碼方案定義位元臨界和縮放因子的組合，其可用於實現不同的壓縮程度。然後可根據陣列目標來選擇用於任何各別像素陣列的位元編碼方案，而該陣列目標又取決於多個先前像素陣列的累積位元總數。

在一個範例中，每個位元編碼方案為不同顏色通道定義相應的位元臨界，特別是對於亮度和色度通道。通常，這包括色度通道的位元臨界高於亮度通道的位元臨界，使得色度通道比亮度通道丟棄更多的頻率係數。這有助於保留觀看影像的個人所感知之影像內資訊，從而保持影像品質。另外如先前所述，當轉換顏色通道並產生頻率係數時，通常使用更高的精準度水準來處理係數，例如使用10位元來編碼8位元係數，從而避免舍入不精確性。

因此，在一個範例中，該方法包括將變換應用於像素數據、計算最小縮放因子、選擇位元編碼方案、縮放頻率係數，然後根據各別顏色通道的位元臨界對已縮放頻率係數子集進行編碼。

在一個較佳範例中，該方式涉及從位元編碼方案的一已排序清單中選擇一位元編碼方案，該清單已經排序來提供逐漸增加的壓縮。這允許根據所需壓縮程度進行初始位元編碼方案選擇，其中根據滿足陣列目標所需的壓縮，針對不同區塊群組改變所選方案。

通常通過增加可用縮放因子的幅度，減小最低可用縮放因子和逐漸增加位元臨界，來實現壓縮的逐漸增加。可使用的縮放因子可為一個、兩個、四個或八個中的任一或多者，但是應了解，可適當地選擇其他因素。類似地，位元臨界可為一個、兩個、三個、四個、五個或六個中的任一或多者，但是根據特定實現可再次使用其他臨界。

應了解，可利用與上面分別與第一A圖至第十圖描述的特徵和硬體類似的特徵和硬體來執行上述技術，因此將不再進一步詳細描述這些特徵。

現在將參考第十一A圖至第十一D圖和第十二A圖至第十二E圖來描述編碼方式的更具體範例。

在此範例中，在步驟1100上接收影像資料，然後在步驟1110上獲取下一個8×8像素區塊(陣列)之前，在步驟1102上緩衝所接收的影像資料。應了解，這些步驟基本上類似於第四A圖至第四D圖範例中的步驟400至404所執行之步驟，因此將不再進一步詳細描述這些步驟。

在獲取像素陣列之前，在步驟1104上，可選擇性確定多個先前像素陣列的當前壓縮程度，例如在已編碼一定數量的像素陣列之後，或者當累積位元總數時，這是用於編碼多個先前像素區塊的總位元數，達到臨界，如下面將有更詳細的描述。

在步驟1106上，已決定目標壓縮程度，其表示應當保持用於壓縮當前影像或影像當前部分之平均壓縮比。可根據各種因素來設置目標位元率，但是最典型是根據編碼器和解碼器之間的無線通訊鏈結傳輸能力來設置，並且特別是根據可用頻寬、延遲及/或所需服務品質來設置，但也可根據影像中當前像素陣列位置，例如壓縮影像的周邊部分而不是影像的中心焦點部分。

在步驟1108上，已選擇位元編碼方案。尤其是，從已排序清單中選擇下一位編碼方案，根據當前壓縮程度是高於還是低於目標壓縮程度，選擇該方案以提供比先前選擇方案更多或更少的壓縮。在這方面，位元編碼方案清單通常包括提供逐漸更高壓縮的位元編碼方案清單，使得朝向清單頂部的方案具有最小縮放因子，而對於在清單底部的方案則增加縮放因子。因此，可依照需求將清單往上或往下移動來選擇下一個方案。

底下表格2內描述這種清單的範例。在這種情況下，假設選擇位元編碼方案8或更高，則將使用4或8的縮放參數，以便能夠實現期望的縮放程度。表格2

一旦選擇位元編碼方案並獲取像素陣列，則在步驟1112上，將RGB通道轉換為亮度和色度通道，其中在步驟1114上將2D DCT應用於每個通道，其方式類似於先前關於步驟410和412之描述。

在步驟1116上，對每個係數矩陣內的頻率係數進行排序，用此排序在步驟1118上識別最高幅度的頻率係數。然後在步驟1120上，通過計算所需縮放因子來決定最小縮放參數，以便將最大幅度係數的幅度減小到低於設定量。尤其是，在一個較佳範例中，這將最大幅度係數的幅度減小到127以下，使得可使用七位元來編碼。然而應了解，根據較佳實施方式，可使用63或更低的替代數字。

在步驟1122上，通過首先縮放頻率係數然後選擇用於編碼的該已縮放頻率係數，來對頻率係數進行編碼，這用於在步驟1124上創建一索引條目。在步驟1126到1130中，可執行並列到序列位元組編碼以及選擇性代碼替換，允許以與上面關於步驟428到432描述類似的方式輸出壓縮影像資料。

在步驟1132上，決定多個先前像素陣列的累積位元總數，這用於在步驟1134上評估是否已超過累積位元總臨界。若否，則處理回到步驟1110來獲取下一個像素陣列。否則處理回到步驟1104，來決定壓縮率並如上述選擇位元編碼方案。因此應了解，在創建一定數量的壓縮位元之後，已選擇新的位元編碼方案。此時，將檢查這些區塊的累積壓縮比，並重新選擇位元編碼，以便在需要時進行更改。

應了解，這允許對多個區塊進行編碼，其中位元編碼方案根據所產生壓縮影像資料的總量而動態更新。因此，對於實現較少壓縮的影像區域，位元編碼方案可更快地切換，以幫助確保最佳化所選方案。一般而言，已選擇累積位元總臨界，使得位元編碼方案在無線封裝的大小內改變若干次，以控制將通過無線系統發送的位元率，並確保沒有壓縮比峰值或大幅變化。

然而另外，可在已處理設定數量的區塊之後重新選擇位元編碼方案。這可包括單一區塊，儘管系統通常不太穩定，因此通常會使用更多數量的區塊。

在步驟1136上，解碼器接收壓縮影像資料，其中在步驟1138和1140上執行選擇性代碼替換和序列到並列位元組編碼，其方式類似於上面關於步驟434到438所描述之方式。

在步驟1142和1144上，於步驟1146上使用縮放因子縮放該已重建頻率分量之前，以與上面關於步驟440和442描述類似的方式執行係數矩陣的選擇性位元解碼和重建。

在此之後，在步驟1148上將逆變換套用至頻率係數，其中在步驟1150上將色度和亮度通道轉換為RGB通道，並且以與上面關於步驟444至448所描述類似的方式，在步驟1152上輸出8×8像素區塊。

此方式的結果範例顯示於第十二A圖至第十二H圖。

尤其是，第十二A圖顯示包括兩個影像區域1201、1202的範例影像，其中有跨越影像延伸的條帶。

在第十二B圖中，顯示整體壓縮比，因為對於整個影像中的連續區塊來逐漸壓縮該影像。在這方面，值得注意的是，當壓縮比逐漸增加時，壓縮比最初約為0.76，並且隨著影像上的壓縮進展，平均值大約是0.805。所使用的位元編碼方案變化如第十二C圖所示，每個像素區塊的壓縮程度如第十二D圖所示。

這展示出位元編碼方案如何在區塊已壓縮時改變，並且突顯出位元編碼方案1到4優先用於編碼該影像的天空區域，而每個像素區塊的壓縮仍然約束在0.75與0.9之間。

條帶1201、1202的壓縮分別顯示於第十二E圖和第十二F圖以及第十二G圖和第十二H圖中。尤其是，這顯示出使用位元編碼方案1至4優先壓縮天空，而通常使用壓縮方案4至7壓縮岩石。

在此特定範例中，位元編碼方案1至4通常使用較少的縮放，如果需要，通過丟棄頻率分量來實現壓縮。其原因在於天空區域傾向於具有相對恆定的顏色和飽和度，這表示頻率係數矩陣由通常具有小值，但是在整個矩陣上具有相對恆定值的頻率係數來形成。因此，單獨最小的縮放足以提供必要的壓縮，而不需要省略頻率係數。

相較之下，在壓縮條帶1202中的岩石特徵時，影像內容存在許多變化，這表示存在高幅度頻率係數，使得縮放需要更積極。

通過減少跨區塊中顏色變化最小的區域之縮放，如此顯著減少使用更傳統壓縮技術所獲得的帶狀偽像。然而，通過動態調整所使用的位元編碼方案，系統能夠保持總體期望的壓縮程度，同時允許以最適當方式壓縮不同類型的內容，從而避免壓縮偽象，並因此維持影像品質。

在所有上述範例中，係數矩陣中的第一係數(通常稱為DC係數)可從該處理中排除，根據較佳實施方式允許DC係數當成八、十或十二位元數發送。

在本說明書和以下申請專利範圍中，除非上下文另有要求，否則文字「包括」以及諸如「包括」或「包含」之類的變體將被理解為暗示包括所述整數群組或步驟，但不排除任何其他整數或整數群組。如本文所用並且除非另有說明，術語「大約」表示±20％。

必須注意，如本說明書以及隨附申請專利範圍中所使用，單數形「一(a、an)」以及「該(the)」涵蓋具有複數個指稱物的實施例，除非上下文明確另有所指。因此，例如，對「處理系統」的引用包括複數個處理系統。在本說明書和隨後的申請專利範圍中，將參考許多術語，並且除非相反的意圖是顯而易見的，否則這些術語將定義為具有以下含義。

精通技術人士將了解，許多變化和修改將變得顯而易見。精通技術人士應了解的所有這些變化和修改，都應落在上述本發明中廣泛的精神和範疇內。

210‧‧‧處理系統

360‧‧‧短程無線電通訊

240‧‧‧頭戴式顯示器HMD

331‧‧‧解碼器輸入緩衝區

220‧‧‧編碼器

332‧‧‧解碼器處理裝置

230‧‧‧解碼器

333‧‧‧解碼器輸出緩衝區

250‧‧‧控制器

334‧‧‧收發器

260‧‧‧無限通訊鏈結

335‧‧‧資料緩衝區

300‧‧‧設備

341‧‧‧微處理器

310‧‧‧處理系統

342‧‧‧記憶體

320‧‧‧編碼器

343‧‧‧輸入/輸出裝置

330‧‧‧解碼器

344‧‧‧感測器

340‧‧‧顯示裝置

345‧‧‧顯示器

311‧‧‧微處理器

346‧‧‧外部介面

312‧‧‧記憶體

347‧‧‧匯流排

313‧‧‧輸入/輸出裝置

501‧‧‧欄

314‧‧‧外部介面

502‧‧‧第二欄

315‧‧‧匯流排

503‧‧‧第三欄

321‧‧‧編碼器輸入緩衝區

511-514‧‧‧列群組

322‧‧‧編碼器處理裝置

1201‧‧‧影像區域

323‧‧‧編碼器輸出緩衝區

1202‧‧‧影像區域

324‧‧‧收發器

325‧‧‧資料緩衝區

請參閱附圖，說明本發明的許多範例具體實施例，其中：

第一A圖和第一B圖為用於壓縮以及後續解壓縮影像資料的一方法之範例流程圖；

第二A圖為用於在一可穿戴式裝置上顯示影像的一設備之第一範例示意圖；

第二B圖為用於在一可穿戴式裝置上顯示影像的一設備之第二範例示意圖；

第三圖為用於壓縮與解壓縮影像資料的一虛擬實境系統合併設備之特定範例示意圖；

第四A圖至第四D圖為用於壓縮以及後續解壓縮影像資料的一方法特定範例之流程圖；

第五A圖為係數矩陣範例的示意圖；

第五B圖為第五A圖中係數矩陣的橫越路徑範例之示意圖；

第五C圖為第五A圖中係數矩陣的一索引之位元結構範例之示意圖；以及

第六圖為例示針對不同頻率分量選擇所獲得的該壓縮誤差範例之圖式；

第七A圖為一像素陣列的範例；

第七B圖為根據第七A圖中該像素陣列的一已壓縮像素陣列範例；以及

第七C圖為根據第七A圖中該像素陣列的該已解壓縮像素陣列範例；

第八A圖為一像素陣列的範例；

第八B圖為根據第八A圖中該像素陣列的一已壓縮像素陣列範例；

第八C圖為一修改碼陣列的範例；

第八D圖為根據第八A圖中該像素陣列的一已修改壓縮像素陣列範例；

第八E圖為根據第八A圖中該像素陣列的一已解壓縮像素陣列範例；

第九A圖為一像素陣列數的範例；

第九B圖為根據第九A圖中該像素陣列的已壓縮像素陣列範例；

第九C圖為根據第九A圖中該像素陣列的已解壓縮像素陣列範例；

第九D圖為根據已修改壓縮像素陣列的已解壓縮像素陣列範例；

第十A圖和第十B圖為用於壓縮以及後續解壓縮影像資料的一方法之進一步範例流程圖；

第十一A圖至第十一D圖為用於壓縮以及後續解壓縮影像資料的一方法之進一步特定範例流程圖；

第十二A圖為一壓縮影像的範例；

第十二B圖為例示用於第十二A圖中該影像壓縮的一整體壓縮率之圖式；

第十二C圖和第十二D圖為例示用於第十二A圖中該影像的像素區塊壓縮之一已選取位元編碼方案以及對應壓縮率的圖式；

第十二E圖和第十二F圖為例示用於第十二A圖上該影像第一位置的像素區塊壓縮之一已選取位元編碼方案以及對應壓縮率的圖式；以及

第十二G圖和第十二H圖為例示用於第十二A圖上該影像第二位置的像素區塊壓縮之一已選取位元編碼方案以及對應壓縮率的圖式。

Claims

一種將代表一或多個影像的影像資料壓縮之方法，該方法包括： a) 從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列； b) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； c) 編碼該組頻率係數的一選取子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 d) 產生指出該等已編碼頻率係數的一索引；以及 e) 使用該等已編碼的頻率係數和該索引來產生壓縮影像資料。
如申請專利範圍第1項之方法，其中該方法包括： a) 選擇具有n位元的頻率係數，其中n為一開始設定為最大位元數的一整數；以及 b) 選擇具有逐漸減少n 位元值的頻率係數。
如申請專利範圍第1或2項之方法，其中該方法包括選擇具有逐漸變小位元數的頻率係數，直到滿足一或多個編碼參數。
如申請專利範圍第3項之方法，其中該等一或多個編碼參數包括至少一個臨界值，並且其中該方法包括編碼頻率係數直到至少以下之一： a) 已編碼頻率係數的一數達到一係數編號臨界值； b) 該等已編碼頻率係數的一位元數達到一位元臨界值；以及 c) 該等已編碼頻率係數的一位元總數達到一位元總臨界值。
如申請專利範圍第1至4項任一項之方法，其中該方法包括選擇頻率係數來實現一目標壓縮程度。
如申請專利範圍第1至5項任一項之方法，其中該方法包括根據至少以下之一選擇頻率係數： a) 接收自一顯示裝置的顯示資料，該顯示資料至少部分指出至少以下之一： i) 該顯示裝置的操作； ii) 該顯示裝置的使用；以及 b) 指出一無線通訊鏈結的通訊鏈結資料； c) 至少部分指出一顯示裝置組態的組態資料；以及 d) 至少部分指出關聯於該等一或多個影像的數位實境內容之內容資料。
如申請專利範圍第6項之方法，其中該顯示資料指出至少以下之一： a) 指出相對於該環境的一顯示裝置姿勢之姿勢資料； b) 指出相對於該環境的一顯示裝置移動之移動資料； c) 一使用者提供的輸入指令； d) 指示一使用者凝視的凝視資料；以及 e) 指出該使用者的一生理屬性之生理資料。
如申請專利範圍第6或第7項之方法，其中該通訊鏈結資料指出至少以下之一： a) 無線通訊鏈結錯誤指標； b) 無線通訊鏈結服務品質； c) 無線通訊鏈結頻寬；以及 d) 無線通訊連結延遲。
如申請專利範圍第6至8項任一項之方法，其中該組態資料指出至少以下之一： a) 一顯示器解析度； b) 一顯示器更新率； c) 一顯示器視野；以及 d) 顯示器透鏡屬性。
如申請專利範圍第6至9項任一項之方法，其中該內容資料包括至少以下之一： a) 像素陣列內容； b) 影像內容； c) 該影像不同部分的內容； d) 該影像不同部分的不透明度； e) 該影像之內的興趣區域； f) 該影像之內的興趣位置； g) 關聯於該影像的一或多個提示；以及 h) 該影像之內的一或多個顯示物體。
如申請專利範圍第1至10項任一項之方法，其中該方法包括差異壓縮該影像資料，如此該影像的不同部分使用不同的壓縮程度來壓縮。
如申請專利範圍第1至11項任一項之方法，其中該方法包括： a) 決定該等一或多個影像之內該像素陣列的一位置；以及 b) 至少部分依照該已決定的位置來選擇該組頻率係數的該子集，如此壓縮程度取決於該像素陣列的該已決定位置。
如申請專利範圍第12項之方法，其中該方法包括壓縮該像素資料，如此該壓縮程度根據該像素陣列位置以及至少以下之一： a) 一使用者凝視；以及 b) 一顯示裝置組態。
如申請專利範圍第13項之方法，其中該像素陣列的該位置係相對於一已定義位置決定，並且該已定義位置為至少以下之一： a) 一已測量的該使用者凝視點； b) 一預期的該使用者凝視點； c) 自一已測量的該使用者凝視點之偏移； d) 自一預期的該使用者凝視點之偏移； e) 至少部分依照指示該使用者凝視點的凝視資料所決定之處，該凝視資料從一凝視追蹤系統來獲得；以及 f) 根據該顯示裝置的特性。
如申請專利範圍第14項之方法，其中該方法包括壓縮該像素資料，如此該壓縮程度為至少以下之一： a) 根據自該已定義點的一距離； b) 根據相對於該已定義點的一方向； c) 從該已定義點進一步增加；以及 d) 提供注視點壓縮。
如申請專利範圍第1至15項任一項之方法，其中該方法包括針對具有一組位元數的頻率係數，在頻率係數對應至較高頻率之前，選擇對應至較低頻率的頻率係數。
如申請專利範圍第1至16項任一項之方法，其中該索引指出以下之一： a) 每一已編碼頻率係數的一位元數；以及 b) 一位置，該位置為至少以下之一： i) 在一已定義順序內每一已編碼頻率係數的一位置；以及 ii) 在該係數矩陣之內每一已編碼頻率係數的一位置。
如申請專利範圍第17項之方法，其中該已定義順序為至少以下之一： a) 一係數矩陣的一Z字形遍歷；以及 b) 一已排序的清單。
如申請專利範圍第1至18項任一項之方法，其中該方法包括利用以下產生該索引： a) 指定一位元數n； b) 針對具有該指定位元數n的該等已編碼頻率係數之每一者，指定該已編碼頻率係數的該位置；以及 c) 針對逐漸減少的位元數n重複步驟a)和b)。
如申請專利範圍第1至19項任一項之方法，其中該方法包括： a) 決定指示該索引的一索引代碼；以及 b) 使用該索引代碼產生該壓縮影像資料。
如申請專利範圍第1至20項任一項之方法，其中該索引指出用於每一頻率係數之一值。
如申請專利範圍第1至21項任一項之方法，其中以至少以下之一執行一頻率係數的該編碼： a) 沒有縮放；以及 b) 沒有有損編碼。
如申請專利範圍第1至22項任一項之方法，其中該方法包括針對具有n位元的頻率係數，通過移除一第一位元而使用n-1位元來編碼該頻率係數。
如申請專利範圍第1至23項任一項之方法，其中該方法包括使用一位元編碼方案編碼至少某些該等頻率係數，藉此產生一組已編碼的頻率係數，其中該位元編碼方案定義用於將該等頻率係數編碼的該位元數，並且其中該等頻率係數選擇性編碼，如此至少某些該等已編碼頻率係數具有減少的位元數。
如申請專利範圍第24項之方法，其中該位元編碼方案使用減少的位元數來編碼至少以下之一： a) 對應至較高頻率的較小頻率係數；以及 b) 對應至較高頻率的至少某些該等頻率係數。
如申請專利範圍第24或25項之方法，其中該方法包括將一縮放因子套用到至少某些該等頻率係數，如此編碼已縮放的頻率係數。
如申請專利範圍第1至26項任一項之方法，其中該影像資料定義複數個通道，並且其中該方法包括針對每一通道平行選擇性編碼頻率係數。
如申請專利範圍第1至27項任一項之方法，其中該像素資料定義RGB通道，並且其中該方法包括： a) 將該等RGB通道變換成YCbCr通道；以及 b) 轉換該等YCbCr通道來產生各別頻率係數，並且其中使用一最小位元大小來執行該等變換與轉換步驟。
如申請專利範圍第28項之方法，其中該方法包括比起該等Cb或Cr通道，選擇性針對該Y通道編碼更多頻率係數。
如申請專利範圍第1至29項任一項之方法，其中該轉換為一2-D離散餘弦轉換。
如申請專利範圍第1至30項任一項之方法，其中該方法用於至少以下之一： a) 壓縮數位實境資料； b) 傳輸數位實境資料；以及 c) 無線傳輸數位實境資料。
如申請專利範圍第1至31項任一項之方法，其中該方法包括： a) 決定一目標壓縮程度； b) 至少部分根據該目標壓縮程度來選擇一位元編碼方案；以及 c) 根據該位元編碼方案編碼該組頻率係數，並且其中該索引指出該已選取的位元編碼方案。
如申請專利範圍第32項之方法，其中該方法包括： a) 使用該已選取的位元編碼方案來編碼一像素陣列數；以及 b) 根據該像素陣列數的壓縮，選擇下一個位元編碼方案。
如申請專利範圍第32或33項之方法，其中該方法包括使用至少以下之一來選擇該位元編碼方案： a) 一先前像素陣列數的一累積位元總數； b) 一目標位元率； c) 在該等一或多個影像之內該像素陣列的一位置； d) 接收自一顯示裝置的顯示資料，該顯示資料至少部分指出至少以下之一： i) 該顯示裝置的操作； ii) 該顯示裝置的使用；以及 e) 指出一無線通訊鏈結操作的通訊鏈結資料； f) 至少部分指出一顯示裝置組態的組態資料； g) 至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。
如申請專利範圍第31至34項任一項之方法，其中該方法包括： a) 決定一先前像素陣列數的一累積位元總數； b) 若該累積位元總數超過一累積位元總臨界值： i) 決定該先前像素陣列數的一壓縮程度；以及 ii) 使用該壓縮程度以及該目標壓縮程度來選擇該位元編碼方案。
如申請專利範圍第31至35項任一項之方法，其中該位元編碼方案以至少以下之一來將該等頻率係數編碼： a) 編碼頻率係數的一子集；以及 b) 用一縮放因子來縮放該等頻率係數，並且編碼該等已縮放的頻率係數。
如申請專利範圍第36項之方法，其中該方法包括： a) 識別一最高幅度頻率係數； b) 計算將該最高幅度頻率係數降低至一目標位元數所需的一最小縮放因子；以及 c) 使用至少以下之一來縮放該等頻率係數： i) 該最小縮放因子；以及 ii) 大於該最小縮放因子的一縮放因子。
如申請專利範圍第1至37項任一項之方法，其中該方法包括： a) 選擇一些位元編碼方案之一者，其中每一位元編碼方案定義： i) 可用的縮放因子；以及 ii) 一位元臨界值，其中根據該位元臨界值選擇性編碼頻率係數。 b) 使用一可用縮放因子來縮放頻率係數該可用縮放因子為至少一最小縮放因子；以及 c) 根據該位元臨界值依照至少以下之一來編碼已縮放頻率係數： i) 編碼具有比該位元臨界值更多位元的已縮放頻率係數；以及 ii) 捨棄具有比該位元臨界值更少位元的已縮放頻率係數。
如申請專利範圍第38項之方法，其中每一位元編碼方案定義至少以下之一： a) 用於不同顏色通道的一各別位元臨界值； b) 用於亮度與色度通道的一各別位元臨界值；以及 c) 比起該亮度通道高的色度通道的一較高位元臨界值。
如申請專利範圍第39項之方法，其中該位元編碼方案定義用於色度、亮度與顏色通道每一者的一位元臨界值，並且其中該方法針對每一顏色通道包括： a) 對該像素資料套用該轉換； b) 計算一最小縮放因子； c) 選擇該縮放因子； d) 縮放該等頻率係數；以及 e) 編碼該等已縮放頻率係數的該子集。
如申請專利範圍第38至40項任一項之方法，其中該方法包括從位元編碼方案的一已排序清單中選擇一位元編碼方案，該清單已經排序來提供逐漸增加的壓縮。
如申請專利範圍第41項之方法，其中該等位元編碼方案通過至少以下之一提供逐漸增加的壓縮： a) 逐漸增加該等可用縮放因子的該幅度；以及 b) 減少一最低可用縮放因子；以及 c) 逐漸增加該位元臨界值。
如申請專利範圍第38至42項任一項之方法，其中該可用縮放因子為至少以下之一： a) 1； b) 2； c) 4；以及 d) 8。
如申請專利範圍第38至43項任一項之方法，其中該位元臨界值為至少以下之一： a) 0； b) 1； c) 2； d) 3； e) 4； f) 5；以及 g) 6。
如申請專利範圍第1至44項任一項之方法，其中該等頻率係數包括一DC分量，並且其中該DC分量為至少以下之一： a) 維持無壓縮； b) 維持無縮放；以及 c) 維持使用原生位元數。
一種用於將代表一或多個影像的影像資料壓縮之系統，該系統包括一或多個編碼器處理裝置，其： a) 從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列； b) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； c) 編碼該組頻率係數的一選取子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 d) 產生指出該等已編碼頻率係數的一索引；以及 e) 使用該等已編碼的頻率係數和該索引來產生壓縮影像資料。
如申請專利範圍第45項之系統，其中該系統包括： a) 一編碼器輸入緩衝區，其接收該影像資料；以及 b) 一編碼器輸出緩衝區，其儲存壓縮影像資料。
如申請專利範圍第45或46項之系統，其中該系統包括一編碼器輸入緩衝區，其： a) 緩衝對應至該影像的下一個m-1列像素之影像資料； b) 緩衝該下一列像素中下一個m像素的影像資料，允許該至少一個編碼器處理裝置從該已緩衝影像資料中獲取下一個m xm 像素區塊的像素資料； c) 重複步驟b)，直到已經從所有該m列像素中獲得像素資料；以及 d) 重複步驟a)和b)，直到已經從該影像的每一列像素中獲得像素資料。
如申請專利範圍第45至47項任一項之系統，其中該系統包括一編碼器發射器，其發射來自該編碼器輸出緩衝區的該影像資料。
如申請專利範圍第45至48項任一項之系統，其中該等一或多個編碼器處理裝置包括： a) 一合適程式編輯的場可程式閘陣列； b) 一專用積體電路；以及 c) 一圖形處理單元。
如申請專利範圍第45至49項任一項之系統，其中該像素資料定義複數個通道，並且其中該系統包括： a) 針對每一通道的一各別處理裝置；以及 b) 用於平行處理每一通道的一平行處理裝置。
如申請專利範圍第45至50項任一項之系統，其中該系統包括一編碼器，用無線通訊方式與一解碼器通訊，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。
如申請專利範圍第51項之系統，其中該解碼器為至少耦合至一可穿戴顯示裝置和一可穿戴顯示裝置之一部分的其中之一。
如申請專利範圍第51或52項之系統，其中該編碼器與該解碼器通訊來交換至少以下之一： a) 已壓縮的影像資料； b) 指示一顯示裝置移動的移動資料； c) 至少部分用來控制該顯示裝置的控制資料； d) 指示使用者輸入指令的輸入資料； e) 指示一觀察者的凝視點之凝視資料；以及 f) 來自與一可穿戴顯示裝置關聯的感應器之感應器資料。
如申請專利範圍第45至53項任一項之系統，其中該系統執行如申請專利範圍第1至44項任一項之方法。
一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括： a) 獲得壓縮的影像資料，包括已編碼的頻率係數以及指出該等已編碼頻率係數的一索引； b) 解碼該等已編碼頻率係數，來獲得頻率係數的一子集； c) 使用該頻率係數子集以及該索引來產生一組頻率係數；以及 d) 對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。
如申請專利範圍第55項之方法，其中該索引指出： a) 每一已編碼頻率係數的一位元數；以及 b) 一位置，該位置為至少以下之一： i) 在一已定義順序內每一已編碼頻率係數的一位置；以及 ii) 在該係數矩陣之內每一已編碼頻率係數的一位置。
如申請專利範圍第56項之方法，其中該已定義順序為至少以下之一： a) 一係數矩陣的一Z字形遍歷；以及 b) 一已排序的清單。
如申請專利範圍第55至57項任一項之方法，其中該方法包括使用該等已解碼頻率係數和該索引來重建至少以下之一： a) 一組頻率係數； b) 一已定義的頻率係數順序；以及 c) 一係數矩陣。
如申請專利範圍第55至58項任一項之方法，其中該方法包括： a) 解碼每一已編碼頻率係數； b) 決定每一頻率係數的該位置； c) 根據該位置將該已解碼頻率係數加入到該已定義順序以及係數矩陣之至少一者內；以及 d) 將空值加入到該已定義順序以及係數矩陣之至少一者內的空位置。
如申請專利範圍第55至59項任一項之方法，其中該方法包括： a) 從該壓縮影像資料決定一索引代碼；以及 b) 從該索引代碼決定該索引。
如申請專利範圍第55至60項任一項之方法，其中以至少以下之一執行每一已編碼頻率係數的解碼： a) 沒有縮放；以及 b) 沒有有損解碼。
如申請專利範圍第55至61項任一項之方法，其中該方法包括針對具有n-1位元的已編碼頻率係數，通過新增一第一位元而使用n位元來建立一頻率係數。
如申請專利範圍第55至62項任一項之方法，其中該方法包括根據一位元編碼方案來解碼至少某些該等已編碼頻率係數，藉此產生一組頻率係數，其中產生至少一個頻率係數，如此該組已編碼頻率係數小於該組頻率係數。
如申請專利範圍第63項之方法，其中該位元編碼方案使用減少的位元數來編碼至少以下之一： a) 對應至較高頻率的較小頻率係數；以及 b) 對應至較高頻率的至少某些該等頻率係數。
如申請專利範圍第63或64項之方法，其中該方法包括將一縮放因子套用到至少某些該等頻率係數，如此轉換已縮放的頻率係數。
如申請專利範圍第65項之方法，其中至少以下之一： a) 將該相同的縮放因子套用到每一頻率係數；以及 b) 該縮放因子用來增加每一頻率係數的幅度。
如申請專利範圍第55至66項任一項之方法，其中該影像資料定義複數個通道，並且其中該方法包括針對每一通道平行選擇性解碼已編碼的頻率係數。
如申請專利範圍第67項之方法，其中該壓縮像素資料定義YCbCr通道，並且其中該方法包括： a) 執行該等YCbCr通道的一逆向轉換；以及 b) 將該等已轉換YCbCr通道變換成RGB通道，並且其中使用一最小位元大小來執行該等變換與轉換步驟。
如申請專利範圍第68項之方法，其中該方法包括針對該等Cb或Cr通道，比起該Y通道，產生更多頻率係數。
如申請專利範圍第55至69項任一項之方法，其中該逆向轉換為一逆向2-D離散餘弦轉換。
如申請專利範圍第55至70項任一項之方法，其中該方法用於至少以下之一： a) 解壓縮數位實境資料； b) 接收數位實境資料；以及 c) 無線接收數位實境資料。
如申請專利範圍第55至71項任一項之方法，其中該索引指出一已選擇的位元編碼方案，並且其中該方法包括依照至少以下之一使用該位元編碼方案來產生一組頻率係數： a) 解碼該等已編碼頻率係數，來獲得頻率係數的一子集；以及 b) 將該縮放因子套用至該組頻率係數。
如申請專利範圍第55至72項任一項之方法，其中該方法包括： a) 從該壓縮影像資料決定該等一或多個影像之內一像素陣列內像素的像素值； b) 使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該等像素值；以及 c) 量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。
如申請專利範圍第73項之方法，其中該方法包括根據至少以下之一選擇一修改碼陣列： a) 在該等一或多個影像內該像素陣列的一位置； b) 至少部分指出至少以下之一的顯示資料： i) 一顯示裝置的操作； ii) 該顯示裝置的使用；以及 c) 指出一無線通訊鏈結操作的通訊鏈結資料； d) 至少部分指出一顯示裝置組態的組態資料；以及 e) 至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。
如申請專利範圍第74項之方法，其中該修改碼陣列對於該影像之內不同位置上的像素陣列為不同。
如申請專利範圍第74或75項之方法，其中該修改碼陣列對於不同影像內相同位置上的像素陣列為一致。
如申請專利範圍第74至76項任一項之方法，其中該等修改碼值為偽隨機值。
一種用於解壓縮代表一或多個影像的壓縮影像資料之系統，該系統包括一或多個電子解碼器處理裝置，其： a) 獲得已壓縮的影像資料，包括已編碼的頻率係數以及指出該等已編碼頻率係數的一索引； b) 解碼該等已編碼頻率係數，來獲得頻率係數的一子集； c) 使用該頻率係數子集以及該索引來產生一組頻率係數；以及 d) 對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。
如申請專利範圍第78項之系統，其中該系統包括： a) 一解碼器輸入緩衝區，其接收該壓縮影像資料；以及 b) 一解碼器輸出緩衝區，其儲存該影像資料。
如申請專利範圍第79項之系統，其中該系統包括一解碼器收發器，其接收該壓縮影像資料並將該壓縮影像資料提供至該輸入緩衝區。
如申請專利範圍第78至80項任一項之系統，其中該至少一解碼器處理裝置包括一合適的程式編輯FPGA。
如申請專利範圍第78至81項任一項之系統，其中該壓縮影像資料定義複數個通道，並且其中該系統包括用於每一該等通道的一各別處理裝置。
如申請專利範圍第78至82項任一項之系統，其中該系統包括一解碼器，用無線通訊方式與一編碼器通訊，允許影像資料以壓縮影像資料方式在該編碼器與該解碼器之間傳輸。
如申請專利範圍第83項之系統，其中該編碼器為至少耦合至一合適程式編輯的電腦系統和一合適程式編輯的電腦系統之一部分的其中之一。
如申請專利範圍第83或84項之系統，其中該解碼器為至少耦合至一可穿戴顯示裝置和一可穿戴顯示裝置之一部分的其中之一。
如申請專利範圍第78至85項任一項之系統，其中該解碼器與編碼器通訊來交換至少以下之一： a) 壓縮的影像資料； b) 指示一顯示裝置移動的移動資料； c) 至少部分用來控制該顯示裝置的控制資料； d) 指示使用者輸入指令的輸入資料； e) 指示一觀察者的凝視點之凝視資料；以及 f) 來自與一可穿戴顯示裝置關聯的感應器之感應器資料。
如申請專利範圍第78至86項任一項之系統，其中該系統用於執行如申請專利範圍第55至77項任一項之方法。
一種顯示形成一數位實境串流部分的影像之方法，針對要顯示的每一影像，該方法包括： a) 在一或多個編碼器處理裝置內： i) 從該影像資料獲得像素資料，該像素資料代表該等一或多個影像之內一像素陣列； ii) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； iii) 編碼該組頻率係數的一選取子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 iv) 使用該等已編碼的頻率係數產生壓縮的影像資料。 b) 運用一無線通訊鏈結，將該壓縮影像資料無線傳輸至一顯示裝置；以及 c) 在關聯於該顯示裝置的一或多個解碼器處理裝置內： i) 獲取該壓縮影像資料； ii) 解碼該等已編碼頻率係數，來獲得頻率係數的該子集； iii) 使用該頻率係數子集來產生一組頻率係數；以及 iv) 對該組頻率係數套用一逆向轉換，來決定代表該像素陣列的像素資料。
一種用於顯示形成一數位實境串流部分的影像之系統，該系統包括： a) 一或多個編碼器處理裝置，其： i) 從該影像資料獲得像素資料，該像素料資料代表該等一或多個影像之內一像素陣列； ii) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； iii) 編碼該組頻率係數的一選取子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 iv) 使用該等已編碼的頻率係數產生壓縮的影像資料。 b) 一無線通訊鏈結，無線傳輸該壓縮影像資料；以及 c) 關聯於一顯示裝置的一或多個解碼器處理裝置內： i) 獲取該壓縮影像資料； ii) 解碼該等已編碼頻率係數，來獲得頻率係數的該子集； iii) 使用該頻率係數子集來產生一組頻率係數；以及 iv) 對該組頻率係數套用一逆向轉換，來決定代表該像素陣列的像素資料。
一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括： a) 獲取壓縮的影像資料； b) 從該壓縮影像資料決定該等一或多個影像之內一像素陣列內像素的像素值； c) 使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該等像素值；以及 d) 量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。
如申請專利範圍第90項之方法，其中該方法包括根據至少以下之一選擇一修改碼陣列： a) 在該等一或多個影像內該像素陣列的一位置； b) 至少部分指出至少以下之一的顯示資料： i) 一顯示裝置的操作； ii) 該顯示裝置的使用；以及 c) 指出一無線通訊鏈結操作的通訊鏈結資料； d) 至少部分指出一顯示裝置組態的組態資料；以及 e) 至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。
如申請專利範圍第91項之方法，其中該修改碼陣列對於該影像之內不同位置上的像素陣列為不同。
如申請專利範圍第91或92項之方法，其中該修改碼陣列對於不同影像內相同位置上的像素陣列為一致。
如申請專利範圍第91至93項任一項之方法，其中該等修改碼值為偽隨機值。
一種用於解壓縮代表一或多個影像的壓縮影像資料之系統，該系統包括一或多個處理裝置，其： a) 獲取壓縮的影像資料； b) 從該壓縮影像資料決定該等一或多個影像之內一像素陣列內像素的像素值； c) 使用代表該像素陣列內每一像素的修改碼值之一修改碼陣列，來修改該等像素值；以及 d) 量子化已修改像素值，來產生指出該影像內該像素陣列的像素資料。
一種將代表一或多個影像的影像資料壓縮之方法，該方法包括： a) 從該影像資料獲得像素資料，該像素資料代表該等一或多個影像之內一像素陣列； b) 決定一目標壓縮程度； c) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； d) 至少部分根據該目標壓縮程度來選擇一位元編碼方案； e) 根據該位元編碼方案來編碼該組頻率係數，以產生已編碼頻率係數，其中該位元編碼方案通過至少以下之一來編碼該等頻率係數： i) 編碼頻率係數的一子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 ii) 用一縮放因子來縮放該等頻率係數，並且編碼該等已縮放的頻率係數；以及 f) 產生指出至少以下之一的一索引： i) 該已選取的位元編碼方案； ii) 該縮放因子；以及 iii) 該等已編碼的頻率係數； g) 使用該等已編碼的頻率係數和該索引來產生壓縮影像資料。
如申請專利範圍第96項之方法，其中該方法包括： a) 使用該已選取的位元編碼方案來編碼一像素陣列數；以及 b) 根據該像素陣列數的壓縮，選擇下一個位元編碼方案。
如申請專利範圍第96或97項之方法，其中該方法包括使用至少以下之一來選擇該位元編碼方案： a) 一先前像素陣列數的一累積位元總數； b) 一目標位元率； c) 在該等一或多個影像之內該像素陣列的一位置； d) 接收自一顯示裝置的顯示資料，該顯示資料至少部分指出至少以下之一： i) 該顯示裝置的操作； ii) 該顯示裝置的使用；以及 e) 指出一無線通訊鏈結操作的通訊鏈結資料； f) 至少部分指出一顯示裝置組態的組態資料； g) 至少部分指出關聯於該等一或多個影像的該數位實境內容之內容資料。
如申請專利範圍第96至98項任一項之方法，其中該方法包括： a) 決定一先前像素陣列數的一累積位元總數； b) 若該累積位元總數超過一累積位元總臨界值： i) 決定該先前像素陣列數的一壓縮程度；以及 ii) 使用該壓縮程度以及該目標壓縮程度來選擇該位元編碼方案。
如申請專利範圍第96至99項任一項之方法，其中該方法包括： a) 識別一最高幅度頻率係數； b) 計算將該最高幅度頻率係數降低至一目標位元數所需的一最小縮放因子；以及 c) 使用至少以下之一來縮放該等頻率係數： i) 該最小縮放因子；以及 ii) 大於該最小縮放因子的一縮放因子。
如申請專利範圍第96至100項任一項之方法，其中該方法包括選擇一些位元編碼方案之一者，其中每一位元編碼方案定義： a) 可用的縮放因子；以及 b) 一位元臨界值，其中根據該位元臨界值選擇性編碼頻率係數。
如申請專利範圍第101項之方法，其中該方法包括至少以下之一： a) 編碼具有比該位元臨界值更多位元的頻率係數；以及 b) 捨棄具有比該位元臨界值更少位元的頻率係數。
如申請專利範圍第102項之方法，其中每一位元編碼方案定義至少以下之一： a) 用於不同顏色通道的一各別位元臨界值； b) 用於亮度與色度通道的一各別位元臨界值；以及 c) 比起該亮度通道高的色度通道的一較高位元臨界值。
如申請專利範圍第101至103項任一項之方法，其中該方法包括從位元編碼方案的一已排序清單中選擇一位元編碼方案，該清單已經排序來提供逐漸增加的壓縮。
如申請專利範圍第104項之方法，其中該等位元編碼方案通過至少以下之一提供逐漸增加的壓縮： a) 逐漸增加該等可用縮放因子的該幅度；以及 b) 減少一最低可用縮放因子； c) 逐漸增加該位元臨界值。
如申請專利範圍第101至105項任一項之方法，其中該縮放因子為至少以下之一： a) 1； b) 2； c) 4；以及 d) 8。
如申請專利範圍第101至106項任一項之方法，其中該位元臨界值為至少以下之一： a) 0； b) 1； c) 2； d) 3； e) 4； f) 5；以及 g) 6。
如申請專利範圍第1至44項任一項之方法，其中該等頻率係數包括一DC分量，並且其中該DC分量為至少以下之一： a) 維持無壓縮； b) 維持無縮放；以及 c) 維持使用原生位元數。
如申請專利範圍第1至27項任一項之方法，其中該像素資料定義RGB通道，並且其中該方法包括： a) 將該等RGB通道變換成YCbCr通道；以及 b) 轉換該等YCbCr通道來產生各別頻率係數，並且其中使用一最小位元大小來執行該等變換與轉換步驟。
如申請專利範圍第96至107項任一項之方法，其中該方法包括： a) 選擇一位元編碼方案定義： i) 可用的縮放因子；以及 ii) 一位元臨界值； b) 將該轉換套用至該像素資料，來決定該組頻率係數； c) 計算將該最高幅度頻率係數降低至一目標位元數所需的一最小縮放因子； d) 根據該等可用縮放因子以及該最小縮放因子來選擇一縮放因子； e) 用該選取的縮放因子來縮放該等頻率係數；以及 f) 根據該位元臨界值來編碼該等已縮放頻率係數的一子集。
如申請專利範圍第108項之方法，其中該位元編碼方案定義用於色度、亮度與顏色通道每一者的一位元臨界值，並且其中該方法針對每一顏色通道包括： a) 對該像素資料套用該轉換； b) 計算一最小縮放因子； c) 選擇該縮放因子； d) 縮放該等頻率係數；以及 e) 編碼該等已縮放頻率係數的該子集。
一種用於將代表一或多個影像的影像資料壓縮之系統，該系統包括一或多個編碼器處理裝置，其： a) 從該影像資料獲得像素資料，該像素資料代表該等一或多個影像之內一像素陣列； b) 決定一目標壓縮程度； c) 對該像素資料套用一轉換，以決定指示該像素陣列的頻率係數之一組頻率係數； d) 至少部分根據該目標壓縮程度來選擇一位元編碼方案； e) 根據該位元編碼方案來編碼該組頻率係數，以產生已編碼頻率係數，其中該位元編碼方案通過至少以下之一來編碼該等頻率係數： i) 將編碼頻率係數的一子集，該子集已選取來優先編碼具有較高幅度的頻率係數；以及 ii) 用一縮放因子來縮放該等頻率係數，並且編碼該等已縮放的頻率係數；以及 f) 產生指出至少以下之一的一索引： i) 該已選取的位元編碼方案； ii) 該縮放因子；以及 iii) 該等已編碼的頻率係數； g) 使用該等已編碼的頻率係數和該索引來產生壓縮影像資料。
如申請專利範圍第110項之系統，其中該系統適用於執行如申請專利範圍第96至109項任一項之方法。
一種將代表一或多個影像的壓縮影像資料解壓縮之方法，該方法包括： a) 獲得壓縮的影像資料，包括已編碼的頻率係數，以及一索引，該索引指出一已選取位元編碼方案以及至少以下之一： i) 一縮放因子；以及 ii) 該等已編碼的頻率係數； b) 使用該索引來決定該已選取位元編碼方案； c) 使用該位元編碼方案通過至少以下之一來產生一組頻率係數： i) 解碼該等已編碼頻率係數來獲得頻率係數的一子集，並且使用該頻率係數子集以及該索引來產生一組頻率係數；以及 ii) 將該縮放因子套用至該等已編碼頻率係數，來產生該等頻率係數；以及 d) 對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。
如申請專利範圍第112項之方法，其中該方法包括： a) 解碼該等已編碼頻率係數，來獲得頻率係數的一子集；以及 b) 將該縮放因子套用至該頻率係數子集。
一種用於解壓縮代表一或多個影像的壓縮影像資料之系統，該系統包括一或多個解碼器處理裝置，其： a) 獲得壓縮的影像資料，包括已編碼的頻率係數，以及一索引，該索引指出一已選取位元編碼方案以及至少以下之一： i) 一縮放因子；以及 ii) 該等已編碼的頻率係數； b) 使用該索引來決定該已選取位元編碼方案； c) 使用該位元編碼方案通過至少以下之一來產生一組頻率係數： i) 解碼該等已編碼頻率係數來獲得頻率係數的一子集，並且使用該頻率係數子集以及該索引來產生一組頻率係數；以及 ii) 將該縮放因子套用至該等已編碼頻率係數，來產生該等頻率係數；以及 d) 對該組頻率係數套用一逆向轉換，來決定代表該等一或多個影像之內一像素陣列的像素資料。
如申請專利範圍第114項之系統，其中該系統適用於執行如申請專利範圍第112或113項之方法。