TWI846680B - 影像處理裝置及操作影像處理裝置之方法 - Google Patents
影像處理裝置及操作影像處理裝置之方法 Download PDFInfo
- Publication number
- TWI846680B TWI846680B TW107143583A TW107143583A TWI846680B TW I846680 B TWI846680 B TW I846680B TW 107143583 A TW107143583 A TW 107143583A TW 107143583 A TW107143583 A TW 107143583A TW I846680 B TWI846680 B TW I846680B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- entry
- image data
- value
- entropy
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000007906 compression Methods 0.000 claims abstract description 90
- 230000006835 compression Effects 0.000 claims abstract description 88
- 238000013139 quantization Methods 0.000 claims abstract description 60
- 238000005070 sampling Methods 0.000 claims description 9
- 240000007594 Oryza sativa Species 0.000 claims description 2
- 235000007164 Oryza sativa Nutrition 0.000 claims description 2
- 235000009566 rice Nutrition 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 14
- 230000002708 enhancing effect Effects 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Abstract
本發明提供一種影像處理裝置及操作影像處理裝置之方法,包含:多媒體智慧財產權(IP)區塊,處理影像資料;記憶體;以及訊框緩衝壓縮器(FBC),壓縮影像資料以生成壓縮資料並將壓縮資料儲存於記憶體中。所述訊框緩衝壓縮器包含邏輯電路,所述邏輯電路判定量化參數(QP)表及熵表之組合,且基於所判定的QP表及熵表之組合來控制影像資料之壓縮。
Description
本揭露是關於一種影像處理裝置及操作影像處理裝置之方法。
越來越多的應用需要高解析度的視訊影像及高訊框率的影像。因此,自藉由影像處理裝置之各種多媒體智慧財產權(Intellectual Property;IP)區塊儲存這些影像的記憶體(亦即,帶寬)存取的資料的量已大大增加。
每個影像處理裝置具有有限的處理能力。當帶寬增加時,影像處理裝置之處理能力可能達到此極限。因此,影像處理裝置的使用者可能在記錄或播放視訊影像時經歷速度降低。
本發明概念之至少一個實施例提供一種執行經最佳化影像資料壓縮的影像處理裝置。
本發明概念之至少一個實施例提供一種用於操作執行經最佳化影像資料壓縮的影像處理裝置的方法。
根據本發明概念之例示性實施例,提供一種影像處理裝置,包含:多媒體智慧財產權(IP)區塊,處理影像資料;記憶體;以及訊框緩衝壓縮器(frame buffer compressor;FBC),壓縮影像資料以生成壓縮資料,並將壓縮資料儲存於記憶體中。訊框緩衝壓縮器包含邏輯電路,所述邏輯電路判定量化參數(quantization parameter;QP)表及熵表之組合,且基於所判定的QP表及熵表之組合來控制影像資料之壓縮。
根據本發明概念之例示性實施例,提供一種影像處理裝置,包含:多媒體IP區塊,處理影像資料;記憶體;以及訊框緩衝壓縮器(FBC),壓縮影像資料以生成壓縮資料,並將壓縮資料儲存於記憶體中。訊框緩衝壓縮器包含邏輯電路,所述邏輯電路判定包含最多16個條目之量化參數(QP)表及藉由用於熵編碼的最大4之k值判定之熵表,且基於所判定的QP表及熵表之組合來控制影像資料之壓縮。
根據本發明概念之例示性實施例,提供一種用於操作影像處理裝置的方法,包含:將影像資料轉換成包含預測資料及殘餘資料之經預測影像資料;判定包含預定數目個條目之量化參數(QP)表;使用所判定之QP表來量化經預測影像資料;使用用於熵編碼之預定數目個k值來判定熵表;以及使用所判定之熵表對經量化影像資料執行熵編碼,以生成壓縮資料。
圖1至圖3為用於解釋根據本發明概念之例示性實施例的影像處理裝置的方塊圖。
參考圖1,根據本發明概念之例示性實施例的影像處理裝置包含多媒體IP(智慧財產權)100(例如,IP區塊以及IP核心、電路等)、訊框緩衝壓縮器(FBC)200(例如,電路、數位信號處理器等)、記憶體300以及系統匯流排400。
在實施例中,多媒體IP 100為影像處理裝置之一部分,其直接地執行影像處理裝置之影像處理。多媒體IP 100可包含用於記錄及再現影像(諸如視訊影像之攝影編碼及回放)的多個模組。
多媒體IP 100自諸如攝像機之外部源接收第一資料(例如,影像資料),並將第一資料轉換成第二資料。舉例而言,第一資料可為移動影像資料或原始影像資料。第二資料為由多媒體IP 100生成之資料,且可包含由處理第一資料之多媒體IP 100產生的資料。多媒體IP 100可反覆地將第二資料儲存於記憶體300中,且經由多個步驟更新第二資料。第二資料可包含用於這些步驟中之所有資料。第二資料可呈第三資料形式儲存於記憶體300中。因此,第二資料可為在儲存於記憶體300中之前或自記憶體300讀取之後的資料。此將在下文中更詳細地解釋。
在例示性實施例中,多媒體IP 100包含影像信號處理器ISP 110、振盪校正模組G2D 120、多格式編解碼器MFC 130、GPU 140以及顯示器150。然而,本發明概念不限於此。亦即,多媒體IP 100可包含影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之至少一者。多媒體IP 100可藉由處理模組(例如處理器)實施,所述處理模組存取記憶體300以便處理表示移動影像或靜止影像的資料。
影像信號處理器110接收第一資料,並預處理第一資料,以將第一資料轉換成第二資料。在例示性實施例中,第一資料為RGB類型影像源資料。舉例而言,影像信號處理器110可將RGB類型的第一資料轉換成YUV類型第二資料。
在實施例中,RGB類型資料意謂表示基於三種光原色之色彩的資料格式。亦即,其為使用三種類型之色彩(即紅色(RED)、綠色(GREEN)以及藍色(BLUE))表示影像的類型。對比而言,YUV類型意謂單獨表示亮度的資料格式,亦即,明度信號及色度信號。亦即,Y意謂明度信號,且U(Cb)及V(Cr)分別意謂色度信號。U意謂明度信號與藍色信號分量之間的差,且V意謂明度信號與紅色信號分量之間的差。
YUV類型資料可藉由使用轉換公式轉換RGB類型資料來獲得。舉例而言,可使用諸如Y=0.3R+0.59G+0.11B、U=(B-Y)×0.493、V=(R-Y)×0.877的轉換公式來將RGB類型資料轉換成YUV類型資料。
由於人類的眼睛對明度信號敏感,而對色彩信號較不敏感,因此相較RGB類型資料,可更容易壓縮YUV類型資料。因此,影像信號處理器110可將RGB類型之第一資料轉換成YUV類型第二資料。
影像信號處理器110將第一資料轉換成第二資料,且接著將第二資料儲存於記憶體300中。
振盪校正模組120可執行靜態影像資料或移動影像資料之振盪校正。振盪校正模組120可藉由讀取儲存於記憶體300中之第一資料或第二資料來執行振盪校正。在實施例中,振盪校正意謂偵測來自移動影像資料的攝像機之振盪以及移除來自移動影像資料的振盪。
振盪校正模組120可校正第一資料或第二資料之振盪,以更新第一資料或第二資料並將經更新資料儲存於記憶體300中。
多格式編解碼器130可為壓縮移動影像資料之編解碼器。一般而言,由於移動影像資料之尺寸非常大,因此減小其尺寸的壓縮模組為必需的。移動影像資料可經由多個訊框之間的關聯來壓縮,且此壓縮可藉由多格式編解碼器130執行。多格式編解碼器130可讀取並壓縮儲存於記憶體300中之第一資料或第二資料。
多格式編解碼器130可壓縮第一資料或第二資料以生成經更新第一資料或經更新第二資料,且將經更新資料儲存於記憶體300中。
圖形處理單元(Graphics Processing Unit;GPU)140可執算術處理以生成二維或三維圖形。GPU 140可對儲存於記憶體300中之第一資料或第二資料進行算術處理。GPU 140可特定用於圖形資料處理,以並行地處理圖形資料之部分。
GPU 140可壓縮第一資料或第二資料,以生成經更新第一資料或經更新第二資料,並將經更新資料儲存於記憶體300中。
顯示器150可將儲存於記憶體300中之第二資料顯示於螢幕上。顯示器150可顯示藉由多媒體IP 100之組件處理的影像資料,所述組件為影像信號處理器110、振盪校正模組120、多格式編解碼器130以及GPU 140。然而,本發明概念不限於這些實例。
多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可分別單獨地操作。亦即,影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可單獨地存取記憶體300,以寫入或讀取資料。
在實施例中,訊框緩衝壓縮器200壓縮第二資料,以在多媒體IP 100單獨地存取記憶體300之前將第二資料轉換成第三資料。訊框緩衝壓縮器200將第三資料傳輸至多媒體IP 100,且多媒體IP 100將第三資料傳輸至記憶體300。
因此,將由訊框緩衝壓縮器200壓縮之第三資料儲存於記憶體300中。相反,儲存於記憶體300中之第三資料可藉由多媒體IP 100加載,並被傳輸至訊框緩衝壓縮器200。在實施例中,訊框緩衝壓縮器200解壓縮第三資料,以將第三資料轉換成第二資料。訊框緩衝壓縮器200可將第二資料(亦即,解壓縮資料)傳輸至多媒體IP 100。
在實施例中,每當多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150單獨存取記憶體300時,訊框緩衝壓縮器200將第二資料壓縮成第三資料且將第三資料傳送至記憶體300。舉例而言,在多媒體IP 100之組件中之一者生成第二資料並將第二資料儲存於記憶體300後,訊框緩衝壓縮器200可壓縮經儲存資料,並將壓縮資料儲存至記憶體300中。在實施例中,每當將資料請求自記憶體300傳輸至多媒體IP之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150時,訊框緩衝壓縮器200將第三資料解壓縮成第二資料,並將第二資料分別傳輸至多媒體IP 100之影像資料處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150。
記憶體300儲存由訊框緩衝壓縮器200生成之第三資料,且可將經儲存第三資料提供給訊框緩衝壓縮器200,使得訊框緩衝壓縮器200可解壓縮第三資料。
在實施例中,多媒體IP 100及記憶體300連接至系統匯流排400。具體而言,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可單獨地連接至系統匯流排400。系統匯流排400可為一路徑,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140、顯示器150以及記憶體300經由所述路徑將資料傳送至彼此。
訊框緩衝壓縮器200不連接至系統匯流排400,且當多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150分別地存取記憶體時,執行將第二資料轉換成第三資料(例如,影像壓縮)及將第三資料轉換成第二資料(例如,影像解壓縮)的操作。
接著,參考圖2,根據本發明概念之例示性實施例的影像處理裝置之訊框緩衝壓縮器200直接地連接至系統匯流排400。
訊框緩衝壓縮器200不直接地連接至多媒體IP 100,且經由系統匯流排400連接至多媒體IP 100。具體而言,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之每一者可經由系統匯流排400將資料傳輸至訊框緩衝壓縮器200及自訊框緩衝壓縮器200傳輸資料,且因此可將資料傳輸至記憶體300。
亦即,在壓縮過程中,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之每一者可經由系統匯流排400將第二資料傳輸至訊框緩衝壓縮器200。隨後,訊框緩衝壓縮器200可將第二資料壓縮成第三資料,且經由系統匯流排400將第三資料傳輸至記憶體300。
同樣,即使在解壓縮過程中,訊框緩衝壓縮器200可經由系統匯流排400接收儲存於記憶體300中之第三資料,且可將其解壓縮成第二資料。隨後,訊框緩衝壓縮器200可經由系統匯流排400將第二資料傳輸至多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150。
參考圖3,在根據本發明概念之例示性實施例的影像處理裝置中,記憶體300及系統匯流排400經由訊框緩衝壓縮器200彼此連接。
亦即,記憶體300不直接地連接至系統匯流排400,而是僅經由訊框緩衝壓縮器200連接至系統匯流排400。此外,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150直接地連接至系統匯流排400。因此,多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150僅經由訊框緩衝壓縮器200存取記憶體300。
在本說明書中,第二資料被稱為影像資料10,且第三資料被稱為壓縮資料20。
圖4為用於詳細解釋圖1至圖3之訊框緩衝壓縮器的方塊圖。
參考圖4,訊框緩衝壓縮器200包含編碼器210(例如,編碼電路)及解碼器220(例如,解碼電路)。
編碼器210可自多媒體IP 100接收影像資料10,以生成壓縮資料20。可自多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之每一者傳輸影像資料10。可經由多媒體IP 100及系統匯流排400將壓縮資料20傳輸至記憶體300。
相反,解碼器220可將儲存於記憶體300中之壓縮資料20解壓縮成影像資料10。可將影像資料10傳送至多媒體IP 100。可將影像資料10傳輸至多媒體IP 100之影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之每一者。
圖5為用於詳細解釋圖4之編碼器的方塊圖。
參考圖5,編碼器210包含第一模式選擇器219(例如,邏輯電路)、預測模組211(例如,邏輯電路)、量化模組213(例如,邏輯電路)、熵編碼模組215(例如,邏輯電路)以及填補模組217(例如,邏輯電路)。
在實施例中,第一模式選擇器219判定編碼器210是否在無損模式或有損模式下操作。當編碼器210根據第一模式選擇器219在無損模式下操作時,沿圖5之無損路徑(Lossless)壓縮影像資料10,且當編碼器210在有損模式下操作時,沿有損路徑(Lossy)壓縮影像資料10。
第一模式選擇器219可自多媒體IP 100接收信號,其用於判定是否執行無損壓縮或執行有損壓縮。無損壓縮意謂無資料損失的壓縮。壓縮比可視經無損壓縮之資料而變化。不同於無損壓縮,有損壓縮為其中資料部分損失的壓縮。有損壓縮具有比無損壓縮更高的壓縮比,且可具有提前設定之固定壓縮比。
在無損模式之情況下,第一模式選擇器219使得影像資料10能夠沿無損路徑(Lossless)流動至預測模組211、熵編碼模組215以及填補模組217。相反,在有損模式下,第一模式選擇器219使得影像資料10能夠沿有損路徑(Lossy)流動至預測模組211、量化模組213以及熵編碼模組215。
預測模組211可藉由將影像資料10分為預測資料及殘餘資料來壓縮影像資料10。預測資料及殘餘資料一起佔據比影像資料10更小的空間。在實施例中,預測資料為影像資料之一個像素之影像資料,且殘餘資料自與一個像素相鄰的影像資料之像素之預測資料及影像資料之間的差產生。舉例而言,若一個像素之影像資料具有0與255之間的差,則可能需要8個位元來表示此值。當相鄰像素具有與一個像素之值類似的值時,相鄰像素中之每一者之殘餘資料比預測資料小得多,且因此可大大減少表示影像資料10的資料位元之數目。舉例而言,當具有253、254以及255之值的像素為連續時,若預測資料設定為253,則表示(253(預測)、1(殘餘)以及2(殘餘))的殘餘資料是足夠的,且表現這些殘餘資料之每個像素的位元數目可自8位元減小至2位元。舉例而言,253、254以及255之資料之24位元可由於253 (11111101)之8位元預測資料、254-251 = 1 (01)之2位元殘餘資料以及255-253=2 (10)之2位元殘餘資料而減小至12位元。
因此,預測模組211可藉由將影像資料10分為預測資料及殘餘資料來壓縮影像資料10之總尺寸。各種方法可用於設定預測資料之類型。
預測模組211可基於像素執行預測,或可基於區塊執行預測。在此情況下,區塊可意謂由多個相鄰像素形成的區域。舉例而言,基於像素之預測可意謂所有殘餘資料自像素中之一者產生,且基於區塊之預測可意謂殘餘資料針對每一區塊自對應於區塊之像素產生。
量化模組213可進一步壓縮由預測模組211壓縮的影像資料10。在例示性實施例中,量化模組213經由預設量化係數移除影像資料10之較低位元。具體而言,藉由將資料乘以量化係數來選擇代表值,但藉由截斷小數部分可能發生損失。若像素資料之值在0與28
- 1 (= 255)之間,則可將量化係數定義為/(2n
-1)(其中,n為小於或等於8之整數)。然而,本發明實施例不限於此。舉例而言,若預測資料為253 (11111101),則預測資料可藉由移除較低2位元自8位元減小至6位元,其產生(111111) 252之預測資料。
然而,經移除較低位元稍後未恢復,且因此丟失。因此,僅在有損模式下利用量化模組213。然而,由於有損模式相較無損模式具有相對更高的壓縮比,且可具有提前設定的固定壓縮比,因此稍後不單獨需要關於壓縮比之資訊。
熵編碼模組215可壓縮在有損模式下由量化模組213壓縮的影像資料10或在無損模式下經由熵編碼由預測模組211壓縮的影像資料10。在實施例中,熵編碼採用視頻率而定分配位元數目的方法。
在例示性實施例中,熵編碼模組215使用霍夫曼(Huffman)編碼來壓縮影像資料10。在一替代實施例中,熵編碼模組215經由指數哥倫布(exponential golomb)編碼或哥倫布萊斯(golomb rice)編碼來壓縮影像資料10。在實施例中,熵編碼模組215根據待壓縮之資料判定熵編碼值(例如,k值),根據k值產生圖表,且使用圖表來壓縮影像資料10。
填補模組217可對在無損模式下由熵編碼模組215壓縮之影像資料10執行填補。在本文中,填補可意謂添加無意義的資料以匹配特定尺寸。此將在下文中更詳細地解釋。
可不僅在無損模式下且亦在有損模式下啟用填補模組217。在有損模式下,當由量化模組213壓縮時,影像資料10可比所需壓縮比更進一步壓縮。在此情況下,甚至在有損模式下,影像資料10可經由填補模組217轉換成壓縮資料20,且將其傳輸至記憶體300。在例示性實施例中,省略填補模組217,使得不執行填補。
壓縮管理模組218判定各自用於量化及熵編碼的量化參數(QP)表及熵表之組合,且根據所判定的QP表及熵表之組合來控制影像資料10之壓縮。
在此情況下,第一模式選擇器219判定編碼器210在有損模式下操作,且因此影像資料10沿圖5之有損路徑(Lossy)經壓縮。亦即,其中壓縮管理模組218判定QP表及熵表之組合且根據所判定的QP表及熵表之組合壓縮影像資料10的組態以其中訊框緩衝壓縮器200使用有損壓縮演算法壓縮影像資料10之情況為前提。
具體而言,QP表包含一或多個條目,且每一條目可包含用於量化影像資料10的量化係數。
在實施例中,熵表包含多個編碼表,其使用k值鑑別以執行熵編碼算法。可用於本發明概念之一些實施例中的熵表包含指數哥倫布編碼及哥倫布萊斯編碼中之至少一個。
壓縮管理模組218判定包含預定數目個條目的QP表,且訊框緩衝壓縮器200使用所判定之QP表執行經預測影像資料10之量化。另外,壓縮管理模組218使用預定數目個k值判定熵表,且訊框緩衝壓縮器200使用所判定之熵表對經量化影像資料10執行熵編碼。亦即,訊框緩衝壓縮器200基於藉由壓縮管理模組218判定的QP表及熵表之組合生成壓縮資料20。
此後,訊框緩衝壓縮器200可將所生成壓縮資料20寫入至記憶體300。同樣,訊框緩衝壓縮器200可自記憶體300讀取壓縮資料20,且解壓縮經讀取的壓縮資料20以生成解壓縮資料,以將解壓縮資料提供給多媒體IP 100。
稍後將參考圖7至圖16描述用於執行此類操作的壓縮管理模組218的更多細節。
圖6為用於詳細解釋圖4之編碼器的方塊圖。
參考圖6,解碼器220包含第二模式選擇器229(例如,邏輯電路)、未填補模組227(例如,邏輯電路)、熵解碼模組225(例如,邏輯電路)、逆量化模組223(例如,邏輯電路)以及預測補償模組221(例如,邏輯電路)。
第二模式選擇器229判定儲存於記憶體300中之壓縮資料20是否已以無損方式或以有損方式經壓縮。在例示性實施例中,第二模式選擇器229經由標頭之存在或不存在判定壓縮資料20已藉由無損模式抑或有損模式壓縮。此將在下文中更詳細地解釋。
在無損模式之情況下,第二模式選擇器229使得壓縮資料20能夠沿無損路徑(Lossless)流動至未填補模組227、熵解碼模組225以及預測補償模組221。相反,在有損模式之情況下,第二模式選擇器229使得壓縮資料20能夠沿有損路徑(Lossy)流動至熵解碼模組225、逆量化模組223以及預測補償模組221。
未填補模組227移除藉由編碼器210之填補模組217填補的資料之填補部分。當省略填補模組217時,可省略未填補模組227。
熵解碼模組225可解壓縮由熵編碼模組215壓縮之資料。熵解碼模組225可經由霍夫曼編碼、指數哥倫布編碼或哥倫布萊斯編碼執行解壓縮。由於壓縮資料20包含k值,因此熵解碼模組225可使用k值來執行解碼。
逆量化模組223可解壓縮由量化模組213壓縮之資料。逆量化模組223可恢復使用藉由量化模組213判定之量化係數來壓縮的壓縮資料20,但完全恢復在壓縮過程中丟失的部分是不可能的。因此,僅在有損模式下利用逆量化模組223。
預測補償模組221可恢復由預測資料表示之資料以及由預測模組211生成之殘餘資料。預測補償模組221可例如將殘餘資料表示(253(預測)、1(殘餘)以及2(殘餘))轉換成253、254以及255。舉例而言,預測補償模組221可藉由將殘餘資料添加至預測資料來恢復資料。
預測補償模組221可根據預測模組211恢復以像素或區塊為單位執行的預測。因此,壓縮資料20可經恢復或解壓縮,且可被傳輸至多媒體多媒體IP 100。
當解壓縮壓縮資料20時,解壓縮管理模組228可執行可恰當地反映由上文參考圖5描述之壓縮管理模組218判定的QP表及熵表的組合以執行影像資料10之壓縮的工作。
現將參考圖7至圖16描述上文所描述之影像處理裝置的操作。
圖7至圖10為用於解釋根據本發明概念之例示性實施例的影像處理裝置之操作的示意圖。
參考圖7,壓縮管理模組218判定包含預定數目個條目之QP表230。在此實施例中,壓縮管理模組218判定實現八級量化的包含八個條目之QP表230。
QP表230包含第一條目及第二條目。此處,第一條目為對應於指數0的量化係數,且第二條目為對應於指數7的量化係數。此外,QP表230包含第一條目與第二條目之間的一或多個第三條目。在本發明實施例中,一或多個第三條目對應於量化係數,所述量化係數對應於指數1至指數6。
第一條目經判定為預定第一值。在本發明實施例中,預定第一值由「MaxShiftValue」表示。第一值為可視需要在影像處理裝置或用於操作根據本發明概念之各種實施例之影像處理裝置之方法的實際實施方案中任意判定的恆定值。
在將第一條目判定為第一值之後,第二條目藉由以下等式判定:
MaxShiftValue >> BitDepth * (1 - CompressionRatio)
此處,MaxShiftValue表示前述第一值,BitDepth表示影像資料10之位元深度,且CompressionRatio表示壓縮比。
亦即,當第一值相等且目標壓縮比相等時,壓縮管理模組218可根據影像資料10之位元深度不同地設定QP表230之最終值。
以此方式,在將第一條目判定為第一值且將第二條目判定為第二值之後,第三條目可經由取樣判定。亦即,在包含預定數目個條目之QP表230中,對於除第一條目及第二條目以外的剩餘第三條目,第三條目可經取樣以使得恰當地分佈量化係數。
在另一方面,壓縮管理模組218可使用預定數目個k值來判定熵表。在本揭露之一些實施例中,熵表藉由最大4或小於4之k值來判定。
具體地,熵表可藉由具有第一位元深度的影像資料10的n、n+1、n+2以及n+3(其中n為0或大於0之整數)之k值限定,且可藉由具有大於第一位元深度之第二位元深度的影像資料10的n+a、n+a+1、n+a+2以及n+a+3(其中a為1或大於1之整數)之k值限定。
舉例而言,熵表可藉由具有第一位元深度為8位元的影像資料的0、1、2以及3之k值判定,且可藉由具有第二位元深度為10位元的影像資料的1、2、3以及4之k值判定。
亦即,壓縮管理模組218可根據影像資料10之位元深度不同地設定例如四個連續k值。
當執行影像資料10之基於區塊之有損壓縮時,如上文所描述執行預測、量化以及熵編碼步驟。在量化之情況下,由於包含量化因素之QP表具有更多個條目,因此有可能更精密地執行壓縮。然而,記憶體資源經消耗以維持具有多個條目的QP表,且可增加在訊框緩衝控制器200之編碼器210與解碼器220之間傳輸及接收的壓縮資料20之串流標頭之位元數目。特定言之,在其中以區塊為單位對影像資料10執行壓縮的環境中,當考慮整體影像尺寸時,即使壓縮資料20之串流標頭僅增加一個位元,仍可消耗大量帶寬。
此外,在熵編碼之情況下,由於殘餘信號(殘餘)之分佈在例如位元深度為8位元之影像資料的情況與例如位元深度為10位元之影像資料的情況之間不同,因此用於熵編碼之熵表亦需要經不同地判定。舉例而言,由於熵表條目之值彙聚至0之趨勢在位元深度為10位元之影像資料的情況下變得比在位元深度為8位元之影像資料的情況下更低,因此有必要視位元深度而定不同地判定k值。
因此,藉由判定具有良好壓縮品質之合適尺寸之QP表且藉由考慮到殘餘信號之分佈選擇合適k值來判定熵表,訊框緩衝壓縮器200與記憶體300之間的帶寬可被減小,同時增強影像資料10之壓縮性能。
在本發明概念之一些實施例中,壓縮管理模組218判定包含最多16個條目之QP表。同樣,在本揭露之一些實施例中,壓縮管理模組218判定包含八個或大於八個條目之QP表。
接著,參考圖8,壓縮管理模組218判定包含八個條目之QP表232。
作為一實例,假定QP表232之第一條目經判定為4096。壓縮管理模組218藉由如下之BitDepth*(1-CompressionRatio)對對應於第一值之4096執行位元移位運算。
4096 >> 8 × (1-0.5) = 256
此處,8為對應於影像資料10之位元深度的值,且0.5(例如,50%)為對應於目標壓縮比的值。
以此方式,在將第一條目判定為4096且將第二條目判定為256之後,第三條目可經由取樣判定。亦即,在包含八個條目之QP表232中,第三條目可經判定例如為1365、819、585、455、372以及315,使得對於對應於除第一條目4096及第二條目256以外的剩餘指數1至剩餘指數6的第三條目,恰當地分佈量化係數。由此判定之QP表232之條目亦可藉由除以例如為MaxShiftValue值之4096而用作量化係數。
在實施例中,壓縮管理模組218在影像資料10具有8位元之位元深度時判定k值為0、1、2以及3,且在影像資料10具有10位元之位元深度時判定k值為1、2、3以及4。
以此方式,由於壓縮管理模組218判定各自用於量化及熵編碼的QP表及熵表之組合,且根據所判定的QP表及熵表之組合控制影像資料10之壓縮,有可能減小訊框緩衝壓縮器200與記憶體300之間的帶寬,同時增強影像資料10之壓縮性能。
接著,參考圖9,壓縮管理模組218判定包含八個條目之QP表234。
舉例而言,假定QP表234之第一條目經判定為4096。壓縮管理模組218藉由如下之BitDepth * (1-CompressionRatio)對對應於第一值之4096執行位元移位運算。
4096 >> 10 × (1-0.5) = 128
此處,10為對應於影像資料10之位元深度的值,且0.5為對應於目標壓縮比的值。
以此方式,在將第一條目判定為4096且將第二條目判定為128之後,第三條目可經由取樣判定。亦即,在包含八個條目之QP表234中,第三條目可經判定例如為819、455、293、216、171以及146,使得對於對應於除第一條目4096及第二條目128以外的剩餘指數1至6的第三條目,恰當地分佈量化係數。以此方式判定之QP表234之條目亦可藉由除以例如為MaxShiftValue值之4096而用作量化係數。
在實施例中,壓縮管理模組218在影像資料10具有8位元之位元深度時判定k值為0、1、2以及3,且在影像資料10具有10位元之位元深度時判定k值為1、2、3以及4。
以此方式,壓縮管理模組218判定各自用於量化及熵編碼的QP表及熵表之組合,且根據所判定的QP表及熵表之組合控制影像資料10之壓縮。因此,有可能減小訊框緩衝壓縮器200與記憶體300之間的帶寬,同時增強影像資料10之壓縮性能。
接著,參考圖10,經由如上文所描述之前述處理由訊框緩衝壓縮器200之編碼器210生成之經壓縮位元流236包含標頭,所述標頭包含4位元之QP表資訊及2位元之k值資訊,且包含作為標頭之後的經壓縮二進位的壓縮資料20。
圖11至圖14為用於解釋根據本揭露之例示性實施例的影像處理裝置之操作的示意圖。
參考圖11,壓縮管理模組218判定包含預定數目個條目之QP表240。在此實施例中,壓縮管理模組218判定實現16級量化的具有16個條目之QP表240。
QP表240包含第一條目及第二條目。此處,第一條目為對應於指數0之量化係數,且第二條目為對應於指數15之量化係數。此外,QP表240包含第一條目與第二條目之間的一或多個第三條目。在本發明實施例中,一或多個第三條目對應於量化係數,所述量化係數對應於指數1至14。
在將第一條目判定為第一值且將第二條目判定為第二值之後,第三條目可經由取樣判定。亦即,在包含預定數目個條目之QP表240中,第三條目可經取樣以使得對於除第一條目及第二條目以外的剩餘第三條目,恰當地分佈量化係數。
在實施例中,壓縮管理模組218可使用預定數目個k值來判定熵表。在本發明概念之一些實施例中,熵表可藉由最大4或小於4之k值判定。
舉例而言,熵表可藉由具有第一位元深度為8位元之影像資料的0、1、2以及3之k值判定,且可藉由具有第二位元深度為10位元之影像資料的1、2、3以及4之k值判定。
亦即,壓縮管理模組218可根據影像資料10之位元深度不同地設定例如四個連續k值。
接著,參考圖12,壓縮管理模組218判定包含16個條目之QP表242。
舉例而言,假定QP表242之第一條目經判定為4096。壓縮管理模組218藉由如下之BitDepth * (1- CompressionRatio)對對應於第一值之4096執行位元移位運算。
4096 >> 8 × (1-0.5) = 256
此處,8為對應於影像資料10之位元深度的值,且0.5為對應於目標壓縮比的值。
以此方式,在將第一條目判定為4096且將第二條目判定為256之後,第三條目可經由取樣判定。亦即,在包含16個條目之QP表242中,第三條目可經判定例如為2048、1365、1024、819、683、585、512、455、410、372、341、315、293以及273,使得對於對應於除第一條目4096及第二條目256以外的剩餘指數1至剩餘指數14的第三條目,恰當地分佈量化係數。由此判定的QP表242之條目亦可藉由除以例如為MaxShiftValue值之4096而用作量化係數。
在實施例中,壓縮管理模組218可在影像資料10具有8位元之位元深度時判定k值為0、1、2以及3,且可在影像資料10具有10位元之位元深度時判定k值為1、2、3以及4。
以此方式,由於壓縮管理模組218判定各自用於量化及熵編碼的QP表及熵表之組合,且根據所判定的QP表及熵表之組合控制影像資料10之壓縮,因此有可能減小訊框緩衝壓縮器200與記憶體300之間的帶寬,同時增強影像資料10之壓縮性能。
接著,參考圖13,壓縮管理模組218判定包含16個條目之QP表244。
假定QP表244之第一條目經判定為4096。壓縮管理模組218藉由如下之BitDepth * (1-CompressionRatio)對對應於第一值之4096執行位元移位運算。
4096 >> 10 × (1-0.5) = 128
此處,10為對應於影像資料10之位元深度的值,且0.5為對應於目標壓縮比的值。
以此方式,在將第一條目判定為4096且將第二條目判定為128之後,第三條目可經由取樣判定。亦即,在包含16個條目之QP表244中,第三條目可經判定例如為1365、819、585、455、372、315、273、228、205、186、171、158、146以及137,使得對於對應於除第一條目4096及第二條目128以外的剩餘指數1至剩餘指數14的第三條目,恰當地分佈量化係數。由此判定之QP表244之條目亦可藉由除以例如為MaxShiftValue值之4096而用作量化係數。
在實施例中,壓縮管理模組218可在影像資料10具有8位元之位元深度時判定k值為0、1、2以及3,且可在影像資料10具有10位元之位元深度時判定k值為1、2、3以及4。
以此方式,由於壓縮管理模組218判定各自用於量化及熵編碼的QP表及熵表之組合,且根據所判定的QP表及熵表之組合控制影像資料之壓縮,因此有可能減小訊框緩衝壓縮器200與記憶體300之間的帶寬,同時增強影像資料10之壓縮性能。
接著,參考圖14,經由如上文所描述之前述處理由訊框緩衝壓縮器200之編碼器210生成的經壓縮位元流246包含標頭,所述標頭包含4位元之QP表資訊及2位元之k值資訊,且包含作為標頭之後的經壓縮二進位的壓縮資料20。
圖15為用於解釋根據本發明概念之一些例示性實施例的影像處理裝置之有利影響及操作影像處理裝置之方法的圖式。
參考圖15,當QP表之條目數目為12且k值數目為4時,示出最佳PSNR增益。
亦即,藉由判定具有良好壓縮品質之合適大小之QP表,且藉由考慮到殘餘信號之分配選擇合適k值來判定熵表,可減小訊框緩衝壓縮器200與記憶體300之間的帶寬,同時增強影像資料10之壓縮性能。
圖16為示出根據本發明概念之例示性實施例的用於操作影像處理裝置之方法的流程圖。
參考圖16,根據本發明概念之例示性實施例的操作影像處理裝置之方法包含判定包含預定數目個條目之QP表(S1601)。
在本發明概念之實施例中,判定包含預定數目個條目之QP表包含判定包含最多16個條目之QP表。在本發明概念之另一實施例中,判定包含預定數目個條目之QP表包含判定包含八個或大於八個條目之QP表。
此外,以上方法包含使用所判定之QP表對經預測影像資料執行量化(S1603)。
另外,所述方法包含使用預定數目個k值來判定熵表(S1605)。
在本發明概念之實施例中,判定熵表包含使用最大4或小於4之k值來判定熵表。
此外,以上方法包含使用所判定之熵表對經量化影像資料執行熵編碼以生成壓縮資料(S1607)。
所屬領域中具通常知識者將瞭解,可在實質上不脫離本發明概念之原理的情況下對例示性實施例進行許多變化及修改。
10‧‧‧影像資料20‧‧‧壓縮資料100‧‧‧多媒體智慧財產權110‧‧‧影像信號處理器120‧‧‧振盪校正模組130‧‧‧多格式編解碼器140‧‧‧圖形處理單元150‧‧‧顯示器200‧‧‧訊框緩衝壓縮器210‧‧‧編碼器211‧‧‧預測模組213‧‧‧量化模組215‧‧‧熵編碼模組217‧‧‧填補模組218‧‧‧壓縮管理模組219‧‧‧模式選擇器220‧‧‧解碼器221‧‧‧預測補償模組223‧‧‧逆量化模組225‧‧‧熵解碼模組227‧‧‧未填補模組228‧‧‧解壓縮管理模組229‧‧‧模式選擇器230、232、234、240、242、244‧‧‧量化參數表236、246‧‧‧經壓縮位元流300‧‧‧記憶體400‧‧‧系統匯流排S1601、S1603、S1605、S1607‧‧‧步驟
本發明將藉由參看附圖詳細地描述其例示性實施例而變得更顯而易見,其中: 圖1至圖3為用於解釋根據本發明概念之一些實施例的影像處理裝置的方塊圖。 圖4為用於詳細解釋圖1至圖3之訊框緩衝壓縮器的方塊圖。 圖5為用於詳細解釋圖4之編碼器的方塊圖。 圖6為用於詳細解釋圖4之解碼器的方塊圖。 圖7至圖10為用於解釋根據本發明概念之例示性實施例的影像處理裝置之操作的示意圖。 圖11至圖14為用於解釋根據本發明概念之例示性實施例的影像處理裝置之操作的示意圖。 圖15為用於解釋根據本發明概念之例示性實施例的影像處理裝置之有利影響及操作影像處理裝置之方法的圖式。 圖16為示出根據本發明概念之例示性實施例的用於操作影像處理裝置之方法的流程圖。
100‧‧‧多媒體智慧財產權
110‧‧‧影像信號處理器
120‧‧‧振盪校正模組
130‧‧‧多格式編解碼器
140‧‧‧圖形處理單元
150‧‧‧顯示器
200‧‧‧訊框緩衝壓縮器
300‧‧‧記憶體
400‧‧‧系統匯流排
Claims (18)
- 一種影像處理裝置,包括:多媒體智慧財產權(IP)區塊,經組態以處理影像資料;記憶體;以及訊框緩衝壓縮器(FBC),經組態以壓縮所述影像資料,以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中,其中所述訊框緩衝壓縮器包含邏輯電路,經組態以判定量化參數(QP)表及熵表之組合且基於所判定的所述QP表及所述熵表之組合來控制所述影像資料之壓縮,其中所述QP表包括具有預定第一值的第一條目以及第二條目,其中所述第二條目的值為基於將所述預定第一值移位第二值來判定,其中所述第二值為自所述影像資料之位元深度以及目標壓縮比來判定。
- 如申請專利範圍第1項所述的影像處理裝置,其中所述訊框緩衝壓縮器將基於所述QP表及所述熵表之組合生成的所述壓縮資料寫入所述記憶體。
- 如申請專利範圍第1項所述的影像處理裝置,其中所述訊框緩衝壓縮器自所述記憶體讀取所述壓縮資料,解壓縮經讀取的所述壓縮資料以生成解壓縮資料,且將所述解壓縮資料提供給所述多媒體IP區塊。
- 如申請專利範圍第1項所述的影像處理裝置,其中所述訊框緩衝壓縮器使用有損壓縮演算法壓縮所述影像資料。
- 如申請專利範圍第1項所述的影像處理裝置,其中所述QP表包含所述第一條目及所述第二條目, 所述第一條目為所述預定第一值,且所述第二條目藉由以下等式判定:MaxShiftValue>>BitDepth*(1-CompressionRatio)其中,MaxShiftValue為所述預定第一值,BitDepth為所述影像資料之所述位元深度,且CompressionRatio為所述目標壓縮比。
- 如申請專利範圍第5項所述的影像處理裝置,其中所述QP表包含所述第一條目與所述第二條目之間的一或多個第三條目,且所述第三條目經由取樣判定。
- 如申請專利範圍第1項所述的影像處理裝置,其中所述熵表藉由用於熵編碼的最大4或小於4之k值來判定,其中所述k值為熵編碼值。
- 如申請專利範圍第7項所述的影像處理裝置,其中當所述影像資料具有第一位元深度時,所述k值包含n、n+1、n+2以及n+3之值,以及其中當所述影像資料具有大於所述第一位元深度的第二位元深度時,所述k值包含n+a、n+a+1、n+a+2以及n+a+3之值,其中n為>=0之整數,且a為>=1之整數。
- 一種影像處理裝置,包括:多媒體智慧財產權(IP)區塊,經組態以處理影像資料;記憶體;以及訊框緩衝壓縮器(FBC),經組態以壓縮所述影像資料,以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中,其中所述訊框緩衝壓縮器包含邏輯電路,所述邏輯電路經組 態以判定包含最多16個條目之量化參數(QP)表及藉由用於熵編碼的最大4之k值判定之熵表,且根據所判定的所述QP表及所述熵表之組合來控制所述影像資料之壓縮,其中所述k值為熵編碼值,其中所述QP表包含第一條目及第二條目,所述第一條目為預定第一值,且所述第二條目藉由以下等式判定:MaxShiftValue>>BitDepth*(1-CompressionRatio)其中,MaxShiftValue為所述預定第一值,BitDepth為所述影像資料之位元深度,且CompressionRatio為壓縮比。
- 如申請專利範圍第9項所述的影像處理裝置,其中所述QP表包含所述第一條目與所述第二條目之間的一或多個第三條目,其中所述第三條目經由取樣判定。
- 如申請專利範圍第9項所述的影像處理裝置,其中當所述影像資料具有第一位元深度時,所述k值包含n、n+1、n+2以及n+3之值,以及其中當所述影像資料具有大於所述第一位元深度的第二位元深度時,所述k值包含n+a、n+a+1、n+a+2以及n+a+3之值,其中n為>=0之整數,且a為>=1之整數。
- 一種用於操作影像處理裝置的方法,所述方法包括:將影像資料轉換成包括預測資料及殘餘資料之經預測影像資料;判定包含預定數目個條目之量化參數(QP)表;使用所判定之所述QP表來量化所述經預測影像資料以生成 經量化影像資料;使用用於熵編碼的預定數目個條目的k值來判定熵表;使用所判定之所述熵表對所述經量化影像資料執行所述熵編碼,以生成壓縮資料,其中所述QP表包含第一條目及第二條目,且判定包含所述預定數目個條目之所述QP表包括:判定所述第一條目作為預定第一值,以及藉由以下等式判定所述第二條目:MaxShiftValue>>BitDepth*(1-CompressionRatio)其中,MaxShiftValue為所述預定第一值,BitDepth為所述影像資料之位元深度,且CompressionRatio為壓縮比。
- 如申請專利範圍第12項所述的方法,其中判定包含所述預定數目個條目之所述QP表包括:判定包含最多16個條目之QP表。
- 如申請專利範圍第13項所述的方法,其中判定包含所述預定數目個條目之所述QP表包括:判定包含八個或大於八個條目之QP表。
- 如申請專利範圍第12項所述的方法,其中所述QP表包含所述第一條目與所述第二條目之間的一或多個第三條目,且判定包含所述預定數目個條目之所述QP表包括:經由取樣判定所述第三條目。
- 如申請專利範圍第12項所述的方法,其中判定所述熵表包括:使用用於所述熵編碼的最大4或小於4之所述k值來判定所 述熵表。
- 如申請專利範圍第12項所述的方法,其中判定所述熵表包括:當所述影像資料具有第一位元深度時,使用n、n+1、n+2以及n+3之所述k值判定所述熵表,以及當所述影像資料具有大於所述第一位元深度之第二位元深度時,使用n+a、n+a+1、n+a+2以及n+a+3之所述k值判定所述熵表,其中n為>=0之整數,以及其中a為>=1之整數。
- 如申請專利範圍第12項所述的方法,其中所述熵表包含指數哥倫布(exponential golomb)編碼及哥倫布萊斯(golomb rice)編碼中之至少一者。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0010083 | 2018-01-26 | ||
KR20180010083 | 2018-01-26 | ||
KR10-2018-0041781 | 2018-04-10 | ||
KR1020180041781A KR102543449B1 (ko) | 2018-01-26 | 2018-04-10 | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201941615A TW201941615A (zh) | 2019-10-16 |
TWI846680B true TWI846680B (zh) | 2024-07-01 |
Family
ID=
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170064328A1 (en) | 2015-08-28 | 2017-03-02 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus and video decoding method and apparatus |
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170064328A1 (en) | 2015-08-28 | 2017-03-02 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus and video decoding method and apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2008150330A (ru) | Сжатие видеоданных без видимых потерь | |
JPWO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
US11445160B2 (en) | Image processing device and method for operating image processing device | |
JP2005532768A (ja) | ビデオ・データのイントラ符号化方法及び装置 | |
US10887616B2 (en) | Image processing devices having enhanced frame buffer compressors therein | |
US11991347B2 (en) | Image processing device | |
US20210250575A1 (en) | Image processing device | |
JP2011518527A (ja) | 映像の復号化 | |
CN110087074B (zh) | 图像处理装置和用于操作图像处理装置的方法 | |
KR102543449B1 (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
KR20200065367A (ko) | 이미지 처리 장치 및 프레임 버퍼 컴프레서 | |
TWI846680B (zh) | 影像處理裝置及操作影像處理裝置之方法 | |
US11735222B2 (en) | Frame buffer compressing circuitry and image processing apparatus | |
TWI820063B (zh) | 影像處理裝置及影像處理裝置的操作方法 | |
TWI827579B (zh) | 影像處理裝置 | |
TWI795480B (zh) | 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置 | |
JP7444541B2 (ja) | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム | |
KR20220090850A (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
JP2023008624A (ja) | 撮像装置及びその制御方法及びプログラム |