TWI820063B - 影像處理裝置及影像處理裝置的操作方法 - Google Patents
影像處理裝置及影像處理裝置的操作方法 Download PDFInfo
- Publication number
- TWI820063B TWI820063B TW107144252A TW107144252A TWI820063B TW I820063 B TWI820063 B TW I820063B TW 107144252 A TW107144252 A TW 107144252A TW 107144252 A TW107144252 A TW 107144252A TW I820063 B TWI820063 B TW I820063B
- Authority
- TW
- Taiwan
- Prior art keywords
- component
- bits
- data
- target bits
- processing device
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000007906 compression Methods 0.000 claims abstract description 154
- 230000006835 compression Effects 0.000 claims abstract description 152
- 241000023320 Luma <angiosperm> Species 0.000 claims description 81
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 81
- 238000013139 quantization Methods 0.000 claims description 24
- 238000011017 operating method Methods 0.000 claims description 6
- 230000010355 oscillation Effects 0.000 description 29
- 238000012937 correction Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 239000003086 colorant Substances 0.000 description 6
- 238000000926 separation method Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Sewing Machines And Sewing (AREA)
- Image Processing (AREA)
Abstract
本發明提供一種影像處理裝置及影像處理裝置的操作方法。影像處理裝置包含：多媒體智慧財產權（IP）區塊，處理包含第一分量及第二分量的影像資料；記憶體；以及圖框緩衝壓縮器（FBC），壓縮影像資料，以生成壓縮資料並將壓縮資料儲存於記憶體中。圖框緩衝壓縮器包含邏輯電路，所述邏輯電路控制影像資料的第一分量及第二分量的壓縮順序。
Description
本揭露是關於一種影像處理裝置及影像處理裝置的操作方法。
越來越多的應用需要高解析度的視訊影像及高圖框率的影像。因此，從藉由影像處理裝置的各種多媒體智慧財產權（Intellectual Property；IP）區塊儲存這些影像的記憶體（亦即，帶寬）存取的資料的量已大大增加。
每個影像處理裝置的處理能力有限。當帶寬增加時，影像處理裝置的處理能力可能達到此極限。因此，影像處理裝置的使用者可能在記錄或播放視訊影像時經歷速度降低。
本揭露的態樣提供一種影像處理裝置，所述影像處理裝置執行具有極佳壓縮品質的影像資料的壓縮。
本揭露的另一態樣提供一種影像處理裝置的操作方法，所述影像處理裝置執行具有極佳壓縮品質的影像資料的壓縮。
根據本揭露的態樣，提供一種影像處理裝置，所述影像處理裝置包含：多媒體智慧財產權（IP）區塊，經配置以處理包含第一分量及第二分量的影像資料；記憶體；以及圖框緩衝壓縮器（frame buffer compressor；FBC），經配置以壓縮所述影像資料，以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中，其中所述圖框緩衝壓縮器包含邏輯電路，所述邏輯電路經配置以控制所述影像資料的所述第一分量及所述第二分量的壓縮順序。
根據本揭露的另一態樣，提供一種影像處理裝置，所述影像處理裝置包含：多媒體智慧財產權（IP）區塊，經配置以處理符合YUV格式的影像資料；記憶體；以及圖框緩衝壓縮器（FBC），經配置以壓縮所述影像資料，以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中，其中所述圖框緩衝壓縮器包含邏輯電路，所述邏輯電路經配置以控制壓縮順序，以使得在壓縮包含所述影像資料的所述YUV格式的Y分量的明度分量之前執行包含所述影像資料的所述YUV格式的Cb分量及Cr分量的色度分量的壓縮。
根據本揭露的另一態樣，提供一種影像處理裝置的操作方法，包含：基於符合YUV格式的影像資料的目標壓縮比來計算總目標位元；計算用於壓縮包含所述YUV格式的Cb分量及Cr分量的色度分量的色度分量目標位元；分配所述色度分量目標位元，以壓縮所述色度分量；使用所述色度分量的壓縮資料的色度分量使用位元來計算包含所述YUV格式的Y分量的明度分量的明度分量目標位元；分配所述明度分量目標位元，以壓縮所述明度分量；以及當所述明度分量的所述壓縮資料的所述明度分量使用位元及所述色度分量使用位元的總和小於所述總目標位元時，在所述明度分量的所述壓縮資料之後添加虛擬位元。
本揭露的態樣不限於上文所提及的態樣，且所屬領域中具通常知識者根據以下描述清楚地理解未提及的另一態樣。
圖1至圖3是用於解釋根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
參考圖1，根據本發明概念的例示性實施例的影像處理裝置包含多媒體IP（智慧財產權）100（例如IP區塊以及IP核心、電路等）、圖框緩衝壓縮器（FBC）200（例如電路、數位信號處理器等）、記憶體300以及系統匯流排400。
在實施例中，多媒體IP 100為影像處理裝置的一部分，其直接執行影像處理裝置的影像處理。多媒體IP 100可包含用於記錄及再現影像（例如視訊影像的攝像編碼及回放）的多個模組。
多媒體IP 100從例如攝像機的外部源接收第一資料（例如影像資料），並將第一資料轉換為第二資料。舉例而言，第一資料可為移動影像資料或原始影像資料。第二資料為由多媒體IP 100生成的資料，且可包含由處理第一資料的多媒體IP 100產生的資料。多媒體IP 100可反覆地將第二資料儲存於記憶體300中，並經由多個步驟更新第二資料。第二資料可包含這些步驟中使用的所有資料。第二資料可以第三資料的形式儲存於記憶體300中。因此，第二資料可為在儲存於記憶體300中之前或從記憶體300讀取之後的資料。此將在下文中更詳細地解釋。
在例示性實施例中，多媒體IP 100包含影像信號處理器ISP 110、振盪校正模組G2D 120、多格式編解碼器MFC 130、GPU 140以及顯示器150。然而，本發明概念不限於此。亦即，多媒體IP 100可包含影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中之至少一者。多媒體IP 100可藉由處理模組（例如處理器）實施，所述處理模組存取記憶體300以處理表示移動影像或靜態影像的資料。
影像信號處理器110接收第一資料，並預處理第一資料，以將第一資料轉換為第二資料。在例示性實施例中，第一資料為RGB類型的影像源資料。舉例而言，影像信號處理器110可將RGB類型的第一資料轉換為YUV類型的第二資料。
在實施例中，RGB類型的資料意謂表示基於三種光原色的色彩的資料格式。亦即，其為使用三種類型的色彩即紅色（RED）、綠色（GREEN）以及藍色（BLUE）表示影像的類型。對比而言，YUV類型意謂單獨表示亮度的資料類型，亦即，明度信號及色度信號。亦即，Y意謂明度信號，且U(Cb)及V(Cr)分別意謂色度信號。U意謂明度信號與藍色信號分量之間的差，且V意謂明度信號與紅色信號分量之間的差。
YUV類型的資料可藉由使用轉換公式轉換RGB類型的資料來獲得。舉例而言，可使用例如Y = 0.3R+0.59G+0.11B、U = (B-Y)x0.493、V = (R-Y)x0.877等轉換公式來將RGB類型的資料轉換為YUV類型的資料。
由於人眼對明度信號敏感，而對色彩信號較不敏感，因此相較RGB類型的資料，可更容易壓縮YUV類型的資料。因此，影像信號處理器110可將RGB類型的第一資料轉換為YUV類型的第二資料。
影像信號處理器110將第一資料轉換為第二資料，並接著將第二資料儲存於記憶體300中。
振盪校正模組120可執行靜態影像資料或移動影像資料的振盪校正。振盪校正模組120可藉由讀取儲存於記憶體300中的第一資料或第二資料來執行振盪校正。在實施例中，振盪校正意謂偵測來自移動影像資料的攝像機的振盪以及移除來自移動影像資料的振盪。
振盪校正模組120可校正第一資料或第二資料的振盪，以更新第一資料或第二資料並將經更新資料儲存於記憶體300中。
多格式編解碼器130可為壓縮移動影像資料的編解碼器。一般而言，由於移動影像資料的尺寸非常大，因此減小其尺寸的壓縮模組為必需的。移動影像資料可經由多個圖框之間的關聯來壓縮，且此壓縮可藉由多格式編解碼器130執行。多格式編解碼器130可讀取並壓縮儲存於記憶體300中的第一資料或第二資料。
多格式編解碼器130可壓縮第一資料或第二資料，以生成新的第二資料或更新第二資料，以將其儲存於記憶體300中。
圖形處理單元（Graphics Processing Unit；GPU）140可執行二維圖形或三維圖形的的算術處理及產生。GPU 140可對儲存於記憶體300中的第一資料或第二資料進行算術處理。GPU 140可特定用於圖形資料處理，以並行地處理圖形資料。
GPU 140可壓縮第一資料或第二資料，以生成經更新第一資料或經更新第二資料，並將經更新資料儲存於記憶體300中。
顯示器150可將儲存於記憶體300中的第二資料顯示在螢幕上。顯示器150可顯示藉由多媒體IP 100的組件處理的影像資料，所述組件為影像信號處理器110、振盪校正模組120、多格式編解碼器130以及GPU 140。然而，本發明概念不限於這些實例。
多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可分別單獨地操作。亦即，影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可單獨地存取記憶體300，以寫入或讀取資料。
在實施例中，圖框緩衝壓縮器200壓縮第二資料，以在多媒體IP 100單獨地存取記憶體300之前將第二資料轉換為第三資料。圖框緩衝壓縮器200將第三資料傳輸至多媒體IP 100，且多媒體IP 100將第三資料傳輸至記憶體300。
因此，將由圖框緩衝壓縮器200壓縮的第三資料儲存於記憶體300中。相反，儲存於記憶體300中的第三資料可藉由多媒體IP 100加載，並被傳輸至圖框緩衝壓縮器200。在實施例中，圖框緩衝壓縮器200解壓縮第三資料，以將第三資料轉換為第二資料。圖框緩衝壓縮器200可將第二資料（亦即解壓資料）傳輸至多媒體IP 100。
在實施例中，每當多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150單獨地存取記憶體300時，圖框緩衝壓縮器200即將第二資料壓縮為第三資料，並將第三資料傳送至記憶體300。舉例而言，在多媒體IP 100的組件中的一個生成第二資料並將第二資料儲存於記憶體300後，圖框緩衝壓縮器200可壓縮所儲存資料，並將壓縮資料儲存至記憶體300中。在實施例中，每次將資料請求自記憶體300傳輸至多媒體IP的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150時，圖框緩衝壓縮器200將第三資料解壓縮為第二資料，並將第二資料分別傳輸至多媒體IP 100的影像資料處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150。
記憶體300儲存由圖框緩衝壓縮器200生成的第三資料，且可將所儲存第三資料提供至圖框緩衝壓縮器200，以使得圖框緩衝壓縮器200可解壓縮第三資料。
在實施例中，多媒體IP 100及記憶體300連接至系統匯流排400。具體而言，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150可單獨地連接至系統匯流排400。系統匯流排400可為一路徑，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140、顯示器150以及記憶體300經由所述路徑彼此傳送資料。
圖框緩衝壓縮器200不連接至系統匯流排400，且當多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150分別存取記憶體時，且執行將第二資料轉換為第三資料以及將第三資料轉換為第二資料的操作。
接著，參考圖2，根據本發明概念的例示性實施例的影像處理裝置的圖框緩衝壓縮器200直接連接至系統匯流排400。
圖框緩衝壓縮器200不直接連接至多媒體IP 100，且經由系統匯流排400連接至多媒體IP 100。具體而言，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中的每一者可經由系統匯流排400將資料傳輸至圖框緩衝壓縮器200及從圖框緩衝壓縮器200傳輸資料，且因此可將資料傳輸至記憶體300。
亦即，在壓縮過程中，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中的每一者可經由系統匯流排400將第二資料傳輸至圖框緩衝壓縮器200。接著，圖框緩衝壓縮器200可將第二資料壓縮為第三資料，且經由系統匯流排400將第三資料傳輸至記憶體300。
同樣，即使在解壓縮過程中，圖框緩衝壓縮器200可經由系統匯流排400接收儲存於記憶體300中的第三資料，且可將其解壓縮為第二資料。接著，圖框緩衝壓縮器200可經由系統匯流排400將第二資料傳輸至多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150。
參考圖3，在根據本發明概念的例示性實施例的影像處理裝置中，記憶體300及系統匯流排400經由圖框緩衝壓縮器200彼此連接。
亦即，記憶體300不直接連接至系統匯流排400，而是僅經由圖框緩衝壓縮器200連接至系統匯流排400。此外，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150直接連接至系統匯流排400。因此，多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150僅經由圖框緩衝壓縮器200存取記憶體300。
在本發明書中，第二資料被稱為影像資料10，且第三資料被稱為壓縮資料20。
圖4是用於詳細解釋圖1至圖3的圖框緩衝壓縮器的方塊圖。
參考圖4，圖框緩衝壓縮器200包含編碼器210（例如編碼電路）及解碼器220（例如解碼電路）。
編碼器210可從多媒體IP 100接收影像資料10，以生成壓縮資料20。可從多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中的每一者傳輸影像資料10。可經由多媒體IP 100及系統匯流排400將壓縮資料20傳輸至記憶體300。
相反，解碼器220可將儲存於記憶體300中的壓縮資料20解壓縮為影像資料10。可將影像資料10傳送至多媒體IP 100。可將影像資料10傳輸至多媒體IP 100的影像信號處理器110、振盪校正模組120、多格式編解碼器130、GPU 140以及顯示器150中的每一者。
圖5是用於詳細解釋圖4的編碼器的方塊圖。
參考圖5，編碼器210包含第一模式選擇器219（例如邏輯電路）、預測模組211（例如邏輯電路）、量化模組213（例如邏輯電路）、熵編碼模組215（例如邏輯電路）以及填補模組217（例如邏輯電路）。
在實施例中，第一模式選擇器219判定編碼器210是否在無損模式或有損模式下操作。當編碼器210根據第一模式選擇器219在無損模式下操作時，沿圖5的無損路徑（Lossless）壓縮影像資料10，且當編碼器210在有損模式下操作時，沿有損路徑（Lossy）壓縮影像資料10。
第一模式選擇器219可從多媒體IP 100接收信號，其用於判定是否執行無損壓縮或執行有損壓縮。無損壓縮意謂無資料損失的壓縮。壓縮比可視經無損壓縮的資料而變化。不同於無損壓縮，有損壓縮為資料部分損失的壓縮。相較無損壓縮，有損壓縮的壓縮比更高，且可具有提前設定的固定壓縮比。
在無損模式的情況下，第一模式選擇器219使得影像資料10能夠沿無損路徑（Lossless）流動至預測模組211、熵編碼模組215以及填補模組217。相反，在有損模式下，第一模式選擇器219使得影像資料10能夠沿有損路徑（Lossy）流動至預測模組211、量化模組213以及熵編碼模組215。
預測模組211可藉由將影像資料10分為預測資料及殘餘資料來壓縮影像資料10。預測資料及殘餘資料一起比影像資料10佔據的空間更小。在實施例中，預測資料為影像資料的一個像素的影像資料，且殘餘資料是從與一個像素相鄰的影像資料的像素的預測資料及影像資料之間的差產生。舉例而言，若一個像素的影像資料具有0與255之間的差，則可能需要8個位元來表示此值。當相鄰像素與一個像素的影像資料具有類似值時，相鄰像素中的每一者的殘餘資料比預測資料小得多，且因此可大大減少表示影像資料的資料位元的數目。舉例而言，當具有值253、254以及255的像素為連續的，若預測資料設定為253，則表示（253（預測）、1（殘餘）以及2（殘餘））的殘餘資料為足夠的，且用於表現這些殘餘資料的每個像素的位元的數目可從8位元大大減小為2位元。舉例而言，253、254以及255的資料的24位元歸因於8位元的253 (11111101)的預測資料、254-251 = 1 (01)的2位元的殘餘資料以及255-253=2 (10)的2位元的殘餘資料可減小為12位元。
因此，預測模組211可藉由將影像資料10分為預測資料及殘餘資料來壓縮影像資料10的總尺寸。各種方法可用於設定預測資料的類型。
預測模組211可基於像素執行預測，或可基於區塊執行預測。在此情況下，區塊可意謂由多個相鄰像素形成的區域。舉例而言，基於像素的預測可意謂所有殘餘資料從像素中的一個產生，且基於區塊的預測可意謂針對每一區塊從對應於區塊的像素產生殘餘資料。
量化模組213可進一步壓縮由預測模組211壓縮的影像資料10。在例示性實施例中，量化模組213經由預設量化係數移除影像資料10的較低位元。具體而言，藉由將資料乘以量化係數來選擇代表值，但藉由截斷小數部分可能發生損失。若像素資料的值在0與28
-1 (= 255)之間，則量化係數可定義為/(2n
-1)12(n-1)（其中，n為等於或小於8的整數）。然而，本發明實施例不限於此。舉例而言，若預測資料為253 (11111101)，則預測資料可藉由移除較低2位元從8位元減小為6位元，其產生(111111) 252的預測資料。
然而，經移除較低位元稍後未恢復，且因此丟失。因此，僅在有損模式下採用量化模組213。然而，由於有損模式相較無損模式具有相對更高的壓縮比，且可具有提前設定的固定壓縮比，因此稍後不單獨需要關於壓縮比的資訊。
熵編碼模組215可壓縮在有損模式下由量化模組213壓縮的影像資料10或在無損模式下經由熵編碼由預測模組211壓縮的影像資料10。在實施例中，熵編碼採用視頻率分配位元的數目的方法。
在例示性實施例中，熵編碼模組215使用霍夫曼（Huffman）編碼來壓縮影像資料10。在替代實施例中，熵編碼模組215經由指數哥倫布（exponential golomb）編碼或哥倫布萊斯（golomb rice）編碼來壓縮影像資料10。在例示性實施例中，熵編碼模組215根據待壓縮的資料判定熵編碼值（例如k值），根據k值產生圖表，且使用圖表來壓縮影像資料10。
填補模組217可對在無損模式下由熵編碼模組215壓縮的影像資料10執行填補。在本文中，填補可意謂添加無意義的資料以匹配特定尺寸。此將在下文中更詳細地解釋。
可不僅在無損模式下且亦在有損模式下啟用填補模組217。在有損模式下，當由量化模組213壓縮時，影像資料10可比所需壓縮比更進一步壓縮。在此情況下，甚至在有損模式下，影像資料10可經由填補模組217轉換為壓縮資料20，且被傳輸至記憶體300。在例示性實施例中，省略填補模組217，以使得不執行填補。
壓縮管理模組218控制影像資料10的第一分量及第二分量的壓縮順序。在本文中，影像資料10可為符合YUV格式的影像資料。
在此情況下，第一模式選擇器219判定編碼器210在有損模式下操作，且因此影像資料10沿圖5的有損路徑（Lossy）經壓縮。亦即，壓縮管理模組218控制影像資料10的第一分量及第二分量的壓縮順序的配置的以圖框緩衝壓縮器200使用有損壓縮演算法來壓縮影像資料10的情況為前提。
具體而言，影像資料10可包含第一分量及第二分量。在本文中，第一分量可包含例如包含YUV格式的Y分量的明度分量（對應於前述「亮度信號」），且第二分量可包含例如包含YUV格式的Cb分量及Cr分量的色度分量（對應於前述「色差信號」）。
壓縮管理模組218判定影像資料10的第一分量及第二分量的壓縮順序，且圖框緩衝壓縮器200根據藉由壓縮管理模組218判定的壓縮順序來解壓縮第一分量及第二分量。
亦即，若壓縮管理模組218判定影像資料10的第一分量及第二分量的壓縮順序，則圖框緩衝壓縮器200根據壓縮順序使用編碼器210的預測模組211、量化模組213以及熵編碼模組215來壓縮影像資料10。
其後，圖框緩衝壓縮器200將第一分量的壓縮資料及第二分量的壓縮資料進行合併以生成單個位元流，且可將所生成的單個位元流寫入至記憶體300。此外，圖框緩衝壓縮器200可從記憶體300讀取單個位元流，且可解壓縮讀取的單個位元流，以將解壓資料提供至多媒體IP 100。
稍後將參考圖9至圖15描述用於執行此操作的壓縮管理模組218的更多細節。
圖6是用於詳細解釋圖4的解碼器的方塊圖。
參考圖6，解碼器220包含第二模式選擇器229（例如邏輯電路）、未填補模組227（例如邏輯電路）、熵解碼模組225（例如邏輯電路）、逆量化模組223（例如邏輯電路）以及預測補償模組221（例如邏輯電路）。
第二模式選擇器229判定儲存於記憶體300中的壓縮資料20是否已通過無損方式或是有損方式被壓縮。在例示性實施例中，第二模式選擇器229經由標頭的存在或不存在判定壓縮資料20已藉由無損模式還是有損模式壓縮。此將在下文中更詳細地解釋。
在無損模式的情況下，第二模式選擇器229使得壓縮資料20能夠沿無損路徑（Lossless）流動至未填補模組227、熵解碼模組225以及預測補償模組221。相反，在有損模式的情況下，第二模式選擇器229使得壓縮資料20能夠沿有損路徑（Lossy）流動至熵解碼模組225、逆量化模組223以及預測補償模組221。
未填補模組227移除藉由編碼器210的填補模組217填補的資料的填補部分。當省略填補模組217時，可省略未填補模組227。
熵解碼模組225可解壓縮由熵編碼模組215壓縮的資料。熵解碼模組225可經由霍夫曼編碼、指數哥倫布編碼或哥倫布萊斯編碼執行解壓縮。由於壓縮資料20包含k值，因此熵解碼模組225可使用k值來執行解碼。
逆量化模組223可解壓縮由量化模組213壓縮的資料。逆量化模組223可恢復使用藉由量化模組213判定的量化係數來壓縮的壓縮資料20，但完全恢復在壓縮過程中丟失的部分是不可能的。因此，僅在有損模式下採用逆量化模組223。
預測補償模組221可恢復由預測資料表示的資料以及由預測模組211生成的殘餘資料。預測補償模組221可例如將殘餘資料表示（253（預測）、1（殘餘）以及2（殘餘））轉換為253、254以及255。舉例而言，預測補償模組221可藉由將殘餘資料添加至預測資料來恢復資料。
預測補償模組221可根據預測模組211恢復以像素或區塊為單位執行的預測。因此，壓縮資料20可經恢復或解壓縮，且可傳輸至多媒體多媒體IP 100。
當解壓縮壓縮資料20時，解壓縮管理模組228可執行可恰當地反映由上文參考圖5描述的壓縮管理模組218判定的第一分量及第二分量的合併順序以執行影像資料10的壓縮的工作。
根據本發明概念的例示性實施例的影像處理裝置的影像資料10為YUV類型的資料。 舉例而言，YUV類型的資料可具有YUV 420格式或YUV 422格式。
圖7是用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 420格式資料的三種操作模式。
參考圖1至圖7，圖框緩衝壓縮器200的編碼器210及解碼器220可具有三種操作模式。YUV 420格式的影像資料10可具有16×16大小的亮度信號區塊Y，以及第一色差信號區塊Cb或U以及8×8大小中的每一者的第二色差信號區塊Cr或V。在本文中，每個區塊的大小意謂是否包含按數行及數列佈置的像素，且大小16×16意謂由具有16行及16列的多個像素構成的區塊的大小。
圖框緩衝壓縮器200可包含三種操作模式，即（1）級聯模式、（2）部分級聯模式以及（3）分離模式。所述三種模式是關於資料的壓縮格式，且可為根據有損模式及無損模式分別判定的操作模式。
首先，級聯模式（1）為壓縮及解壓縮所有亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr的操作模式。亦即，如圖5中所示，在級聯模式（1）下，壓縮的單元區塊為其中亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr經合併的區塊。因此，壓縮的單元區塊的大小可為16´24。舉例而言，在級聯模式下，所有區塊（例如Y區塊、Cb區塊以及Cr區塊）經合併為單個較大區塊，且對單個較大區塊執行單一壓縮操作。
在部分級聯模式（2）下，亮度信號區塊Y分別經壓縮及解壓縮，而第一色差信號區塊Cb及第二色差信號區塊Cr經彼此合併，且可共同地經壓縮及解壓縮。因此，亮度信號區塊Y的原始大小為16´16，且第一色差信號區塊Cb及第二色差信號區塊Cr經合併的區塊為16´8。舉例而言，在部分級聯模式下，8´8 Cr區塊及8´8 Cb區塊經合併為第二區塊，對Y區塊執行第一壓縮操作，且對第二區塊單獨執行第二壓縮操作。
分離模式（3）為單獨壓縮及解壓縮所有亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr的操作模式。舉例而言，在分離模式下，對Y區塊執行第一壓縮操作，對Cb區塊執行第二壓縮操作，且對Cr區塊執行第三壓縮操作。在例示性實施例中，為了使壓縮及解壓縮的單元區塊的大小相同，亮度信號區塊Y保持在原始大小16´16，而第一色差信號區塊Cb及第二色差信號區塊Cr增加至16´16的大小。舉例而言，可對Cb區塊及Cr區塊執行放大操作，以使其與Y區塊大小相同。
因此，若亮度信號的區塊Y的數目為N，則第一色差信號區塊Cb的數目及第二色差信號區塊Cr的數目可分別降至N/4。
當根據本發明概念的例示性實施例的影像處理裝置的圖框緩衝壓縮器200在級聯模式（1）下操作時，所有所需資料可經由對記憶體300的單個存取請求來讀取。特定言之，當在多媒體IP 100中需要RGB類型的資料而非YUV類型的資料時，圖框緩衝壓縮器200可在級聯模式（1）下更有效地操作。此是因為在級聯模式（1）下同時獲取亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr為可能的，且為了獲取RGB資料，需要所有亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr。
當壓縮單元區塊比在級聯模式（1）下變得更小時，分離模式（3）可能需要較低硬體資源。因此，當在多媒體IP 100中需要YUV類型的資料而非RGB類型的資料時，圖框緩衝壓縮器200可在分離模式（3）下更有效地操作。
最後，部分級聯模式（2）為在級聯模式（1）與分離模式（3）之間存在折中的模式。即使在需要RGB資料的情況下，部分級聯模式（2）亦比級聯模式（1）需要更低的硬體資源。在部分級聯模式（2）下，對記憶體300的存取請求可比在分離模式（3）下的次數更少（兩倍）。
第一模式選擇器219可選擇在三種模式當中的任一種模式下壓縮影像資料10，所述三種模式亦即級聯模式（1）、部分級聯模式（2）或分離模式（3）。第一模式選擇器219可從多媒體IP 100接收信號，指示圖框緩衝壓縮器200在級聯模式（1）、部分級聯模式（2）以及分離模式（3）的可用模式中的給定一者下操作。
第二模式選擇器229可根據級聯模式（1）、部分級聯模式（2）以及分離模式（3）當中的第一模式選擇器219的壓縮模式來解壓縮壓縮資料20。舉例而言，若圖框緩衝壓縮器200最近用於在部分級聯模式（2）下壓縮資料，則第二模式選擇器229可假定使用部分級聯模式（2）來壓縮待解壓縮的資料。
圖8是用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 422格式資料的三種操作模式的概念圖。
參考圖1至圖6以及圖8，圖框緩衝壓縮器200的編碼器210及解碼器220亦具有呈YUV 422格式的三種操作模式。YUV 422格式的影像資料10可具有16×16大小的亮度信號區塊Y，以及16×8大小中的每一者的第一色差信號區塊（Cb或U）以及第二色差信號區塊（Cr或V）。
在級聯模式（1）下，壓縮的單元區塊為其中亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr經合併為單個較大區塊的區塊。因此，壓縮的單元區塊的大小可為16×32。
在部分級聯模式（2）下，亮度信號區塊Y分別經壓縮及解壓縮，而第一色差信號區塊Cb及第二色差信號區塊Cr經彼此合併，且共同地經壓縮及解壓縮。因此，亮度信號區塊Y保持在其原始大小16×16，且其中第一色差信號區塊Cb及第二色差信號區塊Cr經耦合的區塊可為16×16。因此，其中亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr經合併的區塊的大小可相同。
分離模式（3）為單獨壓縮及解壓縮所有亮度信號區塊Y、第一色差信號區塊Cb以及第二色差信號區塊Cr的操作模式。 在實施例中，為了使壓縮及解壓縮的單元區塊的大小相同，亮度信號區塊Y保持在原始大小16×16，而第一色差信號區塊Cb及第二色差信號區塊Cr增加至16×16的大小。
因此，當亮度信號區塊Y的數目為N時，第一色差信號區塊Cb的數目及第二色差信號區塊Cr的數目可分別降至N/2。
現將參考圖9至圖15描述上述影像處理裝置的操作。下文描述的影像處理裝置的操作可在上文參考圖7及圖8描述的級聯模式（1）下執行。
圖9至圖11是用於解釋根據本發明概念的例示性實施例的YUV 420格式資料的影像處理裝置的操作的示意圖。
圖9及圖10示出當影像資料10符合YUV 420格式時，影像資料10的目標壓縮比為50%且色深為8位元的情況。
參考圖9，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面510Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面510Cb及Cr平面510Cr。
就Y平面510Y而言，由於目標壓縮比為50%且色深為8位元，因此明度分量目標位元可計算如下。
明度分量目標位元=16×16×8×0.5位元=128×8位元
就Cb平面510Cb及Cr平面510Cr而言，Cb平面分量目標位元及Cr平面分量目標位元可計算如下。
Cb平面分量目標位元=8×8×8×0.5位元=32×8位元
Cr平面分量目標位元=8×8×8×0.5位元=32×8位元
因此，藉由合併Cb平面分量目標位元及Cr平面分量目標位元獲得的色度分量目標位元為64×8位元。
當基於以此方式計算的目標位元壓縮明度分量及色度分量時，明度分量及色度分量兩者以相同的壓縮比50%壓縮。
對應於壓縮結果的經壓縮位元流512可經形成為具有例如Y分量位元流512Y、Cb分量位元流512Cb以及Cr分量位元流512Cr的順序的單個位元流。然而，本發明概念的範疇不限於此，且圖框緩衝壓縮器200可藉由以與第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序不同的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流512。亦即，經壓縮位元流512中的Y分量位元流512Y、Cb分量位元流512Cb以及Cr分量位元流512Cr的順序可不同於圖9中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併，以生成經壓縮位元流512。亦即，可在經壓縮位元流512中例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流512Y、Cb分量位元流512Cb以及Cr分量位元流512Cr。
舉例而言，經壓縮位元流512可以其中影像資料10的第一像素的Y分量位元流、第一像素的Cb分量位元流、第一像素的Cr分量位元流、影像資料的第二像素的Y分量位元流、第二像素的Cb分量位元流以及第二像素的Cr分量位元流經連接的順序來交錯及合併，且亦可通過任意順序判定Y分量、Cb分量以及Cr分量的交錯順序。
一般而言，人眼對亮度變化比色彩變化更敏感。 因此，在根據YUV格式的影像資料10中，明度分量的重要性可比色度分量更高。
然而，當壓縮根據YUV格式的影像資料10時，由於色度分量的像素相關比明度分量更高，因此預測更容易，且因此，色度分量的壓縮效率變得比明度分量更高。
因此，為了進一步提高藉由壓縮影像資料10獲得的壓縮資料20的品質，可藉由將比具有良好壓縮效率的色度分量更多的位元分配至具有較低壓縮效率的明度分量來應用相對提高壓縮比的方法。
參考圖10，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面520Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面520Cb及Cr平面520Cr。
在此實施例中，壓縮管理模組218控制壓縮順序，以使得圖框緩衝壓縮器200首先壓縮色度分量，接著壓縮明度分量。為此目的，壓縮管理模組218在計算明度分量目標位元之前計算色度分量目標位元。
就Cb平面520Cb及Cr平面520Cr而言，Cb平面分量目標位元及Cr平面分量目標位元中的每一者可計算如下。
Cr平面分量目標位元=8×8×8×0.5位元=32×8位元
Cr平面分量目標位元=8×8×8×0.5位元=32×8位元
壓縮管理模組218分配色度分量目標位元，以在計算明度分量目標位元之前首先對色度分量執行壓縮。具體而言，壓縮管理模組218判定量化參數（quantization parameter；QP）值及熵k值，以使得色度分量使用位元為小於且最接近色度目標位元的值，由此對色度分量執行壓縮。
因此，我們假定28×8位元用於對Cb平面分量的壓縮，且30×8位元用於對Cb平面分量的壓縮。亦即，在本發明實施例中，色度分量使用位元（（28+30）×8位元）小於色度分量目標位元（（32+32）×8）位元）。
壓縮管理模組218使用色度分量上的壓縮資料的色度分量使用位元來計算明度分量上的明度分量目標位元。
壓縮管理模組218可計算明度分量目標位元如下。
明度分量目標位元=總目標位元-色度分量使用位元=192×8位元-（28+30）×8位元=132×8位元
在本文中，就16×16大小的Y平面（520Y）、8×8大小的Cb平面（520Cb）以及8×8大小的Cr平面（520Cr）而言，總目標位元為藉由使總（16+8）×16×0.5=192的大小乘以色深值8獲得的值。此外，0.5意謂目標壓縮比。
壓縮管理模組218分配由此計算的明度分量目標位元，以壓縮明度分量。
根據此實施例，不同於圖9的包含128位元的Y分量位元流512Y、32位元的Cb分量位元流512Cb以及32位元的Cr分量位元流512Cr的經壓縮位元流512，包含28位元的Cb分量位元流522Cb、30位元的Cr分量位元流522Cr以及134位元的Y分量位元流522Y的經壓縮位元流522變為壓縮結果。
如上文所描述，圖框緩衝壓縮器200可藉由以不同於第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流522。 亦即，經壓縮位元流522中的Y分量位元流522Y、Cb分量位元流522Cb以及Cr分量位元流522Cr的順序可不同於圖10中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併，以生成經壓縮位元流522。亦即，可在經壓縮位元流522中例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流522Y、Cb分量位元流522Cb以及Cr分量位元流522Cr。以此方式，在相同總目標位元內，藉由將更多位元分配至具有更高重要性及相對較低壓縮效率的明度分量，以及藉由將較少位元分配至相對不同的色度分量，可提高藉由壓縮影像資料10獲得的壓縮資料20的壓縮品質。
接著，參考圖11，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面530Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面530 Cb及Cr平面530Cr。
在此實施例中，壓縮管理模組218控制壓縮順序，以使得圖框緩衝壓縮器200首先壓縮色度分量，接著壓縮明度分量。為此目的，壓縮管理模組218在計算明度分量目標位元之前計算色度分量目標位元。然而，與圖10的實施例的不同之處在於，壓縮管理模組218可先前將色度分量的壓縮比設定為例如小於50%的40.625%。
因此，就Cb平面530Cb及Cr平面530Cr而言，Cb平面分量目標位元及Cr平面分量目標位元可計算如下。
Cb平面分量目標位元=8×8×8×0.40625位元=26×8位元
Cr平面分量目標位元=8×8×8×0.40625位元=26×8位元
壓縮管理模組218根據提前設定為例如40.625%的壓縮比首先對色度分量執行壓縮。具體而言，壓縮管理模組218判定QP值及熵k值符合預設壓縮比，並對色度分量執行壓縮。因此，26×8位元用於壓縮Cb平面分量，且26×8位元用於壓縮Cb平面分量。
壓縮管理模組218可計算明度分量目標位元如下。
明度分量目標位元=總目標位元-根據預設壓縮比的色度分量目標位元=192×8位元-（26+26）×8位元=140×8位元
在本文中，就16×16大小的Y平面（530Y）、8×8大小的Cb平面（530Cb）以及8×8大小的Cr平面（530Cr）而言，總目標位元為藉由使總（16+8）×16×0.5=192的大小乘以色深值8獲得的值。此外，0.5意謂目標壓縮比。
壓縮管理模組218分配由此計算的明度分量目標位元，以壓縮明度分量。
因此，在本發明概念的至少一個實施例中，當影像資料10符合YUV 420格式時，可由壓縮管理模組218計算色度分量目標位元為總目標位元/3×W（在本文中，W為等於或小於1的正實數）。 舉例而言，圖11的實施例示出W的值為0.40625的情況。
根據此實施例，不同於圖9的包含128位元的Y分量位元流512Y、32位元的Cb分量位元流512Cb以及32位元的Cr分量位元流512Cr的經壓縮位元流512，包含26位元的Cb分量位元流532Cb、26位元的Cr分量位元流532Cr以及140位元的Y分量位元流532Y的經壓縮位元流532變為壓縮結果。
如上文所描述，圖框緩衝壓縮器200可藉由以不同於第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流532。亦即，經壓縮位元流532中的Y分量位元流532Y、Cb分量位元流532Cb以及Cr分量位元流532Cr的順序可不同於圖11中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200藉由將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併來生成經壓縮位元流532。亦即，可在經壓縮位元流532內例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流532Y、Cb分量位元流532Cb以及Cr分量位元流532Cr。
如上文所描述，在相同總目標位元內，藉由將更多位元分配至具有更高重要性及具有相對較低壓縮效率的明度分量，以及藉由將較少位元分配至相對不同的色度分量，可提高藉由壓縮影像資料10獲得的壓縮資料20的壓縮品質。
圖12至圖14是用於解釋根據本發明概念的例示性實施例的YUV 422格式資料的影像處理裝置的操作的示意圖。
圖12及圖13示出當影像資料10符合YUV 422格式時，影像資料10的目標壓縮比為50%且色深為8位元的情況。
參考圖12，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面540Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面540Cb及Cr平面540Cr。
就Y平面540Y而言，由於目標壓縮比為50%且色深為8位元，因此明度分量目標位元可計算如下。
明度分量目標位元= 16×16×8×0.5位元=128×8位元
就Cb平面540Cb及Cr平面540Cr而言，Cb平面分量目標位元及Cr平面分量目標位元可計算如下。
Cb平面分量目標位元=16×8×8×0.5位元=64×8位元
Cr平面分量目標位元=16×8×8×0.5位元=64×8位元
因此，藉由添加Cb平面分量目標位元及Cr平面分量目標位元獲得的色度分量目標位元為128×8位元。
當基於以此方式計算的目標位元壓縮明度分量及色度分量時，明度分量及色度分量兩者以相同的壓縮比50%壓縮。
對應於壓縮結果的經壓縮位元流542可經形成為具有例如Y分量位元流542Y、Cb分量位元流542Cb以及Cr分量位元流542Cr的順序的單個位元流。然而，本發明概念的範疇不限於此。 舉例而言，圖框緩衝壓縮器200可藉由以不同於第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流542。 亦即，經壓縮位元流542中的Y分量位元流542Y、Cb分量位元流542Cb以及Cr分量位元流542Cr的順序可不同於圖12中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200藉由將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併來生成經壓縮位元流542。亦即，可在經壓縮位元流542中例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流542Y、Cb分量位元流542Cb以及Cr分量位元流542Cr。
舉例而言，經壓縮位元流542可以其中影像資料10的第一像素的Y分量位元流、第一像素的Cb分量位元流、第一像素的Cr分量位元流、影像資料10的第二像素的Y分量位元流、第二像素的Cb分量位元流以及第二像素的Cr分量位元流經連接的順序來交錯及合併，且亦可通過任意順序判定Y分量、Cb分量以及Cr分量的交錯順序。
參考圖13，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面550Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面550 Cb及Cr平面550Cr。
在此實施例中，壓縮管理模組218控制壓縮順序，以使得圖框緩衝壓縮器200首先壓縮色度分量，接著壓縮明度分量。 為此目的，壓縮管理模組218在計算明度分量目標位元之前首先計算色度分量目標位元。
就Cb平面550Cb及Cr平面550Cr而言，Cb平面分量目標位元及Cr平面分量目標位元可計算如下。
Cb平面分量目標位元=16×8×8×0.5位元=64×8位元
Cr平面分量目標位元=16×8×8×0.5位元=64×8位元
壓縮管理模組218分配色度分量目標位元，以在計算明度分量目標位元之前首先對色度分量執行壓縮。具體而言，壓縮管理模組218判定QP值及熵k值，以使得色度分量使用位元變為小於且最接近色度目標位元的值，並對色度分量執行壓縮。
因此，我們假定62×8位元用於Cb平面分量的壓縮，且60×8位元用於Cb平面分量的壓縮。亦即，在本發明實施例中，色度分量使用位元（（62+60）×8位元）小於色度分量目標位元（（64+64）0×8）位元）。
壓縮管理模組218使用色度分量上的壓縮資料的色度分量使用位元來計算明度分量的明度分量目標位元。
壓縮管理模組218現可計算明度分量目標位元如下。
明度分量目標位元=總目標位元-色度分量使用位元=256×8位元-（62+60）×8位元=134×8位元。
在本文中，就16×16大小的Y平面550Y、8×8大小的Cb平面550Cb以及8×8大小的Cr平面550Cr而言，總目標位元為藉由使總大小（16+8+8）×16×0.5=256乘以色深值8獲得的值。此外，0.5意謂目標壓縮比。
壓縮管理模組218分配由此計算的明度分量目標位元，以壓縮明度分量。
根據本發明實施例，不同於圖12的包含128位元的Y分量位元流542Y、64位元的Cb分量位元流542Cb以及64位元的Cr分量位元流542Cr的經壓縮位元流542，包含62位元的Cb分量位元流552Cb、60位元的Cr分量位元流552Cr以及134位元的Y分量位元流552Y的經壓縮位元流552變為壓縮結果。
如上文所描述，圖框緩衝壓縮器200可藉由以不同於第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流552。亦即，經壓縮位元流552中的Y分量位元流552Y、Cb分量位元流552Cb以及Cr分量位元流552Cr的順序可不同於圖13中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200藉由將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併來生成經壓縮位元流552。亦即，可在經壓縮位元流552中例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流552Y、Cb分量位元流552Cb以及Cr分量位元流552Cr。
以此方式，在相同總目標位元內，藉由將更多位元分配至具有更高重要性及相對較低壓縮效率的明度分量，以及藉由將較少位元分配至相對不同的色度分量，可提高藉由壓縮影像資料10獲得的壓縮資料20的壓縮品質。
接著，參考圖14，影像資料10的第一分量（亦即明度分量）對應於影像資料10的Y平面560Y，且影像資料10的第二分量（亦即色度分量）對應於影像資料10的Cb平面560Cb及Cr平面560Cr。
在本發明實施例中，壓縮管理模組218控制壓縮順序，以使得圖框緩衝壓縮器200首先壓縮色度分量，接著壓縮明度分量。為此目的，壓縮管理模組218在計算明度分量目標位元之前首先計算色度分量目標位元。然而，與圖13的實施例的不同之處為，壓縮管理模組218先前將色度分量的壓縮比設定為例如小於50%的40.625%。
因此，就Cb平面560Cb及Cr平面560Cr而言，Cb平面分量目標位元及Cr平面分量目標位元可計算如下。
Cb平面分量目標位元=16×8×8×0.40625位元=52×8位元
Cr平面分量目標位元=16×8×8×0.40625位元=52×8位元
壓縮管理模組218根據提前設定為例如40.625%的壓縮比首先對色度分量執行壓縮。具體而言，壓縮管理模組218判定QP值及熵k值符合預設壓縮比，並對色度分量執行壓縮。因此，52×8位元用於壓縮Cb平面分量，且52×8位元用於壓縮Cb平面分量。
壓縮管理模組218現可計算明度分量目標位元如下。
明度分量目標位元=總目標位元-根據預設壓縮比的色度分量目標位元=256×8位元-（52+52）×8位元=152×8位元。
在本文中，就16×16大小的Y平面560Y、8×8大小的Cb平面560Cb以及8×8大小的Cr平面560Cr而言，總目標位元為藉由使總大小（16+8+8）×8=256乘以色深值8獲得的值。此外，0.5意謂目標壓縮比。
壓縮管理模組218分配由此計算的明度分量目標位元，並壓縮明度分量。
因此，在本發明概念的至少一個實施例中，當影像資料10符合YUV 422格式時，可由壓縮管理模組218計算色度分量目標位元為總目標位元/2×W（在本文中，W為等於或小於1的正實數）。舉例而言，圖14的實施例示出W的值為0.5的情況。
根據本發明實施例，不同於圖12的包含128位元的Y分量位元流542Y、64位元的Cb分量位元流542Cb以及64位元的Cr分量位元流542Cr的經壓縮位元流542，包含52位元的Cb分量位元流562Cb、52位元的Cr分量位元流562Cr以及152位元的Y分量位元流562Y的經壓縮位元流562變為壓縮結果。
如上文所描述，圖框緩衝壓縮器200可藉由以不同於第一分量（例如明度分量）及第二分量（例如色度分量）的壓縮順序的任意順序將第一分量的壓縮資料及第二分量的壓縮資料合併來生成經壓縮位元流562。 亦即，經壓縮位元流562中的Y分量位元流562Y、Cb分量位元流562Cb以及Cr分量位元流562Cr的順序可不同於圖14中所示的順序。
在本發明概念的例示性實施例中，圖框緩衝壓縮器200藉由將第一分量的壓縮資料及第二分量的壓縮資料交錯及合併來生成經壓縮位元流562。 亦即，可在經壓縮位元流562中例如以通過任意順序混合以影像資料10的像素為單位重複的Y分量、Cb分量以及Cr分量的位元流的形式生成Y分量位元流562Y、Cb分量位元流562Cb以及Cr分量位元流562Cr。
以此方式，在相同總目標位元內，藉由將更多位元分配至具有更高重要性及相對較低壓縮效率的明度分量，以及藉由將較少位元分配至相對不同的色度分量，可提高藉由壓縮影像資料10獲得的壓縮資料20的壓縮品質。
圖15是示出根據本發明概念的例示性實施例的影像處理裝置的操作方法的流程圖。
參考圖15，根據本發明概念的例示性實施例的影像處理裝置的操作方法包含計算色度分量的目標位元（S1501）。
具體而言，在計算色度分量的目標位元之前，影像處理裝置基於符合YUV格式的影像資料10的目標壓縮比來計算總目標位元，且接著計算用於壓縮包含呈YUV格式的Cb分量及Cr分量的色度分量的色度分量目標位元。
此外，所述方法包含分配色度分量目標位元，以壓縮色度分量（S1503）。
另外，所述方法包含獲得色度分量的經壓縮位元的數目（S1505）。色度分量的經壓縮位元的數目可被稱為色度分量的壓縮資料的色度分量使用位元。
所述方法進一步包含計算明度分量的目標位元（例如明度分量的目標位元）（S1507）。明度分量為呈YUV格式的Y分量。
此外，所述方法包含分配明度分量目標位元，以壓縮明度分量（S1509）。
此外，當明度分量的壓縮資料的明度分量使用位元及色度分量使用位元的總和小於總目標位元時，所述方法可進一步包含在明度分量的壓縮資料之後添加虛擬位元，
所屬領域中具通常知識者將瞭解，可在實質上不脫離本發明概念的原理的情況下對例示性實施例進行許多變化及修改。
10‧‧‧影像資料20‧‧‧壓縮資料100‧‧‧多媒體IP110‧‧‧影像信號處理器120‧‧‧振盪校正模組130‧‧‧多格式編解碼器140‧‧‧圖形處理單元150‧‧‧顯示器200‧‧‧圖框緩衝壓縮器210‧‧‧編碼器211‧‧‧預測模組213‧‧‧量化模組215‧‧‧熵編碼模組217‧‧‧填補模組218‧‧‧壓縮管理模組219‧‧‧模式選擇器220‧‧‧解碼器221‧‧‧預測補償模組223‧‧‧逆量化模組225‧‧‧熵解碼模組227‧‧‧未填補模組228‧‧‧解壓縮管理模組229‧‧‧模式選擇器300‧‧‧記憶體400‧‧‧系統匯流排510Cb、520Cb、530Cb、540Cb、550Cb、560Cb‧‧‧Cb平面510Cr、520Cr、530Cr、540Cr、550Cr、560Cr‧‧‧Cr平面510Y、520Y、530Y、540Y、550Y、560Y‧‧‧Y平面512、522、532、542、552、562‧‧‧經壓縮位元流512Cb、522Cb、532Cb、542Cb、552Cb、562Cb‧‧‧Cb分量位元流512Cr、522Cr、532Cr、542Cr、552Cr、562Cr‧‧‧Cr分量位元流512Y、522Y、532Y、542Y、552Y、562Y‧‧‧Y分量位元流S1501‧‧‧步驟S1503‧‧‧步驟S1505‧‧‧步驟S1507‧‧‧步驟S1509‧‧‧步驟
本發明將藉由參看附圖詳細地描述其例示性實施例而變得更清楚，其中： 圖1至圖3是用於解釋根據本發明概念的一些實施例的影像處理裝置的方塊圖。 圖4是用於詳細解釋圖1至圖3的圖框緩衝壓縮器的方塊圖。 圖5是用於詳細解釋圖4的編碼器的方塊圖。 圖6是用於詳細解釋圖4的解碼器的方塊圖。 圖7是用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 420格式資料的三種操作模式的概念圖。 圖8是用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 422格式資料的三種操作模式的概念圖。 圖9至圖11是用於解釋根據本發明概念的例示性實施例的YUV 420格式資料的影像處理裝置的操作的示意圖。 圖12至圖14是用於解釋根據本發明概念的例示性實施例的YUV 422格式資料的影像處理裝置的操作的示意圖。 圖15是示出根據本發明概念的例示性實施例的影像處理裝置的操作方法的流程圖。
100‧‧‧多媒體IP
110‧‧‧影像信號處理器
120‧‧‧振盪校正模組
130‧‧‧多格式編解碼器
140‧‧‧圖形處理單元
150‧‧‧顯示器
200‧‧‧圖框緩衝壓縮器
300‧‧‧記憶體
400‧‧‧系統匯流排
Claims (19)
- 一種影像處理裝置，包括：多媒體智慧財產權(IP)區塊，經配置以處理包含第一分量及第二分量的影像資料；記憶體；以及圖框緩衝壓縮器(FBC)，經配置以壓縮所述影像資料，以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中，其中所述圖框緩衝壓縮器包含邏輯電路，所述邏輯電路經配置以控制所述影像資料的所述第一分量及所述第二分量的壓縮順序，以使得所述圖框緩衝壓縮器首先壓縮所述第二分量，接著壓縮所述第一分量，其中所述第一分量包含明度分量且所述第二分量包含色度分量。
- 如申請專利範圍第1項所述的影像處理裝置，其中在根據藉由所述邏輯電路判定的所述壓縮順序壓縮所述第一分量及所述第二分量之後，所述圖框緩衝壓縮器將所述第一分量的所述壓縮資料與所述第二分量的所述壓縮資料合併以生成單個位元流。
- 如申請專利範圍第2項所述的影像處理裝置，其中所述圖框緩衝壓縮器以與所述第一分量及所述第二分量的所述壓縮順序不同的任意順序將所述第一分量的所述壓縮資料與所述第二分量的所述壓縮資料合併，以生成所述單個位元流。
- 如申請專利範圍第2項所述的影像處理裝置，其中所述圖框緩衝壓縮器將所述第一分量的所述壓縮資料及所述第二分量的所述壓縮資料交錯及合併，以生成所述單個位元流。
- 如申請專利範圍第1項所述的影像處理裝置，其中所述 影像資料為符合YUV格式的影像資料，所述明度分量包含呈所述YUV格式的Y分量，以及所述色度分量包含呈所述YUV格式的Cb分量及Cr分量。
- 如申請專利範圍第1項所述的影像處理裝置，其中所述邏輯電路基於所述影像資料的目標壓縮比來計算總目標位元以及所述色度分量的色度分量目標位元，分配所述色度分量目標位元，以壓縮所述色度分量，使用所述色度分量的所述壓縮資料的色度分量使用位元來計算所述明度分量的明度分量目標位元，以及分配所述明度分量目標位元，以壓縮所述明度分量。
- 如申請專利範圍第6項所述的影像處理裝置，其中所述色度分量使用位元小於所述色度分量目標位元。
- 如申請專利範圍第6項所述的影像處理裝置，其中，當所述影像資料符合YUV 420格式時，所述色度分量目標位元經設定為所述總目標位元/3×W，其中W為<=1的正實數。
- 如申請專利範圍第6項所述的影像處理裝置，其中，當所述影像資料符合YUV 422格式時，所述色度分量目標位元經設定為所述總目標位元/2×W，其中W為<=1的正實數。
- 如申請專利範圍第6項所述的影像處理裝置，其中藉由從所述總目標位元減去所述色度分量使用位元來計算所述明度分量目標位元。
- 一種影像處理裝置，包括：多媒體智慧財產權(IP)區塊，經配置以處理符合YUV格式 的影像資料；記憶體；以及圖框緩衝壓縮器(FBC)，經配置以壓縮所述影像資料，以生成壓縮資料並將所述壓縮資料儲存於所述記憶體中，其中所述圖框緩衝壓縮器包含邏輯電路，所述邏輯電路經配置以控制壓縮順序，以使得在壓縮包含所述影像資料的所述YUV格式的Y分量的明度分量之前執行對包含所述影像資料的所述YUV格式的Cb分量及Cr分量的色度分量的壓縮。
- 如申請專利範圍第11項所述的影像處理裝置，其中所述邏輯電路基於所述影像資料的目標壓縮比來計算總目標位元以及所述色度分量的色度分量目標位元，分配所述色度分量目標位元，以壓縮所述色度分量，使用所述色度分量的所述壓縮資料的色度分量使用位元來計算所述明度分量的明度分量目標位元，以及分配所述明度分量目標位元，以壓縮所述明度分量。
- 如申請專利範圍第12項所述的影像處理裝置，其中所述色度分量使用位元小於所述色度分量目標位元。
- 如申請專利範圍第13項所述的影像處理裝置，其中所述邏輯電路判定量化參數(QP)值及熵k編碼值，以使得所述色度分量使用位元為小於且最接近所述色度目標位元的值。
- 如申請專利範圍第12項所述的影像處理裝置，其中，當所述影像資料符合YUV 420格式時，所述色度分量目標位元經設定為所述總目標位元/3×W，其中W為>=1的正實數。
- 如申請專利範圍第12項所述的影像處理裝置，其中，當所述影像資料符合YUV 422格式時，所述色度分量目標位元經設定為所述總目標位元/2×W，其中W為<=1的正實數。
- 如申請專利範圍第12項所述的影像處理裝置，其中藉由從所述總目標位元減去所述色度分量使用位元來計算所述明度分量目標位元。
- 如申請專利範圍第12項所述的影像處理裝置，其中，當所述明度分量的所述壓縮資料的所述明度分量使用位元及所述色度分量使用位元的總和小於所述總目標位元時，所述邏輯電路在所述明度分量的所述壓縮資料之後添加虛擬位元。
- 一種影像處理裝置的操作方法，所述方法包括：基於符合YUV格式的影像資料的目標壓縮比來計算總目標位元；計算用於壓縮包含所述YUV格式的Cb分量及Cr分量的色度分量的色度分量目標位元；分配所述色度分量目標位元，以壓縮所述色度分量；使用所述色度分量的壓縮資料的色度分量使用位元來計算包含所述YUV格式的Y分量的明度分量的明度分量目標位元；分配所述明度分量目標位元，以壓縮所述明度分量；以及當所述明度分量的所述壓縮資料的所述明度分量使用位元及所述色度分量使用位元的總和小於所述總目標位元時，在所述明度分量的所述壓縮資料之後添加虛擬位元。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180010128 | 2018-01-26 | ||
| KR10-2018-0010128 | 2018-01-26 | ||
| KR10-2018-0041786 | 2018-04-10 | ||
| KR1020180041786A KR102523959B1 (ko) | 2018-01-26 | 2018-04-10 | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201941594A TW201941594A (zh) | 2019-10-16 |
| TWI820063B true TWI820063B (zh) | 2023-11-01 |
Family
ID=67615965
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW107144252A TWI820063B (zh) | 2018-01-26 | 2018-12-10 | 影像處理裝置及影像處理裝置的操作方法 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR102523959B1 (zh) |
| SG (1) | SG10201810709TA (zh) |
| TW (1) | TWI820063B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494869B2 (en) * | 2020-09-30 | 2022-11-08 | Realtek Semiconductor Corporation | Image processor having a compressing engine performing operations on each row of M*N data block |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110206289A1 (en) * | 2010-02-22 | 2011-08-25 | Salih Dikbas | Guaranteed-Rate Tiled Image Data Compression |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8401071B2 (en) * | 2007-12-19 | 2013-03-19 | Sony Corporation | Virtually lossless video data compression |
-
2018
- 2018-04-10 KR KR1020180041786A patent/KR102523959B1/ko active IP Right Grant
- 2018-11-29 SG SG10201810709TA patent/SG10201810709TA/en unknown
- 2018-12-10 TW TW107144252A patent/TWI820063B/zh active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110206289A1 (en) * | 2010-02-22 | 2011-08-25 | Salih Dikbas | Guaranteed-Rate Tiled Image Data Compression |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201941594A (zh) | 2019-10-16 |
| SG10201810709TA (en) | 2019-08-27 |
| KR20190091179A (ko) | 2019-08-05 |
| KR102523959B1 (ko) | 2023-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4855418B2 (ja) | 色差成分の相関関係を利用したカラー映像の符号化、復号化方法及びその装置 | |
| US11445160B2 (en) | Image processing device and method for operating image processing device | |
| JP2017184250A (ja) | 係数圧縮を用いて復号するための装置及び方法 | |
| US10887616B2 (en) | Image processing devices having enhanced frame buffer compressors therein | |
| US11991347B2 (en) | Image processing device | |
| US20210250575A1 (en) | Image processing device | |
| EP1292152B1 (en) | Image processing apparatus, and image processing method | |
| TWI820063B (zh) | 影像處理裝置及影像處理裝置的操作方法 | |
| US11190810B2 (en) | Device and method for compressing image data using quantization parameter and entropy tables | |
| KR20200065367A (ko) | 이미지 처리 장치 및 프레임 버퍼 컴프레서 | |
| US11735222B2 (en) | Frame buffer compressing circuitry and image processing apparatus | |
| KR102543449B1 (ko) | 이미지 처리 장치 및 이미지 처리 장치의 동작 방법 | |
| TWI827579B (zh) | 影像處理裝置 | |
| TWI846680B (zh) | 影像處理裝置及操作影像處理裝置之方法 | |
| TWI795480B (zh) | 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置 | |
| US12052307B2 (en) | Image processing device and method for operating image processing device | |
| US20220201060A1 (en) | Image processing device and method for operating image processing device | |
| JP2023008624A (ja) | 撮像装置及びその制御方法及びプログラム | |
| TW202007151A (zh) | 影像壓縮電路及方法 | |
| JP2020141377A (ja) | 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム |