TWI423680B

TWI423680B - 可重組式移動補償架構之設計空間探索方法

Info

Publication number: TWI423680B
Application number: TW98138534A
Authority: TW
Inventors: Gwo Giun Lee; Wei Chiao Yang; He Yuan Lin; min shan Wu
Original assignee: Nat Cheng Kong University
Priority date: 2009-11-13
Filing date: 2009-11-13
Publication date: 2014-01-11
Also published as: TW201117619A

Description

可重組式移動補償架構之設計空間探索方法

本發明是有關於一種可重組式移動補償架構之設計空間探索方法，且特別是關於一種採用架構/演算法協同設計之概念，發展可重組式移動補償架構之方法。

隨著多媒體技術的發展，多種視訊壓縮標準如ISO/IEC所訂立之視訊壓縮標準MPEG-1、MPEG-2及MPEG-4、ITU-T所訂立之視訊壓縮標準H.263及H.264已成功地發展，提升了人類於日常生活中的視訊享受。

近幾年來，因應不同視訊壓縮標準之應用，發展能支援多規格視訊之解碼器成為必然的趨勢。在上述視訊壓縮標準之中，移動補償處理(motion compensation)為最重要且核心的部份。對視訊解碼器而言，移動補償處理為依據移動估算處理(motion estimation)所獲得之移動向量(motion vector)，從參考畫面之中找到與目前畫面最匹配相似的對應區塊，並且經由插補運算而得到移動補償預測值。

由於這些視訊壓縮標準所對應之移動補償處理之間有異同性，倘若各自將不同視訊壓縮標準之移動補償處理共同實現於解碼器中，必然會耗費重複之硬體資源來實現這些移動補償處理之間的共同性。因此，須有一套設計方法能針對所需之應用規格發展有效率的移動補償硬體架構，以支援不同視訊壓縮標準之移動補償處理。

本發明提供一種可重組式移動補償架構之設計空間探索方法，其採用架構/演算法協同設計之概念，針對所需之預定應用規格，發展有效率之可重組式移動補償架構。

本發明提出一種可重組式移動補償架構之設計空間探索方法。首先，設定預定應用規格。接著，萃取多種視訊壓縮標準所分別對應之移動補償演算法之間的共同性，並據以分析各移動補償演算法之運算量，以決定處理單元所包含之運算元件。基於預定應用規格，分析於尖峰運算量及資料組態最差情況下可重組式移動補償架構以不同資料粒度及不同數量之處理單元進行各移動補償演算法時之資料流程，並據以獲得各移動補償演算法所對應之硬體參數。基於預定設計目標及硬體參數，選擇可重組式移動補償架構之預定資料粒度及預定數量之處理單元。

上述之可重組式移動補償架構之設計空間探索方法，本發明之一實施例更包括依據各移動補償演算法所支援之多種區塊分割類型，分析在不同資料粒度下處理各區塊分割類型時，各區塊分割類型所對應之參考區塊內可重複使用之資料，並據以獲得各移動補償演算法所對應之硬體參數。當可重組式移動補償架構以預定資料粒度進行處理時，保留參考區塊內可重複使用之資料於可重組式移動補償架構之內部記憶體。

上述之可重組式移動補償架構之設計空間探索方法，本發明之一實施例更包括依據各移動補償演算法所支援之多種像素插補類型，分析各像素插補類型所需之參考區塊，並據以獲得各移動補償演算法所對應之硬體參數。當可重組式移動補償架構以預定資料粒度進行處理時，擷取各像素插補類型對應之參考區塊於可重組式移動補償架構之內部記憶體。

基於上述，本發明基於所萃取之共同性，分析各移動補償演算法之運算量，且進而獲得可重組式移動補償架構之處理單元。藉此處理單元可節省硬體資源處理這些移動補償演算法之間具共同性之運算。另外，本發明以不同資料粒度及不同處理單元數量分析可重組式移動補償架構執行各移動補償演算法之資料流程，並獲得各移動補償演算法所對應之硬體參數。基於預定設計目標權衡這些硬體參數，以發展符合預定應用規格且具較佳效率的可重組式移動補償架構。

由於各種視訊壓縮標準隨不同應用需求而定義了不同的設定檔(profile)及層級(level)，因此本實施例先設定一預定應用規格，並在此預定應用規格下經由設計空間探索方法來發展具較佳效率之可重組式移動補償架構。

表1為本發明之一實施例之可重組式移動補償架構所支援之預定應用規格的表格。請參照表1，本實施例發展之可重組式移動補償架構欲支援視訊壓縮標準MPEG-2中的主設定檔(main profile)同高層級(high level)、視訊壓縮標準MPEG-4中的進階壓縮效率設定檔(advanced coding efficiency profile)同L4層級以及視訊壓縮標準H.264中的主設定檔同L4層級，支援P畫面及B畫面之處理，且可即時處理每秒30張色彩格式YCrCb比為4：2：0之高解析度(1920×1088)畫面。

為了支援上述之視訊壓縮標準，本實施例分析這些視訊壓縮標準所分別對應之移動補償演算法之間的異同處，從中萃取出這些移動補償演算法之間至少一共同性，使可重組式移動補償架構利能更有效率地運作以及節省硬體資源。

舉例來說，視訊壓縮標準H.264所對應之移動補償演算法支援1/4像素精度的亮度(luminance)插補及1/8像素精度的色度(chrominance)插補，且視訊壓縮標準MPEG-4所對應之移動補償演算法在亮度預測及色度預測上分別支援1/4像素精度及1/2像素精度的插補。對1/4像素精度而言，雖然H.264及MPEG-4之移動補償演算法分別採用6階及8階之有限脈衝響應(finite impulse response,FIR)濾波器來進行插補，但是H.264移動補償演算法採用之階係數序列[1,5,20,20,-5,1]與MPEG-4移動補償演算法採用之階係數序列[-8,24,-48,160,-48,24,-8]之間存在一公因係數序列。此公因係數序列經過簡單的加法運算及位移運算即可獲得上述之階係數序列其中一之。

MPEG-4移動補償演算法採用之階係數序列[-8,24,-48,160,-48,24,-8]除以除數8可獲得階係數序列[-1,3,-6,20,20,-6,3,-1]，此階係數序列與H.264移動補償演算法採用之階係數序列[1,5,20,20,-5,1]可由公因數序列[1,2,4,16]經過如下表2所示之加法運算及位移運算後可獲得之。階係數3為係數1向左位移1位元(即獲得係數2)並加上係數1，階係數-5及-6分別為係數1向左位移2位元(即獲得係數4)並加上係數2或者係數1，且階係數20為係數1向左位移4位元並加上係數4。此外，視訊壓縮標準 MPEG-2及MPEG-4在亮度預測及色度預測上支援1/2像素精度的插補，於此可採用簡單的雙線性濾波器來產生移動補償之預測值。

接著，本實施例基於上述之共同性，分析各視訊壓縮標準所對應之移動補償演算法之運算量，並據以決定可重組式移動補償架構中處理單元(processing unit,PU)所包含之運算元件。圖1繪示為視訊壓縮標準H.264支援之非整數點像素插補的示意圖。請參照圖1，在H.264移動補償演算法中，1/2像素位置為利用其左右相鄰之6個整數點像素進行插補，例如1/2像素位置b=round((E-5F+20G+20H-5I+J)/32)，其中round()表示四捨五入。基於上述所萃取之共同性，在H.264移動補償演算法中，1/2像素位置b=[(G+J)(16+4)+(F+J)((-4)+(-1))+(E+J)+16]>>5，從而可知1/2像素位置b需8個加法運算及1個位移運算，於此僅簡述基於公因係數序列，可分析獲得H.264移動補償演算法中各像素位置所需之運算量，未加入由公因係數序列求得階係數之加法運算及位移運算。基於上述之公因係數序列，也可類推MPEG-4及MPEG-2移動補償演算法中各像素位置所需之運算。

請參照圖1，在H.264移動補償演算法所支援的多種區塊分割類型中，例如：4×4、8×4、8×8及16×8等區塊分割類型，H.264 移動補償演算法對4×4區塊分割類型進行像素位置i,f,k或q處理時，此情況因4×4區塊分割類型下經運算所獲得之插補值可重複利用性低，且插補像素位置i,f,k或q運算量大而為最壞情況。同樣地，MPEG-4移動補償演算法對8×8區塊分割類型進行像素位置a,b,c或d處理時為最壞情況，且MPEG-2移動補償演算法對16×16區塊分割類型進行像素位置a處理時為最壞情況。

因此，基於上述之共同性，本實施例可估算不同視訊壓縮標準之中，各移動補償演算法於最壞情況下處理P畫面中亮度及色度插補分別所需之運算量，以及處理B畫面中亮度及色度插補分別所需之運算。以加法運算來說，由於MPEG-4移動補償演算法相較於另兩種移動補償演算法，其於最壞情況下插補獲得第一個像素位置時需耗費較多加法運算，因此假設處理單元包含足夠多的加法運算於一時脈週期完成MPEG-4移動補償演算法於最壞情況下之處理。藉此，本實施例可決定處理單元所包含之運算元件。

為發展可重組式移動補償架構，本實施例參考自上而下設計方法論所分之多種抽象層，例如：應用規格、演算法層及架構層等，從最上層去探討各移動補償演算法之資料流程，並且逐一地對各種設計條件去進行探索，以權衡獲得符合預定設計目標之硬體。

對可重組式移動補償架構而言，最上層的資料流程為在單位時脈週期內進行所需資料之擷取以及資料之運算。於此，本實施例基於預定應用規格，分析可重組式移動補償架構於尖峰運算量及資料組態最差情況下，以不同資料粒度(data granularity)及不同數量之處理單元進行各移動補償演算法時所對應之資料流程，並據以獲得各移動補償演算法所對應之多個硬體參數，例如：峰值頻寬、匯流排位元數、所需之記憶體容量以及工作頻率等。

舉例來說，由於H.264移動補償演算法最小支援到4×4區塊分割類型，故可基於各區塊分割類型為以4×4之資料粒度進行處理的條件下，分析以不同數量之處理單元運算各移動補償演算法所對應之資料流程。表3~表5分別為本實施例在視訊壓縮標準MPEG-2、MPEG-4及H.264中，可重組式移動補償架構以不同數量之處理單元運算所估算之工作頻率的表格，其中I、B及P分別表示I畫面、B畫面以及P畫面。

如表3~5所示，當採用1或2個處理單元時，可重組式移動補償架構支援視訊壓縮標準MPEG-4及H.264時需較高的工作頻率，因此可能會耗費過多硬體資源來實現此工作頻率。當採用3個處理單元時，可重組式移動補償架構支援上述視訊壓縮標準時其資料流程的規則性低且複雜度高。雖然採用5個處理單元可降低可重組式移動補償架構的工作頻率，但是也會面臨與採用3個處理單元相同的問題。因此，在本實施例中，基於預定設計目標以及各移動補償演算法所對應之硬體參數，可選擇出可重組式移動補償架構所採用之預定資料粒度(例如：4×4)，以及預定數量(例如：4個)之處理單元，其中預定設計目標例如為權衡各移動補償演算法所對應之硬體參數，使得在預定資料粒度及預定數量之處理單元下可獲得最適當的工作頻率、頻寬以及所需之記憶體容量。

值得注意的是，上述實施例之表3~表5為基於所萃取之共同性及預訂應用規格，以不同設計條件探索可重組式移動補償架構支援不同移動補償演算法之資料流程，從而獲得各移動補償演算法對應之硬體參數。然而，可萃取之共同性隨著支援不同視訊壓縮標準而有所不同，且符合設計目標所採用之資料粒度及處理單元數量也會隨著不同應用規格之設定而不同，上述實施例為提供可重組式移動補償架構之設計空間探索方法，以有效率地發展符合預定應用規格之硬體。

如上所述，在此可歸納為下列的方法流程。圖2繪示為本發明之一實施例之可重組式移動補償架構之設計空間探索方法的流程圖。請參照圖2，首先，設定一預定應用規格(步驟S201)。經由從多種視訊壓縮標準之移動補償演算法中萃取共同性(步驟S202)，並據以分析各移動補償演算法之運算量，以決定處理單元所包含之運算元件(步驟S203)。基於預定應用規格，於尖峰運算量及資料組態最差情況下，分析可重組式移動補償架構以不同資料粒度及不同數量之處理單元進行各移動補償演算法時之資料流程，並據以獲得各移動補償演算法所對應之硬體參數(步驟S204)。基於預定設計目標及硬體參數，選擇可重組式移動補償架構之預定資料粒度及預定數量之處理單元(步驟S205)。

更進一步地，在可重組式移動補償架構之設計空間探索方法中，可以採用其他設計策略來提升可重組式移動補償架構之工作效率。本發明另一實施例依據各移動補償演算法所支援之區塊分割類型，分析在不同資料粒度下處理各該區塊分割類型時，各區塊分割類型所對應之參考區塊內可重複使用之資料。圖3繪示為本發明之一實施例之H.264移動補償演算法基於16×16區塊分割類型所需之參考區塊示意圖。請參照圖3，當H.264移動補償演算法以16×16區塊分割類型310進行處理時，需要21×21參考區塊320大小之資料來運算出16×16區塊分割類型310內像素插補。

若可重組式移動補償架構以4×4資料粒度逐一地完成16×16區塊分割類型310所包含之16個4×4區塊之像素插補，則21×21參考區塊320具有如陰影區域330所示可重複使用之資料。在不同資料粒度下，各區塊分割類型所對應之參考區塊內可重複使用之資料會有所不同。本實施例所採用之設計策略為將可重複使用之資料保留於內部記憶體之中供下一區塊進行處理，以降低對外部記憶體存取資料之頻寬負載。本實施例經此分析可獲得各移動補償演算法所對應之硬體參數(例如：內部記憶體容量及頻寬等)，並且基於預訂設計目標及這些硬體參數，選擇出可重組式移動補償架構最適合之預定資料粒度。

另外，本發明之另一實施例更分析各移動補償演算法所支援之像素插補類型所需之參考區塊。舉例來說，在視訊壓縮標準MPEG-2中，整數點像素之亮度及色度插補運算需要M×N參考區塊大小之資料且水平1/2像素之亮度及色度插補運算需要(M+1)×N參考區塊大小之資料，其中M×N為區塊分割類型大小。同理，視訊壓縮標準MPEG-4及H.264對不同像素插補類型需擷取不同大小之參考區塊來進行運算。本實施例所採用之設計策略為可重組式移動補償架構進行處理時，會依據像素插補類型而擷取對應之參考區塊於內部記憶體之中，以降低對外部記憶體存取資料之頻寬負載。本實施例經此分析可獲得各移動補償演算法所對應之硬體參數(例如：頻寬等)，並且基於預訂設計目標及這些硬體參數，選擇出可重組式移動補償架構最適合之預定資料粒度。

經由上述之設計空間探索方法以及設計策略，便可發展符合此預定應用規格下最適當之可重組式移動補償架構。圖4繪示為本發明之一實施例之可重組式移動補償架構的示意圖。請參照圖4,基於資料可重複利用的設計策略及/或依據據像素插補類型擷取所須參考區塊的設計策略，本實施例於可重組式移動補償架構400之中提供資料通訊模組410，藉以從外部記憶體擷取各區塊分割類型所對應之參考區塊於內部記憶體420中，甚至可因應像素插補類型之不同而擷取所需之參考區塊於內部記憶體420中。

接著，當可重組式移動補償架構400進行像素插補運算時，資料通訊模組410會依據預定資料粒度而從內部記憶體420中取得所需之資料，並且將可重複使用之資料儲存回內部記憶體420中以供下一區塊運算。由於像素插補運算可能參考水平方向上的像素或垂直方向的像素，因此本實施例於可重組式移動補償架構400之中提供資料供給模組430，以排列資料通訊模組410所存取之資料。經上述之設計空間探索方法，可決定可重組式移動補償架構400支援多種視訊壓縮標準之處理單元數量，於此本實施例提供包含預定數量之處理單元所組成之插補模組440來執行各移動補償演算法之運算。為了控制這些模組之間的協作，本實施例需提供參數控制模組450於可重組式移動補償架構400之中，其接收執行各移動補償演算法所需之參數(例如：移動向量)，並據以控制各模組運作，其中緩衝器模組460為用以暫存資料。

綜上所述，上述實施例基於不同視訊壓縮標準之移動補償演算法之間的共同性，對各移動補償演算法之運算量進行分析並從而獲得可重組式移動補償架構之處理單元，其中此處理單元因利用共同性而可節省硬體資源處理移動補償演算法之間具共同性之運算。另外，上述實施例以不同資料粒度及不同處理單元數量來分析可重組式移動補償架構執行各移動補償演算法之資料流程，從資料流程中可獲知各移動補償演算法所對應之硬體參數。而基於預定設計目標及這些硬體參數，可選擇可重組式移動補償架構所採用之預定資料粒度及預定數量之處理單元，藉此發展具較佳效率的可重組式移動補償架構。

E~N、P、Q‧‧‧整數點像素位置

a~k、m、n、p~s、cc、dd、e、ff‧‧‧非整數點像素位置

310‧‧‧16×16區塊分割類型

320‧‧‧參考區塊

330‧‧‧可重複使用之資料

400‧‧‧可重組式移動補償架構

410‧‧‧資料通訊模組

420‧‧‧內部記憶體

430‧‧‧資料供給模組

440‧‧‧插補模組

450‧‧‧參數控制模組

460‧‧‧緩衝器模組

S201~S205‧‧‧本發明之一實施例之可重組式移動補償架構之設計空間探索方法的各步驟

圖1繪示為視訊壓縮標準H.264支援之非整數點像素插補的示意圖。

圖2繪示為本發明之一實施例之可重組式移動補償架構之設計空間探索方法的流程圖。

圖3繪示為本發明之一實施例之H.264移動補償演算法基於16×16區塊分割類型所需之參考區塊示意圖。

圖4繪示為本發明之一實施例之可重組式移動補償架構的示意圖。

Claims

一種可重組式移動補償架構之設計空間探索方法，包括：設定一預定應用規格；萃取多種視訊壓縮標準所分別對應之多種移動補償演算法之間至少一共同性；基於該共同性，分析各該移動補償演算法之運算量，並據以決定一處理單元所包含之運算元件；基於該預定應用規格，分析該可重組式移動補償架構於尖峰運算量及資料組態最差情況下，以不同資料粒度及不同數量之該處理單元進行各該移動補償演算法時所對應之資料流程，並據以獲得各該移動補償演算法所對應之多個硬體參數；以及基於一預定設計目標及各該移動補償演算法所對應之該些硬體參數，選擇該可重組式移動補償架構所採用之一預定資料粒度，以及一預定數量之該處理單元。
如申請專利範圍第1項所述之可重組式移動補償架構之設計空間探索方法，更包括：依據各該移動補償演算法所支援之多種區塊分割類型，分析在不同資料粒度下處理各該區塊分割類型時，各該區塊分割類型所對應之一參考區塊內可重複使用之資料，並據以獲得各該移動補償演算法所對應之該些硬體參數，其中當該可重組式移動補償架構以該預定資料粒度進行處理時，保留該參考區塊內可重複使用之資料於該可重組式移動補償架構之一內部記憶體。
如申請專利範圍第2項所述之可重組式移動補償架構之設計空間探索方法，更包括：提供一資料通訊模組於該可重組式移動補償架構之中，擷取各該區塊分割類型所對應之該參考區塊於該內部記憶體之中，並且從該內部記憶體存取所需之資料；提供一資料供給模組於該可重組式移動補償架構之中，以排列該資料通訊模組所存取之資料；以及提供一插補模組於該可重組式移動補償架構之中，以接收該資料供給模組經排列之資料並進行處理，其中該插補模組為以該預定數量之該處理單元所組成之，以執行各該移動補償演算法。
如申請專利範圍第3項所述之可重組式移動補償架構之設計空間探索方法，更包括：提供一參數控制模組於該可重組式移動補償架構之中，以接收執行各該移動補償演算法所需之參數，並據以控制該內部記憶體、該資料通訊模組、該資料供給模組以及該插補模組。
如申請專利範圍第1項所述之可重組式移動補償架構之設計空間探索方法，更包括：依據各該移動補償演算法所支援之多種像素插補類型，分析各該像素插補類型所需之一參考區塊，並據以獲得各該移動補償演算法所對應之該些硬體參數，其中當該可重組式移動補償架構以該預定資料粒度進行處理時，擷取各該像素插補類型對應之該參考區塊於該可重組式移動補償架構之一內部記憶體。
如申請專利範圍第5項所述之可重組式移動補償架構之設計空間探索方法，更包括：提供一資料通訊模組於該可重組式移動補償架構之中，擷取各該像素插補類型所對應之該資料區塊於該內部記憶體之中，並且從該內部記憶體存取所需之資料；提供一資料供給模組於該可重組式移動補償架構之中，以排列該資料通訊模組所存取之資料；以及提供一插補模組於該可重組式移動補償架構之中，以接收該資料供給模組經排列之資料並進行處理，其中該插補模組為以該預定數量之處理單元所組成之，以執行各該移動補償演算法。
如申請專利範圍第6項所述之可重組式移動補償架構之設計空間探索方法，更包括：提供一參數控制模組於該可重組式移動補償架構之中，以接收執行各該移動補償演算法所需之參數，並據以控制該內部記憶體、該資料通訊模組、該資料供給模組以及該插補模組。
如申請專利範圍第1項所述之可重組式移動補償架構之設計空間探索方法，其中該共同性包括基於使用加法運算及位移運算，化簡該些移動補償演算法所分別採用之多個階係數序列所得之一公因係數序列。
如申請專利範圍第1項所述之可重組式移動補償架構之設計空間探索方法，其中該些硬體參數包括峰值頻寬、匯流排位元數、所需之記憶體容量以及工作頻率。