TWI344276B - Differential coding process - Google Patents

Description

ϊ344276 丨1年丨6月、日修正替換頁 九、發明說明： 【發明所屬之技術領域】 本巧係關於影像區塊與預估編碼的 所f’ *接」模式係利用運動補償的雙向預估“置甘 向里之成份，係衍自隨後預估編 、:，八運動 碼所用運動向量之成份。*w象的相同疋位巨區塊編 此領域為視頻壓縮，尤指MPEGW g 9 ·+、ιλ A 型之視親碼。WEG4第2或1〇部H.263和 為書縮標準中，例如細印型，要編石馬的影像-般 r視頻物體平*，稱為，=:== 【先前技術】 p型ίίΐ運„計器首先被召喚，以摘取 ^像之運動场。其次，在此p影像 ^呼叫運紐計H，供習知前向、後 中的標準。:碼^施行 在Β型影像内進行現有巨區塊的雙向預 ρ影，意即具有和 第1圖代表利用直接模式之運動預估。 义圖_展示四種接續影像，以供顯示，意即在再命令之 月”I型或Ρ型之第一參考影像，Β型 及Ρ型之第四參考影像。 Κ第一和第一衫像’以 5 Ή年Μ丨日修iE替換頁 ------- 對P型第四影像1的現有巨區塊MBp之預估，是I或p 型第一影像2之巨區塊，相對應運動向量MVp為3。 相當於第二影像巨區塊MBp的相同定位巨區塊為4。直 接型預估（因巨區塊屬於B影像），賦予第一影像内的第一 巨區塊MBfw，以及最後影像内之第二巨區塊通匕汰，此等 巨區塊分別為5和6，相當於圖内前向運動向量Μνρ和後向 運動向量MVB，即7和8。 雖然在MPEG標準内，運動向量一般分配於巨區塊，過 程可應用於簡單影像區塊，所以，此後影像區塊和巨區塊不 分。 舉例而言，在運動估計中可摘取p影像一區塊向量所用 之傳統措施，可基於區塊匹配技術，在搜尋視窗中，係將影 像間差異之絕對值合計減到最小，如下式： ^ j · y,

SADdx,dy = Σ |Pcur(i,j)-IP (i+dx,j+dy)| SADL,Dy=Min(sADdPx,dJdx;dy：NN 其中： i，j係尺寸L*L區塊内所含像素的列和行指標；

Pcur(i，j)係P型現有影像之區塊；

Ipprew(i，j)係I或P型先前（就時間上而言）影像之區塊； SAE4，dy係P型現有影像和I或P型先前影像移動dx,dy 區塊的像素亮度值間差異之絕對值總合為Sum of Absolute Differences絕對差異合計之頭字縮寫）。 SAD^x，Dy係在尺寸2N+1 ’ 2N+1和相當於移動Dx,Dy的 ”年化月丨日修正替換頁 搜尋視窗内涵蓋整組影像區塊的5他^，办最低值。 關於B影像的相同定位區塊，該區塊可按照直接模式， 借助向量MVF* MVB預估，使： MBprddrc=fi^bdd^B^)，即區塊 MBbck和 ΜΒμ 逐一像素

\ 2 J 的合計之半，其中： MBbck = Pnext ( Xbdc，ybck )，呈後向預估模式。Pnext (Xbdc，ybck)意指屬於次一 P影像的預估區塊，就時間上 言，其位置相當於相同定位區塊移動向量成份Xbek，ybek。 MB加=IPprev (xfor，yfor)，呈前向預估模式。iPprev (Xf〇r， yfor)意指屬於先前I / P影像的預估區塊，其位置相當於相同 定位塊移動向量成份Xf〇r，yfol·。 xbd〇 ybck ’係向量的成份，衍自相同定位區塊MBp 的向量MVp之成份。

Xfor，yfor，係向量MVf的成份，衍自相同定位區塊 的向量MVP之成份。 分配於相同定位區塊的運動向量MVB和MVF，係與運 動向量MVP共線性之向量，分別針對相同定位區塊起源的p 型次一影像和I或P型先前影像。 MBprddrc係直接模式中B影像之預估區塊，根據前向和 後向預估區塊計算。 在如此措施中，P影像MB區塊預估模式之選擇和運動 估計，其進行與時間上先前B影像的内容無關。因此，編碼 (即資料壓縮）並非最適於此等雙向型影像。 【發明内容】 本發明之目的，在於消弭上述缺點。其標的是在第一參 考影像内的現有影像區塊根據第二參考影像内的預估影像區 塊進行差分編碼之方法，參考影像侧護雙向型或B型一或以 上影像’其差*編碼可把此，參考影像的諸區塊考慮在内， 1344276 切年月I日修正替換頁 ,ϋϊ? 舰塊# *選擇預倾塊，以現有 定候選區塊間的差異DV為函數，其特S ^ ^ Π ^考影像内的區塊係由運_量指

ί線性 ,17分配於相同定位區塊，並與運動向量VP 傻法Ϊ照特性具有成份drx，dly的運動向量’是Β型影 運動向量，或是B型影像和第二 按照特殊躲，選擇要考_ B型 g相當於具有成份〜‘的共線運動向量之：異 ^:：：：：：^^^^轉賴相纽具有成份 按照特殊特性，選擇是^ B $ @’dry= 相當於共線性運動向量之第一·B〇和參考影像間 此二，算 =¾峨 函數之最低值。 y drxfw,dryfw U drxbck,diybck 細咖繼亮度值間差異 一定關純騎雕輸貫量祕之品質 ，以及 二二，成本。在P影像的向量選擇之際，若干類 SAD=選用，實質上提高運動場域之均=之際右干類 移動向ί差Ρ4ΐ=兔位準 和ρ -與卵沾々η像間差異(SAD) ’還要顧及由於位在Ι/Ρ ^ 型影像内各相同定位區塊直接預估模式 1344276

%〇月I 曰修jE替換頁 二用/型影像相同定位區塊的運;^ 型影像區塊的編碼成本。 y在衫像編碼中有利於直接模式，一般展示挤錮旦;； 像在編碼成本上的最經濟槿々 y、 衫 可導致「ski—二t式在某些條件下’此直接模式 p 區塊J模式（例如ISO 13818-2標準的s 【實施斤S】相當於零殘餘的編碼模式，幾乎零成本。、 施例SC其=優點由以下參照附圖所示非限制性實 第2圖展示P影像現有區塊MBD之預估，以;3 =嫩位區塊用直接型之預估'二二屬= 或第加指標G或丨，是其_於第-影像％ 因此影像B〇 ’運動向量7和8被標示 MVb ，分別指定為參考影像ί/ρ 1 ΜΒ^ΜΒ^。 π r之預估區塊 影像B1的運動向量被標示MVf,和MV b 1，分別 扣疋為參考影像I/p和p之預估區塊μβ、，μβ丨bek。 在本案中有二B型影像位於參考影像I/p和p 之成選擇相當於。影像區塊的運動向量“ S^^Dx’Dy = Min(sAD5xdy + SADZ,dry^AD^dJX^

，”dx，dy=-N 其中： 計；SADdxdy，係p影像區塊之移動dxdy差異絕對值合 SAD?0 dx°，dy，係B〇影像直接型預估模式差異絕對值人 ”年/c月丨日修正替換頁 計； SADd〗，dy，係B|景> 像直接型預估模式差異絕對值合 計。 此標準據悉是基於多種SAD，P影像所欲向量之選用， 是基於顧及若干預估誤差，係P影像巨區塊預估所因 與B影像巨區塊有關。 對於B型第一影像B〇，在第2圖所示實施例架構内， 二B影像位在I/P、P二影像之間，具有成份drx，dry之 量’就直接模式之前向和後向預估，其值為： drx^ =dx/3 diy^ = dy/3 drxgck =-2dx/3 drygck =-2dy/3 而 MBprd drc 、 2 MB bck = P next (drx bck，dry 〗ck )呈後向預估模式 =I/P prejdrx^ dryL )呈前向預估模式 對於影像B〇之SAD值則為：

Bo f i，j=L λ SADdrx，dry = Σ B?ur(i，j)-MB; (g)

、i，j=0 arc J 係影像B〇的相同定位區塊4 ’相當於現有區塊MB 同理，對於B型第二影像Bl，經由直接模式，借助^向 1344276 叼年/。月丨日修正替換頁 量，可得SADd\diy之值： -drxb = 2dx/3 dryj^ = 2dy/3 ^bck =-dx/3 dry{,ck =-dy/3

SAnBi *J=L I SADdrx,dry = .Σ Biur(i,j)-MBr (i,j)

ν>ϋ=〇 J MBcUr係影像B〗之相同定位區塊9，相當於現有區塊 · 上述實施例可表示此方法，倡導利用3個SAD值的合 計’來選擇向量Dx，Dy :

SAD〇x^ =Min(sADdPX)dy +SAD-；d^SADdB> ^^；；y：_NN 其中各SAD賦有同樣加權值，即！。 第一變化例包含對SAD不同加權，視影像類別而定，就 競逐的向量主要關於P影像而言： =Min(a.SADdPx dy + ⑽碼^ SA〇?“ α和/3係加權係數，例如 a =0. 5 /5=(1 — o〇/(m—1)，其中m代表p影像週期，意即 兩個P影像間的間距或影像數，或二影像間之間距。對第i 和2圖實施例而言，m值相當於3。 。△第二變化例包含考慮B影像内出現頃刻間物體之移動， 可能51起此等B影像的相同定位區塊之運動，與p和yp影 像的相對應區塊不同。 11 1冲〇月丨日修正替換頁 在利用參考影像側護的B型三種影像例中，SAD的計算 可為： SADDx,Dy =Min(«SAD ^ dy 例如召=(1—α)。

+ β Median (SAD BO drx ,dry ’ SADSl，dry

，SAD B2 drx，dry

\dx,dy = N ^dx,dy=-N 「Median」相當於中值函數，所以排除b型影像的SAD 極端值。 此項彳示準事實上確立SAD必須小，但可搜尋將大部份 SADB減到最小的向量。目的在於選擇向量相當於，p影像 巨區塊較佳預估與較少程度的B影像相同定位巨區塊較佳預 估間之妥協，而此項標準確立事實上排除屬於經由時間預估 不能在B影像内預估的影像區之巨區塊，以免偏倚決定標 準。在B影像内，此未預估區係借助其他編碼模式，例如畫 面内’隨後編碼。 旦 ^只有二個B影像，中值函可改為最小函數，排 SAD8 ° 上述實施例和擬議之變化例，係關於相當於SAD值之 塊差異，亦關係到此等SAD值之合計。 二 利用任何種區塊間差異值（事實上任何數值均 間之相關性）’當然可以設想，不違本發明領域。任 理按照先前技術在運動估計中的區塊相關計算之際 = 值。任何人亦可處理一區塊上逐一像素亮度值差異^ 計。 0 利用變數SAD或差異值的任何函數f(其最小 編碼成本降低）’亦形成本發明領域之一部份。 田； 為p了概括化，此區塊間差異值隨後稱為D: DPdx，dy係P影像現有區塊和具械份d 估區塊間之差異。 ^動向Ϊ預 〇\，办係B影像相同定位區塊和具有成份 運動向量預估區塊間之差異2,更準確言之，處理 11和月I日修正替換頁 的前向直接向量時為DBdrxfw_，而處理 drxbck，drybck的後向向量時為DBdRbek_。 ⑽ 當於具有成份DX，Dy的運動向量之I/P影像内選擇 =^ ’即以P影像現有區塊和相#於具有成份d 影像預估區塊間稱為的差異值為函數進 灯C對於各值，亦可以基於與具有成份d的 性的運動向量，以B〇和/或Bl影像相同定位區塊和ι/ρ景^ =預，塊間之差異值dB—為函數，以及基於j 具有成伤dx，dy的向量共線性的運動向量，以影像％ g 的相同定位區塊和P影像内匹配區塊間之差異值 D dncbcMrybd{為函數’其成份 drxbck，diybek 、 dfXbck = -(dx -dn^) dtybciddy-dryf^) DDx’Dy = Minif(DdPx,dy，Dd^_，DLbck dWg:NN f為任何函數，例如仿射函數。 又異值不—^與影像亮度和/或色度直接關係。有 可例如處理差異像素的F()Uliei·或Hadamard觀係數 對值合計’意即殘舰塊。賴Had咖 ^像 信號的二維度轉換，例如树或8x8像素， =DCT領域而切換入光譜領域， 的为解係數。此等係數可更快進行整個計算。 在運動估計器⑽試下，可對此等差異加上偏倚， 運動向量之潛在編碼成本。 本發明實施之運動估計當然不限於區塊比對法。可 如遞歸式（recursive) pEL型，在影像像素或層系型 式位準進行估計，再對增加解析的影像進行估計。可 度、色度、梯度函數等。 〜 區塊匹配可為「完全搜尋」型，採取多數SAD最小化標 1344276 卜年’。月^^正替換 t，於預定搜尋視f進行相_ ，區塊（對此區塊進行相關性測量矛σ SA f t j 處理區塊的波幅i像素之水平或垂直位移。）相备於先别 本發明另一變化例包含進行估計p和砂 動，並對現有巨區塊MBP，選擇κ最相關運^ :像間之運 如SADP的最小值或差異值。然後 σ 提供例 f選擇基於多數SAD或差異值把標準等^^此方 如，K等於8，而所選擇的向量把SAD合計^向董。例 ，或差異值之計算可在Β影像和！或^、。、 順序言，是先前的影像）源間進行。 ’ν象（以編碣 本發明係關於利用此等方法之所有運 用此等運動估計裝置之财壓_編碼系纟^。H，或使 本案尤指關於數位影像之傳輸，使 括直接懸m如h263、MPEG4Uf6f^標準，包 【圖式簡單說明】 第1圖為直接模式之區塊預估； 估 第2圖為利用直接模式的影像B〇和影像$的區塊預 【主要元件符號說明】 1 現有影像區塊 2 預估影像區塊 4 B型影像 5 第二參考影像 6 第一參考影像 7 前向運動向量 1344276 fl年/0月I日修正替換頁 8 後向運動向量 9 影像队的相同定位區塊 Ρ, Ι/Ρ,Β 影像 MB 相同定位區塊 MV 運動向量

Claims (1)

1. y.44276 十、申請專利範圍： 100年1月21日修正 1_ 一種在第一參考影像内的現有影像區塊(1)根據第二參考 影像内的預估影像區塊(2)進行差分編碼之方法，第一和第二參 考影像位於雙向型或B型之一或以上影像的二側，其中該 型或B型之一或以上影像諸區塊的差分編碼可把該第一和第 -參考影像的諸區塊考慮在内’此方法包括步驟為，從候選區 塊當中選擇預估區塊，做為現有區塊和運動向量Vp所指定候 選區塊間的差異Dpdx，dy之函數，其成份dx，dy分配給現有區 塊、’以及把現有區塊像素和所選擇預估區塊（2)的亮度值間 之逐二像素差分編碼，此方法之特徵為，選擇亦視B型影像的 現有影像内之現有影像區塊相同定位區塊與該第一和第二參考 ^象至^其-的區塊間之差異DBd吻而定，後—區塊係由共 、’,生運動向量候選指定，其成份drxdry分配於相同定位區 塊，並與運動向量候選Vp共線性者。 心奢專利範圍第1項之方法，其中具有成份权抑之 向量候選，係B型影像和第一參考影像⑹間之後 向運動向量(8)者。 專利範圍第1項之方法’其中具有成份紙抑之 3動向Ϊ(以選，係B型影像和第二參考影像(5)間之前 後二如t請專利範圍第1項之方法，其中選擇要顧及B型影 考影像間f當於與具有成份的共線性運 門之差異D _，dryfw ’以及B型影像和第—參考影像 ^备於具有成份drxbek，diybek的運動向4之差異DBdrxbeMrybek 傻專利範圍第1項之方法，其中選擇視B型第一影 B 1 ί影像間共線性運動向量候選之差異DB°—，以及 弗一衫像4與參考影像間共線性運動向量候選之差異 drx，dry而定者。 16 卜年）月Η日修正替換頁 6. 如申請專利範圍第1項之方法，其中從候選區塊當中選 出的區塊’相當於為此等候選區塊所計算差異值Dpdxdy和 D drxfSv，dryfSv、DBdrxbckdiybd(之函數最小值者。 7. 如申請專利範圍第1項之方法，其中差異〇係基於諸區 塊像素的亮度值間差異之絕對值合計(SAD)而計算者。 8. 如申請專利範圍第1項之方法，其中差異D係基於諸區 塊像素的亮度值間逐一像素差異之殘餘轉換係數絕對值合計而 計算者。 9.如申請專利範圍第丨項之方法，其中候選區塊係與現有 區塊同樣尺寸之f彡像區塊，可從歉搜尋視窗摘取者。 ，1項之方法，其中B型影像之編碼 係按照MPEG4鮮之時間上直賴式為之者。 f344276 七 、指定代表圖： (一） 本案指定代表圖為：第（2 ) (二) 本代表圖之元件符號簡單說明： 4 影像B〇的相同定位區塊 9 影像艮的相同定位區塊 Ρ,Ι/Ρ,Β 影像 MB MV 相同定位區塊 運動向量 $年扣月丨日修正替換頁 圖。 八、本案若有化學式時，請揭示最能顯示發明特徵的化學 式··