TWI477152B

TWI477152B - 一種應用於移動估測之適應性搜尋框的大小決定方法與其應用

Info

Publication number: TWI477152B
Application number: TW097120985A
Authority: TW
Inventors: Jhingfa Wang; Paul Anand; Jiaching Wang
Original assignee: Univ Nat Cheng Kung
Priority date: 2008-06-05
Filing date: 2008-06-05
Publication date: 2015-03-11
Also published as: TW200952492A

Description

一種應用於移動估測之適應性搜尋框的大小決定方法與其應用

本發明是有關於一種應用於移動估測之適應性搜尋框的大小決定方法與其應用。

H.264/AVC是國際電信聯盟遠程通信標準化組(ITU-T)內的視訊編碼專家組(Video Coding Experts Group; VCEG)與國際標準組織(ISO)/國際電工協會(IEC)下的動態圖像專家組(Moving Picture Experts Group; MPEG)共同組成的聯合視訊組(Joint Video Team; JVT)所制訂的視訊壓縮標準。其中H.264係依據ITU-T以H.26x系列為標準之命名，而AVC則為ISO/IEC MPEG的稱呼。此標準的第一版最終草案(Final Draft)已於2003年5月完成。

H.264/AVC的主要目標是希望在近似的視訊品質下，能較先前的相關技術(比如MPEG-2或者H.263)，提供更高的壓縮率；同時，不需增加很多複雜的編解碼工具，使得硬體難以實現。另一個目標是可適應性，即該視訊壓縮標準可在很廣泛的範圍內使用(包含高位元率與低位元率的視訊，以及不同的視訊解析度)，並且能在各種網路和系統上(如多媒體行動電話系統或高畫質電視)工作。

移動估測(motion estimation, ME)在H.264中是很重要的部份。移動估測主要目的是消除影像在時間域上的冗餘，使其在編解碼過程時只需記錄第一張畫面的資訊，而其它畫面皆可以由移動過程中所紀錄的等資訊來重建，如此一來可以不用儲存所有畫面的資訊，即可使得資訊量大幅減少而達到影像壓縮的效果。一般的移動估測方法係以每個畫面框中的一個區塊(macro block)做為最小估測單位，每個區塊之大小可例如為16X16個像素。

目前已有相當多的移動估測方法被提出，例如T.Koga等人所提出之三步搜尋(Three-Step Search, TSS)演算法，又例如Lai-Man Po等人所提出之四步搜尋(Four-Step Search, FSS)演算法。然而，在習知技術中，使用固定大小的搜尋框來搜尋較為匹配(matching)且相似度較高之區塊，此舉不但容易浪費系統的運算資源，也可能導致影像的峰值信噪比(Peak Signal to Noise Ratio; PSNR)值下降。

因此，需要一種適應性搜尋框(adaptive searching window)與應用此適應性搜尋框之移動估測方法。

因此，本發明之一方面係提供一種適應性搜尋框與決定其大小之方法。

本發明之另一方面係提供一種應用適應性搜尋框之移動估測方法。

根據本發明之一實施例，在此適應性搜尋框(adaptive searchiug window)之大小的決定方法中，首先，提供一目標圖框，此目標圖框包含至少一已編碼區塊和一目標區塊。接著，提供一參考圖框(reference frame)，此參考圖框包含複數個參考區塊。然後，進行一閥值決定步驟，以計算至少一已編碼區塊之一第一平均絕對差值總和(Average of Sum of Absolute Difference)，並利用此第一平均絕對差值總和來決定第一閥值和第二閥值，其中第二閥值係大於第一閥值。接著，進行目標值計算步驟，以計算已編碼區塊和目標區塊之一第二平均絕對差值總和。然後，進行一搜尋框大小決定步驟，以比較第二平均絕對差值總和、第一閥值和第二閥值之大小來獲得一比較結果，並根據此比較結果來決定對應至目標區塊之搜尋框的大小。

根據本發明之另一實施例，此適應性搜尋框(adaptive searching window)之大小的決定方法中，首先，提供一目標圖框，此目標圖框包含一目標區塊。接著，提供一參考圖框(reference frame)，此參考圖框包含複數個參考區塊。然後，進行一閥值決定步驟，以計算這些參考區塊之一第一平均絕對差值總和(Average of Sum of Absolute Difference)，並利用此第一平均絕對差值總和來決定第一閥值和第二閥值，其中第二閥值係大於第一閥值。接著，進行目標值計算步驟，以計算這些參考區塊和目標區塊之一第二平均絕對差值總和。然後，進行一搜尋框大小決定步驟，以比較第二平均絕對差值總和、第一閥值和第二閥值之大小來獲得一比較結果，並根據此比較結果來決定對應至目標區塊之搜尋框的大小。

根據本發明之又一實施例，在此應用適應性搜尋框之移動估測方法中，首先進行一閥值決定步驟，以計已編碼區塊之一第一平均絕對差值總和，並利用第一平均絕對差值總和來決定一第一閥值和一第二閥值，其中第二閥值係大於第一閥值。然後，進行目標值計算步驟，以計算已編碼區塊和目標區塊之一第二平均絕對差值總和。接著，進行搜尋框大小決定步驟，以比較第二平均絕對差值總和、第一閥值和第二閥值之大小來獲得一比較結果，並根據比較結果來決定對應至目標區塊之第一搜尋框之大小。然後，進行相似度比較步驟，以利用第一搜尋框來於參考圖框中選定匹配區塊。接著，進行移動向量計算步驟，以根據目標區塊和匹配區塊來計算目標區塊之移動向量。

在移動估測技術中，若要使用適應性搜尋框(adaptive searching window)來搜尋較為匹配(matching)之區塊，適應性搜尋框(adaptive searchiug window)大小的決定方法是不可或缺的。在以下的說明中，將以多個實施例來說明本發明之適應性搜尋框大小的決定方法，與應用此適應性搜尋框之移動估測方法。

請同時參照第1圖和第2圖，第1圖係繪示根據本發明第一實施例之目標圖框100和參考圖框150之結構示意圖，其中相同之剖面線係代表相同之區塊(102、104和106)。第2圖係繪示根據本發明第一實施例之適應性搜尋框(adaptive searching window)大小的決定方法200的流程示意圖。目標圖框100包含已編碼區塊102、未編碼區塊104和處理中之目標區塊106。參考圖框150和目標圖框100為連續之圖框，其中參考圖框150包含有參考區塊152。

為決定目標區塊106於參考圖框150之搜尋範圍，進行適應性搜尋框大小的決定方法200來決定目標區塊106 所對應之適應性搜尋框的大小。在決定方法200中，首先進行閥值決定步驟210。在閥值決定步驟210中，計算已編碼區塊之平均絕對差值總和(Average of Sum of Absolute Difference)，並利用已編碼區塊之平均絕對差值總和來決定第一閥值和第二閥值。在本實施例中，第一閥值等於已編碼區塊之平均絕對差值總和，而第二閥值等於第一閥值之1.2倍，在本發明之其他實施例中，已編碼區塊之平均絕對差值總和與第一閥值和第二閥值之關係可設定為其他比例。接著，進行目標值計算步驟220。在目標值計算步驟220中，計算已編碼區塊和目標區塊之平均絕對差值總和。然後，進行搜尋框大小決定步驟230。在搜尋框大小決定步驟230中，比較已編碼區塊和目標區塊之平均絕對差值總和和、第一閥值和第二閥值之大小來獲得比較結果，並根據比較結果來決定對應至目標區塊106之搜尋框的大小。在搜尋框大小決定步驟230中，當已編碼區塊和目標區塊之平均絕對差值總和總和小於或等於第一閥值時，決定搜尋框之大小為8乘8個參考區塊。當已編碼區塊和目標區塊之平均絕對差值總和總和大於第一閥值，且小於第二閥值時，決定搜尋框之大小為16乘16個參考區塊。當已編碼區塊和目標區塊之平均絕對差值總和總和大於或等於第二閥值時，決定搜尋框之大小為32乘32個參考區塊。

由以上說明可知，本發明之第一實施例係利用已編碼區塊和目標區塊之平均絕對差值總和總和、第一閥值和第二閥值來預測目標區塊106之匹配區塊(matching block)可能出現的範圍，並且可動態地調整搜尋框之大小，以在較小的計算複雜度下，達到較佳的影像品質。

請參照第3圖，其係繪示根據本發明第二實施例之移動估測方法300的流程示意圖。移動估測方法300係應用適應性搜尋框大小的決定方法200，來計算目標區塊106之移動向量。在移動估測方法300中，首先進行適應性搜尋框大小的決定方法200，以決定目標區塊106所對應之一第一搜尋框之大小。接著，進行相似度比較步驟310。在相似度比較步驟310中，利用第一搜尋框來於參考圖框150中選定一匹配區塊，此匹配區塊為第一搜尋框中，與目標區塊106相似度最高之區塊。然後，進行移動向量計算步驟320。在移動向量計算步驟320中，根據目標區塊和匹配區塊來計算目標區塊之移動向量。

經由複雜的實驗證明，在相同影像品質的條件下，本發明之實施例的移動估測方法可較習知技術降低約60%的計算複雜度，因此本發明之實施例的移動估測方法可節省相當多的計算資源。

請參照第4圖，其係繪示根據本發明第三實施例之相似度比較步驟310的流程示意圖。在相似度比較步驟310中，首先，進行搜尋框比較步驟310a。在搜尋框比較步驟310a中，判斷目標區塊106所對應之第一搜尋框是否大於已編碼區塊102之最後一者所對應之一第二搜尋框，並提供一判斷結果。上述之已編碼區塊102之最後一者係指目標區塊106之前一區塊。例如若目標圖框100之處理順序為由左而右逐列處理，則目標區塊106之前一區塊為目標區塊106左方之區塊，又例如：若目標圖框100之處理順序為由上而下逐行處理，則目標區塊106之前一區塊為目標區塊106上方之區塊。

當判斷結果為是時，則進行搜尋步驟310b，以利用第一搜尋框和第二搜尋框之間的區域，來於參考圖框150中搜尋目標區塊106之匹配區塊。當判斷結果為否時，則進行搜尋步驟310c，以利用第一搜尋框來於參考圖框150中搜尋目標區塊106之匹配區塊。

在本發明第三實施例中，當判斷結果為是時，表示目標區塊106與目標區塊106之前一區塊有相當的差異性，目標區塊106之匹配區塊應會落在第一搜尋框和第二搜尋框之間的區域，因此直接於第一搜尋框和第二搜尋框之間的區域中搜尋目標區塊106之匹配區塊，以節省計算複雜度。

請同時參照第5圖和第6圖，第5圖係繪示根據本發明第四實施例之目標圖框500和參考圖框550的結構示意圖，第6圖係繪示根據本發明第四實施例之適應性搜尋框大小的決定方法600的流程示意圖。目標圖框500包含未編碼區塊504和處理中之目標區塊506。在目標圖框500中，目標區塊506為第一個接受移動估測處理之區塊。參考圖框550和目標圖框500為連續之圖框，其中參考圖框550包含有參考區塊552。在決定方法600中，首先，進行閥值決定步驟610。在閥值決定步驟610中，計算參考區塊552之平均絕對差值總和，並利用此參考區塊之平均絕對差值總和來決定一第一閥值和一第二閥值。在本實施例中，第一閥值等於參考區塊之平均絕對差值總和，而第二閥值等於第一閥值之1.2倍。接著，進行目標值計算步驟620。在目標值計算步驟620中，計算參考區塊552和目標區塊506之平均絕對差值總和。然後，進行搜尋框大小決定步驟630。在搜尋框大小決定步驟630中，比較參考區塊和目標區塊之平均絕對差值總和、第一閥值和該第二閥值之大小來獲得比較結果，並根據比較結果來決定對應至目標區塊506之搜尋框的大小。在搜尋框大小決定步驟630中，當參考區塊和目標區塊之平均絕對差值總和小於或等於第一閥值時，決定搜尋框之大小為8乘8個參考區塊。當參考區塊和目標區塊之平均絕對差值總和大於第一閥值，且小於第二閥值時，決定搜尋框之大小為16乘16個參考區塊。當參考區塊和目標區塊之平均絕對差值總和大於或等於第二閥值時，決定搜尋框之大小為32乘32個參考區塊。

在本發明第四實施例中，目標區塊506為目標圖框500中，第一個被處理之區塊，因此對於目標區塊506而言，目標圖框500中不存在有已編碼區塊。因此，本發明第四實施例係利用參考圖框550的所有參考區塊，來決定第一閥值和第二閥值。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧目標圖框

102‧‧‧已編碼區塊

104‧‧‧未編碼區塊

106‧‧‧目標區塊

150‧‧‧參考圖框

152‧‧‧參考區塊

200‧‧‧大小決定方法

210‧‧‧閥值決定步驟

220‧‧‧目標值計算步驟

230‧‧‧搜尋框大小決定步驟

300‧‧‧移動估測方法

310‧‧‧相似度比較步驟

320‧‧‧移動向量計算步驟

310a‧‧‧搜尋框比較步驟

310b‧‧‧搜尋步驟

310c‧‧‧搜尋步驟

500‧‧‧目標圖框

504‧‧‧未編碼區塊

506‧‧‧目標區塊

550‧‧‧參考圖框

552‧‧‧參考區塊

600‧‧‧大小決定方法

610‧‧‧閥值決定步驟

620‧‧‧目標值計算步驟

630‧‧‧搜尋框大小決定步驟

為讓本發明之上述和其他目的、特徵、和優點能更明顯易懂，上文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：

第1圖係繪示根據本發明第一實施例之目標圖框和參考圖框之結構示意圖。

第2圖係繪示根據本發明第一實施例之適應性搜尋框(adaptive searching window)大小的決定方法的流程示意圖。

第3圖係繪示根據本發明第二實施例之移動估測方法的流程示意圖。

第4圖係繪示根據本發明第三實施例之相似度比較步驟的流程示意圖。

第5圖係繪示根據本發明第四實施例之目標圖框和參考圖框的結構示意圖。

第6圖係繪示根據本發明第四實施例之適應性搜尋框大小的決定方法的流程示意圖。

200‧‧‧大小決定方法

210‧‧‧閥值決定步驟

220‧‧‧目標值計算步驟

230‧‧‧搜尋框大小決定步驟

Claims

一種應用於移動估測之適應性搜尋框(adaptive searching window)大小的決定方法，用以於一參考圖框(reference frame)中決定一目標區塊之匹配區塊(matching block)的搜尋範圍，其中該適應性搜尋框大小的決定方法至少包含：提供一目標圖框，其中該目標圖框包含至少一已編碼區塊和該目標區塊；提供該參考圖框(reference frame)，其中該參考圖框包含複數個參考區塊；進行一閥值決定步驟，以計算該至少一已編碼區塊之平均絕對差值總和(Average of Sum of Absolute Difference)，而獲得一第一平均絕對差值總和，並利用該第一平均絕對差值總和來決定一第一閥值和一第二閥值，其中該第二閥值係大於該第一閥值；進行一目標值計算步驟，以計算該至少一已編碼區塊和該目標區塊之平均絕對差值總和，而獲得一第二平均絕對差值總和；以及進行一搜尋框大小決定步驟，以比較該第二平均絕對差值總和、該第一閥值和該第二閥值之大小來獲得一比較結果，並根據該比較結果來決定對應至該目標區塊之一搜尋框的大小。
如申請專利範圍第1項所述之適應性搜尋框大小決定方法，其中當該比較結果為該第二平均絕對差值總和小於或等於該第一閥值時，決定該搜尋框之大小為8乘8個參考區塊。
如申請專利範圍第1項所述之適應性搜尋框大小決定方法，其中當該比較結果為該第二平均絕對差值總和大於該第一閥值，且小於該第二閥值時，決定該搜尋框之大小為16乘16個參考區塊。
如申請專利範圍第1項所述之適應性搜尋框大小決定方法，其中當該比較結果為該第二平均絕對差值總和大於或等於該第二閥值時，決定該搜尋框之大小為32乘32個參考區塊。
如申請專利範圍第1項所述之適應性搜尋框大小決定方法，其中該第二閥值為該第一閥值之1.2倍。
如申請專利範圍第1項所述之適應性搜尋框大小決定方法，其中該目標圖框和該參考圖框為連續圖框。
一種應用適應性搜尋框之移動估測方法，以決定一目標區塊之移動向量，其中該目標區塊至少包含：提供一目標圖框，其中該目標圖框包含至少一已編碼區塊和該目標區塊；提供該參考圖框(reference frame)，其中該參考圖框包含複數個參考區塊；進行一閥值決定步驟，以計算該至少一已編碼區塊之平均絕對差值總和(Average of Sum of Absolute Difference)，而獲得一第一平均絕對差值總和，並利用該第一平均絕對差值總和來決定一第一閥值和一第二閥值，其中該第二閥值係大於該第一閥值；進行一目標值計算步驟，以計算該至少一已編碼區塊和該目標區塊之平均絕對差值總和，而獲得一第二平均絕對差值總和；進行一搜尋框大小決定步驟，以比較該第二平均絕對差值總和、該第一閥值和該第二閥值之大小來獲得一比較結果，並根據該比較結果來決定對應至該目標區塊之一第一搜尋框之大小；進行一相似度比較步驟，以利用該第一搜尋框來於該參考圖框中選定一匹配區塊；以及，進行一移動向量計算步驟，以根據該目標區塊和該匹配區塊來計算該目標區塊之移動向量。
如申請專利範圍第7項所述之移動估測方法，其中該相似度比較步驟包含：判斷該第一搜尋框是否大於一第二搜尋框，以提供一判斷結果，其中該第二搜尋框係對應至該少一已編碼區塊之最後一者，而該至少一已編碼區塊之最後一者係鄰接於該目標區塊；以及當該判斷結果為是時，根據該第一搜尋框和該第二搜尋框之間的區域，來於該參考圖框中選定一匹配區塊。
如申請專利範圍第7項所述之移動估測方法，其中當該比較結果為該第二平均絕對差值總和小於或等於該第一閥值時，決定該第一搜尋框之大小為8乘8個參考區塊。
如申請專利範圍第7項所述之移動估測方法，其中當該比較結果為該第二平均絕對差值總和大於該第一閥值，且小於該第二閥值時，決定該第一搜尋框之大小為16乘16個參考區塊。
如申請專利範圍第7項所述之移動估測方法，當該比較結果為該第二平均絕對差值總和大於或等於該第二閥值時，決定該第一搜尋框之大小為32乘32個參考區塊。
如申請專利範圍第7項所述之移動估測方法，其中該第二閥值為該第一閥值之1.2倍。