TWI425840B - Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks - Google Patents

Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks Download PDF

Info

Publication number
TWI425840B
TWI425840B TW97114097A TW97114097A TWI425840B TW I425840 B TWI425840 B TW I425840B TW 97114097 A TW97114097 A TW 97114097A TW 97114097 A TW97114097 A TW 97114097A TW I425840 B TWI425840 B TW I425840B
Authority
TW
Taiwan
Prior art keywords
picture
line
block
current
displacement
Prior art date
Application number
TW97114097A
Other languages
English (en)
Other versions
TW200945908A (en
Inventor
Sin Bor Wang
Tian Sheuan Chang
Original Assignee
Univ Nat Chiao Tung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Chiao Tung filed Critical Univ Nat Chiao Tung
Priority to TW97114097A priority Critical patent/TWI425840B/zh
Publication of TW200945908A publication Critical patent/TW200945908A/zh
Application granted granted Critical
Publication of TWI425840B publication Critical patent/TWI425840B/zh

Links

Landscapes

  • Television Systems (AREA)

Description

使用交疊區塊位移補償之強健適應解交錯裝置及方法
本發明係有關一種解交錯處理技術,用以轉換交錯式影像序列為循序式影像序列,特別是關於一種使用交疊區塊位移補償之強健適應解交錯裝置及方法,可應用於數位視訊顯示裝置之視訊處理器。
目前電視已經由交錯掃描的裝置(例如CRT)逐漸轉變為循序掃描的裝置(例如LCD TV、Plasma TV),所以解交錯處理(de-interlacing)也就越來越重要,解交錯處理的品質可決定視訊影像畫質的好壞。因應高解析數位電視時代的來臨,為了能有精緻的視訊影像,位移補償(motion compensation)解交錯處理是解決方法之一,但是伴隨著而來的就是極龐大的運算量。如何提昇視訊影像畫質和降低運算量成了目前最重要的關鍵。
詳言之,位移補償之技術係以區塊為基礎的動態補償技術,利用位移估測(motion estimation)在臨近的畫面中尋找最相似的區塊,同時估算相對位置的位移向量(motion vector)。應用在解交錯處理(de-interlacing)時,係利用移動物體會存在於一段連續的影像畫面中,然後在臨近的畫面中搜尋這個移動物體,如果搜尋到這個移動物體,就可以用來估算出位移向量後,做為目前畫面欲***的畫素(interpolated pixel)的輸出。然而,位移補償演算法雖然可提昇影像解析度,但是當位移向量估測不正確時,會導致輸出的畫面品質更糟。
以美國專利公開號2005/0163219A1之一種為位移向量解交錯之方法(Method for motion vector de-interlacing)為例,其係使用位移適應 解交錯處理的技術;此方法使用位移偵測來偵測畫面何處是靜態區域何處是動態區域,如果是靜態區域就使用時間性插補來處理,如果是動態畫面就使用空間性插補來處理。此種交錯處理的好壞是決定於位移偵測是否準確,如果有位移偵測錯誤,則會造成畫面中位移物體的邊緣有失真。
再以美國專利US 6,606,126 B1、美國專利US 577,345 B1以及美國專利2006/0023119 A1而言,其係皆使用位移補償的技術。位移補償係利用位移估測在臨近的畫面尋找最相似的區塊,同時估算相對位置的移動向量;而位移估測需要在區塊搜尋視窗(block search window)裡面搜尋最相似的區塊,直到區塊搜尋視窗中所有的區塊都已搜尋過。此方式會導致整體運算量的大量上升,增加很多耗能。再者,因參考畫面都只有包含原來影像的一半,並沒有完整的原來影像,此易造成估測錯誤(prediction error)或是找到最相似的區塊的機率很低。
承前所述,由於位移補償實際應用在解交錯處理上仍存在一些問題,包含位移偵測是否精確,如何降低因為參考畫面資訊不足,而造成位移估測產生大量的估測錯誤,如何降低遞歸位移補償(recursive motion compensation)所產生大量的傳遞錯誤(propagation errors),以及如何降低位移補償的運算量等,都是目前亟欲解決的問題。有鑑於此,本發明遂在提供一種使用交疊區塊位移補償之強健適應解交錯裝置及方法,以改善存在於先前技術中之該等問題點。
本發明之主要目的係在提供一種使用交疊區塊位移補償之強健適應解交錯裝置及方法,其係將交錯式影像序列(interlaced video sequences) 轉換為循序式影像序列(progressive video sequences),本發明可大為提高解交錯處理後的影像品質,並降低因位移補償伴隨而來的巨大運算量。
本發明之另一目的係在提供一種使用交疊區塊位移補償之強健適應解交錯裝置及方法,其係利用交疊區塊(overlapped block)和強健位移偵測(robust motion detection)來提供更準確的位移偵測/估測(motion detection/estimation),以及更高的畫質解析度來有效地消除鋸齒狀的毛邊,讓移動物體邊緣部份也可以完整呈現出來。此外,更利用適應位移補償(adaptive recursive motion compensation),以進一步降低估測錯誤和傳遞錯誤。
為達到上述目的,本發明提出之一種使用交疊區塊位移補償之強健適應解交錯裝置,主要係包括有二緩衝存儲器,分別儲存一目前畫面資料及一參考畫面資料;一低傳遞錯誤控制器係根據參考畫面比對目前畫面之影像,以輸出一控制訊號;一強健位移偵測器係將目前畫面與參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出,並根據此畫素差異值判斷該目前畫面中的動態區域與靜態區域;另有一決策組合中心模組係根據控制訊號以及動態區域或靜態區域的資訊來決定是由一交疊區塊位移估測補償單元、一空間性插補處理單元或是一編織***處理單元來補插此目前畫面輸出,以輸出更新畫面。
其中,交疊區塊位移估測補償單元係在目前畫面中的動態區域以交疊區塊來進行位移估測補償,以估測此交疊區塊的位移向量,尋找在參考畫面中最相似的參考區塊,用此參考區塊來補插目前畫面輸出。此空間性插 補處理單元則係根據動態區域中欲插補像素的鄰近像素來補插輸出。而靜態區域或是目前畫面中之全靜態影像則採用編織***處理單元處理之。
承上,本發明之強健適應解交錯方法則是在上述之決策組合中心模組接收到低傳遞錯誤控制器之控制訊號及強健位移偵測器判斷之動態區域與靜態區域等資訊後,選擇一交疊區塊位移估測補償處理、一空間性插補處理或一編織***處理的其中之一的處理方式,以補插目前畫面輸出,輸出更新畫面。
底下藉由具體實施例配合所附的圖式詳加說明,當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。
由於視訊裝置已經由交錯掃描的裝置,例如CRT電視,逐漸轉變為循序掃描的裝置,例如LCD電視、電漿電視,所以解交錯處理(de-interlacing)對於改善整體的視訊品質就變得愈來愈重要。其中位移補償解交錯處理(motion compensated de-interlacing)比其他的方法更可提供更佳的視訊品質,但是卻會伴隨著極龐大的運算量。本發明即在針對上述問題,提出一種使用交疊區塊位移補償之強健適應解交錯裝置及方法。底下係先針對本發明之裝置整體說明,接續根據各部份元件分別詳細說明,最後再以一完整流程來說明整個強健適應解交錯方法。
第一圖為本發明之強健適應解交錯裝置的架構示意圖,如圖所示,此強健適應解交錯裝置,包含二緩衝存儲器10、12,第一緩衝存儲器10係供儲存一目前畫面資料,以及第二緩衝存儲器12係供儲存一參考畫面資料;在此儲存的目前畫面資料及參考畫面資料係提供給一低傳遞錯誤控制器 14、一強健位移偵測器16、一交疊區塊位移估測補償單元18、一空間性插補處理單元20以及一編織***處理單元22等元件參考使用。
此低傳遞錯誤控制器14係根據參考畫面比對目前畫面之影像,以輸出一控制訊號,用來控制傳遞錯誤量,避免傳遞錯誤量增大,其中此低傳遞錯誤控制器14包含有一M計數器142及一全靜態影像偵測器(Full-still image detector)144,M計數器142係為一適應性計數器,以根據目前畫面之影像狀況,以調整計數值或是狀態值,並會產生一溢位訊號來作為控制訊號;或是全靜態影像偵測器144會產生一全靜態影像訊號來作為控制訊號。再者,強健位移偵測器16係提供高準確性的位移偵測資訊給一決策組合中心模組24參考,此強健位移偵測器16係將目前畫面與參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出,並根據此畫素差異值判斷此目前畫面中的動態區域與靜態區域。
最後,決策組合中心模組24係根據低傳遞錯誤控制器14發出之控制訊號來決定是由交疊區塊位移估測補償單元18、空間性插補處理單元20或編織***處理單元22來補插此目前畫面輸出,以輸出更新畫面。其中,上述之交疊區塊位移估測補償單元18係在目前畫面中以交疊區塊來進行位移估測補償,以估測此交疊區塊的位移向量,尋找在參考畫面中最相似的參考區塊,再用此參考區塊來補插目前畫面輸出。上述之空間性插補處理單元20則係根據在動態區域中欲插補像素的鄰近像素來補插目前畫面輸出。上述之編織***處理單元22係用以處理靜態區域或目前畫面中之全靜態影像。當然,若全靜態影像144偵測器產生全靜態影像訊號時,決策組合中 心模組24係根據此全靜態影像訊號來決定由編織***處理單元22來補插目前畫面輸出;若是由M計數器142產生溢位訊號時,決策組合中心模組24係根據此溢位訊號來決定由空間性插補處理單元20來補插此目前畫面輸出;若上述二者皆無,即M計數器142未發生溢位時,決策組合中心模組24係決定由交疊區塊位移估測補償單元18來補插目前畫面輸出,但是如果交疊區塊位移估測補償單元18搜尋不到最合適的參考區塊來補償輸出,則由空間性插補處理單元20來補插目前畫面輸出。
在說明完整個裝置架構之關係與作用之後,底下接續針對交疊區塊位移估測補償單元18以及強健位移偵測器16之技術分別詳述如後。
就交疊區塊位移估測補償單元所採用之交疊區塊位移估測補償處理方法而言,交疊區塊(overlapped block)係為m×m大小之區塊,其中m≧2,例如,可以選自2×3、3×3、4×3或5×3…等數目之區塊,在此係以4×3交疊區塊大小來舉例說明,請參閱第二圖所示,4×3之A交疊區塊以及4×3之B交疊區塊分別有4個交疊的像素;在補插第n-1條掃描線時,使用第n條掃描線和第n-2條掃描線的原本像素來做為位移補償動作所需要的區塊組成。而在補插第n+1條掃描線時,則使用第n條掃描線和第n+2條掃描線的原本像素來做為位移補償所需要的區塊組成。因此在第n-1條掃描線和第n+1條掃描線時,都同時需要參考到第n條掃描線的原本像素,所以上、下兩組區塊組成是有交疊(overlapped)特徵,故謂此區塊為交疊區塊。
在同時參考第三圖所示,仍以4×3交疊區塊大小加以說明,先依序比對在參考畫面中的參考區塊26裡的8個像素(D1~D8)以及在目前畫面中 的交疊區塊28裡面8個原本像素(O1~O8),只要有其中一個相對像素的差異值太大,即可以判定目前參考區塊26不是最合適的。當然,如果所有相對像素的差異值都很小,即可以判定目前參考區塊26是最合適者(block matching),而不需要如先前技術般計算差異絕對值總和(Sum of Absolute Difference,SAD)。之後,採用最合適的參考區塊26來補償目前畫面中的交疊區塊28輸出,在第三圖中即表示最合適的參考區塊26來補償目前畫面中的交疊區塊28輸出的示意圖。在參考畫面中最合適的參考區塊和目前畫面中的交疊區塊的相對座標差就是位移估測的移動向量(motion vector)。
另一方面,就強健位移偵測器而言,由於影像訊號經過錄製和傳送後,會包含一些雜訊,這些雜訊會造成位移偵測器的錯誤,有鑑於此,本發明提出之強健位移偵測器可消除雜訊又不會降低畫面解析度,來提供強健、高準確的位移偵測資訊給決策組合中心模組參考。詳言之,強健位移偵測器採用的方法描述如後:首先,將目前畫面和參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出。再檢視此畫素差異值輸出,並將畫素差異值與一畫素預設值進行比較,如果此像素的差異值運算結果較大,亦即為該畫素差異值大於該畫素預設值,則認為是移動像素,如果此像素的差異值運算結果較小,亦即為該畫素差異值小於該畫素預設值,則認為是靜止像素。經過上述的像素值轉換後,即產生最初的位移偵測輸出。其中,畫素預設值可根據影像的大小及畫質需求而設定,在此不加以限定畫素預設值之範圍。
接著,掃瞄該最初的位移偵測輸出中的每一條水平掃描線,如果偵測到有多個移動像素相連,則這些相連的移動像素會形成一條目前的線,且若該目前的線為移動線,即視為該線在動態區域,若該目前的線不是移動線,即視為該線在靜態區域。如果偵測到有多個靜止像素相連,即視為該多個靜止像素在靜態區域。
最後,要判定此目前的線是否為移動線,如果不是移動線,就認定為雜訊並被視為靜態區域,若目前的線是移動線則被視為動態區域。判斷此目前的線是否為移動線,需符合下列條件:條件1:該目前的線所存在的畫素需要至少二個以上;及/或條件2:該目前的線需要緊鄰上面另一水平掃描線之移動線,或是緊鄰下面另一水平掃描線之移動線。
請同時參閱第四圖所示,在(a)、(b)、(c)、(d)、(e)及(f)圖中所示,即表示移動線與目前的線之關係係滿足上述條件2之不同實施例。
如果不符合上面條件,就可能是為雜訊。本發明採用之技術並沒有過度破壞到畫素差異值輸出(field difference output),保留了移動物體的外形輪廓,使得位移偵測也就更加精確。
在降低運算量方面,本發明之強健位移偵測器可偵測是否有大區域複雜移動畫面。如果偵測到大區域複雜移動畫面,便關掉交疊區塊位移估測補償處理,直接利用空間性插補處理單元使用空間插值來處理補插目前畫面輸出。由於人的視覺對於複雜移動畫面,無法清楚的辨識,但對於單調的畫面,敏感度高,本發明即利用此特性,對於複雜移動畫面,只使用空 間插值(Spatial interpolation)就有很好的效果。
第五圖為大型移動物體的示意圖,如圖所示,如果有大型物體30移動,其畫素差異值輸出之移動線不會很長,且必定會包含很大的靜態區域,因為動態區域只有在大型物體的輪廓邊緣,所以如果是大型移動物體,就不會產生較長或較多的移動線。第六圖為大區域複雜移動畫面的示意圖,如圖所示,大區域複雜移動畫面32包含了很多小移動物體,其畫素差異值輸出會產生很多很長的移動線且靜態區域必定很小。
據上所述,本發明首先分析經過雜訊消除的畫素差異值輸出,其係指出畫面中那些地方是屬於動態區域,那些地方是靜態區域。換言之,根據此畫素差異值輸出來檢視那些區域大部份都是移動線,就認定此區域為大的複雜移動區域,對此區域就以運算量較少的空間插值來處理。
當輸入畫面為初始畫面時,請先參閱第七圖所示之處理流程,如圖所示,首先,如步驟S10,先初始化M計數器為零,並有一交錯影像畫面輸入。在進行步驟S12,進行位移偵測來判斷是否有移動物體,如果此畫面中完全沒有移動物體,則此畫面就是全靜態影像(Full-Still image),此時係進行步驟S14之編織***處理,並將解交錯畫面輸出做為下一個畫面的參考畫面(reference frame)。如果在步驟S12中判斷出該畫面具有移動物體時,則進行步驟S16,以空間性插補處理來進行位移適應解交錯處理,並將解交錯畫面輸出做為下一個畫面的參考畫面。
之後輸入之每一個交錯影像畫面之處理流程則如第八圖所示,首先,如步驟S20下一個交錯影像畫面進來。接著如步驟S22所示進行位移偵測 來判斷是否有移動物體;如果此畫面中完全沒有移動物體,則表示此畫面就是全靜態影像(Full-Still image),則進行步驟S24將M計數器設為零,再繼續進行步驟S26的編織***處理來處理之,並將解交錯畫面輸出做為下一個畫面的參考畫面。在步驟S22中,如果有移動物體,則繼續進行步驟S34將M計數器累加,再繼續進行步驟S36,判斷此M計數器是否已經溢位而產生溢位訊號;如果沒有發生溢位,則進行步驟S32之交疊區塊位移估測補償方法或空間性插補方法來處理,並將解交錯畫面輸出做為下一個畫面的參考畫面。再步驟S36中如果已經發生溢位,則進行步驟S38之空間性插補處理方法來作為位移適應解交錯處理,並將解交錯畫面輸出做為下一個畫面的參考畫面。
完成上述之處理流程後,等待下一個交錯影像畫面進來,不斷重複進行上述各步驟。本發明利用位移偵測(motion detection)配合M計數器(M counter)來控制畫面補償錯誤的傳遞量。全靜態影像偵測器(Full-Still image detector)如果告知有上述全靜態影像發生,就可以立刻把此全靜態畫面當成最準確的參考畫面,給目前畫面參考輸出。但是位移偵測器如果告知有移動畫面發生,且連續發生使M計數器溢位,就必須關閉交疊區塊位移估測補償單元,只使用空間性插補處理單元的位移適應解交錯處理來處理,以防止畫面補償錯誤傳遞量增大。假設影片視訊每一秒拍攝取樣約24個畫面,只要畫面中的物體移動速度不快,就有可能取樣到全靜態畫面來當作最準確的參考畫面,這時便能發揮遞歸位移補償(Recursive motion compensation)的優點。如果畫面物體移動速度很快, 那很快便會使M計數器溢位,而只使用空間性插補處理即可,因為人類的視覺對快速移動的物體無法仔細的辨識。
綜上所述,本發明係將交錯式影像序列轉換為循序式影像序列,不但可大為提高解交錯處理後的影像品質,更可降低因位移補償伴隨而來的巨大運算量。再者,利用交疊區塊和強健位移偵測來提供更準確的位移偵測/估測,以及更高的畫質解析度來有效地消除鋸齒狀的毛邊,讓移動物體邊緣部份也可以完整呈現出來。此外,更利用適應遞歸位移補償,以進一步降低估測錯誤和傳遞錯誤,對於降低整體運算量方面,採用交疊方塊的單一畫素比對,不需要計算差異絕對值總和來節省運算量。
以上所述之實施例僅係為說明本發明之技術思想及特點,其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施,當不能以之限定本發明之專利範圍,即大凡依本發明所揭示之精神所作之均等變化或修飾,仍應涵蓋在本發明之專利範圍內。
10‧‧‧第一緩衝存儲器
12‧‧‧第二緩衝存儲器
14‧‧‧低傳遞錯誤控制器
142‧‧‧M計數器
144‧‧‧全靜態影像偵測器
16‧‧‧強健位移偵測器
18‧‧‧交疊區塊位移估測補償單元
20‧‧‧空間性插補處理單元
22‧‧‧編織***處理單元(Weave)
24‧‧‧決策組合中心模組
26‧‧‧參考區塊
28‧‧‧交疊區塊
30‧‧‧大型物體
32‧‧‧大區域複雜移動畫面
第一圖為本發明之強健適應解交錯裝置的架構示意圖
第二圖為本發明之交疊區塊位移估測補償單元處理之示意圖。
第三圖為本發明在參考畫面中最合適的參考區塊來補償目前畫面中的交疊區塊輸出的示意圖。
第四(a)圖~第四(f)圖為本發明之目前的線與移動線滿足條件2之各實施例示意圖。
第五圖為本發明之大型移動物體的示意圖。
第六圖為本發明之大區域複雜移動畫面的示意圖。
第七圖為本發明對初始畫面處理的流程示意圖。
第八圖為本發明對輸入交錯影像畫面進行處理之流程示意圖。
10‧‧‧第一緩衝存儲器
12‧‧‧第二緩衝存儲器
14‧‧‧低傳遞錯誤控制器
142‧‧‧M計數器
144‧‧‧全靜態影像偵測器
16‧‧‧強健位移偵測器
18‧‧‧交疊區塊位移估測補償單元
20‧‧‧空間性插補處理單元
22‧‧‧編織***處理單元(Weave)
24‧‧‧決策組合中心模組

Claims (31)

  1. 一種使用交疊區塊位移補償之強健適應解交錯裝置,包括:至少一緩衝存儲器,用以儲存一目前畫面資料及一參考畫面資料;一低傳遞錯誤控制器,連接該緩衝存儲器,並根據該參考畫面比對該目前畫面之影像,以輸出一控制訊號;一強健位移偵測器,連接該緩衝存儲器,並將該目前畫面與參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出,並處理過該畫素差異值來判斷該目前畫面中的動態區域與靜態區域;一交疊區塊位移估測補償單元,其係在該目前畫面中以交疊區塊來進行位移估測補償,以估測該交疊區塊的位移向量,尋找在該參考畫面中最相似的參考區塊,用該參考區塊來補償該目前畫面輸出;一空間性插補處理單元,其係處理該動態區域則利用相同畫面的鄰近像素來補插該目前畫面輸出;一編織***處理單元,其係處理該靜態區域或該目前全靜態影像的畫面;以及一決策組合中心模組,連接該緩衝存儲器、該低傳遞錯誤控制器、該強健位移偵測器、該交疊區塊位移估測補償單元、該空間性插補處理單元及該編織***處理單元,該決策組合中心模組係根據該控制訊號來決定是由該交疊區塊位移估測補償單元、該空間性插補處理單元或該編織***處理單元來插補該目前畫面輸出,以輸出更新畫面。
  2. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中該緩衝存儲器更包括: 一第一緩衝存儲器,其係儲存該目前畫面;以及一第二緩衝儲存器,其係儲存該參考畫面,且該參考畫面為前一個解交錯輸出畫面。
  3. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中該低傳遞錯誤控制器更包括:一M計數器,其係根據該目前畫面是否有動態區域來決定是否累加,如果該目前畫面經全靜態影像偵測器偵測為全靜態畫面,則計數器歸零,如果該計數器累加至上限值則會產生一溢位訊號,以作為該決策組合中心模組的控制訊號;以及一全靜態影像偵測器,用以偵測該目前畫面是否為全靜態畫面,並據此產生一全靜態畫面訊號,給M計數器來歸零,同時作為該決策組合中心模組的控制訊號。
  4. 如申請專利範圍第3項所述之強健適應解交錯裝置,其中該全靜態影像偵測器產生該全靜態畫面訊號時,該決策組合中心模組係根據該全靜態畫面訊號來決定由該編織***處理單元來補插該目前畫面輸出。
  5. 如申請專利範圍第3項所述之強健適應解交錯裝置,其中該M計數器產生該溢位訊號時,該決策組合中心模組係根據該溢位訊號來決定由該空間性插補處理單元來補插該目前畫面的動態區域。
  6. 如申請專利範圍第3項所述之強健適應解交錯裝置,其中該M計數器未發生溢位時,該決策組合中心模組係決定由該交疊區塊位移估測補償單元來補插該目前畫面的動態區域,但如果該交疊區塊位移估測補償處理單元 找不到最合適的區塊來補插,則選用該空間性插補處理單元來補插該目前畫面的動態區域。
  7. 如申請專利範圍第3項所述之強健適應解交錯裝置,其中該M計數器可為一適應性計數器,以根據該目前畫面之影像狀況,來調整計數值或是狀態值。
  8. 如申請專利範圍第3項所述之強健適應解交錯裝置,其中該全靜態影像偵測器在以偵測該目前畫面為全靜態畫面時,係利用欲偵測之該目前畫面中完全沒有出現移動線,該目前畫面即判斷為該全靜態畫面。
  9. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中該強健位移偵測器產生該畫素差異值輸出時,再將該畫素差異值與一畫素預設值進行比較,若該像素差異值較大,亦即為該畫素差異值大於該畫素預設值,係視為移動像素,若該像素差異值較小,亦即為該畫素差異值小於該畫素預設值,則視為靜止像素,以產生最初的位移偵測輸出;以及掃瞄該最初的位移偵測輸出中的每一條水平掃描線,如果偵測到有多個移動像素相連,則該些相連的移動像素會形成一條目前的線,且若該目前的線為移動線,即視為該線在動態區域,若該目前的線不是移動線,即視為該線在靜態區域;且如果偵測到有多個靜止像素相連,即視為該多個靜止像素在靜態區域。
  10. 如申請專利範圍第9項所述之強健適應解交錯裝置,其中判斷該目前的線是否為該移動線係符合下列二條件或其中一條件:條件1:該目前的線所存在的畫素需要至少二個以上;及 條件2:該目前的線需要緊鄰上面另一水平掃描線之移動線,或是緊鄰下面另一水平掃描線之移動線。
  11. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中該交疊區塊位移估測補償單元可為非遞歸位移估測方式,也可為遞歸位移估測方式,其中使用的交疊區塊係謂在補插該目前畫面之第n-1條掃描線時,係使用第n條掃描線及第n-2條掃描線的像素來做為位移補償動作所需要的區塊組成;以及在補插第n+1條掃描線時,使用第n條掃描線及第n+2條掃描線的像素來做為位移補償所需要的區塊組成,其中在該第n-1條掃描線及該第n+1條掃描線時,同時參考到該第n條掃描線的像素,因此上下兩組區塊組成是為交疊(overlapped)者。
  12. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中該交疊區塊位移估測補償單元中使用的該交疊區塊進行比對時,係依序比對在該參考畫面中參考區塊和在該目前畫面中的交疊區塊中之像素,只要其中一個相對像素的差異值太大,代表該參考區塊不是最合適的;如果所有相對像素的差異值都很小,代表該參考區塊是最合適的,此時,該參考區塊和該目前畫面中的交疊區塊的相對座標差即為位移估測的該移動向量。
  13. 如申請專利範圍第1項所述之強健適應解交錯裝置,其中利用該畫素差異值輸出來檢視該動態區域是否大部份都是移動線,若是即代表該動態區域為該大區域複雜移動畫面,該強健位移偵測器偵測到該動態畫面為大區域複雜移動畫面時,係使用該空間性插補處理單元來處理該動態畫面輸出。
  14. 一種低傳遞錯誤控制方法,其係包括下列步驟:提供至少一目前畫面資料及一參考畫面資料;根據該參考畫面比對該目前畫面之影像,以輸出一控制訊號,並將該目前畫面與參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出,並根據該畫素差異值判斷該目前畫面中的動態區域與靜態區域;以及根據該控制訊號及該動態區域與靜態區域之狀態,選擇下列其中之一的處理方式,以輸出欲插補的像素:一區塊位移估測補償處理,其係在該目前畫面中以區塊來進行位移估測補償,以估測該區塊的位移向量,尋找在該參考畫面中最相似的參考區塊,用該參考區塊來補插該目前畫面的動態區域輸出,一空間性插補處理,其係根據該相同畫面的鄰近像素來補插該目前畫面的動態區域輸出;以及一編織***處理,其係處理該靜態區域或該目前畫面中之全靜態影像。
  15. 如申請專利範圍第14項所述之低傳遞錯誤控制方法,其中該目前畫面係儲存在一第一緩衝存儲器中,且該參考畫面係儲存在一第二緩衝儲存器中。
  16. 如申請專利範圍第14項所述之低傳遞錯誤控制方法,其中該控制訊號係為一溢位訊號,其係利用一M計數器根據該目前畫面是否為全靜態影像或是有動態區域來決定歸零或是累加,如果畫面一直連續都含有動態區域,則會一直累加至上限值而產生該溢位訊號;或是該控制訊號為一全靜 態影像訊號,其係利用一全靜態影像偵測器來偵測該目前畫面中之全靜態影像,並據此產生該全靜態影像訊號,以作為該控制訊號並同時使M計數器歸零。
  17. 如申請專利範圍第16項所述之低傳遞錯誤控制方法,其中該控制訊號為該全靜態影像訊號時,係根據該全靜態影像訊號來決定選用該編織***處理來補插該目前畫面輸出。
  18. 如申請專利範圍第16項所述之低傳遞錯誤控制方法,其中該控制訊號為該溢位訊號時,係根據該溢位訊號來決定選用該空間性插補處理來補插該目前畫面輸出。
  19. 如申請專利範圍第16項所述之低傳遞錯誤控制方法,其中該M計數器計數未發生溢位時,係選用該區塊位移估測補償處理單元來補插該目前畫面輸出,但如果該區塊位移估測補償處理單元找不到最合適的區塊來補插,則選用該空間性插補處理單元來補插該目前畫面輸出。
  20. 如申請專利範圍第16項所述之低傳遞錯誤控制方法,其中該M計數器係為一適應性計數器,以根據該目前畫面之影像狀況,以調整計數值或是狀態值。
  21. 如申請專利範圍第16項所述之低傳遞錯誤控制方法,其中在偵測該全靜態影像時,係利用欲偵測之該目前畫面中完全沒有出現移動線,該目前畫面即判斷為該全靜態影像。
  22. 如申請專利範圍第14項所述之低傳遞錯誤控制方法,其中在該畫素差異值輸出之步驟時,若該像素差異值較大,係視為移動像素,並將其像素 值改為最大值,若該像素差異值較小,則視為靜止像素,並將其像素值改為最小值,以產生最初的位移偵測輸出;以及掃瞄該最初的位移偵測輸出中的每一條水平掃描線,以偵測是否有移動像素,直至偵測到的像素不是移動像素,這些相連的移動像素會形成一條目前的線,且若該目前的線為移動線,即視為該目前的線在動態區域,若該目前的線不是移動線,即視為該目前的線在靜態區域。
  23. 如申請專利範圍第22項所述之低傳遞錯誤控制方法,其中判斷該目前的線是否為該移動線需要符合下列二個條件或其中一條件:該目前的線所存在的畫素需要至少二個以上;以及該目前的線需要上面或下面緊鄰另一水平掃描線形成的移動線。
  24. 如申請專利範圍第14項所述之低傳遞錯誤控制方法,其中該區塊位移估測補償處理步驟中使用的該區塊進行比對時,係依序比對在該參考畫面中參考區塊和在該目前畫面中的區塊中之像素,只要其中一個相對像素的差異值太大,代表該參考區塊不是最合適的;如果所有相對像素的差異值都很小,代表該參考區塊是最合適的,此時,該參考區塊和該目前畫面中的區塊的相對座標差即為位移估測的該移動向量。
  25. 如申請專利範圍第14項所述之低傳遞錯誤控制方法,其中利用該畫素差異值輸出來檢視該動態區域是否大部份都是移動線,若是即代表該動態區域為該大區域複雜移動畫面,偵測到之該動態畫面為大區域複雜移動畫面時,係使用該空間性插補處理單元來處理該動態畫面輸出。
  26. 一種應用於解交錯裝置之交疊區塊位移估測補償單元,其係在一目前 畫面中的動態區域以交疊區塊來進行位移估測補償,該交疊區塊位移估測係為遞歸位移估測方式,以估測該交疊區塊的位移向量,尋找在一參考畫面中最相似的參考區塊,用該參考區塊來補償該動態區域畫面的輸出;其中該交疊區塊係在補插該目前畫面之第n-1條掃描線時,使用至少包含第n條掃描線及第n-2條掃描線的像素來做為位移補償動作所需要的區塊組成;以及在補插第n+1條掃描線時,使用至少包含第n條掃描線及第n+2條掃描線的像素來做為位移補償所需要的區塊組成,其中在該第n-1條掃描線及該第n+1條掃描線時,同時參考到該第n條掃描線的像素,因此上下兩組區塊組成是為交疊(overlapped)者。
  27. 如申請專利範圍第26項所述之交疊區塊位移估測補償單元,更可利用一位移偵測器來偵測該目前畫面中的動態區域。
  28. 如申請專利範圍第26項所述之交疊區塊位移估測補償單元,其中該交疊區塊進行比對時,係依序比對在該參考畫面中參考區塊和在該目前畫面中的交疊區塊中之像素,只要其中一個相對像素的差異值太大,代表該參考區塊不是最合適的;如果所有相對像素的差異值都很小,代表該參考區塊是最合適的,此時,該參考區塊和該目前畫面中的交疊區塊的相對座標差即為位移估測的該移動向量。
  29. 如申請專利範圍第26項所述之交疊區塊位移估測補償單元,其中該交疊區塊係為m×m大小之區塊,其中m≧2。
  30. 一種應用於解交錯裝置之強健位移偵測方法,用以判斷一目前畫面中 之動態區域或靜態區域,該強健位移偵測方法包括,將該目前畫面和參考畫面進行相對位置像素的差異值運算,產生畫素差異值輸出;檢視該畫素差異值輸出,如果該像素的差異值運算結果較大,則認為是移動像素,如果此該像素的差異值運算結果較小,則認為是靜止像素(static pixel);經過上述的處理後,即產生最初的位移偵測輸出(motion detection output);以及掃瞄該最初的位移偵測輸出中的每一條水平掃描線,如果偵測到有多個移動像素相連,則這些相連的移動像素會形成一條目前的線,且若該目前的線為移動線,即視為該線在動態區域,若該目前的線不是移動線,即視為該線在靜態區域;且如果偵測到有多個靜止像素相連,即視為該多個靜止像素在靜態區域。
  31. 如申請專利範圍第30項所述之強健位移偵測方法,其中判斷該目前的線是否為該移動線係符合下列二條件或其中一條件:條件1:該目前的線所存在的畫素需要至少二個以上;及條件2:該目前的線需要緊鄰上面另一水平掃描線之移動線,或是緊鄰下面另一水平掃描線之移動線。
TW97114097A 2008-04-18 2008-04-18 Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks TWI425840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW97114097A TWI425840B (zh) 2008-04-18 2008-04-18 Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW97114097A TWI425840B (zh) 2008-04-18 2008-04-18 Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks

Publications (2)

Publication Number Publication Date
TW200945908A TW200945908A (en) 2009-11-01
TWI425840B true TWI425840B (zh) 2014-02-01

Family

ID=44869888

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97114097A TWI425840B (zh) 2008-04-18 2008-04-18 Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks

Country Status (1)

Country Link
TW (1) TWI425840B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI408621B (zh) * 2009-11-17 2013-09-11 Mstar Semiconductor Inc 影像插補處理裝置及其方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459455B1 (en) * 1999-08-31 2002-10-01 Intel Corporation Motion adaptive deinterlacing
US20050134730A1 (en) * 2003-12-23 2005-06-23 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US20060023119A1 (en) * 2004-07-28 2006-02-02 Dongil Han Apparatus and method of motion-compensation adaptive deinterlacing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6459455B1 (en) * 1999-08-31 2002-10-01 Intel Corporation Motion adaptive deinterlacing
US20050134730A1 (en) * 2003-12-23 2005-06-23 Lsi Logic Corporation Method and apparatus for video deinterlacing and format conversion
US20060023119A1 (en) * 2004-07-28 2006-02-02 Dongil Han Apparatus and method of motion-compensation adaptive deinterlacing

Also Published As

Publication number Publication date
TW200945908A (en) 2009-11-01

Similar Documents

Publication Publication Date Title
US20100271554A1 (en) Method And Apparatus For Motion Estimation In Video Image Data
KR101127220B1 (ko) 움직임 보상 적응형 순차주사화 장치 및 그 방법
CN1265633C (zh) 去隔行装置和方法
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US8610826B2 (en) Method and apparatus for integrated motion compensated noise reduction and frame rate conversion
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
Braspenning et al. True-motion estimation using feature correspondences
TWI490819B (zh) 影像處理方法及其裝置
CN100367771C (zh) 一种自适应抑制图像噪声的方法
JP3293561B2 (ja) 画像表示装置及び画像表示方法
KR20040049214A (ko) 고속 모션벡터 추정장치 및 방법
US8379146B2 (en) Deinterlacing method and apparatus for digital motion picture
US8787696B1 (en) Method and apparatus for replacing a block of pixels in a digital image frame to conceal an error associated with the block of pixels
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
TWI425840B (zh) Robust Adaptive Decoupling Device and Method for Displacement Compensation Using Overlapping Blocks
JP5241632B2 (ja) 画像処理回路および画像処理方法
US9324131B1 (en) Method and apparatus for motion adaptive deinterlacing with reduced artifacts
JP3121519B2 (ja) 動きベクトルを用いた動き内挿方法および動き内挿回路ならびに動きベクトル検出方法および動きベクトル検出回路
JP3576618B2 (ja) 動きベクトル検出方法および装置
Braun et al. Motion-compensating real-time format converter for video on multimedia displays
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체
RU2308817C1 (ru) Способ и устройство масштабирования динамического видеоизображения
KR100252943B1 (ko) 스캔컨버터회로

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees