TWI404408B

TWI404408B - 影像處理裝置及影像處理方法

Info

Publication number: TWI404408B
Application number: TW097138573A
Authority: TW
Inventors: Chien Chen Chen; Chun Hsing Hsieh
Original assignee: Realtek Semiconductor Corp
Priority date: 2008-10-07
Filing date: 2008-10-07
Publication date: 2013-08-01
Also published as: US8300150B2; US20100085486A1; TW201015973A

Description

影像處理裝置及影像處理方法

本發明是有關於一種影像處理裝置，特別是指一種用於判斷一影像資料中是否存在雜訊的影像處理裝置。

隨著視訊處理的技術快速演進，對於一視訊內容(Video Content)的品質要求是越來越高，高畫質、高解析度的視訊內容已被廣泛應用於各種影像顯示裝置上，例如：高解析度電視(HDTV)或是個人電腦液晶螢幕(LCD)。一視訊內容通常包含複數個圖框(Frame)或是圖場(Field)，在視訊處理或是傳送視訊的過程中，部分圖框或是圖場往往可能受到雜訊的影響而發生變異(如：部分像素值(Pixel)發生改變)，而在高解析度的顯示裝置上，對於視訊內容上的雜訊反應特別敏感，換句話說，當視訊內容受到雜訊干擾時，在高解析度的顯示裝置上就可能被清楚呈現，而降低視訊內容的品質。因此，如何有效判斷雜訊的強度，進而抑制或消除雜訊，對於視訊處理技術來說，是相當重要的議題。

現今廣為被使用的技術是利用一平均絕對差(Mean Absolute Difference,MAD)來判斷一視訊內容上是否受到雜訊干擾；MAD之計算方式如下：

其中，m、n分別為視訊內容的解析度大小，P _k (i ,j )為第 k個圖框中第(i ,j )位置像素上的像素值，P _k－1 (i ,j )為第k－1個圖框中第(i ,j )位置像素上的像素值；所謂像素值可以是一像素的亮度值或是色度值。

舉例來說，參閱圖1，對於一連續的圖框序列S，其中每一個圖框編號分別為S₁ 、S₂ ...S_k－1 、S_k 、S_k＋1 、....，假設圖框S_k 中的物件O_k 相較於圖框S_k－1 中的物件O_k－1 沒有移動的情況下，則理論上圖框S_k 中的每一像素值會與圖框S_k－1 中對應位置上的像素值相同，因此根據公式(F.1)可計算出MAD的值為零。

假設當圖框S_k 有雜訊存在時，可能使得圖框S_k 中至少一個像素值發生改變，參閱圖2，在不考慮動態影像的前提下，假設圖框S_k 的像素因為雜訊發生改變，根據公式(F.1)，MAD_noise 可計算如下：

MAD的值越大，代表雜訊的數量越多，或是像素受到雜訊的影響程度越嚴重，反之，MAD的值越小，則代表雜訊的數量越少，或是像素受到雜訊的影響程度越輕微。因此，目前習知的做法，是根據MAD的數值大小作為判斷是否有雜訊存在。

聯合參閱圖3、4，假設圖框S_k 中的物件O_k 相較於圖框S_k－1 中的物件O_k－1 發生移動之後，計算MAD_motion 的值如下：

由上述例子可看出，對於圖框S_k 而言，發生雜訊時的MAD_noise 值與圖框中物件移動時的MAD_motion 值可能是相等的，因此，依照習知之判斷方法很難判斷出，形成前後張影像上多數像素值的差的原因是雜訊干擾還是物件移動。

如果發生將動態影像誤判成雜訊干擾的情形，反而會造成失真情形。因為在動態影像時的MAD是由物件移動所造成的，所以圖框S_k 中的每一像素值並不一定跟前一圖框S_k－1 有關聯性(如：像素(i,j)在圖框S_k－1 為物件一部份，因為物件移動的關係，使得同一像素(i,j)在圖框S_k 時可能變為背景的一部份)，若是因為誤判成雜訊干擾，而進一步將前後張影像的像素值作平均處理，以期消除雜訊的話，往往反而會造成拖影。因此，習知對於動態影像來說，是相當可能造成誤判的情形發生。

因此，本發明之目的之一，在於提供一種影像處理裝置，可判斷影像是否存在雜訊，以解決習知誤判的問題。

依據本發明之影像處理裝置，包含：一像素差計算器，接收一目前影像與一先前影像，該先前影像具有複數個第一像素，該目前影像具有複數個第二像素，該像素差計算器用以計算該第一像素與位置上對應於該第一像素之該第二像素之一像素差，並輸出複數個像素差值；其中，該複數個像素差值包含有複數個正像素差值與複數個負像素差值；一加總單元，耦接至該像素差計算器，用以將該複數個正像素差值相加以得到一第一輸出值，與將該複數個負像素差值相加以得到一第二輸出值；一判斷單元，耦接至該加總單元，用以根據該第一輸出值與該第二輸出值，以判斷該目前影像之一雜訊程度，並輸出一混合值；以及一輸出單元，耦接至該判斷單元，用以依據該混合值將該目前影像和該先前影像上同一位置的像素加權相加以產生一輸出影像。

有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之五個實施例的詳細說明中，將可清楚的呈現。

在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。

影像處理裝置之第一實施例

參閱圖5，本發明之影像處理裝置8包含：一像素差計算器81、一分離加總單元82、一雜訊判斷單元83，及一輸出單元84。

像素差計算器81接收一目前影像811及一先前影像812，其中，目前影像811與先前影像812是一圖框(Frame)，且其分別具有複數個像素(Pixel)。每一像素上具有對應之像素值，該像素值包括亮度值(Luma)及色度值 (Chroma)，而像素差計算器81將根據目前影像811與先前影像812中位於相同位置之像素的像素值，計算出每一像素的像素差，並集合所有像素差形成一像素差矩陣813。舉例來說，參閱圖6，當像素差計算器81設定為目前影像811之像素值減去先前影像812對應位置之像素值時，其結果如圖中像素差矩陣813所示，反之，若是像素差計算器81設定為先前影像812之像素值減去目前影像811對應位置之像素值時，則結果如圖中像素差矩陣813’所示。

回復參閱圖5，分離加總單元82包括：一解多工器821、一正像素差加總器822，及一負像素差加總器823。

分離加總單元82根據一取樣視窗尺寸，並以每一像素差為中心點，設定一對應的取樣視窗，舉例來說，參閱圖7，假設取樣視窗尺寸為3×3，如圖對於像素差P₁ 與P₂ 而言，其對應的取樣視窗分別為W₁ 與W₂ ，若是位於邊界上的像素差(如：P₃ )，則仍可假設一取樣視窗W₃ 存在，而超出該影像範圍的部分來以0來表示，因為前一圖框亦具有相同超出範圍的部分，因此不會影響處理結果。

取樣視窗設定完成後，分離加總單元82將每一取樣視窗內的像素差，依據其正負號分別進行加總。其中：解多工器821接收取樣視窗中每一像素差並判斷每一像素差之正負號，若是一像素差之值為正，解多工器821將該像素差送入正像素差加總器822中，反過來說，若是一像素差之值為負，解多工器821將該像素差送入負像素差加總器823中。

正像素差加總器822將所收到的屬於同一取樣視窗的所有正像素差相加以產生一第一輸出值。而負像素差加總器823將所收到的取樣視窗的所有負像素差相加以產生一第二輸出值，但值得注意的是，負像素差加總器823所執行的是不帶符號數運算(unsigned operation)，因此，第二輸出值亦為一正數。舉例來說，聯合參閱圖6及圖8，假設一取樣視窗的尺寸為3×3，且像素差矩陣813設定為先前影像812之像素值減去目前影像811之像素值，因此，該像素差矩陣的結果如圖中813”所示，其中二像素差A、B各自對應的取樣視窗為W_A 、W_B ，將二者對應取樣視窗內的像素差，經過分離加總單元處理之後，對於A、B像素差的第一輸出值與第二輸出值分別計算如下：A像素差的第一輸出值A₁ ＝10＋8＋13＋8＋8＋2＋13＝62；A像素差的第二輸出值A₂ ＝1；B像素差的第一輸出值B₁ ＝8＋8＋13＋20＝49；及B像素差的第二輸出值B₂ ＝1＋10＋4＋12＋9＝36。

回復參閱圖5，雜訊判斷單元83接收每一像素差之第一輸出值與第二輸出值，並依照第一輸出值與第二輸出值之邏輯運算結果，選擇出該像素之混合值K，其包括：一總像素差運算器831與一混合值選擇器832。

總像素差運算器831計算每一像素差之第一輸出值減去對應第二輸出值之差，作為該像素差之總像素差D，而總像素差D可表示該像素受到雜訊干擾的程度。參閱圖8，A、B像素差的總像素差D計算方式如下： A像素差之總像素差D_A ＝第一輸出值A₁ －第二輸出值A₂ ＝62－1＝61；及B像素差之總像素差D_B ＝第一輸出值B₁ －第二輸出值B₂ ＝49－36＝13。

回復參閱圖5，混合值選擇器832接收每一像素差之總像素差，並根據該總像素差D之大小，決定出該像素差之混合值K，在本實施例中，混合值的決定方式如下：於該混合值選擇器832中預設三個臨界值：第一臨界值TH₁ 、第二臨界值TH₂ ，及第三臨界值TH₃ ，且三者的大小關係為：第一臨界值TH₁ 小於第二臨界值TH₂ ，第二臨界值TH₂ 小於第三臨界值TH₃ 。當一像素差之總像素差D小於第一臨界值TH₁ 時，該像素差之混合值K設定為0.8；當一像素差之總像素差D大於第一臨界值TH₁ 且小於第二臨界值TH₂ 時，該像素差之混合值K設定為0.5；當一像素差之總像素差D大於第二臨界值TH₂ 且小於第三臨界值TH₃ 時，該像素差之混合值K設定為0.2。

舉例來說，依照圖8之範例，假設第一臨界值TH₁ 、第二臨界值TH₂ ，及第三臨界值TH₃ 分別為20、50、100，則由上述計算出之A像素差的總像素差D_A 為61，可知總像素差D_A 大於第二臨界值TH₂ 且小於第三臨界值TH₃ ，因此該混合值選擇器832可以得到A像素差的混合值K為0.2；同理，B像素差的總像素差D_B 為13，可知總像素差D_B 小於第一臨界值TH₁ ，因此該混合值選擇器832可以得到B像素差的混合值K為0.8。

因為，一般而言，一影像受到雜訊干擾時，多半是屬於所謂隨機雜訊(Random Noise)，因此，一影像中會有一部份像素值因受到隨機雜訊的影響而變大，同時，也會有另一部份像素值因受到隨機雜訊的影響而變小。換言之，一受到雜訊干擾的像素，其第一輸出值與第二輸出值的數值可能會很大，但是其總像素差通常不會很大。但是，相較於一影像中具有動態物件的情形，因為影像中物件的移動相對於背景的變化，會使得大部分像素都是呈現同向變化，因此，一動態像素的第一輸出值與第二輸出值，往往會呈現其中之一的數值相對較大，而另一者相對較小，所以，總像素差相對會較大；綜合來說，可以依據總像素差的大小來判斷動態像素或是有雜訊干擾。

當然，該等臨界值的訂定不受上述範例所規範，可以依照不同情況而設定不同數值、不同數量的臨界值，或是混和比例K與總像素差D以連續函數或離散函數成一對應關係而訂定。

回復參閱圖5，輸出單元84根據每一像素的混合值K，計算出對應之輸出像素，當每一像素對應的輸出像素皆被計算出來之後，集合形成一輸出影像841，並將輸出影像841回授(Feedback)至像素差計算器81，以作為下一次計算時的先前影像812，該輸出像素841的計算方式如下：輸出像素＝目前影像811對應之像素值×(1－K)＋先前影像812對應之像素值×K。

參閱圖8，輸出影像之A、B像素差位置上的輸出像素計算如下：A像素差的輸出值＝36×0.8＋49*0.2＝38.6 B像素差的輸出值＝59×0.2＋55*0.8＝55.8

影像處理裝置之第二實施例

本實施例與第一實施例最大的不同點在於，本實施例是針對圖場(Field)作處理。

參閱圖9，一連續的圖場序列F以上圖場(Top Filed)(如：圖場F_k－2 與F_k )與下圖場(Bottom Field)(如：圖場F_k－1 與F_k＋1 )交錯排列的方式所組成。

相似於第一實施例的方式，目前影像為第k個圖場(或是第k＋1個圖場)，先前影像為第k－2個圖場(或是第k－1個圖場)，因此，參閱圖10，上圖場序列F_top 可以與下圖場序列F_bot 分別各自分開成兩獨立序列之後，即可採用本發明之影像處理裝置，作雜訊判斷。舉例來說，上圖場序列F_top 中之圖場F_k 為目前影像，而圖場F_k－2 即為先前影像；同理，下圖場序列F_bot 中之圖場F_k＋1 為目前影像，而圖場F_k－1 即為先前影像。然後，上圖場序列F_top 與下圖場序列F_bot 可用二影像處理裝置，以平行式方式分別對上圖場序列F_top 及下圖場序列F_bot 同時處理，或是用一影像處理裝置以連續式方式將上圖場序列F_top 及下圖場序列F_bot 分時處理。

影像處理裝置之第三實施例

本實施例與第一實施例最大的不同點在於總像素差D’的計算方式不同，本實施例之總像素差D’的計算方式如下所述：

影像處理裝置之第四實施例

本實施例與第一實施例最大的不同點在於總像素差D”的計算方式不同，本實施例之總像素差D”的計算方式如下所述：總像素差(D")＝|第一輸出值＋第二輸出值|

此外，每一像素差之混合值K’的決定方式亦隨著對應的總像素差D”的計算方式改變而有所調整，如下所示：於該混合值選擇器832’中預設四個臨界值th₁ ~th₄ ，且大小關係為：th₁ <th₂ <th₃ <th₄ 。

(I)當一像素差之第一輸出值與第二輸出值皆小於th₁ 時，該像素差之混合值K’設定為0.9；(II)當一像素差總像素差D”小於th₂ 且大於th₁ 時，該像素差之混合值K’設定為0.8；(III)當一像素差之總像素差D”大於th₂ 且小於th₃ 時，該像素差之混合值K’設定為0.5；(IV)當一像素差之總像素差D”大於th₃ 且小於th₄ 時，該像素差之混合值K’設定為0.2；綜合第一、三、四等實施例來說，本發明之總像素差的計算方式可以是一根據該每一像素差之第一輸出值與對應的第二輸出值為變數之函數計算得到，而混合值的決定方式可視情況隨之改變。

影像處理裝置之第五實施例

參閱圖11，本實施例與第一實施例最大的不同點在於，雜訊判斷單元83更包括一比較器833，其接收由分離加總單元所輸出之每一像素差的第一輸出值與第二輸出值，並將該第一輸出值與一第一臨界值及一第二臨界值作比較(第一臨界值大於第二臨界值)，同理，將該第二輸出值與一第三臨界值及一第四臨界值作比較(第三臨界值大於第四臨界值)，當該第一輸出值大於第一臨界值且第二輸出值也大於第三臨界值時，比較器833判定該像素差為動態影像所造成，因此，比較器833直接設定該像素差之混合值K”為一接近數值0的數(如：K”＝0.2)並將其輸出至輸出單元84，因為，第一輸出值與第二輸出值皆為一很大的數，代表該像素差之取樣視窗中多數的像素差皆為很大的數值，因此，該像素可能是一移動物件的一部份。

而當該第一輸出值小於第二臨界值且第二輸出值也小於第四臨界值時，比較器833判定該像素差為雜訊影響所造成，因此，比較器833直接設定該像素差之混合值K”為一接近數值1的數(如：K”＝0.8)並將其輸出至輸出單元84，因為，第一輸出值與第二輸出值皆為一很小的數，代表該像素差之取樣視窗中多數的像素差皆為很小的數值，因此，該像素可能是受到雜訊干擾。

若是判斷結果不屬於上述二種情形，則將該像素差之第一輸出值與第二輸出值送至總像素差運算器831中，計算出該像素差之總像素差D並決定對應之混合值K”。

本實施例相較於第一實施例，針對每一像素差的第一輸出值與第二輸出值皆為很大的數值或是很小的數值時，可以更快速判斷出該像素差是由動態影像所造成的或是受到雜訊影響所造成，並可以快速決定一較佳的混合值K”。

影像處理裝置之第六實施例

此第六實施例與第一實施例類似，不同的地方主要在於像素差計算器81的實施方式，本實施例中像素差計算器81以目前影像811中之每一像素為中心點，設定一對應的目前取樣視窗，其中，取樣視窗的尺寸可以是一預設值m×n，或是由使用者定義之大小。同時，以先前影像812中之每一像素為中心點，設定一對應的先前取樣視窗，然後將每一像素之目前取樣視窗與相同位置的像素之先前取樣視窗作像素值的差運算，以計算出對應之像素差，並集合所有像素差形成一像素差矩陣。如圖12的範例所示，對於像素A、B，分別具有一目前取樣視窗W_A 、W_B 與一先前取樣視窗W_A’ 、W_B’ ，因此像素A、B對應的像素差矩陣分別根據目前取樣視窗W_A 與先前取樣視窗W_A’ 的差運算、目前取樣視窗W_B 與先前取樣視窗W_B’ 的差運算而獲得。且此實施例的分離加總單元82直接將所得出的像素差距陣中所含的所有像素差，依據其正負號分別進行加總，以得到第一輸出值和第二輸出值。

影像處理方法之實施例

參閱圖13，本發明之影像處理方法9用以判斷前後二張影像之誤差是由雜訊所造成，或是由影像中之移動物件所造成，其包括以下步驟：步驟90是設定一大小為m×n的取樣視窗；步驟91是接收一目前影像與一先前影像，其中，該目前影像是第k個圖框(或是第k個圖場)，而先前影像是第k－1個圖框(或是第k－2個圖場)；步驟92是計算目前影像與先前影像中相同位置上之像素差，並集合所有像素差形成一尺寸大小與目前影像或先前影像相同之像素差矩陣；步驟93是以每一像素差為中心點，設定一對應的取樣視窗，然後，將所收到的屬於同一取樣視窗的所有正像素差相加以產生一第一輸出值，同時將所收到的取樣視窗的所有負像素差相加以產生一第二輸出值。

步驟94是計算一像素差之總像素差D，其計算方式可選擇先前實施例中的任一計算方式，且不以這些為限；步驟95是依據一像素差之總像素差D的大小，決定該像素差之混合值K，決定的方式如先前實施例中所述；步驟96是根據每一像素的混合值K，計算出對應之輸出像素，當每一像素對應的輸出像素皆被計算出來之後，集合形成一輸出影像，並將輸出影像回授(Feedback)以作為下一次計算時的先前影像，該輸出像素的計算方式如下：輸出像素＝目前影像對應之像素值×(1－K)＋先前影像對應之像素值×K。

值得注意的是，如先前第五實施例所述，於步驟94之前，也可先根據第一輸出值與第二輸出值的數值，快速判斷出該像素差是由動態影像所造成的或是受到雜訊影響所造成。

此外，值得注意的是，步驟92也可如第六實施例一樣，先依據取樣視窗計算出像素差矩陣，且該像素差矩陣大小與取樣視窗相同而非與目前影像相同。而步驟93則直接將像素差矩陣依據其正負號分別進行加總，以得到第一輸出值和第二輸出值。

綜上所述，在一影像序列中，前後二影像之間存在著物件移動的現象時，藉由本發明之影像處理裝置與影像處理方法，可以精確判斷出總像素差變大的原因為物件移動或雜訊干擾，因此可以降低因為誤判而把物件移動的現象當作雜訊干擾來處理，使得誤差反而變大的情形發生，故確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

8‧‧‧影像處理裝置

81‧‧‧像素差計算器

811‧‧‧目前影像

812‧‧‧先前影像

813、813’、813”‧‧‧像素差矩陣

82‧‧‧加總單元

821‧‧‧解多工器

822‧‧‧正像素差加總器

823‧‧‧負像素差加總器

83‧‧‧判斷單元

831‧‧‧總像素差運算器

832‧‧‧混合值選擇器

833‧‧‧比較器

84‧‧‧輸出單元

841‧‧‧輸出影像

90~96‧‧‧步驟

圖1是一圖框序列示意圖；圖2是一雜訊干擾對一影像之像素值的影響示意圖；圖3是一包含移動物件的影像序列示意圖；圖4是一包含移動物件的影像之像素值示意圖；圖5是本發明影像處理裝置之第一實施例方塊圖；圖6是第一實施例之像素差矩陣計算方式範例；圖7是一像素之取樣視窗示意圖；圖8是一像素差矩陣中不同像素差之示意圖；圖9是一圖場序列示意圖；圖10是一上圖場序列及一下圖場序列之示意圖；圖11是本發明影像處理裝置之第四實施例方塊圖；圖12是第六實施例之像素差矩陣計算方式範例；及圖13是本發明影像處理方法之流程圖。