TWI659396B

TWI659396B - 用以抑制多模雜訊的影像重建方法及其影像處理裝置

Info

Publication number: TWI659396B
Application number: TW106129837A
Authority: TW
Inventors: Bo-Hao Chen; 陳柏豪; Jia-li YIN; 印佳麗
Original assignee: Yuan Ze University; 元智大學
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2019-05-11
Also published as: TW201913563A

Abstract

一種用以抑制多模雜訊的影像重建方法及其影像處理裝置，此方法包括下列步驟。首先，接收包括多個畫素的輸入影像，此些畫素包括多個損壞畫素以及多個乾淨畫素。接著，將輸入影像輸入至影像重建模型，以取得重建影像，其中影像重建模型關聯於各個畫素的全域環境、區域環境、相關環境以及三個係數，全域環境關聯於所有乾淨畫素，區域環境關聯於各個畫素的鄰近畫素所構成的區塊，相關環境關聯於各個畫素的相似畫素所構成的群聚，此些係數分別關聯於全域環境、區域環境以及相關環境並且是於影像重建模型的訓練階段時以半監督式學習法所取得。

Description

用以抑制多模雜訊的影像重建方法及其影像處理裝置

本發明是有關於一種影像重建方法及其影像處理裝置，且特別是有關於一種用以抑制多模雜訊的影像重建方法及其影像處理裝置。

傳輸誤差、位元錯誤以及雜訊感測等影像取得過程中所出現的干擾往往會使得所取得的影像中存在脈衝雜訊（impulse noise，IN）而造成不好的視覺效果。假設一個無雜訊的乾淨影像可表示成，當影像中的第個位置的畫素因脈衝雜訊而損壞，則可以方程式(1)來表示：其中，為第個位置的脈衝雜訊，為雜訊損壞的機率。一般來說，以8位元的灰階影像為例，因椒鹽雜訊（salt and pepper noise，SPN）而損壞的畫素的像素值等於最大值（即，255）或是最小值（即，0）。

一種自影像中移除椒鹽雜訊的習知方式是先利用例如是方程式(2)所表示的二值化遮罩（binary mask）來偵測：其中所為0時代表位於的畫素因椒鹽雜訊而損壞，而所為1時代表位於的畫素為無雜訊。然而，此種方式在對於高度損壞的影像（即，雜訊的比例高於80%）並無法有效地移除雜訊。

另一種習知方式是利用矩陣分解（matrix factorization）的方式，以將影像分解為內容成份以及雜訊成份，從而消除影像中的雜訊。然而，此種方式並未考慮到影像區塊之間的相關性而造成誤差。

有鑑於此，本發明提供一種用以抑制多模雜訊的影像重建方法及其影像處理裝置，其可針對具有高密度雜訊的損壞影像進行有效的修復，以重建出具有良好視覺效果的影像。

在本發明的一實施例中，上述的影像重建方法適用於影像處理裝置並且包括下列步驟。首先，接收輸入影像，其中輸入影像包括多個畫素，此些畫素包括具有雜訊的多個損壞畫素以及無雜訊的多個乾淨畫素。接著，將輸入影像輸入至影像重建模型，以取得影像重建模型所輸出的重建影像，其中影像重建模型關聯於各個畫素的全域環境、區域環境、相關環境、第一係數、第二係數以及第三係數，全域環境關聯於所有乾淨畫素，區域環境關聯於各個畫素的鄰近畫素所構成的區塊，相關環境關聯於各個畫素的相似畫素所構成的群聚，第一係數、第二係數以及第三係數分別關聯於全域環境、區域環境以及相關環境並且是於影像重建模型的訓練階段時以半監督式學習法所取得。

在本發明的一實施例中，上述的影像處理裝置包括記憶體以及處理器，其中處理器耦接記憶體。記憶體用以儲存資料以及影像。處理器用以接收輸入影像，將輸入影像輸入至影像重建模型，以及取得影像重建模型所輸出的重建影像，其中輸入影像包括多個畫素，此些畫素包括具有雜訊的多個損壞畫素以及無雜訊的多個乾淨畫素，影像重建模型關聯於各個畫素的全域環境、區域環境、相關環境、第一係數、第二係數以及第三係數，全域環境關聯於所有乾淨畫素，區域環境關聯於各個畫素的鄰近畫素所構成的區塊，相關環境關聯於各個畫素的相似畫素所構成的群聚，第一係數、第二係數以及第三係數分別關聯於全域環境、區域環境以及相關環境並且是於影像重建模型的訓練階段時以半監督式學習法所取得。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是根據本發明一實施例所繪示的影像處理裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像處理裝置之所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，影像處理裝置100至少包括記憶體110以及處理器120，其中處理器120耦接於記憶體110。影像處理裝置100可以是外接或是內建於例如是個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦、行車紀錄器、汽車影音系統等電子裝置。

記憶體110用以儲存視訊影像、資料，其可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置或這些裝置的組合。

處理器120用以執行所提出的影像增強方法，其可以例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

圖2是根據本發明之一實施例所繪示的影像重建方法的流程圖，而圖2的方法流程可以圖1的影像處理裝置100的各元件實現。

請同時參照圖1以及圖2，首先，影像處理裝置100的處理器120將接收輸入影像（步驟S202），並且將輸入影像輸入至影像重建模型（步驟S204）。在此的影像重建模型是基於影像中的畫素與其它畫素存在特定權重的正相關關聯性的假設下所建立，其可以全域環境（global context）、區域環境（local context）以及相關環境（social context）等三個屬性來建構，以下將分敘說明。

以全域環境來說，其是利用距離反比權重法（inverse-distance weighting）的多變量插值（multivariate interpolation）全域性地自損壞影像中的所有乾淨畫素（clean pixels）所獲得，並且用以重建各個畫素以恢復整張損壞影像。當給定已知無雜訊的乾淨畫素時，第個位置上具有雜訊的損壞畫素可以方程式(3)來進行重建：其中為第個位置的乾淨畫素，為距離反比權重並且可以方程式(4)來計算出：其中為冪參數（power parameter）並且可以是設定為2.75，然而本發明並不限於此。

以區域環境來說，其可在基於一個畫素有很高的機率與其鄰近畫素的平均亮度值接近的假設下計算權重。因此，在一個區塊中的鄰近畫素的平均插值可用以產生一個雜訊畫素的區域環境，並且可以方程式(5)來表示：其中為以畫素為中心的區塊中的畫素，為區塊中的畫素的數量。

以相關環境來說，由於一般影像往往具有重覆的組成結構，因此其用以描述非區域性的重覆內容。以圖3A根據本發明之一實施例所繪示的輸入影像Img的示意圖為例，區塊311～314、區塊321～322、區塊331～334以及區塊341～343分別具有相似的組成結構並且具有相關性。基於此，具有相似的組成結構的區塊可以分群成一個群聚（cluster）。以圖3B根據本發明之一實施例所繪示的群聚的示意圖為例，區塊311～314、區塊321～322、區塊331～334以及區塊341～343將分別組合成群聚C1、C2、C3以及C4。在此可透過相似的非區域性的區塊，以雜訊畫素的相關環境的群聚插值取得類別內的散佈（within-class scatter）的距離權重，如方程式(6)所示：其中為類別內的散佈中的距離權重，並且可以方程式(7)來計算出：其中為以畫素為中心的區塊所屬的第個群聚，而為第個群聚中的區塊的數量。在本實施例中，類別內的散佈是利用K-means分群法（K-means clustering）而取得。

在本實施例中，第個位置的畫素的影像重建模型可以方程式(8)來表示：其中、、分別為線性係數，為模型的隨機誤差並且為高斯分布（即，）。方程式(8)所提出的影像重建模型可以將因椒鹽雜訊而損壞的雜訊影像進行有效地修復，而以下將利用半監督式學習方式（semi-supervised learning）以大量的雜訊影像來取得最佳化的三個係數、、以及變數。

由於影像重建牽涉到高密度雜訊（high-density noise）、稀疏訓練樣本（sparse training samples）以及多模密度雜訊（multimodal density noise）等三個議題，為了有效地自影像中移除雜訊，在此將以方程式(9)的成本函數的最小化問題來描述：以下將以三個階段來說明此成本函數。

在第一階段中，影像重建模型的成本函數可有效地管理因高密度雜訊而損壞的影像。在此將以兩個原則來規範學習模型：1) 對於各個乾淨畫素，的估測值需接近於原始數值；以及2) 對於各個雜訊畫素與其相鄰畫素所估測的像素值之間的差值（即，）需和與之間的時空距離（spatiotemporal distance）成正比。根據此些原則，成本函數的第一項以及第二項可分別以方程式(10)以及方程式(11)來定義：其中為空間因子並且可以利用方程式(12)而計算出：其中可以是設定為1.25。

此外，由於損壞影像中大部份的雜訊畫素呈隨機分布，損壞影像中的乾淨畫素的平均亮度值將會接近於乾淨影像的平均亮度值。因此，成本函數的第三項可以方程式(13)來定義：其中以及分別為損壞影像中的乾淨畫素的數量以及全部畫素的數量。結合上述三項，成本函數可以方程式(14)來表示：其中在第一階段中，為正則化參數（regularization parameter）並且可以設定為0.3。

在第二階段中，基於具有大量影像的影像資料庫中不具有雜訊的影像的數量有限，因此訓練集合中標記為乾淨影像者將極為稀疏。在此的影像資料庫可以分成損壞影像集合以及標記的乾淨影像集合。

因此，在此的成本函數可以針對乾淨影像集合利用半監督式學習的方式來重建出乾淨影像。因此，成本函數可以進一步地以方程式(15)來表示：其中並且將會使得重建的畫素接近於標記的版本，並且可以方程式(17)來表示：因此，即便是影像集合中不完全是無損壞影像，影像重建模型中的參數仍可藉由重建出的影像與標記的乾淨影像具有高相似度的特性而學習出。

在第三階段中，由於影像資料庫中的損壞影像的雜訊密度不同，基於重建影像的平均亮度值將會接近於損壞影像集合中的乾淨畫素的平均亮度值，成本函數更可進一步地新增第五項，並且可以方程式(18)來表示：其中以及分別為影像資料庫中的乾淨畫素的數量以及全部畫素的數量。

結合上述五項，成本函數可以方程式(19)來表示：其中如前述，此成本函數將會使得影像重建模型以此三個議題為基礎下來重建雜訊影像，而處理器120將會取得由影像重建模型所輸出的重建影像（步驟S206），而重建的影像達到良好的視覺效果。

基於影像資料庫中稀疏的標記的乾淨影像，影像重建模型可將每個輸入畫素修復成乾淨畫素。在此可將最大似然估計（maximum likelihood estimation，MLE）應用於成本函數以透過半監督式學習的方式來學習出係數、、以及變數。

詳細來說，在此可隨機地以0%到90%的比例來將椒鹽雜訊效果合成於做為訓練的畫素中。在一範例中，做為訓練的畫素可以是自LabelMe資料庫所取得的109,379,580+個畫素，其包括52,324,300+個雜訊畫素以及34,055,270+無雜訊畫素。在此的目標是取得可以構成如方程式(21)的似然函數的聯合條件：其中為機率密度函數，為損壞畫素的重建畫素，為影像資料庫中畫素的數量。假設每一重建畫素的隨機誤差為獨立，則方程式(21)可以寫成方程式(22)：

在此可以似然函數的對數來取得最佳化的係數、、以及變數，以使似然函數可達到最大值，其可以方程式(23)來表示：接著，可將相對於係數、、進行偏微分計算，並且比方程式(24)來迭代更新：其中，為可將左邊項次的值設定為右邊項次的值的運算子。在此，以變數可分別對進行偏微分計算將可得到方程式(25)：接著，若是將方程式(25)設定為零，則可利用最大似然估計方式取得變數的估計值，如方程式(26)：另一方面，方程式(24)中的（其中）可以方程式(27)、方程式(28)以及方程式(29)表示：

在前述範例中，在經過20次迭代後，可得到最佳化的係數、、以及變數。

簡單來說，方程式(8)的影像重建模型中的線性係數、、以及變數可以圖4根據本發明一實施例所繪示的參數估算方法的流程圖來取得。

請參照圖4，首先，處理器120將接收訓練影像集合的輸入影像（步驟S402）。接著，處理器120將開始進行參數的初始化設定：係數，係數，係數，迭代次數（步驟S404）。之後，處理器120將根據方程式(26)計算變數（步驟S406）。接著，在迭代的過程中，處理器120將根據方程式(27)更新各個影像的第個畫素的（步驟S408），根據方程式(28)更新各個影像的第個畫素的（步驟S410）以及根據方程式(29)更新各個影像的第個畫素的（步驟S412）。之後，處理器120將判斷迭代次數是否已達到最大迭代次數，即（步驟S414）。若否，則處理器120將重新回到步驟S408，以再次進行迭代的流程。若是，則處理器120將會輸出最新更新的係數、、以及變數（步驟S416），而完成參數估算方法的流程步驟。

圖5是根據本發明之一實施例所繪示的影像重建方法的功能方塊圖。

請參照圖5，I _IN為具有80%雜訊密度的輸入影像，而I’為其無雜訊版本的影像以做為對照參考之用。在處理器120會將輸入影像I _IN輸入至前述所提出的影像重建模型IRM後，將會取得修復後的重建影像I _OUT。

綜上所述，本發明所提出用以抑制多模雜訊的影像重建方法及其影像處理裝置，其在考量到畫素的全域環境、局部環境以及相關環境的前提下，可利用根據半監督式學習所訓練出的影像重建模型有效地針對具有高密度雜訊的損壞影像進行有效的修復，以重建出具有良好視覺效果的影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100：影像處理裝置 110：記憶體 120：處理器 S202～S206、S402～S416：步驟 311～314、321～323、331～334、341～343：區塊 C1、C2、C3、C4：群聚 I _IN：輸入影像 I _OUT：輸出影像 I’：原始影像 IRM：影像重建模型

圖1是根據本發明一實施例所繪示的影像處理裝置的方塊圖。圖2是根據本發明之一實施例所繪示的影像重建方法的流程圖。圖3A是根據本發明一實施例所繪示的輸入影像的示意圖。圖3B是根據本發明一實施例所繪示的群聚的示意圖。圖4是根據本發明之一實施例所繪示的參數估算方法的流程圖。圖5是根據本發明之一實施例所繪示的影像重建方法的功能方塊圖

Claims

一種用以抑制多模雜訊的影像重建方法，適用於影像處理裝置，該方法包括下列步驟：接收輸入影像，其中該輸入影像包括多個畫素，所述畫素包括具有雜訊的多個損壞畫素以及無雜訊的多個乾淨畫素；於影像重建模型的預測階段輸入該輸入影像至該影像重建模型，其中該影像重建模型關聯於各所述畫素的全域環境、區域環境、相關環境、第一係數、第二係數以及第三係數，該全域環境關聯於所有所述乾淨畫素，該區域環境關聯於各所述畫素的多個鄰近畫素所構成的區塊，該相關環境關聯於各所述畫素的多個相似畫素所構成的群聚，該第一係數、該第二係數以及該第三係數分別關聯於該全域環境、該區域環境以及該相關環境並且是於該影像重建模型的訓練階段時以半監督式學習法所取得；以及取得該影像重建模型所輸出的重建影像，其中各所述畫素的該影像重建模型為：f(x _i)=θ ₀ g(x _i)+θ ₁ l(x _i)+θ ₂ s(x _i)+ε(x _i)其中x _i為位於第i個位置的畫素，f(x _i)為該畫素x _i的影像重建模型，g(x _i)為該畫素x _i的全域環境，l(x _i)為該畫素x _i的區域環境，s(x _i)為該畫素x _i的相關環境，θ ₀為該第一係數，θ ₁為該第二係數，θ ₂為該第三係數，ε(x _i)為該畫素x _i的隨機誤差並且為高斯分布，其中ε(x _i)~G(0,σ ²)。
如申請專利範圍第1項所述的方法，其中該畫素x _i的該全域環境g(x _i)是利用距離反比權重法的多變量插值根據所有所述乾淨畫素所獲得。
如申請專利範圍第2項所述的方法，其中該畫素x _i的該全域環境g(x _i)為：其中x ^nf為所述乾淨畫素，x _j為第j個位置的乾淨畫素，λ _J為距離反比權重並且為：其中β為冪參數。
如申請專利範圍第3項所述的方法，其中該畫素x _i的該區域環境l(x _i)為根據該畫素x _i的多個鄰近畫素的平均插值所計算出。
如申請專利範圍第4項所述的方法，其中該畫素x _i的該區域環境l(x _i)為：其中x _k為以該畫素x _i為中心的區塊Ω中的畫素，ω為區塊Ω中的多個畫素的數量。
如申請專利範圍第5項所述的方法，其中該畫素x _i的該相關環境s(x _i)是利用群聚差值取得類別內的散布的距離權重所獲得。
如申請專利範圍第6項所述的方法，其中該畫素x _i的該相關環境s(x _i)為：其中ω _k為該類別內的散佈的該距離權重，並且為：其中Ω(x _k)為以畫素x _k為中心的區塊Ω所屬的第c個群聚，而ω為該第c個群聚中的所有區塊的數量。
如申請專利範圍第1項所述的方法，其中該訓練階段是根據高密度雜訊、稀疏訓練樣本以及多模密度雜訊所建立該影像重建模型的成本函數，並且利用包括多個標記的乾淨影像以及多個雜訊影像以該半監督式學習法訓練出可使該成本函數最佳化的該第一係數、該第二係數以及該第三係數，其中所述標記的乾淨影像的數量遠大於所述雜訊影像的數量。
一種影像處理裝置，包括：記憶體，用以儲存影像以及資料；以及處理器，耦接該記憶體，用以：接收輸入影像，其中該輸入影像包括多個畫素，所述畫素包括多個雜訊畫素以及無雜訊的多個乾淨畫素；於影像重建模型的預測階段輸入該輸入影像至該影像重建模型，其中該影像重建模型關聯於該輸入影像的全域環境、區域環境、相關環境、第一係數、第二係數以及第三係數，該全域環境關聯於該輸入影像中的所有所述乾淨畫素，該區域環境關聯於各所述畫素的多個鄰近畫素所構成的區塊，該相關環境關聯於與各所述畫素的多個相似畫素所構成的群聚，該第一係數、該第二係數以及該第三係數分別關聯於該全域環境、該區域環境以及該相關環境並且是於該影像重建模型的訓練階段時以半監督式學習法所取得；以及取得該影像重建模型所輸出該輸入影像的重建影像，其中各所述畫素的該影像重建模型為：f(x _i)=θ ₀ g(x _i)+θ ₁ l(x _i)+θ ₂ s(x _i)+ε(x _i)其中x _i為位於第i個位置的畫素，f(x _i)為該畫素x _i的影像重建模型，g(x _i)為該畫素x _i的全域環境，l(x _i)為該畫素x _i的區域環境，s(x _i)為該畫素x _i的相關環境，θ ₀為該第一係數，θ ₁為該第二係數，θ ₂為該第三係數，ε(x _i)為該畫素x _i的隨機誤差並且為高斯分布，其中ε(x _i)~G(0,σ ²)。