TWI390466B - 影像雜訊濾除方法 - Google Patents

影像雜訊濾除方法 Download PDF

Info

Publication number
TWI390466B
TWI390466B TW098131742A TW98131742A TWI390466B TW I390466 B TWI390466 B TW I390466B TW 098131742 A TW098131742 A TW 098131742A TW 98131742 A TW98131742 A TW 98131742A TW I390466 B TWI390466 B TW I390466B
Authority
TW
Taiwan
Prior art keywords
pixel
current
frequency
energy
comparison
Prior art date
Application number
TW098131742A
Other languages
English (en)
Other versions
TW201112163A (en
Inventor
Shu Sian Yang
Chuan Hsin Lee
Wen Han Yao
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW098131742A priority Critical patent/TWI390466B/zh
Priority to US12/829,447 priority patent/US8594456B2/en
Publication of TW201112163A publication Critical patent/TW201112163A/zh
Application granted granted Critical
Publication of TWI390466B publication Critical patent/TWI390466B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

影像雜訊濾除方法
本發明係關於一種影像處理方法，特別係關於一種影像雜訊濾除方法。
影像雜訊是影響影像品質的關鍵因素之一。然而，在影像感測器之畫素數目逐漸增加的同時，畫素大小卻因成本考量不斷地被縮小，導致影像感測器擷取的影像中所包含的雜訊無可避免的被放大。因此，雜訊濾除(denoising)的效能逐漸成為決定影像品質的一個重要因素。
利用一濾波器(filter)將一去雜訊前影像(noisy image)重建為去雜訊後影像(denoised image)的過程稱為影像重建(image reconstruction)，如第1圖所示。可以了解的是，影像重建是透過一處理單元進行，且該處理單元一般係耦接一儲存單元，其用以暫存影像重建過程中所產生之各種資訊。
利用一鄰域濾波器(neighborhood filtcr)進行影像重建為一標準的技術。鄰域濾波器係根據一目前畫素(current pixel)及其鄰域畫素(neighborhood pixel)之間的相似度決定一權重(weighting)，並根據該權重將該目前畫素與其鄰域畫素進行加權平均以得到該目前畫素之一重建值。當一去雜訊前影像中所有畫素均執行完上述影像重建的步驟後，則可得到一去雜訊後影像。鄰域濾波一般可以式(1)表示：
其中，U表示去雜訊前影像；Nh (x)表示規一化常數(normalization constant)；表示去雜訊後影像；Rx 表示一目前畫素x之鄰域；h表示濾波常數，其決定於該目前畫素x與其鄰域畫素y於一影像中之距離，例如鄰域畫素y與目前畫素x之位置距離(distance)以及亮度差異(intensity difference)。請參照第2圖所示，其顯示一7×7鄰域濾波之示意圖。一影像感測器擷取一影像I，其為一去雜訊前影像。一鄰域濾波器則根據一目前畫素x與該目前畫素x周圍之搜尋框Rx 內之鄰域畫素y間之相似度分別求出48個權重，並根據該等權重將該目前畫素x之灰階值(gray level)與其48個鄰域畫素y之灰階值進行加權平均以得到該目前畫素x之重建值。然而，鄰域濾波器由於僅單純的根據兩畫素間之相似度進行加權平均，因此往往無法達到令人滿意的重建效果。
因此，另一種影像重建法，稱之為非區域演算法(non-local algorithm)，即被提出以改善前述基於鄰域濾波之影像重建法。非區域演算法最主要是根據一目前畫素周圍預設尺寸之目前畫素比較框(comparison block)與該目前畫素之一鄰域畫素周圍預設尺寸之鄰域畫素比較框間之相似度以決定一權重，並根據該權重將該目前畫素之灰階值與其鄰域畫素之灰階值進行加權平均以求出該目前畫素之重建值。非區域演算法一般可以式(2)表示：
其中NL[v](i)表示一目前畫素i之重建值；v(j)表示一去雜訊前該目前畫素i之一鄰域畫素j之灰階值；ω(i,j)表示該目前畫素i與其鄰域畫素j間之一權重，其決定於該目前畫素i周圍預設尺寸之目前畫素比較框與一鄰域畫素j周圍預設尺寸之鄰域畫素比較框間之相似度。該權重可以式(3)表示為：
其中式(3)主要是表示該目前畫素i周圍預設大小之目前畫素比較框與一鄰域畫素j周圍預設大小之鄰域畫素比較框間相對位置畫素灰階值的差值平方和；Z(i)則為規一化常數。
例如請參照第3圖所示，其顯示一利用7×7搜尋框Rx及一5×5比較框(Ni、Nj)之非區域演算法之示意圖；其中，影像I為一影像感測器所擷取之去雜訊前影像；i為一目前畫素；Ni為該目前畫素周圍預設尺寸(5×5)之目前畫素比較框；j為該目前畫素i之一鄰域畫素；Nj為該鄰域畫素j周圍預設尺寸之鄰域畫素比較框；Rx為一搜尋框。根據第3圖所示，一目前畫素i與一鄰域畫素j間之權重由該目前畫素比較框Ni與該鄰域畫素比較框Nj中相對位置畫素進行相減後所得25個差值的平方和所決定。因此，於該搜尋框Rx中共可求得48個權重。該目前畫素i之重建值則為根據該等權重將該目前畫素i與其鄰域畫素j之灰階值進行加權平均所得。
相較於鄰域濾波，上述非區域演算法雖然可得到較佳的去雜訊效果，但由於畫素會受到雜訊影響，所以直接將對兩個比較框之灰階值進行運算的結果仍然無法完全排除雜訊的影像。因此，業界另提出了一種先將非區域演算法中所使用之比較框轉換至一頻域後再進行比較的方法。基於雜訊通常於頻域中屬於高頻成分的概念，先將轉換至頻域之比較框中部份高頻成分去除後再進行比較以提高雜訊濾除的效能。然而，上述方法並無法根據每一畫素之特性動態地進行參數調整，導致細節保存效果較差，並且容易出現鬼影(shock effect)及鋸齒化(staircasting effect)等現象。
上述影像重建法之詳細內容可參照Antoni Buades等人發表於CVPR2005，標題為”A non-local algorithm for image denoising”，以及Noura Azzabou等人發表於ICIP2007，標題為”Image denoising based on adapted dictionary computation”，的論文中所公開的內容。
有鑑於此，本發明另提出一種影像雜訊濾除方法根據轉換至頻域之頻域比較框中頻率係數之分布情形判定一目前畫素附近影像之複雜度，並據以動態地調整搜尋框尺寸及該目前畫素之雜訊濾除強度(denoising strength)，以保留更多影像細節並消除習知方法中所存在之副作用。
本發明之目的在提出一種影像雜訊濾除方法，其可根據一目前畫素附近影像之複雜度動態地調整目前搜尋框及比較框之尺寸，可保留更多影像細節。
本發明另一目的在提出一種影像雜訊濾除方法，其可適用於各種頻率轉換方法。
本發明另一目的在提出一種可根據影像複雜度動態地調整每一畫素之雜訊濾除強度之影像雜訊濾除方法。
本發明提出一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；動態地於該目前畫素周圍決定一目前搜尋框並決定一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框；將該目前搜尋框中每一畫素之比較框轉換至一頻域以形成頻域比較框；決定該等頻域比較框之一目前頻率基底；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；以及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
於本發明之影像雜訊濾除方法中，動態地於該目前畫素周圍決定一目前搜尋框並決定一強度參數的一種實施例包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有一比較框；計算該最大搜尋框之一頻率參數集中度；及根據該頻率參數集中度決定該目前搜尋框及該強度參數。
於本發明之影像雜訊濾除方法中，計算一頻率參數集中度的一種實施例包含下列步驟：將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框；計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商；以及將該能量和商與一門檻值相比較以決定該頻率參數集中度。
本發明另提出一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框；將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框；計算該最大搜尋框之一邊緣畫素比例；根據該邊緣畫素比例決定一目前搜尋框及一強度參數，並決定該目前搜尋框中之一目前頻率基底；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；以及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
於本發明之影像雜訊濾除方法中，計算該最大搜尋框之一邊緣畫素比例之步驟另包含下列步驟：計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商；以及將該能量和商與一門檻值相比較以決定該邊緣畫素比例
於本發明之影像雜訊濾除方法中，該相似度係決定於該目前搜尋框中每一鄰域畫素之頻域比較框與該目前畫素之頻域比較框中，各目前基底頻率的能量之一能量差絕對值和或一能量差平方和。
於本發明之影像雜訊濾除方法中，該目前頻率基底為所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率。
本發明之影像雜訊濾除方法中，例如，但不限於，可利用離散餘弦變換、傅立葉轉換、小波轉換或主向量分析進行頻域轉換。本發明之方法可根據頻域比較框中頻率參數集中度以決定一雜訊濾除強度參數、一目前搜尋框之尺寸及一比較框之尺寸。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，作詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此合先述明。
請參照第4a所示，其顯示根據本發明一實施例之影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素(步驟S1 )；動態地於該目前畫素周圍決定一目前搜尋框並決定一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框(步驟S2 )；將該目前搜尋框中每一畫素之比較框轉換至一頻域以形成頻域比較框(步驟S3 )；決定該等頻域較框之一目前頻率基底(步驟S4 )；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度(步驟S5 )；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重(步驟S6 )；根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值(步驟S7 )；及判斷是否該影像之所有畫素均已求得一重建值(步驟S8 )；若是，完成該影像之重建(步驟S9 )；若否，則重新執行步驟S1 。
請參照第4b圖所示，其顯示第4a圖之步驟S2 中動態地決定一目前搜尋框及一強度參數之一種實施例，包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有一比較框(步驟S21 )；計算該最大搜尋框之一頻率參數集中度(步驟S22 )；以及根據該頻率參數集中度決定該目前搜尋框及該強度參數(步驟S23 )。
請參照第4c圖所示，其顯示第4b圖之步驟S22 中計算一頻率參數集中度之一種實施例，包含下列步驟：將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框(步驟S221 )；計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商(步驟S222 )；以及將該能量和商與一門檻值相比較以決定該頻率參數集中度(步驟S223 )。
接著說明本發明實施例之影像雜訊濾除方法之詳細實施方式，本發明之影像雜訊濾除方法係針對一去雜訊前影像(noisy image)進行影像重建以形成一去雜訊後影像(denoised image)，如第1圖所示。可以了解的是，上述各步驟係透過一處理單元進行，且該處理單元耦接一記憶單元以存取影像重建過程中所產生之各種資訊。
請參照第5圖所示，一去雜訊前影像I包含複數矩陣排列之畫素P，每一畫素P具有一灰階值(gray level)，其中該影像I之尺寸可根據實際應用決定。本發明之影像雜訊濾除方法求出該去雜訊前影像I中所有畫素P之一重建灰階值(reconstructed gray level)，並根據所求出之重建灰階值以形成一去雜訊後影像。
請同時參照第4a及5圖所示，本發明之影像雜訊濾除方法例如，但不限於，選擇從該影像I之一個角落的第一個畫素開始計算該畫素之重建灰階值，然後依序求出該去雜訊前影像I中其他畫素之重建灰階值。於本發明之說明中，一目前正在處理之畫素稱為目前畫素(current pixel)Pc，該目前畫素Pc周圍之畫素為該目前畫素Pc之鄰域畫素，例如P11 、P12 、…、P77 (步驟S1 )。
動態地於該目前畫素Pc的周圍決定一目前搜尋框Sc並決定一強度參數(步驟S2 )。於本發明中，該目前搜尋框Sc之尺寸係根據該目前畫素Pc附近影像的複雜度動態地被決定，複雜度愈高，該目前搜尋框Sc之尺寸愈小；複雜度愈低，該目前搜尋框Sc之尺寸愈大。本發明透過選擇不同之目前搜尋框Sc尺寸以提高影像去雜訊之效能。該強度參數則用於後續步驟，用以決定影像去雜訊強度(詳述於後)。於步驟S2 中，同時決定該目前搜尋框Sc內所有畫素P周圍之一比較框B，例如該畫素P11 之比較框BP11 、…、該畫素P77 之比較框BP77 ；且該等比較框BP11 ~BP77 的尺寸例如為5×5。因此，若一目前搜尋框Sc尺寸為7×7，則其包含49個畫素P11 ~P77 及Pc，該等畫素周圍分別決定有一相對之比較框BP11 ~BP77 及Bpc。可以了解的是，上述該目前搜尋框Sc及比較框之尺寸並不限於此處所揭示者。
請同時參照第4b及5圖，接著說明決定該目前搜尋框Sc尺寸及決定該強度參數強弱之一種實施例。當一目前畫素Pc被決定後(步驟S1 )，首先於該目前畫素Pc周圍決定一最大搜尋框Sc_max，其尺寸例如為7×7(步驟S21 )，且該最大搜尋框Sc_max中每一畫素周圍都決定有一比較框，其尺寸例如為5×5。例如，該畫素P11 周圍決定有一比較框BP11 ，該目前畫素Pc周圍決定有一比較框Bpc。接著，將該最大搜尋框Sc_max中所有畫素之比較框轉換至一頻域以形成頻域比較框。例如，該比較框BP11 轉換後形成BP11 ' 、該比較框Bpc轉換後形成Bpc' ；同理該最大搜尋框Sc_max中其他47個比較框亦均被轉換為頻域比較框。頻率轉換之方式例如，但不限於，可使用離散餘弦變換、傅立葉轉換、小波轉換或主向量分析。
接著，計算該最大搜尋框之一頻率參數集中度(步驟S22 )，其實施方式將詳述於後。於本發明中，該最大搜尋框之頻率參數集中度之意義相當於該最大搜尋框Sc_max中邊緣畫素比例。判斷該最大搜尋框中一畫素是否為邊緣畫素之方式例如為，當該畫素之比較框轉換為頻域比較框後，若該頻域比較框之能量集中於某些特定頻率，則表示該畫素屬於邊緣畫素；反之，若該頻域比較框之能量均勻分布於所有頻率，則表示該畫素不屬於邊緣畫素。因此，當一最大搜尋框之頻率參數集中度愈高，則表示該最大搜尋框包含較多之邊緣畫素。接著，根據該頻率參數集中度以決定該目前搜尋框Sc尺寸及該強度參數強弱(步驟S23 )。例如，當頻率參數集中度(或邊緣畫素比例)較高時表示該最大搜尋框Sc_max的影像範圍較複雜，因此選擇較小之目前搜尋框Sc及較弱之強度參數；反之，當頻率參數集中度(或邊緣畫素比例)較低時表示該最大搜尋框Sc_max的影像範圍較平緩，因此選擇較大之目前搜尋框Sc及較強之強度參數。於本發明中，根據該頻率參數集中度，該目前搜尋框Sc之尺寸例如可為7×7、5×5或3×3。然而，本發明並不限於上述揭示者，本發明之精神在於可根據一目前畫素Pc周圍影像的複雜度以決定該目前搜尋框Sc尺寸以及該強度參數強弱。
請同時參照第4c至6圖，接著說明決定該頻率參數集中度的一種實施例。於此說明中，假設該最大搜尋框Sc_max之尺寸為7×7，每一畫素之比較框尺寸為5×5。當一比較框被轉換為一頻域比較框後包含25個頻率，例如畫素P11 之比較框BP11 轉換至頻域後形成BP11 ' ，該頻域比較框BP11 ' 包含25個頻率(例如頻率1~25，其中1~25僅為編號而並非代表實際頻率)，且每一頻率分別具有一能量；該目前畫素Pc之頻域比較框Bpc' 包含25個頻率之能量、該頻域比較框BP77 ' 包含25個頻率之能量。為方便說明，第6圖中將每一頻域比較框顯示為一個25維度之陣列(array)，其中能量E之下標表示頻率編號，上標則表示畫素(步驟S221 )。
將該等頻域比較框(BP11 ' ~BP77 ' )之相同頻率的能量相加以求得各頻率之能量和，例如頻率1之能量和為，…，頻率25之能量和為。接著，將能量和最大之預設數目頻率的能量相加並除以各頻率能量和之和以求得一能量和商(步驟S222 )。例如假設能量和最大的5個頻率為及，則該能量和商則可表示為。
接著，將所求出之能量和商與預設門檻值相比較，並根據該能量和商與預設門檻值之關係決定該頻率參數集中度(步驟S223 )。例如當該能量和商大於一預設門檻值時，表示該最大搜尋框Sc_max影像範圍較複雜；反之，當該能量和商小於一預設門檻值時，表示該最大搜尋框Sc_max影像範圍較平緩。可以了解的是，判定頻率參數集中度之計算方式並不限定為此處所揭示者，例如亦可利用其他統計方法計算各頻率能量之分布情形。此外可以了解的是，該目前搜尋框Sc中每一畫素之比較框尺寸亦可根據該頻率參數集中度(邊緣畫素比例)動態的決定。
當步驟S2 完成後，則可根據該目前畫素Pc附近影像的複雜度決定一目前搜尋框Sc及一強度參數。接著，將該目前搜尋框Sc中每一畫素之比較框轉換至一頻域以形成比較框(步驟S3 )，此處轉換至頻域之方式同樣可利用離散餘弦變換、傅立葉轉換、小波轉換或主向量分析。可以了解的是，若於步驟S2 中已將該最大搜尋框Sc_max中每一畫素之比較框轉換為頻域比較框，則可先將該等頻域比較框儲存於一儲存單元。由於該目前搜尋框Sc小於等於該最大搜尋框Sc_max，因此於步驟S3 則可直接從該儲存單元讀取該目前搜尋框Sc中相對於每一畫素之頻域比較框而不需再做一次頻域轉換。
請再參照第4a、5及6圖所示，當一目前搜尋框Sc，其尺寸例如為7×7，之每一畫素之比較框被轉換為頻域比較框後，其尺寸例如為5×5，接著要決定該目前搜尋框Sc相關之頻域比較框之一目前頻率基底(frcquency basis)以供後續步驟中使用。請再參照第6圖，於本發明中，該目前搜尋框Sc之目前頻率基底決定為各頻率之能量和中，能量和最大之預設數目頻率。因為一個頻率之能量和愈大，則表示該頻率包含了該目前搜尋框Sc中大部分的影像資訊。例如，假設為能量和最大的10個頻率，則以該10頻率(頻率編號10~19)為目前頻率基底(步驟S4 )。
接著，根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度(步驟S5 )。計算方式是計算該目前搜尋框Sc中，該目前畫素Pc之每一鄰域畫素之頻域比較框中屬於該目前頻率基底之各頻率能量與該目前畫素Pc之頻域比較框中屬於該目前頻率基底之各頻率能量之一能量差值絕對值和或一能量差值平方和。當該能量差值絕對值和或該能量差值平方和的值愈小時，則表示一鄰域畫素與該目前畫素之相似度高；反之，當該能量差值絕對值和或該能量差值平方和的值愈大時，則表示一鄰域畫素與該目前畫素之相似度低。例如畫素P11 與該目前畫素Pc之相似度可根據下式決定：()或[]。可以了解的是，一鄰域畫素與該目前畫素相似度之計算方式並不限於上述所揭示者，亦可利用其他方式表示一鄰域畫素之頻域比較框與該目前畫素Pc之頻域比較框Bpc' 中各頻率能量之關係。於此實施例中可求出48個鄰域畫素與該目前畫素Pc之相似度，而該目前畫素Pc與本身則具有百分之百的相似度。
此時，可根據該目前搜尋框Sc中每一鄰域畫素P11 ~P77 與該目前畫素Pc之距離、該相似度及該強度參數決定該等畫素P11 ~P77 相對於該目前畫素Pc之一權重(weighting)(步驟S6 )。當一鄰域畫素距離該目前畫素Pc較遠時降低該鄰域畫素之權重，當一鄰域畫素距離該目前畫素Pc較近時增加該鄰域畫素之權重；當一鄰域畫素與該目前畫素Pc之相似度低時降低該鄰域畫素之權重，當一鄰域畫素與該目前畫素Pc之相似度高時增加該鄰域畫素之權重。當該目前搜尋框中Sc的所有鄰域畫素P11 ~P77 根據其與該目前畫素Pc之距離及相似度決定一權重比例後，配合該強度參數可決定每一鄰域畫素P11 ~P77 相對於該目前畫素Pc之權重；其中，當該目前搜尋框Sc範圍內影像較複雜時，選擇較低之強度參數以降低去雜訊強度；反之，當該目前搜尋框Sc範圍內影像較平緩時，選擇較高之強度參數以增加去雜訊強度。該強度參數係根據該目前搜尋框Sc範圍內影像複雜度以調整該權重比例，因此該強度參數例如可為一數學函數(比例值、次方、log函數或其他數學函數)或一數值，但並不限於此；例如該強度參數係對該權重比例乘上一比例值、對該權重比例取次方、對該權重比例取log函數或加上一數值等。
當求得該目前搜尋框Sc中每一鄰域畫素P11 ~P77 與該目前畫素Pc之權重後，則根據該權重將該目前畫素Pc與每一鄰域畫素P11 ~P77 ，例如利用式(2)，進行加權平均以得到該目前畫素之一重建值(步驟S6 )。
接著，判斷是否該去雜訊前影像I中所有畫素P均已求得一重建值(步驟S7 )。當所有畫素P均已求得一重建值，則完成該影像I之重建並產生一去雜訊後影像。若未完成所有畫素P之重建，則回到步驟S1 進行該影像I中下一個畫素P之影像重建。
請參照第7a圖所示，其顯示根據本發明另一實施例之影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素(步驟S1 )；於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框(步驟S21 )；將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框(步驟S221 )；計算該最大搜尋框之一邊緣畫素比例(步驟A1 )；根據該邊緣畫素比例決定一目前搜尋框及一強度參數，並決定該目前搜尋框之一目前頻率基底(步驟A2 )；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度(步驟S5 )；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重(步驟S6 )；根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值(步驟S7 )；以及判斷是否所有畫素均已求得一重建值(步驟S8 )；若是，完成該影像之重建(步驟S9 )；若否，則重新執行步驟S1 。此實施例中，與第4a-4c圖相同之步驟係以相同標號表示。此外，如前所述，一最大搜尋框之邊緣畫素比例於意義上相同於頻率參數集中度，因此第7a圖之步驟A1 類似於第4b圖之步驟S22 ；步驟A2 類似於步驟A23 及S4 。此實施例與第4a-4c圖之實施例的差異僅在於步驟的實施順序，實施方式則相類似，由於其詳細實施方式可參照前述，故於此不再贅述。
此外，請參照第7a及7b圖所示，步驟A1 中決定一最大搜尋框之一邊緣畫素比例的方式另包含下列步驟：計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商(步驟S222 )；以及將該能量和商與一門檻值相比較以決定該邊緣畫素比例(步驟A3 )。由於一最大搜尋框之邊緣畫素比例於意義上相同於頻率參數集中度，第8b圖之步驟A3 類似於第4c圖之步驟S223 。
必須說明的是，上述各視窗(框)，包括目前搜尋框、最大搜尋框、頻域比較框、搜尋框及比較框等，雖以方形來說明，但其並非用以限定本發明。該等視窗(框)可根據實際需求而可為任意形狀，例如矩形、菱形、圓形或橢圓形等。
如前所述，由於習知影像重建法無法根據每一畫素之特性動態地進行參數調整，導致細節保存效果較差。本發明另提出一種可根據影像複雜度動態地調整每一畫素之雜訊濾除強度、搜尋框尺寸及比較框尺寸之影像雜訊濾除方法(第4a-4c及7a-7b圖)，可保留更多影像細節並可消除習知方法中所存在之副作用。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
I．．．去雜訊前影像
P、P11 ~P77 ．．．畫素
Pc．．．目前畫素
Sc．．．目前搜尋框
Sc_max．．．最大搜尋框
S1 ~S9 、A1 ~A3 ．．．步驟
Bpc．．．目前畫素之比較框
Bpc' ．．．目前畫素之頻域比較框
BP11 ~BP77 ．．．比較框
BP11 ' ~BP77 ' ．．．頻域比較框
E1 ~E25 ．．．頻域比較框中各頻率之能量
．．．目前搜尋框之頻域比較框中各頻率之能量和
Rx．．．搜尋框
x、y．．．畫素
i、j．．．畫素
Ni、Nj．．．比較框
第1圖顯示影像重建之示意圖。
第2圖顯示習知鄰域濾波之示意圖。
第3圖顯示習知非區域演算法之示意圖。
第4a圖顯示本發明一實施例之影像雜訊濾除方法之流程圖。
第4b圖顯示第4a圖中決定一目前搜尋框及一強度參數之流程圖。
第4c圖顯示第4b圖中計算一頻率參數集中度之流程圖。
第5圖顯示本發明之影像雜訊濾除方法之示意圖。
第6圖顯示本發明之影像雜訊濾除方法中頻域比較框所包含各頻率之示意圖。
第7a圖顯示本發明另一實施例之影像雜訊濾除方法之流程圖。
第7b圖顯示第7a圖中決定一邊緣畫素比例之流程圖。
S1 ~S9 ．．．步驟

Claims (22)

  1. 一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；根據該目前畫素周圍影像之一複雜度動態地於該目前畫素周圍決定一目前搜尋框並決定一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框；其中，當該複雜度愈高則該強度參數愈低而當該複雜度愈低則該強度參數愈高；將該目前搜尋框中每一畫素之比較框轉換至一頻域以形成頻域比較框；決定該等頻域比較框之一目前頻率基底；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
  2. 根據申請專利範圍第1項之影像雜訊濾除方法，另包含下列步驟：判斷是否該影像之所有畫素均已求得一重建值。
  3. 根據申請專利範圍第1項之影像雜訊濾除方法，其中將該目前搜尋框中每一畫素之比較框轉換至一頻域 之步驟係利用離散餘弦變換、傅立葉轉換、小波轉換及主向量分析其中之一。
  4. 根據申請專利範圍第1項之影像雜訊濾除方法，其中該目前頻率基底為所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率。
  5. 根據申請專利範圍第1項之影像雜訊濾除方法，其中該相似度為該目前搜尋框中每一鄰域畫素之頻域比較框與該目前畫素之頻域比較框中各目前基底頻率的能量之一能量差絕對值和或一能量差平方和。
  6. 根據申請專利範圍第1項之影像雜訊濾除方法，其中動態地於該目前畫素周圍決定一目前搜尋框並決定一強度參數之步驟另包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有一比較框；計算該最大搜尋框之一頻率參數集中度；及根據該頻率參數集中度決定該目前搜尋框及該強度參數。
  7. 根據申請專利範圍第6項之影像雜訊濾除方法，其中計算該最大搜尋框之一頻率參數集中度之步驟另包含下列步驟：將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框； 計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商；及將該能量和商與一門檻值相比較以決定該頻率參數集中度。
  8. 根據申請專利範圍第7項之影像雜訊濾除方法，其中將該最大搜尋框中所有畫素之比較框轉換至一頻域之步驟係利用離散餘弦變換、傅立葉轉換、小波轉換及主向量分析其中之一。
  9. 根據申請專利範圍第6項之影像雜訊濾除方法，其中該最大搜尋框之尺寸為7×7。
  10. 根據申請專利範圍第6項之影像雜訊濾除方法，其中該頻率參數集中度愈高，該強度參數愈低且該目前搜尋框愈小；該頻率參數集中度愈低，該強度參數愈高且該目前搜尋框愈大。
  11. 根據申請專利範圍第10項之影像雜訊濾除方法，其中根據該頻率參數集中度，該目前搜尋框之尺寸為7×7、5×5及3×3其中之一。
  12. 根據申請專利範圍第1項之影像雜訊濾除方法，其中該目前搜尋框、該比較框及該頻域比較框可為方形、矩形、菱形、圓形或橢圓形。
  13. 一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素； 於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框；將該最大搜尋框中所有畫素之比較框轉換至一頻域以形成頻域比較框；計算該最大搜尋框之一邊緣畫素比例；根據該邊緣畫素比例決定一目前搜尋框及一強度參數，並決定該目前搜尋框之一目前頻率基底；根據該目前頻率基底求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
  14. 根據申請專利範圍第13項之影像雜訊濾除方法，其中將該最大搜尋框中所有畫素之比較框轉換至一頻域之步驟係利用離散餘弦變換、傅立葉轉換、小波轉換及主向量分析其中之一。
  15. 根據申請專利範圍第13項之影像雜訊濾除方法，其中計算該最大搜尋框之一邊緣畫素比例之步驟另包含下列步驟：計算該最大搜尋框之所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率的能量和與所有頻率的能量和之一能量和商；及 將該能量和商與一門檻值相比較以決定該邊緣畫素比例。
  16. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該邊緣畫素比例愈高，該強度參數愈低且該目前搜尋框愈小；該邊緣畫素比例愈低，該強度參數愈高且該目前搜尋框愈大。
  17. 根據申請專利範圍第16項之影像雜訊濾除方法，其中根據該邊緣畫素比例，該目前搜尋框之尺寸為7×7、5×5及3×3其中之一。
  18. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該目前頻率基底為所有頻域比較框之相同頻率的能量和中，能量和最大之預設數目頻率。
  19. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該相似度為該目前搜尋框中每一鄰域畫素之頻域比較框與該目前畫素之頻域比較框中各目前基底頻率的能量之一能量差絕對值和或一能量差平方和。
  20. 根據申請專利範圍第13項之影像雜訊濾除方法，另包含下列步驟：判斷是否該影像之所有畫素均已求得一重建值。
  21. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該最大搜尋框、該比較框、該頻域比較框及該目前搜尋框可為方形、矩形、菱形、圓形或橢圓形。
  22. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該強度參數係為一數學函數或一數值。
TW098131742A 2009-09-21 2009-09-21 影像雜訊濾除方法 TWI390466B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098131742A TWI390466B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法
US12/829,447 US8594456B2 (en) 2009-09-21 2010-07-02 Image denoising method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098131742A TWI390466B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法

Publications (2)

Publication Number Publication Date
TW201112163A TW201112163A (en) 2011-04-01
TWI390466B true TWI390466B (zh) 2013-03-21

Family

ID=43756668

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098131742A TWI390466B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法

Country Status (2)

Country Link
US (1) US8594456B2 (zh)
TW (1) TWI390466B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI393073B (zh) * 2009-09-21 2013-04-11 Pixart Imaging Inc 影像雜訊濾除方法
TW201136298A (en) * 2010-04-12 2011-10-16 Novatek Microelectronics Corp Filter and filtering method for reducing image noise
KR101910870B1 (ko) 2012-06-29 2018-10-24 삼성전자 주식회사 잡음 제거 장치, 시스템 및 방법
TW201408059A (zh) * 2012-08-01 2014-02-16 Senao Networks Inc 影像雜訊濾除方法及裝置
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP6625165B2 (ja) * 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN103559685A (zh) * 2013-10-14 2014-02-05 天津市晶奇微电子有限公司 基于小波变换的图像滤波算法
JP6332951B2 (ja) * 2013-11-29 2018-05-30 キヤノン株式会社 画像処理装置および画像処理方法、およびプログラム
JP6397236B2 (ja) * 2014-06-30 2018-09-26 キヤノン株式会社 画像処理装置および画像処理方法
KR102346961B1 (ko) * 2015-03-18 2022-01-04 삼성전자주식회사 이미지 처리 장치 및 이를 포함하는 노이즈 제거 시스템
KR20170107252A (ko) * 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
JP7039215B2 (ja) * 2017-08-30 2022-03-22 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
TWI659396B (zh) * 2017-08-31 2019-05-11 Yuan Ze University 用以抑制多模雜訊的影像重建方法及其影像處理裝置
CN115937216B (zh) * 2023-03-09 2023-05-19 青岛金立磁性材料有限公司 一种新能源汽车用磁转子外观质量检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251056B2 (en) * 2001-06-11 2007-07-31 Ricoh Company, Ltd. Image processing apparatus, image processing method and information recording medium
TW200633539A (en) * 2005-03-09 2006-09-16 Pixart Imaging Inc Estimation method of motion vector based on distance weighted searching sequence
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP4178481B2 (ja) * 2006-06-21 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
US8184927B2 (en) * 2006-07-31 2012-05-22 Stc.Unm System and method for reduction of speckle noise in an image
US20080298702A1 (en) * 2007-06-04 2008-12-04 Aricent Inc. Fixed rate JPEG encoding
TWI374401B (en) * 2007-07-09 2012-10-11 Pixart Imaging Inc Detection method for displacements with sub-pixel accuracy and apparatus using the same
JP5159279B2 (ja) * 2007-12-03 2013-03-06 株式会社東芝 音声処理装置及びそれを用いた音声合成装置。

Also Published As

Publication number Publication date
TW201112163A (en) 2011-04-01
US8594456B2 (en) 2013-11-26
US20110069904A1 (en) 2011-03-24

Similar Documents

Publication Publication Date Title
TWI390466B (zh) 影像雜訊濾除方法
TWI393073B (zh) 影像雜訊濾除方法
US10339643B2 (en) Algorithm and device for image processing
CN108921800B (zh) 基于形状自适应搜索窗口的非局部均值去噪方法
CN105335947A (zh) 图像去噪方法和图像去噪装置
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
CN103020916A (zh) 一种二维希尔伯特变换和bemd结合的图像去噪方法
Thaipanich et al. An adaptive nonlocal means scheme for medical image denoising
Shi et al. An image denoising method based on multiscale wavelet thresholding and bilateral filtering
Dai et al. Pmpa: A patch-based multiscale products algorithm for image denoising
WO2021128498A1 (zh) 图像自适应降噪方法及装置
CN111192204A (zh) 一种图像增强方法、***和计算机可读存储介质
CN102045514B (zh) 图像噪声滤除方法
Su et al. Image denoising based on wavelet transform and bm3d algorithm
Sun et al. Adaptive bilateral filter considering local characteristics
Mandava et al. Speckle noise reduction using local binary pattern
CN112288643A (zh) 图像去噪方法及***
CN111369452A (zh) 大区域图像局部破损点优化提取方法
Ali et al. A proposed de-noising algorithm
Zuo et al. Image Denoising Using Nonlocal Means with Shape‐Adaptive Patches and New Weights
Zhang et al. Hybrid gradient-domain image denoising
Zhao et al. An improved Roberts edge detection algorithm based on mean filter and wavelet denoising
Bhoi et al. Circular spatial filtering under high-noise-variance conditions
CN116051425B (zh) 一种红外图像处理方法、装置、电子设备及存储介质
Tahmouresi et al. Non-local means denoising using an adaptive kernel