TWI393073B - 影像雜訊濾除方法 - Google Patents

影像雜訊濾除方法 Download PDF

Info

Publication number
TWI393073B
TWI393073B TW098131741A TW98131741A TWI393073B TW I393073 B TWI393073 B TW I393073B TW 098131741 A TW098131741 A TW 098131741A TW 98131741 A TW98131741 A TW 98131741A TW I393073 B TWI393073 B TW I393073B
Authority
TW
Taiwan
Prior art keywords
pixel
current
box
denoising
frame
Prior art date
Application number
TW098131741A
Other languages
English (en)
Other versions
TW201112165A (en
Inventor
Shu Sian Yang
Wen Han Yao
Chuan Hsin Lee
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW098131741A priority Critical patent/TWI393073B/zh
Priority to US12/829,424 priority patent/US8885965B2/en
Publication of TW201112165A publication Critical patent/TW201112165A/zh
Application granted granted Critical
Publication of TWI393073B publication Critical patent/TWI393073B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

影像雜訊濾除方法
本發明係關於一種影像處理方法，特別係關於一種影像雜訊濾除方法。
影像雜訊是影響影像品質的關鍵因素之一。然而，在影像感測器之畫素數目逐漸增加的同時，畫素大小卻因成本考量不斷地被縮小，導致影像感測器擷取的影像中所包含的雜訊無可避免的被放大。因此，雜訊濾除(denoising)的效能逐漸成為決定影像品質的一個重要因素。
利用一濾波器(filter)將一去雜訊前影像(noisy image)重建為去雜訊後影像(denoised image)的過程稱為影像重建(image reconstruction)，如第1圖所示。
利用一鄰域濾波器(neighborhood filter)進行影像重建為一標準的技術。鄰域濾波器係根據一目前畫素(current pixel)及其鄰域畫素(neighborhood pixel)之間的相似度決定一權重(weighting)，並根據該權重將該目前畫素與其鄰域畫素進行加權平均以得到該目前畫素之一重建值。當一去雜訊影像中所有畫素均進行完上述影像重建的步驟後，則可得到一去雜訊後影像。鄰域濾波一般可以式(1)表示：
其中，U表示去雜訊前影像；Nh (x)表示規一化常數(normalization constant)；表示去雜訊後影像；Rx 表示一目前畫素x之鄰域；h表示濾波常數，其決定於該目前畫素x與其鄰域畫素y於一影像中之距離，例如鄰域畫素y與目前畫素x之位置距離(distance)以及亮度差異(intensity difference)。請參照第2圖所示，其顯示一7×7鄰域濾波之示意圖。一影像感測器擷取一影像I，其為一去雜訊前影像。一鄰域濾波器則根據一目前畫素x與該目前畫素x周圍之搜尋框Rx 內之鄰域畫素y間之相似度分別求出48個權重，並將該目前畫素x之灰階值(gray level)與其48個鄰域畫素y之灰階值進行加權平均以得到該目前畫素x之一重建值。然而，鄰域濾波器由於僅單純的根據兩畫素間之相似度進行加權平均，因此往往無法達到令人滿意的重建效果。
因此，另一種影像重建法，稱之為非區域演算法(non-local algorithm)，即被提出以改善前述基於鄰域濾波之影像重建法。非區域演算法最主要是根據一目前畫素周圍預設大小之目前畫素比較框(comparison block)與該目前畫素之一鄰域畫素周圍預設大小之鄰域畫素比較框間之相似度以決定一權重，並根據該權重將該目前畫素之灰階值與其鄰域畫素之灰階值進行加權平均以求出該目前畫素之一重建值。非區域演算法一般可以式(2)表示：
其中NL[v](i)表示一目前畫素i之重建值；v(j)表示一去雜訊前該目前畫素i之一鄰域畫素j之灰階值；ω(i,j)表示該目前畫素i與其鄰域畫素j間之一權重，其決定於該目前畫素i周圍預設大小之目前畫素比較框與一鄰域畫素j周圍預設大小之鄰域畫素比較框間之相似度。該權重可以式(3)表示為：
其中式(3)主要是表示該目前畫素i周圍預設大小之目前畫素比較框與一鄰域畫素j周圍預設大小之鄰域畫素比較框間相對位置畫素灰階值的差值平方和；Z(i)則為規一化常數。
例如請參照第3圖所示，其顯示一利用7×7搜尋框Rx及一5×5比較框(Ni、Nj)之非區域演算法之示意圖；其中，影像I為一影像感測器所擷取之去雜訊前影像；i為一目前畫素；Ni為該目前畫素周圍預設尺寸(5×5)之目前畫素比較框；j為該目前畫素i之一鄰域畫素；Nj為該鄰域畫素j周圍預設尺寸之鄰域畫素比較框；Rx為一搜尋框。根據第3圖所示，一目前畫素i與一鄰域畫素j間之權重由該目前畫素比較框Ni與該鄰域畫素比較框Nj中相對位置畫素進行相減後所得25個差值的平方和所決定。因此，於該搜尋框Rx中共可求得48個權重。該目前畫素i之重建值則為根據該等權重將該目前畫素i與其鄰域畫素j之灰階值進行加權平均所得。
相較於鄰域濾波，上述非區域演算法雖然可得到較佳的去雜訊效果，但由於畫素會受到雜訊影響，所以直接將對兩個比較框之灰階值進行運算的結果仍然無法完全排除雜訊的影響。因此，業界另提出了一種先將非區域演算法中所使用之比較框轉換至一頻域後再進行比較的方法。基於雜訊通常於頻域中屬於高頻成分的概念，先將轉換至頻域之比較框中部份高頻成分去除後再比較低頻成份以提高雜訊濾除的效能。然而，上述方法並無法根據每一畫素之特性動態地進行參數調整，導致細節保存效果較差，並且容易出現鬼影(shock effect)及鋸齒化(staircasting effect)等現象。
上述影像重建法之詳細內容可參照Antoni Buades等人發表於CVPR2005，標題為”A non-local algorithm for imagc denoising”，以及Noura Azzabou等人發表於ICIP2007，標題為”Image denoising based on adapted dictionary computation”，的論文中所公開的內容。
有鑑於此，本發明另提出一種影像雜訊濾除方法，基於非區域演算法中畫素會受到雜訊影響之特點，預先將目前畫素比較框及鄰域畫素比較框進行前去噪(pre-denoising)後，再進行兩比較框間之相似度評估，雖會些微增加運算量，但卻能夠保留更多細節並提升去雜訊效果。
本發明之目的在提出一種影像雜訊濾除方法，其透過導入一前去噪步驟而能夠保留更多細節並提升去雜訊效能。
本發明另一目的在提出一種影像雜訊濾除方法，其中目前搜尋框及比較框之尺寸均可動態地被調整，可降低影像邊緣出現鬼影及輪廓的現象。
本發明提出一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；動態地決定一目前搜尋框及一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框；前去噪該目前搜尋框中每一畫素之比較框；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；以及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
於本發明之影像雜訊濾除方法中，動態地決定一目前搜尋框及一強度參數的一種實施例包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有該比較框；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例；及以具有最低邊緣畫素比例之次搜尋框作為該目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定該強度參數。
於本發明之影像雜訊濾除方法中，計算一邊緣畫素比例的一種實施例包含下列步驟：前去噪該最大搜尋框中所有畫素之比較框；計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和；當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素；及根據判定結果計算包含於該最大搜尋框內的所有次搜尋框之該邊緣畫素比例。
本發明另提出一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框；前去噪該最大搜尋框中每一畫素之比較框；根據該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框決定該畫素是否為一邊緣畫素；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例；以具有最低邊緣畫素比例之次搜尋框作為一目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定一強度參數；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求得該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
於本發明之影像雜訊濾除方法中，決定一畫素是否為一邊緣畫素的一種實施例包含下列步驟：計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和；以及當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素。
本發明之影像雜訊濾除方法中，前去噪係利用例如一平均濾波器或一鄰域濾波器等低通濾波器來達成。經過低通濾波器後，比較框內之影像資訊僅剩下影像結構(structure)而不含雜訊，可有效解決畫素受雜訊影響的情形。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，作詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此合先述明。
請參照第4a所示，其顯示根據本發明一實施例之影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素(步驟S1 )；動態地決定一目前搜尋框及一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框(步驟S2 )；前去噪該目前搜尋框中每一畫素之比較框(步驟S3 )；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度(步驟S4 )；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重(步驟S5 )；根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值(步驟S6 )；以及判斷是否該影像之所有畫素均已求得一重建值(步驟S7 )；若是，完成該影像之重建(步驟S8 )；若否，則重新執行步驟S1 。
請參照第4b圖所示，其顯示第4a圖之步驟S2 中動態地決定一目前搜尋框及一強度參數之一種實施例，包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有該比較框(步驟S21 )；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例(步驟S22 )；以及以具有最低邊緣畫素比例之次搜尋框作為該目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定該強度參數(步驟S23 )。
請參照第4c圖所示，其顯示第4b圖之步驟S22 中計算一邊緣畫素比例之一種實施例，包含下列步驟：前去噪該最大搜尋框中所有畫素之比較(步驟S221 )；計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和(步驟S222 )；當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素(步驟S223 )；及根據判定結果計算包含於該最大搜尋框內的所有次搜尋框之該邊緣畫素比例(步驟S224 )。
接著說明本發明實施例之影像雜訊濾除方法之詳細實施方式，本發明之影像雜訊濾除方法係針對一去雜訊前影像進行影像重建以形成一去雜訊後影像，如第1圖所示。
請參照第5圖所示，一去雜訊前影像I包含複數陣列排列之畫素P，每一畫素具有一灰階值(gray level)，其中該影像I之尺寸可根據實際應用決定。本發明之影像雜訊濾除方法求出該影像I中所有畫素P之一重建灰階值(reconstructed gray level)，該等重建灰階值則組成一去雜訊後影像。
請同時參照第4a及5圖所示，本發明之影像雜訊濾除方法例如，但不限於，選擇從該影像I之一個角落的第一個畫素開始計算該畫素之重建灰階值，然後依序處理該影像I中之所有畫素。目前正在處理之一畫素在此稱為一目前畫素(current pixel)Pc，該目前畫素Pc周圍之畫素為該目前畫素Pc之鄰域畫素，例如P11 、P22 、…、P77 (步驟S1 )。
於該目前畫素Pc的周圍決定一目前搜尋框Sc並決定一強度參數。於本發明中，該目前搜尋框Sc之尺寸可根據該目前畫素Pc附近影像的複雜度決定；複雜度愈高，該目前搜尋框Sc之尺寸愈小，複雜度愈低，該目前搜尋框Sc之尺寸愈大。本發明透過選擇不同之目前搜尋框Sc尺寸以提高影像去雜訊之效果。該強度參數則用於後續步驟中，用以決定影像去雜訊之強度(denoising strength)。於此步驟中，同時決定該目前搜尋框Sc內之所有畫素P周圍之一比較框B，例如該畫素P11 之比較框BP11 ，其尺寸為5×5。若目前搜尋框Sc之尺寸為7×7，則其包含49個畫素P及相對每一畫素之比較框BP11 ~BP77 。
請同時參照第4b及5圖，接著說明決定該目前搜尋框Sc之尺寸及該強度參數之強弱的一種實施例。當一目前畫素Pc被決定後(步驟S1 )，首先於該目前畫素Pc周圍決定一最大搜尋框Sc_max，其尺寸例如為7×7(步驟S21 )。該最大搜尋框Sc_max內包含數種尺寸之次搜尋框Sc_sub，該等次搜尋框之尺寸可為(n-2m)×(n-2m)，其中n為該最大搜尋框Sc之尺寸，m等於0或正整數。例如，於此實施例中次搜尋框Sc_sub1 之尺寸為7×7、Sc_sub2 之尺寸為5×5而Sc_sub3 之尺寸為3×3，其中最大之次搜尋框Sc_sub1 即為該最大搜尋框Sc_max，最小之次搜尋框尺寸為3×3。接著，判斷該最大搜尋框Sc_max所包含所有畫素P(於此實施例中為49個)是否屬於邊緣畫素(edge pixel)，其中判斷一畫素P是否為邊緣畫素之方式將詳述於後。同時計算出該最大搜尋框Sc_max內所有次搜尋框Sc_sub1 ~Sc_sub3 之邊緣畫素比例。例如，該次搜尋框Sc_sub1 中邊緣畫素比例為該次搜尋框Sc_sub1 範圍內屬於邊緣畫素之畫素數目除以49；Sc_sub2 中邊緣畫素比例為該次搜尋框Sc_sub2 範圍內屬於邊緣畫素之畫素數目除以25；Sc_sub3 中邊緣畫素比例為該次搜尋框Sc_sub3 範圍內屬於邊緣畫素之畫素數目除以9(步驟S22 )。該目前搜尋框Sc則決定為邊緣畫素比例最低之次搜尋框，並根據所決定之目前搜尋框Sc決定該強度參數之強弱(步驟S23 )。例如，當邊緣畫素比例較高時表示該目前畫素Pc附近的影像範圍較複雜，該強度參數被選擇為較弱；反之，當邊緣畫素比例較低時表示該目前畫素Pc附近的影像範圍較平緩，該強度參數被選擇為較強。然而，本發明並不限於上述揭示者，本發明之精神在於根據一目前畫素Pc周圍影像的複雜度以決定該目前搜尋框Sc之尺寸以及該強度參數之強弱，因此亦可使用其他方式判斷該目前畫素Pc周圍影像的複雜度。
請同時參照第4c及6圖，接著說明計算次搜尋框Sc_sub之邊緣畫素比例的一種實施例，其係依序判斷該最大搜尋框Sc_max中每一畫素P使否屬於邊緣畫素後再進行邊緣畫素比例之計算。當一最大搜尋框Sc_max決定後(步驟S21 )，該最大搜尋框Sc_max每一畫素P周圍均已決定一比較框B，例如該目前畫素Pc週為具有一比較框Bpc，其中於此實施例中該最大搜尋框Sc_max之尺寸為7×7，該比較框B之尺寸為5×5。首先，對該最大搜尋框Sc_max中的所有畫素P之比較框B進行前去噪(pre-dencising)。以該目前畫素Pc為例，對該目前畫素Pc之比較框Bpc進行前去噪係利用一平均濾波器(mean filter)或一鄰域濾波(neighborhood filter)實現。例如第6圖所示，一尺寸為3×3的濾波視窗FB將依序對該比較框Bpc內之所有畫素(此實施例包含25個)進行灰階值平均或加權平均。例如一畫素P22 經過與周圍8個鄰域畫素P22N 平均後(平均濾波)形成畫素P22 ' ；該前去噪前目前畫素比較框Bpc之所有畫素P經過如畫素P22 之步驟後，則可形成前去噪後目前畫素比較框Bpc' (步驟S221 )。接著，將前去噪前目前畫素比較框Bpc與前去噪後目前畫素比較框Bpc' 相對位置畫素之灰階值相減後取絕對值並求出該等絕對值之和。例如本實施例中該目前畫素比較框Bpc包含有25個畫素差值絕對值所形成的一個差值絕對值和(步驟S222 )。當該差值絕對值和大於一預設門檻值時，表示該目前畫素比較框Bpc影像範圍較複雜，則將該目前畫素Pc定義為邊緣畫素(步驟S223 )，接著對該最大搜尋框Sc_max之所有畫素進行相同步驟以判斷其是否為一邊緣畫素。當該最大搜尋框Sc_max中所有畫素(49個畫素)經過判定是否為邊緣畫素後，則可分別計算出該最大搜尋框Sc_max內所有的次搜尋框，例如Sc_sub1 、Sc_sub2 及Sc_sub3 之邊緣畫素比例(步驟S224 )。可以了解的是，判定一畫素P是否為邊緣畫素之方式並不限定為此處所揭示者，其他能夠判定一畫素區域之複雜度的方式亦適用於步驟S22 中。例如亦可透過計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值平方和後，將該差值平方和與一門檻值相比較以判定一畫素是否為邊緣畫素。此外可以了解的是，該目前搜尋框Sc中每一畫素之比較框尺寸亦可根據該邊緣畫素比例動態地被決定。
請再參照第4a及7圖所示，當步驟S2 完成後，則可根據該目前畫素Pc附近影像的複雜度決定一目前搜尋框Sc及一強度參數。第7圖中假設該目前搜尋框Sc之尺寸為7×7，因此共包含有49個畫素及相對的比較框。接著，對該目前搜尋框Sc中每一個畫素之搜尋框B進行前去噪處理，例如可利用平均濾波器或鄰域濾波器來實現(步驟S3 )，其詳細實施方式如前所述。例如，一鄰域畫素P11 之前去噪前比較框BP11 經過前去噪後形成前去噪後比較框BP11 ' ，該目前畫素Pc之前去噪前比較框Bpc經過前去噪後形成前去噪後比較框Bpc' 。可以了解的是，該目前搜尋框Sc中之每一畫素經過前去噪後都會形成一相對的前去噪後比較框，如同BP11 ' 。此外，若於步驟S22 中已針對該最大搜尋框Sc_max中所有畫素P之比較框進行前去噪處理，則可將前去噪後比較框之數值儲存一暫存器或記憶體以供步驟S3 直接使用。
接著，比較該目前搜尋框Sc中所有前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求得該目前搜尋框Sc中每一鄰域畫素與該目前畫素Pc之一相似度(步驟S4 )，因此於此實施例中共要比對48次。由於該目前畫素Pc之前去噪後比較框與本身具有百分之百的相似度，於實施時可不比較。例如，一種實施例中，係比較該前去噪後鄰域畫素之比較框BP11 ' 與前去噪後目前畫素之比較框Bpc' 相對位置畫素之差值平方和；當該差值平方和較大時表示該畫素P11 與Pc具有較低之相似度，而當該差值平方和較小時表示該畫素P11 與Pc具有較高之相似度。比較完畫素P11 之前去噪後比較框BP11 ' 與該目前畫素Pc之前去噪後比較框Bpc' 後，接著依序比對該目前搜尋框Sc中其他畫素P12 ~P77 之前去噪後比較框BP12 ' ~BP77 ' 與該目前畫素Pc之前去噪後比較框Bpc' 。然而，相似度之判斷方式並不限於此，例如亦可比較該前去噪後比較框BP11 ' 與Bpc' 相對位置畫素之差值絕對值和。
此時，可根據該目前搜尋框Sc中每一鄰域畫素P11 ~P77 與該目前畫素Pc之距離、該相似度及該強度參數決定該畫素P11 ~P77 相對於該目前畫素Pc之一權重(weighting)(步驟)；其中，當一鄰域畫素距離該目前畫素Pc較遠時降低該鄰域畫素之權重，當一鄰域畫素距離該目前畫素Pc較近時增加該鄰域畫素之權重；當一鄰域畫素與該目前畫素Pc之相似度低時降低該鄰域畫素之權重，當一鄰域畫素與該目前畫素Pc之相似度高時增加該鄰域畫素之權重。當該目前搜尋框中Sc的所有鄰域畫素P11 ~P77 根據其與該目前畫素Pc之距離及相似度決定一權重比例後，配合該強度參數可決定每一鄰域畫素P11 ~P77 相對於該目前畫素Pc之權重；其中，當該目前搜尋框Sc範圍內影像較複雜時，選擇較低之強度參數以降低去雜訊強度；反之，當該目前搜尋框Sc範圍內影像較平緩時，選擇較高之強度參數以增加去雜訊強度。該強度參數係根據該目前搜尋框Sc範圍內影像複雜度以調整該權重比例，因此該強度參數例如可為一數學函數(比例值、次方、log函數或其他數學函數)或一數值，但並不限於此；例如該強度參數係對該權重比例乘上一比例值、對該權重比例取次方、對該權重比例取log函數或加上一數值等。
當求得該目前搜尋框Sc中每一鄰域畫素P11 ~P77 與該目前畫素Pc之權重後，則根據該權重將該目前畫素Pc與每一鄰域畫素P11 ~P77 ，例如利用式(2)，進行加權平均以得到該目前畫素之一重建值(步驟S6 )。
接著，判斷使否該影像I中之所有畫素P均已求得一重建值(步驟S7 )。當所有畫素P均已求得一重建值，則完成該影像I之重建並產生一去雜訊後影像。若未完成所有畫素P之重建，則回到步驟S1 進行該影像I中下一個畫素P之影像重建。
請參照第8圖所示，其顯示根據本發明另一實施例之影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素(步驟S1 )；於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框(步驟A1 )；前去噪該最大搜尋框中每一畫素之比較框(步驟S221 )；根據該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框決定該畫素是否為一邊緣畫素(步驟A2 )；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例(步驟S22 )；以具有最低邊緣畫素比例之次搜尋框作為一目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定一強度參數(步驟S23 )；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求得該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度(步驟S4 )；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重(步驟S5 )；根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值(步驟S6 )；以及判斷是否所有畫素均已求得一重建值(步驟S7 )；若是，完成該影像之重建(步驟S8 )；若否，則重新執行步驟S1 。此實施例中，與第4a-4c圖相同之步驟係以相同標號表示。此外，第8圖之步驟A1 類似於第4b圖之步驟S21 ；步驟A2 之詳細實施方式類似於步驟A22 及A23 。此實施例與第4a-4c圖之實施例的差異僅在於步驟的實施順序，實施方式則相類似。由於其詳細實施方式以描述於前，故於此不再贅述。
此外，請參照第8a及8b圖所示，步驟A2 中決定一畫素是否為一邊緣畫素的方式另包含下列步驟：計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和(步驟S223 )；以及當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素(步驟S224 )。
必須說明的是，上述各視窗(框)，包括目前搜尋框、最大搜尋框、次搜尋框、濾波視窗、搜尋框及比較框等，雖於此處以方形來說明，但其並非用以限定本發明。該等視窗(框)可根據實際需求而可為任意形狀，例如矩形、菱形、圓形或橢圓形等。
如前所述，由於畫素會受到雜訊影響，使用習知非區域演算法仍無法於比較兩比較框的過程中排除雜訊的影響進而降低影像去雜訊效能。本發明另提出一種影像去雜訊方法(第4a-4c及8a-8b圖)，透過導入一前去噪步驟並根據目前畫素之特性動態地決定目前搜尋框和比較框的尺寸以及一濾波強度參數，可保留更多細節並提升去雜訊的效果。
雖然本發明已以前述實施例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
I．．．影像
P、P11 ~P77 ．．．畫素
Pc．．．目前畫素
Sc．．．目前搜尋框
Sc_max．．．最大搜尋框
Sc_sub．．．次搜尋框
Pc' ．．．前去噪後目前畫素
P11 ' ．．．前去噪後之畫素P11
P22 ．．．畫素
P22N ．．．畫素P22 之鄰域畫素
FB．．．濾波視窗
S1 ~S8 、A1 ~A2 ．．．步驟
Bpc．．．目前畫素之去雜訊前比較框
Bpc' ．．．目前畫素之去雜訊後比較框
BP11 ．．．畫素P11 之去雜訊前比較框
BP11 ' ．．．畫素P11 之去雜訊後比較框
Rx．．．搜尋框
x、y．．．畫素
i、j．．．畫素
Ni、Nj．．．比較框
第1圖顯示影像重建之示意圖。
第2圖顯示習知鄰域濾波之示意圖。
第3圖顯示習知非區域演算法之示意圖。
第4a圖顯示本發明一實施例之影像雜訊濾除方法之流程圖。
第4b圖顯示第4a圖中決定一目前搜尋框及一強度參數之流程圖。
第4c圖顯示第4b圖中計算一邊緣畫素比例之流程圖。
第5圖顯示本發明實施例之影像雜訊濾除方法所使用之次搜尋框及鄰域畫素比較框之示意圖。
第6圖顯示本發明之影像雜訊濾除方法中決定一畫素是否為邊緣畫素之示意圖。
第7圖顯示本發明之影像雜訊濾除方法中決定一鄰域畫素相對於一目前畫素之權重之示意圖。
第8a圖顯示本發明另一實施例之影像雜訊濾除方法之流程圖。
第8b圖顯示第8a圖中決定一畫素是否為一邊緣畫素之流程圖。
S1 ~S8 ．．．步驟

Claims (22)

  1. 一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；動態地決定一目前搜尋框及一強度參數，並於該目前搜尋框中每一畫素周圍決定一比較框；前去噪該目前搜尋框中每一畫素之比較框；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求出該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
  2. 根據申請專利範圍第1項之影像雜訊濾除方法，另包含下列步驟：判斷是否該影像之所有畫素均已求得一重建值。
  3. 根據申請專利範圍第1項之影像雜訊濾除方法，其中前去噪係利用一平均濾波器或一鄰域濾波器實現。
  4. 根據申請專利範圍第1項之影像雜訊濾除方法，其中該相似度係為該前去噪後鄰域畫素之比較框與該前去噪後目前畫素之比較框中相對位置畫素之差值平方和。
  5. 根據申請專利範圍第1項之影像雜訊濾除方法，其中動態地決定一目前搜尋框及一強度參數之步驟另包含下列步驟：於該目前畫素周圍決定一最大搜尋框，其中該最大搜尋框中每一畫素之周圍決定有該比較框；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例；以及以具有最低邊緣畫素比例之次搜尋框作為該目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定該強度參數。
  6. 根據申請專利範圍第5項之影像雜訊濾除方法，其中計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例之步驟另包含下列步驟：前去噪該最大搜尋框中所有畫素之比較框；計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和；當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素；及根據判定結果計算包含於該最大搜尋框內的所有次搜尋框之該邊緣畫素比例。
  7. 根據申請專利範圍第6項之影像雜訊濾除方法，其中前去噪係利用一平均濾波器或一鄰域濾波器實現。
  8. 根據申請專利範圍第6項之影像雜訊濾除方法，其中該等次搜尋框之尺寸為(n-2m)×(n-2m)，n為該最大搜尋框之尺寸，m等於0或正整數。
  9. 根據申請專利範圍第8項之影像雜訊濾除方法，其中最小之次搜尋框尺寸為3×3，最大之次搜尋框為該最大搜尋框。
  10. 根據申請專利範圍第5項之影像雜訊濾除方法，其中該最大搜尋框之尺寸為7×7。
  11. 根據申請專利範圍第5項之影像雜訊濾除方法，其中該邊緣畫素比例愈高，該強度參數愈低；該邊緣畫素比例愈低，該強度參數愈高。
  12. 根據申請專利範圍第1項之影像雜訊濾除方法，其中該目前搜尋框及該比較框可為方形、矩形、菱形、圓形或橢圓形。
  13. 一種影像雜訊濾除方法，包含下列步驟：於一影像中依序選擇一畫素為一目前畫素，其中該目前畫素周圍之畫素為該目前畫素之鄰域畫素；於該目前畫素周圍決定一最大搜尋框，並於該最大搜尋框中每一畫素之周圍決定一比較框；前去噪該最大搜尋框中每一畫素之比較框；根據該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框決定該畫素是否為一邊緣畫素；計算包含於該最大搜尋框內的所有次搜尋框之一邊緣畫素比例；以具有最低邊緣畫素比例之次搜尋框作為一目前搜尋框，並根據該目前搜尋框之邊緣畫素比例決定一強度參數；比較前去噪後鄰域畫素之比較框與前去噪後目前畫素之比較框以求得該目前搜尋框中每一鄰域畫素與該目前畫素之一相似度；根據該目前搜尋框中每一鄰域畫素與該目前畫素之一距離、該相似度及該強度參數決定每一鄰域畫素相對於該目前畫素之一權重；及根據該權重加權平均該目前搜尋框中每一鄰域畫素與該目前畫素以得到該目前畫素之一重建值。
  14. 根據申請專利範圍第13項之影像雜訊濾除方法，其中前去噪利用一平均濾波器或一鄰域濾波器實現。
  15. 根據申請專利範圍第13項之影像雜訊濾除方法，其中根據該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框決定該畫素是否為一邊緣畫素之步驟另包含下列步驟：計算該最大搜尋框中每一畫素之前去噪前比較框與前去噪後比較框相對位置畫素之一差值絕對值和；及當該差值絕對值和大於一門檻值時判定該畫素為一邊緣畫素。
  16. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該邊緣畫素比例愈高，該強度參數愈低；該邊緣畫素比例愈低，該強度參數愈高。
  17. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該等次搜尋框之尺寸為(n-2m)×(n-2m)，n為該最大搜尋框尺寸，m等於0或正整數。
  18. 根據申請專利範圍第17項之影像雜訊濾除方法，其中最小之次搜尋框尺寸為3×3，最大之次搜尋框為該最大搜尋框。
  19. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該相似度係為該前去噪後鄰域畫素之比較框與該前去噪後目前畫素之比較框中相對位置畫素之差值平方和。
  20. 根據申請專利範圍第13項之影像雜訊濾除方法，另包含下列步驟：判斷是否該影像之所有畫素均已求得一重建值。
  21. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該最大搜尋框、該比較框、該次搜尋框及該目前搜尋框可為方形、矩形、菱形、圓形或橢圓形。
  22. 根據申請專利範圍第13項之影像雜訊濾除方法，其中該強度參數係為一數學函數或一數值。
TW098131741A 2009-09-21 2009-09-21 影像雜訊濾除方法 TWI393073B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW098131741A TWI393073B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法
US12/829,424 US8885965B2 (en) 2009-09-21 2010-07-02 Image denoising method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098131741A TWI393073B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法

Publications (2)

Publication Number Publication Date
TW201112165A TW201112165A (en) 2011-04-01
TWI393073B true TWI393073B (zh) 2013-04-11

Family

ID=43756667

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098131741A TWI393073B (zh) 2009-09-21 2009-09-21 影像雜訊濾除方法

Country Status (2)

Country Link
US (1) US8885965B2 (zh)
TW (1) TWI393073B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201136298A (en) * 2010-04-12 2011-10-16 Novatek Microelectronics Corp Filter and filtering method for reducing image noise
CN102842113B (zh) * 2011-06-20 2016-03-09 富士通株式会社 像素值重建方法和***
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6625165B2 (ja) * 2013-02-14 2019-12-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
EP3167429B1 (en) 2015-05-15 2019-12-25 SZ DJI Technology Co., Ltd. System and method for supporting image denoising based on neighborhood block dimensionality reduction
US10510233B2 (en) * 2017-05-26 2019-12-17 Jemez Technology LLC Reducing and eliminating the effects of bright lights in a field-of-view of a camera
CN109636762A (zh) * 2019-01-31 2019-04-16 浙江工业大学 一种基于镂空均值滤波算法的图像去噪方法
CN112883916B (zh) * 2021-03-22 2022-05-06 中国人民解放军国防科技大学 一种基于图像块相似性先验的视频去噪方法
CN117237232B (zh) * 2023-11-10 2024-02-02 山东天意机械股份有限公司 基于图像去噪的建材生产环境粉尘在线监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883983A (en) * 1996-03-23 1999-03-16 Samsung Electronics Co., Ltd. Adaptive postprocessing system for reducing blocking effects and ringing noise in decompressed image signals
US5903680A (en) * 1996-02-05 1999-05-11 U.S. Philips Corporation Image data recursive noise filter with reduced temporal filtering of higher spatial frequencies
US20050276510A1 (en) * 2004-06-08 2005-12-15 Stmicroelectronics S.R.I. Filtering of noisy images
US20060050783A1 (en) * 2004-07-30 2006-03-09 Le Dinh Chon T Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US20080285881A1 (en) * 2005-02-07 2008-11-20 Yaniv Gal Adaptive Image De-Noising by Pixels Relation Maximization
TW200931949A (en) * 2008-01-14 2009-07-16 Sunplus Technology Co Ltd System for applying multi-direction and multi-slope region detection to image edge enhancement

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195467B1 (en) * 1999-03-25 2001-02-27 Image Processing Technologies, Inc. Method and apparatus for sharpening a grayscale image
US6633683B1 (en) * 2000-06-26 2003-10-14 Miranda Technologies Inc. Apparatus and method for adaptively reducing noise in a noisy input image signal
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US7783124B2 (en) * 2007-03-02 2010-08-24 Huper Laboratories Co., Ltd. Method for reducing image noise
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
TWI390466B (zh) * 2009-09-21 2013-03-21 Pixart Imaging Inc 影像雜訊濾除方法
KR101142739B1 (ko) * 2009-10-29 2012-05-03 삼성전자주식회사 검색 영역을 제한한 이미지 복원 장치 및 방법
US8428384B2 (en) * 2010-08-19 2013-04-23 Sony Corporation Method and apparatus for performing an in-painting process on an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5903680A (en) * 1996-02-05 1999-05-11 U.S. Philips Corporation Image data recursive noise filter with reduced temporal filtering of higher spatial frequencies
US5883983A (en) * 1996-03-23 1999-03-16 Samsung Electronics Co., Ltd. Adaptive postprocessing system for reducing blocking effects and ringing noise in decompressed image signals
US20050276510A1 (en) * 2004-06-08 2005-12-15 Stmicroelectronics S.R.I. Filtering of noisy images
US20060050783A1 (en) * 2004-07-30 2006-03-09 Le Dinh Chon T Apparatus and method for adaptive 3D artifact reducing for encoded image signal
US20080285881A1 (en) * 2005-02-07 2008-11-20 Yaniv Gal Adaptive Image De-Noising by Pixels Relation Maximization
TW200931949A (en) * 2008-01-14 2009-07-16 Sunplus Technology Co Ltd System for applying multi-direction and multi-slope region detection to image edge enhancement

Also Published As

Publication number Publication date
US20110069902A1 (en) 2011-03-24
TW201112165A (en) 2011-04-01
US8885965B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
TWI393073B (zh) 影像雜訊濾除方法
US10339643B2 (en) Algorithm and device for image processing
TWI390466B (zh) 影像雜訊濾除方法
CN104778669B (zh) 快速图像去噪方法及装置
CN109003233B (zh) 一种基于自适应权重全变分模型的图像去噪方法
CN109377450B (zh) 一种边缘保护的去噪方法
CN104657947B (zh) 针对碱基图像的一种降噪方法
CN107230208B (zh) 一种高斯噪声的图像噪声强度估计方法
Zhang et al. Decision-based non-local means filter for removing impulse noise from digital images
CN104616259A (zh) 一种噪声强度自适应的非局部均值图像去噪方法
Lai et al. Improved non-local means filtering algorithm for image denoising
CN102509265A (zh) 基于灰度值差和局部能量的数字图像去噪方法
KR101432227B1 (ko) 전자기기에서 비트 해상도 증가 및 에지 강화 방법 및 장치
Malik et al. Contrast enhancement and smoothing of CT images for diagnosis
CN115829967A (zh) 一种工业金属表面缺陷图像去噪和增强方法
RU2405200C2 (ru) Способ и устройство быстрого фильтрования шума цифровых изображений
CN112070765B (zh) 一种基于双边滤波结合改进的otsu的布匹检测方法
CN114881883A (zh) 一种红外图像多维降噪方法、存储介质及装置
CN114359083A (zh) 一种面向干扰环境的高动态热红外图像自适应预处理方法
Sun et al. Adaptive bilateral filter considering local characteristics
Ali et al. A proposed de-noising algorithm
CN116051425B (zh) 一种红外图像处理方法、装置、电子设备及存储介质
Vijaykumar et al. Adaptive window based efficient algorithm for removing gaussian noise in gray scale and color images
KR101179500B1 (ko) 적응적 잡음 제거 방법 및 장치
CN110782405B (zh) 一种基于梯度辨识的点目标和暗斑图像背景均衡方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees