TWI536319B - 去雜訊方法以及影像系統 - Google Patents
去雜訊方法以及影像系統 Download PDFInfo
- Publication number
- TWI536319B TWI536319B TW103121757A TW103121757A TWI536319B TW I536319 B TWI536319 B TW I536319B TW 103121757 A TW103121757 A TW 103121757A TW 103121757 A TW103121757 A TW 103121757A TW I536319 B TWI536319 B TW I536319B
- Authority
- TW
- Taiwan
- Prior art keywords
- pixel
- information
- frame
- weight
- denoising
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 17
- 230000003044 adaptive effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000010009 beating Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/213—Circuitry for suppressing or minimising impulsive noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Description
本發明所揭露之實施例係相關於影像處理,尤指一種去雜訊方法以及相關影像系統。
在即時數位影像處理中,去雜訊(de-noising)的方法主要可以分為兩類。第一類是在空間域(spatial domain)進行的去雜訊方法,像是高斯濾波(Gaussian filtering)、中值濾波(median filtering)、雙邊濾波(bilateral filtering)以及效果非常好的非局部均值(non-local means,NLM)濾波,然該等空間域去雜訊方法往往需要耗費龐大的計算量,以達到較佳預期效果。且難免會造成影像模糊以及細節損失的副作用。
第二類是在時間域(time domain)進行的去雜訊方法,即同時考慮前一個圖框(frame)和目前的圖框,進行一個適當的加權平均以達到去雜訊的效果。相較於第一類去雜訊作法,最大的優點是幾乎不會造成影像的模糊或是細節的損失,但是該等時間域去雜訊方法容易導致殘影的增生,又或是影像不自然的現象。為了盡量減少此副作用往往需要非常複雜的運算。
為了改善空間域和時間域的去雜訊方法的問題,實務上亦可以融合此兩種作法,但同時利用時間域和空間域的濾波方法往往會遇到三個主要的問題:第一是嚴重的殘影;第二是圖像清晰度下降;第三是當雜訊較大的時候,特別是影像擷取裝置在低光源環境,或是畫面的周圍受到透鏡陰影(lens shading)的影響時,去雜訊的效果就會下降。
因此本領域亟需一種低複雜度且高效率的去雜訊方法,來改善上述問題。
根據本發明的實施例,揭露一去雜訊方法以及相關影像系統以解決上述問題。
依據本發明的第一實施例,提出一種去雜訊方法,包含有:接收一目前圖框中的一像素;依據對應該像素的一特定資訊來計算一去雜訊係數;以及依據該去雜訊係數來調配該目前圖框之該像素的一權重和一先前圖框的至少一像素的一權重,以產生一輸出像素,其中該先前圖框的該至少一像素包含一相對位置像素(co-located pixel)。
依據本發明的第二實施例,提出一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;以及一去雜訊單元,耦接至該影像訊號處理器,用來基於申請專利範圍第1項中所述的方法來將該圖框中的一像素輸出為一輸出像素。
依據本發明的第三實施例,提出一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;一亮度調整單元,耦接於該影像訊號處理器以及該鏡頭模組之間,用來依據一自動曝光資訊來產生一曝光控制訊號至該鏡頭模組以及產生一圖框率資訊至一去雜訊單元;以及該去雜訊單元,用來基於申請專利範圍第12項中所述的方法來依據該圖框率資訊,來將該圖框中的一像素輸出為一輸出像素。
依據本發明的第四實施例,提出一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;一亮度調整單元,耦接於該影像訊號處理器以及該鏡頭模組之間,用來依據一自動曝光資訊來產生一曝光控制訊號至該鏡頭模組以及產生一圖框率資訊至一去雜訊單元;以及該去雜訊單元,用來至少依據該圖框率資訊以及該圖框中的一像素,進行一空間域去雜訊和一時間域去雜訊,以產生一輸出像素。
本發明的精神係在於利用自適應性的方法來動態地決定時間域的去雜訊比重,並另外加上空間域的去雜訊以達到即時的三維去雜訊方法。
300~312‧‧‧步驟
800~812‧‧‧步驟
900‧‧‧影像系統
902‧‧‧鏡頭
904‧‧‧感測器
906‧‧‧影像訊號處理器
908‧‧‧去雜訊單元
910‧‧‧亮度調整單元
第1圖為本發明即時自適應性三維動態去雜訊方法的簡化示意圖。
第2圖為一函數的實施例的示意圖。
第3圖為本發明即時自適應性三維動態去雜訊方法的第一實施例的流程圖。
第4圖為本發明中亮度與韋伯臨界值的關係圖。
第5圖為本發明中移動強度與前置去雜訊係數的關係圖。
第6圖為本發明中離圖框中心點的距離與調整參數的一實施例的關係圖。
第7圖為本發明中離圖框中心點的距離與調整參數的另一實施例的關係圖。
第8圖為本發明即時自適應性三維動態去雜訊方法的第二實施例的流程圖。
第9圖為本發明一影像系統的實施例的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解,製造商可能會用不同的名詞
來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式,而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語,故應解釋成「包含但不限定於」。另外,「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此,若文中描述一第一裝置耦接於一第二裝置,則代表該第一裝置可直接電氣連接於該第二裝置,或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
一般來說,為了得到較好的去雜訊效果,首先要分析雜訊的特性。常見的靜態影像雜訊有兩種,即椒鹽雜訊(salt and pepper noise)和高斯雜訊。然而對於一般的影像擷取裝置來說,由於所拍攝的影像是動態的,每一個圖框的雜訊可能都不盡相同。就視覺上來說,每一個點的雜訊都是不斷的閃爍跳動,亦即整個畫面中充滿著閃爍的雜訊,這種情況如果用空間域的處理效果就會不盡理想,較適合用時間域的濾波,或是利用時間域加上空間域的方式來處理。
本發明的精神係在於利用自適應性的方法來動態地決定時間域的去雜訊比重,並另外加上空間域的去雜訊以達到即時的三維去雜訊方法。在三維去雜訊方法中,如何調配時間域去雜訊的強度(效果)會直接的影響使用者感受。本發明適用於所有的相機模組以及拍攝環境,例如在低光源環境下,可以發現所擷取到的兩個不同時間點的圖框,畫面中不僅充滿靜態的雜訊,亦包含了動態閃爍跳動的雜訊。因此,透過本發明可以在盡量不損失畫面細節的情況下,減少動態跳動的雜訊以提升視覺感受。除此之外,本發明的計算成本非常低,可應用在各種不同的實現方式,例如硬體(例如晶片)、軟體(例如驅動程式、應用程式)或是韌體或是其中一部份或是全部的組合。
第1圖為本發明即時自適應性三維動態去雜訊方法的簡化示意圖。方程式(1)是本發明的基本想法,依據一目前圖框和一先前圖框進行一濾波處理,請注意,該先前圖框並不限定於前一圖框。該濾波處理可表示如下:P out =P in ×C denoising +f 3(q)×(1-C denoising ) (1)
其中P in 是該目前圖框中的一像素的數值,而q是該先前圖框中相對應位置的另一像素(相對位置像素(co-located pixel))的數值,P out 是經過該濾波處理後所產生的結果,亦即該目前圖框中該像素的新數值。更具體地說,在此係利用一整合去雜訊係數C denoising ,以動態判斷的方式決定出最適合該像素的整合去雜訊係數C denoising 。由方程式(1)可知,整合去雜訊係數C denoising 越大,代表輸出值越是由目前圖框P in 之該像素的數值來決定;而整合去雜訊係數C denoising 越小,代表輸出值越是受到該先前圖框的相對應位置的另一像素數值所影響。換言之,第1圖中的整合去雜訊係數C denoising 越大,表示針對三維時間域之該濾波處理的效果與強度越弱;而整合去雜訊係數C denoising 越小,表則示該濾波處理的效果與強度越強,本發明的關鍵之一即在如何決定出目前圖框P in 中每個像素最適當的整合去雜訊係數C denoising 。關於濾波函數f 3,其係用來對該先前圖框中相對應位置之該另一像素進行的處理,舉例來說,可以係習知的空間域的去雜訊濾波方式,例如中值濾波、雙邊濾波或是非局部均值濾波等,然本發明不以此限。在一較佳實施例中,濾波函數f 3係屬於邊緣保護的濾波方式,以儘量的保留細節。
上述的方程式(1)可進一步以方程式(2)來表示如下。
P out =P in ×f 1(f 2(C 1 ,C 2 ,...,C n ))+f 3(q)×(1-f 1(f 2(C 1 ,C 2 ,...,C n )) (2)
其中係將方程式(1)中的整合去雜訊係數C denoising 以f 1(f 2(C 1 ,C 2 ,...,C n ))表示。函數f 1是一個全域(global)的映射函數,此函數可以將去雜訊係數做一個整體的調整,舉例來說,可以依據所使用的鏡頭及/
或感光元件的特性,來利用函數f 1對一輸入進行一全域增益處理來直接改變該輸入的強度,並產生一輸出,以得到穩定的效果,避免受到不同鏡頭的影響,然本發明不以此限。若是函數f 1之該輸出大於該輸入,表示函數f 1係增加該輸入的強度;反之若此函數之該輸出小於該輸入,表示降低該輸入的強度。
第2圖為函數f 2的實施例的示意圖。其中函數f 2的一輸入係一目前圖框m分別對應n個先前圖框(即圖框m-1~圖框m-n)的n個個別去雜訊係數。個別去雜訊係數C 1為依據一目前圖框m與先前圖框m-1所計算出來的個別去雜訊係數C 1;個別去雜訊係數C 2為依據目前圖框m與前二圖框m-2所計算出來的個別去雜訊係數C 2;依此類推。其中n為大於或等於1的正整數,若是n為1,則表示只參考前一個圖框。函數f 2係用來將每一個別去雜訊係數C 1 ,C 2 ,...,C n 經過濾波後得到整合去雜訊係數C denoising 。函數f 2的濾波方式可以採用多種不同的方式,例如高斯濾波或中值濾波,又例如,函數f 2之該輸出可以是C 1~C n 中的最大值,以儘量降低時間域的去雜訊效應的強度,進而降低殘影的發生的機率。函數f 2之該輸出亦可以是個別去雜訊係數C 1~C n 中的平均值,以平均地採用目前圖框與過去n個圖框分別的去雜訊係數,降低誤差發生的機率。然本發明並不以第2圖中的實施例,或上述之舉例說明為限。此外,應注意的是,應針對目前圖框中的每一像素依序進行方程式(2)的計算,並在收到下一圖框的資料時,繼續重複同樣的計算。
第3圖為本發明即時自適應性三維動態去雜訊方法的第一實施例的流程圖。其中包含有皮膚識別(Skin recognition)、韋伯費希納定律(Weber-Fechner Law)、移動估測(Motion estimation)、距離條件(Distance condition)以及三維去雜訊(3D de-noising)五個主要步驟。倘若大體上可達到相同的結果,並不一定需要按照第3圖所示之流程中的步驟順序來進行,且第3圖所示之步驟不一定要連續進行,亦即其他步驟亦可***其中。此外,
第3圖中的某些步驟可根據不同實施例或設計需求省略之。
在第3圖的步驟302中,主要的目的是判斷出膚色的區域,由於膚色區域極有可能是人體(特別是人臉)的部分,往往是移動比較大的地方,而且通常也是使用者的肉眼所最關注的主體。因此,可以利用皮膚識別來避免人臉產生不自然或是殘影的現象。步驟302可以係利用習知的人臉辨識方式,例如利用像素中的紅色(R)、綠色(G)以及藍色(B)頻道的數值是否符合R>G>B來判斷出皮膚色區域。並設定一膚色臨界值thd skin ,其中越接近膚色的區域,膚色臨界值thd skin 越低;而越不是膚色的區域,膚色臨界值thd skin 越高。膚色臨界值thd skin 在之後的步驟306的移動估測中會被使用到。
在步驟304中,係基於韋伯費希納定律來根據亮度做動態調整。韋伯費希納定律應用於影像處理可以得到以下的結論,即針對固定大小的一雜訊,到在亮度越高的地方,該雜訊較不容易被人眼所注意;反之,在亮度越低的地方,該雜訊較容易被人眼所注意。因此,基於以上的結論,在步驟304中會設計一動態的韋伯臨界值thd weber ,其中thd weber_min ≦韋伯臨界值thd weber ≦thd weber_max 。第4圖為本發明中亮度與韋伯臨界值的關係圖。如第4圖所示,當亮度越高,韋伯臨界值thd weber 越高;反之,當亮度越低,韋伯臨界值thd weber 越低。韋伯臨界值thd weber 在之後的步驟306的移動估測中會被使用到。
在步驟306中,會先分別計算目前圖框與前k(k=1~n)個圖框之間的移動強度Difference,移動強度Difference越大,表示移動程度越高;移動強度Difference越小,表示移動程度越低,移動強度Difference定義如下:
其中*係代表迴旋運算,p i,j 係代表座標位置為(i,j)的目前像素,
q i,j 係代表座標位置為(i,j)的先前圖框中的像素,係代表對欲處理的像素連同周圍像素一併納入計算以降低誤差,
則代表對欲處理的像素連同周圍像素所進行的特定處
理,例如當使用高斯係數時,即為,也就是給予中間欲處理的像素較重的權重,而給予周邊像素較低的權重。其細節尚有邊緣或角落像素的填充或鏡像等處理,由於熟習此領域者應能瞭解其中的細節,故在此便不多作贅述。此外本發明亦不以此為限。
如上所述,所計算出移動強度Difference越大,代表移動的程度越大,也就是代表此像素點越不要做時間域的濾波處理,以減小殘影的副作用,因此對應到的濾波係數就越大;反之移動強度Difference越小,所對應到的濾波係數就愈小。接下來再將之前所計算出的膚色臨界值thd skin 以及韋伯臨界值thd weber 和一第一預設臨界值thd1和一第二預設臨界值thd2分別相加,得到一第一動態臨界值thd dynamic1以及一第二動態臨界值thd dynamic2。如方程式(4)和方程式(5)所示。
thd dynamic1=thd1+thd skin +thd weber (4)
thd dynamic2=thd2+thd skin +thd weber (5)
其中第一預設臨界值thd1和第二預設臨界值thd2可以係依據所使用的鏡頭及/或感光元件所調整出的最佳值。之後,再依據所計算出的移動強度Difference來找出相對應的一前置去雜訊係數C pre_k ,應注意的是,針對
目前圖框與前k(k=1~n)個圖框應分別計算出n個前置去雜訊係數C pre_k 。第5圖為本發明中移動強度與前置去雜訊係數的關係圖。其中的關係即如上所述。
在步驟308中,會計算出目前圖框中所針對的像素和圖框中心點之間的距離,即距離條件(Distance Condition)。步驟308的目的是依據像素到圖框中心點的距離來調整步驟306中所得到的係數。一般來說,離圖框的中心點越遠的畫素,受到透鏡陰影的影響越嚴重,因此需要較大的增益量來放大像素值,導致離圖框的中心點越遠的畫素其雜訊也會比圖框中心嚴重許多。故,離圖框中心越遠的像素,往往需要強度越強的濾波來改善上述的雜訊,由於其非屬於畫面中受到關注的位置,因此所導致的殘影的副作用較不容易被察覺。反之,離圖框中心越近的地方,則其濾波強度越弱。如此一來,在步驟308中,便會依據離圖框中心點的距離的資訊來得到相對應的調整參數R來調整步驟306中所計算出的前置去雜訊係數C pre_k (k=1~n)。第6圖為本發明中離圖框中心點的距離與調整參數的一實施例的關係圖。其中係利用雙向(two norm)來計算出距離,亦即利用畢氏定理的方式來計算出離圖框中心點的直線距離。
其中P x 是目前像素點的X座標,P y 是目前像素點的Y座標,C x 是畫面中心點的X座標,C y 是畫面中心點的Y座標。如第6圖所示,若是計算出的距離Distance小於預設的一第一預設距離r,則將調整參數R設定為一最小調整參數R min ;反之若是計算出的距離Distance大於預設的一第二預設距離r+k,則將調整參數R設定為一最大調整參數R max 。在r和r+k之間的距離則可利用線性內插來得到調整參數R。得到調整參數R之後,便可根據以下方程式(7)來調整步驟306所計算出的前置去雜訊係數C pre_k ,以得到個別去
雜訊係數C k 。
C k =C pre_k * R (7)
然而本發明所可採用的透鏡陰影補償方法並不以第6圖中的實施例為限。舉例來說,第7圖為本發明中離圖框中心點的距離與調整參數的另一實施例的關係圖。其中係利用單向(one norm)來計算出距離,亦即利用四邊形的方式來計算出離圖框中心點的大約距離。只要係基於透鏡陰影補償的目的的任何類似的補償方法,皆屬於本發明的權利範圍。
在步驟310中,係將個別去雜訊係數C k (k=1~n)帶入方程式(2)中以得到結果P out 。相關細節請參考說明書中之前的段落,在此便不多作贅述。
第8圖為本發明即時自適應性三維動態去雜訊方法的第二實施例的流程圖。其中包含有第3圖中的即時自適應性三維動態去雜訊方法的流程的所有步驟,但其中的順序經過變化。具體來說,第8圖的流程圖和第3圖的差別係在於將距離條件提前在韋伯費希納定律與移動估測之前來計算。因此,方程式(4)和方程式(5)會改寫為如下的方程式(8)和方程式(9)。
thd dynamic1=thd1+thd skin +thd dist +thd weber (8)
thd dynamic2=thd2+thd skin +thd dist +thd weber (9)
其中會增加步驟804所計算出的一距離臨界值thd dist 。因此,本發明即時自適應性三維動態去雜訊方法的流程並不限定於特定順序,只要能夠達到類似的效果,皆屬於本發明的權利範圍。
一般而言,在低亮度環境下,所接收到的像素在經本發明的即時自適應性三維動態去雜訊方法處理之前,整體會先被乘上較大的增益值,因此造成雜訊同步被放大且特別明顯。因此在這樣的情況下去雜訊濾波的強度
應該要相對地增強;反之,如果環境亮度是足夠的,則雜訊較不明顯,因此在這樣的情況下去雜訊濾波的強度應該要相對地減弱,否則可能會影響到影像的清晰度或是產生其他的副作用。為了能夠根據環境光源和亮度來做出最佳化的調整。
第9圖為本發明一影像系統的實施例的示意圖。影像系統900包含有一鏡頭902、一感測器(sensor)904、一影像訊號處理器(image and signal processor,ISP)906、一去雜訊單元908以及一亮度調整單元910。舉例來說,鏡頭902和感測器904可以係一鏡頭模組的一部份或是全部。當光線經過鏡頭902進入感光元件904後,感光元件904便會將所擷取到的影像轉換為一特定影像格式的一影像訊號I bayer ,在此實施例中係拜耳圖樣(Bayer pattern),但本發明不以此限。影像訊號I bayer 接著會被傳送到影像訊號處理器906,並且經過若干的影像處理程序而將影像訊號I bayer 轉換為影像格式為另一特定影像格式的一影像訊號P in ,在此實施例中係色差(YUV)訊號格式,但本發明不以此限。同時,影像訊號處理器906亦會進一步產生一自動曝光資訊C ae 至亮度調整單元910。亮度調整單元910便可根據自動曝光資訊C ae 來進行相關的自動曝光演算法,並且會產生一圖框率資訊C fps 給去雜訊單元908;以及另產生一增益控制訊號C gain 以及一曝光控制訊號C exp 至感光元件904。去雜訊單元908接著會依據所接收到的影像訊號P in 以及圖框率資訊C fps 來執行去雜訊演算法以產生經過去雜訊處理的一影像輸出訊號P new_out 。一般而言,亮度調整單元910可以係以韌體(firmware)的方式來實現,而去雜訊單元908可以係以軟體的方式來實現,例如一軟體驅動器,然本發明不以此限。
對於去雜訊單元908而言,為了能得到環境光源以及環境亮度,以達到最佳化的去雜訊效果,可以使用圖框率資訊C fps 來反推出環境光源以及環境亮度。具體來說,環境亮度越亮,圖框率資訊C fps 會越高;而環境亮
度越暗,亮度調整單元910會主動地增加感測器904的曝光時間,使得圖框率資訊C fps 降低。換言之,在環境亮度較亮的時候,圖框率資訊C fps 通常會大於在環境亮度較暗時候的圖框率資訊C fps 。
去雜訊單元908可以係僅僅使用第3圖或是第4圖的即時自適應性三維動態去雜訊方法,而不另外將圖框率資訊C fps 列入變因之一,並直接將所產生的即時自適應性三維動態去雜訊影像輸出P out 當作去雜訊單元908的輸出P new_out ;除此之外亦可在利用第3圖或是第4圖的即時自適應性三維動態去雜訊方法計算出去雜訊影像輸出P out 之後,再根據圖框率資訊C fps 來得到最佳化的輸出P new_out 。
P new_out =P in ×α+P out ×(1-α) (8)
其中α是介於0到1之間任意,用來決定去雜訊的效果強弱,α的計算方式如下:α=f 4(C fps ) (9)
其中f 4係一單調遞增函數,當圖框率資訊C fps 越高,α越大,最佳化的輸出P new_out 越接近P in 。也就是說,在環境光源越亮的情況下,去雜訊濾波的效果會被降得越低;反之亦然。在本實施例中的環境光源是利用圖框率資訊C fps 所得到,但本發明不以此線。此外,去雜訊單元908亦可係利用其它的去雜訊方法,再搭配方程式(8)和方程式(9)來得到考慮環境光源的動態結果。以上皆屬於本發明的權利範圍。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
300~312‧‧‧步驟
Claims (17)
- 一種去雜訊方法,包含有:接收一目前圖框中的一像素;依據對應該像素的一特定資訊來計算一去雜訊係數;以及依據該去雜訊係數來調配該目前圖框之該像素的一權重和一先前圖框的至少一像素的一權重,以產生一輸出像素,其中該先前圖框的該至少一像素包含一相對位置像素(co-located pixel);以及依據一圖框率資訊來調整該像素的一權重與該輸出像素的一權重,以產生另一輸出像素。
- 如申請專利範圍第1項所述的去雜訊方法,其中該特定資訊包含至少一空間域資訊以及至少一時間域資訊。
- 如申請專利範圍第2項所述的去雜訊方法,其中該至少一空間域資訊包含有一皮膚識別資訊、一亮度資訊以及該像素與該目前圖框的中心點之間的一距離資訊的至少其中之一,以及該至少一時間域資訊包含有至少一運動估計資訊。
- 如申請專利範圍第3項所述的去雜訊方法,其中依據對應該像素之該特定資訊來計算該去雜訊係數的步驟包含有:依據該目前圖框之該像素和N個先前圖框各自的至少一像素,來分別計算N個運動估計資訊,其中N大於等於1,以及該N個先前圖框中每一先前圖框的該至少一像素包含有一相對位置像素(co-located pixel);以及依據該皮膚識別資訊、該亮度資訊以及該像素與該圖框的中心點之間之該距離資訊的至少其中之一以及該N個運動估計資訊,來計算該去雜 訊係數。
- 如申請專利範圍第4項所述的去雜訊方法,其中該N個先前圖框中每一先前圖框的該至少一像素另包含該相對位置像素之周圍的至少一像素。
- 如申請專利範圍第4項所述的去雜訊方法,其中依據該皮膚識別資訊、該亮度資訊以及該像素與該圖框的中心點之間之該距離資訊的至少其中之一以及該N個運動估計資訊,來計算該去雜訊係數的步驟包含有:針對該N個運動估計資訊中的每一運動估計資訊:依據該皮膚識別資訊、該亮度資訊以及該像素與該圖框的中心點之間之該距離資訊的至少其中之一以及該運動估計資訊,來計算一前置去雜訊係數;以及對N個前置去雜訊係數進行一特定處理來得到該去雜訊係數。
- 如申請專利範圍第6項所述的去雜訊方法,其中該特定處理係取該N個前置去雜訊係數的平均值來作為該去雜訊係數。
- 如申請專利範圍第6項所述的去雜訊方法,其中該特定處理係取該N個前置去雜訊係數的最大值來作為該去雜訊係數。
- 如申請專利範圍第3項所述的去雜訊方法,其中該至少一空間域資訊包含有該皮膚識別資訊;以及當該皮膚識別資訊指出該目前圖框之該像素越接近皮膚的顏色,則該目前圖框之該像素之該權重越高,以及該先前圖框之該至少一像素之該權重越低。
- 如申請專利範圍第3項所述的去雜訊方法,其中該至少一空間域資訊包含有該亮度資訊;以及當該亮度資訊指出該目前圖框之該像素的亮度越低, 則該目前圖框之該像素之該權重越高,以及該先前圖框之該至少一像素之該權重越低。
- 如申請專利範圍第3項所述的去雜訊方法,其中該至少一空間域資訊包含有該距離資訊;以及當該距離資訊指出該目前圖框之該像素與該目前圖框的中心點之間距離越近,則該目前圖框之該像素之該權重越高,以及該先前圖框之該至少一像素之該權重越低。
- 如申請專利範圍第1項所述的去雜訊方法,其中該先前圖框之該至少一像素另包含有該相對位置像素之周圍的至少一像素。
- 如申請專利範圍第1項所述的去雜訊方法,其中依據該圖框率資訊來調整該像素的該權重與該輸出像素的該權重的步驟包含:當該圖框率資訊指出一圖框率越高,則設定該像素之該權重越高,以及設定該輸出像素之該權重越低。
- 一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;以及一去雜訊單元,耦接至該影像訊號處理器,用來:接收該圖框中的一像素;依據對應該像素的一特定資訊來計算一去雜訊係數;以及依據該去雜訊係數來調配該圖框之該像素的一權重和一先前圖框的至少一像素的一權重,以產生一輸出像素,其中該先前圖框的該至少一像素包含一相對位置像素(co-located pixel); 其中該特定資訊包含有一皮膚識別資訊、一亮度資訊以及該像素與該圖框的中心點之間的一距離資訊的至少其中之一,以及至少一運動估計資訊;當該距離資訊指出該目前圖框之該像素與該目前圖框的中心點之間距離越近,則該目前圖框之該像素之該權重越高,以及該先前圖框之該至少一像素之該權重越低。
- 一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;一亮度調整單元,耦接於該影像訊號處理器以及該鏡頭模組之間,用來依據一自動曝光資訊來產生一曝光控制訊號至該鏡頭模組以及產生一圖框率資訊至一去雜訊單元;以及該去雜訊單元,用來:接收該圖框中的一像素;依據對應該像素的一特定資訊來計算一去雜訊係數;以及依據該去雜訊係數來調配該圖框之該像素的一權重和一先前圖框的至少一像素的一權重,以產生一輸出像素,其中該先前圖框的該至少一像素包含一相對位置像素(co-located pixel),其中該先前圖框之該至少一像素另包含有該相對位置像素之周圍的至少一像素;其中該特定資訊包含有一皮膚識別資訊、一亮度資訊以及該像素與該圖框的中心點之間的一距離資訊的至少其中之一,以及至少一運動估計資訊;當該亮度資訊指出該目前圖框之該像素的亮度越低,則該目前圖框之該像素之該權重越高,以及該先前圖框之該至少一像素之該權重越低。
- 一種影像系統,包含有:一鏡頭模組,用來擷取一影像資訊;一影像訊號處理器,耦接至該鏡頭模組,用來將該影像資訊轉換為一圖框;一亮度調整單元,耦接於該影像訊號處理器以及該鏡頭模組之間,用來依據一自動曝光資訊來產生一曝光控制訊號至該鏡頭模組以及產生一圖框率資訊至一去雜訊單元;以及該去雜訊單元,用來至少依據該圖框率資訊以及該圖框中的一像素,進行一空間域去雜訊和一時間域去雜訊,以產生一輸出像素;其中該去雜訊單元係至少依據該圖框率資訊來針對該圖框之該像素調整該時間域去雜訊的強度,以產生該輸出像素。
- 如申請專利範圍第16項所述的影像系統,其中該圖框率資訊越高,則該去雜訊單元之該時間域去雜訊的強度越低。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103121757A TWI536319B (zh) | 2014-06-24 | 2014-06-24 | 去雜訊方法以及影像系統 |
US14/748,248 US20150373235A1 (en) | 2014-06-24 | 2015-06-24 | De-noising method and image system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103121757A TWI536319B (zh) | 2014-06-24 | 2014-06-24 | 去雜訊方法以及影像系統 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201601117A TW201601117A (zh) | 2016-01-01 |
TWI536319B true TWI536319B (zh) | 2016-06-01 |
Family
ID=54870811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103121757A TWI536319B (zh) | 2014-06-24 | 2014-06-24 | 去雜訊方法以及影像系統 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150373235A1 (zh) |
TW (1) | TWI536319B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10104361B2 (en) * | 2014-11-14 | 2018-10-16 | Samsung Electronics Co., Ltd. | Coding of 360 degree videos using region adaptive smoothing |
TWI632525B (zh) | 2016-03-01 | 2018-08-11 | 瑞昱半導體股份有限公司 | 影像去雜訊方法及其裝置 |
TWI584642B (zh) * | 2016-04-19 | 2017-05-21 | 瑞昱半導體股份有限公司 | 影像濾波裝置及其影像濾波方法 |
CA2949383C (en) * | 2016-11-22 | 2023-09-05 | Square Enix, Ltd. | Image processing method and computer-readable medium |
CN109859126B (zh) | 2019-01-17 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种视频降噪方法、装置、电子设备及存储介质 |
CN109873953A (zh) * | 2019-03-06 | 2019-06-11 | 深圳市道通智能航空技术有限公司 | 图像处理方法、夜间拍摄方法、图像处理芯片及航拍相机 |
US11288408B2 (en) * | 2019-10-14 | 2022-03-29 | International Business Machines Corporation | Providing adversarial protection for electronic screen displays |
TWI730552B (zh) | 2019-12-19 | 2021-06-11 | 瑞昱半導體股份有限公司 | 信號處理裝置與信號處理方法 |
CN111614867B (zh) * | 2020-05-20 | 2022-04-01 | 广州市百果园信息技术有限公司 | 一种视频去噪方法、装置、移动终端和存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7245783B2 (en) * | 2003-06-24 | 2007-07-17 | Eastman Kodak Company | System and method for estimating, synthesizing and matching noise in digital images and image sequences |
JP4411879B2 (ja) * | 2003-07-01 | 2010-02-10 | 株式会社ニコン | 信号処理装置、信号処理プログラム、および電子カメラ |
KR100564592B1 (ko) * | 2003-12-11 | 2006-03-28 | 삼성전자주식회사 | 동영상 데이터 잡음제거방법 |
JP4755490B2 (ja) * | 2005-01-13 | 2011-08-24 | オリンパスイメージング株式会社 | ブレ補正方法および撮像装置 |
KR20070074781A (ko) * | 2006-01-10 | 2007-07-18 | 삼성전자주식회사 | 프레임율 변환장치 |
TWI323605B (en) * | 2006-05-12 | 2010-04-11 | Realtek Semiconductor Corp | Apparatus and method for reducing temporal noise |
JP4337857B2 (ja) * | 2006-09-28 | 2009-09-30 | ソニー株式会社 | 画像データのノイズ処理方法及びノイズ処理装置並びに撮像装置 |
JP5052301B2 (ja) * | 2007-11-21 | 2012-10-17 | オリンパス株式会社 | 画像処理装置、画像処理方法 |
JP5123756B2 (ja) * | 2008-06-26 | 2013-01-23 | オリンパス株式会社 | 撮像システム、画像処理方法および画像処理プログラム |
JP5306061B2 (ja) * | 2009-06-01 | 2013-10-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
WO2011083555A1 (ja) * | 2010-01-07 | 2011-07-14 | パナソニック株式会社 | 画像処理装置、画像生成システム、方法、およびプログラム |
US20110164146A1 (en) * | 2010-01-07 | 2011-07-07 | Himax Imaging, Inc. | Adaptive Frame Rate Control System and Method for an Image Sensor |
EP2413586B1 (en) * | 2010-07-26 | 2014-12-03 | Sony Corporation | Method and device for adaptive noise measurement of a video signal |
US8471932B2 (en) * | 2010-09-30 | 2013-06-25 | Apple Inc. | Spatial filtering for image signal processing |
JP5949559B2 (ja) * | 2011-01-06 | 2016-07-06 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
US8842930B2 (en) * | 2011-04-22 | 2014-09-23 | Panasonic Corporation | Image processing device and image processing method |
JP2013059016A (ja) * | 2011-08-12 | 2013-03-28 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5696026B2 (ja) * | 2011-11-25 | 2015-04-08 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像方法および監視システム |
JP5932485B2 (ja) * | 2012-05-25 | 2016-06-08 | キヤノン株式会社 | ノイズリダクション装置及びノイズリダクション方法 |
CN103514583B (zh) * | 2012-06-30 | 2016-08-24 | 华为技术有限公司 | 图像锐化方法及设备 |
US9374506B2 (en) * | 2013-01-04 | 2016-06-21 | Qualcomm Incorporated | Method and apparatus of reducing random noise in digital video streams |
US9142009B2 (en) * | 2013-07-30 | 2015-09-22 | Adobe Systems Incorporated | Patch-based, locally content-adaptive image and video sharpening |
CN103632352B (zh) * | 2013-11-01 | 2017-04-26 | 华为技术有限公司 | 一种噪声图像的时域降噪方法和相关装置 |
-
2014
- 2014-06-24 TW TW103121757A patent/TWI536319B/zh active
-
2015
- 2015-06-24 US US14/748,248 patent/US20150373235A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150373235A1 (en) | 2015-12-24 |
TW201601117A (zh) | 2016-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI536319B (zh) | 去雜訊方法以及影像系統 | |
US20210272251A1 (en) | System and Method for Real-Time Tone-Mapping | |
JP5102374B2 (ja) | 撮像システムにおける移動ぶれ及びゴースト防止のための方法及び装置 | |
KR100782845B1 (ko) | 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템 | |
Kim et al. | A novel approach for denoising and enhancement of extremely low-light video | |
JP7256902B2 (ja) | ビデオノイズ除去方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
US20140369601A1 (en) | Apparatus and method for enhancing image using color channel | |
US11017511B2 (en) | Method and system of haze reduction for image processing | |
KR20080046015A (ko) | 영상 잡음 제거 방법 및 장치 | |
KR102106537B1 (ko) | 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 | |
JP5392560B2 (ja) | 画像処理装置および画像処理方法 | |
Mangiat et al. | Spatially adaptive filtering for registration artifact removal in HDR video | |
KR102182697B1 (ko) | 영상 처리 장치 및 방법 | |
WO2020051361A1 (en) | Auto exposure of image sensors based upon entropy variance | |
WO2018159162A1 (ja) | 画像処理装置およびその制御方法及びプログラム | |
US20220198625A1 (en) | High-dynamic-range image generation with pre-combination denoising | |
Peng et al. | Single image restoration using scene ambient light differential | |
CN110782400B (zh) | 一种自适应的光照均匀实现方法和装置 | |
TW202025085A (zh) | 圖像處理設備和方法 | |
Yoo et al. | Flicker removal for CMOS wide dynamic range imaging based on alternating current component analysis | |
CN105282419A (zh) | 去噪声方法以及影像*** | |
Luo et al. | Real‐time digital image stabilization for cell phone cameras in low‐light environments without frame memory | |
Yun et al. | A contrast enhancement method for HDR image using a modified image formation model | |
KR101070057B1 (ko) | 적응형 감마 보정 곡선을 이용한 영상 처리 방법 | |
KR100821939B1 (ko) | 영상 잡음 제거 장치 및 방법 |