TWI459810B

TWI459810B - 影像處理裝置及其處理方法

Info

Publication number: TWI459810B
Application number: TW100142683A
Authority: TW
Inventors: Chi Tung Hsu; Shih Fang Chuang
Original assignee: Altek Corp
Priority date: 2011-11-22
Filing date: 2011-11-22
Publication date: 2014-11-01
Also published as: TW201322765A; US8810677B2; US20130128061A1

Description

影像處理裝置及其處理方法

本發明是有關於一種影像處理裝置及其處理方法，且特別是有關於一種可進行空間/時間雜訊抑制(spatial/temparal noise reduction)功能的影像處理裝置及其處理方法。

多媒體技術的精進使現代人對高畫質影像的要求日漸提高。而影像品質的好壞與在擷取影像、訊號轉換以及傳輸過程中所伴隨產生的雜訊量有相當大的關連。為了有效地去除雜訊以提高影像品質，在影像處理領域中關於雜訊消除的研究也越來越受到重視。

圖1繪示為習知一種影像處理裝置100的方塊圖。請參照圖1，影像擷取模組110用以擷取貝爾圖(Bayer pattern)影像，並且經過垂直線扭曲校正模組(Vertical Distortion Correction，VDC)120用以補償垂直線失真問題。接著，影像再製管線(Image Reproduce Pipeline，IRP)模組130先將貝爾圖影像轉換成YCbCr格式影像後，再傳送至幾何轉換模組140進行幾何補償以修正影像在擷取過程中因鏡頭所造成的失真問題。由於影像在擷取過程中，容易因晃動或手震導致影像失真，因此，將YCbCr格式影像經過縮放模組150縮小影像後，影像穩定模組160利用縮小後的亮度通道影像與原尺寸的亮度通道影像進行移動量估測(motion estimation)及移動量校正(motion correction)。最後，再經由二維雜訊抑制模組170針對每一張影像進行二維空間的去雜訊處理後，便可進行儲存或播放。

如圖1所示之影像Img1~Img5，代表影像在不同的模組之間，都必須經過動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)的儲存，以供中央處理單元(Central Processing Unit，CPU)運算處理。然而，影像處理裝置100的動態隨機存取記憶體空間有限，因此如圖1所示之影像處理裝置100的架構，已使用大部份的動態隨機存取記憶體空間，使得習知之影像處理裝置100已無法再容納其他處理模組。

有鑑於此，本發明提供一種影像處理裝置及其處理方法，可藉由影像穩定模組所產生的資訊對貝爾圖影像進行時間雜訊抑制處理，藉以提昇影像品質。

從一觀點來看，本發明提出一種影像處理裝置，其包括影像擷取模組、影像分離模組、影像穩定模組、時間雜訊抑制模組以及空間雜訊抑制模組。其中，影像擷取模組擷取多數個貝爾圖(Bayer pattern)影像。影像分離模組耦接至影像擷取模組，縮小並將貝爾圖影像轉換成多數個第一亮度彩度(YCbCr)格式影像。影像穩定模組耦接至影像擷取模組及影像分離模組，用以接收第一亮度彩度格式影像中的亮度通道(Y channel)影像以及貝爾圖影像以進行移動量估測，藉以產生多數個全域移動向量。時間雜訊抑制模組(temparal noise reduction)耦接至影像擷取模組及影像穩定模組，依據全域移動向量對貝爾圖影像進行時間疊合(temporal blending)處理，藉以產生多數個第一雜訊抑制影像。空間雜訊抑制模組(spatial noise reduction)耦接至時間雜訊抑制模組，對第一雜訊抑制影像進行二維空間之去雜訊處理以產生第二雜訊抑制影像。

在本發明之一實施例中，所述之時間雜訊抑制模組依據全域移動向量對齊貝爾圖影像，並對貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產生第一雜訊抑制影像。

在本發明之一實施例中，所述之影像處理裝置更包括耦接至影像擷取模組與影像穩定模組的垂直線扭曲校正模組(vertical distortion correction，VDC)。垂直線扭曲校正模組用以接收貝爾圖影像，對貝爾圖影像進行鏡頭失真校正，並將校正後的貝爾圖影像傳送至影像穩定模組進行處理。

在本發明之一實施例中，所述之空間雜訊抑制模組包括耦接至時間雜訊抑制模組的影像再製管線(image reproduce pipeline，IRP)單元。影像再製管線單元將第一雜訊抑制影像轉換成多數個第二亮度彩度格式影像。

在本發明之一實施例中，所述之空間雜訊抑制模組包括耦接至影像再製管線單元的幾何轉換單元。幾何轉換單元依據多數個仿置矩陣(affine transformation)對第二亮度彩度格式影像進行校正，藉以補償幾何失真問題。

在本發明之一實施例中，所述之空間雜訊抑制模組包括耦接至幾何轉換單元的銳化降噪處理單元。銳化降噪處理單元對第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對第二亮度彩度格式影像中的彩度通道影像進行二維空間之去雜訊處理，以產生第二雜訊抑制影像。

在本發明之一實施例中，所述之影像處理裝置更包括耦接至空間雜訊抑制模組的壓縮模組。壓縮模組對第二雜訊抑制影像進行壓縮，並儲存壓縮後的第二雜訊抑制影像。

在本發明之一實施例中，所述之影像處理裝置更包括耦接至空間雜訊抑制模組的顯示模組，藉以播放第二雜訊抑制影像。

從另一觀點來看，本發明提出一種影像處理方法，包括下列步驟。首先，擷取多數個貝爾圖影像。縮小並轉換貝爾圖影像以產生多數個第一亮度彩度格式影像。然後，接收第一亮度彩度格式影像中的亮度通道影像及貝爾圖影像以進行移動量估測，藉以產生多數個全域移動向量。並依據這些全域移動向量對貝爾圖影像進行時間疊合處理，藉以產生多數個第一雜訊抑制影像。此外，還可對第一雜訊抑制影像進行二維空間之去雜訊處理以產生多數個第二雜訊抑制影像。

在本發明之一實施例中，所述之依據全域移動向量對貝爾圖影像進行時間疊合處理以產生第一雜訊抑制影像的步驟包括依據全域移動向量對齊該些貝爾圖影像，並對貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產生第一雜訊抑制影像。

在本發明之一實施例中，其中在擷取該些貝爾圖影像的步驟之後更包括對貝爾圖影像進行垂直線扭曲校正。

在本發明之一實施例中，所述之對第一雜訊抑制影像進行二維空間之去雜訊處理以產生第二雜訊抑制影像包括下列步驟。先將第一雜訊抑制影像轉換成多數個第二亮度彩度格式影像。並依據多數個仿置矩陣對第二亮度彩度格式影像進行校正，藉以補償幾何失真問題。此外，對第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對第二亮度彩度格式影像中的彩度通道(Cb/Cr channel)影像進行二維空間之去雜訊處理，以產生第二雜訊抑制影像。

在本發明之一實施例中，其中在產生第二雜訊抑制影像的步驟之後更包括對第二雜訊抑制影像進行壓縮，並儲存壓縮後的第二雜訊抑制影像。

在本發明之一實施例中，其中在產生第二雜訊抑制影像的步驟之後更包括將第二雜訊抑制影像傳送至顯示模組以播放第二雜訊抑制影像。

基於上述，本發明所提供之影像處理裝置及其處理方法，在有限的動態隨機存取記憶體之下，藉由影像穩定模組所產生的資訊對貝爾圖影像進行時間雜訊抑制處理，且仍可對貝爾圖影像進行空間雜訊抑制處理，因此可大幅提昇影像品質。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖2是依照本發明一實施例所繪示之影像處理裝置的方塊圖。請參照圖2，本實施例的影像處理裝置200例如是數位相機、單眼相機、數位攝影機或是其他具有影像處理功能的智慧型手機、平板電腦等等，不限於上述。影像處理裝置200包括影像擷取模組210、影像分離模組220、影像穩定模組230、時間雜訊抑制模組240以及空間雜訊抑制模組250。其功能分述如下：

影像擷取模組210可包括鏡頭、感光元件以及光圈等，用以擷取貝爾圖影像。影像分離模組220主要包括兩個功能，其一是可縮小貝爾圖影像，另一是可將貝爾圖影像轉換成第一亮度彩度(YCbCr)格式影像(以下簡稱YCbCr格式影像)。影像穩定模組230進行移動量估測，並可執行移動量校正。時間雜訊抑制模組240可對影像進行時間疊合處理，以達到降低雜訊的目的。空間雜訊抑制模組250則是對影像進行二維空間的去雜訊處理。上述之各模組皆由硬體所組成。硬體例如是一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)或其他類似裝置。

圖3是依照本發明一實施例所繪示之一種影像處理方法的流程圖。請參照圖3，本實施例的方法適用於圖2的影像處理裝置200，以下即搭配圖2中的各模組說明本實施例影像處理方法的詳細步驟：

首先如步驟S310所述，影像擷取模組210擷取多數個貝爾圖影像Img6，並可將這些貝爾圖影像Img6分別傳送至影像分離模組220、影像穩定模組230以及時間雜訊抑制模組240以進行進一步地處理。於步驟S320中，影像分離模組220縮小並將貝爾圖影像轉換成多數個第一YCbCr格式影像，其中縮小的比例可依實際需求做設定。在此須特別說明的是，影像分離模組220可直接對影像擷取模組210所擷取的貝爾圖影像Img6進行縮小，而不需要經過動態隨機存取記憶體的讀取，因此可節省動態隨機存取記憶體的頻寬。

接著於步驟S330，影像穩定模組230接收影像分離模組220所產生的第一YCbCr格式影像中的亮度通道影像Img7，並利用亮度通道影像Img7與貝爾圖影像Img6進行移動量估測，藉以產生全域移動向量X,Y，並將此全域移動向量X,Y傳送至時間雜訊抑制模組240，本發明並不對計算全域移動向量的方式加以限制。

如步驟S340所述，時間雜訊抑制模組240接收影像穩定模組230所產生的全域移動向量X,Y，並依據此全域移動向量X,Y對貝爾圖影像Img6進行時間疊合處理，藉以產生多數個第一雜訊抑制影像Img8，其中，第一雜訊抑制影像Img8仍為貝爾圖格式影像。更詳細地說，時間雜訊抑制模組240依據全域移動向量X,Y對齊多數個貝爾圖影像Img6，並對貝爾圖影像Img6之間的顏色與亮度差距採用不同的權重值進行時間疊合處理，以產生第一雜訊抑制影像Img8。所謂根據顏色與亮度差距採用不同的權重值進行時間疊合處理是為了避免在多數個貝爾圖影像Img6之間的顏色與亮度差距過大時，進行不當疊合處理而使第一雜訊抑制影像Img8產生鬼影(ghost)的狀況。

接下來在步驟S350中，空間雜訊抑制模組250耦接至時間雜訊抑制模組240，對第一雜訊抑制影像Img8進行二維空間之去雜訊處理以產生第二雜訊抑制影像Img9，其中，第二雜訊抑制影像Img9為第二YCbCr格式影像，其中第二YCbCr格式影像之尺寸大於第一YCbCr格式影像之尺寸，舉例來說，第一YCbCr格式影像之尺寸例如為320×160；第二YCbCr格式影像之尺寸例如為1280×720。空間雜訊抑制模組250可包括補償鏡頭失真之幾何補償功能、銳化以及二維空間去雜訊處理功能等。如圖4所示，圖4是依照本發明一實施例之空間雜訊抑制模組250的一實施方式。請同時配合參照圖2與圖4，空間雜訊抑制模組250包括影像再製管線單元252、幾何轉換單元254以及銳化降噪處理單元256。

影像再製管線單元252將接收自時間雜訊抑制模組240的第一雜訊抑制影像Img8轉換成第二YCbCr格式影像Img10。接著，幾何轉換單元254接收此第二YCbCr格式影像Img10，依據仿置矩陣對第二YCbCr格式影像Img10進行校正，藉以補償幾何失真或進行幾何校正。最後，在本實施例中，耦接至幾何轉換單元254的銳化降噪處理單元256對第二YCbCr格式影像Img11中的亮度通道影像進行銳化處理，並且對第二YCbCr格式影像Img11中的彩度通道影像進行二維空間之去雜訊處理，以產生第二雜訊抑制影像Img9。

如圖2所示，本實施例是透過時間雜訊抑制模組240進行時間疊合處理以及空間雜訊抑制模組250進行二維空間之去雜訊處理來達到三維雜訊抑制(3-dimensional Noise Reduction，3DNR)的效果。基此，對於具有高訊框率(frame rate)與高解析度的影像處理裝置來說，便能藉由圖3所示之各步驟而更有效地消除其所拍攝之影像中的雜訊，進而提昇影像品質。

以下另舉一實施例作為範例說明，圖5是依照本發明另一實施例所繪示之影像處理裝置的方塊圖。請參照圖5，在本實施例中，影像處理裝置500除了包括影像擷取模組210、影像分離模組220、影像穩定模組230、時間雜訊抑制模組240以及空間雜訊抑制模組250之外，還包括垂直線扭曲校正模組560、壓縮模組570以及顯示模組580。由於圖5所示之影像處理裝置500與圖2所示之影像處理裝置200大致相似，故以下僅就兩者不同之處進行說明。

垂直線扭曲校正模組560耦接於影像擷取模組210與影像穩定模組230之間，用以接收貝爾圖影像Img12，對貝爾圖影像Img12進行鏡頭失真校正，並將校正後的貝爾圖影像Img13傳送至影像穩定模組230與時間雜訊抑制模組240進行處理。

壓縮模組570與顯示模組580則分別耦接至空間雜訊抑制模組250。壓縮模組570對第二雜訊抑制影像Img16進行壓縮，例如可採用聯合影像專家群組(Joint Photographic Coding Expert Group，JPEG)或H.264壓縮標準並儲存壓縮後的第二雜訊抑制影像。顯示模組580可用以播放第二雜訊抑制影像Img16，需說明的是，第二雜訊抑制影像Img16在進行播放之前，還可根據顯示模組580的螢幕尺寸進行縮放，以產生適合顯示模組580播放的影像尺寸。

表一與表二為在相同的測試條件下，分別對習知之影像處理裝置100與本實施例之影像處理裝置500進行處理之動態隨機存取記憶體使用情況。其中記憶體頻寬(memory bandwidth)表示各模組平均每秒所需的百萬位元(MB/s)。

由表一與表二的實驗結果可得到以下結論：本發明之影像處理裝置500與習知影像處理裝置100之相同模組進行比較，本實施例所須使用的記憶體頻寬皆低於習知之裝置。此外，本發明除了二維雜訊抑制功能之外，更包括時間雜訊抑制模組來達到三維雜訊抑制的效果，但本實施例所需使用的總頻寬仍小於習知之影像處理裝置100所需的總頻寬。

綜上所述，本發明改善了習知架構對於動態隨機存取記憶體空間不足的缺點，藉由影像穩定模組所產生的全域移動向量資訊對貝爾圖影像進行時間雜訊抑制處理。因此，本發明所提供之影像處理裝置及其處理方法，透過進行時間疊合處理以及空間去雜訊處理來達到三維去除雜訊的效果，大幅提昇影像品質。此外，本發明對於動態隨機存取記憶體的需求較低也使得整體執行時間下降，提高了影像處理的效能。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、200、500．．．影像處理裝置

110、210．．．影像擷取模組

120、560．．．垂直線扭曲校正模組

130．．．影像再製管線模組

140．．．幾何轉換模組

150．．．縮放模組

160、230．．．影像穩定模組

170．．．二維雜訊抑制模組

220．．．影像分離模組

240．．．時間雜訊抑制模組

250．．．空間雜訊抑制模組

252．．．影像再製管線單元

254．．．幾何轉換單元

256．．．銳化降噪處理單元

570．．．壓縮模組

580．．．顯示模組

X,Y．．．全域移動向量

Img1~Img16．．．影像

S310~S350．．．影像處理方法之各步驟

圖1繪示為習知一種影像處理裝置的方塊圖。

圖2是依照本發明一實施例所繪示之影像處理裝置的方塊圖。

圖3是依照本發明一實施例所繪示之一種影像處理方法的流程圖。

圖4是依照本發明一實施例之空間雜訊抑制模組250的一實施方式。

圖5是依照本發明另一實施例所繪示之影像處理裝置的方塊圖。

200．．．影像處理裝置

210．．．影像擷取模組

220．．．影像分離模組

230．．．影像穩定模組

240．．．時間雜訊抑制模組

250．．．空間雜訊抑制模組

X,Y．．．全域移動向量

Img6~Img9．．．影像

Claims

一種影像處理裝置，包括：一影像擷取模組，擷取多數個貝爾圖影像；一影像分離模組，耦接至該影像擷取模組，縮小並轉換該些貝爾圖影像以產生多數個第一亮度彩度格式影像；一影像穩定模組，耦接至該影像擷取模組與該影像分離模組，接收該些第一亮度彩度格式影像中的亮度通道影像及該些貝爾圖影像以進行移動量估測，藉以產生多數個全域移動向量；一時間雜訊抑制模組，耦接至該影像擷取模組與該影像穩定模組，依據該些全域移動向量對該些貝爾圖影像進行一時間疊合處理以產生多數個第一雜訊抑制影像；以及一空間雜訊抑制模組，耦接至該時間雜訊抑制模組，對該些第一雜訊抑制影像進行二維空間之去雜訊處理以產生多數個第二雜訊抑制影像。
如申請專利範圍第1項所述之影像處理裝置，其中：該時間雜訊抑制模組依據該些全域移動向量對齊該些貝爾圖影像，並對該些貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產生該些第一雜訊抑制影像。
如申請專利範圍第1項所述之影像處理裝置，更包括：一垂直線扭曲校正模組，耦接至該影像擷取模組與該影像穩定模組，接收該影像擷取模組所擷取的該些貝爾圖影像，該垂直線扭曲校正模組對該些貝爾圖影像進行鏡頭失真校正，並將校正後的該些貝爾圖影像傳送至該影像穩定模組進行處理。
如申請專利範圍第1項所述之影像處理裝置，其中該空間雜訊抑制模組包括：一影像再製管線單元，耦接至該時間雜訊抑制模組，將該些第一雜訊抑制影像轉換成多數個第二亮度彩度格式影像。
如申請專利範圍第4項所述之影像處理裝置，其中該空間雜訊抑制模組包括：一幾何轉換單元，耦接至該影像再製管線單元，對該些第二亮度彩度格式影像依據多數個仿置矩陣進行校正，藉以補償幾何失真問題。
如申請專利範圍第5項所述之影像處理裝置，其中該空間雜訊抑制模組包括：一銳化降噪處理單元，耦接至該幾何轉換單元，對該些第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對該些第二亮度彩度格式影像中的彩度通道影像進行二維空間之去雜訊處理，以產生該些第二雜訊抑制影像。
如申請專利範圍第1項所述之影像處理裝置，更包括：一壓縮模組，耦接至該空間雜訊抑制模組，對該些第二雜訊抑制影像進行壓縮，並儲存壓縮後的該些第二雜訊抑制影像。
如申請專利範圍第1項所述之影像處理裝置，更包括：一顯示模組，耦接至該空間雜訊抑制模組，藉以播放該些第二雜訊抑制影像。
一種影像處理方法，包括：擷取多數個貝爾圖影像；縮小並轉換該些貝爾圖影像以產生多數個第一亮度彩度格式影像；接收該些第一亮度彩度格式影像中的亮度通道影像及該些貝爾圖影像以進行移動量估測，藉以產生多數個全域移動向量；依據該些全域移動向量對該些貝爾圖影像進行一時間疊合處理以產生多數個第一雜訊抑制影像；以及對該些第一雜訊抑制影像進行二維空間之去雜訊處理以產生多數個第二雜訊抑制影像。
如申請專利範圍第9項所述之影像處理方法，其中依據該些全域移動向量對該些貝爾圖影像進行該時間疊合處理以產生該些第一雜訊抑制影像的步驟包括：依據該些全域移動向量對齊該些貝爾圖影像，並對該些貝爾圖影像之間的顏色與亮度差距進行時間疊合處理，以產生該些第一雜訊抑制影像。
如申請專利範圍第9項所述之影像處理方法，其中在擷取該些貝爾圖影像的步驟之後更包括：對該些貝爾圖影像進行垂直線扭曲校正。
如申請專利範圍第9項所述之影像處理方法，其中對該些第一雜訊抑制影像進行二維空間之去雜訊處理以產生該些第二雜訊抑制影像的步驟包括：將該些第一雜訊抑制影像轉換成多數個第二亮度彩度格式影像；對該些第二亮度彩度格式影像依據多數個仿置矩陣進行校正，藉以補償幾何失真問題；以及對該些第二亮度彩度格式影像中的亮度通道影像進行銳化處理，且對該些第二亮度彩度格式影像中的彩度通道影像進行二維空間之去雜訊處理，以產生該些第二雜訊抑制影像。
如申請專利範圍第9項所述之影像處理方法，在產生該些第二雜訊抑制影像的步驟之後更包括：對該些第二雜訊抑制影像進行壓縮，並儲存壓縮後的該些第二雜訊抑制影像。
如申請專利範圍第9項所述之影像處理方法，在產生該些第二雜訊抑制影像的步驟之後更包括：將該些第二雜訊抑制影像傳送至一顯示模組以播放該些第二雜訊抑制影像。