TWI580266B - 影像處理裝置 - Google Patents

Description

影像處理裝置

本發明是有關於一種影像處理裝置，且特別是有關於一種針對影像傳輸率進行補償的影像處理裝置。

隨著電子科技的演進，為方便訊息的擷取與傳輸，高效能的影像擷取裝置已經是電子裝置上的必要構件。

在進行影像擷取的過程中，通常影像會透過大氣被傳送至影像擷取器上。在這個傳輸過程中，傳送至影像擷取器的影像品質可能會因為當時大氣的影像傳輸率而有所改變。尤其是在戶外的環境中，大氣中可能存在煙霧或霧霾，而會使得所擷取到的影像模糊不清，造成畫質變差、對比度不佳及色彩失真等問題。

在習知技術中，有針對輸入影像進行傳輸率圖的估測動作，並依據估測到的傳輸率圖來進行影響補償的動作。在此，傳輸率圖中包括多數個數值，其中的每一個數值對應至輸入影像中的每一個畫素，並代表對應的畫素的影像傳送至影像擷取器的影像失真狀態。然而，習知的傳輸率圖的估測動作常因影像中物體的顏色、亮度而產生估測上的錯誤。例如，顏色接近大氣的顏色的物體其傳輸率會被低估，而亮度低的物體所被估測出來的傳輸率會較高（亮度高的物體所被估測出來的傳輸率則會較低），導致同一個物體同時會被估測出具有不同的傳輸率的矛盾現象。因此，習知的影像除霧動作的效果並無法令人滿意。

本發明提供一種影像處理裝置，用以改善影像因傳輸過程所造成的不清晰現象。

本發明的影像處理裝置包括影像傳輸率圖估測器、傳輸率圖優化器以及影像重建器。影像傳輸率圖估測器接收輸入影像，針對輸入影像的傳輸率進行估測並獲得估測傳輸率圖。傳輸率圖優化器耦接影像傳輸率圖估測器。傳輸率圖優化器接收估測傳輸率圖，並針對估測傳輸率圖進行多種不同程度的平滑化動作並藉以分別產生多數個平滑化估測傳輸率圖。傳輸率圖優化器並依據估測傳輸率圖及平滑化估測傳輸率圖來產生優化估測傳輸率圖。影像重建器耦接傳輸率圖優化器，接收優化估測傳輸率圖，並依據優化估測傳輸率圖重建輸入影像以產生輸出影像。

在本發明的一實施例中，影像處理裝置更包括除霧強度產生器。除霧強度產生器耦接該傳輸率圖優化器以及影像重建器，依據優化估測傳輸率圖來產生除霧強度值，並提供除霧強度值至影像重建器。其中，影像重建器更依據來產生輸出影像。

基於上述，本發明透過針對輸入影像的估測傳輸率圖進行優化的動作，並依據優化估測傳輸率圖來執行影像重建動作，提升影像顯示的效果。另外，本發明一實施例亦提供除霧強度產生器，以動態的依據輸入影像的霧化狀態來提供除霧強度值，並使影像處理裝置可對應執行除霧動作，更進一步提升輸出影像的品質。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

請參照圖1，圖1繪示本發明一實施例的影像處理裝置的示意圖。影像處理裝置100包括影像傳輸率圖估測器110、傳輸率圖優化器120以及影像重建器130。首先，本發明實施例的影像處理裝置100是依據如下式(1)的成像模型來進行影像處理動作：

I(x) = J(x)t(x) + A(1 – t(x))     (1)

其中，I為影像擷取器所獲得的有霧影像（亦即輸入影像SIMG）、x為影像中的每一個畫素、J是無霧影像、t為介質傳輸率、A則為大氣光對影像傳輸所造成的影響的大氣光資訊。

關於影像處理裝置100的動作細節方面，影像傳輸率圖估測器110接收輸入影像SIMG，並針對輸入影像SIMG的傳輸率進行估測並獲得估測傳輸率圖ETP。傳輸率圖優化器120則耦接至影像傳輸率圖估測器110。傳輸率圖優化器120接收估測傳輸率圖ETP，並針對估測傳輸率圖ETP進行多種不同程度的平滑化動作並藉以分別產生多數個平滑化估測傳輸率圖，並依據估測傳輸率圖及平滑化估測傳輸率圖來產生優化估測傳輸率圖MTP。影像重建器130則耦接至傳輸率圖優化器120。影像重建器130接收優化估測傳輸率圖MTP，並依據優化估測傳輸率圖MTP重建輸入影像SIMG以產生輸出影像OIMG。

在本實施例中，影像傳輸率圖估測器110可利用暗通道先驗（dark channel prior）的原理來進行輸入影像SIMG中的每一個畫素的傳輸率的估測動作。其中，估測傳輸率圖ETP可如下式(2)所示：

(2)

其中，w為除霧強度值，A設定為輸入影像SIMG中亮度最高的0.1%的像素的平均值，r、g、b分別表示紅、綠、藍三種顏色。

值得一提的，式(2)中計算估測傳輸率圖ETP的方式僅計算輸入影像SIMG中各畫素位置紅、綠、藍三通道的最小值，並不計算鄰近區域的畫素的最小值。

上述的傳輸率圖的估測手段僅只是一種範例，事實上，凡本領域具通常知識者所熟知的傳輸率圖的估測手段（例如半反相影像（semi-inverse image）或是顏色弱化先驗（color attenuation prior）都可以應用在本發明實施例的影像傳輸率圖估測器110，沒有一定的限制。

關於傳輸率圖優化器120的實施細節部分，在此請同步參照圖1以及圖2，其中，圖2繪示本發明實施例的傳輸率圖優化器的實施方式的示意圖。傳輸率圖優化器120包括運算器210、220以及濾波器230及240。濾波器230及240接收影像傳輸率圖估測器110所產生的估測傳輸率圖ETP，並針對估測傳輸率圖ETP進行不同程度的平滑化動作，並藉以分別產生平滑化估測傳輸率圖SETP1及SETP2。具體來說明，濾波器230及240可分別設定不同大小的遮罩，並分別依據不同大小的遮罩來對估測傳輸率圖ETP進行平滑化動作。值得一提的是，濾波器230所設定的遮罩的尺寸大小會小於濾波器240所設定的遮罩的尺寸大小。如此一來，濾波器230針對估測傳輸率圖ETP所進行的平滑化動作的平滑化程度，將會低於濾波器240針對估測傳輸率圖ETP所進行的平滑化動作的平滑化程度。

在本發明實施例中，運算器210耦接至濾波器230，並接收估測傳輸率圖ETP以及平滑化估測傳輸率圖SETP1。運算器210可依據權重矩陣來針對估測傳輸率圖ETP以及平滑化估測傳輸率圖SETP1執行內插運算，並藉以產生運算估測傳輸率圖ATP。其中，運算估測傳輸率圖ATP的計算方式可參照式(3)：

ATP(x) = W _weak(x)×SETP1(x)+(1- W _weak(x))×ETP(x)  (3)

其中，W _weak為權重矩陣，W _weak(x)則為權重矩陣中對應畫素x的權重值。

在此，權重矩陣W _weak可以依據估測傳輸率圖ETP與平滑化估測傳輸率圖SETP1的差來執行一個函數運算來產生，其中的數學關係式可以表示為如式(4)所示：

W _weak(x) = f(ETP(x) – SETP1(x))    (4)

其中的f()代表上述的函數運算，而這個函數運算可以是高斯函數或是線性伽瑪函數。值得注意的是，權重值W _weak(x)反比於估測傳輸率圖ETP與平滑化估測傳輸率圖SETP1的差。

此外，運算器220耦接至運算器210以及濾波器240。運算器220接收平滑化估測傳輸率圖SETP2以及運算估測傳輸率圖ATP，並依據另一個權重矩陣以針對平滑化估測傳輸率圖SETP2以及運算估測傳輸率圖ETP執行內插運算，並藉以產生優化估測傳輸率圖MTP。其中，運算估測傳輸率圖MTP的計算方式可參照式(5)：

MTP(x)=W _strong(x)×SETP2(x)+(1- W _strong(x))×ATP(x)  (5)

在此，權重矩陣W _strong可以依據運算估測傳輸率圖ATP來執行一個函數運算來產生，其中的數學關係式可以表示為如式(6)所示：

W _strong(x) = g(ATP(x))    (6)

其中的g()代表函數運算，而這個函數運算可以是高斯函數或是線性伽瑪函數。值得注意的是，權重值W _strong(x)反比於運算估測傳輸率圖ATP。

在另一方面，影像重建器130接收傳輸率圖優化器120所產生的優化估測傳輸率圖MTP，並據以進行影像重建的動作。其中，由式(1)可以獲得無霧影像J的還原公式如式(7)：

(7)

其中，max(MTP(x), tlb)代表取MTP(x)以及tlb中的最大值，而tlb則是預設的傳輸率的下限值，用以使除霧功能在濃霧區有所保留，可避免雜訊或瑕疵。

如上述說明可知，影像重建器130可依據式(7)來計算出輸出影像。也就是依據計算優化估測傳輸率圖MTP與傳輸率下限值tlb的多數個最大值，再依據輸入影像SIMG、大氣光資訊A以及上述的最大值來計算出輸出影像OIMG（亦即無霧影像J）。

以下請參照圖3，圖3繪示本發明另一實施例的影像處理裝置的示意圖。影像處理裝置300包括影像擷取器301、影像傳輸率圖估測器310、傳輸率圖優化器320、影像重建器330以及除霧強度產生器340。影像擷取器301用以擷取影像，並將所擷取到的影像的資訊作為輸入影像SIMG傳送至影像傳輸率圖估測器310。影像傳輸率圖估測器310針對輸入影像SIMG的畫素進行傳輸率的估測，並獲得估測傳輸率圖ETP。估測傳輸率圖ETP可被傳送至傳輸率圖優化器320，傳輸率圖優化器320則可針對估測傳輸率圖ETP執行優化動作，並產生優化傳輸率圖MTP。上述關於影像傳輸率圖估測器310以及傳輸率圖優化器320的動作細節與前述實施例中的傳輸率圖估測器110以及傳輸率圖優化器120的動作方式相類似，在此恕不多贅述。

與前述實施例不相同的，本實施例中更包括除霧強度產生器340。除霧強度產生器340耦接至影像重建器330以及傳輸率圖優化器320。除霧強度產生器340可設定一個區塊尺寸，並藉由這個區塊尺寸，來計算輸入影像SIMG中多個局部區域的多個動態範圍寬度。其中，各個局部區域的尺寸等於除霧強度產生器340所設定的區塊尺寸。而所謂的動態範圍寬度則是指各區塊中的畫素亮度的變動範圍。在本實施例中，動態範圍寬度R(x) = M(x) – m(x)，其中，M(x) = max{L(y) | y ∈ W(x)}，m(x) = min{L(y) | y ∈ W(x)}，W(x)為以畫素x為中心的鄰近區域的多個畫素，也就是區塊中的多個畫素。L(y)則為畫素y的亮度。

除霧強度產生器340並針對上述的多個動態範圍寬度來計算出平均動態範圍寬度，其中平均動態範圍寬度R _AVG的計算方式如式(8)所示：

(8)

其中，N為平滑化估測傳輸率圖SETP2中數值小於 的數量，而 則可透過下示的式(9)的計算來獲得。

(9)

其中，W、H分別為輸入影像SIMG的長及寬。

接著，除霧強度產生器340依據多數個預除霧強度對輸入影像SIMG進行預除霧動作並分別產生多數個預除霧後影像。除霧強度產生器340，並可計算出各個預除霧後影像的平均動態範圍寬度，並再依據各預除霧平均動態範圍寬度與平均動態範圍寬度R _AVG的差值來計算出霧氣濃度D，其中，霧氣濃度D的計算方式如下示的式(10)所示：

(10)

其中，R _q是依據預除霧強度q進行預除霧動作所產生的預除霧後影像的平均動態範圍寬度。在式(10)中，霧氣濃度D的數值越大表示霧氣越濃。在上式中，預除霧強度q的值介於0~1間，可以任意設定，預除霧強度q的數量也可以任意設定，沒有固定的限制。

除霧強度產生器340再透過映射函數以針對霧氣濃度D進行映射，就可產生除霧強度。除霧強度w的計算方式如式(11)所示：

(11)

其中，h為映射函數，b為預設的無霧臨界值。其中，霧氣濃度D與除霧強度w成正比。

附帶一提的，映射函數h可以是線性的映射函數也可以是非線性的映射函數，其中並沒有固定的限制。重點在於，映射函數h可依據霧氣濃度D來產生合適於影像重建器330合適處理的數值的除霧強度w。如此，影像重建器330可以重建出更為清晰的輸出影像OIMG。

值得一提的，本發明實施例的除霧強度w可以依據不同的輸入影像的狀態進行計算並動態調整，如此一來，影像處理裝置300可以對應環境變化來產生更清晰的輸出影像OIMG，提升其表現度。

在另一方面，本發明實施例中的影像擷取器301、影像傳輸率圖估測器310、傳輸率圖優化器320、影像重建器330以及除霧強度產生器340均可以利用特定功能的電路來完成。例如是數位電路。這些數位電路可以透過習知的數位電路設計方式（例如高階硬體描述語言以及合成器），並透過特殊應用積體電路（ASIC）來建構，或者，也可透過場效可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）來建構，沒有固定的限制。另外，影像擷取器301、影像傳輸率圖估測器310、傳輸率圖優化器320、影像重建器330以及除霧強度產生器340也可以利用一個或多個具有運算能力的控制器或處理器來建構。

而關於實施例中的計算式(1)~(11)，除可以透過電路進行運算來實現外，也可以依據各式(1)~(11)中，各參數間的關係來透過建立查找表的方式來完成。

綜上所述，本發明提供傳輸率圖優化動作，來使估測傳輸率圖可以更為優質化，並藉此產生更為清晰的輸出影像。另外，本發明實施例並提出除霧強度產生器以動態的調整除霧強度，如此一來，對應影像處理裝置所處的環境的變化，其除霧動作可以更具有適應性，提供優質的輸出影像。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100、300‧‧‧影像處理裝置

301‧‧‧影像擷取器

110、310‧‧‧影像傳輸率圖估測器

120、320‧‧‧傳輸率圖優化器

130、330‧‧‧影像重建器

340‧‧‧除霧強度產生器

SIMG‧‧‧輸入影像

ETP‧‧‧估測傳輸率圖

MTP‧‧‧優化估測傳輸率圖

OIMG‧‧‧輸出影像

230、240‧‧‧濾波器

210、220‧‧‧運算器

SETP1、SETP2‧‧‧平滑化估測傳輸率圖

ATP‧‧‧運算估測傳輸率圖

w‧‧‧除霧強度

圖1繪示本發明一實施例的影像處理裝置的示意圖。 圖2繪示本發明實施例的傳輸率圖優化器的實施方式的示意圖。 圖3繪示本發明另一實施例的影像處理裝置的示意圖。

100‧‧‧影像處理裝置

110‧‧‧影像傳輸率圖估測器

120‧‧‧傳輸率圖優化器

130‧‧‧影像重建器

SIMG‧‧‧輸入影像

ETP‧‧‧估測傳輸率圖

MTP‧‧‧優化估測傳輸率圖

OIMG‧‧‧輸出影像

Claims (10)

1. 一種影像處理裝置，包括：一影像傳輸率圖估測器，接收一輸入影像，針對該輸入影像的傳輸率進行估測並獲得一估測傳輸率圖；一傳輸率圖優化器，耦接該影像傳輸率圖估測器，接收該估測傳輸率圖，並針對該估測傳輸率圖進行多種不同程度的平滑化動作並藉以分別產生多數個平滑化估測傳輸率圖，並依據該估測傳輸率圖及該些平滑化估測傳輸率圖來產生一優化估測傳輸率圖；以及一影像重建器，耦接該傳輸率圖優化器，接收該優化估測傳輸率圖，並依據該優化估測傳輸率圖重建該輸入影像以產生一輸出影像；其中該傳輸率圖優化器更包括：一第一運算器，耦接該第一濾波器，接收該估測傳輸率圖以及該第一平滑化估測傳輸率圖，依據一第一權重矩陣針對該估測傳輸率圖以及該第一平滑化估測傳輸率圖執行內插運算以產生一運算估測傳輸率圖；以及一第二運算器，耦接該第二濾波器以及該第一運算器，接收該第二平滑化估測傳輸率圖以及該運算估測傳輸率圖，依據一第二權重矩陣以針對該第二平滑化估測傳輸率圖以及該運算估測傳輸率圖執行內插運算以產生該優化估測傳輸率圖； 其中該傳輸率圖優化器依據該估測傳輸率圖與該第一平滑化估測傳輸率圖的差執行一函數運算以產生該第一權重矩陣。
2. 如申請專利範圍第1項所述的影像處理裝置，其中該傳輸率圖優化器包括：一第一濾波器，透過一第一遮罩對該估測傳輸率圖進行濾波動作，並產生一第一平滑化估測傳輸率圖；以及一第二濾波器，透過一第二遮罩對該估測傳輸率圖進行濾波動作，並產生一第二平滑化估測傳輸率圖，其中，該第一遮罩的尺寸小於該第二遮罩的尺寸。
3. 如申請專利範圍第1項所述的影像處理裝置，其中該第一權重矩陣與該估測傳輸率圖與該第一平滑化估測傳輸率圖的差成反比。
4. 一種影像處理裝置，包括：一影像傳輸率圖估測器，接收一輸入影像，針對該輸入影像的傳輸率進行估測並獲得一估測傳輸率圖；一傳輸率圖優化器，耦接該影像傳輸率圖估測器，接收該估測傳輸率圖，並針對該估測傳輸率圖進行多種不同程度的平滑化動作並藉以分別產生多數個平滑化估測傳輸率圖，並依據該估測傳輸率圖及該些平滑化估測傳輸率圖來產生一優化估測傳輸率圖；以及一影像重建器，耦接該傳輸率圖優化器，接收該優化估測傳 輸率圖，並依據該優化估測傳輸率圖重建該輸入影像以產生一輸出影像；其中該傳輸率圖優化器更包括：一第一運算器，耦接該第一濾波器，接收該估測傳輸率圖以及該第一平滑化估測傳輸率圖，依據一第一權重矩陣針對該估測傳輸率圖以及該第一平滑化估測傳輸率圖執行內插運算以產生一運算估測傳輸率圖；以及一第二運算器，耦接該第二濾波器以及該第一運算器，接收該第二平滑化估測傳輸率圖以及該運算估測傳輸率圖，依據一第二權重矩陣以針對該第二平滑化估測傳輸率圖以及該運算估測傳輸率圖執行內插運算以產生該優化估測傳輸率圖；其中該傳輸率圖優化器依據該運算估測傳輸率圖以執行一函數運算以產生該第二權重矩陣。
5. 如申請專利範圍第4項所述的影像處理裝置，其中該運算估測傳輸率圖與該第二權重矩陣成反比。
6. 如申請專利範圍第1項所述的影像處理裝置，其中該影像重建器計算該優化估測傳輸率圖與一傳輸率下限值的多數個最大值，並依據該輸入影像、大氣光資訊以及該些最大值計算出該輸出影像。
7. 一種影像處理裝置，包括：一影像傳輸率圖估測器，接收一輸入影像，針對該輸入影像 的傳輸率進行估測並獲得一估測傳輸率圖；一傳輸率圖優化器，耦接該影像傳輸率圖估測器，接收該估測傳輸率圖，並針對該估測傳輸率圖進行多種不同程度的平滑化動作並藉以分別產生多數個平滑化估測傳輸率圖，並依據該估測傳輸率圖及該些平滑化估測傳輸率圖來產生一優化估測傳輸率圖；一影像重建器，耦接該傳輸率圖優化器，接收該優化估測傳輸率圖，並依據該優化估測傳輸率圖重建該輸入影像以產生一輸出影像；以及一除霧強度產生器，耦接該傳輸率圖優化器以及該影像重建器，依據該優化估測傳輸率圖來產生一除霧強度值，並提供該除霧強度值至該影像重建器，其中該影像重建器更依據該除霧強度值來產生該輸出影像；其中該除霧強度產生器計算該輸入影像中多個局部區域的多個動態範圍寬度，並依據該些動態範圍寬度計算出一平均動態範圍寬度，再依據該平均動態範圍寬度計算出該輸入影像中的一霧氣濃度，該除霧強度產生器且依據該霧氣濃度產生該除霧強度值。
8. 如申請專利範圍第7項所述的影像處理裝置，其中該除霧強度產生器依據多數個預除霧強度對該輸入影像進行預除霧動 作並分別產生多數個預除霧後影像，該除霧強度產生器並分別計算出該些預除霧後影像的多數個預除霧平均動態範圍寬度，再依據各該預除霧平均動態範圍寬度與該平均動態範圍寬度的差值來計算出該霧氣濃度。
9. 如申請專利範圍第7項所述的影像處理裝置，其中該除霧強度產生器計算各該預除霧平均動態範圍寬度與該平均動態範圍寬度的多數個差值，該除霧強度產生器計算各該差值與該平均動態範圍寬度的比值來獲得多數個數值，並取該些數值中的最大者來產生該霧氣濃度。
10. 如申請專利範圍第7項所述的影像處理裝置，其中該霧氣濃度與該除霧強度成正比。