TWI406571B - Image Processing Method for Enhancing Image Edge Resolution - Google Patents

Description

增強影像邊緣解析之影像處理方法

本發明係關於一種影像處理方法，特別是關於一種可應用於各式主機板、顯示卡或影像處理裝置之增強影像邊緣解析之影像處理方法。

由於現今顯示技術不斷進步，早期映像管式的顯示幕已逐漸淘汰，取而代之的為液晶(Liquid Crystal)或電漿(Plasma)之平面型式顯示裝置。且大部份的平面型式顯示裝置具有(1920×1080p)之高規範(High Definition，HD)分辨率(resolution)。但一般影像格式之分辨率係屬於低於高規範之標準規範(Standard Definition，SD)，為了使分辨率較低之標準規範影像輸入至高規範顯示裝置時仍維持有高規範的效果，需有效解決影像與顯示裝置匹配顯示的問題。可利用影像處理技術(Video Upsampling)以及數位影像強化技術(super resolution)將分辨率較低之標準規範影像顯示於高規範顯示裝置，但影像強化技術相較於基本影像分辨率提高轉換濾波器的方法，其複雜度高且需要極大的硬體計算支援，因此，大多數的影像產品寧可採用複雜度較低之影像分辨率提高轉換濾波器方法。

影像分辨率提高轉方法可支援影像邊緣與紋理以及影像毛邊現象與雜訊的處理，其係包含有線性與非線性二種方法。線性方法一般為雙線性補插(bilinear interpolation)，線性方法成本低，且可減少毛邊現象(artifact)，降低影像模糊，最常整合於顯示卡中，但影像邊緣仍存在許多放射(overshoot)，並且毛邊現象並未能完全消除。採用非線性方法將能夠有效改善線性方法的缺失，但影像細小邊緣仍是相當的模糊。

有鑑於此，本發明係針對上述該些困擾與目標，提出一種增強影像邊緣解析之影像處理方法，以將分辨率較低之影像轉換成為高分辨率顯示的影像處理技術，並且複雜度極低，能夠普遍應用於各種顯示 裝置或影像處理硬體裝置。

本發明之主要目的係在提供一種增強影像邊緣解析之影像處理方法，其係能夠大幅減少影像雜訊，以及影像邊緣放射與毛邊，降低影像模糊，有效提升影像分辨率。

本發明之另一目的係在提供一種增強影像邊緣解析之影像處理方法，其係複雜度極低，不需大量硬體計算支援，且能夠與各式中央處理器、影像處理晶片、主機板、顯示卡及數位影像處理器搭配，實用性極佳。

為達到上述之目的，本發明提出之增強影像邊緣解析之影像處理方法，其係將影像轉換成為影像圖層；影像圖層透過雙向濾波器平滑消除影像圖層亮度值變化量小之雜訊，保留亮度值變化量大之邊緣，產生高分辨率影像圖層；將高分辨率影像圖層之每一畫素經由資料相依三角剖分，使每一畫素係具有一對角線，且區分高分辨率影像圖層為複數個水平區塊及垂直區塊，並藉由對角線將高分辨率影像圖層建立為複數個水平畫素域以及垂直畫素域，水平畫素域與垂直畫素域係透過銳化濾波器梯度化，以除去高分辨率影像圖層之非均勻邊緣，產生銳化影像圖層；並且經由補插濾波器計算水平畫素域與垂直畫素域之中心畫素點，以及相對應該中心畫素點之對立畫素點，產生補插畫素對銳化影像圖層進行補插，以產生高解析影像圖層。

底下藉由具體實施例配合所附的圖式詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提出一種增強影像邊緣解析之影像處理方法，其係利用雙向濾波器消除影像圖層雜訊，並同時保持平順的邊緣，再透過銳化濾波器梯度化影像圖層，減少影像圖層毛邊現象造成的非均勻邊緣，且增加影像圖層之紋理與邊緣細節，最後藉由補插濾波器補插影像圖 層，增加影像圖層解析。底下則將以較佳實施例詳述本發明之技術特徵。

第一圖為本發明增強影像邊緣解析之流程圖，如圖所示，首先，如步驟S10，將一影像轉換成為一影像圖層，影像圖層的格式係為色光三原色(RGB)、亮度色調飽和度(YUV)或明度紅綠度黃藍度(CIE-Lab)。

之後，如步驟S12，計算影像圖層之模糊增益，並依據模糊增益計算硬體執行雙向濾波器進行影像圖層濾波的複雜度，以判別硬體負荷，當複雜度未高於硬體負荷時，如步驟S14，將以一反向強度高斯雙向濾波器(Inverted Intensity Gaussian Bilateral Filter，IIG Bilateral Filter)消除影像圖層之雜訊，產生一高分辨率影像圖層；當複雜度高於硬體負荷時，如步驟S16，則以一般的高斯模糊濾波器去除影像圖層之雜訊。由於部份整合顯示卡之主機板或硬體裝置無法支援過於複雜之雙向濾波器濾波影像圖層的運算，因此，在硬體無法負荷運算時，採取高斯模糊濾波器進行影像圖層濾波，減少濾波時運算複雜度。

再來，如步驟S18，藉由一銳化濾波器將高分辨率影像圖層梯度化，除去高分辨率影像圖層中放射(overshoot)所造成之非均勻邊緣，增強紋理與邊緣細節，以產生一銳化影像圖層。

接著，如步驟S20，利用一補插濾波器補插銳化影像圖層，產生一高解析影像圖層。

最後，如步驟S22，將經過濾波、梯度化及補插成為高解析影像圖層之影像圖層還原為影像的格式，以供高規範顯示裝置進行顯示。

以上為本發明影像處理的流程說明，底下將對於反向強度高斯雙向濾波器的濾波器設計，以及銳化濾波器、補插濾波器進行影像圖層的梯度化及補插做詳細說明。

反向強度高斯雙向濾波器係細分為水平反向強度高斯雙向濾波器與垂直反向強度高斯雙向濾波器，影像圖層先透過水平反向強度高斯雙向濾波器水平濾波處理後，再經由垂直反向強度高斯雙向濾波器進 行垂直濾波處理，以消除影像圖層之雜訊，產生高分辨率影像圖層。為了有效將影像圖層的雜訊(trickle noise)與毛邊現象(compression artifact)去除，並同時保持平順邊緣，反向強度高斯雙向濾波器之設計將如下列式(1)、式(2)、式(3)及式(4)推導所示：

其中，B()為強度域之增強，c為一畫素，a為畫素c之一相鄰畫素，I()為反射一畫素強度值之明度紅綠度黃藍度(CIE-Lab)畫素顏色空間或色光三原色(RGB)空間，P()為反射一畫素之位置，f()為空間域(spatial)濾波函式，g()為強度域(intensity)濾波函式，D()為距離函式，C為一常數。

上述式(1)係為表示一畫素之強度域的增強為畫素(c)本身之強度域與空間域，以及鄰近畫素(a)之強度域與空間域積分求得，反向強度高斯雙向濾波器將反覆濾波至強度變化低於濾波門檻或直至到達為零；式(2)與式(3)表示為反射畫素(a)強度值與反射相鄰畫素(c)強度值之強度域的變化曲線，以及反射畫素(a)強度值與反射相鄰畫素(c)強度值之空間域的變化曲線，其中，距離函式D()可為歐幾里德(Euclidean)距離函式，且於影像為八位元深度，常數C係設為0.004；將式(2)與式(3)代入至式(1)中，可得式(4)，經由式(4)計算將確保影像圖層之畫 素的空間域與強度域同時進行高斯模糊化處理，影像圖層中亮度值變化量小之雜訊係平滑消除，保留影像圖層中亮度值變化量大之邊緣，產生高分辨率影像圖層。

以上為反向強度高斯雙向濾波器的濾波器設計的推導說明，底下將進一步對梯度化與補插進行說明。

在藉由銳化濾波器梯度化高分辨率影像圖層的步驟時，首先，如第二(a)圖與第二(b)圖所示，透過資料相依三角剖分(Data Dependent Triangulation，DDT)進行畫素剖分，使高分辨率影像圖層之每一畫素將具有一對角線。高分辨率影像圖10之每一畫素12皆以四個頂點a、b、c、d表示，假設頂點a減去頂點c之絕對值，小於頂點b減去頂點d之絕對值(if | a-c |<| b-d |)，將產生由頂點a至頂點c之對角線14；假設頂點a減去頂點c之絕對值，大於頂點b減去頂點d之絕對值(if | a-c |>| b-d |)，將產生由頂點b至頂點d之對角線14。

之後，如第三(a)圖所示，將高分辨率影像圖層10區分為複數個2×2之水平區塊20，且藉由對角線14建立複數個水平畫素域22，使得2×2之水平區塊20成為2×3之水平區塊20，且每一水平畫素域22具有一中心畫素點P0以及與中心畫素點P0相對應之一對立畫素點P2。並且由於對角線14的斜面不同，所建立之水平畫素域22的形狀亦不為相同，當兩相鄰對角線14具有共點時，建立之水平畫素域22係為三角形；檔兩相鄰對角線14相互平行時，建立之水平畫素域22係為四邊形。在建立水平畫素域22後，透過高通之銳化濾波器對水平畫素域22進行水平梯度化。

接著，如第三(b)圖所示，將經過水平梯度化之高分辨率影像圖層10區分為複數個2×2之垂直區塊30，且藉由對角線14建立複數個垂直畫素域32，使得2×2之垂直區塊30成為3×2之垂直區塊30，並在建立垂直畫素域32後，將垂直畫素域32透過高通之銳化濾波器進行垂直梯度化。

此外，垂直畫素域32係如同水平畫素域22具有一中心畫素點P0 與一對立畫素點P2，並且其形狀亦依據對角線14的斜面不同，係為三角形或四邊形。

在高分辨率影像圖層10經過銳化濾波器進行水平梯度化與垂直梯度化減少非均勻之邊緣，產生銳化影像圖層後，再透過補插濾波器補插銳化影像圖層，以提升解析度。補插濾波器係計算水平畫素域22以及垂直畫素域30之中心畫素點P0，及對立畫素點P2，產生補插畫素進行補插，產生一高解析影像圖層。

經由上述實施例說明可知本發明係藉由雙向濾波器、銳化濾波器，對轉換為影像圖層之影像進行濾波、梯度化與提升解析度的影像處理，以增強影像邊緣解析，降低影像模糊。並且本發明複雜度極低能夠廣泛應用於各種影像處理裝置。

以上所述之實施例僅係為說明本發明之技術思想及特點，其目的在使熟習此項技藝之人士能夠瞭解本發明之內容並據以實施，當不能以之限定本發明之專利範圍，即大凡依本發明所揭示之精神所作之均等變化或修飾，仍應涵蓋在本發明之專利範圍內。

10‧‧‧高分辨率影像

12‧‧‧畫素

14‧‧‧對角線

20‧‧‧水平區塊

22‧‧‧水平畫素域

30‧‧‧垂直區塊

32‧‧‧垂直畫素域

第一圖為本發明增強影像邊緣解析之流程圖。

第二(a)圖為本發明資料相依三角剖分剖分畫素之示意圖。

第二(b)圖為本發明資料相依三角剖分高分辨率影像圖像之示意圖。

第三(a)圖為本發明高分辨率影像圖層區分為水平區塊建立水平畫素域之示意圖。

第三(b)圖為本發明高分辨率影像圖層區分為垂直區塊建立垂直畫素域之示意圖。

Claims (15)

1. 一種增強影像邊緣解析之影像處理方法，其包含有下列步驟：轉換一影像成為一影像圖層；藉由一雙向濾波器除去該影像圖層之雜訊，產生一高分辨率影像圖層，並且計算該影像圖層之模糊增益，且依據該模糊增益計算透過該雙向濾波器執行濾波之複雜度，當複雜度高於硬體負荷時，將以一高斯模糊濾波器進行該影像圖層之雜訊的去除；以及藉由一銳化濾波器梯度化該高分辨率影像圖層，除去該高分辨率影像圖層之非均勻邊緣，產生一銳化影像圖層，並且經由一補插濾波器補插該銳化影像圖層，產生高解析影像圖層。
2. 如申請專利範圍第1項所述之增強影像邊緣解析之影像處理方法，更包括轉換該高解析影像圖層的步驟，將該高解析影像圖層還原為該影像之格式。
3. 如申請專利範圍第1項所述之增強影像邊緣解析之影像處理方法，其中該影像係轉換成為色光三原色(RGB)、亮度色調飽和度(YUV)或明度紅綠度黃藍度(CIE-Lab)等格式之該影像圖層。
4. 如申請專利範圍第1項所述之增強影像邊緣解析之影像處理方法，其中該雙向濾波器係為一反向強度高斯雙向濾波器(Inverted Intensity Gaussian Bilateral Filter，IIG Bilateral Filter)。
5. 如申請專利範圍第4項所述之增強影像邊緣解析之影像處理方法，其中該反向強度高斯雙向濾波器除去該影像圖層之雜訊係滿足下列條件： 其中，B()為強度域之增強，c為一畫素，a為畫素c之一相鄰畫素，I()為反射一畫素強度值之顏色空間，P()為反射一畫素之位置， D()為距離函式，C為一常數，該影像圖層之雜訊去除係滿足公式(1)所示，經由以上公式(1)計算將確保該影像圖層之畫素的空間域與強度域同時進行高斯模糊化處理，該影像圖層中亮度值變化量小之雜訊將平滑消除，保留該影像圖層中亮度值變化量大之邊緣，以產生該高分辨率影像圖層。
6. 如申請專利範圍第1項所述之增強影像邊緣解析之影像處理方法，其中在藉由該銳化濾波器梯度化該高分辨率影像圖層的步驟中，該高分辨率影像圖層係透過資料相依三角剖分(Data Dependent Triangulation，DDT)，剖分該高分辨率影像圖層之每一畫素，每一該畫素將具有一對角線。
7. 如申請專利範圍第6項所述之增強影像邊緣解析之影像處理方法，其中該高分辨率影像圖層係區分為複數個水平區塊，且藉由該對角線建立複數個水平畫素域，該水平畫素域將藉由該銳化濾波器梯度化。
8. 如申請專利範圍第7項所述之增強影像邊緣解析之影像處理方法，其中兩相鄰該對角線具有共點，藉由該對角線建立之該水平畫素域係為三角形。
9. 如申請專利範圍第7項所述之增強影像邊緣解析之影像處理方法，其中兩相鄰該對角線相互平行，藉由該對角線建立之該水平畫素域係為四邊形。
10. 如申請專利範圍第6項所述之增強影像邊緣解析之影像處理方法，其中該高分辨率影像圖層係區分為複數個垂直區塊，且藉由該對角線建立複數個垂直畫素域，該垂直畫素域將藉由該銳化濾波器梯度化。
11. 如申請專利範圍第10項所述之增強影像邊緣解析之影像處理方法，其中兩相鄰該對角線具有共點，藉由該對角線建立之該垂直畫素域係為三角形。
12. 如申請專利範圍第10項所述之增強影像邊緣解析之影像處理方 法，其中兩相鄰該對角線相互平行，藉由該對角線建立之該垂直畫素域係為四邊形。
13. 如申請專利範圍第1項所述之增強影像邊緣解析之影像處理方法，其中該銳化濾波器係為一高通銳化濾波器。
14. 如申請專利範圍第7項所述之增強影像邊緣解析之影像處理方法，其中該補插濾波器係計算該水平畫素域之中心畫素點，及相對應該中心畫素點之對立畫素點，產生補插畫素進行補插。
15. 如申請專利範圍第10項所述之增強影像邊緣解析之影像處理方法，其中該補插濾波器係計算該垂直畫素域之中心畫素點，及相對應該中心畫素點之對立畫素點，產生補插畫素進行補插。