TWI533708B - 影像增強處理方法及影像處理裝置 - Google Patents

影像增強處理方法及影像處理裝置 Download PDF

Info

Publication number
TWI533708B
TWI533708B TW102133944A TW102133944A TWI533708B TW I533708 B TWI533708 B TW I533708B TW 102133944 A TW102133944 A TW 102133944A TW 102133944 A TW102133944 A TW 102133944A TW I533708 B TWI533708 B TW I533708B
Authority
TW
Taiwan
Prior art keywords
input
pixel
input pixel
image
value
Prior art date
Application number
TW102133944A
Other languages
English (en)
Other versions
TW201513676A (zh
Inventor
蔡奇謚
李世安
Original Assignee
私立淡江大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 私立淡江大學 filed Critical 私立淡江大學
Priority to TW102133944A priority Critical patent/TWI533708B/zh
Publication of TW201513676A publication Critical patent/TW201513676A/zh
Application granted granted Critical
Publication of TWI533708B publication Critical patent/TWI533708B/zh

Links

Landscapes

  • Image Processing (AREA)

Description

影像增強處理方法及影像處理裝置
本發明是有關於一種影像處理方法及裝置，且特別是有關於一種影像增強處理方法及影像處理裝置。
像素為構成一張影像的最小基本元素，而每張影像即是由多個各種不同顏色的像素所組合而成。「動態範圍」的定義是指影像的所有像素中最高和最低亮度的比值。所謂高動態範圍場景是指明暗之間亮度差別很大的場景，例如日出、夕陽、煙火等。
人眼所能感受景物的亮度變化非常大，而且所謂視覺適應的能力能夠使得人眼在短時間內適應外界亮度的改變，而感受分辨出變化的範圍更大。人眼的動態範圍比一般影像擷取裝置較大許多。以顯示器而言，當環境光源不平均時，顯示器所顯示的影像可能會造成明亮區域曝光過度和黑暗區曝光不足，便是顯示器的動態範圍不足所造成的。因此，當影像的動態範圍越高，影像所能呈現原始場景的細節和資訊也越多；換言之，影像也更貼近於人眼所看到的原始景物。
高動態範圍的場景可藉由動態範圍壓縮在顯示器上重現影像的高對比和資訊。動態範圍壓縮可以在同時保留影像亮部與暗部的細節資訊的前提下，將影像的動態範圍降低。然而，現有技術大部份需透過成本較高的硬體加速設計來實現即時處理功能或是高運算效能的處理器來執行演算法，以達到影像的動態範圍壓縮與對比度增強的目的。因此，如何讓高動態範圍的影像顯示在低成本的顯示器等電子產品，並且同時實現即時影像訊號處理的性能以及保存原始影像的色彩資訊，已成為亟欲解決的問題之一。
本發明提供一種影像增強處理方法及影像處理裝置，其利用動態範圍壓縮與局部對比增強的方式以提升影像的品質。
本發明提出一種影像增強處理方法。此方法先接收一個影像的多個輸入像素，並且取得各所述輸入像素的輸入色彩像素資料，其中所述輸入像素包括第一輸入像素。接著，根據所述輸入像素的所述輸入色彩像素資料，取得各所述輸入像素的輸入亮度像素值以及輸入亮度成份資料。根據所述輸入亮度像素值，進行濾波器運算，以獲得第一輸入像素的濾波器結果。根據第一輸入像素的濾波器結果，進行調整增益運算，以獲得第一輸入像素的調整增益值。根據第一輸入像素的輸入亮度成份資料，進行調整更新運算，以獲得第一輸入像素的調整更新值。之後，根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益值與調整更新值的 乘積，取得第一輸入像素的輸出色彩像素資料。
在本發明的一實施例中，上述根據第一輸入像素的濾波器結果，進行調整增益運算，以獲得第一輸入像素的調整增益值的步驟包括根據亮度轉移函數，將第一輸入像素的濾波器結果轉換為第一輸入像素的亮度轉移輸出值；以及根據第一輸入像素的亮度轉移輸出值與濾波器結果之間的比值，獲得第一輸入像素的調整增益值。
在本發明的一實施例中，上述根據第一輸入像素的輸入亮度成份資料，進行調整更新運算，以獲得第一輸入像素的調整更新值的步驟包括根據第一輸入像素的輸入色彩像素資料、第一輸入像素的輸入亮度成份資料以及色彩飽合度參數，獲得第一輸入像素的調整更新值。
在本發明的一實施例中，上述根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益值與調整更新值的乘積，取得第一輸入像素的輸出色彩像素資訊的演算公式包括方程式(1)~(3)： 其中x以及y為正整數，(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，(x,y)為影像中第x列第y行的輸入像 素的輸出色彩像素資料，g(x,y)為影像中第x列第y行的輸入像素的調整增益值，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值，L avg (x,y)為影像中第x列第y行的輸入像素的濾波器結果，T為亮度轉移函數，w為色彩飽合度參數並且符合w [0,1]，E為常數向量；其中Y in (x,y)為影像中第x列第y行的輸入像素的輸入亮度成份資料，並且Y in (x,y)定義為方程式(4)或是將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(4)的結果逼近值：Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+N 方程式(4)其中R in (x,y)、G in (x,y)以及B in (x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為輸入亮度成份資料的多個輸入亮度成份比率，N為常數，r 0 [0,1]、g 0 [0,1]以及b 0 [0,1]。
在本發明的一實施例中，在上述獲得第一輸入像素的調整增益以及第一輸入像素的調整更新值的步驟後，上述方法更包括將第一輸入像素的調整增益值進行整數化運算，以獲得第一輸入像素的調整增益整數值；將第一輸入像素的調整更新值進行整數化運算，以獲得第一輸入像素的調整更新整數值；以及根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益整數值與調整更新整數值的乘積，取得第一輸入像素的輸出色彩像素近似資料。
在本發明的一實施例中，上述根據第一輸入像素的輸入色 彩像素資料以及第一輸入像素的調整增益整數值與調整更新整數值的乘積，取得第一輸入像素的輸出色彩像素近似資料的演算公式包括方程式(5)~(7)： 其中x以及y為正整數，(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，(x,y)為影像中第x列第y行的輸入像素的輸出色彩像素近似資料，g n (x,y)為影像中第x列第y行的輸入像素的調整增益整數值，g(x,y)為影像中第x列第y行的輸入像素的調整增益值，(x,y)為影像中第x列第y行的輸入像素的調整更新整數值，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值，L avg (x,y)為影像中第x列第y行的輸入像素的濾波器結果，E為常數向量；T為亮度轉移函數，並且對於任意L avg (x,y)>0，T必須滿足下列條件： 其中運算子表示小於或等於X的最大整數；w n =以及=255-w n ，其中w為色彩飽合度整數參數並且符合w [0,1]；Y in (x,y)為影像中第x列第y行的輸入像素的輸入亮度成份資料，並且定義為將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(8)的結果逼近值 Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+16 方程式(8)其中R in (x,y)、G in (x,y)以及B in (x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為輸入亮度成份資料的多個輸入亮度成份比率，r 0 [0,1]、g 0 [0,1]以及b 0 [0,1]。
在本發明的一實施例中，上述影像增強處理方法更包括根據方程式(6)，建立調整增益查找表，以獲得第一輸入像素的調整增益整數值，其中調整增益查找表的輸入索引為第一輸入像素的濾波器結果。
本發明提出一種影像處理裝置，此影像處理裝置包括：色彩擷取電路、亮度擷取電路、濾波器運算電路以及像素調整電路。色彩擷取電路用以接收影像的多個輸入像素，並且取得各所述輸入像素的輸入色彩像素資料，其中所述輸入像素包括第一輸入像素。亮度擷取電路，耦接至色彩擷取電路，用以根據所述輸入像素的所述輸入色彩像素資料，取得各所述輸入像素的輸入亮度像素值以及輸入亮度成份資料。濾波器運算電路，耦接至亮度擷取電路，用以根據所述輸入亮度像素值，進行濾波器運算，以獲得第一輸入像素的濾波器結果。像素調整電路耦接至色彩擷取電路、亮度擷取電路以及濾波器運算電路，用以根據第一輸入像素的濾波器結果，進行調整增益運算，以獲得第一輸入像素的調整增益值，並且根據第一輸入像素的輸入亮度成份資料，進行調整更新運算，以獲得第一輸入像素的調整更新值，再根據第一輸入像素的輸入色彩像素資料以 及第一輸入像素的調整增益值與調整更新值的乘積，取得第一輸入像素的輸出色彩像素資料。
在本發明的一實施例中，上述的像素調整電路根據亮度轉移函數，將第一輸入像素的濾波器結果轉換為第一輸入像素的亮度轉移輸出值，再根據第一輸入像素的亮度轉移輸出值與第一輸入像素的濾波器結果的比值，獲得第一輸入像素的調整增益值。
在本發明的一實施例中，上述的像素調整電路根據第一輸入像素的輸入色彩像素資料、第一輸入像素的輸入亮度成份資料以及色彩飽合度參數，獲得第一輸入像素的調整更新值。
在本發明的一實施例中，上述的像素調整電路根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益值與調整更新值的乘積，取得第一輸入像素的輸出色彩像素資訊的演算公式包括方程式(1)~(3)： 其中x以及y為正整數，(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，(x,y)為影像中第x列第y行的輸入像素的輸出色彩像素資料，g(x,y)為影像中第x列第y行的輸入像素的調整增益值，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值，L avg (x,y)為影像中第x列第y行的輸入像素的濾波器結果， T為亮度轉移函數，w為色彩飽合度參數並且符合w [0,1]，E為常數向量；其中Y in (x,y)為影像中第x列第y行的輸入像素的輸入亮度成份資料，並且Y in (x,y)定義為方程式(4)或是將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(4)的結果逼近值：Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+N 方程式(4)其中R in (x,y)、G in (x,y)以及B in (x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為輸入亮度成份資料的多個輸入亮度成份比率，N為常數，r 0 [0,1]、g 0 [0,1]以及b 0 [0,1]。
在本發明的一實施例中，上述的像素調整電路更將第一輸入像素的調整增益值進行整數化運算，以獲得第一輸入像素的調整增益整數值，再將第一輸入像素的調整更新值進行整數化運算，以獲得第一輸入像素的調整更新整數值，並且根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益整數值與調整更新整數值的乘積，取得第一輸入像素的輸出色彩像素近似資料。
在本發明的一實施例中，上述的像素調整電路根據第一輸入像素的輸入色彩像素資料以及第一輸入像素的調整增益整數值與調整更新整數值的乘積，取得第一輸入像素的輸出色彩像素近似資訊的演算公式包括方程式(5)~(7)：
其中x以及y為正整數，(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，(x,y)為影像中第x列第y行的輸入像素的輸出色彩像素近似資料，g n (x,y)為影像中第x列第y行的輸入像素的調整增益整數值，g(x,y)為影像中第x列第y行的輸入像素的調整增益值，(x,y)為影像中第x列第y行的輸入像素的調整更新整數值，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值，L avg (x,y)為影像中第x列第y行的輸入像素的濾波器結果，E為常數向量；T為亮度轉移函數，並且對於任意L avg (x,y)>0，T必須滿足下列條件： 其中運算子表示小於或等於X的最大整數；w n =以及=255-w n ，其中w為色彩飽合度整數參數並且符合w [0,1]；Y in (x,y)為影像中第x列第y行的輸入像素的輸入亮度成份資料，並且定義為將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(8)的結果逼近值Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+16 方程式(8)其中R in (x,y)、G in (x,y)以及B in (x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為輸入亮度成份資料的多個輸入亮度成份比率，r 0 [0,1]、g 0 [0,1]以及 b 0 [0,1]。
在本發明的一實施例中，上述的像素調整電路更包括調整增益查找表。調整增益查找表是根據方程式(6)所建立，其中調整增益查找表的輸入索引為第一輸入像素的濾波器結果，調整增益查找表的輸出為第一輸入像素的調整增益整數值。
基於上述，本發明所提出的影像增強處理方法及影像處理裝置，結合任何連續可微分的亮度轉移函數以及控制色彩飽合度的相關演算，可同時提高影像亮度、局部對比度以及保留原始得色彩資訊，以避免影像的失真。此外，藉由調整增益查找表的索引操作、整數化以及位元移動的運算方式，可大幅加快整個動態範圍壓縮與局部對比增強演算的處理程序。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100、400‧‧‧影像處理裝置
110、410‧‧‧色彩擷取電路
120、420‧‧‧亮度擷取電路
125‧‧‧濾波器
130、430‧‧‧濾波器運算電路
140、440‧‧‧像素調整電路
442‧‧‧調整增益查找表
444‧‧‧調整更新電路
446、447a~447c、448a~448c‧‧‧乘法器
447d~447f、449a~449c‧‧‧加法器
445‧‧‧非揮發性記憶體
450‧‧‧色彩輸出電路
A、A'‧‧‧輸入影像、輸出影像
AC‧‧‧第一輸入像素
S201~S211‧‧‧動態範圍壓縮與局部對比增強方法的流程
圖1繪示依據本發明第一實施例的一種影像處理裝置的方塊示意圖。
圖2繪示依據本發明第一實施例的一種影像增強處理方法的流程圖。
圖3繪示依據本發明第一實施例的影像示意圖。
圖4繪示依據本發明第二實施例的一種影像處理裝置的方塊 示意圖。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
〔第一實施例〕
圖1繪示依據本發明第一實施例的一種影像處理裝置的方塊示意圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹影像處理裝置的所有構件以及配置關係，詳細功能將配合圖2一併揭露。
請參照圖1，本實施例的影像處理裝置100接收影像A，並輸出影像A'。影像處理裝置100針對影像A進行動態範圍的壓縮以及局部對比度的增強，以增強影像A的細節資訊，其輸出結果為輸出影像A'。影像處理裝置100可以為個人電腦、筆記型電腦、數位相機、數位攝影機、網路攝影機、智慧型手機、平板電腦、掃描機、行車紀錄器、投影機、車用影音系統等電子裝置，本發明不以此為限。
影像處理裝置100包括色彩擷取電路110、亮度擷取電路 120、濾波器運算電路130以及像素調整電路140，其中色彩擷取電路110、亮度擷取電路120、濾波器運算電路130以及像素調整電路140可被實作為一或多個積體電路，其中各個積體電路包括多個邏輯閘(logic gate)。
色彩擷取電路110接收影像A中的多個輸入像素，且每一個輸入像素都包括至少一個色彩像素值。
亮度擷取電路120耦接至色彩擷取電路110，將每一個輸入像素的色彩像素值進行色域(color space)轉換，以取得每一個輸入像素在不同色域中的亮度像素值。
濾波器運算電路130耦接至亮度擷取電路120，針對亮度像素值進行濾波器運算。此濾波器運算為空間低通濾波運算(spatial low-pass filtering)，但本發明不以此為限。
像素調整電路140耦接至色彩擷取電路110、亮度擷取電路120以及濾波器運算電路130，可調整影像A中的色彩像素值，以產生影像A'。在本實施例中，像素調整電路140為多個加法器與乘法器所組成的積體電路。此外，像素調整電路140更可包括非揮發性記憶體，用以儲存多個參數。
圖2是依照本發明第一實施例所繪示之影像增強處理方法的流程圖。請參照圖2，本實施例的方法適用於圖1的影像處理裝置100，以下即搭配影像處理裝置100中的各項元件說明本發明之影像增強處理方法的詳細步驟。
首先，色彩擷取電路110接收影像中的多個輸入像素，並 且取得各個輸入像素的輸入色彩像素資料，其中這些輸入像素包括第一輸入像素(步驟S201)。詳言之，請同時參照圖3所繪示之影像A的示意圖。影像A包括多個輸入像素，且這些輸入像素是以行(column)與列(row)的方式排列成一個矩陣。舉例而言，輸入像素A11為影像A中第1列第1行的輸入像素，輸入像素A12為影像A中第1列第2行的輸入像素，輸入像素A21為影像A中第2列第1行的輸入像素，以此類推。每一個輸入像素會包括至少一個像素值。在本實施例中，影像A為在RGB色域中的彩色影像，其中每一個像素會包括紅色像素值(R像素值)、綠色像素值(G像素值)以及藍色像素值(B像素值)，即為前述的「輸入色彩像素資料」。然而，在其它實施例中，輸入色彩像素資料亦可以包括YCbCr色域中的Y像素值、Cb像素值以及Cr像素值，本發明不在此設限。此外，為方便說明，以下僅將針對影像A中的第一輸入像素AC說明影像增強處理的步驟流程。
接著，亮度擷取電路120根據各個輸入像素的輸入色彩像素資料，取得各個輸入像素的輸入亮度像素值以及輸入亮度成份資料(步驟S203)。詳言之，亮度擷取電路120根據每一個輸入像素的輸入色彩像素資料，取得每一個輸入像素在不同色域的亮度像素值。在本實施例中，前述的輸入亮度像素值是在HSV(hue,saturation,value)色域中的V像素值，而前述的輸入亮度成份資料是在YCbCr色域中的Y像素值。然而在其它實施例中，亮度像素值也可以是將RGB像素值轉換為其它標準的像素值。在以下的說明中，輸入色彩 像素資料可以下列數學式表示： 其中(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，其為R in (x,y)、G in (x,y)以及B in (x,y)所組成，即RGB像素值，在此定義為「輸入色彩像素元素」。此外，在以下的說明當中，L in (x,y)可用以表示影像A中第x列第y行的輸入像素的輸入亮度像素值，Y in (x,y)可用以表示影像A中第x列第y行的輸入像素的輸入亮度成份資料。
濾波器運算電路130會針對這些輸入像素的輸入亮度像素值進行濾波器運算，以獲得第一輸入像素AC的濾波器結果(步驟S205)。詳言之，濾波器運算電路120是根據濾波器125來進行濾波器運算。在本實施例中，濾波器125以第一輸入像素AC為中心，利用空間低通濾波器核心函數(spatial low-pass filter kernel function)，在濾波器125範圍內所有輸入像素的輸入亮度像素值進行迴旋積運算(convolution operation)。在此，第一輸入像素AC的濾波器結果可由下列方程式取得： 其中x以及y為正整數，表示二維旋積運算，F L (x,y)表示空間低通濾波器核心函數，並且所有的x以及y滿足 的條件。在本實施例中，濾波器125可以是高斯模糊濾波器(Gaussian blur filter)、均值濾波器(mean filter)、邊緣保留濾波 器(edge-preserving filter)或其它種類的低通濾波器，本發明不以此為限。
本發明的影像增強處理方法是以動態範圍壓縮與局部對比增強的概念，利用輸入色彩像素資料加上其像素調整資料來產生輸出色彩像素資料。在本實施例中，是採用方程式(1)來產生輸出色彩像素資料： 其中(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，(x,y)為影像中第x列第y行的輸入像素的輸出色彩像素資料，g(x,y)為影像中第x列第y行的輸入像素的調整增益值(adjustment gain)，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值(adjustment innovation)。在本實施例中，上述像素調整資料即為g(x,y)D RGB (x,y)。
詳細而言，像素調整電路140根據第一輸入像素AC的濾波器結果，進行調整增益運算，以獲得第一輸入像素AC的調整增益值(步驟S207)。像素調整電路140根據一個連續可微分的亮度轉移函數，將第一輸入像素AC的濾波器結果轉換為第一輸入像素的亮度轉移輸出值，接著再根據第一輸入像素的亮度轉移輸出值與第一輸入像素AC的濾波器結果之間的比值，獲得第一輸入像素AC的調整增益值。在本實施例中，像素調整電路140可以是根據方程式(2)取得第一輸入像素AC的調整增益值： 其中L avg (x,y)為影像中第x列第y行的輸入像素的濾波器結果，T為亮度轉移函數，g(x,y)為影像中第x列第y行的輸入像素的調整增益值。
舉例而言，為了提高影像A中低亮度的輸入像素之輸入亮度像素值，並且同時保留高亮度的輸入像素之對比度，上述的亮度轉移函數T可以為方程式(2.1)： 其中m(x,y)=L avg (x,y)s+m min
s為縮放係數並且s>0，m min為常數並且m min>0，為所有輸入亮度像素值的最大值。在利用方程式(2.1)的轉移函數的架構下，方程式(2)可以改寫為方程式(2.2)： 其中ε為極小的正數值以避免任何除以0的運算產生。
像素調整電路140又根據第一輸入像素AC的輸入亮度成份資料，進行調整更新運算，以獲得第一輸入像素AC的調整更新值(步驟S209)。詳言之，像素調整電路140根據第一輸入像素AC的輸入色彩像素資料、輸入亮度成份資料以及色彩飽合度參數，獲 得第一輸入像素AC的調整更新值。在本實施例中，像素調整電路140可以是根據方程式(3)取得第一輸入像素AC的調整更新值： 其中w為色彩飽合度參數並且符合w [0,1]，E為常數向量[1 1 1] T ，D RGB (x,y)為影像中第x列第y行的輸入像素的調整更新值，Y in (x,y)為影像中第x列第y行的輸入像素的輸入亮度成份資料。
在一實施例中，上述所謂的「輸入亮度成份資料」為RGB輸入像素的NTSC亮度成份資訊，Y in (x,y)定義為方程式(4)：Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+N 方程式(4)r 0、g 0以及b 0為輸入亮度成份資料的多個輸入亮度成份比率，r 0 [0,1]、g 0 [0,1]以及b 0 [0,1]，N為常數。舉例而言，在一實施例中，方程式(4)中的參數可以分別為r 0=0.257、g 0=0.5044、b 0=0.0977並且N=16，而方程式(4)可改寫為方程式(4.1)：Y in (x,y)=0.257R in (x,y)+0.5044G in (x,y)+0.0977B in (x,y)+16 方程式(4.1)
在另一實施例中，為了加快計算方程式(4)的速度，亮度擷取電路120更可包括多個位元暫存器(bit register)，其可分別針對R in (x,y)、G in (x,y)以及B in (x,y)進行至少一位元移動運算(bit-shift operation)後進行累加運算，而取得方程式(4)的結果逼近值。以方程式(4.1)為例，可以由方程式(4.2)或方程式(4.3)之一近似求得：
其中<<與>>分別表示位元左移(bit-shift left)以及位元右移(bit-shift right)的運算子。利用方程式(4.2)與方程式(4.3)所得的輸入亮度成份資料Y in (x,y)除了近似於方程式(4.1)的結果，由於其採用位元移動運算以及累加運算來取代乘法運算，因此大幅增加取得輸入亮度成份資料Y in (x,y)的速度及減少硬體電路成本。
必須特別說明的是，本實施例中的步驟S207以及步驟S209的順序可進行對調，本發明不以此為限。
像素調整電路140在取得調整增益值以及調整更新值後，即根據第一輸入像素AC的輸入色彩像素資料以及第一輸入像素AC的調整增益值與調整更新值的乘積，取得第一輸入像素AC的輸出色彩像素資料(步驟S211)。也就是說，像素調整電路140利用前述方程式(1)來產生輸出色彩像素資料： 其中輸出色彩像素資料可以下列數學式表示： 藉此，影像A的輸出色彩像素資料可組成影像A’，其可達到動態範圍壓縮的功效以及保留影像A中的細節資訊。
〔第二實施例〕
第二實施例與第一實施例類似，在此僅描述不同之處。在第一實施例中所採取的方式涉及多種非線性運算，其較適用於具有高運算效能的影像處理裝置。在第二實施例中所採用的方法，除了可加速處理彩色影像的功效，其更適用於低成本硬體設計的影像處理裝置。
圖4繪示依據本發明第二實施例的一種影像處理裝置的方塊示意圖。請參照圖5，影像處理裝置400包括色彩擷取電路410、亮度擷取電路420、濾波器運算電路430、像素調整電路440以及色彩輸出電路450，其中色彩擷取電路410以及濾波器運算電路430分別與第一實施例中的色彩擷取電路110以及濾波器運算電路130具有相同的功能，在此不再贅述。類似地，亮度擷取電路420耦接至色彩擷取電路410；濾波器運算電路430耦接至亮度擷取電路420；像素調整電路440耦接至色彩擷取電路410、亮度擷取電路420以及濾波器運算電路430。色彩輸出電路450耦接至像素調整電路440，用以輸出影像。
在本實施例中，亮度擷取電路420包括多個16位元暫存器以及加法器(未繪示)。像素調整電路440包括調整增益查找表442、調整更新電路444、乘法器448a~448c以及加法器449a~449c。調整更新電路444更包括非揮發性記憶體445、乘法器446、乘法器447a~447c、加法器447d~447f所組成的積體電路。
在本實施例中，影像A包括多個輸入像素，並且是在RGB色域中，其中這些輸入像素包括第一輸入像素AC。色彩擷取電路410接收影像A中的多個輸入像素，並且取得各個輸入像素的輸入色彩像素資料，亦即R像素值、G像素值以及B像素值，並且分別傳輸至亮度擷取電路420。接著，亮度擷取電路420會將輸入色彩像素資料轉換為HSV色域的V像素值，亦即輸入亮度像素值。在此，輸入色彩像素資料仍是以下列數學式表示： 其中(x,y)為影像中第x列第y行的輸入像素的輸入色彩像素資料，其為輸入色彩像素元素R in (x,y)、G in (x,y)以及B in (x,y)所組成。此外，L in (x,y)可用以表示影像A中第x列第y行的輸入像素的輸入亮度像素值，可以由下列數學式表示：L in (x,y)=max(R in (x,y),G in (x,y),B in (x,y))其中運算子max(x,y,z)表示取x、y、z三者中的最大值。此外，亮度擷取電路420亦會將輸入色彩像素資料轉換為YCbCr色域中的Y像素值，亦即輸入亮度成份資料。值得注意的是，由於本實施例適用於低成本硬體設計的影像處理裝置400，因此可利用第一實施例中的方程式(4.2)或方程式(4.3)之一近似求得輸入亮度成份資料Y in (x,y)，大幅提高取得輸入亮度成份資料Y in (x,y)的速度及減少亮度擷取電路420的硬體成本。相關說明請參照第一實施例，於此不再贅述。
亮度擷取電路420將輸入亮度像素值傳輸至濾波器運算電 路430，而濾波器運算電路430計算第一輸入像素AC的濾波器結果，並且將濾波器結果傳輸至像素調整電路440的調整增益查找表442。濾波器運算電路430產生濾波器結果的方式請參照第一實施例的相關說明，於此不再贅述。
本實施例之動態範圍壓縮與局部對比增強的概念亦是以輸入色彩像素資料加上其像素調整資料來產生輸出色彩像素資料。在本實施例中，是採用方程式(5)來產生輸出色彩像素資料： 其中x以及y為正整數，(x,y)為影像中第x列第y行的輸入像素的輸出色彩像素近似資料，g n (x,y)為影像中第x列第y行的輸入像素的調整增益整數值，(x,y)為影像中第x列第y行的輸入像素的調整更新整數值。在本實施例中，上述像素調整資料即為 。在本實施例的影像處理裝置400中，像素調整電路 440主要的功能是來計算上述像素調整資料。同樣地，在本實施例中，僅針對影像A中的第一輸入像素AC的輸入亮度像素值進行說明。
在本實施例中，調整增益查找表442為一個一維調整增益查找表(1-dimensional adjustment gain lookup table,1D adjustment gain LUT)，其根據濾波器結果與調整增益整數值所建立。詳言之，調整增益整數值定義為方程式(6)： 其中對於任意L avg (x,y)>0的濾波器結果，必須滿足下列條件： 此外，運算子表示小於或等於X的最大整數。由於亮度轉移函數可在影像A進行任何處理前預先計算，進而利用方程式(6)預先被建立調整增益查找表442。調整增益查找表442的輸入索引即為自濾波器運算電路430取得的濾波器結果L avg (x,y)，而調整增益查找表442的輸出為調整增益整數值g n (x,y)。
另一方面，像素調整電路440的調整更新電路444可分別自色彩擷取電路410以及亮度擷取電路420取得第一輸入像素AC的輸入色彩像素資料的輸入色彩像素元素以及輸入亮度成份資料，利用乘法器446、乘法器447a~447c、加法器447d~447f以及16位元暫存器計算調整更新整數值。詳言之，調整更新整數值定義為方程式(7)： 其中w n =以及=255-w n 分別為控制影像A的色彩飽合度的整數參數。w為色彩飽合度參數，其符合w [0,1]並且可預先儲存於非揮發性記憶體445。
值得注意的是，在另一實施例中，輸入亮度成份資料Y in (x,y)可以直接由調整更新電路444來執行運算。在此架構下，像素調整電路420無須耦接至亮度擷取電路420，而像素調整電路440中的調整更新電路444則更包括多個位元暫存器。
像素調整電路440的調整增益查找表442以及調整更新電 路444分別產生調整增益整數值以及調整更新整數值後，便可根據前述方程式(5)，利用乘法器448a~448c以及加法器449a~449c計算輸出色彩像素近似資料 其中輸出色彩像素近似資料可以下列數學式表示： 接著，影像A的輸出色彩像素近似資料可自像素調整電路440傳輸至色彩輸出電路450，以產生影像A’，其可達到動態範圍壓縮的功效以及保留影像A中的細節資訊。
在本實施例中，由於調整增益查找表442的建立，使得影像增強處理方法流程所需的運算可簡化為輸入亮度像素值的運算、濾波器運算、調整增益整數值的索引操作、調整更新整數值的運算以及像素調整資料的運算與輸出，而大幅加快整體動態範圍壓縮與局部對比增強的處理程序。
綜上所述，本發明所提出的影像增強處理方法及影像處理裝置，結合任何連續可微分的亮度轉移函數以及控制色彩飽合度的相關演算，可同時提高影像亮度、局部對比度以及保留原始得色彩資訊，以避免影像的失真。此外，藉由調整增益查找表的索引操作、整數化以及位元移動的運算方式，可大幅加快整體動態範圍壓縮與局部對比增強演算的處理程序。此影像增強處理方法及影像處理裝置不僅可達到彩色影像增強的功效，並且可達到即時影像或視訊處理的效能，以運用於低成本的消費性電子產品上，增強本發明在實 際應用中的適用性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S201~S211‧‧‧動態範圍壓縮與局部對比增強方法的流程

Claims (14)

  1. 一種影像增強處理方法，包括：接收一影像的多個輸入像素，並且取得各所述輸入像素的一輸入色彩像素資料，其中所述輸入像素包括一第一輸入像素；根據所述輸入像素的所述輸入色彩像素資料，取得各所述輸入像素的一輸入亮度像素值以及一輸入亮度成份資料；根據所述輸入亮度像素值，進行一濾波器運算，以獲得該第一輸入像素的一濾波器結果；根據該第一輸入像素的該濾波器結果，進行一調整增益運算，以獲得該第一輸入像素的一調整增益值；根據該第一輸入像素的該輸入亮度成份資料，進行一調整更新運算，以獲得該第一輸入像素的一調整更新值；以及根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益值與該第一輸入像素的調整更新值的乘積，取得該第一輸入像素的一輸出色彩像素資料。
  2. 如申請專利範圍第1項所述的影像增強處理方法，根據該第一輸入像素的該濾波器結果，進行該調整增益運算，以獲得該第一輸入像素的該調整增益值的步驟包括：根據一亮度轉移函數，轉換該第一輸入像素的該濾波器結果為該第一輸入像素的一亮度轉移輸出值；以及根據該第一輸入像素的該亮度轉移輸出值與該第一輸入像素的該濾波器結果的比值，獲得該第一輸入像素的該調整增益值。
  3. 如申請專利範圍第2項所述的影像增強處理方法，其中根據該第一輸入像素的該輸入亮度成份資料，進行該調整更新運算，以獲得該第一輸入像素的該調整更新值的步驟包括：根據該第一輸入像素的該輸入色彩像素資料、該第一輸入像素的該輸入亮度成份資料以及一色彩飽合度參數，獲得該第一輸入像素的該調整更新值。
  4. 如申請專利範圍第3項所述的影像增強處理方法，其中根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益值與該第一輸入像素的調整更新值的乘積，取得該第一輸入像素的該輸出色彩像素資訊的演算公式包括方程式(1)~(3)： 其中x以及y為正整數，(x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料，(x,y)為該影像中第x列第y行的輸入像素的該輸出色彩像素資料，g(x,y)為該影像中第x列第y行的輸入像素的該調整增益值，D RGB (x,y)為該影像中第x列第y行的輸入像素的該調整更新值，L avg (x,y)為該影像中第x列第y行的輸入像素的該濾波器結果，T為該亮度轉移函數，w為該色彩飽合度參數並且符合w [0,1]，E為一常數向量，運算子表示小於 或等於X的最大整數，其中Y in (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度成份資料，並且Y in (x,y)定義為方程式(4)或是將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(4)的結果逼近值：Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+N 方程式(4)其中R in (x,y)、G in (x,y)以及B in (x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為該輸入亮度成份資料的多個輸入亮度成份比率，N為一常數，r 0 [0,]、g 0 [0,]以及b 0 [0,1]。
  5. 如申請專利範圍第3項所述的影像增強處理方法，其中在獲得該第一輸入像素的該調整增益以及該第一輸入像素的該調整更新值的步驟後，更包括：將該第一輸入像素的該調整增益值進行一整數化運算，以獲得該第一輸入像素的一調整增益整數值；將該第一輸入像素的該調整更新值進行該整數化運算，以獲得該第一輸入像素的一調整更新整數值；以及根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益整數值與該第一輸入像素的調整更新整數值的乘積，取得該第一輸入像素的一輸出色彩像素近似資料。
  6. 如申請專利範圍第5項所述的影像增強處理方法，其中根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的 該調整增益整數值與該第一輸入像素的該調整更新整數值的乘積，取得該第一輸入像素的該輸出色彩像素近似資料的演算公式包括方程式(5)~(7)： 其中x以及y為正整數，(x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料，(x,y)為該影像中第x列第y行的輸入像素的該輸出色彩像素近似資料，g n (x,y)為該影像中第x列第y行的輸入像素的該調整增益整數值，g(x,y)為該影像中第x列第y行的輸入像素的該調整增益值，(x,y)為該影像中第x列第y行的輸入像素的該調整更新整數值，D RGB (x,y)為該影像中第x列第y行的輸入像素的該調整更新值，L avg (x,y)為該影像中第x列第y行的輸入像素的該濾波器結果，E為一常數向量，其中T為該亮度轉移函數，並且對於任意L avg (x,y)>0，T必須滿足下列條件： 其中運算子表示小於或等於X的最大整數，其中以及，其中w為該色彩飽合度整數參數並且符合w [0,]，其中Y in (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度 成份資料，並且定義為將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(8)的結果逼近值Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+16 方程式(8)其中R in (x,y)、G in (x,y)以及B in (x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為該輸入亮度成份資料的多個輸入亮度成份比率，r 0 [0,]、g 0 [0,1]以及b 0 [0,1]。
  7. 如申請專利範圍第6項所述的影像增強處理方法更包括：根據方程式(6)，建立一調整增益查找表，以獲得該第一輸入像素的該調整增益整數值，其中該調整增益查找表的輸入索引為該第一輸入像素的該濾波器結果。
  8. 一種影像處理裝置，包括：一色彩擷取電路，接收一影像的多個輸入像素，並且取得各所述輸入像素的一輸入色彩像素資料，其中所述輸入像素包括一第一輸入像素；一亮度擷取電路，耦接至該色彩擷取電路，根據所述輸入像素的所述輸入色彩像素資料，取得各所述輸入像素的一輸入亮度像素值以及一輸入亮度成份資料；一濾波器運算電路，耦接至該亮度擷取電路，根據所述輸入亮度像素值，進行一濾波器運算，以獲得該第一輸入像素的一濾波器結果；以及一像素調整電路，耦接該色彩擷取電路、該亮度擷取電路以 及該濾波器運算電路，根據該第一輸入像素的該濾波器結果，進行一調整增益運算，以獲得該第一輸入像素的一調整增益值，並且根據該第一輸入像素的該輸入亮度成份資料，進行一調整更新運算，以獲得該第一輸入像素的一調整更新值，再根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益值與該第一輸入像素的調整更新值的乘積，取得該第一輸入像素的一輸出色彩像素資料。
  9. 如申請專利範圍第8項所述的影像處理裝置，其中該像素調整電路根據一亮度轉移函數，轉換該第一輸入像素的該濾波器結果為該第一輸入像素的一亮度轉移輸出值，再根據該第一輸入像素的該亮度轉移輸出值與該第一輸入像素的該濾波器結果的比值，獲得該第一輸入像素的該調整增益值。
  10. 如申請專利範圍第9項所述的影像處理裝置，其中該像素調整電路根據該第一輸入像素的該輸入色彩像素資料、該第一輸入像素的該輸入亮度成份資料以及一色彩飽合度參數，獲得該第一輸入像素的該調整更新值。
  11. 如申請專利範圍第10項所述的影像處理裝置，其中該像素調整電路根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益值與該第一輸入像素的調整更新值的乘積，取得該第一輸入像素的一輸出色彩像素資訊的演算公式包括方程式(1)~(3)： 其中x以及y為正整數，(x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料，(x,y)為該影像中第x列第y行的輸入像素的該輸出色彩像素資料，g(x,y)為該影像中第x列第y行的輸入像素的該調整增益值，D RGB (x,y)為該影像中第x列第y行的輸入像素的該調整更新值，L avg (x,y)為該影像中第x列第y行的輸入像素的該濾波器結果，T為該亮度轉移函數，w為該色彩飽合度參數並且符合w [0,1]，E為一常數向量，運算子表示小於或等於X的最大整數，其中Y in (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度成份資料，並且Y in (x,y)定義為方程式(4)或是將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(4)的結果逼近值：Y in (x,y)=r 0 R in (x,y)+g 0 G in (x,y)+b 0 B in (x,y)+N 方程式(4)其中R in (x,y)、G in (x,y)以及B in (x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為該輸入亮度成份資料的多個輸入亮度成份比率，N為一常數，r 0 [0,1]、g 0 [0,]以及b 0 [0,1]。
  12. 如申請專利範圍第10項所述的影像處理裝置，其中該像 素調整電路更將該第一輸入像素的該調整增益值進行一整數化運算，以獲得該第一輸入像素的一調整增益整數值，再將該第一輸入像素的該調整更新值進行該整數化運算，以獲得該第一輸入像素的一調整更新整數值，並且根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益整數值與該第一輸入像素的調整更新整數值的乘積，取得該第一輸入像素的一輸出色彩像素近似資料。
  13. 如申請專利範圍第12項所述的影像處理裝置，其中該像素調整電路根據該第一輸入像素的該輸入色彩像素資料以及該第一輸入像素的該調整增益整數值與該第一輸入像素的該調整更新整數值的乘積，取得該第一輸入像素的該輸出色彩像素近似資訊的演算公式包括方程式(5)~(7)： 其中x以及y為正整數，(x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料，(x,y)為該影像中第x列第y行的輸入像素的該輸出色彩像素近似資料，g n (x,y)為該影像中第x列第y行的輸入像素的該調整增益整數值，g(x,y)為該影像中第x列第y行的輸入像素的該調整增益值，(x,y)為該影像中第x列第y行的輸入像素的該調整更新整數值，(x,y)為該影像中第x 列第y行的輸入像素的該調整更新值，L avg (x,y)為該影像中第x列第y行的輸入像素的該濾波器結果，E為一常數向量，其中T為該亮度轉移函數，並且對於任意L avg (x,y)>0，T必須滿足下列條件： 其中運算子表示小於或等於X的最大整數，其中以及，其中w為該色彩飽合度參數並且符合w [0,]，其中，Y in (x,y)為該影像中第x列第y行的輸入像素的該輸入亮度成份資料，並且定義為將R in (x,y)、G in (x,y)以及B in (x,y)分別進行至少一位元移動運算而取得之方程式(8)的結果逼近值：Y in (x,y)=r 0 R in (x,y)+g 0 G qq (x,y)+b 0 B in (x,y)+16 方程式(8)其中R in (x,y)、G in (x,y)以及B in (x,y)為該影像中第x列第y行的輸入像素的該輸入色彩像素資料的多個輸入色彩像素元素，r 0、g 0以及b 0為該輸入亮度成份資料的多個輸入亮度成份比率，r 0 [0,1]、g 0 [0,1]以及b 0 [0,1]。
  14. 如申請專利範圍第13項所述的影像處理裝置，其中該像素調整電路更包括：一調整增益查找表，該調整增益查找表是根據方程式(6)所建立，，其中該調整增益查找表的輸入索引為該第一輸入像素的該濾波器結果，該調整增益查找表的輸出為該第一輸入像素的該調整增益整數值。
TW102133944A 2013-09-18 2013-09-18 影像增強處理方法及影像處理裝置 TWI533708B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW102133944A TWI533708B (zh) 2013-09-18 2013-09-18 影像增強處理方法及影像處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102133944A TWI533708B (zh) 2013-09-18 2013-09-18 影像增強處理方法及影像處理裝置

Publications (2)

Publication Number Publication Date
TW201513676A TW201513676A (zh) 2015-04-01
TWI533708B true TWI533708B (zh) 2016-05-11

Family

ID=53437322

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102133944A TWI533708B (zh) 2013-09-18 2013-09-18 影像增強處理方法及影像處理裝置

Country Status (1)

Country Link
TW (1) TWI533708B (zh)

Also Published As

Publication number Publication date
TW201513676A (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
TWI473039B (zh) 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
TWI399100B (zh) 影像處理方法
JP2007293431A (ja) 画像処理装置
CN109416831B (zh) 用于扩展图像的色彩的低成本色彩扩展模块
JP5697802B2 (ja) 画像処理装置及び画像処理方法
CN113810641B (zh) 视频处理方法、装置、电子设备和存储介质
CN113810642B (zh) 视频处理方法、装置、电子设备和存储介质
JP5810803B2 (ja) ホワイトボードの画像を調整する方法、装置及びシステム
CN107918928B (zh) 一种色彩还原方法
WO2019012112A1 (en) METHOD AND SYSTEM FOR COLOR RANGE MAPPING
CN113824914A (zh) 视频处理方法、装置、电子设备和存储介质
US9444975B2 (en) Image sensor gamut mapping
JP2016126617A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
TWI523500B (zh) 影像的動態範圍壓縮方法與影像處理裝置
CN107358592B (zh) 一种迭代式全局自适应图像增强方法
WO2021179142A1 (zh) 一种图像处理方法及相关装置
TWI533708B (zh) 影像增強處理方法及影像處理裝置
US20210297558A1 (en) Cubiform method
JP6200687B2 (ja) 画像処理装置および画像処理方法
US20200296343A1 (en) Image processing device, image processing method, and image processing program
US20220318966A1 (en) Method and device for image processing, and storage medium
WO2023016042A1 (zh) 视频处理方法、装置、电子设备和存储介质
WO2023016043A1 (zh) 视频处理方法、装置、电子设备和存储介质
WO2023016041A1 (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees