TWM458747U

TWM458747U - 影像處理模組

Info

Publication number: TWM458747U
Application number: TW102205659U
Authority: TW
Inventors: Wen-Zeng Huang; Mo-Miao Huang; Zeng-Huang Shi
Original assignee: Regulus Technologies Co Ltd
Priority date: 2013-03-27
Filing date: 2013-03-27
Publication date: 2013-08-01

Description

影像處理模組

本創作是與影像處理有關，特別是指一種將影像感測器經本創作影像處理模組分析、計算、校正、濾波、補償等方式後，以致獲得良好清晰的影像訊號輸出至顯示器，且本創作可適用多種解析度影像感測器以及顯示器，而能提供使用者需求成為應用廣泛、多用途之影像處理模組。

近年來高解析度成像方面的運用已經越來越普及，過去因為感測器解析度或後端影像處理器速度不足，導致影像品質不佳，而無法實現的運用，已經隨著影像感測器技術的進步逐漸改善，各種影像相關的產品也都相繼出現，例如近年來越來越普及的行車紀錄器、視訊攝影機(WEBCAM)、網路雲端攝影機(IPCAM)等，或是各種影像應用如車牌辨識、字元辨識、智慧監控系統、自動光學檢測(AOI)等。

因此本創作設計了一個感測器及影像處理功能皆可替換之高解析度電荷耦合元件成像裝置，可視不同情境與運用更換為不同的影像感測器和影像處理功能，使得該創作的用途更多與更廣。

本創作主要目的係提供一種可依照使用者需求使用適當解析度影像感測器，並透過本創作影像處理模組處理後輸出至顯示器，且該過程中分析、計算、校正、濾波、補償得以適度調整影像訊號，使其呈現良好清晰影像畫面。

為了達成上述之目的與功效，本創作一種影像處理模組，其係處理影像感測器攝錄之影像訊號後傳輸至顯示器，包括有一電路基板、複數輸入埠、複數輸出埠以及一影像訊號處理器，其中：該影像訊號處理器設置於該電路基板，而該複數輸入埠以及該複數輸出埠分別設置於該電路基板周側，且影像訊號經該複數輸入埠後由該影像訊號處理器進行處理後，由該複數輸出埠輸出經處理後之影像訊號至顯示器。

本創作所提供之影像處理模組，其中該影像訊號處理器包括有一自動曝光單元、一色彩校正單元、一轉換單元、一濾波單元、一動態範圍校正單元以及一伽瑪校正單元，上述該影像訊號處理器應用於灰階醫學檢測例如放射線檢測(X-RAY)、骨頭、癌細胞檢測，或是應用於自動光學檢測例如(Automatic Optical Inspection，AOI)的成像系統。

本創作所提供之影像處理模組，其中該影像訊號處理器包括有一自動曝光單元、一自動白平衡處理單元、一色彩濾波陣列內插法單元、一色彩校正單元、一轉換單元、一濾波單元、一動態範圍校正單元以及一伽瑪校正單元。上述該影像訊號處理器應用於彩色醫學檢測例如放射線檢測(X-RAY)、骨頭、癌細胞檢測的成像系統。

本創作所提供之影像處理模組，其中該複數輸入埠為平行埠、串列埠，而該複數輸出埠為數位視訊介面(Digital Visual Interface，DVI)、通用序列匯流排(Universal Serial Bus，USB)以及高清晰度多媒體介面(High Definition Multimedia Interface，HDMI)。且該等輸入埠輸入訊號為LVDS(Low-Voltage Differential Signaling，低電壓差分訊號)，而該等輸出埠輸出訊號為BT1120(高解析度影像格式)。

1‧‧‧影像感測器

2‧‧‧顯示器

3‧‧‧影像處理模組

31‧‧‧電路基板

32‧‧‧輸入埠

33‧‧‧輸出埠

34‧‧‧影像訊號處理器

341‧‧‧自動曝光單元

342‧‧‧自動白平衡處理單元

343‧‧‧色彩濾波陣列內插法單元

344‧‧‧色彩校正單元

345‧‧‧轉換單元

346‧‧‧濾波單元

347‧‧‧動態範圍校正單元

348‧‧‧伽瑪校正單元

第一圖係本創作立體示意圖。

第二圖係本創作與影像感測器、顯示器間之流程示意圖。

第三圖係本創作影像訊號處理器運作流程示意圖。

第四圖係本創作影像訊號處理器另一種運作流程示意圖。

請參閱第一與二圖所示，本創作係處理影像感測器1攝錄之影像訊號後傳輸至顯示器2，該影像感測器1係以電荷耦合元件(Charge Coupled Device，CCD成像裝置)為例，該影像處理模組3包括有一電路基板31、複數輸入埠32、複數輸出埠33以及一影像訊號處理器34(Image Signal Processor，ISP)，其中：該影像訊號處理器34設置於該電路基板31，而該複數輸入埠32以及該複數輸出埠33分別設置於該電路基板31周側，且影像訊號經該複數輸入埠32後由該影像訊號處理器34進行分析、計算、校正、補償處理後，由該複數輸出埠33輸出經處理後之影像訊號至顯示器2。

上述運作方式係由輸入埠32(再此係以LVDS為例)接收訊號與轉換，經LVDS串列訊號轉換為並列訊號，接著以影像訊號處理器34進行相關影像處理後，進行組圖及輸出，並由輸出埠33傳輸經處理過之影像訊號顯示器2，所以在影像訊號處理器34進行分析、計算、校正、補償等過程得以適度調整影像訊號，使其呈現良好清晰影像畫面，據此達成本創作之目的與功效。

本創作所述該複數輸入埠32為平行埠、串列埠，而該複數輸出埠為數位視訊介面(Digital Visual Interface，DVI)、通用序列匯流排(Universal Serial Bus，USB)以及高清晰度多媒體介面(High Definition Multimedia Interface，HDMI)，且該等輸入埠32輸入訊號為LVDS(Low-Voltage Differential Signaling，低電壓差分訊號)而該等輸出埠33輸出訊號為BT1120(高解析度影像格式)。

本創作所提供之影像處理模組3，其中該影像訊號處理器34包括有一自動曝光單元341、一自動白平衡處理單元342、一色彩濾波陣列內插法單元343、一色彩校正單元344、一轉換單元345、一濾波單元346、一動態範圍校正單元347以及一伽瑪校正單元348。

該影像訊號處理器34所包括的各單元可依照使用場景或特殊需求選擇性開啟與關閉，例如應用於彩色醫學檢測例如放射線檢測(X-RAY)、骨頭、癌細胞檢測時各單元可以全部開啟下運作，如第三圖所示。而在應用於灰階醫學檢測時，如放射線檢測(X-RAY)、骨頭、癌細胞檢測，或是應用於自動光學檢測例如(Automatic Optical Inspection，AOI)的成像系統等則可以不需啟動自動白平衡處理單元342、一色彩濾波陣列內插法單元343，如圖式第四圖所示。亦可只開啟自動曝光單元341，使得該影像處理模組3由輸出埠33僅輸出未經任何處理過的影像原始資料(RAW DATA)，適用於開發與研究相關機構。

於下列進一步說明，該影像訊號處理器34各單元之運作與功效。其中在自動曝光單元341(Auto Exposure，AE)時，可對影像訊號找出一組較佳曝光時間與曝光亮度值(GAIN)達到較佳的動態範圍與影像品質，計算曝光值時先將整體影像區域分割為10X10的區域，並定義出主體區域。首先計算輝度水平Bl，其中K為常數，L為光線流明，T為曝光時間，F/#為光圈大小，如下列公式(1)所是，Bl =k ×L ×G ×T ×(F /#)^-2 (1)，利用2基底的對數公式可得場景曝光階段EV，如下列公式(2)，log₂ Bl=log₂ k+log₂ L+log₂ G+log₂ (T/(F/#)² )=log₂ k+log₂ L+log₂ G-EV，EV=log2((F/#)² /T ) (2)，各個分割區域均由藉由公式(2)求出EV值，便可以計算出整張畫面的曝光時間，藉由求出的曝光時間，對於下一個畫面進行曝光時間的調整。且藉由重點區域的計算權重可以完全藉由影像訊號處理器34彈性的調整，可以針對不同的場景調整不同的曝光時間，得到最佳畫面亮度。

而該自動白平衡處理單元342(Auto White Balance，AWB)，由於影像感測器1(CCD)感應波長大於人眼所見波長，因此需要對影像感測器1作白平衡修正。針對人眼所能辨識的波常區段(λ=400nm~700nm)，其中L(λ)為光線的波長，R₀ 、G₀ 、B₀ 為三原色的響應波長。S_RC 、S_GC 、S_BC 為三原色的頻譜如下列公式(3)，、、(3)，藉由影像感測器1量測到的各色頻譜S_RM 、S_GM 、S_BM 即可計算兩色的中間值，如下列公式(4)所示：CB _RG =S _RM /S _GM 、CB _BG =S _BM /S _GM (4)。因此各色的中間值可利用參考波長L_ref 對照目前波長L_cur 求出，如下列公式(5)所示，、、(5)，最終可求出各三原色的頻譜S_RF 、S_GF 、S_BF 並藉此推導出場景的色溫，藉以修正白平衡如下列公式(6)所示，S _RF =C _R S _RM 、S _GF =C _G S _GM 、S _BF =C _B S _BM (6)。

該色彩濾波陣列內插法單元343(Color Filter Array Interpolation，CFA)，其是將使用色彩濾波陣列的影像感測器1所送出的不完整色彩資訊，重建為完整彩色影像的演算。由於人眼所能辨識的是三原色的色彩系統，因此須將影像感測器1中各偵測點中所缺乏的兩種顏色進行還原運算，首先Bayer CFA(Bayer Color Filter Array Interpolation，Bayer色彩濾波陣列)的資料格式來源如下，每個偵測點S均具有特定的光譜LS(λ)及空間響應hs(λ)，因此S(n1,n2)表示(n1,n2)空間中的色彩強度，r(m1,m2,l)為空間中的光輻射強度，Ns(n1,n2)為空間中的熱雜訊強度，因此可得其色彩強度如公式(7)所示 r (m 1,m 2,l )+N _S (n 1,n 2) (7)，接著由色彩濾波陣列內插法單元343(CFA)過濾色彩強度，CFA mask(functionCFA遮罩功能)如下列公式(8)所示，(8)，即可得Bayer CFA的輸出資料O(n1,n2)，如下列公式(9)所示，O (n 1,n 2)=ΣS =R ,G ,Bfs (n 1,n 2)S (n 1,n 2) (9)，將此作為輸入資料進行色彩內插即可得到各像素點的完整影像資訊Fxy(n1,n2)(x,y=R、G、B)，x=Bayer CFA的色彩通道，y代表為RGB資訊何者，如下列公式(10)所示，後即可得各原色的原始顏色O(n1,n2)；

該色彩校正單元344(Color Correction，CC)，由於影像感測器1製造時，無法控制每個影像感測器1以及前端電路都有完全一樣的光學物理特性，所以藉由該色彩校正單元344，將所有影像感測器1都校正為同樣的物理的光學特性。

該轉換單元345(RGB to YUV)，將RGB色彩空間的影像資訊轉換為YUV色彩空間，以利運算、處理，並盡可能的讓轉換前後的影像看起來相同。

該濾波單元346(Filter)，在數位影像中使用低通濾波器可去除影像中雜訊，而高通濾波器則可以強化物體的邊緣位置，藉此提升影像品質。由於暗電流、壞點、溫度等各種因素，使得影像感測器1所傳輸的的影像訊號包含了一些雜訊，所以本創作濾波單元346包括有中值濾波器、高思平滑濾波器，中值濾波器是以一滑動窗口(Sliding window)將窗口中數值中間值當作輸出，由於一般孤立的雜訊數值都會特別的偏低或偏高，所以中值濾波器可以有效的將這種孤立的雜訊剔除，並且保持影像的銳利度，而高思平滑濾波器則為一種低通濾波器，其濾波器係數符合高斯分佈如公式(11)所示，會將每個點與周圍的點作一種平均處理，可有效降低雜訊並使影像平順。G(x,y)=(1/2πσ)e^(-(x^2+y^2)/(2σx^2))，σ=0.84089642 (11)。

該動態範圍校正單元347(Dynamic Range Correction，DRC)，由於一般影像感測器1之動態範圍都遠低於人眼所見，因此需要透過演算法將原始影像的亮暗對比調整成更接近人類眼睛所看到的情況。在此係以直方圖等化法(Histogram Equalization)為例，可以有效的增強影像的對比，其是將整張影像的灰階值從小到大排列後，依照亮度大小的順位分布到整個動態範圍內，典型的實現方法是計算整張影像灰階值的機率密度函數(Probability Density Function,PDF)，再藉由機率密度函數計算出累積分布函數(Cumulative Distribution Function,CDF)，將累積分布函數乘上動態範圍，即完成直方圖等化法的轉移函數。例如目前有一張影像I(x,y)共N個像素，而灰階值範圍在[0,K-1]，則這張影像的機率密度函數如下公式(12)所示，，k=0,1,2...K-1 (12)，其中n_k 為影像I(x,y)中灰階值為k的像素數量，藉由機率密度函數我們可以再計算出累積分布函數如下公式(13)所示，，k=0,1,2...K-1 (13)，接著利用累積分布函數(CDF)即可計算出直方圖等化法的轉移函數如下公式(14)所示， T(k)=(K-1)xCDF(k) (14)，最後將校正前影像帶入轉移函數即完成直方圖等化。但是僅依照上述直方圖等化法仍顯不足，如果出現某數值出現很大的統計量，則會讓該區段的轉移函數斜率過高，使得校正過的亮度不連續，為了改善上述現象就是使轉移函數的斜率不要變化得太劇烈，可以從兩個地方改善，首先是設定一個閥值，將超過閥值的統計量過濾，接著再將轉移函數進行低通濾波處理，如下列公式(15)所示，即可使轉移函數較上數直方圖演算法更為平順，減少亮度不連續的現象，T(k-1))，k=0,1,2.....K (15)，由於本創作是採用即時的動態影像校正，需要再短時內完成運算，所以建立轉移函數資料表，透過比對表單內容的方式取代轉移函數的運算提升效能。另外由於連續畫面中相鄰的兩張影像有極高的相似度，因此使用前一張影像的轉移函數來校正目前的影像，同時統計目前影像的資訊進行下一張影像的校正，如此不會有影像輸出的延遲，而且不需使用緩存記憶體藉能實現影像校正。

該伽瑪校正單元348(Gamma Correction，GAMMA)，由於顯示器2的輸入與輸出會產生一個非線性誤差，藉由該伽瑪校正單元348校正，使得顯示器2輸出的畫面資訊較為線性。

3‧‧‧影像處理模組

31‧‧‧電路基板

32‧‧‧輸入埠

33‧‧‧輸出埠

34‧‧‧影像訊號處理器

Claims

一種影像處理模組，其係處理影像感測器攝錄之影像訊號後傳輸至顯示器，包括有一電路基板、複數輸入埠、複數輸出埠以及一影像訊號處理器，其中：該影像訊號處理器設置於該電路基板，而該複數輸入埠以及該複數輸出埠分別設置於該電路基板周側，且影像訊號經該複數輸入埠後由該影像訊號處理器進行處理後，由該複數輸出埠輸出經處理後之影像訊號至顯示器。
如申請專利範圍第1項所述之影像處理模組，其中該影像訊號處理器包括有一自動曝光單元、一色彩校正單元、一轉換單元、一濾波單元、一動態範圍校正單元以及一伽瑪校正單元。
如申請專利範圍第1項所述之影像處理模組，其中該影像訊號處理器包括有一自動曝光單元、一自動白平衡處理單元、一色彩濾波陣列內插法單元、一色彩校正單元、一轉換單元、一濾波單元、一動態範圍校正單元以及一伽瑪校正單元。
如申請專利範圍第1項至第3項中任一項所述之影像處理模組，其中該複數輸入埠為平行埠、串列埠，而該複數輸出埠為數位視訊介面(Digital Visual Interface，DVI)、通用序列匯流排(Universal Serial Bus，USB)以及高清晰度多媒體介面(High Definition Multimedia Interface，HDMI)。