CN203219431U

CN203219431U - 图像处理模组

Info

Publication number: CN203219431U
Application number: CN 201320147854
Authority: CN
Inventors: 黄文增; 黄模淼; 施增煌
Original assignee: REGULUS TECHNOLOGIES Co Ltd
Current assignee: REGULUS TECHNOLOGIES Co Ltd
Priority date: 2013-03-28
Filing date: 2013-03-28
Publication date: 2013-09-25
Anticipated expiration: 2023-03-28

Abstract

本实用新型公开了一种图像处理模组，用于处理影像传感器摄录的影像信号后传输至显示器，包括一电路基板、多个输入端口、多个输出端口以及一影像信号处理器，其中该影像信号处理器设置于该电路基板上，而该多个输入端口以及该多个输出端口分别设置于该电路基板周侧。影像信号经该多个输入端口后由该影像信号处理器进行处理后，由该多个输出端口输出经处理后的影像信号至显示器。本新型的图像处理模组可根据不同情境与需求更换为不同的影像传感器和图像处理功能，其用途更多更广。

Description

图像处理模组

技术领域

本实用新型与图像处理有关，特别是指一种将影像传感器经本实用新型图像处理模组分析、计算、校正、滤波、补偿等方式后，以致获得良好清晰的影像信号输出至显示器，且本实用新型可适用多种分辨率影像传感器以及显示器，而能提供使用者需求成为应用广泛、多用途的图像处理模组。

背景技术

近年来高分辨率成像方面的运用已经越来越普及，过去因为传感器分辨率或后端图像处理器速度不足，导致影像质量不佳而无法实现的运用，已经随着影像传感器技术的进步逐渐改善，各种影像相关的产品也都相继出现，例如近年来越来越普及的行车纪录器、视讯摄影机(WEBCAM)、网络云端摄影机(IPCAM)等，或是各种影像应用如车牌辨识、字符辨识、智能监控***、自动光学检测(AOI)等。但上述产品仍有不尽完善之处，例如功能单一等。

实用新型内容

本实用新型提供了一个传感器及图像处理功能均可替换的高分辨率电荷耦合组件成像装置，即图像处理模组，可视不同情境与运用更换为不同的影像传感器和图像处理功能，使得该产品的用途更多更广。

本实用新型提供的图像处理模组，用于处理影像传感器摄录的影像信号后传输至显示器，包括一电路基板、多个输入端口、多个输出端口以及一影像信号处理器，其中：该影像信号处理器设置于该电路基板上，而该多个输入端口以及该多个输出端口分别设置于该电路基板周侧。影像信号经该多个输入端口后由该影像信号处理器进行处理后，由该多个输出端口输出经处理后的影像信号至显示器。

优选地，该影像信号处理器包括依次电性连接的一自动曝光单元、一色彩校正单元、一转换单元、一滤波单元、一动态范围校正单元以及一伽玛校正单元。上述该影像信号处理器应用于灰阶医学检测例如放射线检测(X-RAY)、骨头、癌细胞检测，或是应用于自动光学检测例如(Automatic Optical Inspection，AOI)的成像***。

优选地，该影像信号处理器包括依次电性连接的一自动曝光单元、一自动白平衡处理单元、一色彩滤波阵列内插法单元、一色彩校正单元、一转换单元、一滤波单元、一动态范围校正单元以及一伽玛校正单元。上述该影像信号处理器应用于彩色医学检测例如放射线检测(X-RAY)、骨头、癌细胞检测的成像***。

优选地，该多个输入端口为并行端口和串行端口，而该多个输出端口为数字视频接口 (Digital Visual Interface，DVI)、通用串行总线(Universal Serial Bus，USB)和高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)。且该多个输入端口输入信号为LVDS (Low-Voltage Differential Signaling，低电压差分信号），而该多个输出端口输出信号为BT1120(高分辨率影像格式)。

本实用新型的有益效果：本新型的图像处理模组，可依照用户需求使用适当分辨率影像传感器，并通过图像处理模组处理后输出至显示器，且该过程中分析、计算、校正、滤波、补偿得以适度调整影像信号，使其呈现良好清晰影像画面。

附图说明

图1为本实用新型立体示意图。

图2为本实用新型与影像传感器、显示器间的流程示意图。

图3为本实用新型影像信号处理器运作流程示意图。

图4为本实用新型影像信号处理器另一种运作流程示意图。

主要组件符号说明：

1影像传感器； 2显示器；

3图像处理模组； 31电路基板；

32输入端口； 33输出端口；

34影像信号处理器； 341自动曝光单元；

342自动白平衡处理单元； 343色彩滤波阵列内插法单元；

344色彩校正单元； 345转换单元；

346滤波单元； 347动态范围校正单元；

348伽玛校正单元。

具体实施方式

请参阅图1和图2所示，本实用新型的影像处理模组3处理影像传感器1摄录的影像信号后传输至显示器2，该影像传感器1以电荷耦合组件 (Charge Coupled Device，CCD成像装置)为例，该图像处理模组3包括有一电路基板31、多个输入端口32、多个输出端口33以及一影像信号处理器34(Image Signal Processor，ISP)，其中：该影像信号处理器34设置于该电路基板31上，而该多个输入端口32以及该多个输出端口33分别设置于该电路基板31周侧，且影像信号经该多个输入端口32后由该影像信号处理器34进行分析、计算、校正、补偿处理后，由该多个输出端口33输出经处理后的影像信号至显示器2。

上述运作方式是由输入端口32 (在此以LVDS为例)接收信号与转换，经LVDS串行信号转换为并列信号，接着以影像信号处理器34进行相关图像处理后，进行组图及输出，并由输出端口33传输经处理过的影像信号到显示器2，所以在影像信号处理器34进行分析、计算、校正、补偿等过程得以适度调整影像信号，使其呈现良好清晰的影像画面，据此达到本实用新型的目的与功效。

本实用新型所述的该多个输入端口32为并行端口、串行端口，而该多个输出端口为数字视频接口 (Digital Visual Interface，DVI)、通用串行总线(Universal Serial Bus，USB)以及高清晰度多媒体接口(High Definition Multimedia Interface，HDMI)，且该多个输入端口32输入信号为LVDS (Low-Voltage Differential Signaling，低电压差分信号）而该多个输出端口33输出信号为BT1120(高分辨率影像格式)。

本实用新型所提供的图像处理模组3，其中该影像信号处理器34包括有一自动曝光单元341、一自动白平衡处理单元342、一色彩滤波阵列内插法单元343、一色彩校正单元344、一转换单元345、一滤波单元346、一动态范围校正单元347以及一伽玛校正单元348。

该影像信号处理器34所包括的各单元可依照使用场景或特殊需求选择性开启与关闭，例如应用于彩色医学检测例如放射线检测(X-RAY)、骨头、癌细胞检测时各单元可以全部开启运作，如图3所示。而在应用于灰阶医学检测时，如放射线检测(X-RAY)、骨头、癌细胞检测，或是应用于自动光学检测例如(Automatic Optical Inspection，AOI) 的成像***等则可以不需启动自动白平衡处理单元342、一色彩滤波阵列内插法单元343，如图4所示。也可只开启自动曝光单元341，使得该图像处理模组3由输出端口33仅输出未经任何处理过的影像原始数据(RAW DATA)，适用于开发与研究相关机构。

下面进一步说明，该影像信号处理器34各单元的运作与功效。其中在自动曝光单元341(Auto Exposure，AE)时，可对影像信号找出一组较佳曝光时间与曝光亮度值(GAIN)达到较佳的动态范围与影像质量，计算曝光值时先将整体影像区域分割为10X10的区域，并定义出主体区域。首先计算辉度水平Bl，其中K为常数，L为光线流明，T为曝光时间，F/#为光圈大小，如下列公式(1)所示，

(1)，利用2基底的对数公式可得场景曝光阶段EV，如下列公式(2)，，

(2)，各个分割区域均由公式(2)求出EV值，便可以计算出整张画面的曝光时间，通过求出的曝光时间，对于下一个画面进行曝光时间的调整。且藉由重点区域的计算权重可以完全藉由影像信号处理器34弹性的调整，可以针对不同的场景调整不同的曝光时间，得到最佳画面亮度。

而该自动白平衡处理单元342 (Auto White Balance，AWB)，由于影像传感器1(CCD)感应波长大于人眼所见波长，因此需要对影像传感器1作白平衡修正。针对人眼所能辨识的波长区段(λ=400nm~700nm)，其中L(λ)为光线的波长， R₀、G₀、B₀为三原色的响应波长。S_RC、S_GC、S_BC为三原色的频谱如下列公式(3)：

(3)，通过影像传感器1量测到的各色频谱S_RM、S_GM、S_BM即可计算两色的中间值，如下列公式(4)所示：

(4)。因此各色的中间值可利用参考波长L_ref对照目前波长L_cur求出，如下列公式(5)所示：

最终可求出各三原色的频谱S_RF、S_GF、S_BF并藉此推导出场景的色温，以修正白平衡如下列公式(6)所示，

(6)。

该色彩滤波阵列内插法单元343(Color Filter Array Interpolation，CFA)，其是将使用色彩滤波阵列的影像传感器1所送出的不完整色彩信息，重建为完整彩色影像的演算。由于人眼所能辨识的是三原色的色彩***，因此须将影像传感器1中各侦测点中所缺乏的两种颜色进行还原运算，首先Bayer CFA(Bayer Color Filter Array Interpolation，Bayer色彩滤波阵列)的数据格式来源如下，每个侦测点S 均具有特定的光谱LS(λ)及空间响应hs(λ)，因此S(n1,n2)表示(n1,n2)空间中的色彩强度，r(m1,m2,l)为空间中的光辐射强度，Ns(n1,n2)为空间中的热噪声强度，因此可得其色彩强度如公式(7) 所示：

(8)，即可得Bayer CFA的输出数据O(n1,n2)，如下列公式(9)所示：

(9)，将此作为输入数据进行色彩内插即可得到各像素点的完整影像信息Fxy(n1,n2)(x,y=R、G、B)，x=Bayer CFA的色彩通道，y代表为RGB信息何者，如下列公式(10)所示，后即可得各原色的原始颜色O(n1,n2)；

该色彩校正单元344 (Color Correction，CC)，由于影像传感器1制造时，无法控制每个影像传感器1以及前端电路都有完全一样的光学物理特性，所以通过该色彩校正单元344，将所有影像传感器1都校正为同样的物理的光学特性。

该转换单元345 (RGB to YUV)，将RGB色彩空间的影像信息转换为YUV色彩空间，以利运算、处理，并尽可能的让转换前后的影像看起来相同。

该滤波单元346(Filter)，在数字影像中使用低通滤波器可去除影像中噪声，而高通滤波器则可以强化物体的边缘位置，提升影像质量。由于暗电流、坏点、温度等各种因素，使得影像传感器1所传输的的影像信号包含了一些噪声，所以本新型的滤波单元346包括有中值滤波器、高思平滑滤波器，中值滤波器是以一滑动窗口(Sliding window)将窗口中数值中间值当作输出，由于一般孤立的噪声数值都会特别的偏低或偏高，所以中值滤波器可以有效的将这种孤立的噪声剔除，并且保持影像的锐利度，而高思平滑滤波器则为一种低通滤波器，其滤波器系数符合高斯分布如公式(11)所示，会将每个点与周围的点作一种平均处理，可有效降低噪声并使影像平顺。

(11)。

该动态范围校正单元 347(Dynamic Range Correction，DRC)，由于一般影像传感器1的动态范围都远低于人眼所见，因此需要通过算法将原始影像的亮暗对比调整成更接近人类眼睛所看到的情况。在此是以直方图等化法 (Histogram Equalization) 为例，可以有效增强影像的对比，其是将整张影像的灰阶值从小到大排列后，依照亮度大小的顺位分布到整个动态范围内，典型的实现方法是计算整张影像灰阶值的机率密度函数(Probability Density Function , PDF)，再通过机率密度函数计算出累积分布函数(Cumulative Distribution Function , CDF)，将累积分布函数乘上动态范围，即完成直方图等化法的转移函数。例如目前有一张影像I(x,y)共N个像素，而灰阶值范围在[0,K-1]，则这张影像的机率密度函数如下公式(12)所示，

(12)，其中n_k为影像I(x,y)中灰阶值为k的像素数量，通过机率密度函数我们可以再计算出累积分布函数如下公式(13)所示： (13)，接着利用累积分布函数(CDF)即可计算出直方图等化法的转移函数如下公式(14)所示：

(14)，最后将校正前影像带入转移函数即完成直方图等化。但是仅依照上述直方图等化法仍显不足，如果出现某数值出现很大的统计量，则会让该区段的转移函数斜率过高，使得校正过的亮度不连续，为了改善上述现象就是使转移函数的斜率不要变化得太剧烈，可以从两个地方改善，首先是设定一个阀值，将超过阀值的统计量过滤，接着再将转移函数进行低通滤波处理，如下列公式(15)所示，即可使转移函数较上数直方图算法更为平顺，减少亮度不连续的现象，

(15)，由于本实用新型是采用实时的动态影像校正，需要在短时内完成运算，所以建立转移函数数据表，通过比对窗体属性的方式取代转移函数的运算提升效能。另外由于连续画面中相邻的两张影像有极高的相似度，因此使用前一张影像的转移函数来校正目前的影像，同时统计目前影像的信息进行下一张影像的校正，如此不会有影像输出的延迟，而且不需使用缓存内存即能实现影像校正。

该伽玛校正单元348 (Gamma Correction，GAMMA)，由于显示器2的输入与输出会产生一个非线性误差，通过该伽玛校正单元348校正，使得显示器2输出的画面信息较为线性。

Claims

1.一种图像处理模组，用于处理影像传感器摄录的影像信号后传输至显示器，其特征在于，包括一电路基板、多个输入端口、多个输出端口以及一影像信号处理器，其中：

该影像信号处理器设置于该电路基板上，而该多个输入端口以及该多个输出端口分别设置于该电路基板周侧。

2.如权利要求1所述的图像处理模组，其特征在于，该影像信号处理器包括依次电性连接的一自动曝光单元、一色彩校正单元、一转换单元、一滤波单元、一动态范围校正单元以及一伽玛校正单元。

3.如权利要求1所述的图像处理模组，其特征在于，该影像信号处理器包括依次电性连接的一自动曝光单元、一自动白平衡处理单元、一色彩滤波阵列内插法单元、一色彩校正单元、一转换单元、一滤波单元、一动态范围校正单元以及一伽玛校正单元。

4.如权利要求1~3中任一项所述的图像处理模组，其特征在于，该多个输入端口为并行端口和串行端口，而该多个输出端口为数字视频接口、通用串行总线和高清晰度多媒体接口。