CN101943839A - 一体化的自动聚焦摄像机装置及清晰度评价方法 - Google Patents

Abstract

本发明公开了一种一体化的自动聚焦摄像机装置及清晰度评价方法，以图像信号的高频分量为聚焦清晰度的特征估计值，采用了空域和频域相结合的计算方法确保对聚焦清晰度的可靠评价。自动聚焦装置除实现清晰度评价值计算之外，通过对步进电机的控制实现光学聚焦透镜的前后移动控制，采用空域和频域多特征的爬山搜索策略，使成像处在聚焦最清晰位置，采用数字信号处理器加速，保证快速聚焦。结合通信接口和控制协议，实现一体化摄像机设备。

Description

一体化的自动聚焦摄像机装置及清晰度评价方法

技术领域

本发明涉及一种一体化的电子摄像机以及应用于该电子摄像机的自动聚焦技术，尤其涉及一种一体化的自动聚焦摄像机装置及清晰度评价方法。

背景技术

传统的自动聚焦技术分为主动式和被动式两种，主动式自动聚焦利用红外线或超声波来测量摄像机与物体之间的距离，从而调整焦距位置；被动式则是通过被动接受外界物体的光线，通过相关电子检测的方式调整焦距位置。

随着数字图像处理技术的发展，越来越多的自动聚焦装置依赖于图像处理算法，而不是主动式的测距方式。图像处理理论认为，镜头的聚焦***等价于一个低通滤波器，滤波器的截止频率由当前像距与镜头焦距决定。因此，通过提取图像的高频分量就能对当前图像的清晰度进行判断。与普通相机的自动聚焦相比，摄像机，尤其是视频监控用摄像机对聚焦速度和精度要求更高，这是由于场景变化复杂，光学变倍速度快，如果对焦速度慢或精度低，则摄取的视频图像的视觉效果差或大多是模糊图像，应用于视频监控中具有很大局限性。

根据图像清晰度度量的被动聚焦算法，其性能主要由以下几个参数进行评测：

1、准确度，即算法得出的清晰度峰值位置必须在实际的聚焦位置或附近。

2、单峰范围，即算法得出的清晰度曲线必须在尽可能大的范围内呈单峰特性。

3、普适性，即算法必须在大部分环境中表现良好，而不是仅仅适用于几种特定场合。

4、峰值陡峭程度，即清晰度曲线需要在聚焦区域附近陡峭上升或下降，以精确定位聚焦位置。

5、算法复杂度，算法复杂度必须适应实时性的需求。

发明内容

本发明的目的在于针对现有技术的不足，提供一种一体化的自动聚焦摄像机装置及清晰度评价方法。

本发明的目的是通过以下技术方案来实现的：

一种一体化的自动聚焦摄像机装置，它包括：可变倍的光学变焦镜头单元、CCD图像传感器单元、电机驱动单元、摄像机信号处理单元、DSP图像处理单元和通信单元。其中，所述可变倍的光学变焦镜头单元、CCD图像传感器单元、摄像机信号处理单元、DSP图像处理单元、电机驱动单元依次串连、电机驱动单元和可变倍的光学变焦镜头单元相连，摄像机信号处理单元和DSP图像处理单元分别与通信单元相连。

一种上述一体化的自动聚焦摄像机装置的自动聚焦方法，包括以下步骤：

(1)选择合适的清晰度评价区域：首先在不受邻接区域干扰的前提下选择适当的搜索区域大小，然后根据当前图像的清晰区域选择搜索区域的位置。

(2)选择合适的清晰度评价函数：首先通过频域评价函数、空间域评价函数、及频域和空域相结合的最优评价函数作为清晰度评价函数，然后基于DSP对算法进行优化。

本发明的有益效果是：本发明以图像信号的高频分量为聚焦清晰度的特征估计值，采用了空域和频域相结合的计算方法确保对聚焦清晰度的可靠评价。自动聚焦装置除实现清晰度评价值计算之外，通过对步进电机的控制实现光学聚焦透镜的前后移动控制，采用空域和频域多特征的爬山搜索策略，使成像处在聚焦最清晰位置，实现摄像机的一体化成像功能。与现有的自动聚焦摄像机相比，能够在满足实时性能的前提下，实现更加稳定的聚焦。

附图说明

图1是本发明装置的框图；

图2是搜索框过小时的清晰度曲线图；

图3是邻接区域对搜索区域的影响示意图；

图4是搜索框过大时的清晰度曲线图；

图5是高通滤波器的截面图；

图6是算法优化前后的计算复杂度对比图；

图7是本算法采用的最优清晰度曲线图。

图8是dsp图像处理单元的电路图

具体实施方式

如图1所示，本发明一体化的自动聚焦摄像机装置包括可变倍的光学变焦镜头单元、CCD图像传感器单元、电机驱动单元、摄像机信号处理单元、DSP图像处理单元和通信单元，其中，可变倍的光学变焦镜头单元、CCD图像传感器单元、摄像机信号处理单元、DSP图像处理单元、电机驱动单元依次串连、电机驱动单元和可变倍的光学变焦镜头单元相连，摄像机信号处理单元和DSP图像处理单元分别与通信单元相连。通信单元负责与上位机通信。

可变倍的光学变焦镜头单元、CCD图像传感器单元和电机驱动单元组成成像部分，其中可变倍的光学变焦镜头单元和电机驱动单元可购买舜宇光学科技(集团)有限公司的LM10镜头实现，CCD图像传感器单元可采用索尼公司的4103-227套片组实现。

可变倍的光学变焦镜头单元包括聚焦透镜组和用于驱动透镜组的步进电机。同时，还包括其他部件，例如，用于阻止红外入射光的红外滤镜，用于改变入射光量的可调节光圈和用于驱动红外滤镜和可调光圈的驱动电路。

电机驱动单元用于控制步进电机驱动聚焦透镜组的移动，光圈的调节，曝光时间的调节等。

CCD图像传感器单元将拍摄对象由镜头单元传至感光元件并将其转化成以像素为单位的电子信号，并输出该视频信号。与CMOS成像原理不同，CCD成像时各个像素均在同一时间曝光，时间相关性更强。

摄像机信号处理单元用于将CCD传感器传出的电子信号做进一步处理，改善图像质量。包括对电子信号进行采样放大处理，通过A/D转化将其转化至数字信号，对数字信号进行矫正、自动白平衡等改善其图像质量，处理完后将其按照数字图像的输出格式进行输出。此单元可采用索尼公司的4103-227套片组实现

DSP图像处理单元负责自动聚焦(AF)算法的实现。首先，装置用于分析聚焦算法所必需的图像清晰度。清晰度是由当前图像的高频分量以及对比度决定的，如果当前图像高频分量占整个图像能量的比例越多且对比度越高，则图像越接近聚焦区域，反之则图像越远离聚焦区域。同时，DSP模块通过对图像清晰度的对比，确定聚焦镜片移动的方向，并将该信号传递给电机驱动模块进行控制。此单元的原理图如图8所示。

其中，U1可以采用ADI公司的Blackfin系列dsp芯片，U2为摄像机信号处理单元，可采用索尼公司的4103-227套片组实现，U3可采用SIPEX公司的SP3220EEA芯片。U1的PPICLK连接至U2的CLK，U1的PPID0-7依次连接到U2的DATE0-7，U1的SCL与SDA分别连接至U2的SCL与SDA。U1的UART_TX与UART_RX分别连接至U3的DIN和ROUT端口。电阻R1一头接3.3V，一头接至U1的SCL脚，电阻R2一头接3.3V，一头接至U1的SDA脚，电容C1分别连接U3的C1-脚和C1+脚，电容C2分别连接U3的C2-脚与C2+脚，电容C3分别连接地线与V+脚，电容C4分别连接地线与V-脚。

具有以上设备配置的摄像机，能够将外界景物形成清晰的视频信号，并将其输出至外接的显示屏或储存介质中。

本发明的自动聚焦方法，包括以下步骤

1、选择合适的清晰度评价区域，包括：(1)在不受邻接区域干扰的前提下选择适当的搜索区域大小，(2)根据当前图像的清晰区域选择搜索区域的位置。

2、选择合适的清晰度评价函数，包括：(1)通过频域评价函数、空间域评价函数、及频域和空域相结合的最优评价函数作为清晰度评价函数，(2)基于DSP对算法进行优化。

1、选择合适的清晰度评价区域

清晰度评价区域的选择会直接影响到聚焦算法的计算复杂度以及聚焦精度。一方面，聚焦区域大小的选择直接影响到聚焦算法的计算复杂度，加快聚焦速度。另一方面，通过一定算法挑选出感兴趣的区域进行聚焦，剔除背景部分，能够有效的改善清晰度曲线的单峰性能，提高聚焦精度。

本发明提供了一种确定清晰度评价区域大小和位置的方法。

1.1 在不受邻接区域干扰的前提下选择适当的搜索区域大小

搜索区域过大或过小都会破坏聚焦曲线的单峰性。图3是说明在散焦状态下，图像会发生模糊，图像边界会有一定程度上的扩张。图2若选取的评价区域太小，图像会由于区域附近扩张图像的干扰而使清晰度曲线丧失单峰性。图4说明了评价区域过大，则会因为混入了过多不同深度的景物而使清晰度曲线单峰性变差。因此，评价区域的上限与下限必须满足上述2个条件。通过对上述2个条件的测试，本发明取原图像的M×N作为评价区域的大小。其中，M，N取图像行数和列数的1/3至1/2。

1.2 根据当前图像的清晰区域选择搜索区域的位置。

评价区域的位置直接影响聚焦的精度。本发明采用图像梯度方法判断评价区域的位置。具体的，通过式(1)求得当前图像水平和垂直梯度，由式(2)求得当前像素点的梯度大小，在预设的N个区域分别求得区域内梯度大小之和作为判断每个区域清晰度大小的判据，将清晰度最大的区域作为聚焦搜索区域。

$\▿\stackrel{\→}{f}=[G_X,G_Y]=[\∂\stackrel{\→}{f}/\∂x,\∂\stackrel{\→}{f}/\∂y]---\left(1\right)$

$\▿f=\mathrm{mag}(\▿\stackrel{\→}{f})=[{(\∂\stackrel{\→}{f}/\∂x)}^2+{(\∂\stackrel{\→}{f}/\∂y)}^2]---\left(2\right)$

其中

为(x，y)点的梯度值，G_XG_Y分别为xy方向的方向梯度值。▽f为

的大小

2 选择合适的清晰度评价函数

2.1 通过频域评价函数、空间域评价函数、及频域和空域相结合的最优评价函数作为清晰度评价函数

图像清晰度由当前图像的高频分量以及对比度决定。

以下是本发明提出的基于频域滤波的清晰度的测试方式：

2.1.1 通过式(3)采用2维傅立叶变换将图像信号由空域转换至频域。

$F(u,v)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)}---\left(3\right)$

其中x，y代表了图像的坐标位置。f(x，y)为图像的灰度函数，MN代表图像的宽和高。

2.1.2 通过一个理想高通滤波器提取图像高频分量(图5)，由式(4)计算得出高频分量在整幅图像中的百分比作为清晰度的评价函数。

其中P为整个搜索框，Q为搜索框中截至频率以内的像素点的集合。F(u，v)为频域函数。

2.1.3 计算图像梯度大小作为图像的清晰度评价函数。

$\mathrm{Def}\_\mathrm{Gra}\left(t\right)=\underset{(x,y)\∈P}{\mathrm{\Σ}}{[g(x,y)-g(x-1,y)]}^2+{[g(x,y)-g(x,y-1)]}^2$

其中g(x，y)为(x，y)的灰度值。

2.1.4 将两种评价函数结合起来，得到一种最优评价函数：

Def(t)＝Def_Gra(t)*α+Def_Fre(t)*(1-α)；

其中Def_Gra(t)为图像梯度评估函数，Def_Fre(t)为图像频域评估函数，

$\mathrm{\α}=\frac{\mathrm{Def}\_\mathrm{Gra}\left(t\right)-\mathrm{Def}\_\mathrm{Gra}(t-1)}{\mathrm{Def}\_\mathrm{Fre}\left(t\right)-\mathrm{Def}\_\mathrm{Fre}(t-1)+\mathrm{Def}\_\mathrm{Gra}\left(t\right)-\mathrm{Def}\_\mathrm{Gra}(t-1)}$

如图7所示，最终评价函数有良好的峰值陡峭度和单峰范围，易于实现基于爬山法的聚焦搜索算法。

2.2 基于DSP的对算法进行优化。

由于频域滤波法计算复杂度很高，而且其复杂度随着清晰度评价区域的增加而快速增加，因此不能满足实时性的要求。

以下是本发明用以优化频域滤波的方法：

2.2.1 利用式(5)将2维DFT转化为2次1维DFT的叠加，再利用快速傅立叶变换FFT代替DFT。

$F(u,v)=\frac{1}{M}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{e}^{-j2\mathrm{\πux}/M}\frac{1}{N}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\πvy}/N}$

$=\frac{1}{M}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}F(x,v)e^{-j2\mathrm{\πvy}/N}---\left(5\right)$

其中

其中x、y为图像空间域坐标，u、v为图像频域坐标，M、N为图像的宽和高

2.2.2 将2行实数FFT合并为一行复数FFT，将计算量减小一半。具体如下：

令x₁(n)和x₂(n)为N点实序列，其DFT为DFT(x₁(n))＝X₁(k)DFT(x₂(n))＝X₂(k)。

先将2个实序列合成为一个复序列：

w(n)＝x₁(n)+jx₂(n)

则  Re[w(n)]＝x₁(n)，Im[w(n)]＝x₂(n)

$\mathrm{DFT}\left(x_1\left(n\right)\right)=\mathrm{DFT}\left(\mathrm{Re}\right[w\left(n\right)\left]\right)$

$=\frac{1}{2}\left\{\mathrm{DFT}\left[w\left(n\right)\right]+\mathrm{DFT}\left[w^{*}\left(n\right)\right]\right\}$

$=\frac{1}{2}[W\left(k\right)+W^{*}{(N-k)}_N{R}_N\left(k\right)]$

$=\frac{1}{2}[W{\left(k\right)}_N+W^{*}{(N-k)}_N]R_N\left(k\right)---\left(6\right)$

其中W(k)为w(n)的频域函数，

同理

$=\frac{1}{2j}[W{\left(k\right)}_N-W^{*}{(N-k)}_N]R_N\left(k\right)---\left(7\right)$

计算出W(k)后根据(6)(7)两式可计算出X₁(k)X₂(k)

2.2.3 利用帕塞瓦尔定律减少FFT计算数目

根据帕塞瓦尔定理(式(8))，图像信号在空间域的能量恒等于频域各个频率分量能量之和。

$\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|x\left(n\right)\right|}^2=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|X\left(k\right)\right|}^2---\left(8\right)$

因此，可由式(9)推出清晰度评价函数的值并减小近一半FFT计算量。

$=1-\underset{(u,v)\∈Q}{\mathrm{\Σ}}F{(u,v)}^2/\underset{(u,v)\∈P}{\mathrm{\Σ}}F{(u,v)}^2$

$=1-\underset{(u,v)\∈Q}{\mathrm{\Σ}}F{(u,v)}^2/N^2\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|f(x,y)\right|}^2---\left(9\right)$

其中PP为整个搜索框，Q为搜索框中截至频率以内的像素点的集合。x、y为图像空间域坐标，u、v为图像频域坐标。

图6表明了优化后的算法复杂度有明显的降低。

下面以索尼公司的4103 CCD套片为例具体列出本发明自动聚焦的方法。

1.首先确认清晰度评价区域的大小，由于套片输出的数字信号分辨率为704×576，根据步骤1.1的原则，我们把清晰度评价区域大小定为256×128。把整幅图片均分为9块，每块大小为256×128(允许重叠)，对每块根据(4)式计算其清晰度，以清晰度最大的区域作为最终的搜索区域。

2.为了满足实时性要求，按照方法2.2的步骤对评价函数进行优化。优化后的最优评价函数为标准，通过爬山法进行搜索以确定准确聚焦位置。

以上为本发明的优选实施例，并不用于限制本发明。对从事该领域的技术人员来说，本发明可以有更改或变换，但是在本发明的精神和原则之内，任何更改或变换均应在本发明的保护范围之内。

Claims (4)

1.一种一体化的自动聚焦摄像机装置，其特征在于，它包括：可变倍的光学变焦镜头单元、CCD图像传感器单元、电机驱动单元、摄像机信号处理单元、DSP图像处理单元和通信单元。其中，所述可变倍的光学变焦镜头单元、CCD图像传感器单元、摄像机信号处理单元、DSP图像处理单元、电机驱动单元依次串连、电机驱动单元和可变倍的光学变焦镜头单元相连，摄像机信号处理单元和DSP图像处理单元分别与通信单元相连。

2.一种应用权利要求1所述一体化的自动聚焦摄像机装置的自动聚焦方法，其特征在于，包括以下步骤：

(1)选择合适的清晰度评价区域：首先在不受邻接区域干扰的前提下选择适当的搜索区域大小，然后根据当前图像的清晰区域选择搜索区域的位置。

(2)选择合适的清晰度评价函数：首先通过频域评价函数、空间域评价函数、及频域和空域相结合的最优评价函数作为清晰度评价函数，然后基于DSP对算法进行优化。

3.根据权利要求2所述自动聚焦方法，其特征在于，所述通过频域评价函数、空间域评价函数、及频域和空域相结合的最优评价函数作为清晰度评价函数具体如下：

(A)通过下式采用2维傅立叶变换将图像信号由空域转换至频域：

$F(u,v)=\frac{1}{\mathrm{MN}}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\π}(\mathrm{ux}/M+\mathrm{vy}/N)},$

其中x，y代表了图像的坐标位置。f(x，y)为图像的灰度函数，MN代表图像的宽和高。

(B)通过一个理想高通滤波器提取图像高频分量，由下式计算得出高频分量在整幅图像中的百分比作为清晰度的评价函数：

其中，P为整个搜索框，Q为搜索框中截至频率以内的像素点的集合。

F(u，v)为频域函数。

(C)计算图像梯度大小作为图像的清晰度评价函数：

$\mathrm{Def}\_\mathrm{Gra}\left(t\right)=\underset{(x,y)\∈P}{\mathrm{\Σ}}{[g(x,y)-g(x-1,y)]}^2+{[g(x,y)-g(x,y-1)]}^2,$

其中，g(x，y)为(x，y)的灰度值。

(D)将两种评价函数结合起来，得到一种最优评价函数：

Def(t)＝Def_Gra(t)*α+Def_Fre(t)*(1-α)；

其中，Def_Gra(t)为图像梯度评估函数，Def_Fre(t)为图像频域评估函数，

$\mathrm{\α}=\frac{\mathrm{Def}\_\mathrm{Gra}\left(t\right)-\mathrm{Def}\_\mathrm{Gra}(t-1)}{\mathrm{Def}\_\mathrm{Fre}\left(t\right)-\mathrm{Def}\_\mathrm{Fre}(t-1)+\mathrm{Def}\_\mathrm{Gra}\left(t\right)-\mathrm{Def}\_\mathrm{Gra}(t-1)}.$

4.根据权利要求2所述自动聚焦方法，其特征在于，所述基于DSP对算法进行优化具体为：

(a)利用下式将2维DFT转化为2次1维DFT的叠加，再利用快速傅立叶变换FFT代替DFT。

$F(u,v)=\frac{1}{M}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}{e}^{-j2\mathrm{\πux}/M}\frac{1}{N}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)e^{-j2\mathrm{\πvy}/N}$

$=\frac{1}{M}\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}F(x,v)e^{-j2\mathrm{\πvy}/N},$

其中，

x、y为图像空间域坐标，u、v为图像频域坐标，M、N为图像的宽和高。

(b)将2行实数FFT合并为一行复数FFT，将计算量减小一半。具体如下：

令x₁(n)和x₂(n)为N点实序列，其DFT为DFT(x₁(n))＝X₁(k)DFT(x₂(n))＝X₂(k)。

先将2个实序列合成为一个复序列：

w(n)＝x₁(n)+jx₂(n)

则  Re[w(n)]＝x₁(n)，Im[w(n)]＝x₂(n)

$\mathrm{DFT}\left(x_1\left(n\right)\right)=\mathrm{DFT}\left(\mathrm{Re}\right[w\left(n\right)\left]\right)$

$=\frac{1}{2}\{\mathrm{DFT}\left[w\left(n\right)\right]+\mathrm{DFT}\left[w^{*}\left(n\right)\right]\}$

$=\frac{1}{2}[W\left(k\right)+W^{*}{(N-k)}_N{R}_N\left(k\right)]$

$=\frac{1}{2}[W{\left(k\right)}_N+W^{*}{(N-k)}_N]R_N\left(k\right)$

其中W(k)为w(n)的频域函数，

同理

$=\frac{1}{2j}[W{\left(k\right)}_N-W^{*}{(N-k)}_N]R_N\left(k\right)---\left(7\right)$

计算出W(k)后根据(6)(7)两式可计算出X₁(k)X₂(k)

(c)利用帕塞瓦尔定律减少FFT计算数目：根据帕塞瓦尔定理，图像信号在空间域的能量恒等于频域各个频率分量能量之和：

$\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|x\left(n\right)\right|}^2=\frac{1}{N}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|X\left(k\right)\right|}^2,$

因此，可由下式推出清晰度评价函数的值并减小近一半FFT计算量。

$=1-\underset{(u,v)\∈Q}{\mathrm{\Σ}}F{(u,v)}^2/\underset{(u,v)\∈P}{\mathrm{\Σ}}F{(u,v)}^2$

$=1-\underset{(u,v)\∈Q}{\mathrm{\Σ}}F{(u,v)}^2/N^2\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}{\left|f(x,y)\right|}^2,$

其中，PP为整个搜索框，Q为搜索框中截至频率以内的像素点的集合。x、y为图像空间域坐标，u、v为图像频域坐标。

Images