CN105979174A - 一种滤波网络及图像处理*** - Google Patents

Abstract

本发明公开了一种滤波网络及图像处理***，该滤波网络包括：若干高斯乘法器；输出电路，输出电路与若干高斯乘法器分别连接，其中，高斯乘法器包括第一差分对管及与第一差分对管分别连接的第二差分对管和第三差分对管，第一差分对管中第一晶体管的输出端分别连接第二差分对管中两晶体管的输入端，第一差分对管中第二晶体管的输出端分别连接第三差分对管中两晶体管的输入端，第一晶体管的输入端和第二晶体管的输入端并联，第二差分对管中两晶体管的输出端和第三差分对管中两晶体管的输出端分别与输出电路连接。本发明通过模拟高斯乘法器实现高斯卷积滤波处理，可以提高高斯卷积滤波速度，降低电路功耗。

Description

一种滤波网络及图像处理***

技术领域

本发明涉及图像处理技术领域，具体地说，涉及一种滤波网络及图像处理***。

背景技术

在数字信号处理技术中，卷积滤波是信号预处理中非常重要的一步。在图像处理领域，高斯卷积滤波器是一种平滑滤波器，其作用是获得信噪比SNR较高的图像，并避免图像的振铃现象。在传统的数字图像处理***中，图像传感器采集到的图像信息通过模拟数字转换器ADC转换为数字信号，采用数字信号处理DSP技术进行后续的滤波处理。

但是，随着图像传感技术的发展，采集到的图像分辨率大幅度的提升，使得多尺度高斯滤波的连续尺度拓展导致数据量和运算量的急剧增加，传统数字***越来越难以满足图像处理***对于实时性和功耗的需求。尤其是便携设备和可穿戴设备等嵌入式***，在高速度、小型化和超低功耗方面的设计要求更高，更加难以满足需求指标。

在实际图像处理中，高斯滤波是通过图像数据与高斯模板进行卷积实现的。卷积运算实际上就是一系列乘法和加法运算。但是，由于图像中的每一个像素及其特定大小的邻域都将参与乘加运算，因此当图像尺寸大、清晰度高时，就需要进行大量重复的高斯卷积运算。而这一操作在许多图像处理算法中是不可或缺的一部分，比如图像边缘检测和增强、斑点检测以及尺度不变特征提取算法等等，都需要在预处理阶段对输入图像进行某种尺度或多尺度的高斯滤波。

以图像特征提取算法中最为经典的SIFT算法为例，该算法实现实时运算的主要瓶颈就在于高斯金字塔的建立，即多尺度高斯滤波运算的部分。实验表明，该算法在FPGA实现中，高斯滤波部分花费的时间占总的算法运算时间的85.63％。因此，对于实时图像处理***，尤其针对嵌入式图像处理***，有效加速多尺度高斯滤波并降低功耗是十分必要的。

发明内容

为解决以上问题，本发明提供了一种滤波网络及图像处理***，用以加速高斯滤波并降低电路功耗。

根据本发明的一个方面，本发明提供了一种滤波网络，包括：

若干高斯乘法器；

输出电路，所述输出电路与若干所述高斯乘法器分别连接，

其中，所述高斯乘法器包括第一差分对管及与所述第一差分对管分别连接的第二差分对管和第三差分对管，所述第一差分对管中第一晶体管的输出端分别连接所述第二差分对管中两晶体管的输入端，所述第一差分对管中第二晶体管的输出端分别连接所述第三差分对管中两晶体管的输入端，所述第一晶体管的输入端和所述第二晶体管的输入端并联，所述第二差分对管中两晶体管的输出端和所述第三差分对管中两晶体管的输出端分别与所述输出电路连接。

根据本发明的一个实施例，所述第二差分对管和所述第三差分对管中两晶体管中一晶体管的开关端分别与所述第一晶体管的开关端连接，另一晶体管的开关端分别与所述第二晶体管的开关端连接，通过控制所述第二晶体管的开关端的控制电压，使得所述第一差分对管、所述第二差分对管和所述第三差分对管工作在亚阈值区。

根据本发明的一个实施例，所述输出电路包括由开关端连接的两晶体管构成的镜像电流源，所述镜像电流源的一晶体管的输入端分别与所述第二差分对管中的与所述第二晶体管开关端连接的晶体管的输出端、所述第三差分对管中的与所述第一晶体管的开关端连接的晶体管的输出端和所述镜像电流源中两晶体管的开关端连接。

根据本发明的一个实施例，所述输出电路还包括一对称晶体管，所述对称晶体管分别与所述第二差分对管中的与所述第一晶体管开关端连接的晶体管的输出端及所述第三差分对管中的与所述第二晶体管的开关端连接的晶体管的输出端连接。

根据本发明的另一个方面，还提供了一种图像处理***，包括：

以上任一项所述的滤波网络；

CMOS图像传感器，其上各像素单元输出的光电流通过对应的所述第一差分对管中所述第一晶体管和所述第二晶体管的输入端进入所述滤波网络。

根据本发明的一个实施例，所述图像处理***还包括模板存储器及与所述模板存储器连接的数模转换器，基于所述模板存储器存储的模板、滤波尺度和所述高斯乘法器的转移函数计算所述第二晶体管的开关端的控制电压，所述控制电压经所述数模转换器转换为模拟信号后输出给所述高斯卷积滤波网络。

根据本发明的一个实施例，所述滤波网络中高斯乘法器的数量等于所述模板存储器中存储的模板中权值的个数。

根据本发明的一个实施例，所述图像处理***还包括分别与所述CMOS图像传感器、所述滤波网络中所述第一差分对管中的所述第一晶体管的输入端和所述第二晶体管的输入端连接的读出控制电路，以对所述CMOS图像传感器中各像素单元输出的光电流进行串行滤波。

根据本发明的一个实施例，所述滤波网络集成在所述CMOS图像传感器内。

根据本发明的一个实施例，所述滤波网络设置在所述CMOS图像传感器外，并通过所述CMOS图像传感器的输出端口读取光电数据。

本发明的有益效果：

本发明通过模拟高斯乘法器实现高斯卷积滤波处理，可以提高高斯卷积滤波速度，降低电路功耗。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：

图1是根据本发明的一个实施例的一种滤波网络结构示意图；

图2a是根据本发明的一个实施例的一个高斯乘法器与输出电路的连接示意图；

图2b是图2a中高斯乘法器的转移函数和高斯函数的对比示意图；

图3是根据本发明的一个实施例的采用一维滤波网络的图像处理***结构示意图；

图4是为采用图3所示的一维滤波网络时的CMOS图像传感器与滤波网络的连接示意图；

图5是根据本发明的一个实施例的采用3x3的二维高斯滤波电路的图像信号处理示意图；以及

图6是根据本发明的另一实施例的图像处理***结构示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

如图1所示为根据本发明的一个实施例的一种滤波网络结构示意图，以下参考图1来对本发明进行详细说明。

该滤波网络包括若干高斯乘法器10及与若干高斯乘法器分别连接的输出电路20。其中，该高斯乘法器10包括第一差分对管11及与第一差分对管11分别连接的第二差分对管12和第三差分对管13，第一差分对管11中第一晶体管111的输出端分别连接第二差分对管12中两晶体管的输入端，第一差分对管11中第二晶体管112的输出端分别连接第三差分对管13中两晶体管的输入端，第一晶体管111的输入端和第二晶体管113的输入端并联，第二差分对管12中两晶体管的输出端和第三差分对管13中两晶体管的输出端分别与输出电路20连接。

如图2a所示为根据本发明的一个实施例的一个高斯乘法器10与输出电路20的连接示意图。在该电路工作时，通过控制三个差分对管开关端的电压V+和V-，使得尾电流I_in通过第一差分对管11中的第一晶体管111的输入端和第二晶体管112的输入端进入该高斯乘法器，经该高斯乘法器处理后，输出给输出电路20，并经输出电路20输出电流Iout。

由图2a可知，在该高斯乘法器10中，第一差分对管11与第二差分对管12首尾相接、第一差分对管11与第三差分对管13首尾相接，第二差分对管12和第三差分对管13输出端并联。高斯乘法器10利用MOS差分对管产生的近高斯转移特性函数作为高斯核函数，可以在模拟域实现尾电流与高斯核函数的相乘。具体的，该高斯乘法器利用工作在亚阈值区的MOS差分对管产生的Sigmoid转移特性，将两组这样的差分对管首尾相接，使得两个中心对称的Sigmoid函数相乘，获得双曲正割平方函数。该双曲正割平方函数在形状上非常接近高斯函数，如图2b所示。因此，该电路构成的不是标准高斯特性，而是一种近高斯转移特性，该函数在数学性质上与高斯函数非常接近，即自卷积和傅里叶变换的结果仍然近似符合高斯特性。由于该高斯乘法器是电流模拟电路，只要将若干高斯乘法电路输出直接相连，便可以实现高斯卷积滤波运算中的加法运算。如图1所示，将尾电流I_-2、I_-1、I₀、I₁，I₂对应的高斯乘法器输出端并联在一起，输出电流为：

$I_{out}=\underset{n=-2}{\overset{2}{\Σ}}{I}_{out\left(n\right)}---\left(1\right)$

则可以实现加法运算。因此，图1所述的滤波网络可以实现高斯卷积滤波。

利用图1的模拟滤波网络进行图像滤波的优势在于，从原始的模拟信息开始进行模拟域的信号处理，更接近和类似于生物体本身的感知和计算过程。这一过程避免了从模拟到数字域的转换过程，而是利用物理器件的建立稳定过程进行自发的物理计算。相比于数字信号处理，尤其在乘除法运算、指数运算以及浮点运算等复杂计算过程方面，这种物理计算模式在速度上实现了超越。

在本发明的一个实施例中，第二差分对管12和第三差分对管13这两个对管中各自的两晶体管中一晶体管的开关端分别与第一晶体管111的开关端连接，另一晶体管的开关端分别与第二晶体管112的开关端连接，通过控制第二晶体管112的开关端的控制电压，使得第一差分对管11、第二差分对管12和第三差分对管13工作在亚阈值区。由于电路中MOS管工作在亚阈值区，使得该电路功耗相对较小，在实现应用于便携设备等嵌入式领域的超低功耗电路设计方面具有非常大的优势。

在该滤波网络工作时，通过控制第二晶体管112的开关端控制电压的大小，就可以控制Sigmoid函数的形状，改变高斯滤波尺度，进而实现多尺度高斯滤波处理。具体的，尾电流经过差分对管11和12后，输出的两个电流都是sigmod函数电流，相当于是对尾电流进行了加权。并且，根据基尔霍夫电流定律，两个输出端是刚好反相的，即是两个互补的sigmod函数。将差分对管左边的输出函数称为s1，右边的输出函数称为s2，那么，尾电流经过第一差分对管11，左输出为Iin*s1，右输出为Iin*s2。根据电路图，第一差分对管11的左输出又经过一个差分对管13并取右输出，所以得到Iin*s1*s2。同理，第一差分对管11的右输出也再次经过一个差分对管12并取左输出，得到Iin*s2*s1。此时，我们得到两个对称的类高斯函数Iin*s1*s2和Iin*s2*s1。由于误差，这两个类高斯函数可能有轻微的不对称性。在输出端进行合流后，即可消除不对称性，得到完全对称的类高斯函数。

经过推导，可以得到滤波网络的输出电流为：

$I_{out}=\frac{I_0}{4}{\mathrm{sech}}^2\left(\frac{\mathrm{\Δ}V}{2{\mathrm{nV}}_T}\right)---\left(2\right)$

其中，I₀表示输入的尾电流，Sech表示双曲正割函数，ΔV表示差分电压输入，n表示非理想因子(给定工艺下为常数)，VT表示热电压(固定温度下是确定的值＝kT/q)。实际上sech平方函数与高斯函数非常接近，于是有：

$I_{out}\≈\frac{I_0}{4}\exp (-\mathrm{\γ}\·{\mathrm{\ΔV}}^2)---\left(3\right)$

γ表示高斯尺度系数(与电路结构和工艺相关)。所以，改变差分对管两个开关端的电压差即可达到修改高斯函数尺度的目的。

另外，用户也可以根据需求，添加***控制电路控制输入电压，从而对电路网络的滤波尺度进行可编程设计，也可以构建多层电路网络，建立多尺度图像高斯金字塔，可以应用于高层次图像处理中，如SIFT、SURF等图像特征提取算法。同时，通过不同的控制电压的输入，该电路还可以实现滤波尺度的实时调整。

在本发明的一个实施例中，输出电路20包括由开关端连接的两晶体管构成的镜像电流源21，该镜像电流源21的一晶体管211的输入端分别与第二差分对管12中与第二晶体管112开关端连接的晶体管的输出端、第三差分对管13中与第一晶体管111的开关端连接的晶体管的输出端和镜像电流源中两晶体管的开关端连接。该输入端引入输入电流，通过该镜像电流源21的另一晶体管212输出。

在本发明的一个实施例中，该输出电路20还包括一对称晶体管22，该对称晶体管22分别与第二差分对管12中与第一晶体管11的开关端连接的晶体管的输出端及第三差分对管13中与第二晶体管12的开关端连接的晶体管的输出端连接。该对称晶体管22用以实现电路结构对称，有利于电路稳定。

根据本发明的另一个方面，还提供了一种图像处理***，如图3所示为根据本发明的一个实施例的采用一维滤波网络的图像处理***结构示意图。该***包括以上所述的高斯卷积滤波网络和CMOS图像传感器，其中，CMOS图像传感器上各像素单元均包括一个处理单元。处理单元由控制电路发出的控制信号驱动，使得其上的感光部分采集光信号，处理单元再将光信号转换为光电流。光电流通过对应的第一差分对管11中第一晶体管111和第二晶体管113的输入端进入高斯卷积滤波网络。在CMOS图像传感器的每一个像素单元中，均可集成滤波网络电路，使得传感器获得的模拟信号能够直接在模拟域进行高斯滤波处理，然后通过AD读出处理完成的数据，再进行后续的高层次图像处理。在高斯滤波处理时，从原始的模拟信息开始进行模拟域的信号处理，避免了从模拟到数字域的转换过程，有利于提高运算速度。

在本发明的一个实施例中，该图像处理***还包括模板存储器及与该模板处理器连接的数模转换器，基于模板存储器存储的模板、滤波尺度和高斯乘法器的转移函数计算第二晶体管112的开关端的控制电压，该控制电压经模数转换器DAC转换为模拟信号后输出给高斯卷积滤波网络10。

该模板存储器用于存储进行高斯滤波处理时，待处理像素单元与邻近像素单元的权重值，该权重值用于生成待处理像素单元的亮度。例如通常采用的3x3、5x5等的高斯权重模板。如图4所示为采用图3所示的一维滤波网络时的CMOS图像传感器与滤波网络的连接示意图，该滤波网络采用了5个高斯乘法器，说明采用的高斯权重模板为1x5，对应采用的像素单元包括待处理像素单元1个(与尾电流I₀对应)及其左2个和右2个(与尾电流I_-2，I_-1，I₁，I₂对应，I_-1和I₁、I_-2和I₂在位置上关于待处理像素对称排布、距离相等)，总共5个像素单元。也就是说，高斯卷积滤波网络中高斯乘法器的数量等于模板存储器中存储的模板所需的像素单元数。根据应用需求的不同，可以相应调整集成的乘法器数量，进行不同模板大小的滤波处理。

以下以模板大小为3×3、对应的高斯滤波网络为3x3的二维高斯滤波电路为例进行说明，如图5所示。其滤波处理流程如下：MOS图像传感器将摄像头采集的图像信息转换为电信号，即将光流信息转换成电流输入到各个高斯乘法器的尾电流输入端。基于模板存储器存储的模板、滤波尺度以及高斯乘法器本身拟合的转移函数可以计算得出一组控制电压(V0、V1、V2)，其中，V0对应待处理的该模板中中间像素单元，V1对应待处理像素单元上下左右的4个像素单元，V2对应该模板中其他的像素单元，这样基于距离将待处理像素单元及周围的像素单元分为3组进行处理，基于该控制电压体现不同像素单元的权重。当模板变化时，高斯乘法器数量及控制电压数量均需做相应调整。对应输入连接完毕，电路稳定后，其输出端的电流输出既为对应位置的卷积计算结果。仿真验证表明该电路的建立时间在百皮秒量级，与数字电路对比，相当于可以以10GHz数量级的频率进行高斯卷积，可以看出该电路在速度上具有很大的优势。

在本发明的一个实施例中，该高斯卷积滤波网络可以大规模集成在CMOS图像传感器中，甚至可以集成在每个像素点内部，进行大规模并行处理。

由于每次卷积计算均需要当前位置的像素值和相邻位置的像素值，因此进行大规模并行计算时，像素点之间的邻接关系较为复杂，用户可以根据应用需求和集成工艺，减少卷积运算单元的数量，并添加相应的***数字电路进行串并行架构设计，在满足应用需求和工艺设计规则的条件下简化电路设计，如图6所示。由于该电路输入输出均为电流，考虑到简化电路设计并降低功耗，可以将电路网络进行复用，以减少电路层数，提高能效。卷积滤波的输出结果可以通过AD直接读出。

相比于数字***，该电路将计算过程与传感器结合，在将传感数据进行模拟数字转换之前，在模拟域完成了整个复杂的运算过程，而运算时间与AD时间相比基本可以忽略，从运算架构和速度上超越了传统数字***，而且由于运算单元电路中MOS管都工作在亚阈值区，因此其功耗也可以保持在较低水平。本专利提出的模拟高斯滤波模块可以依据后续不同的应用需求和设计规范，用户进行定制设计，可以在CMOS图像传感器中进行不同规模的集成，以满足不同的滤波带宽的需求。同时，用户也可以添加***数字控制电路，构成混合信号处理电路，增加其可编程性，使该电路能更灵活的应用于图像处理领域。

虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种滤波网络，包括：

若干高斯乘法器；

输出电路，所述输出电路与若干所述高斯乘法器分别连接，

其中，所述高斯乘法器包括第一差分对管及与所述第一差分对管分别连接的第二差分对管和第三差分对管，所述第一差分对管中第一晶体管的输出端分别连接所述第二差分对管中两晶体管的输入端，所述第一差分对管中第二晶体管的输出端分别连接所述第三差分对管中两晶体管的输入端，所述第一晶体管的输入端和所述第二晶体管的输入端并联，所述第二差分对管中两晶体管的输出端和所述第三差分对管中两晶体管的输出端分别与所述输出电路连接。

2.根据权利要求1所述的滤波网络，其特征在于，所述第二差分对管和所述第三差分对管中两晶体管中一晶体管的开关端分别与所述第一晶体管的开关端连接，另一晶体管的开关端分别与所述第二晶体管的开关端连接，通过控制所述第二晶体管的开关端的控制电压，使得所述第一差分对管、所述第二差分对管和所述第三差分对管工作在亚阈值区。

3.根据权利要求2所述的滤波网络，其特征在于，所述输出电路包括由开关端连接的两晶体管构成的镜像电流源，所述镜像电流源的一晶体管的输入端分别与所述第二差分对管中的与所述第二晶体管开关端连接的晶体管的输出端、所述第三差分对管中的与所述第一晶体管的开关端连接的晶体管的输出端和所述镜像电流源中两晶体管的开关端连接。

4.根据权利要求3所述的滤波网络，其特征在于，所述输出电路还包括一对称晶体管，所述对称晶体管分别与所述第二差分对管中的与所述第一晶体管开关端连接的晶体管的输出端及所述第三差分对管中的与所述第二晶体管的开关端连接的晶体管的输出端连接。

5.一种图像处理***，包括：

权利要求1-4中任一项所述的滤波网络；

CMOS图像传感器，其上各像素单元输出的光电流通过对应的所述第一差分对管中所述第一晶体管和所述第二晶体管的输入端进入所述滤波网络。

6.根据权利要求5所述的图像处理***，其特征在于，所述图像处理***还包括模板存储器及与所述模板存储器连接的数模转换器，基于所述模板存储器存储的模板、滤波尺度和所述高斯乘法器的转移函数计算所述第二晶体管的开关端的控制电压，所述控制电压经所述数模转换器转换为模拟信号后输出给所述高斯卷积滤波网络。

7.根据权利要求6所述的图像处理***，其特征在于，所述滤波网络中高斯乘法器的数量等于所述模板存储器中存储的模板中权值的个数。

8.根据权利要求7所述的图像处理***，其特征在于，所述图像处理***还包括分别与所述CMOS图像传感器、所述滤波网络中所述第一差分对管中的所述第一晶体管的输入端和所述第二晶体管的输入端连接的读出控制电路，以对所述CMOS图像传感器中各像素单元输出的光电流进行串行滤波。

9.根据权利要求7所述的图像处理***，其特征在于，所述滤波网络集成在所述CMOS图像传感器内。

10.根据权利要求7所述的图像处理***，其特征在于，所述滤波网络设置在所述CMOS图像传感器外，并通过所述CMOS图像传感器的输出端口读取光电数据。