CN1747556A - 一种彩色传感器阵列图像插值复原的硬件实现方法 - Google Patents

Abstract

本发明公开了一种彩色传感器阵列图像插值复原的硬件实现方法，它采用在色差域进行插值的方法，首先求出与所求的像素点临近的各像素点处的蓝色和红色对于绿色的色差，然后在各个方向上对色差进行插值运算，以求得所求点处的蓝色和红色对绿色的色差，并根据所求点的已有数据及此点的色差插值结果来推得其他两种颜色的值。使用本发明的方法对Bayer阵列彩色图像传感器的输出数据进行插值运算，其结果具有良好的清晰度，且硬件实现容易。适用于计算机及微电子领域中的数字图像处理。

Description

一种彩色传感器阵列图像插值复原的硬件实现方法

技术领域

本发明涉及计算机及微电子领域中的数字图像处理技术，特别是涉及一种彩色传感器阵列(影像产品中广泛使用的Bayer阵列)图像插值复原的硬件实现方法。

背景技术

在消费类影像产品中，广泛使用了一种单色/像素的彩色图像传感器阵列，其彩色像素传感单元的分布形式以Bayer命名，其具体分布形式如图1所示。

在图1中，每一个像素点对应着单一颜色的传感单元，因此必须根据相邻的单色传感器的输出值，通过插值运算来得到每个像素点的RGB(红绿蓝)三种颜色的数值。

目前已有的方法主要包括双线性插值和边缘检测插值等，下面仍以图1为例对这两种方法简要说明如下，并标注图1中各像素如图2所示。

在双线性插值方法中，根据每一个所求像素点的直接最近邻点做插值运算，以B13点为例，计算公式为：

R13＝(R7+R9+R17+R19)/4

B13＝(B3+B11+B15+B23)/4

这种方法的优点在于硬件结构简单，运算量小；但由于这种方法等价地使用了所有周边像素的值，因此会降低图像的锐利程度，尤其在物体的边缘区域，会造成模糊，效果较差。

另外一种广为使用的色彩插值还原方法为边缘检测插值，它的基本思想是根据像素点水平和垂直方向两近邻像素的差异，来判断当前点是否处于物体边界及边界的方向，并根据判断结果只选用水平方向或垂直方向的两个像素或者其他像素点来求得当前点的像素值。

这种方法在一定程度上克服了图像模糊化的缺点，但仍存在一些缺点：方向判断机制较为复杂，硬件实现难度较大；对于复杂的具有任意方向的边缘，插值效果受影响。

发明内容

本发明要解决的技术问题是提供一种彩色传感器阵列图像插值复原的硬件实现方法，使用它对Bayer阵列彩色图像传感器的输出数据进行插值运算，其结果具有良好的清晰度，且硬件实现容易。

为解决上述技术问题，本发明所述的一种彩色传感器阵列图像插值复原的硬件实现方法，其过程是：它采用在色差域进行插值的方法，首先求出与所求的像素点临近的各像素点处的蓝色和红色(B/R)对于绿色(G)的色差，然后在各个方向上对色差进行插值运算，以求得所求点处的B/R对G的色差，并根据所求点的已有数据(R，G或B)及此点的色差插值结果来推得其他两种颜色的值；求值公式为：

蓝色模式：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

$R=(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

B＝P7

绿色模式1：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P+P10+P12+P13)$

$B=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

红色模式：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

R＝P7

$B=G-\frac{1}{8}(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

绿色模式2：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

$B=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P4+P10+P12+P13)$

本发明的有益效果在于，该方法没有针对特定的像素点采取区别处理的机制，而是所有的像素点都采用了同一种结构的插值策略。在这一策略中，不包含乘除法和比较运算，能用简单的硬件进行实现。同时，在插值过程中，由于不是采用周边像素的值简单地进行平均值的运算，因此能较好的保留边缘信息；实验结果表明，采用该方法对Bayer阵列传感器的输出数据进行插值，其结果具有较好的锐利度。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是现有技术Bayer彩色图形阵列示意图；

图2是现有技术Bayer彩色图形阵列及其标注图；

图3是本发明的网格标示图；

图4是本发明状态转换示意图(一)；

图5是本发明行缓冲区数据结构；

图6是本发明传感器时序图；

图7是应用本发明实现的硬件模块接口示意图；

图8是应用本发明实现的硬件结构示意图；

图9是实现本发明的六通道输入行缓存示意图；

图10是状态转换示意图(二)。

具体实施方式

本发明所述的一种彩色传感器阵列图像插值复原的硬件实现方法，其原理是：它采用在色差域进行插值的方法，首先求出与所求的像素点临近的各像素点处的蓝色和红色(B/R)对于绿色(G)的色差，然后在各个方向上对色差进行插值运算，以求得所求点处的B/R对G的色差，并根据所求点的已有数据(R，G或B)及此点的色差插值结果来推得其他两种颜色的值。

下面结合图3所示的像素网格来描述本发明的方法所对应的公式。在图3中，P7为所要求的像素点，根据此点所位于的单个彩色传感器的种类的不同(蓝，红及两个绿色)，求值公式分为四种模式。

蓝色模式为：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

$R=(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

B＝P7

绿色模式1为：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P4+P10+P12+P13)$

$B=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

红色模式为：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

R＝P7

$B=G-\frac{1}{8}(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

绿色模式2：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

$B=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P4+P10+P12+P13)$

由上面所述的公式组可以看到，本发明的方法不需要针对各点进行边缘判断，并且保持了硬件实现简便的特点(全整数运算，避免了使用除法器)。

同时，求出每一个点需要上下共五行，左右共五列(包含自身)的数据，因此根据具体情况的不同，需要一个可存储4到6行输入数据的行缓存。除法运算全部用移位运算代替。

在图像处理过程中，上面四种模式的公式会被轮流使用，具体过程由硬件状态机来控制。根据Bayer阵列的排列的区别(主要是作为传感器的起点像素，可以有上面的四种可能)，状态机的起点应作相应的调整。如果已知传感器的图像宽度的奇偶性，则状态机的控制会更为简单。例如偶数宽度的传感器阵列，其状态转移图可由图4表示。

为便于设计，可采用6行的缓冲结构，由于输入数据是Bayer格式，因此每个像素的数据点都为一个字节。输入数据将依次写入6行缓冲区，并循环轮换。当输入数据正在写入某行时，控制电路从其余5行取数，并进行运算。6行缓冲区的数据存储结构图如图5所示。其中，黑色阴影水平行表示输入数据正在写入的区域，灰色格点P7表示所要值的像素，白色格点表示求出P7的所有颜色值所需要的周围的点的值。

本发明的方法在硬件上很容易实现，例如：

在硬件实现实例中，起点为BG的OO型Bayer阵列彩色CMOS传感器直接输出数据给下面所描述的硬件彩色插值模块，所采用的传感器的接口时序如图6所示。图6中，CSI_VSYN为帧同步信号，CSI_HREF为行同步信号，CSI_DATA为传感器输出的数据总线，CSI_PIXCLK为传感器的参考时钟输出。

图7所示为实现本发明的硬件模块的接口。其中CSI_xxxx为输入端信号组(见上段说明)。OUT_xxxx为插值后的结果输出信号组：OUT_VSYN为输出帧同步信号；OUT_HREF为输出行同步信号；OUT_VALID为输出有效指示；OUT_DATA为输出数据总线。

在图7中，使用了片内双口SRAM模块作为行缓冲区，从传感器输出的数据直接接到行缓冲的输入端口。插值模块与SRAM通信的信号组：AB为B口的地址线；CENB为B口的片选信号；WENB为B口的写使能控制信号；AA为A口的地址线；QA为A口的数据输出信号。

在控制部分中，使用了两个状态机，其中一个是前面所述的控制在四种像素模式间切换的状态，另外一个用来控制计算每一个点时的数据的读取，以及数据运算通路的控制(参看图8)。

在图8中，行输入缓存采用前面描述的数据结构，为了提高数据读出效率，数据总线宽度设为48位(分为6个通道，每个通道数据宽度8位)，这样，在缓冲区输出端一个时钟周期可以同时读取位于待处理图像中的同一列的五个像素点的数据。在数据输出端，使用了带通道掩模的写使能控制(一共6位，来分别控制6个通道)，每个输入行写在缓冲区的特定通道，并根据行的变换而轮换。在数据读取端，新读入的一列数据在下个时钟周期内向左传递，这样计算每个点时，只需读取出最右端的一列即可(一个时钟周期)，这样能保证处理的实时性。

数据运算通路部分完全由加法器和移位运算结构组成，运算在两个时钟周期内完成：第一个周期计算出绿色的值(在红色和蓝色模式)，第二个周期计算出最终的两个未知像素的值。

本发明采用了一种不同于现有技术的插值运算方法，没有针对特定的像素点采取区别处理的机制，而是所有的像素点都采用了同一种结构的插值策略。在这一策略中，不包含乘除法和比较运算，能用简单的硬件进行实现。

为有效实现本发明的插值算法，在本发明的方法中采用了一种单行输入(依靠写使能掩模信号)，多行同时输出(5个通道)的策略，极大提到了数据读取速率，实现良好的实时性。这个六通道结构的行缓存对应于上面公式形式的示意图如图9所示。

为了适应多种起始像素的彩色传感器，一个初始状态可配的状态机结构被使用，通过设置这个状态机的初始状态，并根据已知的传感器输出图像宽度的奇偶性，可以灵活的适应不同厂家的产品。如图10的状态转移图，给出了图像宽度为偶数时的情况。

Claims (1)

1、一种彩色传感器阵列图像插值复原的硬件实现方法，其特征是：它采用在色差域进行插值的方法，首先求出与所求的像素点临近的各像素点处的蓝色和红色对于绿色的色差，然后在各个方向上对色差进行插值运算，以求得所求点处的蓝色和红色对绿色的色差，并根据所求点的已有数据及此点的色差插值结果来推得其他两种颜色的值；其运算公式如下：

蓝色模式为：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

$R=(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

B＝P7

绿色模式1为：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P4+P10+P12+P13)$

$B=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

红色模式为：

$G=\frac{1}{2}P7+\frac{1}{4}(P3+P6+P8+P11)-\frac{1}{8}(P1+P5+P9+P13)$

R＝P7

$B=G-\frac{1}{8}(P3+P6+P8+P11)+\frac{1}{4}(P2+P4+P10+P12)-\frac{1}{16}(P14+P15+P16+P17+P18+P19+P20+P21)$

绿色模式2为：

G＝P7

$R=\frac{3}{4}P7+\frac{1}{2}(P6+P8)-\frac{1}{8}(P2+P4+P5+P9+P10+P12)$

$B=\frac{3}{4}P7+\frac{1}{2}(P3+P11)-\frac{1}{8}(P1+P2+P4+P10+P12+P13)$

Images