CN100589581C - 一种色彩滤波阵列插值方法和装置 - Google Patents

Abstract

一种色彩滤波阵列插值方法和装置，该装置包括水平插值单元、垂直插值单元、水平亮度和色度距离计算单元、垂直亮度和色度距离计算单元、距离比较单元和选择输出单元。先根据图像像素点的原始测量数据计算像素点(m，n)的RGB分量的水平插值和垂直插值；根据像素点(m，n)与其相邻像素点的水平插值和垂直插值，求取像素点(m，n)与其相邻像素点之间在水平方向的水平亮度距离和水平色度距离，以及垂直方向的垂直亮度距离和垂直色度距离；再确定像素点(m，n)与相邻像素点亮度距离和色度距离较小的方向；将该方向的插值作为像素点(m，n)的最终颜色值输出。本发明可以使得图像颜色和亮度一致，并可获得清晰的图像。

Description

一种色彩滤波阵列插值方法和装置

技术领域

本发明涉及一种色彩滤波阵列插值方法，尤其涉及一种贝尔(Bayer)模式的色彩滤波阵列的插值方法。

背景技术

数字影像撷取装置的光学传感器通常采用CCD(Charge-coupled device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补性氧化金属半导体)技术，由横竖两个方向密集排列的感光元件(CCD或CMOS)组成的一个二维矩阵，而CCD或CMOS传感器只能感应光线亮度，不能感应色彩信息。因此必须使用色彩滤波阵列(Color Filtered Array，CFA)确保每个传感器像素只会收到一种颜色的光：通常是红、绿、蓝三种颜色中的一种。色彩滤波阵列可以使用不同的模式，最常用的是Bayer模式的色彩滤波阵列。Bayer模式交替使用一组红色和绿色滤镜以及一组绿色和蓝色滤镜，其中绿色像素的总数为红色和蓝色像素之和。Bayer模式的原始(raw)图像的像素排列格式如图2，3，4，5所示。

因此，为了获得每个像素的颜色值，必须进行CFA插值运算。CFA插值通常采用如下方法：

如图2所示，对于R_m，n像素点，即像素点(m，n)的原始值为R分量的像素点，求取该像素点G分量的插值时，计算水平方向2个相邻像素点的G值的差的绝对值，计算垂直方向2个相邻像素点的G值的差的绝对值，取上述差值的绝对值小的2个相邻像素点的G值的平均值作为G_m，n；例如，若水平方向2个相邻像素点的G值的差的绝对值比垂直方向2个相邻像素点的G值的差的绝对值小，则G_m，n(G_m，n-1+G_m，n+1)/2；

求取该像素点B分量的插值时，计算左斜对角方向2个相邻像素点的B值的差的绝对值，计算右斜对角方向2个相邻像素点的B值的差的绝对值，取上述差值的绝对值小的2个相邻像素点的B值的平均值作为B_m，n；例如，若|B_m-1，n-1-B_m+1，n+1|＜|B_m-1，n+1-B_m+1，n-1|，则B_m，n(B_m-1，n-1+B_m+1，n+1)/2；

如图3所示，对于B_m，n像素点，即像素点(m，n)的原始值为B分量，求取该像素点G分量的插值时，计算水平方向2个相邻像素点的G值的差的绝对值，计算垂直方向2个相邻像素点的G值的差的绝对值，取上述差值的绝对值小的2个相邻像素点的G值的平均值作为G_m，n；例如，若水平方向2个相邻像素点的G值的差的绝对值比垂直方向2个相邻像素点的G值的差的绝对值小，则G_m，n＝(G_m，n-1+G_m，n+1)/2；

求取该像素点R分量的插值时，计算左斜对角方向2个相邻像素点的R值的差的绝对值，计算右斜对角方向2个相邻像素点的R值的差的绝对值，取上述差值的绝对值小的2个相邻像素点的R值的平均值作为R_m，n；例如，若|R_m-1，n-1-R_m+1，n+1|＜|R_m-1，n+1-R_m+1，n-1|，则R_m，n＝(R_m-1，n-1+R_m+1，n+1)/2；

如图4所示，对于Gr_m，n像素点，即像素点(m，n)的原始值为G分量，且左右相邻像素点为R值的像素点，该像素点R分量的插值为R_m，n＝(R_m，n-1+R_m，n+1)/2；该像素点的B分量的插值为B_m，n＝(B_m-1，n+B_m+1，n)/2；

如图5所示，对于Gb_m，n像素点，即像素点(m，n)的原始值为G分量，且左右相邻像素点为B值的像素点，该像素点B分量的插值为B_m，n＝(B_m，n-1+B_m，n+1)/2；R分量的插值为R_m，n＝(R_m-1，n+R_m+1，n)/2。

由上可知，现有技术采用左右/上下或左/右斜对角相邻像素点的绝对值差为依据获得R_m，n像素点对应的G值和B值以及B_m，n像素点对应的G值和R值。采用这种方式虽然计算量相对较小，但生成的图像颜色和亮度不一致，模糊，并产生伪彩。

发明内容

本发明要解决的技术问题是，克服现有技术中CFA插值技术的不足，提出一种色彩滤波阵列插值方法和装置，可以使得图像颜色和亮度一致，获得清晰的图像。

为了解决上述问题，本发明提供了一种色彩滤波阵列插值方法，包含如下步骤：

(a)根据图像像素点的原始测量数据计算像素点(m，n)的RGB分量的水平插值和垂直插值，m，n分别表示像素点所在的行数和列数；

(b)根据像素点(m，n)和其相邻像素点的水平插值和垂直插值，求取像素点(m，n)与其相邻像素点之间在水平方向的水平亮度距离和水平色度距离，以及垂直方向的垂直亮度距离和垂直色度距离；

(c)将像素点(m，n)与其相邻像素点在水平方向的水平亮度距离和水平色度距离，与垂直方向的垂直亮度距离和垂直色度距离进行比较，在水平方向和垂直方向之中选择像素点(m，n)与其相邻像素点之间的亮度距离和色度距离较小的方向；

(d)将选定的所述亮度距离和色度距离较小的方向的RGB分量的插值作为像素点(m，n)的最终颜色值输出。

其中，m＝1，2，...，M；n＝1，2，...，N；M，N分别为图像像素点的行数和列数。

进一步地，上述方法还可具有以下特点：

所述原始测量数据为贝尔模式的原始数据，所述步骤(a)进行像素点RGB分量的水平插值和垂直插值计算，进一步分为以下步骤：

(a1)计算R_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n：

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或 ${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-B_{m,n-2}+2B_{m,n}-B_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或 ${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-B_{m-2,n}+2B_{m,n}-B_{m+2,n}}{4};$

(a2)计算B_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n：

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或 ${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-B_{m,n-2}+2B_{m,n}-B_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或 ${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-B_{m-2,n}+2B_{m,n}-B_{m+2,n}}{4};$

(a3)在原始值就是G分量的像素点上：GH_m，n＝GV_m，n＝G_m，n；

(a4)在Cr_m，n像素点，计算R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

在Cr_m，n像素点，计算B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

(a5)在Gb_m，n像素点，计算B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

在Gb_m，n像素点，获得R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

(a6)计算B_m，n像素点的R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{RV}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4};$

(a7)获得R_m，n像素点的B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{BV}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4}.$

进一步地，上述方法还可具有以下特点：

所述步骤(b)中像素点(m，n)到4个相邻像素点的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j、水平色度距离DCh_m+i，n+j和垂直色度距离DCv_m+i，n+j由以下公式计算得出：

DLh_m+i，n+j＝abs(GH_m，n-GH_m+i，n+j)；

DLv_m+i，n+j＝abs(GV_m，n-GV_m+i，n+j)；

DCh_m+i，n+j＝abs(GRH_m，n-GRH_m+i，n+j)+abs(GBH_m，n-GBH_m+i，n+j)；或

${\mathrm{DCh}}_{m+i,n+j}=\sqrt{{({\mathrm{GRH}}_{m,n}-{\mathrm{GRH}}_{m+i,n+j})}^2+{({\mathrm{GBH}}_{m,n}-{\mathrm{GBH}}_{m+i,n+j})}^2};$ 或

DCh_m+i，n+j＝(GRH_m，n-GRH_m+i，n+j)²+(GBH_m，n-GBH_m+i，n+j)²；

DCv_m+i，n+j＝abs(GRV_m，n-GRV_m+i，n+j)+abs(GBV_m，n-GBV_m+i，n+j)；或

${\mathrm{DCv}}_{m+i,n+j}=\sqrt{{({\mathrm{GRV}}_{m,n}-{\mathrm{GRV}}_{m+i,n+j})}^2+{({\mathrm{GBV}}_{m,n}-{\mathrm{GBV}}_{m+i,n+j})}^2};$ 或

DCv_m+i，n+j＝(GRV_m，n-GRV_m+i，n+j)²+(GBV_m，n-GBV_m+i，n+j)²；

其中，i＝0时，j＝-1，1；j＝0时，i＝-1，1；且有：

GRH_x，y＝GH_x，y-RH_x，y；

GRV_x，y＝GV_x，y-RV_x，y；

GBH_x，y＝GH_x，y-BH_x，y；

GBV_x，y＝GV_x，y-BV_x，y；

上述GH_x，y、GV_x，y表示像素点(x，y)G分量的水平插值和垂直插值，RH_x，y、RV_x，y表示像素点(x，y)R分量的水平插值和垂直插值，BH_x，y、BV_x，y表示像素点(x，y)B分量的水平插值和垂直插值，x＝m，y＝m或x＝m+i，y＝n+j。

进一步地，上述方法还可具有以下特点：

所述步骤(b)进一步分为以下步骤：

(b1)将步骤(a)中得到的像素点的水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值；

(b2)使用色彩分离的色彩空间的各分量的水平插值和垂直插值，计算像素点(m，n)与其相邻4个像素点之间的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j，和水平色度距离DCh_m+i，n+j、垂直色度距离DCv_m+i，n+j，公式如下：

DLh_m+i，n+j＝abs(LH_m，n-LH_m+i，n+j)；

DLv_m+i，n+j＝abs(LV_m，n-LV_m+i，n+j)；

DCh_m+i，n+j＝abs(SH_m，n-SH_m+i，n+j)+abs(TH_m，n-TH_m+i，n+j)；

DCv_m+i，n+j＝abs(SV_m，n-SV_m+i，n+j)+abs(TV_m，n-TV_m+i，n+j)；

其中，i＝0时，j＝-1，1；j＝0时，i＝-1，1；

上述LH_x，y，LV_x，y为亮度分量的水平插值和垂直插值；SH_x，y，SV_x，y为第一色度分量的水平插值和垂直插值；TH_x，y，TV_x，y为第二色度分量的水平插值和垂直插值，x＝m，y＝m或x＝m+i，y＝n+j。

进一步地，上述方法还可具有以下特点：

所述步骤(c)进一步分为以下步骤：

(c1)根据计算得到的像素点(m，n)与相邻像素点的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j、水平色度距离DCh_m+i，n+j和垂直色度距离DCv_m+i，n+j，求取像素点(m，n)的亮度阈值参数leps和色度阈值参数ceps：

leps＝MIN(MAX(DLh_m，n-1，DLh_m，n+1)，MAX(DLv_m-1，n，DLv_m+1，n))；

ceps＝MIN(MAX(DCh_m，n-1，DCh_m，n+1)，MAX(DCv_m-1，n，DCv_m+1，n))；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；MIN表示取最小值函数，MAX表示取最大值函数。

(c2)逐一判断像素点(m，n)与4个相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CH_m，n；

逐一判断像素点(m，n)与4个相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CV_m，n；

(c3)若CH_m，n＞CV_m，n，判断水平方向为亮度距离和色度距离较小的方向；若CH_m，n＜CV_m，n，判断垂直方向为亮度距离和色度距离较小的方向；若CH_m，n＝CV_m，n，则按约定选择其中的一个或任选其中一个，作为亮度距离和色度距离较小的方向；

其中，上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

或者，所述步骤(c)中，是对像素点(m，n)到4个相邻像素点的水平亮度和色度距离进行加权计算，再对该像素点(m，n)到4个相邻像素点的垂直亮度和色度距离进行加权计算，将两者的结果进行比较，以值较小的方向为亮度距离和色度距离较小的方向。

进一步地，上述方法还可具有以下特点：

所述步骤(a)中先对整个图像或部分图像的各像素点进行RGB插值运算，然后再进行后续步骤，对于位于整个图像边界的像素点，在计算其各分量的水平插值和垂直插值时，采用边界扩充，对称取值的方法进行处理。

本发明提供的色彩滤波阵列插值装置包括水平插值单元、垂直插值单元、水平亮度和色度距离计算单元、垂直亮度和色度距离计算单元、距离比较单元和选择输出单元，其中：

所述水平插值单元用于对收到的图像的贝尔原始数据进行水平插值运算，得到像素点(m，n)的RGB分量的水平插值并输出到水平亮度和色度距离计算单元以及选择输出单元；

所述垂直插值单元用于对收到的图像的贝尔原始数据进行垂直插值运算，得到像素点(m，n)的RGB分量的垂直插值并输出到垂直亮度和色度距离计算单元以及选择输出单元；

所述水平亮度和色度距离计算单元用于根据收到的像素点的水平插值，求取像素点(m，n)与水平方向相邻像素点之间的水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j，输出到距离比较单元；

所述垂直亮度和色度距离计算单元用于根据收到的像素点的垂直插值，求取像素点(m，n)与垂直方向相邻像素点之间的垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，输出到距离比较单元；

所述距离比较单元用于根据计算出的像素点(m，n)到相邻像素点的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，比较得到色度距离和亮度距离较小的方向，输出选择该方向的选择控制信号到选择输出单元；

所述选择输出单元用于根据选择控制信号从输入的像素点(m，n)的RGB分量的垂直插值和水平插值中选择出一组作为最终颜色值输出；

其中，i，j的取值为：i＝0时，j＝-1，1；j＝0时，i＝-1，1；m，n分别表示像素点所在的行数和列数，m＝1，2，...，M；n＝1，2，...，N；M，N分别为图像像素点的行数和列数。

进一步地，上述装置还可具有以下特点：

所述距离比较单元进一步分为亮度和色度阈值计算单元、水平计数单元、垂直计数单元和距离判断单元，其中：

所述亮度和色度阈值计算单元用于根据计算出的像素点(m，n)的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，计算该像素点的亮度阈值参数leps和色度阈值参数ceps，输出到水平计数单元和垂直计数单元，公式如下：

leps＝MIN(MAX(DLh_m，n-1，DLh_m，n+1)，MAX(DLv_m-1，n，DLv_m+1，n))；

ceps＝MIN(MAX(DCh_m，n-1，DCh_m，n+1)，MAX(DCv_m-1，n，DCv_m+1，n))；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；MIN表示取最小值函数，MAX表示取最大值函数。

所述水平计数单元用于逐一判断像素点(m，n)与4个相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到水平计数值CH_m，n，输出到距离判断单元；

所述垂直计数单元用于逐一判断像素点(m，n)与4个相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到垂直计数值CV_m，n，输出到距离判断单元；

所述距离判断单元用于根据上述水平计数值和垂直计数值，判断出计数值较小的方向，输出选择该方向的选择控制信号到选择输出单元。

或者，

所述距离比较单元是对像素点(m，n)到4个相邻像素点的水平亮度和色度距离进行加权计算，再对该像素点(m，n)到4个相邻像素点的垂直亮度和色度距离进行加权计算，将两者的结果进行比较，以值较小的方向为亮度距离和色度距离较小的方向。

进一步地，上述装置还可具有以下特点：

所述水平亮度和色度距离计算单元根据下式计算水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j：

DLh_m+i，n+j＝abs(GH_m，n-GH_m+i，n+j)；

DCh_m+i，n+j＝abs(GRH_m，n-GRH_m+i，n+j)+abs(GBH_m，n-GBH_m+i，n+j)；或

${\mathrm{DCh}}_{m+i,n+j}=\sqrt{{({\mathrm{GRH}}_{m,n}-{\mathrm{GRH}}_{m+i,n+j})}^2+{({\mathrm{GBH}}_{m,n}-{\mathrm{GBH}}_{m+i,n+j})}^2};$ 或

DCh_m+i，n+j＝(GRH_m，n-GRH_m+i，n+j)²+(GBH_m，n-GBH_m+i，n+j)²；

其中，GRH_x，y＝GH_x，y-RH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

GBH_x，y＝GH_x，y-BH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

所述垂直亮度和色度距离计算单元根据下式计算垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j：

DLv_m+i，n+j＝abs(GV_m，n-GV_m+i，n+j)；

DCv_m+i，n+j＝abs(GRV_m，n-GRV_m+i，n+j)+abs(GBV_m，n-GBV_m+i，n+j)；或

${\mathrm{DCv}}_{m+i,n+j}=\sqrt{{({\mathrm{GRV}}_{m,n}-{\mathrm{GRV}}_{m+i,n+j})}^2+{({\mathrm{GBV}}_{m,n}-{\mathrm{GBV}}_{m+i,n+j})}^2};$ 或

DCv_m+i，n+j＝(GRV_m，n-GRV_m+i，n+j)²+(GBV_m，n-GBV_m+i，n+j)²；

其中，GRV_x，y＝GV_x，y-RV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

GBV_x，y＝GV_x，y-BV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

上述GH_x，y、GV_x，y表示像素点(x，y)G分量的水平插值和垂直插值，RH_x，y、RV_x，y表示像素点(x，y)R分量的水平插值和垂直插值，BH_x，y、BV_x，y表示像素点(x，y)B分量的水平插值和垂直插值。

进一步地，上述装置还可具有以下特点：

所述水平插值单元、水平亮度和色度距离计算单元之间，以及所述垂直插值单元、垂直亮度和色度距离计算单元之间还设置了一个色彩空间转换单元，用于将像素点水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值；

所述水平亮度和色度距离计算单元根据下式计算水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j：

DLh_m+i，n+j＝abs(LH_m，n-LH_m+i，n+j)；

DCh_m+i，n+j＝abs(SH_m，n-SH_m+i，n+j)+abs(TH_m，n-TH_m+i，n+j)；

所述垂直亮度和色度距离计算单元根据下式计算垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j：

DLv_m+i，n+j＝abs(LV_m，n-LV_m+i，n+j)；

DCv_m+i，n+j＝abs(SV_m，n-SV_m+i，n+j)+abs(TV_m，n-TV_m+i，n+j)；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；LH_x，y，LV_x，y为亮度分量的水平插值和垂直插值；SH_x，y，SV_x，y为第一色度分量的水平插值和垂直插值；TH_x，y，TV_x，y为第二色度分量的水平插值和垂直插值；其中，x＝m，y＝m或x＝m+i，y＝n+j。

本发明通过同时生成水平插值图像和垂直插值图像，并依据亮度距离和色度距离最小准则选择各像素点对应的RGB值作为最终输出值，生成最终图像。本发明在选择插值时，对于RGB三个分量要么都采用垂直分量，要么都采用水平分量，使得产生的图像颜色和亮度一致。同时，本发明在选择垂直分量和水平分量时，是综合考虑色度距离和亮度距离，选择距离较小的方向的插值作为对应像素点的最终输出值，使得图像更为清晰。

附图说明

图1为本发明色彩滤波阵列插值方法的流程图；

图2为(m，n)像素点原始值为R分量的Bayer模式的原始图像的像素排列格式；

图3为(m，n)像素点原始值为B分量的Bayer模式的原始图像的像素排列格式；

图4为(m，n)像素点原始值为G分量，且该行包含原始值为R分量的Bayer模式的原始图像的像素排列格式；

图5为(m，n)像素点原始值为G分量，且该行包含原始值为B分量的Bayer模式的原始图像的像素排列格式。

图6是本发明实施例装置的结构图。

具体实施方式

本发明的基本思路是，同时生成水平插值图像和垂直插值图像，并生成各像素点对应的亮度距离和色度距离值，最后依据亮度距离和色度距离最小准则，输出各像素点的RGB值，生成最终图像。

下面将结合附图和实施例对本发明进行详细的描述。

图1为本实施例色彩滤波阵列插值方法的流程图，包含如下步骤：

步骤1：计算像素点(m，n)的RGB分量的水平插值和垂直插值；该步骤可细分为如下子步骤：

步骤1A：获得R_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n，R_m，n像素点的Bayer模式的原始图像的像素排列格式如图2所示；

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-R_{m,n-2}+2R_{m,n}-R_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-R_{m-2,n}+2R_{m,n}-R_{m+2,n}}{4};$

步骤1B：获得B_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n，B_m，n像素点的Bayer模式的原始图像的像素排列格式如图3所示：

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-B_{m,n-2}+2B_{m,n}-B_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-B_{m-2,n}+2B_{m,n}-B_{m+2,n}}{4};$

步骤1C：在原始值就是G分量的像素点上：GH_m，n＝GV_m，n＝G_m，n；

至此，我们获得了图像的所有像素点G分量的水平插值和垂直插值；

步骤1D：在Gr_m，n像素点，获得R分量的水平插值RH_m，n和垂直插值RV_m，n，Gr_m，n像素点的Bayer模式的原始图像的像素排列格式如图4所示：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

步骤1E：在Gr_m，n像素点，获得B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

步骤1F：在Gb_m，n像素点，获得B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

Gb_m，n像素点的Bayer模式的原始图像的像素排列格式如图5所示；

步骤1G：在Gb_m，n像素点，获得R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

步骤1H：获得B_m，n像素点的R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{RV}}_{m,n}=$

${\mathrm{GV}}_{m,n}+\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4};$

步骤1I：获得R_m，n像素点的B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=$

${\mathrm{GH}}_{m,n}+\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{BV}}_{m,n}=$

${\mathrm{GV}}_{m,n}+\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4};$

至此，我们获得了插值后图像的所有像素点的RGB分量：

水平插值：RH_m，n，GH_m，n，BH_m，n；

垂直插值：RV_m，n，GV_m，n，BV_m，n；

其中，m＝1，2，...，M；n＝1，2，...，N；M，N分别为图像像素点的行数和列数。

需要说明的是，本发明并不局限于上述计算像素点水平插值和垂直插值的方法，对于现有的任何一种有效的计算水平插值和垂直插值的方法本发明都可以使用。

步骤2：求取像素点(m，n)与其相邻4个像素点之间的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j，和水平色度距离DCh_m+i，n+j、垂直色度距离DCv_m+i，n+j：

DLh_m+i，n+j＝abs(GH_m，n-GH_m+i，n+j)；

DLv_m+i，n+j＝abs(GV_m，n-GV_m+i，n+j)；

DCh_m+i，n+j＝abs(GRH_m，n-GRH_m+i，n+j)+abs(GBH_m，n-GBH_m+i，n+j)；

DCv_m+i，n+j＝abs(GRV_m，n-GRV_m+i，n+j)+abs(GBV_m，n-GBV_m+i，n+j)；

上述GRH_x，y＝GH_x，y-RH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述GRV_x，y＝GV_x，y-RV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述GBH_x，y＝GH_x，y-BH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述GBV_x，y＝GV_x，y-BV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

上述亮度距离和色度距离以差的绝对值的方式计算，除此之外，色度距离还可以使用差的平方的和的开方的方式来计算。例如：

${\mathrm{DCh}}_{m+i,n+j}=\sqrt{{({\mathrm{GRH}}_{m,n}-{\mathrm{GRH}}_{m+i,n+j})}^2+{({\mathrm{GBH}}_{m,n}-{\mathrm{GBH}}_{m+i,n+j})}^2};$

或者色度距离还可以使用差的平方的和的方式来计算。例如：

DCh_m+i，n+j＝(GRH_m，n-GRH_m+i，n+j)²+(GBH_m，n-GBH_m+i，n+j)²。

此外，水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j，和水平色度距离DCh_m+i，n+j、垂直亮度距离DCv_m+i，n+j还可采用如下步骤获得：

(1)将上述步骤1计算得出的像素点水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值；

上述亮度和色度分离的色彩空间可以是Lab色彩空间，L指亮度分量，a和b是色度分量，经过上述色彩空间转换后得到L、a、b分量的水平插值和垂直插值；或YCbCr色彩空间，Y指亮度分量，Cb和Cr是色度分量，经过上述色彩空间转换后得到Y、Cb、Cr的水平插值和垂直插值；

(2)使用亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值计算像素点(m，n)与4个相邻像素点的水平亮度距离、水平色度距离、垂直亮度距离和垂直色度距离：

DLh_m+i，n+j＝abs(LH_m，n-LH_m+i，n+j)；

DLv_m+i，n+j＝abs(LV_m，n-LV_m+i，n+j)；

DCh_m+i，n+j＝abs(SH_m，n-SH_m+i，n+j)+abs(TH_m，n-TH_m+i，n+j)；

DCv_m+i，n+j＝abs(SV_m，n-SV_m+i，n+j)+abs(TV_m，n-TV_m+i，n+j)；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；LH_x，y，LV_x，y为亮度分量的水平插值和垂直插值；SH_x，y，SV_x，y为第一色度分量的水平插值和垂直插值；TH_x，y，TV_x，y为第二色度分量的水平插值和垂直插值；x＝m，y＝m或x＝m+i，y＝n+j。

以上像素点(m，n)到相邻像素点的水平亮度和色度距离，垂直亮度和色度距离的计算可以采用任一现有的算法进行。

步骤3：求取像素点(m，n)的亮度阈值参数leps和色度阈值参数ceps：

leps＝MIN(MAX(DLh_m，n-1，DLh_m，n+1)，MAX(DLv_m-1，n，DLv_m+1，n))；

ceps＝MIN(MAX(DCh_m，n-1，DCh_m，n+1)，MAX(DCv_m-1，n，DCv_m+1，n))；

其中MIN表示取最小值函数，MAX表示取最大值函数。

步骤4：统计像素点(m，n)的水平计数值CH_m，n和垂直计数值CV_m，n，其中：

逐一判断像素点(m，n)与4个相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CH_m，n；

逐一判断像素点(m，n)与4个相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CV_m，n；

其中，上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

步骤5：根据计数值CH_m，n和CV_m，n的比较结果从像素点(m，n)的水平插值和垂直插值中选择亮度和色度较小的方向作为最终输出值：

若CH_m，n＞CV_m，n，则选择水平插值：RH_m，n，GH_m，n，BH_m，n作为该像素点的最终输出值；若CH_m，n＜CV_m，n，选择垂直插值：RV_m，n，GV_m，n，BV_m，n作为该像素点的最终输出值，若CH_m，n＝CV_m，n，可按约定选择其中的一个或任选其中一个。

以上计算可以是对整个图像或部分图像(如若干列或若干行)的像素点行进行RGB插值运算，然后再进行后续的亮度和色度距离计算以及距离大小的比较。对于位于整个图像边界的像素点，在计算其各分量的水平插值和垂直插值时，可采用边界扩充，对称取值的方法进行处理。例如，当(m，n)＝(1，1)时，G_m，n-1可取为G_m，n+1，即G_1，0＝G_1，2。

如图6所示是本发明实施例方法对应的色彩滤波阵列插值装置的结构框图，如图所示，包括水平插值单元、垂直插值单元、水平亮度和色度距离计算单元、垂直亮度和色度距离计算单元、亮度和色度阈值计算单元、水平计数单元、垂直计数单元，距离判断单元和选择输出单元，其中：

所述水平插值单元用于对收到的Bayer原始数据进行水平插值运算，得到像素点(m，n)的RGB分量的水平插值并输出到水平亮度和色度距离计算单元以及选择输出单元，具体的计算公式已经在方法步骤中详细介绍，这里不再赘述，以下各个单元也是如此。

所述垂直插值单元用于对收到的Bayer原始数据进行垂直插值运算，得到像素点(m，n)的RGB分量的垂直插值并输出到垂直亮度和色度距离计算单元以及选择输出单元。

所述水平亮度和色度距离计算单元用于根据收到的像素点的水平插值，求取像素点(m，n)与水平方向相邻像素点之间的水平亮度距离DLh_m，n+j和水平色度距离DCh_m，n+j，输出到亮度和色度阈值计算单元和水平计数单元。

所述垂直亮度和色度距离计算单元用于根据收到的像素点的垂直插值，求取像素点(m，n)与垂直方向相邻像素点之间的垂直亮度距离DLv_m+i，n和垂直色度距离DCv_m+i，n，输出到亮度和色度阈值计算单元和垂直计数单元。

所述亮度和色度阈值计算单元用于根据计算出的像素点(m，n)到相邻像素点的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，计算该像素点的亮度阈值参数leps和色度阈值参数ceps，输出到水平计数单元和垂直计数单元；

所述水平计数单元用于逐一判断像素点(m，n)与相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到水平计数值CH_m，n，输出到距离判断单元；

所述垂直计数单元用于逐一判断像素点(m，n)与相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到垂直计数值CV_m，n，输出到距离判断单元。

所述距离判断单元用于根据两个水平和垂直计数值，判断出计数值较小的方向，输出选择该方向的选择控制信号到选择输出单元。

所述选择输出单元用于根据选择控制信号从输入的像素点(m，n)的RGB分量的垂直插值和水平插值中选择出一组作为最终颜色值输出。

以上的亮度和色度阈值计算单元、水平计数单元、垂直计数单元，距离判断单元从功能上可以均从属于一距离比较单元，用于根据计算出的像素点(m，n)到相邻像素点的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，比较得到色度距离和亮度距离较小的方向，输出选择该方向的选择控制信号到选择输出单元。

上述i，j的取值为：i＝0时，j＝-1，1；j＝0时，i＝-1，1。

此外，如果在计算亮度和色度距离时采用了上述的先进行色彩空间转换的方法，则需要在水平插值单元、水平亮度和色度距离计算单元之间增加一个色彩空间转换单元，在垂直插值单元、垂直亮度和色度距离计算单元之间也增加一个色彩空间转换单元，用于将像素点水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值。

本发明在比较选择色度距离和亮度距离较小的方向时，并不局限于上述实施例中的阈值和计数值的方式。另一实施例中，无论是上述方法还是装置，均可对像素点(m，n)到各相邻像素点的水平亮度距离和水平色度距离进行加权计算，再对该像素点(m，n)到各相邻像素点的垂直亮度和色度距离进行加权计算，将两者的结果进行比较，选择值较小的一个方向作为选择的方向，输出该方向的RGB插值作为最终颜色值。加权值可以根据经验事先设定并根据图像效果而调整。

综上所述，在现有技术中，在计算某一像素点的RGB插值时，其结果可能是对某一分量采用了水平插值而对其它分量采用了垂直插值，这样可能使得图像颜色和亮度不一致。而本发明在选择插值时，对于RGB三个分量要么都采用垂直分量，要么都采用水平分量，使得产生的图像颜色和亮度一致。同时，本发明在选择垂直分量和水平分量时，是综合考虑色度距离和亮度距离，选择距离较小的方向的插值作为对应像素点的最终输出值，使得图像更为清晰。

Claims (10)

1、一种色彩滤波阵列插值方法，包含如下步骤：

(a)根据图像像素点的原始测量数据计算像素点(m，n)的RGB分量的水平插值和垂直插值，m，n分别表示像素点所在的行数和列数；

(b)根据像素点(m，n)和其相邻像素点的水平插值和垂直插值，求取像素点(m，n)与其相邻像素点之间在水平方向的水平亮度距离和水平色度距离，以及垂直方向的垂直亮度距离和垂直色度距离；

(c)将像素点(m，n)与其相邻像素点在水平方向的水平亮度距离和水平色度距离，与垂直方向的垂直亮度距离和垂直色度距离进行比较，在水平方向和垂直方向之中选择像素点(m，n)与其相邻像素点之间的亮度距离和色度距离较小的方向；

(d)将选定的所述亮度距离和色度距离较小的方向的RGB分量的插值作为像素点(m，n)的最终颜色值输出；

其中，m＝1，2，...，M；n＝1，2，...，N；M，N分别为图像像素点的行数和列数。

2、如权利要求1所述的色彩滤波阵列插值方法，其特征在于：

所述原始测量数据为贝尔模式的原始数据，所述步骤(a)进行像素点RGB分量的水平插值和垂直插值计算，进一步分为以下步骤：

(a1)计算R_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n：

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或 ${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-B_{m,n-2}+2B_{m,n}-B_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或 ${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-B_{m-2,n}+2B_{m,n}-B_{m+2,n}}{4};$

(a2)计算B_m，n像素点的G分量的水平插值GH_m，n和垂直插值GV_m，n：

${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2};$ 或 ${\mathrm{GH}}_{m,n}=\frac{G_{m,n-1}+G_{m,n+1}}{2}+\frac{-B_{m,n-2}+2B_{m,n}-B_{m,n+2}}{4};$

${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2};$ 或 ${\mathrm{GV}}_{m,n}=\frac{G_{m-1,n}+G_{m+1,n}}{2}+\frac{-B_{m-2,n}+2B_{m,n}-B_{m+2,n}}{4};$

(a3)在原始值就是G分量的像素点上：GH_m，n＝GV_m，n＝G_m，n；

(a4)在Gr_m，n像素点，计算R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m,n-1}+R_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

在Gr_m，n像素点，计算B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m-1,n}+B_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

(a5)在Gb_m，n像素点，计算B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GH}}_{m,n-1}-{\mathrm{GH}}_{m,n+1}}{2};$

${\mathrm{BV}}_{m,n}=G_{m,n}+\frac{B_{m,n-1}+B_{m,n+1}-{\mathrm{GV}}_{m,n-1}-{\mathrm{GV}}_{m,n+1}}{2};$

在Gb_m，n像素点，获得R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GH}}_{m-1,n}-{\mathrm{GH}}_{m+1,n}}{2};$

${\mathrm{RV}}_{m,n}=G_{m,n}+\frac{R_{m-1,n}+R_{m+1,n}-{\mathrm{GV}}_{m-1,n}-{\mathrm{GV}}_{m+1,n}}{2};$

(a6)计算B_m，n像素点的R分量的水平插值RH_m，n和垂直插值RV_m，n：

${\mathrm{RH}}_{m,n}=$

${\mathrm{GH}}_{m,n}=\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{RV}}_{m,n}=$

${\mathrm{GH}}_{m,n}=\frac{R_{m-1,n-1}+R_{m+1,n-1}+R_{m-1,n+1}+R_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4};$

(a7)获得R_m，n像素点的B分量的水平插值BH_m，n和垂直插值BV_m，n：

${\mathrm{BH}}_{m,n}=$

${\mathrm{GH}}_{m,n}=\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GH}}_{m-1,n-1}+{\mathrm{GH}}_{m+1,n-1}+{\mathrm{GH}}_{m-1,n+1}+{\mathrm{GH}}_{m+1,n+1})}{4};$

${\mathrm{BV}}_{m,n}=$

${\mathrm{GH}}_{m,n}=\frac{B_{m-1,n-1}+B_{m+1,n-1}+B_{m-1,n+1}+B_{m+1,n+1}-({\mathrm{GV}}_{m-1,n-1}+{\mathrm{GV}}_{m+1,n-1}+{\mathrm{GV}}_{m-1,n+1}+{\mathrm{GV}}_{m+1,n+1})}{4}.$

3、如权利要求1所述的色彩滤波阵列插值方法，其特征在于：

所述步骤(b)中像素点(m，n)到4个相邻像素点的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j、水平色度距离DCh_m+i，n+j和垂直色度距离DCv_m+i，n+j由以下公式计算得出：

DLh_m+i，n+j＝abs(GH_m，n-GH_m+i，n+j)；

DLv_m+i，n+j＝abs(GV_m，n-GV_m+i，n+j)；

DCh_m+i，n+j＝abs(GRH_m，n-GRH_m+i，n+j)+abs(GBH_m，n-GBH_m+i，n+j)；或

${\mathrm{DCh}}_{m+i,n+j}=\sqrt{{({\mathrm{GRH}}_{m,n}-{\mathrm{GRH}}_{m+i,n+j})}^2+{({\mathrm{GBH}}_{m,n}-{\mathrm{GBH}}_{m+i,n+j})}^2};$ 或

DCh_m+i，n+j＝(GRH_m，n-GRH_m+i，n+j)²+(GBH_m，n-GBH_m+i，n+j)²；DCv_m+i，n+j＝abs(GRV_m，n-GRV_m+i，n+j)+abs(GBV_m，n-GBV_m+i，n+j)；或

${\mathrm{DCv}}_{m+i,n+j}=\sqrt{{({\mathrm{GRV}}_{m,n}-{\mathrm{GRV}}_{m+i,n+j})}^2+{({\mathrm{GBV}}_{m,n}-{\mathrm{GBV}}_{m+i,n+j})}^2};$ 或

DCv_m+n，n+j＝(GRV_m，n-GRV_m+i，n+j)²+(GBV_m，n-GBV_m+i，n+j)²；

其中，i＝0时，j＝-1，1；j＝0时，i＝-1，1；且有：

GRH_x，y＝GH_x，y-RH_x，y；

GRV_x，y＝GV_x，y-RV_x，y；

GBH_x，y＝GH_x，y-BH_x，y；

GBV_x，y＝GV_x，y-BV_x，y；

上述GH_x，y、GV_x，y表示像素点(x，y)G分量的水平插值和垂直插值，RH_x，y、RV_x，y表示像素点(x，y)R分量的水平插值和垂直插值，BH_x，y、BV_x，y表示像素点(x，y)B分量的水平插值和垂直插值，x＝m，y＝m或x＝m+i，y＝n+j。

4、如权利要求1所述的色彩滤波阵列插值方法，其特征在于：

所述步骤(b)进一步分为以下步骤：

(b1)将步骤(a)中得到的像素点的水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值；

(b2)使用色彩分离的色彩空间的各分量的水平插值和垂直插值，计算像素点(m，n)与其相邻4个像素点之间的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j，和水平色度距离DCh_m+i，n+j垂直色度距离DCv_m+i，n+j，公式如下：

DLh_m+i，n+j＝abs(LH_m，n-LH_m+i，n+j)；

DLv_m+i，n+j＝abs(LV_m，n-LV_m+i，n+j)；

DCh_m+i，n+j＝abs(SH_m，n-SH_m+i，n+j)+abs(TH_m，n-TH_m+i，n+j)；

DCv_m+i，n+j＝abs(SV_m，n-SV_m+i，n+j)+abs(TV_m，n-TV_m+i，n+j)；

其中，i＝0时，j＝-1，1；j＝0时，i＝-1，1；

上述LH_x，y，LV_x，y为亮度分量的水平插值和垂直插值；SH_x，y，SV_x，y为第一色度分量的水平插值和垂直插值；TH_x，y，TV_x，y为第二色度分量的水平插值和垂直插值，x＝m，y＝m或x＝m+i，y＝n+j。

5、如权利要求1所述的色彩滤波阵列插值方法，其特征在于：

所述步骤(c)进一步分为以下步骤：

(c1)根据计算得到的像素点(m，n)与相邻像素点的水平亮度距离DLh_m+i，n+j、垂直亮度距离DLv_m+i，n+j、水平色度距离DCh_m+i，n+j和垂直色度距离DCv_m+i，n+j，求取像素点(m，n)的亮度阈值参数leps和色度阈值参数ceps：

leps＝MIN(MAX(DLh_m，n-1，DLh_m，n+1)，MAX(DLv_m-1，n，DLv_m+1，n))；

ceps＝MIN(MAX(DCh_m，n-1，DCh_m，n+1)，MAX(DCv_m-1，n，DCv_m+1，n))；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；MIN表示取最小值函数，MAX表示取最大值函数；

(c2)逐一判断像素点(m，n)与4个相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CH_m，n；

逐一判断像素点(m，n)与4个相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到计数值CV_m，n；

(c3)若CH_m，n＞CV_m，n判断水平方向为亮度距离和色度距离较小的方向；若CH_m，n＜CV_m，n，判断垂直方向为亮度距离和色度距离较小的方向；若CH_m，n＝CV_m，n，则按约定选择其中的一个或任选其中一个，作为亮度距离和色度距离较小的方向；

其中，上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

或者，所述步骤(c)中，是对像素点(m，n)到4个相邻像素点的水平亮度和色度距离进行加权计算，再对该像素点(m，n)到4个相邻像素点的垂直亮度和色度距离进行加权计算，将两者的结果进行比较，以值较小的方向为亮度距离和色度距离较小的方向。

6、如权利要求1所述的色彩滤波阵列插值方法，其特征在于：

所述步骤(a)中先对整个图像或部分图像的各像素点进行RGB插值运算，然后再进行后续步骤，对于位于整个图像边界的像素点，在计算其各分量的水平插值和垂直插值时，采用边界扩充，对称取值的方法进行处理。

7、一种色彩滤波阵列插值装置，其特征在于，包括水平插值单元、垂直插值单元、水平亮度和色度距离计算单元、垂直亮度和色度距离计算单元、距离比较单元和选择输出单元，其中：

所述水平插值单元用于对收到的图像的贝尔原始数据进行水平插值运算，得到像素点(m，n)的RGB分量的水平插值并输出到水平亮度和色度距离计算单元以及选择输出单元；

所述垂直插值单元用于对收到的图像的贝尔原始数据进行垂直插值运算，得到像素点(m，n)的RGB分量的垂直插值并输出到垂直亮度和色度距离计算单元以及选择输出单元；

所述水平亮度和色度距离计算单元用于根据收到的像素点的水平插值，求取像素点(m，n)与水平方向相邻像素点之间的水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j，输出到距离比较单元；

所述垂直亮度和色度距离计算单元用于根据收到的像素点的垂直插值，求取像素点(m，n)与垂直方向相邻像素点之间的垂直亮度距离DLv_m+i，n+j和

垂直色度距离DCv_m+i，n+j，输出到距离比较单元；

所述距离比较单元用于根据计算出的像素点(m，n)到相邻像素点的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，比较得到色度距离和亮度距离较小的方向，输出选择该方向的选择控制信号到选择输出单元；

所述选择输出单元用于根据选择控制信号从输入的像素点(m，n)的RGB分量的垂直插值和水平插值中选择出一组作为最终颜色值输出；

其中，i，j的取值为：i＝0时，j＝-1，1；j＝0时，i＝-1，1；m，n分别表示像素点所在的行数和列数，m＝1，2，...，M；n＝1，2，...，N；M，N分别为图像像素点的行数和列数。

8、如权利要求7所述的色彩滤波阵列插值装置，其特征在于：

所述距离比较单元进一步分为亮度和色度阈值计算单元、水平计数单元、垂直计数单元和距离判断单元，其中：

所述亮度和色度阈值计算单元用于根据计算出的像素点(m，n)的水平亮度距离DLh_m+i，n+j、水平色度距离DCh_m+i，n+j、垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j，计算该像素点的亮度阈值参数leps和色度阈值参数ceps，输出到水平计数单元和垂直计数单元，公式如下：

leps＝MIN(MAX(DLh_m，n-1，DLh_m，n+1)，MAX(DLv_m-1，n，DLv_m+1，n))；

ceps＝MIN(MAX(DCh_m，n-1，DCh_m，n+1)，MAX(DCv_m-1，n，DCv_m+1，n))；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；MIN表示取最小值函数，MAX表示取最大值函数；

所述水平计数单元用于逐一判断像素点(m，n)与4个相邻像素点的水平亮度距离和水平色度距离是否满足条件：DLh_m+i，n+j＜＝leps且DCh_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到水平计数值CH_m，n，输出到距离判断单元；

所述垂直计数单元用于逐一判断像素点(m，n)与4个相邻像素点的垂直亮度距离和垂直色度距离是否满足条件：DLv_m+i，n+j＜＝leps且DCv_m+i，n+j＜＝ceps，如果是，计数值加1，最后得到垂直计数值CV_m，n，输出到距离判断单元；

所述距离判断单元用于根据上述水平计数值和垂直计数值，判断出计数值较小的方向，输出选择该方向的选择控制信号到选择输出单元；

或者，

所述距离比较单元是对像素点(m，n)到4个相邻像素点的水平亮度和色度距离进行加权计算，再对该像素点(m，n)到4个相邻像素点的垂直亮度和色度距离进行加权计算，将两者的结果进行比较，以值较小的方向为亮度距离和色度距离较小的方向。

9、如权利要求7所述的色彩滤波阵列插值装置，其特征在于：

所述水平亮度和色度距离计算单元根据下式计算水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j：

DLh_m+i，n+j＝abs(GH_m，n-GH_m+i，n+j)；

DCh_m+i，n+j＝abs(GRH_m，n-GRH_m+i，n+j)+abs(GBH_m，n-GBH_m+i，n+j)；或

${\mathrm{DCh}}_{m+i,n+j}=\sqrt{{({\mathrm{GRH}}_{m,n}-{\mathrm{GRH}}_{m+i,n+j})}^2+{({\mathrm{GBH}}_{m,n}-{\mathrm{GBH}}_{m+i,n+j})}^2};$ 或

DCh_m+i，n+j＝(GRH_m，n-GRH_m+i，n+j)²+(GBH_m，n-GBH_m+i，n+j)²；

其中，GRH_x，y＝GH_x，y-RH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

GBH_x，y＝GH_x，y-BH_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

所述垂直亮度和色度距离计算单元根据下式计算垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j：

DLv_m+i，n+j＝abs(GV_m，n-GV_m+i，n+j)；

DCv_m+i，n，j＝abs(GRV_m，n-GRV_m+i，n+j)+abs(GBV_m，n-GBV_m+i，n+j)；或

${\mathrm{DCv}}_{m+i,n+j}=\sqrt{{({\mathrm{GRV}}_{m,n}-{\mathrm{GRV}}_{m+i,n+j})}^2+{({\mathrm{GBV}}_{m,n}-{\mathrm{GBV}}_{m+i,n+j})}^2};$ 或

DCv_m+i，n+j＝(GRV_m，n-GRV_m+i，n+j)²+(GBV_m，n-GBV_m+i，n+j)²

其中，GRV_x，y＝GV_x，y-RV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

GBV_x，y＝GV_x，y-BV_x，y；x＝m，y＝m或x＝m+i，y＝n+j；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；

上述GH_x，y、GV_x，y表示像素点(x，y)G分量的水平插值和垂直插值，RH_x，y、RV_x，y表示像素点(x，y)R分量的水平插值和垂直插值，BH_x，y、BV_x，y表示像素点(x，y)B分量的水平插值和垂直插值。

10、如权利要求7所述的色彩滤波阵列插值装置，其特征在于：

所述水平插值单元、水平亮度和色度距离计算单元之间，以及所述垂直插值单元、垂直亮度和色度距离计算单元之间还设置了一个色彩空间转换单元，用于将像素点水平插值和垂直插值从RGB色彩空间转化到亮度和色度分离的色彩空间，得到亮度分量、第一色度分量和第二色度分量的水平插值和垂直插值；

所述水平亮度和色度距离计算单元根据下式计算水平亮度距离DLh_m+i，n+j和水平色度距离DCh_m+i，n+j：

DLh_m+i，n+j＝abs(LH_m，n-LH_m+i，n+j)；

DCh_m+i，n+j＝abs(SH_m，n-SH_m+i，n+j)+abs(TH_m，n-TH_m+i，n+j)；

所述垂直亮度和色度距离计算单元根据下式计算垂直亮度距离DLv_m+i，n+j和垂直色度距离DCv_m+i，n+j：

DLv_m+i，n+j＝abs(LV_m，n- LV_m+i，n+j)；

DCv_m+i，n+j＝abs(SV_m，n-SV_m+i，n+j)+abs(TV_m，n-TV_m+i，n+j)；

上述i＝0时，j＝-1，1；j＝0时，i＝-1，1；LH_x，y，LV_x，y为亮度分量的水平插值和垂直插值；SH_x，y，SV_x，y为第一色度分量的水平插值和垂直插值；TH_x，y，TV_x，y为第二色度分量的水平插值和垂直插值；其中，x＝m，y＝m或x＝m+i，y＝n+j。

Images