CN1678078A - 图像插值方法 - Google Patents

Abstract

一种***颜色图像分量的方法。从通过捕捉物体图像获得的光信号提取Bayer图案。计算与提取的Bayer图案的至少一个绿色(G)位置垂直或水平相邻的红色(R)或蓝色(B)分量值的算术平均值，将R或B分量***该至少一个G位置。在将R或B分量***至少一个G位置后，计算与至少一个R或B位置相邻的G位置的G、B、或R分量值之间的水平差值和垂直差值。当绝对值大于阈值时，使用与水平和垂直差值的较小差值关联的水平或垂直相邻的G位置的G、B、或R分量值的算术平均值将G、B、或R分量***至少一个R或B位置。当绝对值小于阈值时，使用中值方法将G、B、或R分量***至少一个R或B位置。

Description

图像插值方法

                          技术领域

本发明一般涉及一种图像插值方法。更具体地讲，本发明涉及一种能够从由具有照相机功能的移动终端捕捉的图像产生最佳质量图像的图像插值方法。

                          背景技术

由于技术上的进步，移动终端可具有除基本语音通信功能以外的其他功能。在传统移动终端的附加功能之中，用户往往会比较喜欢照相机功能。

用户可使用在移动终端中提供的照相机功能来在任何时候捕捉希望的物体的图像并存储捕捉的图像。在这种情况下，图像由将从物体反射的光信号转换为电信号的电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)来捕捉。

为了使用上述的CCD和CMOS获得彩色图像，需要将彩色滤光片布置在CCD和CMOS前面。

在很多移动终端中提供的照相机采用小而价廉的称为彩色滤光片阵列(CFA)的彩色滤光片。CFA以微摄镜头(micro lens)的形式附在CCD和CMOS前面。CFA使一个象素仅通过一种颜色的光并且具有规则排列的结构。

CFA可具有根据颜色元素阵列的多种图案。Bayer图案被广泛地使用，并表示在图1中。绿色(G)的Bayer图案中的空间频率特性表示在图2中。位于图1的左上端的象素的输出仅具有G分量。红色(R)和蓝色(B)分量交替排列在不同的行中。在图2中，μ和v分别表示与G分量关联的水平和垂直频率分量，并被用于指示在单位空间(mm)中存在多少采样。二维的频率特性可以以水平分量来表示，也就是说，可以以一维来表示，如在图3A中所示。

执行使用相邻象素的颜色信息来计算每一个象素的三色信息的过程，以便可执行对图1的Bayer图案的R、G、和B位置的图像差值。广泛使用的传统图像插值算法为使用具有与将要为给定的象素计算的颜色信息相同的颜色信息的相邻象素的最近邻居复制算法、双线性插值算法、和中值插值算法。

现在，将描述传统的双线性插值算法。

图4表示用于解释传统的双线性插值算法的Bayer图案的例子。

将参照图4来描述将G分量***到B或R位置的过程。

例如，下面的方程1被用于将G分量***到B8位置。

$B_{8G}=\frac{(G_3+G_7+G_9+G_{13})}{4}---\left(1\right)$

在上面的的方程1中，B_8G表示在B8位置的G分量值，G₃、G₇、G₉、和G₁₃表示在G3、G7、G9、和G13位置的G分量值。

以相同的方式执行将G分量***到B位置和将G分量***到R位置。

两个相邻R位置的值的算术平均值被计算以将R分量***到G位置。两个相邻B位置的值的算术平均值被计算以将B分量***到G位置。使用下面的方程2来计算算术平均值。例如，使用下面的方程2以将B和R分量***到G7位置。

$G_{7B}=\frac{(B_6+B_8)}{2}---\left(2\right)$

$G_{7R}=\frac{(R_2+R_{12})}{2}$

在上面的方程2中，G_7B表示在G7位置的B分量值，B₆和B₈表示在B6和B8位置的B分量值，G_7R表示在G7位置的R分量值，并且R₂和R₁₂表示在R2和R12位置的R分量值。

四个对角相邻的象素值的算术平均值被计算以将R分量***到B位置。使用下面的方程3来计算算术平均值。例如，使用下面的方程3以将R分量***到B8位置并将B分量***到R12位置。

$B_{8R}=\frac{(R_2+R_4+R_{12}+R_{14})}{4}---\left(3\right)$

$R_{12B}=\frac{(B_6+B_8+B_{16}+B_{18})}{4}$

在上面的方程3中，B_8R表示在B8位置的R分量值，R₂、R₄、R₁₂、和R₁₄表示在R2、R4、R12、和R14位置的R分量值，R_12B表示在R12位置的B分量值，B₆、B₈、B₁₆、和B18表示在B6、B8、B16、和B18位置的B分量值。

上述传统的图像插值方法以算术方法对在上、下、左、和右方向以及在对角方向的相邻象素的颜色信息取平均值，以将每一个象素的三颜色分量***到Bayer图案中。

通过传统的插值方法的算术平均的频率特性与如在图3B中所示的低通滤波器关联。因此，在对每一个象素的G分量的***之后的频率特性表示在用作曲线图图3A和图3B的乘积的曲线图图3C中。通过插值，图3A的三角线被改变为图3C的曲线。图3B的一部分和图3A的□部分的乘积形成图3C的□部分。

传统的图像插值方法具有这样的问题，即因为在不考虑相邻象素值的分布的状态下对四个相邻象素进行算术平均，所以图像分辨率降低。也就是说，传统的图像插值方法具有这样的问题，即因为其具有与低通滤波器相同的消极效果，所以图像分辨率降低。传统的图像插值方法具有另一问题，即当输出象素数量大时，图像分辨率进一步降低。当采样频率低时，混叠现象导致高频分量出现在低频分量中，由此降低了图像分辨率。

因此，需要可从捕捉的图像产生最佳质量图像的图像插值方法。

                    发明内容

因此，设计本发明以解决在现有技术中出现的以上和其他问题。因此，本发明的一方面在于提供一种能够从捕捉的图像产生最佳质量图像的图像插值方法。

本发明的以上和其他方面可通过一种***颜色图像分量的方法来实现。该方法包括：从通过捕捉物体的图像而获得的光信号提取Bayer图案；计算与提取的Bayer图案的至少一个绿色(G)位置垂直或水平相邻的红色(R)或蓝色(B)分量值的算术平均值，并将R或B分量***到该至少一个G位置；在将R或B分量***到至少一个G位置之后，计算在与至少一个R位置或B位置相邻的G位置的G、B、或R分量值之间的水平差值和垂直差值；比较通过将水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值，当该绝对值大于该阈值时，使用与水平差值和垂直差值的较小差值关联的水平或垂直相邻的G位置的G、B、或R分量值的算术平均值来将G、B、或R分量***到至少一个R位置或B位置；和当该绝对值小于该阈值时，使用中值方法将G、B、或R分量***到至少一个R位置或B位置。

本发明的以上和其他方面可通过一种***颜色图像分量的方法来实现。该方法包括：从通过捕捉物体的图像而获得的光信号提取Bayer图案；计算与提取的Bayer图案的至少一个绿色(G)位置垂直或水平相邻的红色(R)或蓝色(B)分量值的算术平均值，并将R或B分量***到该至少一个G位置；在将R或B分量***到至少一个G位置之后，对与至少一个R位置或B位置相邻的G位置的G分量执行离散余弦变换(DCT)操作，分析DCT系数的模式，并将G分量***到该至少一个R位置或B位置；计算与该至少一个R位置或B位置相邻的G位置的B或R分量值之间的水平差值和垂直差值，比较通过将水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值，当该绝对值大于该阈值时，使用与水平差值和垂直差值的较小差值关联的水平或垂直相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置；和当该绝对值小于该阈值时，使用中值方法将B或R分量***到至少一个R位置或B位置。

                        附图说明

通过下面结合附图进行的描述，本发明的以上和其他方面和优点将被更清楚地理解，其中：

图1表示绿色(G)的传统Bayer图案的例子；

图2表示图1的空间频率特性的例子；

图3A-3C表示传统的图像插值方法的频率特性的例子；

图4表示用于传统双线性插值算法的传统Bayer图案的例子；

图5是表示根据本发明实施例的移动终端的方框图；

图6表示用于根据本发明实施例的图像插值的Bayer图案的例子；

图7A和7B是表示根据本发明实施例的图像插值方法的流程图；

图8A-8D表示基于根据本发明实施例的图像插值方法的Bayer图案的例子；

图9A-9C表示根据本发明实施例用于将红色(R)和蓝色(B)分量***到G位置的Bayer图案的例子；

图10A和10B表示在图像插值方法中基于相邻分量的方向性的G分量的Bayer图案的例子；

图11A-11C表示根据本发明实施例的图像插值方法的频率特性的例子；

图12A和12B是表示根据本发明另一实施例的图像插值方法的流程图；和

图13A-13C是表示根据本发明实施例的图像插值方法的解释性示图。

在所有附图中，应该注意，相同的标号被用于描述同一或类似部件、特性、和结构。

                具体实施方式

这里，将在以下参照附图对本发明的实施例进行详细的描述。

在下面的描述中，为了简明，将省略对包括在这里的已知功能和构造的详细描述。

在下面结合本发明的实施例进行的描述中，显示了Bayer图案的具体细节。对这些具体细节的描述是示例性的。本领域技术人员应该理解，可在不使用上述具体细节的情况下来实施本发明。

图5是表示根据本发明实施例的移动终端的方框图。

参照图5，射频(RF)模块21执行移动终端的通信功能。RF模块21包括：RF发射机(未显示)，用于上转换并放大将被发送的信号的频率；和RF接收机(未显示)，用于低噪声放大接收的信号并下转换接收的信号的频率。

MODEM 23包括用于编码并调制将被发送的信号的发射机(未显示)和用于解调制并解码接收的信号的接收机(未显示)等。

音频处理模块25执行通过控制模块10再现从MODEM 23输出的接收的音频信号或者通过控制模块10将从麦克风(MIC)产生的发送音频信号输出给MODEM 23的功能。而且，音频处理模块25将从MODEM 23接收的数据之中的语音数据转换为可听的声音，然后，通过扬声器(SPK)输出该可听的声音。另外，音频处理模块25将输入语音信号转换为数据，然后，将该数据输出给MODEM 23。音频处理模块25可被集成到控制模块10中。

键输入模块27包括用于输入数字和字母信息的键和用于设置多种功能的功能键。

存储器模块29可包括程序和数据存储器等。程序存储器可存储用于控制移动终端的一般操作的程序。更具体地讲，程序存储器存储用于对在根据本发明实施例的照相机模式下的物体的图像的每一个象素执行图像插值的程序。程序存储器存储将被与和R或B位置相邻的象素的R、G、或B分量之间的差值的绝对值比较的阈值，以便R、G、或B分量被***到根据本发明实施例的R或B位置。在这种情况下，该阈值是通过图像质量评估来确定的高图像质量值。数据存储器临时存储在程序的执行期间产生的数据。更具体地讲，数据存储器存储在照相机模式下捕捉的图像的数据。

控制模块10控制移动终端的全部操作。控制模块10可包括MODEM 23，并控制用于执行根据本发明实施例的图像插值方法的操作。

照相机模块50捕捉图像，并包括用于将捕捉的图像的光信号转换为电信号的照相机传感器。假设，照相机传感器是电荷耦合器件(CCD)传感器。在具有用于逐象素地仅使一种颜色的光信号通过照相机模块50的规则排列的结构的彩色滤光片阵列(CFA)前面采用CCD传感器。根据CFA，从多种颜色的象素提取单一颜色的象素值。

信号处理模块60处理从照相机模块50输出的图像信号，并且可由数字信号处理器(DSP)实现。信号处理模块60根据采样周期处理图像信号。信号处理模块60通过用于使用相邻象素的信息估计每一个象素的丢失象素信息的Bayer图案来处理图像信号。

图像处理模块70执行产生用于显示由信号处理模块60处理的图像信号的屏幕数据的功能。图像处理模块70根据显示模块80的标准传送在控制模块10的控制下接收的图像信号或者由照相机模块50捕捉的图像的数据。图像处理模块70压缩或者解压缩图像数据。

显示模块80根据控制模块10的控制操作显示在程序的执行期间产生的消息。当在照相机捕捉模式下图像插值被执行时，显示模块80将由图像处理模块70处理的图像信号显示在屏幕上。显示模块80显示从控制模块10输出的用户数据。显示模块80可使用液晶显示器(LCD)。在LCD的情况下，显示模块80可包括：LCD控制器、能够存储图像数据的存储器、LCD部件等。当使用触摸屏***实现LCD时，键输入模块27和LCD可用作输入单元。

将参照图5来描述移动终端的操作。当用户在通过键输入模块27的拨号操作之后设置信号传输模式时，控制模块10检测设置的信号传输模式，控制MODEM 23处理接收的拨号的信息，并且控制RF模块21将处理的信息转换为RF信号并输出该RF信号。随后，当被叫方产生响应信号时，控制模块10通过RF模块21和MODEM 23检测该响应信号。用户通过经音频处理模块25建立的语音通信路径来执行通信功能。另一方面，当信号接收模式被执行时，控制模块10通过MODEM 23检测信号接收模式并控制音频处理模块25产生铃声。随后，当用户响应时，控制模块10检测该响应。用户通过经音频处理模块25建立的语音通信路径来执行通信功能。虽然已在以上描述了在信号发送和接收模式中的语音通信的例子，但是除语音通信以外的传递分组数据和图像数据的数据通信功能可被执行。当进入空闲模式或者执行字符或文本通信时，控制模块10控制显示模块80显示通过MODEM 23处理的字符或文本数据。

移动终端捕捉人物或景色的图像以将捕捉的图像显示在屏幕上或者发送捕捉的图像。首先，照相机模块50可安装在手提电话里面或者连接在手提电话外面。也就是说，照相机模块50可以是外部或者内部照相机。照相机模块50可使用CCD传感器。由照相机模块50捕捉的图像由内部CCD传感器转换为电信号，并且该电信号被施加于信号处理模块60。信号处理模块60对该电信号采样，将采样的信号转换为已在其中***相邻象素的RGB分量的数字图像数据，并且将该数字图像数据输出给图像处理模块70。

现在，将描述当捕捉人物或景色的图像时对由照相机模块50捕捉的图像执行图像插值的移动终端的操作。首先，控制模块10控制显示模块80显示指示照相机模式的键数据。键数据从通过键输入模块27输入的键产生。随后，控制模块10通过照相机模块50将从物体(比如，人物或景色)反射的光信号转换为电图像信号。电图像信号被CFA过滤以逐象素地使仅一种颜色的光信号通过，并且形成规则排列的Bayer图案。控制模块10控制信号处理模块60以获得在Bayer图案的R、G、和B位置的所有颜色分量。信号处理模块60使用相邻象素的颜色信息来获得每一个象素的三色信息，并输出基于获得的三色信息的处理的图像信号。

也就是说，如在图6中所示，可形成一般的Bayer图案。在基于CFA的Bayer图案中，用作亮度分量的G分布占有50％，用作色度分量的R和B分别分布占有25％。在这种情况下，R和B交替排列在不同的行中，并且G位于R和B之间。对于每一个Bayer图案的每一个象素，可获得三色信息。下面将对这个过程进行详细的描述。

图7A和7B是表示根据本发明实施例的图像插值方法的流程图。

参照图7A和7B，在步骤S711和S713，控制模块10在空闲状态下确定照相机模式。当确定操作模式是照相机模式时，控制模块10在步骤S715执行照相机模式并将控制信号施加于与照相机模式关联的每一个模块。

在步骤S717，控制模块10可通过照相机模块50获得在图6中表示的Bayer图案。随后，根据控制模块10的控制操作通过使用经照相机模块50的Bayer图案来执行下面的图像插值过程。

为了将R分量和B分量***到图6的G位置，在步骤S719中，图像插值过程使用位于如图8A中所示的每一个G位置的垂直或水平方向的R分量或B分量的值的算术平均值来***R分量或B分量。将参照图9来对图像插值过程进行详细的描述。

图9A-9C表示根据本发明实施例用于将R分量和B分量***到G位置的Bayer图案的例子。

参照图9A，用于将B分量***到Bayer图案的G5位置的过程计算位于G5位置的垂直方向的B2和B8的B分量值之和，并将具有通过将该和除以2而获得的结果值的B分量***到G5位置。为了帮助对将R分量和B分量***到G位置的理解，在每一个象素分量附上数字。

用于将R分量***到G5位置的过程计算位于G5位置的水平方向的R4和R6的R分量值之和，并将具有通过将该和除以2而获得的结果值的R分量***到G5位置。这些可以表示为下面的方程4：

$G_5=\frac{(B_2+B_8)}{2}...\left(a\right)---\left(4\right)$

$G_5=\frac{(R_4+R_6)}{2}...\left(b\right)$

方程4(a)被用于计算将被***到G5位置的B分量，方程4(b)被用于计算将被***到G5位置的R分量。在上面的方程4中，B₂和B₈表示在B2和B8位置的B分量值，R₄和R₆表示在R4和R6位置的R分量值。

随后，在步骤S721，控制模块10确定将R分量和B分量***到G位置是否已经结束。重复以上过程，直到将R分量和B分量***到G位置结束。将R分量和B分量***到所有的G位置的结果表示在图8B中。

如果将R分量和B分量***到G位置已经结束，则执行将G和B分量***到R位置的过程和将G和R分量***到B位置的过程。在这种情况下，对R位置的图像插值和对B位置的图像插值被同时执行。R位置和B位置的插值过程的优先次序未被限定。相应地，在R位置或B位置的图像插值可被首先执行。为了帮助对本发明的图像插值的理解，将顺序描述将G分量***到R位置和B位置、将B分量***到R位置、和将R分量***到B位置。

首先，在步骤S723，计算在与R位置或B位置相邻的G位置的G分量值之间的水平差ΔX和垂直差ΔY。控制模块10使用下面的方程5来计算水平差ΔX和垂直差ΔY。

ΔX＝|与将在其中***G分量的R位置或B位置水平相邻的G位置之间的G分量差值|

ΔY＝|与将在其中***G分量的R位置或B位置垂直相邻的G位置之间的G分量差值|

                                                       (5)

例如，当如在图9B中所示G分量被***到R14位置时，水平差ΔX是G₁₃-G₁₅的绝对值，垂直差ΔY是G₁₁-G₁₇的绝对值。也就是说，ΔX＝|G₁₃-G₁₅|，ΔY＝|G₁₁-G₁₇|。

当如在图9C中所示G分量被***到B23位置时，水平差ΔX是G₂₂-G₂₄的绝对值，垂直差ΔY是G₂₀-G₂₆的绝对值。也就是说，ΔX＝|G₂₂-G₂₄|，ΔY＝|G₂₀-G₂₆|。

随后，在步骤S724，控制模块10确定通过将水平差ΔX减去垂直差ΔY而获得的结果值的绝对值是否大于阈值T。也就是说，控制模块10确定|ΔX-ΔY|＞T的条件是否满足。

如果|ΔX-ΔY|的值大于T，则在步骤S726控制模块10确定垂直差值ΔY是否大于水平差值ΔX和阈值T之和。也就是说，控制模块10确定ΔY＞ΔX+T的条件是否满足。

如果值ΔY的大于值ΔX+T，则在步骤S728控制模块10计算水平相邻的G位置的G分量值之和，并将具有通过将该和除以2而获得的结果值的G分量***到R位置。也就是说，R位置的G分量可使用下面的方程6来计算：

$R_{14G}=\frac{(G_{13}+G_{15})}{2}---\left(6\right)$

在上面的方程6中，R_14G表示将要被***到R14位置的G分量的值，G₁₃和G₁₅表示在G13位置和G15位置的G分量值。

然而，如果值ΔY小于值ΔX+T，则在步骤S730控制模块10计算垂直相邻的G位置的G分量值之和，并将具有通过将该和除以2而获得的结果值的G分量***到R位置。也就是说，R位置的G分量可使用下面的方程7来计算：

$R_{14G}=\frac{G_{11}+G_{17}}{2}---\left(7\right)$

在上面的方程7中，R_14G表示将要被***到R14位置的G分量的值，G₁₁和G₁₇表示在G11位置和G17位置的G分量值。

然而，如果|ΔX-ΔY|的值小于T，则在步骤S732通过使用中值方法将具有通过将除最小值和最大值之外的中间的G位置的G分量值之和除以2而获得的结果值的G分量***到R位置。

另一方面，如果|ΔX-ΔY|的值小于T，则控制模块10可计算水平和垂直相邻的G位置的G分量值之和，然后将具有通过将该和除以4而获得的结果值的G分量***到R位置。也就是说，R位置的G分量可使用下面的方程8来计算：

$R_{14G}=\frac{(G_{11}+G_{13}+G_{15}+G_{17})}{4}---\left(8\right)$

在上面的方程8中，R_14G表示将要被***到R14位置的G分量的值，G₁₁、G₁₃、G₁₅和G₁₇表示在G11位置、G13位置、G15位置和G17位置的G分量值。

G分量可以以与如上所述G分量被***到R位置相同的方式被***到B位置。

也就是说，为了将G分量***到B位置，在步骤S724，控制模块10确定通过将水平差ΔX减去垂直差ΔY而获得的结果值的绝对值是否大于阈值T。也就是说，控制模块10确定|ΔX-ΔY|＞T的条件是否满足。

如果|ΔX-ΔY|的值大于T，则在步骤S726控制模块10确定垂直差值ΔY是否大于水平差值ΔX和阈值T之和。也就是说，控制模块10确定ΔY＞ΔX+T的条件是否满足。

如果值ΔY的大于值ΔX+T，则在步骤S728控制模块10计算水平相邻的G位置的G分量值之和，并将具有通过将该和除以2而获得的结果值的G分量***到B位置。也就是说，B位置的G分量可使用下面的方程9来计算：

$B_{23G}=\frac{(G_{22}+G_{24})}{2}---\left(9\right)$

在上面的方程9中，B_23G表示将要被***到B23位置的G分量的值，G₂₂和G₂₄表示在G22位置和G24位置的G分量值。

然而，如果值ΔY小于值ΔX+T，则在步骤S730控制模块10计算垂直相邻的G位置的G分量值之和，并将具有通过将该和除以2而获得的结果值的G分量***到B位置。也就是说，B位置的G分量可使用下面的方程10来计算：

$B_{23}=\frac{(G_{20}+G_{26})}{2}---\left(10\right)$

在上面的方程10中，B_23G表示将要被***到B23位置的G分量的值，G₂₀和G₂₆表示在G20位置和G26位置的G分量值。

然而，如果|ΔX-ΔY|的值小于T，则在步骤S732通过使用中值方法将具有通过将除最小值和最大值之外的中间的G位置的G分量值之和除以2而获得的结果值的G分量***到B位置。

另一方面，如果|ΔX-ΔY|的值小于T，则控制模块10可计算水平和垂直相邻的G位置的G分量值之和，然后将具有通过将该和除以4而获得的结果值的G分量***到B位置。也就是说，B位置的G分量可使用下面的方程11来计算：

$B_{23G}=\frac{(G_{20}+G_{22}{G}_{24}+G_{26})}{4}---\left(11\right)$

在上面的方程11中，B_23G表示将要被***到B23位置的G分量的值，G₂₀、G₂₂、G₂₄、和G₂₆表示在G20位置、G22位置、G24位置和G26位置的G分量值。

随后，在步骤S734，控制模块10确定将G分量***到Bayer图案的所有的R位置和B位置是否已经结束。重复以上过程，直到将G分量***到所有的R位置和B位置结束。将G分量***到所有的R位置和B位置的结果表示在图8C中。

如果将G分量***到R位置和B位置已经结束，则执行将B分量***到R位置的过程和将R分量***到B位置的过程。在这种情况下，将B分量图像插值到R位置和将R分量图像插值到B位置被同时执行。为了帮助对根据本发明的图像插值的理解，将顺序描述将B分量***到R位置和将R分量***到B位置。

首先，将描述将B分量***到R位置的过程。

在步骤S736，计算在与R位置相邻的G位置的B分量值之间的水平差ΔX和垂直差ΔY。控制模块10使用下面的方程12来计算水平差ΔX和垂直差ΔY以将B分量***到R位置。

ΔX＝|与将在其中***B分量的R位置水平相邻的G位置之间的B分量差值|

ΔY＝|与将在其中***B分量的R位置垂直相邻的G位置之间的B分量差值|

                                                       (12)

例如，当如在图9B中所示B分量被***到R14位置时，水平差ΔX是通过将G13位置的B分量值减去G15位置的B分量值而获得的结果值的绝对值。垂直差ΔY是通过将G11位置的B分量值减去G17位置的B分量值而获得的结果值的绝对值。也就是说，ΔX＝|G_13B-G_15B|，ΔY＝|G_11B-G_17B|，G_11B、G_13B、G_15B、和G_17B表示在G11、G13、G15、和G17位置的B分量值。

当R分量被***到B23位置时，水平差ΔX是通过将G22位置的R分量值减去G24位置的R分量值而获得的结果值的绝对值。垂直差ΔY是通过将G20位置的R分量值减去G26位置的R分量值而获得的结果值的绝对值。也就是说，ΔX＝|G_22R-G_24R|，ΔY＝|G_20R-G_26R|，G_20R、G_22R、G_24R、和G_26R表示在G20、G22、G24、和G26位置的R分量值。

随后，在步骤S738，控制模块10确定通过将水平差ΔX减去垂直差ΔY而获得的结果值的绝对值是否大于阈值T。也就是说，控制模块10确定|ΔX-ΔY|＞T的条件是否满足。

如果|ΔX-ΔY|的值大于T，则在步骤S740控制模块10确定垂直差值ΔY是否大于水平差值ΔX和阈值T之和。也就是说，控制模块10确定ΔY＞ΔX+T的条件是否满足。

如果值ΔY的大于值ΔX+T，则在步骤S742控制模块10计算水平相邻的G位置的B分量值之和，并将具有通过将该和除以2而获得的结果值的B分量***到R位置。也就是说，R位置的B分量可使用下面的方程13来计算：

$R_{14B}=\frac{(G_{13B}+G_{15B})}{2}---\left(13\right)$

在上面的方程13中，R_14B表示将要被***到R14位置的B分量的值，G_13B和G_15B表示在G13位置和G15位置的B分量值。

然而，如果值ΔY小于值ΔX+T，则在步骤S744控制模块10计算垂直相邻的G位置的B分量值之和，并将具有通过将该和除以2而获得的结果值的B分量***到R位置。也就是说，R位置的B分量可使用下面的方程14来计算：

$R_{14B}=\frac{(G_{11B}+G_{17B})}{2}---\left(14\right)$

在上面的方程14中，R_14B表示将要被***到R14位置的B分量的值，G_11B和G_17B表示在G11位置和G17位置的B分量值。

然而，如果|ΔX-ΔY|的值小于T，则在步骤S746通过使用中值方法将具有通过将除最小值和最大值之外的中间的G位置的B分量值之和除以2而获得的结果值的B分量***到R位置。

另一方面，如果|ΔX-ΔY|的值小于T，则控制模块10可计算水平和垂直相邻的G位置的B分量值之和，然后将具有通过将该和除以4而获得的结果值的B分量***到R位置。也就是说，R位置的B分量可使用下面的方程15来计算：

$R_{14B}=\frac{(G_{11B}+G_{13B}+G_{15B}+G_{17B})}{4}---\left(15\right)$

在上面的方程15中，R_14B表示将要被***到R14位置的B分量的值，G_11B、G_13B、G_15B、和G_17B表示在G11位置、G13位置、G15位置和G17位置的B分量值。

R分量可以以与如上所述B分量被***到R位置相同的方式被***到B位置。

计算在与B位置相邻的G位置的R分量值之间的水平差ΔX和垂直差ΔY(步骤S736)。控制模块10使用下面的方程16来计算水平差ΔX和垂直差ΔY以将R分量***到B位置。

ΔX＝|与将在其中***R分量的B位置水平相邻的G位置之间的R分量差值|

ΔY＝|与将在其中***R分量的B位置垂直相邻的G位置之间的R分量差值|

                                                        (16)

例如，当如图9C所示R分量被***到B23位置时，水平差ΔX是通过将G22位置的R分量值减去G24位置的R分量值而获得的结果值的绝对值。垂直差ΔY是通过将G20位置的R分量值减去G26位置的R分量值而获得的结果值的绝对值。也就是说，ΔX＝|G_22R-G_24R|，ΔY＝|G_20R-G_26R|，G_20R、G_22R、G_24R、和G_26R表示在G20、G22、G24、和G26位置的R分量值。

随后，在步骤S738，控制模块10确定通过将水平差ΔX减去垂直差ΔY而获得的结果值的绝对值是否大于阈值T。也就是说，控制模块10确定|ΔX-ΔY|＞T的条件是否满足。

如果|ΔX-ΔY|的值大于T，则在步骤S740控制模块10确定垂直差值ΔY是否大于水平差值ΔX和阈值T之和。也就是说，控制模块10确定ΔY＞ΔX+T的条件是否满足。

如果值ΔY的大于值ΔX+T，则在步骤S742控制模块10计算水平相邻的G位置的R分量值之和，并将具有通过将该和除以2而获得的结果值的R分量***到B位置。也就是说，B位置的R分量可使用下面的方程17来计算：

$B_{23R}=\frac{(G_{22R}+G_{24R})}{2}---\left(17\right)$

在上面的方程17中，B_23R表示将要被***到B23位置的R分量的值，G_22R和G_24R表示在G22位置和G24位置的R分量值。

如果值ΔY小于值ΔX+T，则在步骤S744控制模块10计算垂直相邻的G位置的R分量值之和，并将具有通过将该和除以2而获得的结果值的R分量***到B位置。也就是说，B位置的R分量可使用下面的方程18来计算：

$B_{23R}=\frac{(G_{20R}+G_{26R})}{2}---\left(18\right)$

在上面的方程18中，B_23R表示将要被***到B23位置的R分量的值，G_20R和G_26R表示在G20位置和G26位置的R分量值。

然而，如果|ΔX-ΔY|的值小于T，则在步骤S746通过使用中值方法将具有通过将除最小值和最大值之外的中间的G位置的R分量值之和除以2而获得的结果值的R分量***到B位置。

另一方面，如果|ΔX-ΔY|的值小于T，则控制模块10可计算水平和垂直相邻的G位置的R分量值之和，然后将具有通过将该和除以4而获得的结果值的R分量***到B位置。也就是说，B位置的R分量可使用下面的方程19来计算：

$B_{23R}=\frac{(G_{20R}+G_{22R}+G_{24R}+G_{26R})}{4}---\left(19\right)$

在上面的方程19中，B_23R表示将要被***到B23位置的R分量的值，G_20R、G_22R、G_24R、和G_26R表示在G20、G22、G24、和G26位置的R分量值。

随后，在步骤S748，控制模块10确定将B分量和R分量***到Bayer图案所有的R位置和B位置是否已经结束。重复以上过程，直到将B分量和R分量***到所有的R位置和B位置结束。将所有丢失的分量***到所有的R位置、G位置和B位置的结果表示在图8D中。

相应地，根据本发明的图像插值方法逐象素地***丢失的颜色信息。当不存在与位于Bayer图案的边缘的象素相邻的可比较的象素时，按照原样使用相邻象素的分量。

当如在图10A中所示根据相邻分量的方向性***G分量时，可看出，如在图10B中所示，G分量在垂直方向被***。在图10A中表示的奇数水平分量的频率特性与在图11A中表示的相同。在图11A中表示的偶数水平分量的频率特性具有如在图11B中所示的相位改变。

根据如在图10B中所示的在其中***颜色分量的图案的频率特性，奇数行和偶数行的频谱在采样频率的奇数倍彼此异相。当异相的分量彼此抵消时，结果表示在图11C中。考虑异相的分量的插值方法具有如图11C所示的空间频率特性。

图12A和12B是表示根据本发明另一实施例的图像插值方法的流程图，图13A-13C是表示根据本发明实施例的图像插值方法的解释性示图。

参照图7A、7B、12A、和1 2B，步骤S711到S721表示用于将R分量和B分量***到G位置的方法，步骤S734到S748表示用于将B分量***到R位置和将R分量***到B位置的方法。因为在图12A中表示的步骤S711到S721的处理与图7A的步骤S711到S721的处理相同，所以省略描述。执行图12A和12B的过程以代替图7A，并且在执行图12B的过程之后执行图7B的过程。

为了在将R分量和B分量***到G位置之后将G分量***到R位置和B位置，在步骤S823，控制模块10提取与R位置或B位置相邻的G分量。

随后，在步骤S825，控制模块10将提取的G分量转换为2×2象素的格式。在这种情况下，控制模块10将在将要在其中***G分量的R位置或B位置的左侧的G位置的G分量排列在第一行的第一列。控制模块10将在该R位置或B位置的上侧的G位置的G分量排列在第一行的第二列。控制模块10将在该R位置或B位置的下侧的G位置的G分量排列在第二行的第二列。控制模块10将在该R位置或B位置的右侧的G位置的G分量排列在第二行的第一列。这个过程可从图13A和13B看出。

随后，在步骤S827，控制模块10通过DCT处理执行到基于离散余弦变换(DCT)系数的2×2象素格式的转换。

也就是说，由二维矩阵定义的图像数据被从空间域转换到频域。如在图13C中所示，DCT系数C1、C2、C3、和C4分别为低频系数、水平频率系数、垂直频率系数、和高频系数。

在步骤S829，控制模块10确定DCT系数的低频系数是否为最大。如果低频系数最大，则在步骤S831控制模块10计算与R位置或B位置相邻的四个G位置的G分量值的算术平均值，并将具有计算的算术平均值的G分量***到R位置或B位置。也就是说，如果在DCT系数中低频系数最大，则其指示整个图案是均匀的。相应地，相邻G位置的G分量值被算术平均，并且具有该算术平均值的G分量被***。

可使用下面的方程20将G分量***到R位置或B位置：

$R=\frac{G1+G2+G3+G4}{4},$ $B=\frac{G1+G2+G3+G4}{4}---\left(20\right)$

在上面的方程20中，G1、G2、G3、和G4表示与R位置或B位置相邻的G位置的G分量值。

另一方面，在步骤S831，可选择与R位置或B位置相邻的四个G位置的G分量之一而不使用上面的方程20，从而选择的G分量被***到R位置或B位置。也就是说，G分量值G1、G2、G3、和G4之一被选择，并且具有该选择的值的G分量可被***到R位置或B位置。

然而，如果在DCT系数中低频系数不是最大，则在步骤S833控制模块10确定水平频率系数是否为最大。如果水平频率系数最大，则在步骤S835控制模块10计算具有2×2象素格式的与R位置或B位置垂直相邻的G位置的G分量值的算术平均值，并将具有该计算的算术平均值的G分量***到R位置或B位置。也就是说，如果在DCT系数中水平频率系数最大，则其指示具有2×2象素格式的水平图案具有显著差异。相应地，必须使用具有2×2象素格式的垂直图案。

在这种情况下，可使用下面的方程21将G分量***到R位置或B位置：

$R=\frac{G1+G3}{2}$ 或 $R=\frac{G2+G4}{2}$

$B=\frac{G1+G3}{2}$ 或 $B=\frac{G2+G4}{2}---\left(21\right)$

在上面的方程21中，R是在R位置的G分量，B是在B位置的G分量。G1和G3、或者G2和G4是具有2×2象素格式的在垂直相邻的G位置的G分量值。

然而，如果在DCT系数中水平频率系数不是最大，则在步骤S837控制模块10确定垂直频率系数是否为最大。如果垂直频率系数最大，则在步骤S839控制模块10计算具有2×2象素格式的与R位置或B位置水平相邻的G位置的G分量值的算术平均值，并将具有该计算的算术平均值的G分量***到R位置或B位置。也就是说，如果在DCT系数中垂直频率系数最大，则其指示具有2×2象素格式的垂直图案具有显著差异。相应地，必须使用具有2×2象素格式的水平图案。

在这种情况下，可使用下面的方程22将G分量***到R位置或B位置：

$R=\frac{G1+G2}{2}$ 或 $R=\frac{G3+G4}{2}$

$B=\frac{G1+G2}{2}$ 或 $B=\frac{G3+G4}{2}---\left(22\right)$

在上面的方程22中，R是在R位置的G分量值，B是在B位置的G分量值。G1和G2、或者G3和G4是具有2×2象素格式的在水平相邻的G位置的G分量值。

然而，如果在DCT系数中垂直频率系数不是最大，则确定在DCT系数中高频系数最大。在步骤S841，控制模块10计算具有2×2象素格式的与R位置或B位置对角相邻的G位置的G分量值的算术平均值，并将具有该计算的算术平均值的G分量***到R位置或B位置。也就是说，如果在DCT系数中高频系数最大，则其指示具有2×2象素格式的水平和垂直图案具有显著差异。相应地，必须使用具有2×2象素格式的对角图案。

在这种情况下，可使用下面的方程23将G分量***到R位置或B位置：

$R=\frac{G1+G4}{2}$ 或 $R=\frac{G2+G3}{2}$

$B=\frac{G1+G4}{2}$ 或 $B=\frac{G2+G3}{2}---\left(23\right)$

在上面的方程23中，R是在R位置的G分量，B是在B位置的G分量。G1和G4、或者G2和G3是具有2×2象素格式的在对角相邻的G位置的G分量值。

随后，以与如上所述将G分量***到R位置或B位置相同的方式执行将B分量***到R位置的过程和将R分量***到B位置的过程。省略对将B和R分量***到R位置和B位置的描述。

虽然为了说明的目的已公开了本发明的某些实施例，但本领域技术人员应该理解，在不脱离本发明的范围的情况下，可做出各种修改、增加、和替换。因此，本发明不限于上述实施例，而是由下面的权利要求及其等同物的全部范围来限定。

Claims (18)

1、一种***颜色图像分量的方法，包括：

从通过捕捉物体的图像而获得的光信号提取Bayer图案；

计算与提取的Bayer图案的至少一个绿色(G)位置垂直或水平相邻的红色(R)或蓝色(B)分量值的算术平均值，并将R或B分量***到该至少一个G位置；

在将R或B分量***到至少一个G位置之后，计算在与至少一个R位置或B位置相邻的G位置的G、B、或R分量值之间的水平差值和垂直差值；

比较通过将水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值，当该绝对值大于该阈值时，使用与水平差值和垂直差值的较小差值关联的水平或垂直相邻的G位置的G、B、或R分量值的算术平均值来将G、B、或R分量***到至少一个R位置或B位置；和

当该绝对值小于该阈值时，使用中值方法将G、B、或R分量***到至少一个R位置或B位置。

2、如权利要求1所述的方法，其中，水平差值是与插值位置水平相邻的象素之间的差值的绝对值。

3、如权利要求1所述的方法，其中，垂直差值是与***位置垂直相邻的象素之间的差值的绝对值。

4、如权利要求1所述的方法，其中，比较和***的步骤包括：

比较通过将G分量值之间的水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值；

当该绝对值大于该阈值并且G分量值之间的水平差值小于垂直差值时，使用水平相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置；和

当该绝对值大于该阈值并且G分量值之间的水平差值大于垂直差值时，使用垂直相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置。

5、如权利要求1所述的方法，其中，当通过将G分量值之间的水平差值减去垂直差值而获得的结果值的绝对值小于预设的阈值时，使用中值方法将G分量***到至少一个R位置或B位置。

6、如权利要求1所述的方法，其中，比较和***的步骤包括：

比较通过将B或R分量值之间的水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值；

当该绝对值大于该阈值并且B或R分量值之间的水平差值小于垂直差值时，使用水平相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置；和

当该绝对值大于该阈值并且B或R分量值之间的水平差值大于垂直差值时，使用垂直相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置。

7、如权利要求1所述的方法，其中，当通过将B或R分量值之间的水平差值减去垂直差值而获得的结果值的绝对值小于预设的阈值时，使用中值方法将B或R分量***到至少一个R位置或B位置。

8、如权利要求1所述的方法，其中，当通过将G分量值之间的水平差值减去垂直差值而获得的结果值的绝对值小于预设的阈值时，使用除中值方法之外的水平和垂直相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置。

9、如权利要求1所述的方法，其中，当通过将B或R分量值之间的水平差值减去垂直差值而获得的结果值的绝对值小于预设的阈值时，使用除中值方法之外的水平和垂直相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置。

10、一种***颜色图像分量的方法，包括：

从通过捕捉物体的图像而获得的光信号提取Bayer图案；

计算与提取的Bayer图案的至少一个绿色(G)位置垂直或水平相邻的红色(R)或蓝色(B)分量值的算术平均值，并将R或B分量***到该至少一个G位置；

在将R或B分量***到至少一个G位置之后，对与至少一个R位置或B位置相邻的G位置的G分量执行离散余弦变换(DCT)，分析DCT系数的模式，并将G分量***到该至少一个R位置或B位置；

计算与该至少一个R位置或B位置相邻的G位置的B或R分量值之间的水平差值和垂直差值，比较通过将水平差值减去垂直差值而获得的结果值的绝对值与预设的阈值，当该绝对值大于该阈值时，使用与水平差值和垂直差值的较小差值关联的水平或垂直相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置；和

当该绝对值小于该阈值时，使用中值方法将B或R分量***到至少一个R位置或B位置。

11、如权利要求10所述的方法，其中，分析DCT系数模式的步骤包括：

使用在DCT系数中的最大系数来分析图案。

12、如权利要求10所述的方法，其中，将G分量***到至少一个R位置或B位置的步骤包括：

提取与至少一个R位置或B位置垂直和水平相邻的G分量；

将提取的G分量转换为预定的水平和垂直象素格式；和

对该预定的水平和垂直象素格式执行DCT操作，并执行到预定的由DCT系数构造的水平和垂直象素格式的转换。

13、如权利要求12所述的方法，其中，预定的水平和垂直象素格式是2×2象素格式。

14、如权利要求12所述的方法，其中，将提取的G分量转换为预定的水平和垂直象素格式的步骤包括：

将在将要在其中***G分量的至少一个R位置或B位置的左侧的G位置的G分量排列在第一行的第一列；

将在该至少一个R位置或B位置的上侧的G位置的G分量排列在第一行的第二列；

将在该至少一个R位置或B位置的下侧的G位置的G分量排列在第二行的第二列；和

将在该至少一个R位置或B位置的右侧的G位置的G分量排列在第二行的第一列。

15、如权利要求10所述的方法，其中，将G分量***到至少一个R位置或B位置的步骤包括：

确定在DCT系数中低频系数是否最大，如果在DCT系数中低频系数最大，则选择并***与至少一个R位置或B位置相邻的G位置的G分量的任意一个；

确定在DCT系数中水平频率系数是否最大，如果在DCT系数中水平频率系数最大，则使用具有预定的水平和垂直象素格式的垂直相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置；

确定在DCT系数中垂直频率系数是否最大，如果在DCT系数中垂直频率系数最大，则使用具有预定的水平和垂直象素格式的水平相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置；和

确定在DCT系数中高频系数是否最大，如果在DCT系数中高频系数最大，则使用具有预定的水平和垂直象素格式的对角相邻的G位置的G分量值的算术平均值来将G分量***到至少一个R位置或B位置。

16、如权利要求15所述的方法，其中，如果在DCT系数中低频系数最大，则选择相邻G位置的G分量的任何一个或者计算相邻G位置的G分量值的算术平均值。

17、如权利要求15所述的方法，其中，如果在DCT系数中水平频率系数、垂直频率系数、或者高频系数大，则选择垂直、水平、或者对角相邻的G位置的G分量的任意一个，并将选择的G分量***到至少一个R位置或B位置。

18、如权利要求10所述的方法，其中，当通过将B或R分量值之间的水平差值减去垂直差值而获得的结果值的绝对值小于预设的阈值时，使用除中值方法之外的水平和垂直相邻的G位置的B或R分量值的算术平均值来将B或R分量***到至少一个R位置或B位置。

Images