CN1953504B

CN1953504B - 用于cfa图像插值的自适应分类方法

Info

Publication number: CN1953504B
Application number: CN2005101165426A
Authority: CN
Inventors: 陈喆; 陈前
Original assignee: STMicroelectronics Shanghai R&D Co Ltd
Current assignee: STMicroelectronics Shanghai Co Ltd; STMicroelectronics Shanghai R&D Co Ltd
Priority date: 2005-10-21
Filing date: 2005-10-21
Publication date: 2010-09-29
Anticipated expiration: 2025-10-21
Also published as: CN1953504A; US20070091188A1

Abstract

接收第一个图像并将其放大以创建第二个图像。第二个图像包括多个未知像素值，其中每一个像素值具有多个邻域已知像素值。根据像素插值加权，从已知像素值对未知像素值进行插值。未知像素值的插值包括通过下列步骤确定所需的插值加权：基于已知像素值将图像区域分类为多种类型的其中一种类型；并基于图像区域的分类类型来获取至少一个确定的插值加权以用于插值至少一个未知的像素值。

Description

用于CFA图像插值的自适应分类方法

技术领域

本发明涉及彩色滤光片矩阵(CFA)插值，更具体地说，涉及一种自适应分类方案，其基于确定的图像分类类型来分配加权和/或加权计算算法。

背景技术

最常使用的彩色滤光片矩阵(CFA)是Bayer模式(参见美国专利No.3,971,065，其公开都引用在此作为参考)。该模式一般用于能够使用图像的装置，例如：蜂窝电话、袖珍摄像机和其它图像传感器(例如用于监视应用中的那些传感器)。因为在CFA输出的每一个空间位置(或像素)处仅能获得单一彩色分量，恢复的彩色图像(诸如RGB彩色图像)是通过从空间相邻的CFA数据插值丢失的彩色分量来获取。多种不同的CFA插值方法对本技术领域的普通技术人员来说是公知的。通过本技术领域的普通技术人员所公知的CFA图像放大和插值(CFAIEI)的过程，能够将CFA图像插值为更大尺寸的RGB彩色图像。

当从多个邻域已知的像素值中对未知的像素值进行插值时，本技术领域公知的插值过程通常利用加权因子(例如：当执行加权平均过程时)。CFA插值过程中所使用的加权计算通常是一个巨大的计算过程，其花费相当大时间和功率来完成。在小尺寸架构(small form factor)中，特别是便携式、电池供能的成像设备，例如蜂窝电话或袖珍摄影机，这样的计算需求耗尽电池并能大大缩短电子再充电或替换之间的时间。因此，本技术领域需要更有效地计算用于CFA插值过程的加权。

通过参考现有技术示例性CFA插值过程能更好地理解上述问题。如同在有关消费电子产品的IEEE学报中，第50卷、第1期、2004年2月、第15页到24页，R.Lukac等人的“Digtal Camera Zooming Based on Unified CFA ImageProcessing Steps”(参见16页上的等式(4)和(5))中讨论的；和Queen大学的第22届通信专题双年会讨论的论文、2004年5月、第207页到209页，R.Lukak等人的“Bayer Patter Demosaicking Using Data-dependent Adaptive Filters”(参见207页的等式(2))；这两篇的公开都引用在此作为参考，常规的加权方法使用计算复杂的单一公式组来计算整个图像区域上的加权。对于每一个未知像素位置执行此复杂的公式来计算必要的插值加权需要相当大数量的计算，这将消耗时间和功率。如果有一个对于加权计算来说更计算有效的过程，这将是一个优势。

本技术领域的技术人员还认识到：对于确定的图像类型，使用这种现有技术的加权公式产生的插值图像的质量是可以接受，还存在改进的空间。例如：当图像不是特别平滑、例如在源/输入图像中有边和线时，如果插值的图像质量可以在现有技术上改进的话(相对于感知质量和PSNR/MAE/NCD质量指数)，这将是一种优势。

发明内容

根据本发明的一个实施例，图像插值过程，其中该图像包括由多个已知像素值包围的未知像素值，该过程包括将图像区域进行分类，其中未知和已知像素位于多种类型的其中一种类型；并基于图像区域的分类类型从多个加权计算公式中选择确定的加权计算公式。然后使用已选择的确定的加权计算公式来计算插值加权，并且使用计算的插值加权从周围已知的像素值对未知像素值进行插值。

根据本发明的另一个实施例，图像插值过程，其中该图像包括由多个已知像素值包围的未知像素值，该过程包括将图像区域进行分类，其中未知和已知像素位于多种类型的其中一种类型；并基于图像区域的分类类型从多个预定插值加权中选择至少一个确定的插值加权。然后，使用选择的至少一个确定的插值加权从周围已知的像素值对未知像素值进行插值。

根据另一个实施例，一种过程包括：接收第一个图像；放大第一个图像以创建第二个图像，该第二个图像包括多个未知像素值，其中每一个未知像素值具有多个邻域已知像素值；并根据像素插值加权从已知像素值中对未知像素值进行插值。在该环境中，插值包括通过如下方式确定这些插值加权：基于已知像素值将图像区域分类为多种类型的其中一种，并基于图像区域的分类类型获取至少一个确定的插值加权以用于对至少一个未知像素值进行插值。

本发明提供了一种图像插值方法，其中所述图像包括由多个已知像素值包

围的未知像素值，该方法包括：将图像区域进行分类，其中未知和已知像素位于多种类型的其中一种；基于图像区域的分类类型，从多个加权计算公式中选择确定的加权计算公式；使用选择的确定加权计算公式来计算插值加权；和使用计算的插值加权从周围的已知像素值对所述未知像素值进行插值，其中多个分类类型包括：平滑区域、异常邻域和线性，其中在线性分类类型中已知像素具有表示存在通过图像区域的线或边的值，其中在平滑区域分类类型中，已知的像素具有相似像素值，其中在异常邻域分类类型中，已知像素包括单个的已知像素，其像素值实质上不同于其它已知像素的像素值。

本发明还提供了一种图像插值方法，其中所述图像包括由多个已知像素值包围的未知像素值，该方法包括：将图像区域进行分类，其中未知和已知像素位于多种类型的其中一种；基于图像区域的分类类型从多个预定插值加权中选择至少一个确定插值加权；和使用选择的至少一个确定插值加权从周围已知的像素值对未知像素值进行插值，其中，多个分类类型包括：平滑区域、异常邻域和线性，其中在线性分类类型中已知像素具有表示存在通过图像区域的线或边的值，其中在平滑区域分类类型中，已知的像素具有相似像素值，其中在异常邻域分类类型中，已知像素包括单个的已知像素，其像素值实质上不同于其它已知像素的像素值。

本发明提供了一种图像放大方法，包括：接收第一个图像；放大第一个图像以创建第二个图像，第二个图像包括多个未知像素值，其中每一个未知像素值具有多个邻域的已知像素值；和根据像素插值加权，从已知像素值插值未知像素值，其中，所述插值包括确定这些插值加权，并且其中确定这些插值加权包括：基于已知像素值，将图像区域分类为多种类型的其中一种类型；和基于图像区域的分类类型获取至少一个确定的插值加权，以用于插值至少一个未知像素值，其中多个分类类型包括：平滑区域、异常邻域和线性，其中在线性分类类型中已知像素具有表示存在通过图像区域的线或边的值，其中在平滑区域分类类型中，已知的像素具有相似像素值，其中在异常邻域分类类型中，已知像素包括单个的已知像素，其像素值实质上不同于其它已知像素的像素值。

附图说明

通过参考附图，可以更全面地理解本发明，其中：

附图1是图像插值装置的框图；

附图2是CFA图像放大和插值装置的框图；

附图3是说明根据本发明实施例的像素插值过程的流程图；

附图4是说明附图3中执行的图像类型分类过程的实施例的流程图；

附图5说明平滑图像区域的像素排列；

附图6说明异常邻域图像区域的像素排列；

附图7和8说明线/边图像区域的像素排列；

附图9是附图3和4中执行的图像类型分类过程的实施例的更详细流程图；

附图10是附图3中执行的加权计算过程的实施例的流程图；和

附图11是附图3中执行的加权计算过程的另一个实施例的流程图。

具体实施方式

现在参照附图1，其中示出具有处理功能的图像插值装置100的框图，如果需要该功能可在硬件、软件或固件中实现。例如，在硬件实现中，装置100可包括一个专用集成电路(ASIC)，其电路被设计用来执行特定消息处理任务。可替换地，在软件实现中，装置100可包括执行完成这些信息处理任务的应用程序的处理器。装置100的物理实现的设计和构建完全在本技术领域的普通技术人员的能力范围内。

装置100运行以接收102原始图像。功能104处理已收到的原始图像以便将其缩放为更大尺寸的中间图像106。如本技术领域所公知，缩放过程创建具有多个未知像素的中间图像106。接下来，通过功能108执行像素插值过程来计算出从原始接收102的图像获取的邻域像素值并使用这些值填充未知像素。如上所述，现有技术插值过程通常利用单个公式来计算整个图像区域上的加权。然而，本发明的实施例，对于由功能108执行的插值过程，利用将在此更详细讨论的改进过程，由此使其中正在执行插值的区域中的图像被分类，然后a)基于该图像分类来分配确定的预定加权，和/或b)然后将该图像分类特定的确定加权公式用于计算该插值加权。

现在参考附图2，其中示出了具有处理功能的CFA图像放大和插值(CFAIEI)装置200的框图，如果需要其可以以硬件、软件或固件实现。例如，在硬件实现中，装置200可包括一个专用集成电路(ASIC)，其电路被设计用来执行特定信息处理任务。可替换地，在软件实现中，装置200可包括执行应用程序来完成这些信息处理任务的处理器。装置200的物理实现的设计和构建完全在本技术领域的普通技术人员的能力范围内。

装置200运行以接收202 CFA图像。功能204通过将接收的CFA图像插值为更大尺寸的CFA图像206来处理该图像。如本技术领域所公知，功能204执行的CFA图像放大过程包括将原始CFA图像缩放，这创建具有多个未知像素的中间图像。由功能204执行的CFA图像放大也包括像素插值以计算出从原始接收202的图像获取的邻域像素值并使用这些值来填充未知像素。接下来，由功能208执行CFA-RGB像素插值过程以将更大尺寸CFA图像206变换为同等尺寸RGB图像210。最后，由功能212执行后续处理过程以减少假彩色伪影并增强RGB图像210的锐度。由功能212执行的这些后续处理过程可以使用插值过程。如上所述，现有技术插值过程，例如由功能204、208和212使用的这些过程，通常对于给定过程使用单一公式来计算整个图像区域上的加权。然而，本发明的实施例，对于由功能204、208和212执行的插值过程，利用在此更详细讨论的改进过程，由此使其中正在执行插值的区域中的图像被分类，然后a)基于图像分类分配确定的预定加权，和/或b)然后使用该图像分类特定的确定加权公式来计算插值。

现在参考附图3，其中示出根据本发明实施例的像素插值过程300的流程图。过程300可与任何像素插值处理功能一起使用，包括但不局限于：附图1的功能108和附图2的功能204、208和212使用的那些插值过程。

要插值的图像包括已知像素值和未知(即丢失)像素值的组合，该未知像素值从那些已知像素值中进行插值。如上所述，该图像可包括从缩放所接收的原始图像获取的更大尺寸中间图像106(如用附图1的功能104)。可替换地，该图像可包括通过缩放原始CFA图像来获取的中间CFA图像(如用附图2的功能204)。进一步，该图像可包括被变换为同等尺寸RGB图像的确定尺寸的CFA图像(如用附图2的功能208)。可替换地，该图像可包括进行后续处理的RGB图像(如用附图4的功能212)。事实上，要插值的图像可以是本技术领域公知的任何一种图像类型或种类，对其执行基于加权的插值过程。

附图3的像素插值过程包括从要插值的确定未知像素值的周围的确定图像区域接收302已知像素值的步骤。任何从确定区域选择数量的已知像素值可在步骤304中接收并估算以对于该特定区域分类图像类型。例如，在过程300的一个实施方案中，包围确定的未知像素值的四个已知像素值在步骤304中估算。在另一个实施方案中，包围确定的未知像素值的十六个已知像素值在步骤304中估算。在另一个实施方案中，包围确定的未知像素值的在步骤304中估算的已知像素值的数量可以根据正在执行的图像类型分类测试而变化。

现在参考附图4，其中示出说明在附图3的步骤304中执行的图像类型分类过程的实施例的流程图。图像类型分类过程304首先在步骤402中检测包围确定的未知像素值的已知像素值是否在第一图像的平滑区域中。“平滑”指的是图像的平滑区，其中一个元素和其邻域的数字值是彼此十分接近的(即如果有任何变化也是很小的变化)。对于未知像素“z”和已知邻域像素“a”到“d”，该“平滑”分类类型由附图5中的虚线示出(平行/垂直邻域和对角线邻域情况)，其中虚线包围具有相似数字值的邻域。如果这样(即“是”)，则包围要插值的确定未知像素值的第一图像的确定区域在步骤404中被分配图像类型分类“情况1”(即平滑)，并且过程304对于该特定未知像素结束406。如在此更详细讨论的，对于情况1分类类型，特定的加权在后续插值操作中可以分配给该区域，和/或适合平滑区域的特定计算方法在后续插值操作中分配给该区域。如果不是这样(即“否”)，则过程304继续进行以在步骤408中检测包围确定的未知像素值的已知像素值是否表现为异常邻域。“异常邻域”指的是具有奇特邻域的区域，其中一个单一邻域的数字值与其它邻域(其表现为彼此很小变化)的数字值十分不同。对于未知像素“z”和已知邻域像素“a”到“d”，该“异常邻域”分类类型由附图6中的虚线示出(水平/垂直领域和对角线邻域情况)，其中像素“a”是异常邻域，其数字值与邻域“b”到“d”的值显著不同。如果这样(即“是”)，则包围要插值的确定未知像素值的第一个图像的确定区域在步骤410被分配图像类型分类“情况2”(即异常邻域)，并且过程304对于该像素结束406。如同在此更详细讨论的，对于情况2分类类型，特定的加权可以在后续插值操作中分配给该区域，和/或适合具有异常邻域的区域的特定加权计算方法可以在后续插值操作中分配给该区域。如果不是这样(即“否”)，则过程304继续进行以在步骤412中检测包围确定的未知像素值的已知像素值是否显示出边或线，其覆盖一些邻域和其值将要***值的未知像素位置。如果这样(即“是”)，则包围要插值的确定未知像素值的第一个图像的确定区域在步骤414被分配图像类型分类“情况3”(即线/边)，并且过程304对于该像素结束406。如同在此更详细讨论的，对于情况3分类类型，特定的加权可以在后续插值操作中分配给该区域，和/或适合具有线或边的区域的特定加权计算方法可以在后续插值操作中分配给该区域。如果不是这样(即“否”)，则包围要插值的确定的未知像素值的第一图像的确定区域在步骤416被分配图像类型分类“情况4”(即缺省或不是平滑、异常或线/边)，并且过程304对于该像素结束406。如同在此更详细讨论，对于情况4分类类型，特定的加权可以在后续插值操作中分配给该区域，和/或适合缺省(或没有特定类型)的区域的特定加权计算方法可以在后续插值操作中分配给该区域。

可以认识到，步骤412过程中发现的线/边可以以多个定向的其中任何一个定向显示。如果需要，在步骤414中的图像类型分类“情况3”(即线/边)可以进一步提炼为两个或多个子情况，其反映检测的线/边相对于包围确定的未知像素值的已知像素值的定向。例如，对于未知像素“z”和已知邻近像素“a”到“p”，具有定向e-h(或a-d)的“线/边”分类类型的第一个子情况由附图7中的线示出(水平/垂直邻域和对角线邻域情况)。如同在此更详细讨论的，对于情况3，第一子情况分类类型，特定的加权可以在后续插值操作中分配给该区域，和/或适合具有e-h(a-d)定向线的区域的特定加权计算方法可以在后续插值操作中分配给该区域。对于未知像素“z”和已知像素“a”到“p”，具有定向f-g(或b-c)的“线/边”分类类型的第二个子情况由附图8中的线示出(水平/垂直邻域和对角线邻域情况)。如同在此更详细讨论的，对情况3，第二子情况分类类型，特定的加权可以在后续插值操作中分配给该区域，和/或适合具有f-g(b-c)定向线的区域的特定加权计算方法可以在后续插值操作中分配给该区域。

现在再次参考附图3。附图3的像素插值过程还包括在步骤306中计算插值加权的步骤。如上所述，多个本技术领域公知的插值过程仅在计算插值加权中使用单一加权公式。根据本发明实施例，步骤306能够基于在步骤304中确定的图像类型分类情况执行多个预定加权公式中的任何一种。每一种可用的加权公式特别设计用于确定类型(或情况)的图像区域的环境中的加权计算。该公式的具体设计过程不仅考虑所讨论的图像区域类型，而且考虑处理需要、需求或限制，其都与插值过程相关。以这种方式，不用依靠必须适应不同图像区域类型(情况)的单一公式，而是在步骤306中可用于选择和执行的公式(或加权计算方法)可以适应各种图像区域类型(情况)的特定插值需要。步骤306过程的输出是一组计算插值加权的合适公式(或方法)。

在可替换的实施方案中，在步骤306中计算插值加权的步骤仅包括基于在步骤304中确定的图像类型分类情况来分配加权。每一个分配的加权可以专门设计以在特定类型(或情况)的图像区域的环境中支持插值。该实施例的实施方案具有优势：其消除了实时执行任何加权计算公式的需要。取而代之，该加权计算公式可以预先执行并且加载到存储器(或许以查询表格式)中的结果加权可根据在步骤304中确定的特定类型(或情况)的图像区域来进行访问。

附图3的像素插值过程还进一步包括对于未知像素值执行加权的像素插值308的步骤。换句话说，分配的加权和/或从步骤306中输出的一组计算插值加权的合适公式可用于任何选择的加权插值过程中来计算未知像素位置的值。更具体地，分配的加权和/或从步骤306输出的一组计算插值加权的合适公式根据包围确定的未知像素值的第一图像的确定区域被算术地应用到已知像素值，以便计算未知像素位置的值。

现在参考附图9，其中示出在附图3的步骤304中完成的图像类型分类过程的实施例的更详细的流程图。为了附图9和下面的讨论，注意所有操作数和运算都是整数。

在步骤902中，四个已知邻域像素“a”-“d”的平均值M1计算如下：

M1＝(a+b+c+d)＞＞2，

其中“＝”指的是赋值并且“＞＞”指的是右移。接下来，在步骤904，计算四个已知邻域像素和中间值M1之间的绝对差值之和：

SUM＝|a-M1|+|b-M1|+|c-M1|+|d-M1|，

接下来，在步骤906，确定：

SUM＜TH1，

其中，TH1是预置阈值，而“＜”是小于运算判定。如果“是”，则包围确定的未知像素值的已知像素值在图像的平滑区域，并且包围要插值的确定未知像素值的图像的确定区域在步骤404中被分配图像类型分类“情况1”(即平滑)，并且该过程对于该像素结束406。如果“否”，则过程继续进行以考虑下一个可能的分类情况。

步骤902-906的过程是用于估算已知邻域像素以便确定这些像素是否位于图像的平滑区域的过程的一个具体实例。可以理解，为此目的，可以使用其它算法和过程来估算已知邻域像素。

在步骤908中，四个已知像素间的绝对差值的四个总和计算如下：

Diff(0)＝|a-b|+|a-c|+|a-d|，

Diff(1)＝|b-a|+|b-c|+|b-d|，

Diff(2)＝|c-a|+|c-b|+|c-d|，和

Diff(3)＝|d-a|+|d-b|+|d-c|。

接下来，在步骤910中，Diff(0)，...，Diff(3)从最小到最大排序并分配给SDiff(0)...，SDiff(3)。这样，在排序后，SDiff(0)包含Diff(0)，...，Diff(3)中的最小值，而SDiff(3)包含Diff(0)，...，Diff(3)中的最大值。接下来，在步骤912，作出多部分判断。判定的第一部分测试是否：

SDiff(3)-SDiff(2)＞TH2，

其中，TH2是预置阈值而“＞”是大于运算判定，以及其中附图9所示的MAX是SDiff(3)-SDiff(2)或是Diff(0)到Diff(3)之中的最大值和第二最大值间的差值。判定的第二部分测试是否：

SDiff(3)-SDiff(2)≥(SDiff(2)-SDiff(0))xRATIO，

其中RATIO是预置乘法因子，而“≥”是大于或等于运算判定，而其中附图9所示的MAX是与上述相同，并且其中附图9所示的MIN是SDiff(2)-SDiff(0)或是Diff(0)到Diff(3)中的第二最大值和最小值之间的差值。如果这两个测试部分都是“是”，则包围确定的未知像素值的其中一个已知像素值是异常邻域，并且包围要插值的确定未知像素值的图像的确定区域在步骤410中被分配图像类型分类“情况2”(即异常邻域)，并且过程对于该像素结束406。如果两个或其中一个测试部分是“否”，则该过程继续进行以考虑下一个可能的分类情况。

步骤908-912的过程是用于估算已知邻域像素以便确定这些像素是否位于处理异常邻域的图像区域中的过程的一个具体实例。可以理解，为此目的，可以使用其它算法和过程来估算已知的邻域像素。

在步骤914中，计算十六个已知邻域像素“a”-“p”的平均值M2：

M2＝(a+b+c+d+...m+n+o+p)＞＞4，

其中“＝”指的是赋值并且“＞＞”指的是右移。接下来，在步骤916中，估算比较已知像素与平均值M2的逻辑表达式：

((e＞M2)and(a＞M2)and(d＞M2)and(h＞M2))OR

((e＜M2)and(a＜M2)and(d＜M2)and(h＜M2))

如果在步骤916中估算的逻辑表达式为真，则标志(Flag)＝1，否则标志＝0。接下来，在步骤918中，标志乘以2。由于标志是整数，左移可以用于该运算：

Flag＝flag＜＜1，

其中，“＜＜”指的是左移。接下来，在步骤920中，估算比较已知像素和平均值M2的另一个逻辑表达式：

((g＞M2)and(c＞M2)and(b＞M2)and(f＞M2))OR

((g＜M2)and(c＜M2)and(b＜M2)and(f＜M2))

如果在步骤920中估算的逻辑表达式为真，则标志增加1。

Flag＝Flag+1，

否则，标志保持相同。

接下来，在步骤922中，判定标志是否等于2。如果“是”，则包围确定的未知像素值的已知像素值在其中显示线或边的图像区域中，并且包围要插值的确定未知像素值的图像的确定区域在步骤414(1)中被分配图像类型分类“情况3”(即线性或线/边)和“子情况1”(具有e-h定向)，并且该过程对于该像素结束406。如果“否”，则该过程继续进行以在步骤924中考虑下一个可能的分类情况，其中判定标志是否等于1。如果“是”，则包围确定的未知像素值的已知像素值在其中显示线或边的图像区域中，并且包围要插值的确定未知像素值的图像的确定区域在步骤414(2)被分配图像类型分类“情况3”(即线性)和“子情况2”(具有f-g定向)，并且该过程对于该像素结束406。如果“否”，则包围确定的未知像素值的已知像素值在图像的未分类区中，并且包围要插值的确定未知像素值的图像的确定区域在步骤416被分配图像类型分类“情况4”(即缺省)，并且该过程结束406。

步骤914-924的过程是估算已知邻域像素以便确定这些像素是否位于处理线或边的图像区域内以及确定该线或边的定向的过程的一个具体实例。可以理解，为此目的，可以使用其它算法和过程来估算已知的邻域像素。

现在参考附图10，其中示出在附图3的步骤306中完成的加权计算过程的实施例的流程图。在步骤1002提供多个加权计算公式。在示例性实施例中，提供的加权计算公式的数目与由附图3的步骤304中执行的图像类型分类过程可确认的情况(包括子情况)的数目一致。步骤304分配的已知邻域像素的图像区域的图像类型分类(情况/子情况)在步骤1004中接收。在步骤1006中，执行公式选择过程以选择多个加权公式(在步骤1002中提供)中的某一个。在一个实施例中，通过步骤1002为每一个步骤304分配的可能的图像类型分类(情况/子情况)提供合适的一个加权计算公式，从而在步骤1006中作出选择。在步骤1006中，通过选择步骤1002提供的与步骤304确定的图像类型分类对应的公式简单地进行公式选择。

作为一个例子，结合附图9所示的用于确定图像类型分类的示例性实施方案的环境，步骤1002对于每一个平滑、异常邻域、线性(子情况1)、线性(子情况2)和缺省图像类型分类提供加权公式。步骤1006中的公式选择仅操作以选择那些与步骤304中确定的图像类型分类相匹配的公式中的一个。作为例子，可以选择任何合适的算术平均公式并在步骤1002中可将其用于平滑分类、异常邻域分类和缺省分类，同时可以选择任何合适的三次滤波公式并在步骤1002中将其用于线性(子情况1或子情况2)分类。算术平均和三次滤波算法在本技术领域内都是公知的，并且提供合适公式用于步骤1002中的应用完全在本技术普通技术人员的能力内。

在选择公式后，附图10的过程继续到步骤1008，其中选择的公式用于计算必要的插值加权。计算的加权输出到附图3的步骤308的过程，其中该加权用于从包围的已知像素值插值未知的像素值。

现在参考附图11，其中示出附图3实施的加权计算过程的另一个实施例的流程图。在步骤1102提供多个分配的加权。在一示例性实施例中，提供的加权对应于由附图3的步骤304中执行的图像类型分类过程可确认的情况(包括子情况)。步骤304分配的已知邻域像素的图像区域的图像类型分类(情况/子情况)在步骤1104接收。在步骤1106中，执行加权选择过程以选择确定的加权(在步骤1102中提供)。在该实施例的步骤1106中，通过步骤1102提供一个或多个特定的加权(其是预先确定的)作出选择并且适合步骤304分配的每一个可能的图像类型分类(情况/子情况)。在步骤1106中，仅通过选择步骤1102提供的与步骤304中确定的图像类型分类对应的加权进行加权选择。选择的加权输出到附图3的步骤308的过程，其中该加权用于从周围的已知像素值插值未知的像素值。

作为一个例子，结合附图9所示的用于确定图像类型分类的示例性实施方案的环境，步骤1102对于每一个平滑、异常邻域、线性(子情况1)、线性(子情况2)和缺省图像类型分类提供加权。步骤1106中的加权选择简单地操作以用来选择那些与步骤304中确定的图像类型分类相匹配的加权中的一个或多个。作为一个例子，认为W_x是元素x的加权系数，其中x是要插值的元素z的邻域。在这个环境中，元素z可在步骤308(附图3)中由下式插值：

Z = \underset{x_{i}}{Σ} W_{x_{i}} \cdot x_{i}

对于平滑分类情况，在步骤1102中可得到的加权用于步骤1106中的选择，给定如附图5所示的四个邻域“a”到“d”可能是W_a＝W_b＝W_c＝W_d＝1/4。

对于异常邻域分类情况，在步骤1102中可得到的加权用于步骤1106中的选择，给定如附图6所示的四个邻域“a”到“d”可能是W_a＝0，而W_b＝W_c＝W_d＝1/3。

对于线性(子情况1)分类，在步骤1102中可得到的加权用于步骤1106中的选择，给定如附图7所示的十六个邻域“a”到“p”可能是对于沿着线的邻域：W_b＝W_d＝9/16，而W_e＝W_h＝-1/16。

对于线性(子情况2)分类，在步骤1102中可得到的加权用于步骤1106中的选择，给定如附图7所示的十六个邻域“a”到“p”可能是对于沿着线的邻域：W_b＝W_c＝9/16，而W_f＝W_g＝-1/16。

对于缺省的分类，在步骤1102中可得到的加权用于步骤1106中的选择，给定四个邻域“a”到“d”可能是W_a＝W_b＝W_e＝W_d＝1/4。注意到缺省的条件与平滑分类是相同的。这仅仅是选择的问题，并且如果需要加权也可以取其它值。

认识到这里公开的操作不同于所述的现有技术过程，其区别在于现有技术解决方法在选择和/或计算插值加权前没有区分关于正被处理的图像的任何情况或分类。因此，现有技术解决方法仅使用一个复杂公式来进行插值加权计算。相反，在此提出的解决方法在选择和/或计算插值加权之前将图像分类为至少四种情况中的一种情况。这使得可以得到各种不同的加权计算公式组，并选择最适合或为确定的图像分类特制的其中一个确定的可用公式。可替换地，这使得可以得到预定的加权，并且选择最适合或为确定的图像分类特制的确定加权。通过引进这个自适应分类方法来插值，并且特别是插值加权的计算和/或选择，产生了一些益处，包括：a)生成图像的质量在感观上有所改进，特别是原始图像中存在规则边的情况；和b)加权计算/选择所需的总体计算需要(时间、周期、功率等)大大减少。

使用上述实施例(结合附图1所说明的)，在此示出的解决方法的操作已经与现有技术解决方法(如上文引用的Lukac等人的论文中所教导的)进行比较，其中对于多个不同分类预定加权。在图像品质测试中，并排感观比较显示：现有技术解决方法和本解决方法产生的图像十分类似。峰值信号比(PSNR)用于比较噪声抑制，本解决方法的PSNR值与现有技术解决方法的PSNR值几乎相同。平均绝对误差(MAE)用于估算边和生成图像的细节保存，并且本解决方法的MAE值与现有技术的解决方法几乎相同。标准化的色差(NCD)用于估算感观误差，并且本解决方法的NCD值与现有技术解决方法的NCD值几乎相同。关于计算比较，现有技术解决方法和本解决方法都在数字信号处理器(DSP)上执行，并且像素(色素)的分类和加权计算所需的循环次数都进行计数。与现有技术解决方法(1681次循环)相比，本解决方法所需的计算循环数目(81次循环)显著减少了。该减少主要归因于这种事实：加权计算公式(或算法)不需要实施执行，这是因为每一种图像分类情况的加权已经预先计算并预定了。

前述示出了就生成图像的质量而言，本技术解决方法的方案实施得可与现有技术相比或比现有技术更好。本技术解决方案的最主要优势是：加权计算所需的总计算量相比现有技术而言大大减少。事实上，一些试验示出当使用预定加权时，本解决方法所需的计算量降低到现有技术解决方法所需的大约5％。如果一些预定加权是可得到的和/或如果执行的公式已经设计为具有减少的计算需求，那么即使当使用实时执行的加权计算公式时，也可能获得计算需求的减少。

虽然本发明的方法和设备的优选实施例已经在附图中示出并在前述详细说明中进行了描述，应当理解：本发明不限定为公开的实施例，在不脱离所附权利要求所描述和定义的本发明范围的情况下，能够有各种重新设置、修改和替换。

Claims

1.一种图像插值方法，其中所述图像包括由多个已知像素值包围的未知像素值，该方法包括：

将图像区域进行分类，其中未知和已知像素位于多种类型的其中一种；

基于图像区域的分类类型，从多个加权计算公式中选择确定的加权计算公式；

使用选择的确定加权计算公式来计算插值加权；和

使用计算的插值加权从周围的已知像素值对所述未知像素值进行插值，

其中多个分类类型包括：平滑区域、异常邻域和线性，

其中在线性分类类型中已知像素具有表示存在通过图像区域的线或边的值，

其中在平滑区域分类类型中，已知的像素具有相似像素值，

其中在异常邻域分类类型中，已知像素包括单个的已知像素，其像素值实质上不同于其它已知像素的像素值。

2.如权利要求1所述的方法，其中线性分类类型包括多个取决于相对于已知像素的线定向的子情况。

3.如权利要求1或2所述的方法，其中所述方法由集成电路装置完成。

4.一种图像插值方法，其中所述图像包括由多个已知像素值包围的未知像素值，该方法包括：

基于图像区域的分类类型从多个预定插值加权中选择至少一个确定插值加权；和

使用选择的至少一个确定插值加权从周围已知的像素值对未知像素值进行插值，

其中，多个分类类型包括：平滑区域、异常邻域和线性，

其中在平滑区域分类类型中，已知的像素具有相似像素值，

5.权利要求4的方法，其中线性分类类型包括多个取决于相对于已知像素的线定向的子情况。

6.权利要求4或5的方法，其中所述方法由集成电路装置完成。

7.一种图像放大方法，包括：

接收第一个图像；

放大第一个图像以创建第二个图像，第二个图像包括多个未知像素值，其中每一个未知像素值具有多个邻域的已知像素值；和

根据像素插值加权，从已知像素值插值未知像素值，其中，所述插值包括确定这些插值加权，并且其中确定这些插值加权包括：

基于已知像素值，将图像区域分类为多种类型的其中一种类型；和

基于图像区域的分类类型获取至少一个确定的插值加权，以用于插值至少一个未知像素值，

其中多个分类类型包括：平滑区域、异常邻域和线性，

其中在平滑区域分类类型中，已知的像素具有相似像素值，

8.如权利要求7所述的图像放大方法，其中线性分类类型包括多个取决于相对于已知像素的线定向的子情况。

9.如权利要求7或8所述的图像放大方法，其中第一个图像是CFA图像，第二个图像是放大的CFA图像并且插值产生RGB图像。

10.如权利要求7或8所述的图像放大方法，其中获取至少一个确定的插值加权包括：

使用选择的确定加权计算公式计算至少一个确定的插值加权。

11.如权利要求7或8所述的图像放大方法，其中获取至少一个确定的插值加权包括：基于图像区域的分类类型从多个预定的插值加权中选择至少一个确定的插值加权。

12.如权利要求7或8所述的图像放大方法，其中所述方法由集成电路装置完成。