CN101715097A - 图像处理设备和系数学习设备 - Google Patents

Abstract

本发明涉及一种图像处理设备和系数学习设备。该图像处理设备包括：存储单元，在该存储单元中基于抽头对于每一类存储回归系数数据，与第一图像数据的关注像素相对应的线性特征量和从该图像数据确定的非线性特征量被用作抽头中的元素；分类单元，被配置为将输入的第一图像的多项输入数据的每个线性特征量分类成预定的类；读单元，被配置为从存储单元中读取与分类单元确定的类相对应的回归系数数据；和数据生成单元，被配置为生成通过使第一图像具有更高质量而获得的第二图像的数据，其中通过使用从读单元读取的回归系数数据以及输入的第一图像的多项输入数据中的每项数据的抽头的元素来执行乘积和运算处理，而使第一图像具有更高质量。

Description

图像处理设备和系数学习设备

技术领域

本发明涉及图像处理设备和系数学习设备，尤其涉及能够更准确地识别要对之执行高质量的图像形成处理的图像的特征量的图像处理设备和系数学习设备。

背景技术

在从包含恶化的学生(输入)图像预测教师图像时，利用其中整个图像用学生(输入)图像的线性和来表示的模型的相应处理在准确性上有问题。为此，执行这样一种方法：根据局部特征量对学生(输入)图像进行分类，对于每一类切换回归系数。到目前为止，已经提出了使用1位ADRC或K-means算法进行分类的方法。

例如，为了将标准电视信号(SD信号)转换成高分辨率信号(HD信号)，提出了使用分类自适应处理的技术(例如，参见日本未审查专利申请公开No.7-79418)。

在采用日本未审查专利申请公开No.7-79418的技术将SD信号转换成HD信号的情况下，首先，使用ADRC(自适应动态范围编码)等来确定从输入SD信号形成的类抽头的特征，并且基于获得的类抽头的特征来执行分类。然后，通过在为每一类提供的预测系数和从输入SD信号形成的预测抽头之间进行计算，获得HD信号。

分类被设计成基于低S/N像素的像素值的图案来分组高S/N像素，这些低S/N像素位于在空间或时间上与低S/N图像中与要为之确定预测值的高S/N像素的位置相对应的位置相接近的位置上。自适应处理是这样的：为每一组(对应于上述的类)确定对于属于一组的高S/N像素更准确的预测系数，并且基于预测系数来改进图像质量。因此，优选的是按照以下方式来进行分类：基本上，使用与要为之确定预测值的高S/N像素有关的更多像素来形成类抽头。

发明内容

然而，例如，在如日本未审查专利申请公开No.7-79418中根据像素值的图案(pattern)对像素进行分组的方法中，分类变得均一。因此，取决于图像质量的恶化程度和关注像素的位置，可能无法适当地进行分类。日本未审查专利申请公开No.7-79418的技术被设计为利用适于分类所识别的类的预测系数来计算被形成为具有更高质量的图像的像素值。因而，如果难以适当地进行分类，那么就很难计算适当的像素值。

在一种分类中仅使用像素值图案的线性特征量，存在一种担心就是基于这种分类的高质量图像形成处理的局限性。

希望能够更优地识别为之执行高质量图像形成处理的图像的特征量。

根据本发明的一个实施例，提供了一种图像处理设备，包括：存储装置，在该存储装置中基于抽头对于每一类存储回归系数数据，与第一图像数据的关注像素相对应的线性特征量和从该图像数据确定的非线性特征量被用作所述抽头中的元素；分类装置，用于将输入的第一图像的多项输入数据的每个线性特征量分类成预定的类；读装置，用于从存储装置中读取与分类装置确定的类相对应的回归系数数据；和数据生成装置，用于生成通过使第一图像具有更高质量而获得的第二图像的数据，其中通过使用从读装置读取的回归系数数据以及输入的第一图像的多项输入数据中的每项数据的抽头的元素来执行乘积和运算处理，而使第一图像具有更高质量。

非线性特征量可以是关注像素周围的像素位置处的水平微分绝对值和垂直微分绝对值。

非线性特征量可以是关注像素周围的像素的最大值和最小值。

非线性特征量可以是关注像素周围的像素位置处的水平微分绝对值的最大值和垂直微分绝对值的最大值。

该图像处理设备还可以包括：判别预测装置，用于执行判别预测计算，该判别预测计算通过与第一图像数据的关注像素相对应的每个线性特征量与预先存储的判别系数之间的乘积和运算，来获得用于识别关注像素所属的判别类的判别预测值，其中，基于该判别预测值，分类装置将第一图像信号的每个关注像素分类成预定的类。

在本发明的一个实施例中，基于抽头来存储每一类的回归系数数据，与第一图像数据的关注像素相对应的线性特征量和从图像数据确定的非线性特征量被用作该抽头的元素。输入的第一图像的多项输入数据的每个线性特征量被分类到预定的类中。从存储装置中读取与分类装置所确定的类相对应的回归系数数据。通过使第一图像具有更高质量而获得第二图像的数据，其中通过使用从读装置读取的回归系数数据以及输入的第一图像的多项输入数据中的每项数据的抽头的元素来执行乘积和运算处理，而使第一图像具有更高质量。

根据本发明的另一个实施例，提供了一种系数学习设备，包括：分类装置，用于将与通过改变第二图像的质量而获得的第一图像的多项输入数据中的关注像素相对应的每个线性特征量分类成预定的类；回归系数计算装置，用于计算在使用回归系数和抽头的乘积和运算中所用的回归系数，第一图像的多项输入数据的线性特征量以及从所述多项输入数据确定的非线性特征量被用作抽头中的元素，所述乘积和运算是对于分类装置所确定的每一类获得第二图像的像素值的乘积和运算；和存储装置，对于分类产生的每一类存储计算出的回归系数。

非线性特征量可以是关注像素周围的像素位置处的水平微分绝对值和垂直微分绝对值。

非线性特征量可以是关注像素周围的像素的最大值和最小值。

非线性特征量可以是关注像素周围的像素位置处的水平微分绝对值的最大值和垂直微分绝对值的最大值。

该系数学习设备还可以包括：判别预测装置，用于执行判别预测计算，该判别预测计算通过与第一图像数据的关注像素相对应的每个线性特征量与预先存储的判别系数之间的乘积和运算，来获得用于识别关注像素所属的判别类的判别预测值，其中，分类装置基于该判别预测值将第一图像信号的每个关注像素分类成预定的类。

在本发明的一个实施例中，将与通过改变第二图像的质量而获得的第一图像的多项输入数据中的关注像素相对应的每个线性特征量分类成预定的类。计算出在使用抽头的乘积和运算中所用的回归系数，第一图像的多项输入数据的线性特征量以及从所述多项输入数据确定的非线性特征量被用作抽头中的元素，所述乘积和运算是对于分类装置所确定的每一类获得第二图像的像素值的乘积和运算。对于分类产生的每一类存储计算出的回归系数。

根据本发明的所述实施例，就可以更优地识别为之执行高质量图像形成处理的图像的特征量。

附图说明

图1是示出根据本发明一个实施例的学习设备的配置例子的框图；

图2示出用作抽头元素的像素的例子；

图3示出用于计算水平微分绝对值和垂直微分绝对值的滤波器的例子；

图4图示了计算水平微分值的例子；

图5是解释图1的标记单元的处理的直方图；

图6图示了以迭代方式进行的判别系数学习；

图7图示了以迭代方式进行的判别系数学习；

图8利用二叉树结构示出如图7所示的对输入图像进行分类的情形的例子；

图9是示出与图1的学习设备相对应的图像处理设备的配置例子的框图；

图10是解释由图1的学习设备执行的判别回归系数学习处理的例子的流程图；

图11是解释标记处理的例子的流程图；

图12是解释回归系数计算处理的例子的流程图；

图13是解释判别系数计算处理的例子的流程图；

图14是解释由图9的图像处理设备执行的判别回归预测处理的例子的流程图；

图15是解释判别处理的例子的流程图；

图16演示了使用根据本发明实施例的学习设备和图像处理设备进行的高质量图像形成处理的优点；

图17图示了用于现有技术的分类自适应处理的类抽头的例子；

图18演示了使用根据本发明实施例的学习设备和图像处理设备进行的高质量图像形成处理的优点；

图19演示了使用根据本发明实施例的学习设备和图像处理设备进行的高质量图像形成处理的优点；

图20演示了在使用添加有非线性特征量的抽头的情况下高质量图像形成处理的优点；以及

图21是显示个人计算机的配置例子的框图。

具体实施方式

下面参考附图来描述本发明的实施例。

图1是示出根据本发明一个实施例的学习设备10的配置例子的框图。

学习设备10被形成为用于高质量图像形成处理的学习设备，并且基于输入的学生图像和教师图像(或教师信号)的数据来生成用于高质量图像形成处理的系数。这里，高质量图像形成处理的例子包括：用于从含噪声图像生成去噪图像的处理，用于从有模糊的图像生成无模糊的图像的处理，用于从低分辨率图像生成高分辨率图像的处理，以及用于解决以上多个问题的处理。

学习设备10被形成为使用学生图像作为输入图像并且学习回归系数，该系数用于生成接近作为输出图像的教师图像的高质量图像。回归系数被设置为用于线性主表达式的系数，在该线性主表达式中，从与输入图像的关注像素相对应的多个像素的值获得的特征量被用作参数，并且在被形成为具有更高质量的图像中与关注像素相对应的像素的值被计算，但细节将在后面描述。对于每个类号学习得到回归参数，这将在后面描述。

此外，基于与输入图像的关注像素相对应的多个像素值以及从这些像素值获得的特征量，学习设备10将关注像素分类成多个类之一(即，分类到多个类之一中)。也就是说，学习设备10学习判别系数，该系数用于识别输入图像的每个关注像素属于高质量图像形成处理的哪一类。该判别系数被设置为与线性主表达式一起使用的系数，在该线性主表达式中，从与输入图像的关注像素相对应的多个像素的值获得的特征量被用作参数，但细节将在后面描述。

也就是说，利用学习设备10学习得到的判别系数重复地执行一个线性主表达式的计算，而识别出高质量图像形成处理的类，在该线性主表达式中将与输入图像的关注像素相对应的多个像素值以及从这些像素值获得的特征量作为参数。然后，利用与识别出的类相对应的回归系数来执行一个线性主表达式，计算出被形成为具有更高质量的图像的像素值，在该线性主表达式中对应于输入图像的关注像素的多个像素值以及从这些像素值获得的特征量被用作参数。

在学习设备10中，例如，无噪声图像被输入作为教师图像，向教师图像中加入噪声的图像被输入作为学生图像。

学生图像的数据被输送到回归系数学习装置21、回归预测单元23、判别系数学习装置25和判别预测单元27。

回归系数学***方法来学习用于预测教师图像中与关注像素相对应的像素值的回归预测计算表达式的系数。

如果教师图像的像素值被表示为t_i(i＝1，2，...N)并且预测值被表示为y_i(i＝1，2，...N)，则表达式(1)成立，其中N代表学生图像的像素和教师图像的像素的所有样本的数量。

t_i＝y_i+ε_i               …(1)

其中，ε_i(i＝1，2，...N)是误差项。

如果假定一个使用回归系数w的线性模型，那么可以利用学生图像的像素值x_ij(i＝1，2，...N，j＝1，2，...M)，用表达式(2)来表示预测值y_i。

$y_i=w_0+\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{w}_j{x}_{\mathrm{ij}}=w_0+w^T{x}_i---\left(2\right)$

其中x_i＝(x_i1，x_i2，…，x_iM)^T，w＝(w₁，w₂，…，w_M)^T。w^T代表用矩阵表达式来表示的w的转置矩阵。w₀是偏移参数并且是一个常数项。M的值对应于一个抽头的元素个数(下文中描述)。

在表达式(2)中，用作参数的x_i是一个向量，其中以学生图像的关注像素为中心的、预定位置处的像素值中的每一个是该向量的一个元素。此后，在表达式(2)中，用作参数的x_i将被称为抽头。

图2示出用作抽头元素的像素的例子。图2是一个二维图形，其中水平方向沿x轴绘制，垂直方向沿y轴绘制，一个抽头由在关注像素周围的25个像素(x_i1至x_i25)组成。在该情形中，关注像素是像素x_i13，像素x_i13的位置对应于根据表达式(2)预测的教师图像的像素的位置(相位)。

回归系数学习装置21学习表达式(2)的系数w和偏移参数w₀，并将它们存储在回归系数存储单元22中。

在前文中已经描述了利用关注像素周围25个像素(x_i1至x_i25)的值形成一个抽头的例子。在此情形中，利用从学生图像获得的线性特征量来形成抽头。

然而，通过使从学生图像获得的非线性特征量被包含在抽头中，有可能进一步提高预测的准确性。从学生图像获得的非线性特征量的例子包括在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值。

在表达式(3)中示出用于计算在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值的表达式的例子。

$\left|x_{\mathrm{ij}}^{\left(h\right)}\right|=\left|{\mathrm{Sobel}}_j^{\left(h\right)}\right\{x_i\left\}\right|---\left(3\right)$

$\left|x_{\mathrm{ij}}^{\left(v\right)}\right|=\left|{\mathrm{Sobel}}_j^{\left(v\right)}\right\{x_i\left\}\right|$

为了计算表达式(3)中的水平微分绝对值和垂直微分绝对值，使用Sobel算子。通过对x_ij表示的关注像素执行图3所示的滤波处理，确定水平微分绝对值和垂直微分绝对值。

图3是沿x轴绘制水平方向、沿y轴绘制垂直方向的二维图形，它示出了以关注像素周围的9个像素中的每一个为目标的滤波器。用圆圈表示的部分中所示的数值乘以在相应位置上的像素值。

图4图示了水平微分值的计算例子。在图4的例子中，显示了一个滤波处理的计算例子，在该滤波处理中以用x_i12表示的像素及其周围的9个像素的每一个为目标。在图4中，被赋予用圆圈表示的各个像素的数值(例如x_i12)直接代表像素值。

在要根据表达式(1)确定水平微分绝对值和垂直微分绝对值的情况下，将确定与以关注像素为中心的相应M个像素相对应的水平微分绝对值和垂直微分绝对值。例如，在图2所示的情况下，关注像素及周围的25个像素被包含在抽头中，由于M值等于25，所以对于一个关注像素要确定25个水平微分绝对值和25个垂直微分绝对值。

此外，从学生图像获得的非线性特征量的例子还包括关注像素周围的像素值中的最大值和最小值、以及水平微分绝对值的最大值和垂直微分绝对值的最大值。可以根据表达式(4)来确定关注像素周围的像素值中的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值。

$x_i^{\left(\max \right)}=\underset{1\≤j\≤L}{\max }{x}_{\mathrm{ij}}$

$x_i^{\left(\min \right)}=\underset{1\≤j\≤L}{\min }{x}_{\mathrm{ij}}---\left(4\right)$

${\left|x_i^{\left(h\right)}\right|}^{\left(\max \right)}=\underset{1\≤j\≤L}{\max }\left|x_{\mathrm{ij}}^{\left(h\right)}\right|$

${\left|x_i^{\left(v\right)}\right|}^{\left(\min \right)}=\underset{1\≤j\≤L}{\max }\left|x_{\mathrm{ij}}^{\left(v\right)}\right|$

其中L是周围像素值的数量，L≤M。

如上所述，通过使从学生图像获得的非线性特征量被包含在抽头中，有可能进一步提高预测的准确性。例如，在要基于输入的含噪图像预测无噪声图像的像素值的情况下，通过使从学生图像获得的非线性特征量被包含在抽头中，图像的S/N比可以从0.3提高至0.5dB(分贝)，但细节将在下面描述。

在使用最小平方法来学***方和。

$E=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(t_i-y_i)}^2=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ϵ}}_i^2---\left(5\right)$

然后，按以下方式来计算回归系数，利用该回归系数，表达式(5)的误差项的所有样本的平方和E最小化。

w＝(S^(xx))^-1S^(xt)            …(6)

表达式(6)中的S^(xx)和S^(xt)是一个矩阵和一个向量，学生图像和教师图像的方差和协方差分别是它们的元素，每个元素可以根据表达式(7)来确定。

$S_{\mathrm{jk}}^{\left(\mathrm{xx}\right)}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_{\mathrm{ij}}-{\stackrel{\‾}{x}}_j)(x_{\mathrm{ik}}-{\stackrel{\‾}{x}}_k)---\left(7\right)$

$S_j^{\left(\mathrm{xt}\right)}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(x_{\mathrm{ij}}-{\stackrel{\‾}{x}}_j)(t_i-\stackrel{\‾}{t})$

(j，k＝1，2，…，M)

x_j和t分别是学生图像和教师图像的均值，可以基于以下表达式(8)来表示。

${\stackrel{\‾}{x}}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{x}_{\mathrm{ij}}$ $\stackrel{\‾}{t}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{t}_i---\left(8\right)$

此外，可以利用表达式(6)按表达式(9)中所示来确定表达式(2)的偏移参数w₀。

w₀＝t-w^Tx          …(9)

对于表达式(2)中的常数项——偏移参数w₀，也有可能不被包含在其中。

按上述方式获得的系数w是一个向量，它的元素个数与上述的抽头的元素个数相同。由回归系数学习装置21获得的系数w是在预测通过回归预测而具有更高质量的图像的像素值的计算过程中所使用的系数，将被称为回归系数w。偏移参数w₀在广义上被认为是一种回归系数，视需要与回归系数w相关联地存储。

例如，如图2所示，在仅使用从学生图像获得的线性特征量来形成抽头的情况下，抽头的元素个数是25，回归系数w的向量的元素个数也是25。此外，如果基于表达式(3)获得的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值作为非线性特征量被添加到如图2所示从学生图像获得的线性特征量，若它被用作抽头，则抽头的元素个数是75(＝25+25+25)。因此，回归系数w的向量的元素个数是75。此外，如果基于表达式(4)获得的在关注像素周围的像素值的最大值和最小值、以及水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量被添加到线性特征量，若它被用作抽头，则抽头的元素个数是79(＝25+25+25+2+2)。这样，回归系数w的向量的元素个数是79。

回来参考图1，回归系数学习装置21获得的回归系数w被存储在回归系数存储单元22中。

回归预测单元23从构成学生图像的多个像素中设置一个预定的像素作为关注像素。然后，回归预测单元23获得：由关注像素及周围像素值(如前面参考图2所述)组成的抽头；由图2的关注像素及周围像素值、以及基于表达式(3)确定的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值组成的抽头；以及由图2的关注像素及周围像素的值、基于表达式(3)确定的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值、基于表达式(4)确定的在关注像素周围的像素值的最大值和最小值、以及水平微分绝对值的最大值和垂直微分绝对值的最大值组成的抽头。

回归预测单元23将抽头和回归系数w(视需要包括偏移参数w₀)代入表达式(2)中，并计算预测值y_i。

标记单元24比较回归预测单元23计算出的预测值y_i和作为教师图像的像素值的真实值t_i。例如，标记单元24将预测值y_i大于或等于真实值t_i的关注像素标记为判别类A，将预测值y_i小于真实值t_i的关注像素标记为判别类B。也就是说，基于回归预测单元23的计算结果，标记单元24将学生图像的每个像素分类成判别类A或判别类B。

图5是图示标记单元24的处理的直方图。图5的水平轴表示从预测值y_i减去真实值t_i得到的差值，垂直轴表示获得差值的相对样本频率(教师图像的像素和学生图像的像素的组合)。

如图5所示，回归预测单元23的计算结果是，从预测值y_i减去真实值t_i得到的差值变为0的样本频率最高。在差值为0的情况下，回归预测单元23已计算出准确的预测值(＝真实值)，并且已恰当地完成了高质量图像形成处理。也就是说，由于回归系数学习装置21已学习得到了回归系数w，所以基于表达式(2)计算出准确的预测值的概率较高。

然而，对于差值不等于0的样本，还没有实现准确的回归预测。在该情况下，我们认为还有学习更合适的回归系数w的空间。

在本发明的该实施例中，例如，认为如果将目标仅定在预测值y_i大于或等于真实值t_i的关注像素来学习回归系数w，那么对于这些关注像素可以学习得到更准确的回归系数w。另外，认为如果将目标仅定在预测值y_i小于真实值t_i的关注像素来学习回归系数w，那么对于这些关注像素可以学习得到更准确的回归系数w。为此，基于回归预测单元23的计算结果，标记单元24将学生图像的每个像素分类成判别类A或判别类B。

此后，判别系数学习装置25的处理允许学习用于预测计算的系数，以基于学生图像的像素值将每个像素分类成判别类A或判别类B。也就是说，在本发明的实施例中，即使真实值不清楚，也可以基于输入图像的像素值将每个像素分类成成判别类A或判别类B。

至此已经描述了标记单元24标记学生图像的每个像素。标记的单位满足以下条件：对于与真实值t_i(准确地说是教师图像的像素值)对应的学生图像的每个抽头(包含关注像素周围的像素值和非线性特征量的向量)，一个接一个地进行标记。

这里已描述了一个例子，其中预测值y_i大于或等于真实值t_i的关注像素以及预测值y_i小于真实值t_i的关注像素被判别和标记。可替代地，可以通过另一种方法来进行标记。例如，预测值y_i和真实值t_i间的微分绝对值变得小于预设阈值的关注像素可被标记为判别类A，预测值y_i和真实值t_i间的微分绝对值变得大于或等于预设阈值的关注像素可被标记为判别类B。此外，可以利用除此以外的方法将关注像素标记为判别类A或判别类B。下面将给出一个例子，其中预测值y_i大于或等于真实值t_i的关注像素以及预测值y_i小于真实值t_i的关注像素被判别和标记。

回来参考图1，判别系数学***方法基于学生图像的关注像素和周围像素的值来判断判别类A和判别类B。

在判别系数的学习过程中，假定根据表达式(10)确定用于基于学生图像的关注像素和周围像素的值来判断判别类A和判别类B的预测值y_i。

$y_i=z_0+\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{z}_j{x}_{\mathrm{ij}}=z_0+z^T{x}_i---\left(10\right)$

其中，x_i＝(x_i1，x_i2，…，x_iM)^T，z＝(z₁，z₂，…，z_M)^T。

z^t代表被表示为矩阵行列式的转置矩阵。z₀是偏移参数并且是一个常数项。M的值对应于抽头的元素个数。

与表达式(2)的情况类似，在表达式(10)中，用作参数的x_i将被称为抽头。学***微分绝对值和垂直微分绝对值构成的抽头；或者由图2的关注像素和周围像素的值、基于表达式(3)确定的关注像素周围的像素值的水平微分绝对值和垂直微分绝对值、基于表达式(4)确定的关注像素周围的像素值中的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值构成的抽头。

判别系数学习装置25学习表达式(10)的系数z和偏移参数z₀，并将它们存储在判别系数存储单元26中。

在利用最小平方法来学***方和。

z＝(S^(AB))^-1(x^(A)-x^(B))            …(11)

表达式(11)的S^(AB)是将基于表达式(12)确定的值作为元素的矩阵。

$S_{\mathrm{jk}}^{\left(\mathrm{AB}\right)}=\frac{(N_A-1)S_{\mathrm{jk}}^{\left(A\right)}+(N_B-1)S_{\mathrm{jk}}^{\left(B\right)}}{N_A+N_B-2}---\left(12\right)$

其中(j，k＝1，2，…，M)。

表达式(12)的N_A和N_B分别表示属于判别类A和判别类B的样本的总数。

此外，表达式(12)的S_A ^jk和S_B ^jk分别表示利用属于判别类A和判别类B的样本(抽头)确定的方差值和协方差值，并且基于表达式(13)来确定。

$S_{\mathrm{jk}}^{\left(A\right)}=\frac{1}{N_A-1}\underset{i\∈A}{\mathrm{\Σ}}(x_{\mathrm{ij}}^{\left(A\right)}-{\stackrel{\‾}{x}}_j^{\left(A\right)})(x_{\mathrm{ik}}^{\left(A\right)}-{\stackrel{\‾}{x}}_k^{\left(A\right)})---\left(13\right)$

$S_{\mathrm{jk}}^{\left(B\right)}=\frac{1}{N_B-1}\underset{i\∈B}{\mathrm{\Σ}}(x_{\mathrm{ij}}^{\left(B\right)}-{\stackrel{\‾}{x}}_j^{\left(B\right)})(x_{\mathrm{ik}}^{\left(B\right)}-{\stackrel{\‾}{x}}_k^{\left(B\right)})$

其中(j，k＝1，2，…，M)，并且x_j ^(A)和x_j ^(B)分别是利用属于判别类A和判别类B的样本确定的均值，并且可基于表达式(14)获得。

${\stackrel{\‾}{x}}_j^{\left(A\right)}=\frac{1}{N_A}\underset{i\∈A}{\mathrm{\Σ}}{x}_{\mathrm{ij}}^{\left(A\right)}---\left(14\right)$

${\stackrel{\‾}{x}}_j^{\left(B\right)}=\frac{1}{N_B}\underset{i\∈B}{\mathrm{\Σ}}{x}_{\mathrm{ij}}^{\left(B\right)}$

其中(j，k＝1，2，…，M)，

${\stackrel{\‾}{x}}^{\left(A\right)}=({\stackrel{\‾}{x}}_1^{\left(A\right)},{\stackrel{\‾}{x}}_2^{\left(A\right)},...,{\stackrel{\‾}{x}}_M^{\left(A\right)}),{\stackrel{\‾}{x}}^{\left(B\right)}=({\stackrel{\‾}{x}}_1^{\left(B\right)},{\stackrel{\‾}{x}}_2^{\left(B\right)},...,{\stackrel{\‾}{x}}_M^B)$

表达式(10)的偏移参数z₀可以利用表达式(11)、如表达式(15)所示来确定。

$z_0=-\frac{1}{2}{z}^T({\stackrel{\‾}{x}}^{\left(A\right)}+{\stackrel{\‾}{x}}^{\left(B\right)})---\left(15\right)$

也有可能不包含偏移参数z₀，即表达式(15)中的常数项。

按上述方式得到的系数z是与抽头具有相同元素个数的向量。由判别系数学习装置25获得的系数z是用于预测预定的关注像素属于判别类A还是判别类B的计算的系数，将被称为判别系数z。偏移参数z₀被认为是广义上的判别系数，并视需要与判别系数z相关联地进行存储。

例如，如图2所示，在抽头是由从学生图像获得的线性特征量构成的情况下，抽头的元素个数是25，判别系数z的向量的元素个数是25。此外，在除了如图2所示从学生图像获得的线性特征量外，还加入基于表达式(3)获得的、关注像素周围的像素值的水平微分绝对值和垂直微分绝对值作为非线性特征量，以此作为抽头的情况下，抽头的元素个数是75(＝25+25+25)。因此，判别系数z的向量的元素个数也是75。此外，在基于表达式(4)获得的关注像素周围的像素值中的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量被添加到线性特征量，以此作为抽头的情况下，抽头的元素个数是79(＝25+25+25+2+2)。这样，判别系数z的向量的元素个数也是79。

预测单元27使用按上述方式学习到的系数z来计算预测值，从而可以确定学生图像的关注像素属于判别类A和判别类B中的哪一个。判别预测单元27将抽头和判别系数z(在必要时包括偏移参数z₀)代入表达式(10)并计算预测值y_i。

然后，作为判别预测单元27的计算结果，预测值y_i大于或等于0的抽头的关注像素可被估计为属于判别类A的像素，预测值y_i小于0的抽头的关注像素可被估计为属于判别类B的像素。

然而，使用判别预测单元27的计算结果的估计不一定是真实的。也就是说，通过将抽头和判别系数z代入表达式(10)计算出的预测值y_i是从学生图像的像素值预测出的结果，而与教师图像的像素值(真实值)无关。结果，在实践中，存在属于判别类A的像素被估计为属于判别类B的像素、或者属于判别类B的像素被估计为属于判别类A的像素的情况。

因此，在本发明的该实施例中，通过使判别系数被反复地学习，就可以实现准确性更高的预测。

也就是说，基于判别预测单元27的预测结果，分类单元28将构成学生图像的每个像素划分成属于判别类A的像素和属于判别类B的像素。

然后，类似于上述情况，回归系数学习装置21通过将目标仅定为分类单元28确定属于判别类A的像素，来学习回归系数w，并将回归系数w存储在回归系数存储单元22中。类似于上述情况，回归预测单元23通过将目标仅定为分类单元28确定属于判别类A的像素，通过回归预测来计算预测值。

通过比较按上述方式获得的预测值和真实值，标记单元24进一步将分类单元28确定属于判别类A的像素标记为判别类A或判别类B。

此外，类似于上述情况，回归系数学习装置21通过将目标仅定为分类单元28确定属于判别类B的像素，来学习回归系数w。类似于上述情况，回归预测单元23通过将目标仅定为分类单元28确定属于判别类B的像素，通过回归预测来计算预测值。

通过按上述方式比较获得的预测值和真实值，标记单元24进一步将分类单元28确定属于判别类B的像素标记为判别类A或判别类B。

也就是说，学生图像的像素被划分成四组。第一组被设为被分类单元28确定属于判别类A且被标记单元24标记为判别类A的一组像素。第二组被设为被分类单元28确定属于判别类A且被标记单元24标记为判别类B的一组像素。第三组被设为被分类单元28确定属于判别类B且被标记单元24标记为判别类A的一组像素。第四组被设为被分类单元28确定属于判别类B且被标记单元24标记为判别类B的一组像素。

此后，基于上述四组中的第一组和第二组，判别系数学习装置25类似于上述情况地再次学习判别系数z。此时，例如，表达式(12)的N_A和N_B分别表示第一组的像素(样本)的总数和第二组的像素(样本)的总数。此外，基于四组中的第三组和第四组，判别系数学习装置25再次学习判别系数z。此时，例如，表达式(12)的N_A和N_B分别表示第三组的像素(样本)的总数和第四组的像素(样本)的总数。

图6和7是图示按迭代方式进行的学习判别系数的过程的示意图。

图6显示了一个代表学生图像的每个抽头的空间，在该空间中沿水平轴绘制抽头值1，沿垂直轴绘制抽头值2，这些抽头值是从学生图像获得的。也就是说，在图6中，为简化描述，假定抽头的元素个数等于2时存在于学生图像中的所有抽头被表示在一个二维空间中。因此，在图6中，假定抽头是由2个元素构成的向量。

图6中所示的圆圈71代表与标记单元24最初标记为判别类A的像素相对应的一组抽头。圆圈72代表与标记单元24最初标记为判别类B的像素相对应的一组抽头。在圆圈71中显示的符号73代表包含在圆圈71中的抽头的元素值的均值的位置。在圆圈72中显示的符号74代表包含在圆圈72中的抽头的元素值的均值的位置。

如图6所示，圆圈71和圆圈72相互重叠。因此，仅基于从学生图像获得的抽头的元素值，可能无法从与被标记为判别类B的像素相对应的抽头中准确地判别出与被标记为判别类A的像素相对应的抽头。

然而，基于符号73和74来识别出一个用于判别两类的边界线75还是大致可以的。这里，识别边界线75的过程对应于判别预测单元27的判别预测处理，在判别预测单元27中使用由判别系数学习装置25执行首次学习获得的判别系数z。位于边界线75中的抽头是基于表达式(10)计算出的预测值y_i变为0的抽头。

为了识别图中位于边界线75右侧的一组抽头，分类单元28将类码位1赋予对应于这些抽头的像素。此外，为了识别图中位于边界线75左侧的一组抽头，分类单元28将类码位0赋予对应于这些抽头的像素。

首次学习获得的判别系数z与代表用于判别预测的判别系数的代码相关联，并被存储在图1的判别系数存储单元26中。此外，仅基于经过首次判别预测而被赋予类码位1的像素，回归系数w被再次学习，并且执行回归预测。以类似的方式，根据首次判别预测的结果，仅基于被赋予类码位0的像素来再次学习回归系数w，并且执行回归预测。

然后，基于已被赋予类码位1的像素组和已被赋予类码位0的像素组，重复判别系数的学习过程。结果，已被赋予类码位1的像素组被进一步划分成两部分，已被赋予类码位0的像素组也被进一步划分成两部分。此时的划分是通过判别预测单元27使用由判别系数学习装置25执行第二次学习获得的判别系数z的判别预测而进行的。

第二次学习获得的判别系数z与代表用于第二次判别预测的判别系数的代码相关联，并被存储在图1的判别系数存储单元26中。第二次学习获得的判别系数z被用于通过将目标定为经过首次判别预测已被赋予类码位1的一组像素和经过首次判别预测已被赋予类码位0的一组像素而进行的判别预测。因此，判别系数z与代表哪一组像素被定为目标用于判别预测的代码相关联，并被存储在图1的判别系数存储单元26中。也就是说，用于第二次判别预测的两种类型的判别系数z都被存储。

此外，根据首次和第二次判别预测的结果，仅基于已被赋予类码位11的像素来再次学习回归系数w，并且执行回归预测。以类似的方式，根据首次和第二次判别预测的结果，仅基于已被赋予类码位10的像素来再次学习回归系数w，并且执行回归预测。此外，根据首次和第二次判别预测的结果，仅基于已被赋予类码位01的像素来再次学习回归系数w。然后，仅基于已被赋予类码位00的像素来再次学习回归系数w，并且执行回归预测。

通过重复上述处理，图6中所示的空间被划分成多个部分，如图7所示。

与图6类似，图7显示了学生图像的抽头，其中沿水平轴绘制抽头值1，沿垂直轴绘制抽头值2。图7显示了在判别系数学习装置25已按迭代方式学习判别系数三次的情况下的例子。也就是说，使用首次学习获得的判别系数z的判别预测允许识别出边界线75，使用第二次学习获得的判别系数z的判别预测允许识别出边界线76-1和76-2。使用第三次学习获得的判别系数z的判别预测允许识别出边界线77-1至77-4。

图1的分类单元28赋予第一位的类码位用于识别通过边界线75划分的抽头组，赋予第二位的类码位用于识别通过边界线76-1和76-2划分的抽头组，并且赋予第三位的类码位用于识别通过边界线77-1至77-4划分的抽头组。

因此，如图7所示，抽头被划分(分类)成8类，即类号C0至C7，这些类号基于三位类码来识别。

在如图7所示进行分类的情况下，用于首次判别预测的一类判别系数z被存储在图1的判别系数存储单元26中，用于第二次判别预测的两类判别系数z被存储在判别系数存储单元26中，用于第三次判别预测的四类判别系数z被存储在判别系数存储单元26中。

此外，在如图7所示进行分类的情况下，分别对应于类号C0至C7的8种类型的回归系数w被存储在图1的回归系数存储单元22中。这里，分别对应于类号C0至C7的8种类型的回归系数w使用在第三次判别预测后被分类到类号C0至C7每一个中的学生图像的关注像素的抽头以及对应于该关注像素的教师图像的像素值作为样本，并且对于每个类号再次进行回归系数的学习并进行存储。

如上所述，如果使用学生图像和教师图像预先学习得到判别系数z，并且以迭代的方式对输入图像重复进行判别预测，就可以将输入图像的像素分类成8个类，即类号C0至C7。然后，如果使用与被分类成8类的像素相对应的抽头以及对应于每一类的回归系数w来执行回归预测，就可以实现适当的高质量的图像形成处理。

图8图示了在使用二叉树结构对输入图像执行分类的情况下如图7所示的例子。输入图像的像素被分类成通过首次判别预测已被赋予第一位的类码位1或0的像素。假定此时用于判别预测的判别系数z已在图1的判别系数存储单元26中被存储为对应于迭代码1的判别系数z。

已被赋予第一位的类码位1的像素被进一步分类成被赋予第二位的类码位1或0的像素。假定此时用于判别预测的判别系数z已在图1的判别系数存储单元26中被存储为对应于迭代码21的判别系数z。以类似的方式，已被赋予第一位的类码位0的像素被进一步分类成被赋予第二位的类码位1或0的像素。假定此时用于判别预测的判别系数z已在图1的判别系数存储单元26被存储为对应于迭代码22的判别系数z。

已被赋予第一和第二位的类码位11的像素被进一步分类成被赋予第三位的类码位1或0的像素。假定此时用于判别预测的判别系数z已在图1的判别系数存储单元26被存储为对应于迭代码31的判别系数z。已被赋予第一和第二位的类码位10的像素被进一步分类成被赋予第三位的类码位1或0的像素。假定此时用于判别预测的判别系数z已在图1的判别系数存储单元26被存储为对应于迭代码32的判别系数z。

以类似的方式，已被赋予第一和第二位的类码位01或00的像素被进一步分类成被赋予第三位的类码位1或0的像素。然后，假定对应于迭代码33或34的判别系数z已被存储在图1的判别系数存储单元26。

如上所述，在以迭代方式执行三次判别后，给输入图像的每个像素都设置了由三位构成的类码，因而识别出类号。然后，与识别出的类号相对应的回归系数w也被识别。

在这个例子中，类码位按迭代次数降序从高阶位到低阶位连在一起形成的值对应于一个类号。因此，基于例如表达式(16)识别出与最终类码相对应的类号Ck。

k＝{011}₂＝3             …(16)

此外，如图8所示，根据表达式(17)来表示迭代次数p和最终类号Nc之间的关系。

N_c＝2^p                   …(17)

最终类号Nc等于最终使用的回归系数w的总数Nm。

判别系数z的总数Nd可按表达式(18)来表示。

N_d＝2^p-1                 …(18)

在使用图像处理设备(后面描述)的高质量图像形成处理中的判别预测中，通过自适应地减少迭代次数，就可以实现处理的鲁棒性和提速。在这种情况下，由于在图8的每个分支中使用的回归系数都变为必要，所以回归系数的总数按表达式(19)来表示。

N_m＝2^p+1-1               …(19)

这里已经描述了一个例子，其中，主要地，以迭代的方式执行三次判别系数的学习，但是迭代的次数可以为1次。即，在完成第一判别系数的学习后，判别系数学习装置25的判别系数计算和判别预测单元27的判别预测可以不再重复进行。

图9是示出根据本发明该实施例的图像处理设备的配置例子的示意图。图9的图像处理设备100被形成为与图1的学习设备10相对应的图像处理设备。也就是说，图像处理设备100利用学习设备10学习得到的判别系数来确定输入图像的每个像素的类。然后，图像处理设备100利用学习设备10学习得到的判别系数执行从输入图像得到的抽头的回归预测计算，所述判别系数是与所确定的类相对应的回归系数，并且图像处理设备100执行图像处理以使输入图像具有更高质量。

也就是说，存储在学习设备10的判别系数存储单元26中的判别系数z被预先存储在图像处理设备100的判别系数存储单元122中。存储在学习设备10的回归系数存储单元22中的回归系数被预先存储在图像处理设备100的回归系数存储单元124中。

图9的判别预测单元121在输入图像中设定关注像素，获得与该关注像素相对应的抽头，并且参照表达式(10)来执行预测计算。此时，判别预测单元121基于迭代次数和为之执行判别预测的像素组来识别迭代码，并且从判别系数存储单元122中读取与迭代码相对应的判别系数z。

基于判别预测单元121的预测结果，分类单元123赋予关注像素一个类码位，从而将输入图像的像素划分成两组。此时，如上所述，例如，基于例如表达式(10)计算出的预测值y_i与0进行比较，并且类码位被赋予关注像素。

经过分类单元123的处理后，判别预测单元121以迭代的方式执行判别预测，并且由分类单元123执行进一步的划分。判别预测以迭代的方式被执行预设的次数。例如，在按照例如图7或8所述的方式执行三次迭代的判别预测的情况下，输入图像被分类成与3位类码的类号相对应的一组像素。

图像处理设备100中的判别预测的迭代次数被设置为与学习设备10学习判别系数的迭代次数相同。

分类单元123将用于识别输入图像的每个像素的信息输送到回归系数存储单元124中，使得该信息与像素的类号相关联。

回归预测单元125在输入图像中设置关注像素，获得与该关注像素相对应的抽头，并且参照表达式(2)执行预测计算。此时，回归预测单元125将用于识别关注像素的信息输送到回归系数存储单元124，并且从回归系数存储单元124中读取与关注像素的类号相对应的回归系数w。

然后，生成输出图像，在该输出图像中，回归预测单元125计算得到的预测值被设置为与关注像素相对应的像素值。结果，得到了使输入图像具有更高质量的输出图像。

如上所述，根据本发明的该实施例，通过对输入图像执行判别预测，就可以将构成输入图像的像素(实际上是与关注像素相对应的抽头)分类成适于高质量图像形成处理的类。

在相关技术中，由于执行的是使用例如1位ADRC仅基于输入图像的局部特征量的硬编码分类，所以就链接输入图像和教师图像的回归系数而言它不一定是有效的分类。

与之相比，在本发明的该实施例中，可以自动地学习到适于高质量图像形成处理的适当的分类方法，例如用于从含噪图像生成去噪图像的处理、用于从有模糊的图像生成无模糊图像的处理、以及用于从低分辨率图像生成高分辨率图像的处理。

此外，在本发明的该实施例中，通过以迭代方式执行判别预测，可以更适当地进行分类。此外，在以迭代方式执行判别预测的处理过程中间，不必生成对输入图像的像素值执行处理产生的中间数据等，从而可以加速处理。也就是说，在预测输出图像的情况下，对于任意像素利用最多(p+1)次运算(表达式(2))就可以完成分类和回归预测，从而使高速处理成为可能。此外，当要执行分类和回归预测时，不使用抽头运算的中间数据，总是仅对输入进行计算就可完成分类和回归预测。因此，在具体实施中可以使用流水线结构。

接下来将参考图10的流程图来描述判别系数回归系数学习处理的细节。该处理由图1的学习设备10来执行。

在步骤S101中，判别系数学习装置25识别迭代码。由于这是首次学习的处理，所以迭代码被识别为1。

在步骤S102中，回归系数学习装置21、回归系数存储单元22、回归预测单元23和标记单元24执行后面参照图11描述的标记处理。后面将参照图11的流程图来描述图10的步骤S102中的标记处理的详细例子。

在步骤S131中，回归系数学习装置21执行后面参照图12描述的回归系数学习处理。结果，基于学生图像的像素值来预测教师图像的像素值的运算所用的回归系数w被确定。

在步骤S132中，回归预测单元23利用步骤S131的处理所确定的回归系数w来计算回归预测值。此时，例如，执行表达式(2)的运算，确定出预测值y_i。

在步骤S133中，标记单元24将步骤S132的处理所获得的预测值y_i与真实值t_i进行比较，真实值t_i是教师图像的像素值。

在步骤S134中，基于在步骤S133中的比较结果，标记单元24将关注像素(实际上是与关注像素相对应的抽头)标记为判别类A或判别类B。结果，例如，如前面参照图5所述，完成了判别类A或判别类B的标记。

通过将要处理的每个像素定为目标来执行步骤S132至S134的处理，要处理的像素是按照对应于迭代码的方式来确定的。

按照上述方式就完成了标记处理。

下面将参照图12的流程图来描述图11的步骤S131中的回归系数计算处理的详细例子。

在步骤S151中，回归系数学习装置21识别与在步骤S101的处理中识别出的迭代码相对应的样本。此时的样本代表了与学生图像的关注像素相对应的抽头和教师图像中与该关注像素相对应的像素的组合。例如，如果迭代码是1，则这表示首次学习处理的一部分，因此，通过将学生图像的所有像素中的每一个设为关注像素来识别样本。例如，如果迭代码是21，则这表示第二次学习处理的一部分。因此，通过将学生图像的像素当中在首次学习处理中已被赋予类码位1的每个像素设为关注像素来识别样本。例如，如果迭代码是34，则这表示第三次学习处理的一部分。因此，通过将学生图像的像素当中在首次学习处理中已被赋予类码位0且在第二次学习处理中已被赋予类码位0的每个像素设为关注像素来识别样本。

在步骤S152中，回归系数学习装置21汇总(add up)在步骤S151的处理中识别出的样本。此时，例如，样本的抽头和教师图像的像素值被汇总到表达式(1)中。

在步骤S153中，回归系数学习装置21判断是否所有的样本都已被加进来。步骤S152的处理重复执行，直到确定所有的样本都已被加进来。

在步骤S154中，回归系数学习装置21通过表达式(6)-(9)的运算来计算回归系数w。

按照上述方式就完成了回归系数计算处理。

结果，图10的步骤S102的标记处理完成。处理接着前进到图10的步骤S103的判别系数计算处理。

在步骤S103中，判别系数学习装置25执行判别系数计算处理，这将在后面参照图13来描述。后面将参照图13的流程图来描述图10的步骤S103中的判别系数计算处理的详细例子。

在步骤S171中，判别系数学习装置25识别与在步骤S101的处理中识别出的迭代码相对应的样本。此时的样本代表了与学生图像的关注像素相对应的抽头以及该关注像素被标记为判别类A还是判别类B的标记结果的组合。例如，如果迭代码为1，由于这表示首次学习处理，所以通过将学生图像的所有像素中的每一个设为关注像素来识别样本。例如，如果迭代码是21，由于这表示第二次学习处理的一部分，所以通过将学生图像的像素当中在首次学习处理中已被赋予类码位1的每个像素设为关注像素来识别样本。例如，如果迭代码是34，由于这表示第三次学习处理的一部分，所以通过将学生图像的像素当中在首次学习处理中已被赋予类码位0且在第二次学习处理中已被赋予类码位0的每个像素设为关注像素来识别样本。

在步骤S172中，判别系数学习装置25汇总在步骤S171的处理中识别出的样本。此时，例如，样本的抽头和基于标记为判别类A还是判别类B的结果的数值被汇总到表达式(11)中。

在步骤S173中，判别系数学习装置25判断是否所有的样本都已被加进来。步骤S172的处理重复执行，直到确定所有的样本都已被加进来。

在步骤S174中，判别系数学习装置25利用表达式(12)至(15)的运算导出判别系数z。

按照上述方式就完成了判别系数计算处理。

回头参考图10，在步骤S104中，回归预测单元23利用步骤S103的处理所确定的系数z和从学生图像获得的抽头来计算判别预测值。此时，例如，执行表达式(10)的运算，确定预测值(判别预测值)y_i。

在步骤S105中，分类单元28判断步骤S104的处理所确定的判别预测值是否大于或等于0。

当在步骤S105中判断判别预测值大于或等于0时，处理前进到步骤S106，类码位1被设置给关注像素(实际上为抽头)。另一方面，当在步骤S105中判断判别预测值小于0时，处理前进到步骤S107，类码位0被设置给关注像素(实际上为抽头)。

通过将要处理的每个像素定为目标来执行步骤S104至S107的处理，要处理的像素是按照对应于迭代码的方式来确定的。

在步骤S106或S107的处理后，处理前进到步骤S108，此时判别系数存储单元26将在步骤S103的处理中所确定的判别系数z存储起来，与在步骤S101中识别的迭代码相关联。

在步骤S109中，学习设备10判断迭代是否已结束。例如，在已经预设要执行三次迭代来进行学习的情况下，判定迭代尚未结束。处理然后返回到步骤S101。

接着，在步骤S101中，再次识别迭代码。由于该情况是第二次学习的第一项处理，所以迭代码被识别为21。

然后，以类似的方式，执行步骤S102至S108的处理。此时，如上所述，在步骤S102的处理以及步骤S103的处理中，通过将学生图像的像素当中在首次学习的处理中已被赋予类码位1的每个像素设为关注像素，来识别样本。

然后，在步骤S109中判断迭代是否已结束。

按照上述方式，重复执行步骤S101至S108的处理，直到在步骤S109中判定迭代已结束。在要执行三次迭代来进行学习的情况下，在步骤S101中迭代码被识别为34。此后，执行步骤S102至S108的处理，并且在步骤S109中判定迭代已结束。

按照这种方式，如前面参考图8所述，重复执行步骤S101至S109的处理的结果就是，七种类型的判别系数z与迭代码相关联地被存储在判别系数存储单元26中。

当在步骤S109中判定迭代已结束时，处理前进到步骤S110。

在步骤S110中，回归系数学习装置21执行回归系数学习处理。由于该处理与前面参考图12的流程图所描述的相同，所以省略详细的描述。在该情况下，在步骤S151中，对应于迭代码的样本不被识别，但对应于每个类号的样本被识别。

也就是说，如前面参考图8所述，重复执行步骤S101至S109的处理就是，学生图像的每个像素被分类成类号C0至C7之一。因此，通过将学生图像中类号为C0的每个像素设为关注像素来识别样本，并且计算出第一回归系数w。此外，通过将学生图像中类号为C1的像素设为关注像素来识别样本，并且计算出第二回归系数w；通过将学生图像中类号为C2的像素设为关注像素来识别样本，并且计算出第三回归系数w；......通过将学生图像中类号为C7的像素设为关注像素来识别样本，并且计算出第八回归系数w。

也就是说，在步骤S110的回归系数计算处理中，确定出分别对应于类号C0至C7的八种类型的回归系数w。

在步骤S111中，回归系数存储单元22将步骤S110的处理所确定的八种类型的回归系数w中的每一个与类号相关联地存储起来。

按照上述方式就完成了判别回归系数学习处理。

这里已描述了一个例子，其中主要地通过执行三次迭代来进行判别系数的学习，但是迭代次数可以为1。即，在完成判别系数的首次学习后，可以不再重复进行判别系数学习装置25的判别系数z的计算或者判别预测单元27的判别预测。

接下来将参考图14的流程图来描述判别回归预测处理的例子。该处理由图9的图像处理设备100来执行。此外，可认为在执行该处理之前，存储在判别系数存储单元26中的七种类型的判别系数z以及存储在回归系数存储单元22中的八种类型的回归系数w通过图10的判别回归系数学习处理被分别存储在图像处理设备100的判别系数存储单元122和回归系数存储单元124中。

在步骤S191中，判别预测单元121识别迭代码。由于该情况是首次判别处理，所以迭代码被识别为1。

在步骤S192中，判别预测单元121执行判别处理，这将随后参考图15来描述。下面将参考图15的流程图来描述图14的步骤S192中的判别处理的详细例子。

在步骤S211中，判别预测单元121设置对应于迭代码的关注像素。例如，如果迭代码为1，那么由于该情况是首次判别处理，所以输入图像的全部像素中的每一个都被设为关注像素。例如，如果迭代码为21，那么由于这表示第二次判别处理的一部分，所以输入图像的像素当中在首次判别处理中已被赋予类码位1的每个像素被设为关注像素。例如，如果迭代码为34，这表示第三次判别处理的一部分，在首次判别处理中已被赋予类码位0且在第二次判别处理中已被赋予类码位0的每个像素被设为关注像素。

在步骤S212中，判别预测单元121获得与在步骤S211中设置的关注像素相对应的抽头。

在步骤S213中，判别预测单元121识别与在步骤S211的处理中所识别的迭代码相对应的判别系数z，并且从判别系数存储单元122中读取判别系数z。

在步骤S214中，判别预测单元121计算判别预测值。此时，例如，执行上述表达式(10)的运算。

在步骤S215中，基于在步骤S214的处理中计算出的判别预测值，分类单元123设置(赋予)类码位给关注像素。此时，如上所述，例如，基于表达式(10)计算出的预测值y_i的值与0进行比较，将类码位赋予关注像素。

通过将要处理的每个像素定为目标来执行步骤S211至S215的处理，以对应于迭代码的方式来确定定为目标的像素。

按照上述方式就完成了判别处理。

重新参考图14，在步骤S192的处理之后，在步骤S193中，判别预测单元121判断迭代是否结束。例如，在已经预设要执行三次迭代来进行学习的情况下，判定迭代尚未结束，处理接着返回到步骤S191。

此后，在步骤S191中，迭代码被识别为21，并且类似地执行步骤S192的处理。此时，如上所述，在步骤S192的处理中，输入图像的像素当中在首次识别处理中已被赋予迭代码1的每个像素被设为关注像素。

然后，在步骤S193中，判断迭代是否已结束。

如上所述，重复执行步骤S191至S193的处理，直到在步骤S193中判定迭代已结束为止。在已经预设要执行三次迭代来完成学习的情况下，在步骤S191中，迭代码被识别为34。此后，执行步骤S192的处理，并且在步骤S193中判定迭代已结束。

当在步骤S193中判定迭代已结束时，处理前进到步骤S194。到此为止的处理结果是，如前面参考图7或8所述，输入图像已被分类成与3位类码的类号相对应的一组像素。此外，如上所述，分类单元123将用于识别输入图像的每个像素的信息提供给回归系数存储单元124，像素的类号与该信息相关联。

在步骤S194中，回归预测单元125设置输入图像中的关注像素。

在步骤S196中，回归预测单元125将用于识别在步骤S194中设置的关注像素的信息提供给回归系数存储单元124，识别与关注像素的类号相对应的回归系数w，并且从回归系数存储单元124中读取它。

在步骤S197中，回归预测单元125利用在步骤S195中获得的抽头和在步骤S196中识别和读取的回归系数w来执行表达式(2)的运算，从而计算出回归预测值。

通过将输入图像的每个像素定为目标来执行步骤S191至S197的处理。

然后，生成输出图像，在该输出图像中通过回归预测单元125的计算获得的预测值是与关注像素相对应的像素的值。结果，获得了使输入图像具有更高质量的输出图像。

按照上述方式完成了判别预测处理。结果就可以更有效率地、更快速地执行高质量图像形成处理。

图16图示了利用根据本发明实施例的学***轴绘制判别系数的学习以及判别预测的迭代次数，沿垂直轴绘制S/N比。图16示出通过使根据本发明的实施例的图像处理设备100或者现有技术的图像处理设备对添加有噪声的输入图像执行图像处理所获得的图像的特性。在图16中用三角符号绘出的点表示根据本发明实施例的图像处理设备100执行图像处理所获得的图像的特性。用菱形符号绘出的点表示现有技术的图像处理设备执行图像处理所获得的图像的特性。

这里，现有技术的图像处理设备所执行的图像处理是通过利用图17中所示的类抽头执行的分类自适应处理实现的图像处理。也就是说，现有技术的图像处理设备所执行的图像处理是这样的：对于输入图像，在图17中用阴影圆圈表示的像素被设为关注像素，基于9个(3×3＝9)像素的像素值的1位ADRC码被计算，并且对于每个1位ADRC码执行分类。采用分类自适应处理的现有技术的图像处理例如已在日本未审查专利申请公开No.7-79418中详细公开。

在获得图17中所示的类抽头并且执行现有技术的基于分类自适应处理的图像处理的情况下，输入图像的每个像素被分类到512(＝2⁹)个类之一中。在根据本发明实施例的学习设备10中，在通过执行九次迭代来进行判别系数学习的情况下，输入图像的每个像素都被分类到512个类之一中。结果，在图17中，已由现有技术的图像处理设备执行图像处理的图像的特性值被写在与根据本发明实施例的图像处理设备100所执行的图像处理的九次迭代相对应的位置处。实际上，现有技术的图像处理设备执行的图像处理的迭代次数只是1(在现有技术的采用分类自适应处理的图像处理中，不是从刚开始就进行迭代)。

此外，在根据本发明的实施例的图像处理设备100中，图2中所示的线性特征量加上基于表达式(3)获得的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值以及基于表达式(4)获得的关注像素周围的像素值的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量后被设为抽头。在根据本发明的实施例的图像处理设备100中，在迭代次数p的值被设为9的情况下，基于表达式(20)来表示判别系数z的类型数Nd和回归系数w的类型数Nm。

N_d＝2^p-1＝511

                            …(20)

N_m＝2^p＝512

在图16中，含有正态随机数噪声(σ＝10.0)的输入图像分别受到根据本发明实施例的图像处理设备100和现有技术的图像处理设备的高质量图像形成处理。为了估算图16的S/N比值，使用表达式(21)。

$S/N\left[\mathrm{dB}\right]=20{\log }_{10}[255\×{(\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(t_i-y_i)}^2/N)}^{-\frac{1}{2}}]---\left(21\right)$

如图16所示，与现有技术的方法相比，关于已执行本发明的图像处理的图像的特性，S/N比值提高了大约1dB。

图18也图示了使用根据本发明实施例的学习设备10和图像处理设备100的高质量图像形成处理的优点。

与图16的情况类似，在图18中，沿水平轴绘制判别系数的学习和判别预测的迭代次数，沿垂直轴绘制S/N比。图18示出由根据本发明实施例的图像处理设备100或者现有技术的图像处理设备对添加有噪声的输入图像执行图像处理所获得的图像的特性。在图18中使用三角符号绘制的点表示由根据本发明实施例的图像处理设备100执行图像处理所获得的图像的特性。在图18中使用菱形符号绘制的点表示由现有技术的图像处理设备执行图像处理所获得的图像的特性。

这里，现有技术的图像处理设备的图像处理与参照图17所描述的情况相同。此外，在根据本发明实施例的图像处理设备100中，与图16的情况相同的元素被用作抽头。

在图18中，含有等分布形式的空间模糊恶化(σ＝1.5)的输入图像分别受到根据本发明实施例的图像处理设备100以及现有技术的图像处理设备的高质量图像形成处理。为了估算图18中的S/N比值，使用表达式(21)。

如图18所示，与现有技术的方法相比，关于已执行本发明的图像处理的图像的特性，S/N比值提高大约0.5dB。

图19也图示了使用根据本发明实施例的学习设备10和图像处理设备100的高质量图像形成处理的优点。

与图16的情况类似，在图19中，沿水平轴绘制判别系数的学习和判别预测的迭代次数，沿垂直轴绘制S/N比。图19示出由根据本发明实施例的图像处理设备100或者现有技术的图像处理设备对添加有噪声的输入图像执行图像处理所获得的图像的特性。在图19中使用三角符号绘制的点表示由根据本发明实施例的图像处理设备100执行图像处理所获得的图像的特性。在图19中使用菱形符号绘制的点表示由现有技术的图像处理设备执行图像处理所获得的图像的特性。

这里，现有技术的图像处理设备的图像处理与参照图17所描述的情况相同。此外，在根据本发明实施例的图像处理设备100中，与图16的情况相同的元素被用作抽头。

在图19中，在空间方面在水平/垂直方向上缩小至1/3尺寸并且带恶化的输入图像受到根据本发明实施例的图像处理设备100以及现有技术的图像处理设备的高质量图像形成处理(在此情况下是用于增大图像的处理)。即，图19的例子示出缩小变换恶化的图像被放大变换(3×3倍)。为了估算图19中的S/N比值，使用表达式(21)。

如图19所示，与现有技术的方法相比，关于已执行本发明的图像处理的图像的特性，S/N比值提高大约0.2dB。

如图16、18和19所示，根据本发明的实施例，就可以比现有技术更有效地执行高质量图像形成处理。

也就是说，根据本发明的实施例，在含有正态随机数噪声(σ＝10.0)的输入图像的情况、含有等分布形式的空间模糊恶化(σ＝1.5)的输入图像的情况、缩小变换且恶化的输入图像的情况当中的任一情况下，都可以比现有技术的方法更好地实现高质量图像形成处理。此外，除了图16、18和19所示的例子外，还可以将本发明应用于与使图像具有更高质量有关的各种应用程序。例如，本发明可被应用于与去噪、去编码失真、去模糊、分辨率建立、灰度建立、去马赛克、IP转换等有关的高质量图像形成处理的应用程序等。

此外，根据本发明的实施例，即使在有多种图像恶化原因的情况下也可以适当地执行高质量图像形成处理，例如去噪、去编码失真、去模糊......例如，本发明可适当地将高质量图像形成处理应用于含有噪声、编码失真和模糊的图像的情况。此外，在本发明的实施例中，即使在图像存在上述方式的多种恶化原因的情况下，也可以在不增加元素个数以及判别系数z和回归系数w的类型数的情况下适当地执行高质量图像形成处理。

在本发明的实施例中，如上所述，图2中所示的线性特征量加上基于表达式(3)获得的关注像素周围的像素值的水平微分绝对值和垂直微分绝对值以及基于表达式(4)获得的关注像素周围的像素值的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量后被用作抽头。下面将参考图20来描述在使用添加有非线性特征量的抽头的情况下高质量图像形成处理的优点。

图20也示出了使用根据本发明实施例的学习设备10和图像处理设备100的高质量图像形成处理的优点。

与图16的情况类似，在图20中，沿水平轴绘制判别系数的学习和判别预测的迭代次数，沿垂直轴绘制S/N比。图20示出由根据本发明实施例的图像处理设备100和现有技术的图像处理设备对添加有噪声的输入图像执行图像处理所获得的图像的特性。在图20中使用三角符号绘制的点表示由根据本发明实施例的图像处理设备100执行图像处理所获得的图像的特性。在图20中使用矩形(菱形)符号绘制的点表示由现有技术的图像处理设备执行图像处理所获得的图像的特性。

这里，现有技术的图像处理设备的图像处理与前面参照图17所描述的情况相同。此外，在根据本发明实施例的图像处理设备100中，与图16的情况相同的元素被用作抽头。

在图20中，含有正态随机数噪声(σ＝10.0)的输入图像受到根据本发明实施例的图像处理设备100和现有技术的图像处理设备的高质量图像形成处理。为了估算图20的S/N比值，使用表达式(21)。图20中的虚线表示根据本发明实施例的图像处理设备100仅仅使用从图2所示的学生图像获得的线性特征量来执行高质量图像形成处理所获得的图像的特性。此外，图20的实线表示根据本发明实施例的图像处理设备100使用以下抽头来执行高质量图像形成处理所获得的图像的特性，上述抽头是这样得到的：基于表达式(3)获得的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值以及基于表达式(4)获得的关注像素周围的像素值的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量被添加到从图2所示的学生图像获得的线性特征量。

如图20所示，与使用仅有线性特征量的抽头的情形相比，关于使用添加有非线性特征量的抽头来执行高质量图像形成处理的图像的特性，S/N比值提高大约0.5dB。

此外，图20中使用菱形绘制的点表示现有技术的图像处理设备使用仅有图17中所示的线性特征量的抽头来执行高质量图像形成处理所获得的图像的特性。此外，图20中使用矩形绘制的点表示现有技术的图像处理设备使用以下抽头来执行高质量图像形成处理所获得的图像的特性，上述抽头是这样得到的：基于表达式(3)获得的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值以及基于表达式(4)获得的关注像素周围的像素值的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量被添加到图17中所示的线性特征量。

如图20所示，同样，在现有技术的方法中，与使用仅有线性特征量的抽头的情形相比，关于使用添加有非线性特征量的抽头来执行高质量图像形成处理的图像的特性，S/N比值提高大约0.4dB。

在使用添加有非线性特征量的抽头的高质量图像形成处理被应用于现有技术的分类自适应处理的情况下，例如，执行以下处理。

在输入图像中，对于类抽头，按照与使用仅有线性特征量的抽头的情形相同的方式来获得图17中所示的抽头。因此，计算出基于9个元素的1位ADRC(自适应动态范围编码)码，针对每个计算出的1位ADRC码来分类关注像素。

此外，对于预测抽头，使用被添加了基于表达式(3)获得的在关注像素周围的像素值的水平微分绝对值和垂直微分绝对值以及基于表达式(4)获得的关注像素周围的像素值的最大值和最小值、水平微分绝对值的最大值和垂直微分绝对值的最大值作为非线性特征量的、从图2中所示的学生图像获得的线性特征量。通过将回归系数w乘以抽头的每个元素，按照表达式(2)来计算用于执行上述回归计算的预测值。然后生成输出图像，在该输出图像中，获得的预测值就是与关注像素相对应的像素的值。结果，获得了使输入图像具有更高质量的输出图像。关于输出图像的特性，如上所述，与使用仅有线性特征量的抽头的情形相比，S/N比值提高。

上述各系列的处理操作可以用硬件、也可以用软件来实现。在用软件实现上述各系列的处理操作的情况下，构成软件的程序从网络或记录介质被安装到含在专用硬件中的计算机，或者被安装到例如图21所示的通用个人计算机700，该通用个人计算机700能够通过安装各种程序来执行各种功能。

在图21中，CPU(中央处理单元)701根据存储在ROM(只读存储器)702中的程序或者根据从存储单元708加载到RAM(随机访问存储器)703的程序来执行各种处理操作。另外，CPU 701执行各种处理操作所需的数据等被适当地存储在RAM 703中。

CPU 701、ROM 702和RAM 703通过总线704彼此互连。此外，输入/输出接口705也连接到总线704。

输入单元706、输出单元707、存储单元708和通信单元709被连接到输入/输出接口705。输入单元706包括键盘、鼠标等。输出单元707包括由CRT(阴极射线管)或LCD(液晶显示器)构成的显示单元、扬声器等。存储单元708包括硬盘。通信单元709包括调制解调器、诸如LAN卡一类的网络接口卡等。通信单元709通过包括因特网在内的网络来执行通信处理。

此外，驱动器710视需要连接到输入/输出接口705。可移动介质711被适当地载入驱动器710中，可移动介质711例如为磁盘、光盘、磁光盘或半导体存储器。从驱动器710读取的计算机程序视需要被安装到存储单元708中。

在用软件执行上述各系列的处理操作的情况下，从诸如因特网的网络或者从由可移动介质711构成的记录介质来安装构成软件的程序。

记录介质可以由记录有程序的可移动介质711构成，该可移动介质711由磁盘(包括软盘)(注册商标)、光盘(包括CD-ROM(紧密盘-只读存储器)、DVD(数字通用盘)或磁光盘(包括MD(迷你盘)(注册商标)))或者半导体存储器制成，该记录介质与图21所示的设备的主要部分相分离地被分发(销售)以向用户提供程序。此外，记录介质可以由记录有程序的ROM 702和包含在存储单元708中的硬盘构成，它们通过预先装到设备的主要部分中而被提供给用户。

在本申请文件中，上述各系列的处理操作可以包括按撰写顺序依次执行的处理操作，也可以包括同时执行或不按时间顺序而是单独执行的处理操作。

本发明包含与2008年9月29日递交给日本特性厅的日本在先专利申请JP 2008-250229有关的主题，该在先申请的全部内容以引用的方式被包含在本文中。

本领域的技术人员应当理解：根据设计需要和其它因素可以作出各种修改、合并、子合并和替换，只要它们落入所附权利要求及其等同物的范围内即可。

Claims (12)

1.一种图像处理设备，包括：

存储装置，在该存储装置中基于抽头对于每一类存储回归系数数据，与第一图像数据的关注像素相对应的线性特征量和从该图像数据确定的非线性特征量被用作所述抽头中的元素；

分类装置，用于将输入的第一图像的多项输入数据的每个线性特征量分类成预定的类；

读装置，用于从所述存储装置中读取与所述分类装置确定的类相对应的回归系数数据；和

数据生成装置，用于生成通过使第一图像具有更高质量而获得的第二图像的数据，其中通过使用从所述读装置读取的回归系数数据以及输入的第一图像的多项输入数据中的每项数据的抽头的元素来执行乘积和运算处理，而使第一图像具有更高质量。

2.根据权利要求1所述的图像处理设备，其中所述非线性特征量是所述关注像素周围的像素位置处的水平微分绝对值和垂直微分绝对值。

3.根据权利要求1所述的图像处理设备，其中所述非线性特征量是所述关注像素周围的像素的最大值和最小值。

4.根据权利要求1所述的图像处理设备，其中所述非线性特征量是所述关注像素周围的像素位置处的水平微分绝对值和垂直微分绝对值的最大值。

5.根据权利要求1所述的图像处理设备，还包括：

判别预测装置，用于执行判别预测计算，该判别预测计算通过与第一图像数据的关注像素相对应的每个线性特征量与预先存储的判别系数之间的乘积和运算，来获得用于识别所述关注像素所属的判别类的判别预测值，

其中，基于该判别预测值，所述分类装置将第一图像信号的每个关注像素分类成预定的类。

6.一种系数学习设备，包括：

分类装置，用于将与通过改变第二图像的质量而获得的第一图像的多项输入数据中的关注像素相对应的每个线性特征量分类成预定的类；

回归系数计算装置，用于计算在使用回归系数和抽头的乘积和运算中所用的回归系数，第一图像的多项输入数据的线性特征量以及从所述多项输入数据确定的非线性特征量被用作所述抽头中的元素，所述乘积和运算是对于所述分类装置确定的每一类获得第二图像的像素值的乘积和运算；和

存储装置，对于分类产生的每一类存储计算出的回归系数。

7.根据权利要求6所述的系数学***微分绝对值和垂直微分绝对值。

8.根据权利要求6所述的系数学习设备，其中所述非线性特征量是所述关注像素周围的像素的最大值和最小值。

9.根据权利要求6所述的系数学***微分绝对值和垂直微分绝对值的最大值。

10.根据权利要求6所述的系数学习设备，还包括：

判别预测装置，用于执行判别预测计算，该判别预测计算通过与第一图像数据的关注像素相对应的每个线性特征量与预先存储的判别系数之间的乘积和运算，来获得用于识别所述关注像素所属的判别类的判别预测值，

其中，所述分类装置基于该判别预测值将第一图像信号的每个关注像素分类成预定的类。

11.一种图像处理设备，包括：

存储单元，在该存储单元中基于抽头对于每一类存储回归系数数据，与第一图像数据的关注像素相对应的线性特征量和从该图像数据确定的非线性特征量被用作所述抽头中的元素；

分类单元，被配置为将输入的第一图像的多项输入数据的每个线性特征量分类成预定的类；

读单元，被配置为从所述存储单元中读取与所述分类单元确定的类相对应的回归系数数据；和

数据生成单元，被配置为生成通过使第一图像具有更高质量而获得的第二图像的数据，其中通过使用从所述读单元读取的回归系数数据以及输入的第一图像的多项输入数据中的每项数据的抽头的元素来执行乘积和运算处理，而使第一图像具有更高质量。

12.一种系数学习设备，包括：

分类单元，被配置为将与通过改变第二图像的质量而获得的第一图像的多项输入数据中的关注像素相对应的每个线性特征量分类成预定的类；

回归系数计算单元，被配置为计算在使用回归系数和抽头的乘积和运算中所用的回归系数，第一图像的多项输入数据的线性特征量以及从所述多项输入数据确定的非线性特征量被用作所述抽头中的元素，所述乘积和运算是对于所述分类单元确定的每一类获得第二图像的像素值的乘积和运算；和

存储单元，被配置为对于分类产生的每一类存储计算出的回归系数。

Images