CN104079801A - 图像处理设备、图像处理方法及程序 - Google Patents

Abstract

本发明提供一种能够防止图像质量下降的图像处理设备、图像处理方法及程序，所述图像处理设备包括：预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换第一图像而获得的第二图像中获取作为目标的目标像素的像素值；分类单元，其根据预定规则将目标像素分类为多个类别中的任意类别；抽头系数输出单元，其输出目标像素的类别的抽头系数；运算单元，其执行预测运算来获取目标像素的像素值；以及动态范围检测单元，其检测动态范围信息，其中，预测抽头选择单元基于动态范围信息改变抽头的数量，抽头的数量是作为预测抽头的像素的数量。

Description

图像处理设备、图像处理方法及程序

技术领域

本发明涉及一种图像处理设备、图像处理方法及程序，尤其涉及一种能够防止图像质量下降的图像处理设备、图像处理方法及程序。

背景技术

作为改善图像的锐度（sharpness）的锐度改善处理，存在分类适应处理或高频强调处理。

例如，通过使用由学习而获取的多个抽头系数(tap coefficient)和输入图像的多个像素的像素值的运算，将输入图像转换为具有高图像质量的输出图像（例如，参见日本未审查专利申请公开No.2000-308079和日本未审查专利申请公开No.2000-341705）。

在分类适应处理中，抽头系数中包括负值，由于这种负抽头系数的存在，所以通过强调输入图像的高频，能够获得具有锐度的输出图像。

然而，在输入图像的像素值发生急剧变化的情况下，由于负抽头系数的影响，输出图像上发生圆圈，从而出现图像质量的下降，例如，在输出图像的高亮度部分周围出现如黑渊状痕迹。

发明内容

本发明提供用于防止图像质量的下降。

根据本发明的一个实施例，提供了一种图像处理设备或一种用于将计算机用作图像处理设备的程序，所述图像处理设备包括：预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；分类单元，其根据预定规则将所述目标像素分类为多个类别中的任意类别；抽头系数输出单元，其从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；运算单元，其通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及动态范围检测单元，其检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，其中，所述预测抽头选择单元基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

根据本发明的实施例，提供了一种图像处理方法，其包括：从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；根据预定规则将所述目标像素分类为多个类别中的任意类别；从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，其中，在选择所述像素时，基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

在本发明中，从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值，并且根据预定规则将所述目标像素分类为多个类别中的任意类别。从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数，并且通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值。在这种情况下，检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，并且，基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

所述图像处理设备可为独立的设备，也可以是构成一个设备的内部模块。

程序可通过传输介质进行传输或通过在记录介质上进行记录而提供。

根据本发明，可以防止图像质量的下降。

附图说明

图1是图示了图像转换装置的配置示例的框图，该图像转换装置执行作为分类适应处理的图像转换处理；

图2是图示了由图像转换装置执行的图像转换处理的流程图；

图3是图示了学习装置的配置示例的框图；

图4是图示了学习单元的配置示例的框图；

图5A～5D是图示了作为分类适应处理的图像转换处理的示例的示意图，该分类适应处理利用了通过学习而获得的抽头系数；

图6是图示了学习装置的处理（学习处理）的流程图；

图7是图示了应用本发明的数码相机的一个实施例的配置示例的框图；

图8是图示了图像转换装置的配置示例的框图，该图像转换装置执行由信号处理单元执行的锐度改善处理；

图9是图示了动态范围检测单元的配置示例的框图；

图10是图示了动态范围检测单元的另一配置示例的框图；

图11A和11B是图示了由抽头选择单元选择的预测抽头的配置示例的示意图；

图12A和12B是图示了由抽头选择单元选择的类别抽头的配置示例的示意图；

图13是图示了分类单元的配置示例的框图；

图14A和14B是图示了由ADRC处理单元执行的ADRC的示例的示意图；

图15是图示了由图像转换装置执行的图像转换处理的示例的流程图；

图16是图示了学习装置的配置示例的框图，该学习装置进行学习以获取待储存在系数输出单元中的抽头系数；

图17是图示了学习单元的配置示例的框图；

图18是图示了学习装置的处理（学习处理）的流程图；

图19是图示了模拟结果的示意图；

图20是图示了图像转换装置的另一配置的框图，该图像转换装置执行由信号处理单元执行的锐度改善处理；

图21A和21B是图示了输入图像的示例的示意图，该输入图像是由图像转换装置执行的图像转换处理的目标；

图22是图示了通过代表值计算单元计算G代表值、R代表值和B代表值的方法的示例的示意图；

图23A和23B是图示了由抽头选择单元选择的预测抽头（用于G的预测抽头）的配置示例的示意图；

图24A和24B是图示了由抽头选择单元选择的类别抽头（用于G的类别抽头）的配置示例的示意图；

图25A和25B是图示了由抽头选择单元选择的预测抽头（用于R的预测抽头）的配置示例的示意图；

图26A和26B是图示了由抽头选择单元选择的类别抽头（用于R的类别抽头）的配置示例的示意图；

图27A和27B是图示了由抽头选择单元选择的预测抽头（用于B的预测抽头）的配置示例的示意图；

图28A和28B是图示了由抽头选择单元选择的类别抽头（用于B的类别抽头）的配置示例的示意图；

图29是图示了分类单元的配置示例的框图；

图30是图示了由图像转换装置执行的图像转换处理的示例的流程图；

图31是图示了学习装置的配置示例的框图，该学习装置进行学习以获取待储存在系数输出单元中的抽头系数；

图32是图示了学习单元的配置示例的框图；

图33是图示了学习装置的处理（学习处理）的流程图；以及

图34是图示了应用本发明的计算机的一个实施例的配置示例的框图。

具体实施方式

在下文中将对本发明的实施例进行描述，首先将对分类适应处理进行描述。

分类适应处理

分类适应处理是一种将第一图像（图像信号）转换为第二图像（图像信号）的图像转换处理，因此是一种取决于第一图像和第二图像的定义的各种信号处理。

即，如果第一图像设定为具有低空间分辨率的图像且第二图像设定为具有高空间分辨率的图像，那么图像转换处理可为改善空间分辨率的空间分辨率创建（改善）处理。

例如，如果第一图像设定为具有低S/N（信号/噪音）比的图像且第二图像设定为具有高S/N的图像，那么图像转换处理可为去除噪音的噪音去除处理。

例如，如果第一图像设定为具有预定数量的像素（大小）的图像且第二图像设定为比第一图像的像素具有更多或更少像素的图像，那么图像转换处理可为重调（扩大或减小）图像大小的大小重调处理。

例如，如果第一图像设定为具有低时间分辨率的图像且第二图像设定为具有高时间分辨率的图像，那么图像转换处理可为改善时间分辨率的时间分辨率创建（改善）处理。

例如，如果第一图像设定为通过对编码为活动图像专家组（MPEG）编码的块单元的图像进行解码而获得的解码图像，且第二图像设定为编码前的图像，那么图像转换处理可为去除各种失真（比如，由于MPEG编码和解码而生成的块失真）的失真去除处理。

在空间分辨率创建处理中，当将作为具有低空间分辨率的图像的第一图像转换为作为具有高空间分辨率的图像的第二图像时，第二图像可被转换为与第一图像具有相同像素数量的图像，也可被转换为比第一图像具有更多像素数量的图像。在将第二图像转换为比第一图像具有更多像素数量的图像的情况下，空间分辨率创建处理是用于改善空间分辨率的处理，也是用于扩大图像大小（像素数量）的大小重调处理。

如上所述，根据分类适应处理，可基于第一图像和第二图像的定义来实现各种信号处理。

在这种分类适应处理中，目标像素（的像素值）通过如下运算来获取，所述运算使用通过将来自第二图像的作为目标的目标像素（的像素值）分类为多个类别中的任何类别而获得的类别的抽头系数、以及使用相对于目标像素选择的第一图像的像素（的像素值）。

图1是示出了图像转换装置的配置示例的框图，该图像转换装置执行作为分类适应处理的图像转换处理。

在图像转换装置1中，将提供给图像转换装置1的图像作为第一图像提供给抽头选择单元12和13。

目标像素选择单元11依次将构成第二图像的像素设定为目标像素，并且将表示了目标像素的信息提供到必要的模块。

抽头选择单元12选择用于预测目标像素（的像素值）的构成第一图像的一些像素（的像素值）作为预测抽头。

具体地，抽头选择单元12选择在空间和时间上接近目标像素的时间和空间位置的第一图像的多个像素作为预测抽头。

抽头选择单元13选择用于执行分类以将目标像素分类为几个类别中的任意类别的构成第一图像的一些像素作为类别抽头。即，抽头选择单元13选择类别抽头的方式与抽头选择单元12选择预测抽头的方式相同。

预测抽头和类别抽头的结构可为相同的抽头结构，也可为互不相同的抽头结构。

将抽头选择单元12获得的预测抽头提供给预测运算单元16，将抽头选择单元13获得的类别抽头提供给分类单元14。

分类单元14根据预定规则基于来自抽头选择单元13的类别抽头对目标像素进行分类，并且将由此获得的对应于目标像素的类别的类别代码提供给系数输出单元15。

在这里，作为执行分类的方法，例如可使用将（像素的）像素值量化为类别抽头的适应动态范围编码（ADRC）。

在使用ADRC的方法中，对构成类别抽头的像素（的像素值）进行量化，并且基于由此获得的ADRC代码确定目标像素的类别。

即，在L位ADRC中，例如，对构成类别抽头的像素的像素值的最大值MAX和最小值MIN进行检测，DR=MAX-MIN设定为构成类别抽头的像素的集合的局部动态范围，基于该动态范围DR将构成类别抽头的各个像素的像素值量化为L位。具体地，从构成类别抽头的各个像素的像素值中减去最小值MIN，并将减后的值通过DR/2^L进行除法运算（量化）。

通过以预定的顺序对构成以上述方式获得的类别抽头的各个像素的L位像素值进行排列而获得的位串（bit string）作为ADRC代码输出。

于是，在对类别抽头进行1位ADRC处理的情况下，例如，将构成其类别抽头的各个像素的像素值除以最大值MAX和最小值MIN的平均值（小数点以下舍去），并且于是将各个像素的像素值设定为1位（二值化）。将通过以预定的顺序对1位像素值进行排列而获得的位串作为ADRC代码输出。在仅以ADRC进行分类的情况下，ADRC代码例如设定为类别代码。

在分类单元14中，例如，构成类别抽头的像素的像素值的等级分布模式可作为类别代码原样地输出。然而，在这种情况下，当类别抽头由N个像素的像素值构成且向各个像素的像素值均分配了A位时，分类单元14输出的类别代码的情形的数量为(2^N)^A，该数量是与像素的像素值的位数A成指数比的大数量。

于是，在分类单元14中，优选地通过上述ADRC或矢量量化来压缩类别抽头的信息量来执行分类。

系数输出单元15对通过下述的学习而获得的各个类别的抽头系数进行储存，并从其中所储存的抽头系数中输出储存在与分类单元14提供的类别代码相对应的地址中的抽头系数（由来自分类单元14的类别代码所表示的类别的抽头系数）。将抽头系数提供给预测运算单元16。

这里，抽头系数对应于数字滤波器的系数，该系数将乘以所谓抽头中的输入数据。

预测运算单元16获取由抽头选择单元12输出的预测抽头和由系数输出单元15输出的抽头系数，并利用预测抽头和抽头系数执行预定的预测运算以获取目标像素的像素值（的真值）的预测值。于是，预测运算单元16获取并输出目标像素的像素值（的预测值）、即构成第二图像的像素的像素值。

图2是示出了由图1的图像转换装置执行的图像转换处理的流程图。

在步骤S11中，目标像素选择单元11从相对于输入到图像转换装置1的第一图像用于构成第二图像的像素中，选择还不是目标像素的一个像素作为目标像素，该处理进行到步骤S12。即，在目标像素选择单元11中，例如，以光栅扫描顺序从构成第二图像的像素中选择一个还不是目标像素的像素作为目标像素。

在步骤S12中，抽头选择单元12和13分别从提供给它们的第一图像中选择关于目标像素的作为预测抽头和类别抽头的像素。预测抽头从抽头选择单元12提供给预测运算单元16，类别抽头从抽头选择单元13提供给分类单元14。

分类单元14从抽头选择单元13接收用于目标像素的类别抽头，并且在步骤S13中，基于该类别抽头对目标像素进行分类。此外，分类单元14将类别抽头（其表示了分类得到的目标像素的类别）输出到系数输出单元15，该处理进行到步骤S14。

在步骤S14中，系数输出单元15获取并输出储存在与分类单元14提供的类别代码相对应的地址处的抽头系数。此外，在步骤S14中，预测运算单元16获取由系数输出单元15输出的抽头系数，该处理进行到步骤S15。

在步骤S15中，预测运算单元16利用抽头选择单元12输出的预测抽头和从系数输出单元15获取的抽头系数来执行预定的预测运算。于是，预测运算单元16获取并输出目标像素的像素值，该处理进行到步骤S16。

在步骤S16中，目标像素选择单元11判断是否存在具有还不是目标像素的像素的第二图像。在步骤S16中，在确定了存在具有还不是目标像素的像素的第二图像的情况下，该处理返回至步骤S11，随后的处理以与上述相同的方式进行。

在步骤S16中，在确定了不存在具有还不是目标像素的像素的第二图像的情况下，该处理结束。

接下来将对图1所示预测运算单元16的预测运算以及储存在系数输出单元15中的抽头系数的学习进行描述。

在这里，例如，通过将具有高图像质量的图像（高质量图像）设定为第二图像，将具有低图像质量的图像（低质量图像）设定为第一图像，所述具有低图像质量的图像是通过使用低通滤波器（LPF）对高质量图像进行滤波以降低其图像质量（分辨率）而获取的，可从低质量图像中选择预测抽头，并且利用预测抽头和抽头系数可通过预定的预测运算来获取高质量图像的像素（高质量像素）的像素值。

如果使用例如线性一次预测运算作为预定的预测运算，那么高质量像素的像素值y通过如下线性一次方程获取。

$y=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_n...\left(1\right)$

这里，在方程（1）中，x_n表示构成高质量像素y的预测抽头的低质量图像的第n个像素（下文恰当地称为低质量像素）的像素值，w_n表示与第n个低质量像素x_n（的像素值）相乘的第n个抽头系数。在方程（1）中，预测抽头由N个低质量像素x₁、x₂、......、x_N构成。

这里，除了通过方程（1）所示的线性一次方程之外，高质量像素的像素值y也可通过二次或更高次方程获取。

如果y_k表示第k个样本的第k个高质量像素的像素值的真值，且y_k'表示通过方程（1）获取的真值y_k的预测值，那么预测值y_k'相对于真值y_k的预测误差e_k则由如下方程表示。

e_k＝y_k-y_k…(2)

这里，由于方程（2）的预测值y_k'是基于方程（1）而获取的，所以当基于方程（1）而替换方程（2）的y_k'时，获得如下方程。

$e_k=y_k-\left(\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_n{x}_{n,k}\right)...\left(3\right)$

这里，在方程（3）中，x_n,k表示第n个低质量像素，该第n个低质量像素构成用于第k样本的高质量像素y_k的预测抽头。

用于将方程（3）（或方程（2））的预测误差e_k设为0的抽头系数w_n是用于预测高质量像素y_k的最佳抽头系数，但是通常很难获取可以用于所有高质量像素y_k的这种抽头系数w_n。

如果使用例如最小二乘法（least-squares method）作为表示抽头系数w_n为最佳值的示例，那么最佳抽头系数w_n可通过使平方误差的总和E最小化来获取，该平方误差的总和由如下方程表示。

$E=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e_k}^2...\left(4\right)$

在这里，在方程（4）中，k表示一组高质量像素y_k和低质量像素x_1,k、x_2,k、......、x_N,k的样本的数量（用于学习的样本的数量），该低质量像素x_1,k、x_2,k、......、x_N,k构成用于高质量像素y_k的预测抽头。

如方程（5）所示，方程（4）的平方误差的总和E的最小值（极小值）通过w_n获取，其中，总和E通过抽头系数w_n进行偏微分的结果为0。

$\frac{\∂E}{\∂w_n}=e_1\frac{\∂e_1}{\∂w_n}+e_2\frac{\∂e_2}{\∂w_n}+...+e_k\frac{\∂e_k}{\∂w_n}=0,(n=\mathrm{1,2}...,N)...\left(5\right)$

在这里，如果上述方程（3）由抽头系数w_n进行偏微分，那么可获得如下方程。

$\frac{\∂e_k}{\∂w_1}=-x_{1,k},\frac{\∂e_k}{\∂w_2}=-x_{2,k},...,\frac{\∂e_k}{\∂w_N}=-x_{N,k},(k=\mathrm{1,2},...,K)...\left(6\right)$

从方程（5）和（6）获得如下方程。

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{1,k}=0,\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{2,k}=0,...\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{e}_k{x}_{N,k}=0...\left(7\right)$

通过将方程（3）代入方程（7）的e_k，方程（7）可由方程（8）所示的标准方程（normal equation）表示。

在方程（8）的标准方程中，抽头系数w_n可通过利用例如清除法（Gauss-Jordan消去法）来解算。

通过为各个类别建立并解算方程（8）的标准方程，可获取各个类别的最佳抽头系数w_n（这里是具有最小化的平方误差的总和E的抽头系数）。

图3是示出了学习装置的的配置示例的框图，该学习装置执行学习以通过建立和解算方程（8）的标准方程来获取抽头系数w_n。

在学习装置21中，学习图像储存单元31对用于学习抽头系数w_n的学习图像进行存储。在这里，例如，可使用具有高分辨率的高质量图像作为学习图像。

教师数据生成单元32从学习图像储存单元31读出学习图像。此外，教师数据生成单元32从学习图像生成用于学习抽头系数的教师（真值），即生成作为通过方程（1）进行的预测运算的映射的映射目的地的像素值的教师数据（教师图像），并将该数据提供给教师数据储存单元33。例如，教师数据生成单元32可将作为学习图像的高质量图像原样地提供给教师数据储存单元33作为教师数据。

教师数据储存单元33存储作为教师数据生成单元32所提供的教师数据的高质量图像。

学生数据生成单元34从学习图像储存单元31读出学习图像。此外，学生数据生成单元34从学习图像生成用于学习抽头系数的学生，即生成作为通过方程（1）进行的预测运算的映射的转换目标的像素值的学生数据（学生图像），并将该数据提供给学生数据储存单元35。在这里，学生数据生成单元34通过对作为学习图像的高质量图像进行过滤以降低其分辨率来生成低质量图像，并将该低质量图像作为学生数据提供给学生数据储存单元35。

学生数据储存单元35对学生数据生成单元34提供的学生数据进行储存。

学习单元36顺序地将构成高质量图像（该高质量图像作为教师数据储存在教师数据储存单元33中）的像素设定为目标像素，并从构成低质量图像（该低质量图像作为学生数据储存在学生数据储存单元35中）的低质量像素中选择抽头结构与图1中抽头选择单元12所选的抽头结构相同的低质量像素作为用于目标像素的预测抽头。进一步地，利用构成教师数据的各个像素以及当将该像素设定为目标像素时所选的预测抽头，学习单元36通过为各个类别建立并解算方程（8）的标准方程来获取各个类别的抽头系数。

图4是示出了图3的学习单元36的配置示例的框图。

目标像素选择单元41顺序地选择构成教师数据储存单元33中储存的教师数据的像素作为目标像素，并将表示目标像素的信息提供给必要的模块。

抽头选择单元42从构成低质量图像（该低质量图像作为学生数据储存在学生储存单元35中）的低质量像素中，选择与图1所示抽头选择单元12选择的相同像素作为目标像素的预测抽头，并且于是获取与抽头选择单元12获取的抽头结构具有相同抽头结构的预测抽头，以将该预测抽头提供给加算单元45。

抽头选择单元43从构成低质量图像（该低质量图像作为学生数据储存在学生储存单元35中）的低质量像素中，选择与图1所示抽头选择单元13选择的相同像素作为目标像素的类别抽头，并且于是获取与抽头选择单元13获取的抽头结构具有相同抽头结构的分类抽头，以将该分类抽头提供给分类单元44。

分类单元44基于抽头选择单元43输出的类别抽头执行与图1中分类单元14执行的分类操作相同的分类操作，并将与获得的类别相对应的类别代码输出给加算单元45。

加算单元45从教师数据储存单元33读出作为目标像素的教师数据（像素），并且对于由分类单元44提供的各个类别代码，对其目标像素和构成由抽头选择单元42提供的用于目标像素的预测抽头的学生数据（像素）进行加算。

即，将储存在教师数据储存单元33中的教师数据y_k、抽头选择单元42输出的预测抽头x_n,k以及分类单元44输出的类别代码均提供给加算单元45。

对于与分类单元44提供的类别代码相对应的各个类别，加算单元45利用预测抽头（学生数据）x_n,k，执行方程（8）左侧矩阵中与学生数据项彼此相乘（x_n,kx_n',k）以及求和（∑）相对应的运算。

此外，对于与分类单元44提供的类别代码相对应的各个类别，加算单元45还利用预测抽头（学生数据）x_n,k和教师数据y_k，执行与方程（8）右侧矢量中的学生数据x_n,k和教师数据y_k的相乘（x_n,ky_k）以及求和（∑）相对应的运算。

即，加算单元45将之前获取的用于设定为目标像素的教师数据的位于方程（8）左侧矩阵中的元素（∑x_n,kx_n',k）和位于方程（8）右侧矢量中的元素（∑x_n,ky_k）储存在其嵌入式存储器（未示出）中，并且相对于其矩阵中的元素（∑x_n,kx_n',k）或其矢量中的元素（∑x_n,ky_k），关于新设定为目标像素的教师数据，加算通过使用教师数据y_k+1和学生数据x_n,k+1计算得出的相应元素x_n,k+1x_n',k+1或x_n,k+1y_k+1（执行由方程（8）中的求和表示的计算）。

加算单元45通过将储存在教师数据储存单元33（图3）中的所有教师数据项设定为目标像素来执行上面描述的加算，以便为各个类别建立方程（8）所示的标准方程，然后将该标准方程提供给抽头系数计算单元46。

通过解算由加算单元45提供的各个类别的标准方程，抽头系数计算单元46获取并输出各个类别的最佳抽头系数w_n。

通过上述方式获得的各个类别的抽头系数w_n储存在图1所示图像转换装置1的系数输出单元15中。

在这里，学生数据与第一图像相对应，教师数据与第二图像相对应。作为抽头系数，根据作为与第一图像相对应的学生数据的图像和作为与第二图像相对应的教师数据的图像的选择方法，可以获得用于执行上述多种图像转换处理的抽头系数。

图5A～5D是示出了作为分类适应处理的图像转换处理的示例，该分类适应处理利用了通过学习而获得的抽头系数。

如上所述，通过将高质量图像设定为与第二图像相对应的教师数据、并将通过使高质量图像的空间分辨率下降而获得的低质量图像设定为与第一图像相对应的学生数据而执行抽头系数的学习，作为抽头系数，如图5A所示，可获得用于执行图像转换处理的抽头系数，该图像转换处理是将作为低质量图像（标准分辨率（SD）图像）的第一图像转换为具有改善的空间分辨率的作为高质量图像（高分辨率（HD）图像）的第二图像的空间分辨率创建处理。

在这种情况下，第一图像（学生数据）可比第二图像（教师数据）具有相同的或更少的像素数量。

例如，通过将高质量图像设定为教师数据、并将通过对作为教师数据的高质量图像叠加噪音而获得的图像设定为学生数据而执行抽头系数的学习，作为抽头系数，如图5B所述，可获得用于执行图像转换处理的抽头系数，该图像转换处理是将作为低S/N图像的第一图像转换为作为通过去除（减少）其中包含的噪音而获得的高S/N图像的第二图像的噪音去除处理。

例如，通过将某个图像设定为教师数据、并将通过减少该图像的像素数量而获得的图像设定为学生数据而执行抽头数据的学习，作为抽头系数，如图5C所示，可获得用于执行图像转换处理的抽头系数，该图像转换处理是将作为该图像的一部分的第一图像转换为作为通过放大第一图像而获得的放大图像的第二图像的放大处理（大小重置处理）。

用于执行放大处理的抽头系数也可通过执行抽头系数的学习来获得，抽头系数的学习是通过将高质量图像设定为教师数据并将通过使高质量图像的空间分辨率下降和使其像素数量减少而获得的低质量图像设定为学生数据而执行的。

例如，通过将具有高帧速率的图像设定为教师数据、并将通过使作为教师数据的具有高帧速率的图像的帧减少而获得的图像设定为学生数据而执行抽头系数的学习，作为抽头系数，如图5D所述，可获得用于执行图像转换处理的抽头系数，该图像转换处理是将具有预定帧速率的第一图像转换为具有高帧速率的第二图像的时间分辨率创建处理。

图6是示出了图3所示学习装置21的处理（学习处理）的流程图。

首先，在步骤S21中，教师数据生成单元32和学生数据生成单元34从储存在学习图像储存单元31中的学习图像中生成教师数据和学生数据，并将这些数据项分别提供给教师数据储存单元33和学生数据储存单元35，以分别储存在教师数据储存单元33和学生数据储存单元35中。

在教师数据生成单元32和学生数据生成单元34中学生数据和教师数据各自的生成取决于在作为上述图像转换处理的多种分类适应处理中执行的抽头系数的学习。

在这之后，该处理进行到步骤S22。在学习单元36（图4）中，目标像素选择单元41从储存在教师数据储存单元33中的教师数据中选择还未被设为目标像素的像素作为目标像素，接着该处理进行到步骤S23。在步骤S23中，关于目标像素，抽头选择单元42从储存在学生数据储存单元35中的学生数据中选择作为预测抽头的学生数据的像素，并将该像素提供给加算单元45，并且关于目标像素，抽头选择单元43以相同的方式从储存在学生数据储存单元35中的学生数据中选择作为类别抽头的学生数据，并将该学生数据提供给分类单元44。

接着，该处理进行到步骤S24。分类单元44基于用于目标像素的类别抽头执行目标像素的分类，并将与由此获得的类别相对应的类别代码输出至加算单元45，接着该处理进行到步骤S25。

在步骤S25中，加算单元45从教师数据储存单元33读出目标像素，并且对于分类单元44提供的各个类别代码，将其目标像素和构成由抽头选择单元42所提供的选择用于目标像素的预测抽头的学生数据作为对象来执行方程（8）的加算，该处理进行到步骤S26。

在步骤S26中，目标像素选择单元41判断还没有被设定为目标像素的教师数据是否储存在教师数据储存单元33中。在步骤S26中确定了还没有被设定为目标像素的教师数据储存在教师数据储存的单元33中的情况下，该处理返回至步骤S22，随后的步骤以与上述步骤相同的方式重复。

在步骤S26中确定了还没有被设定为目标像素的教师数据没有储存在教师数据储存单元33中的情况下，加算单元45将由步骤S22～S26的各种处理而获得的用于各个类别的方程（8）左侧上的矩阵及其右侧上的矢量提供给抽头系数计算单元46，该处理进行到步骤S27。

在步骤S27中，通过解算由加算单元45提供的各个类别的方程（8）的左侧上的矩阵及其右侧上的矢量构成的各个类别的标准方程，抽头系数计算单元46获取并输出用于各个类别的抽头系数w_n，该处理结束。

由于学习图像的数量不足，所以可能会生成一种没有获得用于获取抽头系数的必要数量的标准方程的类别，但是对于这种类别，抽头系数计算单元46可例如输出缺省的抽头系数。

应用本发明的数码相机的实施例

图7是示出了应用本发明的数码相机的一个实施例的配置示例的框图。

数码相机可拍摄静止图像和运动图像。

在图7中，数码相机包括光学***51、图像传感器52、存储器53、信号处理单元54、输出单元55和控制单元56。

光学***51例如包括变焦镜头、聚焦镜头和光圈（未示出），并从外面向图像传感器52发射光。

图像传感器52例如是互补金属氧化物半导体（CMOS）图像传感器，其从光学***51接受入射光并执行光电转换以将图像数据输出为与来自光学***51的入射光相对应的电信号。

存储器53暂时储存图像传感器52输出的图像数据。

信号处理单元54使用储存在存储器53中的图像数据执行作为信号处理的图像处理，例如执行去马赛克处理、噪音去除处理和锐度改善处理，并将数据提供给输出单元55。

输出单元55输出来自信号处理单元54的图像数据。

换言之，输出单元55包括例如配置有液晶等的显示器（未示出），并将与来自信号处理单元54的图像数据相对应的图像显示为所谓的直通图像（through image）。

输出单元55还包括例如用于驱动半导体存储器或磁盘或光盘（未示出）的驱动器，并将来自信号处理单元54的图像数据记录在记录介质上。

控制单元56基于用户的操作对构成数码相机的各个模块进行控制。

在如上配置的数码相机中，图像传感器52从光学***51接收入射光，并基于入射光输出图像数据。

将图像传感器52输出的图像数据提供至并记录在存储器53中。信号处理单元54对储存在存储器53中的图像数据执行信号处理，接着将由此获得的图像数据提供并输出至输出单元55。

在信号处理单元54中执行锐度改善处理的图像转换装置的配置示例

图8是示出了图像转换装置的配置示例的框图，该图像转换装置执行由图7所示信号处理单元54执行的锐度改善处理。

图7所示的信号处理单元54包括嵌入其中的图像转换装置60，锐度改善处理在该图像转换装置60中执行。

在图8所示的图像转换装置60中，与图1所示图像转换装置1相对应的部件用相同的附图标记表示，下文中将适当地省略对其的描述。

与图1所示的图像转换装置相同，图8所示的图像转换装置60包括目标像素选择单元11和预测运算单元16。然而，图像转换装置60与图1所示图像转换装置1的不同之处在于：新设置了动态范围检测单元61，且设置了抽头选择单元62和63、分类单元64和系数输出单元65来代替抽头选择单元12和13、分类单元14和系数输出单元15。

在图8中，图像转换装置60利用分类适应处理来执行将输入图像转换为具有改善锐度的图像的图像转换处理，该图像转换处理作为对输入至图像转换装置60中的输入图像进行的锐度改善处理。

例如，当将图像转换装置60输出的图像设定为输出图像时，在图像转换装置60中，通过改善输入图像的锐度和改善空间分辨率而获得的输出图像例如由该图像转换处理获取。

在图8中，在图像转换装置60中，将储存在存储器53中的图像（数据）作为输入图像（第一图像）提供。将提供给图像转换装置60的输入图像提供给动态范围检测单元61，并提供给抽头选择单元62和63。

例如，在这里，提供给图像转换装置60的输入图像具有作为像素值的亮度（值）。

动态范围检测单元61检测表示了在目标像素选择单元11中从输出图像（第二图像）的像素中选出的对应于目标像素的输入图像的位置处的局部动态范围的动态范围信息，并将该动态范围信息提供给抽头选择单元62和63以及分类单元64。

抽头选择单元62从用于目标像素的输入图像中选择设为预测抽头的像素（的像素值），并将该像素提供给预测运算单元16。

换言之，抽头选择单元62例如以与图1中抽头选择单元12相同的方式选择输入图像的多个像素作为预测抽头，该输入图像的多个像素位于在空间上和时间上均接近目标像素的位置。

然而，抽头选择单元62基于来自动态范围检测单元61的动态范围信息改变作为设为预测抽头的像素的数量的抽头数量。

抽头选择单元63例如以与图1中的抽头选择单元13相同的方式从用于目标像素的输入图像中选择设为类别抽头的像素（的像素值），并将该像素提供给分类单元64。

抽头选择单元63以与抽头选择单元62相同的方式基于来自动态范围检测单元61的动态范围信息改变作为设为类别抽头的像素的数量的抽头数量。然而，在抽头选择单元63中，无论动态范围信息如何，类别抽头的数量可固定为恒定值。

分类单元64基于来自动态范围检测单元61的动态范围信息和来自抽头选择单元63的类别抽头根据预定规则通过ADRC等对目标像素进行分类，并将与由此得到的目标像素的类别相对应的类别代码提供给系数输出单元65。

分类单元64可基于来自动态范围检测单元61的动态范围信息改变用于分类的预定规则。

系数输出单元65将通过后述的学习而获得的用于各个类别的抽头系数储存在嵌入式存储器（未示出）中。系数输出单元65从储存在嵌入式存储器中的抽头系数中，读出并获取储存在与分类单元64提供的类别代码相对应的地址处的系数（由分类单元64提供的类别代码所表示的类别的抽头系数），并将抽头系数提供给预测运算单元16。

动态范围检测单元61的配置示例

图9是示出了图8所示动态范围检测单元61的配置示例的框图。

在图9中，动态范围检测单元61包括抽头选择单元71、最大值检测单元72、最小值检测单元73、运算单元74和判断单元75。

将输入图像提供给抽头选择单元71。

抽头选择单元71为目标像素选择被设为检测抽头（该检测抽头用于检测与目标像素相对应的输入图像所在位置处的局部动态范围）的像素（的像素值），并将该像素提供给最大值检测单元72和最小值检测单元73。

在这里，在抽头选择单元71中，例如，可将包含作为用于目标像素的预测抽头或类别抽头的像素的预定区域用作用于检测动态范围的的动态范围检测区域，该动态范围检测区域内的像素可用作目标像素的检测抽头。换言之，例如，可使用与后述的通常模式中类别抽头的结构相同的结构作为检测抽头（构成检测抽头的输入像素）的结构。

最大值检测单元72从来自抽头选择单元71的检测抽头的像素的像素值中检测最大像素值，并将该最大像素值提供给运算单元74。

最小值检测单元73从来自抽头选择单元71的检测抽头的像素的像素值中检测最小像素值，并将该最小像素值提供给运算单元74。

运算单元74对来自最大值检测单元72的最大像素值与来自最小值检测单元73的最小像素值之间的差异（通过从最大像素值中减去最小像素值而得到的减后的值）（下文也称为简单动态范围）进行运算，作为用于目标像素的局部动态范围，并将该局部动态范围提供给判断单元75。

判断单元75判断来自运算单元74的目标像素的局部动态范围与预定阈值之间的大小关系。判断单元75例如将表示了目标像素的局部动态范围的大小是否大于预定阈值的1位动态范围信息提供给抽头选择单元62和63以及分类单元64。

判断单元75可判断目标像素的局部动态范围与多个阈值之间的大小关系，在这种情况下，可使用表示了局部动态范围的大小大于（或小于）阈值的程度的多个位作为动态范围信息。

图10是示出了图8所示动态范围检测单元61的另一配置示例的框图。

在该图中，与图9所示部件相对应的部件使用相同的附图标记表示，下文将适当省略对其的描述。

与图9所示情况相同，图10所示的动态范围检测单元61包括抽头选择单元71～判断单元75。然而，图10所示动态范围检测单元61与图9所示情况的不同之处在于：新设置了平均值计算单元81，并在运算单元74和判断单元75之间新设置了运算单元82。

将检测抽头从抽头选择单元71提供给平均值计算单元81。

平均值计算单元81从抽头选择单元71获取平均像素值，该平均像素值是作为检测抽头的像素的像素值的平均值，并将该平均像素值提供给运算单元82。

该平均像素值从平均值计算单元81提供给运算单元82，并且还将简单动态范围从运算单元74提供给运算单元82。

通过将来自运算单元74的简单动态范围除以来自平均值计算单元81的平均像素值，运算单元82获取通过对简单动态范围进行标准化而得到的标准化动态范围，并将标准化动态范围作为用于目标像素的局部动态范围提供给判断单元75。

于是，在图10中，判断单元75判断标准化动态范围（不是简单动态范围）与预定阈值之间的大小关系，并输出表示了该大小关系的动态范围信息。

例如，作为动态范围检测单元61，可基于输入图像的灰度属性来选择图9中的配置或图10中的配置，图9中的配置用于检测表示了简单动态范围（与阈值之间的大小关系）的动态范围信息，图10中的配置用于检测表示了标准化动态范围（与阈值之间的大小关系）的动态范围信息）。

换言之，在输入图像例如是所谓的RAW图像（显影前的图像）那样的具有线性灰度属性（该灰度属性相对于光强度线性地改变像素值）的图像的情况下，可使用图10中用于检测表示了标准化动态范围的动态范围信息的配置作为动态范围检测单元61。

在输入图像例如是具有所谓的伽马（gamma）灰度属性、而不是线性灰度属性的图像的情况下，可使用图9中用于检测表示了简单动态范围的动态范围信息的配置作为动态范围检测单元61。

通过使用图10中的配置作为动态范围检测单元61，而且，在图10的判断单元75中，而且从由运算单元74获得的简单动态范围以及由运算单元82获得的标准化动态范围中，通过使用可以选择用于判断与阈值的大小关系的目标的配置，可选择输入图像的灰度属性以及（如有必要）表示了简单动态范围或标准化动态范围的信息作为动态范围。

预测抽头的配置示例

图11A和图11B是示出了由图8所示抽头选择单元62选择的预测抽头的配置示例的示意图。

在图11A和图11B中，大圆表示作为输入图像的像素的输入像素，小圆表示作为输出图像的像素的输出像素。在图11A和图11B中，输出像素存在于一个输入像素的四个位置：左上、右上、左下和右下，于是，在图8所示图像转换装置60中，输入图像被转换为数量为输入图像的水平像素和垂直像素的各自数量的两倍的输出图像。

在图11A和11B中，涂黑的小圆表示被设为目标像素的输出像素。此外，在图11A和11B中，粗线大圆表示被设为预测抽头的输入像素。

例如，抽头选择单元62（图8）将最接近目标像素（与目标像素相对应的输入图像所在的位置）的输入像素（在下文中，该输入像素也称为对应输入像素）作为基准来选择被设为目标像素的预测抽头的输入像素。

图11A示出了通常模式下的预测抽头的配置示例。

在这里，在本实施中，作为预测抽头的选择模式，存在通常模式和大动态范围模式。

在来自动态范围检测单元61的动态范围信息表示用于目标像素的局部动态范围（简单动态范围或标准化动态范围）不大的情况下，抽头选择单元62将预测抽头的选择模式设定为通常模式并选择预测抽头（被设为预测抽头的输入像素）。

在来自动态范围检测单元61的动态范围信息的大小表示目标像素的局部动态范围较大的情况下，抽头选择单元62将预测抽头的选择模式设定为大动态范围模式并选择预测抽头。

在通常模式下，抽头选择单元62选择在通常模式下作为预测抽头的输入像素。

换言之，在通常模式下，例如，如图11A所示，可选择输入像素作为预测抽头，这种输入像素具有以对应输入像素为中心的3×3（水平和垂直）个像素，即共有9个像素。

图11B示出了在大动态范围模式下的预测抽头的配置示例。

在大动态范围模式下，抽头选择单元62改变预测抽头的抽头数量使之少于通常模式的情况，并选择在大动态范围模式下被设为预测抽头的输入像素。

在图11B中，在大动态范围中的预测抽头的数量例如为4个像素，该数量少于通常模式下的预测抽头的数量（9个像素）。

换言之，在大动态范围模式下，如图11B所示，可通过使用目标像素的对应输入像素作为基准来将输入像素选择作为预测抽头，这种输入像素是包含对应输入像素的2×2个像素，即共有4个像素。

具体地，在对应输入像素的左上位置为目标像素（的位置）的情况下，选择包含对应输入像素且在对应输入像素的左上侧具有2×2个像素的输入像素作为预测抽头。

在对应输入像素的左下位置为目标像素的情况下，选择包含对应输入像素且在对应输入像素的左下侧具有2×2个像素的输入像素作为预测抽头。

在对应输入像素的右上位置为目标像素的情况下，选择包括对应输入像素且在对应输入像素的右上侧具有2×2个像素的输入像素作为预测抽头。

在对应输入像素的右下位置为目标像素的情况下，选择包括对应输入像素且在对应输入像素的右下侧具有2×2个像素的输入像素作为预测抽头。

如上所述，在用于目标像素的局部动态范围不大的情况下，不会考虑到圆圈的出现，于是，作为通常模式下的预测抽头，可通过选择特定数量的输入像素（以对应输入像素为中心的3×3个像素）来获得具有强调型高频和锐度的输出像素（目标像素）（的像素值）。

相反，在用于目标像素的局部动态范围较大的情况下，会考虑到圆圈的出现，于是，对于大动态范围模式下的预测抽头，可通过选择少于通常模式的情况的数量的输入像素的数量（抽头数量）（以对应输入像素作为基准的2×2个像素），来获得其中高频的强调程度减弱并且没有发生圆圈的输出像素。

于是，可防止由于输出像素中发生圆圈而出现的图像质量的下降。

在图11A和11B中，取决于目标像素的局部动态范围的大小，预测抽头的数量在两个阶段（4个像素和9个像素）中变化，但是当动态范围的大小较大时，预测抽头的数量也可在三个以上阶段中变化，以将预测抽头的数量设定为较小。

类别抽头的配置示例

图12A和12B是示出了由图8所示抽头选择单元63选择的类别抽头的配置示例的示意图。

在图12A和12B中，以与图11A和11B相同的方式，大圆表示输入像素，小圆表示输出像素，涂黑的小圆表示被设为目标像素的输出像素。此外，在图12A和12B中，粗线大圆表示被设为类别抽头的输入像素。

例如，以与图11A和11B中描述的预测抽头的情况相同的方式，抽头选择单元63（图8）通过使用目标像素的对应输入像素作为基准来选择被设为用于目标像素的类别抽头的输入像素。

换言之，以与图11A和11B中描述的预测抽头的情况相同的方式，抽头选择单元63基于来自动态选择单元61的动态范围信息将类别抽头的选择模式设定为通常模式或大动态范围模式，并选择类别抽头。

图12A示出了通常模式下的类别抽头的配置示例。

例如，在通常模式下，如图12A所示，以与图11A中的预测抽头的情况相同的方式，可选择输入像素作为类别抽头，这种输入像素具有以对应输入像素为中心的3×3（水平和垂直）个像素，即共有9个像素。

图12B示出了在大动态范围模式下的类别抽头的配置示例。

在大动态范围模式下，如图12B所示，以与图11B中的预测抽头的情况相同的方式，通过将对应输入像素作为基准，可选择输入像素作为预测抽头，这种输入像素是包含对应输入像素的2×2个像素，即共有4个像素。

对于类别抽头，不管用于目标像素的局部动态范围的大小如何，都可一直使用通常模式下的类别抽头。

分类单元64的配置示例

图13是示出了图8所示分类单元64的配置示例的框图。

在图13中，分类单元64包括ADRC处理单元91和类别代码生成单元92。

将动态范围信息从动态范围检测单元61提供给ADRC处理单元91，将类别抽头从抽头选择单元63提供给ADRC处理单元91。

ADRC处理单元91对来自抽头选择单元63的构成类别抽头的输入像素（的像素值）执行ADRC，于是将构成类别抽头的各个输入像素量化至预定的L位，并将通过以预定顺序排列各个输入像素的L位而获得的代码作为ADRC代码提供给类别代码生成单元92。

ADRC处理单元91基于来自动态范围检测单元61的动态范围信息改变ADRC的规则和分类的规则。

换言之，ADRC处理单元91例如基于动态范围信息改变ADRC的位数。

具体地，在动态范围信息表示目标像素的动态范围不大的情况下，ADRC处理单元91将分类（ADRC）模式设定为通常模式，并执行1位ADRC，其中，ADRC（量化）的位数例如为1位。

在动态范围信息表示用于目标像素的局部动态范围较大的情况下，ADRC处理单元91将分类模式设定为大动态范围模式，并执行4位ADRC，其中，ADRC的位数例如为4位，该位数比通常模式下的位数大。

不仅将ADRC处理单元91提供的ADRC代码提供给类别代码生成单元92，也将动态范围信息从动态范围检测单元61（图8）提供给类别代码生成单元92。

类别代码生成单元92生成通过将来自动态范围检测单元91的动态范围信息加入来自ADRC处理单元91的ADRC代码而获得的代码，以作为表示目标像素的类别的类别代码，并将该代码提供给系数输出单元65（图8）。

图14A和14B是示出了由图13所示ADRC处理单元91执行的ADRC的示例的示意图。

在图14A和14B中，水平轴表示构成类别抽头的输入像素的顺序（或位置），垂直轴表示构成类别抽头的输入像素的像素值。

图14A是示出了在通常模式下的分类中执行的1位ADRC的示例的示意图。

在该1位ADRC中，通过将来自构成类别抽头的输入像素的像素值的最大像素值Max减去最小像素值Min来获取简单动态范围DR。接着，将通过将简单动态范围DR进行2（=2¹）等分而获得的水平设定为阈值，并将构成类别抽头的各个输入像素的像素值二值化（量化至任意二值化值）且将其转换为1位代码。

图14B是示出了在大动态范围模式下的分类中执行的4位ADRC的示例的示意图。

在4位ADRC中，通过与1位ADRC相同的方式获取简单动态范围DR。接着，将通过使简单动态范围DR平均分为16（=2⁴）部分而获得的水平设定为阈值，并将构成类别抽头的各个输入像素的像素值量化为16个值中的任意值且转换为4位代码。

如上所述，在分类单元64中，在目标像素的局部动态范围不大的情况下，执行1位ADRC作为通常模式的分类操作，构成类别抽头的各个输入像素的像素值被转换为1位代码。

相反，在目标像素的局部动态范围较大的情况下，执行用于量化至4位的4位ADRC（比1位ADRC大）作为大动态范围模式的分类操作，构成类别抽头的各个输入像素的像素值被转换为4位代码。

在目标像素的局部动态范围较大的情况下，对于在像素值变化较大的区域内的目标像素，通过执行比在目标像素的局部动态范围不大的情况下具有更大位数的ADRC，可以提高由预测运算单元16（图8）执行的预测运算所获取的目标像素的像素值的预测准确度。

在图13、图14A和14B中，根据目标像素的局部动态范围的大小，作为分类规则的ADRC的位数在两个阶段（1位和4位）中发生变化，但是在动态范围较大时，ADRC的位数可在三个或更多阶段中发生变化以将ADRC的位数设定为较大。

如图12A和图12B中所述，在基于动态范围信息将类别抽头的数量变为4个像素或9个像素的情况下，在通常模式下，以具有9个像素的类别抽头为目标而执行ADRC，在大动态范围模式下，以具有4个像素的类别抽头（这比在通常模式下少）为目标而执行ADRC。然而，在大动态范围模式下在以具有4个像素的类别代码（这比通常模式下少）为目标而执行ADRC的情况下，在大动态范围模式下在以具有4个像素的类别抽头作为目标而执行的ADRC中，ADRC的位数可设定为使得所得到的ADRC代码的位数与通常模式下以具有9个像素的类别抽头为目标而执行的ADRC具有相同的位数。

换言之，如上所述，在通常模式下在以具有9个像素的类别抽头为目标而执行1位ADRC的情况下，可获得具有9个位的ADRC代码。

如上所述，在获得了具有9个位的ADRC代码的情况下，例如，在大动态范围模式下在以具有4个像素的类别抽头作为目标而执行的ADRC中，为作为具有4个像素的类别抽头（如图12B所示）的输入像素中的对应输入像素执行3位ADRC，并可为余下的具有3个像素的输入像素执行2位ADRC。

在这种情况下，即使在大动态范围模式下，由于可与通常模式相同的方式获得具有9个位（=3+2+2+2位）的ADRC代码，所以用于在通常模式下储存抽头系数的存储空间和用于在大动态范围模式下储存抽头系数的存储空间相互一致，因此，抽头系数可储存在系数输出单元65中而不会浪费存储器的存储容量。

图像转换装置60执行的图像转换处理

图15是示出了由图8所示图像转换装置60执行的图像转换处理的示例的流程图。

在步骤S31中，目标像素选择单元11从用于相对于输入到图像转换装置60中的输入图像构成输出图像的像素（输出像素）中，选择一个还不是目标像素的一个像素作为目标像素，该处理进行到步骤S32。换言之，例如，在目标像素选择单元11中，来自构成输出图像的像素中的一个还不是目标像素的像素以光栅扫描顺序被选择作为目标像素。

在步骤S32中，动态范围检测单元61通过使用输入给它的输入图像来检测如图9和图10中描述的目标像素的动态范围信息，并将该动态范围信息提供给抽头选择单元62和63以及分类单元64，接着该处理进行到步骤S33。

在步骤S33中，如图11A和11B所述，抽头选择单元62基于来自动态范围检测单元61的动态范围信息，从提供给它的输入图像中选择作为目标像素的预测抽头的像素，并将该像素提供给预测运算单元16。

此外，在步骤S33中，如图12A和12B所述，抽头选择单元63基于来自动态范围检测单元61的动态范围信息，从提供给它的输入图像中选择作为目标像素的类别抽头的像素，并将该像素提供给分类单元64，该处理进行到步骤S34。

在步骤S34中，如图13以及图14A和14B所描述，分类单元64基于来自动态范围检测单元61的动态范围信息，使用动态范围信息和来自抽头选择单元63的类别抽头，对目标像素进行分类。此外，分类单元64将表示了作为分类结果的目标像素的类别的类别代码输出到系数输出单元65，该处理从步骤S34进行到步骤S35。

在步骤S35中，系数输出单元65获取并输出储存在与分类单元64提供的类别代码相对应的地址处的抽头系数。此外，在步骤S35中，预测运算单元16获取由系数输出单元65输出的抽头系数，该处理进行到步骤S36。

在步骤S36中，预测运算单元16使用抽头选择单元62输出的预测抽头和从系数输出单元65获取的抽头系数来执行方程（1）的预测运算。于是，预测运算单元16获取并输出目标像素的像素值，该处理进行到步骤S37。

在步骤S37中，目标像素选择单元11判断是否存在具有还不是目标像素的像素的输出图像。在步骤S37中，在确定了存在还不是目标像素的输出像素的情况下，该处理返回至步骤S31，随后的处理以与上述相同的方式进行。

在步骤S37中，在确定了不存在还不是目标像素的输出像素的情况下，该处理结束。

学习装置的配置示例

图16是示出了学习装置的配置示例的框图，该学习装置进行学习以获取储存在图8中的系数输出单元65中的抽头系数。

在图16所示学习装置100中，与图3所示学习装置21相对应的部件用相同的附图标记表示，下文中适当省略了对其的描述。

与图3所示学习装置21相同，图16所示学习装置包括学习图像储存单元31～学生数据储存单元35。然而，图16所示学习装置100与图3所示学习装置21的不同之处在于：其包括学习单元101而不是学习单元36。

在图16中，例如，学习图像储存单元31储存与通过图8所示图像转换装置60获得的输出图像相对应的具有高分辨率的高质量图像。

教师数据生成单元32将储存在学习图像储存单元31中的用于学习的图像原样地提供给教师数据储存单元33作为教师数据（教师图像），以便将该教师数据储存其中。

学生数据生成单元34通过对储存在学习图像储存单元31中的学习用图像进行缩减（thinning）和滤波来生成输入图像，即生成在本实施例中与图像传感器52获得的图像对应的并且分辨率和锐度比教师数据低的学生数据（学生图像），并将该学生数据提供给学生数据储存单元35以储存其中。

通过建立并解算各个类别的方程（8）的标准方程，学习单元101使用上述的教师数据和学生数据来获取各个类别的抽头系数。

学习单元101的配置示例

图17是示出了图16所示学习单元101的配置示例的框图。

在该图中，与图4所示学习单元36相对应的部件使用相同的附图标记表示，下文将适当省略对其的描述。

与图4所示学习单元36相同，图17所示学习单元101包括目标像素选择单元41、加算单元45和抽头系数计算单元46。然而，图17所示学习单元101与图4所示学习单元36的不同之处在于：新设置了动态范围检测单元111，并且设置了抽头选择单元112和113以及分类单元114来代替抽头选择单元42和43以及分类单元44。

在图17中，将储存在教师数据储存单元33（图16）中的教师数据（下文中也称为教师图像）提供给加算单元45。此外，将储存在学生数据储存单元35（图16）中的学生数据（下文中也称为学生图像）提供给动态范围检测单元111和抽头选择单元112和113。

动态范围检测单元111以与图8所示动态范围检测单元61相同的方式来检测表示了位于学生图像位置处的局部动态范围的动态范围信息，该学生图像与在目标像素选择单元41中选自教师图像的像素中的目标像素相对应，并将该动态范围信息提供给抽头选择单元112和113以及分类单元114。

以与图8所示抽头选择单元62相同的方式，抽头选择单元112从用于目标像素的学生图像中选择被设为预测抽头的像素（的像素值），并将该像素提供给预测运算单元16。

换言之，例如，抽头选择单元112从学生图像中选择作为预测抽头的像素，该预测抽头与通过图8所示抽头选择单元62获得的预测抽头具有相同的结构。

以与图8所示抽头选择单元62相同的方式，抽头选择单元112基于来自动态范围检测单元111的动态范围信息改变作为被设为预测抽头的像素的数量的抽头数量。

以与图8所示抽头选择单元63相同的方式，抽头选择单元113从目标像素的学生图像中选择作为类别抽头的像素（的像素值），并将该像素提供给分类单元114。

换言之，例如，抽头选择单元113从学生图像中选择作为类别抽头的像素，该类别抽头与通过图8所示抽头选择单元63获得的类别抽头具有相同的配置。

以与图8所示抽头选择单元63相同的方式，抽头选择单元113基于来自动态范围检测单元111的动态范围信息，改变作为被设为类别抽头的像素的数量的抽头数量。然而，在图8所示抽头选择单元63中，无论动态范围信息如何，类别抽头的数量均可固定为恒定值。与抽头选择单元63相同的方式，在抽头选择单元113中，无论动态范围信息如何，类别抽头的数量也固定为恒定值。

分类单元114以与图8所示分类单元64相同的分类方式，使用来自动态范围检测单元111的动态范围信息和来自抽头选择单元113的类别抽头对目标像素进行分类，并将与由此得到的目标像素的类别相对应的类别代码提供给加算单元45。

以与图8所示分类单元64相同的方式，分类单元114基于来自动态范围检测单元111的动态范围信息改变分类所用的预定规则。

学习装置100的学习处理

图18是示出了图16所示学习装置100的处理（学习处理）的流程图。

首先，在步骤S41中，教师数据生成单元32和学生数据生成单元34从储存在学习图像储存单元31中的学习图像中生成教师图像（教师数据）和学生图像（学生数据），并将这些图像分别提供给教师数据储存单元33和学生数据储存单元35以分别储存在教师数据储存单元33和学生数据储存单元35中。

在这之后，该处理进行到步骤S42。在学习单元101（图17）中，目标像素选择单元41从储存在教师数据储存单元33中的教师图像的像素中选择还未被设为目标像素的像素作为目标像素，接着该处理进行到步骤S43。

在步骤S43中，动态范围检测单元111使用储存在学生数据储存单元35中的学生图像以与图8所示动态范围检测单元61相同的方式检测目标像素的动态范围信息，并将该动态范围信息提供给抽头选择单元112和113以及分类单元114，该处理接着进行到步骤S44。

在步骤S44中，抽头选择单元112基于来自动态范围检测单元111的动态范围信息以与图8所示抽头选择单元62相同的方式从储存在学生数据储存单元35中的学生图像中选择作为用于目标像素的预测抽头的像素，并将该像素提供给加算单元45。

此外，在步骤S44中，抽头选择单元113基于来自动态范围检测单元111的动态范围信息以与图8所示抽头选择单元63相同的方式从储存在学生数据储存单元35中的学生图像中选择作为用于目标像素的类别抽头的像素，并将该像素提供给分类单元114，该处理进行到步骤S45。

在步骤S45中，以与图8所示分类单元64相同的方式，分类单元114基于来自动态范围检测单元111中的动态范围信息使用动态范围信息和来自抽头选择单元113的类别抽头对目标像素进行分类。此外，分类单元114将表示了分类获得的目标像素的类别的类别代码提供给加算单元45，该处理从步骤S45进行到步骤S46。

在步骤S46中，对于分类单元114提供的各个类别代码，加算单元45使用储存在教师数据储存单元33中的作为目标像素的教师图像的像素以及从抽头选择单元112所提供的作为选择用于目标像素的预测抽头的学生图像的像素来执行方程（8）的加算，该处理进行到步骤S47。

在步骤S47中，目标像素选择单元41判断还未被设为目标像素的教师图像的像素是否储存在教师数据储存单元33（图16）中。在步骤S47中确定了还未被设为目标像素的教师图像的像素储存在教师数据储存的单元33中的情况下，该处理返回至步骤S42，随后的处理以与上述相同的处理重复进行。

在步骤S47中确定了还未被设为目标像素的教师图像的像素没有储存在教师数据储存单元33中的情况下，加算单元45将用于在步骤S42～S47获得的各个类别的方程（8）左侧上的矩阵及其右侧上的矢量提供给抽头系数计算单元46，该处理进行到步骤S48。

在步骤S48中，通过解算由加算单元45所提供的各个类别的方程（8）的左侧上的矩阵及其右侧上的矢量构成的用于各个类别的标准方程，抽头系数计算单元46获取并输出用于各个类别的抽头系数，该处理结束。

如上所述，在用于目标像素的局部动态范围不大且没有发生圆圈的情况下，通过基于动态范围信息改变作为预测抽头的像素的数量的抽头数量，可获得用于强调高频的抽头系数，并且，在用于目标像素的局部动态范围较大且发生圆圈的情况下，可获得用于抑制圆圈发生的抽头系数。

因此，在由图8所示图像转换装置60执行的图像转换处理中，可防止由于发生圆圈引起的图像质量的下降并可获得具有锐度的输出图像。

不仅基于动态范围信息改变作为预测抽头的像素的数量的抽头数量，如上所述，图8所示图像转换装置60和图17所示学习单元101还可基于动态范围信息改变分类的预定规则，或可基于输入图像（学生图像）的灰度性质使用简单动态范围或标准化动态范围作为局部动态范围。

在这种情况下，可以更强地防止由于发生圆圈引起的图像质量的下降并获得具有锐度的输出图像。

模拟结果

图19是示出了由发明者进行的模拟的结果的示意图。

在图19中，水平轴表示像素的位置，垂直轴表示像素值。

在图19中，与图8所示图像转换装置60一样，实线表示通过图像转换处理获得的输出图像的像素值，该图像转换处理是通过使用基于动态范围信息使预测抽头的数量改变的可变抽头方法来执行的。在图19中，虚线表示通过作为分类适应处理的图像转换处理获得的输出图像的像素值，该图像转换处理是通过使用无论动态范围信息如何预测抽头数量均为固定的固定抽头方法来执行。

如图19所示，在固定抽头方法中，输出图像的像素值在锐边附近急剧减小，且在输出图像的高亮度部分附近发生圆圈，圆圈会生成黑渊状痕迹。

同时，如图19所示，在可变抽头方法中，防止了输出图像的像素值在锐边附近急剧减小，并且不发生圆圈。于是，可防止输出图像的图像质量下降。

通过信号处理单元54执行锐度改善处理的图像转换装置的另一配置示例

图20是示出了执行由图7中信号处理单元54执行的锐度改善处理的图像转换装置的另一配置示例的框图。

在图20所示图像转换装置200中，与图8所示图像转换装置60相对应的部件以相同的附图标记表示，下文中将适当省略对其的描述。

这里，在图8中，输入图像具有作为像素值的亮度，但在图20中，对于各个像素（输入像素），输入图像是将多个颜色分量（例如，红、绿和蓝（RGB））中的一个颜色分量作为像素值的图像。

在图20中，使用了各个像素（输出像素）将所有多个颜色分量（如RGB）作为像素值的图像作为输出图像。

在这种情况下，在图20所示图像转换装置200中，例如与锐度改善处理一起执行去马赛克处理以作为图像转换处理，所述去马赛克处理将输入图像（其将RGB颜色分量中的一个颜色分量作为各个像素的像素值）转换为输出图像（其中各个像素将所有RGB颜色分量作为像素值）。

换言之，在这里，其中的各个像素仅将R颜色分量（后文中也称为R分量）作为像素值的输出图像被称为R输出图像，其中的各个像素仅将G颜色分量（后文中也称为G分量）作为像素值的输出图像被称为G输出图像，其中的各个像素仅将B颜色分量（后文中也称为B分量）作为像素值的输出图像被称为B输出图像时，在图像转换装置200中，R输出图像、G输出图像和B输出图像中的每一个分别是从输入图像（该输入图像分别被转换为R输出图像、G输出图像和B输出图像）预测而来的。

在图20中，将输入图像从存储器53（图7）提供给抽头选择单元62G、62R和62B、抽头选择单元63G、63R和63B、动态范围检测单元201、代表值计算单元202和平均值计算单元203。

此外，不仅从存储器53将输入图像提供给抽头选择单元62G、62R和62B，还将用于目标像素的动态范围信息从动态范围检测单元201提供给抽头选择单元62G、62R和62B。

抽头选择单元62G、62R和62B与图8所示抽头选择单元62相对应。

以与图8所示抽头选择单元62相同的方式，抽头选择单元62G、62R和62B从输入图像中选择作为用于预测目标像素的G分量、R分量和B分量的预测抽头的像素（的像素值），并将各个预测抽头提供给水平转换单元206G、206R和206B。

以与图8所示抽头选择单元62相同的方式，抽头选择单元62G、62R和62B基于来自动态范围检测单元201的动态范围信息改变预测抽头的数量。

不仅将从存储器53提供的输入图像提供给抽头选择单元63G、63R和63B，还将目标像素的动态范围信息从动态范围检测单元201提供给抽头选择单元63G、63R和63B。

抽头选择单元63G、63R和63B与图8所示抽头选择单元63相对应。

以与图8所示抽头选择单元63相同的方式，抽头选择单元63G、63R和63B从输入图像中选择作为类别抽头（其用于在预测目标像素的G分量、R分量和B分量时进行分类）的像素（的像素值），并将各个类别抽头提供给水平转换单元205G、205R和205B。

此外，以与图8所示抽头选择单元63相同的方式，抽头选择单元63G、63R和63B可基于来自动态范围检测单元201的动态范围信息改变类别抽头的数量。与图8所示抽头选择单元63相同，在抽头选择单元63G、63R和63B中，无论来自动态范围检测单元201中的动态范围信息如何，类别抽头的数量均可固定为恒定值。

将动态范围信息、下文将描述的灰度转换值和类别抽头（水平转换之后）分别从动态范围检测单元201、灰度转换单元204和各个水平转换单元205G、205R和205B提供给分类单元64G、64R和64B。

分类单元64G、64R和64B与图8所示分类单元64相对应。

分类单元64G、64R和64B例如通过ADRC等、基于来自动态范围检测单元201的动态范围信息、来自灰度转换单元204的灰度转换值和来自各个水平转换单元205G、205R和205B的类别抽头，根据预定规则来对目标像素进行分类，并将与由此得到的目标像素的类别相对应的类别代码分别提供给系数输出单元65G、65R和65B。

以与图8所示分类单元64相同的方式，分类单元64G、64R和64B基于来自动态范围检测单元201的动态范围信息改变分类所用的预定规则。

系数输出单元65G、65R和65B与图8所示系数输出单元65相对应，并将用于通过下述的学习而获得的各个类别的抽头系数储存在嵌入式存储器（未示出）中。

系数输出单元65G、65R和65B从储存在嵌入式存储器中的抽头系数中，读出并获取储存在与分类单元64G、64R和64B提供的类别代码相对应的地址处的抽头系数，并将该抽头系数提供给预测运算单元66G、66R和66B。

预测运算单元66G、66R和66B与图8所示预测运算单元16相对应。

预测运算单元66G、66R和66B获取由水平转换单元206G、206R和206B提供的各个预测抽头（水平转换之后）以及由系数输出单元65G、65R和65B输出的各个抽头系数，并使用预测抽头和抽头系数执行方程（1）的预测运算以分别获取G分量、R分量和B分量（的真值）的预测值以作为目标像素的像素值。

预测运算单元66G、66R和66B将G分量、R分量和B分量输出为通过预测运算获得的目标像素的像素值，换言之，将G分量、R分量和B分量输出为输出图像的像素值（G输出图像的像素值、R输出图像的像素值和B输出图像的像素值）。

如果图8所示抽头选择单元62～系数输出单元65以及预测运算单元16被称为用于预测输出图像的预测模块，那么在图20中，抽头选择单元62G～预测运算单元66G构成了用于预测G输出图像的预测模块（用于G输出图像的预测模块）。

与上述方式相同，抽头选择单元62R～预测运算单元66R构成了用于预测R输出图像的预测模块（用于R输出图像的预测模块），抽头选择单元62B～预测运算单元66B构成了用于预测B输出图像的预测模块（用于B输出图像的预测模块）。

动态范围检测单元201与图8所示动态范围检测单元61相对应。

动态范围检测单元201以与图8所示动态范围检测单元61相同的方式检测动态范围信息，该动态范围信息表示了在目标像素选择单元11中从输出图像（第二图像）的像素中选出的目标像素的局部动态范围，并将该动态范围信息提供给抽头选择单元62G、62R和62B、抽头选择单元63G、63R和63B以及分类单元64G、64R和64B。

然而，动态范围检测单元201分别获取用于各个G分量、R分量和B分量的局部动态范围作为目标，并检测各个G分量、R分量和B分量的动态范围信息，该信息表示G分量、R分量和B分量的局部动态范围。

仅通过使用选择用于对局部动态范围进行检测的检测抽头（图9）的输入像素的像素值中的G分量来检测G分量的动态范围信息。

与上述方式相同，仅通过使用选择用于检测抽头的输入像素的像素值中的R分量来检测R分量的动态范围信息，仅通过使用选择用于检测抽头的输入像素的像素值中的B分量来检测B分量的动态范围信息。

将G分量的动态范围信息从动态范围检测单元201提供给构成了用于G输出图像的预测模块的抽头选择单元62G和63G以及分类单元64G。

将R分量的动态范围信息从动态范围检测单元201提供给构成了用于R输出图像的预测模块的抽头选择单元62R和63R以及分类单元64R。将B分量的动态范围信息从动态范围检测单元201提供给构成了用于B输出图像的预测模块的抽头选择单元62B和63B以及分类单元64B。

代表值计算单元202计算用于目标像素的G分量、R分量和B分量的各个代表值（后文中也分别称为G代表值、R代表值和B代表值）。

代表值计算单元202将G代表值、R代表值和B代表值提供给水平转换单元205G、205R和205B及水平转换单元206G、206R和206B。

在这里，通过将包含作为目标像素的预测抽头或类别抽头的输入像素的预定区域设定为用于计算代表值的代表值计算区域，代表值计算单元202使用代表值计算区域中的输入像素来计算G代表值、R代表值和B代表值。

平均值计算单元203例如获取接近与目标像素相对应的输入图像的位置的多个输入像素的像素值的平均值，以作为与目标像素相对应的输入图像的位置处的像素值（下文中也称为对应位置像素值），并将该平均值提供给灰度转换单元204。

在这里，例如，通过将上述代表值计算区域设定为用于计算对应位置像素值的对应位置像素值计算区域，平均值计算单元203可使用对应位置像素值计算区域中的输入像素来计算对应位置像素值。

在对应位置像素值计算区域中的输入像素的像素值中，例如可仅使用对人具有高视觉敏感性的G分量的平均值作为对应位置像素值。

灰度转换单元204执行输入图像的灰度转换，并将由此得到的灰度转换值提供给分类单元64G、64R和64B。

换言之，灰度转换单元204例如对来自平均值计算单元203的与目标像素相对应的输入图像的位置中的像素值（对应位置像素值）执行对数运算，以作为输入图像的灰度转换，并将由此得到的灰度转换值提供给分类单元64G、64R和64B。

灰度转换单元204执行的灰度转换可由除了对数运算之外的其它运算执行。

在将除G分量之外的R分量或B分量作为像素值的输入像素包含在构成了来自抽头选择单元63G的类别抽头的输入像素中的情况下，水平转换单元205G通过适当地使用来自代表值计算单元202的G代表值、R代表值和B代表值来执行水平转换，以使R分量或B分量的水平（值）与G分量的水平相一致。

换言之，G代表值、R代表值和B代表值分别表示为Dg、Dr和Db，将G分量、R分量和B分量作为像素值的输入像素分别称为G输入像素、R输入像素或B输入像素。

此外，作为G输入像素、R输入像素和B输入像素的像素值的G分量、R分量和B分量分别表示为Xg、Xr和Xb。

水平转换单元205G基于方程Xr'=Xr-(Dr-Dg)执行水平转换，以将作为类别抽头的R输入像素的像素值的R分量Xr转换为水平接近G代表值Dg的R分量Xr'。

水平转换单元205G基于方程Xb'=Xb-(Db-Dg)执行水平转换，以将作为类别抽头的B输入像素的像素值的B分量Xb转换为水平接近G代表值Dg的B分量Xb'。

如上所述，在由水平转换单元205G执行的水平转换中，作为除了类别抽头的G分量Xg之外的分量的R分量Xr和B分量Xb均偏移至接近G代表值Dg的水平。

将由水平转换单元205G执行了水平转换之后的类别抽头提供给分类单元64G。

在将作为除了R分量之外的分量的G分量或B分量作为像素值的输入像素包含在构成了来自抽头选择单元63R的类别抽头的输入像素中的情况下，水平转换单元205G通过适当地使用来自代表值计算单元202的R代表值、G代表值和B代表值来执行水平转换，以使G分量或B分量的水平（值）与R分量的水平相一致。

换言之，水平转换单元205G基于方程Xg'=Xg-(Dg-Dr)执行水平转换，以将类别抽头的G输入像素的像素值的G分量Xg转换为水平接近R代表值Dr的G分量Xg'。

水平转换单元205G基于方程Xb'=Xb-(Db-Dr)执行水平转换，以将类别抽头的B输入像素的像素值的B分量Xb转换为水平接近R代表值Dr的B分量Xb'。

如上所述，在由水平转换单元205G执行的水平转换中，作为类别抽头的除了R分量Xr之外的分量，G分量Xg和B分量Xb均偏移至接近R代表值Dr的水平。

将由水平转换单元205G执行了水平转换之后的类别抽头提供给分类单元64R。

在将作为除了B分量外的分量的G分量或R分量作为像素值的输入像素包含在构成了来自抽头选择单元63B的类别抽头的输入像素中的情况下，水平转换单元205G通过适当地使用来自代表值计算单元202的B代表值、G代表值和R代表值来执行水平转换，以使G分量或R分量的水平（值）与B分量的水平相一致。

换言之，水平转换单元205B基于方程Xg'=Xg-(Dg-Db)执行水平转换，以将类别抽头的G输入像素的像素值的G分量Xg转换为水平接近B代表值Db的G分量Xg'。

换言之，水平转换单元205B基于方程Xr'=Xr-(Dr-Db)执行水平转换，以将作为类别抽头的R输入像素的像素值的R分量Xr转换为水平处于接近B代表值Db的R分量Xr'。

如上所述，在由水平转换单元205B执行的水平转换中，作为除了类别抽头的B分量Xb之外的分量，G分量Xg和R分量Xr均偏移至接近B代表值Db的水平。

将由水平转换单元205B执行了水平转换之后的类别抽头提供给分类单元64B。

在将作为除G分量之外的分量的R分量和B分量作为像素值的输入像素包含在构成了来自抽头选择单元62G的预测抽头的输入像素中的情况下，水平转换单元206G通过适当地使用来自代表值计算单元202的G代表值、R代表值和B代表值来执行水平转换，以使R分量或B分量的水平（值）与G分量的水平相一致。

换言之，水平转换单元206G基于方程Xr'=Xr-(Dr-Dg)执行水平转换，以将作为预测抽头的R输入像素的像素值的R分量Xr转换为水平接近G代表值Dg的R分量Xr'。

水平转换单元206G基于方程Xb'=Xb-(Db-Dg)执行水平转换，以将作为预测抽头的B输入像素的像素值的B分量Xb转换为水平接近G代表值Dg的B分量Xb'。

如上所述，在由水平转换单元206G执行的水平转换中，作为预测抽头的除了G分量Xg之外的分量，R分量Xr和B分量Xb均偏移至接近G代表值Dg的水平。

将由水平转换单元206G执行了水平转换之后的预测抽头提供给预测运算单元66G。

在将作为除R分量之外的分量的G分量或B分量作为像素值的输入像素包含在构成了来自抽头选择单元62R的预测抽头的输入像素中的情况下，水平转换单元206R通过适当地使用来自代表值计算单元202的R代表值、G代表值和B代表值来执行水平转换，以使G分量或B分量的水平（值）与R分量的水平相一致。

换言之，水平转换单元206R基于方程Xg'=Xg-(Dg-Dr)执行水平转换，以将预测抽头的G输入像素的像素值的G分量Xg转换为水平接近R代表值Dr的G分量Xg'。

换言之，水平转换单元206R基于方程Xb'=Xb-(Db-Dr)执行水平转换，以将预测抽头的B输入像素的像素值的B分量Xb转换为水平接近R代表值Dr的B分量Xb'。

如上所述，在由水平转换单元206R执行的水平转换中，作为预测抽头的除了R分量Xr之外的分量，G分量Xg和B分量Xb均偏移至接近R代表值Dr的水平。

将由水平转换单元206R执行了水平转换之后的预测抽头提供给预测运算单元66R。

在将作为除B分量之外的分量的G分量或R分量作为像素值的输入像素包含在构成了来自抽头选择单元62B的预测抽头的输入像素中的情况下，水平转换单元206B通过适当地使用来自代表值计算单元202的B代表值、G代表值和R代表值来执行水平转换，以使G分量或R分量的水平（值）与B分量的水平相一致。

换言之，水平转换单元206B基于方程Xg'=Xg-(Dg-Db)执行水平转换，以将预测抽头的G输入像素的像素值的G分量Xg转换为水平接近B代表值Db的G分量Xg'。

水平转换单元206B基于方程Xr'=Xr-(Dr-Db)执行水平转换，以将预测抽头的R输入像素的像素值的R分量Xr转换为水平接近B代表值Db的R分量Xr'。

如上所述，在由水平转换单元206B执行的水平转换中，作为预测抽头的除了B分量Xb之外的分量，G分量Xg和R分量Xr均偏移至接近B代表值Db的水平。

将由水平转换单元206B执行了水平转换之后的预测抽头提供给预测运算单元66B。

在抽头选择单元62G中，在作为除了G输入像素之外的输入像素的R输入像素和B输入像素均不包含在预测抽头中的情况下，不必在随后的阶段中提供水平转换单元206G。

与上述方式相同，在抽头选择单元62R中，在作为除了R输入像素之外的输入像素的G输入像素和B输入像素均不包含在预测抽头中的情况下，不必在随后的阶段中提供水平转换单元206R，并且在抽头选择单元62B中，在作为除了B输入像素之外的输入像素的R输入像素和G输入像素均不包含在预测抽头中的情况下，不必在随后的阶段中提供水平转换单元206B。

在抽头选择单元63G中，在作为除了G输入像素之外的输入像素的R输入像素和B输入像素均不包含在类别抽头中的情况下，不必在随后的阶段中提供水平转换单元205G。

与上述方式相同，在抽头选择单元63R中，在作为除了R输入像素之外的输入像素的G输入像素和B输入像素均不包含在类别抽头中的情况下，不必在随后的阶段中提供水平转换单元205R，并且在抽头选择单元63B中，在作为除了B输入像素之外的输入像素的R输入像素和G输入像素均不包含在类别抽头中的情况下，不必在随后的阶段中提供水平转换单元205B。

输入图像的示例

图21A和21B是示出了作为由图20所示图像转换装置200执行的图像转换处理的目标的输入图像的示例的示意图。

如图20所述，图像转换装置200通过使用作为输入图像的将来自三种颜色分量（R分量、G分量和B分量）中的一种颜色分量作为各个像素的像素值的图像来执行图像转换处理。

在图像传感器52是单板式图像传感器的情下况可获得上述输入图像。

在下文中，通过单板式图像传感器52获得且将来自三种颜色分量（R分量、G分量和B分量）中的一种颜色分量作为各个像素的像素值的图像也被称为单板式图像。

图21A示出了单板式图像的示例。

图21A中的单板式图像的颜色（分量）阵列是被称为拜耳阵列的阵列，在该拜耳阵列中，例如，2×2（水平×垂直）个像素设定为基本单位，在所述2×2（水平×垂直）个像素中，R分量（将R分量作为像素值的像素）设置在左上像素上，B分量设置在右下像素上，而G分量分别设置在左下像素和右上像素上，该基本单位在水平方向和垂直方向上重复地设置，。

由于与R分量和B分量相比，人对G分量具有较高的视觉敏感性，所以在拜耳阵列中，G分量（将G分量作为像素值的像素）设置为比R量和B分量多。

图21B示出了单板式图像的另一示例。

图21B中的单板式图像的颜色（分量）阵列是通过使图21A中的拜耳阵列倾斜45度而获得的阵列。

于是，在图21B中的单板式图像中，通过倾斜45度而获得的图21A的拜耳阵列的基本单位重复地设置在呈45度角的方向上。

在这里，图21A中的单板式图像的颜色阵列也称为单拜耳阵列，图21B中的单板图像的颜色阵列也称为双拜耳阵列。在相邻像素之间的缝隙在水平方向和垂直方向上可设定为恒定值的情况下，对于同一区域，两倍于单拜耳阵列情况下的像素数量可设置在双拜耳阵列中。

例如，作为由图20所示图像转换装置200执行的图像转换处理的目标的输入图像，可使用具有不同于上述单拜耳阵列或双拜耳阵列的阵列的图像。

在下文中，例如使用了具有图21B中的双拜耳阵列的单板式图像作为输入图像。

G代表值Dg、R代表值Dr和B代表值Db的计算

图22是示出了通过图20中的代表值计算单元202来计算G代表值Dg、R代表值Dr和B代表值Db的方法的示例的示意图。

如图20所述，通过将包括作为目标像素的预测抽头或类别抽头的像素的预定区域设定为用于计算代表值的代表值计算区域，代表值计算单元202使用代表值计算区域中的输入像素来计算G代表值Dg、R代表值Dr和B代表值Db。

图22示出了具有双拜耳阵列的输入图像的代表值计算区域的示例。

在图22中，R、G和B分别表示R输入像素、G输入像素和B输入像素。

在这里，从左上部到右下部的45度角的方向称为右下倾斜方向，从左下部到右上部的45度角的方向称为右上倾斜方向。

在图22中，输入图像的区域是用于目标像素的代表值计算区域，在该输入图像的区域中，右下倾斜方向×右上倾斜方向是作为最接近目标像素的输入像素的对应输入像素（图22中的G输入像素）周围的5×5个像素。

如图22中的空心箭头所示，对于代表值计算区域中的G输入像素，代表值计算单元202获取作为位于G输入像素的左上部和右下部的两个R输入像素或位于G输入像素的左下部和右上部两个R输入像素的像素值的R分量的平均值作为G输入像素的R分量的插值r。

对于代表值计算区域中的G输入像素，代表值计算单元202获取作为位于G输入像素左上部和右下部的两个B输入像素或位于G输入像素左下部和右上部的两个B输入像素的像素值的B分量的平均值作为G输入像素的B分量的插值b。

如图22中的空心箭头所示，对于代表值计算区域中的R输入像素，代表值计算单元202获取作为位于R输入像素左上部、右上部、左下部和右下部的四个G输入像素的像素值的G分量的平均值作为R输入像素的G分量的插值g。

如图22中的空心箭头所示，对于代表值计算区域中的B输入像素，代表值计算单元202获取作为位于B输入像素左上部、右上部、左下部和右下部的四个G输入像素的像素值的G分量的平均值作为B输入像素的G分量的插值g。

如上所述，在获取了用于G输入像素的R分量的插值r和B分量的插值b之后，以及在获取了用于R输入像素和B输入像素的G分量的插值b之后，代表值计算单元202获取代表值计算区域中的G输入像素的所有R分量以及R输入像素和B输入像素的G分量的插值g的平均值作为G代表值Dg。

此外，代表值计算单元202还获取用于代表值计算区域中的所有G输入像素的插值r与G分量之间的差值r-R，以及用于代表值计算区域中的所有R输入像素的R分量与插值g之间的差值R-g。

代表值计算单元202获取从代表值计算区域中获取的所有差值r-R和差值R-g的平均值ave（r-G，R-g），并获取通过将G代表值Dg加算至平均值ave（r-G，R-g）而获得的加算值ave（r-G，R-g）+Dg作为R代表值Dr。

与上述方式相同，代表值计算单元202还获取用于代表值计算区域中的所有G输入像素的插值b与G分量之间的差值b-R，以及用于代表值计算区域中的所有B输入像素的B分量与插值g之间的差值B-g。

代表值计算单元202获取从代表值计算区域获取的所有差值b-G和差值B-g的平均值ave（b-G，B-g），并获取通过将G代表值Dg加算至平均值ave（b-G，B-g）而获得的加算值ave（b-G，B-g）+Dg作为B代表值Db。

如上述获得的G代表值Dg表示代表值计算区域中的G分量的近似水平（值）。与上述方式相同，R代表值Dr表示代表值计算区域中的R分量的近似水平（值），B代表值Db表示代表值计算区域中的B分量的近似水平（值）。

预测抽头和类别抽头的配置示例

图23A和23B是示出了由图20中的抽头选择单元62G选择的预测抽头（下文中也称为用于G的预测抽头）的配置示例的示意图。

在图23A和23B（下文将描述的图中也如此）中，白色标记（非黑圆）表示作为输入图像的像素的输入像素，白色标记中的粗线白色标记（非黑圆）表示作为预测抽头或类别抽头的输入像素。

黑圆表示作为输出图像的像素的输出像素中的目标像素。

在下文中，输出图像是是这样的图像，其中，输出像素存在于输入像素所在位置，存在于右下倾斜方向上彼此相邻的输入像素的连线所在位置，以及存在于右上倾斜方向上彼此相邻的输入像素的连线所在位置。

在这种情况下，在图20所示图像转换装置200中，输入图像被转换为输出图像，在该输出图像中，在右下倾斜方向和右上倾斜方向上的像素数量是输入图像的像素数量的两倍。

例如，抽头选择单元62G（图20）使用最接近目标像素（与该目标像素相对应的输入图像的位置）的G输入像素（在下文中也称为对应G输入像素）作为基准，来选择被设为目标像素的用于G的预测抽头的输入像素。

图23A示出了在通常模式下用于G的预测抽头的配置示例。

在这里，与图8所示图像转换装置60的方式相同，在图20所示图像转换装置200中，作为预测抽头的选择模式有通常模式和大动态范围模式。

在来自动态范围检测单元201的G分量的动态范围信息表示了用于目标像素的G分量的局部动态范围（G分量的简单动态范围或G分量的标准化动态范围）不大的情况下，抽头选择单元62G将预测抽头的选择模式设定为通常模式，并选择预测抽头（设定为预测抽头的输入像素）。

在来自动态范围检测单元201的G分量的动态范围信息表示了用于目标像素的G分量的局部动态范围较大的情况下，抽头选择单元62G将预测抽头的选择模式设定为大动态范围模式，并选择预测抽头。

在通常模式下，抽头选择单元62G选择在通常模式下为预测抽头的输入像素。

换言之，在通常模式下，例如，如图23A所示，可选择G输入像素作为用于G的预测抽头，这种G输入像素是以对应G输入像素为中心的3×3（水平×垂直）、即总共9个像素。

图23B示出了在大动态范围模式下用于G的预测抽头的配置示例。

在大动态范围模式下，抽头选择单元62G改变预测抽头的数量使之少于通常模式的情况，并选择在大动态范围模式下被设为预测抽头的输入像素。

在图23B中，在大动态范围模式下用于G的预测抽头的数量例如为4个像素，该数量少于通常模式下用于G的预测抽头的数量（9个像素）。

在大动态范围模式下，如图23B所示，将目标像素的对应G输入像素用作基准，可选择具有2×2（水平×垂直）个像素（包含与对应G输入像素的左上部、上部和左部相邻的G输入像素和对应G输入像素）的G输入像素，作为用于G的预测抽头。

如上所述，在用于目标像素的G分量的局部动态范围不大的情况下，例如，将特定数量的G输入像素（在对应G输入像素的周围的3×3个像素）选择作为在通常模式下用于G的预测抽头，并且在用于目标像素的G分量的局部动态范围较大的情况下，数量（抽头数量）上少于通常模式的情况的G输入像素（在对应G输入像素的周围具有2×2个像素）（其区域更窄且接近对应G输入像素）被选择作为在大动态范围模式下用于G的预测抽头，于是，与图8所示图像转换装置60相同的方式，可防止由于发生圆圈引起的图像质量下降，并可以获得具有锐度的G输出图像。

图24A和24B是示出了由图20中的抽头选择单元63G选择的类别抽头（下文中也称为用于G的类别抽头）的配置示例的示意图。

与图23A和23B所示抽头选择单元62G的示例的方式相同，抽头选择单元63G基于来自动态检测单元201的G分量的动态范围信息，将类别抽头的选择模式设定为通常模式或大动态范围模式，并选择类别抽头。

图24A示出了通常模式下用于G的类别抽头的配置示例。

在通常模式下，例如，如图24A所示，可选择一共13个输入像素作为用于G的类别抽头，这13个输入像素包括：3×3（水平×垂直）个以对应G输入像素为中心的输入像素、以及位于具有3×3个像素的G输入像素所在区域中的两个R输入像素和两个B输入像素。

图24B示出了在大动态范围模式下用于G的类别抽头的配置示例。

在大动态范围模式下，如图24B所示，与图23B中用于G的预测抽头的示例的方式相同，将对应G输入像素用作基准，可选择G输入像素作为用于G的类别抽头，该G输入像素是包括对应G输入像素的2×2个、即4个像素，该数量少于通常模式下的13个像素。

图25A和25B是示出了由图20中的抽头选择单元62R选择的预测抽头（下文中也称为用于R的预测抽头）的配置示例的示意图。

例如，抽头选择单元62R（图20）使用最接近目标像素（与该目标像素相对应的输入图像的位置）的输入像素（在下文中也被称为对应R输入像素）或对应G输入像素作为基准，选择被设为目标像素的用于R的预测抽头的输入像素。

图25A示出了在通常模式下用于R的预测抽头的配置示例。

在来自动态范围检测单元201的R分量的动态范围信息表示用于目标像素的R分量的局部动态范围（R分量的简单动态范围或R分量的标准化动态范围）不大的情况下，抽头选择单元62R将预测抽头的选择模式设定为通常模式，并选择预测抽头（设定为预测抽头的输入像素）。

在来自动态范围检测单元201的R分量的动态范围信息表示用于目标像素的R分量的局部动态范围较大的情况下，抽头选择单元62R将预测抽头的选择模式设定为大动态范围模式，并选择预测抽头。

在通常模式下，抽头选择单元62R选择在通常模式下为预测抽头的输入像素。

换言之，在通常模式下，例如，如图25A所示，可选择一共5个R输入像素作为用于R的预测抽头，这5个R输入像素包括与对应R输入像素的左上部、右上部、左下部和右下部相邻的4个R输入像素以及与对应R输入像素的右部相邻的1个R输入像素。

图25B示出了在大动态范围模式下的用于R的预测抽头的配置示例。

在大动态范围模式下，抽头选择单元62R改变预测抽头的数量使之少于通常模式的情况，并选择在大动态范围模式下被设为预测抽头的输入像素。

在图25B中，在大动态范围模式下用于R的预测抽头的数量例如为2个像素，该数量少于通常模式下用于R的预测抽头的数量（5个像素）。

换言之，在大动态范围模式下，例如，如图25B所示，将目标像素的对应G输入像素作为基准，可选择与对应G输入像素的左上部和右下部相邻的R输入像素作为用于R的预测抽头。

如上所述，在用于目标像素的R分量的局部动态范围不大的情况下，例如，选择特定数量的R输入像素（在对应R输入像素周围的5个像素）作为在通常模式下用于R的预测抽头，并且在用于目标像素的R分量的局部动态范围较大的情况下，可选择数量（抽头数量）少于通常模式的情况、在对应G输入像素的周围具有2个输入像素的R输入像素（其区域更窄且接近对应G输入像素）作为大动态范围模式下用于R的预测抽头，于是，与图8所示图像转换装置60相同的方式，可防止由于发生圆圈引起的图像质量下降，并可以获得具有锐度的R输出图像。

图26A和26B是示出了由图20中的抽头选择单元63R选择的类别抽头（下文中也称为用于R的类别抽头）的配置示例的示意图。

与图25A和25B所示抽头选择单元62R的示例的方式相同，抽头选择单元63R基于来自动态检测单元201的R分量的动态范围信息将类别抽头的选择模式设定为通常模式或大动态范围模式，并选择类别抽头。

图26A示出了通常模式下用于R的类别抽头的配置示例。

在通常模式下，例如，如图26A所示，可选择一共13个输入像素作为用于R的类别抽头，这13个输入像素包括：以对应G输入像素为中心的3×3（水平×垂直）个G输入像素、以及位于具有3×3个像素的G输入像素的区域中的两个R输入像素和两个B输入像素。

图26B示出了在大动态范围模式下用于R的类别抽头的配置示例。

在大动态范围模式下，如图26B所示，与图25B中用于R的预测抽头的示例的方式相同，将对应G输入像素用作基准，可选择与对应G输入像素的左上部和右下部相邻的具有2个像素的R输入像素作为用于R的类别抽头，所述2个像素少于通常模式下的13个像素。

图27A和27B是示出了由图20中的抽头选择单元62B选择的预测抽头（下文中也称为用于B的预测抽头）的配置示例的示意图。

例如，抽头选择单元62B（图20）使用最接近目标像素（对应于目标像素的输入图像的位置）的B输入像素（在下文中也被称为对应B输入像素）或对应G输入像素作为基准，选择被设为目标像素的用于B的预测抽头的输入像素。

图27A示出了在通常模式下用于B的预测抽头的配置示例。

在来自动态范围检测单元201的B分量的动态范围信息表示用于目标像素的B分量的局部动态范围（B分量的简单动态范围或B分量的标准化动态范围）的大小不大的情况下，抽头选择单元62B将预测抽头的选择模式设定为通常模式，并选择预测抽头（设定为预测抽头的输入像素）。

在来自动态范围检测单元201的B分量的动态范围信息表示用于目标像素的B分量的局部动态范围的大小较大的情况下，抽头选择单元62B将预测抽头的选择模式设定为大动态范围模式，并选择预测抽头。

在通常模式下，抽头选择单元62B选择在通常模式下为预测抽头的输入像素。

换言之，在通常模式下，例如，如图27A所示，可选择一共5个输入像素作为用于B的预测抽头，这5个输入像素包含与对应B输入像素的左上部、右上部、左下部和右下部相邻的4个B输入像素和与对应B输入像素的左部相邻的1个B输入像素。

图27B示出了在大动态范围模式下用于B的预测抽头的配置示例。

在大动态范围模式下，抽头选择单元62B改变预测抽头的数量使之比通常模式的情况小，并选择在大动态范围模式下被设为预测抽头的输入像素。

在图27B中，在大动态范围模式下用于B的预测抽头的数量例如为2个像素，该数量比在通常模式下用于B的预测抽头的数量（5个像素）少。

换言之，在大动态范围模式下，例如，如图27B所示，将目标像素的对应G输入像素作为基准，可选择与对应G输入像素的右上部和左下部相邻的B输入像素作为用于B的预测抽头。

如上所述，在用于目标像素的B分量的局部动态范围不大的情况下，可选择特定数量的B输入像素（在对应B输入像素的周围的5个像素）作为在通常模式下用于B的预测抽头，并且在用于目标像素的B分量的局部动态范围较大的情况下，可选择数量（抽头数量）少于通常模式的情况、在对应G输入像素的周围具有2个像素的B输入像素（其具有接近于对应G输入像素且更狭窄的面积）作为在大动态范围模式下用于B的预测抽头，于是，与图8所示图像转换装置60相同的方式，可防止由于发生圆圈引起的图像质量下降，并可以获得具有锐度的B输出图像。

图28A和28B是示出了由图20中的抽头选择单元63B选择的类别抽头（下文中也称为用于B的类别抽头）的配置示例的示意图。

与图27A和27B所示抽头选择单元62B的示例的方式相同，抽头选择单元63B基于来自动态检测单元201的用于B分量的动态范围信息将类别抽头的选择模式设定为通常模式或大动态范围模式，并选择类别抽头。

图28A示出了通常模式下用于B的类别抽头的配置示例。

在通常模式下，例如，如图28A所示，可选择一共13个输入像素作为用于B的类别抽头，这13个输入像素包括：以对应G输入像素为中心的具有3×3（水平×垂直）个像素的G输入像素，以及位于具有3×3个像素的G输入像素的区域中的两个B输入像素和两个R输入像素。

图28B示出了在大动态范围模式下用于B的类别抽头的配置示例。

在大动态范围模式下，如图28B所示，与图27B中用于B的预测抽头的示例的方式相同，通过将对应G输入像素作为基准，可选择与对应G输入像素的左下部和右上部相邻的具有2个像素（该数量少于通常模式下的13个像素）的B输入像素作为用于B的类别抽头。

如图23A～28B所示，在配置预测抽头和类别抽头的情况下，图23A和23B中的用于G的预测抽头中仅包括G输入像素，而不包括R输入像素和B输入像素。此外，图25A和25B中用于R的预测抽头中仅包括R输入像素，而不包括G输入像素和B输入像素，图25A和25B中用于B的预测抽头中仅包括B输入像素，而不包括G输入像素和R输入像素。

在这种情况下，如图20所述，在配置图像转换单元200时可不用设置用于执行用于G的预测抽头的水平转换的水平转换单元206G、用于执行用于R的预测抽头的水平转换的水平转换单元206R以及用于执行用于B的预测抽头的水平转换的水平转换单元206B。

分类单元64G的配置示例

图29是示出了图20中分类单元64G的配置示例的框图。

在图29中，与图13所示分类单元64相对应的部件使用相同的附图标记表示，下文将适当省略对其的描述。

图20中的分类单元64R和64B以与分类单元64G相同的方式配置。

在图29中，与图13中的分类单元64相同，分类单元64G包括ADRC处理单元91。然而，分类单元64G与图13中的分类单元64的不同之处在于：新设置了阈值处理单元211，并设置了类别代码生成单元212来代替类别代码生成单元92。

将输入图像的灰度转换值从灰度转换单元204提供给阈值处理单元211。

阈值处理单元211对来自灰度转换单元204的灰度转换值进行阈值处理，并于是将表示了灰度转换值的大小的灰度转换值信息提供给类别代码生成单元212。

换言之，例如，阈值处理单元211将来自灰度转换单元204的灰度转换值与预定的阈值进行比较，并将表示灰度转换值是否大于预定阈值的1位作为灰度转换值信息提供给类别代码生成单元212。

阈值处理单元211可将灰度转换值分别与多个阈值进行比较，并将表示了比较结果的信息（即表示灰度转换值（的大小）的多个位）作为灰度转换值信息提供给类别代码生成单元212。

不仅将阈值处理单元211提供的灰度转换值信息提供给类别代码生成单元212，还将通过执行（用于G的）类别抽头的ADRC获得的ADRC代码从ADRC处理单元91提供给类别代码生成单元212。

在这里，将G分量的动态范围信息从动态范围检测单元201提供给ADRC处理单元91，将用于G的类别抽头从抽头选择单元63G通过水平转换单元205G提供给ADRC处理单元91。

如图13所述，在（G分量的）动态范围信息表示用于目标像素的（G分量的）局部动态范围不大的情况下，ADRC处理单元91将分类模式设定为通常模式，并执行1位ADRC，其中，ADRC的位数为预定的位数（例如为1位）。

在动态范围信息表示用于目标像素的局部动态范围较大的情况下，ADRC处理单元91将分类模式设定为大动态范围模式，并执行ADRC（例如，4位ADRC），其中位数比通常模式下大。

在这种情况下，例如，在通常模式下，当对以如图24A所示13个像素作为目标的用于G的类别抽头执行1位ADRC时，可获得具有13位的ADRC代码。

如上所述，在通常模式下，在获得具有13位的ADRC代码的情况下，在大动态范围模式下对以如图24B所示4个像素为目标的用于G的类别抽头执行的ADRC中，可对如图24B所示4个像素的作为类别抽头的输入像素中的对应输入像素（对应G输入像素）执行4位ADRC，并可对余下的3个像素的输入像素执行3位ADRC。

在这种情况下，即使在大动态范围模式下，由于可以与通常模式下相同的方式来获得具有13位（=4+3+3+3位）的ADRC代码，所以，在通常模式下用于储存抽头系数的存储空间与在大动态范围模式下用于储存抽头系数的存储空间也会相互一致。

如图26A和26B或图28A和28B所示，在使用13个输入像素构成在通常模式下的类别抽头，使用2个输入像素（这少于通常模式下的13个像素）构成在大动态范围模式下的类别抽头的情况下，例如，当在通常模式下执行1位ADRC时，在大动态范围模式下，为作为类别抽头的2个输入像素之一执行7位ADRC，为其中的另一个输入像素执行6位ADRC，因此，在通常模式下用于储存抽头系数的存储空间与在大动态范围模式下用于储存抽头系数的存储空间可相互一致。

如上所述，不仅将由阈值处理单元211提供的灰度转换值信息和通过为ADRC处理单元91提供的（用于G的）类别抽头执行ADRC而获得ADRC代码提供给类别代码生成单元212，也将（用于G的）动态范围信息也从动态范围检测单元201（图20）提供给类别代码生成单元212。

类别代码生成单元212生成代码作为表示目标像素的类别的类别代码，该代码是通过将来自动态范围检测单元201的动态范围信息和来自阈值处理单元211的灰度转换值信息加算到来自ADRC处理单元91的ADRC代码而获得的，并将该代码提供给系数输出单元65G（图20）。

在这里，如图20所述，从灰度转换单元204（图20）提供给阈值处理单元211的灰度转换值是通过对输入像素（的对应位置像素值计算区域中的作为对人具有高敏感性的仅仅G输入像素的像素值的G分量的平均值）执行对数运算（作为灰度转换）而获得的值。

通过使用上述灰度转换值（表示灰度转换值大小的灰度转换值信息）以执行分类以生成类别代码，可抑制由图像传感器52（图7）生成的光学散粒噪声（optical shot noise）所引起的输出图像的图像质量下降。

换言之，在不使用灰度转换值生成类别代码的分类中，当光学散粒噪声的噪声分量包含在输入图像中时，通过执行输入图像的图像转换处理而获得的输出图像是高频被强调和具有锐度的图像，但同时也是具有放大的光学散粒噪声的噪声分量的图像。

同时，图像传感器52生成的光学散粒噪声具有与输入至图像传感器52的光强度的对数成比例增加的性质。

在这里，通过使用对输入图像进行对数运算而获得的灰度转换值进行分类，可对目标像素进行分类使其很好地适合于光学散粒噪声的性质，并使用通过该分类获得的目标像素的类别的抽头系数执行预测运算。

因此，在图像转换装置200中，可获得抑制了由图像传感器52（图7）生成的光学散粒噪声所引起的图像质量下降（此外，图像质量下降还取决于像素的亮度）的输出图像。

如上所述，根据图像转换装置200，作为单板式图像的输入图像（经过去马赛克处理）可显影为其中抑制了由圆圈或光学散粒噪声引起的图像质量下降的包括G输出图像、R输出图像和B输出图像以及具有锐度的高图像质量的输出图像，换言之，可显影为包括作为各个像素的像素值的G分量、R分量和B分量的具有高图像质量的输出图像。

在分类单元64R中，将R分量的动态范围信息从动态范围检测单元201提供给ADRC处理单元91，将用于R的类别抽头从抽头选择单元63R通过水平转换单元205R提供给ADRC处理单元91。此外，将R分量的动态范围信息从动态范围检测单元201提供给类别代码生成单元212，在下文中，执行了与上述分类单元64G的示例相同的处理。

在分类单元64B中，将B分量的动态范围信息从动态范围检测单元201提供给ADRC处理单元91，将用于B的类别抽头从抽头选择单元63B通过水平转换单元205B提供给ADRC处理单元91。此外，将B分量的动态范围信息从动态范围检测单元201提供给类别代码生成单元212，在下文中，执行了与上述分类单元64G的示例相同的处理。

图像转换装置200执行的图像转换处理

图30是示出了由图20所示图像转换装置200执行的图像转换处理的示例的流程图。

在下文中，引入变量Q作为表示R、G和B中任一个或者所有的变量，并且R、G和B使用变量Q来表示。例如，所有或各个抽头选择单元62G、62R和62B表示为抽头选择单元62Q。

在步骤S51中，目标像素选择单元11从相对于输入到图像转换装置200的输入图像用于构成输出图像的像素（输出像素）中，选择还不是目标像素的一个像素作为目标像素，该处理进行到步骤S52。

在步骤S52中，与图8所示动态范围检测单元61的方式相同，动态范围检测单元201使用输入到其中的输入像素来检测目标像素的Q分量的动态范围信息，并将该动态范围信息提供给抽头选择单元62Q和63Q以及分类单元64Q。

此外，在步骤S52中，如图22所示，代表值计算单元202使用提供给它的输入图像来计算目标像素的Q代表值（G代表值、R代表值和B代表值），并将该Q代表值提供给水平转换单元205Q和206Q。

在步骤S52中，平均值计算单元203使用提供给它的输入图像来获取接近与目标像素相对应的输入像素所在位置的多个R输入像素的像素值（R分量）的平均值作为对应位置像素值，并将该平均值提供给灰度转换单元204。

灰度转换单元204执行来自平均值计算单元203的对应位置像素值的对数运算以作为输入图像的灰度转换，并将由此得到的灰度转换值提供给分类单元64Q，该处理从步骤S52进行到步骤S53。

在步骤S53中，如图23A和23B、图25A和25B以及图27A和27B所述，抽头选择单元62Q从提供给它的输入图像中，基于来自动态范围检测单元201的Q分量的动态范围信息选择作为用于目标像素的预测抽头的输入像素，并将该像素输入到水平转换单元206Q。

此外，在步骤S53中，如图24A和24B、图26A和26B以及图28A和28B所述，抽头选择单元63Q从提供给它的输入图像中，基于来自动态范围检测单元201的Q分量的动态范围信息选择作为用于目标像素的类别抽头的输入像素，并将该像素提供给水平转换单元205Q，该处理进行到步骤S54。

在步骤S54中，水平转换单元205Q对来自抽头选择单元63Q的类别抽头执行水平转换，并将水平转换后的类别抽头提供给分类单元64Q。

此外，在步骤S54中，水平转换单元206Q对来自抽头选择单元62Q的预测抽头执行水平转换，并将水平转换后的预测抽头提供给预测运算单元66Q，该步骤进行到步骤S55。

在步骤S55中，如图29所示，分类单元64Q基于来自动态范围检测单元201的Q分量的动态范围信息，并使用动态范围信息、来自灰度转换单元204的灰度转换值和来自水平转换单元205Q的类别抽头对目标像素（的Q分量）进行分类。

此外，分类单元64Q将表示了通过分类得到的目标像素的类别的类别代码输出到系数输出单元65Q，该处理从步骤S55进行到步骤S56。

在步骤S56中，系数输出单元65Q获取并输出储存在与来自分类单元64Q的类别代码（表示了目标像素的Q分量的类别）相对应的地址处的抽头系数。此外，在步骤S56中，预测运算单元66Q获取由系数输出单元65Q输出的抽头系数，该处理进行到步骤S57。

在步骤S57中，预测运算单元66Q使用抽头选择单元206Q输出的预测抽头和从系数输出单元65Q获取的抽头系数来执行方程（1）的预测运算。于是，预测运算单元66Q获取并输出作为目标像素的像素值的Q分量，该处理进行到步骤S58。

在步骤S58中，目标像素选择单元11判断是否存在还不是目标像素的输出像素。在步骤S58中，在确定了存在还不是目标像素的输出像素的情况下，该处理返回至步骤S51，随后的处理以上面描述的相同方式进行。

在步骤S58中，在确定了不存在还不是目标像素的输出像素的情况下，该处理结束。

学习装置的配置示例

图31是示出了学习装置的配置示例的框图，该学习装置执行学习以获取储存在图20的系数输出单元65Q（65G、65R和65B）中的抽头系数。

在图31所示学习装置300中，与图16所示学习装置100相对应的部件用相同的附图标记表示，下文中将适当省略对其的描述。

与图16所示学习装置100相同，图31所示学习装置300包括学习图像储存单元31～学生数据储存单元35。然而，图31所示学习装置300与图16所示学习装置100的不同之处在于：其包括学习单元301而不是学习单元101。

在图31中，例如，学习图像储存单元31储存具有高分辨率的高质量图像，该该质量图像包括各个像素的三种颜色分量（G分量、R分量和B分量），并与通过图20所示图像转换装置200获得的输出图像相对应。

教师数据生成单元32将储存在学习图像储存单元31中的学习图像原样地提供给教师数据储存单元33作为教师图像，并将该教师图像储存在教师数据储存单元33中。

在本实施例中，学生数据生成单元34通过对储存在学习图像储存单元31中的学习图像进行缩减和滤波，并通过进一步缩减各个像素的三种颜色分量中的两种分量来生成作为单板式图像的输入图像，即生成比教师数据具有更低分辨率和锐度的学生图像，并将该学生数据提供给学生数据储存单元35以储存在其中。

通过建立并解算各个类别的方程（8）的标准方程，学习单元301使用上述教师图像和学生图像来获取各个类别的抽头系数。

学习单元301的配置示例

图32是示出了图31所示学习单元301的配置示例的框图。

在该图中，与图17所示学习单元101相对应的部件使用相同的附图标记表示，下文将适当省略对其的描述。

在图32中，将储存在教师数据储存单元33（图31）中的教师图像提供给加算单元45Q。

此外，将储存在学生输入储存单元35（图31）中的学生图像提供给抽头选择单元1123Q和113Q、动态范围检测单元311、代表值计算单元312和平均值计算单元313。

不仅将教师数据储存单元33提供的教师图像提供给加算单元45Q，还将（表示了）目标像素的（Q分量的）类别（的类别代码）从分类单元114Q提供给加算单元45Q，还将目标像素的用于Q的预测抽头从水平转换单元316Q提供给加算单元45Q。

与图17中的加算单元45的方式相同，对于分类单元114Q提供的各个类别代码，加算单元45Q在来自教师数据储存单元33的教师数据中，使用目标像素和构成来自水平转换单元316Q的目标像素的预测抽头的学生图像的像素（的像素值）作为目标进行加算。

此外，与图17中的加算单元45的方式相同，加算单元45Q通过将储存在教师数据储存单元33（图3）中的教师图像的所有像素设定为目标像素来执行上述加算，以便为各个类别建立如方程（8）中所示的标准方程，接着将该标准方程提供给抽头系数计算单元46Q。

与图17中的抽头系数计算单元46的方式相同，抽头系数计算单元46Q通过解算由加算单元45Q提供的各个类别的标准方程，获取并输出用于各个类别的Q分量的抽头系数，即获取并输出用于预测将Q分量作为像素值的Q输出图像（G输出图像、R输出图像和B输出图像）的抽头系数。

以与图20中的抽头选择单元62Q相同的方式，抽头选择单元112Q从用于目标像素的学生图像中选择被设为用于Q的预测抽头的像素（的像素值），并将该像素提供给水平转换单元316Q。

将Q分量的动态范围信息从动态范围检测单元311提供给抽头选择单元112Q。

以与图20中的抽头选择单元62Q相同的方式，抽头选择单元112Q基于来自动态范围检测单元311的Q分量的动态范围信息来改变作为被设为预测抽头的像素数量的抽头数量。

以与图20中的抽头选择单元63Q相同的方式，抽头选择单元113Q从用于目标像素的学生图像中选择被设为用于Q的类别抽头的像素（的像素值），并将该像素提供给水平转换单元315Q。

将Q分量的动态范围信息从动态范围检测单元311提供给抽头选择单元113Q。

以与图20中的抽头选择单元62Q相同的方式，抽头选择单元113Q基于来自动态范围检测单元311的Q分量的动态范围信息来改变作为被设为类别抽头的像素数量的抽头数量。

将Q分量的动态信息从动态范围检测单元311提供给分类单元114Q，将用于Q的类别抽头从水平转换单元315Q提供给分类单元114Q。此外，将灰度转换值从灰度转换单元314提供给分类单元114Q。

分类单元114Q使用Q分量的动态范围信息、用于Q的类别抽头和灰度转换值来执行与图20中的分类单元64Q相同的分类，并将由此得到的与目标像素（Q分量的）的类别相对应的类别代码提供给加算单元45Q。

以与图20中的分类单元64Q相同的方式，分类单元114Q基于来自动态范围检测单元311的Q分量的动态范围信息来改变作为分类所用的预定规则的ADRC的位数。

以与图20中的动态范围检测单元201相同的方式，对于选自目标像素选择单元41中的教师图像中的目标像素，动态范围检测单元311检测Q分量的动态范围信息，并将动态范围信息提供给抽头选择单元112Q和113Q以及分类单元114Q。

以与图20中的代表值计算单元202相同的方式，代表值计算单元312从提供给它的输入图像中计算目标像素的Q代表值（G代表值、R代表值和B代表值），并将Q代表值提供给水平转换单元315Q和水平转换单元316Q。

以与图20中的平均值计算单元203相同的方式，平均值计算单元313获取R分量的平均值作为对应位置像素值，所述R分量的平均值作为接近与目标像素相对应的输入图像所在位置的多个输入像素的像素值，该对应位置像素值是与目标像素相对应的输入图像所在位置处的像素值，并将该平均值提供给灰度转换单元314。

以与图20中的灰度转换单元204相同的方式，灰度转换单元314例如对来自平均值计算单元313的与目标像素相对应的输入图像的位置处的像素值（的对应位置像素值）执行对数运算，以作为输入图像的灰度转换，并将由此得到的灰度转换值提供给分类单元114Q。

以与图20中的水平转换单元205Q相同的方式，水平转换单元315Q必要时使用来自代表值计算单元312的Q代表值，对来自抽头选择单元113Q的用于Q的类别抽头执行水平转换，并将水平转换后的类别抽头提供给分类单元114Q。

以与图20中的水平转换单元206Q相同的方式，水平转换单元316Q必要时使用来自代表值计算单元312的Q代表值，对来自抽头选择单元112Q的用于Q的预测抽头执行水平转换，并将水平转换后的预测抽头提供给加算单元45Q。

如图20中所述，在一些情况下不必在图像转换装置200中设置水平转换单元205Q或206Q。在图像转换装置200中不必设置水平转换单元205Q或206Q的情况下，在学***转换单元205Q或206Q相对应的图32所示的水平转换单元315Q或316Q。

学习装置300的学习处理

图33是示出了图31所示学习装置300的处理（学习处理）的流程图。

首先，在步骤S71中，教师数据生成单元32和学生数据生成单元34从储存在学习图像储存单元31中的学习图像中生成教师图像（教师数据）和学生图像（学生数据），并将这些图像提供给教师数据储存单元33和学生数据储存单元35以分别将其储存在教师数据储存单元33和学生数据储存单元35中。

在这之后，该处理进行到步骤S72。在学习单元301中，目标像素选择单元41从储存在教师数据储存单元33中的教师图像的像素中选择还未被设为目标像素的像素作为目标像素，接着该处理进行到步骤S73。

在步骤S73中，以与图20中的动态范围检测单元201相同的方式，动态范围检测单元311使用储存在学生数据储存单元35中的学生图像来检测用于目标像素的Q分量的动态范围信息，并将该动态范围信息提供给抽头选择单元112Q和113Q以及分类单元114Q。

此外，在步骤S73中，以与图20中的代表值计算单元202相同的方式，代表值计算单元312使用储存在学生数据储存单元35中的学生图像来计算用于目标像素的Q代表值，并将Q代表值提供给水平转换单元315Q和316Q。

在步骤S73中，以与图20中的平均值计算单元203相同的方式，平均值计算单元313使用储存在学生数据储存单元35中的学生图像，获取接近与目标像素相对应的学生图像的位置处的多个G输入像素的像素值（G分量）的平均值作为对应位置像素值，并将该平均值提供给灰度转换单元314。

以与图20中的灰度转换单元204相同的方式，灰度转换单元314对来自平均值计算单元313的对应位置像素值执行对数运算，该对数运算是作为输入图像的灰度转换，并将由此得到的灰度转换值提供给分类单元114Q，该处理从步骤S73进行到步骤S74。

在步骤S74中，以与图20中的抽头选择单元62Q相同的方式，抽头选择单元112Q基于来自动态范围检测单元311的动态范围信息从储存在学生数据储存单元35中的学生图像中选择作为用于目标像素的预测抽头的像素，并将该像素提供给水平转换单元316Q。

此外，步骤S74中，以与图20中的抽头选择单元63Q相同的方式，抽头选择单元113Q基于来自动态范围检测单元311的动态范围信息从储存在学生数据储存单元35中的学生图像中选择作为用于目标像素的类别抽头的像素，并将该像素提供给水平转换单元315Q，该处理进行到步骤S75。

在步骤S75中，以与图20中的水平转换单元205Q相同的方式，水平转换单元315Q对来自抽头选择单元113Q的类别抽头执行水平转换，并将水平转换后的类别抽头提供给分类单元114Q。

此外，在步骤S75中，以与图20中的水平转换单元206Q相同的方式，水平转换单元316Q对来自抽头选择单元112Q的预测抽头执行水平转换，并将水平转换后的预测抽头提供给加算单元45Q，该处理进行到步骤S76。

在步骤S76中，以与图20中的分类单元64Q相同的方式，分类单元114Q基于来自动态范围检测单元311的Q分量的动态范围信息并使用动态范围信息、来自灰度转换单元314的灰度转换值和来自水平转换单元315Q的类别抽头对目标像素（的Q分量）进行分类。

此外，分类单元114Q将表示了通过分类获得的目标像素的类别的类别抽头输出到加算单元45Q，该处理从步骤S76进行到步骤S77。

在步骤S77中，对于分类单元114Q提供的各个类别代码，加算单元45Q将作为储存在教师数据储存单元33中的目标像素的教师图像的像素和作为由抽头选择单元112Q所提供的选择用于目标像素的预测抽头的学生图像的像素作为目标来执行方程（8）的加算，该处理进行到步骤S78。

在步骤S78中，目标像素选择单元41判断还没有被设为目标像素的教师图像的像素是否储存在教师数据储存单元33（图31）中。在步骤S78中确定了还没有被设为目标像素的教师图像的像素储存在教师数据储存的单元33中的情况下，该处理返回至步骤S72，随后的处理以与上面描述的处理相同的处理重复进行。

在步骤S78中确定了还没有被设为目标像素的教师图像的像素没有储存在教师数据储存单元33中的情况下，加算单元45Q将在步骤S72～S77中获得的各个类别的方程（8）的左侧上的矩阵和其右侧上的矢量提供给抽头系数计算单元46Q，该处理进行到步骤S79。

在步骤S79中，抽头系数计算单元46Q通过解算用于各个类别的（由加算单元45提供的各个类别的方程（8）的左侧上的矩阵和其右侧上的矢量构成）标准方程，获取并输出用于各个类别的Q分量的抽头系数，该处理结束。

在图20的图像转换装置200中，将通过上述学习处理而获取的用于Q分量的抽头系数储存在系数输出单元65Q中。换言之，将用于G分量的抽头系数储存在系数输出单元65G中，将用于R分量的抽头系数储存在系数输出单元65R中，将用于B的抽头系数储存在系数输出单元65B中。

应用了本发明的计算机的描述

接下来，可通过硬件或软件来执行上述一系列处理。在通过软件来执行这一系列处理的情况下，构成该软件的程序安装在通用计算机等中。

在这里，图34示出了安装有用于执行上述一系列处理的程序的计算机的实施例的配置示例。

该程序可预先记录到作为嵌入计算机的记录介质的硬盘405或ROM403。

或者，该程序可储存（记录）在可移除记录介质411上。这种可移除记录介质411可设置为所谓的打包软件。在这里可例如使用软盘、光盘只读存储器（CD-ROM）、磁光（MO）盘、数字化通用光盘（DVD）、磁盘、半导体存储器等作为可移除记录介质411。

除了可以从上述可移除记录介质411安装到计算机外，该程序也可通过通信网络或广播网络下载到计算机并安装到嵌入式硬盘405上。换言之，该程序可以无线的方式从一个下载地址传输到计算机，例如通过用于数字卫星广播的卫星传输到计算机，或者可以有线的方式通过比如局域网(LAN)或因特网传输到计算机。

计算机包括其中嵌入的中央处理单元（CPU）402，并且输入输出接口410通过总线401与CPU402连接。

如果由用户操控的输入单元407通过输入输出接口410输入指令，那么CPU402基于该指令执行储存在只读存储器（ROM）的程序。或者，CPU402将储存在硬盘405中的程序装载到随机存取存储器（RAM）404中并执行该程序。

于是，CPU402执行根据上述流程图的处理或执行由上述框图的配置所执行的处理。接着，CPU402必要时例如通过输入输出接口410从输出单元406输出处理结果、从通信单元408发送处理结果或者将处理结果记录到硬盘405。

输入单元407配置有键盘、鼠标或麦克风。输出单元406配置有液晶显示器（LCD）或扬声器。

在这里，在本说明书中，由计算机根据程序执行的处理不必根据流程图中所示顺序的时间序列来执行。换言之，由计算机根据程序执行的处理包括并行地或单独地执行的处理（例如，并行处理或由对象执行的处理）。

程序可由一个计算机（处理器）执行处理或可由多个计算机执行分布处理。可将程序传输至远程计算机后对其进行处理。

在本说明书中，***是指多个组成元件（装置、模块（元件）等）的组件，同一个外壳中不必包括所有的组成元件。于是，不管是容置在单独的外壳中并且通过网络相互连接的多个装置，还是将多个模块容置在一个外壳中的一个装置，均称为***。

本发明的实施例不限于上述实施例，在不超出本发明主旨的范围内，可进行多种变化。

例如，本发明可具有云计算的配置，该配置通过网络使用多个装置来分担并共同处理一个功能。

上述流程图中的各个步骤可由一个装置来处理，也可由多个装置来分担并处理。

在一个步骤包括多个处理的情况下，包含在一个步骤中的多个处理可由一个装置来处理，也可由多个装置来分担并处理。

在这些实施例中，使用了包括作为各个像素的像素值的三种颜色分量（RGB）中的任何一种颜色分量的图像作为单板式图像。然而，除此之外，还可使用包括4或5种颜色分量或者通过向三种颜色分量RGB中添加青色或黄色而获得的更多种作为各个像素的像素值的颜色分量的图像作为单板式图像。

除了数码相机外，本发明还可应用到例如用于编辑图像的应用中。

本发明可具有以下配置。

（1）一种图像处理设备，其包括：

预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

分类单元，其根据预定规则将所述目标像素分类为多个类别中的任意类别；

抽头系数输出单元，其从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

运算单元，其通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

动态范围检测单元，其检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，所述预测抽头选择单元基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

（2）根据（1）所述的图像处理设备，其中，所述分类单元基于所述动态范围信息改变所述预定规则。

（3）根据（2）所述的图像处理设备，其中，所述动态范围信息是表示标准化动态范围的信息，所述标准化动态范围是通过使用动态范围检测区域内的所述第一图像的像素的像素值的平均值、使得预定的动态范围检测区域内的所述第一图像的像素的像素值的最大值和最小值之间的差值标准化而获得的，所述预定的动态范围检测区域包括对应于所述目标像素的所述第一图像的位置。

（4）根据（2）所述的图像处理设备，其进一步包括：

类别抽头选择单元，其从所述第一图像中选择作为用于所述分类的类别抽头的像素；以及

灰度转换单元，其对所述第一图像进行灰度转换，

其中，所述分类单元利用所述类别抽头以及由对所述第一图像进行所述灰度转换所得到的灰度值而对所述目标像素进行分类。

（5）根据（2）所述的图像处理设备，

其中，所述第一图像对于各个像素包括作为像素值的多个颜色分量中的一个颜色分量，

所述第二图像对于各个像素包括作为像素值的所述多个颜色分量，以及

所述运算单元获取作为所述目标像素的像素值的所述多个颜色分量。

（6）根据（2）所述的图像处理设备，其中，所述预测抽头选择单元基于所述动态范围信息，在动态范围较大时使预测抽头的数量较小。

（7）根据（2）所述的图像处理设备，其进一步包括：

类别抽头选择单元，其从所述第一图像中选择作为用于所述分类的类别抽头的像素，

其中，所述分类单元：

通过执行使所述类别抽头的各个像素的像素值量化为预定位数的适应动态范围编码来对所述目标像素进行分类，以及

基于所述动态范围信息，在动态范围较大时使所述适应动态范围编码的所述预定位数较大。

（8）一种图像处理方法，其包括：

从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

根据预定规则将所述目标像素分类为多个类别中的任意类别；

从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，在选择所述像素时，基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

（9）一种程序，其使得计算机用作：

预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

分类单元，其根据预定规则将所述目标像素分类为多个类别中的任意类别；

抽头系数输出单元，其从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

运算单元，其通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

动态范围检测单元，其检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，所述预测抽头选择单元基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

本领域的技术人员应理解，根据本发明所附权利要求或其等同物的保护范围内的设计要求和其它因素，本发明可具有各种修改、组合、子组合和变更。

相关文件的交叉引用

本申请要求于2013年3月29日提交的日本专利申请JP2013-071167的优先权，其全部内容以引用的方式并入本文。

Claims (9)

1.一种图像处理设备，其包括：

预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

分类单元，其根据预定规则将所述目标像素分类为多个类别中的任意类别；

抽头系数输出单元，其从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

运算单元，其通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

动态范围检测单元，其检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，所述预测抽头选择单元基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

2.根据权利要求1所述的图像处理设备，其中，所述分类单元基于所述动态范围信息改变所述预定规则。

3.根据权利要求2所述的图像处理设备，其中，所述动态范围信息是表示标准化动态范围的信息，所述标准化动态范围是通过使用预定动态范围检测区域内的所述第一图像的像素的像素值的平均值、使得所述预定动态范围检测区域内的所述第一图像的像素的像素值的最大值和最小值之间的差值标准化而获得的，所述预定动态范围检测区域包括对应于所述目标像素的所述第一图像的位置。

4.根据权利要求2所述的图像处理设备，其进一步包括：

类别抽头选择单元，其从所述第一图像中选择作为用于所述分类的类别抽头的像素；以及

灰度转换单元，其对所述第一图像进行灰度转换，

其中，所述分类单元利用所述类别抽头以及由对所述第一图像进行所述灰度转换所得到的灰度值而对所述目标像素进行分类。

5.根据权利要求2所述的图像处理设备，

其中，所述第一图像对于各个像素包括作为像素值的多个颜色分量中的一个颜色分量，

所述第二图像对于各个像素包括作为像素值的所述多个颜色分量，以及

所述运算单元获取作为所述目标像素的像素值的所述多个颜色分量。

6.根据权利要求2所述的图像处理设备，其中，所述预测抽头选择单元基于所述动态范围信息，在动态范围较大时使预测抽头的数量较小。

7.根据权利要求2所述的图像处理设备，其进一步包括：

类别抽头选择单元，其从所述第一图像中选择作为用于所述分类的类别抽头的像素，

其中，所述分类单元：

通过执行使所述类别抽头的各个像素的像素值量化为预定位数的适应动态范围编码来对所述目标像素进行分类，以及

基于所述动态范围信息，在动态范围较大时使所述适应动态范围编码的所述预定位数较大。

8.一种图像处理方法，其包括：

从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

根据预定规则将所述目标像素分类为多个类别中的任意类别；

从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，在选择所述像素时，基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。

9.一种程序，其使得计算机用作：

预测抽头选择单元，其从第一图像中选择作为用于预测运算的预测抽头的像素，所述预测运算用于从通过转换所述第一图像而获得的第二图像中获取作为目标的目标像素的像素值；

分类单元，其根据预定规则将所述目标像素分类为多个类别中的任意类别；

抽头系数输出单元，其从通过使采用对应于所述第一图像的学生图像的预测运算的结果与对应于所述第二图像的教师图像之间的误差最小化的学习而获取的、所述多个类别中的每一个的用于所述预测运算的抽头系数中，输出所述目标像素的类别的抽头系数；

运算单元，其通过使用所述目标像素的类别的抽头系数和所述目标像素的预测抽头，执行所述预测运算来获取所述目标像素的像素值；以及

动态范围检测单元，其检测动态范围信息，所述动态范围信息表示对应于所述目标像素的所述第一图像的位置的局部动态范围，

其中，所述预测抽头选择单元基于所述动态范围信息改变抽头的数量，所述抽头的数量是作为所述预测抽头的像素的数量。