CN103765876A

CN103765876A - 图像处理设备以及图像处理方法和程序

Info

Publication number: CN103765876A
Application number: CN201280040908.4A
Authority: CN
Inventors: 馆真透
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-08-31
Filing date: 2012-06-29
Publication date: 2014-04-30
Also published as: BR112014004125A2; WO2013031367A1; US20140253808A1; US9179113B2; RU2014106537A; JP2013066146A; EP2753082A1

Abstract

本发明提供了一种用于执行涉及转换成不同像素阵列的图像的重排马赛克处理的设备和方法。将其中排列了由相同颜色的多个像素组成的像素块的马赛克图像作为输入图像进行输入，并且执行将输入图像的像素阵列转换成不同的像素阵列的重排马赛克处理。在该重排马赛克处理中，从输入图像的组成像素中，在作为颜色转换的目标的转换目标像素位置处检测八个方向上的像素值梯度，并且基于该八个方向上的像素值梯度，确定针对转换目标像素的内插像素值计算模式，并且根据因此而确定的处理模式来计算转换目标像素位置的内插像素值。例如，具有四部分拜耳RGB阵列的图像将被转换成拜耳阵列，在该四部分拜耳RGB阵列中，针对拜耳RGB阵列的每个颜色排列了2×2像素单元。

Description

图像处理设备以及图像处理方法和程序

技术领域

本公开内容涉及一种图像处理设备以及图像处理方法和程序，特别地，涉及一种执行针对图像的重排马赛克处理的图像处理设备以及图像处理方法和程序。

背景技术

诸如数码相机这样的成像设备中使用的成像元件被配置成使得在其上安装例如由RGB阵列组成的滤色器，且特定波长的光入射在像素上。

具体而言，经常使用例如具有拜耳（Bayer）阵列的滤色器。

拜耳阵列捕获的图像是被称为马赛克图像的图像，其中只有对应于任何RGB颜色的像素值被设定到成像元件的像素。照相机的信号处理单元执行去马赛克处理等，在其中关于该马赛克图像执行各种信号处理比如像素值内插并且将针对RGB的所有像素值设定到像素，并且生成和输出彩色图像。

已经进行了很多关于用于为其提供根据该拜耳阵列的滤色器的捕获的图像的信号处理的研究，并且可以说在某种程度上已经在技术上建立了该信号处理。然而，目前，还没有对关于针对具有与拜耳阵列不同的阵列的图像的信号处理进行足够的研究。

一般的照相机中的信号处理的执行经常被设定成关于拜耳阵列图像来执行，并且如果成像元件的像素阵列是与拜耳阵列不同的阵列，那么可以通过将从成像元件输入的图像的像素阵列转换成拜耳阵列并且将其输入照相机信号处理单元来应用公知的信号处理。

因此，关于除了拜耳阵列之外的像素阵列的捕获的图像，优选地在输入到照相机信号处理单元之前执行作为初步处理的用于将来自成像元件的输入图像转换成拜耳阵列的处理。这种类型的像素阵列转换处理被称为“重排马赛克处理”。然而，有针对成像元件像素阵列的各种阵列，并且没有充分公开关于这些各种像素阵列的最佳重排马赛克处理的常规技术。

应该注意的是在例如专利文献2（JP11-29880A）和专利文献3（JP2000-69491A）中描述了具有与拜耳阵列不同的阵列的配置。

在这些专利文献2和3中，实现了如下设置：多个相同颜色的像素，例如具有2×2像素的R像素、具有2×2像素的G像素以及具有2×2像素的B像素布置在成像元件（图像传感器）中，具有相同颜色的2×2像素的组成像素被设定成不同的曝光时间，并且执行成像。专利文献2和专利文献3描述了其中借助于这种类型的图像传感器捕获的不同曝光时间的相同颜色的像素值进行合成，并且获得宽动态范围图像的配置。

然而，这些文献描述了基于多个不同曝光时间的像素值的合成生成宽动态范围图像，而没有公开关于重排马赛克处理的清楚的说明。

引用列表

专利文献

专利文献1：JP2011-055038A

专利文献2：JP11-29880A

专利文献3：JP2000-69491A

发明内容

本发明要解决的问题

本公开内容将如上所述的问题进行考虑，并且其目的是提供执行图像处理的图像处理设备和图像处理方法以及程序，特别是针对由设置了具有与拜耳阵列不同的阵列的滤色器的成像元件捕获的图像执行最佳重排马赛克处理的图像处理设备和图像处理方法以及程序。

问题的解决方案

本公开内容的第一方面是一种图像处理设备，该图像处理设备包括针对输入图像的像素信号执行校正处理的图像信号校正单元，

其中，所述图像信号校正单元输入马赛克图像作为所述输入图像，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

从所述输入图像的组成像素中，对颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测，

基于所述八个方向上的像素值梯度决定针对所述转换目标像素的内插像素值计算模式，以及

根据决定的处理模式计算针对所述转换目标像素位置的内插像素值。

此外，在本公开内容的图像处理设备的一个实施方式中，图像信号校正单元执行用于输入马赛克图像作为所述输入图像并且将所述输入图像的像素阵列转换成不同的像素阵列的重排马赛克处理，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

以及所述图像信号校正单元在所述重排马赛克处理中，

另外，在本公开内容的图像处理设备的实施方式中，图像信号校正单元执行用于将具有四部分拜耳型RGB阵列的图像作为所述输入图像进行输入、并且将所述输入图像转换成拜耳阵列的重排马赛克处理，在所述四部分拜耳型RGB阵列中拜耳型RGB阵列的各颜色被实现为2×2像素单元的阵列。

另外，在本公开内容的图像处理设备的实施方式中，图像信号校正单元执行下述处理：基于所述八个方向上的像素值梯度选择在具有小的梯度的方向上的像素作为参考像素，并且借助于选择的参考像素的像素值的混合处理来计算针对所述转换目标像素的内插像素值。

另外，在本公开内容的图像处理设备的实施方式中，在所述八个方向上的像素值梯度的最大值等于或小于预定阈值的情况下，所述图像信号校正单元执行如下处理：计算基于所述转换目标像素的周围像素的像素值的平滑后的信号作为针对所述转换目标像素的内插像素值。

另外，在本公开内容的图像处理设备的实施方式中，图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算至少一个方向上的梯度时，

计算其中应用了包括在所述输入图像中的相同颜色的像素的低频分量梯度信息，

其中应用了包括在所述输入图像中的相同颜色的像素的高频分量梯度信息，以及

其中应用了包括在所述输入图像中的不同颜色的像素的不同颜色分量梯度信息，并且通过将所述三项梯度信息进行加权求和来计算像素值梯度。

另外，在本公开内容的图像处理设备的实施方式中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算至少一个方向上的梯度时，

计算其中应用了包括在所述输入图像中的相同颜色的像素的低频分量梯度，

其中应用了包括在所述输入图像中的相同颜色的像素的高频分量梯度，以及

其中应用了包括在所述输入图像中的相同颜色的像素的中频分量梯度，并且通过将所述三项梯度信息进行加权求和来计算像素值梯度。

计算其中应用了包括在所述输入图像中的相同颜色的像素的低频分量梯度，以及

其中应用了包括在所述输入图像中的相同颜色的像素的高频分量梯度，并且通过将所述两项梯度信息进行加权求和来计算像素值梯度。

另外，在本公开内容的图像处理设备的实施方式中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算垂直方向和水平方向上的梯度时，

其中应用了包括在所述输入图像中的不同颜色的像素的不同颜色分量梯度信息，并且通过将所述三项梯度信息进行加权求和来计算像素值梯度，

当计算右上方45度方向和右下方45度方向上的梯度时，

其中应用了包括在所述输入图像中的相同颜色的像素的中频分量梯度信息，并且通过将所述三项梯度信息进行加权求和来计算像素值梯度，

以及当计算右上方22.5度方向上的梯度、右下方22.5度方向上的梯度、右上方67.5度方向上的梯度以及右下方67.5度方向上的梯度时，

计算其中应用了包括在所述输入图像中的相同颜色的像素的低频分量梯度信息，以及

其中应用了包括在所述输入图像中的相同颜色的像素的高频分量梯度信息，并且通过将所述两项梯度信息进行加权求和来计算像素值梯度。

另外，在本公开内容的图像处理设备的实施方式中，图像信号校正单元执行内插像素值计算处理，在所述内插像素值计算处理中，根据由所述多个相同颜色的像素配置成的像素块的组成像素位置改变参考像素位置。

另外，本公开内容的第二方面是图像处理设备中执行的图像处理方法，

其中，所述图像信号校正单元输入马赛克图像作为输入图像，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

并且执行如下处理：从所述输入图像的组成像素中、对作为颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测，

用于基于所述八个方向上的像素值梯度决定针对所述转换目标像素的内插像素值计算模式的处理，以及

用于根据决定的处理模式计算针对所述转换目标像素位置的内插像素值的处理。

另外，本公开内容的第三方面是一种使图像处理设备中执行图像处理的程序，

其中，使图像信号校正单元输入马赛克图像作为输入图像，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

以及执行用于从所述输入图像的组成像素中对颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测的处理，

而且，本公开内容的程序是例如关于能够执行各种程序代码的信息处理设备或者计算机***以计算机可读的格式提供的可以借助于存储介质或者通信介质来提供的程序。通过提供计算机可读的格式的这种类型的程序，在信息处理设备或计算机***上实现了对应于程序的处理。

借助于基于下文中描述的本公开内容的实施方式的更详细的说明以及附图，本公开内容的另外的目的、特征以及优点将变得明显。应该注意的是本说明书中的***是多个设备的逻辑集合配置，并且不局限为同一外壳之内的组成设备。

本发明的效果

根据本公开内容的实施方式的配置，实现了用于执行用于进行转换成不同的像素阵列的图像的重排马赛克处理的设备和方法。

具体而言，执行了用于将其中排列了由多个相同颜色的像素配置成的像素块的马赛克图像作为输入图像进行输入，并且将输入图像的像素阵列转换成不同的像素阵列的的重排马赛克。在该重排马赛克处理中，从输入图像的组成像素中，在作为颜色转换处理的目标的转换目标像素位置处对八个方向上的像素值梯度进行检测，基于八个方向上的像素值梯度来决定针对转换目标像素的内插像素值计算模式，并且根据决定的处理模式来计算针对转换目标像素位置的内插像素值。例如，将具有其中拜耳型RGB阵列的颜色实现为2×2像素单元的阵列的四部分拜耳型RGB阵列的图像转换成拜耳阵列。

附图说明

图1是示出了成像元件的示例性配置的图。

图2是示出了图像处理设备的示例性配置的图。

图3是描绘了示出由本公开内容的图像处理设备执行的处理的流程图的图。

图4是描绘了示出由本公开内容的图像处理设备执行的处理的流程图的图。

图5是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图6是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图7是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图8是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图9是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图10是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图11是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图12是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图13是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图14是示出了由本公开内容的图像处理设备执行的方向确定处理的图。

图15是示出了由本公开内容的图像处理设备执行的G内插处理的图。

图16是示出了由本公开内容的图像处理设备执行的G内插处理的图。

图17是示出了由本公开内容的图像处理设备执行的G内插处理的图。

图18是示出了由本公开内容的图像处理设备执行的G内插处理的图。

图19是示出了由本公开内容的图像处理设备执行的RB估计处理的图。

具体实施方式

在下文中参考附图对本公开内容的图像处理设备以及图像处理方法和程序的详情进行描述。应该注意的是根据下述项目给出说明。

1.关于成像元件的示例性配置

2.关于图像处理设备的示例性配置

3.关于图像处理的特定示例

4.关于重排马赛克处理的详情

5.本公开内容的配置的概要

[1.关于成像元件的示例性配置]

参考图1对成像元件的示例性配置进行描述。图1描绘了下述三个成像元件的示例性配置。

（1）拜耳阵列

（2）四部分拜耳型RGB阵列

（3）RGBW型阵列

（1）拜耳阵列是很多照相机中采用的阵列，并且或多或少建立了针对具有滤色器的捕获的图像的信号处理，其中该滤色器具有该拜耳阵列。

然而，关于（2）四部分拜耳型RGB阵列和（3）RGBW型阵列，目前仍然不能说对关于针对由设置了这些滤色器的成像元件捕获的图像的信号处理进行了足够的研究。

应该注意的是（2）四部分拜耳型RGB阵列等同于（1）中描绘的拜耳阵列的单个R、G和B像素被设定成四个像素的阵列。

下文中对执行针对由成像元件捕获的图像的信号处理的图像处理设备进行描述，其中该成像元件设置了具有这种（2）四部分拜耳型RGB阵列的滤色器。

[2.关于图像处理设备的示例性配置]

图2描绘了作为本公开内容的图像处理设备的示例性配置的成像设备100的示例性配置。

如图2所示，成像设备100具有光学透镜105、成像元件（图像传感器）110、图像处理单元120、存储器130以及控制单元140。

应注意，图2中描绘的成像设备100是本公开内容的图像处理设备的示例，并且本公开内容的图像处理设备还包括诸如PC这样的设备。诸如PC这样的图像处理设备不具有图2中描绘的成像设备100的光学透镜105和成像元件110，而是由其他组成元件配置而成，并且是具有针对成像设备100获取的数据的输入单元或者具有存储单元的配置。

在下文中，作为本公开内容的图像处理设备的代表性示例描述图2中描绘的成像设备100。应注意，图2中描绘的成像设备100是静态照相机或者视频摄像机等。

图2中描绘的成像设备100的成像元件（图像传感器）110是设置了参考图1（2）描述的四部分拜耳型RGB阵列组成的滤色器的配置，并且是设置了具有下述三种类型的波谱特性的滤波器的成像元件：

透射近红色波长的红色（R），

透射近绿色波长的绿色（G），以及

透射近蓝色波长的蓝色（B）。

如前面所述，四部分拜耳型RGB阵列等于其中图1（1）中描绘的拜耳阵列的单个像素被设成四个像素的阵列。

具有这种四部分拜耳型RGB阵列181的成像元件110将任何RGB的光经由光学透镜105接收在像素单元中，并且借助于光电转换，生成并且输出对应于光接收信号强度的电信号。该成像元件110获得了由RGB三种类型的光谱形成的马赛克图像。

成像元件（图像传感器）110的输出信号被输入到图像处理单元120的图像信号校正单元200。

图像信号校正单元200执行将具有四部分拜耳型RGB阵列181的图像转换成通常的照相机中经常使用的拜耳阵列182的处理。

换言之，进行用于将具有图1（2）中描绘的四部分拜耳型RGB阵列的捕获的图像转换成图1（1）中描绘的拜耳阵列的处理。

在下文中，这种类型的颜色阵列转换处理被称为重排马赛克处理。

作为图像信号校正单元200中的重排马赛克处理的结果，生成具有图2中描绘的拜耳阵列182的图像，并且将该图像输入到RGB信号处理单元250。RGB信号处理单元250执行与设置有公知拜耳阵列滤色器的照相机中的信号处理单元的处理相同的处理，例如WB（白平衡）调整以及用于给像素设定RGB像素值的去马赛克处理等，并且生成和输出彩色图像183。将彩色图像183存储在存储器130中。

而且，将来自控制单元140的控制信号输入到光学透镜105、成像元件110以及图像处理单元120，并且执行成像处理控制和信号处理控制。根据例如存储在存储器130中的程序，控制单元140根据来自未示出的输入单元的用户输入执行例如除了成像之外的各种类型的处理。

[3.关于图像处理的特定示例]

接着，参考图3和其后的附图对图2的图像处理单元120中执行的处理进行描述。

图3（a）是描绘了图像处理单元120中执行的整个处理的整个信号处理序列。

首先，在步骤S101中，从成像元件110输入捕获的图像。

该捕获的图像是具有四部分拜耳型RGB阵列181的图像。

接着，在步骤S102中，执行重排马赛克处理。这是由图2中描绘的图像信号校正单元200执行的处理，并且是用于将具有四部分拜耳型RGB阵列181的捕获的图像转换成拜耳阵列182的处理。

图3（b）中描绘的流程中描绘了该处理的详情。在下文中对该处理进行描述。

当在步骤S102中完成了重排马赛克处理时，作为重排马赛克处理的结果，生成图2中描绘的具有拜耳阵列182的图像。

步骤S103和其后的步骤是由图2中描绘的RGB信号处理单元250进行的处理，并且是在普通照相机中执行的信号处理。

在步骤S103中，执行白平衡（WB）调整处理。

在步骤S104中，执行用于给像素设定RGB像素值的去马赛克处理。

在步骤S105中，执行用于移除混合的颜色等的线性矩阵（LMTX）处理。

最后，在步骤S106中，生成图2中描绘的彩色图像183，并且将其作为输出图像输出。

根据图3（b）中描绘的流程执行步骤S102的重排马赛克处理。这是用于将四部分拜耳型RGB阵列图像转换成拜耳阵列图像的处理。

应注意，参考图4和其后的附图对重排马赛克处理的细节另外地进行详细描述。

首先，参考图3（b）中描绘的流程对重排马赛克处理的概要进行描述。

首先，在步骤S151中，针对作为输入图像的四部分拜耳型RGB阵列图像的像素值梯度进行方向确定。这是等同于被称为边缘方向确定的处理。

接着，在步骤S152中，进行估计并且设定针对四部分拜耳型RGB阵列图像中的RB位置的G像素值的G内插处理。在该内插处理时，进行其中应用了在步骤SZ151中计算的像素值梯度信息的内插处理，并且在具有小的像素值梯度的方向上的像素值被用作参考像素值。

另外，在步骤S153中，对G信号位置处的RB像素值进行估计。该估计处理是基于G像素值和RB像素值在预定本地区域中具有固定相关性的估计来进行的。

借助于这些步骤S152和步骤S153的处理，执行基本像素值设置：将具有四部分拜耳型RGB阵列181的捕获的图像转换成拜耳阵列182。

另外，步骤S154中的假彩色检测和步骤S155中的假彩色校正与该处理并行地执行。

如果输入到成像元件（图像传感器）110的信号中包括其中超过成像元件（图像传感器）110的奈奎斯特（Nyquist）频率（采样频率的1/2的频率）的信号，那么发生基于采样定理的混淆（折叠），这是发生图像质量劣化的因素，具体而言即假彩色。

在步骤S154至步骤S155中，执行这种类型的假彩色检测和假彩色校正。

在步骤S156中，生成并且输出其中反映了步骤S154至步骤S155中的假彩色检测和假彩色校正的结果的拜耳阵列图像。

[4.关于重排马赛克处理的细节]

接着，参考图4中描绘的流程图和图5以及其后的附图的处理示例对重排马赛克处理的细节进行描述。

图4中描绘的流程图是对应于图3（a）的整个处理流程的步骤S102的处理的流程图，并且更详细地描绘了图3（b）的流程。

对图4中描绘的流程进行描述。图4中描绘的流程是示出了图2中描绘的图像信号校正单元200中执行的重排马赛克处理的序列的流程。

图2中描绘的图像信号校正单元200从成像元件110顺序输入四部分拜耳型RGB阵列图像的像素值，并且根据图4中描绘的流程执行处理。

首先，在步骤S201中，确定输入像素值是否为G像素。

如果输入像素值不是G像素，换言之，如果输入像素值是RB像素，那么处理进行至步骤S202，并且进行方向确定。

该方向确定是用于确定像素值的梯度（grad）的处理，并且作为与边缘方向确定相同的处理来执行。

参考图5及其后的附图对步骤S202的方向确定处理进行描述。

如图5所示，关于总共八个方向计算像素值的梯度（grad），八个方向包括以下四个方向：

水平方向（H），

垂直方向（V），

右上方45度方向（A），以及

右下方45度方向（D），

以及，另外，还有下述四个方向，

右上方22.5度方向（A2），

右上方67.5度方向（A3），

右下方22.5度方向（D2），以及

右下方67.5度方向（D3）。

关于先前参考图1（2）描述的四部分拜耳型RGB阵列，针对相同颜色分量的采样间隔与图1（1）中描绘的拜耳阵列相比是稀疏的，因此在1/2奈奎斯特频率上发生折叠。

为了准确地检测这种类型的频率折叠模式，在本公开内容的方向确定中，如上所述，在数量较大的八个方向上执行确定。

而且，在本实施方式中，当在这种数量较大的方向上进行梯度检测时，例如，除了如图6中描绘的那样通过只选择来自梯度方向的相同颜色的像素计算的梯度信息之外，还进行其中通过将不同颜色之间的像素值进行比较而获得的水平/垂直梯度进行检测的处理，并且考虑到了这种通过将不同颜色之间的像素值进行比较而获得的水平/垂直梯度。应该注意的是，当执行借助于不同颜色像素值的这种类型的梯度检测时，优选地在应用于梯度检测的像素的白平衡（WB）被调整了以后再执行借助于不同颜色像素值的这种类型的梯度检测。参考图7及其后的附图对每个方向上的梯度检测处理的详情进行描述。

（水平方向（H）梯度：gradH）

图7中描绘的示例描绘了对应于图7中描绘的6×6像素中的坐标位置（2，2）的水平方向（H）梯度计算处理示例。

基于下述数据计算水平方向（H）梯度。

低频分量水平方向（H）梯度：gradH_low

高频分量水平方向（H）梯度：gradH_high

不同颜色分量水平方向（H）梯度：gradH_color

应注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图7中描绘的6×6像素中的坐标位置（2，2）的水平方向（H）梯度，即gradH（2，2）。

[数学式1]

\begin{matrix} grad H_low (2,2) = \{\begin{matrix} abs (I (0,2) - I (5,2)) + abs (I (1,2) - I (4,2)) \\ + abs (I (0,3) - I (5,3)) + abs (I (1,3) - I (4,3)) \end{matrix}\} \times 0.25 \\ grad H_high (2, 2) = \{\begin{matrix} abs (I (0,2) - I (1,2)) + abs (I (0,3) - I (1,3)) \\ + abs (I (4,2) - I (5,2)) + abs (I (4,3) - I (5,3)) \\ + abs (I (2,0) - I (3,0)) + abs (I (2,1) - I (3,1)) \\ + abs (I (2,4) - I (3,4)) + abs (I (2,5) - I (3,5)) \end{matrix}\} \times 0.125 \\ grad H_color (2,2) = \{\begin{matrix} abs (I (1,2) - I (2,2) \times WBgain) + abs (I (4,2) - I (3,2) \times WBgain) \\ + abs (I (1,3) - I (2,3) \times WBgain) + abs (I (4,3) - I (3,3) \times WBgain) \end{matrix}\} \times 0.25 \\ grad H (2,2) = grad H_low (2,2) \times a_{H} + grad H_high (2,2) \times b_{H} + grad H_color (2,2) \times c_{H} \end{matrix}

应注意，在上式中，a_H、b_H和c_H是预定加权系数。

通常，当入射光通过透镜时，信号电平在高频分量处下降。

因此，理想的是，上述加权系数的幅值关系为a_H>b_H。

而且，如果在1/2Nq附近的方向确定是错误的，那么生成密集的假彩色。

为了充分地抑制该区域中的错误确定，理想的是设定c_H>a_H。

（垂直方向（V）梯度：gradV）

图8中描绘的示例描绘了对应于图8中描绘的6×6像素中的坐标位置（2，2）的垂直方向（V）梯度计算处理示例。

基于下述数据计算垂直方向（V）梯度。

低频分量垂直方向（V）梯度：gradV_low

高频分量垂直方向（V）梯度：gradV_high

不同颜色分量垂直方向（V）梯度：gradV_color

应该注意的是I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图8中描绘的6×6像素中的坐标位置（2，2）的垂直方向（V）梯度，即gradV（2，2）。

[数学式2]

\begin{matrix} grad V_low (2,2) = \{\begin{matrix} abs (I (2, 0) - I (2,5)) + abs (I (2, 1) - I (2, 4)) \\ + abs (I (3, 0) - I (3, 5)) + abs (I (3,1) - I (3, 4)) \end{matrix}\} \times 0.25 \\ grad V_high (2, 2) = \{\begin{matrix} abs (I (2, 0) - I (2, 1)) + abs (I (3, 0) - I (3, 1)) \\ + abs (I (2, 4) - I (2, 5)) + abs (I (3, 4) - I (3, 5)) \\ + abs (I (0, 2) - I (0, 3)) + abs (I (1, 2) - I (1, 3)) \\ + abs (I (4, 2) - I (4, 3)) + abs (I (5, 2) - I (5, 3)) \end{matrix}\} \times 0.125 \\ grad V_color (2,2) = \{\begin{matrix} abs (I (2, 1) - I (2,2) \times WBgain) + abs (I (2, 4) - I (2, 3) \times WBgain) \\ + abs (I (3, 1) - I (3, 2) \times WBgain) + abs (I (3, 4) - I (3,3) \times WBgain) \end{matrix}\} \times 0.25 \\ grad V (2,2) = grad V_low (2,2) \times a_{V} + grad V_high (2,2) \times b_{V} + grad V_color (2,2) \times c_{V} \end{matrix}

应注意，在上式中，a_V，b_V以及c_V是预定加权系数。

如上所述，通常，当入射光通过透镜时，信号电平在高频分量处下降。

因此，理想的是，加权系数的幅值关系为a_V>b_V。

为了充分地抑制该区域中错误的确定，理想的是设定c_V>a_V。

（右上方45度方向（A）梯度：gradA）

图9中描绘的示例描绘了对应于图9中描绘的6×6像素中的坐标位置（2，2）的右上方45度方向（A）梯度计算处理的示例。

基于下述数据计算右上方45度方向（A）梯度。

中频分量右上方45度方向（A）梯度：gradA_mid

低频分量右上方45度方向（A）梯度：gradA_low

高频分量右上方45度方向（A）梯度：gradA_high

注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图9中描绘的6×6像素中的坐标位置（2，2）的右上方45度方向（A）梯度，即gradA（2，2）。

[数学式3]

\begin{matrix} grad A_mid (2,2) = {abs (I (1,3) - I (3,1)) + abs (I (2,4) - I (4,2))} \times 0.5 \\ grad A_low (2,2) = {abs (I (0,3) - I (3,0)) + abs (I (2,5) - I (5,2))} \times 0.5 \\ grad A_high (2,2) = \{\begin{matrix} abs (I (0,3) - I (1,2)) + abs (I (2,1) - I (3,0)) \\ + abs (I (2,5) - I (3,4)) + abs (I (4,3) - I (5,2)) \end{matrix}\} \times 0.25 \\ grad A (2,2) = grad A_mid (2,2) \times a_{A} + grad A_low (2,2) \times b_{A} + grad A_high (2,2) \times c_{A} \end{matrix}

应该注意的是，在上式中，a_A，b_A以及c_A是预定加权系数。

因此，理想的是，上式中的加权系数的幅值关系为a_A、b_A>c_A。

（右下方45度方向（D）梯度：gradD）

图10中描绘的示例描绘了对应于图10中描绘的6×6像素中的坐标位置（2，2）的右下方45度方向（A）梯度计算处理的示例。

基于下述数据计算右下方45度方向（D）梯度。

中频分量右下方45度方向（D）梯度：gradD_mid

低频分量右下方45度方向（D）梯度：gradD_low

高频分量右下方45度方向（D）梯度：gradD_high

注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图10中描绘的6×6像素中的坐标位置（2，2）的右下方45度方向（D）梯度，即gradD（2，2）。

[数学式4]

\begin{matrix} grad D_mid (2,2) = {abs (I (1, 2) - I (3,4)) + abs (I (2,1) - I (4,3))} \times 0.5 \\ grad D_low (2,2) = {abs (I (0, 2) - I (3,5)) + abs (I (2, 0) - I (5, 3))} \times 0.5 \\ grad D_high (2,2) = \{\begin{matrix} abs (I (0,2) - I (1,3)) + abs (I (2, 4) - I (3,5)) \\ + abs (I (2,0) - I (3, 1)) + abs (I (4,2) - I (5,3)) \end{matrix}\} \times 0.25 \\ grad D (2,2) = grad D_mid (2,2) \times a_{D} + grad D_low (2,2) \times b_{D} + grad D_high (2,2) \times c_{D} \end{matrix}

应该注意的是，在上式中，a_D、b_D以及c_D是预定加权系数。

因此，理想的是，上式中的加权系数的幅值关系为a_D、b_D>c_D。

（右上方22.5度方向（A2）梯度：gradA2）

图11中描绘的示例描绘了对应于图11中描绘的6×6像素中的坐标位置（2，2）的右上方22.5度方向（A2）梯度计算处理示例。

基于下述数据计算右上方22.5度方向（A2）梯度。

中央分量右上方22.5度方向（A2）梯度：gradA2_center

高频分量右上方22.5度方向（A2）梯度：gradA2_high

注意，如图11所示，因为不可能从来自成像元件的输出图像的像素值直接计算高频分量右上方22.5度方向（A2）梯度gradA2_high，因此计算预定计算方向上的虚拟像素位置的像素值作为针对多个输出像素值的内插像素值，并且该内插像素值被应用于计算高频分量右上方22.5度方向（A2）梯度gradA2_high。

注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图11中描绘的6×6像素中的坐标位置（2，2）的右上方22.5度方向（A2）梯度，即gradA2（2，2）。

[数学式5]

\begin{matrix} grad A 2_low (2,2) = {abs (I (0,2) - I (3,1)) + abs (I (1,3) - I (4,2)) \times 2 + abs (I (2,4) - I (5,3))} \times 0.25 \\ grad A 2_high (2,2) = [\begin{matrix} abs {(I (1,2) \times 0.333 + I (1,3) \times 0.667) - I (0,3)} \\ + abs {(I (5,2) \times 0.333 + I (5,3) \times 0.667) - I (4,3)} \\ + abs {(I (3,0) \times 0.333 + I (3,1) \times 0.667) - I (2,1)} \\ + abs {(I (3,4) \times 0.333 + I (3,5) \times 0.667) - I (2,5)} \end{matrix}] \times 0.25 \\ grad A 2 (2,2) = grad A 2_low (2,2) \times a_{A 2} + grad A 2_high (2,2) \times b_{A 2} \end{matrix}

注意，在上式中，a_A2和b_A2是预定加权系数。

因此，理想的是，上式中的加权系数的幅值关系为a_A2>b_A2。

（右下方22.5度方向（D2）梯度：gradD2）

图12中描绘的示例描绘了对应于图12中描绘的6×6像素中的坐标位置（2，2）的右下方22.5度方向（D2）梯度计算处理的示例。

基于下述数据计算右下方22.5度方向（D2）梯度。

中央分量右下方22.5度方向（D2）梯度：gradD2_center

两侧分量右下方22.5度方向（D2）梯度：gradD2_wb

高频分量右下方22.5度方向（D2）梯度：gradD2_high

应该注意的是，如图12所示，因为不可能从来自成像元件的输出图像的像素值直接计算高频分量右下方22.5度方向（D2）梯度gradD2_high，因此计算预定计算方向上的虚拟像素位置的像素值作为针对多个输出像素值的内插像素值，并且该内插像素值被应用于计算高频分量右下方22.5度方向（D2）梯度gradD2_high。

注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图12中描绘的6×6像素中的坐标位置（2，2）的右下方22.5度方向（D）梯度，即gradD（2，2）。

[数学式6]

\begin{matrix} grad D 2_low (2,2) = {abs (I (2, 1) - I (5, 2)) + abs (I (1, 2) - I (4,3)) \times 2 + abs (I (0,3) - I (3,4))} \times 0.25 \\ grad D 2_high (2,2) = [\begin{matrix} abs {(I (0,2) \times 0.333 + I (0,3) \times 0.667) - I (1,3)} \\ + abs {(I (4, 2) \times 0.333 + I (4,3) \times 0.667) - I (5,3)} \\ + abs {(I (2,0) \times 0.333 + I (2,1) \times 0.667) - I (3,1)} \\ + abs {(I (2, 4) \times 0.333 + I (2,5) \times 0.667) - I (3,5)} \end{matrix}] \times 0.25 \\ grad D 2 (2,2) = grad D 2_low (2,2) \times a_{D 2} + grad D 2_high (2,2) \times b_{D 2} \end{matrix}

注意，在上式中，a_D2和b_D2是预定加权系数。

因此，理想的是上式中的加权系数的幅值关系为a_D2>b_D2。

（右上方67.5度方向（A3）梯度：gradA3）

图13中描绘的示例描绘了对应于图13中描绘的6×6像素中的坐标位置（2，2）的右上方67.5度方向（A3）梯度计算处理的示例。

基于下述数据计算右上方67.5度方向（A3）梯度。

中央分量右上方67.5度方向（A3）梯度：gradA3_center

高频分量右上方67.5度方向（A3）梯度：gradA3_high

应该注意的是，如图13所示，因为不可能从来自成像元件的输出图像的像素值直接计算高频分量右上方67.5度方向（A3）梯度gradA3_high，因此计算预定计算方向上的虚拟像素位置的像素值作为针对多个输出像素值的内插像素值，并且该内插像素值被应用于计算高频分量右上方67.5度方向（A3）梯度gradA3_high。

应注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图13中描绘的6×6像素中的坐标位置（2，2）的右上方67.5度方向（A3）梯度，即gradA3（2，2）。

[数学式7]

\begin{matrix} grad A 3_low (2,2) = {abs (I (1, 3) - I (2, 0)) + abs (I (2,4) - I (3, 1)) \times 2 + abs (I (3,5) - I (4,2))} \times 0.25 \\ grad A 3_high (2,2) = [\begin{matrix} abs {(I (1,2) \times 0.333 + I (0,2) \times 0.667) - I (0,3)} \\ + abs {(I (5,2) \times 0.333 + I (4, 2) \times 0.667) - I (4,3)} \\ + abs {(I (3,0) \times 0.333 + I (2, 0) \times 0.667) - I (2,1)} \\ + abs {(I (3,4) \times 0.333 + I (2,4) \times 0.667) - I (2,5)} \end{matrix}] \times 0.25 \\ grad A 3 (2,2) = grad A 3_low (2,2) \times a_{A 3} + grad A 3_high (2,2) \times b_{A 3} \end{matrix}

应注意，上式中的a_A3和b_A3是预定加权系数。

因此，理想的是，上式中的加权系数的幅值关系为a_A3>b_A3。

（右下方67.5度方向（D3）梯度：gradD3）

图14中描绘的示例描绘了对应于图14中描绘的6×6像素中的坐标位置（2，2）的右下方67.5度方向（D3）梯度计算处理的示例。

基于下述数据计算右下方67.5度方向（D3）梯度。

高频分量右下方67.5度方向（D3）梯度：gradD3_high

应注意，如图14所示，因为不可能从来自成像元件的输出图像的像素值直接计算高频分量右下方67.5度方向（D3）梯度gradD3_high，因此计算预定计算方向上的虚拟像素位置的像素值作为针对多个输出像素值的内插像素值，并且该内插像素值被应用于计算高频分量右下方67.5度方向（D3）梯度gradD3_high。

应注意，I（x，y）是坐标（x，y）的位置处的像素值。

abs（）表示绝对值。

根据下式计算对应于图14中描绘的6×6像素中的坐标位置（2，2）的右下方67.5度方向（D）梯度，即gradD（2，2）。

[数学式8]

\begin{matrix} grad D 3_low (2,2) = {abs (I (1, 2) - I (2, 5)) + abs (I (2, 1) - I (3,4)) \times 2 + abs (I (3,0) - I (4,3))} \times 0.25 \\ grad D 3_high (2,2) = [\begin{matrix} abs {(I (0,2) \times 0.333 + I (1,2) \times 0.667) - I (1,3)} \\ + abs {(I (4, 2) \times 0.333 + I (5,2) \times 0.667) - I (5,3)} \\ + abs {(I (2,0) \times 0.333 + I (3,0) \times 0.667) - I (3,1)} \\ + abs {(I (2, 4) \times 0.333 + I (3,4) \times 0.667) - I (3,5)} \end{matrix}] \times 0.25 \\ grad D 3 (2,2) = grad D 3_low (2,2) \times a_{D 3} + grad D 3_high (2,2) \times b_{D 3} \end{matrix}

应注意，上式中的a_D3和b_D3是预定加权系数。

因此，理想的是，上式中的加权系数的幅值关系为a_D3>b_D3。

以上对图4的流程图的步骤202的方向确定处理进行了描述。

接着处理前进至步骤S203，并且执行G内插处理。这是用于估计并且设定针对四部分拜耳型RGB阵列图像中的RB位置的G像素值的G内插处理。在该内插处理时，执行其中应用了在步骤S151中计算的像素值梯度信息的内插处理，并且在具有小的像素值梯度的方向上的像素值被用作参考像素值。

参考图15及其后的附图对内插处理的特定示例进行描述。

（在2，2相位的情况下内插像素的计算处理示例）

图15描绘了针对具有图15中描绘的6×6像素四部分拜耳型RGB阵列图像中的像素位置（2，2）的B像素位置计算G像素内插像素值的处理示例。

首先，关于其中执行了梯度检测的所有八个方向，计算其中每个方向的像素针对其被用作参考像素值的内插像素值。换言之，首先，计算下述多个内插值：

水平方向（H）上的像素针对其被用作参考像素值的内插像素值itp_GH，

垂直方向（V）上的像素针对其被用作参考像素值的内插像素值itp_GV，

右上方45度方向（A）上的像素针对其被用作参考像素值的内插像素值itp_GA，

右下方45度方向（D）上的像素针对其被用作参考像素值的内插像素值itp_GD，

右上方22.5度方向（A2）上的像素针对其被用作参考像素值的内插像素值itp_GA2，

右上方67.5度方向（A3）上的像素针对其被用作参考像素值的内插像素值itp_GA3，

右下方22.5度方向（D2）上的像素针对其被用作参考像素值的内插像素值itp_GD2，以及

右下方67.5度方向（D3）上的像素针对其被用作参考像素值的内插像素值itp_GD3。

另外，基于这些内插像素值，进行例如选择具有小的梯度的方向的处理，并且进行对应于所选择的方向等的上述计算的内插值的混合处理以决定最终内插。

根据下式执行八个内插像素值的计算。

[数学式9]

itp_GH=I(1，2)×1.25-I(5，2)×0.25

itp_GV=I(2，1)×1.25-I(2，5)×0.25

itp_GA=I(1，3)×0.5+I(3，1)×0.5

itp_GD=I(1，2)×0.375+I(3，4)×0.125+I(2，1)×0.375+I(4，3)×0.125

itp_GA2=I(0，2)×0.1875+I(3，1)×0.3125+I(1，3)×0.3+I(4，2)×0.2

itp_GD2=I(5，2)×0.225+I(2，1)×0.025+I(1，2)×0.525+I(4，3)×0.225

itp_GA3＝I(2，0)×0.2+I(1，3)×0.3+I(3，1)×0.1875+I(2，4)×0.3125

itp_GD3=I(2，1)×0.525+I(3，4)×0.225+I(1，2)×0.225+I(2，5)×0.025

（在3，2相位的情况下内插像素的计算处理示例）

图16描绘了针对具有图16中描绘的6×6像素的四部分拜耳型RGB阵列图像中的像素位置（3，2）的B像素位置计算G像素内插像素值的处理示例。

右下方45度方向（D）的像素针对其被用作参考像素值的内插像素值itp_GD，

右上方22.5度方向（A2）的像素针对其被用作参考像素值的内插像素值itp_GA2，

右上方67.5度方向（A3）的像素针对其被用作参考像素值的内插像素值itp_GA3，

右下方22.5度方向（D2）的像素针对其被用作参考像素值的内插像素值itp_GD2，以及

右下方67.5度方向（D3）的像素针对其被用作参考像素值的内插像素值itp_GD3。

另外，基于这些内插像素值，进行例如选择具有小的梯度的方向的处理，并且进行对应于所选择的方向等的上述计算的内插值的混合处理以决定最终内插值。

根据下式执行八个内插像素值的计算。

[数学式10]

itp_GH=I(4，2)×1.25-I(0，2)×0.25

itp_GV＝I(3，1)×1.25-I(3，5)×0.25

itp_GA=I(3，1)×0.375+I(1，3)×0.125+I(4，2）×0.375+I(2，4)×0.125

itp_GD＝I（2，1)×0.5+I(4，3)×0.5

itp_GA2=I(0，2)×0.025+I(3，1)×0.225+I(1，3)×0.225+I(4，2)×0.525

itp_GD2=I(5，，2)×0.3125+I(2，1)×0.1875+I(1，2)×0.2+I(4，，3)×0.3

itp_GA3=I(3，1)×0.525+I(2，4)×0.225+I(4，2)×0.225+I(3，5)×0.025

itp_GD3=I(2，1)×0.3125+I(3，4)×0.1875+I(3，0)×0.2+I(4，3)×0.3

（在2，3相位的情况下内插像素的计算处理示例）

图17描绘了针对具有图17中描绘的6×6像素的四部分拜耳型RGB阵列图像中的像素位置（2，3）的B像素位置计算G像素内插像素值的处理示例。

（在3，3相位的情况下内插像素的计算处理示例）

图18描绘了针对具有图18中描绘的6×6像素的四部分拜耳型RGB阵列图像中的像素位置（3，3）的B像素位置计算G像素内插像素值的处理示例。

另外，基于这些内插像素值，进行例如用于选择具有小的梯度的方向的处理，并且进行对应于所选择的方向等的以上提及的计算的内插值的混合处理以决定最终内插值。

（从基于计算的八个方向上的参考像素的内插像素值中选择最终内插像素值）

如参考图15至图18所描述的那样，关于其中执行了梯度检测的所有八个方向，计算四部分拜耳型RGB阵列图像中的R像素或者B像素的像素位置处的G像素内插像素值，作为每个方向上的像素针对其被用作参考像素值的内插像素值。

如果在垂直方向上错误地作出确定，那么会增加假象，因此应用从垂直方向上选择具有小的梯度（grad）的方向的算法。

例如，执行使用对应于根据上述算法而选择的方向的内插像素值的混合处理以计算最终内插像素值。

具体而言，例如，如果gradHV、gradAD以及gradA2A3D2D3的最大值等于或小于阈值，那么将周围像素的平滑后的信号输出作为内插像素值。（针对平坦部分的噪声应对）

当gradA2A3D2D3是最小值时，从这些方向进行内插，并且在其他情况下，根据gradHV和gradAD的值来将内插值混合。

根据这种类型的处理来计算最终内插像素值。

返回图4的流程，继续说明关于将四部分拜耳型RGB阵列图像转换成拜耳阵列图像的重排马赛克处理序列。

在步骤S203中，当用于针对RB像素位置设定G像素值的处理的G内插处理结束时，处理前进至步骤S204。

在步骤S204中，确定当前所涉像素位置是否是针对其进行了G像素值的估计的G估计像素位置。换言之，确定当前所涉像素位置是否是针对其设定了G像素值的像素，其中该G像素值是借助于将原来是RB像素的像素位置经过内插处理来计算的。如果当前所涉像素位置是G估计像素位置，那么处理转移到步骤S213的输出选择处理。

如果当前所涉像素位置不是G估计像素位置，那么处理转移到步骤S205，并且确定是否检测到假彩色。

对步骤S205的假彩色检测处理进行描述。

四部分拜耳型RGB阵列图像在与G相比RB采样率低这方面与拜耳阵列图像相同。因此，关于RB，低频带中容易发生混淆。

例如，与其中不发生混淆并且在奈奎斯特频率的1/2处有高频分量的G相反，换言之，在1/2Nq处，在RB中，由于混淆而损失了高频分量。通过使用这种方法并且比较G信号和RB信号的针对适当频带的拉普拉斯（Laplacians）来检测混淆。

具体而言，例如，借助于其中奈奎斯特频率的1/2、换言之1/2Nq可被检测的梯度（或者拉普拉斯（lpl））来计算G_lpl和RB_lpl，并且将它们之间的差用于检测。

如果在步骤S205中检测到假彩色，那么在步骤S206中执行假彩色校正。可以将公知的处理应用于假彩色校正处理。

对假彩色校正的特定示例进行描述。关于假彩色校正，例如，在ISP中，很弱地实施针对检测区域的LMTX。可选地，在CIS中的处理中，可以借助于反转WB来实施处理例如色差消除。

在步骤S206中的假彩色校正之后，处理前进至步骤S207，并且执行RB估计处理。该处理是用于在需要将四部分拜耳型RGB阵列图像转换成拜耳阵列图像的四部分拜耳型RGB阵列中的RGB位置处设定RB的处理。

参考图19对该RB估计处理的特定示例进行描述。

在该RB估计处理中，如图19所示，执行还是基于本地区域例如7×7像素的本地区域中的G像素的像素值和RB像素的像素值之间有相关性这一估计的内插处理；换言之，执行颜色相关性内插处理。

接着，对在图4的流程中的步骤S201中确定处理目标像素是G像素的情况进行描述。

在这种情况下，处理前进至步骤S211。

在步骤S211中，处理与步骤S204相同，换言之，确定当前所涉像素位置是否是针对其进行了G像素值的估计的G估计像素位置。换言之，确定当前所涉像素位置是否是针对其设定了G像素值的像素，其中该G像素值是借助于将原来是RB像素的像素位置经过内插处理来计算的。如果当前所涉像素位置是G估计像素位置，那么处理转移至步骤S213的输出选择处理。

如果确定为“否”，处理前进至步骤S212。

在步骤S212中，执行与步骤S207相同的RB估计处理。

在该RB估计处理中，如图19所示，基于本地区域中的G像素的像素值和RB像素的像素值之间有相关性这一估计的内插处理被执行；换言之，执行颜色相关性内插处理。

在步骤S213中，进行针对输出像素的选择处理。换言之，从下述结果：

步骤S204中为“是”，

步骤S207的处理结果，

步骤S211中为“是”，以及

步骤S212的处理结果，

来选择与拜耳阵列对应的像素值并且将其用作输出像素。

在步骤S214中，确定针对所有处理目标像素的处理是否已完成。如果还有针对其处理未完成的像素，那么针对未处理的像素执行步骤S201及其后的处理。

基于所有像素处理已完成的确定来结束处理。

[5.本公开内容的配置的概要]

以上参考特定实施方式对本公开内容的实施方式进行了详细描述。然而，显然本领域技术人员可以在不背离本公开内容的主旨的情况下修改或者替换该实施方式。换言之，本公开内容是以示例方式公开的，并且不应以限制方式来解释。当确定本公开内容的主旨时应该考虑权利要求部分。

应该注意的是本说明书中公开的技术还可以具有例如下述配置。

（1）一种图像处理设备，包括执行针对输入图像的像素信号的校正处理的图像信号校正单元，

从所述输入图像的组成像素中，对作为颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测，

（2）根据（1）所述的图像处理设备，其中，所述图像信号校正单元执行用于输入马赛克图像作为所述输入图像并且将所述输入图像的像素阵列转换成不同的像素阵列的重排马赛克处理，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，以及，所述图像信号校正单元在所述重排马赛克处理中，从所述输入图像的组成像素中，对颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测，基于所述八个方向上的像素值梯度决定针对所述转换目标像素的内插像素值计算模式，以及根据决定的处理模式计算针对所述转换目标像素位置的内插像素值。

（3）根据（1）或（2）所述的图像处理设备，其中，所述图像信号校正单元执行用于将具有四部分拜耳型RGB阵列的图像作为所述输入图像进行输入、并且将所述输入图像转换成拜耳阵列的重排马赛克处理，在所述四部分拜耳型RGB阵列中拜耳型RGB阵列的各颜色被实现为2×2像素单元的阵列。

（4）根据（1）至（3）中任一项所述的图像处理设备，其中，所述图像信号校正单元执行下述处理：基于所述八个方向上的像素值梯度选择在具有小的梯度的方向上的像素作为参考像素，并且借助于选择的参考像素的像素值的混合处理来计算针对所述转换目标像素的内插像素值。

（5）根据（1）至（4）中任一项所述的图像处理设备，其中，在所述八个方向上的像素值梯度的最大值等于或小于预定阈值的情况下，所述图像信号校正单元执行如下处理：计算基于所述转换目标像素的周围像素的像素值的平滑后的信号作为针对所述转换目标像素的内插像素值。

（6）根据（1）至（5）中任一项所述的图像处理设备，其中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算至少一个方向上的梯度时，

（7）根据（1）至（6）中任一项所述的图像处理设备，其中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算至少一个方向上的梯度时，

（8）根据（1）至（7）中任一项所述的图像处理设备，其中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算至少一个方向上的梯度时，计算其中应用了包括在所述输入图像中的相同颜色的像素的低频分量梯度，以及其中应用了包括在所述输入图像中的相同颜色的像素的高频分量梯度，并且通过将所述两项梯度信息进行加权求和来计算像素值梯度。

（9）根据（1）至（8）中任一项所述的图像处理设备，其中，所述图像信号校正单元，在针对所述八个方向上的像素值梯度的计算处理中，当计算垂直方向和水平方向上的梯度时，

当计算右上方45度方向和右下方45度方向上的梯度时，

（10）根据（1）至（9）中任一项所述的图像处理设备，其中，所述图像信号校正单元执行内插像素值计算处理，在其中，根据由所述多个相同颜色的像素配置成的像素块的组成像素位置改变参考像素位置。

另外，本公开内容的配置中还包括用于上述设备和***中执行的处理的方法、使处理被执行的程序以及具有记录于其上的程序的记录介质。

而且，可以由硬件或软件或者可选地由二者的组合配置来执行说明书中描述的一系列处理。在借助于软件来执行处理的情况下，可以在以专用硬件并入的计算机中的存储器中安装并从其执行将处理序列记录于其中的程序，或者可以将程序安装在由可以在其上执行各种类型的处理的通用计算机中并且由该通用计算机来执行。例如，可以事先将程序记录在记录介质上。除了从记录介质安装到计算机上之外，可以经由网络例如LAN（本地局域网）或者因特网接收程序，并且安装在记录介质例如在内部设置的硬盘上。

应该注意的是说明书中描述的各种类型的处理不仅可以按照描述的时间顺序方式来执行，而且可以根据执行处理的设备的处理能力或在请求时以并行方式或者不连续地执行。而且，本说明书中的***是多个设备的逻辑集合配置，并且不局限为同一外壳之内的组成设备。

工业适用性

如上所述，根据本公开内容的实施方式的配置，实现了用于执行进行到不同像素阵列的图像的转换的重排马赛克处理的设备和方法。

具体而言，执行用于将马赛克图像作为所述输入图像进行输入并且将所述输入图像的所述像素阵列转换成不同的像素阵列的重排马赛克处理，其中，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块。在所述重排马赛克处理中，从所述输入图像的组成像素中，对作为颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度进行检测，基于所述八个方向上的所述像素值梯度决定针对所述转换目标像素的内插像素值计算模式，以及根据所述决定的处理模式计算针对所述转换目标像素位置的内插像素值。例如，将具有四部分拜耳型RGB阵列的图像转换成拜耳阵列，其中，在所述四部分拜耳型RGB阵列中，拜耳型RGB阵列的颜色被实现为2×2像素单元的阵列。

附图标记列表

100 成像设备

105 光学透镜

110 成像元件（图像传感器）

120 图像处理单元

130 存储器

140 控制单元

181 RGB阵列

183 彩色图像

200 图像信号校正单元

Claims

1.一种图像处理设备，包括执行针对输入图像的像素信号的校正处理的图像信号校正单元，

2.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元执行用于输入马赛克图像作为所述输入图像并且将所述输入图像的像素阵列转换成不同的像素阵列的重排马赛克处理，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

以及，所述图像信号校正单元在所述重排马赛克处理中，

3.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元执行用于将具有四部分拜耳型RGB阵列的图像作为所述输入图像进行输入、并且将所述输入图像转换成拜耳阵列的重排马赛克处理，在所述四部分拜耳型RGB阵列中拜耳型RGB阵列的各颜色被实现为2×2像素单元的阵列。

4.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元执行下述处理：基于所述八个方向上的像素值梯度选择在具有小的梯度的方向上的像素作为参考像素，并且借助于选择的参考像素的像素值的混合处理来计算针对所述转换目标像素的内插像素值。

5.根据权利要求1所述的图像处理设备，

其中，在所述八个方向上的像素值梯度的最大值等于或小于预定阈值的情况下，所述图像信号校正单元执行如下处理：计算基于所述转换目标像素的周围像素的像素值的平滑后的信号作为针对所述转换目标像素的内插像素值。

6.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元，

在针对所述八个方向上的像素值梯度的计算处理中，

当计算至少一个方向上的梯度时，

7.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元，

在针对所述八个方向上的像素值梯度的计算处理中，

当计算至少一个方向上的梯度时，

8.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元，

在针对所述八个方向上的像素值梯度的计算处理中，

当计算至少一个方向上的梯度时，

9.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元，

在针对所述八个方向上的像素值梯度的计算处理中，

当计算垂直方向和水平方向上的梯度时，

当计算右上方45度方向和右下方45度方向上的梯度时，

10.根据权利要求1所述的图像处理设备，

其中，所述图像信号校正单元执行内插像素值计算处理，在其中，根据由所述多个相同颜色的像素配置成的像素块的组成像素位置改变参考像素位置。

11.一种在图像处理设备中执行的图像处理方法，

并且执行如下处理：检测所述输入图像的组成像素中作为颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度，

12.一种使得图像处理设备中执行图像处理的程序，

其中，使得图像信号校正单元：

输入马赛克图像作为输入图像，在所述马赛克图像中排列了由多个相同颜色的像素配置而成的像素块，

以及执行用于检测所述输入图像的组成像素中、作为颜色转换处理的目标的转换目标像素位置处的八个方向上的像素值梯度的处理，