CN102739916A - 图像处理装置、图像处理方法以及程序 - Google Patents

Abstract

公开了一种图像处理装置、图像处理方法以及程序，其中该图像处理装置设置有：确定部，其基于包括图像中目标像素的邻近区域，确定邻近区域中的纹理方向；以及检测部，其基于图像中在纹理方向上排列的、包括目标像素的多个像素，检测目标像素是否是缺陷像素。

Description

图像处理装置、图像处理方法以及程序

技术领域

本技术涉及一种图像处理装置、图像处理方法以及程序，并且特别涉及能够以更高的准确度、更简单地检测缺陷像素的图像处理装置、图像处理方法以及程序。

背景技术

过去，存在在图像中检测缺陷像素和校正检测的缺陷像素的技术。缺陷像素指的是图像的像素中、不具有本来被采用为像素值的值的像素，并且缺陷像素经常是白或黑的像素。

作为用于校正诸如这样的缺陷像素的技术，提出了如下一种技术：检测对象的边缘方向，基于边缘方向来检测缺陷像素，并且校正检测的缺陷像素(例如，参照日本未审查专利申请公布第2008-154276号)。

另外，还提出了如下一种技术：在相同颜色的缺陷像素排列成连续的情况下，检测并校正这些缺陷像素(以下被称为连续缺陷像素)(例如，参照日本未审查专利申请公布第2010-130238号)。

发明内容

然而，在上述技术中，不能够简单地并以更高的准确度检测缺陷像素。例如，在基于边缘方向来检测缺陷像素的方法中，不能够检测连续缺陷像素。

另外，在检测连续缺陷像素的技术中，需要分别提供用于检测连续缺陷像素的确定部和用于检测所谓的单个缺陷像素(其中，作为处理目标的像素自身是有缺陷的，而在其邻近相邻的像素不是有缺陷的)的确定部。

期望能够以更高的准确度、更简单地检测缺陷像素。

根据本技术的第一实施例，提供了一种图像处理装置，设置有：确定部，其基于包括图像中目标像素的邻近区域，确定邻近区域中的纹理方向；以及检测部，其基于图像中在纹理方向上排列的、包括目标像素的多个像素，检测目标像素是否是缺陷像素。

可以在检测部中设置：二次差分值计算部，其关于图像中在纹理方向上排列成连续的、包括目标像素的预定数量的像素的组，计算像素的像素值的二次差分值；以及比较部，其基于多个不同的组的二次差分值，确定目标像素是否是缺陷像素。

在比较部中，可以在多个不同的组的每个二次差分值均大于预定阈值的情况下，确定目标像素是缺陷像素。

还可以在图像处理装置中设置缺陷像素校正部，其基于与目标像素相同颜色且在纹理方向上排列的、目标像素邻近的像素，校正目标像素。

可以在缺陷像素校正部中设置：差分值计算部，其关于目标像素，计算在与纹理方向平行的第一方向上相邻的两个像素的差分值，并且关于目标像素，计算在与第一方向相反的第二方向上相邻的两个像素的差分值；以及校正值计算部，其关于目标像素，通过对在第一方向和第二方向中差分值较小的方向上相邻的两个像素执行加权平均，设置校正之后的目标像素。

在确定部中，可以基于邻近区域中在相同方向上排列的像素之间的差分值来计算邻近区域中的方向的差分值，并且多个方向中差分值最小的方向被设置为纹理方向。

根据本技术的第一实施例，提供了一种图像处理方法和程序，包括：基于包括图像中目标像素的邻近区域，确定邻近区域中的纹理方向；以及基于图像中在纹理方向上排列的、包括目标像素的多个像素，检测目标像素是否是缺陷像素。

在本技术的第一实施例中，基于包括图像中目标像素的邻近区域，确定邻近区域中的纹理方向；以及基于图像中在纹理方向上排列的、包括目标像素的多个像素，检测目标像素是否是缺陷像素。

根据本技术的第二实施例，提供了一种图像处理装置，设置有：校正部，其关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括图像中目标像素的区域中的像素来校正目标像素；以及错误校正确定部，其基于包括图像中目标像素的邻近区域中的像素、目标像素、以及关于目标像素通过校正获取的校正的目标像素，关于目标像素执行错误校正确定。

在错误校正确定部中，可以至少基于目标像素邻近的、具有与目标像素不同颜色分量的像素、目标像素以及校正的目标像素，执行错误校正确定。

还可以在图像处理装置中设置：白平衡计算部，其计算邻近区域中具有与目标像素相同颜色的像素的平均值和邻近区域中具有与目标像素不同颜色的像素的平均值的比值，作为白平衡；以及无彩色化(achromaticcolorization)平均值计算部，其通过将位于目标像素邻近的、具有与目标像素不同颜色的像素的平均值乘以白平衡，计算无彩色化平均值；并且，在错误校正确定部中，可以通过对无彩色化平均值、目标像素以及校正的目标像素进行比较，执行错误校正确定。

在错误校正确定部中，可以在无彩色化平均值和目标像素的绝对差值等于或小于无彩色化平均值和校正的目标像素的绝对差值的情况下，输出目标像素作为最终目标像素。

在错误校正确定部中，可以在无彩色化平均值和目标像素的绝对差值大于无彩色化平均值和校正的目标像素的绝对差值的情况下，输出校正的目标像素作为最终目标像素。

在校正部中，可以通过关于目标像素执行缺陷像素校正处理或噪声去除处理，校正目标像素。

根据本技术的第二实施例，提供了一种图像处理方法和程序，包括：关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括图像中目标像素的区域中的像素来校正目标像素；以及基于包括图像中目标像素的邻近区域中的像素、目标像素、以及通过对目标像素执行校正而获取的校正的目标像素，关于目标像素执行错误校正确定。

在本技术的第二实施例中，关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括图像中目标像素的区域中的像素来校正目标像素；以及基于包括图像中目标像素的邻近区域中的像素、目标像素、以及通过对目标像素执行校正而获取的校正的目标像素，关于目标像素执行错误校正确定。

根据本技术的第一实施例和第二实施例，可以以更高的准确度来更简单地检测缺陷像素。

附图说明

图1是示出根据本技术的实施例的图像处理装置的配置示例的图；

图2是示出纹理方向确定部的配置示例的图；

图3是示出缺陷像素检测部的配置示例的图；

图4是示出缺陷像素校正部的配置示例的图；

图5是描述缺陷像素校正处理的流程图；

图6是描述水平方向上的差分值的计算的图；

图7是描述垂直方向上的差分值的计算的图；

图8是描述左对角线方向上的差分值的计算的图；

图9是描述右对角线方向上的差分值的计算的图；

图10是描述二次差分值的计算的图；

图11是描述二次差分值的计算的图；

图12是描述缺陷像素的检测的图；

图13是描述缺陷像素的校正的图；

图14是描述连续缺陷像素的检测的图；

图15是示出图像中的像素排列示例的图；

图16是描述纹理方向的其它特定方法的图；

图17是示出图像处理装置的其它配置示例的图；

图18是描述缺陷像素校正处理的流程图；

图19是描述目标邻近区域的平均值的计算的图；

图20是描述G像素校正处理的流程图；

图21是示出计算机的配置示例的图；

图22是示出图像处理装置的其它配置示例的图；

图23是示出缺陷像素检测和校正部的配置示例的图；

图24是示出错误校正确定部的配置示例的图；

图25是描述缺陷像素校正处理的流程图；

图26是描述白平衡的计算的图；

图27是描述无彩色化平均值的计算的图；

图28是描述像素的无彩色化的图；

图29是描述无彩色化平均值的计算的图；

图30是示出图像中像素的排列示例的图；

图31是示出图像处理装置的另一配置示例的图；

图32是描述缺陷像素校正处理的流程图；以及

图33是示出图像处理装置的另一配置示例的图。

具体实施方式

以下，将参照图描述应用了本技术的实施例。

(第一实施例)

[图像处理装置的配置示例]

图1是示出根据应用了本技术的实施例的图像处理装置的配置示例的图。

图像处理装置11具有目标像素信息作为输入，并且根据需要输出校正了缺陷的目标像素，其中，目标像素信息包括在作为图像中的目标的像素(以下称为目标像素)邻近的像素的像素值、位置、颜色分量信息等。

图像处理装置11由邻近区域提取部21、纹理方向确定部22、缺陷像素检测部23、以及缺陷像素校正部24构成。

例如，在邻近区域提取部21中提供目标像素信息，其由目标像素邻近的多个像素的像素值、每个像素的位置、以及指示每个像素的颜色分量的颜色分量信息构成。邻近区域提取部21从提供的目标像素信息提取关于邻近区域的信息，并且把该信息提供给纹理方向确定部22和缺陷像素检测部23，其中，该邻近区域由包括目标像素的、图像中目标像素邻近的若干像素构成。

纹理方向确定部22基于从邻近区域提取部21提供的邻近区域信息来指定图像中的纹理方向，并且将指示指定的纹理方向的方向信息提供给缺陷像素检测部23和缺陷像素校正部24。

缺陷像素检测部23基于从纹理方向确定部22提供的方向信息和从邻近区域提取部21提供的邻近区域信息，指定目标像素是否是缺陷像素，并且将指定结果和目标像素邻近的像素提供给缺陷像素校正部24。

缺陷像素校正部24基于从缺陷像素检测部23提供的目标像素是否是缺陷像素的指定结果和目标像素邻近的像素、以及来自纹理方向确定部22的方向信息，根据需要校正目标像素，并且输出校正之后的目标像素。

[纹理方向确定部的配置示例]

另外，更详细地，如图2所示配置图1中的纹理方向确定部22。

即，纹理方向确定部22由差分值计算部51-1至差分值计算部51-4以及差分值比较部52构成。

差分值计算部51-1至差分值计算部51-4基于从邻近区域提取部21提供的邻近区域信息，计算图像中目标像素邻近的区域中每个方向的差分值，并且将差分值提供给差分值比较部52。这里，在不需要特别确定的情况下，差分值计算部51-1至差分值计算部51-4以下简单地被称为差分值计算部51。

差分值比较部52通过对从差分值计算部51提供的每个方向的差分值进行比较来指定纹理方向，并且将指示指定的纹理方向的方向信息提供给缺陷像素检测部23和缺陷像素校正部24。例如，各个方向中差分值最小的方向是纹理方向。

[缺陷像素检测部的配置示例]

此外，更详细地，如图3所示配置图1中的缺陷像素检测部23。

即，缺陷像素检测部23由像素选择部81、二次差分值计算部82、以及差分值比较部83构成。

像素选择部81基于从邻近区域提取部21提供的邻近区域信息和从纹理方向确定部22的差分值比较部52提供的方向信息，选择图像中在纹理方向上排列的、包括目标像素的若干像素。像素选择部81将选择的像素(以下被称为所选像素)提供给二次差分值计算部82和缺陷像素校正部24。

二次差分值计算部82基于从像素选择部81提供的所选像素来计算排列成连续的、包括目标像素的每组像素的二次差分值，并且将二次差分值提供给差分值比较部83。差分值比较部83基于从二次差分值计算部82提供的多个二次差分值来指定目标像素是否是缺陷像素，并且将指定结果提供给缺陷像素校正部24。

[缺陷像素校正部的配置示例]

另外，更详细地，如图4所示配置图1中的缺陷像素校正部24。即，缺陷像素校正部24由差分值计算部111和校正值计算部112构成。

差分值计算部111根据从差分值比较部83提供的缺陷像素指定结果将来自像素选择部81的所选像素按原样提供给校正值计算部112，或者将目标像素邻近的像素的差分值连同所选像素一起提供给校正值计算部112。另外，差分值计算部111基于来自像素选择部81的所选像素和来自差分值比较部52的方向信息，计算目标像素邻近的像素的差分值。

校正值计算部112在从差分值计算部111提供了所选像素和差分值的情况下，基于所选像素和差分值来校正目标像素，并且输出校正的目标像素。另外，校正值计算部112在仅从差分值计算部111提供了所选像素的情况下，按原样输出包括在所选像素中的目标像素。

[缺陷像素校正处理的描述]

这里，当目标像素信息被提供给图像处理装置11并且指示目标像素的检测和校正时，图像处理装置11执行缺陷像素校正处理，并且根据需要校正并输出目标像素的像素值。以下，将参照图5的流程图描述关于图像处理装置11的缺陷像素校正处理。

对作为试图执行缺陷像素的检测和校正的处理目标的图像中的每个像素执行缺陷像素校正处理。这里，以下，作为处理目标的图像由R、G以及B的每个颜色的像素构成，并且每个颜色的像素以拜尔(Bayer)排列而排列。另外，以下，R、G以及B的每个颜色的像素分别被称为R像素、G像素以及B像素。

在步骤S11中，邻近区域提取部21从输入的目标像素信息提取邻近区域信息，并且将邻近区域信息提供给纹理方向确定部22的差分值计算部51和缺陷像素检测部23的像素选择部81。

例如，在目标像素是G像素的情况下，邻近区域提取部21从由以图像中目标像素为中心的、水平方向上的九个像素和垂直方向上的九个像素构成的矩形区域提取包括在该矩形区域中的G像素，并且设置为邻近区域信息。

在步骤S12中，差分值计算部51基于从邻近区域提取部21提供的邻近区域信息来计算每个方向上的差分值，并且将差分值提供给差分值比较部52。

这里，将参照图6至9描述每个方向的差分值的计算。这里，在图6至9中，宽度方向和高度方向分别被示出为x方向和y方向。另外，在图6至9中，一个方块表示图像中的一个像素，并且这些像素中、在方块中以字母“G”所记的像素是G像素。

例如，如图6所示，以目标像素CP11为中心、由x方向上的九个像素和y方向上的九个像素构成的矩形区域(以下被称为目标邻近区域)中的G像素被提供作为邻近区域信息。在这种情况下，差分值计算部51-1关于目标邻近区域计算图中水平方向(x方向)上的差分值GH。

具体地，差分值计算部51-1将作为目标邻近区域的、图中在宽度方向上彼此相邻排列的G像素配对。例如，目标像素CP11和图中作为目标像素CP11的左侧相邻的G像素的像素P12被设置为一对。

差分值计算部51-1关于目标邻近区域中的每个G像素对，计算一对G像素的像素值的差分值(即，像素值的绝对差值)，并且将关于每个对的绝对差值的总和设置为水平方向上的差分值GH。

例如，具有xy坐标系中的坐标(x，y)的G像素和具有坐标(x-2，y)的G像素被设置为一对，并且具有坐标(x，y)的G像素的像素值被设置为G(x，y)，而具有坐标(x-2，y)的G像素的像素值被设置为G(x-2，y)。在这种情况下，通过|(G(x，y)-G(x-2，y)|确定该对G像素的差分值gradH(x，y)。

差分值gradH(x，y)指示在作为处理目标的G像素的位置中，在图中的水平方向(宽度方向)上的G像素的像素值的变化大小。根据差分值GH成为目标邻近区域中的每个G像素的差分值的总和，差分值GH可以指示整体目标邻近区域中水平方向上的G像素的像素值的变化大小。例如，随着差分值GH越小，在目标邻近区域中水平方向上的G像素的像素值的变化越小。

另外，例如，如图7所示，差分值计算部51-2关于目标邻近区域，计算图中垂直方向(y方向)上的差分值GV。

具体地，差分值计算部51-2将作为目标邻近区域的、图中在高度方向上彼此相邻排列的G像素配对。例如，目标像素CP11和图中作为目标像素CP11的上侧相邻的G像素的像素P13被设置为一对。

差分值计算部51-2关于目标邻近区域中的每个G像素对，计算一对G像素的像素值的差分值，并且将关于每个对的绝对差值的总和设置为垂直方向上的差分值GV。

例如，具有xy坐标系中的坐标(x，y)的G像素和具有坐标(x，y-2)的G像素被设置为一对，并且具有坐标(x，y)的G像素的像素值被设置为G(x，y)，而具有坐标(x，y-2)的G像素的像素值被设置为G(x，y-2)。在这种情况下，通过|(G(x，y)-G(x，y-2)|确定该对G像素的差分值gradV(x，y)。因此，差分值GV指示整体目标邻近区域中垂直方向上的G像素的变化大小。

此外，例如，如图8所示，差分值计算部51-3关于目标邻近区域，计算图中左上方向(左对角线方向)上的差分值GD。

具体地，差分值计算部51-3将作为目标邻近区域的、图中在左对角线方向上彼此相邻排列的G像素配对。例如，目标像素CP11和图中作为目标像素CP11的左上侧相邻的G像素的像素P14被设置为一对。

差分值计算部51-3关于目标邻近区域中的每个G像素对，计算一对G像素的像素值的差分值，并且将关于每个对的绝对差值的总和设置为左对角线方向上的差分值GD。

例如，具有xy坐标系中的坐标(x，y)的G像素和具有坐标(x-1，y-1)的G像素被设置为一对，并且具有坐标(x，y)的G像素的像素值被设置为G(x，y)，而具有坐标(x-1，y-1)的G像素的像素值被设置为G(x-1，y-1)。在这种情况下，通过|(G(x，y)-G(x-1，y-1)|确定该对G像素的差分值gradD(x，y)。因此，差分值GD指示整体目标邻近区域中左对角线方向上的G像素的变化大小。

此外，例如，如图9所示，差分值计算部51-4关于目标邻近区域，计算图中右上方向(右对角线方向)上的差分值GA。

具体地，差分值计算部51-4将作为目标邻近区域的、图中在右对角线方向上彼此相邻排列的G像素配对。例如，目标像素CP11和图中作为目标像素CP11的右上侧相邻的G像素的像素P15被设置为一对。

差分值计算部51-4关于目标邻近区域中的每个G像素对，计算一对G像素的像素值的差分值，并且将关于每个对的绝对差值的总和设置为右对角线方向上的差分值GA。

例如，具有xy坐标系中的坐标(x，y)的G像素和具有坐标(x+1，y-1)的G像素被设置为一对，并且具有坐标(x，y)的G像素的像素值被设置为G(x，y)，而具有坐标(x+1，y-1)的G像素的像素值被设置为G(x+1，y-1)。在这种情况下，通过|(G(x，y)-G(x+1，y-1)|确定该对G像素的差分值gradA(x，y)。因此，差分值GA指示整体目标邻近区域中右对角线方向上的G像素的变化大小。

如上，当差分值计算部51-1至差分值计算部51-4对于目标邻近区域中的每个方向计算差分值GH、差分值GV、差分值GD、以及差分值GA时，差分值被提供给差分值比较部52。

返回到图5的流程图，当在步骤S12中计算出每个方向的差分值时，处理前进到步骤S13。

在步骤S13中，差分值比较部52通过对从差分值计算部51提供的每个方向上的差分值进行比较，指定图像中的纹理方向。

具体地，差分值比较部52选择差分值GH、差分值GV、差分值GD、以及差分值GA中具有最小值的差分值，并且将选择的差分值的方向设置为纹理方向。例如，假设各个方向的差分值中，水平方向上的差分值GH具有最小值。在这种情况下，水平方向是目标邻近区域中的水平方向、垂直方向、左对角线方向、以及右对角线方向中具有像素值的最小变化的方向。

差分值比较部52指定图像中目标像素的邻近中像素值的变化最小的方向(即，图案变化较小的方向)作为纹理方向。当以这种方式指定纹理方向时，差分值比较部52将纹理方向提供给缺陷像素检测部23的像素选择部81和缺陷像素校正部24的差分值计算部111。

在步骤S14中，像素选择部81基于来自邻近区域提取部21的邻近区域信息和来自差分值比较部52的方向信息，选择在缺陷像素的检测和校正中使用的像素作为所选像素，并且将像素提供给二次差分值计算部82和差分值计算部111。

在步骤S15中，二次差分值计算部82基于从像素选择部81提供的所选像素来计算二次差分值L₁至二次差分值L₃这三个值，并且将二次差分值提供给差分值比较部83。

例如，在方向信息中指示的纹理方向是水平方向的情况下，如图10所示，像素选择部81选择目标像素邻近的G像素中、以目标像素CP21为中心并且在水平方向排列成连续的五个G像素作为所选像素。这里，在图10中，一个方块表示图像中的一个像素，并且这些像素中、在方块中以字母“G”所记的像素是G像素。

在图10的示例中，选择图中在水平方向上排列成连续的像素P31至像素P34以及目标像素CP21作为所选像素。这里，如图的右侧所示，像素P31至像素P34以及目标像素CP21的像素值分别被设置为G₁₅、G₃₅，G₇₅、G₉₅以及G₅₅。

当从目标邻近区域中选择在纹理方向上排列的像素作为所选像素时，二次差分值计算部82使用所选像素来计算三个二次差分值。

具体地，如图中的右侧所示，关于图中目标像素CP21的位置在右边缘、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算该组的拉普拉斯算子作为二次差分值L₁。即，基于像素P31、像素P32以及目标像素CP21这三个像素的各个像素值，计算二次差分值L₁＝G₁₅-2G₃₅+G₅₅。

以相同方式，关于图中目标像素CP21的位置在中央、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算该组的拉普拉斯算子作为二次差分值L₂。即，基于像素P32、目标像素CP21以及像素P33这三个像素的各个像素值，计算二次差分值L₂＝G₃₅-2G₅₅+G₇₅。

此外，关于图中目标像素CP21的位置在左边缘、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算该组的拉普拉斯算子作为二次差分值L₃。即，基于目标像素CP21、像素P33以及像素P34这三个像素的各个像素值，计算二次差分值L₃＝G₅₅-2G₇₅+G₉₅。

以这种方式，在纹理方向上排列成连续的三个像素中，计算通过将中央像素的像素值乘以二和位于中央像素两侧的像素的像素值的和值获取的差分值作为二次差分值。当以这种方式使用所选像素计算出二次差分值L₁、二次差分值L₂、以及二次差分值L₃时，二次差分值计算部82将计算出的二次差分值提供给差分值比较部83。

另外，例如，在方向信息中指示的纹理方向是右对角线方向的情况下，如图11所示，像素选择部81选择目标像素邻近的G像素中、以目标像素CP31为中心、并且在右对角线方向上排列成连续的五个G像素作为所选像素。这里，在图11中，一个方块表示图像中的一个像素，并且这些像素中、在方块中以字母“G”所记的像素是G像素。

在图11的示例中，选择图中在右对角线方向上排列成连续的像素P41至像素P44以及目标像素CP31作为所选像素。这里，如图的右侧所示，像素P41至像素P44以及目标像素CP31的像素值分别被设置为G₃₇、G₄₆，G₆₄、G₇₃以及G₅₅。

当从目标邻近区域中选择所选像素时，如图中的右侧所示，关于图中目标像素CP31的位置在右边缘、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算二次差分值L₁。即，基于像素P41、像素P42以及目标像素CP31这三个像素的各个像素值，计算二次差分值L₁＝G₃₇-2G₄₆+G₅₅。

以相同方式，关于图中目标像素CP31的位置在中央、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算二次差分值L₂。即，基于像素P42、目标像素CP31以及像素P43这三个像素的各个像素值，计算二次差分值L₂＝G₄₆-2G₅₅+G₆₄。

此外，关于图中目标像素CP31的位置在左边缘、通过在纹理方向上排列而三个连续的G像素的组，二次差分值计算部82计算二次差分值L₃。即，基于目标像素CP31、像素P43以及像素P44这三个像素的各个像素值，计算二次差分值L₃＝G₅₅-2G₆₄+G₇₃。

返回到图5中的流程图的描述，当计算出二次差分值时，处理从步骤S15前进到步骤S16。

在步骤S16中，差分值比较部83通过将从二次差分值计算部82提供的二次差分值L₁至二次差分值L₃与预定阈值τ进行比较，指定目标像素是否是缺陷像素，并且将指定结果提供给缺陷像素校正部24的差分值计算部111。

具体地，在二次差分值L₁＞τ、二次差分值L₂＞τ、并且二次差分值L₃＞τ的情况下，差分值比较部83将目标像素设置为缺陷像素。即，在所有三个二次差分值都大于阈值τ的情况下，目标像素被设置为缺陷像素。

例如，二次差分值是使用在像素值的变化小的方向上排列的三个像素计算出的拉普拉斯算子。由于期望在二次差分值的计算中使用的三个像素的像素值是基本相同值的值，因此期望二次差分值足够地小。

这里，当在二次差分值的计算中使用的像素当中包括缺陷像素时，由于缺陷像素的像素值与其它像素的像素值较大地不同，因此使用缺陷像素计算出的二次差分值大于阈值τ。

这里，在二次差分值L₁至二次差分值L₃这三个值的每个的计算中，由于必须使用目标像素，因此如果目标像素是缺陷像素，则三个二次差分值中的任一个均大于阈值τ。即使在与目标像素相邻的其它像素是缺陷像素的情况下，也同样是这样。因此，在所有三个二次差分值都大于阈值τ的情况下，差分值比较部83将目标像素设置为缺陷像素。

例如，如图12中的箭头A11所示，选择以目标像素CP41为中心的、在纹理方向上排列的像素P51、像素P52、目标像素CP41、像素P53以及像素P54作为所选像素。这里，在图12中，在图中，一个方块表示一个像素，特别地，具有交叉标记的方块是缺陷像素。

在由箭头A11指示的示例中，目标像素CP41是缺陷像素，而被选择作为所选像素的其它像素是正常像素，它们不是缺陷像素。

在这种情况下，在二次差分值L₁的计算中使用像素P51、像素P52以及目标像素CP41，并且在二次差分值L₂的计算中使用像素P52、目标像素CP41以及像素P53。另外，在二次差分值L₃的计算中使用目标像素CP41、像素P53以及像素P54。

因此，在该示例中，由于在二次差分值L₁至二次差分值L₃的计算中使用是缺陷像素的目标像素CP41，因此二次差分值大于阈值τ，并且目标像素CP41被正确地指定为缺陷像素。

在由箭头A11指示的示例中，目标像素CP41是缺陷像素，而这是在目标像素CP41的两侧相邻的像素P52和像素P53是没有缺陷的正常像素的示例。在以这种方式仅目标像素是有缺陷的而具有与目标像素相同颜色的相邻像素是没有缺陷的情况下，目标像素被特别地称为单个缺陷像素。

另外，如箭头A12所示，在目标像素CP41和目标像素CP41的左侧相邻的像素P52是缺陷像素的情况下，在二次差分值L₁至二次差分值L₃的每个的计算中使用至少一个缺陷像素。结果，每个二次差分值均大于阈值τ，并且目标像素CP41在这种情况下也被正确地指定为缺陷像素。

在由箭头A12指示的示例中，其是目标像素CP41是缺陷像素且与目标像素CP41相邻的像素P52也是缺陷像素的示例。在以这种方式不但目标像素而且与目标像素相邻的像素都是缺陷像素的情况下，目标像素被特别地称为连续缺陷像素。

这里，在由箭头A11示出的单个缺陷的情况下，三个二次差分值(拉普拉斯算子)基本上是相同值，而在由箭头A12示出的连续缺陷的情况下，诸如二次差分值L₁和二次差分值L₃的、二次差分值中的两个的值较大地不同。结果，可以在差分值比较部83中通过对三个二次差分值进行比较来确定目标像素是单个缺陷像素还是连续缺陷像素。

另一方面，如箭头A13所示，在目标像素CP41不存在缺陷而仅在目标像素CP41周围的像素P51中存在缺陷的情况下，在二次差分值L₁的计算中使用是缺陷像素的像素P51，而在二次差分值L₂和二次差分值L₃的计算中没有使用像素P51。在二次差分值L₂和二次差分值L₃的计算中使用的任意像素都不是缺陷像素。

结果，二次差分值L₁大于阈值τ，而二次差分值L₂和二次差分值L₃小于阈值τ，并且目标像素CP41被正确地指定为没有缺陷的正常像素。

以相同方式，如箭头A14所示，在目标像素CP41不存在缺陷、而目标像素CP41周围的像素P51和像素P52存在缺陷的情况下，使用缺陷像素计算出的二次差分值L₁和二次差分值L₂大于阈值τ。然而，由于使用不是缺陷像素的目标像素CP41、像素P53以及像素P54计算出的二次差分值L₃小于阈值τ，因此目标像素CP41在这种情况下也被正确地指定为没有缺陷的正常像素。

在由箭头A13和箭头A14示出的示例中，目标像素CP41是没有缺陷的正常像素，并且当计算三个二次差分值中的任一个时，仅使用没有缺陷的像素来计算二次差分值。因此，即使在所选像素中除目标像素之外的像素是缺陷像素的情况下，也获取小于阈值τ的至少一个二次差分值，并且正确地指定目标像素是正常像素。在所选像素中除目标像素之外存在连续缺陷的情况下，也同样如此。即，即使在所选像素中存在与目标像素不同并且彼此相邻的缺陷像素的情况下，也可以正确地指定目标像素是否是缺陷像素。

如上，如果使用在纹理方向上排列的像素来计算三个二次差分值并且将二次差分值与阈值进行比较，则可以以高准确度来简单地指定目标像素是否是缺陷像素，而不取决于目标像素是否是单个缺陷像素或者目标像素是否是连续缺陷像素。这里，更详细地，尽管存在由于包括在所选像素中的缺陷像素的数量或位置而导致的错误校正的情况，但是在缺陷像素检测部23中可以以高准确度利用比现有技术更简单的处理来检测缺陷像素。

另外，与二次差分值比较的阈值τ可以是固定的恒定值、或者可以根据差分值计算部51以特定纹理方向计算的差分值来以适当的方式改变。另外，可以使用由于目标像素的颜色而不同的阈值。

返回到图5的流程图，当指定了目标像素是否是缺陷像素时，差分值比较部83将指定结果提供给缺陷像素校正部24的差分值计算部111，并且在此之后，处理前进到步骤S17。

在步骤S17中，差分值计算部111基于从差分值比较部83提供的关于目标像素是否是缺陷像素的指定结果，确定目标像素是否是缺陷像素。

在步骤S17中确定目标像素是缺陷像素的情况下，在步骤S18中，差分值计算部111基于来自差分值比较部52的方向信息和从像素选择部81提供的所选像素，计算差分值。差分值计算部111将计算出的差分值和所选像素提供给校正值计算部112。

然后，在步骤S19中，校正值计算部112基于从差分值计算部111提供的差分值和所选像素来校正目标像素，并且在稍后的阶段输出校正之后的目标像素。

例如，如图13所示，假设在纹理方向上排列的像素P61、像素P62、目标像素CP51、像素P63、以及像素P64被提供给差分值计算部111作为所选像素。这里，在图13中，一个方块表示一个像素，并且每个方块中的字符指示方块表示的像素的像素值。即，像素P61、像素P62、目标像素CP51、像素P63、以及像素P64中每个像素的像素值分别是G1、G2、G3、G4、以及G5。

在诸如这样的情况下，差分值计算部111根据图中在目标像素CP51的左侧相邻的像素P61和像素P62这两个像素来计算差分值g₁。即，计算像素P61和像素P62的像素值的差的绝对值、差分值g₁＝|G1-G2|作为差分值g₁。

另外，差分值计算部111根据图中在目标像素CP51的右侧相邻的像素P63和像素P64这两个像素来计算差分值g₂。即，计算像素P63和像素P64的像素值的差的绝对值、差分值g₂＝|G4-G5|作为差分值g₂。

以这种方式，当计算出目标像素CP51的左侧的差分值g₁和目标像素CP51的右侧的差分值g₂时，校正值计算部112使用差分值来校正目标像素CP51的像素值。

具体地，在差分值g₁等于或小于差分值g₂的情况下，校正值计算部112通过利用预定权重α以加权方式(加权平均)将像素P61的像素值G1和像素P62的像素值G2相加，计算校正之后的目标像素CP51的像素值G3′。即，计算G3′＝α·G1+(1-α)G2。

由于像素排列在纹理方向(即，像素值的变化小的方向)上，因此，如果被选择作为所选像素并且彼此相邻的像素的绝对差值(即，差分值)较小，则存在像素不是缺陷像素的高概率。因此，在差分值g₁等于或小于差分值g₂的情况下，像素P61和像素P62的组包括缺陷像素的概率低于像素P63和像素P64。

因此，校正值计算部112使用与目标像素CP51相邻的像素中、具有成为缺陷像素的较低概率的像素P61和像素P62，计算校正之后的目标像素CP51的像素值G3′。

另一方面，在差分值g₁大于差分值g₂的情况下，校正值计算部112通过利用预定权重β以加权方式(加权平均)将像素P63的像素值G4和像素P64的像素值G5相加，计算校正之后的目标像素CP51的像素值G3′。即，计算G3′＝β·G4+(1-β)G5。

以这种方式，根据差分值g₁和差分值g₂的值，通过仅使用在目标像素CP51的一侧相邻的像素来校正目标像素，即使在目标像素CP51是连续缺陷像素的情况下，也可以获取目标像素CP51的适当的校正值。这里，在目标像素CP51的校正中使用的权重α和β可以是零和一之间的任意值。

返回到图5的流程图，当校正了目标像素时，校正值计算部112输出校正之后的目标像素的像素值，并且缺陷像素校正处理完成。

另一方面，在步骤S17中确定目标像素不是缺陷像素的情况下，差分值计算部111将从像素选择部81提供的所选像素提供给校正值计算部112，并且在此之后处理前进到步骤S20。

在步骤S20中，校正值计算部112从由差分值计算部111提供的所选像素提取目标像素，并且通过原样输出目标像素的像素值来完成缺陷像素校正处理。即，在这种情况下，由于目标像素不是缺陷像素，因此不执行关于目标像素的校正，并且在稍后阶段按原样输出目标像素的像素值。

如上，图像处理装置11使用在纹理方向上排列的、包括目标像素的若干像素来计算多个二次差分值，并且通过利用二次差分值的阈值处理来指定目标像素是否为缺陷像素。

由于这样，可以以高准确度简单地检测缺陷像素，而不取决于目标像素是否是单个缺陷像素或者目标像素是否是连续缺陷像素，并且可以减小图像处理装置11中的电路的规模和改善处理速度。

另外，在目标像素是缺陷像素的情况下，由于使用在目标像素的纹理方向上排列的像素中、具有成为缺陷像素的较低可能性的像素来校正目标像素，因此可以更适当地校正目标像素。

例如，通过沿纹理方向执行缺陷像素的检测，在包括诸如条纹图案的高频分量的纹理部分，可以防止作为缺陷过分校正纹理和图像质量的劣化。另外，由于使用二次差分值(拉普拉斯算子)的缺陷像素的检测，因此可以减少图像图案平滑变化的梯度部分中的错误校正。

这里，以上描述了在纹理方向的确定中使用的像素和在缺陷像素的检测中使用的像素与目标像素相同颜色的情况，但是在纹理方向的确定中使用的像素不一定与目标像素相同颜色。

在诸如这样的情况下，例如，当目标像素是R像素时，在纹理方向确定部22中使用目标像素邻近的G像素来指定纹理方向，并且在缺陷像素检测部23中使用与目标像素相同颜色的R像素来执行目标像素是否为缺陷像素的指定。

特别地，在图像中像素的每个颜色的布置是拜尔排列的情况下，由于图像中包括比其它颜色的像素更多的G像素，因此如果使用G像素来指定纹理方向，则可以以更高准确度来指定纹理方向。

<变型示例1>

另外，描述了以目标像素为中心、通过在纹理方向上排列而为连续的五个像素作为所选像素并且使用所选像素来执行缺陷像素的检测的情况，但是所选像素可以是六个或更多个。

即，例如，如图14所示，提取以目标像素CP61为中心的、水平方向上13个像素和垂直方向上13个像素的邻近目标区域，并且由方向信息指示的纹理方向是水平方向。

这里，在图14中，一个方块是图像中的一个像素，并且这些像素中、在方块中以字母“G”所记的像素是G像素。

在图14的示例中，像素选择部81选择目标像素邻近的G像素中、以目标像素CP61为中心、在水平方向上排列成连续的七个G像素作为所选像素。即，选择图中在宽度方向排列成连续的像素P71至像素P76以及目标像素CP61作为所选像素。这里，如图的右侧所示，像素P71至像素P76以及目标像素CP61的像素值分别被设置为G₁₅、G₃₅、G₅₅、G₉₅、G₁₁₅、G₁₃₅、以及G₇₅。

在这种情况下，二次差分值计算部82使用所选像素中排列成连续的五个像素，计算函数值F₁至函数值F₃这三个值。这里，函数值F₁至函数值F₃是如下任意函数：其中，在缺陷像素包括在在函数值的计算中使用的像素中的情况下，值变得越大。

在计算函数值F₁的情况下，使用像素P71至像素P73、目标像素CP61以及像素P74。即，例如，计算函数值F₁＝G₁₅+2G₃₅-6G₅₅+2G₇₅+G₉₅。以相同方式，在计算函数值F₂的情况下，使用像素P72、像素P73、目标像素CP61、像素P74以及像素P75，并且在计算函数值F₃的情况下，使用像素P73、目标像素CP61、以及像素P74至像素P76。

差分值比较部83可以根据来自函数值F₁至函数值F₃与阈值的比较的比较结果，指定目标像素CP61是否是缺陷像素。在这种情况下，即使当目标像素CP61是具有相同颜色的、连续的三个缺陷像素中的一个时(即，即使当存在三个连续缺陷像素时)，也可以正确地确定目标像素CP61是否是缺陷像素。

这里，即使在目标像素是构成为四个或更多个的连续缺陷像素的像素的情况下，如果使得目标邻近区域更大并且在检测缺陷像素的函数值的计算中使用的像素的数量增大，则这也可以成立。

<变型示例2>

此外，以上描述了作为处理目标的图像中的每个颜色的像素的布置是拜尔排列的示例，但是每个颜色的像素可以具有任意布置，而不限于拜尔排列。

例如，如图15所示，除R像素、G像素以及B像素之外，此外，透明(白)的像素(以下被称为W像素)可布置在图像中。这里，在图15中，一个方块表示一个像素，并且方块中的字母“R”、“G”、“B”以及“W”分别指示R像素、G像素、B像素以及W像素。

在这种情况下，可以按与拜尔排列中的G像素相同的方式处理W像素，并且可以按与拜尔排列中的R像素和B像素相同的方式处理W像素。然而，在图15的示例中，由于R像素和B像素的样本数量较小，因此需要如下支持：目标邻近区域比在G像素和W像素的情况下设置得更大，并且减小可以检测的连续缺陷的数量，以便利用作为目标像素的像素来检测缺陷像素。

<变型示例3>

此外，以上描述了使用具有预定颜色的像素来指定纹理方向，但是可使用其它信息(信号)来指定纹理方向。

例如，在具有Gr、Gb、R以及B中的每个颜色的像素布置在图像中的情况下，如图16所示，可根据像素确定亮度值(亮度信号)，并且可使用亮度值的差分值来指定纹理方向。这里，在图16中，一个方块表示一个像素，并且方块中的字母“R”、“B”、“Gr”以及“Gb”分别指示R像素、B像素、Gr像素以及Gb像素。另外，图中的一个圆圈指示亮度信号的位置。

在这种情况下，差分值计算部51确定与示出亮度信号的位置的圆圈相邻的四个像素(即，R像素、B像素、Gr像素以及Gb像素中的每个像素)的像素值的总和，并且将获取的总和设置为亮度信号的值(亮度值)。然后，差分值计算部51对于在预定方向上相邻的亮度信号的每对位置确定亮度信号的绝对差值，并且绝对差值的总和是差分值。另外，在使用亮度信号来指定纹理方向的情况下，缺陷像素的检测和校正使用具有与目标像素相同颜色的像素。

<第二实施例>

[图像处理装置的配置示例]

这里，在图像中的像素是拜尔排列的情况下，由于B像素和R像素的采样间隔与G像素不同，因此当使用每个颜色的像素来执行相同方式的处理时，在处理G像素的情况下需要目标邻近区域比处理R像素和B像素的情况下更大。

因此，根据目标像素的颜色，可以使用不同的方法来执行缺陷像素的检测和缺陷像素的校正。在诸如这样的情况下，例如，如图17所示配置图像处理装置。这里，在图17中，相同附图标记附于与图1的情况对应的部分，并且适当地省略其描述。

图17中的图像处理装置141处理例如每个颜色的像素以拜尔排列布置的图像，并且根据需要按顺序将图像中的每个像素作为目标像素来执行目标像素的校正。

图像处理装置141由邻近区域提取部21、纹理方向确定部22、缺陷像素检测部23、缺陷像素校正部24、平均值计算部151、缺陷像素检测部152以及缺陷像素校正部153构成。

邻近区域提取部21从提供的目标像素信息提取邻近区域信息，并且根据目标像素的颜色来切换邻近区域信息的输出目的地。即，邻近区域提取部21在目标像素是G像素的情况下，将邻近区域信息提供给纹理方向确定部22和缺陷像素检测部23，并且在目标像素是R像素或B像素的情况下，将邻近区域信息提供给平均值计算部151和缺陷像素校正部153。

平均值计算部151根据从邻近区域提取部21提供的邻近区域信息，计算目标邻近区域中具有与目标像素相同颜色的像素的平均像素值，并且将平均像素值提供给缺陷像素检测部152。缺陷像素检测部152基于从邻近区域提取部21提供的邻近区域信息和从平均值计算部151提供的平均像素值，指定目标像素是否是缺陷像素，并且将指定结果提供给缺陷像素校正部153。

缺陷像素校正部153基于来自缺陷像素检测部152的指定结果和从邻近区域提取部21提供的邻近区域信息，根据需要校正并输出目标像素。

[缺陷像素校正处理的描述]

接下来，将描述使用图像处理装置141的缺陷像素校正处理。

在步骤S51中，邻近区域提取部21基于输入的目标像素信息来确定目标像素是否是G像素。

在步骤S51中确定目标像素不是G像素的情况下(即，在目标像素是R像素或B像素的情况下)，在步骤S52中，邻近区域提取部21从提供的目标像素信息提取邻近区域信息。然后，邻近区域提取部21将邻近区域信息提供给平均值计算部151和缺陷像素校正部153。

在步骤S53中，平均值计算部151基于从邻近区域提取部21提供的邻近区域提取部来计算平均值，并且将平均值提供给缺陷像素检测部152。

例如，如图19所示，目标像素CP71是R像素，并且以目标像素CP71为中心、由x方向上的九个像素和y方向上的九个像素构成的目标邻近区域中的R像素被提供作为邻近区域信息。

这里，图中的宽度方向和高度方向分别是x方向和y方向。在图中，一个方块表示图像中的一个像素，并且在像素中所记的字母是该像素的颜色。

在这种情况下，平均值计算部151使用以下等式(1)的计算，计算目标邻近区域中的R像素的像素值的平均值W_R。

$W_R=\frac{1}{N}(\mathrm{\&Sigma;R}-R_{\max }-R_{2\mathrm{nd}\max }-R_{\min }-R_{2\mathrm{nd}\min })...\left(1\right)$

这里，在等式1中，∑R指示目标邻近区域中排除目标像素CP71的R像素的像素值的总和，并且N是通过从目标邻近区域中的所有R像素的数量中减去五而获取的值。

另外，R_max和R_2ndmax是目标邻近区域中排除目标像素CP71的R像素中、具有最大和第二大像素值的R像素的像素值。此外，R_min和R_2ndmin是目标邻近区域中排除目标像素CP71的R像素中、具有最小和第二小像素值的R像素的像素值。

因此，平均值W_R是目标邻近区域中排除目标像素CP71、具有最大和第二大像素值的R像素、以及具有最小和第二小像素值的R像素总共五个像素的、所有R像素的像素值的平均值。这里，从平均值的计算中排除具有较大像素值的像素和具有较小像素值的像素是为了降低目标邻近区域中缺陷像素的影响。

以这种方式获取的平均值W_R指示目标邻近区域中R像素的平均像素值。这里，在目标像素是B像素的情况下，使用与R像素的情况相同的处理来确定指示B像素的平均像素值的平均值。

返回到图18的流程图，在步骤S54中，缺陷像素检测部152基于来自邻近区域提取部21的邻近区域信息和来自平均值计算部151的平均值，确定目标像素是否是缺陷像素。

例如，在图19示出的示例中，当目标像素CP71的像素值是R′时，在作为目标像素CP71的像素值R′和平均值W_R的差的绝对值|R′-W_R|大于预定阈值t的情况下，缺陷像素检测部152将目标像素设置为缺陷像素。

即，由于平均值W_R是目标邻近区域中R像素的平均像素值，因此在目标像素CP71的像素值与平均像素值较大不同的情况下，存在目标像素CP71是缺陷像素的高可能性。因此，在目标像素的像素值和在步骤S53中确定的平均值的差的绝对值大于阈值t的情况下，缺陷像素检测部152将目标像素设置为缺陷像素。

当确定目标像是是否是缺陷像素时，缺陷像素检测部152将确定结果提供给缺陷像素校正部153。

在步骤S54中确定目标像素是缺陷像素的情况下，在步骤S55中，缺陷像素校正部153根据来自缺陷像素检测部152的确定结果，基于来自邻近区域提取部21的邻近区域信息来校正目标像素。

例如，缺陷像素校正部153通过执行与步骤S53相同的处理来计算平均值，并且将计算出的平均值设置为校正之后的目标像素的像素值。当校正了目标像素时，缺陷像素校正部153输出校正的目标像素的像素值，并且缺陷像素校正处理完成。

另一方面，在步骤S54中确定目标像素不是缺陷像素的情况下，缺陷像素校正部153根据来自缺陷像素检测部152的确定结果，在步骤S56中按原样输出目标像素的像素值。即，缺陷像素校正部153在无需校正的情况下输出使用从邻近区域提取部21提供的邻近区域信息而获取的目标像素的像素值，并且缺陷像素校正处理完成。

另外，在步骤S51中确定目标像素是G像素的情况下，在步骤S57中，图像处理装置141执行G像素校正处理，并且基于在纹理方向上排列的G像素来执行缺陷像素的检测和校正。这里，稍后将描述G像素校正处理的细节。当执行了G像素校正处理时，根据需要输出G像素作为校正的目标像素，并且缺陷像素校正处理完成。

如上，图像处理装置141根据目标像素是R像素还是B像素、或者目标像素是否是G像素，使用不同方法来指定目标像素是否是缺陷像素，并且根据需要校正目标像素的缺陷。由于这样，根据目标像素的颜色来提取适当的目标邻近区域，并且可以使用适于目标像素的颜色的方法来执行缺陷像素的检测和校正。

[G像素校正处理的描述]

接下来，图20是描述与图18中的步骤S57的处理对应的G像素校正处理的流程图。

这里，在G像素校正处理的步骤S81至步骤S90的处理中执行与图5的步骤S11至步骤S20的处理类似的处理，省略其描述。在步骤S81至步骤S90的处理中，指定纹理方向，并且使用在纹理方向上排列的像素来执行缺陷像素的检测和校正。

当执行了步骤S89或步骤S90的处理并且输出了目标像素的像素值时，G像素校正处理完成，并且在此之后，处理返回到图18的步骤S57，并且缺陷像素校正处理完成。

以这种方式，在G像素校正处理中，使用与R像素或B像素是目标像素的情况不同的处理来执行缺陷像素的检测和校正。

能够使用硬件执行或者能够使用软件执行以上描述的系列处理。在使用软件执行以上描述的系列处理的情况下，构成软件的程序从程序记录介质安装到内置专用硬件的计算机、能够通过安装的各种程序来执行各种处理的通用个人计算机等。

图21是示出使用程序来执行上述系列处理的计算机的硬件的配置示例的框图。

在计算机中，CPU(中央处理单元)501、ROM(只读存储器)502以及RAM(随机存取存储器)503经由总线504彼此连接。

输入/输出接口505也连接到总线504。在输入/输出接口505中，连接由键盘、鼠标、麦克风等构成的输入部506、由显示器、扬声器等构成的输出部507、由硬盘、非易失性存储器等构成的记录部508、由网络接口等构成的通信部509、以及驱动诸如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质511的驱动器510。

在以这种方式配置的计算机中，例如，CPU 501通过执行经由输入和输出接口505和总线504将程序装载到RAM 503上而记录在记录部508中的程序，执行上述系列处理。

计算机(CPU 501)执行的程序例如通过被记录在可拆卸介质511上、或者经由诸如局域网、因特网、或数字卫星广播的有线或无线传输介质来提供，可拆卸记录介质511是由磁盘(其包括软盘)、光盘(其包括CD-ROM(致密盘-只读存储器)或DVD(数字多功能盘)等)、磁光盘、半导体存储器等构成的封装介质。

然后，通过将可拆卸介质511安装在驱动器510中，程序可以经由输入和输出接口505被安装到记录部508。另外，程序可以经由有线或无线传输介质由通信部509接收并安装在记录部508中。除此之外，程序可以预先安装在ROM 502或记录部508中。

这里，计算机执行的程序可以是以符合说明书中描述的顺序的时间序列方式执行的程序，或者可以是并行执行处理的、或者在诸如执行请求时的必要定时执行处理的程序。

另外，本技术的实施例不限于上述实施例，而是在不脱离本技术的构思的范围内各种变型都是可以的。

这里，能够如下配置本技术。

[1]一种图像处理装置，设置有：确定部，其基于包括图像中目标像素的邻近区域，确定邻近区域中的纹理方向；以及检测部，其基于图像中在纹理方向上排列的、包括目标像素的多个像素，检测目标像素是否是缺陷像素。

[2]在[1]中描述的图像处理装置，其中，检测部设置有：二次差分值计算部，其关于图像中在纹理方向上排列成连续的、包括目标像素的预定数量的像素的组，计算像素的像素值的二次差分值；以及比较部，其基于多个不同的组的二次差分值，确定目标像素是否是缺陷像素。

[3]在[2]中描述的图像处理装置，其中，比较部在多个不同的组的每个二次差分值均大于预定阈值的情况下，确定目标像素是缺陷像素。

[4]在[1]至[3]中任一个描述的图像处理装置，其中，还设置有缺陷像素校正部，其基于与目标像素相同颜色且在纹理方向上排列的、目标像素邻近的像素，校正目标像素。

[5]在[4]中描述的图像处理装置，其中，缺陷像素校正部设置有：差分值计算部，其关于目标像素，计算在与纹理方向平行的第一方向上相邻的两个像素的差分值，并且关于目标像素，计算在与第一方向相反的第二方向上相邻的两个像素的差分值；以及校正值计算部，其关于目标像素，通过对在第一方向和第二方向中差分值较小的方向上相邻的两个像素执行加权平均，设置校正之后的目标像素。

[6]在[1]至[5]中任一个描述的图像处理装置，其中，确定部基于邻近区域中在相同方向上排列的像素之间的差分值来计算邻近区域中的方向的差分值，并且多个方向中差分值最小的方向被设置为纹理方向。

<第三实施例>

[错误校正]

然而，没有缺陷的像素可能会被不正确地检测为缺陷像素，并且由于关于该像素的自动缺陷校正而被校正。当以这种方式执行错误校正时，在图像中产生纹理的遗漏、伪颜色等。

例如，作为缺陷像素校正方法，提出了如下一种技术：通过在目标像素邻近的区域中执行纹理方向的确定和基于确定结果来执行缺陷像素的校正和检测，抑制由于缺陷像素的校正而产生的纹理遗漏和伪颜色(例如，参照日本未审查专利申请公布第2009-290653号和日本专利第4343988号)。

然而，即使利用诸如这样的缺陷像素校正方法，也存在如下情况：由于像素校正而使得高质量图像的获取是困难的。

即，当在纹理方向的正确确定是困难的区域中(例如，在具有高频纹理的区域中、像素值饱和的区域中等)校正缺陷像素时，产生像素的错误校正，并且通过校正而获取的图像的质量退化。

另外，在上述缺陷像素校正方法中，对于每个颜色分量(例如，如果存在拜尔排列，则对于R、G以及B中的每个)执行处理，并且使用具有相同颜色分量的像素来执行缺陷像素的检测和校正。结果，每个颜色的平衡由于校正而破坏，并且生成伪颜色。

[图像处理装置的配置示例]

因此，可以通过使用与目标像素的颜色分量不同的颜色分量来防止错误校正。在诸如这样的情况下，例如如图22所示地配置执行图像中缺陷像素的检测和校正的图像处理装置。

图22中的图像处理装置601由邻近区域提取部611、缺陷像素检测和校正部612以及错误校正确定处理部613构成。图像处理装置601具有目标像素信息作为输入，并且根据需要输出校正了缺陷的目标像素，其中，目标像素信息包括作为图像中的目标的像素(以下被称为目标像素)邻近的像素的像素值、位置、颜色分量信息等。

例如，在邻近区域提取部611中提供目标像素信息，其由目标像素邻近的多个像素的像素值、每个像素的位置、以及指示每个像素的颜色分量的颜色分量信息构成。邻近区域提取部611从提供的目标像素信息提取关于邻近区域的信息，并且把该信息提供给缺陷像素检测和校正部612和错误校正确定处理部613，其中，该邻近区域由包括目标像素的、图像中目标像素邻近的若干像素构成。

缺陷像素检测和校正部612基于来自邻近区域提取部611的邻近区域信息来检测目标像素是否是缺陷像素，根据需要校正被设置为缺陷像素的目标像素，并且将与校正之后的目标像素有关的缺陷校正信息提供给错误校正确定处理部613。这里，校正的目标像素以下被适当地称为校正的目标像素。

错误校正确定处理部613基于来自邻近区域提取部611的邻近区域信息和来自缺陷像素检测和校正部612的缺陷校正信息，执行目标像素错误校正确定，并且根据指定结果来输出目标像素或校正的目标像素。

[缺陷像素检测和校正部的配置示例]

另外，更具体地，如图23所示地配置图22中的缺陷像素检测和校正部612。即，缺陷像素检测和校正部612由缺陷检测部641和缺陷校正部642构成。

缺陷检测部641基于来自邻近区域提取部611的邻近区域信息来确定目标像素是否是缺陷像素，并且将确定结果和邻近区域信息提供给缺陷校正部642。缺陷校正部642基于来自缺陷检测部641的确定结果和邻近区域信息来校正目标像素，并且将包括作为结果获取的校正的目标像素的缺陷校正信息提供给错误校正确定处理部613。

[错误校正确定处理部的配置示例]

此外，更详细地，例如，如图24所示地配置图22的错误校正确定处理部613。即，错误校正确定处理部613由白平衡计算部671、无彩色化平均值计算部672以及错误校正确定部673构成。

白平衡计算部671基于来自邻近区域提取部611的邻近区域信息来计算白平衡，并且将获取的白平衡和邻近区域信息提供给无彩色化平均值计算部672。

无彩色化平均值计算部672基于从白平衡计算部671提供的白平衡和邻近区域信息，计算目标像素邻近的、执行了无彩色化的像素的像素值的平均值作为无彩色化平均值，并且将无彩色化平均值提供给错误校正确定部673。

错误校正确定部673基于来自无彩色化平均值计算部672的无彩色化平均值、提供的目标像素信息、以及从缺陷像素检测和校正部612的缺陷校正部642提供的缺陷校正信息，确定关于目标像素的校正是否是错误校正。另外，错误校正确定部673根据错误校正确定结果等，输出包括在目标像素信息中的目标像素或包括在缺陷校正信息中的校正的目标像素作为最终目标像素。

[缺陷像素校正处理的描述]

接下来，将参照图25的流程图来描述使用图像处理装置601执行的缺陷像素校正处理。

对作为试图执行缺陷像素的检测和校正的处理目标的图像中的每个像素执行缺陷像素校正处理。这里，以下，作为处理目标的图像由R、G以及B的每个颜色的像素构成，并且每个颜色的像素以拜尔排列而排列。另外，以下，R、G以及B的每个颜色的像素分别被称为R像素、G像素以及B像素。

在步骤S121中，邻近区域提取部611从输入的目标像素信息提取邻近区域信息，并且将邻近区域信息提供给缺陷像素检测和校正部612的缺陷检测部641和错误校正确定处理部613的白平衡计算部671。

例如，在目标像素是G像素的情况下，邻近区域提取部611从由图像中以目标像素为中心的、水平方向上的九个像素和垂直方向上的九个像素构成的矩形区域提取包括在该矩形区域中的每个像素，并且设置为邻近区域信息。

在步骤S122中，缺陷检测部641基于从邻近区域提取部611提供的邻近区域信息，关于目标像素执行缺陷检测。

例如，缺陷检测部641基于邻近区域信息来指定目标像素邻近的区域中的纹理方向，并且提取在纹理方向上排列的、由具有与目标像素相同颜色的像素构成的、包括目标像素的像素行。然后，缺陷检测部641通过对提取的像素行中的像素与目标像素进行比较，指定目标像素是否是缺陷像素。

另外，例如，缺陷检测部641通过根据距目标像素的距离进行加权，确定目标像素邻近的、具有与目标像素相同颜色的每个像素的像素值的加权平均值，并且通过对获取的加权平均值和目标像素进行比较，指定目标像素是否是缺陷像素。

在步骤S123中，缺陷检测部641确定目标像素是否是缺陷像素，并且将确定结果和邻近区域信息提供给缺陷检测部642。例如，在步骤S122中确定目标像素是缺陷像素的情况下，在步骤S123中确定目标像素是缺陷像素。

在步骤S123中确定目标像素是缺陷像素的情况下，在步骤S124中，缺陷校正部642基于来自缺陷检测部641的确定结果和邻近区域信息，对目标像素执行缺陷校正。

即，缺陷校正部642基于目标像素邻近的像素来确定校正的目标像素，并且将包括作为结果获取的校正的目标像素的缺陷校正信息提供给错误校正确定处理部613的错误校正确定部673。具体地，例如，缺陷校正部642将目标邻近区域中、具有与目标像素相同颜色的像素的像素值的平均值设置为校正的目标像素的像素值。

在步骤S125中，白平衡计算部671基于来自邻近区域提取部611的邻近区域信息来计算白平衡，并且将获取的白平衡和邻近区域信息提供给无彩色化平均值计算部672。

例如，提供图26中示出的关于以目标像素AC11为中心、九像素乘以九像素的区域(以下被称为目标邻近区域)的信息作为邻近区域信息。

这里，在图26中，一个方块表示一个像素，并且方块中的字母“R”、“G”以及“B”分别指示R像素、G像素以及B像素，并且在该示例中目标像素AC11是G像素。

白平衡计算部671计算图中目标邻近区域中的R像素、G像素以及B像素的每个颜色分量的颜色的像素的像素值的平均值，该目标邻近区域由高度方向上九个像素和宽度方向上九个像素的总共81个像素构成。

具体地，假设在由邻近区域信息指示的目标邻近区域中存在N_R个R像素、N_G个G像素以及N_B个B像素。另外，假设第R_i个(这里，i＝1至N_R)R像素的像素值是R_i，第G_i个(这里，i＝1至N_G)G像素的像素值是G_i，并且第B_i个B像素(这里，i＝1至N_B)的像素值是B_i。

此时，白平衡计算部671通过计算等式(2)来确定目标邻近区域中R像素的像素值的平均值aveR。

$\mathrm{aveR}=\frac{1}{N_R}\underset{i=1}{\overset{N_R}{\mathrm{\&Sigma;}}}{R}_i...\left(2\right)$

以相同方式，白平衡计算部671通过计算等式(3)来确定目标邻近区域中G像素的像素值的平均值aveG，并且通过计算等式(4)来确定目标邻近区域中B像素的像素值的平均值aveB。

$\mathrm{aveG}=\frac{1}{N_G}\underset{i=1}{\overset{N_G}{\mathrm{\&Sigma;}}}{G}_i...\left(3\right)$

$\mathrm{aveB}=\frac{1}{N_B}\underset{i=1}{\overset{N_B}{\mathrm{\&Sigma;}}}{B}_i...\left(4\right)$

此外，白平衡计算部671确定以这种方式获取的每个颜色分量的比值作为白平衡。具体地，例如，确定R分量的平均值aveR和G分量的平均值aveG的比值(aveG/aveR)、以及B分量的平均值aveB和G分量的平均值aveG的比值(aveG/aveB)作为目标邻近区域的白平衡。

返回到图25的流程图，在步骤S125中，当计算出白平衡时，处理前进到步骤S126。

在步骤S126中，无彩色化平均值计算部672基于从白平衡计算部671提供的白平衡和邻近区域信息来计算无彩色化平均值，并且将无彩色化平均值提供给错误校正确定部673。

例如，如图27所示，无彩色化平均值计算部672对图中与目标像素AC21上、下、左以及右相邻的像素CE11至像素CE14执行无彩色化，并且计算执行了无彩色化的像素的像素值的平均值作为无彩色化平均值P。

这里，在图27中，一个方块表示一个像素，并且方块中的字母“R”、“G”以及“B”分别指示R像素、G像素以及B像素。在该示例中，目标像素AC21是G像素，像素CE11和像素CE12是R像素，并且像素CE13和像素CE14是B像素。

像素CE11至像素CE14是目标邻近区域中的、目标像素邻近的像素。另外，例如，像素CE11和像素CE12的像素值分别是R₁和R₂，并且像素CE13和像素CE14的像素值分别是B₁和B₂。在这种情况下，无彩色化平均值计算部672通过计算等式(5)来计算无彩色化平均值P。

$P=\{\frac{\mathrm{aveG}}{\mathrm{aveB}}(B_1+B_2)+\frac{\mathrm{aveG}}{\mathrm{aveR}}(R_1+R_2)\}/4...\left(5\right)$

即，无彩色化平均值计算部672通过例如使像素CE11的像素值R₁乘以白平衡(aveG/aveR)，对像素CE11执行无彩色化。即，作为R分量的像素CE11的像素值与G分量相配。

当对目标像素邻近的、具有与目标像素不同的颜色分量的像素执行无彩色化时，无彩色化平均值计算部672将执行了无彩色化的像素的像素值的平均值设置为无彩色化平均值P。换句话说，通过被相配的R、G以及B的颜色平衡，确定目标像素邻近的、具有与目标像素不同的颜色分量的像素的像素值的平均值。

这里，在目标像素是R像素的情况下，无彩色化平均值计算部672通过计算等式(6)来计算无彩色化平均值P。

$P=\frac{\mathrm{aveR}}{\mathrm{aveG}}(G_1+G_2+G_3+G_4)/4...\left(6\right)$

这里，在等式(6)中，G₁至G₄指示图中与R像素(其是作为处理目标的图像中的目标像素)上、下、左以及右相邻的G像素的像素值。因此，在等式(6)中，白平衡(aveR/aveG)(更详细地，在步骤S125中确定的白平衡(aveG/aveR)的倒数)乘以在目标像素的上、下、左以及右的G像素的像素值的平均值，并且被设置为无彩色化平均值P。

即，即使在目标像素是R像素的情况下，也对目标像素邻近的像素执行无彩色化，并且执行了无彩色化的像素的像素值的平均值被设置为无彩色化平均值P。

另外，在目标像素是B像素的情况下，也使用与等式(6)相似的计算来计算无彩色化平均值P。即，白平衡(aveB/aveG)乘以在目标像素的上、下、左以及右的G像素的像素值的平均值，并且被设置为无彩色化平均值P。

例如，如图28所示，目标邻近区域中的每个颜色分量的像素的像素值的平均值通常不同。这里，在图28中，水平轴指示每个颜色分量，而垂直轴指示每个像素的像素值。

在目标邻近区域中，假设具有R像素、G像素以及B像素的每个颜色分量的像素的像素值分散在分别由箭头RE11至箭头RE13示出的高度方向上为线性的范围中。另外，假设具有每个颜色分量的像素的平均值由箭头V11至箭头V13示出的位置(像素值)指示。在这种情况下，例如，假设由箭头V11指示的位置(像素值)是R像素的像素值的平均值aveR。

另外，当通过白平衡(aveG/aveR)乘以R像素的平均值aveR来执行无彩色化时，无彩色化之后的R像素的像素值的平均值是由箭头V21指示的位置。以相同方式，当通过白平衡(aveG/aveB)乘以B像素的平均值aveB来执行无彩色化时，无彩色化之后的B像素的像素值的平均值是由箭头V22指示的位置。

当通过以这种方式将平均值aveR和平均值aveB乘以白平衡而使得每个颜色分量的像素值的平均值与G颜色分量相配时，如图中的右侧所示，具有R、G以及B的每个颜色分量的像素的像素值的平均值是相同值。

当使用无彩色化来使得RGB的颜色分量相配之后、确定具有与目标像素不同颜色的、无彩色化之后的像素的像素值的平均值时，获取无彩色化平均值P，其等效于目标邻近区域中的、具有与目标像素相同颜色的像素的平均像素值。

在步骤S127中，错误校正确定部673基于来自无彩色化平均值计算部672的无彩色化平均值P、提供的目标像素信息、以及来自缺陷校正部642的缺陷校正信息，确定关于目标像素的校正是否是错误校正。

例如，由目标像素信息指示的目标像素的像素值(即，目标像素的校正之前的像素值)是G_org，并且由缺陷校正信息指示的、目标像素的校正之后的像素值(即，缺陷校正部642计算出的校正的目标像素的像素值)是G_cor。

在这种情况下，当校正之前的像素值G_org和无彩色化平均值P的差的绝对值等于或小于校正之后的像素值G_cor和无彩色化平均值P的差的绝对值(即，|G_org-P|≤|G_cor-P|)时，错误校正确定部673确定存在错误校正。

例如，无彩色化平均值P等效于目标邻近区域中的、具有与目标像素相同颜色的像素的平均像素值(亮度)。因此，在|G_org-P|≤|G_cor-P|的情况下(即，在校正之前的像素值G_org比校正之后的像素值G_cor更接近于无彩色化平均值P的情况下)，原始目标像素比校正的目标像素更接近于周围的像素的亮度。在诸如这样的情况下，存在如下高可能性：原始目标像素的像素值比校正的目标像素的像素值更接近于目标像素要采用的像素值。

因此，在|G_org-P|≤|G_cor-P|的情况下，错误校正校正确定部673将关于目标像素执行的校正设置为错误校正，并且在|G_org-P|＞|G_cor-P|的情况下，将关于目标像素执行的校正设置为适当的校正。

在步骤S127中确定关于目标像素的校正不是错误校正(即，是适当的校正)的情况下，在步骤S128中，错误校正确定部673输出从缺陷校正部642提供的校正的目标像素的像素值。

即，输出校正的目标像素的像素值作为最终目标像素的像素值。当输出校正的目标像素时，缺陷像素校正处理完成。

另外，在步骤S123中确定目标像素不是缺陷像素的情况下或者在步骤S127中确定关于目标像素的校正是错误校正的情况下，执行步骤S129的处理。

即，在步骤S129中，错误校正确定部673输出在提供的目标像素信息中包括的目标像素的像素值作为最终目标像素的像素值，并且缺陷像素校正处理完成。即，按原样输出目标像素的像素值而没有进行校正。

以这种方式，图像处理装置601关于通过校正缺陷像素而获取的校正的目标像素，通过对校正之前的目标像素和无彩色化平均值的差与校正的目标像素和无彩色化平均值的差进行比较，确定关于目标像素的校正是否是错误校正。然后，图像处理装置601根据确定结果输出校正之前的目标像素或者校正之后的目标像素之一作为最终目标像素。

以这种方式，可以通过对执行了无彩色化的、目标像素邻近的像素的像素值的平均值和校正之后的目标像素的像素值进行比较，以高准确度简单地检测缺陷像素，并且获取更高质量的图像。

即，根据目标像素的错误校正的检测与确定缺陷像素的检测结果是否是错误的基本相同，能够通过图像处理装置601简单地改进缺陷像素的检测准确性是可能的。另外，可以通过执行错误校正的检测和根据检测结果来输出校正之前或校正之后的目标像素，防止每个颜色分量的平衡的破坏和抑制伪颜色的生成。由于这个，可以获取更高质量的图像。

特别地，在图像处理装置601中，由于仅存在通过比较校正前后的目标像素的像素值和无彩色化平均值进行的评估，因此不存在图像中本来是彩色的部分的无彩色化。另外，由于通过参照相邻的不同颜色的像素来执行错误校正的评估，因此与参照相同颜色分量相比，可以容易地防止其中缩短采样间隔和丢失具有高频的纹理的错误校正。

<变型示例4>

[错误校正确定]

这里，以上，例如，如图27所示，关于使用目标像素上、下、左以及右相邻的四个像素来计算无彩色化平均值P的示例进行描述，但是可以以任意方式计算无彩色化平均值P，只要计算使用目标像素邻近的像素即可。

例如，如图29所示，在目标像素AC31是G像素的情况下，可使用由以目标像素AC31为中心的纵五个像素×横五个像素构成的矩形区域中的R像素和B像素来计算无彩色化平均值P。

这里，在图29中，一个方块表示一个像素，并且方块中的字母“R”、“G”以及“B”分别指示R像素、G像素以及B像素。

在该示例中，六个R像素和六个B像素包括在由以目标像素AC31为中心的纵五个像素×横五个像素构成的矩形区域中。

这里，由以目标像素AC31为中心的五个像素×五个像素构成的矩形区域中的六个R像素分别被设置为R₁至R₆，并且由以目标像素AC31为中心的五个像素×五个像素构成的矩形区域中的六个B像素分别被设置为B₁至B₆。另外，像素R_i(这里，i＝1至6)的像素值被设置为R_i，并且像素B_i(这里，i＝1至6)的像素值被设置为B_i。

在这种情况下，无彩色化平均值计算部672通过计算等式(7)来关于目标像素AC31计算无彩色化平均值P。

$P=\{\frac{\mathrm{aveG}}{\mathrm{aveB}}\underset{i}{\mathrm{\&Sigma;}}{B}_i+\frac{\mathrm{aveG}}{\mathrm{aveR}}\underset{i}{\mathrm{\&Sigma;}}{R}_i\}/12...\left(7\right)$

即，在等式(7)中，计算乘以白平衡(aveG/aveB)的B像素和乘以白平衡(aveG/aveR)的R像素的平均值作为无彩色化平均值P。

然后，错误校正确定部673在|G_org-P|≤|G_cor-P|的情况下设置为错误校正，而在|G_org-P|＞|G_cor-P|的情况下设置为适当的校正。即，如果|G_org-P|≤|G_cor-P|，则按原样输出像素值G_org(即，校正之前的目标像素)，而如果|G_org-P|＞|G_cor-P|，则输出像素值G_cor(即，校正的目标像素)。

在图29示出的示例中，由于与图27中示出的示例相比使用更多的像素来计算无彩色化平均值P，因此即使与目标像素相邻的像素是缺陷像素，也可以以高准确度来执行错误校正确定。

例如，在无彩色化平均值P的计算中使用的像素是缺陷像素的情况下，存在无法获取适当的值作为无彩色化平均值P的可能性。然而，如果在无彩色化平均值P的计算中使用的像素的数量较大，则即使在这些像素当中存在缺陷像素，由于缺陷像素的像素值关于无彩色化平均值P的计算的贡献等级较低，因此也可以获取适当的无彩色化平均值P。

以相同方式，在使用以目标像素为中心的5×5像素的矩形区域中的像素来计算无彩色化平均值P的情况下，当例如目标像素是R像素时，对矩形区域中的G像素和B像素执行无彩色化，并且执行了无彩色化的每个像素的平均值被设置为无彩色化平均值P。

<变型示例5>

[错误校正确定]

此外，以上描述了图像中RGB的每个颜色分量以拜尔排列来排列的示例，但是例如，如图30所示，图像中除R像素、G像素以及B像素之外，此外，可布置透明(白)的像素(以下被称为W像素)。这里，在图30中，一个方块表示一个像素，并且方块中的字母“R”、“G”、“B”以及“W”分别指示R像素、G像素、B像素以及W像素。

在该示例中，图中如图30所示由纵九个像素和横九个像素构成的矩形区域是目标邻近区域。在这种情况下，白平衡计算部671对于目标邻近区域中的R像素、G像素、B像素以及W像素的每个颜色分量，计算具有这些颜色的像素的像素值的平均值作为平均值aveR、平均值aveG、平均值aveB以及平均值aveW。

然后，白平衡计算部671以W像素作为基准，计算平均值aveW与其它颜色分量的平均值的比值(即，aveW/aveR、aveW/aveG以及aveW/aveB)。

另外，无彩色化平均值计算部672使用以这种方式确定的白平衡aveW/aveR、aveW/aveG以及aveW/aveB，计算无彩色化平均值P。即，执行了无彩色化、具有与目标像素不同颜色的像素的平均值被设置为无彩色化平均值P。

具体地，例如，在目标像素是R像素的情况下，无彩色化平均值计算部672通过计算等式(8)来计算无彩色化平均值P。

$P=\frac{\mathrm{aveR}}{\mathrm{aveW}}(W_1+W_2+W_3+W_4)/4...\left(8\right)$

这里，在等式(8)中，W₁至W₄指示图中与R像素(其是作为处理目标的图像中的目标像素)上、下、左以及右相邻的W像素的像素值。因此，在等式(8)中，白平衡(aveW/aveR)的倒数乘以在目标像素的上、下、左以及右的W像素的像素值的平均值，并且设置作为无彩色化平均值P。

[第四实施例]

[图像处理装置的配置示例]

此外，在执行错误校正确定的情况下，可以以任意方式执行在错误校正确定处理部613的前级执行的目标像素的缺陷检测和缺陷校正。

例如，如第一实施例所述，可基于根据在纹理方向上排列的像素计算出的二次差分值来执行缺陷像素的检测。在诸如这样的情况下，执行图像中缺陷像素的检测和校正的图像处理装置例如如图31所示地配置。

图31中的图像处理装置701由邻近区域提取部21、纹理方向确定部22、缺陷像素检测部23、缺陷像素校正部24以及错误校正确定处理部613构成。这里，在图31中，相同附图标记附于与图1或图22的情况对应的部分，并且适当地省略其描述。

在图31的图像处理装置701中，错误校正确定处理部613设置在缺陷像素校正部24的后级，并且如图24所示地配置错误校正确定处理部613。然后，在错误校正确定处理部613的白平衡计算部671中，提供邻近区域提取部21获取的邻近区域信息。

另外，在错误校正确定处理部613的错误校正确定部673中，提供被输入到图像处理装置701中的目标像素信息、和从缺陷像素校正部24的校正值计算部112提供的校正之后的目标像素(以下被称为校正的目标像素)的像素值。

[缺陷像素校正处理的描述]

接下来，将参照图32的流程图描述使用图像处理装置701执行的缺陷像素校正处理。对作为试图执行缺陷像素的检测和校正的处理目标的图像中的每个像素执行缺陷像素校正处理。

在步骤S151中，邻近区域提取部21从输入的目标像素信息提取邻近区域信息，并且将邻近区域信息提供给纹理方向确定部22的差分值计算部51、缺陷像素检测部23的像素选择部81、以及错误校正确定处理部613的白平衡计算部671。例如，邻近区域提取部21提取由以图像中目标像素为中心的、水平方向上的九个像素和垂直方向上的九个像素构成的矩形区域中包括的每个像素，并且设置这些像素作为邻近区域信息。

当提取了邻近区域信息时，在此之后，执行步骤S152至步骤S159的处理，但是由于这些处理与图5中的步骤S12至步骤S19相同，因此省略其描述。

这里，在步骤S159中，当校正值计算部112基于从差分值计算部111提供的差分值和所选像素来校正目标像素时，包括通过校正获取的校正的目标像素的缺陷校正信息被提供给错误校正确定处理部613的错误校正确定部673。

另外，当获取了校正的目标像素时，在此之后，执行步骤S160至步骤S164的处理，并且缺陷像素校正处理完成，但是由于这些处理与图25中的步骤S125至步骤S129相同，因此省略其描述。

这里，在步骤S157中确定目标像素是缺陷像素的情况下或者在步骤S162中确定关于目标像素的校正是错误校正的情况下，执行步骤S164的处理。即，错误校正确定部673输出校正之前的原始目标像素的像素值作为最终目标像素的像素值。

如上，图像处理装置701使用在纹理方向上排列的、包括目标像素的若干像素来计算多个二次差分值，并且通过执行利用二次差分值的阈值处理来指定目标像素是否为缺陷像素。另外，图像处理装置701通过对校正之前和之后的目标像素与无彩色化平均值进行比较来确定目标像素的校正是否是错误校正，并且输出校正之前或校正之后的目标像素。

由于这样，可以以更高准确度更简单地检测缺陷像素，并且可以使用缺陷像素的校正来获取更高质量的图像。

<第五实施例>

[图像处理装置的配置示例]

此外，以上，描述了检测关于目标像素的错误校正的情况作为示例，但是本技术的错误校正确定也能够应用于任何校正处理，只要校正处理是关于目标像素的校正处理(诸如，噪声降低(噪声去除))即可。

例如，在本技术的错误校正确定应用于噪声降低处理的情况下，如图33所示地配置关于图像执行噪声降低处理的图像处理装置。这里，在图33中，相同附图标记附于与图22的情况对应的部分，并且适当地省略其描述。

图33中的图像处理装置731由噪声降低处理部741和错误校正确定处理部613构成。另外，在图像处理装置731中，提供目标像素信息。

噪声降低处理部741基于提供的目标像素信息来关于目标像素执行噪声降低处理，并且由于噪声降低处理(即，关于目标像素的校正处理)而获取的校正信息被提供给错误校正确定处理部613。

例如，噪声降低处理部741基于目标像素邻近的像素，指定目标像素是否是构成边缘的像素。

然后，在目标像素不是构成边缘的像素的情况下，噪声降低处理部741基于目标像素邻近的像素，计算噪声降低处理(即，关于目标像素的校正处理)之后的像素值。具体地，例如，目标像素邻近的若干像素的像素值的平均值被设置为校正之后的目标像素(以下被称为校正的目标像素)的像素值。另外，在目标像素是构成边缘的像素的情况下，噪声降低处理部741按原样将目标像素的像素值设置为校正的目标像素的像素值。

当以这种方式确定了校正的目标像素时，噪声降低处理部741将确定的校正的目标像素提供给错误校正确定处理部613的错误校正确定部673。

错误校正确定处理部613基于提供的目标像素信息和来自噪声降低处理部741的校正的目标像素来执行错误校正确定，并且根据确定结果来输出校正之前的像素值或校正的目标像素作为最终目标像素。

此时，错误校正确定处理部613的白平衡计算部671从提供的目标像素信息提取邻近区域信息，并且计算白平衡。

如上，即使在关于目标像素执行与诸如噪声降低处理的缺陷校正不同的校正处理的情况下，也可以应用本技术的错误校正确定并且获取更高质量图像。

这里，也能够使用硬件执行且能够使用软件执行在第三实施例至第五实施例中描述的系列处理。例如，在使用软件来执行上述系列处理的情况下，使用图21中示出的计算机来执行构成软件的程序。

此外，本技术能够如下配置。

[9]一种图像处理装置，设置有：校正部，其关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括图像中目标像素的区域中的像素来校正目标像素；以及错误校正确定部，其基于包括图像中目标像素的邻近区域中的像素、目标像素、以及通过对目标像素执行校正而获取的校正的目标像素，关于目标像素执行错误校正确定。

[10]在[9]中描述的图像处理装置，其中，错误校正确定部至少基于目标像素邻近的、具有与目标像素不同颜色分量的像素、目标像素以及校正的目标像素，执行错误校正确定。

[11]在[10]中描述的图像处理装置，其中，还设置有：白平衡计算部，其计算邻近区域中具有与目标像素相同颜色的像素的平均值和邻近区域中具有与目标像素不同颜色的像素的平均值的比值，作为白平衡；以及无彩色化平均值计算部，其通过将位于目标像素邻近的、具有与目标像素不同颜色的像素的平均值乘以白平衡，计算无彩色化平均值，其中，错误校正确定部通过对无彩色化平均值、目标像素以及校正的目标像素进行比较，执行错误校正确定。

[12]在[11]中描述的图像处理装置，其中，错误校正确定部在无彩色化平均值和目标像素的绝对差值等于或小于无彩色化平均值和校正的目标像素的绝对差值的情况下，输出目标像素作为最终目标像素。

[13]在[11]或[12]中描述的图像处理装置，其中，错误校正确定部在无彩色化平均值和目标像素的绝对差值大于无彩色化平均值和校正的目标像素的绝对差值的情况下，输出校正的目标像素作为最终目标像素。

[14]在[9]至[13]中任一个描述的图像处理装置，其中，校正部通过关于目标像素执行缺陷像素校正处理或噪声去除处理，校正目标像素。

本公开内容包含与2011年3月30日向日本专利局提交的日本优先权专利申请JP 2011-076186和2012年1月10日向日本专利局提交的日本优先权专利申请JP 2012-002608中公开的主题内容相关的主题内容，在此通过引用将其全文合并于此。

本领域的技术人员应该理解，在所附权利要求或其等同方案的范围内，根据设计需要和其它因素，可进行各种修改、组合、子组合以及变更。

Claims (16)

1.一种图像处理装置，包括：

确定部，其基于包括图像中目标像素的邻近区域，确定所述邻近区域中的纹理方向；以及

检测部，其基于所述图像中在所述纹理方向上排列的、包括所述目标像素的多个像素，检测所述目标像素是否是缺陷像素。

2.根据权利要求1所述的图像处理装置，

其中，所述检测部设置有：

二次差分值计算部，其关于所述图像中在所述纹理方向上排列成连续的、包括所述目标像素的预定数量的像素的组，计算像素的像素值的二次差分值；以及

比较部，其基于多个不同的组的所述二次差分值，确定所述目标像素是否是缺陷像素。

3.根据权利要求2所述的图像处理装置，

其中，所述比较部在所述多个不同的组的每个二次差分值均大于预定阈值的情况下，确定所述目标像素是缺陷像素。

4.根据权利要求1所述的图像处理装置，还包括：

缺陷像素校正部，其基于与所述目标像素相同颜色且在所述纹理方向上排列的、所述目标像素邻近的像素，校正所述目标像素。

5.根据权利要求4所述的图像处理装置，

其中，所述缺陷像素校正部设置有：

差分值计算部，其关于所述目标像素，计算在与所述纹理方向平行的第一方向上相邻的两个像素的差分值，并且关于所述目标像素，计算在与所述第一方向相反的第二方向上相邻的两个像素的差分值；以及

校正值计算部，其关于所述目标像素，通过对在所述第一方向和所述第二方向中所述差分值较小的方向上相邻的两个像素执行加权平均，设置校正之后的目标像素。

6.根据权利要求1所述的图像处理装置，

其中，所述确定部基于所述邻近区域中在相同方向上排列的像素之间的差分值来计算所述邻近区域中的方向的差分值，并且多个方向中差分值最小的方向被设置为所述纹理方向。

7.一种图像处理装置的图像处理方法，所述图像处理装置设置有确定部和检测部，所述确定部基于包括图像中目标像素的邻近区域来确定所述邻近区域中的纹理方向，以及所述检测部基于所述图像中在所述纹理方向上排列的、包括所述目标像素的多个像素来检测所述目标像素是否是缺陷像素，所述方法包括：

使用所述确定部来确定所述纹理方向；以及

使用所述检测部来检测所述缺陷像素。

8.一种使得计算机执行以下处理的程序，所述处理包括：

基于包括图像中目标像素的邻近区域，确定所述邻近区域中的纹理方向；以及

基于所述图像中在所述纹理方向上排列的、包括所述目标像素的多个像素，检测所述目标像素是否是缺陷像素。

9.一种图像处理装置，包括：

校正部，其关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括所述图像中目标像素的区域中的像素来校正所述目标像素；以及

错误校正确定部，其基于包括所述图像中所述目标像素的邻近区域中的像素、所述目标像素、以及通过对所述目标像素执行校正而获取的校正的目标像素，关于所述目标像素执行错误校正确定。

10.根据权利要求9所述的图像处理装置，

其中，所述错误校正确定部至少基于所述目标像素邻近的、具有与所述目标像素不同颜色分量的像素、所述目标像素以及所述校正的目标像素，执行所述错误校正确定。

11.根据权利要求10所述的图像处理装置，还包括：

白平衡计算部，其计算所述邻近区域中具有与所述目标像素相同颜色的像素的平均值和所述邻近区域中具有与所述目标像素不同颜色的像素的平均值的比值，作为白平衡；以及

无彩色化平均值计算部，其通过将位于所述目标像素邻近的、具有与所述目标像素不同颜色的像素的平均值乘以所述白平衡，计算无彩色化平均值；

其中，所述错误校正确定部通过对所述无彩色化平均值、所述目标像素以及所述校正的目标像素进行比较，执行错误校正确定。

12.根据权利要求11所述的图像处理装置，

其中，所述错误校正确定部在所述无彩色化平均值和所述目标像素的绝对差值等于或小于所述无彩色化平均值和所述校正的目标像素的绝对差值的情况下，输出所述目标像素作为最终目标像素。

13.根据权利要求12所述的图像处理装置，

其中，所述错误校正确定部在所述无彩色化平均值和所述目标像素的绝对差值大于所述无彩色化平均值和所述校正的目标像素的绝对差值的情况下，输出所述校正的目标像素作为最终目标像素。

14.根据权利要求13所述的图像处理装置，

其中，所述校正部通过关于所述目标像素执行缺陷像素校正处理或噪声去除处理，校正所述目标像素。

15.一种图像处理装置的图像处理方法，所述图像处理装置设置有校正部和错误校正确定部，所述校正部关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括所述图像中目标像素的区域中的像素来校正所述目标像素，以及所述错误校正确定部基于包括所述图像中所述目标像素的邻近区域中的像素、所述目标像素、以及通过对所述目标像素执行校正而获取的校正的目标像素，关于所述目标像素执行错误校正确定，所述方法包括：

使用所述校正部来关于所述目标像素执行校正；以及

使用所述错误校正确定部来关于所述目标像素执行错误校正确定。

16.一种使得计算机执行以下处理的程序，所述处理包括：

关于每个像素均具有多个颜色分量中的任一个作为像素值的图像，基于包括所述图像中目标像素的区域中的像素来校正所述目标像素；以及

基于包括所述图像中所述目标像素的邻近区域中的像素、所述目标像素、以及通过对所述目标像素执行校正而获取的校正的目标像素，关于所述目标像素执行错误校正确定。

Images