CN102938823B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN102938823B CN102938823B CN201210062015.1A CN201210062015A CN102938823B CN 102938823 B CN102938823 B CN 102938823B CN 201210062015 A CN201210062015 A CN 201210062015A CN 102938823 B CN102938823 B CN 102938823B
- Authority
- CN
- China
- Prior art keywords
- color
- coefficient
- pixel
- image
- influence value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 68
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 239000000284 extract Substances 0.000 claims abstract description 11
- 230000005484 gravity Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 description 68
- 230000008569 process Effects 0.000 description 55
- 230000004075 alteration Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000006866 deterioration Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000004513 sizing Methods 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
提供了图像处理设备和图像处理方法。所述图像处理设备包括：提取单元，其提取图像的颜色边界；影响值计算单元，其计算影响值，该影响值表示颜色边界对像素的影响程度；设置单元，其根据在提取单元中所提取的颜色边界和在影响值计算单元中所计算出的影响值设置卷积运算的系数；以及运算单元，其使用设置单元设置的系数进行卷积运算。
Description
技术领域
本发明涉及一种图像处理设备以及一种图像处理方法。
背景技术
在图像中可能产生因颜色边界引起的劣化。例如，在图像读取设备读取的图像中，在颜色边界上可能由于读取误差而产生原始图像中不存在的颜色。另外，当对使用编码***或压缩***编码或压缩的图像执行复原时，可能产生例如被称为蚊式噪声等的块状噪声，在编码***或压缩***中，使用了针对每个块执行频率变换(诸如，离散余弦变换或离散傅里叶变换)并执行量化的方法。另外，例如在增强滤波中在颜色边界上有意地执行颜色或浓度的改变，但在由于该处理而被过度校正的图像中，参考者会感觉到在颜色边界部分中产生劣化。
另一方面，存在一种作为用于去除噪声成分或色差的技术的平滑处理。平滑处理基本上是通过计算具有预定大小的像素范围内的颜色平均值来执行的。例如，JP-A-2009-157647(专利文献1)公开了如下技术：该技术用于获得亮度差值并且将在预定条件下该亮度差值被最小化的像素设置为特定像素，其中，该亮度差值是关注像素与在N×N个像素范围内朝向以该关注像素为中心的外部定位的像素之间的亮度差。过滤处理是这样执行的：使用针对特定像素加权的滤波器系数，并且使用根据除了特定像素外的像素的亮度差值和距关注像素的距离加权的滤波器系数。另外，JP-A-2007-312304(专利文献2)公开了与在其他方向上相比，使用最小边缘度方向上的较高权重执行滤波处理。另外，JP-A-2002-009590(专利文献3)公开了一种用于提取颜色边界的形状并基于该形状移动内插信号位置以执行滤波处理的技术。
发明内容
本发明的目的在于提供能够校正由于颜色边界的影响而引起的劣化的图像处理设备和图像处理方法。
根据本发明的第一方面，提供了一种图像处理设备，包括：提取单元，其提取图像的颜色边界；影响值计算单元，其计算表示颜色边界对像素的影响程度的影响值；设置单元，其根据在提取单元中所提取的颜色边界和在影响值计算单元中所计算出的影响值设置卷积运算的系数；以及运算单元，其使用设置单元设置的系数进行卷积运算。
根据本发明的第二方面，根据第一方面的图像处理设备还可以包括距离计算单元，该距离计算单元计算距在提取单元中所提取的颜色边界的距离，其中，设置单元使用在距离计算单元中所计算出的距离和影响值一起来设置所述系数。
根据本发明的第三方面，在根据第二方面的图像处理设备中，当在距离计算单元中所计算出的距离在预定值的范围内时，设置单元和运算单元可以进行所述系数的设置和卷积运算。
根据本发明的第四方面，根据第一方面至第三方面中的任一方面的图像处理设备还可以包括转换单元，该转换单元从图像中选择多个代表色，以将该图像的颜色转换成所述多个代表色中的任一代表色，其中，运算单元对经转换单元转换的图像执行卷积运算。
根据本发明的第五方面，根据第四方面的图像处理设备还可以包括重选单元，该重选单元从运算单元执行了卷积运算的图像中重选多个代表色。
根据本发明的第六方面，在根据第一方面至第三方面中的任一方面的图像处理设备中，当影响值在预定值的范围内时，设置单元和运算单元可以进行所述系数的设置和卷积运算。
根据本发明的第七方面，提供了一种图像处理方法，包括：提取图像的颜色边界；计算表示颜色边界对像素的影响程度的影响值；根据所提取的颜色边界和所计算出的影响值来设置卷积运算的系数；并且使用所设置的系数来进行卷积运算。
根据本发明的第一方面，可以校正由于颜色边界的影响而引起的劣化。
根据本发明的第二方面，可以稳定地校正在与颜色边界的方向不同的方向上存在的劣化。
根据本发明的第三方面，可以加速处理。
根据本发明的第四方面，可以校正其中抑制了噪声成分的影响的劣化。
根据本发明的第五方面，可以选择其中降低了颜色边界的影响的代表色。
根据本发明的第六方面，可以加速处理。
根据本发明的第七方面，可以校正由于颜色边界的影响引起的劣化。
附图说明
将基于附图详细描述本发明的示例性实施例，在附图中：
图1是示出本发明第一示例性实施例的配置图。
图2是示出根据本发明第一示例性实施例的操作示例的流程图。
图3A至图3E是示出根据本发明第一示例性实施例的操作示例中的具体示例的说明图。
图4A至图4F是示出计算影响值的具体示例的说明图。
图5A和图5B是示出影响值与系数之间的关系示例的说明图。
图6A至图6F是示出在根据本发明第一示例性实施例的处理前后的图像示例的说明图。
图7是示出本发明的第二示例性实施例的配置图。
图8是示出根据本发明第二示例性实施例的操作示例的流程图。
图9A至图9G是示出根据本发明第二示例性实施例的操作示例中的具体示例的说明图。
图10是示出本发明的第三示例性实施例的配置图。
图11是示出根据本发明第三示例性实施例的操作示例的流程图。
图12A至图12I是示出在根据本发明第三示例性实施例的操作示例中的具体示例的说明图。
图13是示出当由计算机程序、存储有计算机程序的记录介质和计算机实现本发明的示例性实施例中所描述的功能时的计算机程序示例的说明图。
具体实施方式
图1是示出本发明第一示例性实施例的配置图。在附图中，11表示颜色边界提取单元，12表示影响值计算单元，13表示系数设置单元，以及14表示算术运算单元。颜色边界提取单元11提取图像的颜色边界。可以使用迄今所使用的方法作为提取方法。例如，存在各种方法，诸如将移动平均值设置为阈值的二值化处理，或者其中使用边缘检测滤波器的方法。另外，可以针对包括亮度成分的每个颜色成分来提取边界，并且可以使用多个颜色成分的提取结果来提取颜色边界。
影响值计算单元12计算表示颜色边界对像素的影响程度的影响值。例如，当上述图像读取设备读出图像时或者当通过增强滤波来执行过度增强时等，影响随着影响值越接近颜色边界并且颜色边界的色差越大而变得越强，并且影响随着影响值距颜色边界越远并且色差越小而变得越小。从这样的颜色边界接收到的影响程度被计算作为影响值。例如，可以使用与局部区域的平均颜色值的差的绝对值、差分值、该局部区域内的色差等来计算影响值。当然，当数字化从颜色边界接收到的影响时，可以使用各种其他值和各种方法来计算影响值。稍后将描述具体示例。
系数设置单元13根据在颜色边界提取单元11中所提取的颜色边界和在影响值计算单元12中所计算出的影响值来设置卷积运算的系数。更具体地，将要在算术运算单元14中进行卷积的像素设置为关注像素，并且根据影响值计算包括该关注像素的被颜色边界分离的区域的像素所对应的卷积运算的系数。影响值表示从颜色边界接收到的影响的程度，但系数被设置成使得在卷积运算时与另一像素相比未接收到来自颜色边界的影响的像素被优先使用。为此，影响值越大，则将系数设置得越小，并且影响值越小，则将系数设置得越大。例如，可以使用系数随着影响值的增大而减小的各种功能等来根据影响值设置系数。
算术运算单元14使用系数设置单元13设置的系数来进行卷积运算。当进行卷积运算时，将每个系数除以所使用的系数之和，并且进行归一化、然后运算。当以某一像素(关注像素)进行卷积运算时，使用与包括关注像素的、被颜色边界分离的区域的像素对应的系数，并且不使用除了该区域外的那些像素，或者通过将系数设置为0来对那些像素进行运算。
同时，当在影响值计算单元12中所计算出的影响值在预定值的范围内时，系数设置单元13进行系数的设置并且算术运算单元13进行卷积运算。否则，可以不执行算术运算单元14的卷积运算或者系数设置单元13对系数的进一步设置。与在所有像素中进行系数的设置和卷积运算的情况相比，减少了处理量。
下文中，将使用具体示例来描述根据本发明的第一示例性实施例的操作示例。同时，作为具体示例，将进行以下描述：将要进行卷积的像素设置为关注像素，并且将包括关注像素的具有预定大小的区域设置为要处理的区域。
图2是示出根据本发明第一示例性实施例的操作示例的流程图，以及图3A至图3E是示出根据本发明第一示例性实施例的操作示例中的具体示例的说明图。图3A示出给定图像中要处理的区域的具体示例。在图3A至图3E中，一个正方形对应于一个或多个像素。为了便于图示，色差由斜线的差异示出。将通过在算术运算单元14中进行卷积运算获得值的像素设置为关注像素，并且将要处理的区域设置为包括该关注像素的具有预定大小的区域。
在步骤S21中，颜色边界提取单元11提取图像的颜色边界。当从图3A所示的图像中提取颜色边界时，提取由图3B中的粗线示出的位置作为颜色边界。
在步骤S22中，影响值计算单元12计算表示颜色边界对像素的影响程度的影响值。图4A至图4F是示出计算影响值的具体示例的说明图。在图4A至图4F所示的示例中，使用局部区域的平均颜色值与所述像素的颜色值之间的差的绝对值、差分值的绝对值以及局部区域内的色差的绝对值，并且将各值的线性和设置为影响值。在图4A中，在图像的某一方向上的颜色值的变化由实线示出。同时，a部分示出颜色边界由于读取误差而模糊的状态，b部分示出通过滤波处理进行过度增强的状态，以及c部分示出通过压缩处理生成的噪声成分等。
关于局部区域的平均颜色值与所述像素的颜色值之间的差的绝对值，将某一像素设置为目标像素，将具有比包括目标像素的、图3A至图3E中所示的要处理的区域小的预定大小的区域设置为局部区域，并且因而，获得该局部区域中的平均颜色值与目标像素的颜色值之间的差的绝对值。当按照顺序改变并获得目标像素时，例如，进行图4C所示的改变。另外，图4A中以虚线示出了平均颜色值。
关于差分值的绝对值，将上述局部区域中的差分滤波器的值设置为目标像素中的差分值，并且因而获得了绝对值，当按顺序改变并获得目标像素时，例如，进行图4D所示的改变。尽管取决于局部区域的大小，但是在该示例中对诸如a部分、b部分和c部分的不规则进行了平均，并且计算了差分值。差分值的变化变得小于图4A中所示的颜色值的变化。
关于局部区域内的色差的绝对值，针对上述局部区域内的各像素获得色差的最大值或和的绝对值。当按顺序改变并获得目标像素时，例如，进行图4E所示的改变。当获得了各像素之间的色差之和时，将距关注像素的距离(从获得了色差的两个像素到关注像素的距离中的短距离)用作权重，并且将色差与距离相乘在一起，由此可以获得其总和(乘积的总和)或最大值。另外，当获得了各像素之间的色差时，将局部区域的像素划分成颜色边界部分和非边界部分，并且因而可以获得颜色边界部分的像素与非边界部分的像素之间的色差。可替选地，对局部区域的像素进行二值化，并且因而，可以获得一个值的像素与另一个值的像素之间的色差。图4F示出了如下情况：将像素划分成由斜线绘出的像素和非由斜线绘出的像素，并且可以通过组合由斜线绘出的像素与非由斜线绘出的像素来获得色差。在图4F中，所述一些组合由箭头示出。与通过局部区域的所有像素的组合获得色差相比，像素的组合数量减少。
计算局部区域的平均颜色值与像素的颜色值之间的差的绝对值、差分值的绝对值以及该局部区域内的色差的绝对值的线性和，并且将所计算出的值设置为影响值。图4B中示出了所计算出的影响值的变化。该影响值随着越靠近颜色边界而变得越大，并且影响值随着距颜色边界越远而变得越小。另外，影响值随着颜色边界的色差越大而变得越大，并且还示出了影响的程度。
同时，在获得局部区域的平均颜色值与像素的颜色值之间的差的绝对值、差分值的绝对值以及局部区域内的色差的绝对值时，该局部区域的大小可以彼此不同。另外，可以使用其他值，并且可以进行包括上述值的选择。
图3C示出在影响值计算单元12中根据图3A所示的图像算出的影响值的示例。影响值随着越靠近颜色边界而变得越大，并且影响值随着越远离颜色边界而变得越小。在图2中，按顺序示出步骤S21和S22的处理，但可以并行执行步骤S21和S22的处理。
在步骤S23中，系数设置单元13指定被颜色边界分离的区域，该区域包括要在算术运算单元14中进行卷积的关注像素。在步骤S24中，根据影响值计算在步骤S23中所指定的区域内的每个像素的卷积运算的系数。在图3D中，将通过与斜线相交而示出的像素设置为关注像素，并且在步骤S23中所指定的区域由斜线示出。另外，图3E中示出了所计算出的系数的示例。步骤S23中所指定的区域以外的像素被排除在算术运算单元14中的卷积运算以外而不创建系数，或者将其系数设置为0。在图3E中所示的示例中，将系数设置为0。对于在步骤S23中所指定的区域，系数被设置为随着影响值越大而越小，并且系数被设置为随着影响值越小而越大。图5A和图5B是示出影响值与系数之间的关系示例的说明图。当根据影响值计算系数时，可以使用例如系数随着影响值的增大而减小的各种函数(诸如，图5A所示的图形函数或者图5B所示的图形函数)来计算该系数。
在步骤S25中，使用步骤S24中所计算出的系数，将每个系数除以各系数之和并且进行归一化。然后，通过获得归一化系数与每个像素值的乘积之和来进行卷积运算，从而计算出关注像素中处理后的颜色值。即，当将在步骤S24中所计算出的系数设置为Pi，将系数之和设置为S，并且将每个像素值设置为Ci时，可以计算以下表达式。
∑i(Pi/S)·Ci
由于使用了包括关注像素的、被颜色边界分离的区域内的像素的值(未使用该区域以外的像素，或者其系数为0，并且因而，其值未反映在其总和上)，因此，使用不同颜色的像素未影响算术运算。另外，由于系数随着距颜色边界的距离的增大而增大，因此，使用了距颜色边界的距离增大的颜色。为此，即使在受颜色边界中所产生的缺陷影响的像素中，也能根据在该部分中使用的、远离颜色边界的颜色来校正颜色值。
同时，在上述处理中设置包括关注像素的要处理的区域，并且通过卷积运算来获得关注像素的颜色值。在这样的处理中，将给定图像的每个像素按顺序设置为关注像素，并且可以对每个关注像素执行上述处理。可替选地，当预先对整个图像进行颜色边界的提取或者影响值的计算时，可以在处理每个关注像素时进行系数的设置和卷积运算的处理。
图6A至图6F是示出在根据本发明第一示例性实施例的处理前后的图像示例的说明图。图6A示出图像读取设备读出通过对黑框的内部着色而获得的图像的示例。所着色的颜色由斜线示出，但在黑框和着色部分彼此接触的部分中，由于读取误差而着色的颜色处于带黑色的状态。通过执行上述处理将具有带黑色颜色的像素校正为着色部分的颜色，从而获得图6B所示的处理后的图像。同时，在图像读取设备中读出的图像中，黑框的颜色也由于颜色边界中的着色部分的影响而改变，但其中的像素也被校正为黑框的颜色。
图6C示出对通过对黑框的内部进行着色而获得的图像进行增强滤波、并且过度地增强图像的示例。所着色的颜色由斜线示出，但在黑框和着色部分彼此接触的部分中，通过增强滤波使着色部分的颜色比其他着色部分的颜色淡(通过扩展斜线之间的距离而示出)，并且观察者在该部分在黑框与着色部分之间形成边状的状态下观看该部分。通过对这样的图像执行上述处理来将具有变淡的颜色的部分校正为着色部分的颜色，从而获得图6D中所示的处理后的图像。
图6E示出使用JPEG类型压缩并扩展通过对黑框内部进行着色而获得图像的示例。JPEG类型是不可逆压缩类型，并且通过离散余弦变换、转换系数的量化等在所扩展的图像中产生颜色改变的噪声成分。该噪声成分通常称为蚊式噪声，并且是因由于颜色边界中颜色的级差(stepdifference)而产生的高频成分引起的。通过对这样的图像执行上述处理来将噪声成分校正为其他着色部分的颜色，从而获得图6F所示的处理后的图像。噪声成分不一定产生在颜色边界的延伸方向上，但噪声成分要通过上述处理进行校正。
以此方式，在颜色值通过卷积运算得到校正的图像中，由于抑制了颜色边界中的影响，颜色变化相比于处理前进一步减少，并且因而，再现了受颜色边界影响前的图像。另外，例如，当对图像进行压缩时，与压缩处理前的图像的情况相比，处理后的图像被压缩后的数据量进一步减少。另外，例如，当提取代表色并且进行限制着色时，不受颜色边界影响而提取代表色，并且即使在颜色替代时也不由于颜色边界的影响而以代表色进行不期望的替代。
图7是示出本发明第二示例性实施例的配置图。在该图中，15表示距离计算单元。将主要描述与上述的本发明第一示例性实施例的部分不同的部分。在第二示例性实施例中，除了第一示例性实施例的配置外，还包括距离计算单元15。
距离计算单元15计算每个像素距在颜色边界提取单元11中所提取的颜色边界的距离。作为计算距离的方法，可以使用迄今所使用的方法。例如，可以获得在图像平面上从每个像素到最靠近的颜色边界的欧几里得距离，可以执行用于生成距离图像的滤波处理，并且可以使用其他方法。
系数设置单元13使用在距离计算单元15中所计算出的距颜色边界的距离和在影响值计算单元12中所计算出的影响值来设置卷积运算的系数。距颜色边界的距离越长，该系数设置得越大。例如，将基于影响值而获得的系数的值乘以距颜色边界的距离或取决于该距离的比率(rate)，并且可以将乘积值设置为卷积运算的系数。当然，可以使用其他方法设置取决于距颜色边界的距离和影响值的卷积运算的系数。同时，尽管也已在第一示例性实施例中进行了描述，但是还将要在算术运算单元14中进行卷积的像素设置为关注像素，以使得对包括关注像素的、被颜色边界分离的区域的像素执行系数的设置。该区域以外的像素被排除在卷积运算以外，而无需设置系数，或者将其系数设置为0。
算术运算单元14使用系数设置单元13设置的系数来进行卷积运算。然而，在系数设置单元13中设置系数时，距颜色边界的距离越长，系数设置得越大，并且因而，在卷积运算的结果中反映了距颜色边界的距离渐增的像素的值。当然，在上述的第一示例性实施例中描述了在取决于影响值的卷积运算的结果中反映了距颜色边界的距离渐增的像素的事实。同时，当进行卷积运算时，将每个系数除以所使用的系数的和，并且进行归一化并接着进行运算。另外，与上述的第一示例性实施例一样也描述了如下事实：当进行卷积运算时，使用了与包括要进行运算的关注像素的、被颜色边界分离的区域的像素对应的系数，并且不使用该区域以外的那些像素，或者通过将系数设置为0来对那些像素进行运算。
同时，当在距离计算单元15中所计算出的距离在预定值的范围内时，系数设置单元13执行系数的设置并且算术运算单元14执行卷积运算。否则，可以不执行算术运算单元14的卷积运算或者系数设置单元13对系数的进一步设置。与在所有像素中进行系数的设置和卷积运算的情况相比，降低了处理量。当然，结合如在第一示例性实施例中描述的在影响值计算单元12中所计算出的影响值是否在预定值的范围内，当至少一个影响值在预定值的范围内时可以进行系数的设置和卷积运算，或者当任一个影响值都不在预定值的范围内时可以不进行系数的设置和卷积运算。
图8是示出根据本发明第二示例性实施例的操作示例的流程图，以及图9A至图9G是示出根据本发明第二示例性实施例的操作示例中的具体示例的说明图。在图8所示的处理流程中，将步骤S26的处理添加到图2所示的第一示例性实施例中的处理流程中，将在图2的步骤S24中设置系数的处理改变为在步骤S27中基于距离设置系数的处理。另外，再次分别地，图9A中示出图3A中示出的图像，图9B中示出图3B中示出的颜色边界的示例，图9C中示出图3C中示出的影响值的示例，并且图9D中示出图3D中示出的包括用于影响值的关注像素的分离区域的示例。将主要描述与参照图2和图3A至图3E所述的第一示例性实施例的处理不同的处理。
颜色边界提取单元11在步骤S21中提取图像的颜色边界，并且接着，在步骤S26中，距离计算单元15计算每个像素距由颜色边界提取单元11提取的颜色边界的距离。在该示例中，根据达到最接近的颜色边界的像素的数量来设置距颜色边界的距离。图9E中示出了根据图9B中的颜色边界的提取结果算出的距离的示例。
另一方面，尽管在步骤S22中影响值计算单元12计算了影响值，但是在第一示例性实施例中已描述该处理，并且因而此处将省略其描述。图9C中示出了所计算出的影响值的示例。同时，可以首先执行以及可以并行执行图8中的步骤S21和S26的任何处理以及步骤S22的处理。
系数设置单元13在步骤S23中指定包括要在算术运算单元14中进行卷积的关注像素的、被颜色边界分离的区域，并且接着在步骤S27中，根据在步骤S22中所计算出的影响值和在步骤S26中所计算出的颜色边界，按步骤S23中所指定的区域内的每个像素计算卷积运算的系数。在图9D和图9F中，通过与斜线相交而示出的像素被设置为关注像素，并且步骤S23中所指定的区域由斜线示出。另外，图9G中示出所计算出的系数的示例。系数随着影响值越小且距离越大而取越大的值，并且系数随着影响值越大且距离越小而取越小的值。例如，可以使用在第一示例性实施例中所述的方法、基于根据影响值而获得的系数和距离的线性和等，获得要设置的系数的值。
以此方式，使用在步骤S27中所设置的系数，算术运算单元14在步骤S25中执行卷积运算，并且因而，可以在关注像素的处理后计算颜色值。此时，将在步骤S27中所计算出的系数除以系数的和并进行归一化。同时，在步骤S27和S25的处理中，除了在步骤S23中所指定的区域外的像素和第一示例性实施例中所述的一样。
同时，在第二示例性实施例中的操作示例中，除了按顺序设置要处理的包括关注像素的区域、以及执行用于使用给定图像的每个像素作为关注像素来通过卷积运算获得关注像素的颜色值的处理外，还可以预先对整个图像执行颜色边界的提取、影响值的计算或者距离的计算，并且当处理每个关注像素时，可以执行系数的设置和卷积运算的处理。
在第二示例性实施例中，由于与影响值一起使用了距颜色边界的距离，因此，与不使用距颜色边界的距离的情况相比，存在重视远离颜色边界的像素的值的强烈趋势，并且因而，从处理后的像素的值进一步减小由于颜色边界而造成的影响。
图10是示出本发明的第三示例性实施例的配置图。在该图中，16表示代表色转换单元，以及17表示代表色重选单元。将主要描述与上述的本发明的第二示例性实施例的部分不同的部分。在第三示例性实施例中，除了第二示例性实施例的配置外，还包括代表色转换单元16和代表色重选单元17。
代表色转换单元16从图像中选择代表色，并且将图像的颜色转换成任何代表色，以生成其中所使用的颜色限于代表色的有限颜色图像。作为选择代表色并将图像的颜色转换成代表色的方法，可以使用迄今所使用的方法。
尽管在上述的第一示例性实施例和第二示例性实施例中算术运算单元14对给定图像执行卷积运算，但是算术运算单元对其中由代表色转换单元16执行了转换成代表色的颜色转换的有限颜色图像进行卷积运算。
代表色重选单元17从由算术运算单元14执行了卷积运算的有限颜色图像重选代表色。可以在任何应用中使用所重选的代表色。然而，本文中，通过例如对由算术运算单元14执行了卷积运算后的有限颜色图像执行转换成所重选的代表色的颜色转换，再次获得有限颜色图像。当然，可以输出所重选的代表色作为处理结果。同时，可以进行如下配置：输出算术运算单元14的处理结果，并且不设置代表色重选单元17。
图11是示出根据本发明的第三示例性实施例的操作示例的流程图，并且图12A至图12I是示出根据本发明的第三示例性实施例的操作示例中的具体示例的说明图。在图11所示的处理流程中，将步骤S28、S29和S31的处理添加到图8所示的第二示例性实施例中的处理的流程中，并且将图8中的步骤S25的卷积运算的处理改变为使用了步骤S30中的有限颜色图像的卷积运算的处理。另外，在图12A至图12I中，将图12H和图12I添加到图9A至图9G的示例中。将主要描述与参照图8和图9A至图9G所述的第二示例性实施例的处理以及参照图2和图3A至图3E所述的第一示例性实施例的处理不同的处理。
如在第二示例性实施例(和第一示例性实施例)中一样描述处理，其中，在颜色边界提取单元11在步骤S21中提取图像的颜色边界后，距离计算单元15在步骤S26中计算每个像素距颜色边界提取单元11提取的颜色边界的距离，并且在影响值计算单元12在步骤S22中计算出影响值、并且系数设置单元13在步骤S23中指定了包括关注像素的、被颜色边界分离的区域后，在步骤S27中计算卷积运算的系数。在迄今为止的处理中，例如获得图12G所示的系数。
另一方面，代表色转换单元16在步骤S28中从图像中提取代表色，并且在步骤S29中将图像的颜色转换成任何代表色，以生成其中所使用的颜色限于代表色的有限颜色图像。图12H示出了有限颜色图像的示例，其中，对图12A所示的要处理的区域执行了转换成任何代表色的颜色转换。要处理的区域被图12B所示的颜色边界划分成两个区域。然而，在图12H所示的示例中，针对受颜色边界影响的像素提取单独的代表色，并且将该像素的颜色转换成代表色(以白色示出的像素)，这产生了三色图像。
在步骤S30中，使用在步骤S27中所计算出的系数，将每个系数除以系数之和并进行归一化。然后，通过获得归一化系数与在步骤S29中所生成的有限颜色图像的每个像素值的乘积之和来执行卷积运算，并且计算关注像素在处理后的颜色值。同时，有限颜色图像的关注像素是在位置上与原始图像中的关注像素对应的像素。另外，对于其他像素，也将有限颜色图像的每个对应像素乘以系数。在第一和第二示例性实施例中描述了系数的归一化和除了在步骤S23中所指定的区域外的像素的处理。
通过对图12H中所示的有限颜色图像执行步骤S30中的卷积运算来获得图12I所示的图像。对于颜色因图12H所示的有限颜色图像中的颜色边界的影响而转换成单独代表色后的部分(以白色示出的像素)，在卷积运算中对远离颜色边界的像素的颜色(代表色)赋值(value)，并且因而改变其颜色。
在该示例中在步骤S20中执行卷积运算后，在步骤S31中，代表色重选单元19重选代表色。另外，对在步骤S30中所获得的有限颜色图像或给定图像执行转换成有限颜色图像的颜色转换，其中，所使用的颜色限于所重选的代表色。由此，还针对颜色受在步骤S29中所生成的有限颜色图像的颜色边界的影响而被转换成与内部的颜色不同的颜色的像素，获得不受颜色边界影响的有限颜色图像。当然，可以通过重选代表色来终止处理。
同时，在第三示例性实施例中的操作示例中，除了按顺序设置要处理的包括关注像素的区域、以及执行用于使用给定图像的每个像素作为关注像素来通过卷积运算获得关注像素的颜色值的处理，还可以预先对整个图像执行颜色边界的提取、影响值的计算或者距离的计算，并且当处理每个关注像素时，可以执行系数的设置和卷积运算的处理。当然，可以预先执行代表色的提取和有限颜色图像的生成。另外，可以在终止对每个像素的卷积运算的处理后，重新提取代表色并且使用所重新提取的代表色来生成有限颜色图像。
在第三示例性实施例中，由于使用了预先执行了代表色转换的有限颜色图像来执行卷积运算，因此，与使用原始图像的情况相比，对具有较小的颜色变化的图像执行操作，并且操作结果降低了颜色边界的影响。同时，第一示例性实施例的配置可以设置有代表色转换单元16或者还设置有代表色重选单元17。在该情况下，可以在算术运算单元14中使用其中代表色转换单元15执行了颜色转换的有限颜色图像来进行卷积运算。
图13是示出当在本发明的示例性实施例中所述的功能由计算机程序、存储有计算机程序的记录介质和计算机实现时计算机程序的示例的说明图。在该图中，41表示程序，41表示计算机，51表示磁光盘，52表示光盘，53表示磁盘，54表示存储器，61表示CPU，62表示内部存储器，63表示读出单元，64表示硬盘，65表示接口，以及66表示通信单元。
在上述的本发明的示例性实施例中所述的每个单元的功能可以通过用于使计算机执行功能的程序41来全部或部分地实现。在该情况下，可以将程序41、程序所使用的数据等存储在由计算机读取的记录介质中。记录介质是如下介质：其针对包括在计算机的硬件资源中的读出单元63、响应于程序的内容描述而使得改变磁能、光能和电能等的状态，并且将程序的内容描述以与其对应的信号的形式传送至读出单元63。例如，记录介质包括磁光盘51、光盘52(包括CD、DVD等)、磁盘53、存储器54(包括IC卡、存储开、闪存等)等。当然，记录介质不限于便携类型。
当程序41存储在这样的记录介质中时，例如通过将记录介质安装在读出单元63或计算机42的接口65中来从计算机读出程序41，或者将计算机42的接口65存储在内部存储器62或硬盘64(包括磁盘或硅磁盘等)中，并且通过使用CPU61执行程序41来全部或部分地实现在上述的本发明的示例性实施例中所述的功能。替选地，通过传输通道将程序41传送到计算机42，在计算机42的通信单元66中接收程序41并且将该程序存储在内部存储器62或硬盘64中，并且通过使用CPU61执行程序41来实现上述功能。
计算机42可以通过另一接口55连接至各种装置。当然，配置可以部分地由硬件配置，并且可以全部由硬件配置。可替选地，该配置可以被配置为包括在本发明的示例性实施例中所述的功能的全部或一部分的程序以及另一配置。当该配置应用于另一应用时，其可以与应用中的程序集成。
前文已经出于例示和说明的目的提供了对本发明示例性实施例的说明。该描述并非排他性的或者将本发明限制为所公开的精确形式。显然，各种修改和变型对于本领域技术人员来说是显而易见的。这些实施例的选择和描述是为了对本发明的原理及其实际应用进行最佳的阐述，以使得本领域的其他技术人员能够理解本发明的各种实施例以及适用于具体应用场合的各种变型。本发明的范围应当由权利要求及其等同部分限定。
Claims (7)
1.一种图像处理设备，包括：
提取单元，其提取图像的颜色边界；
影响值计算单元，其计算表示所述颜色边界对像素的影响程度的影响值；
设置单元，其根据在所述提取单元中所提取的所述颜色边界和在所述影响值计算单元中所计算出的所述影响值设置卷积运算的系数；以及
运算单元，其使用所述设置单元设置的系数来进行卷积运算，
其中，影响值随着越靠近颜色边界而变得越大，并且影响值随着越远离颜色边界而变得越小。
2.根据权利要求1所述的图像处理设备，还包括：
距离计算单元，其计算距在所述提取单元中所提取的所述颜色边界的距离，
其中，所述设置单元使用在所述距离计算单元中所计算出的距离以及所述影响值来设置所述系数。
3.根据权利要求2所述的图像处理设备，其中，当在所述距离计算单元中所计算出的距离在预定值的范围内时，所述设置单元和所述运算单元进行所述系数的设置和所述卷积运算。
4.根据权利要求1至3中任一项所述的图像处理设备，还包括：
转换单元，其从所述图像中选择多个代表色，以将所述图像的颜色转换成所述多个代表色中的任一代表色，
其中，所述运算单元对经所述转换单元转换的所述图像进行所述卷积运算。
5.根据权利要求4所述的图像处理设备，还包括：
重选单元，其从由所述运算单元进行了所述卷积运算的所述图像中选择所述多个代表色。
6.根据权利要求1至3中任一项所述的图像处理设备，其中，当所述影响值在预定值的范围内时，所述设置单元和所述运算单元进行所述系数的设置和所述卷积运算。
7.一种图像处理方法，包括：
提取图像的颜色边界；
计算表示所述颜色边界对像素的影响程度的影响值；
根据所提取的颜色边界和所计算出的影响值设置卷积运算的系数；以及
使用所设置的系数进行卷积运算。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-177530 | 2011-08-15 | ||
| JP2011177530A JP5846357B2 (ja) | 2011-08-15 | 2011-08-15 | 画像処理装置及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102938823A CN102938823A (zh) | 2013-02-20 |
| CN102938823B true CN102938823B (zh) | 2016-03-30 |
Family
ID=47697689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210062015.1A Active CN102938823B (zh) | 2011-08-15 | 2012-03-09 | 图像处理设备和图像处理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8655061B2 (zh) |
| JP (1) | JP5846357B2 (zh) |
| CN (1) | CN102938823B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150347862A1 (en) * | 2014-05-30 | 2015-12-03 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium storing program |
| CN107957434B (zh) * | 2017-12-27 | 2020-02-18 | 电子科技大学 | 一种复合碳纤维板内部缺陷的无损检测增强方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6628842B1 (en) * | 1999-06-22 | 2003-09-30 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| JP2006504312A (ja) * | 2002-10-23 | 2006-02-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シャープネス強調 |
| CN101316310A (zh) * | 2007-05-31 | 2008-12-03 | 富士施乐株式会社 | 图像处理装置和图像处理方法 |
| CN101433074A (zh) * | 2006-04-28 | 2009-05-13 | 京瓷美达株式会社 | 数字彩色印刷的陷印方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61107392A (ja) * | 1984-10-31 | 1986-05-26 | 株式会社東芝 | 画像処理システム |
| JPH09168095A (ja) * | 1995-12-15 | 1997-06-24 | Sharp Corp | 色修正方法およびカラー画像処理装置 |
| JP2001005690A (ja) * | 1999-06-21 | 2001-01-12 | Nec Ic Microcomput Syst Ltd | プログラムテストシステム |
| US6707950B1 (en) * | 1999-06-22 | 2004-03-16 | Eastman Kodak Company | Method for modification of non-image data in an image processing chain |
| JP2002009590A (ja) | 2000-06-20 | 2002-01-11 | Sharp Corp | デジタルフィルタ処理システム |
| JP2003123063A (ja) * | 2001-10-18 | 2003-04-25 | Olympus Optical Co Ltd | 画像処理装置 |
| KR101044940B1 (ko) * | 2004-06-23 | 2011-06-28 | 삼성전자주식회사 | 에지 플로우 방향성 필터와 커블릿 변환을 이용한 블록현상 제거 방법 및 장치 |
| US7778480B2 (en) * | 2004-11-23 | 2010-08-17 | Stmicroelectronics Asia Pacific Pte. Ltd. | Block filtering system for reducing artifacts and method |
| JP2007312304A (ja) | 2006-05-22 | 2007-11-29 | Fujitsu Ltd | 画像処理装置および画像処理方法 |
| KR100771879B1 (ko) * | 2006-08-17 | 2007-11-01 | 삼성전자주식회사 | 내부 메모리 용량을 감소시키는 디블록킹 필터링 방법 및그 방법을 이용하는 영상 처리 장치 |
| JP4775598B2 (ja) * | 2007-05-24 | 2011-09-21 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| FR2923637A1 (fr) * | 2007-11-09 | 2009-05-15 | Canon Kk | Procede, dispositif d'identification d'un ensemble de pixels dont les valeurs sont destinees a etre utilisees pour determiner la valeur d'un pixel |
| JP4407749B2 (ja) | 2007-12-26 | 2010-02-03 | ソニー株式会社 | 画像処理回路、撮像装置、方法およびプログラム |
| US20090285308A1 (en) * | 2008-05-14 | 2009-11-19 | Harmonic Inc. | Deblocking algorithm for coded video |
| JP4727720B2 (ja) * | 2008-12-31 | 2011-07-20 | 株式会社モルフォ | 画像処理方法および画像処理装置 |
| JP2011071930A (ja) * | 2009-09-28 | 2011-04-07 | Kyocera Corp | 画像処理装置、撮像装置、画像処理方法、並びにプログラム |
| JP5333787B2 (ja) * | 2010-07-20 | 2013-11-06 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
-
2011
- 2011-08-15 JP JP2011177530A patent/JP5846357B2/ja active Active
-
2012
- 2012-01-20 US US13/355,085 patent/US8655061B2/en not_active Expired - Fee Related
- 2012-03-09 CN CN201210062015.1A patent/CN102938823B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6628842B1 (en) * | 1999-06-22 | 2003-09-30 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
| JP2006504312A (ja) * | 2002-10-23 | 2006-02-02 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シャープネス強調 |
| CN101433074A (zh) * | 2006-04-28 | 2009-05-13 | 京瓷美达株式会社 | 数字彩色印刷的陷印方法 |
| CN101316310A (zh) * | 2007-05-31 | 2008-12-03 | 富士施乐株式会社 | 图像处理装置和图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130044946A1 (en) | 2013-02-21 |
| US8655061B2 (en) | 2014-02-18 |
| JP2013042328A (ja) | 2013-02-28 |
| CN102938823A (zh) | 2013-02-20 |
| JP5846357B2 (ja) | 2016-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6507846B2 (ja) | 画像ノイズ除去方法及び画像ノイズ除去装置 | |
| US9123103B2 (en) | Method and apparatus for image denoising with three-dimensional block-matching | |
| RU2461977C2 (ru) | Сжатие и снятие сжатия изображения | |
| US20190294931A1 (en) | Systems and Methods for Generative Ensemble Networks | |
| US20110188583A1 (en) | Picture signal conversion system | |
| US20160093022A1 (en) | Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering | |
| US11960996B2 (en) | Video quality assessment method and apparatus | |
| CN113850741B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| US8396313B2 (en) | Image compression and decompression using the PIXON method | |
| JP2009527175A (ja) | 表示される画像における圧縮アーティファクトの低減、エンコードパラメータの解析 | |
| Gryaditskaya et al. | Motion aware exposure bracketing for HDR video | |
| JP2001218210A (ja) | ノイズ検出方法、ノイズ検出装置、画像データ処理装置、記録媒体 | |
| CN112150400A (zh) | 图像增强方法、装置和电子设备 | |
| US20190158885A1 (en) | Intelligent compression of grainy video content | |
| US7868950B1 (en) | Reducing noise and artifacts in an image | |
| CN102938823B (zh) | 图像处理设备和图像处理方法 | |
| CN112419161B (zh) | 图像处理方法及装置、存储介质及电子设备 | |
| US8731281B2 (en) | Wavelet transform on incomplete image data and its applications in image processing | |
| Lukin et al. | DCT-based color image denoising: Efficiency analysis and prediction | |
| US8831354B1 (en) | System and method for edge-adaptive and recursive non-linear filtering of ringing effect | |
| Xiao et al. | Video denoising algorithm based on improved dual‐domain filtering and 3D block matching | |
| CN113766239B (zh) | 数据处理的方法和*** | |
| Sun et al. | Reduced-reference image quality assessment through SIFT intensity ratio | |
| WO2015128302A1 (en) | Method and apparatus for filtering and analyzing a noise in an image | |
| US7706440B2 (en) | Method for reducing bit rate requirements for encoding multimedia data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Tokyo Patentee after: Fuji film business innovation Co.,Ltd. Address before: Tokyo Patentee before: Fuji Xerox Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |