CN101771882B - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN101771882B CN101771882B CN2009102612798A CN200910261279A CN101771882B CN 101771882 B CN101771882 B CN 101771882B CN 2009102612798 A CN2009102612798 A CN 2009102612798A CN 200910261279 A CN200910261279 A CN 200910261279A CN 101771882 B CN101771882 B CN 101771882B
- Authority
- CN
- China
- Prior art keywords
- signal
- gradient
- inhibition
- object images
- rejection coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000005764 inhibitory process Effects 0.000 claims description 168
- 230000015572 biosynthetic process Effects 0.000 claims description 88
- 238000003786 synthesis reaction Methods 0.000 claims description 88
- 238000010586 diagram Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 16
- 239000000203 mixture Substances 0.000 claims description 8
- 150000001875 compounds Chemical class 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 abstract 6
- 239000002131 composite material Substances 0.000 description 21
- 230000000694 effects Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 230000000630 rising effect Effects 0.000 description 6
- 238000007688 edging Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明涉及图像处理设备和图像处理方法。分别检测参考图像信号和抑制对象图像信号的梯度。根据基于参考图像信号的梯度值和抑制对象图像信号的梯度值之间的大小关系所定义的函数,计算抑制系数。根据该抑制系数对参考图像信号进行加权,将加权后的信号与相应的抑制对象图像信号进行合成,并且输出合成后的信号作为色边抑制后的颜色成分信号。从而在抑制校正错误的同时,可以有效地校正色边。
Description
技术领域
本发明涉及一种图像处理设备和图像处理方法,尤其涉及一种校正由于光学因素引起的色像差(chromatic aberration)并抑制色边(color fringing)的图像处理设备和图像处理方法。
背景技术
近年的数字摄像机和数字照相机可以通过采用具有大量像素的图像传感器获得高质量图像。
在不利方面,由于小型化像素和紧凑式镜头等因素,在图像中较易出现由各光波长的不同焦距产生的色像差的影响,更具体地,出现色边。
传统地,作为用于抑制所拍摄的图像中的色边的技术,提出了各种方法。日本特开2007-195122提出了这样一种技术:通过检测由摄像装置所获取的图像中的边缘,并且根据基于光学参数所获得的色调降低规则而降低所检测到的边缘位置附近的颜色信号的色调,来抑制色边。
例如,当使用摄像机中经常使用的高倍率变焦镜头时,色边特性根据从光轴中心到关注像素的图像高度、变焦比、光圈值和调焦透镜位置而复杂地改变。为此,日本特开2007-195122所述的简单的色调降低规则不能有效地抑制色边。因此,实际上,难以仅使用帧内关注像素的位置作为标准来控制色边抑制水平。
日本特开2007-195122所述的方法不能对RGB信号进行色边抑制。为此,该方法只能是调整色差信号的增益的单纯消色差处理,而不适合于色边抑制处理。
日本特开2003-102027和日本特开2003-102028公开了下面的技术。也就是说,通过判断色差数据的变化程度和颜色之间的差是否超过相应阈值来确定色边。另外,从图像数据检测边缘,并且根据边缘附近的位置,使用低通滤波器(LPF)和中值滤波器抑制色边。
然而,由于色边区域确定是对于是否应用色边抑制的二值判断处理,因而,当对色差数据的变化程度和颜色之间的差设置低阈值时,将具有强梯度的图像信号的彩色边缘部分错误地确定为色边部分。结果,错误地校正没有发生色边的彩色边缘部分,换句话说,在需要和不需要的地方都进行色边的校正。
相反,当对色差数据的变化程度或颜色之间的差设置高阈值来避免这类判断错误时,不能判断出低梯度部分中发生的色边,并且色边校正变得不充分,换句话说,并未在需要时始终进行色边校正。另外,由于进行了色边校正的部分和未进行色边校正的部分可清晰地区分开,因而一个图像中的校正后的部分和未校正的部分可能显现为台阶,或者动画的帧之间的校正后的部分和未校正的部分可能显现为台阶。
发明内容
考虑到这些传统问题做出本发明,并且本发明提供一种可以解决这些传统问题至少之一并且在抑制或减少校正错误的同时可以有效地校正色边的图像处理设备和图像处理方法。
根据本发明的一个方面,提供一种图像处理设备,用于抑制由多个像素构成的图像的色边,所述图像处理设备包括:参考梯度检测部件,用于检测用作参考图像信号的、关注像素的颜色成分之一或者亮度成分的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;抑制对象梯度检测部件,用于检测用作抑制对象图像信号的、所述关注像素的与所述参考图像信号不同的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;抑制系数计算部件,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及合成部件,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,其中,所述抑制系数计算部件根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系来定义多个区域,预先向各所述区域分配函数,并且通过将各所述抑制对象图像信号分类到所述多个区域之一并使用分配至该区域以计算所述色边抑制系数的所述函数,来计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
根据本发明的另一方面,提供一种图像处理方法,用于抑制由多个像素构成的图像的色边,所述图像处理方法包括:参考梯度检测步骤,用于检测用作参考图像信号的、关注像素的颜色成分之一或者亮度成分的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;抑制对象梯度检测步骤,用于检测用作抑制对象图像信号的、所述关注像素的与所述参考图像信号不同的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;抑制系数计算步骤,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及合成步骤,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,其中,在所述抑制系数计算步骤中,将所述关注像素的所述抑制对象图像信号分类到根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系所定义的、各自具有预先指定的相应函数的区域,其中,通过使用与各所述抑制对象图像信号所分类到的区域相对应的函数,计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得清楚。
附图说明
图1是示出根据本发明第一实施例的图像处理设备的结构的例子的框图;
图2是示出根据本发明第一实施例的图像处理设备中的第一梯度检测单元10的结构的例子的框图;
图3A是示出图2所示的第一梯度检测单元10中所包括的水平一阶导数滤波器101的实际例子的图;
图3B是示出图2所示的第一梯度检测单元10中所包括的垂直一阶导数滤波器102的实际例子的图;
图4是用于说明图2所示的第一梯度检测单元10中的去心(coring)处理的图;
图5是用于说明根据本发明第一实施例的图像处理设备中的第一抑制系数计算单元20中的梯度属性确定方法的流程图;
图6是示出根据本发明第一实施例的图像处理设备中的关注像素的梯度属性的分类例子的图;
图7A~7C是用于说明根据本发明第一实施例的图像处理设备中的第一抑制系数计算单元20的色边抑制系数的确定方法的图;
图8是示出根据本发明第一实施例的图像处理设备中的第一信号合成单元30和第二信号合成单元31的结构的例子的框图;
图9A~9C是用于说明根据本发明第一实施例的图像处理设备中标准化单元301的操作和合成系数Sr的特性之间的关系的图;
图10是示出根据本发明第二实施例的图像处理设备的结构的例子的框图;
图11是示出根据本发明第三实施例的图像处理设备的结构的例子的框图;
图12是示出根据本发明第三实施例的图像处理设备中的抑制增益计算单元40的结构的例子的框图;
图13A~13E是用于说明根据本发明第三实施例的图像处理设备中的RGB/HSV转换器401的操作的图;
图14是示出根据本发明第三实施例的图像处理设备中的第一信号合成单元30′和第二信号合成单元31′的结构的例子的框图;
图15A~15C是示出根据本发明第三实施例的图像处理设备中从比较器401~403输出的增益的例子的图;
图16是示出根据本发明第四实施例的图像处理设备的结构的例子的框图;
图17是示出根据本发明第五实施例的图像处理设备的结构的例子的框图;
图18A是示出根据本发明第五实施例的图像处理设备中的第一至第三限带滤波器60、61和62的通过频率特性的例子的图;
图18B是示出通过向具有图18A所示的通过频率特性的限带滤波器输入阶梯型边缘波形所获得的输出波形的例子的图;
图18C是示出由具有图18A所示的通过频率特性的限带滤波器引起的梯度信号的变化的例子的图;
图19是示出根据本发明第六实施例的图像处理设备的结构的例子的框图;
图20是示出根据本发明第七实施例的图像处理设备的结构的例子的框图;以及
图21是示出根据本发明第八实施例的图像处理设备的结构的例子的框图。
具体实施方式
现在根据附图详细说明本发明的典型实施例。
第一实施例
图1是示出根据本发明第一实施例的例如PC、数字静态照相机和数字摄像机等图像处理设备的结构的例子的框图。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号(在这里所述的任一实施例中,该图像信号都可以是视频信号)分成作为三原色的R(红色的颜色成分图像信号,下面简称为R)、G(绿色的颜色成分图像信号,下面简称为G)和B(蓝色的颜色成分图像信号,下面简称为B)。然后,将这些颜色成分图像信号输入至图1所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号(例如,作为抑制或减少色边的对象的图像信号)。
在第一实施例中,使用G作为具有与亮度接近的颜色成分的参考图像信号,并且使用R和B作为抑制对象图像信号。
将R、B和G图像信号分别输入至第一至第三梯度检测单元10、11和12,其中,第一至第三梯度检测单元10、11和12分别输出相应的梯度信号Ar、Ab和Ag。抑制对象图像信号R和B的梯度信号Ar和Ab是抑制对象梯度信号,而参考图像信号G的梯度信号Ag是参考梯度信号。
在这些信号中,将梯度信号Ar和Ag输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ag,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ag输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ag,并且输出抑制对象图像信号B的色边抑制系数Eb。
第一信号合成单元30接收色边抑制系数Er、参考图像信号G和抑制对象图像信号R。第一信号合成单元30根据色边抑制系数Er来对参考图像信号G和抑制对象图像信号R进行加权合成(例如,对抑制对象图像信号R和根据色边抑制系数加权后的参考图像信号G进行合成)。第一信号合成单元然后输出色边抑制后的抑制对象图像信号R′(其中,R′是为减少或抑制色边而校正后的图像信号R)。
第二信号合成单元31接收色边抑制系数Eb、参考图像信号G和抑制对象图像信号B。第二信号合成单元31根据色边抑制系数Eb来对参考图像信号G和抑制对象图像信号B进行合成(例如,对抑制对象图像信号R和根据色边抑制系数加权后的参考图像信号G进行合成)。第二信号合成单元然后输出色边抑制后的抑制对象图像信号B′(其中,B′是为减少或抑制色边而校正后的图像信号B)。
在不接受第一和第二信号合成单元30和31中的任何色边抑制处理的情况下,照原样输出参考图像信号G。
下面将详细说明图1的各组件。
图2是示出第一梯度检测单元10的结构的例子的框图。注意,由于第一至第三梯度检测单元10~12具有共同的结构,因而在第二和第三梯度检测单元11和12中,可以用“G”或“g”或者“B”或“b”分别替换下面的说明中的“R”或“r”。
将输入信号R输入至作为空间滤波器的水平一阶导数滤波器101和垂直一阶导数滤波器102。
水平一阶导数滤波器101是具有例如图3A所示的滤波器系数的3×3像素的所谓索贝尔(Sobel)滤波器,并且检测水平方向上的一阶导数值,即以关注像素为中心的正方形区域中所包括的像素的水平梯度值Rh。
垂直一阶导数滤波器102是具有例如图3B所示的滤波器系数的3×3像素的所谓索贝尔滤波器,并且检测垂直方向上的一阶导数值,即以关注像素为中心的正方形区域中所包括的像素的垂直梯度值Rv。
通过第一绝对值转换器103和第二绝对值转换器104,将输出的水平梯度值Rh和垂直梯度值Rv转换成绝对值|Rh|和|Rv|,并且将转换后的值输入至合成单元105。
合成单元105通过下面给出的算术运算来对水平梯度值|Rh|和垂直梯度值|Rv|进行合成,并且输出梯度信号Ar。
Ar=|Rh|+|Rv|...(1)
注意,通过减少硬件的计算负荷的简单合成算术运算来实现等式(1)和图2。然而,当硬件资源充足时,希望通过如下式计算水平梯度值Rh和垂直梯度值Rv的平方和的平方根来计算梯度值。
为了进一步消除噪声的影响,如图4所示,使用通过向梯度信号Ar应用去心处理所获得的信号Ar′是有效的。该去心处理设置零作为小绝对值区间内的值。
下面说明第一和第二抑制系数计算单元20和21的操作。
除要处理的信号以外,第一和第二抑制系数计算单元20和21的操作和结构是共同的。为此,与第一抑制系数计算单元20相关联地给出下面的说明。对于第二抑制系数计算单元21,可以通过“B”或“b”替换下面说明中的“R”或“r”。
第一抑制系数计算单元20接收参考图像信号G的梯度值Ag和抑制对象图像信号R的梯度值Ar。设置梯度值Ag的阈值g_th和梯度值Ar的阈值r_th。可以从外部电路(未示出)输入这些阈值。
第一抑制系数计算单元20确定关注位置的像素处的梯度属性,并且计算色边抑制系数。
下面参考图5的流程图说明第一抑制系数计算单元20中的梯度属性确定方法。
在步骤S801,第一抑制系数计算单元20将参考图像信号G的梯度值Ag和阈值g_th进行比较。如果Ag≥g_th,则处理进入步骤S802;如果Ag<g_th,则处理进入步骤S803。
在步骤S802,第一抑制系数计算单元20将参考图像信号G的梯度值Ag与抑制对象图像信号R的梯度值Ar进行比较。如果Ag≥Ar,则处理进入步骤S804;如果Ag<Ar,则处理进入步骤S805。
在步骤S803,第一抑制系数计算单元20将参考图像信号G的梯度值Ag与抑制对象图像信号R的梯度值Ar进行比较。如果Ag≥Ar,则处理进入步骤S806;如果Ag<Ar,则处理进入步骤S807。
在步骤S807,第一抑制系数计算单元20将抑制对象图像信号R的梯度值Ar与阈值r_th进行比较。如果Ar≥r_th,则处理进入步骤S808;如果Ar<r_th,则处理进入步骤S809。
作为上述确定方法的结果,根据梯度值Ag和Ar及阈值g_th和r_th,对关注像素的梯度属性进行例如如图6所示的分类。
当处理进入步骤S804、S805、S806、S808和S809时,确定梯度属性分别落在图6中的区域A、B、C、D和E之一内。在参考图像信号G的梯度值Ag大于抑制对象图像信号R的梯度值Ar、并且参考图像信号G的梯度值Ag大的区域中,推断出发生色边的可能性高。相反,在参考图像信号G的梯度值Ag小的区域或者参考图像信号G的梯度值Ag一定程度地小于抑制对象图像信号R的梯度值Ar的区域中,推断出发生色边的可能性低。
下面参考图7A~7C说明第一抑制系数计算单元20中的色边抑制系数的确定方法。
第一抑制系数计算单元20将色边抑制系数Er表示为梯度值Ag和Ar以及阈值g_th和r_th相对于基于梯度属性所分类的区域A~E的函数,例如,分别如下给出它们的函数。
[区域A]
Er=Ag×α...(3)
[区域B]
Er={(Ag-Ar)×β+Ar}×α...(4)
[区域C]
Er={(Ag-g_th)×β+g_th}×α...(5)
[区域D]
Er={(Ag-Ar)×β+Ar}×α...(6)
[区域E]
Er={(Ag-r_th)×β+r_th}×α...(7)
其中,如下所述,当Er<0时Er=0,并且α和β是任意变量。
通过这些等式表示的色边抑制系数Er定义如图7A~7C所示的根据阈值g_th和r_th而改变的相对于Ag-Ar平面的三维特性。逐步设置该色边抑制系数Er,从而使得对于发生色边的可能性较高的像素位置,色边抑制的程度变得较强(抑制系数Er的值较大),并且对于发生色边的可能性较低的像素位置,色边抑制的程度变得较弱(抑制系数Er的值较小)。
当相对于图7A所示的特性增大阈值g_th和r_th时,如图7B所示,Er=0的区域在Ag轴方向和Ar轴方向上变宽。也就是说,与图7A所示的特性相比,减少了梯度值Ag和Ar小的区域中的色边抑制效果,并且,例如,可以抑制彩色边缘的运算误差。
另一方面,当相对于图7A所示的特性减小阈值g_th和r_th时,如图7C所示,Er=0的区域在Ag轴方向和Ar轴方向上变窄。也就是说,与图7A所示的特性相比,即使在梯度值Ag和Ar小的区域中也执行色边抑制,并且向低梯度部分应用色边抑制。
在等式(3)~(7)中,α和β是调整色边抑制强度所使用的变量。通过调整α的大小来调整色边抑制系数Er的输出增益(即,增大的速率)。另外,由于图7A~7C所示的特性的上升沿(梯形立体的斜面的角度)随着β值的增大而变得更加陡峭,因而可以控制色边抑制系数Er相对于梯度值Ag和Ar增大的速率。不依赖于阈值,可以控制省略色边抑制的区域(Er=0的区域)的大小。
这样,通过根据光学***的特性而调整阈值g_th和r_th以及变量α和β的值,可以在防止彩色边缘的运算误差的同时,向低梯度部分和高梯度部分应用色边抑制。例如,当光学***的变焦状态处于远摄侧时,与广角侧相比,较易发生色边。为此,随着变焦状态从广角侧接近远摄侧,逐步缩窄Er=0的区域,并且,作为替代,设置阈值g_th和r_th以及变量α和β的值,以减小色边抑制系数增大的速率。另一方面,当将光学***的光圈的光圈大小设置为大时,由于未聚焦于除主被摄体以外的区域,并且推断出发生色边的可能性低,因而将Er=0的区域设置得宽。可选地,当将拍摄模式设置成运动模式时,或者当被摄体的变化大时,由于即使在发生色边时,色边也不特别显目,因而将Er=0的区域设置得非常宽。
图8是示出第一和第二信号合成单元30和31的结构的例子的框图。
除要处理的信号以外,第一和第二信号合成单元30和31的操作和结构是共同的。为此,与第一信号合成单元30相关联地给出下面的说明。对于第二信号合成单元31,可以利用“B”或“b”替换下面说明中的“R”或“r”。
通过标准化单元301将从第一抑制系数计算单元20输出的色边抑制系数Er标准化成预定的(或者从外部输入的)标准化水平Srnorm。此外,通过限制器302限制标准化后的色边抑制系数Er,从而使得其值不超过1.0,从而获得合成系数Sr。
作为标准化单元301和限制器302的处理的结果,将所获得的具有图7A所示的函数特性的色边抑制系数Er转换成具有图9A~9C所示的特性的合成系数Sr。
假定图9A示出使用标准化水平Srnorm的规定值所获得的特性。通过将标准化水平Srnorm设置成大于规定值得较平缓,如图9B所示,可以将合成系数Sr的上升沿(梯形立体的斜面的角度)调整。另外,可以缩窄合成系数Sr=1.0的梯度值Ag和Ar的范围(限制范围)。
通过将标准化水平Srnorm设置成小于规定值得更陡峭,如图9C所示,可以将合成系数Sr的上升沿(梯形立体的斜面的角度)调整。另外,可以加宽合成系数Sr=1.0的梯度值Ag和Ar的范围(限制范围)。也就是说,用户可以根据他/她的喜好通过改变标准化水平Srnorm的值来调整色边抑制的程度。换句话说,用户可以通过改变标准化水平Srnorm的值来调整应用于发生色边的可能性类似的像素的色边抑制的程度。
另一方面,减法器303从参考图像信号G减去抑制对象图像信号R,并且乘法器304将差(G-R)乘以合成系数Sr。然后,加法器305将抑制对象图像信号R和(G-R)×Sr相加,并且输出通过向抑制对象图像信号R应用色边抑制处理所获得的信号R′。
可以将第一信号合成单元30的上述运算处理表示为如下。
对于 并且当Sr>1.0时Sr=1.0
随着合成系数Sr增大,第一信号合成单元30以增大的比率混合参考图像信号G(或者换句话说,随着Sr增大,参考信号G的影响增大),并且第一信号合成单元30因此可以获得下面的效果:关注位置的像素处的抑制对象图像信号R变得类似于参考图像信号G。
第二信号合成单元31向抑制对象图像信号B应用相同的处理。随着合成系数Sb增大,第二信号合成单元31以增大的比率混合参考图像信号G(或者换句话说,随着Sb增大,参考信号G的影响增大),并且第二信号合成单元31因此可以获得下面的效果:关注位置的像素处的抑制对象图像信号B变得类似于参考图像信号G。
第一和第二信号合成单元30和31控制合成系数Sr和Sb的值以实现加权合成,从而使得如图9A~9C所示,对于发生色边的可能性较高的像素位置,色边抑制的程度变得较强,并且对于发生色边的可能性较低的像素位置,色边抑制的程度变得较弱。
另外,由于如图9A~9C所示,控制合成系数Sr以根据发生色边的可能性逐步(连续)改变抑制的程度,因而可以适当抑制色边。
如上所述,根据本实施例,根据参考图像信号和抑制对象图像信号的梯度值与针对这些抑制对象图像信号预先设置的阈值之间的大小关系,将关注像素的各抑制对象信号的梯度属性分类到多个区域中的一个区域中。然后,针对关注像素的各颜色信号,计算与梯度属性所属的区域相应的色边抑制系数。这样,可以消除不能判断出低梯度部分(例如,在该部分中,抑制对象图像信号的梯度值低)中的色边并且校正变得不充分这一问题(换句话说,即使在低梯度部分中,也可以判断出并校正色边),同时还减少发生对没有发生色边的彩色边缘部分错误地进行色边的校正。
第二实施例
下面说明本发明的第二实施例。
图10是示出根据本发明第二实施例的图像处理设备的结构的例子的框图。在图10中,与图1中的相同的附图标记和符号表示与第一实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图1和10之间的比较可知,本实施例与第一实施例的不同在于,由于输入亮度图像信号Y,因而还将色边抑制处理应用于G信号,从而使得G信号作为抑制对象图像信号(而在第一实施例中,G信号不是色边抑制对象图像信号)。
将通过数字摄像机或数字照相机等(未示出)获得的图像信号分成如在第一实施例中一样的R、G和B图像信号以及Y图像信号(亮度成分图像信号,以下称之为Y),然后将它们输入至图10所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第二实施例中,使用Y作为参考图像信号,并且使用R、G和B作为抑制对象图像信号。
将R、B、G和Y图像信号分别输入至分别输出相应的梯度信号Ar、Ab、Ag和Ay的第一至第四梯度检测单元10、11、12和13。
在这些信号中,将梯度信号Ar和Ay输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ay,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ay输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ay,并且输出抑制对象图像信号B的色边抑制系数Eb。
将梯度信号Ag和Ay输入至第三抑制系数计算单元22。第三抑制系数计算单元22比较梯度信号Ag和Ay,并且输出抑制对象图像信号G的色边抑制系数Eg。
第一信号合成单元30接收色边抑制系数Er、参考图像信号Y和抑制对象图像信号R。第一信号合成单元30根据色边抑制系数Er来对参考图像信号Y和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31接收色边抑制系数Eb、参考图像信号Y和抑制对象图像信号B。第二信号合成单元31根据色边抑制系数Eb来对参考图像信号Y和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
第三信号合成单元32接收色边抑制系数Eg、参考图像信号Y和抑制对象图像信号G。第三信号合成单元32根据色边抑制系数Eg来对参考图像信号Y和抑制对象图像信号G进行加权合成,并且输出色边抑制后的抑制对象图像信号G′。
由于第一至第四梯度检测单元10~13、第一至第三抑制系数计算单元20~22和第一至第三信号合成单元30~32的结构如第一实施例中所述的一样,因而不再对其进行说明。
对于操作,由于将参考图像信号从G改变成Y,因而可以简单地利用Y、Ay和y_th分别替换第一实施例中的这些结构的说明、等式和附图中的G、Ag和g_th。
在本实施例中,除第一实施例的效果以外,还可以实现另外获得对于G图像信号的色边抑制的效果。
第三实施例
下面说明本发明的第三实施例。
图11是示出根据本发明第三实施例的图像处理设备的结构的例子的框图。在图11中,与图1中的相同的附图标记和符号表示与第一实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图1和10之间的比较可知,本实施例与第一实施例的不同在于,新添加了控制第一和第二信号合成单元30′和31′的抑制增益计算单元40。
将通过数字摄像机或数字照相机等(未示出)获得的图像信号分成作为三原色的R(红色的颜色成分图像信号,以下简称为R)、G(绿色的颜色成分图像信号,以下简称为G)和B(蓝色的颜色成分图像信号,以下简称为B)。然后,将这些颜色成分图像信号输入至图11所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第三实施例中,使用G作为具有与亮度接近的颜色成分的参考图像信号,并且使用R和B作为抑制对象图像信号。
将R、B和G图像信号分别输入至分别输出相应的梯度信号Ar、Ab和Ag的第一至第三梯度检测单元10、11和12。
在这些信号中,将梯度信号Ar和Ag输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ag,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ag输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ag,并且输出抑制对象图像信号B的色边抑制系数Eb。
抑制增益或因数计算单元40从输入的R、G和B图像信号提取与色相、饱和度和明度有关的信息,并且基于该信息输出抑制增益Tgain。
第一信号合成单元30′接收色边抑制系数Er、抑制增益Tgain、参考图像信号G和抑制对象图像信号R。第一信号合成单元30′根据抑制增益Tgain和色边抑制系数Er,对参考图像信号G和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31′接收色边抑制系数Eb、抑制增益Tgain、参考图像信号G和抑制对象图像信号B。第二信号合成单元31′根据抑制增益Tgain和色边抑制系数Eb,对参考图像信号G和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
在不接受第一和第二信号合成单元30′和31′中的任何色边抑制处理的情况下,照原样输出参考图像信号G。
由于第一至第三梯度检测单元10~12以及第一和第二抑制系数计算单元20和21的结构如第一实施例中所述的一样,因而不再给出对其的说明。
下面仅详细说明不同于第一实施例的抑制增益计算单元40以及第一和第二信号合成单元30′和31′。
图12是示出抑制增益计算单元40的结构的例子的框图。
在抑制增益计算单元40中,RGB/HSV转换器401将输入的R、G和B图像信号转换成HSV格式,并且输出色相信号H、饱和度信号S和明度信号V。RGB/HSV转换器401通过例如下面的算术运算执行RGB-HSV转换。
RGB/HSV转换器401如下计算R、G和B图像信号的最大值信号MAX和最小值信号MIN。
MAX=max(R,G,B)...(9)
MIN=min(R,G,B)...(10)
RGB/HSV转换器401使用如下等式(11)~(13)中与对应于最大值信号MAX的图像信号相应的一个等式,计算色相信号H。
[当MAX=R]
H=60×(G-B)/(MAX-MIN)...(11)
[当MAX=G]
H=60×(B-R)/(MAX-MIN)+120...(12)
[当MAX=B]
H=60×(R-G)/(MAX-MIN)+240...(13)
RGB/HSV转换器401然后如下基于最大值信号MAX和最小值信号MIN,计算饱和度信号S和明度信号V。
S=(MAX-MIN)/MAX...(14)
V=MAX...(15)
由于这样计算出的色相信号H、饱和度信号S和明度信号V可以如图13A~13E所示在HSV颜色空间对颜色信息进行分类,因而可以判断关注位置的像素是否包括在绿色或肤色等想要的颜色范围中。
注意,图13A~13E例示下面的情况:将色相信号H和饱和度信号S分类成16个等级,并且将明度信号V分类成5个等级。然而,为了简便使用这些数量的分类,并且本发明不局限于这些特定数量的分类。
比较器402将色相信号H与预先设置或从外部给出的最小值Hmin和最大值Hmax进行比较。比较器402根据相对于关注位置的像素处的色相信号H具有例如图15A所示的特性的函数来输出抑制增益Hgain。
在范围Hmin≤H≤Hmax内,抑制增益Hgain=0,并且省略色边抑制处理。因此,可以基于Hmin和Hmax的设置值来控制要执行色边抑制处理的色相信号H的范围。
比较器403将饱和度信号S与预先设置或从外部给出的最小值Smin和最大值Smax进行比较。比较器403根据相对于关注位置的像素处的饱和度信号S具有例如图15B所示的特性的函数来输出抑制增益Sgain。
在范围Smin≤S≤Smax内,抑制增益Sgain=0,并且省略色边抑制处理。因此,可以基于Smin和Smax的设置值来控制要执行色边抑制处理的饱和度信号S的范围。
比较器404将明度信号V与预先设置或从外部给出的最小值Vmin和最大值Vmax进行比较。比较器404根据相对于关注位置的像素处的明度信号V具有例如图15C所示的特性的函数来输出抑制增益Vgain。
在范围Vmin≤V≤Vmax内,抑制增益Vgain=0,并且省略色边抑制处理。因此,可以基于Vmin和Vmax的设置值来控制要执行色边抑制处理的明度信号V的范围。
抑制增益生成器405根据抑制增益Hgain、Sgain和Vgain,计算并输出关注位置的像素处的抑制增益Tgain。例如,抑制增益生成器405可以如下计算抑制增益Tgain:通过等式(16)获得抑制增益Hgain、Sgain和Vgain的最大值;通过等式(17)计算抑制增益Hgain、Sgain和Vgain的平均值;或者通过(18)对抑制增益Hgain、Sgain和Vgain进行加权合成。
Tgain=max(Hgain,Sgain,Vgain)...(16)
Tgain=(Hgain,Sgain,Vgain)/3...(17)
Tgain=a·Hgain+b·Sgain+c·Vgain ...(18)
(a+b+c=1)
注意,说明了用于使用HSV颜色空间来确定色相、饱和度和明度的方法。然而,这一方法仅是例子,并且可以使用HLS颜色空间和L*a*b*颜色空间等其它颜色空间来确定色相、饱和度和明度。
图14是示出第一和第二信号合成单元30′和31′的结构的例子的框图。图14代表性示出第一信号合成单元30′,但是第二信号合成单元31′具有相同结构。
下面说明第一信号合成单元30′的结构和操作。在第二信号合成单元31′的情况下,可以利用B或b替换下面说明中的R或r。
第一信号合成单元30′接收抑制增益Tgain、色边抑制系数Er、参考图像信号G和抑制对象图像信号R。在这些信号中,将抑制增益Tgain和色边抑制系数Er输入至标准化单元301。标准化单元301将色边抑制系数Er乘以抑制增益Tgain,并且根据预先设置或从外部输入的标准化水平Srnorm来标准化该乘积。限制器302限制标准化结果以使其不超过1.0,并且输出限制结果作为合成系数Sr。
作为标准化处理的结果,在接收对于特定颜色的抑制控制时,将所获得的具有图7A所示的函数特性的色边抑制系数Er转换成具有图9A~9C所示的函数特性的合成系数Sr。
假定图9A示出使用标准化水平Srnorm的规定值所获得的特性。通过将标准化水平Srnorm设置成大于规定值,如图9B所示,可以将合成系数Sr的上升沿(梯形立体的斜面的角度)调整得较平缓。另外,可以缩窄合成系数Sr=1.0的梯度值Ag和Ar的范围(限制范围)。
通过将标准化水平Srnorm设置成小于规定值,如图9C所示,可以将合成系数Sr的上升沿(梯形立体的斜面的角度)调整得更陡峭。另外,可以加宽合成系数Sr=1.0的梯度值Ag和Ar的范围(限制范围)。
当抑制增益Tgain为零时,省略关注位置的像素处的色边抑制处理。如图15A~15C所示,与色相H、饱和度S和明度V相关联地平滑控制抑制增益Tgain为零的颜色区域。
另一方面,减法器303从参考图像信号G减去抑制对象图像信号R,并且乘法器304将差(G-R)乘以合成系数Sr。然后,加法器305将抑制对象图像信号R和(G-R)×Sr相加,并且输出通过向抑制对象图像信号R应用色边抑制处理所获得的信号R′。
可以将第一信号合成单元30′的上述运算处理表示为如下。
当 时,Sr=1.0,
随着合成系数Sr增大,第一信号合成单元30′以增大的比率混合参考图像信号G,因此可以获得下面的效果:关注位置的像素处的抑制对象图像信号R变得与参考图像信号G类似。
第二信号合成单元31′向抑制对象图像信号B应用相同处理。随着合成系数Sb增大,第二信号合成单元31′以增大的比率混合参考图像信号G,因此可以获得下面的效果:关注位置的像素处的抑制对象图像信号B变得与参考图像信号G类似。
这样获得的抑制对象图像信号R′和B′可以通过指定发生色边的可能性高的像素位置来应用色边抑制处理,并且还可以控制对特定颜色不应用色边抑制处理。为此,可以适当地抑制色边。
第四实施例
下面说明本发明的第四实施例。
图16是示出根据本发明第四实施例的图像处理设备的结构的例子的框图。在图16中,与图11中的相同的附图标记和符号表示与第三实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图11和16之间的比较可知,本实施例与第三实施例的不同在于,由于输入亮度图像信号Y,因而还向在第三实施例中不作为色边抑制对象图像信号的G信号应用色边抑制处理。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号分成如第一实施例中一样的R、G和B图像信号、以及Y图像信号(亮度成分图像信号,以下称之为Y),然后将它们输入至图16所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第四实施例中,使用Y作为参考图像信号,并且使用R、G和B作为抑制对象图像信号。
将R、B、G和Y图像信号分别输入至分别输出相应梯度信号Ar、Ab、Ag和Ay的第一至第四梯度检测单元10、11、12和13。
在这些信号中,将梯度信号Ar和Ay输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ay,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ay输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ay,并且输出抑制对象图像信号B的色边抑制系数Eb。
将梯度信号Ag和Ay输入至第三抑制系数计算单元22。第三抑制系数计算单元22比较梯度信号Ag和Ay,并且输出抑制对象图像信号G的色边抑制系数Eg。
抑制增益计算单元40从输入的R、G和B图像信号提取色相、饱和度和明度的信息,并且基于这些信息输出抑制增益Tgain。
第一信号合成单元30′接收色边抑制系数Er、抑制增益Tgain、参考图像信号Y和抑制对象图像信号R。第一信号合成单元30′根据抑制增益Tgain和色边抑制系数Er,对参考图像信号Y和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31′接收色边抑制系数Eb、抑制增益Tgain、参考图像信号Y和抑制对象图像信号B。第二信号合成单元31′根据抑制增益Tgain和色边抑制系数Eb,对参考图像信号Y和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
第三信号合成单元32′接收色边抑制系数Eg、抑制增益Tgain、参考图像信号Y和抑制对象图像信号G。第三信号合成单元32′根据抑制增益Tgain和色边抑制系数Eg,对参考图像信号Y和抑制对象图像信号G进行加权合成,并且输出色边抑制后的抑制对象图像信号G′。
由于第一至第三梯度检测单元10~12以及第一和第二抑制系数计算单元20和21的结构如第一实施例所述,因而不再对其进行说明。
另外,由于抑制增益计算单元40以及第一和第二信号合成单元30′和31′如第三实施例中所述,因而不再对其进行说明。由于第三信号合成单元32′具有与第一和第二信号合成单元30′和31′相同的结构,因而不再对其进行说明。
对于操作,由于将参考图像信号从G改变成Y,因而可以分别利用Y、Ay和y_th简单地替换第三实施例中的这些结构的说明、等式和附图中的G、Ag和g_th。
在本实施例中,除第三实施例的效果以外,还可以实现另外获得对G图像信号的色边抑制的效果。
第五实施例
下面说明本发明的第五实施例。
图17是示出根据本发明第五实施例的图像处理设备的结构的例子的框图。在图17中,与图1中的相同附图标记和符号表示与第一实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图1和17之间的比较可知,本实施例与第一实施例的不同在于,在第一至第三梯度检测单元10~12之前配置第一至第三限带滤波器60~62。
通过控制第一至第三限带滤波器60~62的频率特性,可以控制要检测梯度信号的区域。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号分成作为三原色的R、G和B图像信号。然后,将这些图像信号输入至图17所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第五实施例中,使用G作为具有与亮度接近的颜色成分的参考图像信号,并且使用R和B作为抑制对象图像信号。
将R、B和G图像信号分别输入至第一至第三限带滤波器60~62,并将它们转换成例如频带被限制为低频域的图像信号RL、BL和GL。
将RL、BL和GL图像信号分别输入至分别输出相应梯度信号Ar、Ab和Ag的第一至第三梯度检测单元10~12。
在这些信号中,将梯度信号Ar和Ag输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ag,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ag输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ag,并且输出抑制对象图像信号B的色边抑制系数Eb。
第一信号合成单元30接收色边抑制系数Er、参考图像信号G和抑制对象图像信号R。第一信号合成单元30根据色边抑制系数Er,对参考图像信号G和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31接收色边抑制系数Eb、参考图像信号G和抑制对象图像信号B。第二信号合成单元31根据色边抑制系数Eb,对参考图像信号G和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
在不接受第一和第二信号合成单元30和31中的任何色边抑制处理的情况下,照原样输出参考图像信号G。
由于第一至第三梯度检测单元10~12、第一和第二抑制系数计算单元20和21以及第一和第二信号合成单元30和31的结构如第一实施例中所述,因而不再重复对其的说明。
下面仅详细说明与第一实施例不同的第一至第三限带滤波器60~62。
第一至第三限带滤波器60、61和62是通用的FIR数字LPF(有限脉冲响应低通滤波器)。在本实施例中,假定可以通过外部改变第一至第三限带滤波器60、61和62的滤波器系数,将第一至第三限带滤波器60、61和62设置为具有例如图18A所示的三个通过频率特性a~c中的一个。
图18B示出在向具有图18A所示的通过频率特性a~c的限带滤波器输入阶梯型边缘波形时所获得的输出波形a~c的例子。
通过从图18A中的a到c向低频带缩窄通过带,如图18B中的a~c所示,随着带缩窄,输出的阶梯型边缘波形的上升沿变得更加平缓。
通过缩窄第一至第三限带滤波器60~62的通过频带,可以在阶梯型边缘波形附近的宽范围内获得梯度值。另一方面,通过加宽通过频带,可以增强梯度值的输出分辨率。
由于在阶梯型边缘波形附近容易发生色边,因而可以通过调整第一至第三限带滤波器60~62的通过频带,调整第一和第二抑制系数计算单元20和21的色边抑制系数输出的应用范围和系数精度。
第一至第三梯度检测单元10~12的结构和操作如第一实施例中所述。然而,通过调整第一至第三限带滤波器60~62的通过频率特性,梯度信号Ar、Ab和Ag改变。例如,如图18C中的a~c所示,梯度信号Ar、Ab和Ag与图18中的通过频率特性a~c相对应地改变。
根据本实施例,通过配置要检测梯度信号的图像信号的限带滤波器,可以调整色边抑制系数输出的应用范围和系数精度。为此,与第一实施例相比,可以更高精度地抑制色边。
第六实施例
下面说明本发明的第六实施例。
图19是示出根据本发明第六实施例的图像处理设备的结构的例子的框图。在图19中,与图10中的相同的附图标记和符号表示与第二实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图10和19之间的比较可知,本实施例与第二实施例的不同在于,在第一至第四梯度检测单元10~13之前配置第一至第四限带滤波器60~63。
通过控制第一至第四限带滤波器60~63的频率特性,可以控制要检测梯度信号的区域。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号分成如第一实施例中一样的R、G和B图像信号、以及Y图像信号(亮度成分图像信号),然后将它们输入至图19所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第六实施例中,使用Y作为参考图像信号,并且使用R、G和B作为抑制对象图像信号。
将R、B、G和Y图像信号分别输入至第一至第四限带滤波器60~63,并且将它们转换成例如频带被限制为低频域的图像信号RL、BL、GL和YL。
将RL、BL、GL和YL图像信号分别输入至分别输出相应梯度信号Ar、Ab、Ag和Ay的第一至第四梯度检测单元10~13。
在这些信号中,将梯度信号Ar和Ay输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ay,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ay输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ay,并且输出抑制对象图像信号B的色边抑制系数Eb。
将梯度信号Ag和Ay输入至第三抑制系数计算单元22。第三抑制系数计算单元22比较梯度信号Ag和Ay,并且输出抑制对象图像信号G的色边抑制系数Eg。
第一信号合成单元30接收色边抑制系数Er、参考图像信号Y和抑制对象图像信号R。第一信号合成单元30根据色边抑制系数Er来对参考图像信号Y和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31接收色边抑制系数Eb、参考图像信号Y和抑制对象图像信号B。第二信号合成单元31根据色边抑制系数Eb来对参考图像信号Y和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
第三信号合成单元32接收色边抑制系数Eg、参考图像信号Y和抑制对象图像信号G。第三信号合成单元32根据色边抑制系数Eg来对参考图像信号Y和抑制对象图像信号G进行加权合成,并且输出色边抑制后的抑制对象图像信号G′。
由于第一至第四梯度检测单元10~13、第一至第三抑制系数计算单元20~22以及第一至第三信号合成单元30~32的结构如第一实施例中所述,因而不再对其进行说明。
对于操作,由于将参考图像信号从G改变成Y,因而可以分别利用Y、Ay和y_th简单地替换第一实施例中的这些结构的说明、等式和附图中的G、Ag和g_th。
由于第一至第三限带滤波器60~62的结构和操作如第五实施例中所述,因而不再重复对其的说明。另外,由于第四限带滤波器63的结构和操作两者均可与第一至第三限带滤波器60~62的相同,因而不再对其进行说明。
根据本实施例,除第五实施例的效果以外,还可以实现另外获得以更高精度对于G图像信号的色边抑制的效果。
第七实施例
下面说明本发明的第七实施例。
图20是示出根据本发明第七实施例的图像处理设备的结构的例子的框图。在图20中,与图11中的相同的附图标记和符号表示与第三实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图11和20之间的比较可知,本实施例与第三实施例的不同在于,在第一至第三梯度检测单元10~12之前配置第一至第三限带滤波器60~62。
通过控制第一至第三限带滤波器60~62的频率特性,可以控制要检测梯度信号的区域。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号分成作为三原色的R、G和B图像信号。然后,将这些图像信号输入至图20所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第七实施例中,使用G作为具有与亮度接近的颜色成分的参考图像信号,并且使用R和B作为抑制对象图像信号。
将R、B和G图像信号分别输入至第一至第三限带滤波器60~62,并且将它们转换成例如频带被限制为低频域的图像信号RL、BL和GL。
将RL、BL和GL图像信号分别输入至分别输出相应梯度信号Ar、Ab和Ag的第一至第三梯度检测单元10~12。
在这些信号中,将梯度信号Ar和Ag输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ag,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ag输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ag,并且输出抑制对象图像信号B的色边抑制系数Eb。
抑制增益计算单元40从输入的R、G和B图像信号提取色相、饱和度和明度的信息,并且基于这些信息输出抑制增益Tgain。
第一信号合成单元30′接收色边抑制系数Er、抑制增益Tgain、参考图像信号G和抑制对象图像信号R。第一信号合成单元30′根据抑制增益Tgain和色边抑制系数Er,对参考图像信号G和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31′接收色边抑制系数Eb、抑制增益Tgain、参考图像信号G和抑制对象图像信号B。第二信号合成单元31′根据抑制增益Tgain和色边抑制系数Eb,对参考图像信号G和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
在不接受第一和第二信号合成单元30′和31′中的任何色边抑制处理的情况下,照原样输出参考图像信号G。
由于第一至第三梯度检测单元10~12以及第一和第二抑制系数计算单元20和21的结构如第一实施例中所述,因而不再重复对其的说明。
另外,由于抑制增益计算单元40以及第一和第二信号合成单元30′和31′的结构和操作如第三实施例中所述,因而不再重复对其的说明。
此外,由于第一至第三限带滤波器60~62的结构和操作如第五实施例中所述,因而不再重复对其的说明。
根据本实施例,通过配置要检测梯度信号的图像信号的限带滤波器,可以调整色边抑制系数输出的应用范围和系数精度。为此,与第三实施例相比,可以更高精度地抑制色边。
第八实施例
下面说明本发明的第八实施例。
图21是示出根据本发明第八实施例的图像处理设备的结构的例子的框图。在图21中,与图16中的相同的附图标记和符号表示与第四实施例的图像处理设备共同的组件,并且省略对其的重复说明。
通过图16和21之间的比较可知,本实施例与第四实施例的不同在于,在第一至第四梯度检测单元10~13之前配置第一至第四限带滤波器60~63。
通过控制第一至第四限带滤波器60~63的频率特性,可以控制要检测梯度信号的区域。
将通过数字摄像机或数字照相机等(未示出)所获得的图像信号分成如第一实施例中一样的R、G和B图像信号、以及Y图像信号(亮度成分图像信号),然后将它们输入至图21所示的图像处理设备。
在色边校正处理中,使用亮度信号等具有宽频带的颜色成分的图像信号作为参考图像信号,并且使用其它颜色成分的图像信号作为抑制对象图像信号。
在第八实施例中,使用Y作为参考图像信号,并且使用R、G和B作为抑制对象图像信号。
将R、B、G和Y图像信号分别输入至第一至第四限带滤波器60~63,并且将它们转换成例如频带被限制为低频域的图像信号RL、BL、GL和YL。
将RL、BL、GL和YL图像信号分别输入至分别输出相应梯度信号Ar、Ab、Ag和Ay的第一至第四梯度检测单元10~13。
在这些信号中,将梯度信号Ar和Ay输入至第一抑制系数计算单元20。第一抑制系数计算单元20比较梯度信号Ar和Ay,并且输出抑制对象图像信号R的色边抑制系数Er。
将梯度信号Ab和Ay输入至第二抑制系数计算单元21。第二抑制系数计算单元21比较梯度信号Ab和Ay,并且输出抑制对象图像信号B的色边抑制系数Eb。
将梯度信号Ag和Ay输入至第三抑制系数计算单元22。第三抑制系数计算单元22比较梯度信号Ag和Ay,并且输出抑制对象图像信号G的色边抑制系数Eg。
抑制增益计算单元40从输入的R、G和B图像信号提取色相、饱和度和明度的信息,并且基于这些信息输出抑制增益Tgain。
第一信号合成单元30′接收色边抑制系数Er、抑制增益Tgain、参考图像信号Y和抑制对象图像信号R。第一信号合成单元30′根据抑制增益Tgain和色边抑制系数Er,对参考图像信号Y和抑制对象图像信号R进行加权合成,并且输出色边抑制后的抑制对象图像信号R′。
第二信号合成单元31′接收色边抑制系数Eb、抑制增益Tgain、参考图像信号Y和抑制对象图像信号B。第二信号合成单元31′根据抑制增益Tgain和色边抑制系数Eb,对参考图像信号Y和抑制对象图像信号B进行加权合成,并且输出色边抑制后的抑制对象图像信号B′。
第三信号合成单元32′接收色边抑制系数Eg、抑制增益Tgain、参考图像信号Y和抑制对象图像信号G。第三信号合成单元32′根据抑制增益Tgain和色边抑制系数Eg,对参考图像信号Y和抑制对象图像信号G进行加权合成,并且输出色边抑制后的抑制对象图像信号G′。
由于第一至第三梯度检测单元10~12以及第一和第二抑制系数计算单元20和21的结构如第一实施例中所述,因而不再重复对其的说明。
由于抑制增益计算单元40以及第一和第二信号合成单元30′和31′如第三实施例中所述,因而不再对其进行说明。另外,由于第三信号合成单元32′具有与第一和第二信号合成单元30′和31′相同的结构,因而不再对其进行说明。
对于操作,由于将参考图像信号从G改变成Y,因而可以分别利用Y、Ay和y_th简单地替换第三实施例中的这些结构的说明、等式和附图中的G、Ag和g_th。
此外,由于第一至第三限带滤波器60~62的结构和操作如第五实施例中所述,因而不再重复对其的说明。另外,由于第四限带滤波器63具有与第一至第三限带滤波器60~62相同的结构,因而不再对其进行说明。
根据本实施例,除第七实施例的效果以外,与第七实施例相比,G图像信号还可以经过更高精度的色边抑制。
其它实施例
还可以通过***或设备的计算机(或者CPU或MPU等装置)读出并执行记录在存储器装置上的程序以进行上述实施例的功能以及通过如下方法实现本发明的方面,其中,通过***或设备的计算机例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能,来进行该方法的步骤。为了该目的,通过网络或者从用作存储器装置的各种类型的记录介质(例如,计算机可读介质)向该计算机提供该程序。可以将该程序承载在计算机可读存储介质或传输介质(信号)等承载介质上。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (14)
1.一种图像处理设备,用于抑制由多个像素构成的图像的色边,所述图像处理设备包括:
参考梯度检测部件,用于检测用作参考图像信号的、关注像素的颜色成分之一的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;
抑制对象梯度检测部件,用于检测用作抑制对象图像信号的、所述关注像素的与所述参考图像信号不同的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;
抑制系数计算部件,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及
合成部件,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,
其中,所述抑制系数计算部件根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系来定义多个区域,预先向各所述区域分配函数,并且通过将各所述抑制对象图像信号分类到所述多个区域之一并使用分配至该区域以计算所述色边抑制系数的所述函数,来计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
2.根据权利要求1所述的图像处理设备,其特征在于,所述抑制系数计算部件计算所述色边抑制系数,使得随着所述参考梯度信号增大,所述参考图像信号在所述合成部件中的权重增大。
3.根据权利要求1所述的图像处理设备,其特征在于,还包括:
抑制增益计算部件,用于根据所述关注像素的色相、饱和度和明度,计算用于调整应用于该像素的色边抑制的程度的抑制增益,
其中,除所述参考梯度信号和所述抑制对象梯度信号以外,所述抑制系数计算部件还使用所述抑制增益来计算所述色边抑制系数。
4.根据权利要求1所述的图像处理设备,其特征在于,还包括滤波器,所述滤波器被配置在所述参考梯度检测部件和所述抑制对象梯度检测部件之前,并且用于将所述参考图像信号和所述抑制对象图像信号的频带限制到预定低频域。
5.根据权利要求1所述的图像处理设备,其特征在于,所述参考图像信号是所述关注像素的绿色的颜色成分图像信号,并且所述抑制对象图像信号是所述关注像素的红色和蓝色的颜色成分图像信号。
6.根据权利要求1~5中任一项所述的图像处理设备,其特征在于,所述参考梯度检测部件和所述抑制对象梯度检测部件通过对以所述关注像素为中心的正方形区域中所包括的多个像素的参考图像信号和抑制对象图像信号的水平梯度值和垂直梯度值进行合成,分别计算所述关注像素的所述参考梯度信号和所述抑制对象梯度信号。
7.一种图像处理方法,用于抑制由多个像素构成的图像的色边,所述图像处理方法包括:
参考梯度检测步骤,用于检测用作参考图像信号的、关注像素的颜色成分之一的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;
抑制对象梯度检测步骤,用于检测用作抑制对象图像信号的、所述关注像素的与所述参考图像信号不同的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;
抑制系数计算步骤,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及
合成步骤,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,
其中,在所述抑制系数计算步骤中,将所述关注像素的所述抑制对象图像信号分类到根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系所定义的、各自具有预先指定的相应函数的区域,其中,通过使用与各所述抑制对象图像信号所分类到的区域相对应的函数,计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
8.一种图像处理设备,用于抑制由多个像素构成的图像的色边,所述图像处理设备包括:
参考梯度检测部件,用于检测用作参考图像信号的、关注像素的亮度成分的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;
抑制对象梯度检测部件,用于检测用作抑制对象图像信号的、所述关注像素的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;
抑制系数计算部件,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及
合成部件,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,
其中,所述抑制系数计算部件根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系来定义多个区域,预先向各所述区域分配函数,并且通过将各所述抑制对象图像信号分类到所述多个区域之一并使用分配至该区域以计算所述色边抑制系数的所述函数,来计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
9.根据权利要求8所述的图像处理设备,其特征在于,所述抑制系数计算部件计算所述色边抑制系数,使得随着所述参考梯度信号增大,所述参考图像信号在所述合成部件中的权重增大。
10.根据权利要求8所述的图像处理设备,其特征在于,还包括:
抑制增益计算部件,用于根据所述关注像素的色相、饱和度和明度,计算用于调整应用于该像素的色边抑制的程度的抑制增益,
其中,除所述参考梯度信号和所述抑制对象梯度信号以外,所述抑制系数计算部件还使用所述抑制增益来计算所述色边抑制系数。
11.根据权利要求8所述的图像处理设备,其特征在于,还包括滤波器,所述滤波器被配置在所述参考梯度检测部件和所述抑制对象梯度检测部件之前,并且用于将所述参考图像信号和所述抑制对象图像信号的频带限制到预定低频域。
12.根据权利要求8所述的图像处理设备,其特征在于,所述参考图像信号是所述关注像素的亮度成分图像信号,并且所述抑制对象图像信号是所述关注像素的红色、绿色和蓝色的颜色成分图像信号。
13.根据权利要求8~12中任一项所述的图像处理设备,其特征在于,所述参考梯度检测部件和所述抑制对象梯度检测部件通过对以所述关注像素为中心的正方形区域中所包括的多个像素的参考图像信号和抑制对象图像信号的水平梯度值和垂直梯度值进行合成,分别计算所述关注像素的所述参考梯度信号和所述抑制对象梯度信号。
14.一种图像处理方法,用于抑制由多个像素构成的图像的色边,所述图像处理方法包括:
参考梯度检测步骤,用于检测用作参考图像信号的、关注像素的亮度成分的图像信号的梯度,并且将所检测到的梯度作为参考梯度信号而输出;
抑制对象梯度检测步骤,用于检测用作抑制对象图像信号的、所述关注像素的颜色成分的图像信号的梯度,并且将所检测到的梯度作为抑制对象梯度信号而输出;
抑制系数计算步骤,用于基于所述参考梯度信号和所述抑制对象梯度信号,计算所述关注像素的各所述抑制对象图像信号的色边抑制系数;以及
合成步骤,用于通过基于所述色边抑制系数对所述参考图像信号进行加权,来对所述关注像素的各所述抑制对象图像信号和所述参考图像信号进行合成,并且将合成得到的信号作为抑制了色边的、各所述抑制对象图像信号的颜色成分的图像信号而输出,
其中,在所述抑制系数计算步骤中,将所述关注像素的所述抑制对象图像信号分类到根据所述参考梯度信号和所述抑制对象梯度信号的值之间的大小关系所定义的、各自具有预先指定的相应函数的区域,其中,通过使用与各所述抑制对象图像信号所分类到的区域相对应的函数,计算所述关注像素的各所述抑制对象图像信号的所述色边抑制系数。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-335230 | 2008-12-26 | ||
JP2008335230 | 2008-12-26 | ||
JP2009266768A JP5486273B2 (ja) | 2008-12-26 | 2009-11-24 | 画像処理装置及び画像処理方法 |
JP2009-266768 | 2009-11-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101771882A CN101771882A (zh) | 2010-07-07 |
CN101771882B true CN101771882B (zh) | 2012-08-15 |
Family
ID=41693209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102612798A Expired - Fee Related CN101771882B (zh) | 2008-12-26 | 2009-12-28 | 图像处理设备和图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8155440B2 (zh) |
EP (1) | EP2202990B1 (zh) |
JP (1) | JP5486273B2 (zh) |
CN (1) | CN101771882B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120075529A1 (en) * | 2010-09-29 | 2012-03-29 | Sony Corporation | Techniques for displaying data on a secondary device while displaying content on a television |
CN102158730B (zh) * | 2011-05-26 | 2014-04-02 | 威盛电子股份有限公司 | 影像处理***及方法 |
CN102158731B (zh) * | 2011-05-26 | 2014-03-12 | 威盛电子股份有限公司 | 影像处理***及方法 |
JP2013101484A (ja) * | 2011-11-08 | 2013-05-23 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
KR102009185B1 (ko) | 2013-01-10 | 2019-08-09 | 삼성전자 주식회사 | 컬러 프린지 제거 방법 |
CN113516595B (zh) * | 2021-04-08 | 2024-06-11 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1806448A (zh) * | 2003-06-12 | 2006-07-19 | 株式会社尼康 | 图像处理方法、图像处理程序以及图像处理器 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925588B2 (ja) * | 1997-11-25 | 2007-06-06 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
JP3702957B2 (ja) | 1997-11-25 | 2005-10-05 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
JP3702956B2 (ja) | 1997-11-25 | 2005-10-05 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
JP2000299874A (ja) * | 1999-04-12 | 2000-10-24 | Sony Corp | 信号処理装置及び方法並びに撮像装置及び方法 |
WO2002086420A1 (en) * | 2001-04-19 | 2002-10-31 | Dimensional Photonics, Inc. | Calibration apparatus, system and method |
US7123008B1 (en) * | 2002-04-19 | 2006-10-17 | Fonar Corporation | Positional magnetic resonance imaging |
WO2005101854A1 (ja) * | 2004-04-12 | 2005-10-27 | Nikon Corporation | 色ずれ補正機能を有する画像処理装置、画像処理プログラム、および電子カメラ |
JP4469324B2 (ja) * | 2005-11-01 | 2010-05-26 | イーストマン コダック カンパニー | 色収差抑圧回路及び色収差抑圧プログラム |
JP2007195122A (ja) | 2006-01-23 | 2007-08-02 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置および画像処理方法 |
US8144984B2 (en) * | 2006-12-08 | 2012-03-27 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
JP5020615B2 (ja) * | 2006-12-08 | 2012-09-05 | キヤノン株式会社 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
KR100866490B1 (ko) * | 2007-01-17 | 2008-11-03 | 삼성전자주식회사 | 영상의 색 수차를 보정하기 위한 장치 및 방법 |
KR101340518B1 (ko) * | 2007-08-23 | 2013-12-11 | 삼성전기주식회사 | 영상의 색수차 보정 방법 및 장치 |
-
2009
- 2009-11-24 JP JP2009266768A patent/JP5486273B2/ja not_active Expired - Fee Related
- 2009-12-16 EP EP09179511.2A patent/EP2202990B1/en not_active Not-in-force
- 2009-12-16 US US12/639,738 patent/US8155440B2/en not_active Expired - Fee Related
- 2009-12-28 CN CN2009102612798A patent/CN101771882B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1806448A (zh) * | 2003-06-12 | 2006-07-19 | 株式会社尼康 | 图像处理方法、图像处理程序以及图像处理器 |
Non-Patent Citations (3)
Title |
---|
JP特开2003-102027A 2003.04.04 |
JP特开2003-102028A 2003.04.04 |
JP特开2007-195122A 2007.08.02 |
Also Published As
Publication number | Publication date |
---|---|
EP2202990B1 (en) | 2019-02-20 |
US20100165208A1 (en) | 2010-07-01 |
EP2202990A2 (en) | 2010-06-30 |
EP2202990A3 (en) | 2016-06-29 |
JP2010171940A (ja) | 2010-08-05 |
US8155440B2 (en) | 2012-04-10 |
JP5486273B2 (ja) | 2014-05-07 |
CN101771882A (zh) | 2010-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220217271A1 (en) | Global Tone Mapping | |
EP3582494B1 (en) | Multi-spectrum-based image fusion apparatus and method, and image sensor | |
RU2543974C2 (ru) | Управление автофокусировкой с использованием статистических данных изображения на основании показателей грубой и точной автофокусировки | |
RU2537038C2 (ru) | Автоматическая обработка баланса белого с гибким выбором цветового пространства | |
CN102273208B (zh) | 图像处理设备和图像处理方法 | |
CN101771882B (zh) | 图像处理设备和图像处理方法 | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
CN101902651B (zh) | 图像处理设备和图像处理方法 | |
US8723982B2 (en) | Image processing device, storage medium, and image processing method that corrects saturation, specific color and spatial frequency of an obtained image | |
US8553978B2 (en) | System and method for providing multi resolution purple fringing detection and correction | |
US8041138B2 (en) | Image processor | |
EP2343904A1 (en) | Image inputting apparatus | |
CN104079908A (zh) | 红外与可见光图像信号处理方法及其实现装置 | |
CN105049680A (zh) | 进行图像恢复处理的图像处理设备和图像处理方法 | |
US20090141149A1 (en) | Image processing apparatus and image processing method | |
WO2011152174A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN102778201A (zh) | 图像处理设备、图像处理方法和程序 | |
CN101867826B (zh) | 图像处理设备和图像处理方法 | |
WO2005112470A1 (ja) | 画像処理装置および画像処理プログラム | |
KR20180118790A (ko) | 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 | |
US7801355B2 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
WO2019104047A1 (en) | Global tone mapping | |
US20220030202A1 (en) | Efficient and flexible color processor | |
US20100214446A1 (en) | Image processing apparatus and image processing method | |
US20100231758A1 (en) | Image processing apparatus, image processing method and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120815 Termination date: 20191228 |
|
CF01 | Termination of patent right due to non-payment of annual fee |