CN102685511A - 图像处理设备和图像处理方法 - Google Patents
图像处理设备和图像处理方法 Download PDFInfo
- Publication number
- CN102685511A CN102685511A CN2012100414597A CN201210041459A CN102685511A CN 102685511 A CN102685511 A CN 102685511A CN 2012100414597 A CN2012100414597 A CN 2012100414597A CN 201210041459 A CN201210041459 A CN 201210041459A CN 102685511 A CN102685511 A CN 102685511A
- Authority
- CN
- China
- Prior art keywords
- edge
- chromatic aberation
- color
- misalignment amount
- axle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 35
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000003708 edge detection Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000004075 alteration Effects 0.000 abstract description 13
- 238000000034 method Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 11
- 238000004040 coloring Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000001915 proofreading effect Effects 0.000 description 4
- 208000004350 Strabismus Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
- H04N25/611—Correction of chromatic aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明涉及图像处理设备和图像处理方法。图像处理设备包括:边缘检测单元,用于从图像数据检测边缘;轴上色像差边缘检测单元,用于从边缘中检测被判断为包括轴上色像差的边缘;颜色偏差量获取单元,用于获取边缘上的颜色偏差量;以及校正单元,用于进行色像差校正,其中,轴上色像差边缘检测单元将具有图像数据的边缘上的具有不小于阈值的模糊量的与至少一种颜色相对应的信号和具有小于阈值的模糊量的与至少另一种颜色相对应的信号的边缘检测为包括轴上色像差的边缘,以及颜色偏差量获取单元从边缘中的边缘获取颜色偏差量。
Description
技术领域
本发明涉及用于进行图像的色像差校正的技术。
背景技术
诸如数字照相机等的利用摄像镜头的摄像设备用于各种用途。穿过摄像镜头的光束在摄像镜头中具有折射率,该折射率根据光束的波长而变化。因此,即使在同一被摄体所反射的光中,反射光中所包含的光束从图像传感器上的成像位置至图像传感器上的光轴中心的距离也根据这些光束的波长而不同。这种倍率色像差生成颜色偏差、即按各单独颜色的成像位置的变化,因而在图像中生成在正常情况下被摄体上不存在的颜色,由此导致质量下降。
由于所使用的图像传感器的像素数逐年增大,并且单位像素大小减小,所以即使在传统技术中很少有问题的倍率色像差也变得明显。作为通过图像处理来校正这种色像差的技术,提出了一种用于从图像获取颜色偏差量以补偿该颜色偏差量的技术。
例如,日本特开2000-299874和2006-020275公开了以下技术。首先,在边缘部分上重复以下处理:在由一个颜色成分形成的图像数据的位置相对于由其它颜色成分形成的图像数据的位置移动之后,获得各像素中的颜色成分之间的信号水平的差的总和。获得当颜色成分之间的信号水平的差的总和最小化时由一个颜色成分形成的图像数据的位置相对于由其它颜色成分形成的图像数据的位置的移动量,以获得使颜色偏差量最小化的校正量。
然而,在上述的使用颜色成分之间信号水平的差的总和获取校正量的方法中,在不仅生成倍率色像差还生成由轴上色像差引起的模糊的边缘部分上,经常不能获取对由倍率色像差引起的颜色偏差的精确校正量。
图9A示出在生成轴上色像差的部分中红色(R)、绿色(G)和蓝色(B)的颜色成分的图像数据的信号水平的变化。参考图9A,由于轴上色像差,B颜色成分的图像数据和G(或R)颜色成分的图像数据之间的相关性比R颜色成分的图像数据和G颜色成分的图像数据之间的相关性低。这是因为,与仅生成倍率色相差的部分相比,在生成轴上色像差的部分中,特定颜色成分的图像数据和其余颜色成分的图像数据之间的相关性低。
因此,当在包括轴上色像差的边缘部分使用上述方法获得校正量时,边缘部分的色相在校正前后可能变化。
图9B示出以下状态:在生成轴上色像差的部分中,使用颜色成分之间的信号水平的差的总和获得校正量,并使用该校正量进行校正。例如,如图9A所示,假定用作由G颜色成分形成的图像数据的G平面与用作由R颜色成分形成的图像数据的R平面不具有颜色偏差,并且G平面与用作由B颜色成分形成的图像数据的B平面具有颜色偏差。为了使B平面和G(或R)平面的颜色成分之间的信号水平的差最小化,将在B平面上的信号水平比在G平面上高的区域和在G平面上的信号水平比在B平面上高的区域相互混合。特别地,当B平面与其余颜色成分的平面的相关性低时,存在B和G平面之间的信号水平的差大的区域。例如,与图9A中阴影部分相对应的部分是黄色,但是由于过度校正、与图9B中阴影部分相对应的部分是其它颜色、即蓝色,所以在校正前后的边缘部分的色相之间比较时,观察者感到非常不适。可以使用通过调整校正之后的边缘部分的色相来减少观察者的不适感的方法,但是这可能破坏被摄体的原始的颜色结构。
发明内容
考虑上述问题做出本发明,并且本发明可以通过在利用图像处理校正轴上色像差时保持比传统方法低的过度校正的可能性,有效地校正倍率色像差。
根据本发明的第一方面,一种图像处理设备,包括:边缘检测单元,用于从由与多种颜色相对应的信号所形成的图像数据检测边缘;轴上色像差边缘检测单元,用于从所述边缘中检测被判断为包括轴上色像差的边缘;颜色偏差量获取单元,用于获取边缘上的颜色偏差量;以及校正单元,用于使用基于所述颜色偏差量的校正量来进行色像差校正,其中,所述轴上色像差边缘检测单元将如下边缘检测为包括所述轴上色像差的边缘:所述图像数据的该边缘上的与至少一种颜色相对应的信号具有不小于阈值的模糊量,并且所述图像数据的该边缘上的与至少另一种颜色相对应的信号具有小于所述阈值的模糊量,以及所述颜色偏差量获取单元从由所述边缘检测单元检测到的边缘中的、与由所述轴上色像差边缘检测单元检测到的边缘不同的边缘获取所述颜色偏差量。
根据本发明的第二方面,一种图像处理方法,包括以下步骤:使用边缘检测单元从由与多种颜色相对应的信号所形成的图像数据检测边缘;使用轴上色像差边缘检测单元从所述边缘中检测被判断为包括轴上色像差的边缘;使用颜色偏差量获取单元获取边缘上的颜色偏差量;以及使用校正单元利用基于所述颜色偏差量的校正量来进行色像差校正,其中,所述轴上色像差边缘检测单元将如下边缘检测为包括所述轴上色像差的边缘:所述图像数据的该边缘上的与至少一种颜色相对应的信号具有不小于阈值的模糊量,并且所述图像数据的该边缘上的与至少另一种颜色相对应的信号具有小于所述阈值的模糊量,以及所述颜色偏差量获取单元从由所述边缘检测单元检测到的边缘中的、与由所述轴上色像差边缘检测单元检测到的边缘不同的边缘获取所述颜色偏差量。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明实施例的图像处理设备的框图;
图2是示出利用根据实施例的图像处理设备的处理的流程图;
图3A和3B是示出针对各图像高度分割的区域和校正数据的图;
图4是示出倍率色像差校正处理和轴上色像差校正处理的流程图;
图5A、5B和5C是示出设置轴上色像差的模糊量的方法、用于生成模糊的图表和所拍摄图像的例子的图;
图6A、6B和6C是示出轴上色像差信息表的表;
图7A和7B是示出边缘和模糊量之间的关系的图;
图8是示出边缘的梯度和模糊量之间的关系的图;以及
图9A和9B是示出边缘部分的颜色偏差的图。
具体实施方式
以下将说明本发明的实施例。即使在以下说明中不特别提及对象颜色平面,也可以同样使用以下方法进行G和R平面之间的颜色偏差的校正以及G和B平面之间的颜色偏差的校正。
而且,尽管在本实施例中使用包括诸如数字照相机等的摄像***的图像处理设备,但本发明可应用于由诸如数字照相机等的使用摄像镜头的摄像***所拍摄的由多个颜色平面形成的图像数据。因此,根据本发明的对象图像不限于RAW数据和显像处理后的JPEG数据。还可以在使用除数字照相机以外的图像处理设备读取例如数字照相机所拍摄的图像数据之后,使用图像处理设备来实现本发明。因此,根据本发明的图像处理设备并非必须包括摄像镜头。
首先将说明以下处理概述:进行倍率色像差校正的图像处理设备从图像生成倍率色像差校正数据,并校正图像。
图1是示出根据本发明实施例的图像处理设备的框图。图像处理设备包括摄像光学***10、图像传感器20、A/D转换单元30、颜色分离单元40、包括轴上色像差边缘提取单元(轴上色像差边缘检测单元)51的边缘提取单元50、倍率色像差校正数据生成单元60、倍率色像差校正单元70、轴上色像差校正单元110、控制单元80、存储器90和I/F 100。
参考图1,来自被摄体的光穿过摄像光学***10,并在图像传感器20上形成图像,图像传感器20用于对被摄体图像进行光电转换。图像传感器20是包括一般的原色滤波器的单板彩色图像传感器。原色滤波器包括具有650nm、550nm和450nm附近的主通带的三种类型的颜色滤波器,并拍摄与红色(R)、绿色(G)和蓝色(B)的各带相对应的颜色平面(生成由与多种颜色相对应的信号形成的图像数据)。在单板彩色图像传感器中,可以仅针对各像素在空间上排列这些类型的颜色滤波器,并在各像素中获得各颜色平面上的光强度。因此,图像传感器20输出彩色马赛克图像数据。
A/D转换单元30将从图像传感器作为模拟电压输出的彩色马赛克图像数据转换成适于后续图像处理的数字数据。颜色分离单元40对彩色马赛克图像数据进行插值以生成在所有像素中具有R、G和B颜色信息的彩色图像数据。
尽管已在从简单的线性插值到如文献“E.Chang,S.Cheung,and D.Pan,‘Color filter array recovery using a threshold-basedvariable number of gradients,’Proc.SPIE,vol.3650,pp.36-43,Jan.1999”所述的复杂方法的宽范围中提出了各种用于该插值的插值方法,但本发明不限制插值方法。
包括轴上色像差边缘提取单元51的边缘提取单元50从颜色分离单元40所生成的彩色图像数据检测边缘(边缘部分)。基于所检测到的边缘信息,倍率色像差校正数据生成单元60从图像数据生成倍率色像差校正数据。倍率色像差校正单元70使用所生成的倍率色像差校正数据来进行倍率色像差校正。将各处理单元中所使用的图像数据和诸如拍摄时间信息等的数据存储在存储器90中,并且控制单元80控制这些处理单元。而且,根据所涉及的环境,经由I/F(接口)100将诸如用户指示等的外部操作输入至图像处理设备。
图2是示出利用根据本实施例的图像处理设备的倍率色像差校正操作的流程图,并示出通过包括轴上色像差边缘提取单元51的边缘提取单元50、校正数据生成单元60和校正单元70所进行的处理序列。以下将参考图2中所述的各步骤来说明利用根据本实施例的图像处理设备进行的倍率色像差校正。
首先,在边缘检测步骤S101中,从图像数据检测由于倍率色像差而引起的颜色偏差明显出现的各边缘。Y(亮度)平面用于边缘检测。在该情况下,要检测的边缘限于像素值从基准向外侧变化很大的各边缘,从而获取精确的颜色偏差量,其中,基准被假定为与图像传感器上的光轴中心一致的位置。而且,由于倍率色像差引起的颜色偏差作为模糊出现,因而期望以具有特定宽度以使得信号水平的单调增加或单调减少在多个像素上持续的边缘为对象。
在颜色偏差量获取步骤S102中,在边缘检测步骤S101中检测到的各边缘上获取颜色偏差量。尽管存在数种获取颜色偏差量的方法,但通常可以使用例如上述方法来获取颜色偏差量。这意味着对各边缘部分重复进行以下处理:相对于其它平面上的图像数据的位置移动一个颜色平面上的图像数据的位置,并获得颜色成分之间的信号水平的差的总和。获得在颜色成分之间的信号水平的差的总和最小化时一个颜色成分的图像数据的位置相对于其它颜色成分的图像数据的位置的移动量,以获得校正量,从而最小化颜色偏差量。
为了简化处理,基于光学中心和各边缘之间的位置关系,这里采用上/下方向、左/右方向、斜右上/斜左下方向、或斜左上/斜右下方向作为颜色偏差的方向。
当R平面(或B平面)相对于G平面向光学中心偏移时,用作颜色偏差量获取步骤S102中的输出的颜色偏差量是负值。然而,当R平面(或B平面)相对于G平面在与光学中心相反的方向上偏移时,颜色偏差量具有正值。在该情况下,在获取颜色偏差量时,采用在偏移该平面的同时测量各平面的一致度、并估计颜色偏差量的方法。然而,此时,如果给定边缘包括轴上色像差,则发生一致度高的点不总是用作由于倍率色像差而引起的颜色偏差的点的情况,由此降低了颜色偏差量获取精度。因此,使用各检测到的边缘上的R、G和B平面的模糊量来进行轴上色像差评价,并且排除被评价为具有轴上色像差的边缘。这使得可以提高颜色偏差量获取步骤S102中的颜色偏差量获取精度。将根据本实施例的处理应用至包括轴上色像差的边缘的检测,并且后面将参考图4详细说明该处理。
在校正数据生成步骤S103中,通过基于边缘检测步骤S101中检测到的各边缘的图像高度和颜色偏差量获取步骤S102中获取的各边缘的颜色偏差量获得图像高度和颜色偏差之间的关系来生成校正数据。这里提到的图像高度是指从位于摄像镜头的光轴上的像素的位置(以下简称为光学中心)至感兴趣像素的距离。
以下将详细说明校正数据生成过程。
(1)获得颜色偏差量获取步骤S102中所获取的颜色偏差量D相对于边缘检测步骤S101中检测到的各边缘的图像高度L的颜色偏差比M:
M=D/L
(2)如图3A所示,针对各图像高度将图像数据分割成8个区域h1~h8,以选择上述边缘中各边缘所属于的区域。
(3)针对图像数据中所检测到的多个边缘进行上述操作(1)和(2),针对按各图像高度分割得到的8个区域中的各区域将颜色偏差比M相加,并且针对各区域获得颜色偏差比M的平均值,从而确定各区域中的颜色偏差比。
(4)如图3B所示,从图像高度和所获得的颜色偏差比计算表示图像高度和颜色偏差比之间的关系的高阶多项近似式F(1),以将计算结果确定为校正数据。图3B示出使用三阶多项式计算校正数据的例子。
注意,可以针对图像数据中的所有边缘进行边缘检测和颜色偏差量获取。然而,可以通过例如在针对按各图像高度分割得到的8个区域中的各区域中将数量等于或大于预定阈值的颜色偏差比相加时结束边缘检测和颜色偏差量获取,在维持给定可靠性的同时提高处理效率。
而且,当仅使用针对按各图像高度分割得到的8个区域中检测到相应边缘的区域来计算高阶多项近似式时,即使存在未检测到相应边缘的区域,也可以生成校正数据。
在校正步骤S104中,使用校正数据生成步骤S103中生成的校正数据来校正颜色偏差。即,通过移动多个颜色平面中至少一个颜色平面的图像数据的位置来校正颜色偏差。
首先,从要校正的各平面(R和B平面)中像素(X,Y)的图像高度L获得颜色偏差比M:
M=F(L)
注意,使用以光学中心作为(0,0)的坐标系。
利用以下获得通过颜色偏差校正所生成的像素的坐标位置(X1,Y1):
X1=X+M×X
Y1=Y+M×Y
通过将周围像素的信号水平加权相加的插值处理生成要校正的各平面上与坐标位置(X1,Y1)相对应的像素的信号水平,并且将该信号水平确定为像素(X,Y)的信号水平。针对所有像素进行这些运算以进行颜色偏差校正。
以上说明了从图像生成倍率色像差校正数据并校正图像的处理概述。
以下将参考图4所示的流程图详细说明根据本实施例的倍率色像差校正和轴上色像差校正处理。
首先说明边缘检测步骤S201中使用Y平面的边缘检测。从最初由颜色分离单元40所生成的R、G和B平面信号生成Y平面信号。使用以下生成Y平面信号:
Y=0.299R+0.587G+0.114B
针对该等式中所定义的Y平面进行边缘检测。尽管可以使用几种边缘检测方法,但在本实施例中使用以下方法来进行检测。由于边缘是信号水平快速变化的部分,因而用于提取函数的变化的微分运算可以用于边缘检测。当使用一阶导数(梯度)时,将表示坐标位置(x,y)处的信号水平的梯度的一阶导数的值表达为具有大小和方向的矢量G(x,y)=(fx,fy),并且通过以下计算fx和fy:
x方向的导数:fx=f(x+1,y)-f(x,y)
y方向的导数:fy=f(x,y+1)-f(x,y)
因此,通过以下计算边缘强度:
或|fx|+|fy|
还使用二阶导数L(x,y)(拉普拉斯算子)计算边缘强度:
L(x,y)=|4·f(x,y)-{f(x,y-1)+f(x,y+1)+f(x-1,y)+f(x+1,y)}|
通过使用上述方法对Y平面进行边缘检测所获得的图像数据具有与边缘强度相对应的浓度。在该情况下,设置预定阈值Th1,并将具有大于阈值Th1的信号值的像素检测为边缘。作为设置阈值Th1的基准,仅需要设置能够将色像差检测为边缘所根据的值。
在步骤S202中,为了从各检测到的边缘检测轴上色像差,设置轴上色像差的模糊量Th2。将参考图5A详细说明步骤S202。
首先,作为前提,需要以表的形式预先准备各种摄像条件下的轴上色像差的模糊量信息,并将该信息存储在图1所示的存储器90上。轴上色像差生成以下的模糊:模糊的量根据诸如镜头类型、被摄体距离(或光瞳距离)、F值和焦距等的各种摄像条件而变化。因此,在各种摄像条件下拍摄图表,并测量所生成的模糊量。尽管可以拍摄任意图表,但可以使用例如图5B所示的具有高对比度的单色图表的边缘。图5C示出拍摄图5B所示的图表的结果的例子。当生成轴上色像差时,如图5C所示自然生成模糊。测量在该边缘上的模糊量。如图6A~6C所示,将以相同方式改变摄像条件的同时测量模糊量的结果的列表保持为针对各镜头类型和各摄像条件的表(表信息)。
再返回至图5A,首先,在步骤S301中,从图1所示的存储器90获取镜头ID、被摄体距离(或光瞳距离)、摄像时的F值、焦距和轴上色像差模糊量表。在步骤S302中,从轴上色像差模糊量表中查找与摄像条件相对应的模糊量。如果摄像条件与表数据不完全一致,则通过从近似数据进行插值计算来获得模糊量。在步骤S303中,将所获得的模糊量除以像素间隔以将该模糊量转换成生成模糊的像素数。最后,在步骤S304中,将转换后的具有模糊的像素数设置为模糊量Th2。由此,将在各摄像条件下变化的值设置为用作阈值的模糊量Th2。
为了从各检测到的边缘继续检测轴上色像差,在步骤S203中,针对关于光学中心径向延伸的边缘进行色像差评价。将详细说明步骤S203。图7A示出所检测到的边缘、该边缘上的R、G和B平面、以及所设置的模糊量Th2的宽度。针对该边缘区域中的R、G和B平面中具有最高信号水平的平面(在该情况下为B平面)进行单调增加/减少判断。色像差具有以下特征:其信号水平从高亮部分到阴影部分逐渐变化,即,其信号水平以单调增加或单调减少的方式变化。因此,如果判断为所检测到的边缘具有其信号水平单调增加或单调减少的特征,则可以评价为该边缘可能包括色像差。这产生了防止对在宽区域内缓慢变化、但局部显著变化的不具有色像差的被摄体的错误判断的效果。
在步骤S204中,针对被评价为可能包括色像差的边缘的边缘进行轴上色像差评价。针对边缘区域中的R、G和B平面进行信号水平单调增加/减少判断,并且测量各平面上的模糊量。模糊量是信号水平在连续像素中以单调增加或单调减少方式连续变化的距离。因为R、G和B平面之一具有与其余平面上的模糊量显著不同的模糊量,因而生成轴上色像差。另一方面,如果所有平面具有几乎相同的模糊量,则所检测到的边缘很可能是正常边缘或仅包括倍率色像差的边缘。因此,将满足以下两个条件的边缘评价为包括轴上色像差的边缘。
(1)形成所检测到的边缘的颜色平面中至少一个平面具有等于或大于用作阈值的模糊量Th2的模糊量。
(2)形成所检测到的边缘的颜色平面中至少另一个平面具有小于用作阈值的模糊量Th2的模糊量。
在图7B所示的例子中,边缘1上的所有R、G和B平面具有小于模糊量Th2的模糊量,从而将边缘1评价为很可能不包括轴上色像差的边缘。此外,边缘2上的R和G平面具有小于模糊量Th2的模糊量,并且边缘2上的B平面具有大于模糊量Th2的模糊量,从而将边缘2评价为很可能包括轴上色像差的边缘。通过上述评价,可以根据轴上色像差的存在与否来区分边缘。
在步骤S205中,从步骤S201中检测到的边缘组中排除步骤S204中检测到的边缘,并且将未被排除的边缘保持为颜色偏差量获取用的边缘。
以上说明了边缘检测步骤S101。以这种方式,可以不仅通过正常边缘检测还通过排除包括轴上色像差的边缘来提高颜色偏差量获取精度。
在步骤S206中,在各其余边缘部分上获取颜色偏差量。在步骤S207中,根据所获取的颜色偏差量和相应部分的图像高度生成表示图像高度和颜色偏差量之间的关系的倍率色像差校正数据。在步骤S208中,使用倍率色像差校正数据来校正倍率色像差。最后,在步骤S209中,校正轴上色像差。尽管可以使用几种轴上色像差校正方法,但通常使用例如减少生成轴上色像差的像素的色差的方法。例如,在将针对Y-R和Y-B或G-R和G-B获得的值定义为色差时,仅需要校正生成轴上色像差的像素的信号水平,以减小该色差的值。
尽管通过采用将在连续像素中信号水平以单调增加或单调减少方式连续变化的距离定义为模糊量的判断作为示例来说明轴上色像差边缘提取单元51,但本发明不限于此。
在具有例如图8所示的边缘的区域中,通过以下计算各像素的梯度比:
GradRatioBG=ΔB/ΔG
GradRatioRG=ΔR/ΔG
通过以下计算梯度ΔB:
ΔBi=|Bi-1-Bi+1|
其中,Bi是感兴趣像素的信号水平,以及Bi-1和Bi+1是与具有信号水平Bi的像素邻接的像素的信号水平。通过类似的计算等式来计算ΔR和ΔG。将以上述等式计算出的梯度比持续超过阈值Th3的像素的区间判断为模糊量。因为R、G和B平面中的一个平面具有与其余平面上的模糊量显著不同的模糊量,所以生成轴上色像差。另一方面,如果所有平面具有几乎相同的模糊量,则所检测到的边缘很可能是正常边缘或仅包括倍率色像差的边缘。因此,将满足以下两个条件的边缘判断为包括轴上色像差的边缘。
(1)形成所检测到的边缘的颜色平面中至少一个平面具有等于或大于用作阈值的模糊量Th3的模糊量。
(2)形成所检测到的边缘的颜色平面中至少另一个平面具有小于用作阈值的模糊量Th3的模糊量。
在图8所示的例子中,边缘1上的所有R、G和B平面具有小于模糊量Th3的模糊量,从而将边缘1评价为很可能不包括轴上色像差的边缘。此外,边缘2上的R和G平面具有小于模糊量Th3的模糊量,并且边缘2上的B平面具有大于模糊量Th3的模糊量,从而将边缘2评价为很可能包括轴上色像差的边缘。通过上述评价,可以根据轴上色像差的存在与否来区分边缘。
尽管以上详细说明了本发明的优选实施例,但本发明不限于这些特定实施例,并且在本发明中可以在不背离本发明的范围的情况下包括各种模式。而且,可以根据需要来组合上述实施例中的一些实施例。
其它实施例
还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的***或设备的计算机(或者CPU或MPU等装置)和通过下面的方法实现本发明的方面,其中,利用***或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此,例如,通过网络或者通过用作存储器装置的各种类型的记录介质(例如,计算机可读介质)将该程序提供给计算机。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。
Claims (6)
1.一种图像处理设备,包括:
边缘检测单元,用于从由与多种颜色相对应的信号所形成的图像数据检测边缘;
轴上色像差边缘检测单元,用于从所述边缘中检测被判断为包括轴上色像差的边缘;
颜色偏差量获取单元,用于获取边缘上的颜色偏差量;以及
校正单元,用于使用基于所述颜色偏差量的校正量来进行色像差校正,
其中,所述轴上色像差边缘检测单元将如下边缘检测为包括所述轴上色像差的边缘:所述图像数据的该边缘上的与至少一种颜色相对应的信号具有不小于阈值的模糊量,并且所述图像数据的该边缘上的与至少另一种颜色相对应的信号具有小于所述阈值的模糊量,以及
所述颜色偏差量获取单元从由所述边缘检测单元检测到的边缘中的、与由所述轴上色像差边缘检测单元检测到的边缘不同的边缘获取所述颜色偏差量。
2.根据权利要求1所述的图像处理设备,其特征在于,所述颜色偏差量获取单元基于各边缘上的与一种颜色相对应的信号的信号水平和与其它颜色相对应的信号的信号水平之间的差的总和,获取所述颜色偏差量。
3.根据权利要求1所述的图像处理设备,其特征在于,所述模糊量是在连续像素中信号水平以单调增加或单调减少的方式连续变化的距离。
4.根据权利要求1所述的图像处理设备,其特征在于,针对预先保持的多个摄像条件中的各摄像条件来设置评价所述轴上色像差所根据的所述阈值。
5.根据权利要求4所述的图像处理设备,其特征在于,所述摄像条件包括生成所述图像数据时所使用的摄像镜头的类型、被摄体距离、光瞳距离、F值和焦距中的至少一个。
6.一种图像处理方法,包括以下步骤:
使用边缘检测单元从由与多种颜色相对应的信号所形成的图像数据检测边缘;
使用轴上色像差边缘检测单元从所述边缘中检测被判断为包括轴上色像差的边缘;
使用颜色偏差量获取单元获取边缘上的颜色偏差量;以及
使用校正单元利用基于所述颜色偏差量的校正量来进行色像差校正,
其中,所述轴上色像差边缘检测单元将如下边缘检测为包括所述轴上色像差的边缘:所述图像数据的该边缘上的与至少一种颜色相对应的信号具有不小于阈值的模糊量,并且所述图像数据的该边缘上的与至少另一种颜色相对应的信号具有小于所述阈值的模糊量,以及
所述颜色偏差量获取单元从由所述边缘检测单元检测到的边缘中的、与由所述轴上色像差边缘检测单元检测到的边缘不同的边缘获取所述颜色偏差量。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-035177 | 2011-02-21 | ||
JP2011035177 | 2011-02-21 | ||
JP2012013430A JP5840008B2 (ja) | 2011-02-21 | 2012-01-25 | 画像処理装置、画像処理方法およびプログラム |
JP2012-013430 | 2012-01-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102685511A true CN102685511A (zh) | 2012-09-19 |
CN102685511B CN102685511B (zh) | 2014-09-03 |
Family
ID=45592255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210041459.7A Expired - Fee Related CN102685511B (zh) | 2011-02-21 | 2012-02-21 | 图像处理设备和图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8736737B2 (zh) |
EP (1) | EP2490174A3 (zh) |
JP (1) | JP5840008B2 (zh) |
KR (1) | KR101368715B1 (zh) |
CN (1) | CN102685511B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514585A (zh) * | 2013-09-12 | 2014-01-15 | 深圳市华星光电技术有限公司 | 一种图像处理方法 |
CN104519329A (zh) * | 2013-10-08 | 2015-04-15 | 佳能株式会社 | 图像处理装置、拾取装置、拾取***和处理方法 |
CN104767982A (zh) * | 2014-01-03 | 2015-07-08 | 佳能企业股份有限公司 | 一种影像补正参数的设定方法与电子装置 |
US9563941B2 (en) | 2013-10-09 | 2017-02-07 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
US9582898B2 (en) | 2013-12-31 | 2017-02-28 | Ability Enterprise Co., Ltd. | Electronic device for chromatic aberration compensation |
CN114581380A (zh) * | 2022-02-16 | 2022-06-03 | 合肥埃科光电科技股份有限公司 | 一种基于fpga的色散矫正方法及存储介质 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5367053B2 (ja) * | 2011-02-28 | 2013-12-11 | キヤノン株式会社 | 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置 |
JP6415108B2 (ja) * | 2014-05-22 | 2018-10-31 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 |
JP6238673B2 (ja) * | 2013-10-08 | 2017-11-29 | キヤノン株式会社 | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6604737B2 (ja) * | 2015-04-07 | 2019-11-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 |
JP6633624B2 (ja) | 2015-05-12 | 2020-01-22 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US10735754B2 (en) * | 2017-04-26 | 2020-08-04 | Google Llc | Chromatic aberration modeling in image compression and enhancement |
JP7051580B2 (ja) * | 2018-05-21 | 2022-04-11 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
US11350063B2 (en) * | 2020-04-14 | 2022-05-31 | Apple Inc. | Circuit for correcting lateral chromatic abberation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1479529A (zh) * | 2002-07-26 | 2004-03-03 | ���ǵ�����ʽ���� | 彩色补偿的装置和方法 |
EP1981285A1 (en) * | 2006-02-03 | 2008-10-15 | Nikon Corporation | Image processing device, image processing method, and image processing program |
CN100481864C (zh) * | 2004-02-20 | 2009-04-22 | 三菱电机株式会社 | 图像读取装置和信号处理方法 |
CN101420626A (zh) * | 2007-10-22 | 2009-04-29 | 索尼株式会社 | 颜色信号处理电路、图像摄取装置和颜色信号处理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925588B2 (ja) * | 1997-11-25 | 2007-06-06 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
JP2000299874A (ja) | 1999-04-12 | 2000-10-24 | Sony Corp | 信号処理装置及び方法並びに撮像装置及び方法 |
JP2004120487A (ja) * | 2002-09-27 | 2004-04-15 | Fuji Photo Film Co Ltd | 撮像装置 |
JP4815807B2 (ja) | 2004-05-31 | 2011-11-16 | 株式会社ニコン | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ |
JP4945942B2 (ja) * | 2005-07-14 | 2012-06-06 | 株式会社ニコン | 画像処理装置 |
JP4816725B2 (ja) * | 2006-03-01 | 2011-11-16 | 株式会社ニコン | 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法 |
KR100866490B1 (ko) * | 2007-01-17 | 2008-11-03 | 삼성전자주식회사 | 영상의 색 수차를 보정하기 위한 장치 및 방법 |
JP5132401B2 (ja) * | 2008-04-16 | 2013-01-30 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5047048B2 (ja) * | 2008-04-30 | 2012-10-10 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 |
JP4730412B2 (ja) * | 2008-08-12 | 2011-07-20 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2010219683A (ja) * | 2009-03-13 | 2010-09-30 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
-
2012
- 2012-01-25 JP JP2012013430A patent/JP5840008B2/ja not_active Expired - Fee Related
- 2012-02-07 US US13/368,052 patent/US8736737B2/en not_active Expired - Fee Related
- 2012-02-16 KR KR1020120015659A patent/KR101368715B1/ko not_active IP Right Cessation
- 2012-02-16 EP EP12155775.5A patent/EP2490174A3/en not_active Withdrawn
- 2012-02-21 CN CN201210041459.7A patent/CN102685511B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1479529A (zh) * | 2002-07-26 | 2004-03-03 | ���ǵ�����ʽ���� | 彩色补偿的装置和方法 |
CN100481864C (zh) * | 2004-02-20 | 2009-04-22 | 三菱电机株式会社 | 图像读取装置和信号处理方法 |
EP1981285A1 (en) * | 2006-02-03 | 2008-10-15 | Nikon Corporation | Image processing device, image processing method, and image processing program |
CN101420626A (zh) * | 2007-10-22 | 2009-04-29 | 索尼株式会社 | 颜色信号处理电路、图像摄取装置和颜色信号处理方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514585A (zh) * | 2013-09-12 | 2014-01-15 | 深圳市华星光电技术有限公司 | 一种图像处理方法 |
CN103514585B (zh) * | 2013-09-12 | 2016-03-02 | 深圳市华星光电技术有限公司 | 一种图像处理方法 |
US9478192B2 (en) | 2013-09-12 | 2016-10-25 | Shenzhen China Star Optoelectronics Technology Co., Ltd. | Image processing method |
CN104519329A (zh) * | 2013-10-08 | 2015-04-15 | 佳能株式会社 | 图像处理装置、拾取装置、拾取***和处理方法 |
US9438771B2 (en) | 2013-10-08 | 2016-09-06 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image pickup system, image processing method, and non-transitory computer-readable storage medium |
US9563941B2 (en) | 2013-10-09 | 2017-02-07 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
US9747672B2 (en) | 2013-10-09 | 2017-08-29 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium |
US9582898B2 (en) | 2013-12-31 | 2017-02-28 | Ability Enterprise Co., Ltd. | Electronic device for chromatic aberration compensation |
CN104767982A (zh) * | 2014-01-03 | 2015-07-08 | 佳能企业股份有限公司 | 一种影像补正参数的设定方法与电子装置 |
CN114581380A (zh) * | 2022-02-16 | 2022-06-03 | 合肥埃科光电科技股份有限公司 | 一种基于fpga的色散矫正方法及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2490174A2 (en) | 2012-08-22 |
CN102685511B (zh) | 2014-09-03 |
JP2012191607A (ja) | 2012-10-04 |
EP2490174A3 (en) | 2017-11-22 |
JP5840008B2 (ja) | 2016-01-06 |
KR20120095791A (ko) | 2012-08-29 |
KR101368715B1 (ko) | 2014-03-04 |
US20120212644A1 (en) | 2012-08-23 |
US8736737B2 (en) | 2014-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102685511B (zh) | 图像处理设备和图像处理方法 | |
US9383548B2 (en) | Image sensor for depth estimation | |
CN105391932B (zh) | 图像处理装置及其控制方法、以及摄像装置及其控制方法 | |
KR20120081018A (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
JP6074954B2 (ja) | 合焦評価装置、撮像装置およびプログラム | |
US20190188827A1 (en) | Signal processing device, signal processing method, and program | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
CN105359024B (zh) | 摄像装置和摄像方法 | |
US20130170756A1 (en) | Edge detection apparatus, program and method for edge detection | |
CN102055988A (zh) | 图像处理设备及其控制方法 | |
CN110035281B (zh) | 一种坏点检测方法、装置及电子设备 | |
JP5911062B2 (ja) | 物体検出装置およびプログラム | |
CN104205170B (zh) | 物体检测装置及物体检测方法 | |
CN106716991B (zh) | 红外线摄像装置、图像处理方法及记录介质 | |
JP2018081378A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
US8457393B2 (en) | Cross-color image processing systems and methods for sharpness enhancement | |
KR101227936B1 (ko) | 대응 영상의 컬러 보정 방법 및 그 기록매체 | |
JP7009219B2 (ja) | 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体 | |
JP6552248B2 (ja) | 画像処理装置及び方法、撮像装置、並びにプログラム | |
CN105359517A (zh) | 图像处理装置和图像处理方法 | |
JP2018088587A (ja) | 画像処理方法および画像処理装置 | |
KR102295631B1 (ko) | 분광특성지수를 이용한 초분광영상 활용 방법 | |
JP6103767B2 (ja) | 画像処理装置、方法、及びプログラム | |
CN115147468A (zh) | 一种双光图像配准方法、***和可读存储介质 | |
KR20100077329A (ko) | 색온도구역 설정 방법, 색온도구역을 이용한 색온도 검출 방법, 색온도구역을 이용한 색온도 검출 방법을 기록한 기록매체 및 색온도구역을 이용한 색온도 검출 방법을 수행하는 촬상 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140903 Termination date: 20180221 |