CN102577394B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102577394B
CN102577394B CN200980161949.7A CN200980161949A CN102577394B CN 102577394 B CN102577394 B CN 102577394B CN 200980161949 A CN200980161949 A CN 200980161949A CN 102577394 B CN102577394 B CN 102577394B
Authority
CN
China
Prior art keywords
picture signal
color filter
frequency
target area
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980161949.7A
Other languages
English (en)
Other versions
CN102577394A (zh
Inventor
本田充辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201410201465.3A priority Critical patent/CN104010174B/zh
Publication of CN102577394A publication Critical patent/CN102577394A/zh
Application granted granted Critical
Publication of CN102577394B publication Critical patent/CN102577394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/642—Multi-standard receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

目的是抑制高频区域中发生的伪色和摩尔纹。色差信号生成电路(104)的颜色插值电路(300和350)将从以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素的摄像装置所获得的图像信号分离成各颜色滤波器(R、G1、G2和B)的图像信号，并对各颜色滤波器的图像信号进行插值处理。然后，伪色判断电路(360)在目标区域中基于G1滤波器和G2滤波器的图像信号的斜率以及G1滤波器和G2滤波器的图像信号之间的差至少之一来判断目标区域是否是高频区域。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及一种能够减少高频区域中的噪声的影响的图像处理设备。
背景技术
传统地，通过使用目标像素的周围像素对目标像素进行颜色插值，作为用于抑制发生在被摄体的高频区域中的伪色的方法。
参考图16，将说明对从以拜耳模式配置的红色(R)、绿色(G)和蓝色(B)滤波器的像素输出的图像信号进行颜色插值的处理的例子。
在图16中，将位于R滤波器的水平方向和B滤波器的垂直方向上的G滤波器称为G1滤波器，并将位于R滤波器的垂直方向和B滤波器的水平方向上的G滤波器称为G2滤波器。而且，由G1sig、G2sig、Rsig和Bsig分别表示从与G1、G2、R和B滤波器相对应的像素输出的信号。
该图像处理设备将图像信号分离成由G1sig构成的图像信号、由G2sig构成的图像信号、由Rsig构成的图像信号和由Bsig构成的图像信号，并进行插值处理，以使得在各颜色的图像信号中所有像素具有信号。
然后，图像处理设备获得与颜色插值的目标像素垂直邻接的像素的G1sig或G2sig的值的相关度以及与目标像素水平邻接的像素的G1sig或G2sig的值的相关度。如果水平方向上的相关度高于垂直方向上的相关度，则图像处理设备将Rsig-G1sig的值作为色差信号R-G，并将Bsig-G2sig的值作为色差信号B-G。相反，如果垂直方向上的相关度高于水平方向上的相关度，则图像处理设备将Rsig-G2sig的值作为色差信号R-G，并将Bsig-G1sig的值作为色差信号B-G(参见专利文献1)。
可选地，图像处理设备通过使用与Rsig-G1sig的值和Rsig-G2sig的值之间的差相对应的加权系数，将Rsig-G1sig的值和Rsig-G2sig的值的平均值作为色差信号R-G。同样，图像处理设备通过使用与Bsig-G1sig的值和Bsig-G2sig的值之间的差相对应的加权系数，将Bsig-G1sig的值和Bsig-G2sig的值的平均值作为色差信号B-G。
以这种方式，通过适当选择要用于颜色插值的像素而生成色差信号，来进行减少伪色的处理。
而且，当要生成亮度信号时，通过根据位于目标像素的水平方向和垂直方向上的像素的相关度而适当选择要用于插值的像素来生成图像信号，从而在抑制摩尔纹(moire)并且防止整个图像中的不自然感的情况下进行处理(参见专利文献3)。
引用列表
专利文献
专利文献1：日本特开2002-300590
专利文献2：日本特开平08-023541
专利文献3：日本特开2007-336384
发明内容
技术问题
然而，即使在上述处理中，在包括奈奎斯特频率附近的图像信号或包含混叠噪声的图像信号的区域中也未能正确地获得水平方向和垂直方向上的相关度，从而可能残留有伪色或摩尔纹。因此认为存在进一步减少伪色或摩尔纹的改善余地。
用于解决问题的方案
为了解决上述问题，根据本发明的图像处理设备包括：插值部件，用于将从摄像装置获得的图像信号分离成各颜色滤波器的图像信号，并且通过使用各颜色滤波器的图像信号进行插值处理，其中，在所述摄像装置中，以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素；以及判断部件，用于基于目标区域中的所述多个颜色滤波器中的第一颜色滤波器和第二颜色滤波器的图像信号的斜率、以及所述第一颜色滤波器和所述第二颜色滤波器的图像信号之间的差至少之一，判断所述目标区域是否是高频区域，其中，以周期相同、并且空间相位偏移的方式配置与所述第一颜色滤波器和所述第二颜色滤波器相对应的像素。
发明的有益效果
根据本发明，可以提供一种能够增大抑制高频区域中发生的伪色和摩尔纹的效果的图像处理设备。
附图说明
图1是示出根据本发明第一实施例的图像处理设备的结构的框图。
图2是示出摄像装置中由以拜耳模式构成的3×3像素组成的部分区域的图。
图3是示出根据本发明第一实施例的色差信号生成电路104的结构的框图。
图4是用于说明颜色插值电路300所进行的处理的图。
图5包括示出数字滤波器的例子的图。
图6包括示出LPF301～304和LPF351～353的频率特性的例子的图。
图7是示出具有渐变的垂直条纹的被摄体的图。
图8包括示出通过拍摄被摄体所获得的图像信号中的G1sig和G2sig的值的图。
图9是示出圆形波带片(CZP)的图。
图10包括示出位于从CZP的中心水平延伸的轴上的插值后的G1sig和G2sig的值的图。
图11是示出根据本发明第一实施例的选择电路320所进行的选择色差信号的处理的流程图。
图12是示出根据本发明第二实施例的色差信号生成电路104的结构的框图。
图13是示出根据本发明第二实施例的选择电路320所进行的选择色差信号的处理的流程图。
图14是示出根据本发明第三实施例的色差信号生成电路104的结构的框图。
图15是示出根据本发明第三实施例的合成电路380所进行的合成色差信号的处理的流程图。
图16是示出拜耳模式的图。
具体实施方式
以下将参考附图详细说明本发明的实施例。
第一实施例
图1是示出根据本发明第一实施例的图像处理设备的结构的框图。
摄像单元101包括未示出的摄像镜头、摄像装置及其驱动电路，并且使用摄像装置将摄像镜头所形成的光学图像转换成电信号。摄像装置包括电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)传感器，并且包括图16所示的拜耳模式的像素集合。
通过A/D转换器102将从摄像单元101输出的模拟信号转换成数字信号。白平衡(WB)电路103对由A/D转换器102转换成数字信号的图像信号进行已知的白平衡调整。
将从白平衡电路103输出的图像信号输入至色差信号生成电路104、相关度检测电路110和亮度信号生成电路111。相关度检测电路110根据图像信号、以像素或区域为单位检测在垂直方向和水平方向上的信号的相关度。利用相关度检测电路110的输出、亮度信号生成电路111和亮度伽玛电路112对白平衡电路103输出的图像信号进行亮度信号处理，从而以像素或区域为单位输出亮度信号Y。
色差信号生成电路104根据所输入的图像信号、以像素或区域为单位生成色差信号R-G和B-G，并输出色差信号。通过颜色转换矩阵电路105将色差信号生成电路104输出的色差信号R-G和B-G分别转换成色差信号R-Y和B-Y。之后，利用颜色抑制电路106抑制高亮度和低亮度的色差增益。来自颜色抑制电路106的输出信号通过已知的颜色伽玛电路107和用于调整色度增益的已知的色度拐点电路108，从而以像素或区域为单位输出色差信号UV。
现在将说明亮度信号生成电路111所进行的亮度插值处理。图2示出摄像装置中由以图16所示的拜耳模式构成的3×3像素组成的部分区域。在该亮度插值处理中，不区分从与G1滤波器相对应的像素输出的信号G1sig和从与G2滤波器相对应的像素输出的信号G2sig，并且将这两个信号都作为Gsig进行处理。
首先，亮度信号生成电路111将Gsig插值到与除G滤波器(G1滤波器和G2滤波器)以外的滤波器相对应的所有像素、即与R滤波器和B滤波器相对应的像素。例如，图2中的P1～P9是用于标识像素的附图标记，以及R、G1、G2和B表示与各像素P1～P9相对应的颜色滤波器。“P5(Rsig)”表示像素P5中的Rsig的值，“P5(Gsig)”表示像素P5中的Gsig的值，以及“P5(Bsig)”表示像素P5中的Bsig的值。
在将Gsig插值到与B滤波器相对应的像素P5的情况下，检测垂直和水平方向上的信号的相关度以判断较高相关度的方向。即，获得位于作为插值目标的像素上下侧的像素的信号之间的差的绝对值和位于作为插值目标的像素左右侧的像素的信号之间的差的绝对值。
数学式1
Hdiff＝|P4(Gsig)-P6(Gsig)|···(1)
Vdiff＝|P2(Gsig)-P8(Gsig)|···(2)
然后，将Hdiff和Vdiff之间的差作为插值方向判断信号MatSw。
数学式2
MatSw＝Hdiff-Vdiff···(3)
当MatSw为负时，水平方向上的相关度更强，从而通过使用水平方向上的像素信号进行插值。即，将像素P4的Gsig和像素P6的Gsig的平均值作为P5的Gsig。另一方面，当差为正时，通过使用垂直方向上的像素信号进行插值。即，将像素P2的Gsig和像素P8的Gsig的平均值作为P5的Gsig。以类似的方式对与R滤波器和B滤波器相对应的所有像素进行Gsig的插值。
接着，通过使用插值后的Gsig对与G滤波器和B滤波器相对应的所有像素进行Rsig的插值。通过使用与位于左右侧或上下侧的R滤波器相对应的像素的Rsig、以及对这些像素进行插值所获得的Gsig来对与G滤波器相对应的像素(P2、P4、P6和P8)进行Rsig的插值。而且，通过使用与位于像素周围的R滤波器相对应的像素的Rsig、以及对这些像素进行插值所获得的Gsig，根据以下表达式对与B滤波器相对应的像素进行插值。
数学式3
P2(Rsig)＝((P1(Rsig)-P1(Gsig))+(P3(Rsig)-P3(Gsig)))/2+P2(Gsig)···(4)
P4(Rsig)＝((P1(Rsig)-P1(Gsig))+(P7(Rsig)-P7(Gsig)))/2+P4(Gsig)···(5)
P5(Rsig)＝((P1(Rsig)-P1(Gsig))+(P3(Rsig)-P3(Gsig))+(P7(Rsig)-P7(Gsig))+(P9(Rsig)-P9(Gsig)))/4+P5(Gsig)···(6)
同样，可以对与G滤波器和R滤波器相对应的所有像素进行Bsig的插值。因此，在各像素中获得Rsig、Gsig和Bsig。此外，通过在各像素中使用以下表达式(7)进行计算，可以获得亮度信号Y。
数学式4
Y＝0.3×Rsig+0.59×Gsig+0.11×Bsig···(7)
注意，可以根据需要改变表达式(7)的各项中的系数。
接着，将说明色差信号生成电路104中进行的颜色插值处理。图3是示出色差信号生成电路104的结构的框图。色差信号生成电路104包括颜色插值电路300和350、低通滤波器(LPF)301～304以及351～353、色差信号计算电路311～314、选择电路320和伪色判断电路360。
将白平衡电路103输出的图像信号输入至颜色插值电路300。图4是用于说明颜色插值电路300所进行的插值处理的图。如图4所示，颜色插值电路300将以拜耳模式输入的图像信号分解成由与R、G1、G2和B滤波器的各颜色相对应的信号组成的图像信号。此时，将信号值0***不与分解后的颜色滤波器相对应的像素中。
之后，颜色插值电路500使用已知的数字滤波器利用LPF进行插值处理，并输出所有像素都具有信号的、各颜色R、G1、G2和B的图像信号。
将从颜色插值电路300输出的各颜色的图像信号输入至具有不同截止频率的LPF301～304。图6(a)示出LPF301～304的频率特性的例子。LPF301具有图6(a)中的频率特性601，LPF302具有图6(a)中的频率特性602，LPF303具有图6(a)中的频率特性603，以及LPF304具有图6(a)中的频率特性604。从图6(a)可以理解，截止频率以LPF301、LPF302、LPF303和LPF304的顺序增大。即，以从LPF301输出的图像信号S01、从LPF302输出的图像信号S02、从LPF303输出的图像信号S03和从LPF304输出的图像信号S04的顺序在图像中包含更高的频率成分。各图像信号S01～S04具有限制了频率成分的各颜色R、G1、G2和B的图像信号。
将图像信号S01输入至色差信号计算电路311，将图像信号S02输入至色差信号计算电路312，将图像信号S03输入至色差信号计算电路313，并将图像信号S04输入至色差信号计算电路314。色差信号计算电路311～314通过使用上述方法对图像信号S01～S04计算色差信号。
即，色差信号计算电路311参考相关度检测电路110所获得的目标像素在水平方向和垂直方向上的相关度，从而生成色差信号R-G和B-G。具体地，如果相关度检测电路110判断为水平方向上的相关度高于垂直方向上的相关度，则色差信号计算电路311将Rsig-G1sig的值作为色差信号R-G并将Bsig-G2sig的值作为色差信号B-G。另一方面，如果相关度检测电路110判断为垂直方向上的相关度高于水平方向上的相关度，则色差信号计算电路311将Rsig-G2sig的值作为色差信号R-G并将Bsig-G1sig的值作为色差信号B-G。
可选地，色差信号计算电路311通过使用与Rsig-G1sig的值和Rsig-G2sig的值之间的差相对应的加权系数，将Rsig-G1sig的值和Rsig-G2sig的值的平均值作为色差信号R-G。同样，色差信号计算电路311通过使用与Bsig-G1sig的值和Bsig-G2sig的值之间的差相对应的加权系数，将Bsig-G1sig的值和Bsig-G2sig的值的平均值作为色差信号B-G。
还在色差信号计算电路312～314中进行上述处理。
将色差信号计算电路311～314所计算出的色差信号R-G和B-G作为色差信号S11、S12、S13和S14输入至后述的选择电路320。
接着将说明伪色判断操作。将从白平衡电路103输出的图像数据输入至颜色插值电路350。如颜色插值电路300那样，颜色插值电路350输出所有像素都具有信号的、各颜色R、G1、G2和B的图像信号。
在图16所示的拜耳模式中，与G滤波器相对应的像素数是与R滤波器相对应的像素数的两倍或者是与B滤波器相对应的像素数的两倍。通过将G滤波器分解成G1滤波器和G2滤波器，R、G1、G2和B滤波器的像素间隔(采样间隔)变得相互相等。因此，通过使用G1和G2的图像信号而检测混叠噪声发生的区域，可以指定R和B的图像信号中发生混叠噪声的区域。
将从颜色插值电路350输出的各颜色的图像信号输入至具有不同截止频率的LPF351～353。图6(b)示出LPF351～353的频率特性的例子。LPF351具有图6(b)中的频率特性611，LPF352具有图6(b)中的频率特性612，以及LPF353具有图6(b)中的频率特性613。从图6(b)可以理解，截止频率以LPF351、LPF352和LPF353的顺序增大。即，以从LPF351输出的图像信号T01、从LPF352输出的图像信号T02和从LPF353输出的图像信号T03的顺序在图像中包含更高的频率成分。在本实施例中，LPF301的频率特性与LPF351的频率特性相对应，LPF302的频率特性与LPF352的频率特性相对应，以及LPF303的频率特性与LPF353的频率特性相对应。
将从LPF351～353输出的图像信号T01～T03输入至伪色判断电路360。
现在将参考图7和8说明通过伪色判断电路360判断发生伪色信号的区域的方法。图7示出具有渐变的垂直条纹的被摄体。图8示出通过拍摄图7中的被摄体的图像所获得的图像信号中的G1sig和G2sig的值。
在图8(a)～(i)中，横轴表示水平方向上的像素的位置。在图8(a)、(d)和(g)中，并列配置从与特定行中的G1滤波器相对应的像素获得的G1sig和从与另一行中的G2滤波器相对应的像素获得的G2sig。在水平方向和垂直方向上，与G1滤波器相对应的像素的采样间隔和与G2滤波器相对应的像素的采样间隔相互相等，并且与G1滤波器相对应的像素和与G2滤波器相对应的像素的空间相位偏移了采样间隔的一半。
由于图7中的被摄体是垂直条纹，因而被摄体图像均等地入射至所有行。由此，当根据水平方向上的像素的位置配置G1sig和G2sig时，可以获得表示图7所示的被摄体的渐变的图像信号。这里，在图8(a)中，假定图7所示的垂直条纹的频率充分低于G1滤波器和G2滤波器的奈奎斯特频率。在图8(d)中，假定图7所示的垂直条纹的频率高于图8(a)所示的垂直条纹的频率并略微低于G1滤波器和G2滤波器的奈奎斯特频率。在图8(g)中，假定图7所示的垂直条纹的频率高于G1滤波器和G2滤波器的奈奎斯特频率。
在图8(b)、(e)和(h)中，仅提取图8(a)、(d)和(g)中的G1sig，并通过使用周围的G1sig对不与G1滤波器相对应的像素进行G1sig的插值。在图8(c)、(f)和(i)中，仅提取图8(a)、(d)和(g)中的G2sig，并通过使用周围的G2sig对不与G2滤波器相对应的像素进行G2sig的插值。
从图8(a)～(i)可以理解，当被摄体的空间频率充分低于G1滤波器和G2滤波器的奈奎斯特频率时，插值后的G1sig和G2sig的相位偏移小。随着被摄体的空间频率更接近G1滤波器和G2滤波器的奈奎斯特频率，插值后的G1sig和G2sig的相位偏移大。当空间频率超过奈奎斯特频率时，插值后的G1sig和G2sig的相位基本相反。即，可以通过检测插值后的G1sig和G2sig的相位差来判断区域是否是高频区域，即区域是否是发生伪色的区域。
现在将参考图9和图10说明伪色判断电路360的操作。
图9是示出圆形波带片(CZP)的图，其中，以图像中心作为原点配置许多同心圆，并且空间频率从中心向外侧增大。图10示出所绘制的位于从CZP的中心水平延伸的轴上的插值后的G1sig和G2sig的值。
在图10(a)中，曲线1001表示图像信号T01的插值后的G1sig，且曲线1002表示图像信号T01的插值后的G2sig。在图10(b)中，曲线1003表示图像信号T02的插值后的G1sig，以及曲线1004表示图像信号T02的插值后的G2sig。在图10(c)中，曲线1005表示图像信号T03的插值后的G1sig，以及曲线1006表示图像信号T03的插值后的G2sig。F0～F4表示CZP的空间频率。图像中心处的空间频率由F0表示，且空间频率以F1、F2、F3和F4的顺序向图像的外侧逐渐增大。
伪色判断电路360通过使用插值后的G1sig的图像信号和插值后的G2sig的图像信号之间的特性的差来判断区域是否是伪色信号发生的高频区域。具体地，关注插值后的G1sig的图像信号和插值后的G2sig的图像信号的斜率的相位，并在满足以下表达式(8)时，将区域判断为发生伪色信号的伪色区域。
数学式5
ΔG1h×ΔG2h<0或ΔG1v×ΔG2v<0···(8)
这里，ΔG1h表示插值后的G1sig的图像信号在水平方向上的斜率，以及ΔG2h表示插值后的G2sig的图像信号在水平方向上的斜率。而且，ΔG1v表示插值后的G1sig的图像信号在垂直方向上的斜率，以及ΔG2v表示插值后的G2sig的图像信号在垂直方向上的斜率。例如，可以通过使用图5(a)所示的已知的数字滤波器来获得水平方向上的斜率，以及通过使用图5(b)所示的已知的数字滤波器来获得垂直方向上的斜率。用于获得斜率的滤波器不限于此。
可选地，可以以各自由多个像素组成的目标区域为单位，而不以像素为单位来判断伪色区域。在以目标区域为单位进行判断的情况下，如果通过使用该区域中包括的各像素所获得的图像信号的斜率中、满足表达式(8)的图像信号的斜率的百分比等于或高于阈值，则可以将该区域判断为伪色区域。以下，“目标区域”可以是由多个像素组成的区域或者由单个像素组成的区域。
在本实施例中，从图10(a)可以判断出，在图像信号T01中，图9中的空间频率高于F1的区域2～4是伪色区域。而且，从图10(b)可以判断出，在图像信号T02中，图9中的空间频率高于F2的区域3和4是伪色区域。此外，从图10(c)可以判断出，在图像信号T03中，图9中的空间频率高于F3的区域4是伪色区域。
选择电路320针对图像信号T01中被判断为不是伪色区域的区域1，选择从与图像信号T01具有相同频率的图像信号所生成的色差信号S11。而且，选择电路320针对图像信号T01中被判断为伪色区域并且图像信号T02中被判断为不是伪色区域的区域2，选择从与图像信号T02具有相同频率的图像信号所生成的色差信号S12。而且，选择电路320针对图像信号T02中被判断为伪色区域并且图像信号T03中被判断为不是伪色区域的区域3，选择从与图像信号T03具有相同频率的图像信号所生成的色差信号S13。而且，选择电路320针对图像信号T03中被判断为伪色区域的区域4，选择从具有低于图像信号T03的频率的图像信号所生成的色差信号S14。以这种方式，选择电路320可以以像素为单位选择不包含伪色的色差信号。
在本实施例中，假定LPF301的频率特性与LPF351的频率特性相对应，LPF302的频率特性与LPF352的频率特性相对应，以及LPF303的频率特性与LPF353的频率特性相对应，但本发明不限于此。
例如，为了在图像信号S01中增大在图像信号T01中被判断为不是伪色区域的区域中不发生伪色的概率，可以将图像信号S01中包括的频率的上限减小至图像信号T01中包括的频率的上限以下。即，将LPF351的截止频率设置为略微高于LPF301的截止频率。同样，将LPF352的截止频率设置为高于LPF302的截止频率，并将LPF353的截止频率设置为略微高于LPF303的截止频率。然而，在这种情况下，与LPF301的频率特性对应于LPF351的频率特性、LPF302的频率特性对应于LPF352的频率特性、并且LPF303的频率特性对应于LPF353的频率特性的情况相比，可能增大具有减小的颜色分辨率的区域。
相反，当要减少具有减小的颜色分辨率的区域时，可以将LPF301、LPF302和LPF303的截止频率设置为略微低于相应的LPF351、LPF352和LPF353的截止频率。然而，在这种情况下，图像信号S01中可能包含比图像信号T01的频率高的频率。由此，很可能将图像信号T01中被判断为不是伪色区域的区域判断为图像信号S01中的伪色区域。
可以根据要生成的图像来适当改变是否使LPF301～303的截止频率与LPF351～353的截止频率相对应或者是否在它们之间设置差。可选地，因为减小分辨率的影响的程度根据被摄体的图案而变化，所以可以根据被摄体适当改变这些LPF的截止频率。
如上所述，根据本实施例，色差信号生成电路104生成已经通过具有不同截止频率的LPF301～304的多个图像信号S01～S04，并且根据多个图像信号S01～S04分层地生成色差信号S11～S14。然后，色差信号生成电路104生成已经通过具有不同截止频率的LPF351～353的多个图像信号T01～T03，并以不同层的图像信号为单位检测伪色区域。选择电路320根据从图像信号T01～T03中的哪个分辨率的图像信号检测到伪色区域来选择色差信号S11～S14中的任一个。由此，选择电路320能够以像素或区域为单位、选择从防止伪色的范围中最高频率的层中的图像信号所生成的色差信号。
以这种方式，将颜色分辨率减小必要的量以仅在发生伪色的区域中抑制伪色，并且在不发生伪色的区域中消除减小颜色分辨率的必要性，从而可以实现颜色分辨率的增大和伪色的抑制的良好平衡。
图11是示出选择电路320所进行的选择色差信号的处理的流程图。选择电路320以像素或区域为单位进行选择处理。这里，假定选择电路320以像素为单位进行选择处理。
在步骤S1101中，选择电路320判断与目标像素相对应的图像信号T01的像素是否被伪色判断电路360判断为伪色区域。如果目标像素被判断为不是伪色区域，则选择电路320进入步骤S1104，在步骤S1104中，选择电路320选择与目标像素相对应的像素的色差信号S11作为目标像素的色差信号。
如果在步骤S1101中目标像素被判断为是伪色区域，则选择电路320进入步骤S1102。在步骤S1102中，选择电路320判断与目标像素相对应的图像信号T02的像素是否被伪色判断电路360判断为伪色区域。如果目标像素被判断为不是伪色区域，则选择电路320进入步骤S1105，在步骤S1105中，选择电路320选择与目标像素相对应的像素的色差信号S12作为目标像素的色差信号。
如果在步骤S1102中目标像素被判断为是伪色区域，则选择电路320进入步骤S1103。在步骤S1103中，选择电路320判断与目标像素相对应的图像信号T03的像素是否被伪色判断电路360判断为伪色区域。如果目标像素被判断为不是伪色区域，则选择电路320进入步骤S1106，在步骤S1106中，选择电路320选择与目标像素相对应的像素的色差信号S13作为目标像素的色差信号。
如果在步骤S1103中目标像素被判断为是伪色区域，则选择电路320进入步骤S1107，在步骤S1107中，选择电路320选择与目标像素相对应的像素的色差信号S14作为目标像素的色差信号。
然后，选择电路320对要输出的图像信号的所有像素进行色差信号选择处理，并输出针对各像素所选择的色差信号S11～S14中的任一个中包含的色差信号R-G和B-G。然后，所输出的色差信号R-G和B-G被输入至颜色转换矩阵电路105并被转换成信号R-Y和B-Y。
在本实施例中，使用表达式(8)来判断区域是否是伪色区域，但本发明不限于此。例如，可以关注ΔG1h、ΔG1v、ΔG2h和ΔG2v的值，并且如果满足以下表达式(9)～(12)中的任一个，则可以将区域判断为伪色区域。而且，这些表达式中的阈值TH可以在图像信号T01～T03中相互不同。利用这些值的调整，可以改变用于判断伪色区域的基准，并且可以调整颜色分辨率的增大和伪色的抑制之间的平衡。
数学式6
ΔG1h-TH>0且ΔG2h+TH<0···(9)
ΔG1h+TH<0且ΔG2h-TH>0···(10)
ΔG1v-TH>0且ΔG2v+TH<0···(11)
ΔG1v+TH<0且ΔG2v-TH>0···(12)
(其中，TH>0)
关注水平方向上的斜率和垂直方向上的斜率以判断区域是否是伪色区域。可选地，可以关注倾斜方向上的斜率。
而且，使用插值后的G1sig的图像信号的斜率和插值后的G2sig的图像信号的斜率来判断区域是否是伪色区域。可选地，可以使用G1sig和G2sig之间的差值。即，如果G1sig和G2sig之间的差值大，则可以判断为相位偏移大。具体地，即使不满足表达式(8)～(12)中的任一个，如果如表达式(13)所示，目标像素中的G1sig和G2sig之差的绝对值超过阈值，也可以将目标像素判断为伪色区域。
数学式7
|G1sig-G2sig|>0···(13)
然而，如果亮度信号小，则G1sig和G2sig的值都小。由此，可以根据亮度信号生成电路111所生成的相应的像素的亮度信号来改变这些阈值。
可选地，除了基于插值后的G1sig的图像信号的斜率和插值后的G2sig的图像信号的斜率的判断以外，还可以组合基于G1sig和G2sig之间的值的差的判断。
此外，这些判断条件可以在图像信号T01～T03之间变化。
此外，除了目标像素以外，还可以通过考虑目标像素周围的像素的伪色区域的判断结果来判断目标像素是否是伪色区域。
在本实施例中，根据四层图像信号生成色差信号，并且在三层图像信号中进行伪色区域的判断，但是层数不限于此。可以从N+1层的不同频率的图像信号生成色差信号，并且可以在N层的不同频率的图像信号中进行伪色区域的判断。
在本实施例中，颜色插值电路300和颜色插值电路350相互分离，但是如果它们具有共同的特性，则可以使用一个共用电路。同样，可以在LPF301～303和LPF351～353具有共同特性的情况下使用一个共用电路作为LPF301～303和LPF351～353。
在本实施例中，说明了选择从多个层的不同频率的图像信号生成的色差信号中的任一个以抑制伪色的例子，但本发明不限于此。在与上述相同的方法中，可以从N+1层的不同频率的图像信号生成亮度信号，并且可以针对N层的不同频率的图像信号以相同的方法检测摩尔纹区域，而不检测伪色区域，从而可以抑制由于亮度信号引起的摩尔纹。即，本实施例对于由于亮度引起的摩尔纹和由于颜色信号引起的伪色是有效的。此外，如果对进行了用于减少像素数的大小调整处理的图像信号进行根据本实施例的处理，则可以抑制大小调整处理所引起的摩尔纹或伪色。
如上所述，根据本实施例的图像处理设备从拜耳模式的摄像装置所获得的图像信号中提取用作第一颜色滤波器的G1滤波器的图像信号和用作第二颜色滤波器的G2滤波器的图像信号，并进行插值。以相同的周期配置与G1滤波器和G2滤波器相对应的像素，并且与G1滤波器和G2滤波器相对应的像素的空间相位被偏移。由此，如图8和10所示，在高频区域中反转插值后的G1滤波器的图像信号和插值后的G2滤波器的图像信号的相位。由此，图像处理设备能够基于G1滤波器和G2滤波器的图像信号的斜率以及G1滤波器和G2滤波器的图像信号之间的差两者中的至少一个来判断目标区域(目标像素)是否是高频区域。如果判断为目标区域是高频区域，则图像处理设备根据如下的图像信号来生成诸如色差信号和亮度信号等的预定信号，从而能够抑制伪色和摩尔纹，其中，在该图像信号中，截止频率被减小至目标像素不被判断为高频区域的等级。
可选地，图像处理设备可以使得后阶段的设备生成诸如色差信号和亮度信号等的预定信号，并且可以在图像信号中设置表示目标像素是否是高频区域的判断结果的标志。
第二实施例
第二实施例与第一实施例的不同之处在于在选择电路320选择色差信号时还判断目标像素是否是边缘区域。在第一实施例中，如果伪色判断电路360判断为目标区域是伪色区域，则选择电路320选择从较低频率的图像信号生成的色差信号。结果，如果被判断为伪色区域的区域是边缘区域，则边缘区域中的颜色可能看起来渗出。
根据本实施例的图像处理设备的结构与根据第一实施例的图像处理设备的结构相同，并且由此省略其说明。在本实施例中，图1所示的色差信号生成电路104的结构的一部分与第一实施例不同。
图12是示出根据本实施例的色差信号生成电路104的结构的框图。除了图3所示的色差信号生成电路的结构以外，根据本实施例的色差信号生成电路104还包括接收从LPF351～353输出的图像信号T01～T03的边缘判断电路370。将边缘判断电路370所生成的与边缘区域有关的判断结果输入至选择电路320。
边缘判断电路370通过使用表达式(14)、基于从LPF351输出的图像信号T01中包含的G1的图像信号和G2的图像信号来计算所有像素中的Gsig。
数学式8
Gsig＝(G1sig+G2sig)/2···(14)
然后，关注Gsig的图像信号在水平方向和垂直方向上的斜率。如果满足以下表达式(15)，则将目标像素判断为边缘区域，并且将判断结果输出至选择电路320。
数学式9
ΔGh>TH或ΔGv>TH···(15)
这里，ΔGh表示插值后的Gsig的图像信号在水平方向上的斜率，以及ΔGv表示插值后的G2sig的图像信号在水平方向上的斜率。可以通过图5(a)所示的已知的数字滤波器并且在垂直方向上通过图5(b)所示的已知的数字滤波器来获得这些斜率。用于获得斜率的滤波器不限于此。可选地，可以以由多个像素组成的区域为单位，而不以像素为单位来判断边缘区域。在以区域为单位进行判断的情况下，如果通过使用该区域中包括的各像素而获得的图像信号的斜率中、满足表达式(15)的图像信号的斜率的百分比等于或高于阈值，则可以将该区域判断为边缘区域。
同样，边缘判断电路370对从LPF352输出的图像信号T02和从LPF353输出的图像信号T03进行边缘区域的判断。
已经说明了基于G1sig和G2sig使用Gsig的例子作为用于判断边缘区域的方法。可选地，还可以使用通过使用表达式(7)从Rsig、Gsig和Bsig所生成的亮度信号。
伪色判断电路360进行与第一实施例相同的处理中的伪色区域的判断，并将判断结果输出至选择电路320。
图13是示出根据本实施例的选择电路320所进行的选择色差信号的处理的流程图。选择电路320以像素或区域为单位进行选择处理。这里，假定选择电路320以像素为单位进行选择处理。
在步骤S1301中，选择电路320判断与目标像素相对应的图像信号T01的像素是否被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域。如果像素被伪色判断电路360判断为不是伪色区域，则选择电路320进入步骤S1304以选择与该目标像素相对应的像素的色差信号S11作为目标像素的色差信号。而且，如果像素被边缘判断电路370判断为边缘区域，则选择电路320进入步骤S1304以选择与该目标像素相对应的像素的色差信号S11作为目标像素的色差信号。即，即使目标像素被判断为伪色区域，在目标像素被判断为边缘区域的情况下，选择电路320也选择色差信号S11以优先抑制边缘区域中颜色的渗出。
如果像素被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域，则选择电路320进入步骤S1302。在步骤S1302中，选择电路320判断与目标像素相对应的图像信号T02的像素是否被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域。如果像素被伪色判断电路360判断为不是伪色区域，则选择电路320进入步骤S1305以选择与该目标像素相对应的像素的色差信号S12作为目标像素的色差信号。而且，如果像素被边缘判断电路370判断为边缘区域，则选择电路320进入步骤S1305以选择与该目标像素相对应的像素的色差信号S12作为目标像素的色差信号。即，即使目标像素被判断为伪色区域，在目标像素被判断为边缘区域的情况下，选择电路320也选择色差信号S12以优先抑制边缘区域中颜色的渗出。
如果像素被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域，则选择电路320进入步骤S1303。在步骤S1303中，选择电路320判断与目标像素相对应的图像信号T03的像素是否被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域。如果像素被伪色判断电路360判断为不是伪色区域，则选择电路320进入步骤S1306以选择与该目标像素相对应的像素的色差信号S13作为目标像素的色差信号。而且，如果像素被边缘判断电路370判断为边缘区域，则选择电路320进入步骤S1306以选择与该目标像素相对应的像素的色差信号S13作为目标像素的色差信号。即，即使目标像素被判断为伪色区域，在目标像素被判断为边缘区域的情况下，选择电路320也选择色差信号S13以优先抑制边缘区域中颜色的渗出。
相反，如果像素被伪色判断电路360判断为伪色区域并且被边缘判断电路370判断为不是边缘区域，则选择电路320进入步骤S1307以选择色差信号S14。
如上所述，在本实施例中，即使区域被伪色判断电路360判断为伪色区域，在区域是边缘区域的情况下，选择电路320也选择根据比区域不是边缘区域的情况的频率高的频率的层中的图像信号所生成的色差信号。
以这种方式，可以获得根据第一实施例的结构中所获得的效果，并且还可以抑制边缘区域中颜色的渗出。
第三实施例
第三实施例与第一实施例的不同之处在于色差信号生成电路104不是输出色差信号S11～S14中的任一个，而是输出通过合成这些色差信号S11～S14所生成的色差信号。
根据本实施例的图像处理设备的结构与根据第一实施例的图像处理设备的结构相同，并且由此省略其说明。在本实施例中，图1所示的色差信号生成电路104的结构的一部分与第一实施例不同。
图14是示出根据本实施例的色差信号生成电路104的结构的框图。根据本实施例的色差信号生成电路104包括合成电路380来代替图3所示的选择电路320。
图15是示出根据本实施例的合成电路380所进行的合成色差信号的处理的流程图。合成电路380以像素或区域为单位进行选择处理。这里，假定合成电路380以像素为单位进行选择处理。合成电路380根据在图像信号T01～T03中的哪个图像信号中检测到伪色区域来改变色差信号S11～S14的权重，合成色差信号S11～S14，并输出所生成的信号。
在步骤S1501中，合成电路380判断与目标像素相对应的图像信号T01的像素是否被伪色判断电路360判断为伪色区域。如果像素被伪色判断电路360判断为不是伪色区域，则合成电路380进入步骤S1504以将与目标像素相对应的像素的色差信号S11的权重设置为相对于其它色差信号的权重的最大权重。
如果在步骤S1501中像素被伪色判断电路360判断为伪色区域，则合成电路380进入步骤S1502。在步骤S1502中，合成电路380判断与目标像素相对应的图像信号T02的像素是否被伪色判断电路360判断为伪色区域。如果像素被伪色判断电路360判断为不是伪色区域，则合成电路380进入步骤S1505以将与目标像素相对应的像素的色差信号S12的权重设置为相对于其它色差信号的权重的最大权重。
如果在步骤S1502中像素被伪色判断电路360判断为伪色区域，则合成电路380进入步骤S1503。在步骤S1503中，合成电路380判断与目标像素相对应的图像信号T03的像素是否被伪色判断电路360判断为伪色区域。如果像素被伪色判断电路360判断为不是伪色区域，则合成电路380进入步骤S1506以将与目标像素相对应的像素的色差信号S13的权重设置为相对于其它色差信号的权重的最大权重。
相反，如果像素被伪色判断电路360判断为伪色区域，则合成电路380进入步骤S1507以将与目标像素相对应的像素的色差信号S14的权重设置为相对于其它色差信号的权重的最大权重。
合成电路380根据步骤S1504～S1507中设置的权重，通过使用以下任意表达式来合成色差信号S11～S14。
数学式10
(R-G,B-G)＝(6×S11+2×S12+S13+S14)/10···(16)
(R-G,B-G)＝(2×S11+5×S12+2×S13+S14)/10···(17)
(R-G,B-G)＝(S11+2×S12+5×S13+2×S14)/10···(18)
(R-G,B-G)＝(S11+S12+2×S13+6×S14)/10···(19)
如果色差信号S11的权重被设置为最大，则合成电路380选择表达式(16)。同样，如果色差信号S12、S13和S14的权重被设置为最大，则合成电路380分别选择表达式(17)、表达式(18)和表达式(19)。然后，合成电路380将通过该合成处理所获得的色差信号R-G和B-G输出至颜色转换矩阵电路105。
如在第二实施例中那样，可以考虑目标像素是否是边缘区域。即，即使目标像素被判断为伪色区域，在目标像素被判断为边缘区域的情况下，也可以将从被判断为边缘区域的图像信号中具有最高截止频率的图像信号所生成的色差信号的权重设置为最大。
另外，合成电路380可以根据从图像信号T01～T03检测到的伪色度来改变色差信号S11～S14的权重。可以根据从插值后的G1sig和插值后的G2sig获得的ΔG1h、ΔG1v、ΔG2h和ΔG2v、以及G1sig和G2sig的值之间的差来获得伪色度。即，合成电路380设置伪色度，以使得插值后的G1sig和插值后的G2sig的相位偏移被估计为越接近180度，伪色度的值越大。而且，合成电路380能够根据图像信号T01～T03的伪色度来设置色差信号S11～S14的权重。
其它实施例
还通过以下方法实现本发明的目的。即，将存储用于实现上述实施例的功能的软件程序代码的存储介质(或记录介质)供给至***或设备。然后，***或设备的计算机(或者CPU或MPU等)读取并执行存储介质中存储的程序代码。在这种情况下，从存储介质读取的程序代码本身实现上述实施例的功能，并且存储程序代码的存储介质构成本发明。而且，除了在计算机执行所读取的程序代码时实现上述实施例的功能的情况以外，以下情况也包括在本发明中。即，在计算机中运行的操作***(OS)基于程序代码的指示进行部分或全部的实际处理，并且通过处理实现上述实施例的功能。
此外，以下情况包括在本发明中。即，将从存储介质读取的程序代码写在***计算机中的功能扩展卡中设置的存储器或者连接至计算机的功能扩展单元上。然后，功能扩展卡或功能扩展单元中设置的CPU等基于程序代码的指示进行部分或全部的实际处理，并且通过处理实现上述实施例的功能。
在将本发明应用至上述存储介质的情况下，将与上述过程相对应的程序代码存储在存储介质中。
附图标记列表
101摄像单元
102A/D转换器
103白平衡(WB)电路
104色差信号生成电路
105颜色转换矩阵电路
106颜色抑制电路
107颜色伽玛电路
108色度拐点电路
110相关度检测电路
111亮度信号生成电路
112亮度伽玛电路
300、350颜色插值电路
301、302、303、304、351、352、353低通滤波器(LPF)
311、312、313、314色差信号计算电路
320选择电路
360伪色判断电路
370边缘判断电路
380合成电路

Claims (17)

1.一种图像处理设备，包括：
插值部件，用于将从摄像装置获得的图像信号分离成各颜色滤波器的图像信号，并且通过使用各颜色滤波器的图像信号进行插值处理，其中，在所述摄像装置中，以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素；
判断部件，用于基于目标区域中的所述多个颜色滤波器中的第一颜色滤波器和第二颜色滤波器的图像信号的斜率、以及所述第一颜色滤波器和所述第二颜色滤波器的图像信号之间的差至少之一，判断所述目标区域是否是高频区域；
提取部件，用于从所述摄像装置所获得的图像信号提取具有不同截止频率的图像信号；以及
处理部件，用于在所述判断部件判断为所述目标区域是高频区域的情况下，进行与在未判断为所述目标区域是高频区域的情况下所进行的图像处理不同的图像处理，
其中，以周期相同、并且空间相位偏移的方式配置与所述第一颜色滤波器和所述第二颜色滤波器相对应的像素，以及
其中，所述处理部件生成并且输出所述目标区域中的预定信号，并且如果所述判断部件判断为所述目标区域是高频区域，则所述处理部件输出根据与未判断为所述目标区域是高频区域的情况相比、具有较低的截止频率的图像信号所生成的预定信号。
2.根据权利要求1所述的图像处理设备，其特征在于，如果所述目标区域中的所述第一颜色滤波器的图像信号的斜率和所述第二颜色滤波器的图像信号的斜率的符号相反，则所述判断部件判断为所述目标区域是高频区域。
3.根据权利要求1所述的图像处理设备，其特征在于，如果所述目标区域中的所述第一颜色滤波器的图像信号的斜率和所述第二颜色滤波器的图像信号的斜率的符号相反、并且所述第一颜色滤波器的图像信号的斜率的大小和所述第二颜色滤波器的图像信号的斜率的大小超过阈值，则所述判断部件判断为所述目标区域是高频区域。
4.根据权利要求1所述的图像处理设备，其特征在于，如果所述目标区域中的所述第一颜色滤波器的图像信号和所述第二颜色滤波器的图像信号之间的差超过阈值，则所述判断部件判断为所述目标区域是高频区域。
5.根据权利要求1所述的图像处理设备，其特征在于，所述第一颜色滤波器和所述第二颜色滤波器是与同一颜色相对应的颜色滤波器。
6.根据权利要求5所述的图像处理设备，其特征在于，所述摄像装置包括以拜耳模式配置的红色滤波器、蓝色滤波器和绿色滤波器，其中，所述第一颜色滤波器是被配置在所述红色滤波器的水平方向上并且被配置在所述蓝色滤波器的垂直方向上的绿色滤波器，以及所述第二颜色滤波器是被配置在所述红色滤波器的垂直方向上并且被配置在所述蓝色滤波器的水平方向上的绿色滤波器。
7.根据权利要求1所述的图像处理设备，其特征在于，针对所述提取部件所提取的具有不同截止频率的各图像信号，所述处理部件判断所述目标区域是否被所述判断部件判断为高频区域，并且输出根据具有与所述目标区域未被判断为高频区域的图像信号中、截止频率最高的图像信号相对应的截止频率的图像信号所生成的预定信号。
8.根据权利要求1所述的图像处理设备，其特征在于，还包括：
检测部件，用于判断所述目标区域是否是边缘区域，
其中，针对所述提取部件所提取的具有不同截止频率的各图像信号，所述处理部件判断所述目标区域是否被所述判断部件判断为高频区域、以及所述目标区域是否被所述检测部件判断为边缘区域，并且如果在所述具有不同截止频率的图像信号中的任意图像信号中所述目标区域被判断为边缘区域，则输出根据具有与所述目标区域被判断为边缘区域的图像信号中、截止频率最高的图像信号相对应的截止频率的图像信号所生成的预定信号。
9.根据权利要求1所述的图像处理设备，其特征在于，所述预定信号是色差信号。
10.根据权利要求1所述的图像处理设备，其特征在于，所述预定信号是亮度信号。
11.一种图像处理设备，包括：
插值部件，用于将从摄像装置获得的图像信号分离成各颜色滤波器的图像信号，并且通过使用各颜色滤波器的图像信号进行插值处理，其中，在所述摄像装置中，以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素；
判断部件，用于基于目标区域中的所述多个颜色滤波器中的第一颜色滤波器和第二颜色滤波器的图像信号的斜率、以及所述第一颜色滤波器和所述第二颜色滤波器的图像信号之间的差至少之一，判断所述目标区域是否是高频区域；
提取部件，用于从所述摄像装置所获得的图像信号提取具有不同截止频率的图像信号；以及
处理部件，用于在所述判断部件判断为所述目标区域是高频区域的情况下，进行与在未判断为所述目标区域是高频区域的情况下所进行的图像处理不同的图像处理，
其中，以周期相同、并且空间相位偏移的方式配置与所述第一颜色滤波器和所述第二颜色滤波器相对应的像素，以及
其中，所述处理部件生成并且输出所述目标区域中的预定信号，并且如果所述判断部件判断为所述目标区域是高频区域，则增大根据与未判断为所述目标区域是高频区域的情况相比、具有较低的截止频率的图像信号所生成的预定信号的权重，并且合成根据所述具有不同截止频率的图像信号所生成的预定信号并输出所合成得到的信号。
12.根据权利要求11所述的图像处理设备，其特征在于，针对所述提取部件所提取的具有不同截止频率的各图像信号，所述处理部件判断所述目标区域是否被所述判断部件判断为高频区域，并且通过将根据具有与所述目标区域未被判断为高频区域的图像信号中、截止频率最高的图像信号相对应的截止频率的图像信号所生成的预定信号的权重设置为大于根据具有其它截止频率的图像信号所生成的预定信号的权重来进行合成。
13.根据权利要求11所述的图像处理设备，其特征在于，还包括：
检测部件，用于判断所述目标区域是否是边缘区域，
其中，针对所述提取部件所提取的具有不同截止频率的各图像信号，所述处理部件判断所述目标区域是否被所述判断部件判断为高频区域、以及所述目标区域是否被所述检测部件判断为边缘区域，并且如果在所述具有不同截止频率的图像信号中的任意图像信号中所述目标区域被判断为边缘区域，则通过将根据具有与所述目标区域被判断为边缘区域的图像信号中、截止频率最高的图像信号相对应的截止频率的图像信号所生成的预定信号的权重设置为大于根据具有其它截止频率的图像信号所生成的预定信号的权重来进行合成。
14.根据权利要求11所述的图像处理设备，其特征在于，所述预定信号是色差信号。
15.根据权利要求11所述的图像处理设备，其特征在于，所述预定信号是亮度信号。
16.一种图像处理方法，包括：
插值步骤，用于将从摄像装置获得的图像信号分离成各颜色滤波器的图像信号，并且通过使用各颜色滤波器的图像信号进行插值，其中，在所述摄像装置中，以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素；
判断步骤，用于基于目标区域中的所述多个颜色滤波器中的第一颜色滤波器和第二颜色滤波器的图像信号的斜率、以及所述第一颜色滤波器和所述第二颜色滤波器的图像信号之间的差至少之一，判断所述目标区域是否是高频区域；
提取步骤，用于从所述摄像装置所获得的图像信号提取具有不同截止频率的图像信号；以及
处理步骤，用于在所述判断步骤中判断为所述目标区域是高频区域的情况下，进行与在未判断为所述目标区域是高频区域的情况下所进行的图像处理不同的图像处理，
其中，以周期相同、并且空间相位偏移的方式配置与所述第一颜色滤波器和所述第二颜色滤波器相对应的像素，以及
其中，所述处理步骤生成并且输出所述目标区域中的预定信号，并且如果在所述判断步骤中判断为所述目标区域是高频区域，则所述处理步骤输出根据与未判断为所述目标区域是高频区域的情况相比、具有较低的截止频率的图像信号所生成的预定信号。
17.一种图像处理方法，包括：
插值步骤，用于将从摄像装置获得的图像信号分离成各颜色滤波器的图像信号，并且通过使用各颜色滤波器的图像信号进行插值，其中，在所述摄像装置中，以预定模式配置了多个颜色滤波器并且设置了与各颜色滤波器相对应的像素；
判断步骤，用于基于目标区域中的所述多个颜色滤波器中的第一颜色滤波器和第二颜色滤波器的图像信号的斜率、以及所述第一颜色滤波器和所述第二颜色滤波器的图像信号之间的差至少之一，判断所述目标区域是否是高频区域；
提取步骤，用于从所述摄像装置所获得的图像信号提取具有不同截止频率的图像信号；以及
处理步骤，用于在所述判断步骤中判断为所述目标区域是高频区域的情况下，进行与在未判断为所述目标区域是高频区域的情况下所进行的图像处理不同的图像处理，
其中，以周期相同、并且空间相位偏移的方式配置与所述第一颜色滤波器和所述第二颜色滤波器相对应的像素，以及
其中，所述处理步骤生成并且输出所述目标区域中的预定信号，并且如果在所述判断步骤中判断为所述目标区域是高频区域，则增大根据与未判断为所述目标区域是高频区域的情况相比、具有较低的截止频率的图像信号所生成的预定信号的权重，并且合成根据所述具有不同截止频率的图像信号所生成的预定信号并输出所合成得到的信号。
CN200980161949.7A 2009-10-13 2009-10-13 图像处理设备和图像处理方法 Active CN102577394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410201465.3A CN104010174B (zh) 2009-10-13 2009-10-13 图像处理设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/067741 WO2011045849A1 (ja) 2009-10-13 2009-10-13 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410201465.3A Division CN104010174B (zh) 2009-10-13 2009-10-13 图像处理设备和图像处理方法

Publications (2)

Publication Number Publication Date
CN102577394A CN102577394A (zh) 2012-07-11
CN102577394B true CN102577394B (zh) 2015-03-25

Family

ID=43854548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980161949.7A Active CN102577394B (zh) 2009-10-13 2009-10-13 图像处理设备和图像处理方法

Country Status (9)

Country Link
US (1) US8452127B2 (zh)
JP (1) JP5490139B2 (zh)
KR (1) KR101310858B1 (zh)
CN (1) CN102577394B (zh)
BR (1) BR112012008515B1 (zh)
DE (1) DE112009005314B4 (zh)
GB (1) GB2487149B (zh)
RU (1) RU2503139C1 (zh)
WO (1) WO2011045849A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010174B (zh) * 2009-10-13 2016-08-31 佳能株式会社 图像处理设备和图像处理方法
BR112012008515B1 (pt) * 2009-10-13 2021-04-27 Canon Kabushiki Kaisha Aparelho e método de processamento de imagem, e meios de gravação
US8692906B2 (en) * 2010-07-13 2014-04-08 Canon Kabushiki Kaisha Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
WO2013161349A1 (ja) * 2012-04-24 2013-10-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN104717474B (zh) * 2013-12-16 2017-07-25 瑞昱半导体股份有限公司 图像处理方法、模块及包含其的电子设备
JP6415093B2 (ja) * 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6530593B2 (ja) * 2014-08-11 2019-06-12 キヤノン株式会社 撮像装置及びその制御方法、記憶媒体
CN104296664A (zh) * 2014-09-17 2015-01-21 宁波高新区晓圆科技有限公司 一种在几何尺寸视觉检测中提高检测精度的方法
JP6579934B2 (ja) * 2015-12-09 2019-09-25 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP7183015B2 (ja) * 2018-12-03 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112927241A (zh) * 2021-03-08 2021-06-08 携程旅游网络技术（上海）有限公司 图片截取和缩略图生成方法、***、设备及储存介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610412A (zh) * 2003-10-23 2005-04-27 索尼株式会社 图像处理装置和图像处理方法以及程序
CN1643936A (zh) * 2002-03-20 2005-07-20 索尼株式会社 图像处理设备和方法、以及图像处理设备的制造方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04261276A (ja) * 1991-02-15 1992-09-17 Ricoh Co Ltd カラー画像読取装置
JP3576600B2 (ja) 1994-07-11 2004-10-13 キヤノン株式会社 カラー撮像装置
JP3707187B2 (ja) * 1996-09-18 2005-10-19 コニカミノルタホールディングス株式会社 電子カメラ
JPH10341447A (ja) * 1997-04-11 1998-12-22 Fuji Photo Film Co Ltd 画像信号処理装置
US6958772B1 (en) * 1999-01-20 2005-10-25 Canon Kabushiki Kaisha Image sensing apparatus and image processing method therefor
US6671401B1 (en) * 1999-09-08 2003-12-30 Eastman Kodak Company Removing color moire patterns from digital images having known chromaticities
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
US6975354B2 (en) * 2000-06-29 2005-12-13 Texas Instruments Incorporated Digital still camera color filter array interpolation system and method
JP4011861B2 (ja) * 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
JP4717294B2 (ja) * 2001-09-20 2011-07-06 キヤノン株式会社 画像処理方法、撮像装置およびプログラム
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US20070035634A1 (en) 2005-08-12 2007-02-15 Edgar Albert D System and method for reduction of chroma aliasing and noise in a color-matrixed sensor
WO2006059365A1 (ja) * 2004-11-30 2006-06-08 Mitsubishi Denki Kabushiki Kaisha 画像処理装置、非撮像色信号算出装置及び画像処理方法
JP4388922B2 (ja) * 2005-10-21 2009-12-24 群聯電子股▲ふん▼有限公司 ポータブルストレージデバイス
JP4965903B2 (ja) 2006-06-16 2012-07-04 キヤノン株式会社 画像処理装置及び方法
JP4859220B2 (ja) * 2006-09-13 2012-01-25 キヤノン株式会社 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
JP4946581B2 (ja) * 2007-04-05 2012-06-06 ソニー株式会社 画像処理装置
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー．フェー． 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP2009027537A (ja) * 2007-07-20 2009-02-05 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
BR112012008515B1 (pt) * 2009-10-13 2021-04-27 Canon Kabushiki Kaisha Aparelho e método de processamento de imagem, e meios de gravação

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643936A (zh) * 2002-03-20 2005-07-20 索尼株式会社 图像处理设备和方法、以及图像处理设备的制造方法
CN1610412A (zh) * 2003-10-23 2005-04-27 索尼株式会社 图像处理装置和图像处理方法以及程序

Also Published As

Publication number Publication date
JP5490139B2 (ja) 2014-05-14
KR20120073314A (ko) 2012-07-04
GB2487149A (en) 2012-07-11
GB2487149B (en) 2015-10-14
RU2012119468A (ru) 2013-11-20
US8452127B2 (en) 2013-05-28
RU2503139C1 (ru) 2013-12-27
CN102577394A (zh) 2012-07-11
DE112009005314T5 (de) 2012-11-22
WO2011045849A1 (ja) 2011-04-21
US20110085052A1 (en) 2011-04-14
KR101310858B1 (ko) 2013-09-25
DE112009005314B4 (de) 2019-08-08
JPWO2011045849A1 (ja) 2013-03-04
GB201205249D0 (en) 2012-05-09
BR112012008515B1 (pt) 2021-04-27
BR112012008515A2 (pt) 2016-04-05

Similar Documents

Publication Publication Date Title
CN102577394B (zh) 图像处理设备和图像处理方法
JP4284628B2 (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
CN103202022B (zh) 图像处理设备及其控制方法
JP4184802B2 (ja) 色不連続性均等化を使用して生データイメージを非対称にデモザイク処理するシステムおよび方法
US8270774B2 (en) Image processing device for performing interpolation
JP4882374B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JPWO2007020930A1 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法、ならびに、プログラム
KR102224851B1 (ko) 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템
US8233733B2 (en) Image processing device
US8471933B2 (en) Image processing apparatus, image processing method and computer program
CN104010174B (zh) 图像处理设备和图像处理方法
US8692906B2 (en) Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium
KR101650842B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
EP2800380B1 (en) Imaging device and imaging processing method
US9401006B2 (en) Image processing apparatus, image processing method, and storage medium
US7986361B2 (en) Color processing apparatus and method thereof for generating an interpolated image
JP4380399B2 (ja) 撮像装置、ノイズリダクション装置およびノイズリダクション方法並びにプログラム
US8654220B2 (en) Image processing apparatus and control method for the same
JP4958926B2 (ja) 信号処理装置及び方法
JP5766274B2 (ja) 画像処理装置および画像処理方法
US8675106B2 (en) Image processing apparatus and control method for the same
JP2012100215A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2018107682A (ja) 輝度信号生成装置、輝度信号生成方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant