CN108702494B - 图像处理装置、成像装置、图像处理方法和存储介质 - Google Patents

图像处理装置、成像装置、图像处理方法和存储介质 Download PDF

Info

Publication number
CN108702494B
CN108702494B CN201680083059.9A CN201680083059A CN108702494B CN 108702494 B CN108702494 B CN 108702494B CN 201680083059 A CN201680083059 A CN 201680083059A CN 108702494 B CN108702494 B CN 108702494B
Authority
CN
China
Prior art keywords
image
white
pixel
frequency
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680083059.9A
Other languages
English (en)
Other versions
CN108702494A (zh
Inventor
横川昌俊
神尾和宪
内田真史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702494A publication Critical patent/CN108702494A/zh
Application granted granted Critical
Publication of CN108702494B publication Critical patent/CN108702494B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供了一种用于根据彩色图像中的图像区域单元的图像特性执行伪色彩校正的装置和方法。图像处理装置包括图像处理单元，其接收彩色图像和由W阵列成像元件拍摄的白色(W)图像并执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中。图像处理单元包括：频率相关参数计算单元，接收白色(W)图像并且计算每个图像区域单元的频率相关参数；位置偏差相关参数计算单元，接收白色(W)图像和彩色图像并且计算这两个接收图像中的每个图像区域单元的位置偏差相关参数；以及图像校正单元，通过执行混合处理来计算校正像素值，在混合处理中，根据频率相关参数和位置偏差相关参数的值来控制白色(W)图像和彩色图像的混合比。

Description

图像处理装置、成像装置、图像处理方法和存储介质
技术领域
本公开内容涉及图像处理装置、成像装置、图像处理方法和程序。更特别地，本公开内容涉及对图像中出现的伪色彩执行校正处理的图像处理装置、成像装置、图像处理方法和程序。
背景技术
当通过相机(成像装置)拍摄彩色图像时，在某些情况下，在拍摄图像中出现与拍摄对象的实际色彩不同的色彩，即所谓的伪色彩。
例如，由RGB阵列构成的滤色器被设置在成像元件中，使得经由滤色器的入射光到达成像元件并且输出根据入射光的每条光线量的电信号。
在使用滤色器的这种成像配置中，伪色彩可能出现在所谓的高频信号区域中，在高频信号区域中，例如，每单位面积的亮度或色彩信号的变化量大。特别是在具有高密度的成像元件的情况下，更容易趋于出现伪色彩。
例如，专利文献1(日本专利申请特许公开No.2013-26672)被引用作为现有技术，其公开了用于这种伪色彩的校正技术。
专利文献1公开了使用两个成像元件使用两个拍摄图像执行色彩校正的配置，所述两个成像元件即具有用于拍摄普通彩色图像的RGB像素阵列例如拜耳(Bayer)阵列的成像元件(图像传感器)和由仅包括W像素的白色(W)像素阵列构成的成像元件。
然而，由具有RGB像素阵列的成像元件(图像传感器)获得的拍摄图像包含可能出现伪色彩的区域和很少出现伪色彩的区域。因此，需要区分这些区域，使得以区域为单位执行最佳处理。否则，不可能再现对象的准确色彩。
另外，为了使用RGB图像和W图像这两个图像，需要利用并排放置的两个成像元件进行拍摄，因此在两个图像中发生基于视差的位置偏差。
为了以区域为单位准确地执行上述校正，需要首先执行位置对准以消除两个图像之间的位置偏差，然后以区域为单位检测图像特性，使得以区域为单位执行最佳校正。
上述专利文献1描述了使用两个成像元件的拍摄图像的伪色彩校正，所述两个成像元件即具有RGB阵列的成像元件(图像传感器)和具有白色(W)像素阵列的成像元件(图像传感器)。然而，未对基于每个图像区域的特征来优化校正方法进行详细说明，并且存在根据图像区域执行错误校正的可能性。
引用列表
专利文献
专利文献1：日本专利申请特许公开No.2013-26672。
发明内容
本发明要解决的问题
鉴于上述困难而产生了本公开内容，并且本公开内容的目的是提供一种图像处理装置、成像装置、图像处理方法和程序，其使用利用诸如RGB阵列成像元件的用于拍摄普通彩色图像的成像元件和具有白色(W)像素阵列的成像元件所拍摄的两个图像来根据以图像区域为单位的特性优化校正方法并且生成高质量图像，在该高质量图像中，伪色彩通过根据每个图像区域的图像特性的最佳图像校正而被减少。
问题的解决方案
本公开内容的第一方面是一种图像处理装置，该图像处理装置包括图像处理器，该图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中，其中，
图像处理器包括：
频率对应参数计算单元，接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算单元，接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在混合处理中，根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像和彩色图像之间的混合比。
此外，本公开内容的第二方面是一种成像装置，该成像装置包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收白色(W)图像和彩色图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，其中，
图像处理器包括：
频率对应参数计算单元，接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算单元，接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在混合处理中，根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像和彩色图像之间的混合比。
此外，本公开内容的第三方面是一种在图像处理装置中执行的图像处理方法，
图像处理装置包括图像处理器，图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中，
图像处理方法包括：
由图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像与彩色图像之间的混合比。
此外，本公开内容的第四方面是一种在成像装置中执行的图像处理方法，
成像装置包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收白色(W)图像和彩色图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，
图像处理方法包括：
由第一成像单元和第二成像单元拍摄白色(W)图像和彩色图像；以及
由图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像与彩色图像之间的混合比。
此外，本公开内容的第五方面是一种使图像处理装置执行图像处理的程序，
图像处理装置包括图像处理器，图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中，
程序使图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像与彩色图像之间的混合比。
此外，本公开内容的第六方面是一种使成像装置执行图像处理的程序，
成像装置包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收白色(W)图像和彩色图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，
程序使：
第一成像单元和第二成像单元拍摄白色(W)图像和彩色图像；以及
图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收白色(W)图像的输入并且以图像区域为单位计算白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像与彩色图像之间的混合比。
注意，本公开内容的程序是可以由配置成提供计算机可读格式的程序的存储介质或通信介质提供给例如能够执行各种程序代码的信息处理装置或计算机***的程序。通过提供计算机可读格式的这样的程序，在信息处理装置或计算机***上实现根据程序的处理。
通过基于下面提到的本公开内容的实施方式和附图的更详细描述，将使本公开内容的又一目的、特征和优点清楚。另外，在本说明书中，术语“***”指的是多个装置的逻辑组配置，并且不限于其中具有各自的配置的装置被容纳在同一壳体中的***。
发明效果
根据本公开内容的实施方式的配置，实现了根据以图像区域为单位的彩色图像的图像特性来执行伪色彩校正的装置和方法。
具体地，其中包括图像处理器，该图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中。结合接收白色(W)图像的输入并且以图像区域为单位计算频率对应参数的频率对应参数计算单元以及接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数的位置偏差对应参数计算单元，图像处理器执行混合处理并且计算经校正的像素值，在混合处理中，根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像与彩色图像之间的混合比。
通过这些处理，实现了根据以图像区域为单位的彩色图像的图像特性来执行伪色彩校正的装置和方法，并且可以生成并输出其中伪色彩被去除或减少的高质量图像。
注意，本说明书中描述的效果仅用作示例而不被解释为被限制。可能还存在其他效果。
附图说明
图1是用于说明图像处理装置的配置示例的图。
图2是用于说明成像装置的像素阵列的配置示例的图。
图3是用于说明图像处理器的配置和处理的图。
图4是用于说明频率对应参数计算单元的配置和处理的图。
图5是用于说明频率对应参数计算单元的配置和处理的图。
图6是用于说明位置偏差对应参数计算单元的配置和处理的图。
图7是用于说明位置偏差对应参数计算单元的配置和处理的图。
图8是用于说明位置偏差对应参数计算单元的配置和处理的图。
图9是用于说明图像校正单元的配置和处理的图。
图10是用于说明由图像校正单元执行的处理的图。
图11是用于说明由图像校正单元执行的处理的图。
图12是用于说明由图像校正单元执行的处理的图。
图13是用于说明由图像校正单元执行的处理的图。
图14是用于说明由图像校正单元执行的处理的图。
图15是用于说明由图像校正单元执行的处理的图。
图16是用于说明由图像校正单元执行的处理的图。
图17是用于说明由图像校正单元执行的处理的图。
图18是示出用于说明由图像处理装置执行的处理序列的流程图的图。
具体实施方式
在下文中，将参照附图描述本公开内容的图像处理装置、成像装置、图像处理方法和程序的细节。注意，将根据以下项目进行说明。
1.关于本公开内容的图像处理装置的配置和处理
2.关于图像处理器的配置和伪色彩减少处理
3.关于由图像校正单元执行的根据图像特性的图像处理
4.关于使用根据图像特性组合的多个不同低通滤波器的图像处理
5.关于由图像处理装置执行的图像处理的处理序列
6.图像处理装置的其他配置示例
7.本公开内容的配置的概述
[1.关于本公开内容的图像处理装置的配置和处理]
将参照图1和之后的附图来描述本公开内容的图像处理装置的配置和处理。
图1是示出作为本公开内容的图像处理装置100的示例的成像装置的配置的框图。
注意，根据本公开内容的图像处理装置不限于成像装置，还包括例如接收成像装置的拍摄图像的输入以执行图像处理的诸如个人计算机(PC)的信息处理装置。
在下文中，将描述作为本公开内容的图像处理装置100的示例的成像装置的配置和处理。
除了以下实施方式中描述的拍摄处理之外的图像处理不限于成像装置，而是可以在诸如PC的信息处理装置中执行。
作为图1所示的成像装置的图像处理装置100具有控制单元101、存储单元102、编解码器103、输入单元104、输出单元105、成像单元106和图像处理器120。
成像单元106包括具有白色(W)像素阵列成像元件的第一成像单元107以及具有RGB像素阵列成像元件的第二成像单元108，白色(W)像素阵列成像元件基于可见光的整个波长区域中的入射光的量来输出电信号，RGB像素阵列成像元件具有RGB滤色器，例如由拜耳阵列构成的滤色器，并且以像素为单位输出与每个RGB色彩的输入光对应的信号。
第一成像单元107和第二成像单元108用作设置在相互分隔开预定间隔的位置处的两个成像单元，并且获得各个单元的拍摄图像作为来自不同视点的图像。在这两个图像是静止图像的情况下，在相同时刻处拍摄图像作为静止图像。在图像是运动图像的情况下，获得由各个成像单元拍摄的帧作为相互同步拍摄的帧，也就是在相同时刻处按顺序拍摄的连续图像帧。
注意，这些拍摄时刻由控制单元101控制。
然而，如上所述，这两个成像单元107和108用作设置在相互分隔开预定间隔的位置处的两个成像单元，并且获得各个单元的拍摄图像作为来自不同视点的图像。也就是说，获得图像作为具有视差的图像。
因此，在两个图像的对应像素(即在相同位置处的像素)处未拍摄到相同的对象图像，并且出现根据视差的对象偏差。
在根据本公开内容的图像处理装置100中，图像处理器120通过考虑该偏差来执行图像校正，具体地为减少伪色彩的图像处理。随后将描述该处理的细节。
控制单元101控制在成像装置100中执行的各种处理，诸如图像拍摄、对拍摄图像的信号处理、图像的记录处理和显示处理。控制单元101配备有例如根据保存在存储单元102中的各种处理程序执行处理并且用作执行程序的数据处理器的中央处理单元(CPU)等。
存储单元102包括随机存取存储器(RAM)、只读存储器(ROM)等，其不仅用作拍摄图像的保存单元，还用作由控制单元101执行的处理程序和各种参数的存储单元，并且还用作数据处理时的工作区域。
编解码器103对拍摄图像执行诸如压缩和解压缩处理的编码和解码处理。
输入单元104例如是用户操作单元，并且接收诸如拍摄开始和结束以及各种模式设置的控制信息的输入。
输出单元105包括显示单元、扬声器等，并且例如用于拍摄图像、实时观看图像等的显示以及音频输出。
图像处理器120不仅接收从成像单元106输入的两个图像(即白色原始(W原始)图像111和RGB原始图像112)的输入，还接收传感器噪声特性(σ)113的输入作为处理参数，并且执行减少伪色彩以生成并输出RGB图像150的图像处理。
如上所述，成像单元106包括具有白色(W)像素阵列成像元件的第一成像单元107以及具有RGB像素阵列成像元件的第二成像单元108，白色(W)像素阵列成像元件基于可见光的整个波长区域中的入射光的量来输出电信号，RGB像素阵列成像元件具有RGB滤色器，例如由拜耳阵列构成的滤色器，并且以像素为单位输出与每个RGB色彩的输入光对应的信号。
将参照图2描述这两个成像单元107和108的像素阵列(滤波器阵列)。
图2的(a)示出了用于拍摄普通彩色图像的拜耳阵列。
拜耳阵列包括RGB滤波器，其选择性地透射每个RGB色彩的波长的光。
在由2×2像素构成的4个像素的对角线上设置两个G像素，并且在剩余空间中分别布置一个R像素和一个B像素。
该拜耳阵列型RGB像素阵列是用于图1所示的第二成像单元108的像素阵列。通过图像拍摄处理以像素为单位设置RGB像素值中的一个像素值。信号处理之前的该图像是图1所示的RGB原始图像112。
在RGB原始图像中，针对每个像素设置R、G和B中的任一个像素值。通过作为后续信号处理执行的去马赛克处理来执行对所有像素设置三个RGB信号的处理。
在普通单目相机中，通过这样的处理生成彩色图像，但是，当执行这样的处理时，如前所述，在一些情况下，在该处理期间出现伪色彩，在伪色彩中，在输出图像中出现原始对象中不存在的色彩。
在本公开内容的图像处理装置中，通过图1所示的图像处理器120中的图像处理来执行减少这种伪色彩的处理。
稍后将描述该处理的具体处理。
图2的(b)是示出图1中的第一成像单元107的像素阵列(滤波器阵列)的图。所有像素由白色(W)像素构成，该白色(W)像素基于可见光的整个波长区域中的入射光的量来输出电信号。
图1中的第一成像单元107通过W像素阵列成像元件生成W原始图像111作为拾取图像并且将所生成的W原始图像111输入到图像处理器120，在W像素阵列成像元件中，针对所有像素位置处的所有像素来排列接收RGB的所有波长的入射光的W像素。
图像处理器120接收来自第一成像单元107的W原始图像111的输入和来自第二成像单元108的RGB原始图像112的输入，并且另外接收作为应用于减少伪色彩的校正处理的参数的传感器噪声特性(σ)113的输入，以执行用于减少伪色彩的图像校正处理。
注意，传感器噪声特性(σ)113是在成像单元106的第一成像单元107和第二成像单元108中使用的成像元件的噪声特性，并且例如由控制单元101预先获取以保存在存储单元102中。
另外，尽管在第一成像单元107和第二成像单元108中使用的成像元件的噪声特性在这里被表示为公共值(σ)，但是可以采用使用各自成像单元的成像元件的单独特性σ1和σ2的配置。
[2.关于图像处理器的配置和伪色彩减少处理]
接下来，将参照图3和之后的附图来描述图1中所示的图像处理装置100的图像处理器120的配置和处理。
图3是示出图像处理装置100的图像处理器120的配置的框图。
如图3所示，图像处理器120具有显影处理器121、运动矢量检测单元122、位置对准单元123、频率对应参数计算单元124、位置偏差对应参数125、图像校正单元126和信号转换单元127。
图像处理器120执行减少在作为图1所示的第二成像单元108的拍摄图像的RGB图像中出现的伪色彩的处理，并且输出具有减少的伪色彩的RGB图像150。
图像处理器120的输入信号是以下各个信号：
(1)从第一成像单元107输入的W图像111；
(2)从第二成像单元108输入的RGB原始图像112；以及
(3)传感器噪声特性(σ)113。
首先，显影处理器121对从第二成像单元108输入的RGB原始图像112执行显影处理。具体地，例如，执行以下处理：
(a)钳位处理：去除基于构成成像元件的电路而发生的直流(DC)偏移或基于噪声信号的偏移分量；
(b)去马赛克处理：基于针对RGB原始图像的每个像素设置的RGB单信号值对各个像素设置三个RGB信号；
(c)白平衡处理：相对于白色对象调节RGB值；以及
(d)转换处理：RGB值到YUV值。
执行这些处理。
注意，所有这些处理都可以通过应用现有技术来执行。
通过显影处理器121的显影处理将RGB原始图像112转换成YUV图像130。
YUV图像130是针对所有像素设置三个像素值，即亮度(Y)、色度(U)和色度(V)的图像。
接下来，将描述运动矢量(MV)检测单元122的处理。
运动矢量检测单元122从第一成像单元107接收W图像111的输入，并且还接收由显影处理器121基于作为第二成像单元108的拍摄图像的RGB原始图像112生成的YUV图像130的Y信号(亮度信号)的输入。
基于这两个信号(W信号和Y信号)，运动矢量检测单元122检测表示这两个图像之间的位置偏差的运动矢量(MV)。
如前所述，包括在图1所示的图像处理装置100的成像单元106中的第一成像单元107和第二成像单元108用作设置在相互分隔开预定间隔的位置处的两个成像单元，并且获得各个单元的拍摄图像作为来自不同视点的图像。也就是说，获得图像作为具有视差的图像。
因此，在两个图像的对应像素处，即在相同位置处的像素处未拍摄到相同的对象图像，并且出现根据视差的对象偏差。
基于这两个信号(W信号和Y信号)，运动矢量检测单元122检测表示这两个图像之间的位置偏差的运动矢量(MV)。
具体地，找到两个图像(W图像和Y图像)的对应点，并且计算连接这些对应点的矢量作为运动矢量(MV)。
由运动矢量检测单元122生成的运动矢量(MV)被输入到位置对准单元123。
位置对准单元123接收由运动矢量检测单元122生成的运动矢量(MV)的输入，并且还接收由显影处理器121基于RGB原始图像112生成的YUV图像130的输入。
位置对准单元123根据运动矢量(MV)的大小和方向来移动YUV图像130中的每个像素位置以生成W图像，也就是与从与作为第一成像单元107的拍摄图像的W原始图像111的视点位置相同的视点位置拍摄的图像类似的YUV图像。
通过该处理，YUV图像130被转换为YUV图像，该YUV图像被认为是从与第一成像单元107的视点相同的视点拍摄的。
由位置对准单元123生成的位置对准处理之后的YUV图像被输入到位置偏差对应参数计算单元125。
另外，色度信号UV被输入到图像校正单元126。
接下来，将描述频率对应参数计算单元124的处理。
频率对应参数计算单元124接收作为第一成像单元107的拍摄图像的W原始图像111以及传感器噪声特性(σ)113的输入，并且基于这些输入数据计算频率对应混合比设置参数以输出到图像校正单元126，频率对应混合比设置参数是用于伪色彩校正的校正参数。
注意，传感器噪声特性(σ)113是关于在成像单元106的第一成像单元107中使用的成像元件的噪声特性信息，具体地为指示在来自在第一成像单元107中使用的成像元件的输出信号中包括的噪声的强度的数据。
例如，该传感器噪声特性(σ)113由控制单元101预先获取以保存在存储单元102中并且在控制单元101的控制下从存储单元102获取以输入到频率对应参数计算单元124。
将参照图4和图5来描述频率对应参数计算单元124的具体配置和处理。
图4是示出频率对应参数计算单元124的具体配置的图。
如图4所示，频率对应参数计算单元124接收作为第一成像单元107的拍摄图像的W原始图像111以及传感器噪声特性(σ)113的输入，并且基于这些输入数据，计算频率对应混合比设置参数以输出到图像校正单元126，频率对应混合比设置参数是用于伪色彩校正的校正参数。
如图4所示，频率对应参数计算单元124具有相邻像素像素值差异绝对值计算单元151、动态范围(DR)计算单元152、频率参数计算单元153、加法单元154和混合比计算单元155。
将参照图5描述这些处理器中的每个处理器的具体处理。
图5的(a)是用于说明要由频率对应参数计算单元124计算的频率对应混合比设置参数的计算区域的设置示例的图。
由频率对应参数计算单元124计算的频率对应混合比设置参数是与每个像素对应的参数。
使用作为第一成像单元107的拍摄图像的W原始图像111来执行参数计算处理。假设参数计算目标像素是位置(x，y)处的像素，则使用该参数计算目标像素(x，y)的周围像素区域的像素值来执行参数的计算处理。
图5的(a)所示的示例是下述示例：在该示例中，作为参数计算目标像素(x，y)的周围像素区域，以参数计算目标像素(x，y)为中心像素的9×9像素的像素区域被指定为要应用于参数计算的像素区域。
注意，可以对该像素区域的大小进行各种设置。
图5的(b)示出了频率对应参数计算单元124的参数计算处理的具体过程。
根据以下过程(步骤S01至S03)执行频率对应参数计算单元124的频率对应混合比设置参数的计算处理。
(步骤S01)
步骤S01和S02中的处理是由图4所示的相邻像素像素值差异绝对值计算单元151、动态范围(DR)计算单元152和频率参数计算单元153执行的处理。
首先，在步骤S01中，计算水平方向上的频率参数(活动(activity))[actHOR]。
该处理是使用以参数计算目标像素(x，y)为中心的参数计算区域中包括的在水平方向上的像素的像素值的处理。
在图5的(a)所示的参数计算区域的设置示例中，使用总共九个像素的像素值来计算水平方向上的频率参数(活动)[actHOR]，所述九个像素由参数计算目标像素(x，y)、参数计算目标像素(x，y)左侧的四个像素及其右侧的四个像素组成。
根据以下(公式1)执行水平方向上的频率参数(活动)[actHOR]的计算。
[数学公式1]
Figure GDA0002598700750000141
注意，上面的(公式1)是用于计算作为第一成像单元107的拍摄图像的W原始图像111中的像素位置(x，y)的水平频率参数(活动)[actHOR]的公式。
在上面的(公式1)中，Wx-i,y表示W原始图像111中的像素位置(x-i，y)的像素值，并且Wx-i+1.y表示W原始图像111中的像素位置(x-i+1，y)的像素值。
指示参数计算区域中的像素位置(x坐标)的变量由i表示，并且在图4的(a)中的设置的情况下，i＝4至-4成立。
注意，参数可以被设置成通过考虑动态范围(DR)、传感器噪声特性(σ)113即第一成像单元107的成像元件的噪声强度等来调整。
上述的(公式1)是用于计算在采用图4的(a)所示的区域设置的情况下通过在九个像素的相邻像素值(即位于参数计算目标像素(x，y)的水平方向上的九个像素的像素值Wx-4,y到Wx+4,y)之间添加差异绝对值并且将所得到的值除以这九个像素的动态范围(DR)而获得的值使得所获得的值被用作水平方向上的像素位置(x，y)的频率参数(活动)[actHOR]的公式。
(步骤S02)
接下来，计算垂直方向上的频率参数(活动)[actVER]。
该处理是使用以参数计算目标像素(x，y)为中心的参数计算区域中包括的垂直方向上的像素的像素值的处理。
在图4的(a)所示的参数计算区域的设置示例中，使用总共九个像素的像素值来计算垂直方向上的频率参数(活动)[actVER]，所述九个像素由参数计算目标像素(x，y)、参数计算目标像素(x，y)上侧的四个像素及其下侧的四个像素组成。
根据以下(公式2)来执行垂直方向上的频率参数(活动)[actVER]的计算。
[数学公式2]
Figure GDA0002598700750000151
注意，上面的(公式2)是用于计算作为第一成像单元107的拍摄图像的W原始图像111中的像素位置(x，y)的垂直频率参数(活动)[actVER]的公式。
在上面的(公式2)中，Wx,y-i表示W原始图像111中的像素位置(x，y-i)的像素值，并且Wx,y-i+1表示W原始图像111中的像素位置(x，y-i+1)的像素值。
指示参数计算区域中的像素位置(y坐标)的变量由i表示，并且在图4的(a)中的设置的情况下，i＝4至-4成立。
注意，参数可以被设置成通过考虑动态范围(DR)、传感器噪声特性(σ)113即第一成像单元107的成像元件的噪声强度等来调整。
上述的(公式2)是用于计算在采用图4的(a)所示的区域设置的情况下通过在九个像素的相邻像素值(即位于参数计算目标像素(x，y)的垂直方向上的九个像素的像素值Wx,y-4到Wx,y+4)之间添加差异绝对值并且将所得到的值除以这九个像素的动态范围(DR)而获得的值使得所获得的值被用作垂直方向上的像素位置(x，y)的频率参数(活动)[actVER]的公式。
(步骤S03)
步骤S03中的处理是由图4所示的加法单元154和混合比计算单元155执行的处理。
在步骤S03中，执行以下处理。
使用两个方向上的参数，即在上述步骤S01中计算的水平方向上的频率参数(活动)[actHOR]和在上述步骤S02中计算的垂直方向上的频率参数(活动)[actVER]，根据下面的(公式3)计算频率对应混合比设置参数[ratioFreq]。
[数学公式3]
act＝actHOR+actVER
Figure GDA0002598700750000161
注意，在上面的(公式3)中，
α表示预定义参数计算系数，并且例如，
通过以下公式计算的act值的最大值被指定为α。
act＝actHOR+actVER
水平方向上的频率参数(活动)[actHOR]和垂直方向上的频率参数(活动)[actVER]的相加值(act)或参数计算系数(α)中的任一个较小值被选择并且该选择值除以参数计算系数(α)，使得所获得的值被计算为像素位置(x，y)的频率对应混合比设置参数[ratioFreq]。
注意，例如，α＝5可以用作参数计算系数(α)的示例。
根据上面的(公式3)计算的频率对应混合比设置参数[ratioFreq]被获得为0到1范围内的值。
频率对应混合比设置参数[ratioFreq]：
在像素值细微(finely)变化的高频区域中，变成较大值即接近1的值；以及
在像素值变化小的平坦图像区域即低频区域中，变成较小值即接近零的值。
频率对应参数计算单元124根据上述处理计算频率对应混合比设置参数[ratioFreq]。
注意，频率对应参数计算单元124针对构成作为第一成像单元107的拍摄图像的W原始图像111的所有像素来计算频率对应混合比设置参数[ratioFreq]。
所计算的参数被输入到图像校正单元126。
接下来，将描述图3中所示的位置偏差对应参数计算单元125的配置和处理。
图3所示的位置偏差对应参数计算单元125接收作为第一成像单元107的拍摄图像的W原始图像111、由位置对准单元123生成的位置对准之后的YUV图像(即相当于从第一成像单元107的拍摄视点拍摄的图像的YUV图像)以及传感器噪声特性(σ)113的输入，并且基于这些输入数据来计算位置偏差对应混合比设置参数以输出到图像校正单元126，位置偏差对应混合比设置参数是用于伪色彩校正的校正参数。
注意，传感器噪声特性(σ)113是关于在成像单元106的第二成像单元108中使用的成像元件的噪声特性信息，具体地为指示来自在第二成像单元108使用的成像元件的输出信号中包括的噪声的强度的数据。
例如，该传感器噪声特性(σ)113由控制单元101预先获取以保存在存储单元102中并且在控制单元101的控制下从存储单元102获取以输入到位置偏差对应参数计算单元125。
将参照图6描述位置偏差对应参数计算单元125的具体配置和处理。
如图6所示，位置偏差对应参数计算单元125接收作为第一成像单元107的拍摄图像的W原始图像111、由位置对准单元123生成的位置对准YUV图像161(即相当于从第一成像单元107的拍摄视点拍摄的图像的位置对准YUV图像161)以及传感器噪声特性(σ)113的输入，并且基于这些输入数据计算位置偏差对应混合比设置参数202以输出到图像校正单元126，位置偏差对应混合比设置参数202是用于伪色彩校正的校正参数。
首先，位置偏差对应参数计算单元125的信号转换单元171执行将位置对准YUV图像161的每个像素的YUV信号转换成白色(W)信号的信号转换处理。
具体地，根据图7所示的公式，即下面的公式(公式4)将YUV信号转换成白色(W)信号。
[数学公式4]
光谱模型系数
Figure GDA0002598700750000181
注意，在上述的(公式4)中，α0、α1和α2表示作为预定义转换参数的光谱模型系数。
由信号转换单元171基于位置对准YUV图像161生成的基于YUV图像的W图像162被输出到第二区域单位像素值加法单元173和乘法单元175。
第二区域单位像素值加法单元173以预定义像素区域(n×n像素，其中n是例如3、5、7、9等)为单位对基于YUV图像的W图像162执行像素值相加处理，并且将已计算的相加像素值(B)输出到区域单位像素值百分比(A/B)计算单元174。
同时，第一区域单位像素值加法单元172以与由第二区域单位像素值加法单元173应用的像素区域相同的像素区域(n×n像素，例如，n为9)为单位对作为第一成像单元107的拍摄图像的W原始图像111执行像素值相加处理，并将已计算的相加像素值(A)输出到区域单位像素值百分比(A/B)计算单元174。
区域单位像素值百分比(A/B)计算单元174计算W原始图像111的区域单位相加像素值(A)与基于YUV图像的W图像162的区域单位相加像素值(B)之间的区域单位相加像素值百分比(A/B)以输出到乘法单元175。
乘法单元175接收由信号转换单元171基于位置对准YUV图像161生成的基于YUV图像的W图像162和由区域单位像素值百分比(A/B)计算单元174计算的区域单位相加像素值百分比(A/B)的输入。
乘法单元175执行将基于YUV图像的W图像162的构成像素的像素值乘以区域单位相加像素值百分比(A/B)的处理，以转换像素值。
注意，通过组合包括各个像素的位置的区域的区域单位相加像素值百分比(A/B)来执行乘法处理。
该乘法处理被执行为将基于YUV图像的W图像162的像素值水平与作为第一成像单元107的拍摄图像的W原始图像111的W像素的像素值水平对准的处理。
乘法单元175通过该水平调整来生成经像素值调整的基于YUV图像的W图像163，以输出到差异计算单元176。
在不出现伪色彩的像素区域中，经像素值调整的基于YUV图像的W图像163的W像素值变得与作为第一成像单元107的拍摄图像的W原始图像111的W像素的像素值基本相同。
然而，在出现伪色彩的区域中，在经像素值调整的基于YUV图像的W图像163的W像素值与W原始图像111的W像素的像素值之间出现差异。
差异计算单元176检测该差异(diff)。
差异计算单元176接收作为第一成像单元107的拍摄图像的W原始图像111和作为乘法单元175的输出的经像素值调整的基于YUV图像的W图像163的输入，并且计算位于具有相同坐标的位置处的这两个图像的对应像素的像素值之间的差异。
包括与每个像素对应的所计算的差异值的差异图像164被输入到滤波器处理器177。
滤波器处理器177接收其中在每个像素中设置W原始图像111与经像素值调整的基于YUV图像的W图像163的像素值之间的差异值的差异图像164的输入，并且以预定区域(例如，n×n像素，n＝3、5、7、9等)为单位对该差异图像执行滤波处理。所应用的滤波器例如是中值滤波器，其获取预定像素区域的像素值的中值以指定为新像素值。
包括差异像素值的差异图像164的滤波结果图像被输入到位置偏差对应混合比计算单元178。
混合比计算单元178基于包括差异像素值的差异图像164的滤波结果图像的每个像素值(滤波后的差异像素值)来计算位置偏差对应混合比设置参数(ratioERR)202以输出到图像校正单元126。
图8示出了指示输入到混合比计算单元178的“包括差异像素值的差异图像164的滤波结果图像的每个像素值(滤波之后的差异像素值)”与由混合比计算单元178输出的“位置偏差对应混合比设置参数(ratioERR)202”之间的对应关系的图的示例。
在图8所示的图中，
横坐标轴指示作为输入值的“包括差异像素值的差异图像164的滤波结果图像的每个像素值(滤波之后的差异像素值)”，并且
纵坐标轴指示作为输出值的“位置偏差对应混合比设置参数(ratioERR)202”。
图8中所示的图是指示输入值与输出值之间的对应关系的示例，并且如下使用预先设置的阈值1σ和3σ来定义输出值：
(a)在输入值<σ的情况下，指示混合比＝0的输出值有效；
(b)在σ≤输入值<3σ的情况下，输出值被设置为与指示混合比＝0至1的输出值范围内的输入值成比例地增加；以及
(c)在3σ≤输入值的情况下，指示混合比＝1的输出值有效。
混合比计算单元178根据例如图8所示的输入/输出对应关系定义数据、基于作为输入值的“包括差异像素值的差异图像164的滤波结果图像的每个像素值(滤波之后的差异像素值)”的值来计算输出值，即“位置偏差对应混合比设置参数(ratioERR)202”，并且将所计算的值输出到图像校正单位126。
注意，由混合比计算单元178计算的位置偏差对应混合比设置参数[ratioErr]被获得为0到1范围内的值。
位置偏差对应混合比设置参数[ratioErr]：
在位置偏差大(＝存在许多伪色彩)的像素区域中，变成较大值即接近1的值；以及
在位置偏差小(＝存在少量伪色彩)的像素区域中，变成较小值即接近0的值。
注意，基本上，W原始图像111和经像素值调整的基于YUV图像的W图像163是位置对准之后的图像，并且适当地，位置偏差应当被消除。然而，差异出现在取决于像素位置的每个像素值(W像素值)中。该差异被认为是伪色彩并且在具有这种差异的像素是应当被输出到与原像素值的像素位置不同的像素位置的像素的解释下被描述为“位置偏差对应参数”。
因此，“大的位置偏差”代表“许多伪色彩”，并且“小的位置偏差”代表“少量伪色彩”。
另外，图8中所示的输入值与输出值之间的对应关系的示例是一个示例，并且可以进行各种其他设置。
[3.关于由图像校正单元执行的根据图像特性的图像处理]
接下来，将参照图9和之后的附图来描述图3中所示的图像处理器120的图像校正单元126的处理。
如图9所示，图像校正单元126接收以下各个数据的输入：
(a)作为第一成像单元107的拍摄图像的W原始图像111；
(b)由位置对准单元123生成的位置对准YUV图像161；
(c)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]；以及
(d)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]。
图像校正单元126接收这些数据的输入并且生成经校正的UV信号(Uout，Vout)203以输出到图3所示的图像处理器120中的信号转换单元127，经校正的UV信号(Uout，Vout)203是构成其中伪色彩已被减少的经校正的图像(YUV图像)的像素值的色度信号UV的输出信号值。
图像校正单元126例如根据图9的(a)所示的输出信号计算公式生成经校正的UV信号(Uout，Vout)。
[数学公式5]
Figure GDA0002598700750000221
Figure GDA0002598700750000222
上述的(公式5)中所示的LPF代表低通滤波器。
LPF(U)指示对由位置对准单元123生成的位置对准YUV图像161的像素值信号U的低通滤波器应用处理。
LPF(V)指示对由位置对准单元123生成的位置对准YUV图像161的像素值信号V的低通滤波器应用处理。
LPF(W)指示对作为第一成像单元107的拍摄图像的W原始图像111的像素值信号W的低通滤波器应用处理。
具体地，上述的(公式5)指示例如用于执行以下像素值校正处理的公式。
例如，在(公式5)中的用于经校正的U信号(Uout)的计算公式中所示的“LPF(U)”将低通滤波器应用于YUV图像161的像素信号U并且利用周围像素的像素值来平滑伪色彩像素值以减少伪色彩。
然而，这种平滑导致图像中的“模糊”。为了消除这种模糊，对作为第一成像单元107的拍摄图像的W原始图像111的像素值信号W进行混合。也就是说，通过乘以“W/LPF(W)”来消除图像中的“模糊”。
(公式5)中的用于经校正的V信号(Vout)的计算公式以类似方式工作，并且“LPF(V)”将低通滤波器应用于YUV图像161的像素信号V并且利用周围像素的像素值来平滑伪色彩像素值以减少伪色彩。
然而，这种平滑导致图像中的“模糊”。为了消除这种模糊，对作为第一成像单元107的拍摄图像的W原始图像111的像素值信号W进行混合。也就是说，通过乘以“W/LPF(W)”来消除图像中的“模糊”。
注意，图9的(a)中的输出信号计算公式和(公式5)中所示的公式指示由图像校正单元126在针对经校正的UV信号(Uout，Vout)203的计算处理期间执行对下述两个图像的混合处理，即
(1)由位置对准单元123生成的位置对准YUV图像161，以及
(2)作为第一成像单元107的拍摄图像的W原始图像111。
作为实际处理，根据图像特性来切换(公式5)中所示的公式中包括的低通滤波器(LPF)，以计算经校正的UV信号(Uout，Vout)203。
当计算经校正的UV信号(Uout，Vout)203时，图像校正单元126以图像区域为单位采用不同的混合比，即根据下述特性来改变位置对准YUV图像161与W原始图像111之间的混合比以计算最终经校正的UV信号(Uout，Vout)203，即
(1)频率特性，以及
(2)位置偏差特性。
确定这些混合比的参数是以下参数：
(1)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]；以及
(2)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]。
在使用这些参数描述特定处理示例之前，将参照图10来描述图像校正单元126如何以图像区域为单位根据图像特性来设置位置对准YUV图像161与W原始图像111之间的混合比。
在图10中，相互关联地示出了以下各个数据。
(a)图像区域的特性
(b)RGB传感器输出图像和W传感器输出图像的混合比设置示例
注意，(b)中所示的RGB传感器输出图像代表位置对准YUV图像161，并且其中示出的W传感器输出图像代表W原始图像111。
图10例示了以下三种类型((1)至(3))的代表性图像区域特性。
(1)频率＝低范围，位置偏差＝小
(2)频率＝高范围，位置偏差＝小
(3)频率＝低范围到宽范围，位置偏差＝大
(1)频率＝低范围，位置偏差＝小
具有这些图像特性的图像区域是低频区域，也就是像素值几乎不变化的平坦图像区域，同时是位置偏差＝小的图像区域，也就是其中除了与原像素位置对应的像素值之外的像素值被输出(＝被估计为伪色彩的出现)的“位置偏差”小的图像区域。
对于具有这种图像特性的图像区域，如图10中的列(1)(b)所示，RGB传感器输出图像(位置对准YUV图像161)的混合比被设置得高并且W传感器输出图像(W原始图像111)的混合比被设置得小。
通过根据具有这种设置的混合比的混合处理来计算经校正的UV信号(Uout，Vout)203。
(2)频率＝高范围，位置偏差＝小
具有这些图像特性的图像区域是高频区域，也就是像素值急剧变化的图像区域，同时是位置偏差＝小的图像区域，也就是其中除了与原像素位置对应的像素值之外的像素值被输出(＝被估计为伪色彩的出现)的“位置偏差”小的图像区域。
对于具有这种图像特性的图像区域，如图10中的列(2)(b)所示，使RGB传感器输出图像(位置对准YUV图像161)的混合比和W传感器输出图像(W原始图像111)的混合比基本上彼此相等。
通过根据具有这种设置的混合比的混合处理来计算经校正的UV信号(Uout，Vout)203。
(3)频率＝低范围到宽范围，位置偏差＝大
具有这些图像特性的图像区域是低频区域到高频区域，也就是从像素值几乎不变化的平坦图像区域到高频区域的各种频率区域，所述高频区域即为像素值急剧变化的图像区域，并且同时是位置偏差＝大的图像区域，也就是其中除了与原像素位置对应的像素值之外的像素值被输出(＝被估计为伪色彩的出现)的“位置偏差”大的图像区域。
对于具有这种图像特性的图像区域，如图10中的列(3)(b)所示，RGB传感器输出图像(位置对准YUV图像161)的混合比被设置得小并且W传感器输出图像(W原始图像111)的混合比被设置得大。
通过根据具有这种设置的混合比的混合处理来计算经校正的UV信号(Uout，Vout)203。
作为利用如图10所示根据图像特性的混合比来实现位置对准YUV图像161和W原始图像111的混合处理的具体处理的示例，执行根据图像特性来切换要应用于上述图9的(a)所示的公式即如上所述(公式5)所指示的输出信号计算公式的低通滤波器(LPF)的处理是有效的。
将参照图11来描述根据图像特性来切换要应用于如上所述(公式5)所指示的输出信号计算公式的低通滤波器(LPF)的处理的示例。
图11所示的处理示例是用于说明根据图像特性也就是参数的值来切换要应用于如上所述(公式5)所指示的输出信号计算公式的低通滤波器(LPF)的处理示例的图，所述参数即
(1)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]，以及
(2)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]。
图11示出了通过以下述这样的方式设置各个轴、要根据每个参数的值使用的三种类型的不同低通滤波器(LPF)的应用示例：由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]被设置为横坐标轴并且由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]被设置为纵坐标轴。
三个低通滤波器(LPF0至LPF2)通过截止频率的变化被相互区分开，其中，LPF0的截止频率最高并且LPF2的截止频率最低。
例如，具有以下设置的低通滤波器可以用作相应的低通滤波器：
LPF0是3×3(像素)的移动平均滤波器；
LPF1是13×13(像素)的移动平均滤波器；以及
LPF2是25×25(像素)的移动平均滤波器。
具有这种设置的移动平均滤波器可以用作上述三个低通滤波器(LPF0至LPF2)。
注意，移动平均滤波器执行以下处理：计算以校正目标像素为中心的像素区域(n×n，n＝3、13、25等)中的所有像素的平均像素值并且将该计算的像素值设置为经校正的像素值。
例如，3×3的移动平均滤波器的系数设置被设置为如下面的(公式6)所示。
[数学公式6]
Figure GDA0002598700750000261
以上指出的矩阵是用于低通滤波器的系数设置，该低通滤波器执行以下处理：计算位于以校正目标像素为中心的像素区域(n×n，n＝3)中的九个像素的像素值的平均值以指定为校正目标像素的经校正的像素值。
在采用以下设置的情况下：
LPF0是3×3(像素)的移动平均滤波器；
LPF1是13×13(像素)的移动平均滤波器；以及
LPF2是25×25(像素)的移动平均滤波器，
当应用LPF0时执行使用较小像素区域(3×3)作为处理单元的平滑处理，而当应用LPF1时执行使用较大像素区域(13×13)作为处理单元的平滑处理，并且当应用LPF2时执行使用更大像素区域(25×25)作为处理单元的平滑处理。
图11所示的示例是以与先前参照图10描述的类似的方式根据图像特性执行不同处理的示例，并且指出了其中根据图像特性来切换要应用于如上所述(公式5)所指示的输出信号计算公式的低通滤波器(LPF)的处理示例。
根据图像特性的低通滤波器(LPF)的应用方法被设置如下。
(1)频率＝低范围，位置偏差＝小，也就是说，图11所示的区域(1)是相关的。
该区域是满足以下条件的区域：
频率对应混合比设置参数：ratioFreq<Thf1；以及
位置偏差对应混合比设置参数：ratioErr<The1。注意，Th指示阈值。
具有这些图像特性的图像区域是低频区域，也就是像素值几乎不变化的平坦图像区域，同时是位置偏差＝小的图像区域，也就是其中除了与原像素位置对应的像素值之外的像素值被输出(＝被估计为伪色彩的出现)的“位置偏差”小的图像区域。
对于具有这种图像特性的图像区域，具有最高截止频率的低通滤波器(LPF0)被用作上述(公式5)的输出信号计算公式中的LPF，以计算经校正的UV信号(Uout，Vout)203。
通过该低通滤波器(LPF0)应用处理，利用其中RGB传感器输出图像(位置对准YUV图像161)的混合比被设置得高并且W传感器输出图像(W原始图像111)的混合比被设置得小的设置来计算经校正的UV信号(Uout，Vout)203。
(2)频率＝高范围，位置偏差＝大，也就是说，图11所示的区域(2)是相关的。
该区域是满足以下条件的区域：
频率对应混合比设置参数：Thf2≤ratioFreq；以及
位置偏差对应混合比设置参数：The1≤ratioErr。注意，Th指示阈值。
具有这些图像特性的图像区域是高频区域，也就是像素值急剧变化的图像区域，同时是位置偏差＝大的图像区域，也就是其中除了与原像素位置对应的像素值之外的像素值被输出(＝被估计为伪色彩的出现)的“位置偏差”大的图像区域。
对于具有这种图像特性的图像区域，具有最低截止频率的低通滤波器(LPF2)被用作上述(公式5)的输出信号计算公式中的LPF，以计算经校正的UV信号(Uout，Vout)203。
通过该低通滤波器(LPF2)应用处理，利用其中RGB传感器输出图像(位置对准YUV图像161)的混合比被设置得低并且W传感器输出图像(W原始图像111)的混合比被设置得高的设置来计算经校正的UV信号(Uout，Vout)203。
(3)作为除了(1)和(2)以外的区域的其他区域，也就是图11中所示的区域(3)是相关的。
对于具有这些图像特性的图像区域，具有中间截止频率的低通滤波器(LPF1)被用作上述(公式5)的输出信号计算公式中的LPF，以计算经校正的UV信号(Uout，Vout)203。
通过该低通滤波器(LPF0)应用处理，在RGB传感器输出图像(位置对准YUV图像161)的混合比与W传感器输出图像(W原始图像111)的混合比具有基本相同的程度的情况下，计算经校正的UV信号(Uout，Vout)203。
图12是概述图11中的处理的图，并且示出了与以下各个数据对应的数据。
(a)图像区域的特性
(b)参数值
(c)应用的滤波器
(d)经校正的UV值(Uout，Vout)
(e)RGB传感器输出图像和W传感器输出图像的混合比设置示例
图12中的条目(1)对应于图11中所示的区域(1)，并且具有以下图像特性和校正处理方法。
(a)图像区域的特性：频率＝低，位置偏差＝小
(b)参数值：频率对应混合比设置参数＝ratioFreq<Thf1，位置偏差对应混合比设置参数＝ratioErr<The1
(c)应用的滤波器：LPF0
(d)经校正的UV值(Uout，Vout)：Uout＝U0＝LPF0(U)，Vout＝V0＝LPF0(V)
(e)RGB传感器输出图像和W传感器输出图像的混合比设置示例：RGB传感器输出>W传感器输出
注意，(d)中的LPF0(U)和LPF0(V)指示将LPF0应用于上述(公式5)中的LPF以计算经校正的UV信号(Uout，Vout)的处理。
图12中的条目(3)对应于图11中所示的区域(3)，并且具有以下图像特性和校正处理方法。
(a)图像区域的特性：频率＝高，位置偏差＝大
(b)参数值：频率对应混合比设置参数被指定为Thf2≤ratioFreq，并且位置偏差对应混合比设置参数被指定为The1≤ratioErr
(c)应用的滤波器：LPF2
(d)经校正的UV值(Uout，Vout)：Uout＝U2＝LPF2(U)，Vout＝V2＝LPF2(V)
(e)RGB传感器输出图像和W传感器输出图像的混合比设置示例：RGB传感器输出<W传感器输出
图12中的条目(2)对应于图11中所示的区域(2)，并且具有以下图像特性和校正处理方法。
(a)图像区域的特性：除(1)和(3)之外
(b)参数值：除(1)和(3)以外
(c)应用的滤波器：LPF1
(d)经校正的UV值(Uout，Vout)：Uout＝U1＝LPF1(U)，Vout＝V1＝LPF1(V)
(e)RGB传感器输出图像和W传感器输出图像的混合比设置示例：RGB传感器输出≈W传感器输出
以这种方式根据图像特性改变所应用的滤波器，使得根据图像特性的混合比，也就是RGB传感器输出图像(位置对准YUV图像161)与W传感器输出图像(W原始图像111)之间的混合比被改变以计算最终的经校正的UV信号(Uout，Vout)203。
注意，根据参照图11和12描述的图像特性的低通滤波器(LPF)的应用处理的示例是示例，并且还可以进行各种其他设置。
例如，图13示出了图像特性的示例以及根据各个图像特性要应用的四个不同低通滤波器(LPF0至LPF3)的应用区域。
四个低通滤波器(LPF0至LPF3)通过截止频率的变化而相互区分开，其中，LPF0的截止频率最高并且LPF3的截止频率最低。
如图13所示，当频率对应混合比设置参数[ratioFreq]或位置偏差对应混合比设置参数[ratioErr]较接近1时，应用具有较低截止频率的LPF，例如，诸如LPF3的LPF。
同时，当频率对应混合比设置参数[ratioFreq]或位置偏差对应混合比设置参数[ratioErr]较接近0时，应用具有较高截止频率的LPF，例如，诸如LPF0的LPF。
图14示出了另外的不同区域对应滤波器的应用示例。图14示出了图像特性的示例以及根据各个图像特性要应用的五个不同低通滤波器(LPF0至LPF4)的应用区域。
五个低通滤波器(LPF0至LPF4)通过截止频率的变化而相互区分开，其中，LPF0的截止频率最高并且LPF4的截止频率最低。
如图14所示，当频率对应混合比设置参数[ratioFreq]或位置偏差对应混合比设置参数[ratioErr]较接近1时，应用具有较低截止频率的LPF，例如，诸如LPF4的LPF。
同时，当频率对应混合比设置参数[ratioFreq]或位置偏差对应混合比设置参数[ratioErr]较接近0时，应用具有较高截止频率的LPF，例如，诸如LPF0的LPF。
[4.关于使用根据图像特征组合的多个不同低通滤波器的图像处理]
接下来，将参照图15和之后的附图来描述要由图像校正单元126执行的经校正的UV信号(Uout，Vout)203的生成处理的另一实施方式。
下面描述的实施方式是使用根据图像特征组合的多个不同低通滤波器来执行图像处理的示例。
下面描述的处理示例是以图像区域为单位根据图像特性来实现图像的上述混合处理的具体处理示例之一。也就是说，这是要由图像校正单元126执行的经校正的UV信号(Uout，Vout)203的生成处理的具体示例，并且是使用根据图像特性组合的多个不同低通滤波器的处理示例。
如图15所示，图像校正单元126接收以下各个数据的输入：
(a)作为第一成像单元107的拍摄图像的W原始图像111；
(b)由位置对准单元123生成的位置对准YUV图像161；
(c)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]；以及
(d)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]。
图像校正单元126接收这些数据的输入并生成经校正的UV信号(Uout，Vout)203以输出到图3所示的图像处理器120中的信号转换单元127，所述经校正的UV信号(Uout，Vout)203是构成其中伪色彩已被减少的经校正的图像(YUV图像)的像素值的色度信号UV的输出信号值。
图像校正单元126例如根据图15的(a)所示的输出信号计算公式来生成经校正的UV信号(Uout，Vout)。
图15的(a)所示的输出信号计算公式是基于上述(公式5)即图9的(a)所示的输出信号计算公式创建的公式。
图15的(a)所示的输出信号计算公式用作通过应用频率对应混合比设置参数[ratioFreq]和位置偏差对应混合比设置参数[ratioErr]来生成经校正的UV信号(Uout，Vout)的根据图像区域特性来改变图像的混合比的公式。
图像校正单元126根据图15的(a)所示的输出信号计算公式即下面指出的(公式7)来生成经校正的UV信号(Uout，Vout)。
[数学公式7]
Uout＝(1-ratioErr)((1-ratioFreq)×U0+ratioFreq×U1)+ratioErr×U2
Vout＝(1-ratioErr)((1-ratioFreq)×V0+ratioFreq×V1)+ratioErr×V2
...(公式7)
注意，在上述(公式7)中，
U0、U1和U2以及V0、V1和V2表示作为应用了多个不同低通滤波器(LPF)的像素值转换结果而获得的UV值。
将参照图16描述上述(公式7)的具体配置。
图16的(a)示出了与图15的(a)所示的公式即上述(公式7)所示的经校正的UV信号(Uout，Vout)的计算公式类似的公式。
参照图16的(b)和图16的(c)，将描述图16的(a)所示的公式中的U0、U1和U2以及V0、V1和V2。
如图16的(b)所示，通过以下(公式8)来计算Un和Vn(n＝0至3)。
[数学公式8]
Figure GDA0002598700750000311
Figure GDA0002598700750000312
上述(公式8)指示对两个图像执行混合处理的公式，这两个图像也就是如在上述(公式5)，也就是参照图9的(a)描述的输出信号计算公式中的：
(a)作为第一成像单元107的拍摄图像的W原始图像111；以及
(b)由位置对准单元123生成的位置对准YUV图像161。
然而，要应用的低通滤波器根据Un和Vn的n值(n＝0至3)而不同。
U0和V0表示通过将低通滤波器LPF0应用于作为输入数据的由位置对准单元123生成的位置对准YUV图像161的UV像素值而获得的UV值。
U1和V1表示通过将低通滤波器LPF1应用于作为输入数据的由位置对准单元123生成的位置对准YUV图像161的UV像素值而获得的UV值。
U2和V2表示通过将低通滤波器LPF2应用于作为输入数据的由位置对准单元123生成的位置对准YUV图像161的UV像素值而获得的UV值。
将参照图16的(c)描述这些低通滤波器。
如图16的(c)所示，作为输入数据的由位置对准单元123生成的位置对准YUV图像161的UV像素值与作为低通滤波器(LPF0至LPF2)的应用结果而获得的滤波处理之后的UV值(U0、U1和U2以及V0、V1和V2)之间的对应关系如下。
U0＝LPF0(U)
V0＝LPF0(V)
U1＝LPF1(U)
V1＝LPF1(V)
U2＝LPF2(U)
V2＝LPF2(V)
三个低通滤波器(LPF0至LPF2)通过截止频率的变化而相互区分开，其中，LPF0的截止频率最高并且LPF2的截止频率最低。
例如，具有以下设置的低通滤波器可以用作相应的低通滤波器：
LPF0是3×3(像素)的移动平均滤波器；
LPF1是13×13(像素)的移动平均滤波器；以及
LPF2是25×25(像素)的移动平均滤波器。
具有这种设置的移动平均滤波器可以用作上述三个低通滤波器(LPF0至LPF2)。
注意，如前所述，移动平均滤波器执行下述处理：计算以校正目标像素为中心的像素区域(n×n，n＝3、13、25等)中的所有像素的平均像素值并将该计算的像素值设置为经校正的像素值。
例如，如上述(公式6)所示来设置3×3的移动平均滤波器的系数设置。
具有以下设置的三种类型的低通滤波器(LPF)，即
作为3×3(像素)的移动平均滤波器的LPF0，
作为13×13(像素)的移动平均滤波器LPF1，以及
作为25×25(像素)的移动平均滤波器的LPF2，
被应用于图像，使得执行如下所述的平滑处理。
当应用LPF0时执行使用较小像素区域(3×3)作为处理单元的平滑处理，而当应用LPF1时执行使用较大像素区域(13×13)作为处理单元的平滑处理，并且当应用LPF2时执行使用更大像素区域(25×25)作为处理单元的平滑处理。
如前所述，
频率对应混合比设置参数[ratioFreq]：
在像素值细微变化的高频区域中，变成较大值即接近1的值；以及
在像素值变化小的平坦图像区域即低频区域中，变成较小值即接近0的值。
另外，位置偏差对应混合比设置参数[ratioErr]：
在位置偏差大(＝存在许多伪色彩)的像素区域中，变成较大值即接近1的值；以及
在位置偏差小(＝存在少量伪色彩)的像素区域中，变成较小值即接近0的值。
例如，上述(式7)如下：
Uout＝(1-ratioErr)((1-ratioFreq)×U0+ratioFreq×U1)+ratioErr×U2
Vout＝(1-ratioErr)((1-ratioFreq)×V0+ratioFreq×V1)+ratioErr×V2
...(公式7)
将参照图17描述如何根据图像特性来设置根据上述(公式7)计算的经校正的UV信号(Uout，Vout)。
图17以横坐标轴指示位置偏差(代表伪色彩量)并且纵坐标轴指示频率的方式示出了各个轴，并且还示出了根据多个代表性图像特性的区域示例1至7。
在下文中，将描述如何根据与区域示例1至7对应的图像特性(位置偏差和频率)来设置根据上述(公式7)计算的经校正的UV信号(Uout，Vout)。
(区域示例1)具有小的位置偏差(少量伪色彩)的像素区域：ratioErr＝0；并且低频区域：ratioFreq＝0
如上所述，对于位置偏差小且像素值的变化小的低频区域，进行以下设置：
Uout＝U0
Vout＝V0。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最高截止频率的LPF0应用于输入UV值(U，V)所获得的像素值被设置为经校正的UV信号(Uout，Vout)。
(区域示例2)具有中等位置偏差(中等数量的伪色彩)的像素区域：ratioErr＝0.5；并且低频区域：ratioFreq＝0
如上所述，对于位置偏差为中等且像素值的变化小的低频区域，进行以下设置：
Uout＝0.5×U0+0.5×U2
Vout＝0.5×V0+0.5×V2。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最高截止频率的LPF0应用于输入UV值(U，V)所获得的像素值和通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最低截止频率的LPF2应用于输入UV值(U，V)所获得的像素值的平均值被设置为经校正的UV信号(Uout，Vout)。
(区域示例3)具有大的位置偏差(许多伪色彩)的像素区域：ratioErr＝1；并且低频区域到高频区域：ratioFreq＝0到1
如上所述，对于位置偏差大的像素区域，进行以下设置：在从低频到高频的整个区域中，
Uout＝U2
Vout＝V2。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最低截止频率的LPF2应用于输入UV值(U，V)所获得的像素值被设置为经校正的UV信号(Uout，Vout)。
(区域示例4)具有小的位置偏差(少量伪色彩)的像素区域：ratioErr＝0；并且中频区域：ratioFreq＝0.5
如上所述，对于位置偏差小且像素值的变化为中等的频率区域，采用以下设置：
Uout＝0.5×U0+0.5×U1
Vout＝0.5×V0+0.5×V1。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最高截止频率的LPF0应用于输入UV值(U，V)所获得的像素值和通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有中等截止频率的LPF1应用于输入UV值(U，V)所获得的像素值的平均值被设置为经校正的UV信号(Uout，Vout)。
(区域示例5)具有中等位置偏差(中等数量的伪色彩)的像素区域：ratioErr＝0.5；并且中频区域：ratioFreq＝0.5
如上所述，对于位置偏差为中等且像素值的变化为中等的频率区域，进行以下设置：
Uout＝0.5×(0.5×U0+0.5×U1)+0.5×U2
Vout＝0.5×(0.5×V0+0.5×V1)+0.5×V2。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最高截止频率的LPF0应用于输入UV值(U，V)所获得的像素值和通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有中等截止频率的LPF1应用于输入UV值(U，V)所获得的像素值的平均值和通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最低截止频率的LPF2应用于输入UV值(U，V)所获得的像素值的平均值被设置为经校正的UV信号(Uout，Vout)。
(区域示例6)具有小的位置偏差(少量伪色彩)的像素区域：ratioErr＝0；并且高频区域：ratioFreq＝1
如上所述，对于位置偏差小且像素值细微变化的高频区域，进行以下设置：
Uout＝U1
Vout＝V1。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有中等截止频率的LPF1应用于输入UV值(U，V)所获得的像素值被设置为经校正的UV信号(Uout，Vout)。
(区域示例7)具有中等位置偏差(中等数量的伪色彩)的像素区域：ratioErr＝0.5；并且高频区域：ratioFreq＝1
如上所述，对于位置偏差为中等且像素值细微变化的高频区域，采用以下设置：
Uout＝0.5×U1+0.5×U2
Vout＝0.5×V1+0.5×V2。
也就是说，通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有中等截止频率的LPF1应用于输入UV值(U，V)所获得的像素值和通过将三个低通滤波器(LPF0、LPF1和LPF2)中的具有最低截止频率的LPF2应用于输入UV值(U，V)所获得的像素值的平均值被设置为经校正的UV信号(Uout，Vout)。
在本实施方式中，如上所述，图像校正单元126根据图15的(a)所示的输出信号计算公式(公式7)生成经校正的UV信号(Uout，Vout)203。
与在经校正的UV信号(Uout，Vout)203的生成处理时由图像校正单元126根据区域的特征所执行的处理的对应关系被概述如下。
在位置偏差大(被估计存在许多伪色彩)的区域中，使用具有低截止频率的低通滤波器LPF2来执行基于较宽范围(例如，25×25像素)内的周围像素的像素值的平滑处理。
在位置偏差小(被估计存在少量伪色彩)的区域中，
对于存在许多高频分量的区域，使用具有中等截止频率的低通滤波器LPF1来执行基于中等范围(例如，13×13像素)内的周围像素的像素值的平滑处理。
同时，对于存在少量高频分量的低频区域，使用具有高截止频率的低通滤波器LPF0来执行基于小范围(例如，3×3像素)内的周围像素的像素值的平滑处理。
在位置偏差为中等(被估计存在一定数量的伪色彩)的区域中，执行在对于位置偏差大(被估计存在许多伪色彩)的区域的上述处理与对于位置偏差小(被估计存在少量伪色彩)的区域的上述处理之间的中间处理。
图像校正单元126根据如上所述的图像区域的特性生成经校正的UV信号(Uout，Vout)203，并将所生成的信号输出到图3所示的图像处理器120中的信号转换单元127。
信号转换单元127接收由图像校正单元126生成的经校正的UV信号(Uout，Vout)203和作为第一成像单元107的拍摄图像的W原始图像111的输入。
信号转换单元127基于这些输入信号执行信号转换，并生成要输出的RGB图像150。
信号转换单元127采用W原始图像111的W信号作为Y(亮度)信号，并执行将由该Y(亮度)信号和经校正的UV信号(Uout，Vout)203的UV信号的组合构成的YUV信号转换成RGB信号的处理。
该信号转换处理根据现有的转换公式执行。
由信号转换单元127生成的RGB图像150被显示在例如显示单元上。替选地，RGB图像150被保存在存储单元中。替选地，RGB图像150被输出到另一外部信息处理装置。
注意，在一些情况下，执行诸如压缩处理的编码处理作为到存储单元的保存处理和外部输出处理的预处理。
另外，将YUV信号转换成RGB信号不是必需的，并且YUV信号可以被配置成被输出到显示装置，或者被保存在存储单元中，或者被原样输出到外部。
[5.关于由图像处理装置执行的图像处理的处理序列]
接下来，将参照图18所示的流程图描述由图像处理装置执行的图像处理的处理序列。
在配备有CPU等的控制单元(数据处理器)的控制下执行图18所示的流程图，所述CPU等例如根据保存在存储单元中的处理程序来执行处理。
在下文中，将依次描述图18中所示的各个步骤中的处理。
(步骤S101a和101b)
步骤S101a和101b是图像拍摄处理。
通过图1所示的成像单元106的第一成像单元107和第二成像单元108拍摄两个图像。
步骤S101a是要由第二成像单元108执行的RGB图像的拍摄处理，第二成像单元108设置有具有诸如先前参照图2的(a)描述的拜耳阵列的RGB像素阵列的成像元件。
步骤S101b是要由第一成像单元107执行的白色(W)图像的拍摄处理，第一成像单元107设置有具有先前参照图2的(b)描述的白色(W)像素阵列的成像元件。
(步骤S102)
接下来，在步骤S102中，执行在步骤S101a中由第二成像单元108拍摄的RGB图像的显影处理。
该处理由图3所示的图像处理器120的显影处理器121执行。
如上所述，显影处理器121对从第二成像单元108输入的RGB原始图像112执行显影处理。具体地，例如，执行以下处理：
(a)钳位处理：去除基于构成成像元件的电路而发生的直流(DC)偏移或基于噪声信号的偏移分量；
(b)去马赛克处理：基于针对RGB原始图像的每个像素设置的RGB单信号值对各个像素设置三个RGB信号；
(c)白平衡处理：相对于白色对象调整RGB值；以及
(d)转换处理：RGB值到YUV值。
执行这些处理。
(步骤S103)
接下来，在步骤S103中，执行运动矢量(MV)的检测处理。
该处理由图3所示的图像处理器120的运动矢量检测单元122执行。
运动矢量检测单元122接收来自第一成像单元107的W图像111的输入，并且还接收由显影处理器121基于作为第二成像单元108的拍摄图像的RGB原始图像112生成的YUV图像130的Y信号(亮度信号)的输入。
基于这两个信号(W信号和Y信号)，运动矢量检测单元122检测表示两个图像之间的位置偏差的运动矢量(MV)。
如前所述，包括在图1所示的图像处理装置100的成像单元106中的第一成像单元107和第二成像单元108用作设置在相互分隔开预定间隔的位置处的两个成像单元，并且获得各个单元的拍摄图像作为来自不同视点的图像。也就是说，获得图像作为具有视差的图像。
因此，在两个图像的对应像素处，即在相同位置处的像素处未拍摄到相同的对象图像，并且出现根据视差的对象偏差。
基于这两个信号(W信号和Y信号)，运动矢量检测单元122检测表示两个图像之间的位置偏差的运动矢量(MV)。
具体地，找到两个图像(W图像和Y图像)的对应点，并且计算连接这些对应点的矢量作为运动矢量(MV)。
由运动矢量检测单元122生成的运动矢量(MV)被输入到位置对准单元123。
(步骤S104)
接下来，在步骤S104中，执行位置对准处理。
该处理是由图3所示的图像处理器120的位置对准单元123执行的处理。
位置对准单元123接收由运动矢量检测单元122生成的运动矢量(MV)的输入，并且还接收由显影处理器121基于RGB原始图像112生成的YUV图像130的输入。
位置对准单元123根据运动矢量(MV)的大小和方向来移动YUV图像130中的每个像素位置以生成W图像，也就是与从与作为第一成像单元107的拍摄图像的W原始图像111的视点位置相同的视点位置拍摄的图像类似的YUV图像。
通过该处理，YUV图像130被转换为被认为是从与第一成像单元107的视点相同的视点拍摄的YUV图像。
(步骤S105)
接下来，在步骤S105中，执行频率对应参数计算处理。
该处理是由图3所示的图像处理器120的频率对应参数计算单元124执行的处理。
如先前参照图4所描述的，频率对应参数计算单元124接收作为第一成像单元107的拍摄图像的W原始图像111以及传感器噪声特性(σ)113的输入，并且基于这些输入数据计算频率对应混合比设置参数以输出到图像校正单元126，频率对应混合比设置参数是用于伪色彩校正的校正参数。
如上参照图5所描述的，频率对应参数计算单元124计算构成作为第一成像单元107的拍摄图像的W原始图像111的所有像素的频率对应混合比设置参数[ratioFreq]并且将所计算的参数输入到图像校正单元126。
(步骤S106)
接下来，在步骤S106中，执行位置偏差对应参数计算处理。
该处理是由图3所示的图像处理器120的位置偏差对应参数计算单元125执行的处理。
如上参照图3和图6至图8所描述的，位置偏差对应参数计算单元125接收作为第一成像单元107的拍摄图像的W原始图像111、由位置对准单元123生成的位置对准之后的YUV图像(即相当于从第一成像单元107的拍摄视点拍摄的图像的YUV图像)以及传感器噪声特性(σ)113的输入，并且基于这些输入数据计算位置偏差对应混合比设置参数以输出到图像校正单元126，位置偏差对应混合比设置参数是用于伪色彩校正的校正参数。
注意，适当地，应当消除作为第一成像单元107的拍摄图像的W原始图像111与由位置对准单元123生成的位置对准之后的YUV图像之间的位置偏差。然而，差异出现在取决于像素位置的每个像素值(W像素值)中。该差异被认为是伪色彩并且在具有这种差异的像素是应当被输出到与原像素值的像素位置不同的像素位置的像素的解释下被描述为“位置偏差对应参数”。
因此，“大的位置偏差”代表“许多伪色彩”，并且“小的位置偏差”代表“少量伪色彩”。
位置偏差对应参数计算单元125根据上述图6中的配置计算位置偏差对应混合比设置参数[ratioErr]。
位置偏差对应混合比设置参数[ratioErr]：
在位置偏差大(＝存在许多伪色彩)的像素区域中，变成较大值即接近1的值；以及
在位置偏差小(＝存在少量伪色彩)的像素区域中，变成较小值即接近0的值。
由位置偏差对应参数计算单元125计算的位置偏差对应混合比设置参数[ratioErr]被输入到图3所示的图像处理器120中的图像校正单元126。
(步骤S107)
步骤S107和S108中的处理是由图3所示的图像处理器120的图像校正单元126执行的处理。
图像校正单元126接收以下各个数据的输入：
(a)作为第一成像单元107的拍摄图像的W原始图像111；
(b)由位置对准单元123生成的位置对准YUV图像161；
(c)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]；以及
(d)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]。
图像校正单元126接收这些数据的输入并且生成作为构成其中伪色彩已被减少的经校正的图像(YUV图像)的像素值的色度信号UV的输出信号值的经校正的UV信号(Uout，Vout)203，以输出到图3所示的图像处理器120中的信号转换单元127。
首先，在步骤S107中，图像校正单元126应用输入数据并应用多个不同的低通滤波器(LPF0、LPF1和LPF2)，具体地为具有相互不同的截止频率的低通滤波器，以生成不同的UV图像，即以上参照图15至图17所述的以下各个UV图像。
U0＝LPF0(U)
V0＝LPF0(V)
U1＝LPF1(U)
V1＝LPF1(V)
U2＝LPF2(U)
V2＝LPF2(V)
三个低通滤波器(LPF0至LPF2)通过截止频率的变化而相互区分开，其中，LPF0的截止频率最高并且LPF2的截止频率最低。
例如，具有以下设置的低通滤波器可以用作相应的低通滤波器：
LPF0是3×3(像素)的移动平均滤波器；
LPF1是13×13(像素)的移动平均滤波器；以及
LPF2是25×25(像素)的移动平均滤波器。
具有这种设置的移动平均滤波器可以用作上述三个低通滤波器(LPF0至LPF2)。
(步骤S108)
接下来，在步骤S108中，图像校正单元126应用在步骤S107中计算的U0至U3和V0至V3以及两个混合比设置参数，即，
(1)由频率对应参数计算单元124生成的频率对应混合比设置参数[ratioFreq]，以及
(2)由位置偏差对应参数计算单元125生成的位置偏差对应混合比设置参数[ratioErr]，
来计算经校正的UV信号(Uout，Vout)203。
如上所述，例如根据以下(公式7)计算该经校正的UV信号(Uout，Vout)的计算处理，即
Uout＝(1-ratioErr)((1-ratioFreq)×U0+ratioFreq×U1)+ratioErr×U2
Vout＝(1-ratioErr)((1-ratioFreq)×V0+ratioFreq×V1)+ratioErr×V2
...(公式7)
替选地，可以采用通过应用图9的(a)所示的上述(公式5)来改变要根据图像特性应用的滤波器的处理。
注意，如上所述，根据以下方法执行由图像校正单元126根据区域的特征执行的经校正的UV信号(Uout，Vout)的计算处理。
(a)在位置偏差大(被估计存在许多伪色彩)的区域中，优先使用具有低截止频率的低通滤波器LPF2来执行基于较宽范围(例如，25×25像素)内的周围像素的像素值的平滑处理。
(b)在位置偏差小(被估计存在少量伪色彩)的区域中，
对于存在许多高频分量的区域，优先使用具有中等截止频率的低通滤波器LPF1来执行基于中等范围(例如，13×13像素)内的周围像素的像素值的平滑处理。
同时，对于存在少量高频分量的低频区域，优先使用具有高截止频率的低通滤波器LPF0来执行基于小范围(例如，3×3像素)内的周围像素的像素值的平滑处理。
(c)在位置偏差为中等(被估计存在一定数量的伪色彩)的区域中，执行在对于位置偏差大(被估计存在许多伪色彩)的区域的上述处理与对于位置偏差小(被估计存在少量伪色彩)的区域的上述处理之间的中间处理。
图像校正单元126根据如上所述的图像区域的特性生成经校正的UV信号(Uout，Vout)203，并将所生成的信号输出到图3所示的图像处理器120中的信号转换单元127。
(步骤S109)
步骤S109中的处理是由图3所示的图像处理器120的信号转换单元127执行的处理。
信号转换单元127接收由图像校正单元126生成的经校正的UV信号(Uout，Vout)203和作为第一成像单元107的拍摄图像的W原始图像111的输入。
信号转换单元127基于这些输入信号执行信号转换，并生成要输出的RGB图像150。
信号转换单元127采用W原始图像111的W信号作为Y(亮度)信号，并执行将由该Y(亮度)信号和经校正的UV信号(Uout，Vout)203的UV信号的组合构成的YUV信号转换成RGB信号的处理。
该信号转换处理根据现有的转换公式执行。
由信号转换单元127生成的RGB图像150被显示在例如显示单元上。替选地，RGB图像150被保存在存储单元中。替选地，RGB图像150被输出到另一外部信息处理装置。
注意，在一些情况下，执行诸如压缩处理的编码处理作为到存储单元的保存处理和外部输出处理的预处理。
另外，将YUV信号转换成RGB信号不是必需的，并且YUV信号可以被配置成被输出到显示装置，或者被保存在存储单元中，或者被原样输出到外部。
通过这样的处理，执行根据图像特性的最佳伪色彩减少处理，并且可以生成具有少量伪色彩的高质量校正图像。
[6.图像处理装置的其他配置示例]
接下来，将描述图像处理装置的其他配置示例。
上述实施方式采用下述配置：在该配置中，例如图3所示的图像处理器120将作为第二成像单元108的拍摄图像的RGB原始图像112输入到显影处理器121以通过对RGB原始图像112应用通过串象处理(stringing elephant process)生成的YUV图像130来执行图像处理。
该显影处理的执行时刻可以是例如在完成图像处理器120的处理之后。替选地，可以进行各种设置，包括例如在完成图像处理器120的处理之后执行显影处理器的一部分处理的配置。
另外，信号转换单元127被配置成执行作为图3所示的图像处理器120的最终阶段处理的从YUV信号到RGB信号的信号转换。然而，如前所述，该处理不是必需的，并且YUV信号可以被配置成被输出到显示装置，或者被保存在存储单元中，或者被原样输出到外部。
[7.本公开内容的配置的概述]
已经参考某些实施方式详细描述了本公开内容的实施方式。然而，不言而喻的是，在不背离本公开内容的精神的情况下，本领域技术人员可以对实施方式进行修改和替换。也就是说，本发明已经以示例的形式被公开，并且不应当被限制性地解释。为了判定本公开内容的精神，应当考虑权利要求部分。
注意，本说明书中公开的技术可以被如下配置。
(1)一种图像处理装置，包括图像处理器，所述图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中，其中，
所述图像处理器包括：
频率对应参数计算单元，接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算单元，接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像和所述彩色图像之间的混合比。
(2)根据(1)所述的图像处理装置，其中，
所述彩色图像是由RGB阵列成像元件拍摄的RGB图像，
所述位置偏差对应参数计算单元接收所述白色(W)图像和基于所述RGB图像生成的YUV图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数，以及
所述图像校正单元执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像和所述YUV图像之间的混合比。
(3)根据(1)或(2)所述的图像处理装置，其中，
所述图像校正单元以图像区域为单位选择性地应用具有不同截止频率的多个不同的低通滤波器(LPF)并且计算经校正的像素值。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，
所述图像校正单元计算：
(a)以所述彩色图像的区域为单位应用低通滤波器(LPF)的LPF应用彩色像素值；以及
(b)通过将所述白色(W)图像的像素值除以以所述白色(W)图像的区域为单位应用低通滤波器(LPF)的值而获得的除法W像素值，以及
通过将所计算的两个值相乘来计算经校正的像素值。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中，
关于要以所述彩色图像的区域为单位应用的低通滤波器(LPF)，
所述图像校正单元：
在高频区域中，优先应用具有相对低截止频率的低通滤波器；以及
在低频区域中，优先应用具有相对高截止频率的低通滤波器。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中，
关于要以所述彩色图像的区域为单位应用的低通滤波器(LPF)，
所述图像校正单元：
在位置偏差大的区域中，优先应用具有相对低截止频率的低通滤波器；以及
在位置偏差小的区域中，优先应用具有相对高截止频率的低通滤波器。
(7)根据(2)所述的图像处理装置，其中，
所述图像校正单元计算：
(a)以YUV图像的区域为单位应用低通滤波器(LPF)的LPF应用YUV像素值；以及
(b)通过将所述白色(W)图像的像素值除以以所述白色(W)图像的区域为单位应用低通滤波器(LPF)的值而获得的除法W像素值，以及
通过将所计算的两个值相乘来计算经校正的像素值。
(8)根据(2)所述的图像处理装置，其中，
所述图像校正单元以所述YUV图像的图像区域为单位计算根据以下校正像素值计算公式所计算的UV值(Uout，Vout)作为经校正的像素值：
Uout＝LPF(U)×(W/LPF(W))；以及
Vout＝LPF(V)×(W/LPF(W))。
(9)根据(8)所述的图像处理装置，其中，
关于要应用于所述校正像素值计算公式的低通滤波器(LPF)，
所述图像校正单元：
在高频区域中，优先应用具有相对低截止频率的低通滤波器；以及
在低频区域中，优先应用具有相对高截止频率的低通滤波器。
(10)根据(8)或(9)所述的图像处理装置，其中，
关于要应用于所述校正像素值计算公式的低通滤波器(LPF)，
所述图像校正单元：
在位置偏差大的区域中，优先应用具有相对低截止频率的低通滤波器；以及
在位置偏差小的区域中，优先应用具有相对高截止频率的低通滤波器。
(11)根据(1)至(10)中任一项所述的图像处理装置，其中，
所述图像处理器包括位置对准单元，所述位置对准单元执行所述彩色图像与所述白色(W)图像之间的位置对准，以及
所述位置偏差对应参数计算单元接收所述白色(W)图像和由所述位置对准单元生成的位置对准之后的彩色图像的输入，并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数。
(12)根据(11)所述的图像处理装置，其中，
所述图像处理器包括运动矢量检测单元，所述运动矢量检测单元接收所述彩色图像和所述白色(W)图像的输入并且检测两个图像之间的运动矢量，以及
所述位置对准单元使用所述运动矢量来执行所述彩色图像与所述白色(W)图像之间的位置对准。
(13)根据(12)所述的图像处理装置，其中，
所述运动矢量检测单元检测表示基于视差的图像之间的位置偏差的运动矢量，所述视差与所述彩色图像的成像单元与所述白色(W)图像的成像单元之间的拍摄位置的偏差对应。
(14)一种成像装置，包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色(W)图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，其中，
所述图像处理器包括：
频率对应参数计算单元，接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算单元，接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像和所述彩色图像之间的混合比。
(15)一种在图像处理装置中执行的图像处理方法，
所述图像处理装置包括图像处理器，所述图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中，
所述图像处理方法包括：
由所述图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像与所述彩色图像之间的混合比。
(16)一种在成像装置中执行的图像处理方法，
所述成像装置包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色(W)图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，
所述图像处理方法包括：
由所述第一成像单元和所述第二成像单元拍摄所述白色(W)图像和所述彩色图像；以及
由所述图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像与所述彩色图像之间的混合比。
(17)一种使图像处理装置执行图像处理的程序，
所述图像处理装置包括图像处理器，所述图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中，
所述程序使所述图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像与所述彩色图像之间的混合比。
(18)一种使成像装置执行图像处理的程序，
所述成像装置包括：
第一成像单元，具有W阵列成像元件并且拍摄白色(W)图像，所述W阵列成像元件的所有像素被置于白色(W)像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色(W)图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，
所述程序使：
所述第一成像单元和所述第二成像单元拍摄所述白色(W)图像和所述彩色图像；以及
所述图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收所述白色(W)图像的输入并且以图像区域为单位计算所述白色(W)图像的频率对应参数；
位置偏差对应参数计算处理：接收所述白色(W)图像和所述彩色图像的输入并且以图像区域为单位计算所输入的两个图像的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色(W)图像与所述彩色图像之间的混合比。
另外，说明书中描述的一系列处理可以通过硬件、软件或两者的复杂配置来执行。在通过软件执行处理的情况下，记录处理序列的程序可以被安装在包含在专用硬件中的计算机内的存储器上并且被执行，或者程序可以被安装在能够执行各种处理的通用计算机上并且被执行。例如，程序可以被预先记录在记录介质中。除了从记录介质安装到计算机之外，程序还可以经由诸如局域网(LAN)或因特网的网络来接收并且安装在诸如内置硬盘的记录介质上。
注意，说明书中描述的各种处理不仅以根据描述的时间序列来执行，而且可以根据执行处理的装置的处理能力或根据需要并行或单独地执行。另外，在本说明书中，术语“***”指的是多个装置的逻辑组配置，并且不限于其中具有各自配置的装置被容纳在同一壳体中的***。
工业实用性
如上所述，根据本公开内容的实施方式的配置，实现了以图像区域为单位根据彩色图像的图像特性来执行伪色彩校正的装置和方法。
具体地，其中包括图像处理器，该图像处理器接收彩色图像和由W阵列成像元件拍摄的白色(W)图像的输入并且执行减少在彩色图像中包括的伪色彩的图像处理，W阵列成像元件的所有像素被置于白色(W)像素阵列中。结合接收白色(W)图像的输入并且以图像区域为单位计算频率对应参数的频率对应参数计算单元以及接收白色(W)图像和彩色图像的输入并且以图像区域为单位计算两个输入图像的位置偏差对应参数的位置偏差对应参数计算单元，图像处理器执行混合处理并且计算经校正的像素值，在混合处理中，根据频率对应参数和位置偏差对应参数的值来控制白色(W)图像和彩色图像之间的混合比。
通过这些处理，实现了以图像区域为单位根据彩色图像的图像特性来执行伪色彩校正的装置和方法，并且可以生成并输出其中伪色彩被去除或减少的高质量图像。
附图标记列表
100 图像处理装置
101 控制单元
102 存储单元
103 编解码器
104 输入单元
105 输出单元
106 成像单元
107 第一成像单元
108 第二成像单元
111 W原始图像
112 RGB原始图像
113 传感器噪声特性(σ)
120 图像处理器
121 显影处理器
122 运动矢量检测单元
123 位置对准单元
124 频率对应参数计算单元
125 位置偏差对应参数计算单元
126 图像校正单元
127 信号转换单元
150 RGB图像
151 相邻像素像素值差异绝对值计算单元
152 动态范围(DR)计算单元
153 频率参数计算单元
154 加法单位
155 混合比计算单元
161 位置对准YUV图像
162 基于YUV图像的W图像
163 经像素值调整的基于YUV图像的W图像
164 差异图像
171 信号转换单元
172 第一区域单位像素值加法单元
173 第二区域单位像素值加法单位
174 区域单位像素非计算单元
175 乘法单元
176 差异计算单位
201 频率对应混合比设置参数
202 位置偏差对应混合比设置参数
203 经校正的UV信号

Claims (18)

1.一种图像处理装置，包括图像处理器，所述图像处理器接收彩色图像和由白色阵列成像元件拍摄的白色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述白色阵列成像元件的所有像素被置于白色像素阵列中，其中，
所述图像处理器包括：
频率对应参数计算单元，接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算单元，接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像和所述彩色图像之间的混合比。
2.根据权利要求1所述的图像处理装置，其中，
所述彩色图像是由RGB阵列成像元件拍摄的RGB图像，
所述位置偏差对应参数计算单元接收所述白色图像和基于所述RGB图像生成的YUV图像的输入并且以像素为单位计算所输入的两个图像的位置偏差对应参数，以及
所述图像校正单元执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像和所述YUV图像之间的混合比。
3.根据权利要求1所述的图像处理装置，其中，
所述图像校正单元以像素为单位选择性地将具有不同截止频率的多个不同的低通滤波器应用于所述白色图像和所述彩色图像二者，并且计算经校正的像素值。
4.根据权利要求1所述的图像处理装置，其中，
所述图像校正单元计算：
(a)以所述彩色图像的像素为单位应用低通滤波器的低通滤波器应用彩色像素值；以及
(b)通过将所述白色图像的像素值除以以所述白色图像的像素为单位应用低通滤波器的值而获得的除法白色像素值，以及
通过将所计算的两个值相乘来计算经校正的像素值。
5.根据权利要求1所述的图像处理装置，其中，
关于要以所述彩色图像的像素为单位应用的低通滤波器，
所述图像校正单元：
在高频区域中，优先应用具有相对低截止频率的低通滤波器；以及
在低频区域中，优先应用具有相对高截止频率的低通滤波器。
6.根据权利要求1所述的图像处理装置，其中，
关于要以所述彩色图像的像素为单位应用的低通滤波器，
所述图像校正单元：
在位置偏差大的区域中，优先应用具有相对低截止频率的低通滤波器；以及
在位置偏差小的区域中，优先应用具有相对高截止频率的低通滤波器。
7.根据权利要求2所述的图像处理装置，其中，
所述图像校正单元计算：
(a)以YUV图像的像素为单位应用低通滤波器的低通滤波器应用YUV像素值；以及
(b)通过将所述白色图像的像素值除以以所述白色图像的像素为单位应用低通滤波器的值而获得的除法白色像素值，以及
通过将所计算的两个值相乘来计算经校正的像素值。
8.根据权利要求2所述的图像处理装置，其中，
所述图像校正单元以所述YUV图像的像素为单位计算根据以下校正像素值计算公式所计算的UV值Uout，Vout作为经校正的像素值：
Uout＝LPF(U)×(W/LPF(W))；以及
Vout＝LPF(V)×(W/LPF(W))。
9.根据权利要求8所述的图像处理装置，其中，
关于要应用于所述校正像素值计算公式的低通滤波器，
所述图像校正单元：
在高频区域中，优先应用具有相对低截止频率的低通滤波器；以及
在低频区域中，优先应用具有相对高截止频率的低通滤波器。
10.根据权利要求8所述的图像处理装置，其中，
关于要应用于所述校正像素值计算公式的低通滤波器，
所述图像校正单元：
在位置偏差大的区域中，优先应用具有相对低截止频率的低通滤波器；以及
在位置偏差小的区域中，优先应用具有相对高截止频率的低通滤波器。
11.根据权利要求1所述的图像处理装置，其中，
所述图像处理器包括位置对准单元，所述位置对准单元执行所述彩色图像与所述白色图像之间的位置对准，以及
所述位置偏差对应参数计算单元接收所述白色图像和由所述位置对准单元生成的位置对准之后的彩色图像的输入，并且以像素为单位计算所输入的两个图像的位置偏差对应参数。
12.根据权利要求11所述的图像处理装置，其中，
所述图像处理器包括运动矢量检测单元，所述运动矢量检测单元接收所述彩色图像和所述白色图像的输入并且检测两个图像之间的运动矢量，以及
所述位置对准单元使用所述运动矢量来执行所述彩色图像与所述白色图像之间的位置对准。
13.根据权利要求12所述的图像处理装置，其中，
所述运动矢量检测单元检测表示基于视差的图像之间的位置偏差的运动矢量，所述视差与所述彩色图像的成像单元与所述白色图像的成像单元之间的拍摄位置的偏差对应。
14.一种成像装置，包括：
第一成像单元，具有白色阵列成像元件并且拍摄白色图像，所述白色阵列成像元件的所有像素被置于白色像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，其中，
所述图像处理器包括：
频率对应参数计算单元，接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算单元，接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
图像校正单元，执行混合处理并且计算经校正的像素值，在所述混合处理中，根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像和所述彩色图像之间的混合比。
15.一种在图像处理装置中执行的图像处理方法，
所述图像处理装置包括图像处理器，所述图像处理器接收彩色图像和由白色阵列成像元件拍摄的白色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述白色阵列成像元件的所有像素被置于白色像素阵列中，
所述图像处理方法包括：
由所述图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算处理：接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像与所述彩色图像之间的混合比。
16.一种在成像装置中执行的图像处理方法，
所述成像装置包括：
第一成像单元，具有白色阵列成像元件并且拍摄白色图像，所述白色阵列成像元件的所有像素被置于白色像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，
所述图像处理方法包括：
由所述第一成像单元和所述第二成像单元拍摄所述白色图像和所述彩色图像；以及
由所述图像处理器通过执行以下处理来计算经校正的像素值：
频率对应参数计算处理：接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算处理：接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像与所述彩色图像之间的混合比。
17.一种存储有使图像处理装置执行图像处理的程序的计算机可读存储介质，
所述图像处理装置包括图像处理器，所述图像处理器接收彩色图像和由白色阵列成像元件拍摄的白色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，所述白色阵列成像元件的所有像素被置于白色像素阵列中，
所述程序使所述图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算处理：接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像与所述彩色图像之间的混合比。
18.一种存储有使成像装置执行图像处理的程序的计算机可读存储介质，
所述成像装置包括：
第一成像单元，具有白色阵列成像元件并且拍摄白色图像，所述白色阵列成像元件的所有像素被置于白色像素阵列中；
第二成像单元，具有RGB阵列成像元件并且拍摄彩色图像，所述RGB阵列成像元件具有RGB像素阵列；以及
图像处理器，接收所述白色图像和所述彩色图像的输入并且执行减少在所述彩色图像中包括的伪色彩的图像处理，
所述程序使：
所述第一成像单元和所述第二成像单元拍摄所述白色图像和所述彩色图像；以及
所述图像处理器执行通过执行以下处理来计算经校正的像素值的处理：
频率对应参数计算处理：接收所述白色图像的输入并且以像素为单位计算与所述白色图像的每个像素对应的频率对应参数；
位置偏差对应参数计算处理：接收所述白色图像和所述彩色图像的输入并且以像素为单位计算与所输入的两个图像的每个像素对应的位置偏差对应参数；以及
混合处理：根据所述频率对应参数和所述位置偏差对应参数的值来控制所述白色图像与所述彩色图像之间的混合比。
CN201680083059.9A 2016-03-09 2016-12-05 图像处理装置、成像装置、图像处理方法和存储介质 Expired - Fee Related CN108702494B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-045224 2016-03-09
JP2016045224 2016-03-09
PCT/JP2016/086062 WO2017154293A1 (ja) 2016-03-09 2016-12-05 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN108702494A CN108702494A (zh) 2018-10-23
CN108702494B true CN108702494B (zh) 2020-12-04

Family

ID=59789299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680083059.9A Expired - Fee Related CN108702494B (zh) 2016-03-09 2016-12-05 图像处理装置、成像装置、图像处理方法和存储介质

Country Status (5)

Country Link
US (1) US11202045B2 (zh)
EP (1) EP3429197B1 (zh)
JP (1) JP6825617B2 (zh)
CN (1) CN108702494B (zh)
WO (1) WO2017154293A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019111529A1 (ja) * 2017-12-08 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 画像処理装置および画像処理方法
WO2022011506A1 (zh) * 2020-07-13 2022-01-20 深圳市汇顶科技股份有限公司 图像处理的方法和图像处理装置
US11910121B2 (en) * 2021-01-26 2024-02-20 Zf Friedrichshafen Ag Converting dual-context video data to full color video
CN113870146B (zh) * 2021-10-15 2024-06-25 中国大恒(集团)有限公司北京图像视觉技术分公司 一种彩色相机图像边缘伪彩的校正方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6614471B1 (en) 1999-05-10 2003-09-02 Banctec, Inc. Luminance correction for color scanning using a measured and derived luminance value
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4144630B2 (ja) * 2006-04-14 2008-09-03 ソニー株式会社 撮像装置
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5454075B2 (ja) * 2009-10-20 2014-03-26 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
JP2013066146A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8837853B2 (en) * 2011-09-06 2014-09-16 Sony Corporation Image processing apparatus, image processing method, information recording medium, and program providing image blur correction
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
JP2013219705A (ja) * 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6020556B2 (ja) * 2012-04-24 2016-11-02 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013239904A (ja) * 2012-05-15 2013-11-28 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP6019964B2 (ja) * 2012-09-10 2016-11-02 株式会社リコー 画像処理装置及びそれを搭載した撮像装置、並びに画像処理方法
JP2015035782A (ja) * 2013-08-09 2015-02-19 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
KR102144394B1 (ko) 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR101781766B1 (ko) * 2013-10-29 2017-09-25 가부시키가이샤 히다치 고쿠사이 덴키 영상 신호의 노이즈 제거 회로 및 영상 신호의 노이즈 제거 방법
JP6276569B2 (ja) * 2013-12-02 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
US9654700B2 (en) * 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US9712792B2 (en) * 2015-08-10 2017-07-18 Samsung Electronics Co., Ltd. RGB-RWB dual images by multi-layer sensors towards better image quality
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN111247554B (zh) * 2017-11-06 2023-05-23 Eizo株式会社 图像处理装置、图像处理方法以及记录介质

Also Published As

Publication number Publication date
EP3429197A1 (en) 2019-01-16
EP3429197A4 (en) 2019-03-06
JPWO2017154293A1 (ja) 2019-01-10
US11202045B2 (en) 2021-12-14
WO2017154293A1 (ja) 2017-09-14
US20210076017A1 (en) 2021-03-11
JP6825617B2 (ja) 2021-02-03
EP3429197B1 (en) 2020-05-06
CN108702494A (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
US10547772B2 (en) Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
EP2642757B1 (en) Imaging systems with clear filter pixels
TWI407800B (zh) 馬賽克影像的改良處理
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US8797421B2 (en) System and method to selectively combine images
US9055227B2 (en) Scene adaptive brightness/contrast enhancement
US8111300B2 (en) System and method to selectively combine video frame image data
US7969480B2 (en) Method of controlling auto white balance
US8457433B2 (en) Methods and systems for image noise filtering
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
EP2523160A1 (en) Image processing device, image processing method, and program
JP2009153013A (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8675102B2 (en) Real time denoising of video
EP2638696A1 (en) Image processing apparatus and control method of the same
WO2019146418A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP2421239B1 (en) Image processing apparatus and method for applying film grain effects
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2005354585A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US9635330B2 (en) Image processing device, image processing method, and program
Lee et al. An efficient demosaiced image enhancement method for a low cost single-chip CMOS image sensor
TW201408083A (zh) 可調適抑制錯色假影的系統及方法
TW201737703A (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201204

CF01 Termination of patent right due to non-payment of annual fee