CN104041021B - 图像处理装置及方法以及摄像装置 - Google Patents

图像处理装置及方法以及摄像装置 Download PDF

Info

Publication number
CN104041021B
CN104041021B CN201280065020.6A CN201280065020A CN104041021B CN 104041021 B CN104041021 B CN 104041021B CN 201280065020 A CN201280065020 A CN 201280065020A CN 104041021 B CN104041021 B CN 104041021B
Authority
CN
China
Prior art keywords
colour mixture
pixel
parameter
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280065020.6A
Other languages
English (en)
Other versions
CN104041021A (zh
Inventor
林健吉
入江公祐
仓桥秀和
田中诚二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104041021A publication Critical patent/CN104041021A/zh
Application granted granted Critical
Publication of CN104041021B publication Critical patent/CN104041021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本发明的一方面所涉及的图像处理方法中，准备存储单元(26)，所述存储单元(26)存储包含多个颜色的像素的马赛克图像的与混色校正的对象像素相邻的周边像素的混色率，即存储与分别表示周边像素的方位方向和颜色的第一参数和第二参数的组合相对应的混色率，取得任意的对象像素及其周边像素的色信号，并基于周边像素的方位方向和颜色从存储单元读出对应的混色率，基于对象像素及其周边像素的色信号和周边像素的混色率除去任意的对象像素所含的混色成分。

Description

图像处理装置及方法以及摄像装置
技术领域
本发明涉及图像处理装置及方法以及摄像装置，尤其涉及对与单板的摄像元件上配置的滤色器排列对应的马赛克图像的各像素间的混色等的影响进行排除的技术。
背景技术
通常，在具有马赛克状的滤色器排列的摄像元件中，产生由来自相邻的像素的光的漏入引起的混色。
若对混色多的RGB的色信号进行数字信号处理而生成图像，则颜色再现性(画质)降低。另外，存在不能根据混色多的RGB的色信号精度良好地算出白平衡(WB)校正用的WB增益的问题。
以往，作为从包含混色成分的色信号除去混色成分的技术，存在专利文献1、2记载的技术。
专利文献1记载的信号处理装置设为，对校正对象像素的信号，基于与该校正对象像素在周边相邻的4个周围像素的各信号，使用校正参数Ka、Kb、Kc、Kd而进行混色校正处理。上述4个的校正参数Ka、Kb、Kc、Kd能够分别独立地设定。由此，即使相对于注目像素来自周围像素的混色存在方向性，也能够实现与该方向性对应的混色校正。
专利文献2记载的摄像装置具有系数表，该系数表将多个像素沿行方向及列方向排列而得到的像素排列中的每个像素位置和与从周边像素向该像素混入的信号成分相关的校正系数建立对应地存储。专利文献2记载的摄像装置设为，根据校正对象像素的位置从所述系数表读出对应的校正系数，使用校正对象像素的周边像素的信号和校正系数来对校正对象像素的信号进行校正。
专利文献1：特开2007－142697号公报
专利文献2：特开2010－130583号公报
发明内容
发明要解决的课题
专利文献1记载的发明的特征在于如下结构：能够对与校正对象像素在周边相邻的4个周围像素分别独立地设定4个校正参数Ka、Kb、Kc、Kd。在混色各向同性地发生的情况(没有方向性的情况下)，能够将所述校正参数Ka、Kb、Kc、Kd设定为相同的值，在存在方向性的情况下，能够设定为与其方向性对应的值。能够从外部(相机控制部)实时地对这些校正参数Ka、Kb，Kc、Kd进行校正。然而，专利文献1不存在表示对各个校正对象像素的位置如何对校正参数Ka、Kb、Kc、Kd进行控制的记载。
专利文献2记载的发明中设置有系数表，该系数表将传感器面内的每个像素的位置和与从周边像素向该像素混入的信号成分相关的校正系数建立对应而存储，因此能够对传感器面内的每个像素位置使用适当的校正系数。然而，该情况下，存在校正系数的数据量变得庞大的问题。另外，在专利文献2具有替代系数表而存储关系式来降低数据量的记载。然而，存在如下问题：在校正系数的传感器面内的变化不适于特定的关系式的情况下无法算出适当的校正系数。
本发明鉴于这种情形而提出，目的在于提供图像处理装置及方法以及摄像装置，不依赖于马赛克图像(滤色器排列)的种类而能够使预先存储的混色率的数据量为最小限，并能够良好地进行混色校正。
用于解决课题的方法
为了达到上述目的，本发明的一方面所涉及的图像处理装置具备：图像获取单元，取得包含多个颜色的像素的马赛克图像；存储单元，是存储来自与马赛克图像的混色校正的对象像素相邻的各周边像素的混色率的存储单元，存储与表示周边像素的方位方向的第一参数和表示周边像素的颜色的第二参数的组合对应的混色率；及混色校正单元，从由图像获取单元取得的马赛克图像的各像素的色信号除去该色信号所含的来自周边像素的混色成分，混色校正单元在任意的对象像素的混色校正时取得该对象像素的色信号及其周边像素的色信号，并且基于周边像素的方位方向及颜色从存储单元读出对应的混色率，基于混色校正的对象像素的色信号及与该对象像素相邻的各周边像素的色信号和读出的各周边像素的混色率除去任意的对象像素所含的混色成分。
根据本发明的一方面，基于与混色校正的对象像素相邻的多个周边像素的色信号和该色信号对混色的影响(混色率)，任意地除去对象像素所含的来自周边像素的混色成分。各周边像素的混色率根据相对于对象像素，周边像素是方位方向(例如上下左右方向)的哪个方向的像素或者该周边像素的颜色是何种颜色来决定。这是因为：混色的影响依赖于周边像素的方位方向及颜色。存储单元存储与表示周边像素的方位方向的第一参数和表示周边像素的颜色的第二参数的组合对应的混色率。在任意的对象像素的混色校正时，对该对象像素的每个周边像素，基于该周边像素的方位方向及颜色从存储单元读出对应的混色率。
无论马赛克图像(滤色器排列)的种类如何，只要在存储单元存储将周边像素的方位方向数和周边像素的颜色数组合而得到的数量的混色率即可，能够使预先存储的混色率的数据量为最小限。
本发明的另一方面所涉及的图像处理装置中，优选为，马赛克图像包含由M×N(M、N是2以上的整数且至少一方为3以上)像素构成的基本排列图案的像素组，是该基本排列图案的像素组在水平以及垂直方向上重复配置而得到的图像。
如前述的那样预先存储于存储单元的混色率不依赖于马赛克图像的种类，因此越是基本排列图案的像素尺寸大且复杂的马赛克图像，能够得到越大的效果。
本发明的又一方面所涉及的图像处理装置中，混色校正单元包含基于马赛克图像上的任意的对象像素的位置而取得与该对象像素对应的各周边像素的第一参数、第二参数的参数获取单元，并基于取得的第一参数、第二参数从存储单元读出对应的混色率。即，如果对对象像素的位置进行特别指定，则也能够取得与该对象像素的周边像素相关的第一参数、第二参数，并能够从存储单元读出与这些第一参数、第二参数对应的混色率。
本发明的又一方面所涉及的图像处理装置中，马赛克图像是从摄像元件输出的图像，该摄像元件具有每预定的像素组共有放大器的元件构造，存储单元将表示混色校正的对象像素是共有放大器的像素组内的哪一个位置的像素的位置信息作为第三参数，存储与第一参数、第二参数及第三参数的组合对应的混色率，参数获取单元基于马赛克图像上的任意的对象像素的位置而对每个周边像素取得第一参数、第二参数及第三参数，混色校正单元基于取得的第一参数、第二参数及第三参数，对每个周边像素从存储单元读出对应的混色率。
具有每预定的像素组共有放大器的元件构造的摄像元件根据放大器与各像素的位置关系而在输出特性方面产生差异。存储单元存储将该差异也考虑在内的混色率。即，存储单元将表示共有放大器的像素组内的对象像素的位置(本像素位置)的位置信息作为第三参数，存储与第一参数、第二参数及第三参数的组合对应的混色率。混色校正单元基于与对象像素关联而取得的第一参数、第二参数、第三参数，对对象像素的每个周边像素从存储单元读出对应的混色率，在对象像素的混色校正中使用。
本发明的又一方面所涉及的图像处理装置中，优选为，存储单元对将马赛克图像的整个区域分割为多个分割区域时的每个分割区域存储混色率，混色校正单元根据对象像素的位置包含于多个分割区域中的哪一个分割区域中而从存储单元读出对应的混色率。在马赛克图像的中央部和周边部，被拍摄体光向摄像元件的各像素的入射角不同，因此混色率不同。因此，能够将马赛克图像的整个区域分割为多个分割区域，并按每个分割区域变更混色率。
本发明的又一方面所涉及的图像处理装置中，混色校正单元对与混色校正的对象像素相邻的各周边像素的色信号和从存储单元读出的对周边像素的每个位置所设定的混色率进行积和运算而算出混色成分，从对象像素的色信号减去算出的混色成分。
本发明的又一方面所涉及的图像处理装置中，优选为，还具备：白平衡增益计算单元，基于由混色校正单元除去了混色成分的马赛克图像的各像素的色信号算出白平衡增益；及白平衡校正单元，基于由白平衡增益计算单元算出的白平衡增益，对由混色校正单元除去了混色成分的马赛克图像的各像素的色信号进行白平衡校正。由于设为基于混色校正后的马赛克图像来算出白平衡(WB)校正用的WB增益，因此能够算出排除了混色等的影响的适当的WB增益。由此，能够良好地进行白平衡校正。
本发明的又一方面所涉及的图像处理方法包括：图像获取工序，取得包含多个颜色的像素的马赛克图像；准备存储单元的工序，所述存储单元是存储来自与马赛克图像的混色校正的对象像素相邻的各周边像素的混色率的存储单元，存储与表示周边像素的方位方向的第一参数和表示周边像素的颜色的第二参数的组合对应的混色率；及混色校正工序，从由图像获取工序取得的马赛克图像的各像素的色信号中除去该色信号所含的来自周边像素的混色成分，混色校正工序在任意的对象像素的混色校正时取得该对象像素的色信号及其周边像素的色信号，并且基于周边像素的方位方向和颜色从存储单元读出对应的混色率，并基于混色校正的对象像素的色信号及与该对象像素相邻的各周边像素的色信号和读出的各周边像素的混色率，除去任意的对象像素所含的混色成分。
本发明的又一方面所涉及的摄像装置具备：摄像单元，包含摄影光学***和经由该摄影光学***使被拍摄体像成像的摄像元件；图像获取单元，取得从摄像单元输出的马赛克图像；及前述的图像处理装置。
本发明的又一方面所涉及的摄像装置中，优选为，摄像元件在由排列于水平方向及垂直方向的光电转换元件构成的多个像素上配置预定的滤色器排列的滤色器，滤色器排列包含第一滤光片和第二滤光片排列而成的预定的基本排列图案，第一滤光片与一种颜色以上的第一色对应，第二滤光片与用于获得亮度信号的贡献率比第一色低的两种颜色以上的第二色对应，基本排列图案在水平及垂直方向上重复配置，基本排列图案是与M×N(M、N是2以上的整数，至少一方为3以上)像素对应的排列图案。从具有上述滤色器排列的摄像元件输出的马赛克图像成为颜色的组合复杂的马赛克图像，但是预先存储于存储单元的混色率不依赖于马赛克图像的种类，因此即使基本排列图案的像素尺寸较大也没有问题。
本发明的又一方面所涉及的摄像装置中，优选为，第一滤光片在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置1个以上，与第二色的各色对应的第二滤光片在基本排列图案内在滤色器排列的水平及垂直方向的各行内配置1个以上，与第一滤光片对应的第一色的像素数的比率比与第二滤光片对应的第二色的各色的像素数的比率大。
若将上述滤色器排列做成摄像元件，那么由于设为将与最有助于获得亮度信号的第一色对应的第一滤光片配置在滤色器排列的水平、垂直、斜右上及斜右下方向的各行内，因此能够提高高频区域中的去马赛克算法处理的再现精度。另外，即使对于与第一色以外的两种颜色以上的第二色对应的第二滤光片，由于也设为在基本排列图案内在滤色器排列的水平及垂直方向的各行内配置1个以上，因此能够降低彩色莫尔条纹(伪色)的发生并实现高分辨率化。另外，滤色器排列中，预定的基本排列图案在水平方向及垂直方向上重复配置，因此进行后段的去马赛克算法处理时能够按照重复图案而进行处理。此外，使与第一滤光片对应的第一色的像素数和与第二滤光片对应的第二色的各色的像素数的比率不同，特别是使最有助于获得亮度信号的第一色的像素数的比率比与第二滤光片对应的第二色的各色的像素数的比率大，能够抑制混叠现象，高频再现性也良好。
本发明的又一方面所涉及的摄像装置中，优选为，基本排列图案是与3×3像素对应的正方排列图案，在中心和4角配置有所述第一滤光片。
本发明的又一方面所涉及的摄像装置中，优选为，第一色是绿(G)色，第二色是红(R)色以及蓝(B)色，预定的基本排列图案是与6×6像素对应的正方排列图案，滤光片排列由第一排列和第二排列交替地排列于水平方向以及垂直方向上而构成，第一排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，第二排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片。
本发明的又一方面所涉及的摄像装置中，优选为，摄像元件具有每预定的像素组共有放大器的元件构造，预定的像素组具有K×L(K≤M，L≤N，K、L是自然数)的像素的尺寸。
发明效果
根据本发明，设为将与对混色校正的对象像素的色信号所含的混色成分的大小产生影响的多个参数的组合对应的混色率预先存储在存储单元，在任意的对象像素的混色校正时，分别从存储单元读出相邻的各周边像素的混色率而用于混色校正。由此，能够不依赖于马赛克图像(滤色器排列)的种类地使预先存储的混色率的数据量为最小限，能够良好地进行混色校正。
附图说明
图1是表示本发明所涉及的摄像装置的实施方式的框图。
图2是表示配置于摄像元件的马赛克状的新型的滤色器排列的图。
图3是关于将图2所示的基本排列图案四分为3×3像素的状态而表示的图。
图4是表示图1所示的图像处理部的内部结构的主要部分框图。
图5是用于对混色校正进行说明的图。
图6是表示2×2的4像素共有一个放大器的摄像元件的一例的图。
图7是对表示混色率的校正表的一例进行表示的图表。
图8是表示马赛克图像的8×8的分割区域的图。
图9是对图4所示的混色校正部的内部结构的实施方式进行表示的框图。
图10是表示本发明所涉及的图像处理方法的实施方式的流程图。
图11是表示具备R滤光片(红滤光片)、G1滤光片(第一绿滤光片)、G2滤光片(第二绿滤光片)及B滤光片(蓝滤光片)的摄像元件的分光灵敏度特性的曲线图。
图12是表示具备R滤光片、G滤光片、B滤光片以及W滤光片(透明滤光片)的摄像元件的分光灵敏度特性的曲线图。
图13是表示具备R滤光片、G滤光片、B滤光片以及E滤光片(翠绿色滤光片)的摄像元件的分光灵敏度特性的曲线图。
具体实施方式
以下，根据附图对本发明所涉及的图像处理装置及方法以及摄像装置的实施方式进行详细说明。
〔摄像装置的实施方式〕
图1是表示本发明所涉及的摄像装置的实施方式的框图。
该摄像装置10是将拍摄到的图像记录在内部存储器(存储器部26)或外部的记录介质(未图示)的数码相机，装置整体的动作由中央处理装置(CPU)12统一控制。
在摄像装置10设有包含快门按钮(快门开关)、模式盘、重放按钮，MENU/OK键、十字键、变焦按钮、BACK键等的操作部14。来自该操作部14的信号被输入到CPU12，CPU12基于输入信号而对摄像装置10的各电路进行控制，例如，经由设备控制部16对透镜部18、快门20、作为图像获取单元而发挥功能的摄像元件22进行控制，并且进行摄影动作控制、图像处理控制、图像数据的记录/重放控制、显示部25的显示控制等。
透镜部18包含聚焦透镜、变焦透镜、光圈等，通过了透镜部18及快门20的光束在摄像元件22的受光面成像。
摄像元件22是CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)型、XY选址型、或CCD(Charge Coupled Device：荷耦合元件)型的彩色图像传感器。在摄像元件22的受光面，将多个受光元件(光电二极管)二维排列。在各光电二极管的受光面上成像的被拍摄体像被转换为与其入射光量对应的量的信号电压(或电荷)。
＜摄像元件的实施方式＞
图2是表示上述摄像元件22的实施方式的图，特别是关于在摄像元件22的受光面上配置的新型的滤色器排列而表示。
该摄像元件22的滤色器排列包含由与M×N(6×6)像素对应的正方排列图案构成的基本排列图案P(粗线框所示的图案)，并将该基本排列图案P在水平方向以及垂直方向上重复配置而构成。即，该滤色器排列中，将红(R)、绿(G)、蓝(B)的各色的滤光片(R滤光片、G滤光片、B滤光片)以预定的周期性而排列。如此，由于将R滤光片、G滤光片、B滤光片以预定的周期性而排列，因此进行从摄像元件22读出的RGB的RAW数据(马赛克图像)的图像处理等时，能够按照重复图案而进行处理。
图2所示的滤色器排列中，与最有助于获得亮度信号的颜色(该实施方式中为G的颜色)对应的G滤光片在滤色器排列的水平、垂直、斜右上(NE)及斜左上(NW)方向的各行内配置1以上。
NE表示斜右上方向，NW表示斜右下方向。例如，正方形的像素的排列的情况下，斜右上以及斜右下方向成为分别相对于水平方向为45°的方向。若是长方形的像素的排列，则是长方形的对角线的方向，其角度能够根据长边/短边的长度而变化。
与亮度系像素对应的G滤光片在滤色器排列的水平、垂直、以及倾斜(NE，NW)方向的各行内配置，因此能够不依靠成为高频的方向而提高高频区域的去马赛克算法处理的再现精度。
另外，图2所示的滤色器排列中，与上述G的色以外的两种颜色以上的其他色(该实施方式中为R、B的色)对应的R滤光片、B滤光片分别在基本排列图案的水平及垂直方向的各行内配置一个以上。
R滤光片、B滤光片在滤色器排列的水平及垂直方向的各行内配置，因此能够降低伪色(彩色莫尔条纹)的发生。由此，能够将用于降低(抑制)伪色的发生的光学低通滤光片省略。另外，即使在适用光学低通滤光片的情况下也能够适用旨在防止伪色发生的截止高频成分的作用较弱的器件，能够不损害分辨率。
此外，图2所示的滤色器排列的基本排列图案P中，其基本排列图案中的与R、G、B滤光片对应的R像素、G像素、B像素的像素数分别为8像素、20像素、8像素。即，RGB像素的各像素数的比率成为2：5：2，最有助于获得亮度信号的G像素的像素数的比率比其他色的R像素、B像素的各自的像素数的比率大。
如上述那样，G像素的像素数和R、B像素的像素数的比率不同，特别是设为，最有助于获得亮度信号的G像素的像素数的比率比R、B像素的像素数的比率大。由此，能够抑制去马赛克算法处理时的混叠现象，并且也能够使高频再现性良好。
图3示出将图1所示的基本排列图案P四分割为3×3像素后的状态。
如图3所示，基本排列图案P也可以看作是：由实线的框围成的3×3像素的A排列和由虚线的框围成的3×3像素的B排列在水平、垂直方向上交替地排列而得到的排列。
A排列以及B排列中，G滤光片分别配置于4角和中央，并配置于两对角线上。另外，A排列中，R滤光片隔着中央的G滤光片排列于水平方向上，B滤光片排列于垂直方向上。另一方面，B排列中，B滤光片隔着中央的G滤光片排列于水平方向上，R滤光片排列于垂直方向上。即，A排列和B排列中，R滤光片和B滤光片的位置关系逆转，但是其他的配置是同样。
另外，通过将A排列和B排列在水平、垂直方向交替地配置，A排列和B排列的4角的G滤光片成为与2×2像素对应的正方排列的G滤光片。
蓄积于上述构成的摄像元件22的信号电荷基于从设备控制部16施加的读出信号而作为与信号电荷对应的电压信号而被读出。从摄像元件22读出的电压信号，被施加到A/D转换器24，在此被顺次转换为与滤色器排列对应的数字的R、G、B信号，暂时保存在存储器部26。
存储器部26包括作为易失性存储器的SDRAM(Synchronous Dynamic RandomAccess Memory：同步动态存取存储器)、作为可改写的非易失性存储器的EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦写可编程只读存储器；存储单元)等。SDRAM作为CPU12对程序的执行时的工作区域，并且，作为将拍摄而取得的数字图像信号暂时保持的存储区域而使用。另一方面，在EEPROM存储包含图像处理程序的相机控制程序、摄像元件22的像素的缺陷信息、包含混色校正的图像处理等中所使用的各种的参数、表等。
图像处理部28对暂时存储在存储器部26的数字的图像信号进行混色校正、白平衡校正、伽马校正处理、去马赛克算法处理(去马赛克处理)、RGB/YC转换等预定的信号处理。这里，所谓去马赛克算法处理，是根据与单板式的彩色摄像元件的滤色器排列对应的马赛克图像对每个像素算出全部的颜色信息的处理，也称作颜色插值处理或去马赛克处理。例如，在由RGB这三色的滤色器构成的摄像元件的情况下，是根据由RGB构成的马赛克图像对每个像素算出RGB全部的颜色信息的处理。另外，后面将对本发明所涉及的图像处理装置(图像处理部28)的详细内容进行描述。
由图像处理部28处理后的图像数据在编码器30中被编码为图像显示用的数据，并经由驱动器32输出到设于相机背面的显示部25。由此，被拍摄体像连续地显示于显示部25的显示画面上。
若存在操作部14的快门按钮的第一阶段的按下(半按)，则CPU12进行控制以使AF(Automatic Focus)动作以及AE(Automatic Exposure Adjustment)动作开始，并经由设备控制部16使透镜部18的聚焦透镜沿光轴方向移动，聚焦透镜到达对焦位置。
CPU12基于快门按钮的半按时从A/D转换器24输出的图像数据来算出被拍摄体的明亮度(摄影Ev值)，根据该摄影Ev值而决定曝光条件(F值、快门速度)。
若AE动作以及AF动作结束，且存在快门按钮的第二阶段的按下(全按)，则根据所述决定的曝光条件，对光圈、快门20以及摄像元件22的电荷蓄积时间进行控制而进行本拍摄。在本拍摄时，从摄像元件22读出且由A/D转换器24进行了A/D转换的RGB的马赛克图像(与图2所示的滤色器排列对应的图像)的图像数据暂时地存储在存储器部26。
由图像处理部28适当读出暂时存储于存储器部26的图像数据，在此，进行包括混色校正、白平衡校正、伽马校正、去马赛克算法处理(颜色插值处理)、RGB/YC转换等预定的信号处理。进行了RGB/YC转换的图像数据(YC数据)按照预定的压缩格式(例如，JPEG(JointPhotographic Experts Group)方式)被压缩。被压缩的图像数据以预定的图像文件(例如，Exif(Exchangeable image file format)文件)形式被记录于内部存储器、外部存储器。
[图像处理]
图4是表示图1所示的图像处理部28的内部结构的主要部分框图。
如图4所示，图像处理部28具备：混色校正部(混色校正单元)100；白平衡(WB)校正部(白平衡校正单元)200；进行伽马校正、去马赛克算法处理、RGB/YC转换等的信号处理的信号处理部300；RGB积算部400；以及白平衡(WB)增益计算部(白平衡增益计算单元)500。
如前述的那样，在摄影时从摄像元件22输出的滤色器排列的原样的RAW数据(马赛克图像)暂时被存储在存储器部26。图像处理部28从存储器部26取得马赛克图像(RGB的色信号)。
所取得的RGB的色信号以点顺序施加于混色校正部100。混色校正部100除去以点顺序输入的混色校正的对象像素的色信号所含的来自周边像素的混色成分。另外，后面将对混色校正部100的详细内容进行描述。
由混色校正部100除去了混色成分的马赛克图像的各像素的色信号被施加于WB校正部200，并且被施加于RGB积算部400。
RGB积算部400对将1画面分割为8×8或16×16后的每个分割区域，算出每个RGB的色信号的积算平均值，并算出由每个RGB的积算平均值的比(R/G，B/G)构成的颜色信息。例如，在将1画面分割为8×8的64的分割区域的情况下，算出64个颜色信息(R/G，B/G)。
WB增益计算部500基于从RGB积算部400输入的每个分割区域的颜色信息(R/G，B/G)来算出WB增益。具体来说，算出64个分割区域的每个分割区域的颜色信息的、R/G、B/G轴坐标的色空间上的分布的重心位置，根据该重心位置所表示的颜色信息来推定环境光的色温。另外，也可以替代色温，通过求出具有该重心位置所表示的颜色信息的光源种类例如蓝天、背阴、晴天、荧光灯(昼光色、昼白色、白色、暖白色)、钨、低钨等来推定摄影时的光源种类(参照特开2007－53499)，另外，也可以根据所推定的光源种类来推定色温。
在WB增益计算部500预先对应于环境光的色温或光源种类而准备用于进行适当的白平衡校正的每RGB或每RB的WB增益。WB增益计算部500基于所述推定的环境光的色温或光源种类，读出对应的每RGB或每RB的WB增益，并将该读出的WB增益输出到WB校正部200。
WB校正部200通过对从混色校正部100输入的每个R、G、B的色信号分别乘以从WB增益计算部500输入的每色的WB增益来进行白平衡校正。
从WB校正部200输出的R、G、B的色信号被施加于信号处理部300，在此，进行：伽马校正、对与摄像元件22的滤色器排列相伴的R、G、B的色信号的空间上的偏差进行插值而将R、G、B的色信号转换为去马赛克型的去马赛克算法处理、将进行了去马赛克算法处理的R、G、B的色信号转换为亮度信号Y、色差信号Cr、Cb的RGB/YC转换等的信号处理，并将进行了信号处理的亮度信号Y、色差信号Cr、Cb输出。
从图像处理部28输出的亮度数据Y及色差数据Cr、Cb被压缩处理后，被记录于内部存储器、外部存储器。
＜混色校正＞
图5是表示与图2、图3所示的滤色器排列内的2×2的4个的G滤光片的右上的G滤光片对应的G像素(混色校正的对象像素)和与该对象像素(本像素)相邻的上下左右的周边像素(上像素(B像素)、下像素(G像素)、左像素(G像素)、右像素(R像素))。
图5所示的对象像素的情况下，以该对象像素为基准的上下左右的各方位方向的相邻像素的颜色分别为B、G、G及R。
如图3所示，6×6像素的基本排列图案中的3×3像素的A排列的9个像素以及B排列的9个像素以任一个像素作为对象像素的情况下，与该对象像素的上下左右相邻的4个像素的颜色的组合也将不同。
来自周边像素的混色对本像素的影响因该周边像素的方位方向(上下左右)、以及周边像素的颜色(RGB)而不同。
对象像素的4个周边像素的颜色也能够采取RGB的3色的中任一色，因而4个周边像素的颜色的组合(重复序列)为34＝81种。另外，该实施方式的滤色器排列的情况下，4个周边像素的组合有与A排列以及B排列的18像素对应的18种。
若基本排列图案的像素尺寸变大，3色的RGB的像素的排列的自由度上升，则相邻的周边像素的颜色配置的组合增加。另外，在RGB的3色以外，存在翠绿、黄色的像素的情况下，颜色配置的组合会进一步增加。
以每4个周边像素的混色率为1组而对应周边像素的每个颜色组合存储混色率的情况下，混色率的数据量变大。另外，如果除了上下左右的4方向外，也考虑倾斜方向(左上、右上、左下、右下)的周边像素的颜色，则颜色配置的组合的数目会进一步增加，混色率的数据量增大。
另外，该实施方式的摄像元件22是CMOS型的摄像元件，如图6所示在CMOS的基底埋入了像素共有放大器A，K×L(2×2)像素共有 1个放大器A。由于该摄像元件22的元件构造，输出电平根据像素(本像素)相对于放大器A的位置1～4(相对于放大器A左上、右上、左下、右下的位置)而产生差异。
存储器部26存储图7所示的校正表。在该校正表中，将周边像素相对于对象像素(本像素)的4个方位方向(上下左右)设为第一参数P1，将周边像素的3个颜色(RGB)作为第二参数P2，将共有放大器A的2×2像素中的本像素的位置(图6上的位置1～4)作为第三参数P3，将与这些的参数P1～P3的组合对应的混色率A1～A12，B1～B12，C1～C12，D1～D12合计48个混色率与参数P1～P3建立关联而存储。关于校正表向存储器部26的保存，优选为，预先在产品发货前的检查时求出与上述参数的组合对应的混色率，并按产品类别进行保存。
另外，在马赛克图像的中央部和周边部，被拍摄体光向摄像元件22的各像素的入射角不同，因此混色率不同。因此，如图8所示，将马赛克图像的整个区域分割为例如8×8的分割区域，对应每个分割区域[0][0]～[7][7]，将图7所示的校正表存储在存储器部26。以下，将对64(＝8×8)的分割区域中的任一个进行确定的参数称作第四参数P4。
图9是表示图4所示的混色校正部100的内部结构的实施方式的框图。
该混色校正部100具备延迟处理部110、减法器112、乘法器114～120、加法器122、参数获取部(参数获取单元)130和混色率设定部140。
图9中，经由摄像元件22而取得的马赛克图像(RGB的色信号)以点顺序被施加于延迟处理部110。延迟处理部110具有1H(水平行)的行存储器110a～110c。使以点顺序输入的RGB的色信号以进行1像素的处理的间隔顺次在行存储器110a～110c内移位。若将行存储器110b的斜线所示的位置的色信号作为混色校正的对象像素的色信号，则行存储器110a、110c上的相同位置的色信号分别成为上像素、下像素的色信号，由行存储器110b的斜线所示的位置的左右的位置的色信号分别成为左像素、右像素的色信号。
如此，延迟处理部110使以点顺序输入的RGB的色信号适当延迟，并同时输出混色校正的对象像素和该对象像素的上下左右的周边像素(上像素、下像素、左像素、右像素)。从延迟处理部110输出的对象像素的色信号被施加于减法器112，上像素、下像素、左像素以及右像素的色信号分别被施加于乘法器114～120。
在参数获取部130施加有从延迟处理部110输出的、表示马赛克图像内的对象像素的位置(x，y)的信息。参数获取部130基于表示对象像素的位置(x，y)的信息取得第一～第四参数P1～P4。另外，能够从对每个马赛克图像的像素指示信号处理的CPU12或图像处理部28取得表示对象像素的位置(x，y)的信息。
若马赛克图像中的对象像素的位置(x，y)被确定，则能够决定表示对象像素(本像素)的位置(图6上的位置1～4)的第三参数P3和表示本像素所属的分割区域(参照图8)的第四参数P4。另外，若马赛克图像内的对象像素的位置(x，y)被确定，则能够决定对象像素的周边像素(上像素、下像素、左像素、以及右像素)的颜色。即，能够决定与表示该周边像素的方位方向的第一参数P1对应的表示周边像素的颜色的第二参数P2。参数获取部130如上述那样基于马赛克图像内中的对象像素的位置(x，y)的信息来决定第一～第四参数P1～P4，并向混色率设定部140输出。另外，第一参数P1和第二参数P2对应于周边像素的方位方向而输出4组。
混色率设定部140基于从参数获取部130输入的第一～第四参数 P1～P4，从存储器部26读出对应的4个混色率A～D，将这些的混色率A～D分别施加到乘法器114～120的其他的输入。即，混色率设定部140基于第四参数P4选择与对象像素所属的分割区域对应的校正表，基于第一～第三参数P1～P3，从所选择的校正表读出周边像素的各方位方向的4个混色率A～D(参照图7)。
乘法器114～120将分别输入的上像素、下像素、左像素以及右像素的色信号和混色率A～D相乘，将乘积值输出到加法器122。加法器122对所输入的4个乘积值进行加算，将加算值施加于减法器112的其他的输入。该加算值与混色校正的对象像素的色信号所含的混色成分对应。
在减法器112的一方的输入中施加有混色校正的对象像素的色信号，减法器112从对象像素的色信号减去从加法器122输入的加算值(混色成分)，输出除去了混色成分(混色校正)后的对象像素的色信号。
若用数式表示基于上述减法器112、乘法器114～120、以及加法器122的计算，则能够用下式表示。
[数式1]
校正后的色信号＝校正前的色信号
－(上像素×混色率A+下像素×混色率B+左像素×混色率C+右像素×混色率D)
如上述那样由混色校正部100进行了混色校正的色信号被输出到后段的WB校正部200以及RGB积算部400(图4)。
＜图像处理方法＞
图10是表示本发明所涉及的图像处理方法的实施方式的流程图。
图10中，混色校正部100首先在混色校正开始前将混色校正的对象像素的位置(x，y)设定为初始值(0，0)(步骤S10)。
接下来，取得对象像素(x，y)的色信号(像素值)和对象像素(x，y)的上下左右的周边像素的色信号(像素值)(步骤S12)。
参数获取部130基于对象像素的位置(x，y)，如前述的那样取得第一～第四参数P1～P4(步骤S14)。
混色率设定部140基于由参数获取部130取得的第一～第四参数P1～P4，从存储器部26读出对应的混色率A～D(步骤S16)。
接下来，基于步骤S12中取得的对象像素的像素值及周边像素的像素值和步骤S16中读出的混色率A～D，进行[数式1]所示的运算处理，并进行从对象像素的像素值除去混色成分的混色校正(步骤S18)。
接下来，判别全部的对象像素的混色校正是否结束(步骤S20)，在没有结束的情况下(“否”的情况)，转移到步骤S22。
在步骤S22中，使对象像素的位置(x，y)移动1像素，另外，在对象像素的位置(x，y)到达水平方向的左端的情况下，返回到水平方向的右端，并且沿垂直方向移动1像素而转移到步骤S14，重复执行从上述步骤S12到步骤S20的处理。
另一方面，在步骤S20中，若判别为全部的对象像素的混色校正已经结束(“是”的情况)，则结束本混色校正的处理。
[其他]
本发明不限于图2所示的滤色器排列的马赛克图像，能够适用于各种的滤色器排列的马赛克图像，也可以是仅有图3所示的A排列或B排列的马赛克图像。适用本发明的基本排列图案的尺寸N×M优选为是5×5以上，更优选为是10×10以下。另外，本发明也能够适用于不具有基本排列图案而RGB的像素随机排列的结构。另外，该情况下，能够在不变更混色校正的硬件的情况下适用本发明。
另外，对于从没有埋入像素共有放大器的摄像元件取得的马赛克图像，不需要表示本像素相对于放大器的位置的第三参数P3，马赛克图像的中央部和周边部处的混色率的变化较少的情况下，也可以不是每个分割区域具有混色率的校正表。
＜滤色器排列的追加的实施方式＞
另外，在上述的各实施方式中，对于作为第一色采用绿(G)、作为第二色采用红(R)以及蓝(B)的例子进行了说明，但是滤色器中可使用的颜色并不限于这些色。在上述各实施方式中，能够使用与满足以下条件的颜色对应的滤色器。
＜第一滤光片(第一色)的条件＞
例如，上述各实施方式中，也可以替代G滤光片或者替代G滤光片的一部分，使用满足下述条件(1)到条件(4)的任一条件的滤光片。
〔条件(1)〕
条件(1)是用于获得亮度信号的贡献率为50％以上。该贡献率50％是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的值，是以用于获得亮度数据的贡献率与R色、B色等相比相对地变高的颜色包含在“第一色”中的方式而确定的值。
例如，G色用于获得亮度(Y)信号(亮度数据)的贡献率比R色、B色高。即，与G色相比，R色以及B色的贡献率低。若具体地进行说明，则上述的图像处理部28对应每个像素根据具有RGB全部的颜色信息的RGB像素信号按照下述式(1)来生成亮度信号(Y信号)。下述式(1)是通常用于彩色摄像元件22中的Y信号的生成的式子。在该式(1)中向G色对亮度信号的贡献率成为60％，G色与R色(贡献率30％)、B色(贡献率10％)相比贡献率变高。因此，G色成为3原色中对亮度信号贡献最大的颜色。
Y＝0.3R+0.6G+0.1B…… 式(1)
G色的贡献率如上述式(1)那样成为60％，从而满足条件(1)。另外，对于G色以外的颜色的贡献率也能够通过实验、模拟而取得。因此，对于G色以外具有贡献率为50％以上的颜色的滤光片，上述各实施方式中也能够作为第一滤光片而使用。另外，贡献率为不足50％的颜色在上述各实施方式中成为第二色(R色、B色等)，具有该色的滤光片在上述各实施方式中成为第二滤光片。
〔条件(2)〕
条件(2)是滤光片的透过率的峰值处于波长480nm以上570nm以下的范围内。滤光片的透过率使用例如由分光光度计所测定的值。该波长范围是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是以不包含前述的贡献率相对较低的R色、B色等的峰值，而包含贡献率相对较高的G色等的峰值而确定的范围。因此，能够将透过率的峰值处于波长480nm以上570nm以下的范围内的滤光片作为第一滤光片而使用。另外，透过率的峰值为波长480nm以上570nm以下的范围外的滤光片成为上述各实施方式所涉及的第二滤光片(R滤光片、B滤光片)。
〔条件(3)〕
条件(3)是波长500nm以上560nm以下的范围内的透过率比第二滤光片(R滤光片、B滤光片)的透过率高。该条件(3)中，滤光片的透过率例如也使用由分光光度计所测定的值。该条件(3)的波长范围也是为了对上述各实施方式所涉及的第一色(G色等)和第二色(R、B色等)进行区别而确定的范围，是具有与R色、B色等相比前述的贡献率相对较高的颜色的滤光片的透过率高于RB滤光片等的透过率的范围。因此，能够将透过率在波长500nm以上560nm以下的范围内相对较高的滤光片作为第一滤光片而使用，并能够将透过率相对较低的滤光片作为第二滤光片而使用。
〔条件(4)〕
条件(4)是将包含3原色中对亮度信号贡献最大的颜色(例如RGB中的G色)和与该3原色不同的颜色在内的2色以上的滤光片作为第一滤光片而使用。该情况下，与第一滤光片的各色以外的颜色对应的滤光片成为第二滤光片。
＜多个种类的第一滤光片(G滤光片)＞
因此，作为第一滤光片的G色的G滤光片不限于一种，例如也可以使用多个种类的G滤光片作为第一滤光片。即，上述的各实施方式所涉及的滤色器(基本排列图案)的G滤光片也可以适当置换为第一G滤光片G1或第二G滤光片G2。第一G滤光片G1透过第一波长带的G光，第二G滤光片G2透过与第一G滤光片G1相关度高的第二波长带的G光(参照图11)。
作为第一G滤光片G1，能够使用现存的G滤光片(例如第一实施方式的G滤光片G)。另外，作为第二G滤光片G2能够使用与第一G滤光片G1相关度高的滤光片。该情况下，优选为，配置有第二G滤光片G2的受光元件的分光灵敏度曲线的峰值例如处于波长500nm到535nm的范围(配置有现存的G滤光片的受光元件的分光灵敏度曲线的峰值的附近)。另外，决定4色(R、G1、G2、B)的滤色器的方法例如能够使用特开2003－284084号记载的方法。
如此将由彩色摄像元件取得的图像的颜色设为4种，增加取得的颜色信息，从而与仅取得3种颜色(RGB)的情况相比较，能够更加正确地表现颜色。即，能够将眼睛看得出不同的再现为不同颜色，将眼睛看得出相同的再现为相同的颜色(提高“颜色的判别性”)。
另外，第一以及第二G滤光片G1、G2的透过率与第一实施方式的G滤光片G的透过率基本上相同，因此用于获得亮度信号的贡献率比50％高。因此，第一以及第二G滤光片G1、G2满足前述的条件(1)。
另外，在表示滤色器排列(受光元件)的分光灵敏度特性的图13中，各G滤光片G1、G2的透过率的峰值(各G像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。各G滤光片G1、G2的透过率在波长500nm以上560nm以下的范围内，比RB滤光片R、B的透过率高。由此，各G滤光片G1、G2也满足前述的条件(2)、(3)。
另外，各G滤光片G1、G2的配置、个数也可以适当地进行变更。另外，也可以将G滤光片G的种类增加为3种以上。
＜透明滤光片(W滤光片)＞
在上述的实施方式中，主要示出了由与RGB色对应的彩色滤光片构成的滤色器，但是也可以使这些色滤光片的一部分为透明滤光片W(白色像素)。特别是，优选为替代第一滤光片(G滤光片G)的一部分而配置透明滤光片W。通过如此将G像素的一部置换为白色像素，即使将像素尺寸微细化也能够抑制颜色再现性的劣化。
透明滤光片W是透明色(第一色)的滤光片。透明滤光片W能够透过与可见光的波长带对应的光，是例如RGB的各色的光的透过率为50％以上的滤光片。透明滤光片W的透过率也比G滤光片G高，因此用于获得亮度信号的贡献率也比G色(60％)高，满足前述的条件(1)。
在表示滤色器排列(受光元件)的分光灵敏度特性的图12中，透明滤光片W的透过率的峰值(白色像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。另外，透明滤光片W的透过率在波长500nm以上560nm以下的范围内，比RB滤光片R、B的透过率高。由此，透明滤光片W也满足前述的条件(2)、(3)。另外，对于G滤光片G也与透明滤光片W同样满足前述的条件(1)～(3)。
如此，由于透明滤光片W满足前述的条件(1)～(3)，因此在上述各实施方式中能够作为第一滤光片而使用。另外，在滤色器排列中，由于将与RGB的3原色中对亮度信号贡献最大的G色对应的G滤光片G的一部分置换为透明滤光片W，因此也满足前述的条件(4)。
＜翠绿滤光片(E滤光片)＞
在上述的实施方式中，主要示出了由与RGB色对应的彩色滤光片构成的滤色器，但是也可以使这些彩色滤光片的一部分为其他的彩色滤光片，例如也可以采用与翠绿(E)色对应的滤光片E(翠绿像素)。特别是，优选为替代第一滤光片(G滤光片G)的一部分而配置翠绿滤光片(E滤光片)。如此通过使用由E滤光片置换了G滤光片G的一部分的4色的滤色器排列，能够提高亮度的高频成分的再现，降低锯齿，并且能够提高分辨率感。
在表示滤色器排列(受光元件)的分光灵敏度特性的图13中，翠绿滤光片E的透过率的峰值(E像素的灵敏度的峰值)处于波长480nm以上570nm以下的范围内。另外，翠绿滤光片E的透过率在波长500nm以上560nm以下的范围内比RB滤光片R、B的透过率高。由此，翠绿滤光片E满足前述的条件(2)、(3)。另外，在滤色器排列中，将与RGB的3原色中对亮度信号贡献最大的G色对应的G滤光片G的一部分置换为翠绿滤光片E，因此也满足前述的条件(4)。
另外，在图13所示的分光特性中，翠绿滤光片E在比G滤光片G靠短波长侧具有峰值，但在比G滤光片G靠长波长侧具有峰值(看上去稍接近黄色的颜色)的情况也存在。如此，作为翠绿滤光片E，能够选择满足上述的各条件的结构，例如，也能够选择满足条件(1)那样的翠绿滤光片E。
＜其他的颜色种类＞
在上述的各实施方式中，对由原色RGB的滤色器构成的滤色器排列进行了说明，但是也能够将本发明适用于例如作为原色RGB的补色的C(青色)、M(品红)、Y(黄)加上G后的4色的补色系的滤色器的滤色器排列。该情况下也将满足上述条件(1)～(4)的任一条件的滤色器作为上述各实施方式所涉及的第一滤光片，将其他滤色器作为第二滤光片。
＜蜂窝配置＞
上述各实施方式的各滤色器排列包含各色的滤色器沿水平方向(H)以及垂直方向(V)二维排列而成的基本排列图案，并且将该基本排列图案沿水平方向(H)以及垂直方向(V)重复配置而成，但是本发明不限于此。
例如，也可以使用将上述的各实施方式的基本排列图案绕光轴旋转45°后的所谓蜂窝排列状的基本排列图案，由将基本排列图案沿倾斜方向(NE，NW)重复配置而成的排列图案构成滤色器。
另外，本发明不限于上述的实施方式，在不脱离本发明的精神的范围内能够进行各种的变形，这是不言而喻的。
附图标记说明：
10…摄像装置，12…中央处理装置(CPU)，14…操作部，18…透镜部，22…摄像元件，26…存储器部，28…图像处理部，100…混色校正部，110…延迟处理部，112…减法器，114～120…乘法器，122…加法器，130…参数获取部，140…混色率设定部，200…WB校正部，400…RGB积算部，500…WB增益计算部

Claims (9)

1.一种图像处理装置，具备：
图像获取单元，取得包含多个颜色的像素的马赛克图像；
存储单元，是存储来自与所述马赛克图像的混色校正的对象像素相邻的各周边像素的混色率的存储单元，存储表示所述周边像素的方位方向的第一参数和表示所述周边像素的颜色的第二参数的组合所对应的混色率；及
混色校正单元，从由所述图像获取单元取得的马赛克图像的各像素的色信号中除去该色信号所含的来自周边像素的混色成分，
所述混色校正单元在任意的对象像素的混色校正时取得该对象像素的色信号及其周边像素的色信号，并且基于所述周边像素的方位方向及颜色从所述存储单元读出对应的混色率，基于混色校正的对象像素的色信号及与该对象像素相邻的各周边像素的色信号和读出的所述各周边像素的混色率而除去所述任意的对象像素所含的混色成分，
所述混色校正单元包含基于所述马赛克图像上的任意的对象像素的位置而取得与该对象像素对应的各周边像素的第一参数、第二参数的参数获取单元，并基于取得的所述第一参数、第二参数从所述存储单元读出对应的混色率，
其中所述马赛克图像是从摄像元件输出的图像，该摄像元件具有每预定的像素组共有放大器的元件构造，
所述存储单元将表示所述混色校正的对象像素是共有所述放大器的像素组内的哪一个位置的像素的位置信息作为第三参数，存储与所述第一参数、第二参数及第三参数的组合对应的混色率，
所述参数获取单元基于所述马赛克图像上的任意的对象像素的位置而对每个所述周边像素取得第一参数、第二参数及第三参数，
所述混色校正单元基于取得的所述第一参数、第二参数及第三参数，对每个所述周边像素从所述存储单元读出对应的混色率。
2.根据权利要求1所述的图像处理装置，其中，
所述马赛克图像包含由M×N像素构成的基本排列图案的像素组，是该基本排列图案的像素组在水平以及垂直方向上重复地配置而得到的图像，其中，M、N是2以上的整数且至少一方为3以上。
3.根据权利要求1或2所述的图像处理装置，其中，
所述存储单元对将所述马赛克图像的整个区域分割为多个分割区域时的每个分割区域存储所述混色率，
所述混色校正单元根据所述对象像素的位置包含于所述多个分割区域中的哪一个分割区域中而从所述存储单元读出对应的混色率。
4.根据权利要求1或2所述的图像处理装置，其中，
所述混色校正单元对与混色校正的对象像素相邻的各周边像素的色信号和从所述存储单元读出的对所述周边像素的每个位置所设定的混色率进行积和运算而算出混色成分，从所述对象像素的色信号减去算出的所述混色成分。
5.根据权利要求1或2所述的图像处理装置，其中，
还具备：
白平衡增益计算单元，基于由所述混色校正单元除去了混色成分的所述马赛克图像的各像素的色信号而算出白平衡增益；及
白平衡校正单元，基于由所述白平衡增益计算单元算出的白平衡增益，对由所述混色校正单元除去了混色成分的所述马赛克图像的各像素的色信号进行白平衡校正。
6.一种摄像装置，具备：
摄像单元，包含摄影光学***和经由该摄影光学***使被拍摄体像成像的摄像元件；及
图像处理装置，所述图像处理装置具备：图像获取单元，取得包含多个颜色的像素的马赛克图像；存储单元，是存储来自与所述马赛克图像的混色校正的对象像素相邻的各周边像素的混色率的存储单元，存储表示所述周边像素的方位方向的第一参数和表示所述周边像素的颜色的第二参数的组合所对应的混色率；及混色校正单元，从由所述图像获取单元取得的马赛克图像的各像素的色信号中除去该色信号所含的来自周边像素的混色成分，
所述混色校正单元在任意的对象像素的混色校正时取得该对象像素的色信号及其周边像素的色信号，并且基于所述周边像素的方位方向及颜色从所述存储单元读出对应的混色率，基于混色校正的对象像素的色信号及与该对象像素相邻的各周边像素的色信号和读出的所述各周边像素的混色率而除去所述任意的对象像素所含的混色成分，
所述图像获取单元取得从所述摄像单元输出的马赛克图像，
所述摄像元件在由排列于水平方向以及垂直方向的光电转换元件构成的多个像素上配置预定的滤色器排列的滤色器，
所述滤色器排列包含第一滤光片和第二滤光片排列而成的预定的基本排列图案，所述第一滤光片与一种颜色以上的第一色对应，所述第二滤光片与用于获得亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应，该基本排列图案在水平以及垂直方向上重复配置，
所述基本排列图案是与M×N像素对应的排列图案，其中，M、N是2以上的整数，且至少一方为3以上，
所述基本排列图案是与3×3像素对应的正方排列图案，在中心和4角配置有所述第一滤光片，
其中所述马赛克图像是从摄像元件输出的图像，该摄像元件具有每预定的像素组共有放大器的元件构造，
所述存储单元将表示所述混色校正的对象像素是共有所述放大器的像素组内的哪一个位置的像素的位置信息作为第三参数，存储与所述第一参数、第二参数及第三参数的组合对应的混色率，
参数获取单元基于所述马赛克图像上的任意的对象像素的位置而对每个所述周边像素取得第一参数、第二参数及第三参数，
所述混色校正单元基于取得的所述第一参数、第二参数及第三参数，对每个所述周边像素从所述存储单元读出对应的混色率。
7.一种摄像装置，具备：
摄像单元，包含摄影光学***和经由该摄影光学***使被拍摄体像成像的摄像元件；及
图像处理装置，所述图像处理装置具备：图像获取单元，取得包含多个颜色的像素的马赛克图像；存储单元，是存储来自与所述马赛克图像的混色校正的对象像素相邻的各周边像素的混色率的存储单元，存储表示所述周边像素的方位方向的第一参数和表示所述周边像素的颜色的第二参数的组合所对应的混色率；及混色校正单元，从由所述图像获取单元取得的马赛克图像的各像素的色信号中除去该色信号所含的来自周边像素的混色成分，
所述混色校正单元在任意的对象像素的混色校正时取得该对象像素的色信号及其周边像素的色信号，并且基于所述周边像素的方位方向及颜色从所述存储单元读出对应的混色率，基于混色校正的对象像素的色信号及与该对象像素相邻的各周边像素的色信号和读出的所述各周边像素的混色率而除去所述任意的对象像素所含的混色成分，
所述图像获取单元取得从所述摄像单元输出的马赛克图像，
所述摄像元件在由排列于水平方向以及垂直方向的光电转换元件构成的多个像素上配置预定的滤色器排列的滤色器，
所述滤色器排列包含第一滤光片和第二滤光片排列而成的预定的基本排列图案，所述第一滤光片与一种颜色以上的第一色对应，所述第二滤光片与用于获得亮度信号的贡献率比所述第一色低的两种颜色以上的第二色对应，该基本排列图案在水平以及垂直方向上重复配置，
所述基本排列图案是与M×N像素对应的排列图案，其中，M、N是2以上的整数，且至少一方为3以上，
所述第一色是绿(G)色，所述第二色是红(R)色以及蓝(B)色，
所述预定的基本排列图案是与6×6像素对应的正方排列图案，
所述滤光片排列由第一排列和第二排列交替地排列于水平方向以及垂直方向上而构成，所述第一排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有B滤光片，左右排列有R滤光片，所述第二排列与3×3像素对应，在中心和4角配置有G滤光片，隔着中心的G滤光片上下配置有R滤光片，左右排列有B滤光片，
其中所述马赛克图像是从摄像元件输出的图像，该摄像元件具有每预定的像素组共有放大器的元件构造，
所述存储单元将表示所述混色校正的对象像素是共有所述放大器的像素组内的哪一个位置的像素的位置信息作为第三参数，存储与所述第一参数、第二参数及第三参数的组合对应的混色率，
参数获取单元基于所述马赛克图像上的任意的对象像素的位置而对每个所述周边像素取得第一参数、第二参数及第三参数，
所述混色校正单元基于取得的所述第一参数、第二参数及第三参数，对每个所述周边像素从所述存储单元读出对应的混色率。
8.根据权利要求6或7所述的摄像装置，其中，
所述第一滤光片在所述滤色器排列的水平、垂直、斜右上及斜右下方向的各行内配置1个以上，
与所述第二色的各色对应的所述第二滤光片在所述基本排列图案内在所述滤色器排列的水平及垂直方向的各行内配置1个以上，
与所述第一滤光片对应的第一色的像素数的比率比与所述第二滤光片对应的第二色的各色的像素数的比率大。
9.根据权利要求6或7所述的摄像装置，其中，
所述预定的像素组具有K×L的像素的尺寸，其中，K≤M，L≤N，K、L是自然数。
CN201280065020.6A 2011-12-28 2012-12-27 图像处理装置及方法以及摄像装置 Active CN104041021B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-289367 2011-12-28
JP2011289367 2011-12-28
PCT/JP2012/083837 WO2013100032A1 (ja) 2011-12-28 2012-12-27 画像処理装置及び方法並びに撮像装置

Publications (2)

Publication Number Publication Date
CN104041021A CN104041021A (zh) 2014-09-10
CN104041021B true CN104041021B (zh) 2017-05-17

Family

ID=48697511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280065020.6A Active CN104041021B (zh) 2011-12-28 2012-12-27 图像处理装置及方法以及摄像装置

Country Status (5)

Country Link
US (1) US9160999B2 (zh)
JP (1) JP5600813B2 (zh)
CN (1) CN104041021B (zh)
RU (1) RU2548166C1 (zh)
WO (1) WO2013100032A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6478579B2 (ja) * 2014-11-20 2019-03-06 キヤノン株式会社 撮像ユニット、撮像装置、及び画像処理システム
US20170084650A1 (en) * 2015-09-22 2017-03-23 Qualcomm Incorporated Color filter sensors
CN108476309A (zh) * 2016-01-08 2018-08-31 奥林巴斯株式会社 图像处理装置、图像处理方法以及程序
JP7037346B2 (ja) * 2017-03-10 2022-03-16 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN114495824B (zh) * 2022-01-26 2023-04-04 苇创微电子(上海)有限公司 一种针对oled显示器图像及文字边缘偏色的校正方法、***、存储介质和处理器

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823543A (ja) * 1994-07-07 1996-01-23 Canon Inc 撮像装置
JP4120020B2 (ja) * 1997-03-26 2008-07-16 ソニー株式会社 固体撮像装置
JP2003284084A (ja) 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
JP4479457B2 (ja) * 2004-05-27 2010-06-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006041687A (ja) * 2004-07-23 2006-02-09 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム、電子カメラ、及びスキャナ
JP2007053499A (ja) 2005-08-16 2007-03-01 Fujifilm Holdings Corp ホワイトバランス制御装置及び撮像装置
JP4389865B2 (ja) 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
JP4063306B1 (ja) 2006-09-13 2008-03-19 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US20100230583A1 (en) * 2008-11-06 2010-09-16 Sony Corporation Solid state image pickup device, method of manufacturing the same, image pickup device, and electronic device
JP5254762B2 (ja) 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
JP5513244B2 (ja) 2010-04-28 2014-06-04 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置

Also Published As

Publication number Publication date
JPWO2013100032A1 (ja) 2015-05-11
WO2013100032A1 (ja) 2013-07-04
US9160999B2 (en) 2015-10-13
CN104041021A (zh) 2014-09-10
US20140307121A1 (en) 2014-10-16
JP5600813B2 (ja) 2014-10-01
RU2548166C1 (ru) 2015-04-20

Similar Documents

Publication Publication Date Title
CN104041020B (zh) 彩色摄像元件
CN102461174B (zh) 具有四个通道的滤色器阵列图案
EP2087725B1 (en) Improved light sensitivity in image sensors
EP2436187B1 (en) Four-channel color filter array pattern
CN104025577B (zh) 图像处理装置、方法以及摄像装置
US9159758B2 (en) Color imaging element and imaging device
CN103650487B (zh) 图像拾取设备、图像拾取元件，和用于校正灵敏度差异的方法
CN102461175A (zh) 用于四通道彩色滤光片阵列的内插
CN104412581B (zh) 彩色摄像元件及摄像装置
WO2010138189A1 (en) Four-channel color filter array interpolation
JP2013081222A (ja) 光感度が改善されたイメージ・センサー
CN103444183B (zh) 彩色摄像元件及摄像装置
CN104041021B (zh) 图像处理装置及方法以及摄像装置
US20110115954A1 (en) Sparse color pixel array with pixel substitutes
CN104471929B (zh) 彩色摄像元件及摄像装置
CN104025580A (zh) 彩色摄像元件及摄像装置
CN104025578A (zh) 彩色摄像元件
CN104025583B (zh) 图像处理装置、方法及摄像装置
CN104025582B (zh) 彩色摄像元件
JP2004229055A (ja) 画像処理装置
CN104011575B (zh) 摄像装置及摄像装置的控制方法
CN104025575B (zh) 摄像装置及摄像装置的控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant