CN101473659B - 摄像装置以及信号处理方法 - Google Patents

摄像装置以及信号处理方法 Download PDF

Info

Publication number
CN101473659B
CN101473659B CN2007800225094A CN200780022509A CN101473659B CN 101473659 B CN101473659 B CN 101473659B CN 2007800225094 A CN2007800225094 A CN 2007800225094A CN 200780022509 A CN200780022509 A CN 200780022509A CN 101473659 B CN101473659 B CN 101473659B
Authority
CN
China
Prior art keywords
mentioned
signal
pixel
green
blue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800225094A
Other languages
English (en)
Other versions
CN101473659A (zh
Inventor
李铭
小坂井良太
松井启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101473659A publication Critical patent/CN101473659A/zh
Application granted granted Critical
Publication of CN101473659B publication Critical patent/CN101473659B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/048—Picture signal generators using solid-state devices having several pick-up sensors
    • H04N2209/049—Picture signal generators using solid-state devices having several pick-up sensors having three pick-up sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明是一种对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号的摄像装置，具备：红色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的红色信号(20R)；绿色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的绿色信号(20G)；蓝色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的蓝色信号(20B)；插值单元，其利用周边像素对空像素进行插值；以及相关单元，其求出空像素的周边像素的相关关系，其中，相关处理单元根据红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出相关关系，插值单元根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素进行插值而生成摄像信号。

Description

摄像装置以及信号处理方法
技术领域
本发明涉及一种生成由红色、绿色以及蓝色构成的三原色的摄像信号的摄像装置以及信号处理方法。 
本申请基于2006年6月16日在日本申请的日本专利申请号2006-167885号主张优先权，参照该申请而在本申请中予以引用。 
背景技术
在数字照相机中，将被摄体取入为图像的摄像处理***的结构主要有单板式和三板式。单板式照相机具备一个固体摄像元件，利用该一板的固体摄像元件生成三原色RGB的颜色信号。例如，在日本特开平10-150668号公报中记载有一种摄像装置，该摄像装置在一板的CCD图像传感器上将滤色器排列成方格图案状来生成颜色信号R、G、B，通过相关处理和插值处理生成提高了分辨率的图像信号，其中，上述滤色器分别使红色、绿色、以及蓝色透射。在这种提高了分辨率的图像信号中存在产生伪色的问题。 
另一方面，三板式照相机具备三个固体摄像元件，在该三个固体摄像元件上分别入射通过分光镜进行分光而得到的红色光、绿色光、蓝色光。这些固体摄像元件分别独立地生成红色、绿色以及蓝色的颜色信号。三板式照相机与单板式照相机相比，由于分别独立地利用固体摄像元件对三原色进行感光而得到高分辨率、且高再现性的图像，但是由于电路规模变大，图像处理量也增多，因此从固体摄像元件读出颜色信号会耗费较长的时间。
另外，在三板式照相机中，作为根据由各固体摄像元件得到的红色、绿色以及蓝色的颜色信号生成图像信号的处理，存在正方像素对齐处理和正方像素偏移处理。 
如图13A所示，正方像素对齐处理是使由各固体摄像元件得到的各颜色信号中的像素的位置在空间上一致的处理。即，在正方像素对齐处理中，感光传感器所读出的像素数与输出侧的图像信号的像素数相同。因此，在该处理中需要以与感光传感器侧的像素数相同的倍率来提高图像信号的分辨率。例如，在将输出侧的静止图像的分辨率从3M像素提高至6M像素的情况下，感光传感器侧的像素数必须也同样地从3M像素提高至6M像素。 
另外，如图13B所示，在正方像素偏移处理中，红色、蓝色的颜色信号的像素排列相对于绿色的颜色信号的像素排列分别在水平方向上偏移像素大小d的一半，即d/2，对偏移后的像素的颜色信号进行插值，由此得到提高了分辨率的摄像信号。通过这种方法，输出侧的摄像信号的像素数成为各固体摄像元件的像素数的两倍。换言之，固体摄像元件的像素数成为输出侧的图像信号的像素数的一半。 
在此，根据每一帧的分辨率的提高，从固体摄像元件读出颜色信号的时间变长。另外，使这种颜色信号的读出速度高速化在硬件的性能上受到限制。因而，在得到同样的分辨率的图像信号的情况下，即使正方像素偏移处理中的固体摄像元件的像素数为正方像素对齐处理中的固体摄像元件的像素数的一半，也通过插值处理生成具有相同程度的分辨率的图像信号，因此即使读出速度较慢也能够实现相同程度的帧频。 
发明内容
发明要解决的问题
然而，在三板式照相机中，在通过正方像素偏移处理输出图像信号的情况下，被实施插值处理的图像中产生伪色，因此与正方像素对齐处理的情况相比，破坏所生成的图像的再现性。 
本发明是鉴于这种实际情况而提出的，其作为技术课题提供一种以高帧频生成高像质的图像的摄像装置以及图像信号的处理方法。 
为了解决上述技术课题而提出的本发明的一个实施方式是一种摄像装置，该摄像装置对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，该摄像装置具备：红色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的红色信号；绿色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的绿色信号；蓝色摄像元件，其对入射光进行感光，输出像素被排列成方格图案状的蓝色信号；插值处理单元，其利用排列成方格图案状的各像素间的空像素的周边像素对该空像素进行插值；以及相关处理单元，其求出空像素的周边像素的相关关系，其中，红色摄像元件、绿色摄像元件以及蓝色摄像元件分别输出各像素的位置在空间上匹配的红色信号、绿色信号以及蓝色信号，相关处理单元根据红色信号、绿色信号上述蓝色信号中的至少任一种颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色求出相关关系，插值单元根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素的像素进行插值，生成图像信号。 
另外，本发明的其它的实施方式是对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号的信号处理方法，在该信号处理方法中，由三个摄像元件输出像素被排列成方格图案状的红色信号、像素被排列成方格图案状的绿色信号、以及像素被排列成方格图案状的蓝色信号，使各像素的位置在空间上匹配，根据红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出被排列成方格图案状的各像素间形成的空像素的周边像素中的相关关系，根据相关关系，对红色信号、绿色信号以及蓝色信号的每个颜色信号对空像素进行插值，生成图像信号。 
本发明根据像素被分别排列成方格图案状的红色信号、绿色信号以及蓝色信号中的至少任一个颜色信号，对红色信号、绿色信号以及蓝色信号的每个颜色信号求出空像素的周边像素的相关关系，根据相关关系对空像素进行插值，因此输出与从摄像元件读出的像素数相比更高分辨率、且没有伪色的颜色信号，由此不破坏再现性而能够以高帧频生成高分辨率的摄像信号。 
根据在下面参照附图说明的实施方式会进一步明确本发明的进一步的其它的技术课题、根据本发明得到的具体的优点。 
附图说明
图1是表示数字照相机的整体结构的框图。 
图2A和图2B是表示摄像元件的结构的图。 
图3A、图3B以及图3C是表示进行摄像而得到的红色光、绿色光以及蓝色光的变换处理的框图。 
图4是表示用像素值对空像素进行插值的插值处理的图。 
图5A是表示对空像素的水平插值处理的图，图5B是表示垂直插值处理的图。 
图6是表示对空像素实施二维4像素加权插值处理的示意 图。 
图7是表示根据相关关系对空像素进行插值的插值处理的图。 
图8是表示使1/4[fs]左右的频率成分通过的带通滤波器的特性的图。 
图9是表示去马赛克(demosaic)处理部的结构的框图。 
图10是表示具体例1所涉及的去马赛克处理部的结构的框图。 
图11是表示具体例2所涉及的去马赛克处理部的结构的框图。 
图12是表示施加到各摄像元件的同一坐标上的各像素的噪声的性质的图。 
图13A和图13B是表示以往的三原色的每个颜色信号的生成工序的图。 
具体实施方式
下面参照附图详细说明用于实施本发明的较佳方式。下面说明的实施方式是将本发明应用于如下的摄像装置(下面称为数字照相机)的实施方式：对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每一个颜色生成各像素相邻地二维排列的摄像信号。 
如图1所示，本实施方式所涉及的数字照相机1具备：摄像处理部100，其对被摄体进行摄像，输出由红色、绿色以及蓝色的三原色构成的颜色信号20R、20G、20B；信号处理部200，其对从摄像处理部100输出的颜色信号20R、20G、20B实施规定的信号处理；以及运算处理部300，其控制摄像处理部100和信号处理部200。
摄像处理部100是三板式的摄像处理***，由如下部分构成：光学元件110，其对通过未图示的开口部的来自被摄体的光进行聚光；分光镜120，其将由光学元件110聚集的光分光为红色光10R、绿色光10G、以及蓝色光10B；三个摄像元件130R、130G、130B，该三个摄像元件分别对由分光镜进行分光而得到的红色光10R、绿色光10G以及蓝色光10B进行感光，变换为电信号；A/D变换部140R、140G、140B，其对由摄像元件130R、130G、130B变换得到的三个电信号的增益进行调节，输出数字化的颜色信号20R、20G、20B；以及驱动电路150，其根据来自运算处理部300的控制信号对摄像元件130R、130G、130B的动作进行控制。 
信号处理部200具备：光学校正部210，其对从摄像处理部100输出的颜色信号20R、20G、20B进行亮度校正、黑色水平校正等光学校正；去马赛克处理部220，其对进行光学校正后的颜色信号20R、20G、20B实施插值处理，输出颜色信号30R、30G、30B；白平衡(WB)调节部230，其调节颜色信号30R、30G、30B的白平衡；γ校正部240，其对调节白平衡后的颜色信号30R、30G、30B进行γ校正；Y校正部250和C校正部260，该Y校正部250和C校正部260根据γ校正后的颜色信号30R、30G、30B分别输出亮度信号Y以及色差信号Cr、Cb；分辨率转换处理部270，其对亮度信号Y以及色差信号Cr、Cb的分辨率进行转换，输出依据规定的广播标准的影像信号；以及光路差检测部280，其对分别从去马赛克处理部220和γ校正部240输出的颜色信号30R、30G、30B进行积分，检测各颜色信号之间的光路差。 
运算处理部300根据由光路差检测部280检测出的光路差信息对摄像处理部100和信号处理部200的各处理部提供控制信号。具体地说，运算处理部300根据光路差信息调节从光学元件 110向分光镜120透射的光量，另外，通过驱动电路150控制摄像元件130R、130G、130B的动作，并且对由A/D变换部140R、140G、140B调节的信号的增益进行控制。 
接着参照图2详细说明摄像处理部100中的摄像元件130R、130G、130B的结构。 
摄像元件130R、130G、130B分别在基板上配设有多个感光元件。在摄像元件130R、130G、130B中，各感光元件通过对红色光10R、绿色光10G、以及蓝色光10B进行感光来将它们变换为电信号，将变换后的电信号输出到A/D变换部140R、140G、140B。在此，构成颜色信号20R、20G、20B的各像素值与被配设在摄像元件130R、130G、130B的基板上的感光元件所输出的电信号相对应。即，颜色信号20R、20G、20B的像素数量分别与各固体摄像元件所具备的感光元件的数量相对应。 
另外，以往的摄像元件以边长为d的正方格子状配置多个感光元件，与此相对地，如图2A所示，摄像元件130R、130G、130B将感光元件配置成以边长为(21/2)×d并且将上述正方格子旋转45°的二维排列。因此，摄像元件130R、130G、130B与上述以往的摄像元件同样地各感光元件的间隔是d，但是每一像素的感光元件的面积是上述以往的摄像元件的两倍，因此感光特性较高。 
另外，除了上述图2A所示的结构之外，摄像元件130R、130G、130B也能够如图2B所示那样配置感光元件。具体地说，摄像元件130R、130G、130B将感光元件配置成不变更上述正方格子的边长d而将正方格子旋转45°的二维排列。这种摄像元件130R、130G、130B与上述以往的摄像元件相比感光元件的面积相同，因此感光特性不发生变化，但是各感光元件的间隔成为(21/2)×d/2，因此水平方向和垂直方向的分辨率分别成为21/2倍。
另外，如图2A以及图2B所示那样配置了感光元件的摄像元件130R、130G、130B与以往的摄像元件相比，两者的读出的数据数量是以往的摄像元件的一半。因而，如果对相同的帧频的图像进行摄像，则摄像元件130R、130G、130B在每个固定时间从感光元件读出的数据量是以往的摄像元件的一半。 
此外，摄像元件130R、130G、130B的感光元件不限于上述的正方格子，也可以将例如菱形、正六边形等正多边形的格子形状旋转45°来进行二维排列。 
另外，如果对像素被排列成方格图案状的颜色信号20R、20G、20B进行输出，则摄像元件130R、130G、130B的结构可以是任意方式，而不限定于CCD方式、CMOS方式中的任一个。 
接着说明直到由摄像处理部100根据红色光10R、绿色光10G以及蓝色光10B生成颜色信号20R、20G、20B、并且由信号处理部200根据颜色信号20R、20G、20B生成颜色信号30R、30G、30B为止的处理过程。 
首先，由图3A所示的摄像元件130R、130G、130B所分别具备的感光元件对由分光镜分光得到的红色光10R、绿色光10G以及蓝色光10B分别进行感光，变换为电信号。被变换为电信号的红色光10R、绿色光10G以及蓝色光10B分别通过A/D变换部140R、140G、140B生成图3B所示的颜色信号20R、20G、20B。 
在此，如上所述，摄像元件130R、130G、130B的每个固定面积的感光元件的数量为以往的摄像元件的一半，因此颜色信号20R、20G、20B成为各像素被排列成方格图案状的信号。因此，在像素被排列成方格图案状的颜色信号20R、20G、20B中，各像素间的区域内不存在像素。在去马赛克处理部220中，根据这种空像素的周边像素的信息对空像素进行插值，生成如图3C所示那样的颜色信号30R、30G、30B。
接着在下面示出本实施方式中的空像素的插值方法，接下来示出实现该插值方法的去马赛克处理部220的结构和动作。 
首先，如图4所示，作为空像素的插值方法，使用以空像素C0为中心的周边像素C1、C2、…、Cn来进行空像素C0的插值。在此，当将各像素的像素值设为P(Ck)(k＝1，2，…，n)时，根据式(1)设定空像素C0的像素值。 
P(C0)＝C1(f)×P(C1)+C2(f)×P(C2)+…+Cn(f)×P(Cn)… 式(1) 
在此，式(1)中的C1(f)、C2(f)、…、Cn(f)分别是对于周边像素的加权函数。可以任意决定这些加权函数，下面作为根据式(1)所示的插值处理算出空像素的像素值的具体例而说明插值例1和插值例2。 
在插值例1中，作为一维插值示出了水平插值处理和垂直插值处理。如图5A所示，水平插值处理是如下的式(2)所示的插值处理：对与像素C1h、C2h、C3h、C4h对应的加权系数C1h(f)、C2h(f)、C3h(f)、C4h(f)进行设定，而将与除此以外的像素对应的加权系数设为0，其中，上述像素C1h、C2h、C3h、C4h相邻地排列在与空像素C0相同的水平线上。 
P(C0)＝C1h(f)×P(C1h)+C2h(f)×P(C2h)+C3h(f)×P(C3h)+C4h(f)×P(C4h)… 式(2) 
另外，如图5B所示，垂直插值处理是如下的式(3)所示的插值处理：对与像素C1v、C2v、C3v、C4v对应的加权函数C1v(f)、C2v(f)、C3v(f)、C4v(f)进行设定，而将与其它像素对应的加权函数设为0，其中，上述像素C1v、C2v、C3v、C4v相邻地排列在与空像素C0相同的垂直线上。 
P(C0)＝C1v(f)×P(C1v)+C2v(f)×P(C2v)+C3v(f)×P(C3v)+C4v(f)×P(C4v)… 式(3) 
在此，在进行垂直方向插值的情况下，一般来说由于在水 平方向上扫描和配置颜色信号20R、20G、20B的各像素值，因此需要存储垂直方向的各像素值的缓冲器。与此相对，在进行水平方向插值的情况下，由于不需要使用这种缓冲器，因此与垂直方向插值处理相比，能够使电路规模较小地进行设计。 
接着，作为与二维插值有关的具体例，参照图6说明插值例2。在插值例2中，作为二维插值，如图6所示，根据分别在水平方向以及垂直方向上与空像素C0相邻的四个像素的各像素值来对空像素C0进行插值。 
具体地说，导出将上述的式(1)中的加权系数Cn(f)都设为1/n的式(4)。 
P(C0)＝(P(C1)+P(C2)+…+P(Cn))/n… 式(4) 
并且，由于根据相邻的四个像素的各像素值进行插值，因此将式(4)中的n设为4来导出式(5)。 
P(C0)＝(P(C1)+P(C2)+P(C3)+P(C4))/4… 式(5) 
如式(5)所示，通过将相邻的四个像素与同一系数相乘，能够用与空像素C0上下左右地相邻的四个像素的像素值的平均像素值对空像素C0进行插值。 
在此，在如式(5)所示那样将分别在水平方向和垂直方向上相邻的四个像素的各像素值平均化来对空像素进行插值的情况下，当在空像素的周边存在边缘时，该边缘有时会模糊。因而，为了防止边缘模糊，最好求出相邻的像素间的相关关系并根据该相关关系决定加权函数。因此，如式(6)所示，根据各像素C1、C2、C3、C4的相关值来设定各加权系数C1(f)、C2(f)、C3(f)、C4(f)。 
P(C0)＝C1(f)×P(C1)+C2(f)×P(C2)+C3(f)×P(C3)+C4(f)×P(C4)…式(6) 
与插值例2同样地，在仅在水平方向和垂直方向中的任一方向上进行上述插值例1所示的一维插值处理来对空像素进行 插值的情况下，有时边缘也会模糊而产生像质的劣化。因此，参照图7详细说明考虑到这种像质的劣化而进行插值处理的具体例。 
根据分别在水平方向上和垂直方向上相邻的两个像素的像素值对空像素P(x，y)进行插值处理(步骤S1)。具体地说，如在插值例1中示出的那样，对于二维排列的任意坐标(x，y)上的空像素，算出与其在水平方向(x方向)上相邻的两个像素以及在垂直方向(y方向)上相邻的两个像素的像素值的平均值。即，如式(7)和式(8)所示，分别算出水平插值像素值GH(x，y)以及垂直插值像素值GV(x，y)。 
GH(x，y)＝(P(x-1，y)+P(x+1，y))/2… 式(7) 
GV(x，y)＝(P(x，y-1)+P(x，y+1))/2… 式(8) 
此外，为了降低噪声的影响，对算出的GH和GV实施中值滤波处理(步骤S2)。 
接着为了判断在空像素的周边是否存在像素值的边缘而进行带通滤波处理。在本具体例中，使用检测1/4[fs]的边缘的带通滤波器。如图8所示，该带通滤波器使频率为1/4[fs]左右的频率成分通过，使DC以及1/2[fs]左右的频率成分衰减。 
此外，并不限于使频率为1/4[fs]左右的频率成分通过的带通滤波器，也可以根据目的而使用使1/2[fs]、1/8[fs]的频率成分通过的带通滤波器。 
对于空像素P(x，y)，分别利用式(9)和式(10)来表示水平方向和垂直方向上的各自的带通滤波器的增益HBPF(x，y)、VBPF(x，y)。 
HBPF(x，y)＝(-P(x-2，y)+2P(x，y)-P(x+2，y))/4… 式(9) 
VBPF(x，y)＝(-P(x，y-2)+2P(x，y)-P(x，y+2))/4… 式(10) 
在此，式(9)中的P(x，y)是空像素。另外，各像素排列成方格图案状，因此以P(x，y)为基准平行移动2个像素的P(x-2，y)、P(x+2，y)也同样成为空像素。因此，在进行式(8)所示的带通滤波处理之前，需要通过插值处理求出P(x-2，y)、P(x，y)、P(x+2，y)。 
在本实施例中，通过上述式(8)使P(x-2，y)、P(x，y)、P(x+2，y)成为垂直插值像素值GV(x-2，y)、GV(x，y)、GV(x+2，y)(步骤S3)。另外，式(7)中的P(x，y-2)、P(x，y)、P(x，y+2)也需要同样的插值处理，分别成为GH(x，y-2)、GH(x，y)、GH(x，y+2)。 
接着，将算出的插值像素值代入式(9)和式(10)中，分别求出HBPF(x，y)、VBPF(x，y)(步骤S4)。这样，HBPF(x，y)以及VBPF(x，y)分别在垂直方向和水平方向上检测1/4[fs]的频率成分的边缘。 
因此，如式(11)所示，使用HBPF(x，y)与VBPF(x，y)的比率将坐标(x，y)的空像素中存在的边缘的方向表示为相关值CORR(x，y)(步骤S5)。 
CORR(x，y)＝HBPF(x，y)/(HBPF(x，y)+VBPF(x，y))… 式(11) 
CORR(x，y)表示垂直方向的相关值，该值的变化域是从0至1。即，当CORR(x，y)的值较大时，与VBPF(x，y)相比HBPF(x，y)的值较大，因此在垂直方向上存在边缘的可能性较高。在垂直方向上存在边缘的情况下，空像素的周边像素在垂直方向具有相关性。另一方面，如果CORR(x，y)的值较小，则空像素的周边像素在水平方向具有相关性。 
然后，在本实施例中，如式(12)所示，基于相关值CORR(x，y)，根据水平插值像素值GH(x，y)和垂直插值像素值GV(x，y)算出坐标(x，y)中的F0的像素值P(C0)(步骤S6)。 
P(x，y)＝CORR(x，y)×GV(x，y)+(1-CORR(x，y))×GH(x，y)… 式(12) 
例如，如果CORR(x，y)的值较大，则使与GV(x，y)相乘的加权系数大于GH(x，y)，来对空像素进行插值。另一方面，如果CORR(x，y)的值较小，则使与GH(x，y)相乘的加权系数大于GV(x，y)，来对空像素进行插值。
在此，式(12)成为与如下情况等价的关系：将在插值例2所示的式(6)中的加权系数C1(f)和C3(f)设为CORR(x，y)，将加权系数C2(f)和C4(f)设为(1-CORR(x，y))，来进行插值处理。 
根据以上的插值方法，去马赛克处理部220大致进行三个处理。即，去马赛克处理部220进行如下处理：首先是插值处理，对于空像素在水平方向和垂直方向上求出插值像素值GH(x，y)和GV(x，y)；相关处理，求出空像素的周边的相关值CORR(x，y)；以及合成插值处理，基于相关值CORR(x，y)，根据插值像素值GH(x，y)、GV(x，y)对空像素进行插值。 
另外，在上述插值处理中，关注坐标(x，y)的空像素而示出了该插值处理，但是设为对被二维排列的所有空像素进行该插值处理。这样，能够根据像素被排列成方格图案状的、存在多个空像素的颜色信号生成对空像素进行了插值的颜色信号。 
在此，为了通过上述插值处理根据颜色信号20R、20G、20B算出颜色信号30R、30G、30B，利用如图9所示的处理模块构成去马赛克处理部220。 
即，去马赛克处理部220具备插值处理部221R、221G、221B、RGB合成处理部222、相关处理部223R、223G、223B、以及合成插值处理部224R、224G、224B。 
插值处理部221R对颜色信号20R的空像素进行式(7)以及式(8)所示的插值处理，分别输出水平插值像素值GHR和垂直插值像素值GVR。同样地，插值处理部221G输出水平插值像素值GHG和垂直插值像素值GVG，插值处理部221B分别输出水平插值像素值GHB和垂直插值像素值GVB。 
RGB合成处理部222根据颜色信号20R、20G、20B输出如式(13)～式(15)所示那样的合成信号SR、SG、SB。另外，该合成信号SR、SG、SB分别被输入到相关处理部223R、223G、223B。
SR＝a1uR+b1uG+c1uB… 式(13) 
SG＝a2uR+b2uG+c2uB… 式(14) 
SB＝a3uR+b3uG+c3uB… 式(15) 
在此，式(13)～式(15)中表示的uR、uG、uB分别是颜色信号20R、20G、20B。 
相关处理部223R利用式(9)和式(10)所示的带通滤波器对合成信号SR中的空像素进行相关处理，根据式(11)算出相关值CORRR。同样地，相关处理部223G和相关处理部223B分别算出相关值CORRG以及相关值CORRB。 
合成插值处理部224R将由插值处理部221R输出的水平插值像素值GHR和垂直插值像素值GVR、以及由相关处理部223R输出的相关值CORRR代入式(12)来对空像素进行插值，输出颜色信号30R。同样地，合成插值处理部224G、224B分别根据式(12)输出颜色信号30G、30B。 
这样，去马赛克处理部220对像素被排列成方格图案状的颜色信号20R、20G、20B实施上述相关处理以及插值处理，输出对空像素进行了插值的颜色信号30R、30G、30B。 
具备去马赛克处理部220的数字照相机1输出颜色信号30R、30G、30B，该颜色信号30R、30G、30B与由摄像处理部100输出的颜色信号20R、20G、20B的像素数相比高分辨率且没有伪色。另外，在固定了输出侧的图像信号的分辨率的情况下，摄像处理部100中的摄像元件130R、130G、130B在每个固定时间从感光元件读出的数据量是以往的摄像元件的一半。因而，本实施方式所涉及的数字照相机1不加快从上述感光元件读出数据的速度而能够通过由去马赛克处理部220进行的插值处理生成高分辨率的图像。 
特别是在以高帧频输出相同分辨率的图像时、需要增大在每 个固定时间从感光元件读出的数据的量。但是，加快数据的读出速度受到硬件上的限制。对于这种限制，本实施方式所涉及的数字照相机1能够不增加摄像元件的像素数而生成高分辨率且再现性较高的图像。即，本实施方式所涉及的数字照相机1与以往的具备三板式的摄像元件的数字照相机相比，不提高摄像元件中的感光元件的读出速度而能够以高帧频输出高像质的图像。 
如上所述，在去马赛克处理部220中，根据颜色信号20R、20G、20B输出如式(13)～式(15)所示那样的合成信号SR、SG、SB，但是需要具体地决定系数a、b、c各值。下面作为具体例1和具体例2说明将具体的系数应用于这些值的去马赛克处理部220的结构。 
作为具体例1，图10中示出的去马赛克处理部420将上述RGB合成处理部的各系数中的a1、b2、c3分别设定为1，另外将b1、c1、a2、c2、a3、b3分别设定为0。即，能够省略RGB合成处理部的处理模块来表示作为具体例1而示出的去马赛克处理部420，对于颜色信号20R、20G、20B分别独立地进行相关处理以及插值处理。 
接着，在作为具体例2而在图11中示出的去马赛克处理部520中，将RGB合成处理部522的各系数表示为a1＝a2＝a3＝a、b1＝b2＝b3＝b、c1＝c2＝c3＝c。即，具体例2的去马赛克处理部520的相关处理部523仅为一个。在此，RGB合成处理部522生成式(16)中示出的合成信号S，并将合成信号S提供给相关处理部522。 
S＝auR+buG+cuB… 式(16) 
相关处理部523求出合成信号S中的各插值对象像素的相关值CORR，并提供给合成插值处理部524R、524G、524B。然后，在合成插值处理部524R、524G、524B中，根据同一相关值CORR分别输出对插值对象像素进行了插值的颜色信号30R、 30G、30B。 
在此，作为式(16)的具体系数的值，使用根据三原色信号生成亮度信号的比率a＝0.3、b＝0.6、c＝0.1，或者使用以三原色中的绿色信号为基准的比率a＝0、b＝1、c＝0。 
接着，从电路规模、噪声抵抗能力以及像质三个方面对上述结构上不同的具体例1和具体例2的去马赛克处理部420、520进行比较。 
首先，从电路规模方面比较具体例1和具体例2。如上所述，具体例1的去马赛克处理部420具备三个相关处理部423R、423G、423B，与此相对地，具体例2的去马赛克处理部520具备一个相关处理部523。在此，一个相关处理部的处理量比与一种颜色信号对应的插值处理部的处理量多很多，因此具体例2的去马赛克处理部520与具体例1相比能够大幅缩小进行相关处理的电路规模。 
接着，从噪声抵抗能力方面比较具体例1和具体例2。本实施方式所涉及的数字照相机1将红色光10R、绿色光10G、蓝色光10B分别独立地通过三个摄像元件130R、130G、130B的感光元件变换为电信号。因而，摄像元件130R、130G、130B相互独立地产生噪声。例如，如图12所示，由于摄像时产生的噪声的影响，对于同一坐标上的像素，摄像元件130R、130G中产生横向的边缘，并且摄像元件130B中产生纵向的边缘。 
在这种情况下，当通过具体例1的去马赛克处理部420对颜色信号20R、20G、20B分别独立地进行相关处理时，在颜色信号20R和颜色信号20G中根据横向的相关关系对空像素进行插值，与此相对地，在颜色信号20B中根据纵向的相关关系对空像素进行插值，因此产生伪色。 
另一方面，具体例2的去马赛克处理部520使用同一合成信号从不同的方向对空像素进行插值，因此不产生伪色。即，在摄像元件130R、130G、130B中产生了上述如图12所示的噪声的情况下，与具体例1相比，具体例2一方能够抑制由于噪声的影响而造成的像质的劣化。 
并且，从像质的方面比较具体例1和具体例2。例如，在摄像元件130R、130G、130B中的同一坐标上的像素中，仅在红色光10R中存在边缘。在这种情况下，具体例1的去马赛克处理部420对颜色信号20R、20G、20B分别独立地实施相关处理，因此算出仅与上述红色光10R的边缘相应的相关值CORRR，并根据该相关值CORRR对颜色信号20R的空像素进行插值。 
另一方面，在具体例2的去马赛克处理部520中，在合成信号S的合成比率为a＝0.3、b＝0.6、c＝0.1的情况下，受到仅在红色光10R中存在的边缘的影响而导致颜色信号20G、20B的空像素被进行插值。另外，在具体例2的去马赛克处理部520中，在合成信号S的合成比率为a＝0、b＝1、c＝0的情况下，考虑到仅在红色光10R中存在的边缘，不对颜色信号20R的空像素进行插值。 
这样，在具体例1的去马赛克处理部420中，也考虑仅在三原色中的单色光存在边缘，输出各自的颜色信号30R、30G、30B。因而，在具体例1的去马赛克处理部420中，如果没有上述噪声的影响，则与具体例2相比能够输出更高像质的颜色信号30R、30G、30B。 
如上所述，在本实施方式所涉及的数字照相机1中，能够以高帧频生成高分辨率的摄像信号而不破坏其再现性。 
此外，当然，本发明不限定于上述实施方式，在不脱离本发明的要旨的范围内可进行各种变更。

Claims (5)

1.一种摄像装置，对通过开口部入射的光进行感光，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，该摄像装置的特征在于，具备：
红色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的红色信号；
绿色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的绿色信号；
蓝色摄像元件，其对上述入射光进行感光，输出像素被排列成方格图案状的蓝色信号；
插值处理单元，其利用排列成方格图案状的各像素间的空像素的周边像素对该空像素进行插值；以及
相关处理单元，其求出上述空像素的周边像素的相关关系，
其中，上述红色摄像元件、上述绿色摄像元件以及上述蓝色摄像元件分别输出各像素的位置在空间上匹配的上述红色信号、上述绿色信号以及上述蓝色信号，
上述相关处理单元根据上述红色信号、上述绿色信号以及上述蓝色信号中的至少任一种颜色信号，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色求出上述相关关系，
上述插值单元根据上述相关关系，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号对上述空像素的像素进行插值，生成上述图像信号。
2.根据权利要求1所述的摄像装置，其特征在于，
上述相关处理单元根据上述红色信号求出上述红色信号中的空像素的周边像素的上述相关关系，根据上述绿色信号求出上述绿色信号中的空像素的周边像素的上述相关关系，根据上述蓝色信号求出上述蓝色信号中的空像素的周边像素的上述相关关系。
3.根据权利要求1所述的摄像装置，其特征在于，
上述相关处理单元合成上述红色信号、上述绿色信号以及上述蓝色信号，求出上述合成的颜色信号中的空像素的周边像素的相关关系。
4.根据权利要求1所述的摄像装置，其特征在于，
上述红色摄像元件、上述绿色摄像元件以及上述蓝色摄像元件分别在将正方格子旋转45°的二维排列上配置感光元件。
5.一种信号处理方法，对红色、绿色以及蓝色的每个颜色生成各像素相邻地二维排列的图像信号，其特征在于，
由三个摄像元件输出像素被排列成方格图案状的红色信号、像素被排列成方格图案状的绿色信号、以及像素被排列成方格图案状的蓝色信号，使各像素的位置在空间上匹配，
根据上述红色信号、上述绿色信号以及上述蓝色信号中的至少任一个颜色信号，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号求出被排列成方格图案状的各像素间的空像素的周边像素中的相关关系，
根据上述相关关系，对上述红色信号、上述绿色信号以及上述蓝色信号的每个颜色信号对上述空像素进行插值，生成上述图像信号。 
CN2007800225094A 2006-06-16 2007-06-01 摄像装置以及信号处理方法 Expired - Fee Related CN101473659B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006167885A JP4548390B2 (ja) 2006-06-16 2006-06-16 撮像装置及び信号処理方法
JP167885/2006 2006-06-16
PCT/JP2007/061177 WO2007145087A1 (ja) 2006-06-16 2007-06-01 撮像装置及び信号処理方法

Publications (2)

Publication Number Publication Date
CN101473659A CN101473659A (zh) 2009-07-01
CN101473659B true CN101473659B (zh) 2011-06-15

Family

ID=38831605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800225094A Expired - Fee Related CN101473659B (zh) 2006-06-16 2007-06-01 摄像装置以及信号处理方法

Country Status (7)

Country Link
US (1) US8471936B2 (zh)
EP (1) EP2031881B1 (zh)
JP (1) JP4548390B2 (zh)
KR (1) KR20090018803A (zh)
CN (1) CN101473659B (zh)
TW (1) TW200822764A (zh)
WO (1) WO2007145087A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8495348B2 (en) * 2008-06-26 2013-07-23 Lsi Corporation Efficient root booting with solid state drives and redirect on write snapshots
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
JP5640370B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP5640371B2 (ja) 2009-12-18 2014-12-17 ソニー株式会社 カメラシステム及び画像処理方法
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
JP5621055B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
EP2815393B1 (en) 2012-02-14 2023-04-05 Gentex Corporation High dynamic range imager system
US9280803B2 (en) 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657082A (en) * 1994-12-20 1997-08-12 Sharp Kabushiki Kaisha Imaging apparatus and method using interpolation processing
US6847397B1 (en) * 1999-07-01 2005-01-25 Fuji Photo Film Co., Ltd. Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60838B2 (ja) * 1976-05-28 1985-01-10 ソニー株式会社 カラー固体撮像装置
JPS59154889A (ja) 1983-02-23 1984-09-03 Hitachi Denshi Ltd 固体カラ−撮像装置
JPH0458682A (ja) * 1990-06-28 1992-02-25 Canon Inc 撮像装置
US5237185A (en) * 1991-04-19 1993-08-17 Canon Kabushiki Kaisha Image pickup apparatus with different gate thicknesses
JPH04320372A (ja) * 1991-04-19 1992-11-11 Canon Inc 撮像装置
JP3735867B2 (ja) * 1993-01-14 2006-01-18 ソニー株式会社 輝度信号生成装置
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
JPH07250341A (ja) * 1994-03-11 1995-09-26 Asahi Optical Co Ltd 電子カメラのホワイトバランス調整装置
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
JP3787927B2 (ja) * 1996-11-18 2006-06-21 ソニー株式会社 撮像装置及びカラー画像信号の処理方法
JPH1176159A (ja) 1997-09-09 1999-03-23 Fuji Photo Optical Co Ltd 複数の撮像素子を組み合わせた画像形成装置
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP4607265B2 (ja) * 1998-01-08 2011-01-05 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4162111B2 (ja) * 1999-07-27 2008-10-08 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
JP4195169B2 (ja) * 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
JP4423452B2 (ja) * 2000-12-27 2010-03-03 富士フイルム株式会社 固体撮像装置
JP2005175893A (ja) * 2003-12-11 2005-06-30 Fuji Film Microdevices Co Ltd ２板式カラー固体撮像装置及びデジタルカメラ
JP4717371B2 (ja) * 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
JP3729842B1 (ja) * 2004-12-02 2005-12-21 三菱電機株式会社 画素信号処理装置及び方法
JP4617152B2 (ja) 2004-12-17 2011-01-19 株式会社マキタ 切断機の切断材位置決めフェンス
JP4320372B2 (ja) 2007-10-04 2009-08-26 憲司 中村 ガラス含有成形用ペレット及びその製造方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657082A (en) * 1994-12-20 1997-08-12 Sharp Kabushiki Kaisha Imaging apparatus and method using interpolation processing
US6847397B1 (en) * 1999-07-01 2005-01-25 Fuji Photo Film Co., Ltd. Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor

Also Published As

Publication number Publication date
US20100231745A1 (en) 2010-09-16
JP2007336387A (ja) 2007-12-27
EP2031881A1 (en) 2009-03-04
EP2031881B1 (en) 2011-11-16
TWI338511B (zh) 2011-03-01
WO2007145087A1 (ja) 2007-12-21
JP4548390B2 (ja) 2010-09-22
KR20090018803A (ko) 2009-02-23
CN101473659A (zh) 2009-07-01
EP2031881A4 (en) 2009-12-16
US8471936B2 (en) 2013-06-25
TW200822764A (en) 2008-05-16

Similar Documents

Publication Publication Date Title
CN101473659B (zh) 摄像装置以及信号处理方法
RU2556022C2 (ru) Устройство формирования цветного изображения
CN101924947B (zh) 图像处理装置及图像处理方法、摄像装置
US7460728B2 (en) Image processing apparatus and method, recording medium, and program
CN102754443B (zh) 图像处理设备和图像处理方法
US8013914B2 (en) Imaging apparatus including noise suppression circuit
CN1943248B (zh) 摄像装置
CN101494795B (zh) 使用绿色光谱范围重叠的单位像素群的图像传感器及方法
CN104412579B (zh) 彩色摄像元件以及摄像装置
US7884864B2 (en) Noise reduction device, noise reduction method and image capturing device
CN104412581B (zh) 彩色摄像元件及摄像装置
US20080225135A1 (en) Imaging Device Element
JPH11191892A (ja) 画像信号処理装置
CN104025582B (zh) 彩色摄像元件
CN104025578A (zh) 彩色摄像元件
US6747698B2 (en) Image interpolating device
US20020101525A1 (en) Image interpolating device
US6900833B2 (en) Image interpolating device
US20020093510A1 (en) Image interpolating device
JPH0823541A (ja) カラー撮像装置
JPH06133319A (ja) カラー撮像装置
JP3490832B2 (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110615

Termination date: 20150601

EXPY Termination of patent right or utility model