CN1643936A - 图像处理设备和方法、以及图像处理设备的制造方法 - Google Patents

图像处理设备和方法、以及图像处理设备的制造方法 Download PDF

Info

Publication number
CN1643936A
CN1643936A CNA038064359A CN03806435A CN1643936A CN 1643936 A CN1643936 A CN 1643936A CN A038064359 A CNA038064359 A CN A038064359A CN 03806435 A CN03806435 A CN 03806435A CN 1643936 A CN1643936 A CN 1643936A
Authority
CN
China
Prior art keywords
light
color
image processing
signal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA038064359A
Other languages
English (en)
Inventor
水仓贵美
加藤直哉
中岛健
永滨裕喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1643936A publication Critical patent/CN1643936A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)

Abstract

一种能够忠实地再现色彩并减低噪音的图像处理设备和方法、和该图像处理设备的制造方法。4色滤光器(61)包括仅允许红光透过的R滤光器、仅允许蓝光透过的B滤光器、仅允许第1波长波段中的绿光透过的G1滤光器和仅允许第2波长波段中的绿光透过的G2滤光器，作为最小单元。G1滤光器和G2滤光器在最小单元处配置在相互对角的位置。RGB信号是基于透过4色滤光器(61)、由图像传感器获得的4种信号而生成的。本发明可适用于诸如数码相机等的图像处理设备。

Description

图像处理设备和方法、以及图像处理设备 的制造方法
技术领域
本发明涉及图像处理设备和方法、以及图像处理设备的制造方法。特别地，本发明涉及再现更忠实的色彩并减低噪音的图像处理设备和方法、并涉及该图像处理设备的制造方法。
背景技术
近年来，面向消费者的图像处理设备(数码相机、彩色扫描仪等)和图像处理软件已得到普及使用，而自己对通过例如摄影等而取得的图像进行编辑的用户数量已增加了。
伴随这种情形，对于高质量的图像也有强烈的要求(对于更好的色彩的要求、对于噪音的减少的要求等)。现状是：当购入数码相机等时，占半数以上的用户将良好的图像质量作为第1条件。
在数码相机中，一般地，使用图1所示的三原色RGB的彩色滤光器1。在此例中，如图1的短虚线所示，彩色滤光器1由所谓Bayer(贝尔)布局构成，其中2个仅允许绿(G)光透过的G滤光器、1个仅允许红(R)光透过的R滤光器和1个仅允许蓝(B)光透过的B滤光器这合计4个滤光器定义了最小单元。
图2表示对由具有RGB彩色滤光器1的CCD(电荷耦合元件)摄影元件取得的RGB信号执行各种处理的信号处理部11的构成例的框图。
偏移校正处理部21去除偏移分量，并将所得的图像信号输出至白平衡校正处理部22，该偏移分量包含于从对由CCD摄影元件取得的信号执行预定处理的前端13所供给的图像信号中。白平衡校正处理部22基于从偏移校正处理部21供给的图像信号的色温度和彩色滤光器1的各滤光器的灵敏度的差别而校正各色的平衡。作为由白平衡校正处理部22做出的校正结果取得的色彩信号被输出至γ(伽玛)校正处理部23。γ校正处理部23对从白平衡校正处理部22供给的信号做γ校正，并将取得的信号输出至垂直方向同时化(time-coincidence)处理部24。垂直方向同时化处理部24设有延迟元件，从而从γ校正处理部23供给的、具有时间上的垂直偏差的信号被同时化。
RGB信号生成处理部25在同一空间的相位对从垂直方向同时化处理部24供给的色彩信号进行插值处理、去除信号的噪音分量的噪音去除处理、限制信号波段的滤波处理、以及校正信号波段的高频分量的高频校正处理等，并将所得的RGB信号输出至亮度信号生成处理部26和色差信号生成处理部27。
亮度信号生成处理部26以预定的合成比来合成从RGB信号生成处理部25供给的RGB信号，以生成亮度信号。色差信号生成处理部27同样地以预定的合成比来合成从RGB信号生成处理部25供给的RGB信号，以生成色差信号(Cb，Cr)。由亮度信号生成处理部26生成的亮度信号和由色差信号生成处理部27生成的色差信号被输出至例如设在信号处理部11的外部的监视器。
按照这样，一般的做法是：对原始信号执行γ处理后再通过线性变换对原始信号进行图像处理。
作为确定彩色滤光器的条件，首先，再现对于人眼所见的色彩是忠实的色彩的“色彩再现特性”是一示例。这些“色彩再现特性”由意味着使色彩接近人眼所见的色彩的“色彩的外部特征”、和意味着在人眼看来不同的色彩被再现为不同的色彩、而看来相同的色彩则被再现为相同的色彩的「色彩判别特性」(条件配色匹配)构成。其次，当生产具有正的灵敏度的光谱分量和具有1个峰值的光谱灵敏度特性等的滤光器时，满足“物理限制”是另一示例。第三，考虑“噪音减低性”是又一示例。
为了生产和评价重视“色彩再现特性”的彩色滤光器，迄今使用了例如q因子、μ因子或FOM(优点的图)等滤光器评价系数。这些系数取0至1的值；彩色滤光器的光谱灵敏度特性愈接近人眼的光谱灵敏度特性(色彩匹配函数)的线性变换，则系数取愈大的值，即系数表示愈接近1的值。为了使这些系数的值接近1，故使光谱灵敏度满足路德(Luther)条件。
然而，若设计彩色滤光器以满足路德条件，则彩色滤光器如图3所示具有负的光谱分量或发生多个峰值。为此，彩色滤光器不可能物理地实现，或即使能实现也是相当困难才实现的。
因此，当通过除考虑路德条件以外还考虑其他的上述“物理限制”而设计彩色滤光器时，光谱灵敏度的特性通常变成如图4所示以致负的光谱分量不出现的特性。图3的曲线L1和图4的曲线L11代表R的光谱灵敏度。图3的曲线L2和图4的曲线L12代表G的光谱灵敏度。图3的曲线L3和图4的曲线L13代表B的光谱灵敏度。
然而，在具有图4所示的光谱灵敏度的滤光器中，会出现这样的问题：R的光谱灵敏度的特性(曲线L11)和G的光谱灵敏度的特性(曲线L12)重叠很大，而当分解(提取)每个色彩信号时，传播噪音增大。即，为了分解色彩信号，R信号和G信号之间的差需要增大。然而当为了增大该差而放大每个信号时，后果是噪音也被放大了，不满足上述“噪音减低性”。
因此，为了满足“噪音减低性”，故考虑即使多少牺牲一些“色彩再现特性”，仍使R的光谱灵敏度和G的光谱灵敏度的重叠部分减少，和例如使滤光器成为具有图5所示的光谱灵敏度特性。
然而，在具有这种特性的滤光器的情形中，有这样的问题：在眼睛看来具有不同色彩的物体被数码相机拍摄成为同一色彩等这样的所谓“色彩判别特性”恶化了。
“色彩判别特性”的恶化如下进一步说明。即，图6表示物体R1和物体R2的光谱反射率，其中物体R1和物体R2的光谱反射率不同。图7A和图7B表示当标准观察者的眼睛看见具有图6的光谱反射率的物体R1和物体R2时的三色值(X，Y，Z值)(图7A)，并表示当由具有图5的光谱灵敏度特性的彩色滤光器摄影时的RGB值(图7B)。
在图7A中，物体R1的X、Y、Z值(“0.08”、“0.06”、“0.30”)与物体R2的X、Y、Z值(“0.10”、“0.07”、“0.33”)不同。这表明每个物体被人眼看成不同的色彩。相反，在图7B中，物体R1的R、G、B的值和物体R2的R、G、B的值具有同一值(“66.5”、“88.3”、“132.0”)。这意味着在具有图5的光谱灵敏度特性的数码相机(彩色滤光器)中，每个物体被摄影成具有相同的色彩，即不区别物体的色彩。
而且，在通过使用q因子、μ因子或FOM的彩色滤光器的评价中，未考虑“噪音减低特性”，而滤光器从“噪音减低特性”的观点是不理想的。尽管如此，对于满足“色彩再现特性”和“物理限制”两方的滤光器(满足路德条件、如图4所示的滤光器)，却表示了最高的评价(系数的值为1)。
发明内容
本发明是鉴于这种状况而做出的。本发明旨在能够再现更忠实的色彩并减低噪音。
本发明的图像处理设备包括：提取装置，用于提取三原色的第1至第3光以及与三原色的第1至第3光中的第2光具有高相关的第4光；变换装置，用于将由提取装置提取的第1至第4光变换成对应的第1至第4色彩信号；和信号生成装置，用于基于第1至第4色彩信号而生成对应于三原色的第5至第7色彩信号，其中信号生成装置根据为了使基于预定的色块而计算的参照值和基于色块、通过提取装置的光谱灵敏度特性计算的输出值之间的、在预定评价值处的差分最小而给出的变换方程，而生成第5至第7色彩信号。
提取第1至第4光的提取装置具有由分别提取第1至第4光的第1至第4提取部构成的单元，而分别提取第2光和第4光的第2提取部和第4提取部可在该单元处对角地放置。
第2提取部和第4提取部可具有与亮度信号的可视灵敏度特性近似的光谱灵敏度特性。
三原色的第1至第3光可以分别是红、绿和蓝光，而第4光可以是绿光。
差分可以是XYZ色彩空间中的差分。
差分可以是均匀知觉色彩空间中的差分。
差分可以是用于色彩分隔的传播噪音。
本发明用于图像处理设备的图像处理方法包括：提取步骤，其提取三原色的第1至第3光以及与三原色的第1至第3光中的第2光具有高相关的第4光；变换步骤，将由提取步骤的处理提取的第1至第4光变换成对应的第1至第4色彩信号；和信号生成步骤，基于第1至第4色彩信号而生成对应于三原色的第5至第7色彩信号，其中信号生成步骤根据为了使基于预定的色块而计算的参照值和基于色块、通过提取装置的光谱灵敏度特性计算的输出值之间的、在预定评价值处的差分最小而给出的变换方程，而生成第5至第7色彩信号。
本发明的图像处理设备的制造方法包括：提供变换装置的第1步骤；和第2步骤，其通过使用预定的评价系数来确定光谱灵敏度特性，从而在由第1步骤的处理提供变换装置前生成提取三原色的第1至第3光以及与三原色的第1至第3光中的第2光具有高相关的第4光的提取装置。
在第2步骤中，形成由分别提取第1至第4光的第1至第4提取部构成的单元，作为提取装置，而分别提取第2光和第4光的第2提取部和第4提取部可在该单元处对角地放置。
该评价系数可以是用于使第2提取部和第4提取部的光谱灵敏度特性与亮度信号的可视灵敏度特性近似的评价系数。
该评价系数可以是既考虑色彩再现特性也考虑噪音减低特性的评价系数。
在第2步骤中，三原色的第1至第3光可以分别是红、绿和蓝光，而第4光可以是绿光。
制造方法进一步包括第3步骤，用于生产生成装置，该生成装置基于由变换装置变换第1至第4光而生成的第1至第4色彩信号，来生成对应于三原色的第5至第7色彩信号。
附图说明
图1表示传统的RGB滤光器的示例。
图2是表示设在传统数码相机中的信号处理部的构成示例的框图。
图3表示光谱灵敏度特性的示例。
图4表示光谱灵敏度特性的另一示例。
图5表示光谱灵敏度特性的又一示例。
图6表示预定物体的光谱反射率。
图7A表示当预定的物体被标准观察者的眼睛看见时的三色值的示例。
图7B表示当预定的物体被彩色滤光器摄影时的RGB值的示例。
图8是表示应用本发明的数码相机的构成示例的框图。
图9表示设在图8的数码相机中的4色彩色滤光器的示例。
图10表示可视灵敏度曲线的示例。
图11表示评价系数的特征。
图12是表示图8的相机***LSI的构成示例的框图。
图13是表示图12的信号处理部的构成示例的框图。
图14是说明图像处理设备的生产处理的流程图。
图15是说明图14的细节的流程图。
图16表示虚拟曲线的示例。
图17A表示RGB的特性彼此不重叠的滤光器的UMG值的示例。
图17B表示R特性和G特性在宽波长波段上重叠的滤光器的UMG值的示例。
图17C表示R、G和B的特性彼此适度地重叠的滤光器的UMG值的示例。
图18表示4色彩色滤光器的光谱灵敏度特性的示例。
图19是说明图14的步骤S2中线性矩阵确定处理的细节的流程图。
图20表示色差评价结果的示例。
图21表示由4色彩色滤光器预定的物体的色度。
图22表示设在图8的数码相机中的4色彩色滤光器的另一示例。
具体实施方式
图8是表示应用本发明的数码相机的构成示例的框图。
在图8所示的数码相机中，在由CCD(电荷耦合元件)等构成的图像传感器45的前面(正对着镜片42的面)设有识别4种色彩(光)的彩色滤光器。
图9表示设在图8的数码相机45中的4色彩色滤光器61的示例。
如图9的短虚线所示，4色彩色滤光器61是这样构成的：即仅允许红光透过的R滤光器、仅允许蓝光透过的B滤光器、仅允许第1波长波段中的绿光透过的G1滤光器和仅允许第2波长波段中的绿光透过的G2滤光器这合计4个滤光器被设成最小单元。G1滤光器和G2滤光器在最小单元处配置在相互对角的位置。
如后面详述，通过将由图像传感器45取得的图像色彩设成4种类型、以致增加要取得的色彩信息，当与仅取得3种色彩(RGB)的情形比较时，可能更准确地表现色彩，并可改进再现(“色彩判别特性”)、以使在人眼看来不同的色彩被再现为不同的色彩、而看来相同的色彩则被再现为相同的色彩。
从图10所示的可视灵敏度曲线可以看出，人眼对亮度敏感。因此，在图9的4色彩色滤光器61的示例中，添加了具有接近可视灵敏度曲线的光谱灵敏度特性的G2彩色滤光器(对于与图1的R、G、B对应的R、G、B的滤光器，添加了新确定的绿G2彩色滤光器)，从而通过取得更精确的亮度信息，可增加亮度的灰度，并可再现接近眼睛所见的图像。
作为当确定4色彩色滤光器61时使用的滤光器评价系数，例如使用考虑了“色彩再现特性”和“噪音减低特性”两方的UMG(统一优良测量)。
在使用UMG的评价中，被评价的滤光器仅满足路德条件不使得评价值增加，并还考虑到每个滤光器的光谱灵敏度分布的重叠。因此，当与利用q因子、μ因子或FOM评价的彩色滤光器的情形比较时，可更为减低噪音。即，作为使用UMG的评价的结果，光谱灵敏度具有某种程度的重叠。然而，由于选择了全部特性基本上不像图4的R特性和G特性那样重叠的滤光器，故即使当为了色彩的分离而对每个色彩信号进行放大时，放大率也不必增大许多，结果抑制了噪音分量的放大。
由第4滤光器(G2滤光器)抑制噪音的理由将被提到。伴随着为了扩大像素数而最小化CCD的单元尺寸，为了改进灵敏度效率而使原色滤光器的光谱灵敏度曲线***，而滤光器的重叠倾向于增大。在这种状况下添加另一滤光器具有抑制三原色的原始重叠的效果和防止噪音的结果。
图11表示各滤光器评价系数的特征。在图11中，对于各评价系数，表示出了是否考虑一次可被评价的滤光器数和物体的光谱反射率，并表示出了是否考虑噪音的减低。
如图11所示，对于q因子，一次可被评价的滤光器数仅是“1”，而且不考虑物体的光谱反射率和噪音的减低。对于μ因子，尽管一次可评价多个滤光器，但仍不考虑物体的光谱反射率和噪音的减低。进而，对于FOM，尽管一次可评价多个滤光器并考虑物体的光谱反射率，但却不考虑噪音的减低。
相形之下，对于当确定4色彩色滤光器61时使用的UMG，一次可评价多个滤光器，考虑物体的光谱反射率，也考虑噪音的减低。
q因子的细节公开于“H.E.J.Neugebauer“Quality Factor for Filters WhoseSpectral Transmittances are Differenct from Color Mixture Curves，and ItsApplication to Color Photography(用于光谱透过率与色彩混和曲线不同的滤光器的品质因子，及其在彩色摄影术中的应用)，JOURNAL OF THEOPTICAL SOCIATY OF AMERICA，VOLUME 46，NUMBER 10(美国光学协会期刊第10期第46卷)”。μ因子的细节公开于“P.L.Vora和H.J.Trussell，Measure of Goodness of a set of co1or-scanning filters(一组彩色扫描滤光器的良好性测量)，JOURNAL OF THE OPTICAL SOCIATY OF AMERICA，VOLUME 46，NUMBER 7(美国光学协会期刊第7期第10卷)”。FOM的细节公开于“G.Sharma和H.J.Trussell，Figures of Merit for Color Scanners(彩色扫描仪的优点的图)，IEEE TRANSACTION ON IMAGE PROCESSING，VOLUME 6(IEEE的图像处理的论文集，第6卷)”。UMG的细节公开于“S.Qμan，N.Ohta和N.Katoh，Optimal Design of Camera Spectral SensitivityFunctions Based on Practical Filter Components(基于实际滤光器组件的照相机光谱灵敏度函数的光学设计)，CIC，2001”。
返回图8的说明，微计算机41根据预定的控制程序来控制整体的工作。例如，微计算机41进行使用光圈43的曝光控制、快门44的开/闭控制、TG(定时发生器)46的电子快门的控制、前端47处的增益控制、相机***LSI(大规模集成电路)48的模式控制、参数控制等。
光圈43调整由镜片42聚光的光的通道(光圈)以控制由图像传感器45接收到的光量。快门44基于来自微计算机41的指示而控制由镜片42聚光的光通道。
图像传感器45进一步包括由CCD和CMOS(互补型金属氧化物半导体)构成的摄影元件。图像传感器45将经形成于摄影元件的前面的4色彩色滤光器61而入射的光变换成电信号，并将4种色彩信号(R信号、G1信号、G2信号、B信号)输出至前端47。图像传感器45设有图9的4色彩色滤光器61，从而从经镜片42入射的光中提取每个R、G1、G2、B的波段的波长分量(细节将参照图18而后述)。
前端47对从图像传感器45供给的色彩信号执行为了去除噪音分量的相关二重取样处理、增益控制处理和数字变换处理等。由前端47进行的各种处理所得的图像数据被输出至相机***LSI 48。
如后面的详述，相机***LSI 48对从前端47供给的图像数据进行各种处理，以生成例如亮度信号和色彩信号，将色彩信号输出至图像监视器50，从而显示对应于信号的图像。
图像存储器49由例如DRAM(动态随机读写存储器)、SDRAM(同步动态随机读写存储器)等构成，并当相机***LSI 48进行各种处理时被适宜地利用。由半导体存储器、磁盘等构成的外部存储介质51以可装入图8的数码相机的方式构成，而由相机***LSI 48以JPEG(组合图片专家组)格式压缩的图像数据就存储在其中。
图像监视器50由例如LCD(液晶显示器)等构成，并显示拍摄的图像、各种菜单屏幕等。
图12是表示图8的相机***LSI 48的构成示例的框图。构成相机***LSI 48的每个框经微计算机接口(I/F)73受图8的微计算机41控制。
信号处理部71对从前端47供给的4种色彩信息进行插值处理、滤光处理、矩阵计算处理、亮度信号生成处理和色差信号生成处理等各种处理，并例如将生成的图像信号经监视器接口77输出至图像监视器50。
图像检测部72基于来自前端47的输出而进行自动聚焦、自动曝光、自动白平衡等检测处理，并将结果适宜地输出至微计算机41。
存储器控制器75控制处理框间数据的收发或预定的处理框和图像存储器49间数据的收发，并例如将从信号处理部71供给的图像数据经存储器接口74输出至图像存储器49，从而存储该图像数据。
图像压缩/解压部76对例如从信号处理部71供给的图像数据以JPEG格式进行压缩，并将所得的数据经微计算机接口73输出至外部存储介质51，从而存储该图像数据。图像压缩/解压部76还对从外部存储介质51读出的压缩数据进行解压缩(扩展)，并将数据经监视器接口77输出至图像监视器50。
图13是表示图12的信号处理部71的详细构成示例的框图。构成信号处理部71的各框经微计算机接口73受微计算机41控制。
偏移校正处理部91去除从前端47供给的图像信号中所含的噪音分量(偏移分量)，并将所得的图像信号输出至白平衡校正处理部92。白平衡校正处理部92基于从偏移校正处理部91供给的图像信号的色彩温度和4色彩色滤光器61的各滤光器的灵敏度的差别而校正各色的平衡。作为由白平衡校正处理部92做出的校正结果取得的色彩信号被输出至垂直方向同时化处理部93。垂直方向同时化处理部93设有延迟元件，从而从白平衡校正处理部92供给的、具有时间上的垂直偏差的信号被同时化(校正)。
信号生成处理部94在同一空间的相位对从垂直方向同时化处理部93供给的RG1G2B的最小单元的2×2像素的色彩信号进行插值处理、去除信号的噪音分量的噪音去除处理、限制信号波段的滤波处理、以及校正信号波段的高频分量的高频校正处理等，并将所得的RG1G2B信号输出至线性矩阵处理部95。
线性矩阵处理部95基于预定的矩阵系数(3×4矩阵)，依下方程(1)进行RG1G2B信号的计算，并生成3色的RGB信号。
R G B = a b c d e f g h i j k l · R G 1 G 2 B . . . ( 1 )
由线性矩阵处理部95生成的R信号被输出至γ校正处理部96-1、G信号被输出至γ校正处理部96-2、B信号被输出至γ校正处理部96-3。
γ校正处理部96-1至96-3对从线性矩阵处理部95输出的RGB信号的每个信号进行γ校正，并将取得的RGB信号输出至亮度(Y)信号生成处理部97和色差(C)信号生成处理部98。
亮度信号生成处理部97依下方程(2)以预定的合成比合成从γ校正处理部96-1至96-3供给的RGB信号，以生成亮度信号。
Y＝0.2126R+0.7152G+0.0722B    ...(2)
色差信号生成处理部98同样地以预定的合成比合成从γ校正处理部96-1至96-3供给的RGB信号，以生成色差信号(Cb，Cr)。由亮度信号生成处理部97生成的亮度信号和由色差信号生成处理部98生成的色差信号例如经图12的监视器接口77输出至图像监视器50。
在具有以上构成的数码相机中，当指示图像的摄影时，微计算机41控制TG 46从而由图像传感器45拍摄图像。即，形成于构成图像传感器45的CCD等摄影元件的前面的4色彩色滤光器61允许4色的光透过，而透过的光被CCD摄影元件拍摄。由CCD摄影元件拍摄的光被变换成4色的色彩信号，并将该信号输出至前端47。
前端47对从图像传感器45供给的色彩信号执行为了去除噪音分量的相关二重取样处理、增益控制处理和数字变换处理等，并将所得的图像数据输出至相机***LSI 48。
在相机***LSI 48的信号处理部71中，偏移校正处理部91去除了色彩信号的偏移分量，而白平衡校正处理部92基于图像信号的彩色温度和4色彩色滤光器61的各滤光器的灵敏度的差别而校正各色的平衡。
由白平衡校正处理部92校正的、具有时间上的垂直偏差的信号被垂直方向同时化处理部93同时化(校正)。信号生成处理部94在同一空间的相位对从垂直方向同时化处理部93供给的RG1G2B的最小单元的2×2像素的色彩信号进行插值处理、去除信号的噪音分量的噪音去除处理、限制信号波段的滤波处理、以及校正信号波段的高频分量的高频校正处理等。
进而，在线性矩阵处理部95中，基于预定的矩阵系数(3×4矩阵)来变换由信号生成处理部94生成的信号(RG1G2B信号)，生成3色的RGB信号。由线性矩阵处理部95生成的R信号被输出至γ校正处理部96-1、G信号被输出至γ校正处理部96-2、B信号被输出至γ校正处理部96-3。
γ校正处理部96-1至96-3对通过线性矩阵处理部95的处理获得的RGB信号的每个信号进行γ校正，并将取得的RGB信号输出至亮度信号生成处理部97和色差信号生成处理部98。在亮度信号生成处理部97和色差信号生成处理部98中，以预定的合成比合成从γ校正处理部96-1至96-3供给的R信号、G信号和B信号，生成亮度信号和色差信号。由亮度信号生成处理部97生成的亮度信号和由色差信号生成处理部98生成的色差信号被输出至图12的图像压缩/解压部76，从而例如以JPEG格式进行压缩。所得的压缩数据经微计算机接口73输出至外部存储介质51，从而存储该图像数据。
如上述，由于1个图像数据是基于4种色彩信号而形成的，故再现特性更接近人眼所见到的。
另一方面，当指示了存储于外部存储介质51的图像数据的回放(显示)时，微计算机41读出存储于外部存储介质51的图像数据，并将图像数据输出至相机***LSI 48的图像压缩/解压部76。在图像压缩/解压部76中，压缩的图像数据被扩展，而对应于经监视器接口77所获得的数据的图像显示在图像监视器50上。
其次，参照图14的流程图，将要说明生产具有以上构成的数码相机的处理(过程)。
在步骤S1处，进行4色彩色滤光器确定处理，用于确定设在图8的数码相机45中的4色彩色滤光器61的光谱灵敏度特性。在步骤S2处，进行线性矩阵确定处理，用于确定在图13的线性矩阵处理部95中设定的矩阵系数。在步骤S1处实行的4色彩色滤光器确定处理的细节将参照图15的流程图而后述，在步骤S2处实行的线性矩阵确定处理的细节将参照图19的流程图而后述。
在确定了4色彩色滤光器61和确定了矩阵系数后，在步骤S3处，生产图13的信号处理部71，并且处理前进至步骤S4，在此生产图12的相机***LSI 48。进而，在步骤S5处，生产如图8所示的整个图像处理设备(数码相机)。在步骤S6处，对在步骤S5处生产的数码相机的图像质量(“色彩再现特性”和“色彩判别特性”)进行评价，接着处理完成。
这里，将要说明当评价“色彩再现特性”和“色彩判别特性”等时参照的物体色彩。物体色彩是由“物体的光谱反射率”、“标准照明的光谱能量分布”和“感知物体的传感器(彩色滤光器)的光谱灵敏度分布(特性)”的乘积在可视光区域(例如400至700纳米)的范围内积分的值而计算的。即，物体色彩是由下方程(3)而计算的。
Figure A0380643500151
λ：波长
vis：可视光区域(通常400纳米～700纳米)
例如，当用眼睛观察预定的物体时，方程(3)的“传感器的光谱灵敏度分布”以色彩匹配函数来表达，而该物体的物体色彩以X、Y、Z的三色值来表达。具体地说，X的值由方程(4-1)计算，Y的值由方程(4-2)计算，Z的值由方程(4-3)计算。而方程(4-1)至(4-3)中的常数k的值由方程(4-4)计算。
X = k ∫ vis R ( λ ) · P ( λ ) · x ‾ ( λ ) dλ · · · ( 4 - 1 )
Y = k ∫ vis R ( λ ) · P ( λ ) · y ‾ ( λ ) dλ · · · ( 4 - 2 )
Z = ∫ vis R ( λ ) · P ( λ ) · z ‾ ( λ ) dλ · · · ( 4 - 3 )
vis：可视光区域(通常400纳米～700纳米)
R(λ)：物体的光谱反射率
x(λ)， y(λ)， z(λ)：色彩匹配函数
k＝1/∫P(λ)· y(λ)dλ             ...(4-4)
当由数码相机等图像处理设备来拍摄预定的物体的图像时，上方程(3)的“传感器的光谱灵敏度特性”以彩色滤光器的光谱灵敏度特性来表达，而对于物体的物体色彩，计算滤光器数量的色值(例如，RGB滤光器(3种)的情形是RGB值(3个值))的物体色彩。当图像处理设备设有检测3种色彩的RGB滤光器时，具体地说，R的值由方程(5-1)计算，G的值由方程(5-2)计算，B的值由方程(5-3)计算。而方程(5-1)中的常数Kr的值由方程(5-4)计算，方程(5-2)中的常数Kg的值由方程(5-5)计算，方程(5-3)中的常数Kb的值由方程(5-6)计算。
R = k r ∫ vis R ( λ ) · P ( λ ) · r ‾ ( λ ) dλ · · · ( 5 - 1 )
X = k g ∫ vis R ( λ ) · P ( λ ) · g ‾ ( λ ) dλ · · · · ( 5 - 2 )
B = k b ∫ vis R ( λ ) · P ( λ ) · b ‾ ( λ ) dλ · · · ( 5 - 3 )
vis：可视光区域(通常400纳米～700纳米)
R(λ)：物体的光谱反射率
r(λ)， g(λ)， b(λ)：彩色滤光器的光谱灵敏度分布
k r = 1 / ∫ vis P ( λ ) · r ‾ ( λ ) dλ · · · ( 5 - 4 )
k g = 1 / ∫ vis P ( λ ) · g ‾ ( λ ) dλ · · · ( 5 - 5 )
k b = 1 / ∫ vis R ( λ ) . b ‾ ( λ ) dλ · · · ( 5 - 6 )
接下来，参照图15的流程图，将要说明在图14的步骤S1处进行的4色彩色滤光器确定处理。
对于4色彩色滤光器的确定方法，有各种方法。下面说明了这样的处理的一示例：其中将RGB滤光器作为基础(现有的(图1的)G滤光器之一被假设为G1滤光器)、选择允许与透过G1滤光器的色彩具有高相关的色彩透过的G2滤光器，并添加此滤光器以确定4色彩色滤光器。
在步骤S21处，选择为了计算UMG值而使用的色彩目标。例如，在步骤S21处，选择含有许多代表现有色彩的色块、并含有许多重视人类的记忆色(肤色、植物的绿色、天空的蓝色等)的色块的色彩目标。色彩目标例如包括IT8.7，麦克白(Macbeth)色彩校验器，格雷泰麦克白(GretagMacbeth)数码相机色彩校验器，CIE，和色条等。
进而，取决于目的，从SOCS(标准物体色彩光谱数据库)等数据可创建可作为标准的色块，并可使用之。SOCS的细节公开于「Joji TAJIMA(田岛让二)，“Statistical Color Reproduction Evaluation by Standard Object ColorSpectra Database(SOCS)(通过标准物体色彩光谱数据库(SOCS)的统计色彩再现评价)”，Color Forum JAPAN 99(色彩论坛日本99)」。以下说明选择麦克白色彩校验器作为色彩目标的情形。
在步骤S22处，确定G2滤光器的光谱灵敏度特性。可使用可从现有材料创建的光谱灵敏度特性。而且，以图16所示的立方样条曲线(3阶样条函数)来设想虚拟曲线C(λ)，可使用虚拟曲线C(λ)的峰值λ0、值w(w1和w2的和被2除的值)和值Δw(从w1减去w2而得的值被2除的值)在图中所示的范围内变化的光谱灵敏度特性。w和Δw的值被设成基于半幅宽值的值。λ0、w和Δw的变化方法可例如间隔5纳秒进行一次。虚拟曲线C(λ)在各自范围内以下方程(6-1)至(6-5)来表达。
C ( λ ) = w 2 3 + 3 w 2 2 ( w 2 - | λ - λ 0 | ) + 3 w 2 ( w 2 - | λ - λ 0 | ) 2 - 3 ( w 2 - | λ - λ 0 | ) 3 6 w 2 3 Λ ≤ λ - λ 0 ≤ w 2 · · · ( 6 - 1 )
C ( λ ) = w 1 3 + 3 w 1 2 ( w 1 - | λ - λ 0 | ) + 3 w 1 ( w 1 - | λ - λ 0 | ) 2 - 3 ( w 1 - | λ - λ 0 | ) 3 6 w 1 3 Λ - w 1 ≤ λ - λ 0 ≤ 0 · · · ( 6 - 2 )
C ( λ ) = ( 2 w 2 - | λ - λ 0 | ) 3 6 w 2 3 Λ w 2 ≤ λ - λ 0 ≤ 2 w 2 · · · ( 6 - 3 )
C(λ)＝0  ∧上述范围以外              ...(6-5)
在此示例中，仅添加了滤光器G2。或者，仅使用图1的滤光器(R、G、G、B)的R滤光器和B滤光器，而余下的G1、G2滤光器可被定义成绿色附近的上方程(6-1)至(6-5)的虚拟曲线。同样地，从图1的滤光器中可仅使用R和G滤光器、G和B滤光器。进而，4色彩色滤光器内的3色也可被定义成虚拟曲线，或全部4色可被定义成虚拟曲线。
在步骤S23处，欲添加的滤光器(G2滤光器)和现有的滤光器(R滤光器、G1滤光器和B滤光器)被组合，以生产4色彩色滤光器的最小单元(组)。在步骤S24处，对于在步骤S23处生产的4色彩色滤光器，将UMG用作滤光器评价系数，并计算UMG值。
如参照图11所说明的，当使用UMG时，对于4色的每个彩色滤光器，一次可进行评价。进而，不仅通过考虑物体的光谱反射率而进行评价，而且还通过考虑噪音的减低特性而进行评价。在使用UMG的评价中，在每个滤光器的光谱灵敏度特性中，对于具有适度重叠的滤光器表示了高评价，因此，对于具有R特性和G特性在宽波长波段上重叠的特性的滤光器，可防止表示出高评价。
图17A至17C表示在3色彩色滤光器中计算的UMG值的示例。例如，在具有如RGB特性彼此不重叠的图17A所示的特性的滤光器中，计算“0.7942”的UMG值。在具有如R特性和G特性在宽波长波段上重叠的图17B所示的特性的滤光器中，计算“0.8211”的UMG值。在具有如RGB特性适度地重叠的图17C所示的特性的滤光器中，计算“0.8879”的UMG值。即，对于具有如RGB的各自特性适度地重叠的图17C所示的特性的滤光器，表示了最高评价。对4色彩色滤光器也同样适用。图17A的曲线L31、图17B的曲线L41和图17C的曲线L51表示R的光谱灵敏度。图17A的曲线L32、图17B的曲线L42和图17C的曲线L52表示G的光谱灵敏度。图17A的曲线L33、图17B的曲线L43和图17C的曲线L53表示B的光谱灵敏度。
在步骤S25处，确定在步骤S24处计算的UMG值是否大于或等于“0.95”，即预定的阈值。当确定UMG值小于“0.95”时，处理前进至步骤S26，在此拒绝(不使用)生产的4色彩色滤光器。当在步骤S26处拒绝4色彩色滤光器时，处理随后终止(不实行图14的步骤S2及后续步骤的处理)。
另一方面，当在步骤S25处确定在步骤S24处计算的UMG值大于或等于“0.95”时，在步骤S27处，该4色彩色滤光器被当作用于数码相机的候选滤光器。
在步骤S28处，确定在步骤S27处被当作候选滤光器的4色彩色滤光器是否可由现有的材料和染料来实现。当材料、染料难以取得时，确定不可识别该4色彩色滤光器，而处理前进至步骤S26，在此拒绝该4色彩色滤光器。
另一方面，当在步骤S28处确定材料、染料等可以取得时，并且可实现该4色彩色滤光器时，处理前进至步骤S29，在此确定生产的4色彩色滤光器作为用于数码相机的滤光器。此后，执行图14的步骤S2及后续的处理。
图18表示在步骤S29处确定的4色彩色滤光器的光谱灵敏度特性示例。
在图18中，曲线L61表示R的光谱灵敏度，而曲线L62表示G1的光谱灵敏度。曲线L63表示G2的光谱灵敏度，而曲线L64表示B的光谱灵敏度。如图18所示，G2的光谱灵敏度曲线(曲线L63)与G1的光谱灵敏度曲线(曲线L62)具有高相关。R的光谱灵敏度、G(G1，G2)的光谱灵敏度和B的光谱灵敏度彼此在适度的范围内重叠。图18所示的特性是对图5所示的3色彩色滤光器的特性添加了G2的特性。
由于利用了按以上方式确定的4色彩色滤光器，结果，特别地改善了“色彩再现特性”中的“色彩判别特性”。
从光的利用效率的观点，按以上方式，最好是将与现有RGB滤光器的G滤光器具有高相关的滤光器作为欲添加的滤光器(G2滤光器)。在此情形中，按照经验，希望欲添加的滤光器的光谱灵敏度曲线的峰值处在495至535纳米的范围内(与现有G滤光器的光谱灵敏度曲线的峰值临近)。
当添加与现有G滤光器具有高相关的滤光器时，通过仅使用构成图1的最小单元(R、G、G、B)的2个G滤光器之一作为欲添加的色彩的滤光器，就可生产4色彩色滤光器。因此，在制作步骤中不必加入大的变化。
当按以上方式生产4色彩色滤光器并将其设置在数码相机中时，4种色彩信号从信号生成处理部94提供给图13的信号处理部71。结果，在线性矩阵处理部95中，进行从4色(R、G1、G2、B)的信号生成3色(R、G、B)的信号的变换处理。由于此变换处理是对亮度线性(亮度值可由线性变换来表达)输入信号值的矩阵处理，故以下将在线性矩阵处理部95中进行的变换处理适宜地称作“线性矩阵处理”。
其次，参照图19的流程图，将要说明在图14的步骤S2处执行的线性矩阵确定处理。
对于在图19的处理中使用的色彩目标，使用麦克白色彩校验器，并假设欲使用的4色彩色滤光器具有图18所示的光谱灵敏度特性。
在步骤S41处，例如，在CIE(Commission Internationale del’Eclairange-照明光国际委员会)被作为标准光源的一般日光D65(照明光L(λ))被选择为照明光。照明光可变成在预计图像处理设备会被频繁地使用的环境中的照明光。当设想了多个照明环境时，可供多个线性矩阵。以下说明选择日光D65作为照明光的情形。
在步骤S42处，计算参照值Xr、Yr、Zr。具体地说，参照值Xr由方程(7-1)计算，Yr由方程(7-2)计算，Zr由方程(7-3)计算。
X r = k ∫ vis R ( λ ) · L ( λ ) · x ‾ ( λ ) dλ · · · ( 7 - 1 )
Y r = k ∫ vis R ( λ ) · L ( λ ) · y ‾ ( λ ) dλ · · · ( 7 - 2 )
Z r = k ∫ vis R ( λ ) · L ( λ ) · z ‾ ( λ ) dλ · · · ( 7 - 3 )
vis：可视光区域(通常400纳米～700纳米)
x(λ)， y(λ)， z(λ)：色彩匹配函数
常数k由方程(8)计算。 k = 1 / ∫ vis L ( λ ) · y ( λ ) dλ · · · ( 8 )
例如，当色彩目标是麦克白色彩校验器时，计算24色的参照值。
其次，在步骤S43处，计算4色彩色滤光器的输出值Rf、G1f、G2f和Bf。具体地说，Rf由方程(9-1)计算，G1f由方程(9-2)计算，G2f由方程(9-3)计算，而Bf由方程(9-4)计算。
R f = k r ∫ vis R ( λ ) · L ( λ ) · r ‾ ( λ ) dλ · · · ( 9 - 1 )
G 1 f = k g 1 ∫ vis R ( λ ) · L ( λ ) · g 1 ‾ ( λ ) dλ · · · ( 9 - 2 )
G 2 f = k g 2 ∫ vis R ( λ ) · L ( λ ) · g 2 ‾ ( λ ) dλ · · · ( 9 - 3 )
B f = k b ∫ vis R ( λ ) · L ( λ ) · b ‾ ( λ ) dλ · · · ( 9 - 4 )
vis：可视光区域(通常400纳米～700纳米)
r(λ)， g1(λ)， g2(λ)， b(λ)：彩色滤光器的光谱灵敏度分布
常数Kr由方程(10-1)计算，常数Kg1由方程(10-2)计算，常数Kg2由方程(10-3)计算，而常数Kb由方程(10-4)计算。
k r = 1 / ∫ vis L ( λ ) · r ‾ ( λ ) dλ · · · ( 10 - 1 )
k g 1 = 1 / ∫ vis L ( λ ) · g 1 ‾ ( λ ) dλ · · · ( 10 - 2 )
k g 2 = 1 / ∫ vis L ( λ ) · g 2 ‾ ( λ ) dλ · · · ( 10 - 3 )
k b = 1 / ∫ vis L ( λ ) · b ‾ ( λ ) dλ · · · ( 10 - 4 )
例如，当色彩目标是麦克白色彩校验器时，计算24色的参考值Rf、G1f、G2f和Bf。
在步骤S44处，用于进行变换、以使在步骤S43处计算的滤光器输出值与在步骤S42处计算的参照值XYZref近似的矩阵在XYZ色彩空间中例如以最小平方误差法计算。
例如，当假设欲计算的3×4矩阵是以方程(11)表达的A时，矩阵变换(XYZexp)由下列方程(12)表达。
A = a 0 a 1 a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a 10 a 11 · · · ( 11 )
XYZ exp = X ^ Y ^ Z ^ = a 0 a 1 a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a 10 a 11 · R f G 1 f G 2 f B f · · · ( 12 )
关于参照值的矩阵变换(方程(12))的误差的平方(E2)以下面的方程(13)来表达，而基于此方程，计算使关于参照值的矩阵变换误差最小的矩阵A。
E2＝|XYZref-XYZexp|2          ...(13)
进而，最小平方误差法中使用的色彩空间可变成XYZ色彩空间以外的空间。例如，通过在将色彩空间变换成对人类知觉均匀的Lab、Luv、Lch色彩空间(均匀知觉色彩空间)后进行同样的计算，可计算允许知觉误差很少量的色彩再现的线性矩阵。由于这些色彩空间的值是从XYZ值由非线性变换计算的，故在最小平方误差法中也使用非线性的计算算法。
按上述计算的结果，例如，对于具有图18的光谱灵敏度特性的滤光器，计算以方程(14)表达的矩阵系数。
A = 0.476 0.905 0.261 - 0.691 0.2 1.154 - 0.061 - 0.292 - 0.004 0.148 0.148 - 0.481 · · · ( 14 )
在步骤S45处确定线性矩阵。例如，当生产的最终RGB图像数据以下面的方程(15)来表达时，线性矩阵(LinearM)如以下计算。
RGBout＝[Ro，Go，Bo]t               ...(15)
即，当照明光是D65时，将sRGB色彩空间变换成XYZ色彩空间的变换方程以含ITU-R709.BT矩阵的方程(16)来表达，并由此ITU-R709.BT矩阵的逆矩阵而计算方程(17)。
X Y Z = 0.4124 0.3576 0.1805 0.2126 0.7152 0.0722 0.0193 0.1192 0.9505 · R sRGB G sRGB B sRGB . . . ( 16 )
R sRGB G sRGB B sRGB = 3.2406 - 1.5372 - 0.4986 - 0.9689 1.8758 0.0415 0.0557 - 0.204 1.057 · X Y Z . . . ( 17 )
基于方程(12)的矩阵变换方程、方程(15)和方程(17)的ITU-R709.BT矩阵的逆矩阵而计算方程(18)。在方程(18)的右边，含有作为其中ITU-R709.BT矩阵的逆矩阵和上述矩阵A的乘积值的线性矩阵。
R 0 G 0 B 0 = 3.2406 - 1.5372 - 0.4986 - 0.9689 1.8758 0.0415 0.0557 - 0.204 1.057 · a 0 a 1 a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a 10 a 11 · R f G 1 f G 2 f B f . . . ( 18 )
即，3×4线性矩阵(LinearM)以方程(19-1)来表达，而对于例如使用方程(14)的矩阵系数、具有图18的光谱灵敏度特性的4色彩色滤光器的线性矩阵，以方程(19-2)来表达。
Linear M = 10 11 12 13 14 15 16 17 18 19 110 111
= 3.2406 - 1.5372 - 0.4986 - 0.9689 1.8758 0.0415 0.0557 - 0.204 1.057 · a 0 a 1 a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a 10 a 11 . . . ( 19 - 1 )
Linear M = 1.238 1.084 0.228 - 1.55 - 0.087 1.295 - 0.309 0.101 - 0.018 - 0.029 1.535 - 0.485 . . . ( 19 - 2 )
按以上方式计算的线性矩阵被提供给图13的线性矩阵处理部95。结果，由于可由线性变换对代表亮度的信号(R，G1，G2，B)进行矩阵处理，故当与像图2所示的信号处理部11中的处理那样，对执行γ处理后所得的信号进行矩阵处理的情形比较时，就色彩动力学而言可再现更忠实的色彩。
接下来，说明在图14的步骤S6处进行的评价。
当对例如按以上方式生产的、设有具有图18的光谱灵敏度特性的4色彩色滤光器的图像处理设备(图8的数码相机)的色彩再现特性与设有图1所示的3色彩色滤光器的图像处理设备的色彩再现特性之间做比较时，出现以下的差。
例如，当麦克白图由2种图像处理设备(设有4色彩色滤光器的数码相机和设有3色彩色滤光器的数码相机)之一摄影时的输出值和参照值之间的Lab色彩空间中的色差由下面的方程(20)计算。
ΔE = ( L 1 - L 2 ) 2 + ( a 1 - a 2 ) 2 + ( b 1 - b 2 ) 2 . . . ( 20 )
方程中L1-L2表示2个样品的亮度差，a1-a2、b1-b2表示2个样品的色调/色度的分量差。
图20表示由方程(20)的计算结果。如图20所示，在设有3色彩色滤光器的数码相机的情形中色差是“3.32”，而在设有4色彩色滤光器的数码相机的情形中色差则是“1.39”。于是，设有4色彩色滤光器的数码相机的“色彩的外部特征”更出色(色差更小)。
图21表示当具有图6的光谱反射率的物体R1和R2由设有4色彩色滤光器的数码相机摄影时的RGB值。
在图21中，物体R1的R值被设成“49.4”、G值被设成“64.1”、B值被设成“149.5”。物体R2的R值被设成“66.0”、G值被设成“63.7”、B值被设成“155.6”。因此，如上述，当由3色彩色滤光器摄影时，RGB值如图7B所示，而每个物体的色彩未被识别。相反，在4色彩色滤光器中，物体R1的RGB值和R2的RGB值不同，而与眼睛见到物体的情形(图7A)一样，每个物体的色彩被识别的情况如图21所示。即，提供能识别4种色彩的滤光器的结果是“色彩判别特性”得以改善。
在以上，如图9所示，4色彩色滤光器61被排列成B滤光器设在G1滤光器的左右、而R滤光器设在G2滤光器的左右的布局。或者，4色彩色滤光器61也可排列成图22所示的布局。在图22所示的4色彩色滤光器61中，R滤光器设在G1滤光器的左右，而B滤光器设在G2滤光器的左右。而且，由这样的4色彩色滤光器61布置，与图9所示的类似，“色彩判别特性”、“色彩再现特性”和“噪音减低特性”得以改善。
产业应用性
根据本发明，可忠实地再现所摄影的色彩。
进而，根据本发明，可改善“色彩判别特性”。
此外，根据本发明，可改善“色彩再现特性”和“噪音减低特性”。
根据本发明，可改善“色彩的外部特征”。

Claims (14)

1.一种图像处理设备，包括：
提取装置，用于提取三原色的第1至第3光、以及与所述三原色的所述第1至第3光中的所述第2光具有高相关的第4光；
变换装置，用于将由所述提取装置提取的所述第1至第4光变换成对应的第1至第4色彩信号；和
信号生成装置，用于基于所述第1至第4色彩信号而生成对应于所述三原色的第5至第7色彩信号，
其中所述信号生成装置根据为了使基于预定色块而计算的参照值和基于所述色块、通过所述提取装置的光谱灵敏度特性计算的输出值之间的、在预定评价值处的差分最小而给出的变换方程，而生成所述第5至第7色彩信号。
2.根据权利要求1所述的图像处理设备，其中提取所述第1至第4光的所述提取装置具有用于分别提取所述第1至第4光的第1至第4提取部构成的单元，而分别提取所述第2光和所述第4光的所述第2提取部和所述第4提取部在所述单元处对角地放置。
3.根据权利要求2所述的图像处理设备，其中所述第2提取部和所述第4提取部具有与亮度信号的可视灵敏度特性近似的光谱灵敏度特性。
4.根据权利要求1所述的图像处理设备，其中所述三原色的所述第1至第3光分别是红、绿和蓝光，而所述第4光是绿光。
5.根据权利要求1所述的图像处理设备，其中所述差分是XYZ色彩空间中的差分。
6.根据权利要求1所述的图像处理设备，其中所述差分是均匀知觉色彩空间中的差分。
7.根据权利要求1所述的图像处理设备，其中所述差分是用于色分隔的传播噪音。
8.一种用于图像处理设备的图像处理方法，所述图像处理方法包括：
提取步骤，提取三原色的第1至第3光、以及与所述三原色的所述第1至第3光中的所述第2光具有高相关的第4光；
变换步骤，将由所述提取步骤的处理提取的所述第1至第4光变换成对应的所述第1至第4色彩信号；和
信号生成步骤，基于所述第1至第4色彩信号而生成对应于所述三原色的第5至第7色彩信号，
其中所述信号生成步骤根据为了使基于预定色块而计算的参照值和基于所述色块、由所述提取装置的光谱灵敏度特性计算的输出值之间的、在预定的评价值处的差分最小而给出的变换方程，而生成所述第5至第7色彩信号。
9.一种图像处理设备的制造方法，该图像处理设备包括：
提取装置，用于从入射光中提取预定的色彩分量；和
变换装置，用于将由所述提取装置提取的色彩分量的光变换成对应的色彩信号，所述制造方法包括以下步骤：
提供所述变换装置的第1步骤；和
第2步骤，在所述第1步骤的处理提供所述变换装置前，通过使用预定评价系数来确定光谱灵敏度特性，来生产用于提取三原色的第1至第3光、以及与所述三原色的所述第1至第3光中的所述第2光具有高相关的第4光的提取装置。
10.根据权利要求9所述的制造方法，其中在所述第2步骤中，形成由分别提取所述第1至第4光的第1至第4提取部构成的单元，作为所述提取装置，而分别提取所述第2光和所述第4光的所述第2提取部和所述第4提取部在所述单元处对角地放置。
11.根据权利要求9所述的制造方法，其中所述评价系数是用于使所述第2提取部和所述第4提取部的光谱灵敏度特性与亮度信号的可视灵敏度特性近似的评价系数。
12.根据权利要求11所述的制造方法，其中所述评价系数是既考虑色彩再现特性也考虑噪音减低特性的评价系数。
13.根据权利要求9所述的制造方法，其中在所述第2步骤中，所述三原色的第1至第3光分别是红、绿和蓝光，而所述第4光是绿光。
14.根据权利要求9所述的制造方法，进一步包括第3步骤，生产生成装置，所述生成装置基于由所述变换装置变换所述第1至第4光而生成的第1至第4色彩信号，来生成对应于所述三原色的第5至第7色彩信号。
CNA038064359A 2002-03-20 2003-02-26 图像处理设备和方法、以及图像处理设备的制造方法 Pending CN1643936A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP078854/2002 2002-03-20
JP2002078854A JP2003284084A (ja) 2002-03-20 2002-03-20 画像処理装置および方法、並びに画像処理装置の製造方法

Publications (1)

Publication Number Publication Date
CN1643936A true CN1643936A (zh) 2005-07-20

Family

ID=28035611

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA038064359A Pending CN1643936A (zh) 2002-03-20 2003-02-26 图像处理设备和方法、以及图像处理设备的制造方法

Country Status (7)

Country Link
US (1) US20060012808A1 (zh)
EP (1) EP1487219A4 (zh)
JP (1) JP2003284084A (zh)
KR (1) KR20040091759A (zh)
CN (1) CN1643936A (zh)
TW (1) TWI224464B (zh)
WO (1) WO2003079696A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100588957C (zh) * 2006-05-16 2010-02-10 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
US7880772B2 (en) 2006-05-15 2011-02-01 Sony Corporation Imaging apparatus and method for approximating color matching functions
US7952624B2 (en) 2005-09-30 2011-05-31 Panasonic Corporation Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same
CN102577394A (zh) * 2009-10-13 2012-07-11 佳能株式会社 摄像装置
CN102122460B (zh) * 2005-09-21 2012-08-29 夏普株式会社 显示装置和滤色基片
CN103149733A (zh) * 2013-03-29 2013-06-12 京东方科技集团股份有限公司 彩膜基板、显示面板及显示装置

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861808B2 (ja) * 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP4584544B2 (ja) * 2003-04-11 2010-11-24 富士フイルム株式会社 画像再生装置および固体撮像装置
TWI402539B (zh) * 2003-12-17 2013-07-21 Semiconductor Energy Lab 顯示裝置和其製造方法
US7529003B2 (en) 2004-02-06 2009-05-05 Canon Kabushiki Kaisha Image scanning device and its control method
JP4323991B2 (ja) * 2004-03-19 2009-09-02 大日本スクリーン製造株式会社 分光反射率測定装置、膜厚測定装置および分光反射率測定方法
JP2005354610A (ja) 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
JP4501634B2 (ja) 2004-10-29 2010-07-14 富士フイルム株式会社 マトリクス係数決定方法及び画像入力装置
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
JP4265546B2 (ja) * 2005-01-31 2009-05-20 ソニー株式会社 撮像装置、画像処理装置および画像処理方法
US7864235B2 (en) 2005-03-30 2011-01-04 Hoya Corporation Imaging device and imaging method including generation of primary color signals
WO2007108317A1 (ja) * 2006-03-20 2007-09-27 Sony Corporation 画像信号処理装置及び画像信号処理方法
JP2007317750A (ja) * 2006-05-23 2007-12-06 Matsushita Electric Ind Co Ltd 撮像装置
KR100871564B1 (ko) 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP4874752B2 (ja) 2006-09-27 2012-02-15 Ｈｏｙａ株式会社 デジタルカメラ
TWI318536B (en) * 2006-09-29 2009-12-11 Sony Taiwan Ltd A method of color matching applied on the image apparatus
US8711249B2 (en) 2007-03-29 2014-04-29 Sony Corporation Method of and apparatus for image denoising
US8108211B2 (en) 2007-03-29 2012-01-31 Sony Corporation Method of and apparatus for analyzing noise in a signal processing system
JP2007267404A (ja) * 2007-05-11 2007-10-11 Sony Corp 画像処理装置の製造方法
JP5074106B2 (ja) * 2007-06-08 2012-11-14 パナソニック株式会社 固体撮像素子及びカメラ
JP2009290607A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
JP2009290568A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
JP2009290599A (ja) * 2008-05-29 2009-12-10 Hoya Corp 撮像装置
JP5087529B2 (ja) * 2008-12-01 2012-12-05 オリンパス株式会社 識別処理装置、識別処理プログラム及び識別処理方法
JP2010258110A (ja) * 2009-04-22 2010-11-11 Panasonic Corp 固体撮像素子
KR101641543B1 (ko) * 2010-02-05 2016-07-21 삼성전자주식회사 영상잡음 제거장치 및 그 방법
WO2012028847A1 (en) 2010-09-03 2012-03-08 Isis Innovation Limited Image sensor
TWI465115B (zh) * 2011-08-23 2014-12-11 Novatek Microelectronics Corp 顯示影像的白平衡方法
JP5954661B2 (ja) * 2011-08-26 2016-07-20 パナソニックＩｐマネジメント株式会社 撮像素子、及び撮像装置
EP2800378A4 (en) 2011-12-27 2015-06-17 Fujifilm Corp COLOR IMAGING ELEMENT
EP2800384A4 (en) 2011-12-27 2015-06-03 Fujifilm Corp COLOR IMAGING ELEMENT
JP5621058B2 (ja) 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
JP5621056B2 (ja) 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
WO2013100037A1 (ja) 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
CN104025580A (zh) 2011-12-27 2014-09-03 富士胶片株式会社 彩色摄像元件及摄像装置
RU2548166C1 (ru) 2011-12-28 2015-04-20 Фуджифилм Корпорэйшн Устройство обработки изображений, способ и устройство формирования изображения
JP5600814B2 (ja) 2011-12-28 2014-10-01 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP5702894B2 (ja) 2012-07-06 2015-04-15 富士フイルム株式会社 カラー撮像素子および撮像装置
US9766491B2 (en) 2012-09-05 2017-09-19 Yazaki North America, Inc. System and method for LCD assembly having integrated color shift correction
US10325821B1 (en) * 2017-12-13 2019-06-18 International Business Machines Corporation Three-dimensional stacked vertical transport field effect transistor logic gate with buried power bus
US10721470B2 (en) * 2018-07-06 2020-07-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Compression of a raw image
JP2020036162A (ja) * 2018-08-29 2020-03-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5789385A (en) * 1980-11-26 1982-06-03 Nec Home Electronics Ltd Solid image pickup device
US5202756A (en) * 1988-11-09 1993-04-13 Canon Kabushiki Kaisha Color signal processing apparatus using plural luminance signals
JP2872759B2 (ja) * 1989-06-08 1999-03-24 富士写真フイルム株式会社 固体撮像システム
JP3316054B2 (ja) * 1993-10-25 2002-08-19 日本放送協会 色補正方法および装置
US5668596A (en) * 1996-02-29 1997-09-16 Eastman Kodak Company Digital imaging device optimized for color performance
JPH09329497A (ja) * 1996-04-11 1997-12-22 Olympus Optical Co Ltd 測色装置及び測色方法
JP2002271804A (ja) * 2001-03-09 2002-09-20 Fuji Photo Film Co Ltd カラー画像撮像装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122460B (zh) * 2005-09-21 2012-08-29 夏普株式会社 显示装置和滤色基片
US7952624B2 (en) 2005-09-30 2011-05-31 Panasonic Corporation Image pickup device having a color filter for dividing incident light into multiple color components and image processing system using the same
US7880772B2 (en) 2006-05-15 2011-02-01 Sony Corporation Imaging apparatus and method for approximating color matching functions
CN100588957C (zh) * 2006-05-16 2010-02-10 三菱电机株式会社 图像检查方法以及使用了该方法的图像检查装置
CN102577394A (zh) * 2009-10-13 2012-07-11 佳能株式会社 摄像装置
CN102577394B (zh) * 2009-10-13 2015-03-25 佳能株式会社 图像处理设备和图像处理方法
CN103149733A (zh) * 2013-03-29 2013-06-12 京东方科技集团股份有限公司 彩膜基板、显示面板及显示装置
WO2014153877A1 (zh) * 2013-03-29 2014-10-02 京东方科技集团股份有限公司 彩膜基板、显示面板及显示装置
CN103149733B (zh) * 2013-03-29 2016-02-24 京东方科技集团股份有限公司 彩膜基板、显示面板及显示装置

Also Published As

Publication number Publication date
EP1487219A1 (en) 2004-12-15
TW200306111A (en) 2003-11-01
US20060012808A1 (en) 2006-01-19
JP2003284084A (ja) 2003-10-03
TWI224464B (en) 2004-11-21
KR20040091759A (ko) 2004-10-28
EP1487219A4 (en) 2008-04-16
WO2003079696A1 (fr) 2003-09-25

Similar Documents

Publication Publication Date Title
CN1643936A (zh) 图像处理设备和方法、以及图像处理设备的制造方法
CN1260953C (zh) 图像处理装置，方法以及程序
CN100342709C (zh) 图像记录装置及方法、图像处理装置和方法及***
CN1229977C (zh) 摄影装置及其方法
TWI225940B (en) Image taking apparatus and method
CN1662071A (zh) 色空间的图像数据处理方法
CN1265621C (zh) 固态图像传感器缺陷像素校正及信息生成方法、成像设备
CN101322398B (zh) 照相机***、曝光量调节方法
CN1217533C (zh) 信号处理设备及方法,与图象感测设备
CN1943248A (zh) 摄像装置及摄像单元
CN1722852A (zh) 用于彩色图像去马赛克的优质梯度校正线性插值
CN1310521C (zh) 图象信号处理设备和方法、学习设备和方法以及记录介质
CN1649392A (zh) 具有后加工设定功能的电子相机和定制该功能的处理程序
CN1703900A (zh) 摄像***和播放***
CN1689340A (zh) 数字静像照相机与图像校正方法
CN1885952A (zh) 摄像设备和图像处理方法
CN1874410A (zh) 成像装置和成像装置中的成像结果处理方法
CN1744675A (zh) 图像输入装置
CN1871847A (zh) 信号处理***、信号处理方法以及信号处理程序
CN1335579A (zh) 图象处理方法、装置及记录执行该方法程序的记录介质
CN1857008A (zh) 图像处理方法
CN1925622A (zh) 视频信号处理装置、摄像装置以及视频信号处理方法和程序
CN1467986A (zh) 色变换装置与色变换方法
CN1806449A (zh) 图像处理设备、图像处理方法和计算机程序
CN1663251A (zh) 图象数据的输出图象调整

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication