CN1514652A - 图像合成方法以及摄像装置 - Google Patents

Abstract

本发明公开了合成高感光度图像和低感光度图像，拍摄进行了颜色平衡和白平衡处理的宽动态范围图像的方法，还提供了一种摄像装置。该装置设有输出高输出图像数据颜色信号以及低输出图像数据颜色信号的摄像元件；灰度修正装置，其在对高输出图像数据进行灰度修正的同时，对低输出图像数据进行灰度修正；图像合成装置，该装置使经过灰度修正后的高输出图像数据和低输出图像数据相加，同时使对应于景物的总增益与高输出图像数据和低输出图像数据的相加数据相乘来合成图像；将该合成图像数据转换为辉度信号以及色差信号的转换装置；色度修正装置，其用于根据通过该转换装置获得的辉度信号和合成图像数据的动态范围对色差信号进行色度修正处理。

Description

图像合成方法以及摄像装置

技术领域

本发明涉及图像合成方法以及摄像装置，特别涉及能够一方面进行白平衡以及颜色平衡处理、另一方面可以获得较宽动态范围的图像信号的图像合成方法以及摄像装置。

背景技术

在数字静物照相机等摄像装置中，例如在拍摄室内风景的情况下，尽管可以效果良好地拍摄出室内存在的被拍摄物体的图像，但是由于透过窗户看到的蓝天呈白色，因此整体上形成的图像不自然。由于图像的动态范围狭小，为了解决该问题，以往采用的方式为：拍摄合成2张图像，以此来加宽图像的动态范围。

例如，使用高速快门并拍摄1张短时间曝光的图像(低感光度图像)，接着使用低速快门拍摄2张长时间曝光的图像(高感光度图像)，合成这两张图像，使在低感光度图像中反映出的窗外风景与较好拍摄出室内风景的高感光度图像相重合。

在进行这种图像合成的情况下，高感光度图像的红(R)信号比绿(G)或蓝(B)信号更难于饱和，因此整体上要使用氰基增感，所以，合成图像也会受到使用所述氰基的高感光度图像的颜色信号的影响，从而会出现整体上的颜色平衡被破坏的问题。

因此，例如在特开平7-131796号公报中记载的现有技术中，将参与合成的一个图像的颜色信号放大k倍后再与另一个图像合成，以调整合成图像的色度。

在上述现有技术中，虽然在合成2个拍摄图像的颜色信号时采用了灰色的颜色平衡，但是未考虑两个图像的白平衡的偏差。因此产生的问题是：合成图像中的高感光度图像和低感光度图像会因为白平衡的不同，拍摄景物时会形成具有不和谐感的合成图像。

近些年来提出了这样的数字静物照相机等拍摄装置。该装置例如在固体摄像元件中装有高感光度像素以及低感光度像素，对利用高感光度像素拍摄的高感光度图像(以下称为高输出图像)和利用低感光度像素拍摄的低感光度图像(以下称为低输出图像)进行合成处理以作为一个图像数据输出。在由这样的拍摄装置进行图像合成时，进行颜色平衡以及白平衡处理是必要的。

发明内容

本发明的目的在于提供一方面进行白平衡以及颜色平衡处理、另一方面合成输出动态范围较宽的图像的图像合成方法以及摄像装置。

为了实现上述目的，本发明采用下述的技术方案：

一种图像合成方法，该方法用于在分别对高输出图像数据的颜色信号以及低输出图像数据的颜色信号进行灰度修正后合成图像，并将合成图像数据的颜色信号转换为辉度信号以及色差信号，其特征在于：使对应景物的总增益与所述高输出图像数据和低输出图像数据的相加数据相乘以作为所述合成图像数据，根据该合成图像数据的动态范围和辉度值进行该合成图像数据的色度修正。

通过这种方法，可以获得实现了颜色平衡以及白平衡处理的动态范围宽的图像。

在本发明所述的图像合成方法中，其特征还在于：将所述总增益的值作为对应于动态范围的值使用，并进行所述色度修正。通过这种方法，可以容易地进行与动态范围相对应的色度修正。

在本发明所述的图像合成方法中，其特征还在于：所述色度修正是通过使色度修正系数与所述色差信号的值相乘进行的。通过这种方法，可以容易地进行与动态范围相对应的色度修正。

在本发明所述的图像合成方法中，其特征还在于：通过在规定辉度以上的高辉度侧形成系数值小于“1”的查询表来准备所述色度修正系数。通过这种方法，可以更容易地进行与动态范围相对应的色度修正。

本发明所述的摄像装置，其特征在于：设有输出高输出图像数据的颜色信号以及低输出图像数据的颜色信号的摄像元件；灰度修正装置，其在对所述高输出图像数据进行灰度修正的同时，对所述低输出图像数据进行灰度修正：图像合成装置，该装置使由该灰度修正装置进行修正后的所述高输出图像数据和由所述修正装置进行修正后的所述低输出图像数据相加，同时使对应于景物的总增益与所述高输出图像数据和所述低输出图像数据的相加数据相乘来合成图像；将该图像合成的合成图像数据转换为辉度信号以及色差信号的转换装置；色度修正装置，其用于根据通过该转换装置获得的所述辉度信号和所述合成图像数据的动态范围对所述色差信号进行色度修正处理。

通过这种结构，可以拍摄实现了颜色平衡和白平衡处理的宽动态范围的图像。

本发明的优点在于：

采用本发明，可以合成进行了白平衡和颜色平衡处理的动态范围较宽的合成图像。

附图说明

图1为作为本发明一个实施例的数字静物照相机的结构图。

图2为图1中所示的固体摄像元件的像素配置例子的视图。

图3为图1中所示的数字信号处理部的详细结构图。

图4为显示动态范围变化状态的视图。

图5为涉及固体摄像元件的其它实施例的像素配置图。

图6显示的是为图2所示的色度修正电路准备的查询表数值的一个例子。

具体实施方式

下面，参照附图对本发明的实施例进行说明。

图1为作为本发明一个实施例的数字静物照相机的结构图。在该实施例中，虽然以数字静物照相机为例作了说明，但是本发明也适用于数字摄像机等其它种类的拍摄装置。另外，虽然本实施例中的图像合成处理是后面所述的数字信号处理部26利用软件进行的，但是也可以利用硬件电路来实现。

图1中所示的数字静物照相机设有摄影镜头10，固体摄像元件11和设置在这两者之间的光圈12，红外线截止滤波器13以及光学低频滤波器14。控制整个数字静物照相机的CPU15能够控制：用于发出闪光的发光部16和受光部17，以及镜头驱动部18以将摄影镜头10的位置调整至焦点位置，通过光圈驱动部19控制光圈12的开口量以使曝光量达到适当的曝光值。

另外，CPU15通过摄像元件驱动部20驱动固体摄像元件11，将通过摄影镜头10拍摄的被摄物体的图像作为颜色信号输出。另外，在CPU15中，通过操作部21输入使用者的指示信号，CPU15根据该指示进行各种控制。

数字静物照相机的电气控制***设有与固体摄像元件11的输出相连的模拟信号处理部22，将从所述模拟信号处理部22输出的RGB颜色信号转换为数字信号的A/D转换电路23，这些元件均由CPU15控制。

另外，所述数字静物照相机的电气控制***设有与主存储器24相连的存储器控制部25，在后面将详细说明的数字信号处理部26，或将拍摄图像压缩为JPEG格式图像或使被压缩图像解压缩的压缩/解压缩处理部27，累计测光数据以调整白平衡增益的累计部28，与可自由拆卸的存储媒体29相连的外部存储器控制部30，与安装在照相机背面的液晶显示器31相连的显示控制部32，这些元件通过控制总线33以及数据总线34相互连接，并由CPU15发出的指令控制。

在图1中所示的数字信号处理处理部26或模拟信号处理部22，A/D转换电路23等虽然作为独立电路装配在数字静物照相机上，但是也可以利用LSI制造技术将它们集成在固体摄像元件11所在的同一半导体基板上，形成一个固体摄像装置。

图2为在本实施例中使用的固体摄像元件11的像素配置图。用来拍摄宽动态范围图像的CCD部分的像素1采用例如在特开平10-136391号公报中记载的像素配置方式，奇数行的各个像素相对于偶数行的各个像素沿水平方向相差1/2节距设置，沿垂直方向输送从各像素读出的信号电荷的垂直输送路径(图中未示出)采用蛇行配置结构，以避开垂直方向的各个像素。

另外，本实施例中的各个像素1在图中所示的例子中，分隔设置占据像素1大约1/5面积的低感光度像素2，占据剩余的大约4/5面积的高感光度像素3，区别低感光度像素2的信号电荷以及高感光度像素3的信号电荷以便能够在上述垂直输送路径中读取并传输。另外，可以在设计时就确定以哪种比例、哪种位置分隔像素1，图2只不过是显示出的一个例子。

在本实施例所述的拍摄装置中，在一次拍摄中，同时获取低感光度图像(由低感光度像素2获得的图像)和高感光度图像(由高感光度像素3获得的图像)，从各个像素2，3顺次读取各个图像，以后面所述的方式合成以便输出。

另外，固体摄像元件11虽然是以图2中所示的采用蜂窝状像素排列方式的CCD为例进行了说明，但是也可以采用格子状方式排列的CCD或CMOS传感器。

图3为图1中所示的数字信号处理部26的详细结构图。所述数字信号处理处理部26采用了在分别对高感光度图像和低感光度图像进行灰度修正后进行加法运算的对数加法运算方式，并且设有偏置修正处理电路41a，该电路获取在图1中所示的A/D转换电路23输出的高感光度图像的数据信号形成的RGB颜色信号并进行偏置处理；对偏置修正处理电路41a的输出信号进行白平衡校正的增益修正电路42a；对增益修正后的颜色信号进行灰度修正的灰度修正电路43a；偏置修正处理电路41b，该电路用于获取在从图1中所示的A/D转换电路23输出的低感光度图像的数据信号形成的RGB颜色信号并进行偏置处理；对偏置修正处理电路41b的输出信号进行白平衡校正的增益修正电路42b；对增益修正后的颜色信号进行灰度修正的灰度修正电路43b。在对增益修正后的信号进行线性矩阵处理等时，应在增益修正电路42a，42b和灰度修正电路43a，43b之间进行。

数字信号处理处理部26还设有获取各灰度修正电路43a，43b的两个输出信号并以如后面详细描述的那样、进行图像合成处理的图像合成处理电路44，对图像合成后的RGB颜色信号进行插值运算以求得各像素位置的RGB3颜色信号的RGB插值运算部45，由RGB信号求出辉度信号Y和色差信号Cr，Cb的RGB/YC转换电路46，为辉度信号Y或色差信号Cr，Cb降低噪音的噪音过滤器47，使色差矩阵〔C-MTX〕与色差信号Cr，Cb相乘以进行色调修正的色差矩阵电路48以及色度修正电路49，该色度修正电路如后面所述那样，用于对色差矩阵电路48输出的色差信号进行对应辉度的色度修正。

若采用3板式摄像元件，则无需RGB插值运算部45，但由于在本实施例中使用的固体摄像元件11为单板式固体摄像元件，从各像素只能输出R，G，B中一种颜色的信号，因此，对未输出的颜色，即在输出R的像素中，在该像素位置处通过插值运算从周围的像素G，B信号中求出以何种程度形成G，B的颜色信号。

上述图像合成处理电路44根据以下的公式1将从灰度修正电路43a输出的高感光度图像信号、从灰度修正电路43b输出的低感光度图像信号合成为像素单位，并将其输出。

[公式1]

data＝〔high+MIN(high/th，1)×low〕×MAX〔(-K×high/th)+α，p〕

此处，high：高感光度(高输出)图像信号进行灰度修正后的数据

      low：低感光度(低输出)图像信号进行灰度修正后的数据

      p：总增益

      k：系数

      th：阈值

      α：由景物决定的数值(＝1)。

若灰度修正后的数据为8位数据(256个灰度等级)，则阈值th例如为值0～255中的“219”或者数字静物照相机的使用者或数字静物照相机的设计者所指定的数值。

公式1的第1项显示了在高感光度图像数据high超过阈值th时，在高感光度图像数据high中按原样加上低感光度图像数据low，在高感光度图像数据high在阈值th以下时，使低感光度图像数据low与高感光度图像数据high相对阈值的比例相乘所得的数值与高感光度图像数据high相加。

在该实施例中，不将在所述第1项中求出的加法运算数据按原样作为合成图像数据，而将第1项结果再乘上第2项MAX〔(-k×high/th)+α，p〕所得的数值作为合成图像的数据。

在所述第2项中，系数k在图2所示实施例的固体摄像元件11中，最好采用数值“0.2”。如在图2中所示的固体摄像元件11那样，在高感光度像素3和低感光度像素2的信号电荷的饱和比不同的情况下，系数k可方便地由以下公式2求出。

[公式2]

系数k＝1-Sh/(Sh+S1)

此处，Sh：高感光度像素的信号电荷饱和量

      S1：低感光度像素的信号电荷饱和量。

在图2中所示的例子中，虽然光电二极管的面积比并未按原样形成饱和比，但仍能方便地得到面积比，应用上述例子，

K＝1-4/(4+1)＝1-0.8＝0.2。

具有高感光度像素和低感光度像素的固体摄像元件不应局限于图2所示的情况，例如，如图5中所示的那样，可以考虑改变设置在具有相同尺寸形状的多根光电二极管(图中未示出)上的微型透镜的开口面积，从而设置高感光度像素3和低感光度像素2。

在这种情况下，由于高感光度像素和低感光度像素的信号电荷的饱和量是相同的，因此，公式2并不适用，通过实验求出系数k的值或者通过微型透镜的开口面积等求出系数值，由此可以适用公式1。所述系数k的值是由固体摄像元件的结构所决定的，使用者不能任意改变，因此，在拍摄装置出厂时就将其设定为固定值。

在公式1中，作为总增益p的值，在本实施例中，采用了通过实验确定的值。P值为合成图像数据整体的增益，在本实施例中，通过控制所述p的值，可以进行图像动态范围的控制。所述总增益p的值越小，动态范围就越宽，而p的值越大，动态范围就越狭窄。

具体来说，应根据景物改变p的值。在对比度高的景物(如盛夏的晴天等)中，p＝0.8；在多云或背阴处，p＝0.86，在室内荧光灯下，p＝0.9。因此，在灰度修正后的数据为8位数据的情况下，可以更有效地使用8位灰度值。

对于p的数值而言，使用者可以通过图1所示的操作部21指定景物的类型来设定p的值，数字静物照相机本身也可以根据各种传感器的检测值自动判定并自动设定被拍摄图像的景物。例如，虽然由累计部28产生的测光数据的累计值能够求出白平衡的增益量，但是由于可以由白平衡的值自动判断究竟是什么样的景物，因此，p值的自动设定是可行的。

图4显示改变p值时动态范围的变化状态图。在增大总增益p的值时，特性线a的动态范围较小，若减小总增益p的值，则会变化到动态范围较大的特性线b。

这样，采用本实施例，由于在进行高感光度图像数据和低感光度图像数据的加法运算后，要乘上对应景物的总增益，因此，可以生成进行了白平衡处理的动态范围较宽的图像。另外，由于采用了对数加法运算方式来降低高感光度图像数据和低感光度图像数据中的位数以合成图像，因此，可以减小电路规模，降低成本。

然而，在图像合成的情况下或者由于灰色的非线形特性(在改变白色光的强度时，R、G、B的各个信号是否产生线性变化)，在合成图像的光线最强部分会附上颜色。即，通过合成处理电路44使用的总增益p的值，在光线最强的部分附上颜色。因此，在本实施例中，要通过色度修正电路49抑止光线最强部分的色度，从而使光线最强部分的着色悦目。

目前，由输入色差信号Cr，Cb的色差矩阵电路48使用的色差矩阵〔C-MTX〕为[公式3]： $(C-\mathrm{MTX})=\left[\begin{array}{cc}{\mathrm{\α}}_{11}& {\mathrm{\α}}_{12}\\ {\mathrm{\α}}_{21}& {\mathrm{\α}}_{22}\end{array}\right]$ 时，从色差矩阵电路48输出通过以下公式4计算出的色差信号Cr’，Cb’。

[公式4]

$\left[\begin{array}{c}{\mathrm{Cr}}^{\′}\\ {\mathrm{Cb}}^{\′}\end{array}\right]=[C-\mathrm{MTX}]\left[\begin{array}{c}\mathrm{Cr}\\ \mathrm{Cb}\end{array}\right]=\left[\begin{array}{c}{\mathrm{\α}}_{11}\·\mathrm{Cr}+{\mathrm{\α}}_{12}\·\mathrm{Cb}\\ {\mathrm{\α}}_{21}\·\mathrm{Cr}+{\mathrm{\α}}_{22}\·\mathrm{Cb}\end{array}\right]$

色度修正电路49获取图像合成处理电路44使用的总增益p的值以及由噪音过滤器47输出的辉度信号Y，对输入的色差信号Cr’，Cb’按以下公式5进行运算处理后，输出色差信号Cr”，Cb”。

[公式5]

Cr”＝YC_gain·Cr’

Cb”＝YC_gain·Cb’。

此处，YC_gain为通过图6中所示的查询表所求出的数值。在图6中，重叠显示了在p＝0.8，p＝0.9，p＝1.0情况下的3个查询表，横轴为辉度值Y，纵轴为色度修正系数值YC_gain。在这些查询表中，在高辉度侧将YC_gain值降至1以下，但是，p的值越小(即，合成图像的动态范围越宽)，则低辉度位置越能降低YC_gain值。因此能够抑止合成图像的中光线最强部分的色度，从而使着色悦目。

另外，在公式1中，α的值虽然可以为对应拍摄图像的景物的数值，但也可以采用固定值“1”。

在上述实施例中，虽然以在数字静物照相机内合成由数字静物照相机拍摄的高输出图像(高感光度图像)以及低输出图像(低感光度图像)的例子进行了说明，但是，对于将由拍摄装置拍摄的高感光度图像数据和低感光度图像数据存储在存储器中以便从拍摄装置中取出，将所述高感光度图像数据和低感光度图像数据(CCD-RAW数据)读入计算机等中，进行在上述实施例中所述的数字信号处理部26相同的图像合成处理的情况也是适用的，并且能够生成兼采用白平衡调整和颜色平衡处理两者的动态范围较宽的合成图像。

另外，在上述实施例中，虽然将以低感光度像素拍摄的图像称作低感光度图像，将以高感光度像素拍摄的图像称作高感光度图像，但是本发明不应局限于合成感光度不同的图像的情况，对于在采用以相同像素拍摄图像并合成光圈开口量不同的多个拍摄图像的情况下也是适用的。例如，在降低曝光量的同时多次连续拍摄对比度高的静物的情况下，由于以开口量大的光圈拍摄的图像从固体摄像元件的各像素产生的输出水平较高，因此构成上述高输出图像，以开口量狭小的光圈为基础拍摄的图像由于各像素产生的输出水平低于上述高输出图像，因此构成低输出图像。即使在合成上述两个图像数据的情况下，上述实施例仍然是适用的。

Claims (5)

1.一种图像合成方法，该方法用于在分别对高输出图像数据的颜色信号以及低输出图像数据的颜色信号进行灰度修正后合成图像，并将合成图像数据的颜色信号转换为辉度信号以及色差信号，其特征在于：使对应景物的总增益与所述高输出图像数据和低输出图像数据的相加数据相乘以作为所述合成图像数据，根据该合成图像数据的动态范围和辉度值进行该合成图像数据的色度修正。

2.如权利要求1所述的图像合成方法，其特征在于：将所述总增益的值作为与动态范围相对应的值使用，并进行所述色度修正。

3.如权利要求1或2所述的图像合成方法，其特征在于：所述色度修正是通过使色度修正系数与所述色差信号的值相乘进行的。

4.如权利要求3所述的图像合成方法，其特征在于：通过在规定辉度以上的高辉度侧形成系数值小于“1”的查询表来准备所述色度修正系数。

5.一种摄像装置，其特征在于：

设有输出高输出图像数据的颜色信号以及低输出图像数据的颜色信号的摄像元件；

灰度修正装置，其在对所述高输出图像数据进行灰度修正的同时，对所述低输出图像数据进行灰度修正；

图像合成装置，该装置使由该灰度修正装置进行修正后的所述高输出图像数据和由所述修正装置进行修正后的所述低输出图像数据相加，同时使对应于景物的总增益与所述高输出图像数据和所述低输出图像数据的相加数据相乘来合成图像；

将该图像合成的合成图像数据转换为辉度信号以及色差信号的转换装置；

色度修正装置，其用于根据通过该转换装置获得的所述辉度信号和所述合成图像数据的动态范围对所述色差信号进行色度修正处理。

Images