CN1413411A - 固态成象设备 - Google Patents

固态成象设备 Download PDF

Info

Publication number
CN1413411A
CN1413411A CN00817769A CN00817769A CN1413411A CN 1413411 A CN1413411 A CN 1413411A CN 00817769 A CN00817769 A CN 00817769A CN 00817769 A CN00817769 A CN 00817769A CN 1413411 A CN1413411 A CN 1413411A
Authority
CN
China
Prior art keywords
signal
picture
solid
state imaging
picture intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN00817769A
Other languages
English (en)
Other versions
CN1276646C (zh
Inventor
日下博也
阪上茂生
塘知章
山本靖利
中山正明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP33122499A external-priority patent/JP3674420B2/ja
Priority claimed from JP2000159907A external-priority patent/JP3707725B2/ja
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1413411A publication Critical patent/CN1413411A/zh
Application granted granted Critical
Publication of CN1276646C publication Critical patent/CN1276646C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

***控制装置通过使用能够以两种读取模式(场读取模式和帧频读取模式)读取信号的行间CCD(IT－CCD)，控制CCD曝光和信号读取模式，短期曝光信号(短信号)利用场读取模式获得一幅图象，长期曝光信号(长信号)利用帧频读取模式获得一幅图象，然后利用信号合成装置合成以上两幅图象，以扩展动态范围。

Description

固态成象设备
技术领域
本发明涉及能够扩展所拾取图象之动态范围的固态成象设备。
背景知识
迄今为止，例如，在日本公开专利号HEI9-214829的专利公报和日本公开专利号HEI9-275527的专利公报中，公开了用于合成两个曝光量互不相同的图象信号以获得一个具有宽广动态范围之图象信号的固态成象设备。
日本公开专利号HEI9-214829的专利公报公开了一种数字照相机，其中通过水平移动经过改变曝光时间拾取的两个连续的场图，然后将其合成为一个全帧图象，该数字照相机能够获得具有宽广动态范围的图象信号。
日本公开专利号HEI9-275527的专利公报公开了一种数字照相机，其中通过水平移动从众多CCD获得的具有不同曝光时间的众多全帧图象，然后将其合成为一个全帧图象，该数字照相机能够获得具有宽广动态范围的图象信号。
另外，有一种摄象机，该摄象机通过使用一种特殊的能够在场周期内读取一个长期曝光信号和一个短期曝光信号的CCD，扩展动态范围(“开发处理单盘超D彩色摄影机信号的方法”，图象介质协会技术报告，Vol.22，No.3，pp.1-6(1998))。
然而，例如，在日本公开专利号HEI9-214829的专利公报中公开的数字照相机中，合成通过改变曝光时间拾取的两个连续的场图，因此合成后的图象只有场图分辨率，亦即，CCD象素数的一半的分辨率，从而担心所拾取图象的分辨率不足。
另一方面，在日本公开专利号HEI9-275527的专利公报中公开的数字照相机中，合成众多CCD拾取的具有不同曝光时间的图象信号，因此合成后的图象具有全帧的图象分辨率，亦即，CCD象素数的分辨率，但需要众多CCD，而这对于成象设备的尺寸/成本是不利的。
对于“开发处理单盘超D彩色摄影机信号的方法”，图象介质协会技术报告，Vol.22，No.3，pp.1-6(1998)中报道的成象设备而言，需要专用CCD来扩展所拾取图象的动态范围。
本发明的目的在于提供一种固态成象设备，通过与消费者或商业上应用的固态成象设备一起使用常用CCD，该设备能够以较低的成本并且以与CCD象素数相同的图象分辨率，拾取具有扩展动态范围的图象。
本发明的公开
本发明的固态成象设备具有一个固态成象元件，用于输出具有不同曝光时间许多图象信号，一个信号合成装置，用于合成上述固态成象元件输出的图象信号；信号合成装置处理上述固态成象元件输出的至少一个图象信号，以便该图象信号的象素数少于其他图象信号的象素数，从而能够以与CCD之象素数相同的图象分辨率，拾取具有扩展动态范围的图象。
附图的简短描述
图1是一个框图，表示根据本发明之实施例1的固态成象设备。
图2表示从本发明之实施例1中的固态成象设备中读取信号的方式。
图3表示本发明之实施例1中的固态成象设备上形成的滤色镜的排列。
图4是一个框图，表示本发明之实施例1中的信号合成装置的配置。
图5是一个框图，表示本发明之实施例1中的双水平行加法装置的配置。
图6是一个框图，表示本发明之实施例1中的插值装置的配置。
图7是一个框图，表示本发明之实施例1中的加权加法装置的配置。
图8是一个示意图，解释本发明之实施例1中的动态范围扩展原理。
图9是一个示意图，解释本发明之实施例1中的曝光定时和长短信号的读取操作。
图10是一个示意图，解释本发明之实施例1中的短信号。
图11是一个示意图，解释本发明之实施例1中的长信号。
图12是一个示意图，解释本发明之实施例1中的双水平行加法处理和插值处理。
图13解释本发明之实施例1中的合成系数确定方法。
图14是一个示意图，解释本发明之实施例1中的信号合成处理方法。
图15是一个框图，表示本发明之实施例2中的加权加法装置的配置。
图16是一个框图，表示本发明之实施例2中的亮度信号抽取装置的配置。
图17是一个框图，表示本发明之实施例2中的长亮度信号生成方法。
图18解释本发明之实施例2中的合成系数确定方法。
图19是一个示意图，解释本发明之实施例2中的信号合成处理方法。
图20是一个框图，表示本发明之实施例3中的固态成象设备。
图21是一个框图，表示本发明之实施例3中的亮度信号插值装置的配置。
图22是一个框图，表示本发明之实施例3中的亮度信号合成装置的配置。
图23是一个框图，表示本发明之实施例3中的信号合成装置的配置。
图24是一个框图，表示本发明之实施例3中的同步装置的配置。
图25是一个示意图，解释本发明之实施例3中的长亮度信号。
图26是一个示意图，解释本发明之实施例3中的短亮度信号。
图27是一个示意图，解释本发明之实施例3中的亮度信号插值处理。
图28是一个示意图，解释本发明之实施例3中的亮度信号合成方法。
图29是一个示意图，解释本发明之实施例3中的合成装置的合成处理。
图30是一个框图，表示本发明之实施例4中的固态成象设备。
图31是一个框图，表示本发明之实施例4中的同步装置的配置。
图32是一个示意图，解释本发明之实施例4中的合成装置的合成处理。
图33是一个示意图，表示从固态成象元件中读取图象信号的另一种示例方法。
图34是一个示意图，解释在本发明之实施例1中将长信号作为场图并将短信号作为全帧图象时的双水平行加法处理和插值处理。
图35是一个示意图，解释前值插值处理。
图36是一个示意图，表示合成本发明之实施例1中的长信号和短信号的另一种示例方法。
图37表示根据本发明之实施例1中的长信号确定合成系数的另一种示例方法。
图38是一个示意图，表示合成本发明之实施例2中的长信号和短信号的另一种示例方法。
图39表示根据本发明之实施例2中的长亮度信号确定合成系数的另一种示例方法。
图40是一个框图，表示在本发明之实施例3中改变短信号读取方法时的固态成象设备。
图41是一个示意图，解释在本发明之实施例3中改变短信号读取方法时的亮度信号插值处理的内容。
图42是一个框图，表示本发明之实施例3中的信号合成装置的另一种配置。
图43是一个示意图，表示合成本发明之实施例3和4中的长亮度信号和短亮度信号的另一种示例方法。
图44是一个框图，表示本发明之第四实施例中的固态成象设备的另一种示例。
图45表示在固态成象元件上形成的滤色镜的另一种示例排列。
图46表示在固态成象元件上形成的滤色镜的另一种示例排列(CyYeG条纹方法)。
图47表示在固态成象元件上形成的滤色镜的另一种示例排列(拜耳方法)。
图48表示在固态成象元件上形成的滤色镜的另一种示例排列(行间方法)。
图49表示在固态成象元件上形成的滤色镜的另一种示例排列(G条纹RB完全交错排列方法)。
图50表示在固态成象元件上形成的滤色镜的另一种示例排列(条纹方法)。
图51表示在固态成象元件上形成的滤色镜的另一种示例排列(对角线条纹方法)。
图52表示在固态成象元件上形成的滤色镜的另一种示例排列(G条纹RB行顺序方法)。
图53表示在固态成象元件上形成的滤色镜的另一种示例排列(G条纹RB点顺序方法)。
图54是一个框图，表示本发明之实施例5中的固态成象设备的配置。
图55是一个框图，表示本发明之实施例5中的固态成象设备中的两个行加法装置的配置示例。
图56是一个框图，表示本发明之实施例5中的固态成象设备中的图象存储器的配置示例。
图57是有关主体图象之曝光、曝光信号之读取以及本发明之实施例5中的固态成象设备内的图象存储器之读/写操作的定时图。
图58是一个框图，表示本发明之实施例5中的固态成象设备中的信号电平确定装置的配置示例。
图59是一个框图，表示本发明之实施例6中的固态成象设备的配置。
图60是有关主体图象之曝光、曝光信号之读取以及本发明之实施例6中的固态成象设备内的图象存储器之读/写操作的定时图。
图61是一个框图，表示本发明之实施例7中的固态成象设备的配置。
图62是一个典型示意图，表示本发明之实施例7中的屏幕块划分的状态。
图63是一个框图，表示本发明之实施例8中的固态成象设备的配置。
图64是一个配置图，表示本发明之实施例8中的固态成象设备内的固态成象元件的滤色镜排列。
图65表示荧光灯的各种颜色分量的亮度波动。
本发明的最佳实施例
(实施例1)
图1是执行本发明的最佳方式(以下称为实施例1)的固态成象设备的框图。在该图中，数字1表示光学透镜；数字2表示作为光快门的机械快门，光快门也用于光圈；数字3表示固态成象设备，固态成象设备为一个与消费者固态成象设备一起使用的行间转移CCD(IT-CCD)。除了CCD，还有一个帧行间转移CCD(FIT-CCD)和一个CMOS传感器。数字4表示由相关的复式取样电路和自动增益控制(AGC)电路组成的模拟信号处理装置；数字5表示A/D转换装置；数字6表示图象存储器，用于存储A/D转换装置5转换为数字信号的图象信号；数字7表示信号合成装置，用于合成从图象存储器6读取的两个***图象信号。
在数字信号处理装置8中，处理信号合成装置7获得的信号，如从彩色信号中分离亮度信号，噪声消除，边缘增强，矩阵运算以及编码为特定格式。机械快门驱动控制装置9控制机械快门2的打开或关闭；固态成象元件驱动控制装置10控制固态成象元件3的曝光控制、信号读取方式以及其定时。由***控制装置11整体控制包括以上装置在内的所有组件的操作方式和操作定时。
图2(a)、2(b)、2(c)和2(d)为典型示意图，用于解释固态成象元件3的操作/配置。固态成象元件3是一个能够以两种读取模式(场读频取模式和帧频读取模式)读取信号的行间转移CCD(IT-CCD)，为了进行解释，以下利用由4个垂直象素和2个水平象素组成的配置，即，诸如图2所示的矩阵形状之类的二维平面上排列的4×2象素，进行说明。
图2(a)和2(b)用于解释IT-CCD中的场读取模式。作为存储与入射光量相对应之电荷的元件，光电二极管是利用光电转换根据光强度存储信号载荷的一部分，经过某些时间之后，利用施加的控制脉冲将积累电荷转移到垂直转移CCD。此时，在垂直转移CCD上混合彼此相邻的两个上/下光电二极管的电荷，然后通过一个水平转移CCD输出到外部。上述操作为第一场的读取操作。
在第二场中，如图2(b)所示，与第一场的位置相比，使得在垂直转移CCD上混合的一对光电二极管沿垂直方向偏移一个象素。因此，所读取的两个场的信号允许读取与隔行扫描方法之一帧相等的所述图象信号。
以下借助图2(c)和2(d)解释帧频读取模式。在帧频读取模式中，首先在第一场(图2(c))中，将沿垂直方向转移一个象素的光电二极管上积累的电荷，转移到垂直转移CCD，然后通过水平转移CCD输出到外部。在第二场(图2(d))中，将在第一场中未转移到垂直转移CCD的光电二极管的电荷，转移到垂直转移CCD，然后通过水平转移CCD输出到外部。这样，在帧频读取模式中，并不在垂直转移CCD上混合光电二极管上的电荷，并且不输出到外部。因此，所读取的两个场的信号允许读取与隔行扫描方法之一帧相等的所述图象信号。
图3是一个排列图，表示在固态成象元件3上形成的补色交错排列类型的滤色镜。在图3中，Mg表示品红色；G表示绿色；Ye表示黄色；Cy表示青色。正如图3所示，光电二极管的一个象素对应于一种颜色的滤色镜。
图4是一个框图，表示信号合成装置7的配置示例。在该图中，数字701表示双水平行加法装置，用于累加从图象存储器6输出的所述图象信号的两条水平扫描线的图象信号(在下文中，将与水平扫描线相等的图象信号简称为水平行或水平行信号)。数字702表示插值装置，用于沿图象存储器6输出的所述图象信号的垂直方向进行插值操作。加权加法装置703对双水平行加法装置701和插值装置702的输出进行加权，然后计算其总和。
图5是一个框图，表示双水平行加法装置701的配置示例。在该图中，数字70101表示一个单行存储器，对于图象存储器6输出的一行信号，该装置将所述图象信号延迟一个水平同步周期。数字70102表示一个加法器，在该加法器内，计算在单行存储器70101延迟的水平行信号与输入到双水平行加法装置701的水平行信号的总和，以累加彼此相邻的两个上/下行。
图6是一个框图，表示插值装置702的配置。在该图中，数字70201和70202表示单行存储器，对于图象存储器6输出的一行信号，该装置将所述图象信号延迟一个水平同步周期。数字70203和70204表示放大装置，用于将图象存储器6的输入信号和单行存储器70202的输出信号乘以某个增益。数字70205表示一个加法器，用于计算在放大装置70203和70204乘以某个增益后的信号的总和。
图7是一个框图，表示加权加法装置703的配置。在该图中，数字70301表示合成系数生成装置，该装置根据通过双水平行加法装置701的信号的每个象素的信号电平，生成一个系数k(1≥1≥0)，然后向乘法器70302和70303提供值k和值1-k。乘法器70302将通过插值装置702的信号乘以值k，乘法器70303将通过双水平行加法装置701的信号乘以值1-k，在加法器70304中计算以上结果的总和，然后输出。
关于按上述方式配置的本发明的固态成象设备，以下解释其操作。
在该设备内拾取两个图象，一个短期曝光信号图象(以下称为短信号)和一个长期曝光信号图象(以下称为长信号)，然后该设备合成两个图象以拾取一个具有扩展动态范围的图象。以下借助图8解释此类动态范围扩展的原理。图8(a)和8(b)表示曝光时主体的亮度(固态成象设备的入射光量)与固态成象设备输出的信号的数量之间的关系。正如图8(a)所示，在长期曝光中，入射光在固态成象元件的光电二极管上形成的电荷量变大，因此，输出信号的数量自然变大。然而，光电二极管上积累的电荷量有一个上限，并且当超过该上限时，出现饱和现象，即，出现不完整信号，因此，不能正确再现主体图象。另一方面，正如图8(b)所示，将曝光时间设短能够避免饱和现象，但会降低主体中低亮度部分的S/N。因此，通过使用利用长期曝光获得的信号(长信号)和利用短期曝光获得的信号(短信号)，合成由低亮度部分的长信号和高亮度部分的短信号组成的图象，能够再现从低亮度部分到高亮度部分的主体，从而扩展成象设备的动态范围。此时，在将短信号乘以与图8(c)所示的长信号之曝光量比率(有关曝光时间的比率)相等的某个增益后，在合成这些信号后，就能够根据有关曝光量的比率扩展动态范围，如图8(d)所示。例如，当长信号与短信号的曝光量比率为1∶D时，可以将动态范围扩展D倍。
以下解释能够根据上述原理扩展所拾取图象之动态范围的成象设备的具体示例。
首先，利用图9，解释拾取短信号和长信号的方法。图9是一个有关主体图象的曝光以及固态成象元件3中的曝光信号读取操作的定时图。在该图中，项目(a)表示沿垂直方向的同步信号；项目(b)表示一个读取控制脉冲，用于控制从固态成象元件3的光电二极管中读取信号载荷；项目(c)表示机械快门2的打开/关闭状态；项目(d)表示固态成象元件3的光电二极管上的曝光信号；项目(e)表示从固态成象元件3输出的一个信号。
在短信号曝光中，当打开机械快门2时，通过使用电子快门功能，在所需曝光时间(如千分之一秒)内进行曝光。在完成千分之一秒的曝光后，利用读取控制脉冲，将光电二极管上积累的电荷移动到垂直转移CCD。此时，固态成象元件3应在场读取模式内驱动，并且正如在图2(a)中解释的那样，在垂直转移CCD上混合光电二极管上积累的电荷，并读到外部。此时，要读取的所述图象信号只是第一场的信号。图10表示在场读取模式中读取的短信号。认为固态成象元件3的垂直方向上的光电二极管的数目为N(为了解释，认为N是偶数，但并不限于此)。正如图10所示，读取的短信号变为4种信号Ye+Mg，Cy+G，Ye+G和Cy+Mg，其中通过将四种颜色Ye和Cy以及G和Mg分别添加到其他颜色中，得到以上信号。垂直方向的行数为沿垂直方向的光电二极管数N的一半。
接着，在读取短信号时，对长信号曝光。例如，认为长信号的曝光时间为百分之一秒。利用机械快门2的打开/关闭，控制长信号的曝光时间，并且在长信号曝光开始后的百分之一秒后，关闭机械快门2以完成曝光。这样，通过关闭机械快门2，使得长期曝光信号不会在读取期间过度曝光。
在完成长信号的曝光时，利用读取控制脉冲，将光电二极管上积累的电荷转移到垂直转移CCD。此时，固态成象元件3应在帧频读取模式内驱动，并且正如在图2(c)中解释的那样，由第一场读取与垂直方向的奇数行相等的光电二极管的电荷。在完成第一场的信号读取后，读取与垂直方向的偶数行相等的光电二极管的电荷(第二场)，从而从固态成象元件3中读取与一帧相等的长信号。例如，认为图9(a)所示的垂直同步信号的周期为百分之一秒，并应在垂直同步信号的一个周期内，完成固态成象元件3中一帧信号读取操作。图11表示在帧频读取模式中读取的长信号。正如图11所示，对于第一场而言，读取的长信号为带有两种颜色Ye和Cy的信号，对于第二场而言，为带有两种颜色G和Mg的信号。垂直方向的行数为各场之垂直方向的光电二极管数N的一半，因此，通过组合两个场，获得与一帧相等的N行信号。
通过按上述方式进行曝光和信号读取，提供具有不同曝光时间的两个信号，即，作为一个场图的短信号和作为一个满帧图象的长信号。短信号为长信号的水平行数的一半，所以短信号比长信号的象素数少。
接着，通过模拟信号处理装置4，发送利用固态成象元件3获得的具有不同曝光时间的两个信号，利用A/D转换装置转换为数字信号，并且暂时在图象存储器6上存储。
从图象存储器6中读取长信号和短信号。在从图象存储器6中读取长信号时，从引导行开始顺序读取长信号，其中假设读取一帧图象的方式为：第一场的第一行，第二场的第一行，然后是第一场的第二行。把从图象存储器6读取的长信号，发送到双水平行加法装置701。在双水平行加法装置701中，计算作为帧信号的彼此相邻的上/下两行的长信号的总和，并且进行混合。这是因为在合成长信号和短信号时，不能合成不同信号类型的两个信号，因此按照利用双水平行加法装置701在固态成象元件3的垂直转移CCD上混合象素的方式，处理长信号，对于短信号而言，则利用插值装置702将一个场图转换为一个帧图象。
图12(a)表示在双水平行加法装置701中计算彼此相邻的上/下两行信号之总和并进行混合后的长信号；图12(b)表示插值处理前的短信号；图12(c)表示插值处理后的短信号。正如图12(a)和图12(c)所示，用于长信号的水平行加法处理和用于短信号的插值处理，使得长信号和短信号的信号类型互相匹配。
在插值装置702中，利用插值处理将图12(b)所示的场图转换为图12(c)所示的帧图象，以下解释该方法。
例如，在确定图12(b)中第二行和第三行之间的水平行信号时，必须生成一个由信号Ye+G和Cy+Mg组成的水平行信号。此时，由最接近的信号Ye+G和Cy+Mg组成的行为第二行和第四行，因此根据以上两行，利用插值处理确定第二行和第三行之间的一行。然而，插值处理确定水平行信号的位置与第二行和第四行之间的空间距离并不是等距离的，所以必须根据距离进行加权处理。因此，插值装置702的配置为：对于连续输入的三行水平行信号，将除中间行之外的上/下结束行输入到乘法器70203和70204中，从而确保乘法器70203和70204中用于加权处理的乘数分别为1/4和3/4，然后在加法器70205中计算乘法结果的总和。
根据插值处理确定的水平行信号的位置与第二行和第四行之间的空间距离比率为1∶3，确定乘法器70203和70204中的乘数。
同样，在利用插值处理确定第三行和第四行之间的水平行信号时，必须生成由Ye+Mg信号和Cy+G信号组成的水平行信号，此时，由Ye+Mg信号和Cy+G信号组成的行为第三行和第五行，因此根据两行之间的距离比率，进行加权，从而能够利用插值处理确定第三行和第四行之间的行信号。
借助上述处理，生成用于一帧的信号和用于一个场的短信号，其中用于一帧的信号与插值处理从长信号获得的一帧相等。
用于合成长信号和短信号以合成一个具有扩展动态范围的信号的装置为加权加法装置703。在加权加法装置703中，利用图7所示的合成系数生成装置70301，根据长信号的每个象素的信号电平，确定合成系数，然后根据合成系数k，以象素为单位，合成经过插值处理变为一个帧图象并且在屏幕上的同一空间位置存在的长信号和短信号。
图13表示在合成系数生成装置70301中根据长信号的信号电平确定合成系数k的方法示例。正如图13所示，为长信号设置两个阈值Th_min和Th_max；当长信号电平满足公式(1)，即当长信号电平小于等于Th_min并且不可能出现饱和时，认为合成系数k为0，当长信号电平满足公式(2)，即当长信号电平大于等于Th_max并且固态成象元件的输出接近饱和电平时，认为合成系数k为1。根据要使用的固态成象元件的饱和特性以及S/N，适当确定阈值Th_min和Th_max。
0≤长信号电平≤Th_min----------(1)
Th_max≤长信号电平----------(2)
如图13所示，当长信号电平满足公式(3)，即当长信号电平为中间值时，利用公式(4)的线性方程确定合成系数k。
Th_min＜长信号电平＜Th_max----------(3)
K＝{1/(Th_max-Th_min)}×(长信号电平)
     -{Th_min/(Th_max-Th_min)}----------(4)
通过使用按上述方式确定的合成系数k，利用公式(5)合成每个象素的长信号和短信号。将通过合成长信号和短信号获得的信号作为合成信号。
合成信号＝(1-k)×长信号+k×短信号×D----------(5)
例如，当根据图14所示的长信号(Ye+Mg)L11和与(Ye+Mg)L11具有相同空间位置的短信号(Ye+Mg)S11确定合成信号(Ye+Mg)M11时，按照公式(6)执行合成，其中根据长信号确定的合成系数为k11。
(Ye+Mg)M11＝(1-k11)×(Ye+Mg)L11
          +k11×(Ye+Mg)S11×D----------(6)
按照公式(6)，利用相同空间位置上存在的长信号和短信号确定合成信号的其他象素。
在公式(5)和(6)中对短信号进行放大的常数D为有关长信号和短信号之曝光量的比率(曝光时间比率)，例如，长信号的曝光量(曝光时间)为TL，短信号的曝光量(曝光时间)为TS，则根据公式(7)确定常数D。
D＝TL/TS------------------(7)
通过按上述方式使用长信号和短信号，合成一个合成信号，扩展所拾取图象的动态范围，其中合成信号由其信号电平小于等于阈值Th#min的长信号部分，其信号电平大于等于阈值Th#max的短信号部分，即固态成象元件3的输出接近饱和(所拾取的图象的亮度很高，所以在正常情况中该信号是不完整的)，以及对长信号和短信号进行加权并计算其总和的中间亮度部分的信号组成的。
然而，对于扩展其动态范围的合成信号而言，由长信号组成的部分最初是一个帧图象信号，所以图象分辨率较高。另一方面，由短信号组成的部分是根据一个场图信号合成的，所以图象分辨率低于长信号组成的部分。然而，一般而言，很少出现整幅图象的信号电平接近饱和的情况，并且即使在此类情况中，通过缩小光圈限制入射光量，所以整幅图象的信号电平难以接近饱和电平，因此，由短信号组成的图象部分占据所拾取图象之大部分图象的情况实际上很难出现。当利用有限灰度表示图象时，高亮度部分，即高信号电平部分分配的灰度通常小于中/低亮度部分。因此，由短信号组成的图象部分的分辨率的灰度并不突出，所以即使按上述方法合成长信号和短信号，也能获得其分辨率与CCD之象素数相等的合成象象。
如上所述，在数字信号处理装置8中，处理信号合成装置7合成的信号，如从彩色信号中分离亮度信号，噪声消除，边缘增强，γ校正，矩阵运算以及编码为特定格式。数字信号处理装置8中的信号处理与本发明的目的没有直接关系，因此不再赘述。
如上所述，上述固态成象设备控制固态成象元件3的曝光和信号读取模式，拾取一个场的短期曝光信号和一帧的长期曝光信号，然后合成这些信号，因此能够在其分辨率等于CCD之象素数的情况下，拾取具有扩展动态范围的图象。另外，与本发明之固态成象设备一起使用的固态成象元件，可以使用消费者固态成象设备中广泛使用的IT-CCD，所以能够以较低成本配置该设备，而无需使用众多固态成象元件或专用固态成象元件。
在以上过程中，将短信号的曝光作为第一曝光并将长信号的曝光作为第二曝光，然后利用以上曝光，按以上方式设置光电二极管上积累的电荷的读取顺序，还存在以下过程，将长信号的曝光作为第一曝光并将短信号的曝光作为第二曝光，并且采用相反的读取顺序。(执行本发明的其他方式)
以下对照实施例1说明其他实施例2到8。实施例2
本发明之实施例2中的固态成象设备与图1所示的本发明之实施例1的固态成象设备的区别在于，加权加法装置(在实施例2中，利用数字704表示其区别)的配置以及在该装置中执行的处理。在下文中，省略与本发明之实施例1类似的处理内容的解释，并且只解释与本发明之实施例1不同的部分。
图15是本发明之实施例2中的加权加法装置704的框图。在该图中，数字70401表示亮度信号抽取装置，用于从经过双水平行加法装置701的长信号中抽取亮度信号分量。数字70402表示合成系数生成装置，该装置根据经过亮度信号抽取装置70401的长信号的亮度分量的亮度信号电平，生成一个系数k(1≥k≥0)，然后向乘法器70403和70404提供值k和值1-k。乘法器70403将通过插值装置702的短信号乘以值k，乘法器70404将通过双水平行加法装置701的长信号乘以值1-k，在加法器70405中计算以上结果的总和，然后输出。
图16是一个框图，表示亮度信号抽取装置70401的配置示例。在该图中，数字704011表示将输入信号延迟一个象素周期的装置。数字704012表示一个加法器，用于计算在一象素延迟装置704011中延迟的所述图象信号和输入到亮度信号抽取装置70401的所述图象信号的总和，以便将水平方向的两个相邻象素添加到各信号中，从而仅抽取该信号的低通分量。亮度信号抽取装置70401抽取的该信号的低通分量与所述图象信号的亮度信号相等。
关于按上述方式配置的本发明之实施例2的固态成象设备，以下解释其操作。
与本发明之实施例1不同，在本发明之实施例2中，根据从长信号中抽取的亮度信号的信号电平，确定合成长信号和短信号时使用的合成系数。
因此，在加权加法装置704中，提供从长信号中抽取亮度信号的亮度信号抽取装置70401。
在亮度信号抽取装置70401中，对于双水平行加法装置701的输出，顺序累加水平方向上彼此相邻的两个象素信号，从而以公式(8)为基础抽取长信号的亮度分量(以下称为长亮度信号)。
亮度分量(亮度信号)＝Ye+Mg+Cy+G-----------(8)
例如，当根据长信号(Ye+Mg)L11和长信号(Cy+G)L12确定长亮度信号YL11时，累加(Ye+Mg)L11和(Cy+G)L12。同样，在确定长亮度信号YL12时，累加(Cy+G)L12和(Ye+Mg)L13。
以下解释根据从长信号中抽取的亮度信号(长亮度信号)确定合成系数的方法。
图18表示在合成系数生成装置70402中根据长亮度信号的信号电平确定各象素的合成系数k的方法示例。正如图18所示，为长亮度信号电平设置两个阈值Th_min’和Th_max’；当长亮度信号电平满足公式(9)，即当主体的亮度电平小于等于Th_min’，认为合成系数k为0，当长亮度信号电平满足公式(10)，即当主体的亮度电平大于等于Th_max’时，认为合成系数k为1。根据要使用的固态成象元件的饱和特性以及S/N，适当确定阈值Th_min’和Th_max’。
0≤长亮度信号电平≤Th_min’----------(9)
Th_max’≤长亮度信号电平---------(10)
正如图18所示，当长亮度信号电平满足公式(11)，即当亮度为低亮度和高亮度之间的中间值时，利用公式(12)的线性方程确定合成系数k。
Th_min’＜长亮度信号电平＜Th_max’----------(11)
K＝{1/(Th_max’-Th_min’)}×(长亮度信号电平)
     -{Th_min’/(Th_max’-Th_min’)}----------(12)
通过使用按上述方式确定的合成系数k，利用公式(5)合成每个象素的长信号和短信号。将通过合成长信号和短信号获得的信号作为合成信号。
例如，当根据图19所示的长信号(Ye+Mg)L11和与(Ye+Mg)L11具有相同空间位置的短信号(Ye+Mg)S11确定合成信号(Ye+Mg)M11时，以与两个信号具有相同空间位置的亮度信号YL11确定的合成系数(作为ky11)为基础，按照公式(13)执行合成。(Ye+Mg)M11＝(1-ky11)×(Ye+Mg)L11
         +ky11×(Ye+Mg)S11×D----------(13)
按照公式(13)，利用相同空间位置上存在的长信号和短信号确定合成信号的其他象素。
在公式(13)中对短信号进行放大的常数D为有关长信号和短信号之曝光量的比率(曝光时间比率)，按照本发明之实施例1，根据公式(7)确定常数D。
通过按上述方式使用长信号和短信号，合成一个合成信号，扩展所拾取图象的动态范围，其中合成信号由低亮度部分的长信号，高亮度部分的短信号，以及对长信号和短信号进行加权并计算其总和的低亮度部分和高亮度部分之间的中间亮度部分的信号组成的。
可以将亮度信号作为从长信号中抽取的低频分量，所以在以亮度信号为基础确定合成系数时，可以减少合成系数判定时长信号内噪声分量的影响。
如上所述，本发明之实施例2的固态成象设备控制固态成象元件3的曝光和信号读取模式，拾取一个场的短期曝光信号和一帧的长期曝光信号，然后合成这些信号，因此能够在其分辨率等于CCD之象素数的情况下，拾取具有扩展动态范围的图象。另外，与本发明之固态成象设备一起使用的固态成象元件，可以使用消费者固态成象设备中广泛使用的IT-CCD，所以能够以较低成本配置该设备，而无需使用众多固态成象元件或专用固态成象元件。实施例3
图20是本发明之实施例3中的固态成象设备的框图。在该图中，光学透镜1的功能/操作，用于光圈的机械快门2，固态成象设备3，模拟信号处理装置4，A/D转换装置5，图象存储器6，快门驱动装置9，固态成象元件驱动装置10，双水平行加法装置701，亮度信号抽取装置70401，以及插值装置702与本发明之实施例1和2相同，因此给它们分配图1到图19中的相同数字，并且不再赘述。
以下解释图20所示框图中的其他组件，数字12表示亮度信号插值装置，该装置将插值处理应用于亮度信号抽取装置70401的输出，亮度信号合成装置13合成亮度信号抽取装置70401和亮度信号插值装置12的输出。输入到亮度信号插值装置12的亮度信号是从短信号中抽取的，所以将该亮度信号称为短亮度信号，把从长信号中抽取的亮度信号称为长亮度信号。因此，从亮度信号抽取装置70401直接输入到亮度信号合成装置13的信号，变为长亮度信号，而从亮度信号插值装置12输入到亮度信号合成装置13的信号，变为插值之后的短亮度信号的信号。
信号合成装置14合成双行加法装置701和插值装置702的输出。单行存储器15、16、17和18为延迟装置，用于提供同步信号合成装置14和来自水平行信号的输出时需要的一个水平同步周期，水平行信号共计5行，包括单行存储器15、16、17和18和四行输出以及信号合成装置14的一行输出，利用合成装置19获得在相同空间位置上同时具有红色(R)分量和蓝色(B)分量的信号。
在数字信号处理装置20中，处理具有亮度信号合成装置13获得的亮度信号的信号，以及带有合成装置19获得的红色(R)分量和蓝色(B)分量的信号，如噪声消除，边缘增强，矩阵运算以及编码为特定格式。由***控制装置21整体控制包括上述装置在内的所有组件的操作模式和操作定时。
图21是一个框图，表示亮度信号插值装置12的配置。在该图中，数字1201是一个单行存储器，该装置将亮度信号抽取装置70401输出的所述图象信号的一行信号，延迟一个水平同步周期。数字1202和1203表示放大装置，用于将经过单行存储器1201的输入和通过亮度信号抽取装置70401输入到亮度信号插值装置12的信号，乘以某个增益。数字1204表示一个加法器，用于计算在放大装置1202和1203乘以某个增益后的信号的总和。
图22是一个框图，表示亮度信号合成装置13的配置。在该图中，数字1301表示合成系数生成装置，该装置根据通过亮度信号抽取装置70401的长亮度信号的每个象素的信号电平，生成一个系数k(1≥1≥0)，然后向乘法器1302和1303提供值k和值1-k。乘法器1302将通过双水平行加法装置701的短亮度信号乘以值k，乘法器70303将通过双水平行加法装置701的长亮度信号乘以值1-k，在加法器70304中计算以上结果的总和，然后输出。
图23是一个框图，表示信号合成装置14的配置。在该图中，数字1401和1402表示乘法器，用于将双水平行加法后的短信号和长信号乘以亮度信号合成装置13提供的系数k和1-k。在加法器1403中计算以上结果的总和，然后输出。
图24是一个框图，表示合成装置19的配置。在该图中，数字1901表示一个选择器，用于从输入信号中选择3个信号，然后将其输出到输出A、B、C；数字1902和1903表示放大器，该放大器将输出B和C输出的信号乘以一个常数，然后利用加法器1904累加经过放大的信号。数字1905表示一个选择器，用于在输出D和E之间分配选择器1901的输出A和加法器1904的输出。如下所述，利用信号的颜色分量来分割选择器1901和1905选择的信号的输出目的。
关于按上述方式配置的本发明之实施例3的固态成象设备，以下解释其操作。
本发明的第三实施例与本发明的实施例1和2的相似处在于，拾取两幅图象，即短期曝光信号(短信号)和长期曝光信号(长信号)图象进行合成，从而拾取具有扩展动态范围的图象。然而，在本发明的实施例3中，分别针对亮度信号和稍后以彩色信号方式处理的信号，合成短期曝光信号(短信号)和长期曝光信号(长信号)。
因此，在本发明的实施例3中，正如本发明的实施例1那样，如果认为从图象存储器6中读取的长信号为帧信号，则在双水平行加法装置701中，计算彼此相邻的上/下两行的长信号的总和，并进行混合。该步骤的目的在于使长信号与以下事实相配，即短信号是在实施例3的固态成象设备的垂直转移CCD上混合的图象。
在亮度信号抽取装置70401中，正如本发明的实施例1那样，对于双水平行加法装置701的输出，顺序累加水平方向上彼此相邻的两个象素，以便以公式(8)为基础，抽取长信号的亮度分量(以下称为长亮度信号)。
例如，当根据长信号(Ye+Mg)L11和长信号(Cy+G)L12确定长亮度信号YL11时，累加(Ye+Mg)L11和(Cy+G)L12。同样，在确定长亮度信号(Cy+G)YL12时，累加L12和(Ye+Mg)L13。
接着，对于从图象存储器6中读取的短信号，正如图长信号那样，首先在亮度信号抽取装置70401中确定亮度信号。
图25表示长亮度信号；图26表示短亮度信号。
正如图26所示，短信号是一个场信号，所以短亮度信号自然是一个场亮度信号。因此，将一个场短亮度信号转换为一个帧信号，以使短亮度信号与长亮度信号具有相同信号类型的装置为，亮度信号插值装置12。
更确切地说，亮度信号插值装置12通过将放大装置1202和1203中的放大增益设置为0.5，确定两个连续行的加法平均值，然后将其作为插值信号。图27表示插值处理后的短亮度信号。
借助上述处理，获得根据单帧长信号得到的亮度信号(长亮度信号)，以及与插值处理根据单场短信号得到的单帧信号相等的亮度信号(短亮度信号)。按照上述方式根据单场短亮度信号合成单帧短亮度信号的原因在于，在合成短信号和长信号以扩展动态范围的处理中，如果短信号仍然是单场信号，则水平行是短信号，所以不能将短信号和长信号合成为一个帧信号。
用于合成长亮度信号和短亮度信号以合成具有扩展动态范围的亮度信号的装置为，亮度信号合成装置13。在亮度信号合成装置13中，由图22所示的合成系数生成装置1301根据长信号的各象素的信号电平，确定合成系数k，然后根据合成系数k，以象素为单位，合成屏幕上相同空间位置上存在的长亮度信号和短亮度信号。
作为根据长亮度信号的信号电平确定各象素之合成系数k的方法示例，可以考虑本发明之实施例2的相同方法，因此省略其说明。
通过使用按上述方式确定的合成系数k，利用公式(14)合成每个象素的长亮度信号和短亮度信号。将通过合成长亮度信号和短亮度信号获得的信号作为合成亮度信号。
合成亮度信号＝(1-k)×长亮度信号
              +k×短亮度信号×D----------(14)
例如，当根据图28所示的亮度信号YL11和与YL11具有相同空间位置的短亮度信号YS11确定合成信号YM11时，将根据长亮度信号YL11确定的合成系数作为k11，从而按照公式(15)执行合成。
YM11＝(1-k11)×YL11+k11×YS11×D----------(15)
按照公式(15)，利用相同空间位置上存在的长亮度信号和短亮度信号，确定合成亮度信号的其他象素。
在公式(14)和(15)中对短亮度信号进行放大的常数D为有关长信号和短信号之曝光量的比率(曝光时间比率)，按照本发明之实施例1，根据公式(7)确定常数D。
通过按上述方式使用长亮度信号和短亮度信号，合成一个合成信号，扩展所拾取的图象亮度的动态范围，其中合成信号由低亮度部分的长信号，高亮度部分的短信号，以及对长亮度信号和短亮度信号进行加权并计算其总和的低亮度部分和高亮度部分之间的中间亮度部分的信号组成的。
然而，对于扩展其动态范围的合成信号而言，由长亮度信号组成的部分最初是一个帧图象信号，所以图象分辨率较高。另一方面，由短亮度信号组成的部分是根据一个场图信号合成的，所以图象分辨率低于长亮度信号组成的部分。然而，一般而言，很少出现整幅图象之的亮度很高的情况，并且即使在此类情况中，通过缩小光圈限制入射光量，所以整幅图象的信号电平的亮度不会很高，因此，由短亮度信号组成的图象部分占据所拾取图象之大部分图象的情况实际上很难出现。当利用有限灰度表示图象时，高亮度部分分配的灰度通常小于中/低亮度部分。因此，由短亮度信号组成的图象部分的分辨率的灰度并不突出，所以即使按上述方法合成长亮度信号和短亮度信号，也能获得其分辨率与CCD之象素数相等的合成象象。
以上说明针对与利用亮度信号合成扩展动态范围有关的处理内容。以下解释与彩色信号有关的处理。
为了扩展彩色信号的动态范围，在信号合成装置14中，对从图象存储器6中读取的短信号，以及在双水平行加法装置70中累加彼此相邻的上/下两行信号的长信号，进行合成处理。
作为一个场信号的短信号与长信号的信号种类不同。因此，正如本发明之实施例1那样，利用插值装置702将一个场信号转换为一个帧信号。
图12(a)表示在双水平行加法装置701中计算彼此相邻的上/下两行信号之总和并进行混合后的长信号，而图12(b)表示在插值装置702中进行过插值处理的短信号，正如本发明之实施例1那样，长信号的双水平行加法处理和短信号的插值处理，使得长信号和短信号的信号种类互相匹配。
象本发明之实施例2那样，当长亮度信号和短亮度信号与输入到信号合成装置14中的长信号和短信号的空间位置匹配时，利用合成长亮度信号和短亮度信号时使用的合成系数k，以及根据公式(7)确定的常数D，为每个象素合成输入到信号合成装置14的长信号和短信号。在信号合成装置14中合成的信号称为合成信号。
以上说明针对扩展彩色信号的动态范围的合成处理。
信号合成装置14确定的合成信号具有以下配置，沿水平方向排列有Ye+Mg和Cy+G象素的行信号以及沿水平方向排列有Ye+G和Cy+Mg象素的行信号，沿垂直方向以两行为周期重复，因此，如果将红、绿、蓝三原色分别表示为R、G、B，则从排列有Ye+Mg和Cy+G象素的行信号中，根据公式(16)得到一个具有R分量的彩色信号2R-G，则从排列有Ye+G和Cy+Mg象素的行信号中，根据公式(17)得到一个具有B分量的彩色信号2B-G。
(Ye+Mg)-(Cy+G)≈2R-G-------------------(16)
(Cy+Mg)-(Ye+G)≈2B-G-------------------(17)
这就是所谓的色差行序，因此，对于一个水平行信号，只能获得具有R分量的彩色信号2R-G或具有B分量的彩色信号2B-G中的一个彩色信号。因此，对于一个水平行信号，为了获得同时具有R分量和B分量的信号，需要利用单行存储器15、16、17、18和同步装置19进行同步处理。
以下解释单行存储器15、16、17、18和同步装置19的同步处理的具体内容。同步装置19的输入是上接信号合成装置14和单行存储器15、16、17、18的五行水平行信号。在将信号合成装置14内合成的信号作为图29(a)中的合成信号时，假设输入到同步装置19的五行信号为图29(b)所示的第三行到第七行的信号。此时，假设同步处理的主体是位于所输入的五行信号之中心上的水平行信号，在图29(b)的第五行的水平行信号成为同步处理的主体时，第五行是一个与具有R分量的2R-G信号相对应的信号，所以插值处理能够根据***水平行信号，生成具有B分量的2B-G信号。这样，在图24所示的同步装置19中，选择器1901把第五行的信号输出到输出A，并且把与第三行和第七行的2B-G信号相对应的信号，输出到输出B和输出C。考虑到加法装置1902和1903中放大增益为0.5，在加法器1904中累加相乘结果，将得到第三行和第七行的平均相加结果。将该平均相加结果以及作为选择器1901之输出A的输出的第五行的信号，输入到选择器1905，在选择器1905中选择输出目的，把与2R-G相对应的第五行的水平行信号输出到输出D，把与2R-G相对应的第三行和第七行的平均相加结果，输出到输出E。上述操作允许在第五行存在的空间位置上获得与具有R分量的2R-G相对应的信号，和与具有B分量的2B-G相对应的信号。同样，在将第五行到第九行的信号输入到同步装置19时，第七行的水平行信号成为同步处理的主体，第七行是一个与具有B分量的2B-G信号相对应的信号，所以插值处理能够根据***水平行信号，生成具有R分量的2R-G信号。这样，在图24所示的同步装置19中，选择器1901把第七行的信号输出到输出A，并且把与第五行和第九行的2R-G信号相对应的信号，输出到输出B和输出C。考虑到加法装置1902和1903中放大增益为0.5，在加法器1904中累加相乘结果，将确定第五行和第九行的平均相加结果。将该平均相加结果以及作为选择器1901之输出A的输出的第七行的信号，输入到选择器1905，在选择器1905中选择输出目的，把与2B-G相对应的第七行的水平行信号输出到输出E，把与2R-G相对应的第五行和第九行的平均相加结果，输出到输出D。上述操作允许在第七行存在的空间位置上获得与具有R分量的2R-G相对应的信号，和与具有B分量的2B-G相对应的信号。自动选择输入/输出信号，或利用***控制装置21的控制输入/输出信号的选择，因此在同步装置19中，根据输入信号执行上述处理。
如上所述，在数字信号处理装置20中，处理信号合成装置13合成的合成亮度信号，以及在同步装置19中获得的与具有R分量的2R-G相对应的信号和与具有B分量的2B-G相对应的信号，如噪声消除，边缘增强，γ校正，矩阵运算以及编码为特定格式。数字信号处理装置20中的信号处理与本发明的目的没有直接关系，因此不再赘述。
如上所述，本发明之实施例3的固态成象设备控制固态成象元件3的曝光和信号读取模式，拾取一个场的短期曝光信号和一帧的长期曝光信号，然后合成这些信号，因此能够在其分辨率等于CCD之象素数的情况下，拾取具有扩展动态范围的图象。另外，与本发明之固态成象设备一起使用的固态成象元件，可以使用消费者固态成象设备中广泛使用的IT-CCD，所以能够以较低成本配置该设备，而无需使用众多固态成象元件或专用固态成象元件。
(3)实施例4
本发明之实施例4中的固态成象设备与图20所示的本发明之实施例3的主要不同点在于，在本发明之实施例4中的固态成象设备中添加装置22，该装置对双水平行加法装置70401的输出进行稀疏处理，消除有关的插值装置702和单行存储器17、18，并且信号合成装置的配置/功能，同步装置，数字信号处理装置以及***控制装置均与实施例3中的相应装置不同(在本发明之实施例中，为了表示区另，对其编号为信号合成装置23，同步装置24，数字信号处理装置25和***控制装置26)。以下省略与本发明之实施例3相同的处理内容的解释，只解释与本发明之实施例3不同的部分。图30是本发明之实施例4中的固态成象设备的框图。在该图中，稀疏装置20对双水平行加法装置701输出的水平行信号进行稀疏处理，并将一个帧信号转换为一个场信号。信号合成装置23以亮度信号合成装置13确定的合成系数k为基础，合成稀疏装置23和图象存储器6的输出。同步装置24同步处理信号合成装置23的输出。
在数字信号处理装置25中，处理亮度信号合成装置13获得的亮度信号，同步装置24获得的具有红色(R)分量的信号，以及具有蓝色(B)分量的信号，如噪声消除，边缘增强，矩阵运算以及编码为特定格式。由***控制装置26整体控制包括上述装置在内的所有组件的操作模式和操作定时。
图31是一个框图，表示同步装置24的配置。数字2401、2401表示放大装置，该装置将通过信号合成装置23和单行存储器16的信号乘以某个常数，然后利用加法器2403计算经过放大的信号的总和。数字2404表示一个选择器，用于在输出D和E之间分配单行存储器15和输出和加法器2403的输出。如下所述，利用信号的颜色分量来分割选择器2404选择的信号的输出目的。关于按上述方式配置的本发明之实施例4的固态成象设备，以下解释器操作。
正如在本发明之实施例3中说明的那样，双水平行加法装置701的输出是作为一个帧信号的长信号。然而，图象存储器6中存储的短信号是一个场图，所以当该信号仍然处于此种情况时，不能在信号合成装置23中合成长信号和短信号。因此，在本发明之实施例4中，利用插值处理将短信号转换一个帧信号。
与本发明之实施例3相反，在本发明之实施例4中，利用以下事实，即使彩色信号具有的信息量未达到亮度信号的程度，图象质量也没有问题，因此沿垂直方向对作为一个帧信号的长信号进行稀疏处理，从而将长信号转换为一个场图，在同步装置24中同步该信号与短信号。更确切地说，利用稀疏装置22，对图12(a)所示的两行加法后的长信号的偶数行进行稀疏处理，从而将输入到信号合成装置23的长信号转换为一个场图。经过稀疏处理的长信号与图12(a)所示的短信号的类型相同。
正如本发明之实施例3那样，当长亮度信号和短亮度信号与长信号和短信号的空间位置匹配时，利用合成长亮度信号和短亮度信号时使用的合成系数k，以及根据公式(7)确定的常数D，为每个象素合成输入到信号合成装置23的作为一个场信号的长信号和短信号。在信号合成装置23中合成的信号称为合成信号。
与本发明之实施例3不同，尽管在同步装置24中执行同步处理，但是同步信号为一个场信号，所以输入到同步装置24的信号为一个三行信号，如图32所示的第二行到第四行。正如本发明的实施例3一样，根据以上三行信号可以获得与具有R分量的2R-G相对应的信号，以及与具有B分量的2B-G相对应的信号。例如，为了获得与具有R分量的2R-G相对应的信号，以及与具有B分量的2B-G相对应的信号，需要计算第二行和第四行的信号的总和，然后计算平均值，以合成与2B-G相对应的信号。
按照本发明之实施例3中的方式，在数字信号处理装置25中处理合成装置24获得的两个信号，而在本发明之实施例4中，在信号合成装置23中合成的合成信号是一个场信号，所以无需在数字信号处理装置25中，将合成信号转换为一个帧图象，如果需要的话。
如上所述，正如本发明之实施例3那样，本发明之实施例4的固态成象设备控制固态成象元件3的曝光和信号读取模式，拾取一个场的短期曝光信号和一帧的长期曝光信号，然后合成这些信号，因此能够在其分辨率等于固态成象元件之象素数的情况下，拾取具有扩展动态范围的图象。另外，本发明之实施例4以场信号的方式处理彩色信号，从而能够减少所需的单行存储器的数目，并且以较低成本配置该设备。
在本发明的实施例1中，把短信号作为按照场读取模式读取的一个场图，但并不限于此类配置，例如，考虑通过沿垂直方向对水平行信号进行稀疏处理读取信号的配置。举例来说，如图33所示，考虑从固态成象元件3中读取短信号时的配置，对于沿垂直方向的每三行信号，读取一行信号。此时，在不混合固态成象元件中上/下两个光电二极管上积累之电荷的情况下，读取短信号，从而无需进行双水平行加法处理。在图4所示的插值装置702进行插值处理中，必须以使得短信号与长信号的水平行数匹配的方式，执行插值处理。亦即，在插值装置702中，利用短信号的水平行信号之间的插值处理，生成两行水平行信号。上述处理使得短信号和长信号具有相同信号类型，从而能够利用图4所示的加权加法装置703合成两个信号。此时，可以利用图13所示的方法，根据并未累加上/下两行信号的长信号的各象素的信号电平，确定合成系数k。当通过按照上述方式对水平行信号进行稀疏处理而读取短信号时，无需进行长信号的双水平行加法处理，但该处理并不限于此类配置，并且可考虑以下配置，即，对长信号和短信号进行双水平行加法处理，然后进行合成处理。
在本发明的实施例1中，把具有不同曝光量的两个信号作为一个场信号的短信号和一个帧图象的长信号，但并不限于此类配置，并且可以根据应用的固态成象元件，把长信号作为一个场信号，把短信号作为一个帧图象。此时，足以提供图34所示的配置，利用插值装置702沿垂直方向对长信号进行插值处理，而利用双水平行加法装置701计算彼此相邻的上/下两行短信号的总和，并且在该配置中，根据经过插值处理后的长信号，确定加权加法装置703中使用的合成系数。也可考虑以下配置，根据插值处理之前的长信号确定合成系数，此时，图34(a)所示的短信号的偶数行上不存在相应的长信号，因此不能确定合成系数k，所以根据与短信号之偶数行的上/下行之相同位置上存在的长信号的水平行确定的合成系数，确定短信号的偶数行的位置上的合成系数。这样，根据作为一个场图的长信号和作为一个帧图象的短信号，确定合成系数，从而能够拾取具有高亮度部分之高分辨率的扩展动态范围图象。
在本发明的实施例1和2中，插值装置702使用两个单行存储器，并且根据两个水平行的信号执行插值处理，但并不限于此配置，例如，可考虑以下配置，即，使用大量单行存储器，并利用来自大量水平行信号的高级插值处理执行插值处理的装置。也可考虑以下配置，通过将图35所示的一个水平行重复输出两次，使水平行的数目加倍，即，执行所谓的前值插值。
在本发明的实施例1中，在信号合成装置7中，为长信号的每个象素，确定用于合成长信号的短信号的合成系数k，但此装置并不限于此配置，例如，可以考虑以下配置，根据众多象素之信号电平的平均值、最小值、最大值或中间值，确定各象素的合成系数k，或者，对于为各象素确定的值k，将根据众多象素确定的值k的平均值、最小值、最大值或中间值，作为各象素的合成系数。
在本发明的实施例1中，在信号合成装置7中，可以考虑以下配置，确定由许多象素组成的象素块的合成系数，以执行合成。例如，在图36中，如果分别将长信号(Ye+Mg)L11和(Cy+G)L12以及长信号(Ye+Mg)L13和(Cy+G)L14作为一个象素块，同时分别将与长信号的位置相同的位置上存在的短信号(Ye+Mg)S11和(Cy+G)S12以及短信号(Ye+Mg)S13和(Cy+G)S14作为一个象素块，则能够确定以两个象素为单位的象素块的合成系数，然后执行合成。此时，例如，合成由长信号(Ye+Mg)L11和(Cy+G)L12组成的象素块以及由短信号(Ye+Mg)S11和(Cy+G)S12组成的象素块，其中在公式(18)中，象素块的合成系数分别为kb11。((Ye+Mg)M11和(Cy+G)M12为合成后的信号)
(Ye+Mg)M11＝(1-kb11)×(Ye+Mg)L11+kb11×(Ye+Mg)S11×D
(Cy+G)M12＝(1-kb11)×(Cy+G)L12+kb11×(Cy+G)S12×D
                   ------------(18)
此时，可以将利用图13所示方法根据该象素块中包含的任一长信号(如，(Ye+Mg)L11和(Cy+G)L12)的信号电平，或该象素块中包含的任一长信号(如，(Ye+Mg)L11和(Cy+G)L12)的信号电平的平均值、最小值、最大值或中间值之一，确定的系数k，作为该象素块的合成系数kb11。也可考虑以下配置，将图13所示方法根据该象素块中包含的长信号的各信号电平确定的值k(例如，图36中的k1和k2)的平均值、最小值、最大值或中间值之一，作为该象素块的合成系数kb11。象素块中的象素数并不限于两个象素。
在本发明的实施例1中，在信号合成装置7中，可考虑以下配置，提供由众多象素组成的象素块，并且将图13所示方法根据该象素块内特定位置上的长信号之信号电平确定的合成系数，用于该象素块内各象素的合成处理，特定位置如该象素块内的中心位置。此时，无需确定每个象素的合成系数，从而能够简化处理。用于确定合成系数的象素的位置，并不限于象素块的中心位置。
在本发明的实施例1中，在信号合成装置7中，可考虑以下配置，根据转换为帧图象的短信号而不是长信号，确定合成系数k。
可以考虑以下配置，根据作为场图的短信号而不是转换为帧图象的短信号，确定合成系数k。此时，正如从图12中看到的那样，与长信号之偶数行相对应的短信号不存在，所以当短信号仍然处于此种情况时，不能确定合成系数。此时，可以根据***短信号或***合成系数，确定与长信号之偶数行相对应的位置上的合成系数。
在本发明的实施例1中，利用图13表示根据信号电平确定合成系数k的方法示例，但是确定合成系数k的方法并不限于此方法，例如，考虑以下方法，依靠图37所示的亮度级，以非线性方式确定k。
在本发明的实施例2中，把短信号作为按照场读取模式读取的一个场图，但并不限于此类配置，例如，考虑通过沿垂直方向对水平行信号进行稀疏处理读取信号的配置，例如图33所示。此时，在不混合固态成象元件中上/下两个光电二极管上积累之电荷的情况下，读取短信号，从而无需进行双水平行加法处理。在图4所示的插值装置702进行插值处理中，必须以使得短信号与长信号的水平行数匹配的方式，执行插值处理。亦即，在插值装置702中，利用短信号的水平行信号之间的插值处理，生成两行水平行信号。上述处理使得短信号和长信号具有相同信号类型，从而能够利用图4所示的加权加法装置703合成两个信号。然而，将累加了上/下两行信号的长信号提供到亮度信号抽取装置70401，所以必须向该装置添加用于抽取亮度信号的双水平行加法处理。或者，必须在亮度信号抽取装置70401的前一步骤上，提供与双行加法装置701相同的装置，以便向亮度信号抽取装置70401提供累加了上/下两行信号的长信号。当通过按照上述方式对水平行信号进行稀疏处理而读取短信号时，无需进行长信号的双水平行加法处理，但该处理并不限于此类配置，并且可考虑以下配置，即，对长信号和短信号进行双水平行加法处理，然后进行合成处理。
在本发明的实施例2中，把具有不同曝光量的两个信号作为一个场信号的短信号和一个帧图象的长信号，但并不限于此类配置，并且可以根据应用的固态成象元件，把长信号作为一个场信号，把短信号作为一个帧图象。此时，足以提供图34所示的配置，利用插值装置702沿垂直方向对长信号进行插值处理，而利用双水平行加法装置701计算彼此相邻的上/下两行短信号的总和，并且在该配置中，根据经过插值处理后的长信号，确定加权加法装置703中使用的合成系数。也可考虑以下配置，根据插值处理之前的长信号确定合成系数，此时，图34(a)所示的短信号的偶数行上不存在相应的长信号，因此不能确定合成系数k，所以根据与短信号之偶数行的上/下行之相同位置上存在的长信号的水平行确定的合成系数，确定短信号的偶数行的位置上的合成系数。这样，根据作为一个场图的长信号和作为一个帧图象的短信号，确定合成系数，从而能够拾取具有高亮度部分之高分辨率的扩展动态范围图象。
在本发明的实施例2中，在信号合成装置7中，为长亮度信号的每个象素，确定用于合成长信号的短信号的合成系数k，但此装置并不限于此配置，例如，可以考虑以下配置，根据众多象素之亮度信号电平的平均值、最小值、最大值或中间值，确定各象素的合成系数k，或者，对于为各象素确定的值k，将根据众多象素确定的值k的平均值、最小值、最大值或中间值，作为各象素的合成系数。
在本发明的实施例2中，在信号合成装置7中，可以考虑以下配置，确定由许多象素组成的象素块的合成系数，以执行合成。例如，在图38中，如果分别将长信号(Ye+Mg)L11和(Cy+G)L12以及长信号(Ye+Mg)L13和(Cy+G)L14作为一个象素块，同时分别将与长信号的位置相同的位置上存在的短信号(Ye+Mg)S11和(Cy+G)S12以及短信号(Ye+Mg)S13和(Cy+G)S14作为一个象素块，则能够确定以两个象素为单位的象素块的合成系数，然后执行合成。此时，例如，合成由长信号(Ye+Mg)L11和(Cy+G)L12组成的象素块以及由短信号(Ye+Mg)S11和(Cy+G)S12组成的象素块，其中在公式(18)中，象素块的合成系数分别为kb11。此时，可以将利用图18所示方法根据与该象素块相对应的任一长亮度信号(如，(Ye+Mg)L11和(Cy+G)L12)的信号电平，或与该象素块相对应的长亮度信号(例如，图38中的YL11和YL12)的平均值、最小值、最大值或中间值之一，确定的系数k，作为该象素块的合成系数kb11。也可考虑以下配置，将图18所示方法根据与该象素块相对应的长亮度信号的各信号电平确定的值k(例如，图38中的k1和k2)的平均值、最小值、最大值或中间值之一，作为该象素块的合成系数kb11。象素块中的象素数并不限于两个象素。
在本发明的实施例2中，在信号合成装置7中，可考虑以下配置，提供由众多象素组成的象素块，并且将图18所示方法根据该象素块内特定位置上的长信号之信号电平确定的合成系数，用于该象素块内各象素的合成处理，特定位置如该象素块内的中心位置。此时，无需确定每个象素的合成系数，从而能够简化处理。用于确定合成系数的象素的位置，并不限于象素块的中心位置。
在本发明的实施例2中，在信号合成装置7中，可考虑以下配置，根据从转换为帧图象的短信号中抽取的亮度信号(短亮度信号)而不是长亮度信号，确定合成系数k。同时，也可以考虑以下配置，根据从作为场图的短信号中抽取的亮度信号，而不是从转换为帧图象的短信号中抽取的亮度信号，确定合成系数k。此时，正如从图12中看到的那样，与长信号之偶数行相对应的短信号不存在，所以当短信号仍然处于此种情况时，不能确定合成系数。此时，可以根据***短亮度信号或***合成系数，确定与长信号之偶数行相对应的位置上的合成系数。
在本发明的实施例2中，利用图18表示根据信号电平确定合成系数k的方法示例，但是确定合成系数k的方法并不限于此方法，例如，考虑以下方法，依靠图39所示的亮度级，以非线性方式确定k。
在本发明的实施例3中，把短信号作为按照场读取模式读取的一个场图，但并不限于此类配置，并且可以考虑以下配置，通过沿垂直方向对水平行信号进行稀疏处理读取信号，例如图33所示。此时，在不混合固态成象元件中上/下两个光电二极管上积累之电荷的情况下，读取短信号，所以足以提供图40所示的配置。在图40所示的配置中，在双水平行加法装置27(与双水平行加法装置701相同，但为了表示区别用数字27表示)中，混合短信号的上/下象素，因此，可以实现与图20所示配置相同的功能/作用。然而，在亮度信号插值装置12中，插值处理的内容随短信号的稀疏处理变化。例如，当短信号为按图30所示方式稀疏处理后的信号时，如图41所示，足以生成短亮度信号之水平行之间的两行插值水平行信号(图41(c))。同样，足以在插值装置702中，依靠稀疏处理后的短信号，生成所需的水平行信号。对于沿垂直方向稀疏处理水平行信号以便按图33所示方式读取的配置而言，图40表示一个配置，该配置具有两个双水平行加法装置，亦即，双水平行加法装置701和27，但并不限于此配置，也可考虑缺少双水平行加法装置701和27的配置。此时，通过包含与双水平行加法装置701和27具有相同作用的装置，从长信号和短信号中抽取亮度信号。缺少双水平行加法装置701和27的配置在拾取***中同样有效，其中在拾取***中，在固态成象元件3上形成的滤色镜由红(R)、绿(G)、蓝(B)三原色组成，并且在不混合固态成象元件3的光电二极管上的电荷的情况下，获得亮度信号和彩色信号。
在本发明的实施例3和4中，把具有不同曝光量的两个信号作为一个场信号的短信号和一个帧图象的长信号，但并不限于此类配置，并且可以根据应用的固态成象设备，把长信号作为一个场信号，把短信号作为一个帧图象。此时，利用亮度信号插值装置12，沿垂直方向对根据长信号获得的长亮度信号进行插值处理，在亮度信号合成装置13中，合成经过插值处理的长信号与短信号，并根据插值处理后的长信号确定所使用的合成系数。正如本发明的实施例1和2那样，也可考虑以下配置，根据插值处理之前的长信号确定合成系数。这样，根据作为一个场图的长信号和作为一个帧图象的短信号，确定合成系数，从而能够拾取具有高亮度部分之高分辨率的扩展动态范围图象。
在本发明的实施例3中，插值装置702使用两个单行存储器，并且根据两个水平行的信号执行插值处理，但并不限于此配置，例如，可考虑以下配置，即，使用大量单行存储器，并利用来自大量水平行信号的高级插值处理执行插值处理的装置。也可考虑以下配置，通过将一个水平行重复输出两次，使水平行的数目加倍，即，执行所谓的前值插值。
在本发明的实施例3和4中，亮度信号插值装置12把两个水平行信号的加法平均值作为插值信号，但并不限于此配置，也可以考虑以下配置，利用来自大量水平行信号的高级插值处理执行插值处理，或者利用前值插值获得插值信号。
在本发明的实施例3和4中，在亮度信号合成装置13中，为长亮度信号的每个象素，确定用于合成长亮度信号的短亮度信号的合成系数k，但此装置并不限于此配置，例如，可以考虑以下配置，根据众多象素之长亮度信号电平的平均值、最小值、最大值或中间值，确定各象素的合成系数k，或者，对于为各象素确定的值k，将根据众多象素确定的值k的平均值、最小值、最大值或中间值，作为各象素的合成系数。
在本发明的实施例3和4中，在亮度信号合成装置13中，可以考虑以下配置，确定由许多象素组成的象素块的合成系数，以执行合成。例如，在图43中，如果分别将长亮度信号YL11和YL12以及YL13和YL14作为一个象素块，同时分别将与长亮度信号的位置相同的位置上存在的短亮度信号YS11和YS12以及YS13和YS14作为一个象素块，则能够确定以两个象素为单位的象素块的合成系数，然后执行合成。此时，例如，合成由长亮度信号YL11和YL12组成的象素块以及由短亮度信号YS11和YS12组成的象素块，其中在公式(19)中，象素块的合成系数分别为kb11。(YM为合成后的信号)
YM11＝(1-kb11)×YL11+kb11×YS11×D
YM12＝(1-kb11)×YL12+kb11×YS12×D------------(19)
此时，可以将利用图18所示方法根据与该象素块相对应的任一长亮度信号(如，图43中的Y11和Y12)的信号电平，或与该象素块相对应的长亮度信号的平均值、最小值、最大值或中间值之一，确定的系数k，作为该象素块的合成系数kb11。也可考虑以下配置，将图18所示方法根据与该象素块相对应的长亮度信号的各信号电平确定的值k(例如，图43中的k1和k2)的平均值、最小值、最大值或中间值之一，作为该象素块的合成系数kb11。象素块中的象素数并不限于两个象素。
在本发明的实施例3和4中，在亮度信号合成装置13中，可考虑以下配置，提供由众多象素组成的象素块，并且将图18所示方法根据该象素块内特定位置上的长亮度信号之信号电平确定的合成系数，用于该象素块内各象素的合成处理，特定位置如该象素块内的中心位置。此时，无需确定每个象素的合成系数，从而能够简化处理。用于确定合成系数的象素的位置，并不限于象素块的中心位置。
在本发明的实施例3和4中，在信号合成装置14和23中，用于合成长信号和短信号的合成系数k，使用合成系数生成装置1301根据长亮度信号确定的各象素的值，但确定方法并不限于此配置，也可考虑以下配置，在信号合成装置14和23内独立提供合成系数生成装置1404，如图42所示，并且根据众多象素之亮度信号电平的平均值、最小值、最大值或中间值，确定各象素的合成系数k，或者，对于为各象素确定的值k，将根据众多象素确定的值k的平均值、最小值、最大值或中间值，作为各象素的合成系数。这里，合成系数生成装置1404的功能与合成系数生成装置1301的功能相同。
在本发明的实施例3和4中，在信号合成装置14和23中，可以考虑以下配置，确定由许多象素组成的象素块的合成系数，以执行合成。例如，在图38中，如果分别将长信号(Ye+Mg)L11和(Cy+G)L12以及长信号(Ye+Mg)L13和(Cy+G)L14作为一个象素块，同时分别将与长信号的位置相同的位置上存在的短信号(Ye+Mg)S11和(Cy+G)S12以及短信号(Ye+Mg)S13和(Cy+G)S14作为一个象素块，则能够确定以两个象素为单位的象素块的合成系数，然后执行合成。此时，例如，合成由长信号(Ye+Mg)L11和(Cy+G)L12组成的象素块以及由短信号(Ye+Mg)S11和(Cy+G)S12组成的象素块，其中在公式(18)中，象素块的合成系数分别为kb11。此时，可以将利用图18所示方法根据各象素块相同空间位置上存在的任一长亮度信号(如，图38中的YL11和YL12)的信号电平，或各象素块相同空间位置上存在的长亮度信号的平均值、最小值、最大值或中间值之一，确定的系数k，作为该象素块的合成系数kb11。也可考虑以下配置，将图18所示方法根据各象素块相同空间位置上存在的长亮度信号的各信号电平确定的值k(例如，图43中的k1和k2)的平均值、最小值、最大值或中间值之一，作为该象素块的合成系数kb11。象素块中的象素数并不限于两个象素。
在本发明的实施例3和4中，在信号合成装置14和23中，可以考虑以下配置，提供由众多象素组成的象素块，并且将图18所示方法根据该象素块内特定位置上的长亮度信号之信号电平确定的合成系数，用于该象素块内各象素的合成处理，特定位置如该象素块内的中心位置。此时，无需确定每个象素的合成系数，从而能够简化处理。用于确定合成系数的象素的位置，并不限于象素块的中心位置。
在本发明的实施例3和4中，可以考虑以下配置，把信号合成装置14和23中使用的合成系数k，作为上述方法根据长亮度信号获得的值与某个系数之乘积得到的值，或者通过加/减某个系数得到的值。
在本发明的实施例3和4中，在亮度信号合成装置13以及信号合成装置14和23中，可考虑以下配置，根据从转换为帧图象的短信号中抽取的亮度信号(短亮度信号)而不是长亮度信号，确定合成系数k。同时，也可以考虑以下配置，根据从作为场图的短信号中抽取的亮度信号，而不是从转换为帧图象的短信号中抽取的亮度信号，确定合成系数k。此时，正如从图12中看到的那样，与长信号之偶数行相对应的短信号不存在，所以当短信号仍然处于此种情况时，不能确定合成系数。此时，考虑以下方法，与长信号之偶数行相对应的位置上的合成系数，实际使用***短亮度信号或***合成系数，或者根据***合成系数的平均值、最大值、最小值或中间值，确定合成系数。
在本发明的实施例3和4中，利用图18表示根据亮度信号电平确定合成系数k的方法示例，但是确定合成系数k的方法并不限于此方法，例如，考虑以下方法，依靠图39所示的亮度级，以非线性方式确定k。
在本发明的实施例4中，把短信号作为按照场读取模式读取的一个场图，但并不限于此类配置，并且可以考虑以下配置，通过沿垂直方向对水平行信号进行稀疏处理读取信号，例如图33所示。此时，在不混合固态成象元件中上/下两个光电二极管上积累之电荷的情况下，读取短信号，所以当利用图40所示的双水平行加法装置混合上/下两个象素时，能够实现图30所示配置的功能/作用。然而，正如本发明之实施例3那样，在亮度信号插值装置12中，插值处理的内容随短信号的稀疏处理变化。同样，在稀疏装置22中，以长信号和短信号具有相同信号类型的方式，依靠短信号的稀疏处理，执行稀疏处理。
在本发明的实施例4中，说明了利用稀疏装置22，沿垂直方向对长信号进行稀疏处理的配置，但是也可以考虑以下配置，如图44所示，提供水平方向的稀疏装置27，用于对所述图象信号的水平象素进行稀疏处理，从而将通过双水平行加法装置701的长信号和短信号的水平方向的象素，稀疏为一半。此时，通过按上述方式将水平方向的象素稀疏为一半，能够利用一半容量的半行存储器，代替单行存储器15、16。通过按上述方式稀疏处理水平方向的象素，能够进一步简化固态成象设备的配置，并使其更便宜。此时，如果在执行沿水平方向的稀疏处理前，预先沿水平方向对长信号和短信号进行范围限制，则稀疏处理不会引起有害反射。同样，如果沿垂直方向对信号进行范围限制，则即使沿垂直方向执行稀疏处理，也能避免有害反射。
在本发明的所有上述实施例中，在图象存储器6中临时存储长信号和短信号，但是该过程并不限于此方法，也可考虑以下方法，例如，仅在图象存储器6中存储长信号和短信号之一，并且使固态成象元件3的剩余信号的读取与图象存储器6的信号的读取同步，以执行同步处理。此时，可以减少图象存储器6的容量，并且能够以更少的成本配置固态成象设备。
在本发明的所有上述实施例中，采用图3所示的由品红、绿、黄和青四种颜色组成的补色交错排列类型，解释固态成象元件3上形成的滤色镜的排列，但并不限于此排列，例如，也可考虑以下排列，如图45所示，在各行的位置中不颠倒品红色(Mg)和绿色(G)，并且也可考虑以下配置，如图46所示，按照条纹形状排列用于绿色(G)和青色(Cy)的两个补色滤光器和黄色(Ye)。
在本发明的所有上述实施例中，采用图3所示的由品红、绿、黄和青四种颜色组成的配置，解释固态成象元件3上形成的滤色镜的排列，但并不限于此配置，也可考虑以下配置，使用由红(R)、绿(G)、蓝(B)三原色组成的滤光器。例如，作为滤光器排列，可以考虑图47所示的拜耳方法，图48所示的行间方法，图49所示的G条纹RB完全交错排列方法，图50所示的条纹方法，图51所示的对角线条纹方法，图52所示的G条纹RB行顺序方法，以及图53所示的G条纹RB点顺序方法等。当使用三原色滤光器时，根据公式(20)确定亮度信号。
亮度信号＝0.3×R+0.59×G+0.11×B--------(20)
在本发明的所有上述实施例中，采用图3所示的由品红、绿、黄和青四种颜色组成的补色交错排列类型，解释固态成象元件3上形成的滤色镜的排列，另外，利用场读取解释短信号的读取，所以包括利用双水平行加法装置701对长信号的上/下两个水平行的加法处理，但并不限于此配置，并且当采用图45到53所示的其他滤光器排列时，或者在执行图33所示的稀疏读取，而不是场读取时，不需要上/下两个水平行的加法处理。
在本发明的所有上述实施例中，也可以考虑以下配置，在确定合成系数时，按照公式(21)设置阈值Th_max、Th_min、Th_man’和Th_min’，并且利用信号电平而不是加权加法，切换长期曝光信号和短期曝光信号。
Th_max＝Th_min
Th_max’＝X Th_min’-------------------(21)
(4)实施例5
第五实施例为，图象合成装置38具有与实施例1到4包含的信号合成装置相同的装置，另外，包括曝光量比率检测装置36。
亦即，在使用具有不同曝光量的众多图象信号并合成这些信号以拾取具有扩展范围之图象的方法中，本发明的实施例5具有以下配置，使用机械快门控制曝光时间，机械快门还作为光圈，或者，当在以下光源照明条件下拾取主体时，即主体的照明亮度级(如荧光灯)周期变化，即使不按照曝光量比率简单确定具有不同曝光量的众多图象信号的曝光量比率，通过实际确定长期曝光信号和短期曝光信号之各象素中全屏幕域内的曝光量比率，图象合成处理后的合成象象，也具有稳定的连续分级特征。
图54是一个框图，表示本发明之实施例5中的固态成象设备的配置。在图54中，数字31表示机械快门，机械快门也作为光圈；数字32表示固态成象元件，并且在实施例5中，将其视为全部象素读取类型CCD(电荷耦合器件)。数字33表示双水平行加法装置，用于将两个水平行累加到固态成象元件32的输出端；数字34表示图象存储器，用于存储固态成象元件32的水平行的加法后的两帧信号；数字35表示快门驱动控制装置，执行机械快门31的打开/关闭控制；数字36表示曝光量比率检测装置，确定具有不同曝光量的众多图象信号的曝光量比率；数字37表示增益调整装置，对具有不同曝光量的众多图象信号进行增益调整；数字38表示图象合成装置，用于执行图象合成，以扩展动态范围。
在曝光量检测装置36的方框中，数字361表示信号电平确定装置；数字362表示长信号的积分装置；数字363表示短信号的积分装置；数字364表示曝光量比率运算装置，用于确定长信号积分装置362在全屏幕域内的积分值LSUM，与短信号积分装置363在全屏幕域内的积分值SSUM的比率(LSUM/SSUM)。
图55是一个框图，表示图54所示框图中的双水平行加法装置33的配置示例。在该图中，数字331表示一个单行存储器，该装置将固态成象元件32输出的单行存储器的所述图象信号，延迟一个水平同步周期。数字332表示一个加法器，在该加法器中，累加单行存储器331中延迟的水平行信号与输入到双水平行加法装置33中的水平行信号，从而计算彼此相邻的上/下两行的总和。
图56表示图54所示框图中的图象存储器34的配置示例。图象存储器34具有以下配置，图象存储器34需要存储两帧信号的存储量，例如，如图56所示，具有两个帧存储器，即长信号帧存储器341a和短信号帧存储器341b，所以能够以在各自的帧存储器独立存储的方式，控制长信号和短信号。
关于按上述方式配置的第五实施例的固态成象设备，以下解释其操作。
以下解释实施例5拾取由短期曝光信号(短信号)和长期曝光信号(长信号)组成的两幅图象以合成这些信号的具体示例。
首先，利用图57解释拾取短信号和长信号的方法。图57是有关主体图象之曝光、曝光信号之读取以及固态成象设备32内的图象存储器34之读/写操作的定时图。在图57中，数字3401表示沿垂直方向的同步信号的定时；数字3402表示读取控制脉冲的定时，用于控制从固态成象元件32的光电二极管读取的信号电荷；数字3403表示机械快门31的打开/关闭状态的定时；数字3404表示固态成象元件32的光电二极管上的曝光信号量的定时；数字3405表示固态成象元件32输出的信号的定时；数字3406表示图象存储器34的输入(写)信号的定时；数字3407表示图象存储器34的短信号存储装置(短信号帧存储器341b)的输出(读)信号的定时；数字3408表示图象存储器34的长信号存储装置(长信号帧存储器341a)的输出(读)信号的定时。
在短信号曝光中，当打开机械快门31时，利用电子快门功能，在所需曝光时间(如千分之一秒)内进行曝光。在完成千分之一秒的曝光后，利用读取控制脉冲，将光电二极管上积累的电荷移动到垂直转移CCD。此时，固态成象元件32的读取模式应进入全象素读取模式。
接着，在将短信号移动到垂直转移CCD后，对长信号进行曝光。例如，长信号的曝光时间为百分之一秒。利用机械快门2的打开/关闭，控制长信号的曝光时间。虽然与上述曝光同时发生，但是从固态成象元件32输入用于一帧的短信号，利用读取控制脉冲，将长信号的光电二极管上积累的电荷，移动到垂直转移CCD。此时，固态成象元件32的读取模式进入读取模式。例如，垂直同步信号的周期为十分之三秒，并且应在垂直同步信号的一个周期内，完成一个场的信号读取。
正如数字3406的定时表示的那样，在利用双水平行加法装置33分别对固态成象元件32获得的具有不同曝光时间的两个信号(长信号和短信号)进行累加/混合固态成象元件32上彼此相邻的上/下两行信号的双水平行加法处理之后，在周期①中，暂时在图象存储器34的短信号帧存储器341b中存储短信号，在周期②中，暂时在图象存储器34的长信号帧存储器341a中存储长信号。
接着，正如数字3407和3408的定时表示的那样，在周期③和④中，从图象存储器34中读取短信号和长信号。
在周期③中，在曝光量比率检测装置36中，计算短信号(短帧信号)和长信号(长帧信号)的全屏幕域内各象素的曝光量的积分，从而确定总曝光量(SSUM、LSUM)。
在周期③中，从图象存储器34中读取短信号和长信号的定时为，以在该定时内输出固态成象元件32上彼此对应位置上的行信号的方式，从第一行开始顺序读取短信号和长信号。这里，在周期③中，把从图象存储器34读取的短信号和长信号，输入到曝光量比率检测装置36。曝光量比率检测装置36在短信号和长信号的全屏幕内执行曝光量比率检测，从而确定短信号和长信号的全屏幕域内各象素的曝光量的积分值，然后确定积分值的比率(LSUM/SSUM)。
对于信号电平确定装置361中的电平，分别确定与进入曝光量比率检测装置34同步输入的短信号和长信号，并且忽略其电平在预定范围之外的信号，以便不在长信号积分装置362和短信号积分装置363中进行积分处理。这里，预定范围之外的电平意指难以确定曝光量比率的电平，更确切地说，关于信号，长信号为接近固态成象元件32之饱和电平的高亮度部分的信号，而短信号为噪声影响非常明显的低亮度部分的信号。
图58是一个框图，表示信号电平确定装置361的配置。这里，在图58中，数字36101表示用于确定长信号之电平的装置(比较器A)；数字36102表示用于确定短信号之电平的装置(比较器B)；数字36103表示一个OR门；数字36104表示一个用于选通长信号的门装置；数字36105表示一个用于选通短信号的门装置。在用于确定长信号电平的装置36101中，门装置36104选通接近固态成象元件32的饱和电平的高亮度信号，以便不利用长信号积分装置362进行积分处理，而门装置36105选通与其相对应的短信号，以便不利用短信号积分装置363进行积分处理。
在用于确定短信号电平的装置36102中，门装置36105选通噪声影响非常明显的低亮度信号，以便不利用短信号积分装置363进行积分处理，而门装置36104选通与其相对应的长信号，以便不利用短信号积分装置362进行积分处理。
在全屏幕域中，将作为长信号积分装置362之积分结果的积分值LSUM，和作为短信号积分装置363之积分结果的积分值SSUM，输入到曝光量比率运算装置364中，并执行公式(22)所示的运算，以确定全屏幕域中的曝光量比率D。
D＝LSUM/SSUM---------------(22)
上述方法能够正确获得利用电子快门控制其曝光量的短信号曝光量，与利用机械快门控制其曝光量的长信号曝光量的全屏幕的平均曝光量比率D。
另外，当主体照明为荧光灯时，能够利用与上述方法完全相同的方法和定时，获得短信号与长信号的曝光量比率，因此省略其解释。
接着，在图57所示的周期④中，正如周期③那样，从图象存储器34中读取长信号和短信号，并且在增益调整装置37中，将短信号乘以一个D倍增益，该增益等于周期③中计算的曝光量比率。
以下将乘以D倍增益的短信号表示为短信号’。根据从图象存储器34读取的长信号以及调整其增益的短信号’，利用在众所周知的动态范围扩展原理中说明的方法，在后一阶段中利用图象合成装置38进行合成。
按照上述方法，能够非常准确地确定长信号与短信号的曝光量比率，所以图象合成装置38使用长信号和增益调整的短信号合成的图象，能够获得分级特征，其中分级特征从低亮度部分到高亮度部分是连续稳定的。
在稍后处理中，对图象合成装置38中合成的信号进行以下处理，如从彩色信号中分离亮度信号，噪声消除，边缘增强，γ校正，矩阵运算以及编码为特定格式。图象合成装置38中的处理以及稍后执行的处理与本发明的目的没有直接关系，因此省略其详细说明。
尽管在本发明的实施例5中，利用全象素读取类型CCD(电荷耦合器件)解释固态成象元件32，但本发明并不限于此类CCD，可将本实施例应用于能够输出具有各种不同曝光量的众多图象信号的成象装置，如执行帧频读取的装置，以及在固态成象元件上执行双行加法/读取的装置。
尽管在本发明的实施例5中，利用双水平行加法装置33，将两行信号累加到固态成象元件32的输出中，并且在曝光量比率检测装置36中检测长信号与短信号的曝光比率，但本发明并不限于此方法，并且即使不把两行信号累加到固态成象元件32的输出中，检测曝光比率也没有任何问题。
尽管在本发明的实施例5中，图象存储器34能够存储两帧，但本发明并不限于此容量，图象存储器34能够存储来自成象装置的具有不同曝光量的许多输出信号。
尽管在本发明的实施例5中，固态成象元件32输出的具有不同曝光量的长信号和短信号均为帧信号，但本发明并不限于此类信号，并且可将本实施例应用于同为场信号的情况，或者具有不同曝光量的各信号的行数互不相同的情况，如一行为场，另一行为帧频。如上所述，如果具有不同曝光量的各信号的行数不同，则通过在曝光量比率检测期间控制图象存储器34，或者按照使具有较多行数的信号与具有较少行数的信号相匹配的定时，将对应位置的象素输出到曝光量比率检测装置36，也能够检测曝光量比率。
(5)实施例6
在实施例5的情况中，使用并合成曝光量彼此不同的长期曝光信号和短期曝光信号，以拾取具有扩展动态范围的图象，为了获得稳定连续的分级特征作为图象合成处理后的合成象象，在长期曝光信号和短期曝光信号的全屏幕域中，实际确定曝光量比率，并且通过使用其增益等于曝光量比率的信号和长期曝光信号，执行图象合成处理。
此时，需要与一帧时间相等的时间来检测长期曝光信号和短期曝光信号的曝光量比率，并且另外需要与一帧时间相等的时间来合成长期曝光信号和短期曝光信号，所以总处理时间变长。
第六实施例，在实施例5的配置中，切换来自成象装置的所述图象信号和来自图象存储器的所述图象信号，以输出到曝光量比率检测装置中，从而减少从实施例5中所述成象装置开始到图象合成处理结束的拾取处理需要的时间。
图59是一个框图，表示本发明之实施例6中的固态成象设备的配置。在该图中，除数字39表示组件外，其配置与实施例5完全相同，因此省略其解释。图59中的数字39表示信号切换装置，用于切换双水平行加法装置33(作为侧面A)对固态成象元件32的输出进行加法处理后的信号，和来自图象存储器34(作为侧面B)的长信号存储装置的输出信号。亦即，当将长信号发送到曝光量比率检测装置36时，所述图象信号切换装置39将长信号切换到侧面A，以便直接将来自双水平行加法装置33的长信号，输出到曝光量比率检测装置36，当将长信号发送到图象合成装置38时，将长信号切换到侧面B，以便将来自图象存储器34的长信号，输出到图象合成装置38。
关于按上述方式配置的第六实施例的固态成象设备，以下解释其操作。
以下解释实施例6拾取由短期曝光信号(短信号)和长期曝光信号(长信号)组成的两幅图象以合成这些信号的具体示例。
首先，利用图60解释拾取短信号和长信号的方法。图60是有关主体图象之曝光、曝光信号之读取以及固态成象设备32内的图象存储器34之读/写操作的定时图。在图60中，数字31101表示沿垂直方向的同步信号的定时；数字31102表示读取控制脉冲的定时，用于控制从固态成象元件32的光电二极管读取的信号电荷；数字31103表示机械快门31的打开/关闭状态的定时；数字31104表示固态成象元件32的光电二极管上的曝光信号量的定时；数字31105表示固态成象元件32输出的信号的定时；数字31106表示图象存储器34的输入(写)信号的定时；数字31107表示图象存储器34的短信号存储装置(短信号帧存储器341b)的输出(读)信号的定时；数字31108表示图象存储器34的长信号存储装置(长信号帧存储器341a)的输出(读)信号的定时。
在短信号曝光中，当打开机械快门31时，利用电子快门功能，在所需曝光时间(如千分之一秒)内进行曝光。在完成千分之一秒的曝光后，利用读取控制脉冲，将光电二极管上积累的电荷移动到垂直转移CCD。此时，固态成象元件32的读取模式应进入全象素读取模式。
接着，在将短信号移动到垂直转移CCD后，对长信号进行曝光。例如，长信号的曝光时间为百分之一秒。利用机械快门31的打开/关闭，控制长信号的曝光时间。虽然与上述曝光同时发生，但是从固态成象元件32输入用于一帧的短信号，利用读取控制脉冲，将长信号的光电二极管上积累的电荷，移动到垂直转移CCD。此时，固态成象元件32的读取模式进入读取模式。例如，垂直同步信号的周期为三十分之一秒，并且应在垂直同步信号的一个周期内，完成一个场的信号读取。
正如数字31106的定时表示的那样，在利用双水平行加法装置33分别对固态成象元件32获得的具有不同曝光时间的两个信号(长信号和短信号)进行累加/混合固态成象元件32上彼此相邻的上/下两行信号的双水平行加法处理之后，在周期①中，暂时在图象存储器34的短信号帧存储器341b中存储短信号，在周期②中，暂时在图象存储器34的长信号帧存储器341a中存储长信号。
在周期②中，通过将所述图象信号切换装置39切换到侧面A，将强行输入到图象存储器34的长信号存储装置的长信号，输入到曝光量比率检测装置36中的信号电平确定装置361，同时，正如数字31107的定时表示的那样，读取图象存储器34的短信号存储装置中存储的短信号，然后将其输入到曝光量比率检测装置36中的信号电平确定装置361。此时，对于通过所述图象信号切换装置39输入的长信号和从图象存储器34输出的短信号，控制固态成象元件32上相应位置上的长信号行和短信号行，以便以相同定时，输入到曝光量比率检测装置36中的信号电平确定装置361，从而在周期②中，执行曝光量检测处理。周期②中的曝光量检测处理与实施例5之周期③中的曝光量检测处理一致，所以此处省略其解释。其中实施例6之周期③内的处理比实施例5中的处理领先一个帧周期。
接着，在图60所示的周期③中，从图象存储器34中读取长信号和短信号。在周期③中，通过将所述图象信号切换装置39切换到侧面B，将来自图象存储器34的长信号存储装置的长信号，输入到图象合成装置38中，同时，将来自图象存储器34的短信号存储装置的短信号，乘以与增益调整装置37在周期②中计算的曝光量比率D相等的一个D倍增益，然后输入到图象合成装置38。
以下将乘以D倍增益的短信号表示为短信号’。正如实施例5那样，根据从图象存储器34读取的长信号以及调整其增益的短信号’，利用在众所周知的动态范围扩展原理中说明的方法，在后一阶段中利用图象合成装置38进行合成。
如上所述，通过增加所述图象信号切换装置，能够将从实施例5中所述成象装置开始到图象合成处理结束的拾取处理需要的时间，减少一帧时间，其中切换装置切换来自成象装置的所述图象信号和来自图象存储器的所述图象信号。
(6)实施例7
当在诸如室内或室外之类的不同光源下拾取主体时，利用使用具有不同曝光量的短期曝光信号和长期曝光信号并合成这些信号以拾取具有扩展动态范围之图象的方法，其光方面的区别在于，由于室内的荧光灯，主体的亮度级周期改变，同时由于室外的太阳光，主体的亮度级不会周期改变。因此，对于各种光源下的主体，图象各部分的长期曝光信号与短期曝光信号的曝光量比率是不同的，所以不可能给短期曝光信号提供与实施例5中所述全屏幕域之均匀曝光量比率相等的增益。
在实施例7中，即使存在各种光源，通过将屏幕划分为许多块，并且通过确定长期曝光信号(长信号)和短期曝光信号(短信号)之间各象素的全屏幕域内的曝光量比率，为扩展动态范围而进行合成处理后的合成象象，也具有稳定的连续分级特征。
图61是一个框图，表示本发明之实施例7中的固态成象设备的配置。在图61中，除了曝光量比率检测装置36的内部配置，其配置与实施例5完全相同，因此省略其解释。在图61的曝光量比率检测装置36中，数字361表示信号电平确定装置；数字365a、365b表示多路复用器；数字366a、366b表示选择器；数字367表示长信号积分装置，用于将屏幕划分为n块，以确定各块的长信号的积分值LSUM；数字368表示短信号积分装置，用于将屏幕划分为n块，以确定各块的短信号的积分值SSUM。在以方块为单位的长信号积分装置367和短信号积分装置368中，符号∑BL1、∑BL2至∑BLn表示n块内的积分装置。数字364表示曝光量比率运算装置，通过利用选择器366a、366b切换以下积分值，接收长信号积分装置367计算的各块的积分值LSUM和短信号积分装置368计算的对应块的积分值SSUM，以确定各块内积分值LSUM与积分值SSUM的比率。
关于按上述方式配置的第七实施例的固态成象设备，以下解释其操作。
首先，关于拾取短信号和长信号的方法，控制曝光时间的方法，以及固态成象元件32和图象存储器34，实施例7中的具体示例与第五实施例完全相同，所以此处省略其解释。来自固态成象元件32的输出信号的定时，输入到图象存储器34的信号和图象存储器34输出的信号的定时，与解释实施例5所使用的图57的定时图完全相同，所以使用图57解释实施例7。
在实施例7的具体示例中，说明为各块确定曝光量比率的情况，其中如图62所示，通过将屏幕划分为8×6＝48块，得到各块。作为光源方面的差别示例，块号6、7、8、14、15、16、22、23、24为室外太阳光作为光源的主题域，除上述域之外的其他域为荧光灯作为光源的主题域。
在实施例7中，在图57所示的周期①和②中，利用双水平行加法装置33，对固态成象元件32输出的信号，进行双水平行加法处理，然后在图象存储器34中暂时存储。
在周期③中，各块的长信号积分装置367和短信号积分装置368，分别根据从图象存储器34中读取的短信号(短帧信号)和长信号(长帧信号)，计算划分为块的各块中每个象素的曝光量积分，以确定各块内的总曝光量(SSUM，LSUM)。在周期③中，从图象存储器34中读取短信号和长信号的定时为，以相同定时从第一行开始顺序读取固态成象元件32上相应位置上的信号行。
对于信号电平确定装置361中的电平，分别确定与进入曝光量比率检测装置36同步输入的短信号和长信号，并且忽略其电平在预定范围之外的信号，以便不在长信号积分装置367和短信号积分装置368中进行积分处理。这里，预定范围之外的电平意指难以确定曝光量比率的电平，更确切地说，长信号为接近固态成象元件32之饱和电平的高亮度部分的信号，而短信号为噪声影响非常明显的低亮度部分的信号。
利用多路复用器365a和365b将其电平在预定范围内的信号切换到通道中，然后利用各块内的积分装置∑BL1、∑BL2至∑BLn计算积分，以便对各块内的相应象素信号进行积分。
在周期④中，如果划分为块的第n块(第一到第四十八)内象素的长信号和短信号是从图象存储器34输出的，则以下述方式控制选择器366，将用于确定第n块之曝光量的积分值的信号，输入到曝光量比率运算装置364中，接着计算第n块中长信号与短信号的比率，然后，向来自图象存储器34的短信号，提供与增益调整装置37给出的曝光量比率相等的增益。以下将增益调整装置37向其提供增益的短信号表示为短信号’。
在周期④中，根据从图象存储器34读取的长信号以及调整其增益的短信号’，利用在众所周知的动态范围扩展原理中说明的方法，在后一阶段中利用图象合成装置38进行合成。
借助上述方法，即使主体上存在各种光源，也能非常准确地确定各块内的长信号与短信号的曝光量比率，所以图象合成装置38使用长信号和增益调整的短信号合成的图象，能够获得分级特征，其中分级特征从低亮度部分到高亮度部分是连续稳定的。
正如实施例5那样，在稍后的处理中，对图象合成装置38中合成的信号进行以下处理，如从彩色信号中分离亮度信号，噪声消除，边缘增强，γ校正，矩阵运算以及编码为特定格式。
尽管在实施例7中，确定通过将屏幕划分为48块获得的各块的曝光量比率，但本发明并不限于此种情况，可以将屏幕划分为任意块。可以确定长信号积分装置367和短信号积分装置368中各块的积分装置的数目，以便与所划分的块数匹配。在实施例7中，可以相同间隔沿水平/垂直方向划分象素块，也可以根据主体，自由改变垂直/水平方向的间隔。
(7)实施例8
正如图65的荧光灯各颜色分量的亮度波动图形所示的那样，荧光灯的亮度在各颜色分量的相位中变化，所以各颜色分量的曝光量随执行曝光的定时变化。在使用众多具有不同曝光量的图象信号并合成这些信号以拾取具有扩展动态范围的图象的方法中，通过仅确定长期曝光信号和短期曝光信号的亮度部分的曝光量比率，并且通过执行图象合成以利用长期曝光信号和向短期曝光信号提供与曝光量比率相等之增益的信号扩展动态范围而获得合成信号，其颜色分量特征在接近长期曝光信号的饱和位置变得不连续。
第八实施例意在通过确定各颜色分量的短期曝光信号(短信号)和长期曝光信号(长信号)的曝光量比率，在扩展动态范围的图象合成处理后，提供具有稳定的连续分级特征和彩色特征的合成象象，即使各彩色分量的相位不同。
图63是一个框图，表示本发明之实施例8中的固态成象设备的配置。在图63中，除了曝光量比率检测装置36的内部配置，其配置与实施例5完全相同，因此省略其解释。在图61的曝光量比率检测装置36中，数字361表示信号电平确定装置；数字365a、365b表示多路复用器；数字366a、366b表示选择器；数字369表示长信号积分装置，用于确定各颜色分量的长信号的积分值LSUM；数字3610表示短信号积分装置，用于确定各颜色分量的短信号的积分值SSUM。在各颜色分量的长信号积分装置369和短信号积分装置3610中，符号∑MY、∑MC、∑GY和∑GC分别表示各混合颜色分量[品红(Mg)+黄(Ye)]、[品红(Mg)+青(Cy)]、[绿(G)+黄(Ye)]、[绿(G)+青(Cy)]的积分装置。数字364表示曝光量比率运算装置，通过利用选择器366a、366b切换以下积分值，接收长信号积分装置369计算的各颜色分量的积分值LSUM和短信号积分装置3610计算的各颜色分量的积分值SSUM，以确定各颜色分量的积分值LSUM与积分值SSUM的比率。
关于按上述方式配置的第八实施例的固态成象设备，以下解释其操作。
这里，假设固态成象元件32的光电二极管上的滤色镜的排列方式为，为每个象素安排一个具有四种不同光谱特征—品红(Mg)、绿(G)、黄(Ye)和青(Cy)的滤色镜。
首先，关于拾取短信号和长信号的方法，控制曝光时间的方法，以及固态成象元件32和图象存储器34，实施例8中的具体示例与第五实施例完全相同，所以此处省略其解释。来自固态成象元件32的输出信号的定时，输入到图象存储器34的信号和图象存储器34输出的信号的定时，与解释实施例5所使用的图57的定时图完全相同，所以使用图57解释实施例8。
在实施例8中，在图57所示的周期①和②中，利用双水平行加法装置33，对固态成象元件32输出的信号，进行双水平行加法处理，然后在图象存储器34中暂时存储。
在周期③中，对于从图象存储器34读取的各长信号和短信号，计算各种颜色分量的每个象素的曝光量的积分，以确定各颜色分量的总曝光量(SSUM，LSUM)。
在周期③中，从图象存储器34中读取短信号和长信号的定时为，以相同定时从第一行开始顺序读取固态成象元件32上相应位置上的信号行。
对于信号电平确定装置361中的电平，分别确定与进入曝光量比率检测装置36同步输入的短信号和长信号，并且忽略其电平在预定范围之外的信号，以便不在长信号积分装置369和短信号积分装置3610中对各颜色分量进行积分处理。这里，预定范围之外的电平意指难以确定曝光量比率的电平，更确切地说，长信号为接近固态成象元件32之饱和电平的高亮度部分的信号，而短信号为噪声影响非常明显的低亮度部分的信号。
利用多路复用器365a和365b将其电平在预定范围内的信号切换到通道中，然后利用各颜色分量的积分装置∑MY、∑MC、∑GY和∑GC计算积分，以便对各颜色分量的相应象素信号进行积分。
混合图象存储器34输出的信号，以获得双水平行加法装置33中的两行信号，从而输出作为颜色分量的四类信号[品红(Mg)+黄(Ye)]、[品红(Mg)+青(Cy)]、[绿(G)+黄(Ye)]、[绿(G)+青(Cy)]，并计算四种颜色的各种分量的积分。
在周期④中，如果颜色分量[品红(Mg)+黄(Ye)]的长信号和短信号是从图象存储器34输出的，则以下述方式控制选择器366a和366b，将用于确定[品红(Mg)+黄(Ye)]之曝光量的积分值的信号，输入到曝光量比率运算装置364中，接着计算[品红(Mg)+黄(Ye)]中长信号与短信号的比率，然后，向来自图象存储器34的颜色分量[品红(Mg)+黄(Ye)]的短信号，提供与增益调整装置37给出的曝光量比率相等的增益。
同样，在周期④中，如果颜色分量[品红(Mg)+青(Cy)]、[绿(G)+黄(Ye)]、[绿(G)+青(Cy)]的长信号和短信号是从图象存储器34输出的，则执行相同处理。以下将增益调整装置37向其提供增益的短信号表示为短信号’。
根据长信号以及调整其增益的短信号’，利用在动态范围扩展之常规原理中说明的方法，在后一阶段中利用图象合成装置38进行合成。
借助上述方法，正如荧光灯那样，即使各颜色分量的相位不同，也能非常准确地确定全屏幕上的长信号与短信号的曝光量比率，所以图象合成装置38使用长信号和增益调整的短信号合成的图象，能够获得分级特征和彩色特征，其中这些特征从低亮度部分到高亮度部分是连续稳定的。
正如实施例5那样，在稍后的处理中，对图象合成装置38中合成的信号进行以下处理，如从彩色信号中分离亮度信号，噪声消除，边缘增强，γ校正，矩阵运算以及编码为特定格式。
尽管在实施例8中，说明了固态成象元件32的光电二极管上品红色、青色、绿色和黄色滤色镜的排列，但是本发明并不限于此排列，并且可以将本实施例应用于具有各种不同光谱特征的分色滤光器排列。同时，通过利用分色棱镜代替分色滤光器，可以将本发明应用于彩色化装置。
通过组合实施例7和实施例8，也能够得到一种实施例(未示出)。亦即，可考虑以下配置，在各象素块的积分装置∑BL1、∑BL2至∑BLn中，添加用于各颜色分量的积分装置∑MY、∑MC、∑GY和∑GC。
工业适用性
本发明适合作为固态成象设备，其中固态成象设备控制固态成象元件的曝光和信号读取模式，拾取用于一个场的短期曝光信号和用于一个帧频的长期曝光信号，然后合成这些信号，从而能够以与固态成象元件之象素数相等的分辨率，拾取具有扩展动态范围的图象。

Claims (53)

1.一种固态成象设备，包括：
一个固态成象元件，用于输出曝光量互不相同的多个图象信号；以及
信号合成装置，用于合成所述固态成象元件输出的所述图象信号，
其中所述固态成象元件输出的至少一个所述图象信号的象素数少于其他图象信号的象素数。
2.根据权利要求1的固态成象设备，其中具有较少象素数的所述图象信号是沿垂直方向对其象素进行稀疏处理的图象信号。
3.一种固态成象设备，包括：
在一个二维平面上排列的多个光接收和电荷存储装置，用于响应光接收而存储电荷；
具有转移装置的固态成象元件，该转移装置用于将光接收和电荷存储装置上积累的电荷输出到外部；
光快门装置，用于遮挡射到所述光接收和电荷存储装置上的光；以及
信号合成装置，用于对所述光接收和电荷存储装置输出的图象信号进行合成，
其中在施加第一读取控制脉冲之后，通过所述转移装置，所述固态成象元件输出所述光接收和电荷存储装置上积累的电荷，作为第一曝光；
其中在由所述光快门装置完成曝光的第二一个曝光中，在施加第二读取控制脉冲之后，通过所述转移装置，所述固态成象元件输出所述光接收和电荷存储装置上积累的电荷；且
其中所述信号合成装置合成利用所述第一曝光和所述第二曝光拍摄的图象信号。
4.一种固态成象设备，包括：
二维平面上排列的许多光接收和电荷存储装置，用于响应光接收存储电荷；
具有转移装置的固态成象元件，转移装置将光接收和电荷存储装置上积累的电荷输出到外部；
光快门装置，用于遮挡射到所述光接收和电荷存储装置上的光；以及
信号合成装置，用于合成所述光接收和电荷存储装置输出的图象信号，
其中在应用第一读取控制脉冲之后，通过所述转移装置，所述固态成象元件仅仅输出所述光接收和电荷存储装置上积累的部分电荷，作为第一曝光；
其中在由所述光快门装置完成曝光的第二曝光中，在应用第二读取控制脉冲之后，通过所述转移装置，所述固态成象元件输出所述光接收和电荷存储装置上积累的电荷；以及
其中所述信号合成装置合成利用所述第一曝光和所述第二曝光拍摄的图象信号。
5.一种固态成象设备，包括：
二维平面上排列的许多光接收和电荷存储装置，用于响应光接收存储电荷；
具有转移装置的固态成象元件，转移装置将光接收和电荷存储装置上积累的电荷输出到外部；
光快门装置，用于遮挡射到所述光接收和电荷存储装置上的光；以及
信号合成装置，用于合成所述光接收和电荷存储装置输出的图象信号，
其中在场读取中，在应用第一读取控制脉冲之后，通过所述转移装置，所述固态成象元件输出所述光接收和电荷存储装置上积累的电荷，作为第一曝光；
其中在由所述光快门装置完成曝光的第二曝光中，在应用第二读取控制脉冲之后，通过所述转移装置，所述固态成象元件输出所述光接收和电荷存储装置上积累的电荷；以及
其中所述信号合成装置合成利用所述第一曝光和所述第二曝光拍摄的图象信号。
6.根据权利要求3到5之任一权利要求的固态成象设备，其中利用电子快门控制所述第一曝光的曝光时间。
7.根据权利要求3到6之任一权利要求的固态成象设备，其中以帧频读取模式，输出光接收和电荷存储装置在所述应用所述第二读取控制脉冲后的所述第二曝光内积累的电荷。
8.根据权利要求3到7之任一权利要求的固态成象设备，其中在所述应用所述第一读取控制脉冲后读取的图象的象素数，少于在所述应用所述第二读取控制脉冲后读取的图象。
9.根据权利要求3到8之任一权利要求的固态成象设备，其中将机械光快门装置用作光圈。
10.一种固态成象设备，包括：
固态成象元件，用于输出曝光量和象素数互不相同的两个图象信号；
插值装置，该装置通过插值处理，将具有不同象素数的所述两个图象信号中具有较少象素数的图象信号，转换为其信号类型与具有较多象素数的图象信号之信号类型相同的图象信号；以及
信号合成装置，该装置根据合成控制信号，合成具有较多象素数的所述图象信号，和利用插值装置转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，所述合成控制信号为具有较少象素数的所述图象信号，利用所述插值装置转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多象素数的所述图象信号之一。
11.一种固态成象设备，包括：
固态成象元件，用于输出曝光量和象素数互不相同的两个图象信号；
亮度信号抽取装置，用于从具有不同象素数的两个图象信号中具有较少象素数的图象信号或具有较多象素数的图象信号中，抽取亮度信号；
插值装置，该装置通过插值处理，将具有较少象素数的所述图象信号，转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的图象信号；以及
信号合成装置，该装置根据合成控制信号，合成具有较多象素数的所述图象信号，和利用插值装置转换为所述信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，所述合成控制信号为从具有较少象素数的所述图象信号中抽取的亮度信号，或从具有较多象素数的所述图象信号中抽取的亮度信号之一。
12.根据权利要求10或11的固态成象设备，其中信号合成装置包括：
系数生成装置，根据所述合成控制信号的信号电平，生成某个系数k，以及
合成装置，根据所述系数生成装置生成的系数k，对具有较多象素数的所述图象信号和转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号进行加权，并计算其总和。
13.一种固态成象设备，包括：
固态成象元件，用于输出曝光量和象素数互不相同的两个图象信号；
亮度信号抽取装置，用于从具有不同象素数的两个图象信号中具有较少象素数的图象信号或具有较多象素数的图象信号中，抽取亮度信号；
第一插值装置，该装置通过插值处理，将从具有较少象素数的所述图象信号中抽取的所述亮度信号，转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的亮度信号；
亮度信号合成装置，该装置根据合成控制信号，合成利用所述第一插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的所述亮度信号之信号类型相同的所述亮度信号，和从具有较多象素数的所述图象信号中抽取的所述亮度信号，所述合成控制信号为从具有较少象素数的所述图象信号中抽取的所述亮度信号，利用所述第一插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的所述亮度信号，和利用第一插值装置从具有较多象素数的所述图象信号中获得的所述亮度信号之一；
第二插值装置，该装置通过插值处理，将具有较少象素数的所述图象信号，转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的图象信号；以及
信号合成装置，该装置根据所述合成控制信号，合成转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多象素数的所述图象信号。
14.根据权利要求13的固态成象设备，其中所述亮度信号合成装置包括：
第一系数生成装置，根据所述合成控制信号的信号电平，生成某个系数k，以及
第一合成装置，根据第一系数生成装置生成的系数k，对利用第一插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的亮度信号，和从具有较多象素数的所述图象信号中抽取的亮度信号进行加权，并计算其总和。
15.根据权利要求13或14的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的至少一个系数k，对利用所述第二插值装置转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多象素数的所述图象信号进行加权，并计算其总和。
16.根据权利要求13或14的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的系数k(众多系数k)的平均值、最大值、最小值和中间值之一，对利用所述第二插值装置转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多象素数的所述图象信号进行加权，并计算其总和。
17.根据权利要求13或14的固态成象设备，其中所述信号合成装置包括：
第二系数生成装置，根据所述合成控制信号的信号电平，生成某个系数k，以及
第二合成装置，根据所述第二系数生成装置生成的系数k，对利用所述插值装置转换为其信号类型与具有较多象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多象素数的所述图象信号进行加权，并计算其总和。
18.一种固态成象设备，包括：
固态成象元件，用于输出曝光量和象素数互不相同的两个图象信号；
亮度信号抽取装置，用于从具有不同象素数的两个图象信号中具有较少象素数的图象信号或具有较多象素数的图象信号中，抽取亮度信号；
插值装置，该装置通过插值处理，将从具有较少象素数的所述图象信号中抽取的所述亮度信号，转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的图象信号；
亮度信号合成装置，该装置根据合成控制信号，合成利用所述第一插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的所述亮度信号之信号类型相同的所述亮度信号，和从具有较多象素数的所述图象信号中获得的所述亮度信号，所述合成控制信号为从具有较少象素数的所述图象信号中抽取的所述亮度信号，利用所述插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的所述亮度信号，和从具有较多象素数的所述图象信号中抽取的所述亮度信号之一；
稀疏装置，该装置利用稀疏处理，将具有较多象素数的所述图象信号，转换为其信号类型与具有较少象素数的所述图象信号之信号类型相同的图象信号；以及
信号合成装置，该装置根据所述合成控制信号，合成利用所述稀疏装置转换为其信号类型与具有较少象素数的所述图象信号之信号类型相同的所述图象信号，和具有较少象素数的所述图象信号。
19.根据权利要求18的固态成象设备，其中所述亮度信号合成装置包括：
第一系数生成装置，根据所述合成控制信号的信号电平，生成某个系数k，以及
第一合成装置，根据所述第一系数生成装置生成的系数k，对利用所述插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的所述亮度信号之信号类型相同的亮度信号，和从具有较多象素数的所述图象信号中抽取的亮度信号进行加权，并计算其总和。
20.根据权利要求18或19的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的至少一个系数k，对利用所述稀疏装置转换为其信号类型与具有较少象素数的所述图象信号之信号类型相同的所述图象信号，和具有较多少象素数的所述图象信号进行加权，并计算其总和。
21.根据权利要求18或19的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的系数k(众多系数k)的平均值、最大值、最小值和中间值之一，对利用所述稀疏装置转换为其信号类型与具有较少象素数的所述图象信号之信号类型相同的所述图象信号，和具有较少象素数的所述图象信号进行加权，并计算其总和。
22.根据权利要求18或19的固态成象设备，其中所述信号合成装置包括：
第二系数生成装置，根据合成控制信号的信号电平，生成某个系数k，以及
第二合成装置，根据所述第二系数生成装置生成的所述系数k，对利用所述稀疏装置转换为其信号类型与具有较少象素数的所述图象信号之信号类型相同的所述图象信号，和具有较少象素数的所述图象信号进行加权，并计算其总和。
23.一种固态成象设备，包括：
固态成象元件，用于输出曝光量和象素数互不相同的两个图象信号；
亮度信号抽取装置，用于从具有不同象素数的两个图象信号中具有较少象素数的图象信号或具有较多象素数的图象信号中，抽取亮度信号；
插值装置，该装置通过插值处理，将从具有较少象素数的所述图象信号中抽取的所述亮度信号，转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的图象信号；
亮度信号合成装置，该装置根据合成控制信号，合成利用所述插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的所述亮度信号之信号类型相同的所述亮度信号，和从具有较多象素数的所述图象信号中获得的所述亮度信号，所述合成控制信号为从具有较少象素数的所述图象信号中抽取的所述亮度信号，利用所述插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的所述亮度信号，和从具有较多象素数的所述图象信号中抽取的所述亮度信号之一；
第一稀疏装置，该装置利用稀疏处理，对具有较多象素数的所述图象信号的象素，进行稀疏处理；
第二稀疏装置，该装置利用稀疏处理，对具有较少象素数的所述图象信号的象素，进行稀疏处理；以及
信号合成装置，该装置根据所述合成控制信号，合成利用所述第一稀疏装置和所述第二稀疏装置对其象素进行稀疏处理的所述图象信号。
24.根据权利要求23的固态成象设备，其中所述亮度信号合成装置包括：
第一系数生成装置，根据合成控制信号的信号电平，生成某个系数k，以及
第一合成装置，根据所述第一系数生成装置生成的系数k，对利用所述插值装置转换为其信号类型与从具有较多象素数的所述图象信号中获得的亮度信号之信号类型相同的亮度信号，和从具有较多象素数的所述图象信号中抽取的亮度信号进行加权，并计算其总和。
25.根据权利要求23或24的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的至少一个系数k，对利用所述第一稀疏装置和所述第二稀疏装置对其象素进行稀疏处理的所述图象信号进行加权，并计算其总和。
26.根据权利要求23或24的固态成象设备，其中所述信号合成装置包括：
第二合成装置，根据所述第一系数生成装置生成的系数k(众多系数k)的平均值、最大值、最小值和中间值之一，对利用所述第一稀疏装置和所述第二稀疏装置对其象素进行稀疏处理的所述图象信号进行加权，并计算其总和。
27.根据权利要求23或24的固态成象设备，其中所述信号合成装置包括：
第二系数生成装置，根据合成控制信号的信号电平，生成某个系数k，以及
第二合成装置，根据所述第二系数生成装置生成的所述系数k，对利用所述第一稀疏装置和所述第二稀疏装置对其象素进行稀疏处理的所述图象信号进行加权，并计算其总和。
28.根据权利要求1、2、3、5、10、11、13、18和23之任一权利要求的固态成象设备，其中具有较少象素数的所述图象信号是用于一个场的图象信号，而具有较多象素数的所述图象信号是用于一个帧频的图象信号。
29.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，根据所述合成控制信号的众多象素的至少一个象素的信号电平，生成所述系数k。
30.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，根据所述合成控制信号的众多象素的各信号电平的平均值、最大值、最小值和中间值之一，生成所述系数k。
31.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，生成与所述合成控制信号之各象素相对应的所述系数k。
32.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，生成与所述合成控制信号之众多象素组成的象素块相对应的所述系数k。
33.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，根据所述合成控制信号之众多象素组成的象素块内的各信号电平的平均值、最大值、最小值和中间值之一，生成所述系数k。
34.根据权利要求10到27之任一权利要求的固态成象设备，其中所述系数生成装置、所述第一系数生成装置和所述第二系数生成装置，根据所述合成控制信号之众多象素组成的象素块内的特定位置上的象素的信号电平，生成所述系数k。
35.根据权利要求1到34之任一权利要求的固态成象设备，其中所述曝光量和所述象素数互不相同的所述两个图象信号中，具有较少象素数的所述图象信号为短期曝光信号，而具有较多象素数的所述图象信号为长期曝光信号。
36.根据权利要求1到34之任一权利要求的固态成象设备，其中所述曝光量和所述象素数互不相同的所述两个图象信号中，具有较少象素数的所述图象信号为长期曝光信号，而具有较多象素数的所述图象信号为短期曝光信号。
37.根据权利要求1到36之任一权利要求的固态成象设备，其中利用机械光快门装置或所述固态成象元件的电子快门功能，控制所述固态成象元件反映的图象信号的曝光量。
38.根据权利要求1到36之任一权利要求的固态成象设备，其中所述固态成象元件包括品红、绿、黄和青四种颜色的滤色镜。
39.根据权利要求1到38之任一权利要求的固态成象设备，其中所述固态成象元件包括一个滤色镜，该滤色镜具有品红、绿、黄和青四种颜色组成的补色交错排列类型。
40.根据权利要求1到37之任一权利要求的固态成象设备，其中所述固态成象元件包括一个红、绿、蓝三种颜色的滤色镜。
41.根据权利要求1到37之任一权利要求的固态成象设备，其中所述固态成象元件包括一个红、绿、蓝三种颜色组成的三色条纹类型的滤色镜。
42.根据权利要求1到41之任一权利要求的固态成象设备，其中所述固态成象元件是一个行间转移CCD(IT-CCD)。
43.一种固态成象设备，该设备通过合成经成象处理获得的长期曝光信号和短期曝光信号，执行动态范围扩展，所述固态成象设备检测所述长期曝光信号与所述短期曝光信号的曝光量比率，然后根据所述曝光量比率，在所述动态范围扩展中，对所述长期曝光信号和所述短期曝光信号执行增益调整。
44.根据权利要求43的固态成象设备，其中对成象屏幕上划分的每个象素块，检测所述长期曝光信号与所述短期曝光信号的所述曝光量比率，并对各所述象素块执行所述增益调整。
45.根据权利要求43的固态成象设备，其中对每种颜色分量，检测所述长期曝光信号与所述短期曝光信号的所述曝光量比率，并对每种颜色分量执行所述增益调整。
46.根据权利要求43的固态成象设备，其中对成象屏幕上划分的每个象素块和每种颜色分量，检测所述长期曝光信号与所述短期曝光信号的所述曝光量比率，并对各所述象素块和每种所述颜色分量执行所述增益调整。
47.一种固态成象设备，包括：
成象装置，用于独立输出具有不同曝光时间众多图象信号；
图象存储器，用于存储来自所述成象装置的具有不同曝光量的众多图象信号；
曝光量比率检测装置，用于检测所述具有不同曝光量的众多图象信号的曝光量比率；
增益调整装置，该装置根据所述检测的曝光量比率，对从所述图象存储器中读取的所述具有不同曝光量的众多图象信号，进行增益调整；以及
图象合成装置，在所述增益调整后，合成所述具有不同曝光量的众多图象信号。
48.根据权利要求47的固态成象设备，其中所述曝光量比率检测装置包括：
信号电平确定装置，用于确定所述具有不同曝光量的众多图象信号的信号电平；
积分装置，根据所述信号电平的确定结果，确定预定范围内的所述具有不同曝光量的众多图象信号的各图象信号的积分值；以及
曝光量比率运算装置，用于确定多个积分值的比率。
49.根据权利要求48的固态成象设备，其中按以下方式配置所述积分装置，以通过将屏幕划分为许多块获得的象素块为单位，确定所述具有不同曝光量的众多图象信号之各图象信号的所述积分值。
50.根据权利要求48的固态成象设备，其中通过使用具有不同光谱特征的分色滤光器和分色棱镜，所述成象装置具有彩色化装置，另外，按以下方式配置所述积分装置，确定具有不同曝光量的众多图象信号之各种颜色分量和各图象信号的积分值。
51.根据权利要求48的固态成象设备，其中通过使用具有不同光谱特征的分色滤光器和分色棱镜，所述成象装置具有彩色化装置，另外，按以下方式配置所述积分装置，以通过将屏幕划分为许多块获得的象素块为单位，确定具有不同曝光量的众多图象信号之各种颜色分量和各图象信号的积分值。
52.根据权利要求47到51之任一权利要求的固态成象设备，还包括图象信号切换装置，对于从所述成象装置输出到所述图象存储器的具有不同曝光量的众多图象信号的一个图象信号，该装置切换来自所述成象装置的所述图象信号，和来自所述图象存储器的所述图象信号。
53.根据权利要求47到51之任一权利要求的固态成象设备，其中按以下方式配置具有不同曝光量的众多图象信号的所述增益调整装置，向所述具有不同曝光量的众多图象信号的至少一个图象信号，提供基于所述曝光量比率检测装置检测的所述曝光量比率的增益。
CNB008177694A 1999-11-22 2000-11-20 固态成象设备 Expired - Fee Related CN1276646C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP331224/99 1999-11-22
JP33122499A JP3674420B2 (ja) 1999-11-22 1999-11-22 固体撮像装置
JP331224/1999 1999-11-22
JP159907/2000 2000-05-30
JP159907/00 2000-05-30
JP2000159907A JP3707725B2 (ja) 2000-05-30 2000-05-30 静止画固体撮像装置

Publications (2)

Publication Number Publication Date
CN1413411A true CN1413411A (zh) 2003-04-23
CN1276646C CN1276646C (zh) 2006-09-20

Family

ID=26573785

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB008177694A Expired - Fee Related CN1276646C (zh) 1999-11-22 2000-11-20 固态成象设备

Country Status (5)

Country Link
US (2) US7466358B1 (zh)
EP (1) EP1237363B1 (zh)
CN (1) CN1276646C (zh)
DE (1) DE60025647T2 (zh)
WO (1) WO2001039490A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100418360C (zh) * 2003-05-30 2008-09-10 索尼株式会社 图像拾取装置和图像拾取方法
CN1817027B (zh) * 2003-07-02 2010-05-12 真实仪器公司 用于提高基于电荷耦合器件的光谱仪的动态范围的装置和方法
CN101507262B (zh) * 2006-09-06 2011-05-11 松下电器产业株式会社 成像装置、成像方法
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8116588B2 (en) 2006-06-16 2012-02-14 Samsung Electronics Co., Ltd. Apparatus and method to synthesize or combine generated images
CN101331754B (zh) * 2005-10-14 2012-05-30 京瓷株式会社 成像设备和成像方法
CN101141571B (zh) * 2006-09-06 2013-10-16 三星电子株式会社 图像产生***和图像产生方法
CN104838644A (zh) * 2012-09-21 2015-08-12 罗伯特·博世有限公司 用于求取检测区域的图像信息的尤其用于车辆的摄像机***和方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
US8416468B2 (en) 1999-09-17 2013-04-09 Silverbrook Research Pty Ltd Sensing device for subsampling imaged coded data
AU2003900746A0 (en) 2003-02-17 2003-03-06 Silverbrook Research Pty Ltd Methods, systems and apparatus (NPS041)
JP4831892B2 (ja) * 2001-07-30 2011-12-07 株式会社半導体エネルギー研究所 半導体装置
FR2838016B1 (fr) * 2002-03-29 2004-09-17 Valeo Vision Procede de traitement en temps reel d'un signal representatif d'une image
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
US7612804B1 (en) * 2005-02-15 2009-11-03 Apple Inc. Methods and apparatuses for image processing
JP2007180765A (ja) * 2005-12-27 2007-07-12 Toshiba Corp 映像処理装置、映像表示装置及び映像処理方法
JP5019543B2 (ja) * 2006-05-09 2012-09-05 シャープ株式会社 撮像装置
US8149283B2 (en) * 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
JP2008301360A (ja) * 2007-06-01 2008-12-11 Panasonic Corp 撮像装置、撮像方法および集積回路
JP2009004845A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 撮像装置、撮像方法、プログラム、および集積回路
KR100925191B1 (ko) * 2008-02-25 2009-11-06 엘지전자 주식회사 카메라의 백라이트 보정 장치 및 방법
JP5286927B2 (ja) * 2008-05-19 2013-09-11 ソニー株式会社 画像合成装置、撮像装置、画像合成方法、およびプログラム
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
KR101460667B1 (ko) * 2008-12-24 2014-11-13 삼성전자주식회사 촬상 시스템에서의 절전 구현 방법 및 이를 이용한 디지털 카메라
JP5188453B2 (ja) * 2009-05-25 2013-04-24 パナソニック株式会社 カメラ装置および露光制御方法
US8279316B2 (en) 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194165B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194164B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194166B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074980A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8294803B2 (en) 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US9307207B2 (en) * 2013-01-07 2016-04-05 GM Global Technology Operations LLC Glaring reduction for dynamic rearview mirror
KR101871945B1 (ko) * 2013-01-17 2018-08-02 한화에어로스페이스 주식회사 영상 처리 장치 및 방법
US9659982B2 (en) * 2014-04-11 2017-05-23 Cista System Corp. Image sensor pixel structure with optimized uniformity
US10122936B2 (en) * 2015-09-02 2018-11-06 Mediatek Inc. Dynamic noise reduction for high dynamic range in digital imaging
JP2019110471A (ja) * 2017-12-19 2019-07-04 キヤノン株式会社 撮像装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6013549B2 (ja) * 1977-01-14 1985-04-08 ソニー株式会社 固体撮像装置の雑音除去回路
US4647975A (en) * 1985-10-30 1987-03-03 Polaroid Corporation Exposure control system for an electronic imaging camera having increased dynamic range
JPH0614342B2 (ja) * 1986-06-10 1994-02-23 日本電気株式会社 画像フアイリング装置
US5191409A (en) * 1988-03-29 1993-03-02 Mitsubishi Denki Kabushiki Kaisha Color scanning system
JPH04207581A (ja) 1990-11-30 1992-07-29 Canon Inc 撮像装置
CA2055867C (en) * 1990-11-22 1998-06-09 Canon Kabushiki Kaisha Image pick up device
JP2868915B2 (ja) * 1991-03-27 1999-03-10 株式会社東芝 固体撮像装置
JP3074967B2 (ja) * 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US5801773A (en) * 1993-10-29 1998-09-01 Canon Kabushiki Kaisha Image data processing apparatus for processing combined image signals in order to extend dynamic range
JPH07299029A (ja) * 1994-03-11 1995-11-14 Olympus Optical Co Ltd 内視鏡装置
JP3156503B2 (ja) * 1994-05-27 2001-04-16 松下電器産業株式会社 固体撮像装置の駆動方法及び固体撮像装置の信号処理回路
JPH08154202A (ja) 1994-11-29 1996-06-11 Canon Inc 固体撮像装置
JP2970440B2 (ja) 1994-11-29 1999-11-02 松下電器産業株式会社 画像合成方法と画像合成装置
JP3536502B2 (ja) 1996-02-01 2004-06-14 セイコーエプソン株式会社 デジタルスチルカメラ
JPH09275527A (ja) 1996-04-05 1997-10-21 Seiko Epson Corp デジタルスチルカメラ
JP3134784B2 (ja) * 1996-08-05 2001-02-13 松下電器産業株式会社 画像合成回路
JP3459738B2 (ja) * 1996-12-20 2003-10-27 キヤノン株式会社 撮像装置
JP3630905B2 (ja) * 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
JP3989615B2 (ja) 1997-06-27 2007-10-10 松下電器産業株式会社 固体撮像装置
NZ332626A (en) * 1997-11-21 2000-04-28 Matsushita Electric Ind Co Ltd Expansion of dynamic range for video camera
US6744471B1 (en) * 1997-12-05 2004-06-01 Olympus Optical Co., Ltd Electronic camera that synthesizes two images taken under different exposures
JP3609606B2 (ja) * 1998-03-10 2005-01-12 三洋電機株式会社 単板式カラーカメラ
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
JP4245699B2 (ja) * 1998-09-16 2009-03-25 オリンパス株式会社 撮像装置
JP3822393B2 (ja) 1999-08-10 2006-09-20 富士写真フイルム株式会社 撮像装置および撮像制御方法
JP2002149317A (ja) * 2000-11-14 2002-05-24 Nagano Fujitsu Component Kk 入力システム及び入力装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100418360C (zh) * 2003-05-30 2008-09-10 索尼株式会社 图像拾取装置和图像拾取方法
CN1817027B (zh) * 2003-07-02 2010-05-12 真实仪器公司 用于提高基于电荷耦合器件的光谱仪的动态范围的装置和方法
CN101331754B (zh) * 2005-10-14 2012-05-30 京瓷株式会社 成像设备和成像方法
CN101083724B (zh) * 2006-05-31 2014-04-30 因佩瑞恩Ip控股(开曼)有限公司 具有提供增强动态范围图像的交错读取的cmos图像***
US8059174B2 (en) 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US8515206B2 (en) 2006-06-16 2013-08-20 Samsung Electronics Co., Ltd. Apparatus and method to generate image
US8116588B2 (en) 2006-06-16 2012-02-14 Samsung Electronics Co., Ltd. Apparatus and method to synthesize or combine generated images
CN101141571B (zh) * 2006-09-06 2013-10-16 三星电子株式会社 图像产生***和图像产生方法
CN101507262B (zh) * 2006-09-06 2011-05-11 松下电器产业株式会社 成像装置、成像方法
US8773709B2 (en) 2006-09-06 2014-07-08 Samsung Electronics Co., Ltd. Image generation system, method, and medium, generating plurality of images with different resolution and brightness from single image
US9077908B2 (en) 2006-09-06 2015-07-07 Samsung Electronics Co., Ltd. Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image
US10187586B2 (en) 2006-09-06 2019-01-22 Samsung Electronics Co., Ltd. Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image
CN104838644A (zh) * 2012-09-21 2015-08-12 罗伯特·博世有限公司 用于求取检测区域的图像信息的尤其用于车辆的摄像机***和方法
CN104838644B (zh) * 2012-09-21 2018-10-26 罗伯特·博世有限公司 求取检测区域图像信息的摄像机***和方法

Also Published As

Publication number Publication date
DE60025647D1 (de) 2006-04-06
DE60025647T2 (de) 2007-01-11
US7466358B1 (en) 2008-12-16
CN1276646C (zh) 2006-09-20
EP1237363B1 (en) 2006-01-18
EP1237363A1 (en) 2002-09-04
US20090174792A1 (en) 2009-07-09
WO2001039490A1 (fr) 2001-05-31
EP1237363A4 (en) 2003-05-28

Similar Documents

Publication Publication Date Title
CN1276646C (zh) 固态成象设备
CN100344153C (zh) 确定照相环境的方法和成像装置
CN1156152C (zh) 照明闪烁检测、补偿装置和交流电源频率检测装置及其方法
CN1219395C (zh) 摄像装置和摄像方法
CN1134975C (zh) 图像处理装置
CN1115056C (zh) 数字电视***和产生高清晰度视频显示的方法
CN100346651C (zh) 图像显示***、投影机及图像处理方法
CN1039472C (zh) 检测字幕及无画面区等图像特征区域位置的装置
CN1968423A (zh) 固体摄像元件的信号处理装置和信号处理方法及摄像装置
CN1288619C (zh) 校正特性决定装置、校正特性决定方法及显示装置
CN1212023C (zh) 彩色特性测量装置和彩色特性测量方法
CN1675919A (zh) 摄像***及图像处理程序
CN1732682A (zh) 图像处理装置及图像处理程序
CN1134727C (zh) 打印机
CN101076126A (zh) 成像设备和方法、以及成像装置
CN1874410A (zh) 成像装置和成像装置中的成像结果处理方法
CN1732694A (zh) 图像拾取装置和方法
CN1764228A (zh) 图像处理装置、图像形成装置、图像处理方法
CN101079953A (zh) 信息处理***、信息处理设备、信息处理方法以及程序
CN101038719A (zh) 活动图像显示装置和活动图像显示方法
CN1233806A (zh) 图象检测设备
CN1774031A (zh) 图像处理装置及图像处理方法、以及计算机程序
CN1171462C (zh) 固体彩色摄像装置
CN1550866A (zh) 图像处理***、投影机和图像处理方法
CN1452410A (zh) 照相机及图象信号处理***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060920

Termination date: 20191120