CN1787609A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN1787609A
CN1787609A CNA2005101274743A CN200510127474A CN1787609A CN 1787609 A CN1787609 A CN 1787609A CN A2005101274743 A CNA2005101274743 A CN A2005101274743A CN 200510127474 A CN200510127474 A CN 200510127474A CN 1787609 A CN1787609 A CN 1787609A
Authority
CN
China
Prior art keywords
pixel
data
time
exposure
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101274743A
Other languages
English (en)
Other versions
CN1787609B (zh
Inventor
仓根治久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN1787609A publication Critical patent/CN1787609A/zh
Application granted granted Critical
Publication of CN1787609B publication Critical patent/CN1787609B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种可以获得动态范围大的图像的摄像装置。降低摄像装置的制造成本。当积蓄在BRAM数据积蓄部(19)中的HDR－RAW数据的饱和标志为“1”、积蓄在输入数据积蓄部(18)中的HDR－RAW数据的饱和标志为“0”时，即此前为饱和状态的像素不再是饱和状态时，把积蓄在输入数据积蓄部(18)中的HDR－RAW数据记录在BRAM(10)中，以取代此前的HDR－RAW数据。因此，与例如在摄像第1图像后，摄像第2图像，利用延迟元件对第1图像的图像数据进行延迟，取代在该进行了延迟的第1图像内亮度值成为动态范围的最大值的像素的图像数据，而记录第2图像内的像素的图像数据的方法不同，不需要设置延迟元件，结果，可以降低延迟元件部分的制造成本。

Description

摄像装置
技术领域
本发明涉及一种可以获得动态范围大的图像的摄像装置。
背景技术
以往，作为这种摄像装置，在利用标准曝光时间摄像了第1图像后，再利用比该标准曝光时间短的短曝光时间利用摄像单元摄像第2图像，利用合成单元将在所摄像的第1图像内亮度值达到动态范围的上限值的像素置换为所述第2图像内的像素，由此生成动态范围大的图像。
在这种摄像装置中，一般通过缓冲器对第1图像的图像数据进行延迟，使合成单元同时获取第1图像的各个像素的图像数据和成为置换候选的第2图像的图像数据(例如参照专利文献1)。
专利文献1日本专利特开2003-198948号公报
但是，在上述现有的摄像装置中，需要用于对利用标准曝光时间所摄像的第1图像进行延迟的大容量缓冲器。并且，缓冲器容量(延迟时间)依赖于摄像单元的结构，在延迟时间因摄像条件而变化时，需要用于进行改变延迟时间的控制的复杂电路，所以有可能导致制造成本提高。以往，曝光时间在1帧期间内是固定的，合成单元是假设为这种情况而构成的，但在曝光时间动态变化的情况下，合成单元需要能够灵活对应。另外，在多通道(channel)输出的摄像元件中，各个通道输出不同的像素列，而且在曝光时间变化的情况下，其结构更加复杂。
发明内容
本发明的目的在于解决上述现有的摄像装置未解决的问题，其课题是提供一种能够降低制造成本的摄像装置。
为了解决上述课题，本发明的摄像装置的特征在于，包括：具有可以变更曝光时间的电子快门功能的摄像单元；属性信息附加单元，其对由该摄像单元摄像的图像的各个像素附加包含该像素的摄像条件的属性信息；摄像图像生成单元，其根据所附加的属性信息，按照每个像素选择所述图像从而生成摄像图像。
并且，所述摄像图像生成单元也可以包括：选择条件判定单元，其判定通过所述属性信息附加单元附加给各个像素的属性信息是否满足选择与该属性信息对应的像素的选择条件；选择像素合成单元，其选择与被判定为满足该选择条件的属性信息对应的像素，并生成摄像图像。
另外，还可以包括记录单元，其记录由所述摄像单元摄像的图像中先摄像的图像，所述选择像素合成单元在判定为由所述摄像单元后摄像的图像中包含的像素的属性信息满足所述选择条件的情况下，将该像素与记录在所述记录单元中的摄像图像的对应像素置换。
并且，所述像素的属性信息也可以包括表示所述像素的曝光时间的信息、表示所述像素的亮度值为动态范围的上限值的信息、以及表示所述像素的摄像时间的信息中的至少任意一种。
另外，所述选择条件判定单元也可以进行以下判定中的至少任意一种判定：新摄像的图像的对象像素的曝光时间是否比记录在所述记录单元中的摄像图像的对应像素的曝光时间长；新摄像的图像的对象像素的亮度值是否比动态范围的上限值大、而且记录在所述记录单元中的摄像图像的对应像素的亮度值是否比动态范围的上限值小；以及新摄像的图像的对象像素的摄像时间是否偏离了记录在所述记录单元中的摄像图像的对应像素的摄像时间规定时间以上。
并且，作为判定是否满足所述像素的选择条件的处理，所述选择条件判定单元也可以根据附加给各个像素的所述属性信息，对优先顺序为第1的第1判定处理、优先顺序为第2的第2判定处理以及优先顺序为第3的第3判定处理，从所述优先顺序高的一方开始依次执行，其中，第1判定处理判定新摄像的图像的对象像素的摄像时间是否偏离了记录在所述记录单元中的摄像图像的对应像素的摄像时间规定时间以上，第2判定处理判定新摄像的图像的对象像素的亮度值是否比动态范围的上限值小、而且记录在所述记录单元中的摄像图像的对应像素的亮度值是否比动态范围的上限值大，第3判定处理判定在新摄像的图像的对象像素的亮度值比动态范围的上限值小、而且记录在所述记录单元中的摄像图像的对应像素的亮度值比动态范围的上限值小的情况下，新摄像的图像的对象像素的曝光时间是否比记录在所述记录单元中的摄像图像的对应像素的曝光时间长，在所述第1～第3判定处理的任一处理中，在满足所述选择条件的时间点结束所述判定处理。
根据这种结构，例如，作为所摄像的图像的像素的属性信息而附加表示该像素的亮度值是否是动态范围的最大值的信息，在新摄像的图像的对象像素的亮度值比动态范围的上限值小、先摄像的图像的对象像素的亮度值是动态范围的上限值的情况下，即在至此为止处于饱和状态的像素不再是饱和状态的情况下，取代该像素而把所述对象像素记录在所述记录单元中，由此可以生成不饱和图像、即动态范围大的图像。并且，作为所摄像的图像的像素的属性信息而附加表示该像素的曝光时间的信息，并总是记录不饱和、且曝光时间长的图像，由此可以生成S/N(信噪比)高的图像。并且，作为所摄像的图像的各个像素的属性信息而附加表示所述像素的曝光时间的信息、表示所述像素的亮度值是动态范围的上限值的信息以及表示所述像素的摄像时间的信息，最优先把记录在记录单元中的对应像素中的摄像时间经过了规定时间以上的像素更新为新摄像的对象像素，当记录在记录单元中的对应像素的摄像时间尚未经过规定时间时，在新摄像的对象像素的亮度值比动态范围的上限值小、且记录在所述记录单元中的对应像素的亮度值比动态范围的上限值大的情况下，把所述对应像素更新为所述对象像素，在新摄像的对象像素的亮度值比动态范围的上限值小、而且记录在所述记录单元中的对应像素的亮度值比动态范围的上限值小的情况下，而且所述新摄像的对象像素的曝光时间比记录在所述记录单元中的对应像素的曝光时间长的情况下，把所述对应像素更新为所述对象像素，由此可以最优先地抑制对摄像图像的画质的不良影响，并且生成动态范围大且S/N高的图像。因此，例如，在利用标准曝光时间摄像了第1图像后，利用比该标准曝光时间短的短曝光时间摄像第2图像，利用延迟元件对第1图像的图像数据进行延迟，并与第2图像的图像数据同时输出，取代在该同时被输出的第1图像内亮度值成为动态范围的上限值的像素的图像数据而选择第2图像内的像素的图像数据，从而与生成动态范围大的图像的方法不同，可以把图像处理装置所必须的帧存储器用作延迟元件，结果，可以降低制造成本。另外，可以实现不依赖于摄像单元的结构、用于扩大动态范围的合成处理装置。
另一方面，为了解决上述课题，本发明的摄像装置包括：光电转换部，其把多个光电转换元件配置成矩阵状，该光电转换元件把已曝光的光转换为电荷并积蓄；摄像单元，其具有按照由所述光电转换部的所述光电转换元件构成的每一行来变更曝光时间的电子快门功能，按照所述曝光时间不同的每一行，依次进行所述各个光电转换元件的重新设定和曝光以及来自所述各个光电转换元件的电荷读出；N个输出通道，其分别对应N种(N为2以上的自然数)曝光时间，记录并输出与按照每一种所读出的所述每一行的电荷对应的图像数据，其特征在于，具有：属性信息附加单元，其向构成由所述摄像单元摄像的摄像图像的图像数据的各像素数据附加包括该像素的摄像条件的属性信息；记录单元，其记录附加了所述属性信息的摄像图像的图像数据；选择条件判定单元，其根据从所述N个输出通道按照所述曝光时间的每种类型并以规定顺序依次输出的各行的图像数据中所附加的属性信息、和与记录在所述记录单元中的所述各行的图像数据对应的行的图像数据中所附加的属性信息，针对每个像素来判定该各个像素的数据中所附加的属性信息是否满足预先设定的像素的选择条件；以及摄像图像生成单元，其选择与被判定为满足所述选择条件的属性信息对应的像素的数据，把该选择的像素的数据记录在所述记录单元中，从而按照每个像素来更新或维持被记录在该记录单元中的所述摄像图像的图像数据。
另外，在所述各个像素的数据中所附加的属性信息也可以包括表示所述像素的曝光时间的信息、表示所述像素的亮度值是动态范围的上限值的信息、以及表示所述像素的摄像时间的信息中的至少任意一种。
并且，所述选择条件判定单元也可以根据在所述各个像素的数据中所附加的属性信息来进行以下判定中的至少任意一种判定：判定从所述输出通道输出的图像数据中的对象像素的数据的曝光时间是否比记录在所述记录单元中的图像数据的对应像素的数据的曝光时间长；判定从所述输出通道输出的图像数据中的对象像素的数据的亮度值是否比动态范围的上限值大、而且记录在所述记录单元中的图像数据的对应像素的数据的亮度值是否比动态范围的上限值小；以及判定从所述输出通道输出的图像数据中的对象像素的数据的摄像时间是否偏离了记录在所述记录单元中的图像数据中的对应像素的数据的摄像时间规定时间以上。
另外，所述选择条件判定单元作为判定是否满足所述像素的选择条件的处理，也可以根据在各个像素的数据中所附加的属性信息，对优先顺序为第1的第1判定处理、优先顺序为第2的第2判定处理以及优先顺序为第3的第3判定处理，从所述优先顺序高的一方开始依次执行，其中，第1判定处理判定从所述输出通道输出的图像数据中的对象像素的数据的摄像时间是否偏离了记录在所述记录单元中的图像数据的对应像素的数据的摄像时间规定时间以上，第2判定处理判定从所述输出通道输出的图像数据中的对象像素的数据的亮度值是否比动态范围的上限值小、而且记录在所述记录单元中的图像数据中的对应像素的数据的亮度值是否比动态范围的上限值大，第3判定处理判定在从所述输出通道输出的图像数据中的对象像素的数据的亮度值比动态范围的上限值小、而且记录在所述记录单元中的图像数据的对应像素的数据的亮度值比动态范围的上限值小的情况下，从所述输出通道输出的图像数据中的对象像素的数据的曝光时间是否比记录在所述记录单元中的图像数据中的对应像素的数据的曝光时间长，在所述第1～第3判定处理的任一处理中，在满足所述选择条件的时间点结束所述判定处理。
并且，所述摄像图像生成单元在从所述N个输出通道按照所述每一种曝光时间以规定顺序依次输出的所述每行的图像数据中，在最先输出图像数据的输出通道中，与从该输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，在所述摄像图像生成单元不对记录进行更新，而且在以后输出图像数据的剩余N-1个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元中未更新记录的像素数据所附加的表示所述摄像时间的信息，变更为已经过该摄像时间规定时间的信息，在所述N个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元已更新记录的像素数据所附加的表示所述摄像时间的信息重新设定为规定值。
根据这种结构，例如，在作为所摄像的图像的各个像素的属性信息而附加表示该各个像素的亮度值是否是动态范围的最大值的信息的情况下，例如在一帧期间内，以两种曝光时间摄像的图像中从一方输出通道先输出的图像的对象像素的数据的亮度值比动态范围的上限值小、两种曝光时间中的在一方输出通道之后从另一方输出通道输出的图像的对象像素的数据的亮度值是动态范围的上限值的情况下，即当在一方曝光时间下为饱和状态的像素在另一方曝光时间下不是饱和状态时，如果设已经记录的对应像素的数据的亮度值是饱和状态，则把与所述另一方曝光时间对应的对象像素的数据记录在所述记录单元中来取代该已经记录的像素，由此可以生成不饱和图像、即动态范围大的图像。
并且，作为所摄像的图像的各个像素的数据的属性信息而附加表示该像素的曝光时间的信息，并总是优先记录不饱和、且曝光时间长的图像数据，由此可以生成S/N高的图像。
并且，作为所摄像的图像的各个像素的数据的属性信息而附加表示所述像素的曝光时间的信息、表示所述像素的亮度值是动态范围的上限值的信息、以及表示所述像素的摄像时间的信息，最优先把记录在记录单元中的对应像素的数据中摄像时间经过了规定时间以上的像素的数据更新为从输出通道输出的对象像素的数据，当记录在记录单元中的对应像素的摄像时间尚未经过规定时间时，在从输出通道输出的对象像素的数据的亮度值比动态范围的上限值小、而且记录在所述记录单元中的对应像素的数据的亮度值比动态范围的上限值大的情况下，把所述对应像素的数据更新为所述对象像素的数据，在从输出通道输出的对象像素的数据的亮度值比动态范围的上限值小、而且记录在所述记录单元中的对应像素的数据的亮度值比动态范围的上限值小的情况下，而且从所述输出通道输出的对象像素的数据的曝光时间比记录在所述记录单元中的对应像素的数据的曝光时间长的情况下，把所述对应像素的数据更新为所述对象像素的数据，由此可以最优先地抑制对摄像图像的画质的不良影响，生成动态范围大而且S/N高的图像。
并且，作为所摄像的图像的各个像素的数据的属性信息而附加表示所述像素的摄像时间的信息，在所述N个输出通道中最先输出图像数据的输出通道中，与从该输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，在所述摄像图像生成单元不对记录进行更新，而且在以后输出图像数据的剩余N-1个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元未更新记录的像素数据所附加的表示所述摄像时间的信息，变更为该摄像时间经过规定时间的信息，在所述N个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元已更新了记录的像素数据所附加的表示所述摄像时间的信息重新设定为规定值(例如“0”)，由此例如在对与N种曝光时间对应的图像进行摄像、并按照每个像素将这些图像合成并生成一个摄像图像的情况下，可以以合适的定时更新摄像时间。
如上所述，例如利用标准曝光时间摄像了第1图像后，利用比该标准曝光时间短的短曝光时间摄像第2图像，利用延迟元件对第1图像的图像数据进行延迟，并与第2图像的图像数据同时输出，通过取代在该同时输出的第1图像内亮度值成为动态范围的上限值的像素的图像数据而选择第2图像内的像素的图像数据，从而与生成动态范围大的图像的现有方法不同，可以把图像处理装置所必须的帧存储器用作延迟元件，结果，可以降低制造成本。另外，可以实现不依赖于摄像单元的结构、用于扩大动态范围的合成处理装置。
附图说明
图1是说明HDR-RAW数据的说明图。
图2是表示本发明涉及的摄像装置的概略结构的方框图。
图3是表示图2的图像合成部的内部结构的方框图。
图4是表示图3的HDR-RAW生成器的内部结构的方框图。
图5是说明图3的数据判定部的动作的说明图。
图6是表示摄像元件5中的各个像素的重新设定和曝光以及像素信号的读出及向AFE输出的动作的图。
图7是说明图像合成部的变形例的说明图。
图8是表示作成时间码的更新处理的流程图。
符号说明
1 摄像装置；2 摄像处理部；3 信号处理部；4 显示装置；5 摄像元件；6 AFE或第1AFE；6’第2AFE；7 面传感器；8 水平传送部；9 图像合成部；10 BRAM；11 定时控制部；12 ALC；13 预处理器或第1预处理器；13’第2预处理器；14 HDR-RAW生成器或第1HDR-RAW生成器；14’第2HDR-RAW生成器；15 存储器仲裁器；16 输出读出器；17 HDR-RAW输入数据生成部或第1HDR-RAW输入数据生成部；17’第2HDR-RAW输入数据生成部；18 输入数据积蓄部或第1输入数据积蓄部；18’第2输入数据积蓄部；19 BRAM数据积蓄部或第1BRAM数据积蓄部；19’第2BRAM数据积蓄部；20 数据判定部或第1数据判定部；20’第2数据判定部；21 数据更新部或第1数据更新部；21’第2数据更新部。
具体实施方式
(第1实施方式)
以下，参照附图说明本发明涉及的摄像装置的第1实施方式。
该摄像装置1具备的摄像元件具有能够在1帧期间利用4种曝光时间(长曝光时间＞标准曝光时间＞短曝光时间＞超短曝光时间)来对图像进行摄像的电子快门功能。普通的摄像元件按照每个像素列依次输出光电转换后的像素信号。本实施例假定了可以按照每个像素列(单位)改变曝光时间的摄像元件。另外，一般的按帧单位来改变曝光时间的摄像元件也可以适用于本发明。并且，摄像装置1如图1所示，向根据所读出的像素信号而形成的图像的各个像素的图像数据(表示像素的亮度值的数据)，附加该图像数据的属性数据，以生成1组数据(以下也称为“HDR-RAW数据”)。另外，作为属性数据，可以列举表示生成图像数据时的曝光时间的曝光码、表示所述图像数据的亮度值为动态范围的最大值的饱和标志、表示生成所述图像数据的时间的作成时间码等。
此处，曝光码指“0”、“1”、“2”、“3”这四种(两位)码。曝光码“0”表示生成图像数据时的曝光时间是最长的特定曝光时间(长曝光时间)，曝光码“1”表示比曝光码“0”所表示的曝光时间短的中间的特定曝光时间(标准曝光时间)，曝光码“2”表示比曝光码“1”所表示的曝光时间短的中间的特定曝光时间(短曝光时间)，曝光码“3”表示最短的特定曝光时间(超短曝光时间)。
并且，饱和标志是指“0”、“1”这两种(一位)数据。饱和标志“0”表示图像数据的亮度值为动态范围的最大值，饱和标志“1”表示所述亮度值小于动态范围的最大值。
另外，作成时间码是指“0”、“1”、“2”、“3”这四种(两位)码。作成时间码“0”表示图像数据是在最新的帧生成的，作成时间码“1”表示图像数据是在前一个帧生成的，作成时间码“2”表示图像数据是在两个之前的帧生成的，作成时间码“3”表示图像数据是在三个之前的帧生成的。
并且，摄像装置1具有同时记录HDR-RAW数据、即图像数据和属性数据的BRAM(Brain Random Access Memory)。该BRAM实现模仿人脑的动作的结构，每当经过1帧期间，就记录(更新)不饱和的且S/N高的图像的各个像素的图像数据。即，摄像装置1从记录在BRAM中的HDR-RAW数据组中读出包括表示所述像素列的图像数据组的HDR-RAW数据。另外，摄像装置1针对每个像素比较所述生成的HDR-RAW数据和所述读出的HDR-RAW数据，根据该比较结果，把所述生成的HDR-RAW数据记录在BRAM中，以取代所述读出的HDR-RAW数据。并且，摄像装置1向显示装置/图像处理装置输出记录在该BRAM中的图像数据。
(摄像装置的结构)
图2是表示本发明的第1实施方式的内部结构的方框图。如图2所示，摄像装置1构成为包括摄像处理部2、信号处理部3和显示装置/图像处理装置4。
并且，摄像处理部2构成为包括摄像元件5和AFE(Analog Front End，模拟前端)6。
摄像元件5利用摄像透镜(未图示)把来自被摄体的光聚集于面传感器(area sensor)7，把对应于该聚光量的电荷积蓄在面传感器7的各个像素中。摄像元件5根据从信号处理部3的定时控制部11(后述)输出的驱动信号(水平同步信号和垂直同步信号)，把积蓄在面传感器7的各个像素列中的电荷组依次转换为电压组，利用水平传送部8将该转换后的电压组依次输出给AFE 6。
并且，AFE 6把从水平传送部8输出的电压转换为被数字化的图像数据(以下称为“数字图像数据”)。然后，AFE 6把所生成的数字图像数据输出给信号处理部3的图像合成部9。
信号处理部3构成为包括图像合成部9、BRAM 10、定时控制部11和ALC 12。
定时控制部11生成驱动信号(水平同步信号和垂直同步信号)，并将其输出给摄像元件5。定时控制部11根据水平同步信号和垂直同步信号，判明从摄像元件5输出的像素信号在摄像元件中的像素位置(像素列(行)序号、像素序号)，所以生成该像素列(行)序号(以下称为“地址信息”)，向ALC 12和图像合成部9(HDR-RAW生成器14(后述)(BRAM数据积蓄部19(后述)))输出该地址信息。另外，定时控制部11根据从ALC 12输出的曝光时间驱动摄像元件，以获得规定的曝光时间的像素信号。这可以是行单位的曝光控制，也可以是帧单位的控制。
ALC 12进行摄像元件5的曝光控制。即，按行单位或帧单位来评价从后述的图像合成部9(预处理器13(后述))输出的数字图像数据，根据该评价结果，按行单位或帧单位算出曝光时间，把该曝光时间存储在ALC内部的存储单元(未图示)中。并且，ALC 12根据从定时控制部11输出的地址信息，从存储单元中读出对应的地址(像素列)的曝光时间，把该曝光时间输出给定时控制部11和图像合成部9(HDR-RAW生成器14(HDR-RAW输入数据生成部17(后述))(在本实施方式中假定了以行为单位的曝光控制)。
图像合成部9如图3所示，构成为包括预处理器13、HDR-RAW生成器14、存储器仲裁器15和输出读出器16。
预处理器13对从AFE 6输出的数字图像数据进行黑色电平校正。并且，把所校正的数字图像数据输出给ALC 12和HDR-RAW生成器14(HDR-RAW输入数据生成部17(后述))。预处理器13判定数字图像数据的亮度值是否是动态范围的最大值(饱和/不饱和)，把该结果(饱和标志)输出给HDR-RAW生成器14(HDR-RAW输入数据生成部17)。另外，在数字图像数据饱和的情况下，输出“1”作为饱和标志，在不饱和的情况输出“0”作为饱和标志。
HDR-RAW生成器14如图4所示，构成为包括HDR-RAW输入数据生成部17、输入数据积蓄部18、BRAM数据积蓄部19、数据判定部20和数据更新部21。
HDR-RAW输入数据生成部17向从预处理器13输出的数字图像数据附加该数字图像数据的属性数据(曝光码、饱和标志、作成时间码)，生成HDR-RAW数据。具体地，首先说明曝光码(两位码)的附加。HDR-RAW输入数据生成部17从ALC 12接收表示来自预处理器13的数字图像数据的曝光时间的信息。然后当该曝光时间是长曝光时间时，向该图像数据附加“0”作为曝光码，当所述曝光时间是标准曝光时间时，附加“1”作为曝光码，当所述曝光时间是短曝光时间时，附加“2”作为曝光码，当所述曝光时间是超短曝光时间时，附加“3”作为曝光码。
并且，HDR-RAW输入数据生成部17向该图像数据附加来自预处理1器13的饱和标志。
另外，HDR-RAW输入数据生成部17向图像数据附加“0”(表示图像数据是在最新的帧生成的码)作为作成时间码。
并且，HDR-RAW输入数据生成部17向输入数据积蓄部18输出被附加了这些属性数据的数字图像数据、即HDR-RAW数据。
另外，输入数据积蓄部18对从HDR-RAW输入数据生成部17输出的HDR-RAW数据仅积蓄面传感器7的一个像素列部分。
并且，BRAM数据积蓄部19向存储器仲裁器15输出指令(以下也称为“读出指令”。)，让从BRAM 10读出从定时控制部11输出的表示地址信息的像素列(与从预处理器13输出的数字图像数据对应的像素列)的HDR-RAW数据。BRAM数据积蓄部19将根据该读出指令而读出的HDR-RAW数据积蓄一个像素列部分。积蓄在BRAM数据积蓄部19中的HDR-RAW数据成为与积蓄在输入数据积蓄部18中的数据相同的像素列序号的数据。
数据判定部20对积蓄在输入数据积蓄部18中的HDR-RAW输入数据和积蓄在BRAM数据积蓄部19中的HDR-RAW输入数据，分别比较相同像素位置的HDR-RAW数据，根据该比较结果，更新记录在BRAM 10中的HDR-RAW数据。具体讲，数据判定部20通过以下所示的“优先顺序1、2、3”的处理，分别比较所述相同像素位置的HDR-RAW数据的属性数据，根据该比较结果，判定是否需要使用输入数据积蓄部18的HDR-RAW数据来更新HDR-RAW数据。并且，数据判定部20对被判定为不需要更新的HDR-RAW数据选择BRAM数据积蓄部19的数据，并对被判定为需要更新的HDR-RAW数据选择输入数据积蓄部18的数据来进行合成，由此新生成(更新)一个像素列部分的HDR-RAW数据。另外，在更新HDR-RAW数据时，也更新属性数据。具体讲，在使用积蓄在输入数据积蓄部18中的HDR-RAW数据的情况下，把作成时间码设为“0”，在使用积蓄在BRAM数据积蓄部19中的HDR-RAW数据的情况下，把作成时间码的数值增加1。并且，关于曝光码、饱和标志，选择(更新)所选择的HDR-RAW数据的曝光码、饱和标志。
·优先顺序1
判定积蓄在BRAM数据积蓄部19中的HDR-RAW数据的作成更新时间码是否是“2”或“3”(表示大于等于两帧期间之前的码)。并且，在是“2”或“3”的情况下，判定为需要更新HDR-RAW数据，不进行“优先顺序2、3”的处理。
·优先顺序2
判定积蓄在BRAM数据积蓄部19中的HDR-RAW数据的饱和标志是否是“1”(表示亮度值是动态范围的最大值的标志)，以及积蓄在输入数据积蓄部18中的HDR-RAW数据的饱和标志是否是“0”(表示亮度值小于动态范围的最大值的标志)。并且，在前者是“1”、后者是“0”的情况下，判定为需要更新HDR-RAW数据。反之，在前者是“0”、后者是“1”的情况下，判定为不更新HDR-RAW数据。并且，不进行“优先顺序3”的处理。
·优先顺序3
在BRAM数据积蓄部19的HDR-RAW数据的饱和标志是“0”、输入数据积蓄部18的饱和标志是“0”的情况下，比较BRAM数据积蓄部19的HDR-RAW数据的曝光码和输入数据积蓄部18的HDR-RAW数据的曝光码，如果输入数据积蓄部18的曝光时间较长，则判定为需要更新HDR-RAW数据。通过该处理，可以更新为利用更长的曝光时间生成的图像数据，所以能够生成S/N高的图像。在BRAM数据积蓄部19的HDR-RAW数据的饱和标志是“1”、输入数据积蓄部18的饱和标志是“1”的情况下，比较BRAM数据积蓄部19的HDR-RAW数据的曝光码和输入数据积蓄部18的HDR-RAW数据的曝光码，如果输入数据积蓄部18的曝光时间较短，则判定为需要更新HDR-RAW数据(虽然像素数据因为最大值的原因而成为相同值，但曝光码被更新)。
并且，数据更新部21积蓄由数据判定部20生成(更新)的一个像素列部分的HDR-RAW数据，向存储器仲裁器15输出将该积蓄的HDR-RAW数据写入到BRAM 10中的指令(以下也称为“写入指令”。)。
另外，当从HDR-RAW生成器14(BRAM数据积蓄部19、数据更新部21)和输出读出器16中任一方输出有读出指令时，存储器仲裁器15从BRAM 10读出该输出的读出指令所指示的HDR-RAW，把该HDR-RAW数据输出给读出指令的输出源。并且，当从HDR-RAW生成器14(数据更新部21)输出有写入指令时，存储器仲裁器15把该输出的写入指令所指示的HDR-RAW数据写入到BRAM 10。
并且，输出读出器16向存储器仲裁器15输出与传输给显示装置/图像处理装置4的图像信号的同步信号相同步的读出指令(与摄像元件5的驱动信号不同步)。根据所述读出指令通过存储器仲裁器15读出的HDR-RAW数据被积蓄在输出读出器16中(未图示)。将所述积蓄的HDR-RAW数据转换为显示装置/图像处理装置4可以识别的形式，而且获取同步向外部输出。当所述形式的图像数据被输入时，显示装置/图像处理装置4在实施与装置对应的处理(例如，显示处理、图像识别处理等)。
另外，BRAM 10在有来自存储器仲裁器15的读出请求时，读出该请求所指示的HDR-RAW数据。并且，BRAM 10在有来自存储器仲裁器15的写入请求时，写入该写入请求所指示的HDR-RAW数据。
(摄像装置的动作)
下面，根据具体情况详细说明本实施方式的摄像装置的动作。
此处，假定了按像素列(行)单位来改变曝光时间的摄像装置。另外，以下的说明也可以适用于按帧单位来改变曝光时间的摄像装置。
现在，假设对某帧实施摄像动作，结果，ALC动作收敛(收束)，按照每个像素列算出曝光时间。并且，假设在第N行中，利用标准曝光时间所摄像的图像的电荷组在摄像元件5的面传感器7中被转换为电压组。这样，如图2所示，通过水平传送部8读出以从信号处理部3的定时控制部11输出的驱动信号所表示的像素列而转换的电压组，所读出的电压组通过水平传送部8被输出给AFE 6。通过AFE 6，根据所输出的电压组生成数字图像数据，所生成的数字图像数据被输出给信号处理部3的图像合成部9(预处理器13)。另外，如图3所示，通过预处理器13，对所输出的数字图像数据进行黑色电平校正，该进行了黑色电平校正的数字图像数据被输出给ALC 12和HDR-RAW生成器14(HDR-RAW输入数据生成部17)。并且，预处理器13判定数字图像数据的不饱和/饱和，把其结果(饱和标志)输出给HDR-RAW生成器14(HDR-RAW输入数据生成部17)(对亮度值是动态范围的最大值的像素的数字图像数据输出饱和标志“1”)。ALC 12根据从定时控制部11输出的地址信息，输出当前输入的数字图像数据的曝光时间，把该曝光时间输出给图像合成部9的HDR-RAW生成器14(HDR-RAW输入数据生成部17)和定时控制部11。这样，通过HDR-RAW输入数据生成部17，向该数字图像数据附加了该数字图像数据的属性数据，生成HDR-RAW数据。此时，附加饱和标志、作成时间数据、曝光码作为属性数据。另外，曝光码是根据曝光时间算出的。并且，通过HDR-RAW输入数据生成部17，将所生成的HDR-RAW数据输出给输入数据积蓄部18。通过输入数据积蓄部18，将所生成的HDR-RAW数据积蓄一个像素列部分。与该输入数据积蓄动作并行，通过BRAM数据积蓄部19，向存储器仲裁器15输出读出指令。此时，从定时控制部11向BRAM数据积蓄部19输入与当前输入的数字图像数据对应的像素列的地址信息、以及与水平同步信号相同步的控制信号。基于该地址信息和控制信号的读出指令被输出给存储器仲裁器。存储器仲裁器根据所述读出指令，从BRAM 10读出HDR-RAW数据。并且，通过BRAM数据积蓄部19，将所读出的HDR-RAW数据积蓄一个像素列部分。
此处，为了简化说明，假设各个像素列由10个像素构成，积蓄在输入数据积蓄部18中的HDR-RAW数据，在像素列的俯视时的左端侧起的第1个和第5～7个像素上其属性数据的饱和标志为“1”，而积蓄在BRAM数据积蓄部19中的HDR-RAW数据，在像素列的俯视时的左端侧起的第2～4个和第8～10个像素上其饱和标志为“1”。另外，假设积蓄在BRAM数据积蓄部19中的HDR-RAW数据的作成时间数据全部为“1”。并且，假设积蓄在输入数据积蓄部18中的所有HDR-RAW数据的曝光码为“1”，积蓄在BRAM数据积蓄部19中的所有HDR-RAW数据的曝光码为“1”，两者的值相等。根据该属性数据，数据判定部20对积蓄在输入数据积蓄部18中的HDR-RAW输入数据和积蓄在BRAM数据积蓄部19中的HDR-RAW输入数据进行比较/判定。此时，比较相同像素位置的HDR-RAW数据，根据该比较结果，判定为俯视时的左端侧起第2～4个和第8～10个像素的HDR-RAW数据需要更新。并且，数据判定部20根据判定结果，对于俯视时的左端侧起第1个和第4～7个像素的HDR-RAW数据选择BRAM数据积蓄部19的HDR-RAW数据，对于俯视时的左端侧起第2～4个和第8～10个像素的HDR-RAW数据，选择输入数据积蓄部18的HDR-RAW数据，将它们合成，从而更新一个像素列部分的HDR-RAW数据。并且，通过数据更新部21，向存储器仲裁器15输出写入指令，通过存储器仲裁器15，向BRAM 10写入该已更新的HDR-RAW数据。另外，此时在BRAM 10的对应的像素列(地址信息)的区域执行写入动作。
并且，对其它行的像素列也重复进行上述流程。
下面，说明存储在BRAM中的HDR-RAW数据向外部装置(显示装置/图像处理装置4)的输出方法。输出读出器16向存储器仲裁器15输出与所述合成动作不同步的、即与显示装置/图像处理装置4的同步信号同步的读出指令。存储器仲裁器15根据外部输出用的读出指令，从BRAM 10读出HDR-RAW数据，向输出读出器16输出该读出的HDR-RAW数据。并且，输出读出器16把HDR-RAW数据转换为显示装置/图像处理装置4可以识别的形式，并输出到外部。在本实施方式中，作为图像数据形式假定为特殊形式。即，由数字图像数据和曝光码构成的图像数据形式(像素单位)。当输入了所述形式的图像数据时，显示装置/图像处理装置4根据数字图像数据和曝光码重新构成图像信号，并进行显示和图像处理。
这样，在本实施方式的摄像装置中，当积蓄在BRAM数据积蓄部19中的HDR-RAW数据的饱和标志为“1”、积蓄在输入数据积蓄部18中的HDR-RAW数据的饱和标志为“0”时，即此前是饱和状态的像素不再是饱和状态时，把积蓄在输入数据积蓄部18中的HDR-RAW数据记录在BRAM 10中，以取代此前的HDR-RAW数据，从而可以生成动态范围大的图像的图像数据。
并且，根据本实施方式，可以把为了获取与显示装置/图像处理装置的同步所需要的帧存储器兼用作延迟用缓冲器。因此，例如，在摄像了第1图像后，摄像第2图像，利用延迟元件对第1图像的图像数据进行延迟，使第1图像的图像数据与第2图像的图像数据同时输出，取代在该进行了延迟的第1图像内亮度值成为动态范围的最大值的像素的图像数据，而记录第2图像内的像素的图像数据，从而与生成动态范围大的图像的像素数据的方法不同，不需要设置延迟元件，结果，可以降低延迟元件部分的制造成本。
并且，根据本发明的图像数据形式及其结构，可以简单地实现以像素为单位的合成。即，对构成像素的各个像素数据附加属性数据(曝光码、饱和标志、作成时间码)，使用所附加的属性数据进行合成。因此，根据属性数据可以得知饱和状态、曝光时间、作成时间，并能够利用它们容易地进行合成。根据本合成方法，可以生成不饱和、且S/N高的图像。另外，能够低成本获得合成所需要的大容量帧存储器(BRAM 10)，所以追加属性数据不会成为较大的缺点。
以上，在上述第1实施方式中，图4的HDR-RAW输入数据生成部17构成权利要求书中记载的属性信息附加单元，以下相同，图4的输入数据积蓄部18、BRAM数据积蓄部19、数据判定部20和数据更新部21构成摄像图像生成单元，图4的数据判定部20构成选择条件判定单元，图4的数据判定部20和数据更新部21构成选择像素合成单元，图2和图3的BRAM 10构成记录单元。
(第2实施方式)
以下，根据附图说明本发明涉及的摄像装置的第2实施方式。
在上述第1实施方式中，示出使用只具有一个用于向AFE 6输出模拟图像数据的输出通道的摄像处理部2(传感器)的示例，但本实施方式的摄像装置使用的传感器，具有两个以上的输出通道，在多个通道同时不同步地(从各个像素列)输出与多种曝光时间对应的模拟图像数据(像素信号数据)，通过AFE把从该传感器输出的与多种曝光时间对应的模拟图像数据转换为被数字化的图像数据，在图像合成部按照每个像素将该数字化图像数据和与该图像数据对应的记录在BRAM中的图像数据合成，生成摄像图像。并且，与上述第1实施方式相同，对根据从摄像处理部的面传感器读出的像素信号而形成的图像的各个像素的数字图像数据(表示像素的亮度值的数据)，附加该图像数据的属性数据，生成1组数据(以下也称为“HDR-RAW数据”)。另外，关于属性数据，与上述第1实施方式相同，包括表示生成图像数据时的曝光时间的曝光码、表示所述图像数据的亮度值为动态范围的最大值的饱和标志、表示生成所述图像数据的时间的作成时间码等，这些属性数据使用与上述第1实施方式相同的结构。并且，BRAM的结构也与上述第1实施方式相同。
以下，把上述结构的摄像装置1作为摄像装置1’来进行说明。
(摄像装置的结构)
本实施方式的摄像装置1’的基本结构与上述第1实施方式的图2所示的摄像装置1相同，在摄像处理部2的摄像元件5的水平传送部8中追加了第1输出通道和第2输出通道，用于分别读出并输出利用不同的两种曝光时间所摄像的图像的像素信号，并且分别与这两个输出通道对应，把摄像处理部2的AFE 6作为第1AFE 6，在该摄像处理部2中还追加了与第1AFE 6相同结构的第2AFE 6’，对水平传送部8追加了分别从所述两个输出通道向第1和第2AFE 6和6’输出所述读出的以像素列为单位的图像数据的功能。并且，摄像装置1’为了分别处理从第1和第2AFE 6和6’输出的曝光时间不同的两种数字图像数据，把图像合成部9的预处理器13作为第1预处理器13，在该图像合成部9中还追加了与第1预处理器13相同结构的第2预处理器13’，同样把图像合成部9的HDR-RAW生成器14作为第1HDR-RAW生成器14，在该图像合成部9中还追加了与第1HDR-RAW生成器14相同结构的第2HDR-RAW生成器14’。另外，对与上述第1实施方式相同的构成部分，赋予相同符号并省略详细说明，以下具体说明不同部分。
摄像装置1’的摄像处理部2构成为包括摄像元件5、第1AFE(AnalogFront End)6和第2AFE 6’。
摄像元件5构成为包括面传感器7和水平传送部8，水平传送部8由构成为包括模拟行存储器的第1输出通道和第2输出通道构成。并且，摄像元件5根据从信号处理部3的定时控制部11输出的驱动信号(水平同步信号和垂直同步信号)，把在不同的两种曝光时间分别积蓄在面传感器7的各个像素列中的电荷组依次转换为电压组，把所转换的电压组通过水平传送部8的第1输出通道和第2输出通道(这些通道在物理上不同)、并按照各个曝光时间分别依次输出给第1和第2AFE 6和6’。在本实施方式中，第1输出通道与第1AFE 6对应，第2输出通道与第2AFE6’对应。
以下，根据图6说明摄像装置1’的摄像元件5的曝光时间的控制方法和像素信号的读出及向AFE输出的结构。此处，图6是表示摄像元件5中的各个像素的重新设定和曝光以及像素信号的读出及向AFE的输出动作的图。
此处，本发明的曝光时间的控制是这样进行的，针对面传感器7，按照每个曝光时间设定多个以像素列为单位进行像素信号的读出及各个像素的重新设定的读出/重新设定行，根据从ALC 12输出的曝光时间，控制各个读出/重新设定行的像素信号的读出及像素的重新设定，以便在与各个曝光时间对应的定时执行像素信号的读出及重新设定。例如图6所示，针对从ALC 12输出的短曝光时间设定读出/重新设定行1，同样针对从ALC 12输出的标准曝光时间设定读出/重新设定行2。这些读出/重新设定行1和2的像素信号的读出及像素的重新设定的定时控制是如图6所示，控制成：针对在与标准曝光时间对应的读出/重新设定行2进行了像素信号的读出及像素的重新设定的像素列，在经过短曝光时间后，在与短曝光时间对应的读出/重新设定行1进行像素信号的读出及像素的重新设定，而且针对在读出/重新设定行1进行了像素信号的读出及像素的重新设定的像素列，在经过标准曝光时间后，在读出/重新设定行2进行像素信号的读出及重新设定。即，根据标准曝光时间的经过，先行开始读出/重新设定行2的像素信号的读出及像素的重新设定，在该重新设定之后而且经过短曝光时间后，从与读出/重新设定行2的开始位置相同的位置的像素列开始朝着相同扫描方向，开始读出/重新设定行1的像素信号的读出及像素的重新设定。以这种定时，通过读出/重新设定行1和2并列扫描面传感器7的整个区域，依次进行像素信号的读出和重新设定，分别读出针对不同的两种曝光时间的摄像图像的模拟数据。
并且，按照各个曝光时间读出的像素列的像素信号分别被按照每个曝光时间记录在不同的输出通道(第1输出通道和第2输出通道)的模拟行存储器中，根据从定时控制部11输出的驱动信号(水平同步信号和垂直同步信号)，分别从该各个输出通道输出给与这些输出通道一一对应的AFE(第1和第2AFE 6和6’)。在图6所示例中，在输出通道1的模拟行存储器中记录通过读出/重新设定行1读出的短曝光时间的像素信号的模拟数据，在输出通道2的模拟行存储器中记录通过读出/重新设定行2读出的标准曝光时间的像素信号的模拟数据，根据针对各个输出通道而不同的驱动信号，把这些记录的模拟数据从第1输出通道输出给第1AFE6，从第2输出通道输出给第2AFE 6’。此时，以标准曝光时间和短曝光时间的相位差(时间差)，分别从两个通道输出数据。
下面，根据图7说明摄像装置1’的进行图像合成的功能部的结构。此处，图7是表示摄像装置1’的图像合成功能部的结构的方框图。
进行图像合成处理的主要功能部构成为包括图像合成部9、BRAM 10、定时控制部11和ALC 12。
摄像装置1’的定时控制部11按照每个曝光时间，向ALC 12和图像合成部9(第1HDR-RAW生成器14、第2HDR-RAW生成器14’)输出各个像素列的地址信息。其它功能和上述第1实施方式相同。
并且，摄像装置1’的ALC 12根据从定时控制部11输出的地址信息，从存储单元读出对应的地址(像素列)的曝光时间，把该曝光时间输出给定时控制部11和图像合成部9(第1HDR-RAW生成器14、第2HDR-RAW生成器14’)。其它功能和上述第1实施方式相同。
并且，摄像装置1’的图像合成部9如图7所示，构成为包括第1预处理器13、第2预处理器13’、第1HDR-RAW生成器14、第2HDR-RAW生成器14’、存储器仲裁器15和输出读出器16。
第1预处理器13对从第1AFE 6输出的数字图像数据进行黑色电平校正，第2预处理器13’对从第2AFE 6’输出的数字图像数据进行黑色电平校正。并且，第1预处理器13把校正后的数字图像数据输出给ALC 12和第1HDR-RAW生成器14(第1HDR-RAW输入数据生成部17(后述))，第2预处理器13’把校正后的数字图像数据输出给ALC 12和第2HDR-RAW生成器14’(第2HDR-RAW输入数据生成部17’(后述))。
并且，第1预处理器13判定数字图像数据的亮度值是否是动态范围的最大值(饱和/不饱和)，把该结果(饱和标志)输出给第1HDR-RAW生成器14(第1HDR-RAW输入数据生成部17)，第2预处理器13’把所述饱和标志输出给第2HDR-RAW生成器14’(第2HDR-RAW输入数据生成部17’)。
并且，第1和第2HDR-RAW生成器14和14’对分别从第1和第2预处理器13和13’具有相位差地输入的、曝光时间不同的两种数字图像数据(分别为一个像素列部分的图像数据)，附加与上述第1实施方式相同的属性数据，生成与各个曝光时间的数字图像数据对应的第1HDR-RAW数据和第2HDR-RAW数据。这些生成的第1HDR-RAW数据和第2HDR-RAW数据，第1HDR-RAW数据被积蓄在第1输入数据积蓄部18中，第2HDR-RAW数据被积蓄在第2输入数据存储部18’中。
另一方面，在第1和第2BRAM数据积蓄部19和19’的任一方中积蓄着从BRAM 10读出的、与先从第1和第2预处理器13和13’输出的图像数据对应的像素列的HDR-RAW数据。具体讲，例如，在从第2预处理器13’先输出图像数据的情况下，从BRAM 10读出与第2HDR-RAW数据对应的像素列的HDR-RAW数据，并积蓄在第2BRAM数据积蓄部19’中。以后，同样从第2预处理器13’先输出图像数据(与第2输出通道对应的图像数据)，然后以规定的相位差从第1预处理器13输出与该图像数据为相同像素列序号的图像数据(与第1输出通道对应的图像数据)。因此，在从第1预处理器13(对应第1输出通道)输出数据之前，从先行的第2预处理器13’(对应第2输出通道)，不断地输出新数据。
另外，构成第2HDR-RAW生成器14’的第2数据判定部20’，分别比较积蓄在第2输入数据积蓄部18’中的第2HDR-RAW输入数据、和积蓄在第2BRAM数据积蓄部19’中的HDR-RAW输入数据中的相同像素位置的HDR-RAW数据，根据该比较结果，更新记录在BRAM 10中的HDR-RAW数据。具体讲，与上述第1实施方式相同，通过“优先顺序1、2、3”的处理，分别比较积蓄在第2输入数据积蓄部18’中的HDR-RAW输入数据、和位于与其相同像素位置上的被积蓄在第2BRAM数据积蓄部19’中的HDR-RAW数据的属性数据，根据该比较结果，判定是否需要使用第2输入数据积蓄部18’的第2HDR-RAW数据来更新各对应的HDR-RAW数据。并且，第2数据判定部20’针对判定为不需要更新的HDR-RAW数据选择第2BRAM数据积蓄部19’的数据，针对判定为需要更新的HDR-RAW数据选择第2输入数据积蓄部18’的数据，并进行合成，由此分别重新生成(更新)一个像素列部分的HDR-RAW数据。另外，在更新HDR-RAW数据时，也更新属性数据。这样生成的HDR-RAW数据通过第2数据更新部21’和存储器仲裁器15写入BRAM 10中。
另一方面，当被延迟输入的与短曝光时间对应的第1HDR-RAW数据被积蓄在第1输入数据积蓄部18中时，第1HDR-RAW生成器14从BRAM 10读出利用与标准曝光时间对应的第2HDR-RAW数据实施了更新处理的HDR-RAW数据(准确讲是与第1HDR-RAW数据为相同像素列序号的HDR-RAW数据)，并积蓄在第1BRAM数据积蓄部19中。第1数据判定部20与上述第2数据判定部20’相同，分别比较积蓄在第1输入数据积蓄部18中的第1HDR-RAW输入数据、和积蓄在第1BRAM数据积蓄部19中的HDR-RAW数据中的相同像素位置的HDR-RAW数据，根据该比较结果，更新记录在BRAM 10中的HDR-RAW数据。
第1和第2判定部20和20’的属性数据的更新处理，具体讲与上述第1实施方式相同，关于曝光码及饱和标志，选择(更新)所选择的HDR-RAW数据的曝光码和饱和标志。另一方面，关于作成时间码，按照图8(a)和(b)所示的流程图，分别在第1和第2判定部20和20’中进行各更新处理。此处，图8是表示作成时间码的更新处理的流程图，(a)是表示针对使用先输出的第2HDR-RAW数据(对应第2输出通道)的更新处理的作成时间码的更新处理的流程图，(b)是表示针对使用后输出的第1HDR-RAW数据(对应第1输出通道)的更新处理的作成时间码的更新处理的流程图。
首先，根据图8(a)说明第2判定部20’的属性数据更新处理。
如图8(a)所示，首先转入步骤S100，选择像素值的更新处理后的像素数据，并转入步骤S102。
在步骤S102，判定在步骤S100所选择的像素数据是否是利用第2HDR-RAW数据更新了像素值后的像素，在判定是更新后的像素数据的情况下(是)，转入步骤S104，否则(否)转入步骤S108。
在转入步骤S104的情况下，把选择像素数据中所附加的作成时间码重新设定为0，并结束处理。
另一方面，在转入步骤S106的情况下，不更新选择像素数据中所附加的作成时间码(保持原状)，并结束处理。例如，在作成时间码为“0”的情况下，仍保持“0”。
下面，参照图8(b)说明第1判定部20的属性数据更新处理。
如图8(b)所示，首先转入步骤S200，选择通过先输出的第2HDR-RAW数据进行了像素值更新处理后的、而且进行了上述图8(a)的作成时间码的更新处理后的像素数据，并转入步骤S202。
在步骤S202，判定在步骤S200选择的像素数据是否是利用第1HDR-RAW数据进行了更新后的像素数据，在判定为是更新后的像素数据的情况下(是)，转入步骤S204，否则(否)转入步骤S206。
在转入步骤S204的情况下，把选择像素数据中所附加的作成时间码重新设定为0，并结束处理。
另一方面，在转入步骤S206的情况下，将选择像素数据中所附加的作成时间码增加1，并结束处理。即，在作成时间码为“0”时，增加1更新为“1”。
(摄像装置的动作)
下面，根据具体情况详细说明本实施方式的摄像装置的动作。
此处，假定为按像素列(行)单位来改变曝光时间的摄像装置。
现在，假设对某帧实施摄像动作，结果，ALC动作收敛，按照每个像素列算出曝光时间。并且，通过读出/重新设定行2的扫描，在第N行，利用标准曝光时间摄像的图像的电荷组被摄像元件5的面传感器7转换为电压组。这样，通过水平传送部8读出在从信号处理部3的定时控制部11输出的驱动信号表示的像素列被转换的电压组，所读出的电压组通过水平传送部8的第2输出通道输出给第2AFE 6’。另一方面，通过读出/重新设定行2的扫描，在第N行的像素被重新设定后经过短曝光时间时，通过读出/重新设定行1的扫描，在第N行，利用短曝光时间摄像的图像的电荷组被摄像元件5的面传感器7转换为电压组。这样，通过水平传送部8读出在从信号处理部3的定时控制部11输出的驱动信号表示的像素列被转换的电压组，所读出的电压组通过水平传送部8的第1输出通道输出给第1AFE 6。分别从第1和第2输出通道输出的模拟数据以规定的相位差(至少大于等于短曝光时间的差)输出给第1AFE 6和第2AFE 6’。即，从第2输出通道先输出与标准曝光时间对应的模拟数据，然后以规定的相位差从第1输出通道输出与短曝光时间对应的模拟数据。
并且，通过第1和第2AFE 6和6’，根据分别输出的曝光时间不同的电压组生成数字图像数据，所生成的数字图像数据被输出给信号处理部3的图像合成部9(第1和第2预处理器13和13’)。另外，通过第1和第2预处理器13和13’，对分别输出的曝光时间不同的数字图像数据进行黑色电平校正，该进行了黑色电平校正的数字图像数据被输出给ALC12及第1和第2HDR-RAW生成器14和14’(第1和第2HDR-RAW输入数据生成部17和17’)。并且，第1和第2预处理器13和13’判定数字图像数据的不饱和/饱和，把其结果(饱和标志)输出给第1和第2HDR-RAW生成器14和14’(第1和第2HDR-RAW输入数据生成部17和17’)。
ALC 12根据从定时控制部11输出的地址信息，输出当前输入的数字图像数据的曝光时间，把该曝光时间输出给图像合成部9的第1和第2HDR-RAW生成器14和14’(HDR-RAW输入数据生成部17)和定时控制部11。这样，通过第1和第2HDR-RAW输入数据生成部17和17’，向该数字图像数据附加该数字图像数据的属性数据，分别生成与标准曝光时间对应的第2HDR-RAW数据和与短曝光时间对应的第1HDR-RAW数据。此时，作为属性数据，附加饱和标志、作成时间数据、曝光码。另外，曝光码是根据曝光时间算出的。并且，通过第1和第2HDR-RAW输入数据生成部17和17’，将所生成的第1和第2HDR-RAW数据输出给第1和第2输入数据积蓄部18和18’。通过第1和第2输入数据积蓄部18和18’，将所生成的HDR-RAW数据积蓄一个像素列部分。
另一方面，与第2HDR-RAW输入数据的积蓄动作并行，通过第2BRAM数据积蓄部19’，向存储器仲裁器15输出读出指令。此时，从定时控制部11向第2BRAM数据积蓄部19’输入与当前输入的数字图像数据(第2HDR-RAW数据)对应的像素列的地址信息、以及与水平同步信号同步的控制信号。基于该地址信息和控制信号的读出指令被输出给存储器仲裁器15。存储器仲裁器15根据所述读出指令，从BRAM 10读出HDR-RAW数据。并且，通过第2BRAM数据积蓄部19’，将所读出的HDR-RAW数据积蓄一个像素列部分。
此处，为了简化说明，假设各个像素列由10个像素构成，积蓄在第2输入数据积蓄部18’中的第2HDR-RAW数据，在像素列的俯视时的左端侧起第1～2个和第5～7个像素上其属性数据的饱和标志为“1”，积蓄在第2BRAM数据积蓄部19’中的HDR-RAW数据，在像素列的俯视时左端侧起第2～4个和第8～10个像素上其饱和标志为“1”。另外，假设积蓄在第2BRAM数据积蓄部19’中的HDR-RAW数据的作成时间数据全部为“0”。并且，积蓄在第2输入数据积蓄部18’中的所有HDR-RAW数据的曝光码为“1”，积蓄在第2BRAM数据积蓄部19’中的所有HDR-RAW数据的曝光码为“1”，两者的值相等。根据该属性数据，第2数据判定部20’按照各个像素，比较/判定积蓄在第2输入数据积蓄部18’中的第2HDR-RAW输入数据、和积蓄在第2BRAM数据积蓄部19’中的HDR-RAW输入数据。此时，比较相同像素位置的HDR-RAW数据，根据该比较结果，判定为俯视时左端侧起第3～4个和第8～10个像素的HDR-RAW数据需要更新。并且，第2数据判定部20’根据该判定结果，对于俯视时左端侧起第1～2个和第4～7个像素的HDR-RAW数据选择第2BRAM数据积蓄部19’的HDR-RAW数据，对于俯视时左端侧起第3～4个和第8～10个像素的HDR-RAW数据选择第2输入数据积蓄部18’的第2HDR-RAW数据，将它们合成，从而更新一个像素列部分的HDR-RAW数据。此时，也进行利用第2HDR-RAW数据更新后的HDR-RAW数据的属性数据的更新处理。曝光码和饱和标志为第2HDR-RAW数据和第2BRAM数据积蓄部19’的HDR-RAW数据中的被选择的一方的HDR-RAW数据的曝光码和饱和标志，而关于作成时间码，把利用第2HDR-RAW数据进行更新后的、俯视时左端侧起第3～4个和第8～10个像素的HDR-RAW数据的作成时间码清为“0”，把俯视时左端侧起第1～2个和第5～7个像素的HDR-RAW数据的作成时间码仍保持为“0”。并且，通过第2数据更新部21’，向存储器仲裁器15输出写入指令，通过存储器仲裁器15，向BRAM 10写入该更新后的HDR-RAW数据。另外，此时在BRAM 10的对应的像素列(地址信息)的区域执行写入动作。
另一方面，当以规定的相位差在第1输入数据积蓄部18中积蓄第1HDR-RAW数据时，通过第1BRAM数据积蓄部19，向存储器仲裁器15输出读出指令。此时，从定时控制部11向第1BRAM数据积蓄部19输入与当前输入的数字图像数据(第1HDR-RAW数据)对应的像素列的地址信息、以及与水平同步信号同步的控制信号。基于该地址信息和控制信号的读出指令被输出给存储器仲裁器15。存储器仲裁器15根据所述读出指令，从BRAM 10读出使用第2HDR-RAW数据进行了更新处理后的HDR-RAW数据。并且，通过第1BRAM数据积蓄部19，将所读出的HDR-RAW数据积蓄一个像素列部分。
此处，积蓄在第1输入数据积蓄部18中的第1HDR-RAW数据，在像素列的俯视时左端侧起第1～8个像素上其属性数据的饱和标志为“0”，积蓄在第1输入数据积蓄部18中的所有第1HDR-RAW数据的曝光码为“2”。另一方面，积蓄在第1BRAM数据积蓄部19中的HDR-RAW数据通过上述更新，除俯视时左端侧起第2个以外的象素的属性数据的饱和标志为“0”，积蓄在第1BRAM数据积蓄部19中的HDR-RAW数据的所有像素中属性数据的作成时间码为“0”。
根据该属性数据，第1数据判定部20对积蓄在第1输入数据积蓄部18中的第1HDR-RAW输入数据、和积蓄在第1BRAM数据积蓄部19中的HDR-RAW输入数据进行比较/判定。此时，比较相同像素位置的HDR-RAW数据，根据该比较结果，判定为俯视时左端侧起第2个像素的HDR-RAW数据需要更新。并且，第1数据判定部20根据该判定结果，对于俯视时左端侧起第1个和第3～10个像素的HDR-RAW数据，选择第1BRAM数据积蓄部19的HDR-RAW数据，对于俯视时左端侧起第2个像素的HDR-RAW数据，选择第1输入数据积蓄部18的第1HDR-RAW数据，将它们合成，从而更新一个像素列部分的HDR-RAW数据。此时，也进行利用第1HDR-RAW数据更新后的HDR-RAW数据的属性数据的更新处理。曝光码和饱和标志为第1HDR-RAW数据和第1BRAM数据积蓄部19的HDR-RAW数据中被选择的一方的HDR-RAW数据的曝光码和饱和标志，而关于作成时间码，把利用第1HDR-RAW数据进行更新后的、俯视时左端侧起第2个像素的HDR-RAW数据的作成时间码清为“0”，把未利用第1HDR-RAW数据进行更新的、俯视时左端侧起第1个和第3～10个像素的HDR-RAW数据的作成时间码增加1成为“1”。并且，通过第1数据更新部21，向存储器仲裁器15输出写入指令，通过存储器仲裁器15，向BRAM 10写入该更新后的HDR-RAW数据。另外，此时在BRAM 10的对应的像素列(地址信息)的区域执行写入动作。
并且，对其它行的像素列也重复进行上述流程。
这样，在本实施方式的摄像装置中，当积蓄在第2BRAM数据积蓄部19’中的HDR-RAW数据的饱和标志为“1”、积蓄在第2输入数据积蓄部18’中的第2HDR-RAW数据的饱和标志为“0”时，即此前是饱和状态的像素不再是饱和状态时，把积蓄在第2输入数据积蓄部18’中的HDR-RAW数据记录在BRAM 10中，以取代此前的HDR-RAW数据，另外，当在使用第2HDR-RAW数据的更新处理后，HDR-RAW数据的饱和标志为“1”，积蓄在第1输入数据积蓄部18中的、利用比第2HDR-RAW数据短的曝光时间摄像的第1HDR-RAW数据的饱和标志为“0”时，即当此前是饱和状态的像素由于缩短曝光时间不再是饱和状态时，把积蓄在第1输入数据积蓄部18中的HDR-RAW数据记录在BRAM 10中，以取代此前的HDR-RAW数据，从而可以生成动态范围大的图像的图像数据。
并且，根据本实施方式，可以把为了获取与显示装置/图像处理装置的同步所需要的帧存储器兼用作延迟用缓冲器。因此，例如，在摄像第1图像后，摄像第2图像，利用延迟元件对第1图像的图像数据进行延迟，使第1图像的图像数据与第2图像的图像数据同时输出，取代在该进行了延迟的第1图像内亮度值成为动态范围的最大值的像素的图像数据，而记录第2图像内的像素的图像数据，由此与生成动态范围大的图像的像素数据的现有方法不同，不需要设置延迟元件，结果，可以降低延迟元件部分的制造成本。
以上，在上述第2实施方式中，第1和第2HDR-RAW输入数据生成部17和17’构成权利要求书中记载的属性信息附加单元，以下相同，第1和第2输入数据积蓄部18和18’、第1和第2BRAM数据积蓄部19和19’、第1和第2数据判定部20和20’以及第1和第2数据更新部21和21’构成摄像图像生成单元，第1和第2数据判定部20和20’构成选择条件判定单元，第1和第2数据判定部20和20’以及第1和第2数据更新部21和21’构成选择像素合成单元，BRAM 10构成记录单元。
另外，本发明的摄像装置不限于上述实施方式的内容，可以在不脱离本发明宗旨的范围内适当变更。
例如，作为属性数据，示出了使用表示生成图像数据时的曝光时间的曝光码、表示所述图像数据的亮度值为动态范围的最大值的饱和标志、表示生成所述图像数据的时间的作成时间码的示例，但不限于此。例如，还可以追加像素固有的数据。例如，有表示是缺陷像素的数据等。
另外，本发明虽然适用于摄像装置，但是，显然对每个像素赋予属性数据、并据此进行图像处理或图像合成的方案也可以适用于一般的图像处理装置。

Claims (11)

1.一种摄像装置，其特征在于，包括：具有可以变更曝光时间的电子快门功能的摄像单元；属性信息附加单元，其对由该摄像单元摄像的图像的各个像素附加包含该像素的摄像条件的属性信息；以及摄像图像生成单元，其根据所附加的属性信息，按照每个像素选择所述图像从而生成摄像图像。
2.根据权利要求1所述的摄像装置，其特征在于，所述摄像图像生成单元包括：选择条件判定单元，其判定通过所述属性信息附加单元附加给各个像素的属性信息是否满足选择与该属性信息对应的像素的选择条件；以及选择像素合成单元，其选择与被判定为满足该选择条件的属性信息对应的像素，并生成摄像图像。
3.根据权利要求2所述的摄像装置，其特征在于，具有记录单元，其记录由所述摄像单元摄像的图像中先摄像的图像，所述选择像素合成单元在判定为由所述摄像单元后摄像的图像中包含的像素的属性信息满足所述选择条件的情况下，将该像素与记录在所述记录单元中的摄像图像的对应像素置换。
4.根据权利要求3所述的摄像装置，其特征在于，所述像素的属性信息包括表示所述像素的曝光时间的信息、表示所述像素的亮度值为动态范围的上限值的信息、以及表示所述像素的摄像时间的信息中的至少任意一种。
5.根据权利要求4所述的摄像装置，其特征在于，所述选择条件判定单元进行以下判定中的至少任意一种判定：新摄像的图像的对象像素的曝光时间是否比记录在所述记录单元中的摄像图像的对应像素的曝光时间长；新摄像的图像的对象像素的亮度值是否比动态范围的上限值大、而且记录在所述记录单元中的摄像图像的对应像素的亮度值是否比动态范围的上限值小；以及新摄像的图像的对象像素的摄像时间是否偏离了记录在所述记录单元中的摄像图像的对应像素的摄像时间规定时间以上。
6.根据权利要求4所述的摄像装置，其特征在于，作为判定是否满足所述像素的选择条件的处理，所述选择条件判定单元可以根据附加给各个像素的所述属性信息，对优先顺序为第1的第1判定处理、优先顺序为第2的第2判定处理以及优先顺序为第3的第3判定处理，从所述优先顺序高的一方开始依次执行，其中，第1判定处理判定新摄像的图像的对象像素的摄像时间是否偏离了记录在所述记录单元中的摄像图像的对应像素的摄像时间规定时间以上，第2判定处理判定新摄像的图像的对象像素的亮度值是否比动态范围的上限值小、而且记录在所述记录单元中的摄像图像的对应像素的亮度值是否比动态范围的上限值大，第3判定处理判定在新摄像的图像的对象像素的亮度值比动态范围的上限值小、而且记录在所述记录单元中的摄像图像的对应像素的亮度值比动态范围的上限值小的情况下，新摄像的图像的对象像素的曝光时间是否比记录在所述记录单元中的摄像图像的对应像素的曝光时间长，在所述第1～第3判定处理的任一处理中，在满足所述选择条件的时间点结束所述判定处理。
7.一种摄像装置，包括：光电转换部，其通过把多个光电转换元件配置成矩阵状而构成，该光电转换元件把曝光后的光转换为电荷并积蓄；摄像单元，其具有能够按照由所述光电转换部的所述光电转换元件构成的像素的每一行来变更曝光时间的电子快门功能，按照所述曝光时间不同的每一行，依次进行所述各个光电转换元件的重新设定和曝光以及来自所述各个光电转换元件的电荷读出；以及N个输出通道，其分别对应N种(N为2以上的自然数)曝光时间，记录并输出与按照每一种所读出的所述每一行的电荷对应的图像数据，其特征在于，具有：
属性信息附加单元，其向构成由所述摄像单元摄像的摄像图像的图像数据的各像素数据附加包括该像素的摄像条件的属性信息；
记录单元，其记录附加了所述属性信息的摄像图像的图像数据；
选择条件判定单元，其根据从所述N个输出通道按照所述曝光时间的每一种并以规定顺序依次输出的各行的图像数据中所附加的属性信息、以及与记录在所述记录单元中的所述各行的图像数据对应的行的图像数据中所附加的属性信息，针对每个像素判定该各个像素的数据中所附加的属性信息是否满足预先设定的像素的选择条件；以及
摄像图像生成单元，其选择与被判定为满足所述选择条件的属性信息对应的像素的数据，把该选择的像素的数据记录在所述记录单元中，从而按照每个像素来更新或维持被记录在该记录单元中的所述摄像图像的图像数据。
8.根据权利要求7所述的摄像装置，其特征在于，所述各个像素的数据中所附加的属性信息包括表示所述像素的曝光时间的信息、表示所述像素的亮度值是动态范围的上限值的信息、以及表示所述像素的摄像时间的信息中的至少任意一种。
9.根据权利要求8所述的摄像装置，其特征在于，所述选择条件判定单元根据所述各个像素的数据中所附加的属性信息来进行以下判定中的至少任意一种判定：判定从所述输出通道输出的图像数据中的对象像素的数据的曝光时间是否比记录在所述记录单元中的图像数据的对应像素的数据的曝光时间长；判定从所述输出通道输出的图像数据中的对象像素的数据的亮度值是否比动态范围的上限值大、而且记录在所述记录单元中的图像数据的对应像素的数据的亮度值是否比动态范围的上限值小；以及判定从所述输出通道输出的图像数据中的对象像素的数据的摄像时间是否偏离了记录在所述记录单元中的图像数据中的对应像素的数据的摄像时间规定时间以上。
10.根据权利要求8所述的摄像装置，其特征在于，作为判定是否满足所述像素的选择条件的处理，所述选择条件判定单元根据在各个像素的数据中所附加的属性信息，对优先顺序为第1的第1判定处理、优先顺序为第2的第2判定处理以及优先顺序为第3的第3判定处理，从所述优先顺序高的一方开始依次执行，其中，第1判定处理判定从所述输出通道输出的图像数据中的对象像素的数据的摄像时间是否偏离了记录在所述记录单元中的图像数据的对应像素的数据的摄像时间规定时间以上，第2判定处理判定从所述输出通道输出的图像数据中的对象像素的数据的亮度值是否比动态范围的上限值小、而且记录在所述记录单元中的图像数据中的对应像素的数据的亮度值是否比动态范围的上限值大，第3判定处理在从所述输出通道输出的图像数据中的对象像素的数据的亮度值比动态范围的上限值小、而且记录在所述记录单元中的图像数据的对应像素的数据的亮度值比动态范围的上限值小的情况下，判定从所述输出通道输出的图像数据中的对象像素的数据的曝光时间是否比记录在所述记录单元中的图像数据中的对应像素的数据的曝光时间长，在所述第1～第3判定处理的任一处理中，在满足所述选择条件的时间点结束所述判定处理。
11.根据权利要求10所述的摄像装置，其特征在于，所述摄像图像生成单元在从所述N个输出通道按照所述每一种曝光时间以规定顺序依次输出的所述每行的图像数据中，在最先输出图像数据的输出通道中，与从该输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，在所述摄像图像生成单元不对记录进行更新，而且在以后输出图像数据的剩余N-1个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元未更新记录的像素数据所附加的表示所述摄像时间的信息，变更为已经过该摄像时间规定时间的信息，在所述N个输出通道中，与从各个输出通道输出的图像数据的行对应的行的、构成记录在所述记录单元中的图像数据的像素数据中，把在所述摄像图像生成单元已更新记录的像素数据所附加的表示所述摄像时间的信息重新设定为规定值。
CN2005101274743A 2004-12-07 2005-12-07 摄像装置 Expired - Fee Related CN1787609B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004353655 2004-12-07
JP2004353655 2004-12-07
JP2004-353655 2004-12-07
JP2005323170 2005-11-08
JP2005323170A JP4379408B2 (ja) 2004-12-07 2005-11-08 信号処理部および撮像装置
JP2005-323170 2005-11-08

Publications (2)

Publication Number Publication Date
CN1787609A true CN1787609A (zh) 2006-06-14
CN1787609B CN1787609B (zh) 2010-12-08

Family

ID=36755997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005101274743A Expired - Fee Related CN1787609B (zh) 2004-12-07 2005-12-07 摄像装置

Country Status (3)

Country Link
US (1) US7643075B2 (zh)
JP (1) JP4379408B2 (zh)
CN (1) CN1787609B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597812A (zh) * 2011-06-14 2014-02-19 皇家飞利浦有限公司 用于高动态范围视频的图形处理
CN104349070A (zh) * 2013-08-08 2015-02-11 广达电脑股份有限公司 高动态范围图像曝光时间控制方法
CN108293090A (zh) * 2015-12-15 2018-07-17 株式会社理光 图像处理设备和图像处理方法
CN110581957A (zh) * 2019-08-26 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561649B2 (ja) * 2006-02-13 2010-10-13 セイコーエプソン株式会社 画像圧縮装置、画像圧縮プログラム及び画像圧縮方法、ｈｄｒ画像生成装置、ｈｄｒ画像生成プログラム及びｈｄｒ画像生成方法、並びに画像処理システム、画像処理プログラム及び画像処理方法
US20070255874A1 (en) * 2006-04-28 2007-11-01 Jennings Kevin F System and method for target device access arbitration using queuing devices
US7414795B2 (en) * 2006-05-15 2008-08-19 Eastman Kodak Company Method for driving display with reduced aging
JP4293210B2 (ja) 2006-08-18 2009-07-08 ソニー株式会社 物理量検出装置、物理量検出装置の駆動方法、固体撮像装置、固体撮像装置の駆動方法、及び撮像装置
JP2008205530A (ja) * 2007-02-16 2008-09-04 Seiko Epson Corp 撮像装置、撮像システム及び撮像方法
JP4552154B2 (ja) * 2007-03-12 2010-09-29 ブラザー工業株式会社 画像読取装置
US9077917B2 (en) 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
US9218069B2 (en) * 2013-04-11 2015-12-22 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical sensing device to sense displacement
JP2015130547A (ja) * 2014-01-06 2015-07-16 パナソニックＩｐマネジメント株式会社 記録装置
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
WO2020081330A1 (en) * 2018-10-15 2020-04-23 Bio-Rad Laboratories, Inc. Saturation avoidance in digital imaging
JP7260990B2 (ja) 2018-10-26 2023-04-19 キヤノン株式会社 撮像装置及び撮像システム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2003A (en) * 1841-03-12 Improvement in horizontal windivhlls
JP3630905B2 (ja) 1997-02-28 2005-03-23 キヤノン株式会社 撮像方法及び撮像装置
US6529242B1 (en) * 1998-03-11 2003-03-04 Micron Technology, Inc. Look ahead shutter pointer allowing real time exposure control
JP3657780B2 (ja) 1998-06-30 2005-06-08 株式会社東芝 撮像装置
JP4003151B2 (ja) 1998-07-09 2007-11-07 富士フイルム株式会社 撮像装置
JP2000050174A (ja) 1998-07-30 2000-02-18 Canon Inc 撮像装置とその駆動方法
US6975355B1 (en) 2000-02-22 2005-12-13 Pixim, Inc. Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US6922210B2 (en) 1999-07-30 2005-07-26 Pixim, Inc. Memory updating for digital pixel sensors
US6778212B1 (en) 2000-02-22 2004-08-17 Pixim, Inc. Digital image sensor with on -chip programmable logic
US6452152B1 (en) 2000-02-22 2002-09-17 Pixim, Inc. Sense amplifier having a precision analog reference level for use with image sensors
US20010040632A1 (en) 2000-05-09 2001-11-15 Yang David Xiao Dong Multiple sampling via a time-indexed method to achieve wide dynamic ranges
US6498576B1 (en) 2000-05-09 2002-12-24 Pixim, Inc. Selective analog-to-digital conversion for a digital pixel sensor
US6809666B1 (en) 2000-05-09 2004-10-26 Pixim, Inc. Circuit and method for gray code to binary conversion
US6791611B2 (en) 2000-05-09 2004-09-14 Pixim, Inc. Dual ported memory for digital image sensor
US6985181B2 (en) 2000-05-09 2006-01-10 Pixim, Inc. CMOS sensor array with a memory interface
US6498546B1 (en) * 2000-08-25 2002-12-24 James Leych Lau Utilization of proximity effect in ripple noise filtering
US6516154B1 (en) * 2001-07-17 2003-02-04 Eastman Kodak Company Image revising camera and method
JP4135360B2 (ja) 2001-12-25 2008-08-20 ソニー株式会社 固体撮像装置
JP4136464B2 (ja) 2002-06-03 2008-08-20 オリンパス株式会社 撮像装置及び撮像方法
JP2004015291A (ja) 2002-06-05 2004-01-15 Sony Corp 固体撮像装置及びその駆動方法
JP2004159274A (ja) 2002-09-13 2004-06-03 Shoji Kawahito 固体撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597812A (zh) * 2011-06-14 2014-02-19 皇家飞利浦有限公司 用于高动态范围视频的图形处理
CN103597812B (zh) * 2011-06-14 2017-11-21 皇家飞利浦有限公司 用于高动态范围视频的图形处理设备及方法
CN104349070A (zh) * 2013-08-08 2015-02-11 广达电脑股份有限公司 高动态范围图像曝光时间控制方法
CN108293090A (zh) * 2015-12-15 2018-07-17 株式会社理光 图像处理设备和图像处理方法
CN108293090B (zh) * 2015-12-15 2020-10-20 株式会社理光 图像处理设备和图像处理方法
CN110581957A (zh) * 2019-08-26 2019-12-17 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110581957B (zh) * 2019-08-26 2021-04-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112543261A (zh) * 2020-12-08 2021-03-23 浙江大华技术股份有限公司 一种图像质量提升方法、装置以及计算机可读存储介质

Also Published As

Publication number Publication date
JP4379408B2 (ja) 2009-12-09
US7643075B2 (en) 2010-01-05
JP2006191536A (ja) 2006-07-20
US20060170662A1 (en) 2006-08-03
CN1787609B (zh) 2010-12-08

Similar Documents

Publication Publication Date Title
CN1787609A (zh) 摄像装置
CN100348017C (zh) 图像拾取设备和同步信号产生设备
CN1254954C (zh) 能作图象处理的数字摄象机
CN1284383C (zh) 图像处理方法及装置
CN1286326C (zh) 信息存储设备及其方法
CN1941918A (zh) 摄像装置以及摄像方法
CN1198443C (zh) 隐藏带测试模式的图像传感器中的缺陷像素的方法和设备
CN1753458A (zh) 摄影装置及摄影方法
CN1761289A (zh) 图像校正装置及其控制方法
CN1960446A (zh) 摄像装置、摄像方法以及程序
CN1967566A (zh) 图像处理设备和图像处理方法
CN1917616A (zh) 摄影装置
CN1114921C (zh) 目标流的临时删除方法
CN1812492A (zh) 数字相机、图像回放装置、面部图像显示装置及其控制方法
CN1897649A (zh) 图像处理装置和方法、记录介质和程序
CN101079945A (zh) 图像读取装置、mfp、以及原稿检测方法
CN1928693A (zh) 摄像装置和自动聚焦控制方法
CN1700744A (zh) 成像装置和成像方法
CN1848915A (zh) 摄像装置及其控制方法
CN1926459A (zh) 自动聚焦控制装置和方法、记录介质和程序
CN101056362A (zh) 图像显示控制装置及其控制方法和控制程序
CN1945417A (zh) 摄像装置
CN1694506A (zh) 箝位电平调节设备，电子照相机，和图像处理设备
CN1886983A (zh) 成像***
CN1842128A (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20201207