CN101309349B - 图像拾取设备和校正拍摄图像数据的方法 - Google Patents

图像拾取设备和校正拍摄图像数据的方法 Download PDF

Info

Publication number
CN101309349B
CN101309349B CN2008100975684A CN200810097568A CN101309349B CN 101309349 B CN101309349 B CN 101309349B CN 2008100975684 A CN2008100975684 A CN 2008100975684A CN 200810097568 A CN200810097568 A CN 200810097568A CN 101309349 B CN101309349 B CN 101309349B
Authority
CN
China
Prior art keywords
pixel
black level
configuration pattern
pixels
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008100975684A
Other languages
English (en)
Other versions
CN101309349A (zh
Inventor
木下雅也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101309349A publication Critical patent/CN101309349A/zh
Application granted granted Critical
Publication of CN101309349B publication Critical patent/CN101309349B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供了一种图像拾取设备和校正拍摄图像数据的方法，其中，该图像拾取设备包括：固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路在具有相同配置图样的预定数目的像素之间被共享；校正值生成装置，用于生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，校正值用于校正由配置图样的像素之间的位置差异所引起的像素特性的不均匀性；以及校正装置，用于基于由校正值生成装置生成的关于对应像素数据的校正值来校正从固态图像拾取装置读出的每个像素数据。从而，可以降低由固态图像拾取装置提供的拍摄图像数据中的共享像素之间的像素特性的不均匀性。

Description

图像拾取设备和校正拍摄图像数据的方法
相关申请的交叉参考
本发明包含于2007年5月1 5日向日本专利局提交的日本专利申请号JP 2007-128852的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及一种包括诸如互补金属氧化物半导体(CMOS)成像器的固态图像拾取装置的图像拾取设备，以及一种校正通过该图像拾取设备拍摄的图像数据的方法。
背景技术
近年来，越来越需要用在摄像机和数码相机中的固态图像拾取装置(诸如电荷耦合器件(CCD)成像器和CMOS成像器)增加像素数并减小尺寸。像素数的增加连同尺寸的减小使得每个像素的面积减小，因此可能会降低像素敏感度。
为了解决该问题，已经通过设计电路和配线布局和/或改进制造工艺尽可能地增加光电二极管在固态图像拾取装置的像素结构中的比例，从而实现像素数的增加和尺寸的减小，其中，固态图像拾取装置包括光电二极管以及含有放大晶体管和复位晶体管的***电路。
然而，近年来对固态图像拾取装置增加像素数和减小尺寸的需求逐渐增加，同时，以更低的照度来改进图像质量也引起了关注。因此，仅通过上述动作可能无法提供能够实现确保期望图像质量的像素灵敏度的固态图像拾取装置。
在这些情况下，像素共享技术得到广泛的关注以克服固态图像拾取装置的上述缺点。在像素共享技术中，像素结构所需的电路的一部分(例如放大晶体管和/或复位晶体管)被彼此水平和/或垂直邻近或接近的多个像素所共享，以减小每个像素的电路面积(包括配线)以及使光电二极管的比例增加与面积的减小相对应的量，从而提高了像素灵敏度。
例如，日本专利申请第3838665号公开了一项在两个邻近像素之间共享从每个像素读出像素数据所需的放大晶体管和复位晶体管的像素共享技术。在该技术中，在以稍稍不同的时间顺序选择连接至放大晶体管和复位晶体管的两个相邻像素的同时，从每个像素读出像素数据，来减少每个像素的晶体管数并使光电二极管的面积增加与晶体管数的减少相对应的量，从而提高了像素灵敏度。
在不采用像素共享技术的普通固态图像拾取装置中，所有的像素通常被统一配置。换句话说，普通固态图像拾取装置的像素结构通常为画面上任何位置处的像素所共有。因此，在这种普通固态图像拾取装置中，所有像素的光电二极管在半导体结构中具有相同的***环境。因此，如果排除制造变化的因素，所有像素的光学特性基本相同。
然而，在应用了“像素共享技术”并在例如日本专利申请第383 8665号中所公开的固态图像拾取装置中，当共享电路并且彼此邻近或接近的多个像素被看作一个单位时，所有的像素都具有相同的结构。但是，配置在该单位中不同位置处的像素在半导体结构中具有不同的***环境。因此，在采用像素共享技术的固态图像拾取装置中，重复共享电路的多个像素的配置图样(arrangement pattern，也称为排列图案)以形成电路布局。
具体来说，当共享电路的多个像素被看作一个单位时，多个单位分别被水平和垂直地重复配置在固态图像拾取装置中。由于配置在多个单位中像素的配置图样中的相同位置处的像素的光电二极管在半导体结构中具有相同的***环境，所以像素具有相同的光学特性。
然而，由于配置在共享电路的多个像素的配置图样中的不同位置处的像素(即，在单位中彼此临近或接近的像素)具有不同的电路和/或布局，所以像素的光电二极管在半导体结构中具有不同的***环境，因而提供了不同的像素特性。
因此，即使使用应用了“像素共享技术”的固态图像拾取装置来拍摄完全均匀对象的图像，从一个单位中的相邻像素也输出不同的值，因此，存在最后输出的图像的质量可能大幅下降的问题。
在相关技术中，为了避免包含在像素共享中的上述问题，例如，在日本未审查专利申请公开第2004-1 72950号、日本未审查专利申请公开第2005-110104号、日本未审查专利申请公开第2005-73733号和日本未审查专利申请公开第2006-1 57953号中公开了固态图像拾取装置的像素结构的设计技术。在这些技术中，例如，(A)像素布局被设计为尽可能地减少光学不均匀性或(B)执行像素共享以便即使出现光学不均匀性，也不会对输出图像产生不利的影响。
发明内容
如上所述，以在上述文献中公开的技术来设计固态图像拾取装置的像素结构。
然而，通过方法(A)，即使可以降低光学不均匀性，仍无法消除在共享电路的多个像素(共享电路的多个像素在下文中被称作“共享像素”)之间的光学不均匀性。
在方法(A)和方法(B)中，可以对像素结构、布局或像素数据的读出施加严格的限制。此外，可以对处理从应用了方法(A)或(B)的固态图像拾取装置的输出的整个图像拾取设备施加严格的限制。
为了解决上述问题，期望提供一种能够校正由固态图像拾取装置提供的拍摄图像数据而不是设计固态图像拾取装置的像素结构的图像拾取设备，从而降低共享像素的像素特性的不均匀性。
根据本发明的实施例，图像拾取设备包括：固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路在具有相同配置图样的预定数目的像素之间被共享；校正值生成装置，用于生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，校正值被用于校正由配置图样中的像素之间的位置差异所引起的像素特性的不均匀性；以及校正装置，用于基于由校正值生成装置生成的关于对应像素数据的校正值来校正从固态图像拾取装置读出的每个像素数据。
根据本发明的另一个实施例，图像拾取设备包括：固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路在具有相同配置图样的预定数目的像素之间被共享；黑色电平生成装置，用于通过使用从与检测黑色电平的区域相对应的像素读出的像素数据，生成从具有相同配置图样的每个像素的像素位置读出的像素数据的黑色电平，配置图样中不同的像素位置具有不同的黑色电平；以及箝位装置，用于基于由黑色电平生成装置生成的黑色电平，对从固态图像拾取装置读出的每个像素数据执行数字箝位。
根据本发明的另一个实施例，图像拾取设备包括：固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路在具有相同配置图样的预定数目的像素之间被共享；存储装置，用于对配置图样中的每个像素位置存储当拍摄相同对象的图像时根据从固态图像拾取装置读出的像素数据所生成的校正值，该校正值被用于校正配置图样中的像素位置之间的输出电平差；以及校正装置，用于基于由存储装置提供的关于对应像素数据的校正值来校正从固态图像拾取装置读出的每个像素数据。
根据本发明的另一个实施例，提供了一种校正从固态图像拾取装置读出的拍摄图像数据的方法，该固态图像拾取装置包括以二维阵列形式排列的多个像素，像素结构所必需的电路在具有相同配置图样的预定数目的像素之间被共享，该方法包括以下步骤：生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，校正值被用于校正由配置图样中的像素之间的位置差异所引起的像素特性的不均匀性；以及基于关于对应像素数据的所生成的校正值来校正从固态图像拾取装置读出的每个像素数据。
在具有上述任一配置的图像拾取设备中，具有相同配置图样的预定数目的多个像素被用作共享像素。校正值生成装置生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的、用于校正由配置图样中的像素之间的位置差异所引起的像素特性的不均匀性的校正值。
校正装置通过使用由校正值生成装置生成的、关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，校正从固态图像拾取装置读出的数据之间的像素特性的不均匀性。
根据本发明，可以降低由固态图像拾取装置提供的拍摄图像数据中的共享像素之间的像素特性的不均匀性。
附图说明
图1是示出根据本发明第一实施例的图像拾取设备的结构实例的框图；
图2A～图2E示出了用在根据本发明第一实施例的图像拾取设备中的固态图像拾取装置中的示例性像素阵列和滤色片阵列；
图3示出了如何从用在根据本发明第一实施例的图像拾取设备中的固态图像拾取装置中读出所拍摄的图像数据；
图4A～图4C示出了用在根据本发明第一实施例的图像拾取设备中的固态图像拾取装置中的共享像素的配置图样和共享像素ID的实例；
图5是详细示出根据本发明第一实施例的图像拾取设备中的主要单元的硬件结构实例的框图；
图6是用于描述根据本发明第一实施例的图像拾取设备的示图；
图7是示出图5所示硬件结构中的部分硬件结构实例的框图；
图8是示出图7中的硬件结构中的部分硬件结构实例的框图；
图9是示出图5所示数字信号处理单元中的另一部分的硬件结构实例的框图；
图10是示出根据本发明第二实施例的图像拾取设备中的部分结构实例的框图；
图11是示出根据本发明第三实施例的图像拾取设备中的主要单元的硬件结构实例的框图；
图12是用于描述根据本发明第三实施例的图像拾取设备的示图；
图13A和图1 3B是用于描述根据本发明第三实施例的图像拾取设备的示图；
图14是示出图11所示硬件结构中的部分硬件结构实例的框图；
图15是示出图14所示硬件结构中的部分硬件结构实例的框图；以及
图16A～图16C示出了用在根据本发明另一实施例的图像拾取设备中的固态图像拾取装置中的共享像素的配置图样和共享像素ID的实例。
具体实施方式
接下来将参考附图来描述本发明的实施例。
第一实施例
图1是示出根据本发明第一实施例的图像拾取设备10的结构实例的框图。图像拾取设备10包括：包含透镜的光学单元1、由固态图像拾取装置代表的CMOS成像器2、模拟信号处理单元3、数字信号处理单元4、相机控制微型计算机5、相机抖动传感器6、透镜驱动单元7、人性化界面微型计算机8和用户界面单元9。
光学单元1设置有用于调整透镜位置以校正相机抖动的致动器(actuator)。通过由透镜驱动单元7提供的透镜驱动信号来驱动和控制致动器。
CMOS成像器2具有许多水平和垂直地配置在其中的像素。像素共享技术被应用于CMOS成像器2。CMOS成像器2还具有配置在光入射侧以生成彩色图像的滤色片。
图2A～图2E示出了CMOS成像器2中的示例性像素阵列和滤色片阵列。图2A示出了所谓的Bayer阵列。在图2A的Bayer阵列中，水平和垂直地配置许多正方形像素Ps。交替配置红色R和绿色G的滤色片以与每隔一个水平行的像素相对，同时交替配置蓝色B和绿色G的滤色片以与剩余水平行中的像素相对。此外，具有红色R的滤色片的像素被配置成不包括在配置具有蓝色B的滤色片的像素的相同垂直列中。
在图2B和图2C的像素阵列中，水平和垂直地配置许多菱形像素Pd。在这些像素阵列中，可以将明显的水平和垂直像素间距设置成比Bayer阵列更小的值。然而，图2B中的滤色片的阵列不同于图2C中的滤色片的阵列。
具体地，在图2B的像素阵列中，交替配置红色R和蓝色B的滤色片以与每隔一个水平行的像素相对，并且还交替配置红色R和蓝色B的滤色片以与每隔一个垂直列的像素相对。只有绿色G的滤色片被配置成与剩余水平行和垂直列中的像素相对。
在图2C的像素阵列中，交替配置红色R和绿色G的滤色片以与每隔三个水平行的像素相对，以及还交替配置蓝色B和绿色G的滤色片以与每隔其它三个水平行的像素相对。只有绿色G的滤色片被配置成与剩余水平行中的像素相对。具有红色R的滤色片的像素被配置成不包括在配置具有蓝色B的滤色片的像素的相同垂直列中。
尽管在图2A～图2C中示出了单板固态图像拾取装置的示例性阵列，但固态图像拾取装置还可以具有图2D或图2E中的三板结构，其中，固态图像拾取装置Ir被设置为红色R，固态图像拾取装置Ig被设置为绿色G，以及固态图像拾取装置Ib被设置为蓝色B。与图2A中的像素阵列相同，图2D中的固态图像拾取装置Ir、Ig和Ib上均具有许多水平和垂直配置的正方形像素。与图2B和图2C中的像素阵列相同，图2E中的固态图像拾取装置Ir、Ig和Ib上均具有许多水平和垂直设置的菱形像素。
图1中的CMOS成像器2可具有图2A～图2E中的任意像素阵列。根据本实施例，为了简化说明，假设CMOS成像器2具有图2A的Bayer阵列。
还假设通过一个通道来传送CMOS成像器2的输出。以图3所示的方式通过一个通道从CMOS成像器2中读出像素数据。具体地，通过一个通道从左到右地对每一行从CMOS成像器2中的多个像素Ps中读出像素数据，从而扫描像素阵列直到行的末端。在已经读出一个水平行中的所有像素数据之后，从下一行开始读出像素数据。类似地，像素阵列被并行地水平扫描以从整个画面(screen)读出像素数据。
换句话说，以像素阵列被水平扫描的顺序从CMOS成像器2中读出像素。
尽管CMOS成像器通常不仅适合于单通道读出而且还适合于多通道并行读出，但是本发明并不依赖于这些读出方法。尽管为了方便，在本发明的第一实施例中以图3所示的读出序列来作为实例，但本发明并不限于这种读出方法。本发明的实施例还可以应用另一种读出方法。
根据本实施例的CMOS成像器2具有应用了上述像素共享技术的像素结构。图4A～图4C示出了共享像素的三个典型配置图样。
在图4A～图4C的顶行中示出了CMOS成像器2中的共享像素的配置图样。用粗线连接的多个像素表示共享像素。
在图4A～图4C的中间行中示出了在共享像素的配置图样中每个像素位置处的标识符(在下文中称作共享像素ID)。
在图4A～图4C的底行中示出了通过共享像素ID表示的、从CMOS成像器2输出的像素序列。在底行中示出的共享像素ID的输出序列只关注共享像素的配置图样，而在图4A～图4C的实例中没有考虑对应于像素的滤色片。
图4A示出了分别将两个邻近的垂直像素作为共享像素处理的情况。具体地，邻近水平行上各自的两个像素被作为共享像素而处理。因此，如中间行所示，“0”和“1”作为共享像素ID在每个水平行上交替出现。如底行所示，像素输出序列的一个水平行中的所有像素具有共享像素ID“0”，而像素输出序列的下一个水平行中的所有像素具有共享像素ID“1”。
图4B还示出了分别将两个邻近的垂直像素作为共享像素处理的情况。然而，在图4B的配置图样中，一对共享像素相对于下一对共享像素移动一个垂直像素。因此，如中间行所示，“0”和“1”作为共享像素ID交替出现每个水平行中，并且在一个水平行中“0”和“1”的出现顺序与下一水平行中的顺序相反。类似地，如底行所示，作为共享像素ID的“0”和“1”在像素输出序列中交替出现在每个水平行中，并且在一个水平行中的“0”和“1”的显示出现顺序与下一水平行中的顺序相反。
图4C示出了以Z字形方式设置的四个垂直像素被作为共享像素处理的情况。因此，如中间行所示，“0”、“1”、“2”和“3”作为共享像素ID每四个水平行地交替出现。类似地，如底行所示，“0”、“1”、“2”和“3”作为共享像素ID在像素输出序列中每四个水平行地交替出现。
图4A～图4C所示的共享像素的任何配置图样都可用于根据本发明第一实施例的CMOS成像器2。假设CMOS成像器2具有图4A所示的共享像素的配置图样。
返回参考图1，入射到光学单元1上的光在具有上述结构的CMOS成像器2中经受光电转换并被作为电信号(即，拍摄的图像数据)输出。CMOS成像器2响应于由相机控制微型计算机5提供的控制信号来开始或停止像素数据的读出并控制读出位置。
通过一个通道从CMOS成像器2输出的图像数据被提供给模拟信号处理单元3，在其中图像数据经受例如采样保持操作和自动增益控制。然后，图像数据在模拟信号处理单元3中经受模拟-数字(A/D)转换，然后数字信号被提供给数字信号处理单元4。
尽管在以上描述中，从CMOS成像器2输出的模拟信号在模拟信号处理单元3中经受采样保持操作、自动增益控制和A/D转换，但模拟信号处理单元3的结构可被结合到CMOS成像器2中。
响应于来自相机控制微型计算机5的指令，数字信号处理单元4对模拟信号处理单元3提供的拍摄图像数据RAW(RAW数据)执行各种信号处理。在数字信号处理单元4中执行的各种信号处理包括诸如白平衡、伽玛校正和色差信号处理的所谓相机信号处理、以及用于相机控制检测数据(关于画面上的拍摄图像的数据，例如亮度、对比度和色调)的算法处理。
如下所述，数字信号处理单元4包括生成各种定时信号的基准定时信号发生部。定时信号包括用于拍摄的图像数据的水平同步信号HD和垂直同步信号VD。数字信号处理单元4将水平同步信号HD、垂直同步信号VD和其它必需的定时信号提供给CMOS成像器2。来自数字信号处理单元4中的基准定时信号发生部的定时信号还被提供给相机控制微型计算机5。
CMOS成像器2设置有读取器和读出定时信号发生器，以通过图3所示的读出方法从每个像素中读出像素数据。CMOS成像器2中的读出定时信号发生器生成与从数字信号处理单元4接收的水平同步信号HD和垂直同步信号VD同步的读出定时信号，并基于由相机控制微型计算机5提供的控制信号，从CMOS成像器2中读出像素数据。
基于由数字信号处理单元4提供的定时信号和由相机控制微型计算机5提供的控制信号，CMOS成像器2不仅能够从有效像素区域中的像素读出像素数据，而且还能够从有效像素区域外的框区域(frame area)中的像素读出像素数据。框区域是遮蔽从对象反射的光的遮蔽区域。因此，来自框区域中的像素的像素数据表示黑色电平(也称作黑电平)。
根据本发明的第一实施例，数字信号处理单元4还包括降低共享像素之间的不均匀性的共享像素黑色电平检测部和共享像素黑色电平校正部。下文中将详细描述共享像素黑色电平检测部和共享像素黑色电平校正部。
相机控制微型计算机5根据由数字信号处理单元4提供的检测数据和由相机抖动传感器6提供的关于图像拾取设备10的像机抖动信息来确定当前拍摄图像的状态，从而根据通过人性化界面微型计算机8提供的各种设定模式来控制图像拾取设备10。具体地，相机控制微型计算机5将读出区域指定数据提供给CMOS成像器2、将拍摄图像控制数据提供给数字信号生成单元4、将透镜控制数据提供给透镜驱动单元7、以及将用于自动增益控制的增益控制数据提供给模拟信号处理单元3。
CMOS成像器2响应于由数字信号处理单元4提供的读出定时信号，顺序在CMOS成像器2的图像拍摄区域中读出与由读出区域指定数据指定的特定区域(包括有效像素区域或框区域(屏蔽区域))相对应的信号，并将读出信号提供给模拟信号处理单元3。
数字信号处理单元4、透镜驱动单元7和模拟信号处理单元3执行与由相机控制微型计算机5提供的控制数据相对应的处理，从而实现期望的信号处理、定时信号生成、透镜驱动和增益控制。
用户界面单元9包括接收用户操作的键操作部以及显示图像拾取设备10的模式和相机信息的显示装置。例如，用户的菜单操作由人性化界面微型计算机8通过用户界面单元9来控制。
人性化界面微型计算机8基于用户使用用户界面单元9输入的指令来检测用户当前选择了哪种摄影模式或者用户想要哪种控制，然后将检测结果作为用户指令信息提供给相机控制微型计算机5。
同时，相机控制微型计算机5将获取的相机控制信息(与对象的距离、F数、快门速度和倍率)提供给人性化界面微型计算机8并利用用户界面单元9的显示装置向用户指示当前相机信息。由于并不与本发明直接相关，所以本文中省略了这些组块的详细描述。数字信号处理单元4的详细结构
图5是详细示出数字信号处理单元4的结构实例的框图。参考图5，数字信号处理单元4包括共享像素黑色电平检测部41、共享像素黑色电平校正部42、相机信号处理部43、基准定时信号发生部44和通信界面部45。
基准定时信号发生部44生成上述的水平同步信号HD和垂直同步信号VD，并将所生成的水平同步信号HD和垂直同步信号VD提供给CMOS成像器2。基准定时信号发生部44还将作为每个像素的定时基础的基准定时信号TG提供给共享像素黑色电平检测部41和共享像素黑色电平校正部42。基准定时信号发生部44另外将各种定时信号提供给相机信号处理部43。尽管在图5中未示出，但基准定时信号发生部44将各种定时信号提供给了相机控制微型计算机5。
通信界面部45将由相机信号处理部43提供的各种检测值DET提供给相机控制微型计算机5。相机控制微型计算机5基于各种检测值DET生成例如自动增益信号的控制信号，并将所生成的控制信号提供给对应的处理部。
通信界面部45从相机控制微型计算机5接收相机处理控制参数Pm并将所需的控制信号提供给共享像素黑色电平检测部41、共享像素黑色电平校正部42和相机信号处理部43。
共享像素黑色电平检测部41从模拟信号处理单元3接收拍摄图像数据RAW，并检测每行或每个画面的每个共享像素的平均黑色电平以检测黑色电平。如图6所示，通过使用从CMOS成像器2的有效像素区域外的框区域中的光学黑色(OPB)区域中读出的信号来执行黑色电平的检测。OPB区域被设置用于检测黑色电平。
在图6所示的实例中，在CMOS成像器2的整个像素区域的上、下、左、和右端的框区域的OPB区域中，只有左和右端的框区域中的OPB区域被设为黑色电平检测框FL。在图6中未示出整个像素区域右端的OPB区域。如上所述，基于由数字信号处理单元4提供的定时信号和由相机控制微型计算机5提供的控制信号，COMS成像器2不仅从有效像素区域读出像素数据，而且还从OPB区域读出像素数据。相机控制微型计算机5基于由数字信号处理单元4提供的定时信号来确定由CMOS成像器2从中读出像素数据的区域是OPB区域还是有效像素区域。
通过通信界面部45从相机控制微型计算机5向共享像素黑色电平检测部41提供区域指示信息Sf1。区域指示信息Sf1表示由模拟信号处理单元3提供的拍摄图像数据RAW是从框区域中的黑色电平检测框FL中读出的还是从不与黑色电平检测框FL相对应的区域(诸如，有效像素区域)中读出的。
此外，如下所述，通过通信界面部45从相机控制微型计算机5向共享像素黑色电平检测部41提供关于以上参考图4A～图4C所述的共享像素ID的信息，即，共享像素ID设定信息Sid。共享像素ID设定信息Sid用于检测每个共享像素的黑色电平。此外，如上所述，通过通信界面部45从相机控制微型计算机5向共享像素黑色电平检测部41中的共享像素积分处理部414提供积分器设定信息Wk。
共享像素黑色电平检测部41使由模拟信号处理单元3提供的拍摄图像数据RAW延迟检测每个共享像素的黑色电平的时间，并将延迟的拍摄图像数据RAW提供给共享像素黑色电平校正部42。共享像素黑色电平检测部41将检测的共享像素黑色电平信息BLc与拍摄图像数据RAW同步地提供给共享像素黑色电平校正部42。
共享像素黑色电平校正部42通过使用由共享像素黑色电平检测部41检测的共享像素黑色电平信息BLc，按下文所述的方式对每个共享像素(对每个共享像素ID)以及对每行校正作为主线信号的拍摄图像数据RAW。
具体地，在图5所示的实例中，共享像素黑色电平校正部42从拍摄图像数据RAW中减去共享像素黑色电平信息BLc中的每个共享像素(每个共享像素ID的)平均黑色电平。对每个共享像素(每个共享像素ID)和每行执行对应于数字箝位(digital clamping)的减法。
通过通信界面部45从相机控制微型计算机5向共享像素黑色电平校正部42提供用于对每个共享像素(每个共享像素ID)的处理的共享像素ID设定信息Sid。
共享像素黑色电平校正部42将经过校正的拍摄图像数据提供给相机信号处理部43。
响应于通过通信界面部45来自相机控制微型计算机5的控制指令，相机信号处理部43执行各种相机信号处理(诸如相关技术中的降噪、缺陷校正、去马赛克、白平衡和分辨率转换)，然后将作为输出数据的亮度数据Y和颜色数据C提供给下游的视频处理组块(未示出)。由于并不于本发明直接相关，所以本文中将省略相机信号处理部43的详细描述。
共享像素黑色电平检测部41的描述
图7是详细示出共享像素黑色电平检测部41的结构实例的框图。共享像素黑色电平检测部41包括为作为主线信号的拍摄图像数据RAW设置的延迟控制器411和412、定时发生器413、上述的共享像素积分处理部414和通信界面415。
延迟控制器411和412使拍摄图像数据RAW延迟与在共享像素黑色电平检测部41中延迟的时间相对应的时间，从而使输出拍摄图像数据RAW的时间与在共享像素黑色电平检测部41中生成的共享像素黑色电平信息BLc同步。
共享像素积分处理部414包括积分电路4142和选择电路4141。积分电路4142包括为n个(n表示不小于2的整数)共享像素提供的(即，为共享像素ID提供的)积分器INT1～INTn。选择电路4141选择将向其提供来自延迟控制器411的拍摄图像数据RAW的积分器INT1～INTn中的任意一个。从定时发生器413向选择电路4141提供选择控制信号SEL1。从定时发生器413分别向积分器INT1～INTn提供用于控制积分器INT1～INTn的每一个执行积分的时间周期的使能信号EN1～ENn。
定时发生器413基于由基准定时信号发生部44提供的基准定时信号TG和通过通信界面415由相机控制微型计算机5提供的区域指定信息Sf1和共享像素ID设定信号Sid，如图4A～图4C的底行所示，当拍摄图像数据RAW中出现每个共享像素(由每个共享像素ID表示的像素)时，在黑色电平检测框FL(参考图6)中生成选择控制信号SEL1和使能信号EN1～ENn，并将生成的选择控制信号SEL1和使能信号EN1～ENn提供给共享像素积分处理部414。
在图7所示的实例中，基于共享像素ID，响应于选择控制信号SEL1，在黑色电平检测框FL中选择和控制选择器电路4141。例如，如果共享像素ID＝“0”，则选择电路4141将拍摄图像数据RAW从延迟控制器411提供给积分器INT1。如果共享像素ID＝“1”，则选择电路4141将拍摄图像数据RAW从延迟控制器411提供给积分器INT2。同样应用于后面的积分器。
响应于黑色电平检测框FL中的使能信号EN1～ENn来控制积分器INT1～INTn的启动。例如，如果共享像素ID＝“0”，则启动积分器INT1。如果共享像素ID＝“1”，则启动积分器INT2。
积分器INT1～INTn中的每个均具有图8所示的结构。图8是示出积分器INT1～INTn中的一个积分器INTi(i＝1、2、...、n)的结构实例的框图。积分器INTi具有无限脉冲响应(IIR)数字滤波器的结构。在图4A和图4B实例中，值“n”等于2，而在图4C实例中，值“n”等于4。
在图8所示的积分器INTi中，将作为由选择电路4141提供的主线信号的拍摄图像数据RAW提供给乘法电路101，在其中拍摄图像数据RAW与常数K(K＜1)相乘。提供给乘法电路101的拍摄图像数据RAW是从黑色电平检测框FL读出以及从具有与积分器INTi相对应的共享像素ID的像素中读出的像素数据(黑色电平)。从乘法电路101向加法电路102提供乘以常数K所得到的黑色电平数据。
积分器INTi包括用于存储积分结果(平均黑色电平)的存储器103。将从存储器103读出的积分结果提供给乘法电路104，在其中积分结果与常数(K-1)相乘。从乘法电路104向加法电路102提供乘以常数(K-1)所得到的黑色电平数据。将加法电路102中的相加结果提供给切换电路105的一个输入端。
将作为从存储器103读出的积分结果的平均黑色电平提供给切换电路105的另一个输出端。
在图8的积分器INTi中，将对应于积分器INTi的使能信号ENi提供给切换电路105和存储器103。如果将共享像素中具有与积分器INTi相对应的共享像素ID的共享像素提供给积分器INTi，则切换电路105选择并输出来自加法电路102的相加结果。响应于使能信号ENi，存储器103中的积分结果(平均黑色电平)更新为最近输入并且反映了从具有与积分器INTi相对应的共享像素ID的像素中读出的像素数据(黑色电平)的值。
除了将具有与积分器INTi相对应的共享像素ID的共享像素提供给积分器INTi之外，切换电路105选择并输出来自存储器103的积分结果(平均黑色电平)。切换电路105的输出对应于从共享数据中具有与积分器INTi相对应的共享像素ID的共享像素中读出的像素数据的平均黑色电平BLi。由于在图8的实例中对每个黑色电平检测框FL更新存储在存储器103中的积分结果(平均黑色电平)，所以以水平周期来更新存储器103中的积分值。
共享像素黑色电平信息BLc由来自积分器电路4142中的多个积分器INT1～INTn的黑色电平输出BL1～BLn组成。
根据由相机控制微型计算机5提供的积分器设定信息Wk来控制积分器INT1～INTn的积分操作。例如，积分器INT1～INTn根据积分器设定信息Wk来改变常数K的值以切换积分时间常数。
作为提供给共享像素黑色电平检测部41的主线信号的拍摄图像数据RAW通过延迟控制器411和412被延迟了执行上述处理所需的时间，并且延迟后的拍摄图像数据RAW被直接提供给下游的共享像素黑色电平校正部42。
如图6所示，用于检测黑色电平的OPB区域通常被设置在固态图像拾取装置中。因此，使用以图6所示方法设定的黑色电平检测框FL，共享像素黑色电平检测部41计算OPB区域中的每个水平行的每个共享像素ID的平均黑色电平，将计算的平均数存储在存储器中，然后将所存储的平均数与主线信号同步输出给下游的处理部。
共享像素黑色电平校正部42的描述
图9是详细示出共享像素黑色电平校正部42的结构实例的框图。共享像素黑色电平校正部42包括延迟控制器421、共享像素箝位处理部422、定时发生器423和通信界面424。延迟控制器421被设置用于作为来自共享像素黑色电平检测部41的主线信号的拍摄图像数据RAW、和共享像素黑色电平信息BLc。
延迟控制器421使拍摄图像数据RAW和共享像素黑色电平信息BLc延迟在定时发生器423中执行处理所需的时间，从而使在定时发生器423中的处理与拍摄图像数据RAW和共享像素黑色电平信息BLc同步。
共享像素箝位处理部422包括执行数字箝位的减法器4221和选择电路4222。从延迟控制器421向减法器4221提供作为主线信号的拍摄图像数据RAW。从延迟控制器421向选择电路4222提供共享像素黑色电平信息BLc。
响应于提供给选择电路4222的选择控制信号SEL2来控制选择电路4222中的选择。与对应的共享像素(具有对应的相同共享像素ID)出现在作为被提供给减法器4221的主线信号的拍摄图像数据RAW中的时间同步，选择电路4222在共享像素黑色电平信息BLc中选择每个像素(在由共享像素ID表示的像素输出序列中具有相同共享像素ID的每个像素)的平均黑色电平BLi，并将所选的平均黑色电平BLi提供给减法器4221。
从定时发生器423向选择电路4222提供选择控制信号SEL2。定时发生器423基于由基准定时信号发生部44提供的基准定时信号TG和通过通信界面424由相机控制微型计算机5提供的共享像素ID设定信息Sid来生成选择控制信号SEL2。
在图9所示的实例中，定时发生器423生成选择控制信号SEL2，该信号使将被选择电路4222选择的每个共享像素(由每个共享像素ID表示的像素)的平均黑色电平BLi与对应的共享像素出现在作为主线信号的拍摄图像数据RAW中的时间(共享像素ID序列)同步，并将生成的选择控制信号SEL2提供给选择电路4222。
因此，减法器4221从主线信号中的对应像素数据中减去由选择电路4222选择的每个共享像素ID的平均黑色电平BLi，以对每个共享像素(即，每个共享像素ID)执行数字箝位。减法器4221将经过数字箝位的拍摄图像数据RAW提供给下游的相机信号处理部43。
如上所述，根据本发明的第一实施例，对每个共享像素检测黑色电平(平均黑色电平)并通过使用所检测的平均黑色电平对每个共享像素执行数字箝位。因此，即使使用应用了像素共享技术的成像器，仍能够降低每个共享像素的黑色电平中的不均匀性。
在本发明第一实施例的处理中，对每个共享像素(对每个共享像素ID)执行关于每行的数字箝位。
尽管在本发明的第一实施例中对每行执行黑色电平的检测和校正，但如果每行的黑色电平的积分值不够用于进行处理，例如，如果OPB区域太小，那么共享像素黑色电平检测部41就不必相对于每行重新设定积分值。共享像素黑色电平检测部41可以跨越多行传送积分结果(例如，IIR积分器)。
然而，重要的是对每个共享像素ID执行数字箝位。此外，由于对每行都检测并校正黑色电平，所以可以为每个共享像素设置共同的垂直阴影。
由于由共享像素ID表示的像素输出序列根据固态图像拾取装置中的共享像素的配置图样而改变，所以如图4A～图4C中的底行所示，像素输出序列依赖于所使用的固态图像拾取装置。因此，优选地，根据由相机控制微型计算机5提供的共享像素ID设定信息Sid来适当地生成选择控制信号SEL1和SEL2。
第二实施例
尽管在本发明的第一实施例中对每行都执行了黑色电平的检测和校正，但如果黑色电平相对于每个共享像素的垂直变化由于固态图像拾取装置的特性而没有出现，那么优选地，通过使用很多像素来计算平均黑色电平，以便增加平均效果。
因此，根据本发明的第二实施例，代替输出关于每行的共享像素黑色电平信息BLc，共享像素黑色电平检测部41输出关于每个画面的共享像素黑色电平信息BLc。
图10是示出根据本发明第二实施例的共享像素黑色电平检测部41的积分电路4142中的积分器INT1～INTn的每个的结构实例的框图。
除根据第一实施例的积分器INTi中的组件外，图10所示的积分器INTi还包括锁存电路106，其用于锁存切换电路105的输出。锁存电路106响应于具有垂直期间的锁存信号Vs来锁存切换电路105的输出。
在图10的积分器INTi中，在黑色电平被积分直到黑色电平检测框FL的右下端并且积分值被存储在存储器103之后，存储在存储器103中的值(平均黑色电平)被锁存在锁存电路106中并且锁存的数据作为对应共享像素ID的平均黑色电平BLi而输出。
换句话说，计算整个画面上的具有相同共享像素ID的每个像素的黑色电平(平均黑色电平)并将与计算得到的黑色电平相对应的信号应用于下一画面的数字箝位。本发明第二实施例中的其它结构与本发明第一实施例中的结构类似。
尽管对应于一个垂直周期的时间延迟出现在黑色电平的检测和将在上述情况下应用的拍摄图像信号之间，但这种延迟通常不会产生任何问题。
由于在本发明的第二实施例中，在黑色电平的检测和对黑色电平校正的检测值的应用之间存在时滞，所以共享像素黑色电平信息BLc可以作为检测值被提供给相机控制微型计算机5，该检测值可以在相机控制微型计算机5中被适当处理，并且可将处理值提供给共享像素黑色电平校正部42。尽管在这种情况下，可在黑色电平的检测和对黑色电平校正的检测值的应用之间出现长于一个垂直周期的时间延迟，但如果对应若干垂直周期时间十分短，则时间延迟通常不会产生任何问题。
第三实施例
在上述本发明的第一和第二实施例中，作为共享像素的像素特性的不均匀性来检测和校正具有不同共享像素ID的像素之间的黑色电平的不均匀性。然而，在具有不同共享像素ID的像素之间的像素特性的不均匀性并不限于黑色电平的不均匀性。
例如，由于像素的光电二极管的开口方向在具有不同共享像素ID的像素之间有所不同，所以就像素的“灵敏度”或像素输出的“线性”来说，具有不同共享像素ID的像素可具有不同的特性。提供本发明的第三实施例用于解决这样的问题。
图11是示出根据本发明第三实施例的数字信号处理单元4的结构实例的框图。
在图11所示的数字信号处理单元4中，根据上述实施例的共享像素黑色电平检测部41被共享像素电平检测部46所取代，其不但检测黑色电平而且还检测除黑色电平外的电平。此外，除根据本发明第一和第二实施例的结构之外，图11中的数字信号处理单元4还包括在共享像素黑色电平校正部42和相机信号处理部43之间的共享像素线性校正部47和共享像素线性校正表存储器48。
共享像素电平检测部46基本上具有与根据本发明第一和第二实施例的共享像素黑色电平检测部41相同的硬件结构。然而，除了本发明第一和第二实施例中的检测和生成共享像素黑色电平信息BLc的组件(功能)之外，根据本发明第三实施例的共享像素电平检测部46还具有检测和生成共享像素白色电平信息WHc的组件(功能)。
具体地，如图1 2所示，当将检测共享像素黑色电平信息BLc时，检测框被设为OPB区域中的黑色电平检测框FLb，而当将检测共享像素白色电平信息WHc时，检测框被定为有效像素区域中的白色电平检测框FLw(在图12中由粗虚线包围)。当将检测和生成共享像素白色电平信息WHc时，拍摄完全相同的对象(例如，白色的墙或板)的图像。只要对象具有完全相同的表面，还可以拍摄除白色外的颜色的对象的图像。
尽管检测框在黑色电平检测框FLb和白色电平检测框FLw之间切换，但对每个共享像素ID平均化像素信号并以与本发明第一实施例中相同的方式输出平均的像素信号。换句话说，由于相同的电路结构可用于黑色电平检测和白色电平检测中的共享像素电平检测部46，所以仅设置一个电路以便减小电路尺寸，并且检测框在黑色电平检测框和白色电平检测框之间切换。
根据本发明的第三实施例，例如，可通过出厂时的线控制使用图样盒(pattern box)等来拍摄完全相同的对象图像，从而得到关于每个共享像素ID的平均信号电平(对应于共享像素白色电平信息WHc)。在这种状态下控制光学单元1中的光圈或中性(ND)滤光片以调节输入光亮度使相机控制微型计算机5识别关于与输入光(输入信号电平)对应的每个共享像素ID的输出。
以上述方式获取L个(L表示不小于2的整数)不同输入信号电平处的关于每个共享像素ID的平均信号电平的数据(L个数据)。例如，这生成图13A所示的每个共享像素ID的灵敏度曲线。在图13A的灵敏度曲线中，水平轴表示输入电平而垂直轴表示输出电平。
如图1 3B所示，相机控制微型计算机5可根据以上述方式在出厂时获取的数据来计算输出信号电平的灵敏率，从而得到关于每个共享像素ID的L个不同输入电平的线性校正表数据Lct。
由于在这个实例中，对每个共享像素ID计算线性校正表数据Lct，所以对每个共享像素ID计算n个线性校正表数据Lct1～Lctn。如上所述，每个共享像素ID的线性校正表数据Lct1～Lctn中的每一个均包括关于L个不同输入信号电平的校正值数据。
根据本发明的第三实施例，以上述方式计算出的关于每个共享像素ID的线性校正表数据Lct(n个线性校正表数据Lct1～Lctn)预先存储在共享像素线性校正表存储器48中作为预设数据。例如，共享像素线性校正表存储器48是电可擦可编程只读存储器(EEPROM)。
在以上描述中，在出厂时获取各种输入光(对应于拍摄图像数据的输入信号电平)的每个共享像素ID的校正表数据，并预先将其存储在共享像素线性校正表存储器48中。然而，相机控制微型计算机5可从在目标图像被实际拍摄之前使用图像拾取设备10拍摄例如白墙或板的图像的用户所获取的共享像素白色电平信息WHc中获取对应于输入光的每个共享像素ID的线性校正表数据Lct，并可将获取的线性校正表数据Lct存储在共享像素线性校正表存储器48中。
图14是示出共享像素线性校正部47的结构实例的框图。图1 4中的共享像素线性校正部47包括为作为主线信号的拍摄图像数据RAW提供的延迟控制器471和472、乘法处理器473、定时发生器474、共享像素线性校正因数计算器475和通信界面476。
延迟控制器471和472延迟作为主线信号的拍摄图像数据RAW，并将延迟的拍摄图像数据RAW提供给乘法处理器473。在共享像素线性校正部47中设置延迟控制器471和472，从而调节在乘法处理器473中校正拍摄图像数据RAW的时间。
共享像素线性校正因数计算器475具有图15所示的结构。共享像素线性校正因数计算器475包括延迟控制器4751、共享像素校正信号选择电路4752、校正值选择电路4753、线性内插电路4754和输入信号电平检测器4755。
延迟控制器4751被设置用于使作为主线信号的拍摄图像数据RAW的定时与线性校正信号的定时同步。
从共享像素线性校正表存储器48向共享像素校正信号选择电路4752提供关于每个共享像素ID的n个线性校正表数据Lct1～Lctn。
从定时发生器474向共享像素校正信号选择电路4752提供选择控制信号SEL3。定时发生器474基于由基准定时信号发生部44提供的基准定时信号TG和通过通信界面476由相机控制微型计算机5提供的共享像素ID设定信息Sid来生成选择控制信号SEL3。
在图14所示的实例中，定时发生器474生成选择控制信号SEL3，并将生成的选择控制信号SEL3提供给共享像素线性校正因数计算器475中的共享像素校正信号选择电路4752，其中，选择控制信号SEL3使将被共享像素校正信号选择电路4752选择的每个共享像素ID(由每个共享像素ID表示的像素)的线性校正表数据Lcti(i表示1～n的任何一个)与对应共享像素出现在作为主线信号的拍摄图像数据RAW中的时间(共享像素ID序列)同步。
由于由共享像素ID表示的像素输出序列根据所使用的固态图像拾取装置而改变，所以优选地，根据相机控制微型计算机5通过通信界面476提供的共享像素ID设定信息Sid来适当地生成选择控制信号SEL3。
响应于选择控制信号SEL3，共享像素校正信号选择电路4752从由共享像素线性校正表存储器48提供的n个线性校正表数据Lct1～Lctn中选择通过其校正主线信号将的L个线性校正表数据Lcti。换句话说，共享像素校正信号选择电路4752选择对应于共享像素ID的灵敏度曲线。从共享像素校正信号选择电路4752向校正值选择电路4753提供每个共享像素ID的选择线性校正表数据Lcti。
将作为通过延迟控制器4751提供的主线信号的拍摄图像数据RAW提供给输入信号电平检测器4755，在其中检测输入信号电平。将由输入信号电平检测器4755检测的输入信号电平提供给校正值选择电路4753。
校正值选择电路4753参考作为由输入信号电平检测器4755提供的主线信号的输入信号电平，以从L个线性校正表数据Lcti中选择最接近输入信号电平的两个点处的校正数据Sa和Sb，然后将所选择的两个校正数据Sa和Sb提供给线性内插电路4754。
根据由校正值选择电路4753提供的两个校正数据Sa和Sb以及由输入信号电平检测器4755获取的主线信号的电平，线性内插电路4754通过线性内插法来计算适合于主线信号的电平的校正因数，并将计算出的校正因数提供给乘法处理器473。
乘法处理器473使作为由延迟控制器472提供的主线信号的拍摄图像数据RAW乘以由共享像素线性校正因数计算器475提供的校正因数，以执行线性校正。线性校正产生具有不同共享像素ID的像素之间的灵敏度变化被校正的拍摄图像数据RAWc。从共享像素线性校正部47向下游的相机信号处理部43提供拍摄图像数据RAWc。
如上所述，根据本发明的第三实施例，可以校正由于在具有非常简单的电路结构的固态图像拾取装置中的共享像素的配置图样中临近或接近像素之间的电路布局的不均匀性所引起的黑色电平和灵敏度的不均匀性，其中，在固态图像拾取装置中，像素结构所需的诸如晶体管的电路在临近或接近的像素之间被共享，从而提高了像素灵敏度。
其他实施例和修改
尽管在本发明的上述实施例中例示了包括在固态图像拾取装置中的滤色片、读出通道和像素的共享方法，但是本发明并不限于例示的实施例。本发明可应用于在本发明范围内的其它结构。
例如，当考虑到设置在固态图像拾取装置中的滤色片时，图4A～图4C所示的三个共享像素的示例性配置图样具有图16A～图16C所示的共享像素ID和由共享像素ID表示的像素输出序列。
图16A～图16C的顶行所示的共享像素的配置图样具有由其中间行所示出的共享像素ID和由其底行所示出的共享像素ID表示的像素输出序列。
在图16A～16C的实例中，检测并生成与中间行所示的共享像素ID相对应的黑色电平校正值和线性校正值，并且与底行所示的共享像素ID的像素输出序列同步地执行校正。
尽管在本发明的上述实施例中通过CMOS成像器来作为固态图像拾取装置的实例，但固态图像拾取装置也可以是CCD成像器。
取代整个画面，可以对每个区域(诸如画面上的中心区域或***区域)存储关于每个共享像素ID的线性校正表数据Lct，并且可以通过使用所存储的线性校正表数据Lct，对每个共享像素ID校正从对应区域中读出的像素数据。
类似地，可以对每个区域(诸如画面上的中心区域或***区域)检测关于每个共享像素ID的平均黑色电平，并且可通过使用所检测和存储的平均黑色电平ID，对每个共享像素ID校正从对应区域中读出的像素数据的黑色电平。
本领域的技术人员应理解，根据设计要求和其他因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (10)

1.一种图像拾取设备，包括：
固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路的一部分在具有相同配置图样的预定数目的像素之间被共享；
校正值生成装置，用于为包括在一个配置图样中全部n个像素的每一个生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，所述校正值用于校正由所述配置图样中的像素之间的位置差异所引起的像素特性的不均匀性，其中n表示2以上的整数；以及
校正装置，用于基于由所述校正值生成装置生成的关于对应像素数据的所述校正值来校正从所述固态图像拾取装置读出的每个像素数据。
2.根据权利要求1所述的图像拾取设备，
其中，所述像素特性的不均匀性表示像素数据之间的黑色电平的不均匀性。
3.根据权利要求2所述的图像拾取设备，
其中，通过在所述固态图像拾取装置中检测所述黑色电平的区域中计算配置在所述配置图样中的相同位置处的像素的黑色电平的平均值，所述校正值生成装置生成关于从具有相同配置图样的每个像素的像素位置读出的所述像素数据的所述校正值。 
4.根据权利要求1所述的图像拾取设备，
其中，所述像素特性的不均匀性表示像素数据之间的输出线性的不均匀性。
5.根据权利要求4所述的图像拾取设备，
其中，所述校正值生成装置包括存储装置，所述存储装置用于对所述配置图样中的每个像素位置存储当拍摄相同对象的图像时根据从所述固态图像拾取装置读出的所述像素数据而生成的所述校正值，所述校正值用于校正所述配置图样中的像素位置之间的输出电平差。
6.根据权利要求1所述的图像拾取设备，还包括：
存储装置，用于存储由所述校正值生成装置生成的所述校正值。
7.一种图像拾取设备，包括：
固态图像拾取装置，包括以二维阵列形式排列的多个像素，像素结构所必需的电路的一部分在具有相同配置图样的预定数目的像素之间被共享；
黑色电平生成装置，用于通过使用从与检测所述黑色电平的区域相对应的像素读出的像素数据，为包括在一个配置图样中全部n个像素的每一个生成从具有相同配置图样的每个像素的像素位置读出的像素数据的平均黑色电平，所述配置图样中的不同像素位置具有不同的平均黑色电平，其中n表示2以上的整数；以及
箝位装置，用于基于由所述黑色电平生成装置生成的所述平均黑色电平，对从所述固态图像拾取装置读出的每个像素数据执行数字箝位。 
8.根据权利要求7所述的图像拾取设备，
其中，所述黑色电平生成装置在所述固态图像拾取装置中检测所述黑色电平的区域中计算配置在所述配置图样中的相同位置处的像素的黑色电平的平均值，并且为所述配置图样中的每行更新所述平均值，以生成所述配置图样中的每个像素位置处的黑色电平。
9.根据权利要求7所述的图像拾取设备，
其中，所述黑色电平生成装置在所述固态图像拾取装置中检测所述黑色电平的区域中计算配置在所述配置图样中的相同位置处的像素的黑色电平的平均值，并且为所述二维阵列的每个画面更新所述平均值，以生成所述配置图样中的每个像素位置处的黑色电平。
10.一种用于校正从固态图像拾取装置读出的拍摄图像数据的方法，所述固态图像拾取装置包括以二维阵列形式排列的多个像素，像素结构所需的电路的一部分在具有相同配置图样的预定数目的像素之间被共享，所述方法包括以下步骤：
为包括在一个配置图样中全部n个像素的每一个生成关于从具有相同配置图样的每个像素的像素位置读出的像素数据的校正值，所述校正值用于校正由所述配置图样中的像素之间的位置差异而引起的像素特性的不均匀性，其中n表示2以上的整数；以及
基于关于对应像素数据的所述校正值来校正从所述固态图像拾取装置读出的每个像素数据。 
CN2008100975684A 2007-05-15 2008-05-14 图像拾取设备和校正拍摄图像数据的方法 Expired - Fee Related CN101309349B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007128852A JP4292426B2 (ja) 2007-05-15 2007-05-15 撮像装置および撮像データ補正方法
JP2007-128852 2007-05-15

Publications (2)

Publication Number Publication Date
CN101309349A CN101309349A (zh) 2008-11-19
CN101309349B true CN101309349B (zh) 2011-12-14

Family

ID=39643998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100975684A Expired - Fee Related CN101309349B (zh) 2007-05-15 2008-05-14 图像拾取设备和校正拍摄图像数据的方法

Country Status (6)

Country Link
US (1) US8576305B2 (zh)
EP (1) EP1993277A3 (zh)
JP (1) JP4292426B2 (zh)
KR (1) KR20080101698A (zh)
CN (1) CN101309349B (zh)
TW (1) TW200904170A (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070242153A1 (en) * 2006-04-12 2007-10-18 Bei Tang Method and system for improving image region of interest contrast for object recognition
DE102007039021A1 (de) * 2007-08-17 2009-02-26 Vistec Semiconductor Systems Gmbh Verfahren zum reproduzierbaren Bestimmen von Objekteigenschaften
GB0920921D0 (en) * 2009-11-30 2010-01-13 St Microelectronics Res & Dev Method and system for repeated fixed patttern noise correction
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
JP5251912B2 (ja) * 2010-03-25 2013-07-31 三菱電機株式会社 画像読取装置
JP2012015587A (ja) * 2010-06-29 2012-01-19 Toshiba Corp 固体撮像装置
JP2012049947A (ja) * 2010-08-30 2012-03-08 Mitsubishi Electric Corp 画像処理装置
CN102404515A (zh) * 2010-09-13 2012-04-04 联咏科技股份有限公司 影像感测装置
JP2013017040A (ja) * 2011-07-04 2013-01-24 Toshiba Corp 画像処理装置及び固体撮像装置
CN102595057B (zh) * 2012-02-27 2014-09-24 北京思比科微电子技术股份有限公司 Cmos图像传感器像素及其控制时序
JP2013239904A (ja) * 2012-05-15 2013-11-28 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP6037170B2 (ja) * 2013-04-16 2016-11-30 ソニー株式会社 固体撮像装置およびその信号処理方法、並びに電子機器
CN104125420B (zh) * 2013-04-26 2019-01-04 联咏科技股份有限公司 固定样式噪声移除方法
JP2015012373A (ja) * 2013-06-27 2015-01-19 株式会社東芝 固体撮像装置
JP2015109588A (ja) * 2013-12-05 2015-06-11 株式会社東芝 信号処理装置及び撮像システム
KR20150146308A (ko) * 2014-06-23 2015-12-31 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
JP6873905B2 (ja) * 2015-09-11 2021-05-19 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP6664240B2 (ja) * 2016-03-09 2020-03-13 キヤノン株式会社 撮像システム並びに撮像装置及びその制御方法
JP6727017B2 (ja) * 2016-04-21 2020-07-22 キヤノン株式会社 撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法
JP6815777B2 (ja) * 2016-07-25 2021-01-20 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6929117B2 (ja) * 2017-04-26 2021-09-01 キヤノン株式会社 撮像装置および制御方法
CN109271133B (zh) * 2018-08-01 2022-05-31 南京中感微电子有限公司 一种数据处理方法及***
CN109194307B (zh) * 2018-08-01 2022-05-27 南京中感微电子有限公司 数据处理方法及***
EP3837674A4 (en) 2018-08-13 2022-05-18 Magic Leap, Inc. CROSS REALITY SYSTEM
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
WO2020072985A1 (en) 2018-10-05 2020-04-09 Magic Leap, Inc. Rendering location specific virtual content in any location
EP3861533A4 (en) * 2018-10-05 2022-12-21 Magic Leap, Inc. CROSS REALITY SYSTEM
CN114586071A (zh) 2019-10-15 2022-06-03 奇跃公司 支持多设备类型的交叉现实***
US11632679B2 (en) 2019-10-15 2023-04-18 Magic Leap, Inc. Cross reality system with wireless fingerprints
EP4046139A4 (en) 2019-10-15 2023-11-22 Magic Leap, Inc. EXTENDED REALITY SYSTEM WITH LOCATION SERVICE
EP4059007A4 (en) 2019-11-12 2023-11-01 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH LOCATION SERVICE AND SHARED LOCATION-BASED CONTENT
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. CROSS-REALLY SYSTEM WITH SIMPLIFIED PROGRAMMING OF VIRTUAL CONTENT
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
CN115398314A (zh) 2020-02-13 2022-11-25 奇跃公司 使用多分辨率帧描述符进行地图处理的交叉现实***
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
EP4111425A4 (en) 2020-02-26 2024-03-13 Magic Leap, Inc. MIXED REALITY SYSTEM WITH QUICK LOCATION
WO2021222371A1 (en) 2020-04-29 2021-11-04 Magic Leap, Inc. Cross reality system for large scale environments

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084912B2 (en) * 2001-09-20 2006-08-01 Yuen-Shung Chieh Method for reducing coherent row-wise and column-wise fixed pattern noise in CMOS image sensors

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178541B2 (ja) * 1991-05-29 2001-06-18 キヤノン株式会社 画像処理方法及び装置
US5329111A (en) 1991-06-27 1994-07-12 Omron Corporation Image reader with adjustable contrast range
JP3838665B2 (ja) 1995-08-11 2006-10-25 株式会社 東芝 Ｍｏｓ型固体撮像装置
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
US6956605B1 (en) 1998-08-05 2005-10-18 Canon Kabushiki Kaisha Image pickup apparatus
US7050098B2 (en) * 2001-03-29 2006-05-23 Canon Kabushiki Kaisha Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame
US20030202111A1 (en) 2002-04-30 2003-10-30 Jaejin Park Apparatus and methods for dark level compensation in image sensors using dark pixel sensor metrics
JP3988189B2 (ja) 2002-11-20 2007-10-10 ソニー株式会社 固体撮像装置
US20040239782A1 (en) * 2003-05-30 2004-12-02 William Equitz System and method for efficient improvement of image quality in cameras
JP4461743B2 (ja) 2003-08-28 2010-05-12 株式会社三洋物産 遊技機
JP4207736B2 (ja) 2003-10-01 2009-01-14 ソニー株式会社 固体撮像装置
US20050243193A1 (en) * 2004-04-30 2005-11-03 Bob Gove Suppression of row-wise noise in an imager
JP4492250B2 (ja) * 2004-08-11 2010-06-30 ソニー株式会社 固体撮像素子
JP4971586B2 (ja) 2004-09-01 2012-07-11 キヤノン株式会社 固体撮像装置
GB2425229B (en) 2005-04-14 2008-04-09 Micron Technology Inc Generation and storage of column offsets for a column parallel image sensor
US7830437B2 (en) * 2005-05-11 2010-11-09 Aptina Imaging Corp. High fill factor multi-way shared pixel
KR20070046648A (ko) 2005-10-31 2007-05-03 삼성에스디아이 주식회사 전자 방출 소자
JP4329765B2 (ja) 2006-01-31 2009-09-09 ソニー株式会社 固体撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084912B2 (en) * 2001-09-20 2006-08-01 Yuen-Shung Chieh Method for reducing coherent row-wise and column-wise fixed pattern noise in CMOS image sensors

Also Published As

Publication number Publication date
KR20080101698A (ko) 2008-11-21
US20080284889A1 (en) 2008-11-20
EP1993277A3 (en) 2009-09-02
EP1993277A2 (en) 2008-11-19
JP4292426B2 (ja) 2009-07-08
CN101309349A (zh) 2008-11-19
TW200904170A (en) 2009-01-16
JP2008288648A (ja) 2008-11-27
US8576305B2 (en) 2013-11-05

Similar Documents

Publication Publication Date Title
CN101309349B (zh) 图像拾取设备和校正拍摄图像数据的方法
JP5462345B2 (ja) 光感度が改善されたイメージ・センサー
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
JP5163935B2 (ja) イメージセンサ
CN102652432B (zh) 图像处理设备、图像处理方法
JP5361535B2 (ja) 撮像装置
US20070206110A1 (en) Solid state imaging device and image pickup apparatus
CN102823236A (zh) 成像装置以及图像处理方法
JP2009524988A (ja) 光感度が改善されたイメージ・センサー
CA2844889A1 (en) Imaging apparatus, signal processing method, and program
US20110122301A1 (en) Imaging device and imaging method
CN103444183B (zh) 彩色摄像元件及摄像装置
KR20090049540A (ko) 촬상장치 및 촬상 데이터 보정 방법과 프로그램
CN103460704B (zh) 彩色摄像元件及摄像装置
US9332199B2 (en) Imaging device, image processing device, and image processing method
US7952636B2 (en) Method for driving solid-state imaging device and imaging apparatus
JP4329409B2 (ja) 電子カメラのシェーディング補正回路
JP6024102B2 (ja) 撮像装置
JP6815777B2 (ja) 撮像装置及び撮像装置の制御方法
WO2016002274A1 (ja) 撮像装置、画像処理方法、及び画像処理プログラム
JP2007228152A (ja) 固体撮像装置および撮像方法
JP7020463B2 (ja) 撮像装置
JP6590055B2 (ja) 撮像装置
JP6402807B2 (ja) 撮像装置
US20070222874A1 (en) Image signal processor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20111214

Termination date: 20150514

EXPY Termination of patent right or utility model