CN101374195B - 摄像设备 - Google Patents

摄像设备 Download PDF

Info

Publication number
CN101374195B
CN101374195B CN2008101349279A CN200810134927A CN101374195B CN 101374195 B CN101374195 B CN 101374195B CN 2008101349279 A CN2008101349279 A CN 2008101349279A CN 200810134927 A CN200810134927 A CN 200810134927A CN 101374195 B CN101374195 B CN 101374195B
Authority
CN
China
Prior art keywords
pixel portions
imaging apparatus
signal
shading pixel
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101349279A
Other languages
English (en)
Other versions
CN101374195A (zh
Inventor
铃木聪史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101374195A publication Critical patent/CN101374195A/zh
Application granted granted Critical
Publication of CN101374195B publication Critical patent/CN101374195B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

提供了一种用于与拍摄条件和/或拍摄环境无关地进行具有提高的精确度的垂直暗阴影校正的摄像设备。该摄像设备包括:摄像元件,其具有包括未被遮光的多个像素部的有效像素部以及包括被遮光的多个像素部的遮光像素部;信号处理单元,用于设置从有效像素部发送的输出信号的基准电平;以及控制单元,用于基于拍摄条件和/或环境条件,在设置在遮光像素部中的用于设置基准电平的多个区域之间进行切换。

Description

摄像设备
技术领域
本发明涉及一种用于拍摄被摄体图像的摄像设备。
背景技术
已经存在如电子照相机等许多摄像设备,该电子照相机用于对通过包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器等固态摄像元件拍摄到的静止图像和/或运动图像进行记录和/或再现。
根据上述摄像设备,由于所提供的各种类型电源的电压波动,输出信号经常波动,并且该波动的结果经常显现在输出图像上。当出现如下输出信号时,电平在多行上波动,其中该输出信号受到以比通过摄像元件来读取对应于一行的数据所需要的时间段长的间隔出现的渐进电压波动的影响。因此,在输出图像上出现垂直阴影。当出现电压波动的间隔变得更短时,更频繁地出现垂直阴影,从而在图像上出现水平条纹。
由于电压波动而导致出现上述垂直阴影的图案并不总是恒定的。也就是说,在图像上出现的垂直阴影的形状随每次拍摄而改变。因此,难于使用预先准备的校正数据。
因此,如在日本特开2005-175930中公开的,需要通过使用摄像元件中光学遮挡的水平光学黑(optical-black,OB)区域的输出值来校正形状随每次摄像而改变的垂直阴影。
例如,已经存在如下方法:在如图像引擎(image engine)等数字信号处理电路中,计算水平OB区域的每行的输出信号的平均值,并从该行的有效像素区域的输出信号中减去计算出的平均值。
此外,存在如下方法:针对摄像单元的输出信号,通过使用模拟信号处理电路的水平OB钳位单元,来对行的有效像素区域的输出信号进行移位,从而使得每行的水平OB区域的输出信号的平均值变成该行的暗基准值。
顺便提及,如在日本特开2002-64196中公开的,构成水平OB区域的OB像素包括下列两种类型的OB像素。
第一OB像素包括如光电二极管等光电转换元件以及用于输出由光电转换元件生成的信号的层。通过使用铝等来光学遮挡第一OB像素的前面。
第二OB像素不包括光电转换元件和/或包括光电转换元件,但不包括用于输出由光电转换元件生成的信号的层。不同于从第一OB像素输出的信号,从第二OB像素输出的信号不包括在光电转换元件中出现的暗电流分量。因此,可以通过提供第一OB像素和第二OB像素两者,并将从第一OB像素输出的信号与从第二OB像素输出的信号进行比较,来估计进行拍摄的环境中的暗电流的量。此外,不会从第二OB像素输出由暗电流引起的缺陷,并且不会输出在每个像素中出现的噪声分量。因此,从第二OB像素输出的信号能够用于校正不是从像素生成的其它噪声分量。
另一方面,正如接收来自被摄体的光的有效像素部,从第一OB像素输出的信号包含暗电流。因此,需要从第一OB像素输出的信号,从而进行垂直暗阴影校正(vertical-dark-shadingcorrection),以吸收从有效像素部输出的信号的暗电流分量的电平波动。
然而,当在通过使用从第一OB像素输出的信号进行的垂直暗阴影校正期间,在任意第一OB像素中出现强噪声时,校正精确度显著受噪声影响。因此,在某些拍摄条件下,难以精确地进行垂直暗阴影校正,并且图像质量可能劣化。
例如,如果为少量的入射光设置长的累积时间,则在从像素输出的信号中所包括的噪声也增大。因此,从第一OB像素输出的信号的偏差可能变大。也就是说,OB像素之间的输出信号偏差可能变大。在这种情况下,根据从第一OB像素输出的信号所生成的校正数据也逐行变化。结果,如果通过使用校正数据来进行校正,则校正后获得的输出图像可能逐行变化,并且可能在图像上出现水平条纹。
如果在出现很多暗电流的环境下,即在高温环境下和/或在长曝光时间时进行拍摄,缺陷像素出现的可能性增加,其中,缺陷像素所生成的暗电流量比由位于缺陷像素周围的像素所生成的暗电流量大。如果存在缺陷像素,则缺陷像素所在的行的第一OB像素的输出信号的平均值受缺陷像素影响,并且上述行的校正值与其它行的校正值明显不同。因此,如果通过使用校正数据进行水平暗阴影校正,则仅对包括缺陷像素的与第一OB像素相对应的行进行不适当的校正。结果,在校正后获得的图像上可能出现水平线。
在任何情况下,如果为每行设置足够数量的第一OB像素并且增加第一OB像素的数量,则能够降低为每行设置的第一OB像素的平均值的偏差,其中该第一OB像素用于计算生成校正数据所使用的平均值。
然而,布置第一OB像素的区域的大小的不必要增大导致芯片大小的增大,从而使得成本增加。因此,限制布置第一OB像素的水平OB区域的大小。
因此,如果进行已知的垂直暗阴影校正,则优选对校正数据进行平滑化,以消除噪声分量的影响。然而,即使平滑化后的校正数据不影响对渐进垂直暗阴影进行校正,但是平滑化后的校正数据的使用使得难以正确地校正如上述水平条纹等具有高频率的垂直阴影分量。
因此,对于与拍摄条件和/或拍摄环境无关地以高精确度来进行垂直暗阴影校正,仍存在改善空间。
发明内容
本发明提供一种允许在不增加摄像元件的大小的情况下提高暗阴影校正的精确度的摄像设备。
根据本发明的一个方面,一种摄像设备,包括:摄像元件,其包括有效像素部和遮光像素部,其中所述有效像素部用于接收被摄体的光学图像并生成图像信号,所述遮光像素部包括被遮光的多个像素部;信号处理单元,用于设置从所述有效像素部发送的输出信号的基准电平;以及控制单元,用于基于所述摄像元件的累积时间、所述摄像元件的环境温度、以及从所述摄像元件输出的信号的增益至少之一,来在设置在所述遮光像素部中的用于设置所述基准电平的至少两个区域之间切换,其中,所述遮光像素部包括具有不同结构的第一遮光像素部和第二遮光像素部,以及其中,所述控制单元在使用所述第一遮光像素部作为用于设置所述基准电平的区域的情况与使用所述第一遮光像素部和所述第二遮光像素部中的每个作为用于设置所述基准电平的区域的情况之间切换。
根据下面参考附图对示例性实施例的详细说明,本发明的其它特征和方面将显而易见。
附图说明
图1是示出摄像设备的示例结构的框图。
图2示出摄像元件的像素区域的示例结构。
图3是示出根据本发明第一实施例的模拟信号处理电路的例子的框图。
图4是示出根据本发明第二实施例的数字信号处理电路的例子的框图。
图5是示出根据第一实施例进行的垂直暗阴影校正的示例过程的流程图。
图6A是根据第二实施例如何对校正数据进行平滑化的例子。
图6B也用于示例性说明根据第二实施例如何对校正数据进行平滑化。
图6C是根据第二实施例如何对校正数据进行平滑化的例子。
图6D也是根据第二实施例如何对校正数据进行平滑化的例子。
图7是示出根据第二实施例进行的垂直暗阴影校正的示例过程的流程图。
具体实施方式
下面参考附图将详细说明本发明的各种示例性实施例、特征和方面。
图1是示出摄像设备的示例结构的框图。
在图1中,设置了包括透镜和光圈的光学***101、机械快门102、将入射光转换成电信号的摄像元件103、对从摄像元件103输出的图像信号进行模拟信号处理的模拟信号处理电路104、以及在模拟信号处理电路104中进行相关双采样的CDS电路105。
此外,还设置了:信号放大器106,用于在模拟信号处理电路104中放大模拟信号;钳位电路107,用于进行光学黑(OB)钳位;模拟/数字(A/D)转换器108,用于在模拟信号处理电路104中将模拟信号转换成数字信号;以及定时信号生成电路110,用于生成使摄像元件103和模拟信号处理电路104运行的信号。
此外,设置了:驱动电路111,用于驱动光学***101、机械快门102和摄像元件103;数字信号处理电路112,用于进行通过拍摄获得的图像数据所必需的数字信号处理;图像存储器113,用于存储已经进行了信号处理的图像数据;以及记录介质114,其能够从摄像设备移除。
此外,设置了:记录电路115,用于将已经进行了信号处理的图像数据记录到记录介质114上;图像显示装置116,用于显示已经进行了信号处理的图像数据;显示电路117,用于进行控制以在图像显示装置116上显示图像;以及***控制单元118,用于控制整个摄像设备。***控制单元118控制如下各个的操作:定时信号生成电路110、驱动电路111、数字信号处理电路112、图像存储器113、记录电路115、显示电路117、非易失性存储器119以及易失性存储器120。
非易失性存储器(ROM)119用于存储写有由***控制单元118进行的控制方法的程序、用于执行该程序的参数以及如缺陷地址(flaw address)上的数据等校正数据。易失性存储器120是用于根据需要来存储存储在非易失性存储器119中的程序、控制数据以及校正数据的易失性存储器(随机存取存储器(RAM))。
温度检测单元121用于检测摄像元件103的温度和/或在其周围设置的电路的温度。累积时间设置单元122用于设置摄像元件103的累积时间。***控制单元118基于由累积时间设置单元122设置的累积时间,来向定时信号生成电路110发送驱动摄像元件103的指令。拍摄模式设置单元123用于进行如ISO感光度设置等拍摄条件设置、在静止图像拍摄和/或运动图像拍摄之间切换等。
在下文中,将说明上述摄像设备的拍摄操作。当接通摄像设备的电源时,***控制单元118开始运行,并且从非易失性存储器119向易失性存储器120传送必要的程序、控制数据和校正数据以及/或者将必要的程序、控制数据和校正数据存储在非易失性存储器120中。当***控制单元118控制摄像设备时,使用上述程序和/或数据。然后,将附加程序和/或附加数据项从非易失性存储器119传送到易失性存储器120,并且***控制单元118根据需要读取并使用存储在非易失性存储器119中的数据。
光学***101基于从***控制单元118发送的控制信号,通过驱动光圈和透镜,来在摄像元件103上形成调整了亮度的被摄体图像。
当拍摄静止图像时,与摄像元件103的电子快门的操作相关联地驱动机械快门102,从而控制摄像元件103的曝光时间。此外,当拍摄运动图像时,将机械快门102保持在打开状态,使得在视频拍摄期间摄像元件103总是暴露至光。
通过根据操作脉冲信号生成的驱动脉冲信号来驱动摄像元件103,其中该操作脉冲信号由定时信号生成电路110生成。然后,摄像元件103通过光电转换将关于被摄体图像的数据转换成电信号,并且输出该电信号作为模拟图像信号。
CDS电路105根据由定时信号生成电路110生成的操作脉冲,来从由摄像元件103输出的模拟图像信号中去除时钟同步噪声。信号放大器106对从CDS电路105输出的模拟图像信号施加具有基于入射光量所确定的放大系数的增益。钳位电路107通过使用摄像单元103的水平OB区域的输出信号作为基准电压,来对由信号放大器106放大的模拟图像信号进行钳位。然后,A/D转换器108将模拟图像信号转换成数字图像信号。
接着,数字信号处理电路112生成由于对水平OB区域的信号进行平均处理而产生的关于垂直暗阴影校正的数据,并且通过使用该校正数据来进行垂直阴影校正处理,其中该信号包括在数字图像信号中。此外,数字信号处理电路112对数字图像信号进行包括颜色转换、白平衡处理、伽玛校正等图像处理、分辨率转换处理以及图像压缩处理等。图像存储器113用于临时存储进行信号处理的数字图像信号,并存储作为已经进行了信号处理等数字图像信号的图像数据等。
通过显示电路117将由数字信号处理电路112进行了分辨率转换处理的图像数据转换成适合于图像显示装置116的信号(例如,以国家电视标准委员会(NTSC)格式等生成的模拟信号),并且在图像显示装置116上进行显示。在另一种情况下,通过记录电路115将由数字信号处理电路112进行了信号处理的图像数据和/或存储在图像存储器113中的图像数据转换成为适合于记录介质114的数据(如,具有分层结构的文件***数据),并且将其记录到记录介质114上。
***控制单元118可能不使数字信号处理电路112进行信号处理,而可以进行控制使得将数字图像信号以其原始形式输出到图像存储器113和/或记录电路115作为图像数据。
在接收到从***控制单元118发出的请求时,数字信号处理处理112将包括在信号处理期间生成的数字图像信号和/或图像数据的信息输出到***控制单元118。例如,该信息包括关于图像的空间频率、指定区域的平均值和压缩图像的数据量等的信息,或者从它们中提取的信息。此外,在接收到从***控制单元118发出的请求时,记录电路115将关于记录介质114的类型、空闲空间等的信息输出到***控制单元118。
此外,将说明在将图像数据记录到记录介质114上时进行的再现操作。记录电路115基于从***控制单元118发送的控制信号,读取来自记录介质114的图像数据。当该图像数据是关于压缩图像的数据时,与先前说明的情况一样,数字信号处理电路112基于从***控制单元118发送的控制信号,进行图像展开处理,并且将该图像数据存储在图像存储器113中。通过数字信号处理电路112对存储在图像存储器113中的图像数据进行分辨率转换处理,通过显示电路117将其转换成适合于图像显示装置116的信号,并且在图像显示装置116上进行显示。
图2示出摄像元件103的像素区域的示例结构。
在图2中,设置了垂直OB部201、第一水平OB部(第一遮光像素部)202以及第二水平OB部(第二遮光像素部)203。第一水平OB部202和第二水平OB部203形成水平OB部。垂直OB部201、第一水平OB部202和第二水平OB部203中的每个包括多个像素,其中,通过使用铝等对像素中的每个的前面进行遮光。上述部中的垂直OB部201和第一水平OB部202中的每个均包括具有如光电二极管等光电转换元件的第一OB像素。
另一方面,第二水平OB部203包括至少一个不包括如光电二极管等光电转换元件的像素。或者,即使第二OB像素包括光电转换元件,第二OB像素也不包括用于将由光电转换元件生成的电信号传送到摄像元件的输出单元的单元。也就是说,第二OB像素包括至少一个具有用于防止输出由光电转换元件生成的信号的单元的像素。有效像素部204包括至少一个未被遮光的、并且接收关于被摄体图像的数据并生成信号电荷的有效像素。第一计算区域205包括部分和/或全部第一水平OB部202。第二计算区域206包括部分和/或全部第二水平OB部203。
第一示例性实施例
图3是示出根据本发明第一实施例的模拟信号处理电路104的框图。
在第一实施例中,通过使用上述模拟信号处理电路104的水平OB钳位功能来进行垂直暗阴影校正。
在图3中,摄像元件103、模拟信号处理电路104、CDS电路105、信号放大器106、钳位电路107以及A/D转换器108与参考图1说明的相同。在信号放大器106的输出侧与钳位电路107的输入侧之间***电容器301。基于反馈***构成的钳位电压生成电路302将A/D转换器108的输出侧连接至钳位电路107。
将从摄像元件103发送的图像信号发送到模拟信号处理电路104。CDS电路105采样并保持发送到模拟信号处理电路104的图像信号,并且信号放大器106将预定增益施加到图像信号。然后,使从信号放大器106输出的图像信号通过电容器301,从而去除图像信号的直流(DC)分量。然后,将该图像信号发送到钳位电路107。钳位电路107基于从钳位电压生成电路302输出的钳位控制电压作为基准电压,来对发送到的图像信号进行钳位。
将钳位后的模拟图像信号发送到A/D转换器108,并将其转换成数字图像信号。作为从模拟信号处理电路104输出的信号,输出数字图像信号,并且将其发送到钳位电压生成电路302。钳位电压生成电路302对包括在数字图像信号中的水平OB区域的输出信号按每行和/或以预定间隔进行积分,并且生成钳位控制电压,从而使得积分值变为恒定。
因此,在钳位电路107、A/D转换器108和钳位电压生成电路302之间生成闭合环路。然后,钳位电压生成电路302设置在反馈时间处使用的时间常数(反馈增益),并且进行反馈控制,使得从模拟信号处理电路104输出的数字图像信号的OB电平变为恒定。
图5是示出根据第一实施例进行的垂直暗阴影校正的示例过程的流程图。当设置了静止图像拍摄模式时,开始与步骤S501相对应的处理。
在步骤S501中,信号放大器106设置增益,并进行初始设置,该初始设置包括如光圈值、曝光时间等拍摄条件。
在步骤S502中,***控制单元118判断由温度检测单元121检测到的摄像元件103的温度和/或设置在其周围的电路的温度是否等于和/或高于阈值。如果检测到的温度等于和/或高于阈值,则处理进入步骤S510。否则,处理进入步骤S503。
在步骤S503中,判断由累计时间设置单元122设置的摄像元件103的累积时间的值是否等于和/或大于阈值。如果判断为所设置的累积时间值等于和/或大于阈值,使得进行长曝光,则处理进入步骤S510。否则,处理进入步骤S504。
在步骤S504中,判断由信号放大器106设置的增益的值是否小于阈值。如果判断为所设置的增益的值小于阈值,则处理进入步骤S510。如果判断为所设置的增益的值等于和/或大于阈值,则处理进入步骤S505。
因此,当摄像元件103的环境温度小于阈值并且摄像元件103的累积时间的值小于阈值时,判断为极有可能在有效像素部204中仅出现少量暗电流。在这种情况下,处理进入步骤S505。否则,判断为极有可能在有效像素部204中出现大量暗电流。在这种情况下,处理进入步骤S510。根据上述实施例,当进行判断的值任意之一大于阈值时,处理进入步骤S510。然而,可以在不限于上述实施例的情况下实现本发明。也就是说,当进行判断的值中的至少两个大于阈值时,处理可以进入步骤S510。此外,可以将点数赋予这些值中的每个值,使得当总点数大于阈值时,处理进入步骤S510。
在步骤S505中,***控制单元118将第一计算区域205和第二计算区域206中的每个确定为钳位电压生成电路302所参考的区域,从而生成钳位控制电压。
如果很少出现暗电流,则在包括至少一个第一OB像素的第一计算区域205的电平与包括至少一个第二OB像素的第二计算区域206的电平之间的差小,其中,在从第一OB像素输出的信号中包括暗电流,在从第二OB像素输出的信号中不包括暗电流。因此,按每行和/或以预定间隔对第一计算区域205和第二计算区域206两者的输出信号进行积分,并且能够生成钳位控制电压,从而使得积分值变为恒定。结果,可以增加用于生成钳位电压的水平OB区域的像素数,并且能够降低每行的钳位电压的偏差。
在步骤S506中,***控制单元118将钳位电压生成电路302的反馈增益的值设置为比在后面将说明的步骤S511中设置的反馈增益的值高的值。这是因为估计出很少出现暗电流从而使得在水平OB区域中很少出现由暗电流引起的缺陷,并且即使增加反馈增益在图像中出现水平线的可能性也很小。
此外,随着由信号放大器106设置的增益增加,出现具有高频率的垂直暗阴影的可能性也随之增加。因此,如果判断为增益值等于和/或大于阈值,则处理进入步骤S505和S506,并且将反馈增益设置为高的值。
在步骤S507中,驱动电路111根据从***控制单元118发出的指令来控制机械快门102,并且定时信号生成电路110通过控制摄像元件103来进行拍摄。然后,将由摄像元件103获得的模拟图像信号发送到模拟信号处理电路104。模拟信号处理电路104的钳位电压生成电路302通过使用第一计算区域205和第二计算区域206中的每个的输出信号来生成钳位电压,并且校正沿垂直方向生成的暗阴影分量。然后,将已经进行了暗阴影校正的图像信号转换成数字图像信号,并且将其发送到数字信号处理电路112。
在步骤S508中,数字信号处理电路112计算摄像元件103的第一计算区域205的输出信号的平均值。
在步骤S509中,对从有效像素部输出的图像信号统一进行偏移校正,使得在步骤S508中计算出的平均值变成暗电平的基准值,并且处理进入步骤S513。
在步骤S513中,数字信号处理电路112将校正后的数字图像信号输出到图像存储器113、记录电路115或者显示电路117中的每个,并且对关于拍摄到的图像的数据进行显示处理和/或记录处理。
另一方面,在步骤S510中,***控制单元118仅将第一计算区域205确定为钳位电压生成电路302参考的区域,从而生成钳位控制电压。
如果出现了某种程度的暗电流,则在包括第一OB像素的第一计算区域205的电平与包括第二OB像素的第二计算区域206的电平之间的差增大,其中,第一OB像素的输出信号包括暗电流,第二OB像素的输出信号不包括暗电流。因此,正如第一水平OB部202,当对出现某种程度的暗电流的有效像素部204的输出信号进行校正时,使用不包括暗电流的第二水平OB部203的输出信号是不恰当的。因此,钳位电压生成电路302应当通过仅使用第一水平OB部202的第一计算区域205来生成钳位控制电压。
在步骤S511中,***控制单元118将钳位电压生成电路302的反馈增益设置为比在步骤S506中设置的反馈增益的值低的值。由于估计出出现了某种程度的暗电流,因此进行上述处理,使得钳位控制电压不容易受到由暗电流引起的缺陷像素的影响。
在步骤S512中,驱动电路111根据从***控制单元118发出的指令来控制机械快门102,并且定时信号生成电路110通过控制摄像元件103来进行拍摄。然后,将由摄像元件103获得的模拟图像信号发送到模拟信号处理电路104。模拟信号处理电路104的钳位电压生成电路302仅对第一计算区域205的输出信号按每行和/或以预定间隔进行积分,生成钳位控制电压从而使得积分值变为恒定,并校正沿垂直方向生成的暗阴影分量。然后,将已经进行了暗阴影校正的图像信号转换成数字图像信号,并将其发送到数字信号处理电路112。然后,处理进入上述步骤S513,从而对关于拍摄到的图像的数据进行显示处理和/或记录处理。
因此,根据第一实施例,模拟信号处理电路104根据摄像元件103的温度和/或设置在其周围的电路的温度、摄像元件103的累积时间以及信号放大器106的增益,在所参考的水平OB区域之间切换,从而获得钳位控制电压。
尽管已经参考图1至图5说明了根据第一实施例的摄像设备,但可以以各种形式来实现本发明,而不限于第一实施例。
例如,钳位电压生成电路302的反馈增益的设置值可以根据所参考的区域的大小而改变,从而生成钳位控制电压。随着所参考的水平OB区域的大小增加,反馈增益的值可以增加,从而生成钳位控制电压。此外,随着水平OB区域的大小减小,反馈增益的值可以减小。
在其它情况下,即使为了生成钳位控制电压所参考的水平OB区域的大小减小,如果能够假定信号放大器106的增益低并且水平OB区域的输出信号稳定,则反馈增益的值也可以增加。
第二示例性实施例
图4是示出在本发明的第二实施例中使用的数字信号处理电路112的例子的框图。
在第二实施例中,通过使用上述数字信号处理电路112来进行数字垂直阴影校正操作和暗偏移(dark offset)钳位操作。
在图4中,数字信号处理电路112包括第一数字信号处理单元401、暗偏移钳位电路402和第二数字信号处理单元403。
第一数字信号处理单元401对从模拟信号处理电路104输出的图像信号进行包括各种类型的阴影校正等的校正。
暗偏移钳位电路402对从第一数字信号处理单元401输出的图像信号进行偏移校正,从而校正暗电平。暗偏移钳位电路402包括并列连接到第一数字信号处理电路401的输出侧的存储器404和开关405。暗偏移钳位电路402还包括通过开关405连接到第一数字信号处理单元401的平均化电路406。此外,暗偏移钳位电路402包括连接到存储器404和平均化电路406中的每个的输出侧的减法器407以及连接到减法器407的输出侧的加法器408。
第二数字信号处理单元403对从暗偏移钳位电路402的加法器408输出的图像信号进行伽玛处理、白平衡处理等。
首先,将从模拟信号处理电路104输出的数字图像信号发送到第一数字信号处理单元401。第一数字信号处理单元401对发送至其的数字图像信号进行包括水平阴影校正、垂直暗阴影校正等各种类型的校正。
具体地,如下进行垂直暗阴影校正。将从模拟信号处理电路104输出的数字图像信号以行为单位发送到第一数字信号处理单元401。第一数字信号处理单元401计算包括在每行的数字图像信号中的水平OB区域的输出信号的平均值,并且根据需要将关于平滑化后的平均值的数据确定为用于进行垂直阴影校正的校正数据。
接着,从各行的有效像素部204发送的图像信号中减去与各行相对应的校正数据。通过对每行进行相同的校正来完成垂直暗阴影校正。
将从第一数字信号处理单元401输出的图像信号进一步发送到暗偏移钳位电路402。暗偏移钳位电路402对图像信号进行暗电平的偏移校正。首先,存储器404存储从第一数字信号处理单元401发送的有效像素部204的图像信号。
当读取第一计算区域205的输出信号时,暗偏移钳位电路402使开关405保持接通状态,并且将上述输出信号发送到平均化电路406。平均化电路406计算第一计算区域205的输出信号的平均值。将关于计算出的平均值的数据发送到减法器407,从而从自存储器404输出的图像信号的值中减去该关于计算出的平均值的数据。然后,将减去了第一计算区域205的平均值的图像信号发送到加法器408,在该加法器408中添加预定偏移值。因此,基于第一计算区域205的输出信号的平均值来确定整个有效像素部204的图像信号的DC分量。
将从暗偏移钳位电路402输出的图像信号发送到第二数字信号处理单元403。第二数字信号处理单元403对图像信号进行包括伽玛处理、白平衡处理等所谓的显影处理。
这里,代替第一数字信号处理单元401,第二数字处理单元403可以进行数字垂直阴影校正。当第二数字信号处理单元403进行数字垂直阴影校正时,将关于摄像元件103的整个像素区域的图像信号的数据存储在第二数字信号处理单元403的存储器电路(未示出)中。然后,第二数字信号处理单元403提取关于包括在上述图像信号中的水平OB部的图像信号的数据,计算所提取的图像信号的垂直投影数据,并将计算出的垂直投影数据确定为校正数据。
图7是示出根据第二实施例进行的垂直暗阴影校正的示例过程的流程图。当设置了静止图像拍摄模式时,开始与步骤S701相对应的处理。
在步骤S701中,信号放大器106设置增益,并进行初始设置,该初始设置包括如光圈值、曝光时间等拍摄条件。
在步骤S702中,驱动电路111基于从***控制单元118发出的指令来控制机械快门102,并且定时信号生成电路110通过控制摄像元件103来进行拍摄。
在步骤S703中,***控制单元118判断由温度检测单元121检测到的摄像元件103的温度和/或设置在其周围的电路的温度是否等于和/或高于阈值。如果检测到的温度的值等于和/或高于阈值,则处理进入步骤S710。如果检测到的温度的值低于阈值,则处理进入步骤S704。
在步骤S704中,判断由累积时间设置单元122设置的摄像元件103的累积时间的值是否等于和/或大于阈值。如果判断为所设置的累积时间值大于阈值,使得进行长曝光,则处理进入步骤S710。否则,处理进入步骤S705。
在步骤S705中,判断由信号放大器106设置的增益的值是否小于阈值。如果判断为所设置的增益的值小于阈值,则处理进入步骤S710。如果判断为所设置的增益的值等于和/或大于阈值,则处理进入步骤S706。
因此,当摄像元件103的环境温度的值和/或设置在其周围的电路的环境温度的值小于阈值并且摄像元件103的累积时间的值小于阈值时,判断为极有可能在有效像素部204中仅出现少量暗电流。在这种情况下,处理进入步骤S706。否则,判断为极有可能在有效像素部204中出现大量暗电流。在这种情况下,处理进入步骤S710。根据上述实施例,当进行判断的值中任何之一大于阈值时,处理进入步骤S710。然而,在不限于上述实施例的情况下可以实现本发明。也就是说,当进行判断的值中的至少两个值大于阈值时,处理可以进入步骤S710。此外,可以将点数赋予这些值中的每个,从而使得当总点数大于阈值时,处理进入步骤S710。
在步骤S706,***控制单元118将第一计算区域205和第二计算区域206中的每个确定为第一数字信号处理单元401所参考的区域,从而计算水平OB区域的输出信号的平均值。第一数字信号处理单元401计算包括在每行的数字图像信号中的第一计算区域205和第二计算区域206的输出信号的平均值,并且将关于平均值的数据确定为校正数据。
如果很少出现暗电流,则可以降低包括至少一个第一OB像素的第一计算区域205的电平与包括至少一个第二OB像素的第二计算区域206的电平之间的差,其中,在从第一OB像素输出的信号中包括暗电流,在从第二OB像素输出的信号中不包括暗电流。因此,通过使用第一计算区域205和第二计算区域206两者的输出信号的平均值,能够生成校正数据。结果,可以增加用于生成校正数据的水平OB区域的像素数,并且能够降低针对每行所生成的校正数据中的偏差。此外,还可以通过不进行后面将说明的步骤S712中的校正数据平滑化来校正具有高频率的垂直阴影。
此外,随着信号放大器106设置的增益增大,出现具有高频率的垂直暗阴影的可能性也随之增大。因此,如果在步骤S705判断为增益值等于和/或大于阈值,则处理进入步骤S706,并且生成校正数据,而无需进行后面将说明的步骤S712中的校正数据平滑化。
在步骤S707中,第一数字信号处理单元401从自有效像素部204输出的图像信号中减去该校正数据,并且进行垂直暗阴影校正。
在步骤S708中,暗偏移钳位电路402的平均化电路406计算第一计算区域205的输出信号的平均值。
在步骤S709中,暗偏移钳位电路402的减法器407从图像信号中减去在步骤S708中计算出的平均值,并且加法器408将预定偏移值与图像信号相加。下面说明在步骤S709中进行钳位的原因。也就是说,由于在步骤S706从图像数据中减去的校正数据包括从第二计算区域205发送的、不包括暗电流的输出信号,因此应当对暗电流进行补偿。
在步骤S715中,第二数字信号处理单元403通过对图像信号进行伽玛处理、白平衡处理等来生成图像数据,将该图像数据发送到图像存储器113、记录电路115或显示电路117,并且对关于拍摄到的图像的数据进行显示处理和/或记录处理。
另一方面,在步骤S710中,***控制单元118仅将第一计算区域205确定为第一数字信号处理单元401所参考的区域,从而计算水平OB区域的数字信号的平均值。第一数字信号处理单元401计算包括在每行的数字图像信号中的第一计算区域205的输出信号的平均值,并且将关于平均值的数据确定为校正数据。
如果可能出现某种程度的暗电流,则包括第一OB像素的第一计算区域205的电平与包括第二OB像素的第二计算区域206的电平之间的差增大,其中,第一OB像素的输出信号包括暗电流,第二OB像素的输出信号不包括暗电流。因此,正如第一水平OB部202,当对出现某种程度的暗电流的有效像素部204的输出信号进行校正时,使用不包含暗电流的第二水平OB部的输出信号是不恰当的。因此,第一数字信号处理单元应当通过仅使用第一水平OB部202的第一计算区域205来生成校正数据。
在步骤S711中,***控制单元118判断在生成图像信号时所需要的、摄像元件103的累积时间是否等于和/或大于阈值。如果累积时间等于和/或大于阈值,则处理进入步骤S712。否则,处理进入步骤S714。
在步骤S712中,第一数字信号处理单元401通过对与多个行相对应的校正数据进行平均,来使该校正数据平滑化。当摄像元件103的累积时间长时,出现由暗电流导致的缺陷像素的可能性增大。因此,通过使用与多个行相对应的校正数据来使该校正数据平滑化,从而防止仅过度校正关于出现缺陷像素的行的数据。
图6A、6B、6C和6D用于示例性示出如何对校正数据进行平滑化。
图6A示意性示出水平OB部的像素区域的结构。在图6A中,为了简便,计算区域仅包括单个缺陷像素,该缺陷像素的输出大于设置在该缺陷像素周围的像素的输出。此外,其它像素的输出信号中的每个输出信号不包括噪声分量,并且输出信号的值一致。
图6B示出根据图6A中示出的水平OB部所生成的垂直投影数据,并且包括每行的像素的平均输出值。如从图6B清晰可见,仅与包含缺陷像素的行相对应的垂直投影数据的值大于与其它行相对应的垂直投影数据的值。如果将较大值的垂直投影数据照原样用于垂直阴影校正,则对包括缺陷像素的行进行适合于比用于校正的本来值大的值的校正。结果,在校正后获得的图像中出现与比本来值小的值相对应的水平线。
图6C和6D中的每个示出对图6B中示出的垂直投影数据进行平滑化的结果。通过对包括用于校正的行和在用于校正的行两旁的两个行的三个行的值进行平均,来对图6C中示出的垂直投影数据进行平滑化。此外,通过对包括用于校正的行和在用于校正的行两旁的四个行的五个行的值进行平均,来对图6D中示出的垂直投影数据进行平滑化。更具体地,在用于校正的行的一侧设置该四个行中两个行,并且在用于校正的行的另一例设置其它两行。在图6C和6D的每个中,缺陷像素对垂直投影数据的影响变得无关紧要。此外,随着用于平滑化垂直投射数据的行数增加,缺陷像素影响变得愈发无关紧要。对与每行相对应的校正数据进行上述平滑化。
然而,如果用于进行上述平滑化的行数不必要地增加,则难于校正如紧密生成的水平条纹等具有高频率的垂直阴影,该垂直阴影以比用于进行上述平滑化的行数之间的间隔小的间隔出现。
因此,可以通过根据拍摄环境来改变平滑化的程度,如仅在容易出现明显缺陷的高温时间和/或长曝光时间时增加用于进行平滑化的行数等,来以提高的效率实现垂直阴影校正。
现在回来参考图7,在步骤S713中,第一数字信号处理单元401将平均化后的校正数据乘以预定系数,从而获取新的校正数据。
在步骤S714中,第一数字信号处理单元401通过从自有效像素部204输出的图像信号中减去在步骤S711和/或步骤S713中获得的校正数据来进行暗阴影校正。由于在步骤S714中进行的暗阴影校正未使用第二计算区域206的不包括暗电流的输出信号,则可以不进行在步骤S709中进行的偏移校正。因此,在步骤S714中进行暗阴影校正之后,处理进入步骤S715。
因此,根据第二实施例,第一数字信号处理单元401根据摄像元件103的温度和/或设置在其周围的电路的温度、摄像元件103的累积时间以及信号放大器106的增益,在所参考的水平OB区域之间进行切换,从而计算暗阴影的校正值。
此外,尽管在第二实施例中不对在步骤S706中计算出的校正数据进行平滑化,但可以进行平滑化。然而,对于校正具有高频率的垂直阴影,用于进行平滑化的校正数据的行数应当小于在步骤S712中使用的行数。
此外,根据第一实施例和第二实施例中的每个,基于摄像元件103的温度和/或设置在其周围的电路的温度、摄像元件103的累积时间以及信号放大器106的增益值,来确定所参考的水平OB区域。然而,在不限于上述实施例的情况下可以实现本发明。例如,如果能够估计出由于其它因素,例如正如长时间使用设置在摄像设备中的液晶监视器的情况,摄像元件103的暗电流增加,则可以根据上述因素来在用于进行暗阴影校正的水平OB区域之间进行切换。
尽管已经参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (14)

1.一种摄像设备,包括:
摄像元件,其包括有效像素部和遮光像素部,其中所述有效像素部用于接收被摄体的光学图像并生成图像信号,所述遮光像素部包括被遮光的多个像素部;
信号处理单元,用于设置从所述有效像素部发送的输出信号的基准电平;以及
控制单元,用于基于所述摄像元件的累积时间、所述摄像元件的环境温度、以及从所述摄像元件输出的信号的增益,来在设置在所述遮光像素部中的用于设置所述基准电平的至少两个区域之间切换,
其中,所述遮光像素部包括具有不同结构的第一遮光像素部和第二遮光像素部,以及
其中,所述控制单元在使用所述第一遮光像素部作为用于设置所述基准电平的区域的情况与使用所述第一遮光像素部和所述第二遮光像素部中的每个作为用于设置所述基准电平的区域的情况之间切换。
2.根据权利要求1所述的摄像设备,其特征在于,在所述第一遮光像素部和所述第二遮光像素部中,仅所述第一遮光像素部包括至少一个光电转换元件。
3.根据权利要求1所述的摄像设备,其特征在于,
所述第一遮光像素部和所述第二遮光像素部中的每个包括至少一个光电转换元件,以及
其中,在所述第一遮光像素部和所述第二遮光像素部中,仅所述第一遮光像素部包括至少一个用于输出由所述光电转换元件生成的电荷的层。
4.根据权利要求2所述的摄像设备,其特征在于,
当所述摄像元件的累积时间小于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,当所述摄像元件的累积时间至少等于或大于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
5.根据权利要求2所述的摄像设备,其特征在于,
当所述摄像元件的环境温度低于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,当所述摄像元件的环境温度至少等于或高于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
6.根据权利要求2所述的摄像设备,其特征在于,
当从所述摄像元件输出的信号的增益至少等于或大于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,从所述摄像元件输出的信号的增益小于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
7.根据权利要求3所述的摄像设备,其特征在于,
当所述摄像元件的累积时间小于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,当所述摄像元件的累积时间至少等于或大于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
8.根据权利要求3所述的摄像设备,其特征在于,
当所述摄像元件的环境温度低于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,当所述摄像元件的环境温度至少等于或高于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
9.根据权利要求3所述的摄像设备,其特征在于,
当从所述摄像元件输出的信号的增益至少等于或者大于阈值时,所述控制单元通过使用所述第一遮光像素部和所述第二遮光像素部中的每个的输出信号来设置所述基准电平,以及
其中,当从所述摄像元件输出的信号的增益小于所述阈值时,所述控制单元通过仅使用所述第一遮光像素部的输出信号来设置所述基准电平。
10.根据权利要求1所述的摄像设备,其特征在于,
所述信号处理单元包括基于反馈***形成的钳位电路,所述钳位电路用于基于所述遮光像素部的信号来调整所述有效像素部的输出信号的基准电平,以及
其中,所述信号处理单元基于所述摄像元件的累积时间、所述摄像元件的环境温度、以及从所述摄像元件输出的信号的增益,来改变反馈增益。
11.根据权利要求10所述的摄像设备,其特征在于,当所述摄像元件的累积时间小于阈值时,所述钳位电路将所述反馈增益设置为比在所述累积时间等于和/或大于所述阈值时获得的所述反馈增益的值高的值。
12.根据权利要求10所述的摄像设备,其特征在于,当所述摄像元件的环境温度低于阈值时,所述钳位电路将所述反馈增益设置为比在所述环境温度至少等于和/或高于所述阈值时获得的所述反馈增益的值高的值。
13.根据权利要求10所述的摄像设备,其特征在于,当从所述摄像元件输出的信号的增益至少等于或大于阈值时,所述钳位电路将所述反馈增益设置为比在从所述摄像元件输出的信号的增益小于所述阈值时获得的所述反馈增益的值高的值。
14.根据权利要求1所述的摄像设备,其特征在于,
所述信号处理单元针对所述摄像元件的每行计算所述有效像素部的信号的基准电平,以及
其中,当所述摄像元件的累积时间小于阈值时,所述信号处理单元不对所述基准电平进行平滑化,以及当所述累积时间等于和/或大于所述阈值时,所述信号处理单元对所述基准电平进行平滑化。
CN2008101349279A 2007-08-09 2008-08-07 摄像设备 Expired - Fee Related CN101374195B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2007-207812 2007-08-09
JP2007207812 2007-08-09
JP2007207812 2007-08-09
JP2008175915 2008-07-04
JP2008175915A JP5268454B2 (ja) 2007-08-09 2008-07-04 撮像装置
JP2008-175915 2008-07-04

Publications (2)

Publication Number Publication Date
CN101374195A CN101374195A (zh) 2009-02-25
CN101374195B true CN101374195B (zh) 2010-12-22

Family

ID=40448108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101349279A Expired - Fee Related CN101374195B (zh) 2007-08-09 2008-08-07 摄像设备

Country Status (2)

Country Link
JP (1) JP5268454B2 (zh)
CN (1) CN101374195B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010245891A (ja) * 2009-04-07 2010-10-28 Olympus Imaging Corp 撮像装置および撮像方法
JP5445053B2 (ja) * 2009-11-16 2014-03-19 株式会社ニコン 撮像装置及び画像補正プログラム
JP5403369B2 (ja) * 2010-03-31 2014-01-29 ソニー株式会社 固体撮像素子および駆動方法、並びに電子機器
WO2015049990A1 (ja) * 2013-10-02 2015-04-09 オリンパス株式会社 撮像装置および撮像方法
CN105637857B (zh) * 2014-07-02 2019-06-07 奥林巴斯株式会社 摄像元件、摄像装置、内窥镜以及内窥镜***
JP6370207B2 (ja) * 2014-12-17 2018-08-08 オリンパス株式会社 撮像装置、画像処理装置、撮像方法、およびプログラム
JP2017011388A (ja) * 2015-06-18 2017-01-12 浜松ホトニクス株式会社 撮像装置、画像取得装置、画像取得方法、画像処理装置、及び画像処理プログラム
CN111491120B (zh) * 2019-01-29 2022-11-01 Jvc建伍株式会社 拍摄装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770830A (zh) * 2004-11-02 2006-05-10 索尼株式会社 用于固态摄像元件的信号处理设备和信号处理方法
WO2007074518A1 (ja) * 2005-12-27 2007-07-05 Fujitsu Limited 固体撮像素子及び暗電流成分除去方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175930A (ja) * 2003-12-11 2005-06-30 Canon Inc 撮像装置及びその信号処理方法と撮像システム
JP4761912B2 (ja) * 2005-10-06 2011-08-31 三洋電機株式会社 電子カメラ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1770830A (zh) * 2004-11-02 2006-05-10 索尼株式会社 用于固态摄像元件的信号处理设备和信号处理方法
WO2007074518A1 (ja) * 2005-12-27 2007-07-05 Fujitsu Limited 固体撮像素子及び暗電流成分除去方法

Also Published As

Publication number Publication date
JP5268454B2 (ja) 2013-08-21
JP2009065642A (ja) 2009-03-26
CN101374195A (zh) 2009-02-25

Similar Documents

Publication Publication Date Title
CN101374195B (zh) 摄像设备
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
US8018505B2 (en) Image-pickup apparatus
US20080129848A1 (en) Imaging apparatus having temperature sensor within image sensor
US20170257591A1 (en) Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method
JP5207926B2 (ja) 撮像装置及びその制御方法
JP2003348455A (ja) イメージ・キャプチャ・デバイスの暗電流を適応的に補償するためのシステムおよび方法
WO2005004467A1 (ja) 電子カメラの映像信号補正装置
JP5147652B2 (ja) 撮像装置及びその制御方法及びプログラム
JP7134786B2 (ja) 撮像装置および制御方法
JP2007174500A (ja) 撮像装置
JP2014155002A (ja) 撮像装置
JP2004336244A (ja) 補正装置
JP2014107739A (ja) 撮像装置及びその制御方法
JP2010268271A (ja) 撮像装置
JP5271201B2 (ja) 画像信号処理装置及び撮像装置
JP2011009834A (ja) 撮像装置及び撮像方法
JP5311943B2 (ja) 撮像装置、制御方法、及びプログラム
JP5129650B2 (ja) 撮像装置
JP3938098B2 (ja) 補正装置、及び撮像装置
JP4136775B2 (ja) 補正装置、撮像装置、補正方法、コンピュータが読み取り可能な記憶媒体、及びプログラム
JP5404217B2 (ja) 撮像装置及びその制御方法
JP2010166479A (ja) 撮像装置及び撮像画像の補正方法
JP2009033550A (ja) 撮像装置
JP6242156B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222