具体实施方式
以下参照附图对本发明的实施方式进行说明。
如图1所示,摄像装置1进行自动对焦控制,具体来说是通过透镜单元3在摄像元件4上摄像,通过焦点评价部分5和控制部分2自动地找到焦点对焦时的对焦透镜33的位置,并使对焦透镜33朝着焦点对准的位置移动。在该控制中进行抖动动作,并且在该抖动动作期间,在显示部分7中依次显示拍摄到的图像。
摄像机信号处理部分6的内部具有图像处理部分(图像处理装置)10,通过该图像处理部分(图像处理装置)10来进行用于减小抖动动作中的输出图像的微小变化的修正。
(摄像装置1的结构)
摄像装置1包括控制部分2、透镜单元3、摄像元件4、焦点评价部分5、摄像机信号处理部分6以及显示部分7。
控制部分2用于对摄像装置1的各个功能部分进行控制。该控制部分2在进行自动对焦控制时,根据来自后述的焦点评价部分5的焦点评价值,通过对焦透镜驱动部分36来驱动对焦透镜33。此外,控制部分2通过变焦透镜驱动部分34来驱动变焦透镜31。并且,为了根据从摄像机信号处理部分6输入的图像信号对拍摄图像的亮度进行调整,控制部分2通过光圈(Diaphragm)驱动部分35来控制光圈32的光圈量。
此后,控制部分2向后述的图像处理部分(图像处理装置)10输出对焦透镜的移动量即对焦透镜移动量。
透镜单元3具有对来自被拍摄体的光束进行变倍的变焦透镜31、调整受光光量的光圈32以及具有焦点调整功能的对焦透镜33。变焦透镜31和对焦透镜33各自可以具有多个透镜。
摄像元件4在其受光面上形成被拍摄体的光学图像,并对所形成的图像进行光电转换。经光电转换得到的摄像信号输出到摄像机信号处理部分6中。摄像元件4例如是CCD(Charge Coupled Device,电荷耦合器件)和CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)等图像传感器。
焦点评价部分5根据摄像信号生成具有在合焦点达到最大值的特性的山形对比度信号,并根据该对比度信号生成焦点评价值。通过该焦点评价值能够掌握焦点对焦时的对焦透镜的位置。
摄像机信号处理部分6具有根据摄像信号生成亮度信号的亮度值生成部分61、对亮度信号实施图像修正处理的图像处理部分(图像处理装置)10以及将亮度信号转换为图像信号的信号转换部分62。亮度值生成部分61和信号转换部分62采用作为现有技术的一般技术。图像信号例如是满足NTSC(National Television System Committee,全国电视***委员会)规格或者PAL(Phase Alternating Line,逐行倒相制)规格等的标准信号方式的图像信号。图像处理部分(图像处理装置)10在后述部分中加以说明。
显示部分7用于显示从摄像机信号处理部分6输入的图像信号(输出图像)。并且,该显示部分7也可以通过网络等连接。
以下对图像修正处理进行说明。
(图像修正处理)
首先,说明图像修正处理的目的。
图5(a)表示从图2所示的亮度值生成部分61输入的亮度信号(输入亮度信号)与实施了图像修正处理的亮度信号(输出亮度信号)的关系。图5(a)的横坐标表示时间,纵坐标表示亮度信号所示的输出图像的亮度值。其中示出了因抖动而产生的变化部分和因被拍摄体变动而产生的变化部分。
因抖动而产生的变化是指在抖动动作期间因对焦透镜振动而引起的输出图像的亮度值的轻微变化。由于在该部分中输出图像一会儿变成焦点对准的图像,一会儿变成模糊图像,所以优选尽可能抑制该亮度信号的变化。
另一方面,因被拍摄体变动而产生的变化例如是指有人进入了摄像机的拍摄范围内的场合或者摄像机转向其它的被拍摄体的场合,在上述场合下,无论对焦透镜是否进行了移动,输出图像的亮度值均会发生大幅度的变化。在发生了该部分的亮度信号的变化时,优选不对其进行抑制而将其正确地输出。如果该部分的亮度信号的变化受到了抑制,则会产生余留图像(Afterimage)或者图像拖尾(Tailing)等问题。
因此,本发明的目的在于,在进行修正时,对因抖动而产生的变化进行抑制而不对因被拍摄体变动而产生的变化进行抑制。
如图5(a)所示,输入亮度信号的变化中的因抖动而产生的变化部分在受到抑制后输出,因被拍摄体变动而产生的变化部分以不受到抑制的方式正确地输出。反馈系数在后述部分中加以说明。
以下说明图像修正处理的内容。
首先,预先存储与对焦透镜移动量相对应的亮度值的变化量。然后观察输入亮度信号(以下称为“所输入的输出图像的亮度值”)与规定时间前的亮度信号(以下称为“规定时间前的输出图像的亮度值”)之间的变化量即亮度值经时性变化量,在该亮度值经时性变化量小于预先存储的变化量时,将该变化判断为是因抖动而产生的变化,并对其进行修正。另一方面,在该亮度值经时性变化量大于预先存储的变化量时,将该变化判断为是因被拍摄体变动而产生的变化而不对其修正。
在散焦阈值表(散焦阈值信息)130中规定了与对焦透镜移动量相对应的亮度值的变化量(参照图3)。预先生成该散焦阈值表(散焦阈值信息)130。
如图3所示,散焦阈值表(散焦阈值信息)130包括对焦透镜移动量131和散焦阈值132这两个项目。
对焦透镜移动量131是对焦透镜的移动量,该移动量以步(Step)为单位,步可以根据需要设定。
散焦阈值132是与对焦透镜的移动量相对应的亮度值变化量的阈值。例如,在对焦透镜移动了一步时,亮度值变化量的阈值是18,在对焦透镜移动了四步时,亮度值变化量的阈值是29。
(散焦阈值表(散焦阈值信息)130的生成方法)
以下对根据亮度值经时性变化量与散焦阈值的大小关系判断是因抖动而产生的变化还是因被拍摄体变动而产生的变化的理由以及散焦阈值表(散焦阈值信息)130的生成方法进行说明。
首先,准备左半部分为白色且右半部分为黑色的黑白图案。使焦点对准该黑白图案,并且测定白色和黑色的边界附近的像素的亮度值。接着使对焦透镜移动一步。在移动一步后像素出现模糊。也就是说白色的像素变成了灰色的像素。此时,测定与此前相同部位的亮度值。将所测得的亮度的差规定为对焦透镜移动了一步时的散焦阈值。此后,以同样的方法测定对焦透镜移动了二步时的散焦阈值、对焦透镜移动了三步时的散焦阈值……,以此来生成散焦阈值表(参照图3)。由此,能够使作为比较对象的散焦阈值随着对焦透镜的移动量的变化而变化。
在此,对焦透镜移动时产生的亮度值的变化量因对焦透镜移动前焦点所对准的被拍摄体(被拍摄体的亮度)的不同而不同。
因黑白图案由亮度值最大的白色和亮度值最小的黑色混合而成,所以在使用该黑白图案作为被拍摄体时,对焦透镜移动时所产生的亮度值的变化量最大。
因此,通过用黑白图案来规定与对焦透镜的移动量相对应的散焦阈值(亮度值变化量的阈值),在由第一加法部分12算出的亮度值经时性变化量小于该散焦阈值时,能够推定出该变化量是因对焦透镜的移动而产生的变化,也就是能够推定出该变化量是因抖动而产生的变化。另一方面,在亮度值经时性变化量大于该散焦阈值时,能够推定出该变化量不是因对焦透镜的移动而产生的变化,而是因被拍摄体变动而产生的变化。
(图像处理部分(图像处理装置)10的结构)
以下参照图2对图像处理部分(图像处理装置)10的结构进行说明。
图像处理部分(图像处理装置)10用于对从亮度值生成部分61输入的亮度信号实施图像修正处理。实施了图像修正处理后的亮度信号输出到信号变换部分62中。
在图像修正处理时,使用反馈系列的修正装置,该反馈系列的修正装置采用输出图像的变化量来进行修正。
图像处理部分(图像处理装置)10具有延迟部分11、第一加法部分12、存储部分13、变化量比较部分14、系数乘法部分15以及第二加法部分16。
延迟部分11用来延迟亮度信号的输出,并输出规定时间前的输出图像的亮度值。例如在图4中,延迟部分11在时间点T2时输出时间点T0时的亮度信号。延迟时间根据抖动的周期预先设定。控制部分2以与抖动周期的二分之一相当的时间为单位输出使对焦透镜移动的命令。在此,将延迟时间设定为与抖动周期的二分之一相当的二个场。由此,延迟部分11在时间点T2输出对焦透镜移动与控制部分2算出的对焦透镜的移动量(F2-F0)相当的移动量前的时间点即时间点T0的亮度信号。
第一加法部分12计算所输入的输出图像的亮度值与规定时间前的输出图像的亮度值之间的变化量即亮度值经时性变化量。亮度值经时性变化量输出到变化量比较部分14中。
存储部分13用于存储预先生成的散焦阈值表(散焦阈值信息)130。
变化量比较部分14参照散焦阈值表(散焦阈值信息)130对亮度值经时性变化量和与控制部分2输入的对焦透镜的移动量相对应的散焦阈值之间的大小关系进行比较。比较结果和亮度值经时性变化量输出到系数乘法部分15中。
在系数乘法部分15中将亮度值经时性变化量乘以反馈系数以算出修正值。在变化量比较部分判断为亮度值经时性变化量小于作为比较对象的散焦阈值时(判断为属于因抖动而产生的变化时),系数乘法部分15将反馈系数设定为1,使得进行修正,在变化量比较部分判断为亮度值经时性变化量大于作为比较对象的散焦阈值时(判断为属于因被拍摄体变动而产生的变化时),系数乘法部分15将反馈系数设定为0,使得不进行修正。计算得到的修正值输出到第二加法部分16中。此外,在变化量比较部分判断为亮度值经时性变化量与作为比较对象的散焦阈值相同的情况下,系数乘法部分15可以将反馈系数设定为1或者0。
第二加法部分16从所输入的输出图像的亮度值中减去修正值以算出修正后的输出图像的亮度值。
图像处理部分(图像处理装置)10可以由未图示的搭载有CPU和存储器等的普通的计算机来实现。此时,图像处理部分(图像处理装置)10通过使计算机作为所述各个功能部分发挥功能的图像处理程序而动作。图像处理部分(图像处理装置)10也可以由IC(Integrated Circuit,集成电路)和LSI等硬件电路来实现。
(摄像装置1以及图像处理部分(图像处理装置)10的动作)
以下参照图1、图2和图6对摄像装置1的动作进行说明。
首先参照图1进行说明。摄像装置1的控制部分2通过对焦透镜驱动部分36使对焦透镜33沿着光轴移动,开始进行抖动动作。
接着,摄像装置1通过透镜单元3使摄像元件4受光,并将摄像信号输出到焦点评价部分5和摄像机信号处理部分6中。
此后,控制部分2根据来自焦点评价部分5的焦点评价值决定对焦透镜的移动量,通过对焦透镜驱动部分36使对焦透镜33移动,并且将对焦透镜的移动量输出到图像处理部分(图像处理装置)10中。
亮度值生成部分61根据从摄像元件4输入的摄像信号生成亮度信号。该亮度信号输出到图像处理部分(图像处理装置)10中。
如图2所示,图像处理部分(图像处理装置)10获取从亮度值生成部分61输入的输入亮度信号(以下称为“所输入的输出图像的亮度值”)。
(图像修正处理的动作)
以下参照图6的流程图(结构适当参照图2)对图像处理部分(图像处理装置)10的动作进行说明。
在步骤S10中,图像处理部分(图像处理装置)10获取所输入的输出图像的亮度值。
在步骤S11中,第一加法部分12计算所输入的输出图像的亮度值与通过延迟部分11延迟了规定时间后的输出图像的亮度值之间的变化量即亮度值经时性变化量。
在步骤S12中,变化量比较部分14从控制部分2获取由延迟部分11延迟的规定时间内的对焦透镜移动量。
在步骤S13中,变化量比较部分14参照散焦阈值表130,获取与所获取的由延迟部分11延迟的规定时间内的对焦透镜移动量相对应的散焦阈值。
在步骤S14中,变化量比较部分14将亮度值经时性变化量与所获取的散焦阈值进行比较,以判断两者的大小关系,并且将亮度值经时性变化量输出到系数乘法部分15中。
在判断为亮度值经时性变化量小于散焦阈值时(步骤S14的判断为“是”),也就是判断为该变化是因抖动而产生的变化时,在步骤S15中,由系数乘法部分15将亮度值经时性变化量乘以反馈系数1以算出修正值,并且将该修正值输出到第二加法部分16中。
另一方面,在判断为亮度值经时性变化量大于散焦阈值时(步骤S14的判断为“否”),也就是判断为该变化是因被拍摄体变动而产生的变化时,在步骤S16中,由系数乘法部分15将亮度值经时性变化量乘以反馈系数0以算出修正值,并且将该修正值输出到第二加法部分16中。
在步骤S17中,第二加法部分16从所输入的输出图像的亮度值中减去修正值以算出修正后的输出图像的亮度值。
此后,信号变换部分62将修正后的输出图像的亮度值转换为图像信号(输出图像),显示部分7显示该图像信号(输出图像)。
通过以上的动作使作为比较对象的亮度值的变化量即散焦阈值随着对焦透镜移动量的变化而变化,由此能够对因抖动而产生的变化施加变动抑制效果,并且不对因被拍摄体变动而产生的变化施加变动抑制效果,从而能够避免产生余留图像和图像拖尾。
也就是说,能够抑制在自动对焦控制时因抖动而使得图像产生轻微的变动,并且针对实际的被拍摄体变动,能够做到不对其进行抑制而正确地将其输出。由此,能够提高自动对焦控制时的图像质量。
(变形例)
以上对本发明的一实施方式进行了说明,但本发明并不仅限于上述实施方式,在不脱离本发明的宗旨的范围内,例如可以进行如下的变更。
反馈系数可以变更为各种值。
例如,图5(b)中示出了在判断为亮度值经时性变化量小于作为比较对象的散焦阈值(判断为属于因抖动而产生的变化)的场合下,将反馈系数设定为0.5时的输入亮度信号与输出亮度信号之间的关系。与将反馈系数设定为1(参照图5(a))的场合一样,因抖动而产生的变化部分中的输入亮度信号的变化得到了抑制,因此,抖动对输出亮度信号的影响变小。另一方面,在因被拍摄体变动而产生的变化部分,二个曲线图中的输入亮度信号与输出亮度信号的值相同,输入亮度信号的变化没有受到抑制而被正确地输出。
通过对反馈系数之间的差异进行比较可以知道,与将反馈系数设定为0.5的场合相比,将反馈系数设定为1时对因抖动而产生的变化的抑制效果更大。可是,在将反馈系数设定为0.5时,在被拍摄体变动因缓慢的变化而引起的情况下,即使将该变化判断为是因抖动而产生的变化,该被拍摄体变动也不会完全被抑制,在经过了短暂的时间后,能够输出该因被拍摄体变动而产生的变化。进行修正时的反馈系数的上限值优选设定为1,下限值优选设定为0.4。
另一方面,在判断为亮度值经时性变化量大于作为比较对象的散焦阈值时(判断为属于因被拍摄体变动而产生的变化时),例如也可以将反馈系数设定为0.1等与0相近的值。与0相近的值的上限值优选设定为0.2。此时,正确地输出被拍摄体变动的效果稍微变小,但在抖动和被拍摄体变动同时发生的情况下,即使没有将输入亮度信号的变化判断为是因抖动而产生的变化,也能够发挥一定的抑制输入亮度信号变化的效果。
如上所述,可以将因被拍摄体变动而产生的变化时的反馈系数设定为比因抖动而产生的变化时的反馈系数小的值,并且将二个反馈系数的范围设定为0至1的范围。
此外,在上述说明中,散焦阈值通过实测求出。在能够通过公式求出近似值的情况下,可以不使用散焦阈值表而通过公式来求出。并且,为了提高精度,也可以生成变焦倍率为1时的散焦阈值表或者变焦倍率为2时的散焦阈值表等。此外,散焦阈值还有可能因光圈值不同而产生变化,所以同样也可以根据光圈值测定散焦阈值,由此来生成散焦阈值表。如上所述,不仅能够使散焦阈值与对焦透镜移动量相对应,而且还能够使散焦阈值与变焦倍率和光圈值中的至少一个以上的值相对应,并且使散焦阈值随着对焦透镜移动量以及变焦倍率和光圈值中的至少一个以上的值的变化而变化。
本发明适用于搭载有自动对焦功能的视频摄像机、电子相机(StillCamera)和移动电话的摄像头机构等的摄像装置。