CN105191283A - 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 - Google Patents
摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 Download PDFInfo
- Publication number
- CN105191283A CN105191283A CN201480016625.5A CN201480016625A CN105191283A CN 105191283 A CN105191283 A CN 105191283A CN 201480016625 A CN201480016625 A CN 201480016625A CN 105191283 A CN105191283 A CN 105191283A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- subject
- angle
- shake
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
- G03B2205/0007—Movement of one or more optical elements for control of motion blur
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2217/00—Details of cameras or camera bodies; Accessories therefor
- G03B2217/005—Blur detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Optics & Photonics (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
本发明涉及能够更有效地校正相机抖动的摄像装置、固体摄像元件、相机模块、电子设备以及摄像方法。设置有:拍摄被摄体以输出拍摄的图像的摄像单元;物理地检测当所述摄像单元发生抖动时所述摄像单元的抖动角度的检测单元;校正处理单元,其根据构成由所述摄像单元输出的所述图像的像素的布置位置而存在差别并且用来基于由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量校正所述图像;和同步单元,其用于使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步,然后将所述图像和所述抖动角度传输至所述校正处理单元。本发明能够应用于例如具有摄像功能的电子设备。
Description
技术领域
本发明涉及摄像装置、固体摄像元件、相机模块、电子设备及摄像方法。具体地,本发明涉及能够进行更有效的相机抖动校正的摄像装置、固体摄像元件、相机模块、电子设备及摄像方法。
背景技术
在诸如数码相机和数码摄像机等具有摄像功能的电子设备中,在过去已采用了对拍摄过程中的相机抖动进行校正以输出不受相机抖动影响的图像的相机抖动校正***。目前存在如下两种类型的相机抖动校正:电子相机抖动校正和光学相机抖动校正。
在电子相机抖动校正中,通过在连续图像之间从拍摄图像中检测正被拍摄的被摄体的抖动来对相机抖动进行校正,并且根据抖动量来进行使图像的位置移动的图像处理。这种电子相机抖动校正不需要机械机构,并能够使结构小型化。然而,由于抖动是基于图像检测到的,所以当图像在暗处不清晰时,就难以检测抖动。另外,与之前的图像的比较需要用于存储所有之前的图像的存储区域。
此外,在电子相机抖动校正中,由于从两个帧(图像)中检测相机抖动量,所以有把握地确定图像中的移动物体(动态体)或每个场景中由于相机抖动而引起的图像偏移就变得极其困难。已提出了包括动态体或相机抖动的的确定的算法,但目前仍在对这些算法进行改善。
此外,在光学相机抖动校正中,通过如下方式来对相机抖动进行校正:通过使用陀螺仪等检测图像传感器如何发生抖动,并使透镜或图像传感器进行反向校正的增量的操作。在光学相机抖动校正中,由于检测物理抖动,所以与电子相机抖动校正不同的是,不会出现动态体与相机抖动之间的错误识别。另外,由于不需要与之前的图像进行比较,所以也就不需要用于累积之前的图像的帧存储器。然而,光学相机抖动校正不仅增大了操作单元的结构的尺寸,还增加了因结构的操作而产生的功耗。
另外,在采用互补金属氧化物半导体(CMOS)图像传感器作为摄像元件的摄像装置中,由于摄像元件的每行会发生曝光周期的偏移(成像时序的偏移),所以在过去难以完全消除相机抖动的影响。
因此,提出了基于从拍摄被摄体图像中的预定行时的抖动量计算出的校正量针对各行的被摄体图像进行校正的相机抖动校正处理。
引用列表
专利文献
专利文献1:JP2006-304313A
发明内容
技术问题
同时,虽然在目前的电子相机抖动校正和光学相机抖动校正中均能够均一地校正整个图像,但是难以有效地校正由于相机抖动而出现在图像中的失真。
本发明是针对这种情况而提出的,并且能够进行更有效的相机抖动校正。
问题的解决方案
根据本发明的实施例的摄像装置、固体摄像元件、相机模块或电子设备包括:摄像单元,其拍摄被摄体以输出拍摄的图像;检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的位置以及由所述检测单元检测出的所述抖动角度来计算校正量,以根据所述校正量对所述图像进行校正。
根据本发明的实施例,提供了用于摄像装置的摄像方法,所述摄像装置包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元,所述摄像方法包括如下步骤:通过所述摄像单元输出所述图像;通过所述检测单元输出所述抖动角度;以及基于构成由所述摄像单元输出的所述图像的像素的位置以及由所述检测单元检测出的所述抖动角度来计算校正量,以根据所述校正量对所述图像进行校正。
在本发明的实施例中,包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元,并且基于构成由所述摄像单元输出的所述图像的像素的位置以及由所述检测单元检测出的所述抖动角度来计算校正量,且根据所述校正量对所述图像进行校正。
本发明的有益效果
根据本发明的实施例,能够进行更有效的相机抖动校正。
附图说明
图1是示出了应用了本发明的摄像装置的实施例的构造示例的框图。
图2是用于说明摄像元件的传感器表面与被摄体表面之间的关系的说明图。
图3是图示了传感器表面发生抖动之前与传感器表面发生抖动之后的关系的图。
图4是用于说明抖动的Y方向上的距离差的图。
图5图示了通过使用Y轴方向上的仰角和被摄体距离作为参数而获得的误差距离δy的示例。
图6是用于说明抖动角度θ下的在旋转运动的X方向上的校正的图。
图7是用于说明抖动角度θ下的光瞳位置的变化的图。
图8图示了通过使用X轴方向上的仰角和被摄体距离作为参数而获得的误差距离δx。
图9图示了成像高度与校正量之间的关系。
图10是用于通过比较来说明相机抖动校正处理的效果的图。
图11是用于通过比较来说明相机抖动校正处理的效果的图。
图12是用于通过比较来说明相机抖动校正处理的效果的图。
图13是用于说明陀螺仪数据与图像数据之间的同步的图。
图14是用于说明陀螺仪数据与图像数据之间的同步的图。
图15图示了俯仰角(pitchangle)、偏航角(yawangle)和滚转角(rollangle)的定义。
图16图示了全局快门***的图像传感器中的抖动角度对图像的影响。
图17图示了全局快门***的图像传感器中的抖动角度对图像的影响。
图18图示了卷帘快门***的图像传感器中的抖动角度对图像的影响。
图19图示了卷帘快门***的图像传感器中的抖动角度对图像的影响。
图20图示了卷帘快门***的图像传感器中的抖动角度对图像的影响。
图21图示了包括使用桶形移位(barrelshift)***的相机抖动校正功能的摄像装置的构造示例。
图22是用于说明摄像方法的流程图。
图23是图示了应用了本发明的摄像装置的另一实施例的构造示例的框图。
图24是用于说明AF控制信号的电流值与被摄体距离之间的关系。
图25图示了预定的被摄体距离与X方向上的误差距离δx之间的关系的示例。
图26是用于通过比较来说明相机抖动校正处理的效果的图。
图27是图示了应用了本发明的固体摄像元件的实施例的构造示例的框图。
具体实施方式
下面将参考附图对本发明的实施例进行详细地说明。
图1是图示了应用了本发明的摄像装置的实施例的构造示例的框图。
如图1所示,摄像装置11是诸如数码相机和数码摄像机等具有拍摄图像的主要功能的电子设备,并且包括光学***12、记录媒介13、显示器14和相机模块15。另外,例如,对于摄像装置11,除具有拍摄图像的主要功能的电子设备之外,还可使用诸如被称为所谓的智能手机或平板电脑的多功能便携式终端等包括摄像功能的电子设备。
光学***12具有一个或多个透镜,并使来自被摄体的光聚集,以在相机模块15的图像传感器21的传感器表面上形成被摄体的像。
记录媒介13是安装在摄像装置11中的内置型存储器或者是可拆卸地附接至摄像装置11的可移除型存储器(例如,电可擦可编程只读存储器(EEPROM)),并记录从相机模块15输出的拍摄图像。
显示器14例如具有诸如液晶面板或有机电致发光(EL)面板等显示单元,并显示从相机模块15输出的拍摄图像。
相机模块15包括图像传感器21、陀螺仪传感器22、信号同步单元23、参数保持单元24和相机抖动校正处理单元25。
图像传感器21具有用于拍摄被摄体的光学图像以将拍摄到的图像转换成电信号的X-Y型摄像元件以及用于对从摄像元件输出的信号进行信号处理的信号处理单元,并输出具有拍摄的被摄体的图像信号。例如,图像传感器21由具有摄像元件和整体地层叠在摄像元件上的信号处理单元的芯片构成,或由具有摄像元件的芯片和组合在摄像元件的芯片上的信号处理单元的芯片的单元构成。另外,信号处理单元进行诸如放大摄像元件的输出的自动增益控制(AGC)或模拟数字(AD)转换等预处理,以及将经过预处理的数字信号转换成适当的图像信号格式(诸如Bayer、YUV或RGB等)的处理。
陀螺仪传感器22被安装成与图像传感器21相邻,并物理地(以非图像处理的方式)检测图像传感器21发生抖动时的抖动角度。例如,陀螺仪传感器22是用于检测角速度的检测单元,并以恒定的时序输出用于表示从检测出的角速度获得的抖动角度的陀螺仪数据(在下文中,适当地,还被称为相机抖动量信息)。
信号同步单元23进行使从图像传感器21输出的图像信号与以恒定的时序从陀螺仪传感器22输出的相机抖动量信息同步的同步处理,并将图像信号和相机抖动量信息输出至相机抖动校正处理单元25。注意,稍后将参考图13和图14对由信号同步单元23进行的同步处理进行说明。
参数保持单元24保持包括光学***12和图像传感器21的模块的几何光学特定参数(例如,视角和模块瞳距(pupildistance))。
相机抖动校正处理单元25根据从信号同步单元23输出的图像信号、与该图像信号同步的相机抖动量信息以及保持在参数保持单元24中的特定参数来计算图像信号的校正量。相机抖动校正处理单元25接着进行根据计算出的校正量对图像信号的相机抖动进行校正的相机抖动校正处理,将数据转换成减少了相机抖动的发生的图像信号(在下文中,适当地,还被称为相机抖动校正图像),并且将校正图像提供至记录媒介13和显示器14。注意,稍后将参考图15至图20对由相机抖动校正处理单元25进行的详细的相机抖动校正处理进行说明。
首先,将参考图2至图12对相机抖动校正处理单元25中的相机抖动校正处理的原理和估算进行说明。
首先,如图2所示,定义图像传感器21的传感器表面S与被摄体表面之间的关系。
被摄体表面上的每个点穿过未示出的光学***12(图1)的透镜的光瞳位置I,从而在传感器表面S上形成图像。例如,与光学***12的光轴交叉的被摄体表面上的点C穿过光瞳位置I,从而在传感器表面S的大致中心处形成图像(这里的大致中心包括被摄体表面S上的图像上的中心或传感器表面S的光学中心,或者图像上的中心或传感器表面S的光学中心附近,在下文中,适当地被称为中心点),且被摄体表面上的位于相对于光学***12的光轴的仰角α处的点A在传感器表面S上的与从点A穿过光瞳位置I的光束L1交叉的点处形成图像。
另外,如图所示,假定从传感器表面S的中心点到光瞳位置I的光学距离为模块瞳距d,且假定从被摄体表面上的点C到光瞳位置I的光学距离为被摄体距离D。假定与图面垂直并指向前方的轴为X轴,假定在附图中从下指向上的轴为Y轴,且假定在附图中从左指向右的轴为Z轴。
然后,假定摄像装置11由于拍摄过程中的相机抖动而发生抖动,且传感器表面S围绕预定旋转中心绕着X轴旋转地移动了抖动角度θ。
即,如图3所示,当传感器表面S围绕旋转中心O旋转地移动了抖动角度θ时,传感器表面S移动至传感器表面S’且光瞳位置I移动至光瞳位置I’。此时,在摄像装置11发生抖动之前位于仰角α处的点A在传感器表面S’上的与从点A穿过光瞳位置I’的光束LR交叉的位置处形成图像。即,来自被摄体表面上的点A的光在传感器表面S’上的沿着穿过摄像装置11发生抖动之后的光瞳位置I’的光束LR(而不是穿过摄像装置11发生抖动之前的光瞳位置I的光束L1)的点处形成图像。
此时,摄像装置11发生抖动之后的光束LR相对于光学***12的光轴的仰角是未知的,并无法被直接地估算出。因此,假定被摄体表面上的穿过摄像装置11发生抖动之后的光瞳位置I’并平行于光束L1的光束L2与被摄体表面相交的点A’对应于被摄体表面上的点A,将讨论这种位置关系。
首先,当从旋转中心O到传感器表面S的中心点的距离为旋转半径r,在抖动角度θ的旋转运动中,通过如下的公式(1)来表示传感器表面S的中心点在Z轴方向上移动的移动量ΔCz以及传感器表面S的中心点在Y轴方向上移动的移动量ΔCy。
[公式1]
△Cz=r·SINθ
△Cy=r·(1-COSθ)···(1)
另外,通过如下的公式(2)来表示在摄像装置11发生抖动之前被摄体表面上的与仰角α的光束L1相交的点A在传感器表面上的成像高度A以及在摄像装置11发生抖动之后被摄体表面上的与平行于光束L1的光束L2相交的点A’在传感器表面上的成像高度A’。
[公式2]
A=d·TANα
A'=d·TAN(α+θ)···(2)
因此,当在传感器表面上可以忽略被摄体表面上的点A与点A’之间的距离差时,通过如下的公式(3)来表示在抖动角度θ情况下的传感器表面S的旋转运动中的成像高度的变化量ΔA。
[公式3]
ΔA=d.(TAN(α+θ)-TANα)···(3)
以此方式,如公式(3)所表示,可仅通过使用模块瞳距d、抖动角度θ和仰角α来获得成像高度的变化量ΔA,且这些值都是已知量。因此,例如,如果模块瞳距d、抖动角度θ和仰角α能够经受实际应用时,则能够很精确地进行相机抖动校正。于是,假定可以忽略被摄体表面上的点A与点A’之间的距离差,为了评估模块瞳距d、抖动角度θ和仰角α是否能够经受实际应用,需要考虑产生的误差量。
例如,如图4所示,假定传感器表面S上的与从被摄体表面上的点A穿过光瞳位置I的光束L1相交的点为点a,且假定包含传感器表面S在内的平面表面上的与从被摄体表面上的点A’穿过光瞳位置I’的光束L2相交的点为点a’。此时,被摄体表面上的点A与点A’之间的Y方向上的距离差(A-A’)在几何光学上等于包含传感器表面S在内的平面表面上的点a与点a’在Y方向上的距离差(a-a’),并由如下的公式(4)表示。
[公式4]
能够从以此方式获得的距离差(A-A’)获得传感器表面上的像素数的误差距离δ(θ,α,D),该误差距离δ用于评估被摄体表面上的点A’是否可被视为点A。即,通过使用距离差(A-A’)、图像传感器21的在Y轴方向上的边的像素数Ny以及在图像传感器21的Y轴方向上的最大视角β下在被摄体表面上的Y方向上能够拍摄图像的范围(=2·D·TANβ),用如下的公式(5)来表示误差距离δ(θ,α,D)。
[公式5]
图5图示了通过使用Y轴方向上的仰角α和被摄体距离D作为参数而获得的误差距离δ(θ,α,D)的示例。
图5图示了通过使用Y轴方向上的仰角α(0.00°,5.00°,10.00°,15.00°,20.00°,25.00°)作为列方向上的参数并通过使用被摄体距离D(25cm,50cm,1m,2m,3m,5m)作为行方向上的参数而获得的误差距离δ(θ,α,D)。另外,图5图示了当图像传感器21的最大视角β为上下25°,图像传感器21在Y方向上的像素数Ny为3000个像素并且旋转半径r为50mm时获得的误差距离δ(θ,α,D)的示例。
图5中所示的误差距离δ(θ,α,D)的每个数值表示被摄体表面上的点A与点A’之间的Y方向上的距离差(A-A’)在图像传感器21的像素中作为图像而呈现的位置的差异的程度。
通常,当被摄体表面上的预定的两个点之间的距离差为传感器表面上的两个像素以上时,该距离差就被认为是明显的。在图5中,小于两个像素的误差距离δ(θ,α,D)的范围,即被摄体表面上的点A与点A’之间在Y方向上的距离差(A-A’)在传感器表面S上小于两个像素的范围用粗框线围住。因此,对于图5中所示的仰角α和被摄体距离D,由于误差距离δ(θ,α,D)在大部分区域中小于2个像素,所以距离差(A-A’)不是十分明显,因而可以经受实际应用。
另外,误差距离δ(θ,α,D)在某时刻完全是误差(误差像素数),并且它在正常拍摄过程中在累积周期内移动,并且所有的移动量的积分被表示为图像。因此,图5中所示的误差的水平在正常拍摄过程中使用的范围内完全没有问题。
即,可以假定被摄体表面上的点A与点A’之间的距离差是可忽略的。因此,当摄像装置11由于拍摄过程中的相机抖动而发生抖动,并且传感器表面S围绕预定的旋转中心旋转地移动了抖动角度θ时,可以通过如下的公式(6)来获得y方向上的校正量Δy。如公式(6)所表示,校正量Δy根据仰角α而变化。另外,由于被摄体表面上的点A在传感器表面上的成像高度是由仰角α而获得的,所以校正量Δy根据成像高度(Y方向上的距传感器表面S的大致中心的距离,其中被摄体表面上的位于仰角α处的点A在传感器表面S上形成图像)而不同。
[公式6]
Δy=d·(TANα-TAN(α+θ)···(6)
这里,参考图6,将说明以此方式对抖动角度θ下的在旋转运动中的X方向(水平轴方向)上的校正进行说明。
在图6中,为了以易于理解的方式表明在传感器表面S的像表面上如何形成图像,使用了沿X轴方向布置的杆状被摄体B,并且为了简化说明,假定光瞳位置i没有由于摄像装置11的抖动而移动。
图6的A图示了从沿杆状被摄体B的X轴方向观察时的图,且图6的B图示了从图6的A中的空心箭头观察(即,从Y轴方向观察)时的图。
如图6所示,在抖动角度θ下,从杆状被摄体B的一个端部b0进入光瞳位置i的光L0在摄像装置11发生抖动之前在传感器表面S的传感器中心点C处形成图像,并且在摄像装置11发生抖动之后在传感器表面S’的传感器中心点C’处形成图像。因此,分别在传感器表面S和传感器表面S’上,从光瞳位置i到传感器中心点C的距离为d/COSα,且从光瞳位置i到传感器中心点C’的距离为d/COS(α+θ)。
另外,在抖动角度θ下,从杆状被摄体B的另一端部b1进入光瞳位置i的光L1在摄像装置11发生抖动之前在传感器表面S的点P处形成图像,并在摄像装置11发生抖动之后在传感器表面S’的点P’处形成图像。此时,由光瞳位置i、传感器中心点C和点P形成的三角形相似于由光瞳位置i、传感器中心点C’和点P’形成的三角形。因此,通过如下的公式(7)来表示在摄像装置11发生抖动之前从传感器中心点C到点P的值Px与在摄像装置11发生抖动之后从传感器中心点C’到点P’的值P’x之间的比值。
[公式7]
因此,根据公式(7),当摄像装置11由于拍摄过程中的相机抖动而发生抖动并且传感器表面S围绕预定的旋转中心旋转地移动了抖动角度θ时,假定位置P处的像素是校正的目标,且从传感器中心点C到点P的距离为X,则可通过如下的公式(8)来获得X方向(水平轴方向)上的校正量Δx。如公式(8)所表示,校正量Δx根据仰角α和从传感器中心点C到点P的距离X而变化。
[公式8]
同时,实际上,光瞳位置i因抖动角度θ而发生变化。因此,杆状被摄体B的端部b1形成图像的位置不对应于如图6所示的传感器表面S’的位置P’。
这里,图7是用于说明在考虑由抖动角度θ引起的光瞳位置i的变化的情况下杆状被摄体B的端部b1形成图像的位置的图。
如图7所示,当摄像装置11以抖动角度θ发生抖动时,光瞳位置i向被摄体B靠近了如下公式(9)中所表示的光瞳位置移动量Δi。
[公式9]
Δi=r·SINθ-d·(1-COSθ)···(9)
因此,当摄像装置11以抖动角度θ发生抖动时,被摄体B的端部b1’的位置(原本作为端部b1的位置)在传感器表面S”的点P”处形成图像。通过如下的公式(10)来表示此时的被摄体B中的X轴方向上的被摄体误差δx。
[方式10]
δx=(r·SINθ-d·(1-COSθ))·TANq···(10)
然而,在公式(10)中满足TANq=X/D。
这里,与图5中所示的Y方向上的误差距离δ(θ,α,D)类似,获得了X轴方向上的被摄体误差δx。通过使用图像传感器21在X轴方向上的边的像素数Nx和在图像传感器21的X轴方向上的最大视角β下在被摄体表面上的X方向上能够拍摄图像的范围(=2·D·TANβ),用如下的公式(11)来表示被摄体误差δx。
[公式11]
然而,在公式(11)中满足TANq=X/D。
图8图示了通过使用被摄体距离D和X轴方向上的仰角α作为参数而获得误差距离δx的示例。
图8图示了通过使用X轴方向上的仰角α(0.00°,5.00°,10.00°,15.00°,20.00°,25.00°,30.00°,35.00°)作为列方向上的参数并通过使用被摄体距离D(25cm,50cm,1m,2m,3m,5m)作为行方向上的参数而获得的误差距离δx。另外,图8图示了当图像传感器21的最大视角β为左右35°,图像传感器21在X方向上的像素数Nx为4000个像素且旋转半径r为50mm时获得的误差距离δx的示例。
图8中所示的误差距离δx的每个数值表示被摄体B的端部b1与端部b1’之间的X方向上的距离差在图像传感器21的像素中作为图像而呈现的位置的差异的程度。
与如上所述的Y方向上的误差距离δ(θ,α,D)类似,通常,当被摄体表面上的预定的两个点之间的距离差为两个像素以上时,该距离差就被认为是明显的。在图8中,小于两个像素的误差距离δx的范围,即被摄体B的端部b1与端部b1’之间在X方向上的距离差在传感器表面S上小于两个像素的范围被用粗框线包围。因此,对于图8中所示的仰角α和被摄体距离D,由于误差距离δx在大部分区域中小于2个像素,所以距离差足以经受实际应用。
另外,误差距离δx在某时刻完全是误差(误差像素数),且在正常拍摄过程中在累积周期内移动,并且所有的移动量的积分被表示为图像。因此,图8中所示的误差的水平在通常使用的范围内完全没有问题。
注意,在上述说明中,已对围绕X轴向前方倾斜的抖动(俯仰)进行了说明,但是也能够对在Y轴方向上左右倾斜的抖动(偏航)进行类似的计算。
这里,图9的B图示了包括图1的光学***12和图像传感器21的模块抖动了如图9的A所示的抖动角度Δθ时的校正量的示例。另外,通过使用具有一千三百万像素且一个像素的边长为1.12μm的图像传感器21而获得校正量。
在图9的B中,横轴表示Y方向上的成像高度,且纵轴表示Y方向上的校正量。图9图示了校正量随Y方向上的成像高度的增大而增大。另外,图9图示了作为抖动角度Δθ的1.0°和0.3°,并图示了校正量随抖动角度的增大而增大。注意,在桶形移位***的光学相机抖动校正中,根据摄像元件的中心点(即,图9中的横轴上的0点)处的校正量对整个图像进行均一地校正。
因此,通过根据Y轴方向上的成像高度获得校正量以使用该校正量对相机抖动进行校正,摄像装置11的相机抖动校正处理单元25能够有效地校正图像中的根据Y轴方向上的成像高度而有区别地出现的失真。摄像装置11的相机抖动校正处理单元25尤其能够有效地进行图像的端部中的校正。
这里,图10至图12图示了经过由应用了本发明的摄像装置11进行的相机抖动校正处理的图像以及经过桶形移位***的现有的光学相机抖动校正的图像,以进行相互比较。
图10图示了具有通过使没有相机抖动的原始图像与倾斜0.5°的图像重叠而获得的格子图案的面板。图10的A图示了经过由应用了本发明的摄像装置11进行的相机抖动校正处理的图像,图10的B图示了经过桶形移位***的现有光学相机抖动校正的图像。难以从如图10所示的距离识别各个图像之间的差异。
图11图示了通过切出图10的图像的中心附近而获得的图像,图12图示了通过切出图10的图像的端部附近而获得的图像。图11的A和图12的A图示了经过由应用了本发明的摄像装置11进行的相机抖动校正处理的图像,且图11的B和图12的B图示了经过桶形移位***的现有光学相机抖动校正的图像。
如图11所示,难以在图像的中心周围识别出各个图像之间的差异。相比之下,如图12所示,在图像的端部周围能够清晰地识别出各个图像之间的差异。即,对于经过由应用了本发明的摄像装置11进行的相机抖动校正处理的图像,即使在端部周围,原始图像也与针对0.5°的抖动进行过校正的图像相一致。然而,对于经过桶形移位***的现有光学相机抖动校正的图像,原始图像和针对0.5°的抖动进行过校正的图像被观察到有重影。
以此方式,图10至图12中所示的图像表明,通过应用本发明能够更有效地校正相机抖动。尤其是随着近来智能手机的广泛普及,可以说,,能够在没有结构缺陷的情况下捕捉到由于小尺寸而无法避免的抖动并且容易地拍摄高质量的图像的本发明具有极高的工业价值。
同时,在摄像装置11中,相机抖动校正处理单元25对由图像传感器21捕捉的图像的在累积周期中的部分、抖动程度和抖动方向进行校正。因此,信号同步单元23需要将从陀螺仪传感器22输出的陀螺仪数据(相机抖动量信息)与从图像传感器21输出的图像数据同步。
接下来,参考图13,将对陀螺仪数据与图像数据之间的同步进行说明。
图13的右侧图示了对来自图像传感器21的信号的读取。图像传感器21具有如下结构:其中,针对垂直方向上的一个垂直地址,一次读出水平方向上的所有像素。即,在一个水平线上,读取时间恒定且累积时间恒定。
因此,在图像传感器21中,由不同的垂直地址指定的水平线被不断地读出,且每条水平线的累积时间具有不同的时序。然而,在所有像素中,作为在图像传感器21的每个像素中累积信号电荷时的时间的累积时间是恒定的。于是,需要根据每条水平线中的累积时间的时序获得陀螺仪数据。即,需要用于表示在累积时间中出现的抖动量的程度的相机抖动量信息。
图13的左侧图示了这样的处理示例:将在某一水平线的累积时间T的中间时刻处从陀螺仪传感器22输出的陀螺仪数据设定为该水平线中的陀螺仪数据的处理示例。注意,并不限于这种处理,例如,可进行将在某一水平线的累积时间T内输出的陀螺仪数据的平均值设定为该水平线的陀螺仪数据的处理。即,仅需要与每条水平线的各累积时间相对应的同步陀螺仪数据。
例如,存在用于从图像传感器21输出图像数据的时序与从陀螺仪传感器22输出陀螺仪数据的时序之间进行同步的方法。另外,存在用于通过在陀螺仪传感器22外部的例如基带芯片中接收从陀螺仪传感器22输出的陀螺仪数据来进行同步的方法。
具体地,使用了用于将向图像传感器21发送时序的指令以及根据该指令输出的图像数据的延迟传输至基带芯片的手段。即,由于图像传感器21通常是根据垂直同步信号驱动的,所以即使当在任何时刻从外部接收到用于改变曝光时间的指令时,图像传感器21也无法讯速地对该指令进行反应。因此,当从外部接收到指令之后的帧开始时,图像传感器21根据垂直同步信号来进行控制。进行这样的控制以使帧中的摄像条件相同。另一方面,由于指令是从图像传感器21的外部发出的,所以该指令是在与垂直同步信号无关的时刻发送的。另外,基带芯片能够知道的时序是发送至图像传感器21的指令的时序和发送至陀螺仪传感器22的指令的时序。
即,如图14所示,从基带处理的角度看,在时间T1的时序处向图像传感器21输出指令,且在经过了用于与其中的垂直同步信号进行同步的同步时间ΔT以及在n×FT时间(帧图像输出时间FT,整数n:1,2,……)之后,接收到上述指令的图像传感器21输出图像数据。因此,这种同步时间ΔT根据发送至图像传感器21的指令的输入时序是不同的。
另一方面,在请求发送至图像传感器21的指令之前,在时间T0的时序处输出用于请求将数据输出至陀螺仪传感器22的指令,且陀螺仪传感器22侧记录它接收到该指令时的时间T0作为时间戳,并顺序地输出陀螺仪数据。因此,从基带处理的角度看,能够知道所有陀螺仪数据被输出时的时序。
在这种时序处,图像数据和陀螺仪数据被输出并被提供至信号同步单元23,且信号同步单元23进行图像数据与陀螺仪数据之间的同步并且将同步后的数据提供至相机抖动校正处理单元25。然后,在相机抖动校正处理单元25中进行相机抖动校正处理。
下面将对在相机抖动校正处理单元25中进行的相机抖动校正处理进行说明。注意,在下面的说明中所表示的公式中,不同的符号可以用于与上面的说明的对象相同的对象。
首先,对于相机抖动校正处理的第一处理示例,将对如下构造中的相机抖动校正处理进行说明:在该构造中,图像传感器21中使用的摄像元件采用全局快门***。
与后述的卷帘快门***不同,在全局快门***中,由于整个被拍摄图像几乎在同一时间被记录为图像,所以对于一个图像,可以通过使用一对校正角(Y轴方向上的校正量和X轴方向上的校正量)来进行相机抖动校正处理。即,能够通过使用一对校正角将具有由相机抖动引起的位置偏移的图像校正成没有位置偏移的图像。
注意,假定曝光时间长且在曝光期间获得多条相机抖动量信息(陀螺仪数据),则能够通过使用所述多条相机抖动量信息的平均值来确定这对校正角。或者,可通过使用在曝光时间的中心的时序处获得的相机抖动量信息或者通过使用在通过从多条相机抖动量信息的插值而获得的必需时序处获得的相机抖动量信息来确定这对校正角。
首先,如图15所示,通过俯仰角、偏航角和滚转角来定义摄像装置11的抖动(即,被安装在摄像装置11中的图像传感器21的抖动)。
图16图示了在全局快门***的图像传感器21中抖动角度对图像的影响。
图16的A图示了图像传感器21静止时的图像的位置。在此情况下,图像位于图像传感器21的中心。
图16的B图示了图像传感器21在俯仰角的负方向上发生抖动时抖动角度对图像的影响。在此情况下,主要地给出了朝图像传感器21的垂直方向(Y方向)上的上侧的影响。
图16的C图示了图像传感器21在偏航角的正方向上发生抖动时抖动角度对图像的影响。在此情况下,主要地给出了朝图像传感器21的水平方向(X方向)上的左侧的影响。
图16的D图示了图像传感器21在俯仰角的负方向和偏航角的正方向上发生抖动时抖动角度对图像的影响。在此情况下,主要地给出了朝通过将图像传感器21的垂直方向(Y方向)上的上侧增添至图像传感器21的水平方向(X方向)上的左侧而获得的方向的影响。
另外,对于滚转角的相机抖动,给出了与图像的旋转一样的影响。注意,当图像传感器21的抖动角度为θ时,在图像上给出了–θ的影响。
同时,在现有相机抖动校正处理中,对于俯仰角的抖动,假定使整个图像在Y方向上均一地移位Y1个像素,则已经进行了诸如使图像移动–Y1个像素或使图像的读取位置移位Y1个像素等处理。类似地,对于偏航角的抖动,在现有相机抖动校正处理中,假定使整个图像在X方向上均一地移位X1个像素,则已经进行了诸如使图像移动–X1个像素或使图像的读取位置移位X1个像素等处理。
然而,如图17所示,整个图像没有针对抖动角度而被均一地移位。在图17中,实线表示获得的图像,虚线表示通过使原始图像移位而获得的图像。
图17的A图示了图像传感器21在俯仰角的负方向上发生抖动时抖动角度对图像的影响。如图17的A所示,给出了对图像上的不同像素位置而造成的不同影响。例如,在图像的上端附近,移动大于垂直方向上的中央附近的移动,并在水平方向上扩展。另一方面,在图像的下端,获得了与上端和中央附近不同的在垂直方向上的移动量变窄的这种变形。即,在Y方向和X方向上的移动量根据每个像素的位置而变化。
图17的B图示了图像传感器21在偏航角的正方向上发生抖动时抖动角度对图像的影响。如图17的B所示,给出了对图像上的不同像素位置而造成的不同影响。例如,在图像的左端附近,移动大于在水平方向上的中心附近的移动,并在垂直方向上扩展。另一方面,在图像的右端附近,获得了与左端和中心周围不同的水平方向上的移动量变窄的这种变形。即,X方向和Y方向上的移动量根据每个像素的位置而变化。
图17的C图示了图像传感器21在俯仰角的负方向和偏航角的正方向上发生抖动时抖动角度对图像的影响。如图17的C所示,当两个方向上的抖动的影响发生叠加时,图像发生比图17的A和图17的B更加复杂的变形。
另外,滚转角的抖动的增加使图像发生更加复杂的变形(未示出)。注意,由于滚转角的影响较小且在典型的相机抖动中往往无法进行校正处理,所以下面将主要对俯仰角和偏航角的抖动进行说明。
下面将对全局快门***中的相机抖动校正的步骤进行说明。
这里,为便于说明,以如下方式表示图像传感器21的输出图像中的每个像素的位置:当左下角的像素的中心为(0,0)时,从左边起第x个且从底部起第y个的像素的中心的坐标为A(x,y)。
首先,当针对坐标A(x,y)求得距离图1的光学***12的透镜的光轴中心在图像传感器21的摄像元件上形成图像的点的坐标O(x0,y0)的相对位置(X,X)时,获得坐标A(X=x-x0,Y=y-y0)。注意,可以用图像传感器21的摄像元件的图像的中心来代替坐标O(x0,y0)。
当拍摄图像过程中的相机抖动量为俯仰角θp、偏航角θy和滚转角θr且通过使坐标A抖动俯仰角-θp、偏航角-θy和滚转角-θr而获得坐标A’时,通过将输入图像中的坐标A’的像素值设定成输出图像中的坐标A的像素值来获得针对相机抖动进行校正的像素值。因此,当此像素值被设定为坐标A的值且针对图像传感器21的所有像素而获得的图像被设定为输出图像时,输出针对相机抖动而进行了校正的图像。
为了获得输入图像中的坐标A’,对于图像传感器21的有效像素,当水平方向上的像素数为W,垂直方向上的像素数为H,从光学***12的透镜中心到图像传感器21的摄像元件的距离为L(对应于像素数),且水平方向上的视角的1/2为角度β时,假定坐标O(x0,y0)为图像传感器21的有效像素的中心,则根据如下的公式(12)获得作为水平方向上的视角的1/2的角度β。
[公式12]
tanβ=(W/2)/L···(12)
因此,可以通过如下的公式(13)来获得从光学***12的透镜中心到图像传感器21的摄像元件的距离L(对应于像素数)。
[公式13]
L=(W/2)/tanβ···(13)
注意,作为水平方向上的视角的1/2的角度β和距离L(对应于像素数)是专用于摄像装置11的摄像模式(例如,输出所有像素的摄像模式、输出薄化像素的摄像模式和输出像素的切出部分的摄像模式)、图像传感器21的摄像元件和光学***12的透镜的值。
此时,通过如下的公式(14)来表示坐标A的位置处的俯仰方向上的角度αp和坐标A的位置处的偏航方向上的角度αy。
[公式14]
tanαp=Y/L
tanαy=X/L···(14)
因此,当摄像装置11发生俯仰角θp的抖动时,在图像的中心位置处,像素位置在Y方向上移动了L·tan(-θp)个像素。而且,在坐标A的位置上,像素位置在Y方向上移动由如下的公式(15)表示的Y方向移动量ΔYp。
[公式15]
ΔYp=L·(tan(αp+(-θp))-tanαp)···(15)
此时,如上面参考图6和图7所述,像素位置既在X方向移动,又Y方向上移动。假定作为目的地的X坐标具有由如下的公式(16)表示的关系,则如下面的公式(17)所表示,则坐标在X方向上被设定为L2/L1倍。
[公式16]
L/L1=cosαp
L/L2=cos(αp+(-θp))···(16)
[公式17]
L2/L1=cosαp/cos(αp+(-θp))···(17)
因此,X坐标移动至由如下的公式(18)表示的位置,且通过如下的公式(19)来获得X坐标移动量ΔXp。
[公式18]
X·cosαp/cos(αp+(-θp))···(18)
[公式19]
ΔXp=X·(cosαp/cos(αp+(-θp))-1)···(19)
与发生俯仰角θp的抖动的情况类似,当摄像装置11发生偏航角θy的抖动时,在图像的中心位置处,像素位置在X方向上移动了L·tan(-θy)个像素。而且,在坐标A的位置上,像素位置在X方向上移动了由如下的公式(20)表示的X方向移动量ΔXy。
[公式20]
ΔXy=L·(tan(αy+(-θy))-tanαy)···(20)
另外,类似地,像素位置既在Y方向移动,又X方向上移动。当作为目的地的Y坐标具有由如下的公式(21)表示的关系时,则如下面的公式(22)所表示,则坐标在Y方向上被设定为L4/L3倍。
[公式21]
L/L3=cosαy
L/L4=cos(αy+(-θy))···(21)
[公式22]
L4/L3=cosαy/cos(αy+(-θy))···(22)
因此,Y坐标移动至由如下的公式(23)表示的位置,且通过如下的公式(24)来获得Y坐标移动量ΔYy。
[公式23]
Y·cosαy/cos(αy+(-θy))···(23)
[公式24]
ΔYy=Y·(cosαy/cos(αy+(-θy))-1)···(24)
另外,当摄像装置11发生滚转角θr的抖动时,在图像的作为旋转中心的中心位置处,像素位置移动至由如下的公式(25)表示的位置,且可通过如下的公式(26)来获得X方向移动量ΔXr和Y坐标移动量ΔYr。[公式25]
X·cos(-θr)-Y·sin(-θr),X·sin(-θr)+Y·cos(-θr)···(25)
[公式26]
ΔXr=X·cos(-θr)-Y·sin(-θr)-X
ΔYr=X·sin(-θr)+Y·cos(-θr)-Y···(26)
可分别针对俯仰角θp、偏航角θy和滚转角θr这三个方向上的角度单独地计算相机抖动的影响。同时,由于这些影响相互作用,所以基本上需要同时获得由俯仰角θp、偏航角θy和滚转角θr造成的相机抖动的影响,但是即使当如下简单地求出影响,也能够实现不引起任何实际应用的问题的水平的校正。例如,顺序地,可基于因俯仰角θp的影响而产生的移动量来获得因偏航角θy的影响而产生的移动量,且然后,可基于获得的移动量来求出因滚转角θr的影响而产生的移动量。注意,当求得移动量时,可以改变俯仰角θp、偏航角θy和滚转角θr的顺序。另外,通过单独地计算俯仰角θp、偏航角θy和滚转角θr下的相机抖动的影响而求出的结果可以被加在一起。
同时,由于相机抖动的俯仰角θp、偏航角θy和滚转角θr是正负1度内的小角度,所以这些计算结果之间的差异是非常小的值并因此是可忽略的。
这里,作为最简单的方法,将通过针对俯仰角θp、偏航角θy和滚转角θr单独地计算相机抖动的影响而获得结果加在一起,并且然后将通过如下的公式(27)来获得综合的X方向移动量ΔX和综合的Y方向移动量ΔY。
[公式27]
ΔX=ΔXp+ΔXy+ΔXr
ΔY=ΔYp+ΔYy+ΔYr···(27)
因此,能够通过如下的公式(28)来求得坐标A’的待求的X坐标X’,且可通过如下的公式(29)来获得坐标A’的待求的Y坐标Y’。
[公式28]
[公式29]
另外,由于坐标A(X,Y)具有由如下的公式(30)表示的关系,所以通过如下的公式(31)来表示坐标A’的X’坐标和Y’坐标。
[公式30]
X=L·tanαy
Y=L·tanαp···(30)
[公式31]
X'=X·cosαp/cos(αp+(-θp))+L·tan(αy+(-θy))
+X·cos(-θr)-Y·sin(-θr)-2X
Y’=L·tan(αp+(-θp))+Y·cosαy/cos(αy+(-θy))
+X·sin(-θr)+Y·cos(-θr)-2Y···(31)
这里,由于坐标A’(X’,Y’)是距坐标O(x0,y0)的相对位置,所以可基于如下的公式(32)读取输出图像中的坐标A’(x’,y’)的值。
[公式32]
x’=X’+x0
y’=Y’+y0···(32)
于是,当针对所有像素进行求出输出图像中的坐标A’(x’,y’)的处理时,能够获得校正了相机抖动的校正图像。以此方式,当将本实施例的相机抖动校正处理施加至由采用全局快门***的摄像元件拍摄的图像时,针对一个图像能够通过使用一对校正角来进行相机抖动校正处理,并以小的处理负载有效地进行相机抖动校正。
接下来,作为相机抖动校正处理的第二示例,将对如下构造中的相机抖动校正处理进行说明:在该构造中,图像传感器21中使用的摄像元件采用卷帘快门***。
在卷帘快门***的摄像元件中,由于拍摄图像内的每条水平线的图像捕捉时序是不同的,所以图像的变形变得比全局快门***中图像的变形更加复杂。这是因为除由抖动角度引起的图像的失真之外还存在着抖动角度随时间的变化的影响。
例如,图18和图19图示了在卷帘快门***的图像传感器21中抖动角度对图像的影响。
图18的A图示了图像传感器21静止时的图像的位置,且在此情况下,图像位于图像传感器21的中心。
图18的B图示了图像传感器21在俯仰角的负方向上发生抖动时抖动角度对图像的影响。图18的C图示了图像传感器21在俯仰角的正方向上发生抖动时抖动角度对图像的影响。另外,图19的A图示了图像传感器21在偏航角的正方向上发生抖动时抖动角度对图像的影响。图19的B图示了图像传感器21在偏航角的负方向上发生抖动时抖动角度对图像的影响。另外,图19的C图示了图像传感器21在俯仰角的正方向和偏航方向的负方向上发生抖动时的抖动角度对图像的影响。
如图18和图19所示,在卷帘快门***中,与全局快门***相比,在俯仰角的负方向上的抖动中,发生了图像在Y方向上收缩的变化,且在俯仰角的正方向上的抖动中,发生了图像在Y方向上延伸的变形。另外,在偏航角的抖动中,产生了抖动朝着图像的下侧在抖动的相反侧变大的变形。
图20的A图示了图像传感器21在俯仰角的负方向和偏航角的正方向上发生抖动时的抖动角度对图像的影响。在图20的A中,实线表示获得的图像,且虚线表示通过使原始图像的位置移位而获得的图像。如上所述,当两种抖动同时发生时,变形变得更加复杂。
图20的B图示了在不考虑像素位置依赖性的情况下的仅对焦平面影响进行校正的情况下,图像传感器21在俯仰角的负方向和偏航角的正方向上发生抖动时抖动角度对图像的影响。在图20的B中,实线表示获得的图像,且虚线表示通过使原始图像的位置移位而获得的图像。即使在进行这种校正时,如附图所示,也不可能完全地校正图像的失真。注意,虽然图20的B中所示的图像的失真看起来小,但是失真在图像的边缘变大,而且图17中所示的影响也将根据相机抖动的条件而出现。
下面将对卷帘快门***中的相机抖动校正的步骤进行说明。
为了对卷帘快门的影响进行校正,需要针对各行通过使用该行拍摄时的抖动角度来执行相机抖动校正处理。因此,在信号同步单元23中,期望针对每个图像的每行执行相机抖动量信息的同步。然而,当前的陀螺仪传感器22仅能够在多个行中检测一次相机抖动量信息。
因此,可以采取在多行中使用相同的相机抖动量信息的方法,或采取使用针对每行的插值而获得的相机抖动量信息的方法,或采取在多行中使用相同的相机抖动量信息并且在考虑了校正角的计算中的时间偏移的情况下计算校正角的方法。另外,通过使用这些方法中的一者或其它方法来求出每行的校正角,且此校正角用于进行与上述的输入图像中的坐标A’的计算相同的计算,从而获得待求出的坐标位置,以形成校正图像。在此情况下,使用与该行同步的俯仰角θp、偏航角θy和滚转角θr。
接下来,作为相机抖动校正处理的第三示例,将说明与桶形移位***的光学相机抖动校正相结合的处理。可以通过将如上所述的相机抖动校正处理与桶形移位***相结合来校正桶形移位***中的图像的边缘的失真(边缘的未校正部分)。
图21图示了包括桶形移位***的光学相机抖动校正的摄像装置11A。注意,在图21的摄像装置11A中,使用相同的附图标记来表示与图1的摄像装置11相同的结构元件,且省略对这些结构元件的详细说明。
如图21所示,摄像装置11A除图1的摄像装置11的构造之外还包括驱动单元26。通过基于来自陀螺仪传感器22的相机抖动量信息在摄像元件上的图像不移动的方向上以与图像传感器21的摄像元件的传感器表面平行的方式驱动光学***12的透镜,驱动单元26以光学的方式校正相机抖动。
同时,在桶形移位***的光学相机抖动校正中,由于光学***12的透镜根据相机抖动量而移动固定的量,所以不考虑像素位置的依赖性。因此,获得了这样的图像:该图像大体上与对整个图像均一地校正了图像中心处的位置偏移的图像相同。因此,能够通过如下方式对经过桶形移位校正的图像的边缘的失真进行校正:使用用于控制桶形移位的相机抖动信息来校正每个像素的移动量,其中所述移动量是通过从相机抖动时的每个像素的移动量中减去图像中心处的位置偏移而求得的剩余量(像素位置依赖量)。
为了获得输入图像中的坐标A’,对于图像传感器21的有效像素,当水平方向上的像素数为W,垂直方向上的像素数为H,从光学***12的透镜中心到图像传感器21的摄像元件的距离为L(对应于像素数),且水平方向上的视角的1/2为角度β时,假定坐标O(x0,y0)为图像传感器21的有效像素的中心,则根据上述的公式(12)求出作为水平方向上的视角的1/2的角度β。
因此,可通过上述的公式(13)来获得从光学***12的透镜中心到图像传感器21的摄像元件的距离为L(对应于像素数)
注意,作为水平方向上的视角的1/2的角度β和距离L(对应于像素数)是专用于摄像装置11的摄像模式(例如,输出所有像素的摄像模式、输出薄化像素的摄像模式和输出像素的切出部分的摄像模式)、图像传感器21的摄像元件和光学***12的透镜的值。
此时,通过上述的公式(14)来表示坐标A的位置处的俯仰方向上的角度αp和坐标A的位置处的偏航方向上的角度αy。
因此,当摄像装置11抖动了俯仰角θp时,在图像的中心位置处,像素位置在Y方向上移动L·tan(-θp)个像素。而且,在坐标A的位置上,像素位置在Y方向上移动了由上述的公式(15)表示的Y方向移动量ΔYp。
此时,如上面参考图6和图7所述,像素位置既在X方向移动,又Y方向上移动。当作为目的地的X坐标具有由上述的公式(16)表示的关系时,则如上述的公式(17)所表示,坐标在X方向上被设定为L2/L1倍。
因此,X坐标移动至由上述的公式(18)表示的位置,且通过上述的公式(19)来获得X坐标移动量ΔXp。
这里,在桶形移位***中,由于通过驱动光学***12的透镜针对整个图像校正中心处的抖动,所以可通过如下的公式(33)来获得Y方向移动量ΔYp。
[公式33]
ΔYp=L·(tan(αp+(-θp))-tanαp-tan(-θp)···(33)
另外,由于在桶形移位***中不考虑X方向上的移位,所以还是通过上述的公式(19)表示X方向移动量ΔXp。
与发生俯仰角θp的抖动的情况下类似,当摄像装置11抖动了偏航角θy时,在图像的中心位置处,像素位置在X方向上移动L·tan(-θy)个像素。而且,在坐标A的位置上,像素位置在X方向上移动了由上述的公式(20)表示的X方向移动量ΔXy。
另外,类似地,像素位置既在Y方向移动,又X方向上移动。当作为目的地的Y坐标具有由上述的公式(21)表示的关系时,则如上述的公式(22)所表示,坐标在Y方向上被设定为L4/L3倍。
因此,Y坐标移动至由上述的公式(23)表示的位置,且通过上述的公式(24)来获得Y坐标移动量ΔYy。
这里,在桶形移位***中,由于通过驱动光学***12的透镜针对整个图像校正中心处的抖动,所以可通过如下的公式(34)来获得Y方向移动量ΔYy。
[公式34]
ΔYy=L·(tan(αy+(-θy))-tanαy-tan(-θy))···(34)
另外,由于在桶形移位***中不考虑X方向上的移位,所以还是通过上述的公式(20)表示X方向移动量ΔXy。
注意,由于桶形移位***无法对滚转角θr进行校正,所以不进行滚转角θr的校正。
因此,作为最简单的方法,将通过单独地计算俯仰角θp和偏航角θy在两个方向上的相机抖动的影响而求出的结果加在一起,且将通过如下的公式(35)来获得综合的X方向移动量ΔX和综合的Y方向移动量ΔY。
[公式35]
ΔX=ΔXp+ΔXy
ΔY=ΔYp+ΔYy···(35)
因此,可通过如下的公式(36)来求出坐标A’的待求的X坐标X’,且可通过如下的公式(37)来求出坐标A’的待求的Y坐标Y’。
[公式36]
[公式37]
另外,由于坐标A(X,Y)具有由如下的公式(38)表示的关系,所以通过公式(39)来表示坐标A’的X坐标X’和Y坐标Y’。
[公式38]
X=L·tanαy
Y=L·tanαp···(38)
[公式39]
X'=X·cosαp/cos(αp+(-θp))
+L·(tan(αy+(-θy))-tan(-θp))-X
Y'=L·(tan(αp+(-θp))-tan(-θy))
+Y·cosαy/cos(αy+(-θy))-Y···(39)
这里,由于坐标A’(X’,Y’)是距坐标O(x0,y0)的相对位置,所以可根据上述的公式(32)来读取输出图像中的坐标A’(x’,y’)的值。
于是,当针对所有像素进行求出输出图像中的坐标A’(x’,y’)的处理时,可获得校正了相机抖动的校正图像。注意,虽然这里已经对桶形移位***的在俯仰方向和偏航方向上的校正进行了说明,但是还可增加滚转方向上的校正。
同时,在上述的相机抖动校正处理的第一处理示例至第三处理示例中,由于输出图像中的坐标A’(x’,y’)并不总是对应于输入图像上的像素的中心位置,所以需要通过从周边的像素的插值来获得像素值。即,由于构成校正图像(输出图像)的每个像素的像素位置不对应于构成校正之前的图像(输入图像)的每个像素的像素位置,所以通过从用于构造校正图像的预定像素周围的多个像素进行插值来求出预定像素的像素值。
这种插值法可使用诸如最邻近法(nearestneighbormethod)、双线性法(bilinearmethod)和双三次法(bicubicmethod)等各种插值技术。另外,虽然用于插值和计算方法的周边的像素根据输入图像和输出图像的形式(例如,根据像素位置确定颜色的拜尔图像、各个像素具有相同颜色(RGB三色或单色)的图像和YUV图像)是不同的,但是它们的共同点都是求出以各自的形式计算的像素的值。
另外,在上述的相机抖动校正处理的第一处理示例至第三处理示例中,当像素的待求出的位置处于图像之外时,需要进行回零等以作为像素值或者对校正量添加限制以防止位置处于在图像之外的处理。这里,当回零等以作为像素值时,与原始图像不同的数据被写入输出图像的周边,但是能够进行从原始图像的某个范围裁切出最终的输出图像或者对裁切出的图像进行放大的处理。通常,当制作尺寸在校正待校正的角度的范围内大于最终输出图像的图像作为输入图像时,能够防止对最终输出图像产生这种影响。
另外,在此实施例中,为便于说明,已说明了计算所有像素的校正位置以对图像进行校正的示例,但是可使用如下方法,在该方法中,将整个图像分割成多个区块,且求得每个分割区块的代表点的校正位置,并且通过从代表点的校正位置的值的插值求出每个像素的校正位置。另外,可通过使用近似计算等来简化数值计算。
注意,在桶形移位***(第三处理示例)中,由于通过透镜的移动来校正图像的中心处的抖动,所以与第一和第二处理示例相比,针对相同角度的抖动量而求得的像素的位置处于图像之外的量减小。
另外,特别是在拍摄移动图像时,由于在图像的边缘附近出现大的失真,所以在过去进行仅裁切出图像的中央(在图像的中央这样的失真小)的处理或者使图像传感器单元的视角变窄的处理。相比之下,在由应用了本发明的摄像装置11进行的相机抖动校正处理中,由于可对图像的边缘附近的失真进行校正,所以能够扩大摄像装置11的视角。
接下来,图22图示了用于说明由图11的摄像装置11执行的摄像方法的流程图。
例如,当打开摄像装置11并将其设定成使相机抖动校正处理有效时,处理开始。在步骤S11中,陀螺仪传感器22开始以恒定的时序输出相机抖动量信号(陀螺仪数据),且信号同步单元23从陀螺仪传感器22顺序地获得相机抖动量信号。
在步骤S12中,图像传感器21在根据水平同步信号的时序处输出图像信号,且信号同步单元23从图像传感器21顺序地获得图像信号。
在步骤S13中,信号同步单元23进行相机抖动量与图像信号之间的同步并且将它们输出至相机抖动校正处理单元25。
在步骤S14中,相机抖动校正处理单元25计算每个像素位置的偏移量。例如,相机抖动校正处理单元25根据上述的公式(15)、公式(19)、公式(20)、公式(24)和公式(26)进行计算,并基于这些计算结果计算每个像素位置的综合X方向移动量ΔX和综合Y方向移动量ΔY。
在步骤S15中,相机抖动校正处理单元25基于步骤S14中计算的每个像素位置的偏移量对图像进行校正。例如,相机抖动校正处理单元25通过执行上述的公式(31)的计算以获得每个坐标A(X,Y)的坐标A’(X’,Y’)来对图像进行校正。在步骤S15的处理之后,处理返回至步骤S11,且对将要处理的下一帧重复类似的处理。
同时,如参考图5所述,当误差距离δ(θ,α,D)处于小于2个像素的区域中时,被摄体表面上的点A与点A’之间的距离差就不明显。因此,当进行使用上述的公式(6)的校正量Δy和上述的公式(8)的校正量Δx的相机抖动校正处理时,能够获得充分地抑制相机抖动的生成的图像。然而,例如,对于具有短的被摄体距离D的被摄体,误差距离δ(θ,α,D)可等于或大于2个像素,且即使在相机抖动校正处理之后也可能获得具有明显的相机抖动的图像。
于是,例如,通过进行如下的相机抖动校正处理能够抑制具有短的被摄体距离D的被摄体的相机抖动:在该相机抖动校正处理中,将使用被摄体距离D的额外校正量增添至上述的公式(6)的校正量Δy和上述的公式(8)的校正量Δx。例如,通过使用自动对焦(AF)功能估算到将被对焦的被摄体的被摄体距离D,进行根据该被摄体距离D的相机抖动校正处理以使被摄体处的相机抖动得到最大程度地抑制。
接下来,图23是图示了本发明的摄像装置的另一实施例的构造示例的框图。
图23图示了进行根据到将被对焦的被摄体的被摄体距离D的相机抖动校正处理的摄像装置11B。注意,在图23的摄像装置11B中,使用相同的附图标记来表示与图1的摄像装置11相同的结构元件,且省略对这些结构元件的详细说明。
如图23所示,除了图1的摄像装置11的构造之外,摄像装置11B还包括AF传感器31、AF控制单元32、AF驱动单元33和距离估算单元34。
AF传感器31例如具有嵌入图像传感器21的传感器表面中的多个相位差检测像素。所述相位差检测像素是通过组合具有左半遮光部的像素与具有右半遮光部的像素而构成的,并且布置在传感器表面上的预定位置。由从具有左半遮光部的像素输出的图像信号形成的图像以及由从具有右半遮光部的像素输出的图像信号形成的图像从AF传感器31被提供至AF控制单元32。
AF控制单元32基于从AF传感器31提供的两个图像上的被摄***置的偏移来计算到将被对焦的被摄体的距离。然后,AF控制单元32确定用于光学***12的对焦调整的透镜的透镜位置以在该距离上对焦,并将具有与确定的透镜位置相对应的电流值的AF控制信号提供至AF驱动单元33。
AF驱动单元33具有用于驱动光学***12的对焦调整用的透镜的驱动器,并根据从AF控制单元32提供的AF控制信号的电流值来驱动用于对焦调整的透镜,以在被摄体上对焦。
距离估算单元34被提供有从AF控制单元32输出至AF驱动单元33的AF控制信号,且距离估算单元34根据AF控制信号的电流值估算到将被对焦的被摄体的被摄体距离D。距离估算单元34接着将根据AF控制信号的电流值估算出的被摄体距离D提供至相机抖动校正处理单元25。
这里,将参考图24对AF控制信号的电流值与被摄体距离D之间的关系进行说明。
如图24的A所示,当从透镜到被摄体的距离为物距a,且从透镜到传感器表面的距离为像距b时,物距a与像距b之间的关系取决于透镜的焦距f。
即,如图24的B所示,通过高斯成像公式(1/f=1/a+1/b)求出物距a与像距b之间的关系。在图24的B中,横轴表示物距a,纵轴表示像距b,且物距a越短,则像距b越长。尤其是当将被对焦的被摄体非常靠近时,即当物距a极短时,像距b急剧地变长。
另外,AF驱动单元33根据从AF控制单元32提供的AF控制信号的电流值线性地驱动用于光学***12的对焦调整的透镜。在图24的C中,横轴表示AF控制信号的电流值,纵轴表示用于对焦调整的透镜的透镜位置,且用于对焦调整的透镜的透镜位置关于AF控制信号的电流值近似线性地变化。
因此,距离估算单元34能够基于这样的近似线性的关系由提供至AF驱动单元33的AF控制信号的电流值计算被AF驱动单元33驱动的用于对焦调整的透镜的透镜位置。于是,当根据用于对焦调整的透镜的透镜位置确定物距a时,距离估算单元34能够根据图24的B所示的高斯成像公式计算像距b,以估算到将被对焦的被摄体的被摄体距离D。
距离估算单元34将以此方式估算出的被摄体距离D提供至相机抖动校正处理单元25,且相机抖动校正处理单元25能够进行根据该被摄体距离D的相机抖动校正处理。例如,如上所述,当到将被对焦的被摄体的被摄体距离D近到误差距离δ(θ,α,D)为2个像素以上的程度时,相机抖动校正处理单元25能够通过使用被摄体距离D求出将被添加至上述公式(6)的校正量Δy和上述公式(8)的校正量Δx的额外校正量,使得能够通过使用添加了该额外校正量而求出的校正量来进行相机抖动校正处理。这使得在将被对焦的被摄体处的误差距离δ(θ,α,D)减小至2个像素以下。
图25图示了当摄像装置11B在滚转方向上发生抖动时求出的预定的被摄体距离D与X方向上的误差距离δx之间的关系的示例。
如图25所示,例如,当到摄像装置11B的滚转方向上的旋转中心的距离r为100mm,且抖动角度θ为0.5°时,X方向上的移动量r·sinθ算出为872.7μm,且Y方向上的移动量r·(1-cosθ)算出为3.8μm。
然后,当被摄体距离D为2.4m时,在X方向上能够拍摄图像的范围(=2·D·TANβ)算出为2.47m。根据上述的公式(5),X方向上的误差距离δx算出为1.5。类似地,当被摄体距离D为1.4m时,在X方向上能够拍摄图像的范围算出为1.44m。X方向上的误差距离δx算出为2.5。另外,当被摄体距离D为0.35m时,在X方向上能够拍摄图像的范围算出为0.36m。X方向上的误差距离δx算出为10.1。
以此方式,当到将被对焦的被摄体的被摄体距离D近时,且X方向上的误差距离δx为2个像素以上时,在被摄体中以X方向上的误差距离δx发生抖动。因此,当将X方向上的误差距离δx添加至校正值以进行相机抖动校正处理时,能够抑制将被对焦的被摄体中的相机抖动。即,相机抖动校正处理单元25进行这样的相机抖动校正处理:在所述相机抖动校正处理中,添加了X方向上的误差距离δx作为将被添加至上述公式(8)的校正量Δx的额外校正量(将额外被校正的像素数)。
这里,已对X方向上的校正进行了说明,但是相机抖动校正处理单元25在Y方向上也类似地进行这样的相机抖动校正处理:在所述相机抖动校正处理中,添加了Y方向上的误差距离δy作为将被添加至上述公式(6)的校正量Δy的额外校正量。
即,如下,可使用通过将Y方向上的误差距离δy添加至上述的公式(6)而获得的公式(40)来计算当进行根据到将被对焦的被摄体的被摄体距离D的相机抖动校正处理时在Y方向上的校正量Δy。
[公式40]
然而,在公式(40)中,d表示从传感器表面S的中心点到光瞳位置I的光学瞳距,α表示从光瞳位置I到被摄体表面上的点A的仰角,θ表示绕着旋转中心O的抖动角度,r表示作为从旋转中心O到传感器表面S的中心点的距离的旋转半径,D表示到将被对焦的被摄体的被摄体距离,Ny表示图像传感器21在Y轴方向上的一边的像素数,且β表示图像传感器21在Y轴方向上的最大视角。
类似地,如下,可通过将X方向上的误差距离δx添加至上述公式(8)而获得的公式(41)来计算进行根据到将被对焦的被摄体的被摄体距离D的相机抖动校正处理时在X方向上的校正量Δx。
[公式41]
然而,在公式(41)中,d表示从传感器表面S的中心点到光瞳位置I的光学瞳距,α表示从光瞳位置I到被摄体表面上的点A的仰角,θ表示绕着旋转中心O的抖动角度,r表示作为从旋转中心O到传感器表面S的中心点的距离的旋转半径,D表示到将被对焦的被摄体的被摄体距离,Nx表示图像传感器21在X轴方向上的一边的像素数,且γ表示图像传感器21在X轴方向上的最大视角。
例如,提前计算误差距离δ(θ,α,D)为2个像素以上的被摄体距离,并能够将这样的被摄体距离设定为相机抖动校正处理单元25的阀值。然后,当由距离估算单元34估算出的被摄体距离D小于该阀值时,相机抖动校正处理单元25能够进行根据到将被对焦的被摄体的被摄体距离D的相机抖动校正处理。
因此,摄像装置11B能够进行相机抖动校正处理以使得将被对焦的被摄体中相机抖动被最大程度地减小。因此,即使当被摄体非常近时,也能够更可靠地抑制相机抖动的出现,从而提高图像质量。另外,仅当误差距离δ(θ,α,D)为2个像素以上的被摄体距离被提前计算出并且该被摄体距离小于阀值时,摄像装置11B仅需要进行根据该被摄体距离D的相机抖动校正处理,并能够减小处理负载。
图26是用于通过对比来说明根据被摄体距离D的相机抖动校正处理的效果的图。
图26图示了标尺布置在前侧且具有格子图案的面板布置在后侧时拍摄的图像。图26的A图示了未经过相机抖动校正处理的图像,图26的B图示了当被摄体距离D被设定至布置有标尺的位置时经过相机抖动校正处理的图像,且图26的C图示了当被摄体距离D被设定至布置有格子图案的位置时经过相机抖动校正处理的图像,
从图26的A中所示的图像可以看出,当图像未经过相机抖动校正处理时,在标尺和格子图案中都出现相机抖动。另外,从图26的B中所示的图像可以看出,当在被摄体距离D被设定至布置有标尺的位置的条件下对图像进行相机抖动校正处理时,抑制了关于标尺的相机抖动但是在后侧的格子图案中出现了相机抖动。另外。从图26的C中所示的图像可以看出,当在被摄体距离D被设定至布置有格子图案的位置的条件下对图像进行相机抖动校正处理时,抑制了关于格子图案的相机抖动但在前侧的标尺中出现了相机抖动。
以此方式,当进行根据被摄体距离D的相机抖动校正处理时,能够有效地抑制有关将被对焦的被摄体的相机抖动。
注意,如参考图24的C所述,用于对焦调整的透镜的透镜位置关于AF控制信号的电流值具有近似线性地变化的关系,但是该关系例如根据摄像装置11的姿态可以不是近似线性的。即,例如当摄像装置11朝上时与当摄像装置11朝下时,用于对焦调整的透镜的透镜位置根据作用在用于对焦调整的透镜的重力而是不同的。
因此,摄像装置11B可基于摄像装置11的姿态通过校正被摄体距离D来计算更精确的校正量。
即,例如,在摄像装置11中,陀螺仪传感器22测量重力方向(即,摄像装置11的姿态),并将该重力方向提供至距离估算单元34。然后,保持预定重力方向与被摄体距离D的校正量之间的对应关系的距离估算单元34能够根据从陀螺仪传感器22提供的重力方向对被摄体距离D进行校正。因此,即使当摄像装置11采取任何姿态时,也能够精确地进行相机抖动校正处理。
注意,在摄像装置11B中,AF传感器31不限于相位差检测像素嵌入图像传感器21的传感器表面中的构造。例如,摄像装置11B可具有通过分割向着图像传感器21传播的光的一部分来获得到被摄体的距离的构造,或者基于与从图像传感器21输出的图像的对比度来获得到被摄体的距离的构造。
另外,摄像装置11B可具有如下构造:AF控制单元32直接将用于表示到被摄体的距离的信号提供至相机抖动校正处理单元25而未设置有距离估算单元34。另外,摄像装置11B可具有AF驱动单元33根据脉冲信号驱动用于对焦调整的透镜的构造,且在此情况下,AF控制单元32能够输出脉冲信号作为AF控制信号,且距离估算单元34能够通过对脉冲进行计数来估算到被摄体的距离。
图27是图示了本发明的固体摄像元件的实施例的构造示例的框图。
如图27所示,固体摄像元件51包括像素阵列单元52、行扫描单元53、列处理单元54、列扫描单元55、输出单元56、控制单元57和逻辑电路58。
在像素阵列单元52中,多个像素61布置成阵列,且根据来自行扫描单元53的控制针对各行驱动像素61,并且针对每列将根据由光电转换生成的电荷的像素信号并行地输出至列处理单元54。
行扫描单元53提供用于针对各行地驱动像素阵列单元52的像素61的驱动信号(例如,传输信号、选择信号和复位信号)。
列处理单元54针对每列并行地进行从像素阵列单元52的像素61提供的像素信号的模拟/数字(A/D)转换,并根据来自列扫描单元55的控制顺序地将转换后的信号提供至输出单元56。
列扫描单元55控制列处理单元54以预定的时序顺序地输出像素信号。
输出单元56例如在以预定的增益放大从列处理单元54提供的像素信号之后输出这些像素信号。
控制单元57提供作为行扫描单元53、列处理单元54、列扫描单元55和输出单元56的驱动的基准的时钟信号或者用于控制所述驱动的控制信号。
逻辑电路58具有陀螺仪传感器22、信号同步单元23、参数保持单元24和相机抖动校正处理单元25。陀螺仪传感器22、信号同步单元23、参数保持单元24和相机抖动校正处理单元25在构造上与图1的陀螺仪传感器22、信号同步单元23、参数保持单元24和相机抖动校正处理单元25类似,且省略对它们的详细说明。
即,固体摄像元件51可进行与本文中的图1的相机模块15的相机抖动校正处理类似的相机抖动校正处理。注意,例如,逻辑电路58可作为像素阵列单元52的***电路而与像素阵列单元52被设置在同一电路板上;或可设置在与像素阵列单元52的电路板不同的电路板上,这两个电路板层叠。
以此方式,固体摄像元件51能够输出经过相机抖动校正处理的图像。
注意,除摄像装置之外,本发明还可被应用至诸如个人计算机等获取图像数据和与该图像数据同步的陀螺仪数据以提供后期相机抖动校正处理的装置。
此外,还可以如下构成本发明。
(1)
一种摄像装置,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
(2)
根据(1)所述的摄像装置,
其中,所述校正处理单元根据在垂直方向和在水平方向上距所述图像的大致中心的的距离而使用不同的所述校正量。
(3)
根据(1)或(2)所述的摄像装置,
其中,通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学***的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度,所述校正处理单元根据几何光学的计算公式进行计算,以计算出每个像素的所述校正量。
(4)
根据(3)所述的摄像装置,
其中,所述校正量由上述公式(6)和公式(8)表示,在所述公式(6)或(8)中,Δx表示所述图像的在水平方向上的所述校正量,Δy表示所述图像的在垂直方向上的所述校正量,d表示所述瞳距,α表示所述仰角,θ表示所述抖动角度,且X表示将被校正的像素的距所述图像的所述大致中心在水平方向上的距离。
(5)
根据(1)至(4)中任一项所述的摄像装置,
其中,所述校正处理单元进行从用于构成校正图像的所述预定像素周围的预定数量的像素的插值,以获得所述预定像素的像素值,使得构成根据所述校正量校正的所述校正图像的每个像素的像素位置对应于构成所述校正之前的所述图像的每个像素的像素位置。
(6)
根据(1)至(5)中任一项所述的摄像装置,还包括:
同步单元,其使得从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步,以将所述图像和所述抖动角度传输至所述校正处理单元。
(7)
根据(1)至(6)中任一项所述的摄像装置,
其中,所述同步单元针对从所述摄像单元输出的所述图像的各水平行使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步。
(8)
根据(1)至(7)中任一项所述的摄像装置,
其中,当所述摄像单元发生抖动时,所述校正处理单元计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量,并且计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量,且
其中,当所述摄像单元发生抖动时,所述校正处理单元计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量,并且计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量。
(9)
根据(1)至(7)中任一项所述的摄像装置,
其中,所述摄像单元通过使用全局快门***来拍摄所述图像,在所述全局快门***中几乎在同一时间记录整个图像。
(10)
根据(1)至(7)中任一项所述的摄像装置,
其中,所述摄像单元通过使用卷帘快门***来拍摄所述图像,在所述卷帘快门***中所述图像内的各水平行的拍摄时序是不同的。
(11)
根据(1)至(10)中任一项所述的摄像装置,还包括:
驱动单元,其基于由所述检测单元检测出的所述抖动角度在所述摄像单元上的所述图像不移动的方向上以几乎与所述摄像单元的所述传感器表面平行的方式驱动用于在所述摄像单元的所述传感器表面上形成所述被摄体的像的光学***的透镜,
其中,通过这样的平行驱动来对所述图像表面上的不依赖于所述所述像素的所述布置位置的部分进行校正。
(12)
根据(3)所述的摄像装置,
其中,所述校正处理单元还使用作为从所述光瞳位置到将被对焦的所述被摄体的光学距离的被摄体距离来计算用于额外地对所述校正量进行校正的额外校正量,并进行根据所述被摄体距离的相机抖动校正处理。
(13)
根据(12)所述的摄像装置,
其中,进行根据所述被摄体距离的所述相机抖动校正处理时的所述校正量由上述公式(40)和公式(41)表示,在所述公式(40)和公式(41)中,Δx表示所述图像的在水平方向上的所述校正量,Δy表示所述图像的在垂直方向上的所述校正量,d表示所述瞳距,α表示所述仰角,θ表示所述抖动角度,X表示将被校正的像素距所述图像的所述大致中心在水平方向上的距离,r表示作为所述摄像装置发生抖动时从旋转中心到所述传感器表面的中心点的距离的旋转半径,D表示到将被对焦的所述被摄体的所述被摄体距离,Ny表示所述摄像单元的在垂直方向上的一边的像素数,β表示所述摄像单元的在垂直方向上的最大视角,Nx表示所述摄像单元的在水平方向上的一边的像素数,且γ表示所述摄像单元的在水平方向上的最大视角。
(14)
根据(12)或(13)所述的摄像装置,
其中,当到将被对焦的所述被摄体的所述被摄体距离等于或小于先前设定的预定阀值时,所述校正处理单元进行根据所述被摄体距离的所述相机抖动校正处理。
(15)
根据(12)至(14)中任一项所述的摄像装置,还包括:
对焦驱动单元,其驱动用于所述光学***的对焦调整的透镜,以在期望的所述被摄体上对焦;以及
被摄体距离估算单元,其基于控制信号估算到将被对焦的所述被摄体的所述被摄体距离,所述控制信号用于控制所述对焦驱动单元对用于对焦调整的所述透镜进行的所述驱动。
(16)
根据(15)所述的摄像装置,
其中,所述检测单元检测重力加速度的方向,以将重力加速度的所述方向提供至所述被摄体距离估算单元,且
其中,所述被摄体距离估算单元根据重力加速度的所述方向对估算出的所述被摄体距离进行校正。
(17)
一种固体摄像元件,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
(18)
一种相机模块,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
(19)
一种电子设备,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
(20)
一种用于摄像装置的摄像方法,所述摄像装置包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元,所述方法包括如下步骤:
通过所述摄像单元输出所述图像;
通过所述检测单元输出所述抖动角度;以及
基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
上面已参考附图对本发明的优选实施例进行了说明,当然,本发明不限于上述示例。本领域技术人员可在本发明所附的权利要求的范围内获得各种改变和修改,且应当理解的是,这些改变和修改将自然在本发明的技术范围内。
附图标记列表
11摄像装置
12光学***
13记录媒介
14显示器
15相机模块
21摄像元件
22陀螺仪传感器
23信号同步单元
24参数保持单元
25相机抖动校正处理单元
26驱动单元
51固体摄像元件
52像素阵列
53行扫描单元
54列处理单元
55列扫描单元
56输出单元
57控制单元
58逻辑电路
Claims (20)
1.一种摄像装置,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
2.如权利要求1所述的摄像装置,
其中,所述校正处理单元根据在垂直方向上和在水平方向上距所述图像的大致中心的距离而使用不同的所述校正量。
3.如权利要求1所述的摄像装置,
其中,通过使用作为从用于在所述摄像单元的传感器表面上形成所述被摄体的像的光学***的光瞳位置到所述摄像单元的所述传感器表面的光学距离的瞳距、从所述摄像单元提供的所述图像的预定像素的布置位置、从所述光瞳位置相对于所述传感器表面上的与所述布置位置相对应的点的仰角以及所述抖动角度,所述校正处理单元根据几何光学的计算公式进行计算,以计算出每个像素的所述校正量。
4.如权利要求3所述的摄像装置,
其中,所述校正量由如下的公式(1)和公式(2)表示:
[公式1]
Δy=d·(TANα-TAN(α+θ))···(1)
[公式2]
在所述公式(1)或(2)中,Δx表示所述图像的在水平方向上的所述校正量,Δy表示所述图像的在垂直方向上的所述校正量,d表示所述瞳距,α表示所述仰角,θ表示所述抖动角度,且X表示将被校正的像素的距所述图像的所述大致中心在水平方向上的距离。
5.如权利要求1所述的摄像装置,
其中,所述校正处理单元进行从用于构成校正后图像的预定的所述像素周围的预定数量的所述像素的插值,以获得预定的所述像素的像素值,使得构成根据所述校正量校正的所述校正后图像的每个像素的像素位置对应于构成校正前图像的每个像素的像素位置。
6.如权利要求1所述的摄像装置,还包括:
同步单元,其使得从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步,以将所述图像和所述抖动角度传输至所述校正处理单元。
7.如权利要求6所述的摄像装置,
其中,所述同步单元针对从所述摄像单元输出的所述图像的各水平线使从所述摄像单元输出的所述图像与从所述检测单元输出的所述抖动角度同步。
8.如权利要求1所述的摄像装置,
其中,当所述摄像单元发生抖动时,所述校正处理单元计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量,并且计算用于对所述图像上下方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量,且
其中,当所述摄像单元发生抖动时,所述校正处理单元计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的水平方向上的影响进行校正的校正量,并且计算用于对所述图像水平方向移动时的所述抖动角度对所述图像的上下方向上的影响进行校正的校正量。
9.如权利要求1所述的摄像装置,
其中,所述摄像单元通过使用全局快门***来拍摄所述图像,在所述全局快门***中几乎在同一时间记录整个所述图像。
10.如权利要求1所述的摄像装置,
其中,所述摄像单元通过使用卷帘快门***来拍摄所述图像,在所述卷帘快门***中所述图像内的各水平线的拍摄时序是不同的。
11.如权利要求1所述的摄像装置,还包括:
驱动单元,其基于由所述检测单元检测出的所述抖动角度在所述摄像单元上的所述图像不移动的方向上以几乎与所述摄像单元的所述传感器表面平行的方式驱动用于在所述摄像单元的所述传感器表面上形成所述被摄体的像的光学***的透镜,
其中,通过这样的平行驱动来对所述图像表面上的不依赖于所述所述像素的所述布置位置的部分进行校正。
12.如权利要求3所述的摄像装置,
其中,所述校正处理单元还使用作为从所述光瞳位置到将被对焦的所述被摄体的光学距离的被摄体距离来计算用于额外地对所述校正量进行校正的额外校正量,并进行根据所述被摄体距离的相机抖动校正处理。
13.如权利要求12所述的摄像装置,
其中,进行根据所述被摄体距离的所述相机抖动校正处理时的所述校正量由如下的公式(3)和公式(4)表示:
[公式3]
[公式4]
在所述公式(3)和公式(4)中,Δx表示所述图像的在水平方向上的所述校正量,Δy表示所述图像的在垂直方向上的所述校正量,d表示所述瞳距,α表示所述仰角,θ表示所述抖动角度,且X表示将被校正的像素的距所述图像的所述大致中心在水平方向上的距离,r表示作为所述摄像装置发生抖动时从旋转中心到所述传感器表面的中心点的距离的旋转半径,D表示到将被对焦的所述被摄体的所述被摄体距离,Ny表示所述摄像单元的在垂直方向上的一边的像素数,β表示所述摄像单元的在垂直方向上的最大视角,Nx表示所述摄像单元的在水平方向上的一边的像素数,且γ表示所述摄像单元的在水平方向上的最大视角。
14.如权利要求12所述的摄像装置,
其中,当到将被对焦的所述被摄体的所述被摄体距离等于或小于先前设定的预定阀值时,所述校正处理单元进行根据所述被摄体距离的所述相机抖动校正处理。
15.如权利要求12所述的摄像装置,还包括:
对焦驱动单元,其驱动用于所述光学***的对焦调整的透镜,以在期望的所述被摄体上对焦;以及
被摄体距离估算单元,其基于控制信号来估算到将被对焦的所述被摄体的所述被摄体距离,所述控制信号用于控制所述对焦驱动单元对用于对焦调整的所述透镜进行的所述驱动。
16.如权利要求15所述的摄像装置,
其中,所述检测单元检测重力加速度的方向,以将重力加速度的所述方向提供至所述被摄体距离估算单元,且
其中,所述被摄体距离估算单元根据重力加速度的所述方向对估算出的所述被摄体距离进行校正。
17.一种固体摄像元件,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
18.一种相机模块,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
19.一种电子设备,其包括:
摄像单元,其拍摄被摄体以输出拍摄的图像;
检测单元,其物理地检测所述摄像单元发生抖动时的抖动角度;以及
校正处理单元,其基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
20.一种用于摄像装置的摄像方法,所述摄像装置包括拍摄被摄体以输出拍摄的图像的摄像单元以及物理地检测所述摄像单元发生抖动时的抖动角度的检测单元,所述方法包括如下步骤:
通过所述摄像单元输出所述图像;
通过所述检测单元输出所述抖动角度;以及
基于构成由所述摄像单元输出的所述图像的像素的布置位置以及由所述检测单元检测出的所述抖动角度来计算校正量,并且根据所述校正量对所述图像进行校正。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013074760 | 2013-03-29 | ||
JP2013-074760 | 2013-03-29 | ||
JP2014-034958 | 2014-02-26 | ||
JP2014034958 | 2014-02-26 | ||
PCT/JP2014/056929 WO2014156731A1 (ja) | 2013-03-29 | 2014-03-14 | 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105191283A true CN105191283A (zh) | 2015-12-23 |
CN105191283B CN105191283B (zh) | 2019-10-22 |
Family
ID=51623712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480016625.5A Active CN105191283B (zh) | 2013-03-29 | 2014-03-14 | 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US10051183B2 (zh) |
EP (1) | EP2981062B1 (zh) |
JP (1) | JP6327245B2 (zh) |
KR (1) | KR102179731B1 (zh) |
CN (1) | CN105191283B (zh) |
TW (1) | TWI655869B (zh) |
WO (1) | WO2014156731A1 (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105915803A (zh) * | 2016-06-15 | 2016-08-31 | 惠州Tcl移动通信有限公司 | 一种基于传感器的拍照方法及*** |
CN107040708A (zh) * | 2016-02-04 | 2017-08-11 | 三星电机株式会社 | 图像稳定模块及相机模块 |
WO2018072353A1 (zh) * | 2016-10-17 | 2018-04-26 | 华为技术有限公司 | 获取图像的方法和终端设备 |
CN108366243A (zh) * | 2018-01-23 | 2018-08-03 | 微幻科技(北京)有限公司 | 一种视频去抖方法及装置 |
CN108431869A (zh) * | 2016-08-06 | 2018-08-21 | 深圳市大疆创新科技有限公司 | 用于移动平台成像的***和方法 |
CN108702453A (zh) * | 2016-02-19 | 2018-10-23 | 快图有限公司 | 用于校正所采集的图像的方法 |
CN109698906A (zh) * | 2018-11-24 | 2019-04-30 | 四川鸿景润科技有限公司 | 基于图像的抖动处理方法及装置、视频监控*** |
CN109844632A (zh) * | 2016-10-13 | 2019-06-04 | 富士胶片株式会社 | 抖动校正装置、摄像装置及抖动校正方法 |
CN110463187A (zh) * | 2017-03-28 | 2019-11-15 | 富士胶片株式会社 | 摄像装置、摄像方法及摄像程序 |
CN110830707A (zh) * | 2018-08-10 | 2020-02-21 | 华为技术有限公司 | 镜头控制方法、装置及终端 |
CN111432112A (zh) * | 2019-01-10 | 2020-07-17 | 爱思开海力士有限公司 | 处理图像信号的方法、图像信号处理器和图像传感器芯片 |
CN111536968A (zh) * | 2020-04-15 | 2020-08-14 | 北京百度网讯科技有限公司 | 确定感知设备的动态姿态的方法和装置 |
US10868961B2 (en) | 2016-08-05 | 2020-12-15 | Sony Corporation | Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method |
CN113589473A (zh) * | 2020-01-03 | 2021-11-02 | 支付宝(杭州)信息技术有限公司 | 一种镜头模组的对焦方法、装置及设备 |
US11445114B2 (en) | 2018-02-05 | 2022-09-13 | Sony Semiconductor Solutions Corporation | Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6448218B2 (ja) * | 2014-05-12 | 2019-01-09 | キヤノン株式会社 | 撮像装置、その制御方法および情報処理システム |
US10782119B2 (en) | 2015-02-11 | 2020-09-22 | Huawei Technologies Co., Ltd. | Object dimension measurement method and apparatus |
KR102526794B1 (ko) | 2015-07-22 | 2023-04-28 | 소니그룹주식회사 | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 |
KR101850363B1 (ko) * | 2016-02-16 | 2018-04-20 | 주식회사 이오테크닉스 | 촬영장치 및 촬영방법 |
KR101993670B1 (ko) * | 2016-03-17 | 2019-06-27 | 주식회사 이오테크닉스 | 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법 |
JP6740052B2 (ja) * | 2016-08-02 | 2020-08-12 | キヤノン株式会社 | 撮像装置およびその制御方法 |
US10728453B2 (en) | 2016-08-03 | 2020-07-28 | Samsung Electronics Co., Ltd. | Motion stabilized image sensor, camera module and apparatus comprising same |
JP7118893B2 (ja) | 2016-12-02 | 2022-08-16 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子および撮像方法、並びに電子機器 |
JP2020095070A (ja) * | 2017-03-31 | 2020-06-18 | 株式会社ニコン | 撮像装置 |
JP2020095069A (ja) * | 2017-03-31 | 2020-06-18 | 株式会社ニコン | 撮像装置 |
JP2018205678A (ja) * | 2017-06-06 | 2018-12-27 | 米田 正人 | Gyroデバイスを用いた手振れ補正システムおよびGyroセンサデバイスおよびイメージセンサデバイス |
KR102385360B1 (ko) * | 2017-09-19 | 2022-04-12 | 삼성전자주식회사 | 이미지 보정을 수행하는 전자 장치 및 그 동작 방법 |
JP2019121941A (ja) | 2018-01-09 | 2019-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置および方法、並びに画像処理システム |
JP2020031264A (ja) | 2018-08-20 | 2020-02-27 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、撮像装置、信号処理方法 |
CN108989606B (zh) * | 2018-08-22 | 2021-02-09 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
JP7087187B2 (ja) | 2019-02-18 | 2022-06-20 | 富士フイルム株式会社 | ぶれ補正装置、撮像装置、監視システム、及びプログラム |
WO2020189224A1 (ja) * | 2019-03-15 | 2020-09-24 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 |
CN110519507B (zh) * | 2019-07-23 | 2021-03-19 | 影石创新科技股份有限公司 | 一种相机镜头平滑处理方法、装置及便携式终端 |
JP7325308B2 (ja) * | 2019-11-19 | 2023-08-14 | ルネサスエレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224462A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
JP2001358999A (ja) * | 2000-06-12 | 2001-12-26 | Sharp Corp | 画像入力装置 |
US20060187333A1 (en) * | 2005-02-24 | 2006-08-24 | Seiko Epson Corporation | Still image pickup device |
US20090128700A1 (en) * | 2007-11-16 | 2009-05-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2010252123A (ja) * | 2009-04-16 | 2010-11-04 | Canon Inc | 画像処理装置およびその方法 |
CN101902567A (zh) * | 2008-12-08 | 2010-12-01 | 索尼株式会社 | 成像设备、成像方法和程序 |
CN101902573A (zh) * | 2009-05-25 | 2010-12-01 | 索尼公司 | 成像设备以及抖动校正方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3925559B2 (ja) | 2006-04-21 | 2007-06-06 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
JP4845817B2 (ja) * | 2007-06-14 | 2011-12-28 | 富士フイルム株式会社 | 撮像装置,レンズユニット,撮像方法及び制御プログラム |
JP5011387B2 (ja) * | 2007-07-13 | 2012-08-29 | パナソニック株式会社 | 撮像装置 |
US8896712B2 (en) * | 2007-07-20 | 2014-11-25 | Omnivision Technologies, Inc. | Determining and correcting for imaging device motion during an exposure |
US8885096B2 (en) * | 2010-10-21 | 2014-11-11 | Openpeak Inc. | Multi-media device containing a plurality of image capturing devices |
JP6071545B2 (ja) * | 2012-12-27 | 2017-02-01 | キヤノン株式会社 | 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体 |
JP6151930B2 (ja) * | 2013-02-19 | 2017-06-21 | キヤノン株式会社 | 撮像装置およびその制御方法 |
-
2014
- 2014-03-14 JP JP2015508304A patent/JP6327245B2/ja active Active
- 2014-03-14 EP EP14774235.7A patent/EP2981062B1/en active Active
- 2014-03-14 CN CN201480016625.5A patent/CN105191283B/zh active Active
- 2014-03-14 WO PCT/JP2014/056929 patent/WO2014156731A1/ja active Application Filing
- 2014-03-14 KR KR1020157024158A patent/KR102179731B1/ko active IP Right Grant
- 2014-03-14 US US14/778,709 patent/US10051183B2/en active Active
- 2014-03-20 TW TW103110558A patent/TWI655869B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224462A (ja) * | 1999-02-02 | 2000-08-11 | Minolta Co Ltd | カメラシステム |
JP2001358999A (ja) * | 2000-06-12 | 2001-12-26 | Sharp Corp | 画像入力装置 |
US20060187333A1 (en) * | 2005-02-24 | 2006-08-24 | Seiko Epson Corporation | Still image pickup device |
US20090128700A1 (en) * | 2007-11-16 | 2009-05-21 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
CN101902567A (zh) * | 2008-12-08 | 2010-12-01 | 索尼株式会社 | 成像设备、成像方法和程序 |
JP2010252123A (ja) * | 2009-04-16 | 2010-11-04 | Canon Inc | 画像処理装置およびその方法 |
CN101902573A (zh) * | 2009-05-25 | 2010-12-01 | 索尼公司 | 成像设备以及抖动校正方法 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107040708B (zh) * | 2016-02-04 | 2020-07-10 | 三星电机株式会社 | 图像稳定模块及相机模块 |
CN107040708A (zh) * | 2016-02-04 | 2017-08-11 | 三星电机株式会社 | 图像稳定模块及相机模块 |
CN108702453B (zh) * | 2016-02-19 | 2020-05-15 | 快图有限公司 | 用于校正所采集的图像的方法 |
CN108702453A (zh) * | 2016-02-19 | 2018-10-23 | 快图有限公司 | 用于校正所采集的图像的方法 |
CN105915803B (zh) * | 2016-06-15 | 2020-06-02 | 惠州Tcl移动通信有限公司 | 一种基于传感器的拍照方法及*** |
CN105915803A (zh) * | 2016-06-15 | 2016-08-31 | 惠州Tcl移动通信有限公司 | 一种基于传感器的拍照方法及*** |
US10868961B2 (en) | 2016-08-05 | 2020-12-15 | Sony Corporation | Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method |
CN108431869A (zh) * | 2016-08-06 | 2018-08-21 | 深圳市大疆创新科技有限公司 | 用于移动平台成像的***和方法 |
CN109844632A (zh) * | 2016-10-13 | 2019-06-04 | 富士胶片株式会社 | 抖动校正装置、摄像装置及抖动校正方法 |
CN109844632B (zh) * | 2016-10-13 | 2021-03-12 | 富士胶片株式会社 | 抖动校正装置、摄像装置及抖动校正方法 |
US10827124B2 (en) | 2016-10-13 | 2020-11-03 | Fujifilm Corporation | Shake correction device, imaging apparatus, and shake correction method |
US11057565B2 (en) | 2016-10-17 | 2021-07-06 | Huawei Technologies Co., Ltd. | Image obtaining method and terminal device |
WO2018072353A1 (zh) * | 2016-10-17 | 2018-04-26 | 华为技术有限公司 | 获取图像的方法和终端设备 |
CN110463187B (zh) * | 2017-03-28 | 2021-09-21 | 富士胶片株式会社 | 摄像装置、摄像方法及存储介质 |
CN110463187A (zh) * | 2017-03-28 | 2019-11-15 | 富士胶片株式会社 | 摄像装置、摄像方法及摄像程序 |
CN108366243A (zh) * | 2018-01-23 | 2018-08-03 | 微幻科技(北京)有限公司 | 一种视频去抖方法及装置 |
CN108366243B (zh) * | 2018-01-23 | 2019-10-29 | 微幻科技(北京)有限公司 | 一种视频去抖方法及装置 |
US11445114B2 (en) | 2018-02-05 | 2022-09-13 | Sony Semiconductor Solutions Corporation | Imaging device, solid-state imaging element, camera module, drive control unit, and imaging method |
CN110830707A (zh) * | 2018-08-10 | 2020-02-21 | 华为技术有限公司 | 镜头控制方法、装置及终端 |
US11375097B2 (en) | 2018-08-10 | 2022-06-28 | Huawei Technologies Co., Ltd. | Lens control method and apparatus and terminal |
CN110830707B (zh) * | 2018-08-10 | 2022-01-14 | 华为技术有限公司 | 镜头控制方法、装置及终端 |
CN109698906A (zh) * | 2018-11-24 | 2019-04-30 | 四川鸿景润科技有限公司 | 基于图像的抖动处理方法及装置、视频监控*** |
CN109698906B (zh) * | 2018-11-24 | 2021-01-26 | 四川鸿景润科技有限公司 | 基于图像的抖动处理方法及装置、视频监控*** |
US11159722B2 (en) | 2019-01-10 | 2021-10-26 | SK Hynix Inc. | Method for processing image signal, image signal processor, and image sensor chip |
CN111432112A (zh) * | 2019-01-10 | 2020-07-17 | 爱思开海力士有限公司 | 处理图像信号的方法、图像信号处理器和图像传感器芯片 |
CN113589473A (zh) * | 2020-01-03 | 2021-11-02 | 支付宝(杭州)信息技术有限公司 | 一种镜头模组的对焦方法、装置及设备 |
CN113589473B (zh) * | 2020-01-03 | 2023-09-29 | 支付宝(杭州)信息技术有限公司 | 一种镜头模组的对焦方法、装置及设备 |
CN111536968B (zh) * | 2020-04-15 | 2022-08-30 | 阿波罗智能技术(北京)有限公司 | 确定路侧感知设备的动态姿态的方法和装置 |
CN111536968A (zh) * | 2020-04-15 | 2020-08-14 | 北京百度网讯科技有限公司 | 确定感知设备的动态姿态的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US10051183B2 (en) | 2018-08-14 |
CN105191283B (zh) | 2019-10-22 |
TW201448594A (zh) | 2014-12-16 |
KR20150135771A (ko) | 2015-12-03 |
EP2981062A4 (en) | 2016-10-26 |
EP2981062B1 (en) | 2019-11-20 |
KR102179731B1 (ko) | 2020-11-17 |
JP6327245B2 (ja) | 2018-05-23 |
JPWO2014156731A1 (ja) | 2017-02-16 |
WO2014156731A1 (ja) | 2014-10-02 |
TWI655869B (zh) | 2019-04-01 |
US20160057352A1 (en) | 2016-02-25 |
EP2981062A1 (en) | 2016-02-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105191283A (zh) | 摄像装置、固体摄像元件、相机模块、电子设备及摄像方法 | |
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
KR102526794B1 (ko) | 카메라 모듈, 고체 촬상 소자, 전자 기기 및 촬상 방법 | |
US9019387B2 (en) | Imaging device and method of obtaining image | |
CN101911671B (zh) | 摄像装置和光轴控制方法 | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP4509925B2 (ja) | 画像処理装置及びカメラシステム並びに画像処理方法及び動画像表示方法 | |
US8619120B2 (en) | Imaging apparatus, imaging method and recording medium with program recorded therein | |
US8593531B2 (en) | Imaging device, image processing method, and computer program | |
KR102423991B1 (ko) | 촬상 소자 및 촬상 방법, 및 전자 기기 | |
CN107018309A (zh) | 摄像装置和摄像装置的像抖动校正方法 | |
CN109660718B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP2002071309A (ja) | 3次元画像検出装置 | |
EP4016985A1 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
US20120162453A1 (en) | Image pickup apparatus | |
CN109671028B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP7387713B2 (ja) | 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法 | |
JP2012227773A (ja) | 画像認識装置 | |
EP4300940A1 (en) | Electronic device including camera and control method therefor | |
JP6257289B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JPH07283999A (ja) | 画像合成装置及び画像撮影装置 | |
JP2008235958A (ja) | 撮像装置 | |
JP2009122159A (ja) | 焦点検出装置および撮像装置 | |
KR100562334B1 (ko) | 씨모스 영상 센서 왜곡 보정 방법 및 장치 | |
JP6516574B2 (ja) | 像ブレ補正装置、撮像装置、像ブレ補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |