CN108712601B - 图像模糊校正设备、控制方法、摄像设备和镜头设备 - Google Patents

Abstract

本发明提供一种图像模糊校正设备、控制方法、摄像设备和镜头设备。摄像***包括用于检测抖动的角速度传感器，并且基于抖动检测信号来控制移位透镜组的驱动并校正图像模糊。运动矢量检测单元从多个拍摄图像检测运动矢量。距离获取单元获取与拍摄图像有关的距离信息。照相机控制单元获取抖动检测信号和运动矢量，使用基于距离信息的最近距离方向上的运动矢量的检测值来确定被摄体，并且计算该被摄体的角速度。镜头控制单元的摇摄控制单元使用偏移被去除了的角速度检测信号以及从照相机控制单元获取到的被摄体的角速度来进行移位透镜组的驱动控制，从而进行用于支持摇摄的控制。

Description

图像模糊校正设备、控制方法、摄像设备和镜头设备

技术领域

本发明涉及一种图像模糊校正设备、控制方法、摄像设备和镜头设备。

背景技术

摇摄是用于表现被摄体的动态感的摄像技术之一，并且是快门速度被设置成低、且在用户使照相机追踪例如沿水平方向移动的被摄体的移动的同时进行摄像的技术。

由于两个原因，摇摄对于初学者而言被认为是较难的摄像技术。第一个原因在于：难以在被摄体和照相机之间不存在偏差的情况下利用照相机进行追踪的同时进行摄像。在被摄体和照相机之间存在偏差的情况下，发生被摄体抖动。第二原因在于：用户无法掌握快门速度的最佳设置值。在快门速度被设置成低的情况下，由于背景中的流动量增加，因此获得被摄体的动态感，但是可能发生手抖动和被摄体抖动。

为了增加摇摄的成功概率，已知用于支持摇摄的功能(以下称为摇摄辅助)。作为摇摄辅助的示例，可以提供用于检测被摄体和照相机之间的偏差并根据光学校正***来校正与该偏差相对应的被摄体抖动的功能(以下称为第一辅助功能)。另外，可以提供照相机自动设置用于摇摄的快门速度的功能(以下称为第二辅助功能)。在日本特开2006-317848中，公开了如下的摄像设备，其中在该摄像设备中，针对第一辅助功能，检测被摄体的速度和照相机移动的速度之间的差，并且利用手抖动校正功能来校正与该差相对应的偏差量。

在日本特开2006-317848所公开的摄像设备中，在检测到被摄体的速度和照相机移动的速度之间的差的情况下，使用运动矢量和角速度。从被检测为运动矢量的矢量中检测与被摄体相对应的矢量(以下称为被摄体矢量)，并且检测被摄体和照相机之间的偏差。

然而，由于角速度传感器包括固有的偏移成分，因此由于该偏移成分而产生计算误差。另外，在为了将角速度与矢量相比较而计算图像面上的移动量(以下称为像面移动量)的情况下，进行利用帧频的除法运算。在该偏移成分叠加在角速度传感器的输出上并且低亮度摄像场景下的帧频低的情况下，像面移动量的计算误差增大。结果，被摄体矢量可能被误检测。

发明内容

根据本发明，在校正被摄体的图像模糊的图像模糊校正中，高精度地检测画面内的被摄体的移动量。

根据本发明的实施例的一种图像模糊校正设备，包括：检测部件，用于检测摄像设备所拍摄的多个图像之间的移动信息，其中所述检测部件检测多个图像区域的移动信息；选择部件，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及控制部件，用于基于所述摄像设备的移动信息和所述选择部件所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊。

根据本发明的实施例的一种摄像设备，包括：摄像部件；以及图像模糊校正设备，其中所述图像模糊校正设备包括：检测部件，用于检测所述摄像设备所拍摄的多个图像之间的移动信息，其中所述检测部件检测多个图像区域的移动信息；选择部件，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及控制部件，用于基于所述摄像设备的移动信息和所述选择部件所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊。

根据本发明的实施例的一种镜头设备，其能够安装至根据权利要求11所述的摄像设备的主体，所述镜头设备包括：图像模糊校正部件，用于校正所述摄像设备的所述摄像部件所拍摄的被摄体的图像模糊；抖动检测部件，用于检测所述镜头设备的抖动；以及镜头控制部件，用于根据所述抖动检测部件所获得的检测信号和从所述摄像设备的主体获取到的被摄体相对于所述摄像设备的角速度数据之间的差来计算控制量，并且控制所述图像模糊校正部件。

根据本发明的实施例的一种图像模糊校正设备中所执行的控制方法，所述控制方法包括以下步骤：检测步骤，用于检测摄像设备所拍摄的多个图像之间的移动信息，其中在所述检测步骤中检测多个图像区域的移动信息；选择步骤，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及基于所述摄像设备的移动信息和所述选择步骤中所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出本实施例中的摄像设备的结构的图。

图2是本实施例中的光学校正***的控制框图。

图3是用于说明摇摄期间的矢量检测的图。

图4A至4C是用于说明本实施例中的被摄体矢量检测的图。

图5是本实施例中的摇摄辅助的程序图的示意图。

图6是用于说明距离信息的图。

图7是本实施例中的摇摄辅助的流程图。

图8是本实施例中的第一辅助功能的流程图。

图9是本实施例中的第二辅助功能的流程图。

具体实施方式

以下将参考附图来说明本发明的实施例。图1是示出根据本实施例的摄像设备的结构示例的图。作为可更换镜头100能够安装至照相机主体131的摄像***的示例，将说明具有用于支持摇摄的摇摄辅助功能的数字照相机。将设置了摇摄辅助的情况下的控制模式称为“摇摄辅助模式”。

可更换镜头100包括摄像透镜单元101。摄像透镜单元101包括主摄像光学***102、能够改变焦距的变焦透镜组103以及用于图像模糊校正的移位透镜组104。移位透镜组(以下简称为移位透镜)104用作用于改变来自被摄体的光的摄像位置从而校正图像模糊的校正透镜。在沿与摄像透镜单元101的光轴垂直的方向移动移位透镜的情况下，可以光学地校正由于摄像设备的抖动而导致的图像相对于光轴的抖动。

可更换镜头100包括变焦编码器106、位置传感器105和角速度传感器111。变焦编码器106检测变焦透镜组103的位置。位置传感器105检测移位透镜组104的位置。角速度传感器111是用于检测摄像设备的抖动的抖动检测单元的示例，并且输出抖动检测信号。

镜头控制单元112包括用于镜头***控制的微计算机。镜头控制单元112经由驱动器113控制移位透镜组104的驱动。放大器114放大移位透镜组104的位置传感器105的输出，并且将位置检测信号输出至镜头控制单元112。

可更换镜头100包括安装触点单元115，并且连接至照相机主体131的安装触点单元144。镜头控制单元112包括第一控制单元和第二控制单元。第一控制单元是用于进行手抖动校正控制的手抖动校正控制单元121。第二控制单元是用于进行摇摄辅助的控制的摇摄控制单元122。镜头控制单元112另外还根据调焦透镜的移动来进行焦点调节控制和光圈控制，但为了附图的简化而将此省略。另外，在手抖动校正控制单元121的手抖动校正中，检测并校正例如水平方向和垂直方向上的两个正交轴中的抖动。然而，由于关于这两个轴的结构是相同的，因此将仅说明一个轴。这样，本实施例的摄像设备包括用于通过沿与光轴垂直的方向移动光学元件(移位透镜)来进行图像模糊校正的图像模糊校正设备。

照相机主体131包括用于控制曝光时间的快门132。摄像元件133例如是互补金属氧化物半导体(CMOS)型图像传感器，并且经由摄像光学***接收来自成像的被摄体的光，对光进行光电转换，并输出电信号。模拟信号处理电路(AFE)134处理摄像元件133的输出信号，并将该输出信号供给至照相机信号处理电路135。

照相机信号处理电路135包括运动矢量检测单元151。运动矢量检测单元151基于摄像元件133的输出信号来检测被摄体的移动。另外，照相机信号处理电路135处理摄像元件133的输出信号，将记录信号值输出至存储卡140，并且将显示信号输出至显示单元141。时序发生器(TG)136设置摄像元件133和模拟信号处理电路134的操作定时。操作单元142包括电源开关、释放开关和选择器开关等。用户可以通过操作选择器开关来设置摇摄辅助模式。

照相机控制单元143包括用于照相机***控制的微计算机，并且控制摄像***的组件。照相机控制单元143包括快门控制单元161、被摄体角速度计算单元162和快门速度计算单元163。快门控制单元161经由驱动器138来控制快门驱动马达139，并且控制快门132的操作。被摄体角速度计算单元162计算主被摄体的角速度。快门速度计算单元163计算设置了摇摄辅助模式时的快门速度。

存储卡140是用于记录拍摄视频的信号的记录介质。显示单元141包括诸如液晶面板(LCD)等的显示装置。显示单元141将用户使用照相机所要拍摄的图像显示在监视器上，并且将拍摄图像显示在屏幕上。

照相机主体131包括与可更换镜头100的安装触点单元144。镜头控制单元112和照相机控制单元143经由安装触点单元115和144来在预定定时进行串行通信。角速度传感器171检测照相机主体131的抖动，并且将抖动检测信号输出至照相机控制单元143。距离获取单元181获取与拍摄图像有关的距离信息，并且将该距离信息输出至照相机信号处理电路135。

在图1的摄像***中，用户操作操作单元142的电源开关，并且在照相机的电源接通时，照相机控制单元143检测状态的改变。照相机控制单元143将电力供给至照相机主体131的各电路，并且进行初始设置。另外，将电力供给至可更换镜头100，并且镜头控制单元112进行可更换镜头100中的初始设置。在使照相机控制单元143和镜头控制单元112进入它们能够彼此通信的状态之后，在预定定时开始各单元之间的通信。在从照相机控制单元143向镜头控制单元112的通信中，发送照相机的状态和摄像设置信息等。另外，在从镜头控制单元112向照相机控制单元143的通信中，发送可更换镜头100的焦距信息和角速度信息等。

用户可以通过对操作单元142的选择器开关进行操作来在正常模式和摇摄辅助模式之间进行改变。正常模式是没有设置摇摄辅助模式的模式。在选择了正常模式的情况下，在可更换镜头100中，角速度传感器111检测由于手抖动等而施加至照相机的抖动。手抖动校正控制单元121使用来自角速度传感器111的检测信号来控制移位透镜组104的驱动。因此，进行手抖动校正操作，并且降低了拍摄图像的图像模糊。

将参考图2来说明手抖动校正功能。图2是与手抖动校正和摇摄辅助操作有关的结构图。与图1相同的组件利用与图1中所使用的附图标记相同的附图标记来表示，并且将省略这些组件的详情。

手抖动校正控制单元121包括偏移去除单元201，并且去除来自角速度传感器111的角速度检测信号中所包括的偏移。偏移去除单元201例如通过包括高通滤波器(HPF)等的滤波操作单元来去除角速度传感器111的输出中所包括的DC成分。增益相位计算单元202获取偏移去除单元201的输出，并且进行放大和相位补偿。增益相位计算单元202包括用于利用预定增益和相位补偿滤波器来放大偏移成分被去除了的角速度信号。积分器203对增益相位计算单元202的输出进行积分。积分器203具有能够改变任意频带内的特性的功能，并计算移位透镜组104的驱动量。

手抖动校正控制单元121进行摄像设备的平摇(或俯仰)判断处理。例如，在由角速度传感器111的检测信号所表示的角速度具有等于或大于预定阈值的大小并且经过了预定时间(用于阈值判断的时间)的情况下，判断为平摇操作处于进行中。在这种情况下，进行将偏移去除单元201中的HPF的截止频率逐渐改变成更高的频率的处理。在将截止频率逐渐改变成更高的频率并且逐渐减小用于手抖动校正控制的目标信号的情况下，进行用于使移位透镜返回至光学中心位置的控制。在不进行该控制的情况下，利用强到足以被判断为平摇操作的抖动的角速度检测信号来进行手抖动校正。结果，移位透镜可能到达校正限制点(控制范围的限制位置)，并且拍摄者可能在画面上看到视角的不自然变化。在进行将HPF的截止频率逐渐改变成更高的频率的处理的情况下，可以防止这种现象的发生。

图像模糊校正控制判断单元(以下称为控制判断单元)204获取后述的积分器203和积分器225的输出，并且根据照相机信息获取单元226的输出来如下这样切换用于驱动移位透镜的信号。

(1)在摄像模式被设置为摇摄辅助模式的情况下

控制判断单元204选择摇摄控制单元122所计算出的积分器225的输出。

(2)在摄像模式被设置为除摇摄辅助模式以外的模式的情况下

控制判断单元204选择手抖动校正控制单元121所计算出的积分器203的输出。这里，以下将说明积分器225和照相机信息获取单元226。

位置传感器105检测移位透镜组104的位置，并且放大器114放大检测信号。模拟至数字(A/D)转换器206对放大器114所放大的检测信号进行数字化，并且将该信号输出至减法器205。减法器205使用控制判断单元204的输出作为正输入并且使用A/D转换器206的输出作为负输入来进行相减，并将作为相减结果的偏差数据输出至控制器207。针对从减法器205输出的偏差数据，控制器207包括用于利用预定增益和相位补偿滤波器来进行放大的放大单元。利用控制器207中的放大单元和相位补偿滤波器来对偏差数据进行信号处理，然后将其输出至脉冲宽度调制单元208。脉冲宽度调制单元208获取控制器207的输出数据，将该输出数据调制成用于改变脉冲波的占空比的波形(即，PWM波形)，并且将该波形输出至驱动器113，以驱动移位透镜。使用音圈马达来驱动移位透镜组104。驱动器113根据脉冲宽度调制单元208的输出沿与摄像光学***的光轴垂直的方向移动移位透镜组104。

接着，将说明用于摇摄辅助的第一辅助功能。

将参考图1和图2来说明摇摄控制单元122。在用户使用操作单元142进行将模式设置为摇摄辅助模式的操作时，照相机控制单元143切换至摇摄辅助控制。另外，将表示该切换的信息从照相机控制单元143发送至镜头控制单元112，并且镜头控制单元112切换至摇摄辅助模式下的控制。照相机信息获取单元226(图2)经由通信控制单元211获取从照相机控制单元143发送的各种照相机信息。照相机信息例如是摇摄辅助模式的设置信息和释放信息。照相机信息获取单元226将判断处理所需的信息输出至控制判断单元204。

角速度输出单元222获取偏移去除单元201的输出、即偏移成分被去除了的角速度传感器111的角速度检测信号。角速度输出单元222经由通信控制单元211和安装触点单元115来将角速度检测信号发送至照相机控制单元143。被摄体角速度获取单元223经由安装触点单元144和通信控制单元211来获取照相机主体131中的被摄体角速度计算单元162所计算出的被摄体的角速度的数据。减法器224使用偏移去除单元201的输出作为正输入并且使用被摄体角速度获取单元223的输出作为负输入来进行相减。通过从被摄体角速度获取单元223所获取到的被摄体的角速度中减去由偏移成分被去除了的检测信号表示的角速度来计算偏差。减法器224将该偏差输出至积分器225。积分器225对该偏差进行积分，并且将积分运算结果输出至控制判断单元204。

在被摄体角速度计算单元162所进行的被摄体的角速度的计算处理中，进行将图像的移动量检测为矢量并且从所检测到的全部矢量中仅精确地检测与被摄体相对应的矢量(被摄体矢量)的处理。进行用于将所检测到的被摄体矢量转换成角速度(被摄体角速度)的处理。

这里，将说明正确地检测被摄体矢量的方法。在照相机主体131中，照相机信号处理电路135中的运动矢量检测单元151检测摇摄辅助期间的运动矢量。即，从在模拟信号处理电路134中进行了信号处理的多个视频信息中检测图像的运动矢量。将参考图3来说明具体示例。图3是示出作为移动被摄体的被摄体301的典型摄像场景。在摄像画面中，水平方向被定义为X方向，并且垂直方向被定义为Y方向。在这种情况下，运动矢量检测单元151所检测到的两种类型的矢量是与被摄体301的一部分相对应的矢量、以及与背景部分相对应的矢量。与多个检测块相对应的矩形框是用于检测运动矢量的检测框302。在图3的设置中，为了在光学校正***的摇摄中仅校正被摄体的抖动，密集地配置各块。即，在设置了密集的配置的情况下，与检测框302相对应的检测块的检测精度能够提高。用于聚焦于被摄体的聚焦框(焦点检测框)303由矩形框表示。

图4A～4C示出由运动矢量检测单元151所检测到的矢量作为直方图(频率分布)的典型结果。横轴表示模糊量(单位：像素)，并且对应于运动矢量。纵轴表示运动矢量的频率。图4A示出图3的X方向(画面的水平方向)上的直方图。图4B示出图3的Y方向(画面的垂直方向)的直方图。图4C示出用于描述与像面移动量有关的误计算的典型直方图。

首先，将参考图4A来说明X方向上的操作。在拍摄图3的被摄体301中，在照相机可以成功追踪被摄体301的移动的情况下，被摄体和照相机之间的偏差量小。在这种情况下，与被摄体301的一部分相对应的矢量组401存在于0pix附近。另一方面，在照相机无法成功追踪被摄体301的移动的情况下，被摄体和照相机之间的偏差量大。结果，与被摄体301的一部分相对应的矢量组401离开0pix的位置。运动矢量检测单元151无法判断所检测到的矢量是与主被摄体相对应的矢量(以下称为主被摄体矢量)还是与背景相对应的矢量(以下称为背景矢量)。即，在该阶段，无法区分与被摄体301相对应的矢量组401和与背景相对应的矢量组402。因而，利用背景矢量的大小与图像面上的抖动量(像面移动量)相同这一事实，来进行被摄体矢量和背景矢量的判断处理。具体地，根据可更换镜头100中的角速度传感器111的角速度来计算像面移动量403。然后，基于像面移动量403，将存在于预定范围(以下称为背景判断阈值)404内的矢量判断为背景矢量。另外，在频率轴上设置用于判断被摄体的阈值405。将位于背景判断阈值404的范围外并且超过阈值405的矢量判断为被摄体矢量。

用作最终用于控制的矢量的主被摄体矢量是利用通过使用在被判断为被摄体矢量的矢量组401内最接近照相机的聚焦框303(图3)的矢量的位置作为起点、以同心圆状方式对周围矢量进行累加而获得的值来计算的。对于被摄体矢量，使用最接近聚焦框303的被摄体矢量作为起点的原因在于：拍摄者通常将聚焦框303设置在用作摄像对象的主被摄体上。通过累加所计算出的被摄体矢量与主被摄体的像面移动量相对应。在将主被摄体的像面移动量转换成角速度的情况下，获得主被摄体的角速度(要校正的被摄体抖动量)。这里，作为用于计算像面移动量的角速度，代替角速度传感器111，可以使用照相机主体131的角速度传感器171所检测到的角速度。

接着，将参考图4B来说明Y方向上的照相机的操作。在图3的摄像场景中，假定拍摄者进行沿X方向移动照相机的操作。在这种情况下，Y方向上的角速度具有小的值(例如，1deg/sec以下)。即，由于Y方向上的像面移动量403位于0pix附近，因此Y方向上的小的被摄体矢量包括在背景判断阈值404的范围内。因此，与被摄体相对应的矢量组401可能被误检测为用于背景矢量的候选。

图4C例示了与照相机的振动方向和非振动方向无关地、像面移动量403与背景矢量有偏差的情况，并且示出被摄体矢量的误检测发生的情况。在为了将角速度与矢量进行比较而根据角速度计算像面移动量的处理中，进行用于使角速度与焦距相乘并且使角速度除以帧频的操作。这里，例如，由于传感器固有的偏移成分叠加在角速度传感器111的输出上，因此即使照相机处于静止状态，角速度也由于偏移成分的影响而不是始终变成0deg/sec。偏移成分还根据温度的改变而变化。另外，根据摄像环境，帧频可能低，并且将参考图5来说明该原因。

图5是示出摇摄期间的曝光之前的程序图的示意图，并且示出光强度Ev值、快门速度Tv和光圈Av值。曝光量Ev：A表示晴天的户外亮度。曝光量Ev：B表示昏暗房间的亮度。曝光量Ev：C表示具有街灯的夜景的亮度。在使用发生图像模糊的图像数据来进行运动矢量检测的情况下，可能降低运动矢量检测的可靠性。因此，基本上，设置快门速度Tv：A(例如，1/250秒)的高快门速度。在摇摄期间的曝光之前的程序图中，在快门速度优先的程序图中，使用光圈和ISO感光度来进行曝光调整。在如曝光量Ev：B所示那样环境亮度昏暗并且即使打开光圈也无法获得适当曝光的情况下，进行用于改变快门速度Tv值的控制。即，由于与利用显示单元141来显示低亮度状态下的画面相比、适当控制曝光并且曝光变得更容易利用照相机来成像的操作具有更高的优先级，因此，快门速度从Tv:A至Tv:B向更低速度逐渐改变。在这种情况下，还根据快门速度来将帧频向更低速度改变。在根据角速度来计算像面移动量的情况下，角速度传感器111的输出中所包括的偏移成分和由于帧频的降低而导致的像面移动量403的计算误差会产生问题。即，如图4C所示，在像面移动量403与背景矢量偏离的情况下，被摄体矢量401的误检测可能发生。

在图4B和图4C所示的示例中，在无法正确检测到被摄体矢量的情况下，在本实施例中，可以使用与距离获取单元181(图1)所获取到的图像有关的距离信息来提高被摄体矢量的检测精度。

这里，将参考图6来说明距离获取单元181所获得的图像距离信息。拍摄图像中的被摄体的距离信息(深度信息)是表示深度方向上的摄像设备和被摄体之间的距离关系的信息。可以将距离获取单元181所获得的距离信息大致分成两个距离：最近距离方向上的距离501和无限方向(无限远方向)上的距离502。图6示出与图3中的图像相对应的典型距离图。最近距离方向上的距离501是从照相机的位置到照相机侧的被摄体的距离。无限方向上的距离502是从照相机的位置到背景侧的被摄体的距离。

通过以下方法来获取距离信息。

-使用用于自动调焦的传感器(AF传感器)的方法

距离获取单元181使用用于相位差检测的AF传感器来获取距离信息。在这种情况下，摄像设备包括专用于AF的检测单元，并且检测图像信号的相位差，并且可以获取到图像偏移量和散焦量等作为距离信息。

-使用用于对比度方式AF的评价值的方法

距离获取单元181根据对比度检测从摄像元件133的图像信号获取用于自动调焦的评价值，并且使用该评价值来获取距离信息。

-使用具有AF功能的像面相位差式的摄像元件的方法

在使用具有相位差检测功能的光瞳分割型摄像元件将穿过摄像透镜的入射光分割成两个方向上的光束的情况下，获得一对图像信号。即，通过摄像元件的光电转换单元来接收穿过摄像光学***的不同光瞳部分区域的光束。距离获取单元181从光电转换之后的一对图像信号之间的相位差获取图像偏移量和散焦量等作为距离信息。这里，在使用上述三种方法的情况下，可想到仅从摄像画面的一部分获取距离信息的结构。在这种结构中，可以获取到距离信息的范围以及用于检测运动矢量的检测框302的大小可以优选被设置成使得防止用于检测运动矢量的检测框302的大小比可以获取到距离信息的范围大。另外，在检测框302中，为了提高摇摄期间的被摄体的运动矢量的检测精度，密集地配置检测块。然而，为了校正正常时间(无摇摄的情况下)的图像模糊，优选离散地配置各块，以检测整个摄像画面的运动矢量。因此，用于检测正常时间的运动矢量的检测框优选比可以获取到距离信息的范围大。

-拍摄者获取设置值作为距离信息的方法

在包括用于拍摄者在摄像前手动设置到被摄体的距离的设置单元的结构中，距离获取单元181获取设置单元所设置的值作为距离信息。

运动矢量检测单元151基于距离获取单元181所获取到的距离信息，仅提取位于最近距离方向上的距离501处的检测块的矢量。即，在图6中，排除位于无限方向上的距离502处的检测块(例如，第一行和第一列的检测块)的矢量，以使得该矢量不被视为主被摄体矢量。在图4B所示的示例中，照相机的非振动方向上的小被摄体矢量候选包括在背景判断阈值404的范围内。在这种情况下，如果已经获取到最近距离方向上的距离信息，则使用离聚焦框303最近的检测块503(图6)作为起点，可以以同心圆形状的方式累加位于最近距离方向上的距离501处的检测块的周围矢量。即使矢量的最高频率小于用于判断被摄体矢量的阈值405，在运动矢量检测单元151的可靠性高的情况下，也可以判断所检测到的矢量作为被摄体矢量。运动矢量检测单元151所检测到的矢量的检测可靠性是与矢量检测值同时输出的值。例如，在图像信息中不存在特征点的情况下，或者在低亮度的状态下图像信息的对比度低的情况下，假定检测可靠性具有小的值。即，判断为在运动矢量检测单元151难以检测到作为对象的图像信息的情况下所获取到的矢量的检测可靠性低。这里，这同样适用于图4C所示的像面移动量具有误差的情况，并且在使用距离信息的情况下，被摄体矢量的检测精度更高。

在确定了被摄体矢量之后，进行被摄体角速度的计算处理。在与使用焦距、帧频和摄像元件的像素间距、根据角速度[deg/sec]来计算像面移动量[pix]的处理相反的计算处理中，可以根据像面移动量[pix]来计算角速度[deg/sec]。照相机控制单元143将通过将可更换镜头100的角速度输出单元222所获得的角速度数据与被摄体角速度计算单元162所计算出的被摄体的角速度相加所获得的值发送至镜头控制单元112。通过可更换镜头100中的镜头控制单元112、经由安装触点单元144和115来接收照相机控制单元143的发送信息。

接着，将说明用于摇摄辅助的第二辅助功能。

照相机主体131中的快门速度计算单元163计算用于摇摄辅助的快门速度。具体地，根据公式(1)使用以下信息来计算快门速度。

TV＝α/f/(ωc-ωw) (1)

在该公式中，

TV：快门速度，

α：拍摄者使用操作单元142所设置的背景流动效果的设置值，

f：经由安装触点单元144和115所获得的可更换镜头100的焦距，

ωc：照相机主体131中的角速度传感器171所检测到的角速度，以及

ωs：被摄体角速度计算单元162所计算出的被摄体角速度。

背景流动效果的设置值α是预设值，以使得作为像面移动量的背景图像中的抖动量例如是800μm(微米)。关于背景流动效果，可以设置诸如弱、中等、强等的多个效果等级。在拍摄者简单设置摇摄辅助模式并设置期望的背景流动效果的情况下，照相机主体131自动设置并控制快门速度。因此，即使拍摄者不熟悉摇摄，其也可以容易地设置快门速度。

将参考图7至图9的流程图来说明摇摄辅助控制。图7是示出与摇摄辅助控制有关的整体处理的流程的流程图。在照相机控制单元143和镜头控制单元112的CPU解释并执行预定控制程序的情况下实现以下处理。

(S601)摇摄辅助模式的判断处理

照相机控制单元143判断拍摄者是否使用操作单元142设置了摇摄辅助模式。在设置了摇摄辅助模式的情况下，处理进入S602。另一方面，在设置了除摇摄辅助模式以外的模式的情况下，不进行摇摄辅助控制并且处理结束。

(S602)可更换镜头100的判断处理

照相机控制单元143判断安装至照相机主体131的可更换镜头100是否是支持摇摄辅助的可更换镜头。在判断为可更换镜头100是支持摇摄辅助的可更换镜头的情况下，处理进入S603。另一方面，在判断为可更换镜头100是不支持摇摄辅助的可更换镜头的情况下，处理进入S608。这里，基于从镜头控制单元112向照相机控制单元143发送的镜头信息信号来进行可更换镜头100是否支持摇摄辅助的判断处理。

(S603)获取距离信息

距离获取单元181获取与拍摄图像有关的距离信息。运动矢量检测单元151设置矢量的检测框302。然后，处理进入S604。

(S604)检测运动矢量

运动矢量检测单元151检测画面内的被摄体的运动矢量。然后，处理进入S605。

(S605)检测角速度

将角速度传感器111所检测到的角速度检测信号从镜头控制单元112发送至照相机控制单元143。照相机控制单元143获取抖动的角速度检测信号。然后，处理进入S606。

(S606)计算像面移动量

照相机控制单元143进行用于将S605中所获取到的角速度转换成像面移动量的操作。像面移动量(图像面上的移动量)是使用可更换镜头100中的角速度传感器111所检测到的角速度、摄像光学***的焦距和帧频所计算出的。然后，处理进入S607。

(S607)计算被摄体角速度

被摄体角速度计算单元162根据从S604中所检测到的矢量所确定出的主被摄体矢量来计算主被摄体的角速度。以下将参考图8来详细说明计算处理。然后，处理进入S608。

(S608)计算快门速度

快门速度计算单元163计算用于摇摄辅助的快门速度。以下将参考图9来详细说明计算处理。然后，处理进入S609。

(S609)驱动图像模糊校正***

镜头控制单元112从照相机控制单元143接收S607中所计算出的被摄体角速度和S608中所计算出的用于摇摄辅助的快门速度的数据项，并且确定用于在曝光时间段期间驱动移位透镜组104的控制量。驱动器113根据所确定出的控制量来驱动移位透镜组104。光学图像模糊校正***减小照相机的摇摄操作期间的角速度和主被摄体的角速度之间的差。结果，可以提高摇摄的成功概率。然后，图7的处理结束。

将参考8的流程图来说明图7的S607中所示的被摄体角速度的计算处理和手抖动校正量的计算处理。

(S701)生成直方图

照相机控制单元143根据图7的S604中所检测到的矢量来计算直方图。在生成了直方图(图4A至图4C)之后，处理进入以下S702。

(S702)判断帧频

照相机控制单元143获取当前帧频，并将其与预设阈值(由A表示)相比较。在判断为所获取到的帧频等于或大于阈值A的情况下，处理进入S703。另一方面，在判断为所获取到的帧频小于阈值A的情况下，处理进入S708。

(S703)判断偏移

照相机控制单元143将叠加在角速度传感器111上的偏移成分与预设阈值(由B表示)相比较。从镜头控制单元112获取该偏移成分。在判断为该偏移成分等于或小于阈值B的情况下，处理进入S704。另一方面，在判断为该偏移成分大于阈值B的情况下，处理进入S708。

(S704)判断检测被摄体矢量的能力

照相机控制单元143基于运动矢量检测单元151的检测结果来判断是否检测到被摄体矢量。在判断为检测到被摄体矢量的情况下，处理进入S705。另一方面，在判断为尚未检测到被摄体矢量的情况下，处理进入S708。

(S705)被摄体矢量计算1

存在照相机控制单元143和照相机信号处理电路135所进行的如下两种类型的被摄体矢量计算处理：S705中所示的第一计算处理以及后述的S710中所示的第二计算处理。在第一计算处理中，进行使用与图3所例示的聚焦框303的位置最近的检测框作为起点、以同心圆状方式搜索检测块的处理，并进行特定数量的被摄体矢量的累加处理。然后，处理进入S706。

(S706)计算被摄体角速度

在确定出主被摄体的情况下，被摄体角速度计算单元162计算主被摄体的角速度。即，根据与图7的S606中根据角速度计算像面移动量的方法相反的方法，进行用于计算根据主被摄体的像面移动量来计算被摄体角速度的处理。然后，处理进入S707。

(S707)计算被摄体校正量

照相机控制单元143将从角速度输出单元222向照相机控制单元143发送的角速度的值与S706中所计算出的被摄体角速度相加，并且将相加后的值发送至镜头控制单元112。被摄体角速度获取单元223获取从照相机控制单元143向镜头控制单元112发送的被摄体角速度，并且将该被摄体角速度输出至减法器224。减法器224计算可更换镜头100中的角速度传感器111的角速度和被摄体角速度之间的差。积分器225对所计算出的差进行积分，并且将其作为被摄体的抖动校正控制的目标控制值(被摄体抖动校正量)输出至控制判断单元204。然后，处理转移至返回处理。

(S708)判断获取最近距离方向上的距离信息的能力

照相机控制单元143基于距离获取单元181所获取到的距离信息来判断是否获取到与图6的最近距离方向上的距离501相对应的距离信息。在判断为获取到最近距离方向上的距离信息的情况下，处理进入S709。在判断为尚未获取到最近距离方向上的距离信息的情况下，处理进入S711，并且代替被摄体的抖动校正控制，将控制切换至手抖动校正控制。

(S709)判断检测可靠性

照相机控制单元143判断与使用与图3所示的聚焦框303最近的检测块作为起点以同心圆状方式要累加的检测块有关的矢量检测的可靠性。在判断为具有高可靠性的矢量检测的检测块的数量等于或大于阈值的情况下，处理进入S710。另外，在判断为具有高可靠性的矢量检测的检测块的数量小于阈值的情况下，处理进入S711，并且代替被摄体的抖动校正控制，将控制切换至手抖动校正控制。

(S710)被摄体矢量计算2

在S708中获取到最近距离方向上的距离信息并且S709中的矢量检测的可靠性高的情况下，在该步骤中进行第二计算处理。在这种情况下，使用与图3所示的聚焦框303最近的检测块作为起点，以同心圆状方式累加位于最近距离方向的位置处的周围检测块的矢量。然后，处理进入S706。

(S711)获取角速度

在S702至704、S708和S709获得否定的判断结果的情况下，处理转移至该步骤，并且控制被切换至手抖动校正控制，并且手抖动校正控制单元121进行控制。获取可更换镜头100中的角速度传感器111所检测到的角速度，并且处理进入以下S712。

(S712)去除偏移

镜头控制单元112的手抖动校正控制单元121去除叠加在S711中所获取到的角速度上的偏移成分。例如，存在使用具有能够改变任意频带内的特性的功能的高通滤波器的方法。在该方法中，在角速度中所包括的低频成分被高通滤波器阻止并且输出高频带信号的情况下，去除叠加在角速度上的偏移成分。

(S713)计算增益和相位

图2中的增益相位计算单元202针对S712中偏移被去除了的角速度，计算进行滤波处理的增益和相位。在根据用于利用预定增益进行放大的放大单元和包括相位补偿滤波器的滤波器电路对角速度检测信号进行了信号处理之后，处理进入以下S714。

(S714)计算手抖动校正量

图2中的积分器对S713中的滤波器电路进行了信号处理的角速度进行积分。将通过积分所获得的角度值作为手抖动校正控制的目标控制值(手抖动校正量)输出至控制判断单元204。然后，处理转移至返回处理。

接着，将参考图9的流程图来说明用于图7的S608中所示的摇摄的快门速度的计算。

(S801)获取背景流动量

照相机控制单元143获取拍摄者使用操作单元142所设置的背景流动效果的设置值(α)，并且处理进入以下S802。

(S802)获取焦距

照相机控制单元143经由安装触点单元115和144来获取从镜头控制单元112发送的焦距信息，并且处理进入以下S803。

(S803)获取照相机主体的角速度

照相机控制单元143获取照相机主体131的角速度传感器171所检测到的角速度(ωc)，然后处理进入以下S804。

(S804)获取被摄体角速度

获取图8的S706中所计算出的被摄体角速度(ωs)，并且处理进入以下S805。

(S805)计算快门速度

快门速度计算单元163使用S801至S804中所获取到的数据项、基于公式(1)来计算用于摇摄的快门速度(Tv)。这里，在判断为不支持图7的S602中的摇摄辅助的镜头安装至照相机主体131的情况下，无法获取角速度传感器111所检测到的角速度。在这种情况下，根据从图8的S701的直方图所确定出的背景矢量来计算背景的角速度，并且计算用于摇摄的快门速度。可选地，可以在快门速度计算单元163中根据预先编程的值(例如1/60秒)来设置快门速度。可选地，可以设置如下结构：用户使用操作单元142选择自动设置或手动设置，以设置第二辅助功能中的快门速度。即，熟悉摇摄的拍摄者可以手动且任意设置快门速度。另外，不熟悉摇摄的拍摄者可以选择自动设置。

在本实施例中，为了计算移位透镜的驱动信号，可以高精度地进行被摄体矢量的检测。根据与摇摄辅助有关的第一辅助功能和第二辅助功能，可以容易拍摄背景图像流动并且主被摄体的图像模糊有所降低的满意的摇摄图片。

尽管以上已经使用作为所谓的无反射镜照相机的图1所示的摄像设备说明了本发明的典型实施例，但是本发明还可以广泛适用于单镜头反光照相机和紧凑型数字照相机等。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2017年3月2日提交的日本专利申请2017-039237的优先权，这里通过引用将其全部内容包含于此。

Claims (12)

1.一种图像模糊校正设备，其特征在于，包括：

检测部件，用于检测摄像设备所拍摄的多个图像之间的移动信息，其中所述检测部件检测多个图像区域的移动信息；

获取部件，用于获取所述多个图像区域的距离信息，所述距离信息是表示深度方向上的所述摄像设备和被摄体之间的距离关系的信息；

选择部件，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及

控制部件，用于基于所述摄像设备的移动信息和所述选择部件所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊，

其中，所述控制部件基于所述摄像设备的移动信息和所述选择部件所选择的所述对象区域的移动信息，来计算存在于所述对象区域中的所述被摄体相对于所述摄像设备的角速度数据，并且基于所计算出的角速度数据来校正存在于所述对象区域中的所述被摄体的图像模糊，

所述获取部件使用用于自动调焦的相位差检测部件所获得的检测信号、摄像部件所获得的图像信号的对比度评价值、或者像面相位差式的摄像元件所获得的图像信号，来获取所述距离信息。

2.根据权利要求1所述的图像模糊校正设备，其中，所述选择部件基于所述多个图像区域的距离信息，从所述多个图像区域中选择最近距离方向上的区域作为所述对象区域。

3.根据权利要求1所述的图像模糊校正设备，其中，所述检测部件检测所述多个图像区域的移动信息的范围等于或小于所述获取部件获取所述距离信息的范围。

4.根据权利要求1所述的图像模糊校正设备，其中，还包括设置部件，所述设置部件用于根据用户的操作来设置所述距离信息。

5.根据权利要求1所述的图像模糊校正设备，其中，所述控制部件使用摄像光学***的焦距、帧频和摄像元件的像素间距来计算所述被摄体的角速度数据。

6.根据权利要求5所述的图像模糊校正设备，其中，在所述帧频小于阈值并且能够获取到所述被摄体在最近距离方向上的移动量的情况下，所述控制部件使用与画面内的调焦检测框最近的位置作为起点来对位于所述最近距离方向上的周围区域的移动量进行累加，由此计算所述被摄体的移动量。

7.根据权利要求1所述的图像模糊校正设备，其中，还包括模式设置部件，所述模式设置部件用于设置支持摇摄的模式，

其中，在设置了所述模式的情况下，所述控制部件基于所述摄像设备的移动信息和所述选择部件所选择的对象区域的移动信息来校正存在于所述对象区域中的所述被摄体的图像模糊。

8.根据权利要求1所述的图像模糊校正设备，其中，所述控制部件通过控制校正透镜的位置来校正所述被摄体的图像模糊。

9.一种摄像设备，包括：

摄像部件；以及

图像模糊校正设备，

其特征在于，所述图像模糊校正设备包括：

检测部件，用于检测所述摄像设备所拍摄的多个图像之间的移动信息，其中所述检测部件检测多个图像区域的移动信息；

获取部件，用于获取所述多个图像区域的距离信息，所述距离信息是表示深度方向上的所述摄像设备和被摄体之间的距离关系的信息；

选择部件，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及

控制部件，用于基于所述摄像设备的移动信息和所述选择部件所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊，

其中，所述控制部件基于所述摄像设备的移动信息和所述选择部件所选择的所述对象区域的移动信息，来计算存在于所述对象区域中的所述被摄体相对于所述摄像设备的角速度数据，并且基于所计算出的角速度数据来校正存在于所述对象区域中的所述被摄体的图像模糊，

所述获取部件使用用于自动调焦的相位差检测部件所获得的检测信号、摄像部件所获得的图像信号的对比度评价值、或者像面相位差式的摄像元件所获得的图像信号，来获取所述距离信息。

10.根据权利要求9所述的摄像设备，其中，还包括：

抖动检测部件，用于检测所述摄像设备的抖动；以及

模式设置部件，用于设置支持摇摄的模式，

其中，在设置了所述模式的情况下，所述控制部件根据所述抖动检测部件所获得的检测信号和所述被摄体的角速度来计算用于摇摄的快门速度，并进行快门控制。

11.一种镜头设备，其能够安装至根据权利要求9所述的摄像设备的主体，其特征在于，所述镜头设备包括：

图像模糊校正部件，用于校正所述摄像设备的所述摄像部件所拍摄的被摄体的图像模糊；

抖动检测部件，用于检测所述镜头设备的抖动；以及

镜头控制部件，用于根据所述抖动检测部件所获得的检测信号和从所述摄像设备的主体获取到的被摄体相对于所述摄像设备的角速度数据之间的差来计算控制量，并且控制所述图像模糊校正部件。

12.一种图像模糊校正设备中所执行的控制方法，其特征在于，所述控制方法包括以下步骤：

检测步骤，用于检测摄像设备所拍摄的多个图像之间的移动信息，其中在所述检测步骤中检测多个图像区域的移动信息；

获取步骤，用于获取所述多个图像区域的距离信息，所述距离信息是表示深度方向上的所述摄像设备和被摄体之间的距离关系的信息；

选择步骤，用于基于所述多个图像区域的距离信息来从所述多个图像区域中选择对象区域；以及

基于所述摄像设备的移动信息和所述选择步骤中所选择的对象区域的移动信息来校正存在于所述对象区域中的被摄体的图像模糊，

其中，基于所述摄像设备的移动信息和所述选择步骤中所选择的所述对象区域的移动信息，来计算存在于所述对象区域中的所述被摄体相对于所述摄像设备的角速度数据，并且基于所计算出的角速度数据来校正存在于所述对象区域中的所述被摄体的图像模糊，

在所述获取步骤中，使用用于自动调焦的相位差检测部件所获得的检测信号、摄像部件所获得的图像信号的对比度评价值、或者像面相位差式的摄像元件所获得的图像信号，来获取所述距离信息。

Images