CN106454066B - 图像处理设备及其控制方法 - Google Patents

Abstract

本发明涉及一种图像处理设备及其控制方法。在该图像处理设备中，第一运动检测器计算表示摄像设备本体的运动的角速度。第二运动检测器基于顺次拍摄的图像来计算被摄体的运动的移动量。此外，运动矢量计算单元基于角速度来校正被摄体的运动的移动量，并且基于校正后的移动量来计算主被摄体的运动矢量。

Description

图像处理设备及其控制方法

技术领域

本发明涉及一种图像处理设备及其控制方法。

背景技术

摇摄被已知为用于表现具有速度感的运动被摄体的拍摄技术。摇摄的目的在于：在拍摄者平摇照相机以跟随被摄体的运动时，使运动被摄体保持在相同的位置并且允许背景模糊。在摇摄中，要求拍摄者平摇照相机以跟随被摄体的运动。然而，如果平摇速度过慢或过快并且在被摄体的运动速度和平摇速度之间产生差，则由此得到的图像甚至对于被摄体而言也可能具有模糊。

为了辅助用户容易地实现摇摄，提出了用于通过移动移位透镜来吸收被摄体的运动速度和平摇速度之间的差的摇摄辅助功能。在日本特开2006-317848中，论述了如下的摇摄用的摄像设备，其中在该摄像设备中，利用陀螺传感器来检测模糊，从图像的运动矢量中检测被摄体，计算用于使所检测到的被摄***于图像中心位置的校正量，并且通过移动光轴移位透镜来进行校正。

作为用于从图像中检测运动矢量的技术，提出了用于通过比较顺次拍摄的图像来检测运动矢量的方法。例如，在日本特开平08-88855中，论述了如下的用于检测运动矢量的装置，其中在该装置中，在用作用于检测运动矢量的块匹配对象的候选块的位置在搜索区域内移位的情况下，在用作用于检测运动矢量的块匹配对象的参考块和候选块之间进行像素值的比较。

在日本特开2006-317848所公开的装置中，使用所检测到的运动矢量来进行运动补偿，然后通过缩小搜索区域来重复用于检测运动矢量的步骤。然而，在这种情况下，如果主要的被摄体(下文被称为“主被摄体”)小于搜索区域，则除主被摄体的运动矢量之外还检测到背景的运动矢量。因此，变得难以从所检测到的运动矢量中确定主被摄体的运动矢量。结果，难以精确地获得主被摄体的角速度，并且摇摄辅助功能不能令人满意地工作。

发明内容

本发明提供一种即使在主被摄体小的情况下也能够计算该主被摄体的运动矢量的图像处理设备。

根据本发明的一个方面，提供了一种图像处理设备，包括：第一计算单元，用于基于角速度检测单元所检测到的信息来计算表示摄像设备本体的运动的第一运动检测信息；第二计算单元，用于基于顺次拍摄的图像来计算表示被摄体的运动的第二运动检测信息；以及控制单元，用于基于所述第一运动检测信息来校正与所述第二运动检测信息所表示的所述被摄体的运动有关的移动量，并且基于校正后的移动量来计算主被摄体的运动矢量。

根据本发明的另一方面，提供了一种图像处理设备的控制方法，所述控制方法包括以下步骤：基于角速度检测单元所检测到的信息来计算表示摄像设备本体的运动的第一运动检测信息；基于顺次拍摄的图像来计算表示被摄体的运动的第二运动检测信息；以及基于所述第一运动检测信息来校正与所述第二运动检测信息所表示的所述被摄体的运动有关的移动量，并且基于校正后的移动量来计算主被摄体的运动矢量。

根据本发明，即使在主被摄体小的情况下，也可以精确地计算主被摄体的运动矢量。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据第一实施例的图像处理设备的结构的图。

图2A～2C是示出根据所拍摄图像来计算被摄体的移动量的处理的图。

图3A和3B是示出根据第一实施例的图像处理设备的操作处理的流程图。

图4是示出用于对被摄体的移动量的校正量的单位进行转换的典型处理的图。

图5A和5B是示出被摄体的移动量的典型频数分布的图。

图6是示出根据第二实施例的图像处理设备的操作处理的流程图。

具体实施方式

第一实施例

图1是示出根据第一实施例的图像处理设备的结构的图。该图像处理设备包括第一运动检测器100、第一存储器102、第二运动检测器101、第二存储器103和运动矢量计算单元104。第一运动检测器100用作第一输出单元，其中该第一输出单元用于检测表示摄像设备本体的移动量的角速度、并将与检测到的角速度有关的数据作为第一运动检测信息进行输出。第一运动检测器100例如是诸如陀螺传感器等的角速度传感器。第一存储器102临时存储从第一运动检测器100所输出的与角速度有关的数据中的特定时间段所检测到的所有数据。第一存储器102例如是诸如随机存取存储器(RAM)等的易失性存储装置。第二运动检测器101用作第二输出单元，其中该第二输出单元用于通过比较顺次拍摄的图像来计算被摄体的移动量、并将该移动量作为第二运动检测信息进行输出。第二存储器103例如是诸如RAM等的易失性存储装置，并且临时存储第二运动检测器101所检测到的移动量中的特定时间段所检测到的所有数据。

图2A～2C是示出用于根据所拍摄图像来计算被摄体的移动量的处理的图。图2A示出用于根据顺次拍摄的图像检测各块的移动量的处理。该处理由第二运动检测器101来执行。第二运动检测器101将顺次拍摄的图像分割为块，并且以像素为单位比较各块以检测被摄体的移动量。第(N-1)帧的参考块的坐标值由“(x，y)”表示。通过在使第(N)帧的候选块相对于第(N-1)帧的参考块的坐标值以像素为单位移位的情况下对块内的像素值的差进行相加，来获得相关值。如果相关值最接近0的坐标值被设为“(x-a，y-b)”，则移动量α变为“(a-b)”。

图2B示出参考块的典型配置。在该实施例中，假设例如在整个图像中配置64个块(8×8＝64)。在图2C中，利用箭头来表示针对图2B的参考块中被虚线包围的4×3个块所检测到的移动量。在图2C的表示移动量的箭头中，通过虚线箭头来表示具有较低可靠性的移动量。例如，如果参考块和候选块不包含具有边缘特征等的像素值，则从任意坐标中获得相同的相关值。在这种情况下，无法获得移动量，或者移动量具有低可靠性。因此，第二运动检测器101可以被配置为判断所计算出的移动量的可靠性。也就是说，如果由于对比度微不足道而无法获得相关值、或者如果由于高频率的图像块而无法获得相关值，则第二运动检测器101判断为所获得的移动量具有低可靠性。

返回到图1，首先，运动矢量计算单元104从第一存储器102中读取摄像设备的角速度。然后，运动矢量计算单元104从第二存储器103中读取被摄体的移动量。此外，运动矢量计算单元104用作用于执行以下处理的控制单元。具体地，运动矢量计算单元104提取主要被摄体(下文被简称为“主被摄体”)的移动量，并且基于所读取的与角速度和被摄体的移动量有关的数据来计算主被摄体的运动矢量。

图3A和3B是示出第一实施例的图像处理设备的操作处理的流程图。在第一实施例中，运动矢量计算单元104基于与各帧相对应的第一运动检测信息，来校正与预定时间段相对应的多个帧的图像的被摄体的移动量。

首先，在步骤S300a中，运动矢量计算单元104从第一存储器102获得摄像设备的角速度(第一运动检测信息)，并且从第二存储器103获得被摄体的移动量(第二运动检测信息)。然后，运动矢量计算单元104执行用于计算校正角速度的处理。校正角速度是被摄体的移动量的校正量。

第i帧的校正量γ_i可以按照如下利用基准角速度ω^* ₀和第i帧的角速度ω^* _i来表示。

γ_i＝ω^* _i-ω^* ₀ (式1)

在该实施例中，将第一存储器102所存储的摄像设备的角速度中的最新值用作“ω^* ₀”。注意，可以选择第一存储器102所存储的“n”帧的摄像设备的角速度中的任意值作为“ω^* ₀”。可选地，可以计算所存储的“n”帧的摄像设备的角速度的平均值，并且将所计算出的平均值用作“ω^* ₀”。

然后，在步骤S301a中，运动矢量计算单元104将步骤S300a中所计算出的校正量的单位从角速度单位[rad/sec]转换为移动量单位[像素]。

图4是示出用于对被摄体的移动量的校正量的单位进行转换的典型处理的图。随着被摄体在“t”秒期间从点A向点B移动，假定聚焦于传感器上的被摄体图像从点C向点D移动。假定点C和D之间的距离由“υ[像素]”表示，焦距由“f[mm]”表示，并且传感器的像素间距由“p[mm/像素]”表示，则可以按照如下来表示像面上的被摄体的角速度ω^*[rad/sec]：

tan(ω^*×t)＝(υ×p)/f (式2)

转换后的校正量ξ_i[像素]可以按照如下通过利用校正量“ξ_i[像素]”和校正量“γ_i[rad/sec]”替换式(2)中的移动长度“υ[像素]”和像面上的被摄体的角速度ω^*[rad/sec]来表示：

ξ_i＝(f/p)×tan(γ_i×t) (式3)

返回到图3A，在步骤S302a中，运动矢量计算单元104创建频数分布。图3B是示出用于创建频数分布的处理的流程图。首先，在步骤S300b中，运动矢量计算单元104使用具有步骤S301a中转换得到的单位的校正量ξ_i来校正被摄体的移动量。

第(i)帧的校正后的移动量M_Ci可以按照如下使用校正量ξ_i和第(i)帧的移动量M_i表示：

M_Ci＝M_i-ξ_i (式4)

然后，在步骤S301b中，运动矢量计算单元104向与步骤S300b中校正后的移动量M_Ci相对应的频数加“1”。注意，步骤S300b和S301b的处理是针对各块进行的。由于在本实施例配置了64个块，因此步骤S300b和S301b的处理进行了64次。也就是说，与第(n)帧的所有移动量相对应的频数共计为“64”。

在本实施例中，运动矢量计算单元104针对特定时间段所检测到的所有帧执行步骤S300a～S302a的处理。结果，根据特定检测时间段所检测到的所有移动量来计算移动量的频数。例如，如果将“n”设定为“10帧”，则与所有移动量相对应的频数共计为“640”。这样，如果在多个帧之间移动量的频数顺次相加，则可以创建具有针对与小被摄体相对应的移动量可检测的峰的频数分布。

在步骤S303a中，运动矢量计算单元104根据步骤S302a中所创建的频数分布来判断主被摄体的移动量。频数分布具有包括背景的移动量的峰和主被摄体的移动量的峰的一对峰。通过使用式2将背景的移动量转换成像面上的角速度来使背景的移动量与基准角速度ω^* ₀一致。基于该关系，运动矢量计算单元104将频数分布中所展现的一对峰中的与摄像设备的角速度一致的峰判断作为背景的移动量。运动矢量计算单元104将剩余的峰判断作为主被摄体的移动量。结果，提取主被摄体的移动量，并且计算相应的被摄体的运动矢量。

图5A和5B是示出被摄体的移动量的典型频数分布的图。图5A示出针对单个帧的数据进行了用于创建频数分布的处理后的频数分布。图5B示出针对10帧的数据进行了用于创建频数分布的处理后的频数分布。在频数分布中，横轴表示校正后的移动量，以及纵轴表示各移动量的出现计数。注意，虚线表示检测阈值。在从频数分布中读取峰的情况下，通过设置合理的阈值来进行检测，以不读取噪声。在这种情况下，如图5A所示，如果主被摄体小，则主被摄体的移动量的出现计数不超过检测阈值。也就是说，在频数分布中，仅展现出背景的移动量的峰。对此，如图5B所示，如果频数分布由10帧的数据所创建，则主被摄体的移动量的出现计数超过检测阈值。也就是说，在频数分布中展现出背景的移动量的峰和主被摄体的移动量的峰。这样，通过使用摄像设备的角速度来校正被摄体的移动量，可以根据特定时间段所检测到的所有移动量来计算主被摄体的运动矢量。也就是说，即便在被摄体小的情况下，也可以计算运动矢量。

第二实施例

图6是示出根据第二实施例的图像处理设备的操作处理的流程图。在用于根据特定时间段所检测到的所有移动量来计算主被摄体的运动矢量的方法中，需要根据该特定时间段的所有帧来创建频数分布。因此，如果被摄体不小，则需要额外的处理时间。因此，在根据第二实施例的图像处理设备中，用于创建频数分布的时间根据是否检测到主被摄体的移动量而发生改变。具体地，图像处理设备判断是否能够从与最新帧相对应的移动量的频数分布中检测到主被摄体的移动量。如果从频数分布中无法检测到主被摄体的移动量，则图像处理设备顺次地将与先前帧相对应的校正后的移动量和与最新帧的图像相对应的移动量相加，直到从进行了移动量的相加的频数分布中能够检测到主被摄体的移动量为止。

步骤S600与图3A的步骤S300a相同。然后，在步骤S601中，运动矢量计算单元104将步骤S600中所计算出的校正量的单位从角速度单位[rad/sec]转换为移动量单位[像素]。如上所述使用式3来进行该单位转换。

在本实施例中，将第一存储器102所存储的摄像设备的角速度中的最新值用作基准角速度ω^* ₀。然而，如果使用第二存储器103所存储的被摄体的移动量中的最新移动量来创建频数分布，则不必校正被摄体的移动量。因此，不进行校正量的计算。同样，不进行校正量的单位转换。如果从使用最新的移动量所创建的频数分布中无法检测到主被摄体的移动量，则运动矢量计算单元104通过参考前一帧来创建频数分布。仅在使用先前帧创建频数分布的情况下，运动矢量计算单元104才执行步骤S600和S601的处理。

在步骤S602中，运动矢量计算单元104创建频数分布。随后，在步骤S603中，运动矢量计算单元104根据步骤S602中所创建的频数分布来判断主被摄体的移动量。该判断方法与第一实施例相同，并且将不会详细说明。如果作为该判断的结果能够检测到主被摄体的移动量，则该处理终止。如果无法检测到被摄体的移动量，则运动矢量计算单元104读取来自第一存储器102的前一帧的摄像设备的角速度以及来自第二存储器103的前一帧的被摄体的移动量。运动矢量计算单元104针对所读取的与摄像设备的角速度有关的数据来执行步骤S600和S601的处理。

然后，在步骤S602中，运动矢量计算单元104根据从最新帧到当前处理的帧为止的所有移动量来创建频数分布。此外，在步骤S603中，运动矢量计算单元104再次根据该频数分布来判断主被摄体的移动量。重复该处理，直到检测到主被摄体的移动量为止。可选地，重复该处理，直到对第一存储器102和第二存储器103所存储的所有帧进行了处理为止。

如上所述，通过使用运动矢量计算单元104根据是否检测到主被摄体的移动量来改变用于创建频数分布的时间段，在被摄体不小的情况下，可以无需耗费额外处理时间来计算运动矢量。也就是说，甚至对于小的被摄体也可以计算运动矢量，并且在被摄体不小的情况下，可以无需耗费额外处理时间来计算运动矢量。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2015年8月6日提交的日本专利申请2015-155639的优先权，这里通过引用将其全部内容包含于此。

Claims (9)

1.一种图像处理设备，包括：

第一计算单元，用于基于角速度检测单元所检测到的信息来计算表示摄像设备本体的运动的第一运动检测信息，

其特征在于，还包括：

第二计算单元，用于在不使用角速度检测单元所检测到的信息的情况下，基于顺次拍摄的图像来计算表示被摄体的运动的第二运动检测信息；以及

控制单元，用于基于所述第一运动检测信息来校正与所述第二运动检测信息所表示的所述被摄体的运动有关的移动量，并且基于校正后的移动量来计算主被摄体的运动矢量。

2.根据权利要求1所述的图像处理设备，其中，所述控制单元基于与各帧相对应的所述第一运动检测信息来校正与同预定时间段相对应的多个帧的图像中的所述被摄体的运动有关的移动量。

3.根据权利要求2所述的图像处理设备，其中，所述控制单元将与所述多个帧的图像的所述被摄体的运动有关的校正后的移动量的频数相加，并且基于通过相加所获得的频数分布来计算所述主被摄体的运动矢量。

4.根据权利要求3所述的图像处理设备，其中，所述控制单元提取与所述主被摄体的运动有关的移动量，并且基于通过移动量的相加所获得的频数分布以及所述第一运动检测信息所表示的所述摄像设备本体的运动来计算所述主被摄体的运动矢量。

5.根据权利要求4所述的图像处理设备，其中，所述控制单元将与所述第一运动检测信息所表示的所述摄像设备本体的运动有关的移动量判断为背景的移动量，并且将与通过相加所获得的频数分布所展现的峰中的如下的峰相对应的移动量提取作为与所述主被摄体的运动有关的移动量，其中该峰不同于与背景的移动量相对应的峰。

6.根据权利要求4所述的图像处理设备，其中，所述控制单元判断是否能够从与所述多个帧中的最新帧相对应的移动量的频数分布检测到所述主被摄体的移动量，以及

在从与所述最新帧相对应的移动量的频数分布无法检测到所述主被摄体的移动量的情况下，所述控制单元顺次地将与先前帧相对应的校正后的移动量和与所述最新帧的图像相对应的移动量相加，直到从通过移动量的相加所获得的频数分布能够检测到所述主被摄体的移动量为止。

7.根据权利要求1所述的图像处理设备，其中，所述第一计算单元是用于计算角速度作为所述第一运动检测信息的陀螺传感器。

8.根据权利要求1所述的图像处理设备，其中，所述第二计算单元被配置为将顺次拍摄的图像分割为块，并且通过以像素为单位对各块进行比较来计算表示所述被摄体的运动的所述第二运动检测信息。

9.一种图像处理设备的控制方法，所述控制方法包括以下步骤：

基于角速度检测单元所检测到的信息来计算表示摄像设备本体的运动的第一运动检测信息，

其特征在于，还包括：

在不使用角速度检测单元所检测到的信息的情况下，基于顺次拍摄的图像来计算表示被摄体的运动的第二运动检测信息；以及

基于所述第一运动检测信息来校正与所述第二运动检测信息所表示的所述被摄体的运动有关的移动量，并且基于校正后的移动量来计算主被摄体的运动矢量。

Images