CN111246117B - 控制装置、摄像设备和控制方法 - Google Patents

控制装置、摄像设备和控制方法 Download PDF

Info

Publication number
CN111246117B
CN111246117B CN202010223939.XA CN202010223939A CN111246117B CN 111246117 B CN111246117 B CN 111246117B CN 202010223939 A CN202010223939 A CN 202010223939A CN 111246117 B CN111246117 B CN 111246117B
Authority
CN
China
Prior art keywords
tracking
control
state
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010223939.XA
Other languages
English (en)
Other versions
CN111246117A (zh
Inventor
若松伸茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111246117A publication Critical patent/CN111246117A/zh
Application granted granted Critical
Publication of CN111246117B publication Critical patent/CN111246117B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

一种控制装置、摄像设备和控制方法,控制装置包括获取模糊检测单元检测的模糊检测信号以计算图像模糊校正量并控制校正图像模糊的图像模糊校正单元的校正控制单元;检测拍摄图像中的被摄***置并获取拍摄图像中的被摄***置信息的被摄体检测单元;基于被摄体检测单元获取的被摄***置信息进行被摄体追踪控制的追踪控制单元;设置追踪控制单元控制状态的设置单元。设置单元从包括未设置追踪被摄体可选模式的第一状态和设置了该模式未选追踪被摄体的第二状态的多个控制状态选择要设置的来设置追踪控制单元的控制状态。校正控制单元获取设置单元选的控制状态信息并进行控制以改变计算校正量的特性,使第二状态的图像模糊校正效果比第一状态效果高。

Description

控制装置、摄像设备和控制方法
(本申请是申请日为2016年12月8日、申请号为201611140487.9、发明名称为“控制装置和摄像设备”的申请的分案申请。)
技术领域
本发明涉及控制装置和摄像设备。
背景技术
已知具有抑制由于手抖动等引起的图像的模糊的图像模糊校正功能以及被摄体是人的情况下的面部检测功能和人体检测功能的摄像设备。例如,预先确定用于判断人的面部的图案,并且将拍摄图像中所包括的与该图案相同的部分检测为面部图像。在调焦控制、曝光控制等中参考检测到的人的面部图像。
在拍摄移动被摄体或在具有大焦距的远摄模式中拍摄被摄体的情况下,发生以下事项。在被摄体移动到摄像视角以外的情况下,需要拍摄者仅通过纯手动操作来高精度地追踪持续移动的被摄体的特殊技能。此外,在使用具有远摄镜头的照相机进行拍摄的情况下,由于手抖动对图像模糊的影响增加,所以难以将主被摄体维持在拍摄图像的中心位置。在拍摄者操作照相机以再次在视角内捕捉被摄体的情况下,根据拍摄者有意地操作照相机时发生的手抖动量来校正图像模糊。由此,根据图像模糊校正控制的影响,拍摄者可能难以进行微调以在视角内捕捉被摄体或使被摄体图像位于拍摄图像的中心位置。
日本特开2010-93362公开了通过在与光轴交叉的方向上移动光学***的部分来自动追踪被摄体的摄像设备。从利用摄像元件所获得的图像信号中检测被摄体的位置,并计算被摄体追踪计算量。将被摄体追踪计算量与模糊校正计算量组合以在校正图像模糊的情况下进行被摄体追踪控制。
发明内容
一种控制装置,包括:校正控制单元,其被配置为获取模糊检测单元检测到的模糊检测信号以计算图像模糊的校正量,以及对被配置为校正所述图像模糊的图像模糊校正单元进行控制;被摄体检测单元,其被配置为检测拍摄图像中的被摄体的位置,以及获取所述拍摄图像中的所述被摄体的位置信息;追踪控制单元,其被配置为基于所述被摄体检测单元所获取的所述被摄体的位置信息来进行所述被摄体的追踪控制;以及设置单元,其被配置为设置所述追踪控制单元的控制状态,其中,所述设置单元通过从多个控制状态中选择要设置的控制状态来设置所述追踪控制单元的控制状态,所述多个控制状态包括未设置追踪被摄体可选模式的第一状态和设置了所述追踪被摄体可选模式但未选择追踪被摄体的第二状态,以及所述校正控制单元获取与所述设置单元所选择的控制状态有关的信息,并且进行控制以改变用于计算所述校正量的特性,使得所述第二状态下的图像模糊校正效果高于所述第一状态下的图像模糊校正效果。
一种摄像设备,包括获得被摄体图像的摄像元件和上述的控制装置。
一种控制装置,包括:校正控制单元,其被配置为获取模糊检测单元检测到的模糊检测信号以计算图像模糊的校正量,以及对被配置为校正所述图像模糊的图像模糊校正单元进行控制;被摄体检测单元,其被配置为检测拍摄图像中的被摄体,以及获取所述拍摄图像中的所述被摄体的位置信息;以及追踪控制单元,其被配置为基于所述被摄体检测单元所获取的所述被摄体的位置信息来进行所述被摄体的追踪控制,其中,所述校正控制单元基于所述被摄体检测单元所获取的被摄体检测结果来改变图像模糊校正效果的程度。
一种摄像设备,其包括用于获得被摄体图像的摄像元件和上述的控制装置。
一种控制装置,包括:校正控制单元,其被配置为获取模糊检测单元检测到的模糊检测信号以计算图像模糊的校正量,以及对被配置为校正所述图像模糊的图像模糊校正单元进行控制;被摄体检测单元,其被配置为检测拍摄图像中的被摄体的位置,以及获取所述拍摄图像中的所述被摄体的位置信息;追踪控制单元,其被配置为基于所述被摄体检测单元所获取的所述被摄体的位置信息来进行所述被摄体的追踪控制;判断单元,其被配置为判断是否能够进行所述被摄体的追踪;以及警告指示单元,其被配置为在所述判断单元判断为不能进行所述被摄体的追踪的情况下发出警告。
一种摄像设备,包括获得被摄体图像的摄像元件和上述的控制装置。
通过以下参考附图对典型实施例的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据第一实施例的摄像设备和该摄像设备的抖动方向的图。
图2是示出根据第一实施例的摄像设备的结构示例的图。
图3A和3B是用于描述检测到的被摄体的追踪控制的图。
图4是根据第一实施例的追踪量计算单元的功能框图。
图5A~图5C是用于描述第一实施例的追踪控制的被摄体指定方法的图。
图6是用于描述根据第一实施例的根据被摄***置来设置模糊防止截止频率的图。
图7是用于描述根据第一实施例的控制的流程图。
图8A和8B是示意性地示出根据第二实施例的摄像设备的图。
图9是示出根据第二实施例的摄像设备的结构示例的图。
图10是示出根据第三实施例的摄像设备的结构示例的图。
图11是示出根据第四实施例的摄像设备的结构示例的图。
图12A~12H是示出根据第四实施例的追踪控制期间的摄像设备的状态和时序图的示例的图。
图13A~13H是示出根据第四实施例的追踪控制期间的摄像设备的状态的示例和时序图的示例的图。
图14A~14H是示出根据第四实施例的追踪控制期间的摄像设备的状态和时序图的示例的图。
图15A~15H是示出根据第四实施例的追踪控制期间的摄像设备的状态和时序图的示例的图。
图16A~16H是示出根据第四实施例的追踪控制期间的摄像设备的状态和时序图的示例的图。
图17是示出根据第四实施例的摄像设备的结构示例的图。
图18是示出根据第四实施例的摄像设备的结构示例的图。
具体实施方式
在下文中,将参照附图详细描述本发明的各个实施例。在各实施例中,将示出包括具有检测抖动以校正图像模糊的功能和自动追踪被摄体的功能的控制装置的摄像设备。本发明还可以应用于诸如监视照相机、网络照相机或移动电话等的摄像设备,而不限于数字照相机或数字摄像机。此外,本发明还可以应用于镜头更换型和镜头一体型照相机。
(第一实施例)
在追踪被摄体以使被摄体图像的位置维持在拍摄图像内的特定位置(例如,中心位置)的***中,被摄体追踪控制是照相机自动进行校正以使得被摄体图像的位置处于特定位置的控制。因此,拍摄者不需要在追踪控制期间进行取景以追踪被摄体。在这种情况下,在通过扩大校正图像模糊时的控制特性的频率范围来增强模糊校正效果(以下称为图像模糊校正效果)的情况下,能够在消除手抖动等的影响的同时以平滑的被摄体追踪进行拍摄。
然而,在进行这种被摄体追踪的情况下,尽管拍摄者可以通过指定画面中的被摄体来进行追踪以拍摄期望的被摄体,但是指定被摄体这件事本身可能有难度。例如,在拍摄镜头的焦距非常大(1000mm以上)的情况下,被摄体图像可能由于手抖动的影响而移动,并且可能难以在视角内捕捉被摄体以进行取景。在这种情况下,在通过扩大图像模糊校正的控制特性的频率范围来增强图像模糊校正效果的情况下,能够减轻由于手抖动的影响而导致的取景的难度。然而,在图像模糊校正效果增强的情况下,如果被摄体移动,则即使在拍摄者操作照相机以使得被摄体落入摄像视角内的情况下,也针对拍摄者有意操作照相机时所发生的手抖动量进行图像模糊校正。根据图像模糊校正效果的程度,可能难以再次在视角内捕捉被摄体或者微调被摄体图像的位置以使得被摄体图像位于拍摄图像的中心位置。因此,在本实施例中,将描述包括进行图像模糊校正和被摄体追踪控制并且能够提高拍摄者取景的容易程度的控制装置的摄像设备。有时将该控制装置称为“图像位置控制装置”,这是因为该控制装置通过进行图像模糊校正和被摄体追踪控制来控制图像位置。
图1是用于描述根据本发明的各个实施例的摄像设备的抖动方向的图。安装在摄像设备101上的控制装置包括图像模糊校正装置和被摄体追踪控制装置。
图2示出了摄像设备101的摄像单元的结构以及由摄像设备101中所包括的中央处理单元(CPU)105执行的图像模糊校正处理和自动追踪处理的功能块。
图像模糊校正装置例如相对于光轴102对箭头103p和103y所指示的俯仰和横摆方向上的角抖动进行图像模糊校正。将三维正交坐标系的Z轴方向定义为光轴方向,将与Z轴正交的第一轴定义为X轴,并且将与X轴正交的第二轴定义为Y轴。由箭头103p指示的围绕X轴的方向是俯仰方向,并且由箭头103y指示的围绕Y轴的方向是横摆方向。
用于允许快门行进的释放开关104设置在摄像设备101的主体中,并且根据对释放开关104的操作将开关打开/关闭信号发送到CPU 105。释放开关104是两级开关,其中第一开关(SW1)和第二开关(SW2)根据按压量顺次进入开启(ON)状态。在释放开关104被半按下的情况下,SW1进入ON状态,并且在释放开关104被完全按下的情况下,SW2进入ON状态。在SW1进入ON状态的情况下,通过调焦镜头的驱动来进行调焦,并且通过光圈的驱动来设置适当的曝光量。在SW2进入ON状态的情况下,将从曝露于摄像元件106的光学图像获得的图像数据记录在记录介质上。
CPU 105用作本实施例的控制装置。本实施例可以应用于包括CPU 105的任意光学设备。摄像元件106和通过在与光轴102不同的方向上移动来校正画面上的被摄体图像的图像模糊的模糊校正透镜(以下也称为校正透镜)108位于摄像光学***的光轴102上。
摄像设备101包括检测角抖动的角速度的角速度检测单元(以下称为角速度计)。角速度计103检测图1中的箭头103p所示的围绕X轴的旋转方向(俯仰方向)、以及箭头103y所示的围绕Y轴的旋转方向(横摆方向)的角抖动。角速度计103输出的检测信号被输入到CPU 105,并且通过模糊校正角度计算单元109计算模糊校正角度。模糊校正角度计算单元109的输出被输入到灵敏度调整单元114。
在不进行自动被摄体追踪控制的情况下,模糊校正角度计算单元109基于角速度计103计算模糊校正角度。具体地,在模糊校正角度计算单元109中,偏移减法器110从作为角速度计103的输出的检测信号中去除作为检测噪声添加至角速度计103的直流(DC)分量。此外,积分滤波器单元111执行积分处理并输出角度信号。偏移减法器110例如使用高通滤波器(HPF)去除DC分量。此外,积分滤波器单元111使用由下面的表达式(1)表示的滤波器。表达式(1)表示组合了左侧第一项的积分器和左侧第二项的HPF的滤波器。该滤波器可以表示为具有时间常数T的低通滤波器(LPF)的表达式与时间常数T相乘的表达式。
Figure BDA0002427029500000061
模糊防止特性改变单元112的输出被输入到偏移减法器110和积分滤波器单元111。平摇判断单元113的输出被输入到模糊防止特性改变单元112。追踪开关(SW)121的输出也输入到模糊防止特性改变单元112,稍后将描述与追踪SW 121对应的模糊防止特性改变单元112的处理。
平摇判断单元113获取角速度计103的输出和作为积分滤波器单元111的输出的模糊校正角度,并且判断摄像设备101是否正在平摇。具体地,平摇判断单元113将通过角速度计103所检测到的摄像设备101的角速度与预定阈值进行比较。在从检测到的角速度超过阈值的时间点起经过了预定时间段(判断用的时间段)的情况下,判断为摄像设备101正在平摇,并且将判断信号输出到模糊防止特性改变单元112。
在判断为摄像设备101正在平摇的情况下,平摇判断单元113向模糊防止特性改变单元112发出增大朝向控制范围的中心的推力的指示,使得积分滤波器单元111输出的模糊校正角度不会变得太大。推力是指控制模糊校正角度接近控制范围的中心的控制动作。此外,在判断为摄像设备101没有平摇的情况下,平摇判断单元113向模糊防止特性改变单元112发出减小朝向控制范围的中心的推力的指示。这里,朝向控制范围的中心的推力可以根据平摇的大小而逐渐改变。平摇的大小是检测到的角速度的大小或该角速度超过阈值的时间段的长度。在本实施例中,将通过示例的方式描述平摇操作。由于除了方向差异之外,对于倾斜操作进行相同的处理,因此将不提供其详细描述。
模糊防止特性改变单元112根据平摇判断结果和与对应于模糊校正角度的、朝向控制范围的中心的推力的大小有关的指示来改变模糊防止特性(图像模糊校正特性)。例如,在作为积分滤波器单元111的输出的模糊校正角度大于预定阈值的情况下,模糊防止特性改变单元112改变模糊防止特性以控制模糊校正角度接近控制范围的中心附近。根据模糊校正角度的大小进行控制,以使得模糊校正角度逐渐接近中心附近。具体地,进行控制以使得:模糊校正角度越大,朝向中心的推力越大,而模糊校正角度越小,朝向中心的推力越小。
模糊防止特性改变单元112通过改变偏移减法器110或积分滤波器单元111的频率特性来改变模糊防止特性。在接收到减小推力的指示的情况下,模糊防止特性改变单元112减小偏移减法器110的HPF的截止频率,并且减小积分滤波器单元111的截止频率。在接收到增大推力的指示的情况下,模糊防止特性改变单元112增大偏移减法器110的HPF的截止频率,并且增大积分滤波器单元111的截止频率。
如上所述,模糊校正角度计算单元109进行根据平摇判断结果和模糊校正角度的大小来改变朝向控制范围的中心的推力的处理。由此,能够在进行平摇判断处理的同时计算模糊校正角度。将模糊校正角度计算单元109输出的模糊校正角度信号输入到灵敏度调整单元114。
灵敏度调整单元114基于变焦和调焦位置信息107以及从这些信息项得出的焦距和拍摄倍率来放大模糊校正角度计算单元109的输出,并输出模糊校正目标值。从变焦单元获取变焦位置信息,并且从调焦单元获取调焦位置信息。基于变焦和调焦位置信息107计算模糊校正目标值的原因是因为摄像面针对校正透镜108的模糊校正行程的模糊校正灵敏度根据诸如变焦或调焦等的光学信息的变化而变化。灵敏度调整单元114将模糊校正目标值输出到加法器115。
在不进行自动被摄体追踪(作为追踪量计算单元118的输出的追踪校正量为0)的情况下,加法器115输出通过灵敏度调整单元114获得的模糊校正目标值。仅将灵敏度调整单元114的输出输入到驱动控制单元116。校正透镜108用作使拍摄图像中的被摄***置移位的可移动单元。驱动控制单元116控制校正透镜108的驱动,以执行被摄体追踪控制和模糊校正。
在本实施例中,驱动控制单元116通过在与光轴方向不同的方向上驱动校正透镜108来执行图像模糊校正(光学模糊防止)。尽管在本实施例中采用了使用校正透镜108的图像模糊校正方法,但是本发明不限于此,并且可以应用通过在与光轴垂直的平面内移动摄像元件来校正图像模糊的方法。可替代地,可以应用电子式模糊防止,其通过改变摄像元件所输出的各拍摄帧中的图像的剪切位置来减小抖动的影响。可替代地,可以组合多个图像模糊校正方法。此外,在本实施例中,通过使用光学模糊防止技术和电子式模糊防止技术来驱动校正透镜或摄像元件以及改变图像的剪切位置来进行被摄体追踪控制。
接下来,将详细描述被摄体检测单元117所进行的被摄***置检测处理。摄像元件106通过将从被摄体反射的光光电转换成电信号来获取图像信息。利用A/D转换单元将该图像信息转换为数字图像信号,并且将该数字图像信号发送到被摄体检测单元117。在摄像视角内捕捉到多个被摄体图像的情况下,以下方法用作从多个被摄体中自动识别主被摄体的方法。
检测主被摄体的第一方法是检测人。在这种情况下,被摄体检测单元117检测被摄体的面部或人体。在面部检测处理中,预先确定用于判断人的面部的图案,并且可以将拍摄图像中所包括的与该图案匹配的部分检测为人的面部图像。被摄体检测单元117针对检测到的各被摄体计算表示作为被摄体的面部的概率的可靠度。例如,可靠度是根据图像中的面部区域的大小以及与面部图案的匹配度等来计算的。即,被摄体检测单元117用作基于拍摄图像中的被摄体的大小或者被摄体与预先存储的被摄体图案之间的匹配度来计算被摄体的可靠度的可靠度计算单元。
检测主被摄体的第二方法使用拍摄图像中的色相和饱和度等的直方图。执行如下处理:将从拍摄视角内捕捉到的被摄体的图像的色相和饱和度等的直方图得出的分布划分为多个区间并对各区间中所拍摄到的图像进行分类。例如,针对拍摄图像创建多个颜色分量的直方图,并且利用山形分布范围对该直方图进行划分,对属于同一区间的组合的区域中所拍摄到的图像进行分类,并且识别被摄体图像区域。通过针对所识别出的各被摄体图像区域计算评价值,可以将具有最高评价值的被摄体图像区域判断为主被摄体区域。
在确定了主被摄体区域之后,可以使用主被摄体区域的特征量通过从通过后续实时取景操作、连续拍摄或视频拍摄顺次拍摄到的图像中检测出具有与主被摄体区域的特征量类似的特征量的区域来追踪主被摄体区域。例如,从色相分布或色相大小等计算主被摄体区域的特征量。将所检测到的主被摄体的位置信息输入到追踪量计算单元118。追踪量计算单元118计算使主被摄体图像的中心位置位于拍摄图像的中心(目标位置)附近的追踪校正量。此外,在观看根据视频信号输出的摄像设备的显示单元的画面上显示的视频的情况下,拍摄者可以在任何时间通过操作摄像设备的操作构件来在显示画面上指定被摄***置。在这种情况下,当拍摄者进行从显示画面上所显示的多个被摄体图像中指定主被摄体的操作时,计算指定位置处的诸如色相分布或色相大小等的特征量。使用计算出的特征量从之后顺次获得的图像中检测具有与该特征量类似的特征量的区域,并且可以将检测到的区域作为主被摄体区域来进行追踪。
接下来,将描述使用校正透镜108的被摄体追踪控制方法。
图2所示的被摄体检测单元117获取摄像元件106所获得的图像信号,并且检测拍摄图像中的被摄体的图像位置(被摄***置)。将被摄***置信息输出到追踪量计算单元118。追踪量计算单元118基于变焦和调焦位置信息107和检测到的被摄***置信息来计算通过校正透镜108的驱动来追踪被摄体所用的控制量。之后,将追踪被摄体以使被摄体的图像位于画面(拍摄图像的范围)的预定位置(目标位置(本实施例中为中心位置))所用的控制量(追踪控制量)称为追踪校正量。追踪量计算单元118根据追踪SW 121的状态计算追踪校正量。将该追踪校正量输入到加法器115,并且将该追踪校正量与作为灵敏度调整单元114的输出的模糊校正目标值相加,使得同时进行通过校正透镜108的驱动进行的模糊校正和追踪控制。
图3A和3B是用于描述根据本实施例的用于追踪所检测到的主被摄体的追踪控制的图。图3A示出在被摄体追踪控制开始之前的拍摄图像301a。图3B示出在被摄体追踪控制开始之后的拍摄图像301b。在图3A的拍摄图像301a中,在中心示出的黑点示出画面中心位置304。在追踪控制开始之前的被摄体302a的图像位置远离画面中心位置304。被摄体中心位置303a示出被摄体302a在图像中的中心位置。在CPU 105开始被摄体追踪控制的情况下,被摄体中心位置303a和画面中心位置304之间的距离随着时间的经过而逐渐减小。如图3B所示,利用被摄体追踪控制,最终被摄体中心位置303a变得基本上与画面中心位置304相同。
接下来,将参考图4描述追踪量计算单元118的追踪量计算处理。图4是示出追踪量计算单元118的示例的功能框图。尽管追踪量计算单元118计算画面的垂直和水平方向的各轴上的追踪校正量,但是为简单起见,将仅描述单个轴。
减法器403基于由被摄体检测单元117输出的被摄***置信息,从被摄***置(中心位置)401的坐标中减去画面中心位置402的坐标。以这种方式,计算表示被摄体图像的中心位置与图像上的画面中心位置402之间的距离的差量(以下称为中心移位量)。中心移位量是在画面中心位置402处的差量为0的情况下计算的有符号数据。减法器403的输出被输入到计数值表基准单元(以下简称为基准单元)404。
基准单元404基于中心移位量(即,差量的大小)计算用于追踪的计数值。具体地,如下所述计算计数值。
在中心移位量等于或小于预定阈值A并且等于或大于预定阈值“-A”的情况下,将计数值设置为0或最小值。在中心移位量的大小(绝对值)等于或小于预定阈值的情况下,设置从屏幕中心位置起的预定范围内不进行追踪的非灵敏区域。
在中心移位量大于预定阈值A或小于预定阈值“-A”的情况下,将计数值设置为随着中心移位量的绝对值的增大而增大。根据中心移位量的符号来计算计数值的符号。
获取基准单元404的输出作为信号选择单元406的第一输入。信号选择单元406获取由向下计数值输出单元405输出的向下计数值作为第二输入。此外,将指示追踪SW(开关)121的状态的信号作为控制信号输入到信号选择单元406。在追踪SW 121被设置为ON状态的情况下,信号选择单元406选择基准单元404的输出,并将该输出输出到加法器单元407。此外,在追踪SW 121被设置为OFF状态的情况下,信号选择单元406选择向下计数值,并将该向下计数值输出到加法器单元407。将在后面描述向下计数值。
加法器单元407获取信号选择单元406的输出和与追踪量相关联的先前的采样值,并将这两个值相加。将加法器单元407的输出输入到上限和下限设置单元408。上限和下限设置单元408将追踪校正量限制在预定范围内。即,将追踪校正量限制为不等于且不大于预定上限、并且不等于且不小于预定下限,并且改变该值。将上限和下限设置单元408的输出输入到延迟单元409和低通滤波器(LPF)410。
延迟单元409将比当前时间点早预定采样时间段所获得的过去追踪校正量(即,先前采样值)作为计算结果输出到加法器单元407和向下计数值输出单元405。向下计数值输出单元405输出向下计数值。将通过后处理所计算出的先前的追踪量采样值409输入到向下计数值输出单元405。在先前的采样时间点处所获得的追踪校正量(先前的采样值)具有正号的情况下,向下计数值设置为负号。此外,在先前的采样值具有负号的情况下,向下计数值输出单元405将向下计数值设置为正号。以这种方式,进行的处理以使得追踪校正量的绝对值减小。此外,在由延迟单元409输出的先前的采样值在接近零的范围(0±预定范围)内的情况下,向下计数值输出单元405将向下计数值设置为0。向下计数值是至信号选择单元406的第二输入。
LPF 410从上限和下限设置单元408的输出中去除被摄体的检测期间所包括的高频噪声,并将处理后的信号输出到校正透镜驱动量转换单元411。校正透镜驱动量转换单元411将LPF 410的输出转换成用于允许校正透镜108进行被摄体追踪操作的信号。以这种方式,计算最终的追踪校正量并且基于该追踪校正量驱动校正透镜108,从而进行追踪校正处理以使得被摄体图像的中心位置逐渐位于拍摄图像的中心附近。
通过基于由加法器115以上述方式将模糊校正量和追踪校正量相加的相加结果来驱动校正透镜108,可以同时进行图像模糊校正控制和被摄体追踪控制。
在进行被摄体追踪的情况下,拍摄者可以指定画面内的被摄体以拍摄期望的被摄体。将通过图5A至5C的具体示例来描述用于追踪的被摄体指定方法。图5A示出在摄像设备101的后表面上设置的液晶显示装置(LCD)501上设置触摸面板502的示例。在拍摄者触摸显示画面的情况下,执行获取触摸位置处的被摄体503的坐标并设置追踪目标被摄体的处理。此外,图5B示出提供用于设置追踪被摄体可选模式(以下称为追踪可选模式)的操作SW(开关)515的示例。在拍摄者按下操作SW 515的情况下,操作模式进入追踪可选模式。由于用于指定被摄体的图标504显示在画面的中心,因此拍摄者可以例如通过操作释放开关104的SW1来将图标504的显示位置处的被摄体503设置为追踪目标被摄体。
在图5A和5B所示的任何方法中,在指定被摄体的情况下,进行使用诸如色相分布或色相大小等的特征量从之后顺次地获得的图像中检测具有类似特征量的区域的处理。图5C示出将作为具有类似特征量的区域所提取的主被摄体区域作为由框506指示的追踪区域呈现给拍摄者的示例。在拍摄者指定显示画面内的被摄体图像以追踪被摄体的情况下,在指定被摄体之前可能发生以下问题。
例如,在透镜的焦距大到1000mm或更大的情况下,被摄体图像可能由于手抖动的影响而移动,并且可能难以在视角内捕捉被摄体以进行取景。为了减轻由于手抖的影响而造成的取景的困难,可以使用如下方法:改变特性以减小朝偏移减法器110的控制范围的中心的推力或减小积分滤波器单元111的截止频率,以增大模糊校正控制范围。然而,在增强针对手抖动校正的抖动抑制特性的情况下,即使在拍摄者操作照相机以使得被摄体落入视角内时,也对拍摄者有意地操作照相机时发生的手抖动量进行图像模糊校正。因此,由于图像模糊校正控制的影响,可能难以再次在视角内捕捉被摄体或者微调被摄体图像以使得被摄体图像位于拍摄图像的中心附近。例如,在拍摄者在通过操作图5B中的操作SW 515将操作模式设置为追踪可选模式的状态下指定被摄体之前,例如有必要时的拍摄者能够容易地进行取景,从而使得图标504移动到被摄体503的位置以设置追踪目标被摄体。在操作模式设置为追踪可选模式的情况下,针对模糊校正的抖动抑制特性与没有设置追踪可选模式的情况相比更强。在这种情况下,由于拍摄者不太可能在设置了追踪可选模式的状态下进行大幅平摇,所以平摇判断单元113增大判断阈值。以这种方式,拍摄者可以容易地进行取景,使得图标504位于被摄体503的位置。
在指定了被摄体之后,通过追踪控制在拍摄图像内的特定位置(例如,中心位置)捕捉被摄体图像的校正与图像模糊校正同时进行。在这种情况下,增强与图像模糊校正相关联的抖动抑制特性,以尽可能地抑制手抖动的影响。在这种情况下,与指定被摄体之前相比,抖动抑制特性进一步增强。在开始指定被摄体的追踪的情况下,由于拍摄者仍然不大可能进行大幅平摇,因此平摇判断单元113将判断阈值增大为大于指定被摄体之前的判断阈值。
在下面的描述中,未设置追踪可选模式的默认状态将被称为第一状态,并且设置了追踪可选模式、未选择被摄体、并且追踪SW 121处于OFF状态的状态将被称为第二状态。设置了追踪可选模式、选择了被摄体、并且追踪SW121处于ON状态的状态将被称为第三状态(追踪模式设置状态)。第二状态下的图像模糊校正效果比第一状态下的图像模糊校正效果更强。此外,第三状态下的图像模糊校正效果比第二状态下的图像模糊校正效果更强。将利用fc1来表示第一状态下的积分滤波器单元111的截止频率,并且将利用Ah1来表示平摇判断阈值。将利用fc2来表示第二状态下的积分滤波器单元111的截止频率,并且将利用Ah2来表示平摇判断阈值。将利用fc3来表示第三状态下的积分滤波器单元111的截止频率,并且将利用Ah3来表示平摇判断阈值。截止频率和平摇判断阈值满足由表达式(2)和(3)表示的以下关系。
fc1>fc2>fc3...(2)
Ah1<Ah2<Ah3...(3)
图像模糊校正效果的程度从未设置追踪可选模式的第一状态改变到未进行追踪操作的第二状态,并且改变到进行追踪操作的第三状态。因此,能
够在指定被摄体和追踪被摄体时进行最佳的图像模糊校正控制,并且能够在平滑地追踪被摄体的情况下进行拍摄。
接下来,将描述根据被摄体检测位置改变图像模糊校正效果的程度的处理。在被摄体追踪控制的可追踪范围足够的情况下,进行追踪控制以使得被摄体图像在画面的中心附近移动。然而,由于可追踪范围有限,因此在控制位置到达可追踪范围的末端(极限位置)的情况下,不能进行进一步的追踪控制。在这种情况下,拍摄者进行相机的取景,使得被摄体图像移动到画面的中心附近。在这种情况下,在对拍摄者有意地操作照相机时所发生的手抖动量进行图像模糊校正的情况下,在校正中可能发生不利影响。即,拍摄者可能难以再次在视角内捕捉被摄体或者微调被摄体图像的位置以使得被摄体图像位于拍摄图像的中心。因此,在本实施例中,进行根据由被摄体检测单元117检测到的被摄体检测位置来改变积分滤波器单元111的截止频率(fc4)的处理。将参考图6描述处理示例。
图6示出了例示根据被摄体检测位置(水平轴)设置截止频率fc4(垂直轴)的图。对被摄体检测位置在画面的垂直方向和水平方向这两个轴向方向上的坐标进行检测。关于透镜控制,设置与垂直方向上的俯仰控制和水平方向上的横摆控制相对应的积分滤波器单元111的截止频率fc4。此外,假设被摄体检测位置表示将视角的中心位置(目标位置)设置为零的坐标中的被摄体的位置。
图6示出具有被摄***置离视角的中心位置越远截止频率fc4越大这样的特性的表。P1和P2是正值范围的阈值,并且-P1和-P2是负值范围的阈值。在被摄体检测位置在-P1~+P1的范围内的情况下,截止频率fc4被设置为默认值D1。在被摄体检测位置等于或大于P2或等于或小于-P2的情况下,截止频率fc4被设置为频率D2。这里,D2>D1。在被摄体检测位置在P1和P2之间的区间或者-P1和-P2之间的区间内的情况下,截止频率fc4被设置为通过使用线性方程在D1和D2之间进行线性插值而计算出的值。
模糊防止特性改变单元112将计算出的截止频率fc4与根据追踪可选模式和追踪SW 121的状态所确定的积分滤波器单元111的截止频率进行比较。作为比较的结果,将更高的截止频率设置为积分滤波器单元111的最终截止频率。
通过以这种方式根据被摄***置改变积分滤波器单元111的截止频率,被摄体图像位于画面中心附近的情况下的图像模糊校正效果得以增强,并且能够防止被摄体图像由于手抖动的影响而偏离画面的中心。此外,在被摄体图像偏离屏幕的中心的情况下,产生通过追踪控制不能将被摄体图像移动到画面的中心的状态(例如,可追踪范围位于控制末端附近的状态)。控制末端是校正的实现受到限制的位置。在这种情况下,稍微弱化图像模糊校正效果,使得拍摄者可以通过取景将被摄体图像移动至画面的中心附近。即,能够防止由于拍摄者的取景而进行图像模糊校正,并且便于取景。
将参照图7所示的流程图描述模糊校正控制和被摄体追踪控制的处理示例。以下处理在摄像设备101的主电源接通的情况下开始,并以固定的采样周期执行。
首先,在S701中,CPU 105判断模糊防止SW(开关)是否处于ON状态。模糊防止SW是指示用户是否进行图像模糊校正控制的操作开关。在模糊防止SW处于ON状态的情况下,流程进入S702。在模糊防止SW处于OFF状态的情况下,流程进入S703。在S702中,CPU 105获取角速度计103的输出,并且流程进入S704。在S703中,不获取角速度计103的输出,并且在将角速度设置为零之后流程进入S704。在角速度被设置为零的情况下,随后的模糊校正计算结果(即,模糊校正量)变为零。
在S704中,CPU 105判断追踪可选模式是否被设置为ON。例如,判断追踪可选模式是否通过图5中的操作SW 515被设置为ON。在追踪可选模式被设置为ON的情况下,流程进入S705。在追踪可选模式被设置为OFF的情况下,流程进入S708。在S705中,CPU 105判断追踪SW 121是否处于ON状态。追踪SW 121是处于ON还是OFF状态例如可以基于是否通过图5A~5C中描述的方法选择了被摄体来确定。在追踪SW 121处于ON状态的情况下,流程进入S706。当追踪SW 121处于OFF状态时,流程进入S707。
在S706中,将积分滤波器单元111的截止频率(利用fa表示)设置为fc3。此外,平摇判断单元113将平摇判断阈值(利用Tha表示)设置为Ah3,并且流程进入S709。在S709中,被摄体检测单元117检测拍摄图像中的被摄***置。在该示例中,假设在S705中将追踪SW 121设置为ON的时间点,通过用户的操作指定实时取景中显示有拍摄图像的LCD画面上的被摄体图像。即,摄像设备101识别被摄体,并通过追踪和检测被摄体来获取被摄体的检测位置的坐标。
随后,在S710中,追踪量计算单元118根据检测到的被摄***置计算追踪校正量,并且流程进入S711。在S711中,CPU 105基于检测到的被摄***置来计算积分滤波器单元111的截止频率fc4。在S712中,CPU 105判断当前截止频率fa是否小于fc4。在fa<fc4的情况下,流程进入S713。在fa≥fc4的情况下,流程进入S715。在S713中,CPU 105将值fc4代入fa,并且流程进入S715。
在S708中,CPU 105将积分滤波器单元111的截止频率fa设置为fc1。平摇判断单元113将平摇判断阈值Tha设置为Ah1,并且流程进入S714。在S707中,CPU 105将积分滤波器单元111的截止频率fa设置为fc2。平摇判断单元113将平摇判断阈值Tha设置为Ah2,并且流程进入S714。在S714中将追踪校正量设置为零之后,流程进入S715。
在S715中,模糊校正角度计算单元109计算模糊校正量。在这种情况下,使用在S702或S703中获取的角速度、以及在S705至S713中设置的积分滤波器单元111的截止频率fa和平摇判断单元113的平摇判断阈值Tha。在计算模糊校正量之后,流程进入S716。在S716中,加法器115将模糊校正量和追踪校正量相加以计算透镜驱动量。随后,在S717中,CPU105在驱动控制单元116的辅助下基于透镜驱动量来控制校正透镜108的驱动。以这种方式,进行图像模糊校正和被摄体追踪控制。在图像模糊校正处理和被摄体追踪控制处理结束的情况下,进行待机直到后续采样时间点到来。
本实施例的图像位置控制装置基于拍摄图像中的被摄***置来计算被摄体追踪量。被摄体追踪量是将被摄体图像移动为位于画面内的特定位置(例如,中心位置或用户指定的位置)所用的控制量。此外,图像位置控制装置基于作为模糊检测信号的角速度输出进行计算,以计算模糊校正量(图像模糊校正量)。将模糊校正量和被摄体追踪量相加,并且通过基于相加值控制校正透镜的驱动来进行图像模糊校正和被摄体追踪控制。在这种情况下,根据被摄体追踪的控制状态来改变用于计算模糊校正量的特性。即,进行如下处理:基于指示是否设置了追踪可选模式的判断结果信息和追踪开关的ON/OFF设置信息来改变图像模糊校正效果的程度,以及根据被摄***置改变图像模糊校正效果的程度。因此,能够实现使得拍摄者能够容易地进行平摇的图像模糊校正控制,并且能够提高图像模糊校正控制和自动被摄体追踪控制的性能。
在本实施例中,已描述了校正透镜用作图像模糊校正与自动被摄体追踪控制单元并且在与光轴垂直的平面内移动的所谓的光学模糊防止控制的应用示例。然而,本发明可以应用于具有以下结构的图像位置控制装置。
(1)用于在与光轴垂直的平面内移动摄像元件的结构。
(2)通过用于改变由摄像元件输出的拍摄帧的剪切位置的图像处理来进行电子控制的结构。
(3)具有用于旋转包括摄像元件和拍摄透镜组的镜筒的机构的结构。
(4)同与摄像设备分开设置的驱动机构(例如,用于进行摄像设备的平摇或倾斜的旋转云台)组合的结构。
(5)(1)~(4)所述的多个结构的组合。
对于稍后描述的第三实施例也是如此。
(第二实施例)
接下来,将描述本发明的第二实施例。在本实施例中,将描述包括校正透镜108以及用于旋转具有拍摄透镜组和摄像元件106的镜筒的机构的情况下的图像模糊校正和自动被摄体追踪。在本实施例中,将通过先前使用的附图标记来表示与第一实施例相同的构成要素,将不再提供其详细描述,并将主要描述不同之处。对于稍后描述的实施例也是如此。
图8A和8B是示意性地示出根据本实施例的摄像设备101的图。在图8A和8B中,在三维正交坐标系的X、Y和Z轴中,将围绕X轴的方向定义为俯仰方向,并将围绕Y轴的方向定义为横摆方向。Z轴方向是摄像设备101的光轴方向。图8A示出的摄像设备101包括诸如释放开关104等的操作构件和显示拍摄图像的显示单元。使用LCD等的显示单元具有在实时取景中实时地显示拍摄图像的监视功能。镜筒801包括拍摄透镜组和摄像元件106,并且以能够通过摄像设备101驱动的状态安装。即,设置了用于使镜筒801相对于摄像设备101旋转(倾斜)的机构。
图8B示出与镜筒801的旋转相关联的结构。驱动机构802p包括使镜筒801在俯仰方向上旋转的马达及其驱动控制单元。驱动机构802y包括使镜筒801在横摆方向上旋转的马达及其驱动控制单元。镜筒801的姿势可以通过驱动机构802p和803y在俯仰方向和横摆方向上独立地进行控制。
图9是示出摄像设备101的主要部分的结构的图。下面将描述该结构与图2中描述的第一实施例的结构之间的差异。
(1)设置用于使用马达使旋转镜筒801旋转的旋转驱动机构802。
(2)去除将模糊校正量和追踪校正量相加的加法器115,并且将由灵敏度调整单元114输出的模糊校正量输入到驱动控制单元116。
(3)添加用于驱动旋转驱动机构802的驱动控制单元901,并且将追踪量计算单元118输出的追踪校正量输入到驱动控制单元901。
(4)驱动控制单元901通过基于追踪量计算单元118所计算出的追踪校正量驱动旋转驱动机构802来进行自动被摄体追踪控制。
本实施例的图像位置控制装置使用校正透镜108进行图像模糊校正,并使用旋转驱动机构802进行自动被摄体追踪控制。在这种情况下,获得与第一实施例相同的优点,并且能够进行使得拍摄者能够容易地进行取景的图像模糊校正控制。
在本实施例中,角速度计103安装到镜筒801或安装到摄像设备101的除镜筒801以外的部分。在角速度计103安装到镜筒801的情况下,从角速度计103的输出中减去镜筒801相对于摄像设备101的固定部分的相对角速度。摄像设备101和镜筒801之间的相对角速度是利用旋转驱动机构802来旋转的镜筒801的旋转速度,并且基于马达的驱动指示信号或通过旋转检测传感器等来检测该相对角速度。通过从角速度计103的输出中减去相对角速度,能够计算摄像设备101的抖动量。
在本实施例中,校正透镜及其驱动机构用作图像模糊校正单元,并且包括摄像元件和拍摄透镜组的镜筒801及其旋转驱动机构用作自动被摄体追踪单元。本发明不限于此,并且可以应用以下结构。
(1)包括用于使摄像元件在与光轴垂直的平面内移动的机构和用于驱动校正透镜的机构的结构。
(2)包括改变由摄像元件输出的各拍摄帧的图像剪切位置的处理单元和用于驱动校正透镜的机构的结构。
(3)包括改变由摄像元件输出的各拍摄帧的图像剪切位置的处理单元和用于使摄像元件在与光轴垂直的平面内移动的机构的结构。
(4)包括用于使摄像元件在与光轴垂直的平面内移动的机构和用于使包括拍摄透镜组的镜筒旋转的机构的结构。
(5)包括改变由摄像元件输出的各拍摄框的图像切出位置的处理单元和用于使包括拍摄透镜组的镜筒旋转的机构的结构。
(6)(1)~(5)中所述的多个结构的组合。
(第三实施例)
接下来,将描述本发明的第三实施例。本实施例的图像模糊校正和自动被摄体追踪装置基于自动被摄体追踪所使用的被摄体检测信息来改变图像模糊校正的特性。被摄体检测信息是指示诸如是否正在检测被摄体或被摄体已经丢失等的被摄体检测状态的信息,并且是与被摄体检测的可靠度有关的信息。之后,将描述考虑被摄体检测信息的图像模糊校正和自动被摄体追踪控制。
图10是示出根据本实施例的摄像设备的主要部分的结构的图。下面将描述该结构与图2中描述的第一实施例的结构的差异。
(1)除被摄***置检测单元1000之外,被摄体检测单元117还包括被摄体检测状态判断单元1001和被摄体可靠度判断单元1002,并且将检测信息和判断信息输入到追踪增益单元1003、模糊防止特性改变单元112、以及追踪量计算单元118。
(2)添加追踪增益单元1003,并且将增益与作为追踪量计算单元118的输出的追踪校正量相乘,并且将相乘后得到的追踪校正量输入到加法器115。
将利用被摄体检测状态判断单元(以下称为检测状态确定单元)1001和被摄体可靠度判断单元(以下称为可靠度判断单元)1002获得的判断信息项输入到追踪增益单元1003,并且追踪增益单元1003根据各判断结果设置增益。增益设置为不小于0且不大于1。下面将详细描述追踪增益单元1003和模糊防止特性改变单元112。
被摄***置检测单元1000对应于第一实施例的被摄体检测单元117,并且例如使用面部检测或图案匹配来检测被摄***置。检测状态判断单元1001判断被摄体是处于第一检测状态还是处于第二检测状态。第一检测状态是已检测到被摄体的状态。第二检测状态是由于被摄体丢失而未检测到被摄体的状态(被摄体丢失状态)。例如,可以基于被摄***置检测单元1000是否成功检测来判断状态。
由于可以在第一检测状态下进行追踪控制,因此追踪增益单元1003将增益设置为1。即,将通过追踪量计算单元118计算出的追踪校正量原样输入到加法器115。此外,由于进行了被摄体追踪控制,因此图像模糊校正效果增强。如在第一实施例中所描述的,根据追踪SW 121的状态和平摇判断单元113的判断结果来设置偏移减法器110和积分滤波器单元111的特性,并且计算模糊校正量。
另一方面,在检测状态判断单元1001已经判断为被摄体处于第二检测状态的情况下,优选地进行控制以停止被摄体追踪。即,在判断为被摄体处于第二检测状态的情况下,优选将增益设置为0。此外,检测状态判断单元1001可以从三个或更多个状态而不是第一检测状态和第二检测状态这两种状态中判断被摄体检测状态。例如,第一检测状态被定义为已检测到被摄体的可能性高的状态,并且第二检测状态被定义为没有检测到被摄体的可能性高的状态。此外,第三检测状态是与第一检测状态相比检测到被摄体的可能性更低并且与第二检测状态相比检测到被摄体的可能性更高的状态。例如,在预定时间段期间,检测状态判断单元1001检测到被摄体丢失但继续搜索被摄体的状态(第三检测状态),并且如果在被摄体丢失状态期间再次检测到被摄体,则转换为作为再次被摄体检测状态的第一状态。在被摄体丢失状态持续预定时间段的情况下,在停止对被摄体的搜索之后,检测状态判断单元1001转换为作为被摄体非检测状态的第二状态。例如,可以设置第三状态,使得由于从被摄体丢失起所经过的时间,检测到被摄体的可能性变小。在这种情况下,追踪增益单元1003在被摄体处于第一检测状态的情况下将增益设置为1,在被摄体处于第二检测状态的情况下将增益设置为0,并且在被摄体处于第三检测状态的情况下将增益设置为大于0且小于1的值。
检测状态判断单元1001可以从根据在第一检测状态和第二检测状态之间检测出被摄体的可能性而设置的多个状态中判断检测状态。在这种情况下,追踪增益单元1003将增益设置为随着检测出被摄体的可能性减小而逐渐减小,并且最终达到零。由于在第二检测状态下不进行追踪控制,因此设置为能够通过拍摄者的取景操作将被摄体图像移动为位于画面的中心附近。即,模糊防止特性改变单元112稍微弱化图像模糊校正效果、防止对取景操作进行图像模糊校正、并且改变模糊防止特性以使得拍摄者可以容易地进行取景。在这种情况下,模糊防止特性在将图像模糊校正效果维持在特定强度的同时便于取景。
将积分滤波器单元111的截止频率设置为fc2,并且将平摇判断阈值设置为Ah2。该设置与图7的S707中所示的没有指定被摄体并且追踪SW处于OFF状态的情况下的设置相同。模糊防止特性改变单元112根据检测状态判断单元1001所获得的关于被摄体检测状态的判断结果、追踪SW 121的状态和平摇判断单元113的判断结果来改变模糊防止特性。即,在与关于被摄体检测状态的判断结果相对应的模糊防止特性、以及与追踪SW 121的状态和平摇判断单元113的判断结果相对应的模糊防止特性之间确定最能减小图像模糊校正效果的模糊防止特性。根据确定出的模糊防止特性来设置偏移减法器110和积分滤波器单元111。
可靠度判断单元1002判断检测到的被摄体是否可靠。例如,可以基于拍摄图像中的被摄体图像的大小来判断被摄体的可靠度。可替代地,可以基于指定被摄体时所存储的被摄体图像的图案与检测到的被摄体图像之间的匹配程度来计算作为判断对象的主被摄体的可靠度。此外,即使存在具有与检测到的被摄体相同的图案的多个被摄体,但由于检测到错误的主被摄体的可能性也很高,因此计算出的可靠度低。可靠度判断单元1002将计算出的可靠度与阈值进行比较,以判断检测到的被摄体是否可靠。在被摄体的可靠度高(等于或高于阈值)的情况下,可以进行被摄体追踪控制。在这种情况下,追踪增益单元1003将增益设置为1。将追踪量计算单元118所计算出的追踪校正量原样输入到加法器115。为了提高追踪控制期间的图像模糊校正效果,改变偏移减法器110和积分滤波器单元111的特性,并计算模糊校正量。
另一方面,在可靠度判断单元1002判断为被摄体的可靠度小于阈值并且可靠度低的情况下,进行控制以停止追踪,这是因为拍摄者可能不期望进行追踪控制。可靠度判断单元1002优选地使用多个阈值以多个步骤来评价可靠度,而不是在两个步骤中使用相同的阈值来评价可靠度是否可靠。在这种情况下,在计算出的可靠度等于或高于最大阈值(可靠度被评价为最高)的情况下,追踪增益单元1003将增益设置为1,并根据可靠度逐渐降低增益。此外,在可靠度小于最小阈值的情况下,增益最终设置为零。在这种情况下,模糊防止特性改变为稍微弱化图像模糊校正效果。即,将积分滤波器单元111的截止频率设置为fc2,并且将平摇判断阈值设置为Ah2。在这种情况下,模糊防止特性在将图像模糊校正效果维持在特定强度的同时便于取景。模糊防止特性改变单元112根据可靠度判断单元1002的判断结果、检测状态判断单元1001获得的关于被摄体检测状态的判断结果、追踪SW 121的状态、以及平摇判断单元113的判断结果来改变模糊防止特性。即,将与作为可靠度判断单元1002的判断结果的被摄体可靠度相对应的模糊防止特性、与被摄体检测状态相对应的模糊防止特性、以及与追踪SW 121的状态和平摇判断单元113的判断结果相对应的模糊防止特性进行比较。在这些模糊防止特性中,确定最能减小图像模糊校正效果的模糊防止特性。根据所确定出的防止模糊特性来设置偏移减法器110和积分滤波器单元111。
将从追踪增益单元1003输出的追踪校正量输入到加法器115,并且与作为灵敏度调整单元114的输出的模糊校正量的目标值相加。以这种方式,可以通过驱动校正透镜108同时进行追踪校正和图像模糊校正。
在本实施例中,根据被摄体检测状态或被摄体可靠度或两者来改变图像模糊校正的特性。因此,由于可以实现使得拍摄者能够容易地进行取景的图像模糊校正控制,因此可以提高图像模糊校正和自动被摄体追踪控制的性能。
(第四实施例)
接下来,将描述本发明的第四实施例。根据本实施例的图像模糊校正和自动被摄体追踪装置基于自动被摄体追踪所使用的被摄体检测信息来判断是否可以进行追踪控制,并且在显示单元的画面上显示判断结果。以这种方式,能够向拍摄者通知摄像设备是否能够追踪被摄体,并且能够实现使得拍摄者能够容易地进行取景的图像模糊校正和被摄体追踪控制。
在追踪被摄体使得被摄体的位置维持在拍摄画面的特定位置处的***中,因为在追踪操作期间,照相机追踪被摄体以使得通过追踪控制使被摄体自动位于视角的中心附近,因此拍摄者不需要进行取景操作以追踪被摄体。然而,这种被摄体追踪是通过移动光学***的部分来进行的,可追踪范围存在限制。由于在光学***到达可追踪范围的末端的情况下不能进行进一步的追踪,因此拍摄者需要抖动照相机以追踪被摄体。然而,由于拍摄者难以立即识别出光学***已经到达可追踪范围的末端,因此拍摄者可能由于迟的取景操作而从拍摄画面中丢失被摄体。即使当通过改变帧的剪切范围来进行追踪时,也可能发生这种情况。
在本实施例中,判断照相机是否可以进行追踪控制,并且将判断结果显示在显示单元的画面上。以这种方式,能够提高拍摄者的取景操作的操作性。
图11是示出根据本实施例的摄像设备的主要部分的结构的图。该结构与第三实施例的图10中描述的结构的不同之处在于,该结构包括追踪状态判断单元120和追踪图标控制单元123。追踪状态判断单元120获得的判断结果被输入到追踪图标控制单元123,并且通过追踪图标控制单元123来控制要显示在显示单元122上的图标。
在进行被摄体追踪控制并且可追踪范围足够的情况下,实现追踪控制,使得被摄体的位置维持在画面的中心附近。然而,由于可追踪范围有限,因此在光学***到达可追踪范围的末端的情况下,不能进行进一步的追踪控制。在这种情况下,拍摄者需要将照相机再次进行取景以将被摄体移动为位于中心附近。然而,拍摄者仅仅通过观看实时取景图像难以立即判断是否可以进行进一步的追踪。因此,拍摄者可能不会在校正透镜108到达可追踪范围的末端之后立即再次进行取景,并且被摄体可能从屏幕丢失。因此,本实施例的摄像设备101判断是否可以进行追踪控制。此外,根据判断结果改变要显示在画面上的追踪图标,并且通知拍摄者是否可以进行追踪。以这种方式,在不能进行追踪的情况下,发出警告通知以促使拍摄者通过取景操作来进行追踪被摄体的操作。
图12A至12H例示示出被摄体追踪操作和追踪状态的照相机后视图和示出控制状态的时序图。在进行被摄体追踪的情况下,为使拍摄者拍摄期望的被摄体,优选拍摄者指定画面中的被摄体并进行追踪。作为指定要追踪的被摄体的方法,例如,如图12A所示,可以使用如下方法:借助于照相机101的后表面上的LCD 501下设置的触摸面板502来获取被触摸的被摄体503的坐标位置,并设置追踪对象被摄体。
在通过图12A所示的方法指定被摄体的情况下,通过使用诸如色相分布或色相大小等的特征量、从通过实时取景操作之后顺次地获得的图像中检测具有类似特征量的区域来追踪主被摄体区域。此外,主被摄体区域通过框506被示为追踪区域,以向拍摄者通知追踪区域。在指定了被摄体之后,进行追踪控制以使检测到的被摄***置朝向画面的中心移动。此外,在画面上显示追踪图标505,以使得拍摄者理解进行了追踪控制。在未进行被摄体追踪(未指定被摄体)的情况下,不在画面上显示追踪图标505。
图12B是示出指定被摄体之后的状态的图。图12F示出在通过摄像设备101显示的画面的状态随着时间的经过从图12A改变为图12B、图12C、12D和12E的情况下,通过将模糊校正量和追踪校正量相加而获得的加法器115的输出。图12G示出作为减法器403的输出的中心移位量,并且图12H示出追踪图标505的显示状态。在被摄***置检测单元输出使用目标位置作为中心坐标的所检测到的被摄体的坐标的情况下,被摄***置检测单元的输出可以被视为中心移位量。在指定被摄体的时刻T1之前,不在画面上显示追踪图标505,并且在定时T1如图12B所示指定了被摄体的情况下,在画面上显示追踪图标505。随后,即使在指定的被摄体503移动的情况下被摄体503偏离图像的中心(图12C),也基于追踪量计算单元118计算出的追踪校正量来进行追踪控制,使得被摄体503返回到图像的中心(图12D)。在这些图中,T2表示被摄体从图像的中心移开的时刻,并且T3表示通过追踪控制被摄体返回到图像的中心的时刻。
随后,在被摄体进一步移动的情况下,尽管在进一步增大追踪校正量的情况下进行追踪控制,但是在校正透镜108的校正量如图12F所示达到可追踪阈值Th1的状态下,追踪校正量被限制为不超过可校正量Th2。在这种情况下,校正量设置为在Th1和Th2之间,并且在T5处将追踪图标505显示为灰色以向拍摄者通知不能进行进一步的追踪控制的事实,其中在T5处,校正量等于或大于阈值Th1的状态已经持续了预定的时间段TL以上。即,在校正量为阈值Th1或更大的状态已经持续了预定时间段TL或更长时间的情况下,用作追踪状态判断单元和追踪图标控制单元的CPU 105判断为不能进行追踪控制、将追踪图标505显示为灰色,并且发出警告指示以向拍摄者发送警告。可校正量Th2是校正透镜到达可移动范围的末端所需的量,并且可追踪阈值Th1可以适当地设置为小于Th2的值。例如,可以将可追踪阈值Th1设置为通过将可校正量Th2乘以大于0且小于1的系数而获得的值,并且可以设置为通过从可校正量Th2中减去固定量而获得的值。
由于在校正透镜108到达可移动范围的末端的情况下不能进行进一步的追踪控制,因此以上述方式改变追踪图标505的显示,从而促使拍摄者将照相机进行取景以使被摄体朝向图像的中心移动。
接下来,将参照图13A~13H描述在校正透镜108超过可追踪范围并且不能进行追踪控制的情况下通过改变追踪图标505来向拍摄者发送通知的方法的另一示例。图13A~13H的示例中使用的用于判断是否可以进行追踪操作的方法与图12A~12H的示例不同。在追踪控制开始之后不可以将被摄体的位置移动到图像的中心附近并且被摄体长时间位于偏离中心的位置的情况下,可以判断为追踪校正已经到达可移动范围的末端,并且不能进行进一步的追踪控制。在这种情况下,显示警告图标以通知不能进行追踪控制的事实。
以下述方式判断是否可以进行追踪操作。即,在作为图像上的被摄***置和图像中心之间的距离的中心移位量超过预定阈值Th3的时间段等于预定时间段T7或者比预定时间段T7长的情况下,判断为不能进行追踪。换句话说,在被摄体图像的位置与目标位置分离预定距离或更远距离的状态已经持续了预定时间段或更长时间的情况下,判断为不能追踪被摄体。此外,在中心移位量等于或小于阈值Th3的情况下,判断为可以进行追踪。通过追踪状态判断单元120进行这种判断。根据判断结果改变画面上显示的追踪图标,使得向拍摄者通知关于是否可以进行追踪的信息。在不能进行追踪的情况下,促使拍摄者进行取景操作以追踪被摄体。
与图12A中描述的方法相相同,在通过图13A中的触摸操作指定了被摄体的情况下,追踪控制开始,并且画面上显示追踪图标505。
图13B~13E是示出指定被摄体之后的状态的图。图13F示出在摄像设备101所显示的画面的状态随着时间的经过从图13A改变为图13B、13C、13D和13E的情况下通过将模糊校正量和追踪校正量相加而获得的加法器115的输出。图13G示出中心移位量,并且图13H示出追踪图标505的显示状态。在指定被摄体的时刻T8之前,不在画面上显示追踪图标505,并且在定时T8指定了被摄体的情况下,在画面上显示追踪图标505。随后,即使在指定的被摄体503移动的情况下被摄体503偏离图像的中心(图13C),也基于追踪量计算单元118计算的追踪校正量进行追踪控制,以使得被摄体503返回到图像的中心(图13D)。在这些图中,T9表示被摄体从图像的中心移开的时刻,并且T10表示通过追踪控制被摄体返回到图像的中心的时刻。尽管在T9和T10之间的时段内被摄***置超出阈值Th3,但是由于该位置超出Th3的时间段未超过预定时间段T7,因此以正常颜色显示图标505。
随后,在被摄体进一步移动的情况下,尽管在进一步增大追踪校正量的情况下进行追踪控制,但是在中心移位量如图13G所示等于或大于阈值Th3的状态持续了预定时间段T7或更长时间的状况下,将追踪图标505显示为灰色,以向拍摄者通知不能进行进一步的追踪控制的事实。
以这种方式,在被摄***置长时间偏离图像的中心的情况下,用作追踪状态判断单元120的CPU 105判断为追踪已经到达可移动范围的末端,并且不能进行进一步的追踪控制。此外,CPU 105还用作追踪图标控制单元123并改变追踪图标505的显示,从而促使拍摄者将照相机进行取景以使被摄体朝向图像的中心移动。
图12A~12H和图13A~13H中,已经描述了如下示例:在由于图像中的被摄体移动大的距离并且用于将被摄***置移动到图像中的目标位置的校正量大因而难以进行被摄体追踪控制的情况下,显示图标。然而,即使校正量小,追踪控制也可能是困难的。将参照14A~14H描述在由于被摄体检测状态而不能进行追踪控制的情况下通过改变追踪图标505的显示来通知拍摄者的方法的示例。在检测到的被摄体的可靠度低的情况下,可以判断为不能进行追踪控制。在这种情况下,显示图标以指示不能进行追踪控制。
通过被摄体可靠度判断单元1002来进行可靠度的判断,并且判断检测到的被摄体是否可靠。由于通过被摄体可靠度判断单元1002进行的被摄体可靠度判断与第三实施例相同,因此将不提供其详细描述。
与图12A中描述的方法相同,在通过图14A中的触摸操作指定被摄体的情况下,开始追踪控制,并且在画面上显示追踪图标505。
图14B是示出在指定被摄体之后的状态的图。图14E示出在通过摄像设备101显示的画面的状态随着时间的经过从图14A改变为图14B、14C以及图14D的情况下通过将模糊校正量和追踪校正量相加而获得的加法器115的输出。此外,图14F示出中心移位量,图14G示出被摄体的可靠度,并且图14H示出追踪图标505的显示状态。在指定被摄体的时刻T11之前,不在画面上显示追踪图标505,并且在时刻T11指定了被摄体的情况下,在画面上显示追踪图标505。随后,即使在指定的被摄体503偏离图像的中心的情况下,也基于追踪量计算单元118所计算出的追踪校正量进行追踪控制,使得如图14B所示被摄体503返回到图像的中心。在这些图中,T11表示指定被摄体并且检测到被摄***置的时刻,并且T12表示通过追踪控制被摄体返回到图像的中心的时刻。
随后,如图14C所示,在被摄体进一步移动的情况下,尽管在进一步增大追踪校正量的情况下进行追踪控制,但是如图14D所示在多个类似被摄体出现在画面中的状态下,将被摄体的可靠度设置为低。在被摄体可靠度降低的情况下,将追踪增益单元1003的增益设置得小,并且不进行追踪控制。因此,如图14G所示,在被摄体可靠度等于或小于预定阈值Th4的情况下,将追踪图标505显示为灰色,以向拍摄者通知不能进行进一步追踪控制的事实。
以这种方式,在被摄体可靠度低的情况下,用作追踪状态判断单元120的CPU 105判断为不能进行追踪控制。此外,CPU 105还用作追踪图标控制单元123并改变追踪图标505的显示,从而促使拍摄者将照相机进行取景以使被摄体朝向图像的中心移动。
接下来,将参照图15A~15H描述在由于被摄体检测状态而不能进行追踪控制的情况下通过改变追踪图标505的显示来通知拍摄者的方法的另一示例。尽管在指定了被摄体之后检测到被摄体的情况下进行追踪控制,但是在拍摄者丢失被摄体的情况下,状态转变为被摄体丢失状态。尽管在被摄体丢失状态下可以再次检测到被摄体的情况下,状态转变为被摄体检测状态,但是如果被摄体丢失状态持续预定时间段,则判断为不能进行追踪控制。在这种情况下,显示图标以通知不能进行追踪控制的事实。此外,在被摄体丢失状态持续更长的时间段的情况下,判断为不存在再次检测到被摄体的可能性、停止被摄体检测、并且不显示追踪图标505。被摄体检测状态是通过被摄体检测状态判断单元1001基于检测到被摄体、被摄体丢失还是未检测到被摄体来判断的。
与图12A中描述的方法相同,在通过图15A中的触摸操作指定被摄体的情况下,追踪控制开始,并且在画面上显示追踪图标505。
图15B是示出指定被摄体之后的状态的图。图15E示出在通过摄像设备101显示的画面的状态随着时间的经过从图15A改变为图15B、15C和15D的情况下通过将模糊校正量和追踪校正量相加而获得的加法器115的输出。此外,图15F示出中心移位量,图15G示出被摄体检测状态,并且图15H示出追踪图标505的显示状态。
在指定被摄体的时刻T11之前,不在画面上显示追踪图标505,并且如图15B所示在指定了被摄体的情况下,在画面上显示追踪图标505。随后,即使在指定的被摄体503移动至偏离图像的中心的位置的情况下,也基于追踪量计算单元118计算出的追踪校正量进行追踪控制,以使得如图15B所示被摄体503返回到图像的中心。在这些图中,T15表示指定被摄体并且检测到被摄***置的时刻,并且T16表示通过追踪控制被摄体返回到图像的中心的时刻。
随后,如图15C所示,在被摄体进一步移动的情况下,尽管在进一步增加追踪校正量的情况下进行追踪控制,但是如图15D所示,在追踪目标被摄体移动到另一被摄体后方并从画面消失的情况下,被摄体检测单元117(被摄***置检测单元1000)不能检测出该被摄体,并且产生被摄体丢失状态(T17)。针对被摄体丢失之后的预定时间段(T18)产生被摄体丢失状态,并且在被摄体丢失状态下再次检测被摄体503的情况下,状态可以返回到被摄体检测状态。在状态转变为被摄体丢失状态之后经过了预定时间段T18的情况下,判断为不再能检测到被摄体,并且产生被摄体检测停止状态。在产生被摄体检测停止状态的情况下,即使被摄体503再次出现在画面中,状态也不会转变为被摄体检测状态。在要在被摄体检测停止状态下产生被摄体检测状态的情况下,再次指定被摄体。由于在被摄体丢失状态下有可能再次检测到被摄体,所以针对被摄体丢失之后的预定时间段(T19)继续进行被摄体追踪控制。在经过预定时间段T19之后停止被摄体追踪控制,并且将基于最后的采样数据获得的最后的追踪校正量保持为作为追踪量计算单元118的输出的追踪校正量。在T18结束之前的时间段期间,维持最后的追踪校正量作为追踪校正量,并且在T18结束的情况下,追踪控制量逐渐接近0,并且校正透镜返回到不进行被摄体追踪控制的位置。
在被摄体丢失状态(T18)下,将追踪图标505显示为灰色,以向拍摄者通知不能进行追踪控制的事实。此外,在从被摄体丢失状态起经过了时间段T18并且被摄体检测停止时,停止追踪图标505的显示。
以这种方式,用作追踪状态判断单元120的CPU 105根据被摄体检测状态,判断为不能进行追踪控制。此外,CPU 105还用作追踪图标控制单元123,并改变追踪图标505的显示(包括停止追踪图标的显示),从而能够促使拍摄者将照相机进行取景以使被摄体朝向图像的中心移动,并且能够再次设置追踪对象被摄体。
接下来,将参考图16A~16H描述在照相机101的抖动的大小超过通过图像模糊校正能够校正的大小的状态下不能进行追踪控制的情况下,通过改变追踪图标505来向拍摄者发送通知的方法。在检测到的照相机101的抖动量大的情况下,判断为不能进行追踪控制。在这种情况下,显示图标以指示不能进行追踪控制。
与图12A中描述的方法相同,在通过图16A中的触摸操作指定被摄体的情况下,追踪控制开始,并且在画面上显示追踪图标505。
图16B是示出指定被摄体之后的状态的图。图16E示出在通过摄像设备101所显示的画面的状态随着时间的经过从图16A改变为图16B和16C的情况下通过将模糊校正量和追踪校正量相加而获得的加法器115的输出。此外,图16E示出中心移位量,图16F示出角速度计103的输出,图16G示出作为模糊校正角度计算单元109的输出的模糊校正角度,并且图16H示出追踪图标505的显示状态。
在指定被摄体的时刻T11之前,不在画面上显示追踪图标505,并且如图16B所示在指定了被摄体的情况下,在画面上显示追踪图标505。随后,即使在指定的被摄体503偏离图像的中心的情况下,也基于追踪量计算单元118计算出的追踪校正量进行追踪控制,使得如图16B所示被摄体503返回到图像的中心。在这些图中,T22表示指定被摄体并且检测到被摄***置的时刻,并且T23表示通过追踪控制被摄体返回到图像的中心的时刻。
随后,在摄像设备101的抖动量增大的情况下,作为角速度计103的输出的角速度增大,并且基于角速度计的输出所计算出的模糊校正角度也增大。在这种情况下,在模糊校正角度超过模糊校正极限的情况下,拍摄的图像模糊,并且如图16C所示不可能将被摄体503填充到特定位置。校正透镜108不能进行超过校正极限(Th5,-Th5)的校正。因此,在追踪状态判断单元120判断为在T24处在Th5和-Th5之间的范围内不能进行追踪控制的情况下,将追踪图标505显示为灰色,以向拍摄者通知不能进行追踪控制的事实。
作为判断是否由于抖动量大而不能进行追踪的方法,可以使用基于角速度计103输出的角速度来进行判断的方法。如果在预定时间段T20内校正量超过阈值(Th6以上或-Th6以下)的时间段等于或大于预定时间段,则追踪状态判断单元120判断为不能进行追踪。可以基于次数而不是时间段来进行判断。在这种情况下,在以预定采样间隔检测到的校正量超过阈值的次数等于或大于预定次数的情况下,判断为不能进行追踪。
作为判断是否由于抖动量大而不能进行追踪的另一种方法,可以使用基于作为模糊校正角度计算单元109的输出的模糊校正角度进行判断的方法。在这种情况下,如果在预定时间段T21内校正量超过预定阈值(Th7以上或-Th7以下)的时间段或次数等于或大于预定时间段或预定次数,则追踪状态判断单元120判断为不能进行追踪。
根据这些方法中的任一种,能够检测大的图像模糊连续出现的状态,并且难以进行图像模糊校正和追踪控制。此外,可以改变追踪图标505的显示,以向拍摄者通知不能进行追踪控制的事实。
以这种方式,在具有不能通过摄像设备的模糊校正而校正的大小的抖动发生的情况下,用作追踪状态判断单元120的CPU 105判断为不能进行追踪控制。此外,CPU 105还用作追踪图标控制单元123,并且响应于追踪状态判断单元120的判断结果改变追踪图标505的显示,使得能够向拍摄者通知如下事实:为使照相机101的抖动减小,拍摄者需要可靠地保持摄像设备。
如上所述,在本实施例中,追踪状态判断单元120判断是否可以进行追踪控制。在判断为不能进行追踪的情况下,向拍摄者发送警告,使得能够促使拍摄者将摄像设备进行取景以使被摄体朝向图像的中心移动,并且可靠地保持摄像设备。
在本实施例中,尽管已经描述了使用追踪图标505的显示来发送警告通知的方法,但是可以使用以下方法作为发送警告的另一方法。
(1)使用追踪图标505发送警告通知。具体而言,通过使图标一开一关闪烁来实现对拍摄者的表示不能进行追踪控制的通知。可以将不能进行追踪控制的状态分为几个级别,并且可以通过根据级别改变闪烁时间段来向拍摄者通知级别。
(2)如图17所示,可以在照相机101中设置LED 1101(发光单元),并且使用LED1101来发送警告通知。具体地,通过使LED 1101一开一关闪烁来实现对拍摄者的表示不能进行追踪控制的通知。可以将不能进行追踪控制的状态分为几个级别,并且可以通过根据级别改变闪烁时间段来向拍摄者通知不能进行追踪控制的状态的级别。此外,在能够进行追踪的情况下,可以点亮LED 1101,并且在未指定被摄体并且不进行追踪控制的情况下,可以熄灭LED 1101。
(3)如图18所示,产生振动的片状致动器1201设置在当拍摄者握住照相机时该拍摄者经常放置他或她的手指的位置。通过使致动器1201振动来实现对拍摄者的表示不能进行追踪控制的通知。使用例如压电元件的压电致动器用作致动器1201。可以将不能进行追踪控制的状态分为几个级别,并且可以通过根据级别改变振动的大小来向拍摄者通知不能进行追踪控制的状态的级别。
在图12A~12H至图16A~16H中,描述了使用一种判断方法来判断是否能够进行追踪控制的示例。然而,是否能够进行追踪控制是使用多种判断方法来判断的。例如,在校正量等于或大于可追踪阈值Th1的状态持续预定时间段TL或更长时间的情况下,可以判断为不能进行追踪控制,并且在位置移位量等于或大于阈值Th3的状态持续预定时间段T7或更长时间的情况下,可以判断为不能进行追踪控制。可以适当地组合这些判断方法。在这种情况下,可以根据判断方法来改变警告显示,并且可以根据不能进行追踪控制的原因(由于大的校正量、由于被摄体检测状态或由于的大抖动)来改变警告显示。然而,由于如果存在多种类型的警告显示,则对拍摄者来说可能看起来复杂,因此优选与判断方法和不能进行追踪控制的原因无关地使用相同的警告显示。例如,无论是由于大的校正量还是被摄体检测状态的原因,优选使用相同的警告显示。这是因为即使存在一个警告显示,也能够通过使用警告通知来促使拍摄者通过取景操作追踪被摄体的操作。
在本实施例中,使用使校正透镜在与摄像光学***的光轴垂直的平面内移动的所谓的光学移位方法作为自动被摄体追踪单元。然而,本发明不限于该光学移位方法,而是可以采用以下结构。
(1)用于使摄像元件在与光轴垂直的平面内移动的结构。
(2)用于改变摄像元件所输出的各拍摄帧的剪切位置的结构。
(3)用于使包括摄像元件和拍摄透镜组的镜筒旋转的结构。
(4)同与摄像设备分开设置的能够使摄像设备平摇和倾斜的旋转云台组合的结构。
(5)将上述多个结构组合的结构。
(其他实施例)
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)提供给***或装置,该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。
尽管已经参考示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽泛的解释,以便包括所有这样的修改以及等同结构和功能。
本申请要求2015年12月15日提交的日本专利申请第2015-244288号,2015年12月8日提交的日本专利申请第2015-239747号和2016年11月8日提交的日本专利申请第2016-218297号的权益,其全部内容通过引用并入本文。

Claims (13)

1.一种控制装置,包括:
校正控制单元,其被配置为获取模糊检测单元检测到的模糊检测信号以计算图像模糊的校正量,并且对被配置为校正所述图像模糊的图像模糊校正单元进行控制;
被摄体检测单元,其被配置为检测拍摄图像中的被摄体的位置,并且获取所述拍摄图像中的所述被摄体的位置信息;以及
设置单元,其被配置为设置用户能够选择期望被摄体的被摄体可选模式的控制状态,
其中,所述设置单元从多个控制状态中设置所述控制状态,所述多个控制状态包括设置了用户能够选择期望被摄体的被摄体可选模式但未选择所述期望被摄体的第一状态、以及设置了所述被摄体可选模式且选择了所述期望被摄体的第二状态,以及
其中,所述校正控制单元获取与所述设置单元所设置的控制状态有关的信息,并且进行控制以基于所述控制状态来改变用于计算所述校正量的特性,从而使得所述第二状态下的图像模糊校正效果高于所述第一状态下的图像模糊校正效果。
2.根据权利要求1所述的控制装置,还包括:
追踪控制单元,其被配置为基于所述被摄体检测单元所获取的在所述被摄体可选模式中选择的期望被摄体的位置信息来进行所述期望被摄体的追踪控制。
3.根据权利要求2所述的控制装置,其中,
所述校正控制单元基于所述被摄体检测单元所获得的被摄体检测结果来改变图像模糊校正效果的程度。
4.根据权利要求2所述的控制装置,其中,
所述追踪控制单元通过基于所述被摄体检测单元所获取到的在所述被摄体可选模式中选择的期望被摄体的位置信息使所述期望被摄体的位置移动,来进行所述期望被摄体的追踪控制。
5.根据权利要求1所述的控制装置,其中,
所述校正控制单元包括用于计算所述校正量的滤波器,并且通过改变所述滤波器的特性来改变图像模糊校正效果的程度。
6.根据权利要求5所述的控制装置,其中,
所述滤波器的特性是所述滤波器的截止频率。
7.根据权利要求6所述的控制装置,其中,
所述校正控制单元通过使在所述第一状态下使用的所述滤波器的截止频率与在所述第二状态下使用的所述滤波器的截止频率相比降低得更多,来提高图像模糊校正效果。
8.根据权利要求2所述的控制装置,其中,
所述校正控制单元获取所述模糊检测信号以判断是否进行了平摇或倾斜,根据判断结果来改变用于计算所述校正量的特性,并且进行控制以通过进行以下处理来改变图像模糊校正效果的程度:在判断为进行了平摇或倾斜的情况下,与判断为未进行平摇或倾斜的情况相比,使所述校正量移位得更接近控制范围的中心。
9.根据权利要求4所述的控制装置,其中,
所述追踪控制单元通过移动所述拍摄图像中的所述被摄体的位置以减小所述拍摄图像中的所述被摄体的位置与所述拍摄图像中的预定位置之间的距离来进行所述被摄体的追踪控制,以及
所述校正控制单元进行控制,以使所述被摄体的位置与所述预定位置之间的距离等于或大于阈值的情况下的图像模糊校正效果降低得低于所述被摄体的位置与所述预定位置之间的距离小于所述阈值的情况下的图像模糊校正效果。
10.根据权利要求1所述的控制装置,还包括:
可靠度判断单元,其被配置为将检测到的被摄体的可靠度与阈值进行比较以判断所述被摄体的可靠度,
其中,所述校正控制单元基于所述可靠度判断单元获得的判断结果来进行控制,以使所述可靠度等于或大于所述阈值的情况下的图像模糊校正效果提高得高于所述可靠度小于所述阈值的情况下的图像模糊校正效果。
11.根据权利要求1所述的控制装置,还包括:
判断单元,其被配置为判断是否能够进行所述被摄体的追踪控制;以及
警告指示单元,其被配置为在所述判断单元判断为不能进行所述被摄体的追踪控制的情况下发出警告。
12.一种摄像设备,其包括用于获得被摄体图像的摄像元件和根据权利要求1至11中任一项所述的控制装置。
13.一种控制方法,包括以下步骤:
校正控制步骤,用于获取模糊检测单元检测到的模糊检测信号以计算图像模糊的校正量,并且对被配置为校正所述图像模糊的图像模糊校正单元进行控制;
被摄体检测步骤,用于检测拍摄图像中的被摄体的位置,并且获取所述拍摄图像中的所述被摄体的位置信息;以及
设置步骤,用于设置用户能够选择期望被摄体的被摄体可选模式的控制状态,
其中,所述设置步骤从多个控制状态中设置所述控制状态,所述多个控制状态包括设置了用户能够选择期望被摄体的被摄体可选模式但未选择所述期望被摄体的第一状态、以及设置了所述被摄体可选模式且选择了所述期望被摄体的第二状态,以及
其中,所述校正控制步骤获取与所述设置步骤所设置的控制状态有关的信息,并且进行控制以基于所述控制状态来改变用于计算所述校正量的特性,从而使得所述第二状态下的图像模糊校正效果高于所述第一状态下的图像模糊校正效果。
CN202010223939.XA 2015-12-08 2016-12-08 控制装置、摄像设备和控制方法 Active CN111246117B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2015239747 2015-12-08
JP2015-239747 2015-12-08
JP2015244288 2015-12-15
JP2015-244288 2015-12-15
JP2016-218297 2016-11-08
JP2016218297A JP6833461B2 (ja) 2015-12-08 2016-11-08 制御装置および制御方法、撮像装置
CN201611140487.9A CN107018288B (zh) 2015-12-08 2016-12-08 控制装置和摄像设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201611140487.9A Division CN107018288B (zh) 2015-12-08 2016-12-08 控制装置和摄像设备

Publications (2)

Publication Number Publication Date
CN111246117A CN111246117A (zh) 2020-06-05
CN111246117B true CN111246117B (zh) 2021-11-16

Family

ID=59079658

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611140487.9A Active CN107018288B (zh) 2015-12-08 2016-12-08 控制装置和摄像设备
CN202010223939.XA Active CN111246117B (zh) 2015-12-08 2016-12-08 控制装置、摄像设备和控制方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611140487.9A Active CN107018288B (zh) 2015-12-08 2016-12-08 控制装置和摄像设备

Country Status (2)

Country Link
JP (1) JP6833461B2 (zh)
CN (2) CN107018288B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6912923B2 (ja) * 2017-04-14 2021-08-04 キヤノン株式会社 撮像装置、撮像装置の駆動機構、およびそれらの制御方法
WO2019026389A1 (ja) * 2017-08-02 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP2019062340A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 像振れ補正装置および制御方法
JP7186854B2 (ja) * 2019-02-28 2022-12-09 富士フイルム株式会社 画像表示装置、画像表示方法、及びプログラム
JP7222113B2 (ja) 2019-10-29 2023-02-14 富士フイルム株式会社 撮像支援装置、撮像装置、撮像システム、撮像支援システム、撮像支援方法、及びプログラム
US11265478B2 (en) 2019-12-20 2022-03-01 Canon Kabushiki Kaisha Tracking apparatus and control method thereof, image capturing apparatus, and storage medium
JP7441040B2 (ja) * 2019-12-27 2024-02-29 キヤノン株式会社 制御装置、撮像装置及びその制御方法
KR20210096795A (ko) * 2020-01-29 2021-08-06 삼성전자주식회사 이미지의 자동 촬영 방법, 상기 방법을 수행하는 이미지의 자동 촬영 장치, 및 상기 방법을 수행하는 이미지의 자동 촬영 시스템
JP7209305B2 (ja) * 2021-01-27 2023-01-20 株式会社モルフォ 制御装置、制御方法、プログラム
CN116998160A (zh) * 2021-03-19 2023-11-03 富士胶片株式会社 摄像支援装置、摄像装置、摄像支援方法及程序
US20230232102A1 (en) * 2022-01-14 2023-07-20 Canon Kabushiki Kaisha Image blur correction apparatus, control method therefor, imaging apparatus, and storage medium
CN115103126B (zh) * 2022-07-22 2024-06-04 维沃移动通信有限公司 拍摄预览方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845593A (zh) * 2005-04-07 2006-10-11 索尼公司 成像设备和成像结果处理方法
CN1893558A (zh) * 2005-06-30 2007-01-10 奥林巴斯映像株式会社 电子抖动校正装置
CN101237529A (zh) * 2007-01-31 2008-08-06 富士胶片株式会社 成像设备与成像方法
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
JP2010093362A (ja) * 2008-10-03 2010-04-22 Nikon Corp 撮像装置および光学装置
CN102057665A (zh) * 2009-05-07 2011-05-11 松下电器产业株式会社 电子照相机、图象处理装置及图象处理方法
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102447832A (zh) * 2010-08-18 2012-05-09 佳能株式会社 追踪设备和追踪方法
CN104052923A (zh) * 2013-03-15 2014-09-17 奥林巴斯株式会社 拍摄设备、图像显示设备和图像显示设备的显示控制方法
CN104349051A (zh) * 2013-07-24 2015-02-11 佳能株式会社 被摄体检测装置以及被摄体检测装置的控制方法
JP2015035001A (ja) * 2014-11-04 2015-02-19 株式会社ニコン ブレ補正装置及び光学機器
CN104469139A (zh) * 2013-09-24 2015-03-25 佳能株式会社 图像捕获装置和图像捕获方法
JP2015130612A (ja) * 2014-01-08 2015-07-16 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US20050018051A1 (en) * 2003-07-25 2005-01-27 Nikon Corporation Shooting lens having vibration reducing function and camera system for same
JP5188138B2 (ja) * 2007-10-15 2013-04-24 キヤノン株式会社 像ぶれ補正装置を有する光学機器
JP2009222899A (ja) * 2008-03-14 2009-10-01 Canon Inc 像振れ補正装置
JP5159515B2 (ja) * 2008-08-26 2013-03-06 キヤノン株式会社 画像処理装置およびその制御方法
JP6074298B2 (ja) * 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
JP6351321B2 (ja) * 2013-05-28 2018-07-04 キヤノン株式会社 光学機器、その制御方法、および制御プログラム
JP6494202B2 (ja) * 2013-08-07 2019-04-03 キヤノン株式会社 像振れ補正装置、その制御方法、および撮像装置
JP6056774B2 (ja) * 2014-01-17 2017-01-11 ソニー株式会社 撮像装置と撮像方法およびプログラム。

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845593A (zh) * 2005-04-07 2006-10-11 索尼公司 成像设备和成像结果处理方法
CN1893558A (zh) * 2005-06-30 2007-01-10 奥林巴斯映像株式会社 电子抖动校正装置
CN101237529A (zh) * 2007-01-31 2008-08-06 富士胶片株式会社 成像设备与成像方法
CN101459762A (zh) * 2007-12-13 2009-06-17 佳能株式会社 摄像设备及其控制方法
JP2010093362A (ja) * 2008-10-03 2010-04-22 Nikon Corp 撮像装置および光学装置
CN102057665A (zh) * 2009-05-07 2011-05-11 松下电器产业株式会社 电子照相机、图象处理装置及图象处理方法
CN102422630A (zh) * 2009-05-12 2012-04-18 佳能株式会社 摄像设备
CN102447832A (zh) * 2010-08-18 2012-05-09 佳能株式会社 追踪设备和追踪方法
CN104052923A (zh) * 2013-03-15 2014-09-17 奥林巴斯株式会社 拍摄设备、图像显示设备和图像显示设备的显示控制方法
CN104349051A (zh) * 2013-07-24 2015-02-11 佳能株式会社 被摄体检测装置以及被摄体检测装置的控制方法
CN104469139A (zh) * 2013-09-24 2015-03-25 佳能株式会社 图像捕获装置和图像捕获方法
JP2015130612A (ja) * 2014-01-08 2015-07-16 キヤノン株式会社 撮像装置及びその制御方法
JP2015035001A (ja) * 2014-11-04 2015-02-19 株式会社ニコン ブレ補正装置及び光学機器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无传感器感应电机模糊自校正速度控制;杨治平 等;《西南大学学报(自然科学版)》;20140420;全文 *

Also Published As

Publication number Publication date
JP6833461B2 (ja) 2021-02-24
CN107018288A (zh) 2017-08-04
CN107018288B (zh) 2020-04-07
CN111246117A (zh) 2020-06-05
JP2017111430A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
CN111246117B (zh) 控制装置、摄像设备和控制方法
US10659691B2 (en) Control device and imaging apparatus
CN106954007B (zh) 摄像装置和摄像方法
US10321058B2 (en) Image pickup apparatus and motion vector detection method
JP6486087B2 (ja) 像ブレ補正装置、撮像装置および制御方法
JP4964807B2 (ja) 撮像装置及び撮像方法
US8493493B2 (en) Imaging apparatus, imaging apparatus control method, and computer program
US9912867B2 (en) Image processing apparatus, image capturing apparatus and storage medium storing image processing apparatus
KR20100067407A (ko) 디지털 촬영 장치의 움직임에 따른 촬영 제어 방법 및 장치
JP2016009998A (ja) 撮像装置、撮像方法及びプログラム
US10212364B2 (en) Zoom control apparatus, image capturing apparatus and zoom control method
JP6824710B2 (ja) ズーム制御装置およびズーム制御方法、撮像装置
CN106067943B (zh) 控制装置、光学设备、摄像设备和控制方法
JP4991899B2 (ja) 撮像装置及びその制御方法
JP2017121042A (ja) 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置
JP6330283B2 (ja) 被写体追尾装置、撮像装置及び被写体追尾プログラム
US9781337B2 (en) Image processing device, image processing method, and recording medium for trimming an image based on motion information
JP5449448B2 (ja) 撮像装置及びその制御方法
JP2017126960A (ja) 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
JP6702736B2 (ja) 撮像制御装置および撮像装置の制御方法、プログラム
JP2018142981A (ja) 被写体追尾装置、撮像装置及び被写体追尾プログラム
JP2010206275A (ja) 電子カメラ
JP2017207554A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant