CN104113686B - 摄像装置及其控制方法 - Google Patents

摄像装置及其控制方法 Download PDF

Info

Publication number
CN104113686B
CN104113686B CN201410155190.4A CN201410155190A CN104113686B CN 104113686 B CN104113686 B CN 104113686B CN 201410155190 A CN201410155190 A CN 201410155190A CN 104113686 B CN104113686 B CN 104113686B
Authority
CN
China
Prior art keywords
subject
unit
image
camera device
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410155190.4A
Other languages
English (en)
Other versions
CN104113686A (zh
Inventor
菅原淳史
有贺雄
有贺雄一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104113686A publication Critical patent/CN104113686A/zh
Application granted granted Critical
Publication of CN104113686B publication Critical patent/CN104113686B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明提供一种摄像装置及其控制方法。该摄像装置包括：摄像单元，其用于拍摄被摄体的光学图像并且生成能够被重新聚焦的图像拍摄数据；检测单元，其用于检测所述被摄体的所述光学图像的聚焦状态；预测单元，其用于基于所述检测单元的检测结果，预测所述被摄体的所述光学图像的对焦位置；以及调焦单元，其用于基于由所述预测单元预测的对焦位置来驱动聚焦透镜，其中在所述摄像单元从所述被摄体拍摄多个图像的情况下，所述调焦单元将所述聚焦透镜驱动到偏离所述预测单元预测的对焦位置预定量的位置，并且所述调焦单元具有使位置偏离预定量的多个模式。

Description

摄像装置及其控制方法
技术领域
本发明涉及一种由数字照相机代表的摄像装置，尤其涉及具有重新聚焦功能和连续拍摄功能的摄像装置。
背景技术
在现有技术中，在数字照相机等当中，存在一种能够进行连续拍摄的装置。如果在连续拍摄期间，用于例如单镜头反光照相机等的相位差检测方法被作为自动聚焦（在下文中，称为AF）执行，则可以以相对高的速度进行AF的算术运算并且可以拍摄各帧被AF-控制的图像。然而，由于在AF传感器的累积操作和摄像元件的曝光之间存在时间滞后，尤其针对高速移动的被摄体，即使基于AF传感器中累积的输出进行AF控制，被摄体在摄像所具有的时间滞后期间也移动。因此，可能发生摄像时图像散焦的这种现象。所以，在日本特开第2001-21794号的官方公报（专利文献1）中，提出了这样一种技术，即从过去的多个AF结果中预测摄像元件曝光时的焦点位置，利用与考虑的时间滞后相对应的量来校正焦点位置，并且移动聚焦透镜。
在Ren.Ng以及其他7人的“Light Field Photography with a Hand-HeldPlenoptic Camera”Stanford Tech Report CTSR2005-02（非专利文献1）等中，提出一种具有如下这样结构的摄像装置，即，以针对多个像素提供一个微透镜的比率在摄像元件的前表面上布置微透镜阵列，从而使得也能够获得进入摄像元件的光线的入射方向的信息。作为这种摄像装置的用途，除了用于基于来自各像素的输出信号生成通常的拍摄图像以外，也可以考虑这样的用途，即通过对拍摄图像执行预定的图像处理，能够重构聚焦到任意焦距的图像等。
然而，专利文献1中公开的现有技术具有如下问题：例如，像在摩托车竞赛情景等的拍摄中发生的摔倒事故情景，在被摄体突然改变其运动速度等的情况下，难以预测焦点位置而且难以执行精确的AF操作。此外，由于AF控制是针对目标被摄体进行的，所以例如，如果关注竞赛情景中正在奔跑的一个被摄体，则基本上不可能去拍摄被聚焦到跑在目标被摄体之后的另一个被摄体的图像。
另外，在非专利文献1公开的技术中，能够重构图像的焦距受限于摄像装置的结构，并且通常，并非总是能够重构被聚焦到从最近侧到无穷远侧范围内的所有物距的图像。
发明内容
因此，发明的一方面是提供一种即使在连续拍摄突然改变其运动速度的被摄体时也能够获得期望聚焦的图像的摄像装置。
为了实现以上方面，根据本发明，摄像装置包括：摄像单元，其被配置为拍摄被摄体的光学图像并且生成能够被重新聚焦的图像拍摄数据；检测单元，其被配置为检测所述被摄体的所述光学图像的聚焦状态；预测单元，其被配置为基于所述检测单元的检测结果，预测所述被摄体的所述光学图像的对焦位置；以及调焦单元，其被配置为基于所述预测单元预测的所述对焦位置来驱动聚焦透镜，其中在所述摄像单元从所述被摄体拍摄多个图像的情况下，所述调焦单元将所述聚焦透镜驱动到偏离所述预测单元预测的对焦位置预定量的位置，并且所述调焦单元具有使位置偏离预定量的多个模式。
通过下面参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
被包含在说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征和方面，并且与说明书一起用于说明本发明的原理。
图1是根据本发明的实施例的摄像装置的整体框图。
图2是例示根据本发明的实施例的摄像装置中的摄像元件和微透镜阵列的结构的图。
图3是例示根据本发明的实施例的摄像装置中的拍摄透镜、微透镜阵列以及摄像元件的结构的图。
图4A和图4B是例示根据本发明的实施例的摄像装置中的拍摄镜头的光瞳区域和感光像素之间的对应关系的图。
图5A和图5B是用于描述根据本发明的实施例的摄像装置中用于AF以及被摄体追踪的相关算术运算中的信号的生成的图。
图6是用于描述重新聚焦图像的生成的图。
图7是例示根据本发明的实施例的摄像装置的操作的流程的图。
图8是例示在不执行本发明的连续拍摄时聚焦透镜的位置和重新聚焦范围的图。
图9是用于描述根据本发明的实施例的摄像装置的最大重新聚焦量的图。
图10是用于描述根据本发明的实施例的聚焦透镜的位置和重新聚焦范围的图。
图11是用于描述根据本发明的实施例的被摄体追踪的算术运算的图。
图12是用于描述本发明的实施例的技术效果的图。
图13A、图13B和图13C是用于描述本发明的实施例可以应用到的另一光学***的示例的图。
具体实施方式
以下，将参照附图详细说明本发明的各示例性实施例、特征和方面。
图2是根据发明的实施例的照相机的框图。在图中，拍摄镜头101是由多个透镜（未示出）构成的光学***，并且形成被摄体的光学图像。在多个透镜中包括可移动的聚焦透镜。通过移动聚焦透镜，可以调节被摄体的聚焦状态。微透镜阵列（以下，被称为MLA）102由多个微透镜构成，并且被布置在拍摄镜头101的焦点位置附近。穿过拍摄镜头101的不同的光瞳区域的光线进入MLA102并且分散到各个光瞳区域并出射。摄像元件103拍摄被摄体的光学图像，摄像元件103由CCD、CMOS图像传感器等构成并被布置在MLA102的焦点位置的附近。以下将详细描述MLA102和摄像元件103。AD转换器104将从摄像元件103输出的模拟图像信号转换成数字数据。图像处理单元105对该数字数据执行预定的图像处理等，从而获得被摄体的数字图像数据。拍摄控制单元106进行控制，以使得由图像处理单元105获得的数字图像数据被显示在由液晶显示器等构成的显示单元107上并且被存储在记录单元108等中。此外，被摄体追踪单元109从拍摄控制单元106接收数字图像数据并搜索图像中存在的特定被摄体在图片图像中的位置。以下将详细描述被摄体追踪单元的操作。拍摄控制单元106以使得CPU加载存储器（未示出）中存储的程序并执行该程序的方式对各单元进行控制。在这种情况下，各个单元的全部功能或部分功能可以由CPU执行或者可以由硬件构成。
操作单元110是用于接收来自用户的操作的诸如按钮、触摸屏等的部件。操作单元110根据接收到的操作执行诸如开始聚焦操作、删除存储在记录单元108中的数字图像数据等的各种类型的操作。拍摄镜头101电气地机械连接到拍摄控制单元106。可以通过通信获得拍摄镜头的信息。在聚焦操作时，可以发送聚焦透镜的驱动命令等。
接着，将描述根据实施例的摄像装置中的拍摄镜头101、MLA102和摄像元件103的结构。
图2是用于描述摄像元件103和MLA102的结构的图。图2示出当从与拍摄镜头的光轴相对应的z轴方向观察时的摄像元件103和MLA102。以使得一个微透镜202对应于多个构成拍摄图像的虚拟像素200的单位像素201的方式布置微透镜。微透镜202是构成MLA102的微透镜中的一个。假设对应一个微透镜存在共计36（6行×6列）个单位像素201来例示本实施例。关于图中所示的坐标轴，光轴由z轴示出，x轴（水平方向）和y轴（垂直方向）被定义在像平面内，该平面与垂直于z轴的平面平行。图2例示了摄像元件103的感光表面的一部分，在实际摄像元件中布置了非常多的像素。
图3例示了从拍摄镜头101中出射的光穿过一个微透镜202并被摄像元件103接收的情况，此图示出了当从垂直于光轴（z轴）的方向观察时的状态。从拍摄镜头101的光瞳区域a1至a6出射并且穿过微透镜202的光线被分别聚焦到在微透镜202后面布置的摄像元件103的相应单位像素p1至p6上。
图4A是当从光轴（z）方向观察时拍摄镜头101的光圈的图。图4B是一个微透镜202和布置在微透镜202后面的像素201的图，此图示出了当从光轴（z）方向观察时的状态。在拍摄镜头101的光瞳区域被划分为与如图4A中所示的一个微透镜下面存在的像素的数量相同数量的区域的情况下，来自拍摄镜头101的一个光瞳划分区域的光线被聚焦在一个像素内。然而，现在假设，拍摄镜头的F值（F number）与微透镜的几乎一致。现在，假设图4A中所示的拍摄镜头的光瞳划分区域是a11至a66并且图4B中所示的像素是p11至p66，当从光轴（z）方向观察时它们之间的对应关系是点对称。因此，从拍摄镜头的光瞳划分区域a11中出射的光线被聚焦在布置在微透镜后面的像素201之中的像素p11中。以类似于如上所述的方式，从光瞳划分区域a11中出射并且穿过另一个微透镜的光线也被聚焦在布置在微透镜后面的像素201之中的像素p11中。
由于图4B所示的像素p11至p66接收如上所述的穿过拍摄镜头的不同光瞳区域的光线，因此如果利用这些信息，可以检测到被摄体的光学图像的聚焦状态并且也可以进行调焦。如图5A中所示，将对应于各微透镜的像素输出p11至p66相加，并且由以下公式（1）和（2）所示生成在水平方向划分的光瞳区域的两个信号。
通过由公式（1）计算的合成信号A测量的拍摄镜头的光瞳区域为图3中所例示的拍摄镜头的出射光瞳的区域a1至a3。根据公式（1）相加的信号的像素接收穿过这些像素的光线。如图5B所示，一维图像信号Ai(i=1,2,3,...,n)是通过布置从与在水平方向上连续布置的n个微透镜组对应的像素组中获得的A1至An而生成的。在一维图像信号Bi（i=1,2,3,...,n）是类似地通过布置由公式（2）计算的合成信号B而生成的情况下，Ai和Bi分别是观察拍摄镜头的出射光瞳的右侧和左侧的信号。因此，通过检测Ai和Bi的相对位置（聚焦状态）并且将相对移动量乘以预定的转换系数，可以执行基于相位差检测方法的焦点检测操作。如果在图片图像中的任意位置处生成Ai和Bi，就能够计算在此位置的焦点位置（聚焦透镜的驱动位置）。因此，通过根据计算结果驱动聚焦透镜进行自动调焦。
接着，将描述在任意设置的焦点位置（重新聚焦平面），通过使用由拍摄镜头101、MLA102和摄像元件103构成的摄像光学***获得的数字图像数据来对重构图像的这种处理。通过使用一种称为“光场摄影”的方法在图像处理单元105中进行重构。
图6是例示当从垂直于光轴（z轴）的方向观察时、穿过存在于任意设置的重新聚焦平面上的像素的光线如何从拍摄镜头的光瞳划分区域中的一个出射并进入微透镜中的一个的图。如此图所示，分别假设拍摄镜头的光瞳划分区域的位置的坐标是（u,v），在像素重新聚焦平面上的位置的坐标是（x,y），以及微透镜在微透镜阵列上的位置的坐标是（x’,y’）。另外假设从拍摄镜头到微透镜阵列的距离是F，并且从拍摄镜头到重新聚焦平面的距离是αF。α表示用以决定重新聚集平面的位置的重新聚焦系数并且可以由用户任意设置。在图6中，只示出了u,x和x’的方向而省略了v,y和y’的方向。
如图6中所示，穿过坐标(u,v)和坐标(x,y)的光线600到达微透镜阵列上的坐标(x’,y’)。坐标(x’,y’)可以由如下所示的公式（3）表示。
假设接收光600的像素的输出为L(x’,y’,u,v)，在重新聚焦平面上的坐标（x,y）处获得的输出E(x,y)是通过针对拍摄镜头的光瞳区域积分输出L(x’,y’,u,v)而获得的输出。因此，输出E(x,y)由如下所示的公式（4）表示。
在公式（4）中，由于重新聚焦系数α是由用户决定的，所以如果给出(x,y)和(u,v)，则可以知道光600进入到微透镜的位置(x’,y’)。由对应于微透镜的多个像素可以知道对应于位置(u,v)的像素并且该像素的输出为L(x’,y’,u,v)。通过对所有的光瞳划分区域执行以上处理并且合计（积分）获得的像素输出，可以计算E(x,y)。
假设(u,v)表示拍摄镜头的光瞳划分区域的代表坐标，则公式（4）的积分可以由简单的加法计算。
通过执行如上所述的公式（4）的算术运算处理，可以重构任意焦点位置（重新聚焦平面）的图像。
接着，将参照图7的流程图描述根据实施例的摄像装置的连续拍摄操作（连续拍摄模式）。作为前提，在实时浏览模式（live view mode）下操作，在所述实时浏览模式下重构由摄像元件103获得的被摄体的图像信号并以实时方式将该图像信号显示到显示单元107。
在S701和S702中，该装置等待直到在连续拍摄模式中打开S1。S1表示操作单元110中包括的开关（未示出）。通过打开S1，开始诸如测光、自动聚焦等的拍摄前准备操作。实际上，开关S1是用于检测半按状态和全按状态的两个步阶的两步按压型的按钮开关。假设半按状态表示开关S1是ON（打开）的状态并且全按状态表示开关S2是ON的状态。通常，当S1为ON时，执行拍摄准备操作，而当S2为ON时，执行实际的拍摄（曝光）操作。在实施例中，该装置也以类似于如上所述的方式操作。
在S703中，对聚焦透镜的驱动的次数进行计数的计数器N被初始化并设置N=0。从而，可以识别在连续拍摄操作中拍摄的多个连续帧中的各个。
在实施例中，在连续拍摄时，聚焦透镜被移动到偏离检测到的焦点位置±ΔDef的位置并且进行拍摄。符号±表示聚焦透镜的驱动位置的偏离方向。在实施例中，正号(+)对应至透镜的驱动方向的无穷远侧的方向，而负号(-)对应至近侧的方向。在S704中，计算ΔDef的量。将参照图8描述ΔDef。
图8是例示在检测焦点位置的同时连续拍摄向拍摄者侧靠近的预定被摄体（在这里，以摩托车为例）的情况下焦点位置的变化的图。横坐标轴表示聚焦透镜的位置，纵坐标轴表示经过时间，并且各箭头的宽度表示重新聚焦范围。现在假设，当理想地测量距离时，能够拍摄如虚线所示靠近的被摄体。在这种情况下，关于各拍摄图像，能够重构针对摩托车对焦的图像，并且甚至在对焦精度由于某些原因低的情况下，也能够调整焦点位置，只要其位于重新聚焦范围之内即可。至于图像可以被重新聚焦的范围，当如图9所示定义角度分辨率Δθ、角度分割数量Nθ和像素间距Δx，由下列公式（5）计算最大重新聚焦量dmac。
如上所述，重新聚焦范围通常是有限的，尽管其取决于摄像装置的结构。即使在图8的情况下，也难以实现从聚焦透镜的驱动范围的最近侧至无穷远侧的整个区域位于重新聚焦范围内的这种结构。因此，例如，即使在用户想要对第二被摄体（如跑在作为目标被摄体的摩托车后面的另一个摩托车）重构对焦的图像的情况下，由于重新聚焦范围是有限的，因此存在不能获得重构图像的可能性。
在实施例中，因此，通过交替地在偏离固有焦点检测位置±ΔDef（预定量）的焦点位置获得图像，重新聚焦范围被虚假地放大。具体地说，以每隔一帧、预定被摄体交替地到达重新聚焦范围的最近侧的边缘以及到达无穷远侧的边缘的方式来控制散焦量。在图10中例示了这样的示例。在图10的示例中，对于偶数标示的帧，重新聚焦范围被划分为成以目标被摄体的焦点为基准点使得在最近侧的区域大于在另一侧的区域的区域，相反，对于奇数标示的帧，重新聚焦范围被划分为以目标被摄体的焦点为基准点使得在无穷远侧的区域大于在另一侧的区域的区域，从而使得重新聚焦范围能够被虚假地扩大。此时，对于重新聚焦范围被扩大到最近侧或无穷远侧的帧，尽管连续拍摄速度减少到原来拍摄图像的速度的一半。然而，在所有的帧中，可以使目标被摄***于重新聚焦范围之内。尽管在实施例中交替地控制散焦量，但是本发明不限于这种示例，可以每隔预定帧切换散焦量，或者可以仅对在要覆盖的被摄体数量大的重新聚焦范围的图像的n帧之后的一帧分配散焦量等。
因而，例如，如果设如下公式：
⊿Def＝0.8·dmax 　　（6）
则与图8所示的通常情况相比，在以目标被摄体的焦点位置为中心的情况下的重新聚焦范围可以被扩大到1.8倍大的范围。因此，可以获得对存在于比图8的情况更宽的范围内的被摄体重新聚焦的重新聚焦图像。
如果确定ΔDef，接下来进行S705。S705至S709涉及用于首先为追踪目标被摄体而将被摄体追踪的目标保持为模板的操作。现在将参照图11描述被摄体追踪。
通过利用存储在照相机主体中的模板图像（被摄体追踪的目标的图像信号）和从获得模板图像开始经过预定时间后获得的图像信号，以及通过利用对这两者图像的二维相关算术运算，来执行用于被摄体追踪的算术运算。现在假设两个图像都提供具有R、G和B的色度信息的图像信号。首先，两个图像都被转换为亮度信息Y。假设用于被摄体追踪的模板图像具有m个像素（在水平方向上）×n个像素（在垂直方向上）的大小，并且在从获得模板图像开始经过预定时间后获得的图像信号（模板检测目标图像）具有M个像素（在水平方向上）×N个像素（在垂直方向上）的大小。在用于被摄体追踪的算术运算中，一边偏移两图像间的相对位置，一边计算在各位置的两图像之间的Y的绝对差的和作为相关量S。如果用于被摄体追踪的模板图像和模板检测目标图像存在完全一致的位置，则相关量S等于0。因此，用于被摄体追踪的算术运算是如下的运算，即一边偏移两图像间的相对位置，一边在各位置计算相关量S的值并且搜索相关量S变为最小的位置。由Ai,j(0≤i≤(M-1),0≤j≤(N-1))表示模板检测目标图像，并且由Bx,y(0≤x≤(m-1),0≤y≤(n-1))表示用于被摄体追踪的模板图像。由以下公式（7）获得当两个图像以某一相对位置I(i,j)存在时的相关量S。
因此，当改变相对位置I(i,j)并扫描模板检测目标图像Ai,j的内部时，相关量S变为最小的位置I(i,j)被认为被摄体追踪的目标存在的位置。在图11的示例中，相关量S在I(i,j)=(a,b)的位置（由虚线所示的位置）处变为最小。此外，在完成用于被摄体追踪的算术运算之后，用于被摄体追踪的模板图像被更新为在本算术运算中关联度为最高的位置的图像。通过相继更新如上所述用于被摄体追踪的模板图像，能够减小由于被摄体追踪的目标的方向等的改变引起的对用于被摄体追踪的算术运算的影响。
在实施例中，将可以由用户移动到图片图像中的任意位置的设置框以使得与显示到显示单元107的被摄体的实时图像信号叠加的方式进行显示，使得可以由用户决定要设置的用于被摄体追踪的模板图像。用户将设置框移动到他想要开始被摄体追踪的位置，并且在设置框与目标被摄体叠加的定时打开S1。即，在当在S702中打开S1时的时点的设置框中的图像信号基本上被设置为模板。然而，为了避免将散焦状态的图像信号设置为模板，在聚焦操作之后执行模板存储处理。
为此，在S705中计算散焦量Def。即，由设置框中的图像信号生成如上所述的图5A和5B中所示的一维图像信号Ai和Bi。接着，获得信号间的相位差，并根据相位差计算散焦量Def。在计算Def之后，Def的值偏移预先计算的ΔDef的量。当N等于偶数时，Def的值向正号侧偏移ΔDef的量。
Def’=Def+ΔDef...(8)
当N等于奇数时，Def的值向负号侧偏移ΔDef的量。
Def’=Def-ΔDef...(9)
然而，反之亦然。在S706中，由于N=0，计算向正号侧偏移的Def’。在S707中，根据Def’驱动聚焦透镜。在S708中，透镜的驱动次数N递增。这时，如果按照原样以重新聚焦系数α=1重构目标帧中的目标被摄体，则由于图像散焦+ΔDef量，所以生成散焦该量的重构图像，并且在S709中设置框中的图像被存储为初始模板。
在S710中，判断S2是否为ON。当S2为ON时，在S711中执行曝光处理。处理过程前进到S712中，以为拍摄下一图像做准备。当S2不是ON时，在S720中确认S1的状态。如果S1也是OFF（关闭），在S721中结束操作。然而，如果S1为ON，接下来进行S712，以进行被摄体追踪。
在S712中以及后续步骤中的处理是当透镜的驱动次数N大于或等于1时执行的处理。首先，在S712中，通过使用在S709中设置的被摄体追踪的模板和通过以ΔDef重新聚焦摄像元件103在此时点的输出而重构的重新聚焦图像的图像信号，来执行二维相关算术运算，并且执行用于指定被摄体在图片图像中的位置的被摄体追踪算术运算。在实施例中，根据当次数N大于或等于1时执行的处理，在α=1时获得的重构图像成为散焦±ΔDef的图像。因此，对于用于通过被摄体追踪算术运算获得针对模板图像的相关度的图像信号，为了抵消散焦量ΔDef，使用被重新聚焦的重构图像。对于被摄体追踪算术运算的详情，以上提到了通过使用公式（7）中所示的相关量S进行计算的点。如果由被摄体追踪算术运算指定了目标被摄体在图片图像中的新位置，则在S713中将这种区域中的图像设置为新模板并且更新模板的设置。
在更新模板的设置之后，在S714中，获得图片图像中追踪位置的散焦量Def。此时，尽管以类似于S705的方式获得Def，但是如果追踪的被摄体正在移动，则由于在用于对Def的算术运算的定时和用于随后的曝光的定时之间存在释放时间滞后，所以预测在这个时间段期间被摄体的移动量并校正Def。即，在S714中，以类似于S705的方式计算散焦量，而且基于过去的Def的结果计算目标被摄体的移动速度等，从而利用预测来算术运算Def，使得在释放时在最佳焦点位置形成以α=1重构的图像。由于在专利文献1等中已公知此预测，所以此处省略其详细说明。在S714中获得Def之后，进行至S715。
在S715中，判断透镜的驱动次数N是偶数还是奇数。如果是奇数，则在S716中通过以下公式（8）计算Def’。
Def’=Def-ΔDef...(8)
如果是偶数，则在S717中通过以下公式（9）计算Def’。
Def’=Def+ΔDef...(9)
在S718中根据以这种方式获得的Def’驱动聚焦透镜之后，在S719中使N递增，随后进行至S710。
如果在如上所述的连续拍摄时，重新聚焦范围每隔一帧切换到无穷远侧或最近侧，则在例如如图12所示的摩托车竞赛情景等中获得如下的技术效果。图12中作为目标被摄体的白摩托车针对所有帧位于重新聚焦范围内，并且跑在白摩托车之后的灰色摩托车（不同于被摄体追踪的目标的被摄体）也可以被使得以每2帧中的1帧的速率位于重新聚焦范围内。这时，由于针对灰色摩托车对焦的图像的数量减少，所以由图12中的A和B两个图像（二者都是经过重新聚焦处理并且被重构以使得针对灰色摩托车对焦的重新聚焦图像数据）进行帧插值技术，并且可以通过后处理生成新图像。根据帧插值技术，由时间上连续的两个图像之间的差计算运动信息并且依据运动的方向和大小形成中间图像。然而，由于其为已知的技术，因此此处省略其说明。
根据以上描述的本发明的实施例，可以提供能够进行如下这种连续拍摄操作的摄像装置，所述连续拍摄操作可以保证针对所有拍摄的帧能够重新聚焦到主要被摄体的图像，并且可以保证图像也能够被重新聚焦到其他被摄体的宽的重新聚焦范围。
将参照图13A至图13C描述可以应用于本实施例的另一光学***的示例。图13A至图13C是示意性例示来自被摄体（要被拍摄的物体）的光被聚焦到摄像元件103的状态的图。在图中，实际上，与图1和图3中的组成部件相同的组成部件被用相同的附图标记标出。
图13A至图13C对应于图3中描述的拍摄光学***。然而，在摄像元件103中，对微透镜阵列102中的一个微透镜分配的像素数量等于25（=5×5）。拍摄镜头101的出射光瞳由垂直方向上的五个光瞳区域（b1,b2,b3,b4,b5）表示。图13A是微透镜阵列102被布置在拍摄光学***的摄像平面附近的示例。图13B是微透镜阵列102被布置在比拍摄光学***的像平面更靠近被摄体的一侧的示例。图13C是微透镜阵列102被布置在比拍摄光学***的像平面更远离被摄体的一侧的示例。
在图13A至图13C中，例示了摄像元件103、微透镜阵列102、光瞳区域b1、b2、b3、b4和b5、物平面1301，被摄体上的适当点1301a和1301b以及拍摄光学***的光瞳面1302。分别例示了微透镜阵列102上的特定微透镜1321e、1321f、1321g、1321h、1321i、1321j、1321k、1321l和1321m。在图13B和图13C中例示了虚拟摄像元件103a和虚拟MLA102a，为了阐明与图13A的对应关系例示它们作为参考。从被摄体上的点1301a出射并且穿过光瞳面上的区域b1和b3的光线由实线示出。从被摄体上的点1301b出射并且穿过光瞳面上的区域b1和b3的光线由虚线示出。
在图13A的示例中，通过将微透镜阵列102布置在拍摄光学***的像平面附近，在拍摄光学***的摄像元件103和光瞳面1302之间存在共轭关系。此外，在物平面1301和微透镜阵列102之间存在共轭关系。因此，从被摄体上的点1301a出射的光线到达微透镜1321e，从被摄体上的点1301b出射的光线到达微透镜1321f，并且穿过区域b1至b5的光线分别到达在微透镜下面提供的对应像素。
在图13B的示例中，来自拍摄光学***的光由微透镜阵列102聚焦并且在像平面上提供摄像元件103。通过如上所述布置它们，在物平面1301和摄像元件103之间存在共轭关系。从被摄体上的点1301a出射并且穿过光瞳面上的区域b1的光线到达微透镜1321g。从被摄体上的点1301a出射并且穿过光瞳面上的区域b3的光线到达微透镜1321h。从被摄体上的点1301b出射并且穿过光瞳面上的区域b1的光线到达微透镜1321h。从被摄体上的点1301b出射并且穿过光瞳面上的区域b3的光线到达微透镜1321i。穿过各微透镜的光线到达微透镜下面提供的对应像素。如上所述，依据被摄体上的点以及光瞳面上的穿过区域，光被聚焦到不同的位置。如果这些光线被重新布置在虚拟摄像元件103a上的位置，则可以获得类似于图13A中的信息（重构图像）。即，可以获得光穿过的光瞳区域（入射角）以及摄像元件上的位置的信息。
在图13C的示例中，来自拍摄光学***的光被微透镜阵列102重新聚焦（由于在一度聚焦的光发散的状态下聚焦该光，所以称为“重新聚焦”），并且在像平面上提供摄像元件103。通过如上所述布置它们，在物平面1301和摄像元件103之间存在共轭关系。从被摄体上的点1301a出射并且穿过光瞳面上的区域b1的光线到达微透镜1321l。从被摄体上的点1301a出射并且穿过光瞳面上的区域b3的光线到达微透镜1321j。从被摄体上的点1301b出射并且穿过光瞳面上的区域b1的光线到达微透镜1321m。从被摄体上的点1301b出射并且穿过光瞳面上的区域b3的光线到达微透镜1321l。穿过各微透镜的光线到达在微透镜下面提供的对应像素。以类似于图13B的方式，如果将这些光线重新布置到虚拟摄像元件103a上的位置，则可以获得类似于图13A中的信息。即，可以获得光穿过的光瞳区域（入射角）以及摄像元件上的位置的信息。
尽管在图13A至图13C中示出通过利用MLA（相位调制元件）作为光瞳划分单元可以获得位置信息和角度信息的示例，但是也可以使用其他光学结构，只要其能够获得位置信息和角度信息（相当于用于限制光瞳的穿过区域的处理）。例如，也可以使用将利用适当图案形成的掩模（增益调制元件）***到拍摄光学***的光路的方法。
其他实施例
本发明的实施例还可以通过读出并执行记录在存储介质（例如，非暂时性计算机可读存储介质）上的用于执行本发明的上述实施例的一个或多个的功能的计算机可执行指令的***或装置的计算机来实现，以及通过由***或装置的计算机通过例如从存储介质读出并执行用以执行上述实施例的一个或多个的功能的计算机可执行指令来执行的方法来实现。计算机可以包括中央处理单元（CPU）、微处理单元（MPU）、或其他电路的中一个或多个，并且可以包括单独的计算机或单独的计算机处理器的网络。例如可以从网络或者存储介质向计算机提供计算机可执行指令。存储介质可以包括例如硬盘、随机存取存储器（RAM）、只读存储器（ROM）、分布式计算***的存储器、光盘（诸如压缩盘（CD）、数字通用光盘（DVD）、或蓝光盘(BD)TM）、闪存设备、存储卡等的一个或多个。
虽然参照示例性实施例说明了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附的权利要求的范围给予最宽的解释以使其涵盖所有变型、等同结构和功能。

Claims (11)

1.一种摄像装置，该摄像装置包括：
摄像单元，其用于拍摄被摄体的光学图像并生成能够被重新聚焦的图像拍摄数据；
检测单元，其用于检测所述被摄体的所述光学图像的聚焦状态；
预测单元，其用于基于所述检测单元的检测结果，预测所述被摄体的所述光学图像的对焦位置；以及
调焦单元，其用于基于由所述预测单元预测的所述对焦位置，驱动聚焦透镜，
其中，在所述摄像单元从所述被摄体拍摄多个图像的情况下，所述调焦单元将所述聚焦透镜驱动到偏离所述预测单元预测的对焦位置预定量的位置，并且具有使位置偏离所述预定量的多个模式。
2.根据权利要求1的所述摄像装置，其中，所述多个模式包括第一模式和第二模式，在所述第一模式中偏离所述预定量的位置是在所预测的对焦位置的最近侧，并且在所述第二模式中偏离的位置是在无穷远侧。
3.根据权利要求1或2的所述摄像装置，其中，在所述摄像单元对所述被摄体拍摄多个图像的情况下，所述调焦单元周期地改变所述多个模式。
4.根据权利要求3的所述摄像装置，其中，所述调焦单元针对由所述摄像单元生成的所述图像拍摄数据的每帧改变所述多个模式。
5.根据权利要求1、2和4中的任一个所述的摄像装置，其中，设置所述预定量，使得在所述图像拍摄数据的重新聚焦中可用的像平面位置的范围包括与所述被摄体的对焦位置对应的像平面位置。
6.根据权利要求3所述的摄像装置，其中，设置所述预定量，使得在所述图像拍摄数据的重新聚焦中可用的像平面位置的范围包括与所述被摄体的对焦位置对应的像平面位置。
7.根据权利要求1的所述摄像装置，该摄像装置还包括设置单元，所述设置单元用于设置由所述预测单元进行所述对焦位置的预测的目标被摄体，
其中，所述设置单元从所述图像拍摄数据中检测所设置的被摄体并且根据所述检测的结果，更新要预测的所述被摄体的设置，并且
所述设置单元检测设置被更新的所述被摄体的聚焦状态。
8.根据权利要求1或7所述的摄像装置，该摄像装置还包括图像处理单元，所述图像处理单元用于由所述图像拍摄数据在通过所述重新聚焦生成的预定像平面位置重构图像数据，
其中，所述摄像装置具有用于将重构的图像数据显示到显示单元的实时浏览模式，并且
其中，所述图像处理单元以使得与所述图像数据叠加的方式将设置框显示到所述显示单元，所述设置框用于设置所述预测单元进行对焦位置的预测的目标被摄体。
9.根据权利要求8所述的摄像装置，其中，所述图像处理单元由所述摄像单元生成的多帧的图像拍摄数据当中所述多个模式中的同一模式的各帧的图像数据，在对应于与所述预测单元进行对焦位置的预测的目标被摄体不同的被摄体的对焦位置的像平面位置重构图像数据，并且通过对重构的多个图像数据插值来生成新帧的图像。
10.根据权利要求1所述的摄像装置，其中，由所述预测单元预测的对焦位置是物距。
11.一种摄像装置的控制方法，所述摄像装置包括用于拍摄被摄体的光学图像并且生成能够被重新聚焦的图像拍摄数据，所述控制方法包括：
检测步骤，检测所述被摄体的所述光学图像的聚焦状态；
预测步骤，基于所述检测步骤中的检测结果，预测所述被摄体的所述光学图像的对焦位置；以及
调焦步骤，基于所述预测步骤中预测的所述对焦位置来驱动聚焦透镜，
其中，所述调焦步骤包括：在所述摄像单元从所述被摄体拍摄多个图像的情况下、将所述聚焦透镜驱动到偏离所述预测步骤中预测的对焦位置预定量的位置的步骤，并且所述调焦步骤具有使位置偏离所述预定量的多种模式。
CN201410155190.4A 2013-04-19 2014-04-17 摄像装置及其控制方法 Active CN104113686B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013088728A JP6335434B2 (ja) 2013-04-19 2013-04-19 撮像装置、その制御方法およびプログラム
JP2013-088728 2013-04-19

Publications (2)

Publication Number Publication Date
CN104113686A CN104113686A (zh) 2014-10-22
CN104113686B true CN104113686B (zh) 2017-07-28

Family

ID=51710310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410155190.4A Active CN104113686B (zh) 2013-04-19 2014-04-17 摄像装置及其控制方法

Country Status (3)

Country Link
US (1) US9681037B2 (zh)
JP (1) JP6335434B2 (zh)
CN (1) CN104113686B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105657238B (zh) * 2014-11-20 2017-09-19 广东欧珀移动通信有限公司 跟踪对焦方法及装置
JP6478587B2 (ja) * 2014-11-26 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP6431429B2 (ja) * 2015-04-02 2018-11-28 キヤノン株式会社 撮像装置およびその制御方法、プログラム、ならびに記憶媒体
JP6525813B2 (ja) * 2015-08-21 2019-06-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
US11016268B2 (en) * 2016-02-19 2021-05-25 Almalence Inc. Collapsible imaging systems having lens arrays
KR102392751B1 (ko) * 2017-03-07 2022-04-29 삼성전자 주식회사 카메라 모듈을 구비한 전자 장치 및 전자 장치 제어 방법
JP6922652B2 (ja) * 2017-10-27 2021-08-18 トヨタ自動車株式会社 撮像装置
CN109963072B (zh) * 2017-12-26 2021-03-02 Oppo广东移动通信有限公司 对焦方法、装置、存储介质及电子设备
JP2020091445A (ja) 2018-12-07 2020-06-11 キヤノン株式会社 画像処理装置およびその制御方法
WO2020202779A1 (ja) * 2019-03-29 2020-10-08 株式会社ブルックマンテクノロジ 固体撮像装置、撮像システム及び撮像方法
CN110072064B (zh) * 2019-06-12 2020-07-03 睿魔智能科技（深圳）有限公司 一种图像拍摄方法、装置、设备以及存储介质
CN110650291B (zh) * 2019-10-23 2021-06-08 Oppo广东移动通信有限公司 目标追焦方法和装置、电子设备、计算机可读存储介质
CN114157814B (zh) * 2022-02-09 2022-06-10 荣耀终端有限公司 一种光场照片的显示方法、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713902A (zh) * 2008-09-30 2010-05-26 索尼株式会社 快速的相机自动聚焦

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001021794A (ja) * 1999-07-12 2001-01-26 Canon Inc 自動焦点調節装置および光学機器
JP4582295B2 (ja) * 2004-05-28 2010-11-17 カシオ計算機株式会社 撮影装置及びそのプログラム
EP1887399A4 (en) * 2005-05-30 2011-03-23 Nikon Corp IMAGE GENERATION CONDITION DETECTION DEVICE
JP5004726B2 (ja) * 2007-09-05 2012-08-22 キヤノン株式会社 撮像装置、レンズユニットおよび制御方法
JP5163446B2 (ja) * 2008-11-25 2013-03-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8289440B2 (en) * 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
JP5273033B2 (ja) * 2009-12-25 2013-08-28 株式会社ニコン 撮像装置および画像再生装置
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101713902A (zh) * 2008-09-30 2010-05-26 索尼株式会社 快速的相机自动聚焦

Also Published As

Publication number Publication date
CN104113686A (zh) 2014-10-22
JP2014211574A (ja) 2014-11-13
US20140313373A1 (en) 2014-10-23
US9681037B2 (en) 2017-06-13
JP6335434B2 (ja) 2018-05-30

Similar Documents

Publication Publication Date Title
CN104113686B (zh) 摄像装置及其控制方法
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
JP5898501B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
RU2565855C1 (ru) Устройство захвата изображений, способ управления этим устройством и программа
JP2013145314A5 (zh)
JP2011233963A (ja) 撮像装置および追尾被写体検出方法
WO2014171051A1 (ja) 距離測定装置、及び、距離測定方法
JP5868061B2 (ja) 撮像装置
CN105704393B (zh) 摄影装置、摄影方向的控制方法以及记录介质
JP6095266B2 (ja) 画像処理装置及びその制御方法
JPWO2012002149A1 (ja) 画像処理方法及び装置
US9247124B2 (en) Imaging apparatus, semiconductor integrated circuit, and imaging method
JP2017005689A (ja) 画像処理装置および画像処理方法
JP6076106B2 (ja) 撮像装置及び撮像方法
JP2012133194A (ja) 撮像装置
JP6608194B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2006308813A (ja) フォーカスブラケット機能付き撮像装置
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP6881909B2 (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP2019062340A (ja) 像振れ補正装置および制御方法
US20220394176A1 (en) Imaging apparatus
JP2011242652A (ja) 焦点検出装置およびその制御方法
JP2018007205A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム
JP6305016B2 (ja) フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置
JP7286294B2 (ja) 撮像装置、撮像装置の制御方法、および、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant