CN103988107A - 成像设备、控制成像设备的方法和程序 - Google Patents

成像设备、控制成像设备的方法和程序 Download PDF

Info

Publication number
CN103988107A
CN103988107A CN201280061533.XA CN201280061533A CN103988107A CN 103988107 A CN103988107 A CN 103988107A CN 201280061533 A CN201280061533 A CN 201280061533A CN 103988107 A CN103988107 A CN 103988107A
Authority
CN
China
Prior art keywords
image
control module
imaging device
pattern
matching treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280061533.XA
Other languages
English (en)
Inventor
首田大仁
川井崇史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103988107A publication Critical patent/CN103988107A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

本发明适当地控制聚焦。一种成像设备包括控制单元。该控制单元基于预定条件设定第一模式或第二模式。第一模式通过基于由成像单元产生的图像中的对比度移动聚焦透镜来执行自动聚焦处理。第二模式通过基于第一图像和第二图像之间执行的匹配处理的结果移动聚焦透镜来执行自动聚焦处理，第一图像和第二图像是在聚焦透镜位于不同的位置中的情况下由成像单元产生的。

Description

成像设备、控制成像设备的方法和程序
技术领域
本技术涉及成像设备。更具体地，本技术涉及一种执行聚焦控制的成像设备、用于控制该成像设备的方法以及用于使计算机实现该方法的程序。
背景技术
近年来，诸如通过对诸如风景和人的对象进行成像来产生图像(图像数据)的数字摄像机(例如，具有照相机的记录器)的成像设备已经变成广泛普及。此外，已经提出大量成像设备，其自动地执行聚焦控制以防止根据用户操作的成像处理失败。
例如，提出了一种通过使用图像数据中的对比度的强度来执行聚焦控制的成像设备。此外，还提出了一种使用以不同的焦距捕获的两个图像来估计聚焦透镜要移动到的位置的成像设备(例如，参见专利文献1)。
引用列表
专利文献
专利文献1：JP2011-128623A
发明内容
本发明所要解决的问题
通过上述的常规技术，可以使用图像数据来执行聚焦控制，并且，不需要提供用于在成像设备中执行聚焦控制的附加装置。
但是，根据对象和成像条件，聚焦透镜可能被移动到不是聚焦位置的位置，或者，可能要花费时间去将聚焦透镜移动到聚焦位置。因此，根据对象和成像条件适当地执行聚焦控制是重要的。
鉴于这些情形而开发了本技术，并且，本技术的目的在于执行适当的聚焦控制。
问题的解决方案
为了解决上述问题而开发了本技术，并且，本技术的第一方面是一种成像设备，该成像设备包括：控制单元，用于执行控制以基于预定的条件来设定第一模式或第二模式，所述第一模式是用于通过基于由成像单元产生的图像中的对比度移动聚焦透镜来执行自动聚焦处理，所述第二模式是用于通过基于在第一图像和第二图像之间执行的匹配处理的结果移动聚焦透镜来执行自动聚焦处理，所述第一图像和第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的。本技术的第一方面也是用于控制成像设备的方法和用于使计算机实现该方法的程序。因此，基于预定的条件来有效地设定第一模式或第二模式。
在第一方面中，控制单元可以基于聚焦透镜的位置和匹配处理的结果的历史来确定在第一模式和第二模式之间的切换是否必要。因此，基于聚焦透镜的位置和匹配处理的结果的历史来有效地确定在第一模式和第二模式之间的切换的必要或不必要。
在第一方面中，在设定所述第一模式的情况下，所述控制单元在满足预定的条件时执行控制以设定第二模式，所述预定的条件是：聚焦透镜的位置收敛，并且，聚焦透镜的该位置和基于匹配处理的结果的历史估计的聚焦位置之间的差大于阈值。因此，在设定第一模式的情况下，在聚焦透镜会聚于一个位置上并且聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差大于阈值时，可以有效地设定第二模式。
在第一方面中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值。因此，在设定第二模式的情况下，在聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值时，可以有效地设定第一模式。
在第一方面中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值，并且，估计的聚焦位置的历史的加权分布小于阈值。因此，在设定第二模式的情况下，在聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值并且估计的聚焦位置的历史的加权分布小于阈值时，可以有效地设定第一模式。
在第一方面中，成像设备还可以包括姿势检测单元，用于检测成像设备的姿势的变化，在检测到的姿势变化大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。因此，在检测到的姿势变化大于阈值时，有效地确定切换的必要或不必要，而无需使用作为历史的匹配处理的结果。
在第一方面中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。因此，在第一图像中的亮度检测值和第二图像中的亮度检测值之间的差大于阈值时，有效地确定切换的必要或不必要，而无需使用作为历史的匹配处理的结果。
在第一方面中，在产生所述第一图像时的光圈值和产生所述第二图像时的光圈值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。因此，在产生第一图像时的光圈值和在产生第二图像时的光圈值之间的差大于阈值时，有效地确定切换的必要或不必要，而无需使用作为历史的匹配处理的结果。
在第一方面，成像设备还可以包括姿势检测单元，用于检测成像设备的姿势的变化，并且在检测到的姿势变化大于阈值时，所述控制单元执行控制以设定所述第一模式。因此，在检测到的姿势变化大于阈值时，有效地设定第一模式。
在第一方面中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之差大于阈值时，所述控制单元执行控制以设定第一模式。因此，在第一图像中的亮度检测值和第二图像中的亮度检测值之间的差大于阈值时，有效地设定第一模式。
在第一方面中，在产生第一图像时的光圈值和产生第二图像时的光圈值之间的差大于阈值时，控制单元可以执行控制以设定第一模式。因此，在产生第一图像时的光圈值和产生第二图像时的光圈值之间的差大于阈值时，有效地设定第一模式。
本发明的效果
根据本技术，可以实现良好的效果，以执行适当的聚焦控制。
附图说明
图1是示出本技术的第一实施例中的成像设备100的示例内部结构的框图。
图2是示出本技术的第一实施例中的成像设备100的示例功能结构的框图。
图3是示出本技术的实施例中的在对比度AF处理单元270执行对比度AF处理时在对比度评估值和捕获的图像之间的关系的示图。
图4是示意性地示出本技术的第一实施例中的要由双图像匹配AF处理单元280执行的双图像匹配处理的示例的示图。
图5是示出表示本技术的第一实施例中的与聚焦透镜的聚焦位置的距离和双图像匹配处理的计算结果之间的相关性的拟合曲线的示图。
图6是示意性地示出本技术的第一实施例中的要由控制单元260执行的AF模式切换处理的示例流程的示图。
图7是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
图8是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
图9是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
图10是示出本技术的第一实施例的要由成像设备100执行的AF处理中的处理过程的示例的流程图。
图11是示出本技术的第一实施例的要由成像设备100执行的双图像匹配处理中的处理过程中的确定处理过程的流程图。
具体实施方式
下面是用于实现本技术的方式(在下文中被称为实施例)的描述。将按照以下顺序进行说明。
1.第一实施例(聚焦控制：基于预定的条件切换对比度AF模式和双图像匹配AF模式的示例)
<1.第一实施例>
[成像设备的示例内部结构]
图1是示出根据本技术的第一实施例的成像设备100的示例内部结构的框图。
成像设备100包括成像透镜101、成像器件102、模拟信号处理单元103、A/D(模拟/数字)转换器104和数字信号处理单元105。成像设备100还包括液晶面板106、取景器107、记录装置108、对象检测单元109、陀螺仪传感器110和控制单元120。成像设备100还包括EEPROM(电可擦除可编程只读存储器)131。成像设备100还包括ROM(只读存储器)132和RAM(随机存取存储器)133。成像设备100还包括操作单元140、TG(定时发生器)151、马达驱动器152、聚焦透镜驱动马达153和变焦透镜驱动马达154。例如，成像设备100由可以执行AF(自动聚焦)处理的数字静止照相机或数字摄像机(例如，具有照相机的记录器)实现。
成像透镜101是收集来自对象的光并将收集的光供应到成像器件102的透镜。成像透镜101包括变焦透镜、聚焦透镜、光阑、ND(中性密度)机构、防偏移振动图像稳定化透镜等。变焦透镜是用于连续地改变焦距的透镜。聚焦透镜是用于对对象聚焦的透镜。光阑被设计用来改变光圈直径。ND机构是用于***ND滤波器的机构。防偏移振动图像稳定化透镜是用于在图像捕获操作期间校正用户的手的抖动的透镜。聚焦透镜由聚焦透镜驱动马达153驱动，并且，相对于对象前后移动。以这样的方式，实现了聚焦功能。变焦透镜由变焦透镜驱动马达154驱动，并且，相对于对象前后移动。以这样的方式，实现了变焦功能。
成像设备102是接收通过成像透镜101从对象进入的光并将该光转换为电信号(图像信号)的光电转换元件。通过该转换产生的图像信号(模拟信号)被供应到模拟信号处理单元103。也就是说，在成像器件102的成像区域中形成通过成像透镜101进入的对象的光学图像，并且，成像器件102在这种情况下执行成像操作，以产生图像信号(模拟信号)。成像器件102由TG151驱动。成像器件102可以是CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等。
在控制单元120的控制下，模拟信号处理单元103对从成像器件102供应的图像信号(模拟信号)执行诸如降噪的模拟处理。模拟信号处理单元103将经过模拟处理的图像信号(模拟信号)供应到A/D转换器104。
在控制单元120的控制下，A/D转换器104将从模拟信号处理单元103供应的图像信号(模拟信号)转换为数字信号，并且，将A/D转换后的图像信号(数字信号)供应到数字信号处理单元105。
在控制单元120的控制下，数字信号处理单元105对从A/D转换器104供应的图像信号(数字信号)执行诸如伽马校正的数字处理，并且，将数字处理后的图像信号(数字信号)供应到各个组件。例如，数字信号处理单元105将数字处理后的图像信号(数字信号)供应到液晶面板106和取景器107，以显示图像。数字信号处理单元105也对数字处理后的图像信号(数字信号)执行压缩处理，并且，将经过压缩处理的图像数据(压缩的图像数据)供应到记录装置108以记录图像数据。
液晶面板106是基于从数字信号处理单元105供应的图像信号(图像数据)显示各个图像的显示面板。例如，液晶面板106将从数字信号处理单元105供应的图像信号(图像数据)显示为直通图像。例如，液晶面板106也将在记录装置108中记录的图像数据显示为列表图像。液晶面板106可以是显示面板，例如，LCD(液晶显示器)，或者有机EL(电致发光)面板。
取景器107是基于从数字信号处理单元105供应的图像信号(图像数据)显示各个图像的电子取景器(EVF)。
记录装置108是记录从数字信号处理单元105供应的图像信号(图像数据)的记录装置。记录装置108也将记录的图像数据供应到数字信号处理单元105。记录装置108可以被包括在成像设备100中，或者可以从成像设备100拆下来。记录装置108可以是闪存或DV带。
在控制单元120的控制下，对象检测单元109分析从数字信号处理单元105供应的图像信号(图像数据)并检测在图像中包括的对象。然后，检测结果(检测信息)被输出到控制单元120。例如，对象检测单元109检测与从数字信号处理单元105供应的图像信号(图像数据)相对应的图像中包括的人的脸部，并且，将关于检测到的脸部的脸部信息输出到控制单元120。脸部检测方法可以是通过在记录有关于脸部的亮度分布信息的模版和实际图像之间执行匹配来检测脸部的方法(例如，参见JP2004-133637A)和基于图像数据中包括的人的肤色部分或脸部的特征量来检测脸部的方法。脸部检测信息包含图像中的检测到的脸部的位置和大小。对象检测单元109还具有针对从数字信号处理单元105供应的图像信号(图像数据)识别跟随AF的对象的功能。
陀螺仪传感器110检测成像设备100的角速度，并且，将检测到的角速度输出到控制单元120。由于通过陀螺仪传感器110来检测成像设备100的角速度，所以检测到成像设备100的姿势的变化。除了陀螺仪传感器以外的传感器(例如，加速度传感器)可以被用来检测成像设备100的加速度、运动、倾斜等，并且，基于检测的结果来检测成像设备100的姿势或者姿势的变化。
控制单元120包括CPU(中央处理单元)，并且基于在ROM132中存储的程序来控制要由成像设备100执行的各个处理。例如，控制单元120执行各个处理，以实现诸如聚焦在对象上的AF功能、调整亮度的AE(自动曝光)功能、执行白平衡的WB(白平衡)功能的各个功能。控制单元120还将取决于根据AF、手动操作或变焦操作进行的聚焦追踪的关于聚焦透镜的控制信息，根据变焦操作的关于变焦透镜的控制信息等输出到马达驱动器152。
EEPROM131是能够在成像设备100关闭(off)时保持数据的非易失性存储器，并且，存储图像数据、各种辅助信息和各种设定信息。
ROM132是存储要由控制单元120使用的程序、操作参数等的存储器。
RAM133是存储要由控制单元120使用的程序、在执行程序时改变的参数等的工作存储器。
操作单元140接收来自用户的操作输入，例如，REC按钮(记录按钮)操作、变焦操作或触摸面板操作，并且，操作单元140将接收到的操作输入的内容供应到控制单元120。
在控制单元120的控制下，TG151产生用于驱动成像器件102的驱动控制信号，并且，使成像器件102被驱动。
在控制单元120的控制下，马达驱动器152驱动聚焦透镜驱动马达153和变焦透镜驱动马达154，以驱动各个透镜(聚焦透镜、变焦透镜等)。具体地，马达驱动器152将从控制单元120输出的控制信号(用于驱动各个马达的控制信息)转换为电压，并且，将各个转换后的电压输出到聚焦透镜驱动马达153和变焦透镜驱动马达154。然后，马达驱动器152驱动各个马达以驱动各个透镜。
聚焦透镜驱动马达153是基于从马达驱动器152输出的电压来移动聚焦透镜的马达。变焦透镜驱动马达154是基于从马达驱动器152输出的电压来移动变焦透镜的马达。
[成像设备的示例功能结构]
图2是示出根据本技术的第一实施例的成像设备100的示例功能结构的框图。
成像设备100包括姿势检测单元210、成像单元220、图像处理单元230、记录控制单元240、内容存储单元241、显示控制单元250和显示单元251。成像设备100还包括控制单元260、历史信息保持单元261、对比度AF处理单元270、双图像匹配AF处理单元280和操作接收单元290。
姿势检测单元210检测成像设备100的姿势(角速度)的变化，并且，将关于检测到的姿势(角速度)的变化的信息(姿势信息)输出到控制单元260。姿势检测单元210对应于图1中示出的陀螺仪传感器110。
成像单元220产生图像数据(图像信号)，并且，将产生的图像数据输出到图像处理单元230、对比度AF处理单元270和双图像匹配AF处理单元280。在对比度AF处理单元270或双图像匹配AF处理单元280的控制下，成像单元220还移动聚焦透镜以实现AF功能。例如，成像单元220对应于图1中的成像单元101、成像器件102、聚焦透镜驱动马达153和变焦透镜驱动马达154。
根据来自控制单元260的指令，图像处理单元230对从成像单元220输出的图像数据执行各种图像处理，并且，将经过各种图像处理的图像数据输出到记录控制单元240、显示控制单元250和控制单元260。例如，图像处理单元230与图1中示出的模拟信号处理单元103、A/D转换器104和数字信号处理单元105对应。
根据来自控制单元260的指令，记录控制单元240对内容存储单元241执行记录控制。例如，记录控制单元240将从图像处理单元230输出的图像数据作为图像内容(静止图像文件或运动图像文件)记录在内容存储单元241中。例如，记录控制单元240与图1中示出的数字信号处理单元105和控制单元260相对应。
内容存储单元241是在记录控制单元240的控制下存储各种信息(例如，图像内容)的记录介质。例如，内容存储单元241与图1中示出的记录装置108相对应。
显示控制单元250根据来自控制单元260的指令使显示单元251显示从图像处理单元230输出的图像。例如，显示控制单元250与图1中示出的数字信号处理单元105和控制单元120相对应。
显示单元251是在显示控制单元250的控制下显示各个图像的显示面板。例如，显示单元251与图1中示出的液晶面板106和取景器107相对应。
控制单元260基于在存储器(未示出)中存储的控制程序来控制成像设备100中的各个组件。例如，控制单元260基于预定的条件执行控制，以设定对比度AF模式(第一模式)或双图像匹配AF模式(第二模式)。这里，对比度AF模式是对比度AF处理单元270通过基于由成像单元220产生的图像的对比度移动聚焦透镜来执行自动聚焦处理的模式。双图像匹配AF模式是双图像匹配AF处理单元280通过基于第一图像和第二图像之间的匹配处理的结果移动聚焦透镜来执行自动聚焦处理的模式。第一图像和第二图像是在聚焦透镜位于不同的位置中的情况下由成像单元220产生的两个图像。稍后将参照图6至图9来详细地描述在设定这些模式时的控制。例如，控制单元260与图1中示出的控制装置120相对应。
历史信息保持单元261是顺次地保持由双图像匹配AF处理单元280执行的匹配处理的结果的历史的保持单元。例如，历史信息保持单元261对应于图1中示出的RAM133。
在设定对比度AF模式的情况下，对比度AF处理单元270通过基于由成像单元220产生的图像中的对比度移动聚焦透镜来执行自动聚焦处理。稍后将参照图3详细地描述对比度AF处理。例如，对比度AF处理单元270与图1中示出的控制单元120和马达驱动器152相对应。
双图像匹配AF处理单元280通过基于在聚焦透镜位于不同的位置中的情况下由成像单元220产生的第一图像和第二图像之间的匹配处理的结果移动聚焦透镜来执行自动聚焦处理。稍后将参照图4和图5详细地描述双图像匹配AF处理。例如，双图像匹配AF处理单元280与图1中示出的控制单元120和马达驱动器152相对应。
操作接收单元290是接收由用户输入的操作并将与接收到的操作的内容一致的控制信号(操作信号)输出到控制单元260的操作接收单元。例如，操作接收单元290与图1中示出的操作单元140相对应。
[对比度AF和对象之间的示例关系]
图3是示出本技术的实施例中的在对比度AF处理单元270执行对比度AF处理的情况下在对比度评估值和捕获的图像之间的示例关系的示图。在图3中，示出在高亮度点光源被包括在对象中的情况下的示例关系。例如，包括高亮度点光源的对象是黑暗中存在强光的点的场景中的对象。
在图3中，“a”示出聚焦透镜的位置和对比度评估值(AF评估值)之间的关系。在图3中，“b”示出聚焦透镜的位置和捕获的图像(包括高亮度点光源的图像)之间的关系。
现在描述对比度AF处理。目前，具有在运动图像捕获操作期间自动地聚焦在主要对象上的功能(AF功能)的成像设备(例如，数字摄像机(具有照相机的记录器))被广泛地使用。例如，该AF功能可以是基于对比度测量执行聚焦控制的对比度AF功能。采用该对比度AF功能，确定通过透镜获取的图像数据中的对比度的强度，并且，确定聚焦透镜的位置。
具体地，采用该对比度AF功能，通过使用关于在成像设备100中获取的图像中的对比度的强度信息来执行聚焦控制。例如，在捕获的图像中的特定区域被设定为用于聚焦控制的信号获取区域(空间频率提取区域)。该特定区域也被称为距离测量帧(频率检测帧)。随着特定区域中的对比度变高，特定区域被确定为合焦。随着对比度变低，特定区域被确定为处于离焦。鉴于此，对比度AF功能驱动和调整聚焦透镜到实现最高对比度的这种位置。
具体地，特定区域的高频成分被提取，产生提取的高频成分的积分数据，并且，基于产生的高频成分的积分数据来确定对比度的强度。
也就是说，在聚焦透镜从一个位置移动到其它位置的同时获取图像，并且，对各个图像的亮度信号执行滤波处理(例如，高通滤波)，以获得指示各个图像的对比度强度的AF评估值。
当在存在聚焦透镜的位置中存在变成聚焦的对象的情况下，相对于聚焦透镜的位置的AF评估值描绘出曲线。该曲线的峰值的位置(或者，图像的对比度值变成最大的位置)是聚焦位置。
如上所述，在对比度AF中，只基于关于由成像装置(成像仪)形成的图像的信息来执行聚焦操作，因此，不需要在成像设备中提供距离测量光学***和成像光学***。鉴于此，在诸如数字静止照相机和数字摄像机的成像设备中广泛地使用对比度AF。
但是，采用对比度AF，在对象满足一定条件时，可能不执行正确的聚焦。当对象满足一定条件时，例如，如图3中的“a”所示，在对象中包括高亮度点光源。
如上所述，采用对比度AF，随着聚焦透镜接近聚焦位置，对比度评估值变高。随着聚焦透镜进一步远离聚焦位置移动，对比度评估值变得更低。但是，当在如图3中的“a”所示的对象中包括高亮度点光源时，这种关系可能不成立。例如，如图3中的“b”所示，随着聚焦透镜进一步远离聚焦位置(箭头301和321)移动，高亮度点光源311至314的面积在保持边缘的同时变大。因此，不是聚焦透镜的聚焦位置(箭头321)的位置(箭头322)可能是曲线300的峰值的位置，并且，例如，被确定为聚焦位置，如图3中的“b”所示。
此外，除了对比度AF以外的AF功能是要由双图像匹配处理实现的AF功能(例如，参见JP2011-128623A)。稍后将参照图4和图5详细地描述要由双图像匹配处理实现的AF功能。
[双图像匹配处理的示例]
图4是示意性地示出本技术的第一实施例中的要由双图像匹配AF处理单元280执行的双图像匹配处理的示例的示图。图4中示出的横坐标是指示聚焦透镜的位置的轴。
双图像匹配处理是通过对通过改变聚焦透镜产生的两个图像进行匹配来估计聚焦位置(例如，参见JP2011-128623A)。双图像匹配AF处理也是基于通过双图像匹配处理估计的聚焦位置来移动聚焦透镜的AF处理(例如，参见JP2011-128623A)。
在图4中，由成像单元220产生的图像331和332在产生时被示出在聚焦透镜的位置中。在聚焦透镜的位置A中产生图像331，并且，在聚焦透镜的位置B中产生图像332。图像331比图像332更清楚。
在双图像匹配处理中，通过使用在两个不同的聚焦透镜位置中产生的两个图像331和332来估计到聚焦位置(箭头335)的距离(箭头336)。重复该计算若干次以提高精度。
这里，可以通过由下面示出的方程(1)表达的图像转换函数P来对图像331和332之间的模糊的变化进行建模。在方程(1)中，fA表示图像331，fB表示图像332。
fA*P＝fB  方程(1)
这里，*表示二维卷积。此外，图像转换函数P可以通过使用如下面的方程(2)所示的具有模糊核K的一系列卷积来近似。
P＝K*K*K*…*K  方程(2)
作为模糊核K，例如，可以使用下述矩阵。
[数学式1]
这里，图像331和332之间的模糊差的量可以通过计算方程(2)中的卷积的数量来测得。也就是说，模糊差的量可以通过计算在图像331和332变成相同之前使用的卷积的数量来测得。在图5中示出该测量计算的结果的示例。在实际上进行测量时，优选地，通过使用迭代处理来获得两个图像之间的差。
[拟合曲线的示例]
图5是示出表示本技术的第一实施例中的与聚焦透镜的聚焦位置的距离和双图像匹配处理的计算结果之间的相关性的拟合曲线的示图。在图5中，横坐标指示聚焦透镜的位置，并且，纵坐标表示迭代的次数(方程(2)中的卷积的数量)。
这里，由图5中示出的纵坐标指示的迭代的次数(方程(2)中的卷积的数量)是同与聚焦透镜的聚焦位置的距离相对应的值。具体地，在由图5中示出的纵坐标指示的迭代的次数是“0”的情况下，聚焦透镜的位置是聚焦位置。例如，在图5中，在横坐标上的邻近“4”的位置是纵坐标上的迭代的次数为“0”的位置。随着迭代的次数进一步移动远离“0”，聚焦透镜的位置进一步移动远离聚焦位置。在这种情况下，迭代的次数的正值和负值指示聚焦透镜的移动方向。
现在描述要在双图像匹配处理中使用的图像。在执行双图像匹配处理时，捕获的图像的中心区域(一定比例)可以在运动图像的AF期间被提取，并且用于计算中。替代捕获的图像的中心区域，由成像设备100的用户指定的指定区域(捕获的图像中的区域((例如，矩形区域))可以被提取，并且用于计算。在这种情况下，用户可以聚焦在特别期望的对象上。但是，在捕获的图像的***部分中，聚焦位置估计的精度可能由于被称为透镜像差的现象而变低。因此，存在这种可能性，对于对比度AF模式和双图像匹配AF模式之间的切换的确定的精度将变低，或者，双图像匹配AF模式中的AF所需的时间将变长。鉴于此，靠近捕获的图像的中心的区域优选地被指定为指定区域。
在双图像匹配AF处理中，在计算中需要具有不同的聚焦透镜位置的两个图像，因此，获得输出的时间间隔变得比对比度AF处理中的时间间隔长。结果，在聚焦位置附近的位置估计的精度可能变得比对比度AF处理中的精度低。
在双图像匹配AF处理中，还需要一定时间间隔来获取两个图像。因此，在用户正移动成像设备100的情况(例如，正执行摇摆或倾斜的情况)、对象正移动或变形的情况等中，聚焦位置估计的精度可能变低。
在双图像匹配AF处理中，还使用两个图像的聚焦透镜位置之间的差。因此，在通过自动曝光调整功能等正改变成像单元220(成像透镜101)的光圈的大小的情况下，聚焦位置估计的精度可能变低。
因此，如果在上述的情况下执行基于由双图像匹配处理估计的聚焦位置的AF处理(双图像匹配AF处理)，则聚焦透镜可能会移动到错误的位置。
鉴于此，在本技术的第一实施例中，在这种情况下执行适当的聚焦控制。
[AF模式切换的示例]
图6是示意性地示出本技术的第一实施例中的要由控制单元260执行的AF模式切换处理的示例流程的示图。
在图6中，“a”示出对比度AF模式中的AF模式切换处理的示例流程。
如图6中的“a”所示，在设定对比度AF模式时，控制单元260确定聚焦透镜是否会聚于一个位置上(351)。如果聚焦透镜会聚于一个位置上，则聚焦透镜正在例如聚焦位置附近以往复的方式移动。例如，相对于聚焦透镜的位置的AF评估值可能会描绘出丘形曲线。如果在这种情况下聚焦透镜会聚于一个位置上，则聚焦透镜正在丘的峰值附近以往复的方式移动。
如上所述，只有当聚焦透镜会聚于一个位置上时，才执行下述处理(以确定是否满足第一条件)。例如，对比度AF处理在一定时间段中具有比双图像匹配AF处理更大量的输出，并且，可以有利地应对对象的移动。在考虑这种有利特征的情况下，只有当通过对比度AF处理来估计错误的聚焦位置时，AF模式可以被切换到双图像匹配AF模式。但是，在正被成像的对象是与对比度AF处理不兼容的对象的情况下，聚焦透镜可能保持在错误的方向上移动，直到会聚于一个位置上为止。
因此，在设定对比度AF模式的情况下，可以按规则的间隔(或者不规则地)无条件地执行下述处理(以确定是否满足第一条件)。也就是说，在设定对比度AF模式的情况下，可以规则地或不规则地参考双图像匹配处理的处理结果(指数值)。在这种情况下，即使对象与对比度AF处理不兼容，也可以防止聚焦透镜继续在错误的方向上移动。此外，在聚焦透镜相对地远离聚焦位置的情况下，AF模式可以被迅速地切换到双图像匹配AF模式。
在聚焦透镜会聚于一个位置(351)上的情况下，控制单元260参考由历史信息保持单元261保持的历史信息(由双图像匹配处理获得的聚焦位置估计指数值的一个或多个历史)。然后，控制单元260确定是否满足第一条件(352)。第一条件是，基于双图像匹配处理的处理结果的历史估计的聚焦位置和聚焦透镜的当前位置之间的差等于或大于阈值。例如，基于历史确定的估计的聚焦位置可以是由历史信息保持单元261保持的估计的聚焦位置的平均值。
在满足第一条件(352)的情况下，控制单元260确定对比度AF的聚焦位置是错误的，并且，将AF模式切换到双图像匹配AF模式(353)。例如，如图3中的“a”所示，聚焦透镜位置被认为是远离聚焦位置移动。
在未满足第一条件(352)的情况下，控制单元260不能确定对比度AF的聚焦位置是错误的，因此，不改变AF模式(354)。
在聚焦透镜没有会聚于任何位置上(351)的情况下，控制单元260也不改变当前设定的AF模式(354)。
作为第一条件，可以使用某一其它条件。例如，第一条件可以是，通过加权平均方法计算出的估计的聚焦位置和聚焦透镜的当前位置之间的差等于或大于阈值。在未满足此条件的情况下，不改变AF模式。在满足此条件的情况下，AF模式被切换到双图像匹配AF模式。由加权平均方法计算出的估计的聚焦位置由下面示出的方程(4)表达。
此外，第一条件可以是，在历史中包括的每一个估计的聚焦位置与聚焦透镜的当前位置进行比较，并且，超过阈值的估计的聚焦位置的数目等于或大于一定数目。在未满足此条件的情况下，不改变AF模式。在满足此条件的情况下，AF模式被切换到双图像匹配AF模式。
在图6中，“b”示出双图像匹配AF模式中的AF模式切换处理的流程。
如图6中的“b”所示，在设定双图像匹配AF模式的情况下，控制单元260确定是否满足第二条件(361)。这里，第二条件是，通过组合一个或多个历史计算出的估计的聚焦位置和聚焦透镜的当前位置之间的差等于或小于阈值，并且，估计的聚焦位置的历史的加权分布等于或小于阈值。
这里，根据下面示出的方程(3)来计算通过组合一个或多个历史计算出的估计的聚焦位置(通过加权平均方法计算出的估计的聚焦位置)。根据下面示出的方程(4)来计算出估计的聚焦位置的历史的加权分布(加权平均分布)。
[数学式2]
方程(3)
方程(4)
这里，通过N(μ,σi 2)用di获得双图像匹配处理的N无偏处理结果d1,…,dN。N表示在双图像匹配处理中使用的图像对(两个图像)的数量，并且，μ表示与实际的聚焦位置的距离。μ的“最大似然估计(MLE)”通过加权平均来确定，并且，σi 2表示分布。
在满足第二条件(361)的情况下，控制单元260将AF模式切换到对比度AF模式(362)。具体地，由于将聚焦透镜细调到聚焦位置的精度在对比度AF模式中比较高，所以在聚焦透镜进入聚焦位置的附近之后设定对比度AF模式。因此，可以高精度地控制聚焦控制。
由于在第二条件中包括估计的聚焦位置的历史的加权分布等于或小于阈值的条件，所以当前位于聚焦位置的附近的聚焦透镜可以被更高精度地感测到。但是，可以从第二条件中排除估计的聚焦位置的历史的加权分布等于或小于阈值的条件。
如上所述，控制单元260基于聚焦透镜的位置和匹配处理结果的历史确定对比度AF模式(第一模式)和双图像匹配AF模式(第二模式)之间的切换是否必要。
具体地，在聚焦透镜会聚于一个位置上并且在对比度AF模式中满足第一条件的情况下，控制单元260执行控制以设定双图像匹配AF模式。如上所述，第一条件可以是，聚焦透镜的位置和基于匹配处理结果的历史估计的聚焦位置之间的差大于阈值。
在双图像匹配AF模式中满足第二条件的情况下，控制单元260执行控制以设定对比度AF模式。如上所述，第二条件可以是，聚焦透镜的位置和基于匹配处理结果的历史估计的聚焦位置之间的差小于阈值，并且，估计的聚焦位置的历史的加权分布小于阈值。
当在双图像匹配AF模式中聚焦透镜的位置和基于匹配处理结果的历史估计的聚焦位置之间的差小于阈值的情况下，控制单元260也可以设定对比度AF模式。
[使用角速度来确定双图像匹配处理是否必要的示例]
图7是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
在图7中，由成像单元220产生的图像1至12按时间的顺序被示出。图7中示出的横坐标指示时间轴。在图7中，图像1至12通过表示图像与各个处理间的关系的箭头与各个处理(401至406，411至413，等等)链接。
在运动图像捕获操作期间，用户可以执行摇摆或倾斜。但是，当在双图像匹配处理中成像设备100由于摇摆、倾斜等而正在移动(或者，光轴方向在两个图像之间不同)的情况下，错误的聚焦位置估计结果经常被输出。
因此，当获取要在双图像匹配处理中使用的两个图像时，姿势检测单元210(陀螺仪传感器110)检测姿势(角速度)的变化(401至406)。然后，控制单元260确定由姿势检测单元210(陀螺仪传感器110)检测到的姿势(角速度)的变化是否等于或大于阈值(用于双图像匹配处理的确定处理)(411、421和431)。
如果姿势(角速度)的变化小于阈值，则双图像匹配AF处理单元280通过使用与在比较中使用的角速度的获取的时间相对应的两个图像来执行双图像匹配处理(412、422和432)。然后，控制单元260使历史信息保持单元261保持由双图像匹配AF处理单元280执行的双图像匹配处理的处理结果作为历史信息(413、423和433)。
另一方面，如果姿势(角速度)的变化等于或大于阈值，则双图像匹配AF处理单元280不使用与在比较中使用的角速度的获取的时间相对应的两个图像来执行双图像匹配处理(412、422和432)。也就是说，在姿势(角速度)的变化大于阈值(例如，0)时，控制单元260确定AF模式切换是否必要，而无需使用作为历史的匹配处理结果。
用于姿势(角速度)的变化的阈值优选地随着视角变宽而变高。但是，在设定阈值时，优选的是，还考虑其他条件(例如，图像稳定条件)。
此外，控制单元260可以在姿势(角速度)的变化大于阈值的条件下设定对比度AF模式(第一模式)。
[使用亮度检测值来确定双图像匹配处理是否必要的示例]
图8是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
在图8中，由成像单元220产生的图像1至12按时间的顺序被示出。图8中示出的横坐标指示时间轴。在图8中，图像1至12通过表示图像和各个处理间的关系的箭头与各个处理(451至456,415,425,435等)链接。图8中示出的各个处理(412,413,422,423,432和433)等同于图7中示出的各个处理(412,413,422,423,432和433)。因此，这些处理由与图7中使用的附图标记相同的附图标记表示，并且，这里将不重复它们的一部分解释。
在运动图像捕获操作期间，对象可能移动或变形。但是，当在双图像匹配处理中对象的位置或形状在两个图像之间不同的情况下，错误的聚焦位置估计结果经常被输出。
因此，当获取要在双图像匹配处理中使用的两个图像时，控制单元260计算出由成像单元220产生的图像中的亮度检测值(451至456)。然后，控制单元260确定计算出的两个亮度检测值之间的差是否等于或大于阈值(用于双图像匹配处理的确定处理)(415,425和435)。亮度检测值是图像中的检测帧的亮度值的总值或平均值。
如果两个亮度检测值之间的差小于阈值，则可以确定对象未移动或变形。因此，双图像匹配AF处理单元280通过使用与两个亮度检测值的计算的时间相对应的两个图像来执行双图像匹配处理(412,422和432)。然后，控制单元260使历史信息保持单元261保持由双图像匹配AF处理单元280执行的双图像匹配处理的处理结果作为历史信息(413、423和433)。
另一方面，如果两个亮度检测值之间的差等于或大于阈值，则可以确定对象已经移动或变形。因此，双图像匹配AF处理单元280在双图像匹配处理(412,422和432)中不使用与两个亮度检测值的计算的时间相对应的两个图像。也就是说，在两个亮度检测值之差大于阈值时，控制单元260确定AF模式切换是否必要，而无需使用作为历史的匹配处理结果。
此外，控制单元260可以在两个亮度检测值之差大于阈值的条件下设定对比度AF模式(第一模式)。
[使用光圈值来确定双图像匹配处理是否必要的示例]
图9是示意性地示出本技术的第一实施例中的要由控制单元260执行以确定双图像匹配处理是否必要的确定处理的流程的示图。
在图9中，由成像单元220产生的图像1至12按时间的顺序被示出。图9中示出的横坐标指示时间轴。在图9中，图像1至12通过表示图像和各个处理间的关系的箭头与各个处理(461至466,416,426,436等)链接。图9中示出的各个处理(412,413,422,423,432和433)等同于图7中示出的各个处理(412,413,422,423,432和433)。因此，这些处理由与图7中使用的附图标记相同的附图标记表示，并且，这里将不重复它们的一部分解释。
在运动图像捕获操作期间，光圈的大小可能由于自动曝光控制功能等而改变。这里，通过使用图像中的模糊级别来执行双图像匹配处理，以估计聚焦位置。因此，当在两个图像之间存在点扩散函数的形状或者焦深的差异的情况下，如例如光圈的大小改变的情况一样，错误的聚焦位置估计结果经常被输出。
因此，当获取要在双图像匹配处理中使用的两个图像时，控制单元260获取成像单元220的光圈值(F值)(461至466)。然后，控制单元260确定获取的两个光圈值之间的差是否等于或大于阈值(用于双图像匹配处理的确定处理)(416,426和436)。
如果两个光圈值之间的差小于阈值，则双图像匹配AF处理单元280通过使用与两个光圈值的获取的时间相对应的两个图像来执行双图像匹配处理(412、422和432)。然后，控制单元260使历史信息保持单元261保持由双图像匹配AF处理单元280执行的双图像匹配处理的处理结果作为历史信息(413、423和433)。
另一方面，如果两个光圈值之间的差等于或大于阈值，则双图像匹配AF处理单元280在双图像匹配处理(412、422和432)中不使用与两个光圈值的获取的时间相对应的两个图像。也就是说，在两个光圈值之间的差大于阈值(例如，0)时，控制单元260确定AF模式切换是否必要，而无需使用作为历史的匹配处理结果。
此外，控制单元260可以在两个光圈值之间的差大于阈值的条件下设定对比度AF模式(第一模式)。
虽然图7至9示出了从每隔一个帧获得信息(角速度、亮度检测值或光圈值)，但是，可以从每一个帧获得信息，或者，可以每三个帧或更多个帧获得一次信息。
虽然图7至图9示出了通过使用关于每隔一个帧的信息(角速度、亮度检测值或光圈值)来确定双图像匹配处理的必要或不必要的示例，但是，可以通过使用所有的信息(角速度、亮度检测值和光圈值)来确定双图像匹配处理的必要或不必要。这种示例在图10和图11中示出。
[成像设备的示例操作]
图10是示出本技术的第一实施例的要由成像设备100执行的AF处理中的处理过程的示例的流程图。在本示例中，每当成像单元220在运动图像捕获模式中产生图像时进行这些处理过程。在这些处理过程中，例如，从彼此相隔一个帧的帧中获取要在双图像匹配处理中使用的两个图像。
首先，控制单元260确定是否获取了要在双图像匹配处理中使用的两个图像(第一图像和第二图像)(步骤S901)。如果尚未获取两个图像(或者，如果只获取了一个图像)(步骤S901)，则操作进入步骤S905。
如果获取了两个图像(步骤S901)，则控制单元260执行用于双图像匹配处理的确定处理(步骤S920)。稍后将参照图11详细地描述该确定处理。
然后，控制单元260通过用于双图像匹配处理的确定处理来确定该双图像匹配处理是否可能(步骤S902)。如果确定双图像匹配处理不可能，则操作进入步骤S905。如果确定双图像匹配处理可能(步骤S902)，则控制单元260通过使用获取的两个图像来执行双图像匹配处理(步骤S903)。然后，控制单元260使历史信息保持单元261保持双图像匹配处理的处理结果作为历史信息(步骤S904)。
然后，控制单元260确定当前设定的AF模式是对比度AF模式还是双图像匹配AF模式(步骤S905)。如果当前设定的AF模式是对比度AF模式(步骤S905)，则控制单元260确定聚焦透镜是否会聚于一个位置上(步骤S906)。如果聚焦透镜会聚于一个位置上(步骤S906)，则控制单元260确定是否满足第一条件(图6中示出)(步骤S907)。
如果满足第一条件(步骤S907)，则控制单元260设定双图像匹配AF模式(步骤S908)。也就是说，AF模式从对比度AF模式切换到双图像匹配AF模式。
如果聚焦透镜没有会聚于任何位置上(步骤S906)，或者，如果不满足第一条件(步骤S907)，则控制单元260不改变AF模式(步骤S909)。也就是说，由于对比度AF模式被设定为AF模式，则对比度AF处理单元270执行对比度AF处理(步骤S909)。
如果当前设定的AF模式是双图像匹配AF模式(步骤S905)，则控制单元260确定是否满足第二条件(图6中示出)(步骤S910)。如果满足第二条件(步骤S910)，则控制单元260设定对比度AF模式(步骤S911)。也就是说，AF模式从双图像匹配AF模式切换到对比度AF模式。
如果不满足第二条件(步骤S910)，则控制单元260不改变AF模式(步骤S912)。也就是说，由于双图像匹配AF模式被设定为AF模式，则双图像匹配AF处理单元280执行双图像匹配处理(步骤S912)。应该注意到，步骤S909是权利要求中的第一处理步骤的示例。步骤S912是权利要求中的第二处理步骤的示例。步骤S905至S908,S910和S911是权利要求中的控制步骤的示例。
图11是示出本技术的第一实施例的要由成像设备100执行的双图像匹配处理的处理过程当中的确定处理的过程(图10中示出的步骤S920中的处理过程)的流程图。
首先，姿势检测单元210检测成像设备100的姿势(步骤S921)。控制单元260基于成像设备100的当前检测到的姿势和成像设备100的先前检测到的姿势来计算出姿势(角速度)的变化，并且，确定角速度是否低于阈值(步骤S922)。
如果角速度低于阈值(步骤S922)，则控制单元260计算出由成像单元220产生的图像中的亮度检测值(步骤S923)。然后，控制单元260确定当前计算出的亮度检测值和先前计算出的亮度检测值之间的差是否小于阈值(步骤S924)。
如果该差小于阈值(步骤S924)，则控制单元260获取成像单元220中的光圈值(步骤S925)。然后，控制单元260确定当前获取的光圈值和先前获取的光圈值之间的差是否小于阈值(步骤S926)。
如果该差小于阈值(步骤S926)，则控制单元260确定双图像匹配处理是可能的(步骤S927)。
如果角速度等于或大于阈值(步骤S922)，则控制单元260确定双图像匹配处理是不可能的(步骤S928)。同样地，如果亮度检测值之间的差等于或大于阈值(步骤S924)，或者，如果光圈值之间的差等于或大于阈值(步骤S926)，则控制单元260确定双图像匹配处理是不可能的(步骤S928)。
如上所述，根据本技术的第一实施例，对诸如与对比度AF不兼容的高亮度点光源的对象执行双图像匹配AF。因此，可以将聚焦透镜移动到正确的聚焦位置附近。此外，由于在聚焦位置的附近设定对比度AF模式，所以可以在聚焦位置的附近保持精度。
此外，可以防止导致错误地估计的聚焦位置的双图像匹配处理的执行。因此，可以提高聚焦透镜移动方向和距离的精度。此外，可以改善AF的错误率和速度。此外，可以预先避免不必要的计算。也就是说，可以执行适当的聚焦控制。
如上所述，根据本技术的第一实施例，可以实现双图像匹配处理中的混合运动图像AF。
虽然包括成像单元220的成像设备100已经被描述为本技术的第一实施例的示例，但是，本技术的实施例可以适用于可从其拆卸下成像单元的成像设备(电子装置)。此外，本技术的实施例可以适用于电子装置，例如，具有成像功能的便携式电话装置和具有成像功能的便携式终端装置(例如，智能电话)。
应该注意到，上述的实施例仅仅是用于实现本技术的示例，并且，本实施例中的主题对应于权利要求中的本发明的各个主题。同样地，权利要求中的发明的主题对应于本技术的实施例中的具有类似名称的各个主题。但是，本技术并不限于实施例，并且，也可以通过在不脱离本技术的范围的情况下对实施例进行各种修改来实现。
在上述的实施例中描述的处理过程可以被视为包括一系列过程的方法，并且，也可以被视为用于使计算机进行该系列过程的程序或者存储该程序的记录介质。该记录介质可以是CD(压缩盘)、MD(迷你盘)、DVD(数字多功能盘)、存储器卡、蓝光盘(Blu-ray Disc，注册商标)等。
本技术也可以为如下形式。
(1)一种成像设备，包括：控制单元，用于执行控制以基于预定的条件来设定第一模式或第二模式，所述第一模式是用于通过基于由成像单元产生的图像中的对比度移动聚焦透镜来执行自动聚焦处理，所述第二模式是用于通过基于在第一图像和第二图像之间执行的匹配处理的结果移动聚焦透镜来执行自动聚焦处理，所述第一图像和第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的。
(2)根据(1)的成像设备，其中，所述控制单元基于聚焦透镜的位置和匹配处理的结果的历史来确定所述第一模式和所述第二模式之间的切换是否必要。
(3)根据(1)或(2)的成像设备，其中，在设定所述第一模式的情况下，所述控制单元在满足预定的条件时执行控制以设定第二模式，所述预定的条件是：聚焦透镜的位置收敛，并且，聚焦透镜的该位置和基于匹配处理的结果的历史估计的聚焦位置之间的差大于阈值。
(4)根据(1)至(3)中的任一项的成像设备，其中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值。
(5)根据(1)至(4)中的任一项的成像设备，其中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值，并且，估计的聚焦位置的历史的加权分布小于阈值。
(6)根据(2)的成像设备，还包括：
姿势检测单元，用于检测成像设备的姿势的变化，
其中，在检测到的姿势变化大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
(7)根据(2)的成像设备，其中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
(8)根据(2)的成像设备，在产生所述第一图像时的光圈值和产生所述第二图像时的光圈值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
(9)根据(1)至(8)中的任一项的成像设备，还包括：
姿势检测单元，用于检测成像设备的姿势的变化，
其中，在检测到的姿势变化大于阈值时，所述控制单元执行控制以设定所述第一模式。
(10)根据(1)至(9)中的任一项的成像设备，其中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之差大于阈值时，所述控制单元执行控制以设定第一模式。
(11)根据(1)至(10)中的任一项的成像设备，其中，在产生所述第一图像时的光圈值和产生所述第二图像时的光圈值之间的差大于阈值时，所述控制单元执行控制以设定第一模式。
(12)一种用于控制成像设备的方法，包括：
第一处理步骤，在设定第一模式时，通过基于由成像单元产生的图像中的对比度来移动聚焦透镜，执行自动聚焦处理；
第二处理步骤，在设定第二模式时，通过基于在第一图像和第二图像之间执行的匹配处理的结果来移动聚焦透镜，执行自动聚焦处理，所述第一图像和所述第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的；
控制步骤，基于预定的条件执行控制以设定所述第一模式或所述第二模式。
(13)一种程序，用于使计算机执行：
第一处理步骤，在设定第一模式时，通过基于由成像单元产生的图像中的对比度来移动聚焦透镜，执行自动聚焦处理；
第二处理步骤，在设定第二模式时，通过基于在第一图像和第二图像之间执行的匹配处理的结果来移动聚焦透镜，执行自动聚焦处理，所述第一图像和所述第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的；
控制步骤，基于预定的条件执行控制以设定所述第一模式或所述第二模式。
附图标记列表
100 成像设备
101 成像透镜
102 成像器件
103 模拟信号处理单元
104A/D 转换器
105 数字信号处理单元
106 液晶面板
107 取景器
108 记录装置
109 对象检测单元
110 陀螺仪传感器
120 控制单元
131 EEPROM
132 ROM
133 RAM
140 操作单元
151 TG
152 马达驱动器
153 聚焦透镜驱动马达
154 变焦透镜驱动马达
210 姿势检测单元
220 成像单元
230 图像处理单元
240 记录控制单元
241 内容存储单元
250 显示控制单元
251 显示单元
260 控制单元
261 历史信息保持单元
270 对比度AF处理单元
280 双图像匹配AF处理单元
290 操作接收单元

Claims (13)

1.一种成像设备，包括：
控制单元，被配置为执行控制以基于预定的条件来设定第一模式和第二模式中的一个，所述第一模式是用于通过基于由成像单元产生的图像中的对比度移动聚焦透镜来执行自动聚焦处理，所述第二模式是用于通过基于在第一图像和第二图像之间执行的匹配处理的结果移动聚焦透镜来执行自动聚焦处理，所述第一图像和第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的。
2.根据权利要求1所述的成像设备，其中，所述控制单元基于聚焦透镜的位置和匹配处理的结果的历史来确定所述第一模式和所述第二模式之间的切换是否必要。
3.根据权利要求1所述的成像设备，其中，在设定所述第一模式的情况下，所述控制单元在满足预定的条件时执行控制以设定第二模式，所述预定的条件是：聚焦透镜的位置收敛，并且，聚焦透镜的该位置和基于匹配处理的结果的历史估计的聚焦位置之间的差大于阈值。
4.根据权利要求1所述的成像设备，其中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值。
5.根据权利要求1所述的成像设备，其中，在设定所述第二模式的情况下，所述控制单元在满足预定的条件时执行控制以设定所述第一模式，所述预定的条件是：聚焦透镜的位置和基于匹配处理的结果的历史估计的聚焦位置之间的差小于阈值，并且，估计的聚焦位置的历史的加权分布小于阈值。
6.根据权利要求2所述的成像设备，还包括：
姿势检测单元，被配置为检测成像设备的姿势的变化，
其中，在检测到的姿势变化大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
7.根据权利要求2所述的成像设备，其中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
8.根据权利要求2所述的成像设备，其中，在产生所述第一图像时的光圈值和产生所述第二图像时的光圈值之间的差大于阈值时，所述控制单元确定切换是否必要，而无需使用作为历史的匹配处理的结果。
9.根据权利要求1所述的成像设备，还包括：
姿势检测单元，被配置为检测成像设备的姿势的变化，
其中，在检测到的姿势变化大于阈值时，所述控制单元执行控制以设定所述第一模式。
10.根据权利要求1所述的成像设备，其中，在所述第一图像中的亮度检测值和所述第二图像中的亮度检测值之差大于阈值时，所述控制单元执行控制以设定第一模式。
11.根据权利要求1所述的成像设备，其中，在产生所述第一图像时的光圈值和产生所述第二图像时的光圈值之间的差大于阈值时，所述控制单元执行控制以设定第一模式。
12.一种用于控制成像设备的方法，包括：
第一处理步骤，在设定第一模式时，通过基于由成像单元产生的图像中的对比度来移动聚焦透镜，执行自动聚焦处理；
第二处理步骤，在设定第二模式时，通过基于在第一图像和第二图像之间执行的匹配处理的结果来移动聚焦透镜，执行自动聚焦处理，所述第一图像和所述第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的；
控制步骤，基于预定的条件执行控制以设定所述第一模式和所述第二模式中的一个。
13.一种程序，用于使计算机执行：
第一处理步骤，在设定第一模式时，通过基于由成像单元产生的图像中的对比度来移动聚焦透镜，执行自动聚焦处理；
第二处理步骤，在设定第二模式时，通过基于在第一图像和第二图像之间执行的匹配处理的结果来移动聚焦透镜，执行自动聚焦处理，所述第一图像和所述第二图像是在聚焦透镜位于不同的位置处的情况下由成像单元产生的；
控制步骤，基于预定的条件执行控制以设定所述第一模式和所述第二模式中的一个。
CN201280061533.XA 2011-12-22 2012-12-17 成像设备、控制成像设备的方法和程序 Pending CN103988107A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-280956 2011-12-22
JP2011280956A JP2013130761A (ja) 2011-12-22 2011-12-22 撮像装置、その制御方法およびプログラム
PCT/JP2012/082626 WO2013094551A1 (ja) 2011-12-22 2012-12-17 撮像装置、その制御方法およびプログラム

Publications (1)

Publication Number Publication Date
CN103988107A true CN103988107A (zh) 2014-08-13

Family

ID=48668441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280061533.XA Pending CN103988107A (zh) 2011-12-22 2012-12-17 成像设备、控制成像设备的方法和程序

Country Status (4)

Country Link
US (1) US20140320704A1 (zh)
JP (1) JP2013130761A (zh)
CN (1) CN103988107A (zh)
WO (1) WO2013094551A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635555A (zh) * 2014-11-07 2016-06-01 青岛海尔智能技术研发有限公司 摄像头聚焦控制方法、摄像设备和可穿戴式智能终端

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552630B2 (en) * 2013-04-09 2017-01-24 Honeywell International Inc. Motion deblurring
JP6438276B2 (ja) * 2014-11-04 2018-12-12 オリンパス株式会社 顕微鏡システム
JP6525809B2 (ja) * 2015-08-18 2019-06-05 キヤノン株式会社 焦点検出装置及びその制御方法
JP6896543B2 (ja) * 2017-07-19 2021-06-30 オリンパス株式会社 計測装置および計測装置の作動方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433824B1 (en) * 1906-12-09 2002-08-13 Canon Kabushiki Kaisha Apparatus for picking up images of photographed and unphotographed subjects
JP3823921B2 (ja) * 2002-12-27 2006-09-20 コニカミノルタフォトイメージング株式会社 撮像装置
JP2007139893A (ja) * 2005-11-15 2007-06-07 Olympus Corp 合焦検出装置
KR100806690B1 (ko) * 2006-03-07 2008-02-27 삼성전기주식회사 자동초점 수행 방법 및 이를 이용한 자동초점 조정장치
JP2007248782A (ja) * 2006-03-15 2007-09-27 Olympus Imaging Corp 焦点調節装置およびカメラ
US8121470B2 (en) * 2006-07-25 2012-02-21 Canon Kabushiki Kaisha Focusing device, image pick-up apparatus, and control method
JP2009152725A (ja) * 2007-12-19 2009-07-09 Fujifilm Corp 自動追跡装置及び方法
JP2009294416A (ja) * 2008-06-05 2009-12-17 Sony Corp 撮像装置およびその制御方法
US8237807B2 (en) * 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5113669B2 (ja) * 2008-08-19 2013-01-09 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2010139666A (ja) * 2008-12-10 2010-06-24 Canon Inc 撮像装置
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
JP5609270B2 (ja) * 2010-05-28 2014-10-22 ソニー株式会社 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105635555A (zh) * 2014-11-07 2016-06-01 青岛海尔智能技术研发有限公司 摄像头聚焦控制方法、摄像设备和可穿戴式智能终端

Also Published As

Publication number Publication date
US20140320704A1 (en) 2014-10-30
JP2013130761A (ja) 2013-07-04
WO2013094551A1 (ja) 2013-06-27

Similar Documents

Publication Publication Date Title
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
US9313419B2 (en) Image processing apparatus and image pickup apparatus where image processing is applied using an acquired depth map
CN103733607B (zh) 用于检测运动物体的装置和方法
JP5394296B2 (ja) 撮像装置及び画像処理方法
CN100545733C (zh) 成像设备、成像设备的控制方法以及计算机程序
CN104052925A (zh) 显示设备和显示设备的控制方法
GB2545551A (en) Imaging device and imaging method
CN102959943A (zh) 立体全景图像合成装置、图像捕获装置、立体全景图像合成方法、记录介质、以及计算机程序
KR20120022512A (ko) 전자 카메라, 화상 처리 장치 및 화상 처리 방법
JP5709816B2 (ja) 撮像装置、その制御方法、および制御プログラム、並びに記録媒体
CN102196166A (zh) 摄像装置及显示方法
CN103731604A (zh) 追踪装置及追踪方法
US8896670B2 (en) Image processing device, image processing method, and program
CN103813093A (zh) 摄像装置及其摄像方法
CN103988107A (zh) 成像设备、控制成像设备的方法和程序
CN104902182A (zh) 一种实现连续自动对焦的方法和装置
CN103905725A (zh) 图像处理设备和图像处理方法
JP2021176243A (ja) 画像処理装置およびその制御方法、ならびに撮像装置
JP2017129788A (ja) 焦点検出装置及び方法、及び撮像装置
US9407811B2 (en) Focus control unit in imaging apparatus, method of controlling the focus control unit and medium for controlling the focus control unit
CN104038689B (zh) 图像处理装置和图像处理方法
JP2009105851A (ja) 撮像装置、その制御方法およびプログラム
JP2014057261A (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
US11854239B2 (en) Image processing device, imaging device, image processing method, and recording medium
JP5743710B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C05 Deemed withdrawal (patent law before 1993)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140813