CN107864315A - 摄像设备、摄像设备的控制方法和记录介质 - Google Patents

摄像设备、摄像设备的控制方法和记录介质 Download PDF

Info

Publication number
CN107864315A
CN107864315A CN201710805640.3A CN201710805640A CN107864315A CN 107864315 A CN107864315 A CN 107864315A CN 201710805640 A CN201710805640 A CN 201710805640A CN 107864315 A CN107864315 A CN 107864315A
Authority
CN
China
Prior art keywords
image
focal position
goal
picture pick
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710805640.3A
Other languages
English (en)
Other versions
CN107864315B (zh
Inventor
铃木孝幸
高桥阳
高桥阳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016183798A external-priority patent/JP6728005B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107864315A publication Critical patent/CN107864315A/zh
Application granted granted Critical
Publication of CN107864315B publication Critical patent/CN107864315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种摄像设备、摄像设备的控制方法和记录介质。该摄像设备设置多个目标焦点位置，使图像传感器拍摄对应于目标焦点位置的多个图像，并且计算多个拍摄图像的相对于被摄体的焦点位置。在摄像设备顺次拍摄第一图像和第二图像、并且拍摄该第一图像时所计算出的焦点位置和拍摄该第二图像时所计算出的焦点位置之间的差高于预定阈值的情况下，该摄像设备重新设置针对随后要拍摄的图像的目标焦点位置中的部分目标焦点位置。

Description

摄像设备、摄像设备的控制方法和记录介质
技术领域
本发明涉及被配置为将图像合成的摄像设备。
背景技术
在要拍摄从照相机起的不同距离处的多个被摄体的情况下、或者在要拍摄在深度方向上长的被摄体的情况下，由于摄像光学***中的景深不足，因此仅可以使被摄体的一部分聚焦。
因此，已知如下的技术(以下还称为景深合成(focus stacking))(参考日本特开2002-84444)，其中该技术通过改变焦点位置来拍摄多个图像，从这些图像中仅提取聚焦区域，并且将这些聚焦区域合成为一个图像以生成整个拍摄区域聚焦的合成图像。可以使用该景深合成技术来获取期望被摄体整体聚焦的图像。
然而，在通过应用景深合成技术进行摄像操作期间发生照相机抖动的情况下，可能发生以下问题。
图22A-22C示出景深合成中的照相机抖动。图22A示出通过使用理想的景深合成的摄像。参考图22A，用户将数字照相机放置于位置2201，并且对照相机进行操作，以通过使照相机的焦点位置移动预定距离2202来进行多次拍摄。
图22B示出在图22A所示的摄像中拍摄第三个图像时发生照相机抖动的情况。使摄像位置2201在光轴方向上向后移动可以使焦点位置位于比原本应当进行摄像的距离更短的距离处。参考图22C，在拍摄到四个图像的情况下，在与图22B的照相机抖动的方向相反的方向上可能发生照相机抖动。在这种情况下，这四个图像是在比原本应当拍摄到图像的焦点位置更远的位置处拍摄到的。将如图22C那样所拍摄到的多个图像合成可以得到在区域2203中无聚焦图像的具有模糊部分的合成图像。
发明内容
本发明是考虑到该问题而作出的，并且提供如下的摄像设备，其中在要将不同的焦点位置处所拍摄到的多个图像合成的情况下，该摄像设备可以生成由于照相机抖动而产生的模糊减少的合成图像。
根据本发明的方面的一种摄像设备，包括：图像传感器；处理器；以及存储器，其包括指令，其中所述指令在由所述处理器执行的情况下，使所述处理器进行以下操作：设置多个目标焦点位置；使所述图像传感器拍摄对应于所述目标焦点位置的多个图像；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，所述指令还使所述处理器进行以下操作：基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重新设置所述目标焦点位置中的至少部分目标焦点位置。
根据本发明的另一方面的一种摄像设备，包括：图像传感器，其包括针对一个微透镜具有多个光电转换单元的传感器阵列；处理器；以及存储器，其包括指令，其中所述指令在由所述处理器执行的情况下，使所述处理器进行以下操作：设置多个目标焦点位置；使所述图像传感器拍摄对应于所述目标焦点位置的多个图像；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，所述指令还使所述处理器进行以下操作：基于所述多个目标焦点位置与针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像的至少部分图像来重建相对于至少一个目标焦点位置聚焦的图像。
根据本发明的另一方面的一种摄像设备的控制方法，包括以下步骤：设置多个目标焦点位置；使图像传感器拍摄对应于所述目标焦点位置的多个图像；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重建所述目标焦点位置中的至少部分目标焦点位置。
根据本发明的另一方面的一种摄像设备的控制方法，包括以下步骤：设置多个目标焦点位置；使具有传感器阵列的图像传感器拍摄对应于所述目标焦点位置的多个图像，其中所述传感器阵列针对一个微透镜具有多个光电转换单元；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，基于所述多个目标焦点位置和针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像中的至少部分图像来重建具有与至少一个目标焦点位置相对应的焦点位置的图像。
根据本发明的另一方面的一种记录介质，用于存储使计算机执行摄像设备的控制方法的程序，所述控制方法包括以下步骤：设置多个目标焦点位置；使图像传感器拍摄对应于所述目标焦点位置的多个图像；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重建所述目标焦点位置中的至少部分目标焦点位置。
根据本发明的另一方面的一种记录介质，用于存储使计算机执行摄像设备的控制方法的程序，所述控制方法包括以下步骤：设置多个目标焦点位置；使具有传感器阵列的图像传感器拍摄对应于所述目标焦点位置的多个图像，其中所述传感器阵列针对一个微透镜具有多个光电转换单元；以及计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，其中，基于所述多个目标焦点位置和针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像中的至少部分图像来重建具有与至少一个目标焦点位置相对应的焦点位置的图像。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1示出作为根据本发明实施例的摄像设备的示例的数字照相机的外观。
图2是示出根据本发明实施例的数字相机的构造的框图。
图3A示出根据第一实施例的在一个像素中具有两个光电转换单元的摄像装置的构造。
图3B示出根据第一实施例的在一个像素中具有四个光电转换单元的摄像装置的构造。
图4示出根据第一实施例的向像素的光信号的输入。
图5是说明根据第一实施例的景深合成处理的流程图。
图6是说明根据第一实施例的拍摄图像评价处理的流程图。
图7是说明根据第一实施例的焦点位置的校正的流程图。
图8A示出在根据第一实施例的景深合成中没有发生照相机抖动的状态。
图8B示出在根据第一实施例的景深合成中在光轴方向的前侧发生照相机抖动的状态。
图8C示出在根据第一实施例的景深合成中在光轴方向的前侧发生照相机抖动的状态。
图8D示出在根据第一实施例的景深合成中在光轴的无限远端侧发生照相机抖动的情况下要进行的校正示例的状态。
图8E示出在根据第一实施例的景深合成中在光轴的无限远端侧发生照相机抖动的情况下要进行的另一校正示例。
图8F示出在根据第一实施例的景深合成中在光轴的无限远端侧发生照相机抖动的情况下要进行的另一校正示例。
图9示出根据第二实施例的数字单镜头反光照相机的构造。
图10是说明根据第二实施例的景深合成的流程图。
图11是说明根据第三实施例的景深合成的流程图。
图12A示出根据第三实施例的对比度分析所要使用的图像。
图12B是示出根据第三实施例的针对关注点处的对比度的分析的结果的图。
图12C是示出根据第三实施例的在没有发生照相机抖动的情况下针对对比度的分析的结果。
图12D示出根据第三实施例的在前侧发生照相机抖动的情况下针对对比度的分析的结果。
图12E示出根据第三实施例的在无限远端侧发生照相机抖动的情况下针对对比度的分析的结果。
图13示出根据第四实施例的图像传感器中所包括的传感器的阵列。
图14示出根据第四实施例的向像素的光信号的输入。
图15A是根据第四实施例的摄像透镜的开口的沿光轴方向的图。
图15B是根据第四实施例的一个微透镜和配置于该微透镜的后方的像素阵列的沿光轴方向的图。
图16说明根据第四实施例的再聚焦面的计算。
图17说明根据第四实施例的再聚焦范围。
图18是说明第四实施例的流程图。
图19是说明根据第四实施例的再聚焦图像的生成的流程图。
图20说明根据第四实施例的在步骤中判断为可以进行再聚焦的情况下的再聚焦处理的示例。
图21说明根据第四实施例的在步骤中判断为不能进行再聚焦的情况下的焦点位置的重新设置和后续再聚焦的示例。
图22A示出根据景深合成的现有技术的在没有发生照相机抖动的情况下的状态。
图22B示出根据景深合成的现有技术的在最小被摄体距离侧发生照相机抖动的情况下的状态。
图22C示出根据景深合成的现有技术的在无限远端侧发生照相机抖动的情况下的状态。
具体实施方式
以下将参考附图来详细说明本发明的实施例。以下将以数字照相机作为示例进行说明，但本发明还可应用于能够调整焦点位置的任何摄像设备。
第一实施例
图1示出作为根据第一实施例的摄像设备的示例的数字照相机的外观。监视器101被配置为显示图像和信息。快门按钮102是为了给出摄像指示所设置的。模式选择开关103是为了改变模式所设置的。连接器104被配置为使连接线缆105和数字照相机相连接。控制轮106是可以可转动地进行操作的操作构件。开关107是电源开关，并且可用于在电源接通和电源断开之间进行切换。存储卡108是记录介质。槽109是用于存放存储卡108的槽。槽109中所存放的存储卡108可以与数字照相机的主体进行通信。盖110供槽109所用。
图2是示出根据本实施例的数字照相机的构造的框图。数字照相机200可以拍摄静止图像，并且可以记录与焦点位置有关的信息，计算对比度值，并且可以合成图像。数字照相机200可以对拍摄并保存的图像和从外部输入的图像进行放大处理和缩小处理。
控制电路201可以是诸如CPU和MPU等的信号处理器，并且通过预先读取以下所述的ROM 205中所包含的程序来控制数字照相机200的各组件。例如，控制电路201可以将与摄像的终止和完成相关联的命令发送至如以下所述的图像传感器204。可选地，基于预先准备的设置，将与图像处理相关联的命令发送至如以下所述的图像处理电路207。用户的命令通过以下所述的操作构件210被输入至数字照相机200，并且经由控制电路201到达数字照相机200的相应组件。
驱动装置202例如可以包括马达，并且基于来自控制电路201的命令来使以下所述的光学***203机械地进行工作。例如，基于来自控制电路201的命令，驱动装置202使光学***203中所包括的调焦透镜的位置移动，以调整光学***203的焦距。
光学***203例如可以包括变焦透镜、调焦透镜和光圈。光圈是被配置为调整透过光量的机构。改变透镜的位置可以改变焦点位置。然而，这里，除非另外说明，否则术语“焦点位置”是以被摄体为基准所定义的。
图像传感器204是光电转换器，并且可以进行光电转换，其中该光电转换包括将所输入的光信号光电转换成电气信号。例如，作为图像传感器204，可应用CCD或CMOS传感器。以下将详细说明图像传感器的构造。图像传感器204具有运动图像拍摄模式，并且可以拍摄在时间上连续的多个图像作为运动图像的各帧。
ROM 205是作为记录介质的只读非易失性存储器，并且存储数字照相机200中所包括的各块所用的操作程序以及各块的操作所用的参数。RAM206是可重写的易失性存储器，并且可用作针对通过数字照相机200中所包括的各块进行的操作所输出的数据的临时存储区域。
图像处理电路207被配置为对从图像传感器204输出的图像的数据或者以下所述的内部存储器209中所记录的图像信号进行诸如白平衡调整、颜色插值和滤波等的各种图像处理。图像处理电路207还被配置为对图像传感器204所拍摄到的图像信号的数据进行基于诸如JPEG等的标准的压缩处理。
图像处理电路207包括包含被配置为进行特定处理的电路的集成电路(ASIC)。可选地，控制电路201可以基于从ROM 205读出的程序来进行处理，使得控制电路201还可以使用图像处理电路207的功能的一部分或全部。在控制电路201使用图像处理电路207的全部功能的情况下，可以不必设置图像处理电路207作为硬件。
显示装置208可以是液晶显示器或有机电致发光显示器，其中该液晶显示器或有机电致发光显示器被配置为显示RAM 206中临时保存的图像、以下所述的内部存储器209中所保存的图像或者数字照相机200的设置画面。图1所示的监视器101与显示装置208相对应。
内部存储器209被配置为存储图像传感器204所拍摄到的图像、经过了图像处理电路207的处理的图像和与摄像时的焦点位置有关的信息。代替这种内部存储器，可以使用如图1所示的存储卡108。
操作构件210可以是安装至数字照相机200的按钮、开关、键或模式拨盘等、或者兼用作显示装置208的触摸面板。来自用户的命令经由操作构件210到达控制电路201。图1所示的快门按钮102、模式选择开关103、控制轮106和开关107与操作构件210相对应。
设备运动检测装置211可以是陀螺仪传感器，并且被配置为检测数字照相机200的运动，并且基于数字照相机200的每单位时间的角度变化(即，角速度)来检测横摆方向和俯仰方向上的运动。
图3A和3B示出根据本实施例的图像传感器204中所包括的传感器的阵列。图3A示出各自具有可以彼此独立地读取光信号的两个光电转换单元301和302的像素300。然而，各个像素可以具有包括三个以上的光电转换单元的构造。例如，图3B示出各自具有包括四个光电转换单元311-314的构造的像素310。以下说明基于一个像素具有两个光电转换单元的构造。
图4示出根据本实施例的向像素的光信号的输入。
参考图4，像素阵列401具有微透镜402、颜色滤波器403以及光电转换单元404和405。光电转换单元404和405属于同一像素，并且与微透镜402和颜色滤波器403相对应。图4是示出数字照相机的与一个像素相对应的水平排列的两个光电转换单元404和405的俯视图。在从出射光瞳406发出的光束中，以光轴409作为边界，(与来自区域407的光束相对应的)上侧光束入射到光电转换单元405，并且(与来自区域408的光束相对应的)下侧光束入射到光电转换单元404。换句话说，光电转换单元404和405接收到来自摄像透镜的出射光瞳的不同区域的光束。在从光电转换单元404接收到的信号与图像A相对应、并且从光电转换单元405接收到的信号与图像B相对应的情况下，控制电路201可以基于图像A和图像B之间的相位差来计算散焦量，以获取距离信息。
图5是说明根据本实施例的景深合成处理的流程图。
在来自用户的命令经由操作构件210到达控制电路201的情况下，开始景深合成处理。在步骤S501中，控制电路201设置基于数字照相机200的被摄体深度来拍摄第一个图像的焦点位置、拍摄第二个图像及其后续图像时的图像之间的焦点位置的变化量、以及要拍摄的图像的数量。利用这些值，计算并设置多个焦点位置。接着，在步骤S502中，控制电路201使光学***203中所包括的透镜移动，以使数字照相机200的焦点位置改变。对于第一个图像，使透镜移动至预先设置的焦点位置。对于第二个图像及其后续图像，使透镜移动至预先设置的焦点位置中尚未进行拍摄操作的焦点位置中的最小被摄体距离侧或无限远端侧的焦点位置。在步骤S503中，对图像传感器204进行控制以进行拍摄操作。在步骤S504中，控制电路201评价步骤S503中所拍摄到的图像。以下将详细说明针对拍摄图像要进行的评价。
在步骤S505中，控制电路201判断拍摄图像是否满足标准。如果拍摄图像满足标准，则处理进入步骤S506，其中在该步骤S506中，判断是否拍摄到所设置数量的图像。
如果在步骤S505中控制电路201判断为拍摄图像不满足标准，则在步骤S507中校正针对下一拍摄操作所设置的焦点位置，并且处理返回至步骤S502。以下将详细说明步骤S507中的针对所设置的焦点位置的校正。
如果在步骤S506中判断为拍摄到了所设置数量的图像，则在步骤S508中，控制电路201进行合成处理以生成合成图像。如果在步骤S506中判断为没有拍摄到所设置数量的图像，则处理返回至步骤S502。
步骤S508中的图像合成可以基于公知方法，并且以下将说明该图像合成的示例。首先，关于对准，通过改变多个图像之间的相对位置来获取两个图像的像素的输出的绝对差总和(SAD)。获取针对这些绝对差总和中的最低值的、两个图像的相对移动量和移动方向。然后，在计算出基于所获取到的移动量和移动方向的仿射变换或投影变换所用的变换系数之后，通过使用最小二乘法来优化该变换系数，使得可以使利用该变换系数设置的移动量和根据绝对差总和所计算出的移动量之间的误差最小化。基于优化后的变换系数，对要对准的图像进行变形处理。图像处理电路207对步骤S503中图像传感器204所拍摄到的所有图像进行该对准和变形处理，然后向各个图像的各个区域赋予合成比率。作为示例，在与同一区域相对应的多个图像中，图像处理电路207向具有聚焦区域的图像的该同一区域中所包括的像素赋予100％的合成比率，并且向其它图像的该同一区域中所包括的像素赋予0％的合成比率。可选地，可以基于各区域的图像的聚焦程度向各个图像的聚焦区域分配合成比率。为了防止合成边界处的不自然，图像处理电路207以逐级方式在相邻像素之间改变合成比率。最后，基于这些像素的合成比率来生成合成图像。
接着，说明步骤S504中的拍摄图像的评价。
图6是示出根据本实施例的拍摄图像评价处理的流程图。在该拍摄图像评价处理开始时，在步骤S601中，控制电路201计算在前一步骤S503中进行拍摄操作的焦点位置。根据本实施例，根据在静止图像拍摄模式中在摄像装置的各像素处的图像A和图像B之间的相位差来计算进行拍摄的焦点位置。
在步骤S602中，控制电路201计算焦点位置的偏移量。根据步骤S601中所获取到的拍摄时的焦点位置和步骤S501中所设置的焦点位置来计算焦点位置的偏移量。例如，在步骤S601中所获取到的焦点位置是第N个拍摄图像上的焦点位置的情况下，可以将该焦点位置与步骤S501中所设置的焦点位置中的第N个焦点位置进行比较，以计算焦点位置的偏移量。
在步骤S603中，控制电路201判断焦点位置的偏移量是否低于或等于预定值。
如果在步骤S603中判断为焦点位置的偏移量高于预定量，则控制电路201使处理进入步骤S604，其中在该步骤S604中，判断为不满足标准并且退出该处理。
如果在步骤S603中判断为焦点位置的偏移量低于或等于预定值，则控制电路201使处理进入步骤S605，其中在该步骤S605中，判断为满足标准并且退出该处理。基于步骤S604或S605的判断结果来进行图5的步骤S505的判断。
到目前为止说明了步骤S504中所进行的用于评价拍摄图像的处理。
接着，将说明步骤S507中所进行的用于校正焦点位置的处理。图7是说明根据本实施例的焦点位置的校正的流程图。
在步骤S701中，控制电路201计算先前摄像操作的焦点位置和当前摄像操作的焦点位置之间的距离。在步骤S702中，控制电路201判断步骤S701中所计算出的图像的焦点位置之间的距离是否高于预定值。该预定值是基于焦距和摄像装置的容许弥散圆直径所确定的。如果距离高于预定值，则在这两个图像中都可能会产生失焦的区域。
如果控制电路201在步骤S702中判断为焦点位置之间的距离高于预定值，则控制电路201使处理进入步骤S703，其中在该步骤S703中，向先前摄像位置和当前摄像位置之间添加新的焦点位置。同时，控制电路201向步骤S506中的图像的预计数量加上1。然后，控制电路201进入步骤S704。在步骤S704中控制电路201添加新的焦点位置的情况下，可以在紧接之后的步骤S503中利用所添加的焦点位置进行摄像。尽管利用所添加的焦点位置的摄像可以在利用其它焦点位置的拍摄完成之后进行，但在这两次摄像之间可能发生照相机抖动。结果，基于该照相机抖动，要再次校正所添加的焦点位置。
另一方面，如果控制电路201在步骤S702中判断为焦点位置之间的距离低于或等于预定值，则不添加新的焦点位置，并且处理进入步骤S704。
在步骤S704中，利用新的焦点位置来更新步骤S501中所设置的焦点位置或者在前次步骤S704中进行处理时所更新的焦点位置。换句话说，更新用于在图6的步骤S602中计算焦点位置的偏移量的基准焦点位置。更具体地，在从最小被摄体距离侧起顺次设置焦点位置以进行拍摄的情况下，以已进行了摄像的焦点位置中的最无限远端侧的焦点位置作为基准，来设置与要拍摄的图像的剩余数量相等数量的焦点位置使其偏移步骤S501中所设置的焦点位置的变化量。换句话说，在已进行了摄像的焦点位置中的最无限远端侧的焦点位置与最初在步骤S501中所设置的焦点位置相比进一步向着最小被摄体距离侧偏移的情况下，将针对剩余拍摄操作所设置的多个焦点位置重新设置到各自向着最小被摄体距离侧偏移了该相等量的位置。在已进行了摄像的焦点位置中的最无限远端侧的焦点位置与最初在步骤S501中所设置的焦点位置相比进一步向着无限远端侧偏移的情况下，将针对剩余拍摄操作所设置的多个焦点位置利用各自向着无限远端侧偏移了该相等量的位置来替代。因而，即使在拍摄处理的中途焦点位置发生偏移的情况下，也可以使随后要拍摄的图像之间的焦点位置的差保持恒定。
控制电路201这样在步骤S704中校正焦点位置，并且退出图7的流程图。
图8A-8F示出根据本实施例的焦点位置的校正。图8A示出在图5的步骤S501中所设置的焦点位置。
图8B示出在拍摄第三个图像的情况下在光轴方向的前侧发生照相机抖动的状态。在焦点位置801、焦点位置802和焦点位置803处，拍摄到第一个图像、第二个图像和第三个图像。实际拍摄到第三个图像的焦点位置803相对于原本拍摄第三个图像的焦点位置偏移了利用箭头821所示的量。该状态在图6的步骤S603中被判断为“否”，并且在图7的步骤S702中被判断为“是”。这里，尽管第三个图像的焦点位置发生偏移，但该焦点位置仅更靠近第二个图像的焦点位置。因此，没有添加焦点位置。
图8C示出要拍摄第四个图像的焦点位置804。在相对于第三个图像的焦点位置803偏移了图5的步骤S501中所设置的变化量的位置处设置该新的焦点位置804。
图8D示出在拍摄第五个图像的情况下在光轴方向的无限远端侧发生照相机抖动的状态。实际拍摄到第五个图像的焦点位置805相对于预计拍摄到第五个图像的焦点位置偏移了利用箭头822所示的量。参考图8D，拍摄第四个图像的焦点位置804和拍摄第五个图像的焦点位置805之间的距离高于预定值。因此，在这些焦点位置之间，在第四个图像和第五个图像这两者中都存在没有包括在景深中的区域。该状态在图6的步骤S603中被判断为“否”，并且在图7的步骤S702中被判断为“否”。
因此，如图8E所示，在焦点位置804和焦点位置805之间设置新的焦点位置811，并且利用焦点位置811进行摄像。用于设置焦点位置811的处理与图7的步骤S703相对应。在焦点位置804和焦点位置805之间的间隔大并且添加一个新的焦点位置不够的情况下，可以添加两个或更多个焦点位置。利用至少一个新添加的焦点位置，图像中的相邻焦点位置之间的距离可以低于或等于预定值。
图8F示出在相对于焦点位置805偏移了在图5的步骤S501中所设置的变化量的位置处设置焦点位置806以进行摄像的状态。
根据第一实施例，在将以不同的焦点位置所拍摄的多个图像合成的情况下，计算实际拍摄到图像的各个焦点位置和预计焦点位置之间的偏移量。因而，可以调整下一拍摄操作的焦点位置，以减少如此得到的合成图像中的模糊。
在前侧发生较大的照相机抖动的情况下，即使拍摄到预计数量的图像，拍摄也有可能在预计焦点位置之前完成。因此，即使在图5的步骤S506中拍摄预计数量的图像完成的情况下，如果最小被摄体距离侧的焦点位置和最无限远端侧的焦点位置之间的间隔小于原本设置的范围，则控制电路201可以添加另一焦点位置以进行拍摄。例如，在上次实际拍摄到图像的焦点位置比根据步骤S501中所设置的值而推导出的最后图像的焦点位置更靠近最初拍摄图像的焦点位置的情况下，可以判断为焦点位置的分布范围窄。另一方面，在无限远端侧照相机抖动的量大、并且作为中途添加焦点位置的结果使得利用原本预计的焦点位置的拍摄在拍摄到预计数量的图像之前完成的情况下，此时拍摄操作可以结束。
第二实施例
根据第二实施例，应用具有与图像传感器分开的焦点检测传感器的摄像设备。将参考附图来说明该摄像设备的详情。将省略与第一实施例和第二实施例有关的任何重复说明。
图9示出数字单镜头反光照相机的构造。尽管以下将基于数字单镜头反光照相机来说明第二实施例，但本发明的实施例不限于此。可以应用以分开方式具有图像传感器和焦点检测传感器的任何摄像设备。在数字单镜头反光照相机900中安装有镜筒901。为了拍摄图像，使镜903和副镜904从摄像光路退避，并且通过了镜筒901的光被引导至摄像传感器902。在拍摄图像之前和之后，如图9所示，被摄像光路上所配置的镜903反射的一部分光因棱镜905而发生弯曲，然后被引导至取景器907。到达镜903的一部分光通过镜903，被连接至镜903的副镜904反射，并且被引导至AF传感器906。AF传感器906可以计算焦点位置的偏移量和偏移方向。
图10是示出根据本实施例的景深合成处理的流程图。步骤S1001-S1008的处理与根据第一实施例的图5中的步骤S501-S508的处理相同。
在步骤S1001中，控制电路201设置初始焦点位置、焦点位置之间的变化量以及拍摄操作的次数，并且在步骤S1011中，使镜903***摄像光路。控制电路201在步骤S1003的拍摄之前的步骤S1013中使镜903从摄像光路退避。
在步骤S1012中，AF传感器906获取测距信息，并且将所获取到的距离信息用于控制电路201要进行的步骤S1004中的拍摄图像的评价。在步骤S1012中获取到测距信息的时间和在步骤S1003中进行摄像的时间之间实际存在差，但该差不大并且不会引起任何问题。因而，可以使用步骤S1012中所获取到的测距信息来在步骤S1004中进行拍摄图像的评价。
根据第二实施例，即使在以分开方式具有图像传感器和焦点检测传感器的摄像设备中，也可以将以不同的焦点位置拍摄的多个图像合成，从而生成模糊减少的合成图像。
第三实施例
根据第三实施例，代替焦点位置的偏移量和偏移方向的直接计算，应用用于基于针对对比度值的分析结果来估计拍摄时的焦点位置以生成拍摄图像的摄像设备。将参考附图来详细说明第三实施例。将省略与第一实施例和第三实施例有关的任何重复说明。
图11是示出根据本实施例的景深合成处理的流程图。
在步骤S1101中，控制电路201基于用户的设置来设置初始焦点位置、焦点位置之间的变化量以及要拍摄的图像的数量。在步骤S1102中，控制电路201使摄像设备的焦点位置移动至步骤S1101中所设置的焦点位置中的最无限远端侧的焦点位置。接着，在步骤S1103中，摄像设备在所设置的焦点位置处进行拍摄操作。
在步骤S1104中，图像处理电路207设置关注点并且分析各图像上的关注点的对比度值。图像处理电路207可以从图像中提取边缘并且可以在该边缘处设置多个关注点。图12A-12E示出根据本实施例的关注点处的对比度值。图12A示出被摄体，并且利用图像处理电路207任意指定区域1201-1204(以下各自被称为关注点)。在以设置的焦点位置所拍摄到的各个图像上，计算并标绘各个关注点的对比度值。因而，可以获取到对比度值和所设置的焦点位置之间的关系。图12B示出表示在图12A的关注点1201-1204处、对比度值和所设置的焦点位置之间的关系的曲线1211-1214。参考图12B，在关注点聚焦的情况下，对比度值增大。随着焦点位置的偏移增大，对比度值减小。在没有发生照相机抖动的情况下，可以获取到图12B中的对比度值和所设置的焦点位置之间的关系。
接着，将参考示例来说明步骤S1104中的针对关注点处的对比度值的分析。为了简单，例如，将仅说明针对关注点1201和1202的分析。图12C示出在实际拍摄操作中关注点1201和1202的焦点位置处的对比度值。参考图12C，由于摄像设备利用离散的焦点位置进行拍摄，因此生成离散的对比度值。然而，图12B中的曲线1211和1212是对比度值的近似曲线。因此，在图像处理电路207可以计算出如图12C所示的对比度值的情况下，控制电路201判断为在拍摄操作期间没有发生照相机抖动，并且不必进行步骤S1105中的焦点位置的添加。
图12D示出在向前侧发生照相机抖动的情况下的对比度值。参考图12D，尽管对比度值以具有相对最大值的方式平滑地改变，但焦点位置1220处的对比度值相对于其它值大幅偏离。曲线1221和1222表示除焦点位置1220处的对比度值以外的对比度值的近似曲线。关注点1201的对比度值1223高于曲线1221上的焦点位置1220处的值，并且关注点1202的对比度值1224低于曲线1222上的焦点位置1220处的值。换句话说，以焦点位置1220所拍摄到的图像上的关注点的对比度值靠近曲线1221和1222上的较近侧的焦点位置的值。因而，控制电路201可以判断为在更近侧发生照相机抖动。
图12E示出在无限远端侧发生照相机抖动的情况下的对比度值。参考图12E，如图12D的情况那样，仅焦点位置1230处的对比度值大于其它值。曲线1231和1232表示除焦点位置1220处的对比度值以外的对比度值的近似曲线。更具体地，关注点1201的对比度值1233低于曲线1231的焦点位置1230处的值。关注点1202的对比度值1234高于曲线1232的焦点位置1230处的值。换句话说，以焦点位置1230拍摄到图像的关注点的对比度值更靠近曲线1231和1232上的更无限远端侧的焦点位置的值。因而，控制电路201可以判断为在无限远端侧发生照相机抖动。
图像处理电路207可以在步骤S1101中设置尽可能多的关注点，以提高照相机抖动的方向的判断准确性。关于步骤S1105中的针对焦点位置的添加的判断，图像处理电路207不使用具有如下对比度值的关注点。根据该关注点的对比度值不能计算出近似曲线。
在发生照相机抖动的情况下，在焦点位置1220或1230处不能拍摄到合成图像的生成可使用的图像。因此，控制电路201在步骤S1105中判断为需要焦点位置的添加。接着，在步骤S1106中，添加焦点位置，并且在步骤S1107中，摄像设备利用所添加的焦点位置来拍摄图像。所添加的焦点位置可以是焦点位置1220或1230，而且在没有发生失焦时间段的情况下，可以是焦点位置1220或1230附近的任意位置。
另一方面，如果在步骤S1105中控制电路201判断为不需要焦点位置的添加，则处理直接进入步骤S1108。在步骤S1108中，图像处理电路207进行合成处理。
根据第三实施例，为了将以不同的焦点位置所拍摄的多个图像合成，可以不直接计算由于照相机抖动所引起的偏移量和偏移方向，而是可以调整下一拍摄操作的焦点位置以生成模糊减少的合成图像。
第四实施例
根据第四实施例，不同于第一实施例至第三实施例，通过使用可再聚焦的摄像装置来尝试图像构造。
根据第四实施例的摄像设备可以与图1和2所示的摄像设备相同。然而，图像传感器204具有与第一实施例至第三实施例的图像传感器不同的构造。
图13示出根据本实施例的图像传感器204中所包括的传感器的阵列。以与多个光电转换单元1301相对应的方式设置一个微透镜131。将一个微透镜后方的多个光电转换单元1301统称为像素阵列130。参考图13，像素阵列130具有5行5列、即总共25个光电转换单元1301。然而，本发明的实施例不限于此。
图14示出根据本实施例的向像素的光信号的输入。
图14示出相对于光轴从垂直方向观看到的如下状态：从摄像透镜141发出的光通过一个微透镜131并且被摄像装置142接收。从摄像透镜141的光瞳区域a1-a5发出的并且通过微透镜131的光聚焦于后方向上的各个光电转换单元p1-p5。
通过使用如图13所示的图像传感器，控制电路201可以基于与一个微透镜相对应的多个光电转换单元所获取到的光信号来获取与被摄体距离有关的信息。
这里，将说明用于计算与特定范围内的被摄体相对应的焦点位置(再聚焦面)的方法。
图15A是从光轴方向看到的摄像透镜141的开口(aperture)的图。图15B是从光轴方向看到的一个微透镜131和配置在后方向的像素阵列130的图。在如图15A所示、将摄像透镜141的光瞳区域分割成数量与一个微透镜的后方向的光电转换单元的数量相等的区域的情况下，从摄像透镜141的一个光瞳分割区域发出的光聚焦于一个光电转换单元。这里，假定在摄像透镜141和微透镜131中给出的附图标记基本一致。
图15A所示的摄像透镜141中的光瞳分割区域a11-a55和图15B所示的像素p11-p55之间的对应关系是相对于光轴Z方向呈点对称。因而，从摄像透镜141的光瞳分割区域a11发出的光聚焦于微透镜的后方向的像素阵列130的像素p11。此外，从光瞳分割区域a11发出的并且通过另一微透镜131的光聚焦于该微透镜的后方向的像素阵列130的像素p11。
像素阵列130中的各光电转换单元接收通过摄像透镜141的彼此不同的光瞳区域的光。将来自分割信号的多个像素信号合成，以生成在水平方向上发生光瞳分割的一对信号。
表达式(1)针对像素阵列130的各个光电转换单元，对通过摄像透镜141的出射光瞳的左侧区域(光瞳区域a11-a52)的光束进行积分。这适用于水平方向上的多个像素阵列130，使得可以利用来自这些像素阵列130的输出信号来构造被称为图像A的被摄体图像。表达式(2)针对一个像素阵列130的各个光电转换单元，对通过摄像透镜141的出射光瞳的右侧区域(光瞳区域a14-a55)的光束进行积分。这适用于在水平方向上排列的多个像素阵列130，使得可以利用来自这些像素阵列130的输出信号来构造被称为图像B的被摄体图像。控制电路201对图像A和图像B进行相关计算以检测图像偏移量(光瞳分割相位差)。可以将该图像偏移量乘以依赖于摄像透镜141的焦点位置和光学***的变换系数，使得可以计算出与画面内的被摄体相对应的焦点位置。
接着，将针对图像传感器204所获取到的拍摄数据说明作为所设置的焦点位置的再聚焦面上的图像重建处理。
图16说明根据本实施例的再聚焦面的计算。参考图16，从相对于光轴Z的垂直方向观看到通过所设置的再聚焦面上的像素的光束是从哪个光瞳分割区域发出的、以及该光束入射到哪个微透镜。图16示出表示摄像透镜141的光瞳分割区域的位置的坐标(u,v)、表示再聚焦面上的像素位置的坐标(x,y)和表示微透镜阵列上的微透镜的位置的坐标(x',y')。图16还示出从摄像透镜起直到微透镜阵列为止的距离的F、以及表示从摄像透镜起直到再聚焦面为止的距离的αF。参考图16，α是用于确定再聚焦面的位置的再聚焦系数，并且可以由用户设置。图16仅示出方向u、x和x'，并且没有示出方向v、y和y'。如图16所示，通过坐标(u,v)和坐标(x,y)的光束到达微透镜阵列上的坐标(x',y')。可以通过以下的表达式(3)来表示坐标(x',y')。
在接收到该光的像素输出L(x',y',u,v)的情况下，在再聚焦面上的坐标(x,y)处所获得的输出E(x,y)等于L(x',y',u,v)关于摄像透镜的光瞳区域的积分的结果，其中可以通过以下的表达式(4)来表示该输出E(x,y)。
由于表达式(4)中的再聚焦系数α是由用户确定的，因此在给出(x,y)和(u,v)的情况下，可以获取到光入射至的微透镜的位置(x',y')。然后，可以从与微透镜相对应的像素阵列130获取到与位置(u,v)相对应的像素。该像素输出L(x',y',u,v)。对所有的光瞳分割区域进行该处理，并且对所获取到的像素输出进行积分以获取E(x,y)。在将(u,v)定义为摄像透镜的光瞳分割区域的代表坐标的情况下，可以通过简单相加来计算表达式(4)中的积分。
到这里为止说明了再聚焦方法。然而，如果再聚焦面不是设置于从拍摄到原始图像所利用的焦点位置起的再聚焦范围的焦点位置处，则难以生成正确的再聚焦图像。这可能因为入射到摄像装置的光束的角度分布、即视差图像的视差量受到摄像透镜和光圈的开口***以及图像传感器中的像素间距所限制。接着，将说明用于计算再聚焦范围的方法。
以下将光的二维强度分布称为光场空间成分。在这种情况下，再聚焦范围依赖于空间成分的采样间距Δy和角度成分的采样间距Δu，并且通过以下的表达式(5)给出该再聚焦范围的系数α±。
图17示出根据本实施例的再聚焦范围。通过表达式(1)表示的图像侧的再聚焦范围(α+)*s2～(α-)*s2和相对于成像光学***171的共轭范围与物体侧的再聚焦范围相对应。这里，s2是成像光学***171的图像侧主面和相对于被摄体面172的成像光学***171的图像侧共轭面之间的距离。
在图17所示的结构示例中，用于拍摄被摄体面172上的同一位置的一维像素周期等于三个像素。因此，空间成分的采样间距Δy是摄像装置的像素间距的三倍。由于对成像光学***171的出射光瞳进行三分割(或者以二维方式进行九分割)，因此角度成分的采样间距Δu是出射光瞳直径的1/3。如果该范围超过通过表达式(5)表示的再聚焦范围，则所获取到的光场缺少信息，结果难以生成正确的再聚焦图像。由于在表达式(5)中摄像装置的像素间距Δ相对于成像光学***171的光瞳距离P十分小，因此可以通过以下的表达式(6)来近似表达式(5)。
这里，成像光学***171的光瞳距离P与成像光学***171的出射光瞳面和相对于被摄体面172的成像光学***171的图像侧共轭面之间的距离相对应。N是成像光学***171的光瞳的一维分割数，F是成像光学***171的F值，并且ΔLA是像素阵列130之间的间距。
到这里为止说明了用于计算再聚焦范围的方法。在下文，除非另外说明，否则术语“再聚焦范围”是指物体侧的再聚焦范围。
图18是说明本实施例的流程图。
在步骤S1801中，控制电路201获取与被摄体有关的距离信息。在步骤S1802中，控制电路201基于与被摄体有关的距离信息和用户的设置来设置焦点位置。作为示例，用户可以首先使用触摸面板来指定要聚焦的区域，并且控制电路201获取与对应的区域有关的距离信息，并基于用户所指定的区域来设置各图像的焦点位置。
在步骤S1803中，控制电路201利用由光学***203进行改变后的所设置的焦点位置来拍摄图像，并且获取与各个拍摄图像有关的距离信息。
在步骤S1804中，控制电路201判断在步骤S1803的拍摄操作期间是否发生包括光轴方向上的运动的照相机抖动。更具体地，控制电路201基于步骤S1804中所获取到的距离信息来计算拍摄操作时的焦点位置。比较所计算出的拍摄操作时的焦点位置和所设置的焦点位置，以判断是否发生照相机抖动。作为示例，可以定义针对焦点位置的差的阈值，并且如果所计算出的拍摄操作时的焦点位置和所设置的焦点位置之间的差等于或高于阈值，则可以判断为发生了照相机抖动。可选地，设备运动检测装置211可以检测拍摄操作期间的摄像设备的运动，并且如果该运动的宽度等于或高于预定阈值，则可以判断为发生了照相机抖动。根据设备运动检测装置211所检测到的摄像设备的运动判断为存在照相机抖动，这样可以不必在步骤S1804中计算拍摄操作时的焦点位置，并且作为代替，在步骤S1805的用于生成再聚焦图像的处理中，计算拍摄操作时的焦点位置。
这里，控制电路201可以检测固定，并且如果检测到数字照相机固定至诸如三脚架等的固定部，则可以判断为没有发生照相机抖动。
如果判断为发生了照相机抖动，则处理进入步骤S1805，其中在该步骤S1805中，生成再聚焦图像。如果判断为没有发生照相机抖动，则省略再聚焦处理，并且为了缩短处理时间，处理直接进入步骤S1806，其中在该步骤S1806中，进行图像合成。步骤S1806中的图像合成以与第一实施例的方式相同的方式生成合成图像。
接着，将详细说明步骤S1805中的再聚焦图像的生成。
图19是说明根据本实施例的再聚焦图像的生成的流程图。在步骤S1901中，如上所述，控制电路201计算再聚焦范围。接着，控制电路201基于所设置的焦点位置和相应拍摄操作时的焦点位置之间的差来计算再聚焦校正量。在步骤S1903中，控制电路201比较再聚焦范围和再聚焦校正量，以判断是否可以进行再聚焦。如果再聚焦校正量超过再聚焦范围，则判断为不能进行再聚焦，并且处理进入步骤S1904。如果再聚焦校正量在再聚焦范围内，则判断为可以进行再聚焦，并且处理直接进入步骤S1906，其中在该步骤S1906中，图像处理电路207进行再聚焦处理。
图20示出在步骤S1903中判断为可以进行再聚焦的情况下的再聚焦处理的示例。图20的(a)示出在步骤S1802中控制电路201所设置的焦点位置。范围2001是不具有被摄体失焦的部分的范围，并且是基于焦距和摄像装置的容许弥散圆直径所确定的。参考图20的(a)，设置多个焦点位置，使得与这些焦点位置相对应的范围2001可以彼此邻接或者可以部分重叠。图20的(b)示出摄像设备实际拍摄所利用的焦点位置。图20的(b)示出除拍摄第一个图像时的焦点位置外的所有焦点位置均相对于所设置的焦点位置发生偏移。在拍摄第二个图像时的焦点位置和拍摄第三个图像时的焦点位置之间，存在具有第二个图像和第三个图像中的图像均未聚焦的状态的区域。由于此，即使在原样使用这些图像来生成合成图像的情况下，如此得到的合成图像也可能包括模糊区域。因此，进行再聚焦。
图20的(c)示出再聚焦处理之后的焦点位置。在图20的(c)的焦点位置处所赋予的编号与赋予至图20的(b)的焦点位置的编号相对应。例如，两次使用具有编号2的焦点位置以进行再聚焦处理。校正量2002表示再聚焦校正量，并且表示通过再聚焦处理新生成的图像和原始图像之间的焦点位置的差。如上所述，如果再聚焦校正量不在再聚焦范围内，则可能无法进行再聚焦校正。在目标焦点位置包括在多个拍摄图像的再聚焦范围中的情况下，可以使用再聚焦校正量较少的图像来进行再聚焦处理。例如，被设置为目标位置的第四个焦点位置可以在应当利用第三个焦点位置进行拍摄的图像的再聚焦范围内，并且在应当利用第四个焦点位置进行拍摄的图像的再聚焦范围内。在这种情况下，可以使用应当利用第三个焦点位置进行拍摄的并且将利用较少的再聚焦校正量进行校正的图像来进行再聚焦处理。
如果在步骤S1903中判断为可以进行再聚焦，则控制电路201使处理进入步骤S1904，其中在该步骤S1904中，添加新的焦点位置。然后，利用该焦点位置来拍摄新的图像。接着，在步骤S1905中，基于步骤S1904中所添加的焦点位置和应当利用所添加的焦点位置来拍摄的图像的实际焦点位置之间的差来改变再聚焦校正量。最后，处理进入步骤S1906，其中在该步骤S1906中，进行再聚焦处理。
图21示出在步骤S1903中判断为不能进行再聚焦的情况下的焦点位置的重新设置和后续再聚焦处理的示例。图21的(a)示出在步骤S1802中控制电路201所设置的焦点位置。图21的(b)还示出摄像设备实际进行拍摄操作所利用的焦点位置。图21的(c)还示出进行再聚焦处理之后的焦点位置。这里的处理重新设置重建于再聚焦范围的极限位置的第二个图像和第三个图像的焦点位置。然后，基于设置于再聚焦范围的极限位置的焦点位置，重新设置要重建的多个图像的焦点位置，使得这些图像的焦点位置可以按等间隔配置。
在如图21那样、控制电路201判断为不能进行再聚焦于最初设置的焦点位置的情况下，在可再聚焦范围内重新设置焦点位置。
根据本实施例，在要将利用不同的焦点位置所拍摄到的多个图像合成的情况下，使焦点位置再聚焦，以减轻照相机抖动等的影响，从而获取到质量更高的合成图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (21)

1.一种摄像设备，包括：
图像传感器；
处理器；以及
存储器，其包括指令，其中所述指令在由所述处理器执行的情况下，使所述处理器进行以下操作：
设置多个目标焦点位置；
使所述图像传感器拍摄对应于所述目标焦点位置的多个图像；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，所述指令还使所述处理器进行以下操作：
基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重新设置所述目标焦点位置中的至少部分目标焦点位置。
2.根据权利要求1所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
在使所述图像传感器顺次拍摄第一图像和第二图像、并且拍摄所述第一图像时所计算出的焦点位置和拍摄所述第二图像时所计算出的焦点位置之间的差高于预定阈值的情况下，重新设置针对随后要拍摄的图像的目标焦点位置中的部分目标焦点位置。
3.根据权利要求1所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
将所述多个图像合成以生成合成图像。
4.根据权利要求3所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
使所述多个图像的视角中的至少部分视角重叠。
5.根据权利要求3所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
通过使用所述多个图像的聚焦区域来生成所述合成图像。
6.根据权利要求1所述的摄像设备，其中，
所述图像传感器针对一个微透镜具有多个光电转换单元。
7.根据权利要求6所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
基于所述图像传感器中的所述多个光电转换单元的输出，来计算在拍摄所述多个图像的情况下的相对于被摄体的焦点位置。
8.根据权利要求1所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
检测所述多个图像的对比度值，并且基于所述对比度值来计算所述多个图像中的相对于被摄体的焦点位置。
9.根据权利要求1所述的摄像设备，其中，还包括焦点检测传感器，其中所述指令还使所述处理器进行以下操作：
基于所述焦点检测传感器，来计算在拍摄所述多个图像的情况下的相对于被摄体的焦点位置。
10.一种摄像设备，包括：
图像传感器，其包括针对一个微透镜具有多个光电转换单元的传感器阵列；
处理器；以及
存储器，其包括指令，其中所述指令在由所述处理器执行的情况下，使所述处理器进行以下操作：
设置多个目标焦点位置；
使所述图像传感器拍摄对应于所述目标焦点位置的多个图像；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，所述指令还使所述处理器进行以下操作：
基于所述多个目标焦点位置与针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像的至少部分图像来重建相对于至少一个目标焦点位置聚焦的图像。
11.根据权利要求10所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
将所重建的图像的至少一部分与所述多个图像合成，以生成合成图像。
12.根据权利要求11所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
使所述多个图像的视角中的至少部分视角重叠。
13.根据权利要求11所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
使用所述多个图像和所重建的图像的聚焦区域来生成所述合成图像。
14.根据权利要求10所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
使用所述多个图像中的、所计算出的焦点位置离所述多个目标焦点位置中的第一目标焦点位置更近的图像，来重建相对于所述第一目标焦点位置聚焦的图像。
15.根据权利要求10所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
在所述多个目标焦点位置中的第一目标焦点位置与针对对应于所述第一目标焦点位置所拍摄到的第一图像而计算出的焦点位置之间的差等于或高于阈值的情况下，重建相对于所述第一目标焦点位置聚焦的图像。
16.根据权利要求10所述的摄像设备，其中，还包括照相机抖动检测单元，所述照相机抖动检测单元用于检测照相机抖动信息，其中所述指令还使所述处理器进行以下操作：
在所述照相机抖动信息等于或高于阈值的情况下，重建相对于至少一个目标焦点位置聚焦的图像。
17.根据权利要求10所述的摄像设备，其中，所述指令还使所述处理器进行以下操作：
在即使使用所述多个图像中的任何图像也无法重建焦点位置与所述多个目标焦点位置中的第一目标焦点位置相对应的图像的情况下，重新设置对应于所述第一目标焦点位置的目标焦点位置，并且使所述图像传感器进行摄像。
18.一种摄像设备的控制方法，包括以下步骤：
设置多个目标焦点位置；
使图像传感器拍摄对应于所述目标焦点位置的多个图像；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重建所述目标焦点位置中的至少部分目标焦点位置。
19.一种摄像设备的控制方法，包括以下步骤：
设置多个目标焦点位置；
使具有传感器阵列的图像传感器拍摄对应于所述目标焦点位置的多个图像，其中所述传感器阵列针对一个微透镜具有多个光电转换单元；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，基于所述多个目标焦点位置和针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像中的至少部分图像来重建具有与至少一个目标焦点位置相对应的焦点位置的图像。
20.一种记录介质，用于存储使计算机执行摄像设备的控制方法的程序，所述控制方法包括以下步骤：
设置多个目标焦点位置；
使图像传感器拍摄对应于所述目标焦点位置的多个图像；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，基于所述目标焦点位置和所计算出的焦点位置之间的比较结果，来重建所述目标焦点位置中的至少部分目标焦点位置。
21.一种记录介质，用于存储使计算机执行摄像设备的控制方法的程序，所述控制方法包括以下步骤：
设置多个目标焦点位置；
使具有传感器阵列的图像传感器拍摄对应于所述目标焦点位置的多个图像，其中所述传感器阵列针对一个微透镜具有多个光电转换单元；以及
计算拍摄所述多个图像各自时的相对于被摄体的焦点位置，
其中，基于所述多个目标焦点位置和针对所述多个图像所计算出的焦点位置之间的差，通过使用所述多个图像中的至少部分图像来重建具有与至少一个目标焦点位置相对应的焦点位置的图像。
CN201710805640.3A 2016-09-21 2017-09-08 摄像设备、摄像设备的控制方法和记录介质 Active CN107864315B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016183798A JP6728005B2 (ja) 2016-09-21 2016-09-21 撮像装置、撮像方法およびプログラム
JP2016-183798 2016-09-21
JP2016-191331 2016-09-29
JP2016191331 2016-09-29

Publications (2)

Publication Number Publication Date
CN107864315A true CN107864315A (zh) 2018-03-30
CN107864315B CN107864315B (zh) 2020-08-11

Family

ID=61620880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710805640.3A Active CN107864315B (zh) 2016-09-21 2017-09-08 摄像设备、摄像设备的控制方法和记录介质

Country Status (2)

Country Link
US (1) US10530994B2 (zh)
CN (1) CN107864315B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600638A (zh) * 2018-06-22 2018-09-28 中国计量大学 摄像机自动调焦***及方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP6395790B2 (ja) * 2016-11-18 2018-09-26 キヤノン株式会社 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP6590899B2 (ja) * 2017-12-07 2019-10-16 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP7195790B2 (ja) * 2018-07-02 2022-12-26 キヤノン株式会社 撮像装置及びその制御方法
JP6833772B2 (ja) * 2018-08-22 2021-02-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7409604B2 (ja) * 2019-12-18 2024-01-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801929A (zh) * 2011-05-26 2012-11-28 佳能株式会社 图像传感器和摄像设备
CN103152520A (zh) * 2009-08-20 2013-06-12 佳能株式会社 图像捕获设备和方法
CN104270560A (zh) * 2014-07-31 2015-01-07 三星电子（中国）研发中心 一种多点对焦方法和装置
US9473698B2 (en) * 2014-05-12 2016-10-18 Olympus Corporation Imaging device and imaging method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002084444A (ja) 2000-09-06 2002-03-22 Minolta Co Ltd 撮像装置
JP7036423B2 (ja) * 2016-02-01 2022-03-15 ソニーグループ株式会社 制御装置、制御方法および制御プログラム
US10282825B2 (en) * 2016-09-13 2019-05-07 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and imaging apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152520A (zh) * 2009-08-20 2013-06-12 佳能株式会社 图像捕获设备和方法
CN102801929A (zh) * 2011-05-26 2012-11-28 佳能株式会社 图像传感器和摄像设备
US9473698B2 (en) * 2014-05-12 2016-10-18 Olympus Corporation Imaging device and imaging method
CN104270560A (zh) * 2014-07-31 2015-01-07 三星电子（中国）研发中心 一种多点对焦方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600638A (zh) * 2018-06-22 2018-09-28 中国计量大学 摄像机自动调焦***及方法
CN108600638B (zh) * 2018-06-22 2020-08-04 中国计量大学 摄像机自动调焦***及方法

Also Published As

Publication number Publication date
US20180084192A1 (en) 2018-03-22
US10530994B2 (en) 2020-01-07
CN107864315B (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN107864315A (zh) 摄像设备、摄像设备的控制方法和记录介质
CN103685925B (zh) 摄像装置以及摄像处理方法
CN102957863B (zh) 摄像设备、图像处理设备和图像处理方法
CN101601279B (zh) 摄像装置以及摄像方法
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
CN103733133B (zh) 摄像装置及其控制方法
CN102362487B (zh) 立体成像设备
CN104052919B (zh) 摄像装置、摄像***及信号处理装置
CN104113686B (zh) 摄像装置及其控制方法
CN110536057A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP3112485B2 (ja) 立体電子スチルカメラ
CN106254754A (zh) 拍摄装置、图像处理装置、拍摄装置的控制方法
JP3732665B2 (ja) 自動焦点制御装置及びその合焦動作決定方法
JP6095266B2 (ja) 画像処理装置及びその制御方法
CN108737696A (zh) 摄像设备、控制方法和非暂时性存储介质
JP6704679B2 (ja) 制御装置、光学機器、制御方法、プログラム、および、記憶媒体
CN103259974A (zh) 进行特写拍摄的摄像装置及其控制方法
EP1188309B1 (en) Targetable autofocus system
JP6881909B2 (ja) 撮像装置及びその制御方法、及び画像処理装置及び方法
JP2019062340A (ja) 像振れ補正装置および制御方法
JP6198395B2 (ja) 撮像装置及びその制御方法
US10681260B2 (en) Focus detection device and focus detection method
JP6486453B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6257260B2 (ja) 撮像装置及びその制御方法
JPH09318870A (ja) 測距装置、撮影装置および背景処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant