CN112529951B - 扩展景深图像的获取方法、装置及电子设备 - Google Patents

扩展景深图像的获取方法、装置及电子设备 Download PDF

Info

Publication number
CN112529951B
CN112529951B CN201910883037.6A CN201910883037A CN112529951B CN 112529951 B CN112529951 B CN 112529951B CN 201910883037 A CN201910883037 A CN 201910883037A CN 112529951 B CN112529951 B CN 112529951B
Authority
CN
China
Prior art keywords
focal length
depth
image
determining
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910883037.6A
Other languages
English (en)
Other versions
CN112529951A (zh
Inventor
廖继平
贾晓飞
张英强
欧阳书馨
李宇
吴亮
孙恒
马少康
宋星光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910883037.6A priority Critical patent/CN112529951B/zh
Priority to EP20865639.7A priority patent/EP4024846A4/en
Priority to PCT/CN2020/116327 priority patent/WO2021052487A1/zh
Publication of CN112529951A publication Critical patent/CN112529951A/zh
Priority to US17/698,631 priority patent/US20220207764A1/en
Application granted granted Critical
Publication of CN112529951B publication Critical patent/CN112529951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种扩展景深图像的获取方法、装置及电子设备，该方法包括：根据初始焦距确定目标焦距范围，其中，目标焦距范围包括初始焦距；针对目标焦距范围内的多个焦距，获取拍摄对象的多张图像；将多张图像配准融合，以得到扩展景深图像。通过初始焦距选取用户关注的目标焦距范围，解决了现有技术中利用多聚焦融合方式扩展景深的处理时间较长的技术问题，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间。

Description

扩展景深图像的获取方法、装置及电子设备
技术领域
本申请涉及成像技术领域，特别涉及扩展景深图像的获取方法、装置及电子设备。
背景技术
光学成像***能够清晰成像的距离是有限的，只有镜头焦点前后一段距离内的物体在成像上的清晰度能够达到一定程度，这段焦点前后的深度被称为景深(Depth ofField，简称DOF)。景深受镜头硬件条件的影响，为了扩展景深，使镜头前能够清晰成像的深度范围更大，可以采用硬件或软件技术以及两者结合的方式来扩展景深，以使镜头前的大部分场景能够清晰的展示在拍照图片上。目前存在一种扩展景深技术，利用能够变焦的镜头，在获取镜头所有焦距图像的基础上，利用深度学习算法对多张图像进行多聚焦融合处理，得到多聚焦图像。但是，这种方式会增加软件***的负担，增加拍照处理时间。如何减少利用多聚焦融合方式扩展景深的处理时间，成为目前亟需解决的问题。
发明内容
本申请提供了一种扩展景深图像的获取方法、装置及电子设备，以用于至少解决利用多聚焦融合方式扩展景深的处理时间较长的技术问题。
第一方面，本申请提供了一种扩展景深图像的获取方法，该方法包括：根据初始焦距确定目标焦距范围，其中，目标焦距范围包括初始焦距；针对目标焦距范围内的多个焦距，获取拍摄对象的多张图像；将多张图像配准融合，以得到扩展景深图像。本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
在一种可能的设计中，根据初始焦距确定目标焦距范围，包括：获取拍摄对象的深度信息图像；统计深度信息图像中表征不同深度的像素的面积，以获得深度分布；在深度分布中，搜索初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值；根据局部像素面积峰值对应的深度和局部像素面积谷值对应的深度，确定目标焦距范围。通过本实施例提供的方案，利用深度信息图像的深度分布的统计特征，更准确的找到用户所关注物体的深度范围。
在一种可能的设计中，统计深度信息图像中表征不同深度的像素的面积，包括：将深度信息图像覆盖的深度范围按照预设深度间隔划分为多个深度区间；统计深度信息图像中表征每个深度区间内深度值的像素的面积。通过本实施例提供的方案，通过间隔划分深度范围统计深度分布，可以减少深度信息图像的深度采集带来的误差对深度分布统计特征的影响，得到更规律的深度分布。
在一种可能的设计中，在统计深度信息图像中表征不同深度的像素的面积之前，该方法还包括：对深度信息图像执行图像分割，以得到多个图像区域；基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；对应的，统计深度信息图像中表征不同深度的像素的面积，包括：统计目标区域中表征不同深度的像素的面积，以获得深度分布。通过本实施例提供的方案，利用深度信息图像的分割结果区分不同物体，进一步缩小统计深度分布的图像区域，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的设计中，根据初始焦距确定目标焦距范围，包括：获取拍摄对象的预览图像；对预览图像执行图像分割，以得到多个图像区域；基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；获取拍摄对象的深度信息图像；根据目标区域内像素的深度值范围，确定目标焦距范围。通过本实施例提供的方案，利用预览图像的分割结果区分不同物体，利用对焦位置所在的图像区域的深度范围所对应的焦距范围作为目标焦距范围，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的设计中，在根据初始焦距确定目标焦距范围之前，该方法还包括：确定满足获取初始焦距的触发条件；获取当前对焦的焦距，以获得初始焦距。通过本实施例提供的方案，可以防止在每次对焦之后更改初始焦距，仅在满足获取初始焦距的触发条件之后获取初始焦距。
在一种可能的设计中，在根据初始焦距确定目标焦距范围之前，该方法还包括：确定符合获取扩展景深图像的触发条件。通过本实施例提供的方案，可以使扩展景深图像的获取方法能够应用于更多的使用场景，使所在设备能够同时配置其它拍摄功能/模式，仅在符合指定的触发条件，获取扩展景深图像。
在一种可能的设计中，目标焦距范围内的多个焦距，根据如下方式获得：根据摄像景深确定对焦马达的步进焦距；控制对焦马达在目标焦距范围内按照步进焦距步进对焦，以获得多个焦距。通过本实施例提供的方案，可以在满足清晰度要求的条件下获取尽量少的图像，减少焦距步进的次数，缩短了图像配准融合的处理时间。
在一种可能的设计中，将多张图像配准融合，以得到扩展景深图像，包括：分别在多张图像的每张图像中确定清晰度符合预设条件的区域；将确定的区域与基准图像进行配准融合，以得到扩展景深图像。通过本实施例提供的方案，能够提高扩展景深图像的清晰度。
在一种可能的设计中，在对焦马达每次步进对焦之后，获取拍摄对象的一张图像。通过本实施例提供的方案，防止对焦过程中获取的图像出现模糊的情况。
在一种可能的设计中，多张图像由第一摄像模块获得，深度信息图像由第二摄像模块获得，第一摄像模块的摄像镜头和第二摄像模块的摄像镜头相邻。通过本实施例提供的方案，通过相邻设置的两个摄像模块，使深度信息图像和拍摄的图像对应的取景范围尽量重合。
第二方面，本申请提供一种扩展景深图像的获取装置，该装置包括：第一确定模块，用于根据初始焦距确定目标焦距范围，其中，目标焦距范围包括初始焦距；第一获取模块，用于针对目标焦距范围内的多个焦距，获取拍摄对象的多张图像；图像处理模块，用于将多张图像配准融合，以得到扩展景深图像。本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
在一种可能的设计中，第一确定模块包括：第一获取单元，用于获取拍摄对象的深度信息图像；统计单元，用于统计深度信息图像中表征不同深度的像素的面积，以获得深度分布；搜索单元，用于在深度分布中，搜索初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值；第一确定单元，用于根据局部像素面积峰值对应的深度和局部像素面积谷值对应的深度，确定目标焦距范围。通过本实施例提供的方案，利用深度信息图像的深度分布的统计特征，更准确的找到用户所关注物体的深度范围。
在一种可能的设计中，统计单元包括：划分子单元，用于将深度信息图像覆盖的深度范围按照预设深度间隔划分为多个深度区间；统计子单元，用于统计深度信息图像中表征每个深度区间内深度值的像素的面积。通过本实施例提供的方案，通过间隔划分深度范围统计深度分布，可以减少深度信息图像的深度采集带来的误差对深度分布统计特征的影响，得到更规律的深度分布。
在一种可能的设计中，该装置还包括：分割模块，用于在统计深度信息图像中表征不同深度的像素的面积之前，对深度信息图像执行图像分割，以得到多个图像区域；第二确定模块，用于基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；对应的，统计子单元用于统计目标区域中表征不同深度的像素的面积，以获得深度分布。通过本实施例提供的方案，利用深度信息图像的分割结果区分不同物体，进一步缩小统计深度分布的图像区域，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的设计中，第一确定模块包括：第二获取单元，用于获取拍摄对象的预览图像；分割单元，用于对预览图像执行图像分割，以得到多个图像区域；第二确定单元，用于基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；第三获取单元，用于获取拍摄对象的深度信息图像；第三确定单元，用于根据目标区域内像素的深度值范围，确定目标焦距范围。通过本实施例提供的方案，利用预览图像的分割结果区分不同物体，利用对焦位置所在的图像区域的深度范围所对应的焦距范围作为目标焦距范围，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的设计中，该装置还包括：第三确定模块，用于在根据初始焦距确定目标焦距范围之前，确定满足获取初始焦距的触发条件；第二获取模块，用于获取当前对焦的焦距，以获得初始焦距。通过本实施例提供的方案，可以防止在每次对焦之后更改初始焦距，仅在满足获取初始焦距的触发条件之后获取初始焦距。
在一种可能的设计中，该装置还包括：第四确定模块，用于在根据初始焦距确定目标焦距范围之前，确定符合获取扩展景深图像的触发条件。通过本实施例提供的方案，可以使扩展景深图像的获取方法能够应用于更多的使用场景，使所在设备能够同时配置其它拍摄功能/模式，仅在符合指定的触发条件，获取扩展景深图像。
在一种可能的设计中，目标焦距范围内的多个焦距，利用如下模块获得：第五确定模块，用于根据摄像景深确定对焦马达的步进焦距；控制模块，用于控制对焦马达在目标焦距范围内按照步进焦距步进对焦，以获得多个焦距。通过本实施例提供的方案，可以在满足清晰度要求的条件下获取尽量少的图像，减少焦距步进的次数，缩短了图像配准融合的处理时间。
在一种可能的设计中，图像处理模块包括：第四确定单元，用于分别在多张图像的每张图像中确定清晰度符合预设条件的区域；图像处理单元，用于将确定的区域与基准图像进行配准融合，以得到扩展景深图像。通过本实施例提供的方案，能够提高扩展景深图像的清晰度。
在一种可能的设计中，该装置还包括：第三获取模块，用于在对焦马达每次步进对焦之后，获取拍摄对象的一张图像。通过本实施例提供的方案，防止对焦过程中获取的图像出现模糊的情况。
在一种可能的设计中，多张图像由第一摄像模块获得，深度信息图像由第二摄像模块获得，第一摄像模块的摄像镜头和第二摄像模块的摄像镜头相邻。通过本实施例提供的方案，通过相邻设置的两个摄像模块，使深度信息图像和拍摄的图像对应的取景范围尽量重合。
第三方面，本申请提供一种电子设备，包括：第一摄像模块，用于获取拍摄物体的图像；接口和处理器，接口用于耦合第一摄像模块和处理器；处理器用于执行如第一方面所述的方法。本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
在一种可能的设计中，电子设备还包括：第二摄像模块，用于获取深度信息图像，第一摄像模块的摄像镜头和第二摄像模块的摄像镜头相邻。通过本实施例提供的方案，通过相邻设置的两个摄像模块，使深度信息图像和拍摄的图像对应的取景范围尽量重合。
第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如第一方面、第二方面、第三方面或第四方面所述的方法。本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
可见，在以上各个方面，基于初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像，解决了现有技术中利用多聚焦融合方式扩展景深的处理时间较长的技术问题。
附图说明
图1为本申请实施例提供的一种可选的扩展景深图像的获取方法流程图；
图2为本申请实施例提供的一种可选的扩展景深图像的获取方法中获取深度信息图像的深度分布的示意图；
图3a和图3b分别为针对相同场景拍摄的深度信息图像和彩色图像的示意图；
图4为本申请提供的一种摄像景深的示意图；
图5为本申请实施例提供的另一种可选的扩展景深图像的获取方法流程图；
图6为本申请实施例提供的一种可选的扩展景深图像的获取装置的示意框图；
图7为本申请实施例提供的一种可选的电子设备的示意框图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
本申请实施例提供了一种扩展景深图像的获取方法，该方法可应用于具有镜头的设备中，例如，相机，或者，还可以应用于具有相机功能的电子设备如手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device，MID)、可穿戴设备(如智能手表、智能手环、计步器)等。
图1为本申请提供的一种可选的扩展景深图像的获取方法流程图。如图1所示，本实施例所述的扩展景深图像的获取方法包括如下步骤101～103：
步骤101、根据初始焦距确定目标焦距范围。其中，目标焦距范围包括初始焦距。
焦距是成像***的透镜中心至主焦点的距离，对于厚透镜(厚度不能忽略的透镜)、或是由好几片透镜或面镜组合而成的成像***，焦距通常会以有效焦距(effectivefocal length，简称EFL)来表示，广义上来说EFL就是焦距。
本实施例中所述的初始焦距，是指所应用设备的镜头或镜头组(以下简称镜头)的焦距，在一种可能的设计中，成像***是可变焦的，例如通过马达推动镜头在景深方向上移动，在这种设计中，初始焦距是镜头当前对焦的焦距。可选的，对焦方式可以是自动对焦或手动对焦。自动对焦(Automatic Focus，简称AF)是相机针对特定区域(默认的区域为中央，或者可以由用户指定在观景窗内看到的任何一块区域)测距，进而根据特定区域的距离调整镜头焦距，使特定区域内的成像效果更清晰的方式。
可选的，在执行步骤101之前，首先判断是否需要获取初始焦距，在确定满足获取初始焦距的触发条件之后，获取当前对焦的焦距，以获得初始焦距。举例来说，获取初始焦距的触发条件可以是在打开相机功能的手机屏幕上，用户针对可触控屏幕显示的取景窗内一个区域的点击操作，则确认为满足触发条件，获取当前对焦的焦距；或者，在用户执行点击操作或默认选取中心区域为对焦位置之后，如果预设时长(如1s)内未接收到任何操作，则确定满足获取初始焦距的触发条件。
例如，一种可选的应用场景为，用户打开手机的相机功能，点击可触控显示屏幕上显示的观景窗的一个区域，手机控制镜头自动对焦到用户所点击的关注区域的焦距，当前自动对焦的焦距即为初始焦距。
在确定初始焦距之后，根据初始焦距向前和/或向后扩展范围，得到目标焦距范围。目标焦距范围是根据初始焦距确定出的范围，目标焦距范围内包括初始焦距，目标焦距范围是需要清晰成像的焦距范围，目标焦距范围通常大于在单一焦距下的镜头的硬件景深。
可选的，在根据初始焦距确定目标焦距范围时，可以以***默认(预先指定)的深度和初始焦距在目标焦距范围内的默认位置确定目标焦距范围，例如，在手机打开相机功能并对焦到焦距F1之后，基于默认的目标焦距范围的深度f和初始焦距在目标焦距范围内处于中心位置的条件确定目标焦距范围为(F1-f/2，F1+f/2)。
或者，在根据初始焦距确定目标焦距范围时，也可以由用户指定目标焦距范围的深度，一种可选的实施场景为，在手机对焦到焦距F1之后，用户点击手动扩展景深的功能图标，通过两指缩放的操作来调节目标焦距范围并根据显示出的数轴确定当前的目标焦距范围，在点击确定图标之后确定目标焦距范围。
在另一种可选的设计中，在根据初始焦距确定目标焦距范围时，可以利用拍摄对象的深度信息图像的深度分布信息，并结合初始焦距来确定用户可能最关注的焦距范围，得到目标焦距范围。具体的，一种可选的实施方式为，步骤101根据初始焦距确定目标焦距范围，包括如下步骤：
步骤11，获取拍摄对象的深度信息图像。
深度信息图像是通过飞行时间测距法(Time of flight，简称TOF)相机拍摄的图像，TOF测距法通过给物体连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到物体距离，深度信息图像是灰度图像，如图2所示，在对拍摄物体拍摄之后，得到灰度图像，图像中每个像素利用像素值的大小来携带深度信息。图3a和图3b示出了针对相同取景范围内的拍摄物体进行拍摄的深度信息图像(图3a)和彩色图像(图3b，其中，图3b示出的是将彩色图像转换为灰度图像后的效果)的区别。彩色图像是针对物体反射周围环境光的色彩的采集，而深度信息图像的灰度值表征的是物体针对脉冲光反射所耗费的时间，两者的像素值所携带的信息内容是不同的。也即，在深度信息图像的矩阵中，每个矩阵元素对应于图像中对应位置的像素，每个矩阵元素的值即为像素值，像素值的大小表示深度的大小。例如，距离TOF相机越近的物体深度越小，在深度信息图像中对应的像素值越小，亮度越高，距离TOF相机越远的物体深度越大，在深度信息图像中对应的像素值越大，亮度越低。
在确定初始焦距之后，启动TOF相机拍摄深度信息图像，获取拍摄对象的深度信息图像。
步骤12，统计深度信息图像中表征不同深度的像素的面积，以获得深度分布。
深度信息图像中每个像素的像素值用于表征图像中对应物体的深度(也即物体距离TOF相机的距离)，而像素值是离散的，因此，在本步骤中，统计不同深度像素的面积的一种可选的实施方式为，统计每个像素值的像素个数，以像素个数作为面积的表征方式，如图2所示，用柱状图示出深度信息图像的深度分布，横轴为像素值，纵轴为像素值对应的像素个数。例如，深度信息图像中通过像素值0～255表示由近至远的深度，分别统计0～255每个像素值的像素个数P0～P255，得到深度信息图像的深度分布，其中，深度分布用于描述不同深度的像素所占的面积。
可选的，为了减少测距误差给深度信息图像的深度分布带来的影响，在统计深度分布时，还可以将深度信息图像所覆盖的总的深度范围按照指定的间隔(预设深度间隔)进行划分，得到多个深度区间，统计每个深度区间内所包括的像素的面积。例如，深度信息图像中通过像素值0～255表示由近至远的深度，统计每4个像素值所包括像素个数，也即，分别统计像素值0～3的像素个数、像素值4～7的像素个数、像素值8～11的像素个数……，得到深度信息图像的深度分布。通过间隔划分深度范围统计深度分布，可以减少TOF检测距离的误差对统计特征的影响，得到更规律的深度分布。
步骤13，在深度分布中，搜索初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值。
深度分布是按照深度值统计的，以深度的大小排序。为了确定目标焦距范围，在与初始焦距对应的深度附近向两侧搜索，寻找与初始焦距距离最近的峰值和谷值，也即，局部的像素面积峰值(下文简称为局部峰值)和局部的像素面积谷值(下文简称为局部谷值)。局部峰值和局部谷值的计算方法可以是通过针对离散数据进行求导的算法来计算，一种可选的实施方式为直接利用相邻多个自变量(深度值)所对应的因变量的数值(也即像素面积)的加减法计算离散导数，在深度值通过像素值表征的情况下，可以利用多个相邻像素值所占的像素个数计算中位像素值对应的离散导数。例如，像素值为4～8的五个深度相邻的像素值所占的像素个数分别为P4～P8，可以利用P4～P8计算中间像素值6的离散导数为∑(Pi-Pi-1)/4，(i＝5～8)。在计算出各个像素值对应的离散导数之后，离散导数的绝对值接近于0(与0相差预设数值之内)的位置即为局部峰值或局部谷值，进而可以根据像素个数的大小来判断是该位置是局部峰值还是局部谷值。在确定出各个局部峰值和各个局部谷值之后，选取与初始焦距的距离最近的一个局部峰值，进而在局部峰值的两侧确定距离最近的两个局部谷值。
步骤14，根据局部像素面积峰值对应的深度和局部像素面积谷值对应的深度，确定目标焦距范围。
在确定局部像素面积峰值和局部像素面积谷值之后，可以确定所需要的深度范围，深度是物体与相机实际的距离，可以根据深度范围确定对应的焦距范围，得到目标焦距范围。
在根据局部像素面积峰值对应的深度和局部像素面积谷值对应的深度确定目标焦距范围时，可以选择两个局部谷值之间的深度范围，将其视作关注的拍摄物体的深度范围，进而根据两个具体谷值之间的深度范围确定目标焦距范围。其原理为，通常表面较规律的物体在深度信息图像中的分布也相对比较规律，因此，搜索到局部像素面积峰值和局部像素面积谷值可以视作是初始焦距所对焦物体的深度分布范围，利用搜索局部峰值和局部谷值的方式，可以得到关注物体的深度范围，进而计算对应的焦距范围，得到目标焦距范围。或者，一种可选的实施方式为，如果局部峰值与深度较小(对应的，像素值较小)的局部谷值的深度距离小于局部峰值与深度较大(对应的，像素值较大)的局部谷值的深度距离，则根据局部峰值与深度较小(对应的，像素值较小)的局部谷值的深度距离的两倍来计算目标焦距范围。其原理为，相距较远(深度较大)的位置通常是不被关注的，为了缩短目标焦距范围，在局部峰值与深度较小的局部谷值的距离较短时，以局部峰值与深度较小的局部谷值的距离为基准确定所关注的深度范围，不对深度较大的位置拍摄，能够节省后续的拍摄时间和配准融合图像处理的时间。
本实施例在一些特定的场景(如拍摄风景等较远距离的物体)时，对焦物体的物距可能比较远(如山、水)，使得计算出的目标焦距范围涵盖了全焦距的范围，在这种情况下，相对于针对全焦距进行扩展景深。
可选的，由于深度信息图像中在同一段深度范围内可能存在多个物体，为了使统计出的深度分布的曲线能够描述出不同物体，在统计深度分布之前，可以对深度信息图像执行图像分割，得到多个图像区域，这样可以将深度信息图像基于深度的突变划分为多个区块，由图3a可以看出，通常同一个物体不会出现深度突变，因此分割后的不同图像区域之间通常是不同物体，能够将同一深度范围内且不相邻的物体有效的区分开。其中，图像分割可以采用现有的图像分割算法，例如，基于边缘或基于区域的图像分割算法，本实施例对此不作具体限定。在得到多个图像区域之后，确定初始焦距所对焦的位置，根据对焦位置在深度信息图像分割出的多个图像区域中选择所在的目标区域。相对应的，在执行步骤12时，针对对焦位置所对应的目标区域进行统计，得到深度分布。
可选的，在一些应用场景中，例如在微距模式下进行拍照，由于此时较远的物体通常不是用户真正关注的，因此，在采用以上所述的统计深度分布方式的任一种设计时，可以预先选取一个比例或默认距离，仅在该比例或默认距离的深度范围内统计深度分布。例如，深度信息图像的像素值越大表示深度越大、距离越远，像素值的最大值为255，又由于采集误差或***无法获取等原因会导致像素值为0或较小的数值，因此像素值较小时其准确性较低、参考价值较小，因此，可以预先选取中间一部分的像素，如选取比例为0.1～0.7之间的像素值，也即，统计像素值为0.1*255≈25～0.7*255≈178之间的像素值的深度分布。
在另一种可选的设计中，在根据初始焦距确定目标焦距范围时，还可以利用图像分割算法对当前的画面进行图像分割，根据初始焦距所对应的对焦位置确定用户所关注的物体，进而确定所关注物体的区域。具体而言，在执行步骤101时，执行如下步骤：
步骤21，获取拍摄对象的预览图像；
步骤22，对预览图像执行图像分割，以得到多个图像区域；
步骤23，基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；
步骤24，获取拍摄对象的深度信息图像；
步骤25，根据目标区域内像素的深度值范围，确定目标焦距范围。
预览图像为后台的图像，可以缓存在设备的缓存器件而非存储在设备的存储器中。在获取预览图像之后，对预览图像执行图像分割，得到分割出的多个图像区域，图像分割可以采用现有的图像分割算法。例如，基于边缘或基于区域的图像分割算法，本实施例对此不作具体限定。需要说明的是，预览图像是如图3b所示的针对物体表面反射的光感应得到的彩色图像，与深度信息图像不同，深度信息图像是针对光传播的时间感应得到的图像，深度信息图像的像素值用于表示物体的深度，因此，深度信息图像在图像分割之后，不能很好的对同一深度的相邻物体区分开，而预览图像是通过对焦初始焦距的成像模块所采集的彩色图像，反映了拍摄物体在当前光源下呈现的色彩，因此，针对预览图像执行图像分割之后，能够比较准确的划分出不同的物体。在得到对预览图像划分得到多个图像区域之后，基于初始焦距所对应的对焦位置确定多个图像区域中对应的目标区域。进而，获取拍摄物体的深度信息图像，确定目标区域内的深度范围，进而得到对应的目标焦距范围。
在步骤101中，在需要获取的深度信息图像时，由第二摄像模块获取，第二摄像模块可以是TOF相机模块。
上述的预览图像则由第一摄像模块获取，初始焦距为第一摄像模块的对焦焦距。
第二摄像模块和第一摄像模块在设备中相邻的设置。可选的，第二摄像模块和第一摄像模块的等效中心轴被设置为平行的。例如，相邻并排设置在手机背面右上方的TOF相机模块和CMOS成像模块，其中，TOF相机模块包括TOF传感器和与TOF传感器相邻设置的脉冲光源，脉冲光源用于发出脉冲光照射在物体上，TOF传感器用于接收物体反射回的光并根据发送和接收的时间差计算物体的距离(深度)，CMOS成像模块用于拍摄彩色RGB图像。
步骤102，针对目标焦距范围内的多个焦距，获取拍摄对象的多张图像。
步骤102可以是在执行步骤101之后执行的。多张图像是由上述的第一摄像模块获取的。多个焦距是在目标焦距范围内选取的多个焦距。如图2所示，在确定深度分布之后，在深度分布上确定出目标焦距范围对应的深度范围内的多个焦点位置对应的深度。
可选的，由于摄像模块的硬件景深的是一定的，也即，在以对焦焦距对焦之后，对焦位置的前景深和后景深之间存在一定的距离，如图4所示，在对焦位置前后的一段范围内的物体都可以比较清晰(清晰度在容许范围内)的成像，因此，可以根据摄像景深确定选取多个焦距的间隔，本实施例中所述的摄像景深，是指摄像模块能够清晰成像(清晰度超过指定阈值)的前景深和后景深，根据前景深和后景深之间的物距距离确定步进焦距。根据物距确定焦距的对应关系可以采用查表结合线性插值的做法。一种示例性的摄像模块的物距与焦距EFL之间的标定关系如下表所示：
在基于查表结合线性插值的做法确定前景深和后景深对应的焦距之后，计算前景深对应的焦距和后景深对应的焦距之间的距离为步进焦距。镜头在每一次对焦时都控制对焦马达推动镜头移动步进焦距的距离。
一种可选的设计为，在确定步进焦距之后，控制对焦马达推动镜头(镜头组)在目标焦距范围内以步进焦距步进对焦，在每一次步进对焦之后获取拍摄对象的一张图像，得到拍摄对象的多张图像。其中，对焦马达可以采用音圈马达(Voice Coil Motor，简称VCM)，具有高频响、高精度的特点，其主要原理是在一个永久磁场内，通过改变马达内线圈的直流电流大小，来控制弹簧片的拉伸位置，从而带动镜头前后运动。在控制对焦马达时，可以利用音圈马达编码(VCM code)来控制马达运动目标位置，其中，音圈马达编码表示马达运动的位置所代表的预设定的编码值。
可选的，在执行步骤102根据初始焦距确定目标焦距范围之前，首先判断是否符合获取扩展景深图像的触发条件，例如，触发条件可以是进入指定的拍照模式，如微距模式(拍摄物体距离相机镜头较近时所适用的拍照模式)，在该模式下启动扩展景深图像的获取方法，以对图像中用户所关注的微距物体的不同位置都进行比较清晰的成像。或者，触发条件也可以是用户选择扩展景深功能，例如，在手机相机功能界面中点击扩展景深对应的图标。在确定符合获取扩展景深图像的触发条件的情况下，根据初始焦距确定目标焦距范围。
步骤103，将多张图像配准融合，以得到扩展景深图像。
在得到多张图像之后，将多个焦距的图像配准融合，得到扩展景深图像。本实施例中所述的扩展景深图像，是利用多聚焦图像(Multi focus images)融合得到的，其中，多聚焦图像是在不同焦距上拍摄的一系列图片，每张图片能够在不同深度进行清晰成像。由于每个焦距的图像在对应景深范围内的物体能够清晰成像，因此，融合之后的扩展景深图像能够在更长的深度上都清晰成像，实现了扩展景深(Extend depth of field，简称EDOF)的效果。
图像配准(Image registration)是指同一目标的两幅或者两幅以上的图像在空间位置的对准。图像配准的过程，也可以称为图像匹配或者图像相关。例如，配准技术的流程可以是首先对两幅图像进行特征提取得到特征点；通过进行相似性度量找到匹配的特征点对；然后通过匹配的特征点对得到图像空间坐标变换参数；最后由坐标变换参数进行图像配准。而特征提取是配准技术中的关键，准确的特征提取为特征匹配的成功进行提供了保障。图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像。
可选的，图像配准融合算法可以采用基于神经网络的算法，神经网络可以是卷积神经网络(Convolutional Neural Network，简称CNN)，深度卷积神经网络(deepconvolutional neural networks，简称DCNN)，循环神经网络(recurrent neuralnetwork，简称RNNS)等等。将多张图像输入至预先训练好的神经网络模型中，以输出融合后的图像。神经网络模型的训练目标为输出的图像清晰度最高。图像清晰度是用于衡量图像质量优劣的重要指标，在无参考图像的质量评价中，图像的清晰度能够较好的与人的主观感受相对应，图像的清晰度不高表现为图像的模糊。清晰度可以利用Brenner梯度函数、SMD(灰度方差)函数等算法的计算结果作为评价指标。
由于CNN是一种常见的神经网络，下面以CNN为例讲解配准融合的一种可选的实施方式，CNN是一种前馈(feed-forward)人工神经网络，该前馈人工神经网络中的各个神经元可以对输入其中的图像作出响应。CNN可以包括输入层，卷积层以及神经网络层。卷积层可以包括很多个卷积算子，卷积算子也称为核，其在图像处理中的作用相当于一个从输入图像矩阵中提取特定信息的过滤器，卷积算子本质上可以是一个权重矩阵，这个权重矩阵通常被预先定义，在对图像进行卷积操作的过程中，权重矩阵通常在输入图像上沿着水平方向一个像素接着一个像素(或两个像素接着两个像素……取决于步长的取值)的进行处理，从而完成从图像中提取特定特征的工作。该权重矩阵的大小应该与图像的大小相关。不同的权重矩阵可以用来提取图像中不同的特征，这些权重矩阵中的权重值在实际应用中需要经过大量的训练得到，通过训练得到的权重值形成的各个权重矩阵可以用来从输入图像中提取信息，从而使得卷积神经网络进行正确的预测。在本实施例中，可以利用卷积层来分别提取每张图像中清晰度高于预设阈值的区域。在卷积层提取之后，利用神经网络层中的隐含层对提取出的清晰度较高的区域和基准图像进行配准融合，经过输出层得到扩展景深图像。可选的，基准图像可以选取多张图像中清晰度最高的一张图像。或者，基准图像可以是上述的深度信息图像。
下面结合图5对本实施例提供的扩展景深图像的获取方法的一种可选的实施方式进行描述，该方法包括如下步骤：
当摄像头距离拍摄物体小于预设距离，进入微距模式时，自动触发本实施例提供的扩展景深图像的获取方法，自动进入EDOF模式；或者，当用户通过手动点击图标，主动触发EDOF模式。
在进入EDOF模式之后，获取AF自动对焦获取的焦距位置，以及TOF图像。其中，AF自动对焦可以是在进入EDOF模式之前执行的，对焦的焦距缓存在设备中，在进入EDOF模式之后，获取缓存的对焦焦距。在进入EDOF模式之后，利用TOF摄像模块采集TOF深度图像。
根据TOF深度图像的深度分布以及AF对焦的焦距位置，确定需要拍摄的N个焦距位置。
控制对焦马达推动镜头在N个焦距中每个焦距位置对焦，在每个焦距处采集一张图像，得到N张图像。
将N张图像和TOF图像输入CNN，利用CNN对输入图像进行配准融合，得到融合的清晰图像。
最后输出拍摄物体的清晰图像，保存在设备的存储器中。需要说明的是，仅输出最后融合得到的图像，在上述方法执行过程中采集的深度图像、TOF深度图像等均在后台处理，缓存在设备的缓存存储器中。
上述实施例提供的方法利用TOF图像中拍摄物体的深度统计信息，实施上述方法的设备仅需配置TOF摄像模块和正常的拍摄模块，不需要特制镜头以及对应的软件算法，也不需要对焦马达在取景范围内的所有焦距范围内移动，只采集用户真正关注的物体所处的深度，从而在保证拍摄物体清晰的前提下，缩短了扩展景深的处理时间。
本实施例通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
可以理解的是，上述实施例中的部分或全部步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照上述实施例呈现的不同的顺序来执行，并且有可能并非要执行上述实施例中的全部操作。
本申请提供了一种扩展景深图像的获取装置，可用于实现上述方法实施例。
图6给出了一种扩展景深图像的获取装置的结构示意图。图6所示实施例的扩展景深图像的获取装置可用于执行上述方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。如图6所示，扩展景深图像的获取装置包括：第一确定模块10，第一获取模块20和图像处理模块30。
其中，第一确定模块用于根据初始焦距确定目标焦距范围，其中，目标焦距范围包括初始焦距；第一获取模块用于针对目标焦距范围内的多个焦距，获取拍摄对象的多张图像；图像处理模块用于将多张图像配准融合，以得到扩展景深图像。本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
在一种可能的方式中，第一确定模块包括：第一获取单元，用于获取拍摄对象的深度信息图像；统计单元，用于统计深度信息图像中表征不同深度的像素的面积，以获得深度分布；搜索单元，用于在深度分布中，搜索初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值；第一确定单元，用于根据局部像素面积峰值对应的深度和局部像素面积谷值对应的深度，确定目标焦距范围。通过本实施例提供的方案，利用深度信息图像的深度分布的统计特征，更准确的找到用户所关注物体的深度范围。
在一种可能的方式中，统计单元包括：划分子单元，用于将深度信息图像覆盖的深度范围按照预设深度间隔划分为多个深度区间；统计子单元，用于统计深度信息图像中表征每个深度区间内深度值的像素的面积。通过本实施例提供的方案，通过间隔划分深度范围统计深度分布，可以减少深度信息图像的深度采集带来的误差对深度分布统计特征的影响，得到更规律的深度分布。
在一种可能的方式中，该装置还包括：分割模块，用于在统计深度信息图像中表征不同深度的像素的面积之前，对深度信息图像执行图像分割，以得到多个图像区域；第二确定模块，用于基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；对应的，统计子单元用于统计目标区域中表征不同深度的像素的面积，以获得深度分布。通过本实施例提供的方案，利用深度信息图像的分割结果区分不同物体，进一步缩小统计深度分布的图像区域，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的方式中，第一确定模块包括：第二获取单元，用于获取拍摄对象的预览图像；分割单元，用于对预览图像执行图像分割，以得到多个图像区域；第二确定单元，用于基于初始焦距对应的对焦位置，在多个图像区域中确定目标区域；第三获取单元，用于获取拍摄对象的深度信息图像；第三确定单元，用于根据目标区域内像素的深度值范围，确定目标焦距范围。通过本实施例提供的方案，利用预览图像的分割结果区分不同物体，利用对焦位置所在的图像区域的深度范围所对应的焦距范围作为目标焦距范围，使确定出的目标焦距范围能够更准确的涵盖用户所关注物体的焦距范围。
在一种可能的方式中，该装置还包括：第三确定模块，用于在根据初始焦距确定目标焦距范围之前，确定满足获取初始焦距的触发条件；第二获取模块，用于获取当前对焦的焦距，以获得初始焦距。通过本实施例提供的方案，可以防止在每次对焦之后更改初始焦距，仅在满足获取初始焦距的触发条件之后获取初始焦距。
在一种可能的方式中，该装置还包括：第四确定模块，用于在根据初始焦距确定目标焦距范围之前，确定符合获取扩展景深图像的触发条件。通过本实施例提供的方案，可以使扩展景深图像的获取方法能够应用于更多的使用场景，使所在设备能够同时配置其它拍摄功能/模式，仅在符合指定的触发条件，获取扩展景深图像。
在一种可能的方式中，目标焦距范围内的多个焦距，利用如下模块获得：第五确定模块，用于根据摄像景深确定对焦马达的步进焦距；控制模块，用于控制对焦马达在目标焦距范围内按照步进焦距步进对焦，以获得多个焦距。通过本实施例提供的方案，可以在满足清晰度要求的条件下获取尽量少的图像，减少焦距步进的次数，缩短了图像配准融合的处理时间。
在一种可能的方式中，图像处理模块包括：第四确定单元，用于分别在多张图像的每张图像中确定清晰度符合预设条件的区域；图像处理单元，用于将确定的区域与基准图像进行配准融合，以得到扩展景深图像。通过本实施例提供的方案，能够提高扩展景深图像的清晰度。
在一种可能的方式中，该装置还包括：第三获取模块，用于在对焦马达每次步进对焦之后，获取拍摄对象的一张图像。通过本实施例提供的方案，防止对焦过程中获取的图像出现模糊的情况。
在一种可能的方式中，多张图像由第一摄像模块获得，深度信息图像由第二摄像模块获得，第一摄像模块的摄像镜头和第二摄像模块的摄像镜头相邻。通过本实施例提供的方案，通过相邻设置的两个摄像模块，使深度信息图像和拍摄的图像对应的取景范围尽量重合。
本申请中描述的处理器可实现在集成电路(integrated circuit，IC)、模拟IC、射频集成电路RFIC、混合信号IC、专用集成电路(application specific integratedcircuit，ASIC)、印刷电路板(printed circuit board，PCB)、电子设备等上。该处理器和收发器也可以用各种1C工艺技术来制造，例如互补金属氧化物半导体(complementary metaloxide semiconductor,CMOS)、N型金属氧化物半导体(nMetal-oxide-semiconductor，NMOS)、P型金属氧化物半导体(positive channel metal oxide semiconductor,PMOS)、双极结型晶体管(Bipolar Junction Transistor，BJT)、双极CMOS(BiCMOS)、硅锗(SiGe)、砷化镓(GaAs)等。
应理解以上所述装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，确定模块可以为单独设立的处理元件，也可以集成在通信装置，例如终端的某一个芯片中实现，此外，也可以以程序的形式存储于通信装置的存储器中，由通信装置的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital singnal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，SOC)的形式实现。
本申请还提供了一种电子设备，如图7所示，本实施例提供的一种可选的电子设备包括第一摄像模块100，接口(图7中未示出)和处理器300，其中，第一摄像模块用于获取拍摄物体的图像，接口用于耦合第一摄像模块和处理器，处理器用于执行上述的方法实施例。
在一种可能的设计中，电子设备还包括：第二摄像模块200，用于获取深度信息图像。第一摄像模块的摄像镜头和第二摄像模块的摄像镜头相邻设置。本实施例提供的方案，通过相邻设置的两个摄像模块，使深度信息图像和拍摄的图像对应的取景范围尽量重合。
在一种可能的设计中，第一摄像模块包括对焦马达1001和可变焦摄像头1002，处理器通过控制对焦马达推动可变焦摄像头改变焦距。第二摄像模块为TOF摄像模块，用于拍摄深度信息图像。在本实施例的方法执行过程中所需要的深度信息图像和多焦距图像、以及处理过程中所需要的数据可以存储于电子设备的内存400中。
本实施例提供的方案，通过初始焦距选取用户关注的目标焦距范围，可以避免获取镜头全焦距的图像，减少获取图像的数量以及配准融合的处理时间，得到用户关注的景深范围内的扩展景深图像。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述实施例所述的通信方法。
此外，本申请实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程序，当其在计算机上运行时，使得计算机执行上述实施例所述的通信方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本领域普通技术人员可以意识到，本文中公开的实施例中描述的各模块、单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种扩展景深图像的获取方法，其特征在于，所述方法包括：
根据初始焦距确定目标焦距范围，其中，所述目标焦距范围包括所述初始焦距；
针对所述目标焦距范围内的多个焦距，获取拍摄对象的多张图像；其中，所述目标焦距范围内的多个焦距，根据如下方式获得：根据摄像景深确定对焦马达的步进焦距；控制所述对焦马达在所述目标焦距范围内按照所述步进焦距步进对焦，以获得所述多个焦距；
将所述多张图像配准融合，以得到扩展景深图像；
其中，所述根据初始焦距确定目标焦距范围，包括：
获取所述拍摄对象的深度信息图像；统计所述深度信息图像中表征不同深度的像素的面积，以获得深度分布；在所述深度分布中，搜索所述初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值；根据所述局部像素面积峰值对应的深度和所述局部像素面积谷值对应的深度，确定所述目标焦距范围；
或者，
获取所述拍摄对象的预览图像；对所述预览图像执行图像分割，以得到多个图像区域；基于所述初始焦距对应的对焦位置，在所述多个图像区域中确定目标区域；获取所述拍摄对象的深度信息图像；根据所述目标区域内像素的深度值范围，确定所述目标焦距范围。
2.如权利要求1所述的方法，其特征在于，所述统计所述深度信息图像中表征不同深度的像素的面积，包括：
将所述深度信息图像覆盖的深度范围按照预设深度间隔划分为多个深度区间；
统计所述深度信息图像中表征每个所述深度区间内深度值的像素的面积。
3.如权利要求1所述的方法，其特征在于，在所述统计所述深度信息图像中表征不同深度的像素的面积之前，所述方法还包括：
对所述深度信息图像执行图像分割，以得到多个图像区域；
基于所述初始焦距对应的对焦位置，在所述多个图像区域中确定目标区域；
对应的，所述统计所述深度信息图像中表征不同深度的像素的面积，包括：
统计所述目标区域中表征不同深度的像素的面积，以获得所述深度分布。
4.如权利要求1至3任一项所述的方法，其特征在于，在根据初始焦距确定目标焦距范围之前，所述方法还包括：
确定满足获取所述初始焦距的触发条件；
获取当前对焦的焦距，以获得所述初始焦距。
5.如权利要求1至3任一项所述的方法，其特征在于，在所述根据所述初始焦距确定目标焦距范围之前，所述方法还包括：
确定符合获取所述扩展景深图像的触发条件。
6.如权利要求1至3任一项所述的方法，其特征在于，所述将所述多张图像配准融合，以得到扩展景深图像，包括：
分别在所述多张图像的每张图像中确定清晰度符合预设条件的区域；
将所述确定的区域与基准图像进行配准融合，以得到所述扩展景深图像。
7.如权利要求1所述的方法，其特征在于，在所述对焦马达每次步进对焦之后，获取所述拍摄对象的一张图像。
8.如权利要求1至3或7中任一项所述的方法，其特征在于，所述多张图像由第一摄像模块获得，所述深度信息图像由第二摄像模块获得，所述第一摄像模块的摄像镜头和所述第二摄像模块的摄像镜头相邻。
9.一种扩展景深图像的获取装置，其特征在于，所述装置包括：
第一确定模块，用于根据初始焦距确定目标焦距范围，其中，所述目标焦距范围包括所述初始焦距；
第一获取模块，用于针对所述目标焦距范围内的多个焦距，获取拍摄对象的多张图像；其中，所述目标焦距范围内的多个焦距，根据如下方式获得：根据摄像景深确定对焦马达的步进焦距；控制所述对焦马达在所述目标焦距范围内按照所述步进焦距步进对焦，以获得所述多个焦距；
图像处理模块，用于将所述多张图像配准融合，以得到扩展景深图像；
其中，所述第一确定模块包括：
第一获取单元，用于获取所述拍摄对象的深度信息图像；
统计单元，用于统计所述深度信息图像中表征不同深度的像素的面积，以获得深度分布；
搜索单元，用于在所述深度分布中，搜索所述初始焦距对应的深度两侧的局部像素面积峰值和局部像素面积谷值；
第一确定单元，用于根据所述局部像素面积峰值对应的深度和所述局部像素面积谷值对应的深度，确定所述目标焦距范围；
或者，所述第一确定模块包括：
第二获取单元，用于获取所述拍摄对象的预览图像；
分割单元，用于对所述预览图像执行图像分割，以得到多个图像区域；
第二确定单元，用于基于所述初始焦距对应的对焦位置，在所述多个图像区域中确定目标区域；
第三获取单元，用于获取所述拍摄对象的深度信息图像；
第三确定单元，用于根据所述目标区域内像素的深度值范围，确定所述目标焦距范围。
10.如权利要求9所述的装置，其特征在于，所述统计单元包括：
划分子单元，用于将所述深度信息图像覆盖的深度范围按照预设深度间隔划分为多个深度区间；
统计子单元，用于统计所述深度信息图像中表征每个所述深度区间内深度值的像素的面积。
11.如权利要求10所述的装置，其特征在于，所述装置还包括：
分割模块，用于在所述统计所述深度信息图像中表征不同深度的像素的面积之前，对所述深度信息图像执行图像分割，以得到多个图像区域；
第二确定模块，用于基于所述初始焦距对应的对焦位置，在所述多个图像区域中确定目标区域；
对应的，所述统计子单元用于统计所述目标区域中表征不同深度的像素的面积，以获得所述深度分布。
12.如权利要求9至11任一项所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于在根据初始焦距确定目标焦距范围之前，确定满足获取所述初始焦距的触发条件；
第二获取模块，用于获取当前对焦的焦距，以获得所述初始焦距。
13.如权利要求9至11任一项所述的装置，其特征在于，所述装置还包括：
第四确定模块，用于在所述根据所述初始焦距确定目标焦距范围之前，确定符合获取所述扩展景深图像的触发条件。
14.如权利要求9至11任一项所述的装置，其特征在于，所述图像处理模块包括：
第四确定单元，用于分别在所述多张图像的每张图像中确定清晰度符合预设条件的区域；
图像处理单元，用于将所述确定的区域与基准图像进行配准融合，以得到所述扩展景深图像。
15.如权利要求9所述的装置，其特征在于，所述装置还包括：第三获取模块，用于在所述对焦马达每次步进对焦之后，获取所述拍摄对象的一张图像。
16.如权利要求9至11或15中任一项所述的装置，其特征在于，所述多张图像由第一摄像模块获得，所述深度信息图像由第二摄像模块获得，所述第一摄像模块的摄像镜头和所述第二摄像模块的摄像镜头相邻。
17.一种电子设备，其特征在于，包括：
第一摄像模块，用于获取拍摄物体的图像；
接口和处理器，所述接口用于耦合所述第一摄像模块和处理器；
所述处理器用于执行权利要求1至8任一项所述的方法。
18.如权利要求17所述的电子设备，其特征在于，所述电子设备还包括：
第二摄像模块，用于获取深度信息图像，所述第一摄像模块的摄像镜头和所述第二摄像模块的摄像镜头相邻。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1至8任一项所述的方法。
CN201910883037.6A 2019-09-18 2019-09-18 扩展景深图像的获取方法、装置及电子设备 Active CN112529951B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910883037.6A CN112529951B (zh) 2019-09-18 2019-09-18 扩展景深图像的获取方法、装置及电子设备
EP20865639.7A EP4024846A4 (en) 2019-09-18 2020-09-18 METHOD AND DEVICE FOR OBTAINING AN IMAGE WITH EXTENDED FIELD OF FIELD AND ELECTRONIC DEVICE
PCT/CN2020/116327 WO2021052487A1 (zh) 2019-09-18 2020-09-18 扩展景深图像的获取方法、装置及电子设备
US17/698,631 US20220207764A1 (en) 2019-09-18 2022-03-18 Method and Apparatus for Obtaining Extended Depth of Field Image and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883037.6A CN112529951B (zh) 2019-09-18 2019-09-18 扩展景深图像的获取方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112529951A CN112529951A (zh) 2021-03-19
CN112529951B true CN112529951B (zh) 2024-06-25

Family

ID=74884537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883037.6A Active CN112529951B (zh) 2019-09-18 2019-09-18 扩展景深图像的获取方法、装置及电子设备

Country Status (4)

Country Link
US (1) US20220207764A1 (zh)
EP (1) EP4024846A4 (zh)
CN (1) CN112529951B (zh)
WO (1) WO2021052487A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020005770A1 (en) 2018-06-28 2020-01-02 Applied Materials, Inc. Training spectrum generation for machine learning system for spectrographic monitoring
CN112582569B (zh) * 2020-12-10 2022-12-06 合肥京东方光电科技有限公司 一种显示基板的制备方法、显示基板及显示装置
CN113055603A (zh) * 2021-03-31 2021-06-29 联想(北京)有限公司 一种图像处理方法及电子设备
CN115442512A (zh) * 2021-06-04 2022-12-06 北京小米移动软件有限公司 对焦控制方法、装置、终端及存储介质
CN113572958B (zh) * 2021-07-15 2022-12-23 杭州海康威视数字技术股份有限公司 一种自动触发摄像机聚焦的方法及设备
CN113810607A (zh) * 2021-08-31 2021-12-17 孝感华中精密仪器有限公司 电视摄像连续调焦控制方法、***及电视摄像装置
CN113762484B (zh) * 2021-09-22 2022-12-13 辽宁师范大学 深度蒸馏的多聚焦图像融合方法
CN114222059A (zh) * 2021-11-23 2022-03-22 展讯半导体(南京)有限公司 拍照、拍照处理方法、***、设备及存储介质
CN114845043B (zh) * 2022-03-18 2024-03-15 合肥的卢深视科技有限公司 自动对焦方法、***、电子设备和计算机可读存储介质
CN115359105B (zh) * 2022-08-01 2023-08-11 荣耀终端有限公司 景深扩展图像生成方法、设备及存储介质
CN115170557A (zh) * 2022-08-08 2022-10-11 中山大学中山眼科中心 结膜杯状细胞成像的图像融合方法及装置
CN115866399B (zh) * 2023-02-28 2023-05-16 广东欧谱曼迪科技有限公司 一种3d内窥镜自动调焦方法、装置、电子设备及储存介质
CN116128782A (zh) * 2023-04-19 2023-05-16 苏州苏映视图像软件科技有限公司 一种图像生成方法、装置、设备以及存储介质
CN116523809B (zh) * 2023-07-03 2023-10-17 首都医科大学附属北京口腔医院 一种图像融合装置
CN116993644B (zh) * 2023-09-27 2024-01-19 广东工业大学 一种基于图像分割的多聚焦图像融合方法及装置
CN117710233B (zh) * 2024-02-05 2024-05-24 之江实验室 一种内窥图像的景深扩展方法及装置
CN117880630B (zh) * 2024-03-13 2024-06-07 杭州星犀科技有限公司 对焦深度获取方法、对焦深度获取***及终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888659A (zh) * 2012-12-19 2014-06-25 卡西欧计算机株式会社 摄像装置以及摄像方法
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6157249B2 (ja) * 2012-07-31 2017-07-05 キヤノン株式会社 撮像装置、距離情報取得方法およびプログラム
JP6288952B2 (ja) * 2013-05-28 2018-03-07 キヤノン株式会社 撮像装置およびその制御方法
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US9807372B2 (en) * 2014-02-12 2017-10-31 Htc Corporation Focused image generation single depth information from multiple images from multiple sensors
CN104243828B (zh) * 2014-09-24 2019-01-11 宇龙计算机通信科技(深圳)有限公司 一种拍摄照片的方法、装置及终端
CN104270573A (zh) * 2014-10-27 2015-01-07 上海斐讯数据通信技术有限公司 多点触控对焦成像***和方法及适用的移动终端
CN107800947A (zh) * 2016-09-02 2018-03-13 中兴通讯股份有限公司 一种拍摄方法和终端
CN108020200B (zh) * 2016-10-31 2020-02-28 杭州海康威视数字技术股份有限公司 一种深度测量方法及***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888659A (zh) * 2012-12-19 2014-06-25 卡西欧计算机株式会社 摄像装置以及摄像方法
CN106412426A (zh) * 2016-09-24 2017-02-15 上海大学 全聚焦摄影装置及方法

Also Published As

Publication number Publication date
EP4024846A4 (en) 2022-11-02
EP4024846A1 (en) 2022-07-06
US20220207764A1 (en) 2022-06-30
CN112529951A (zh) 2021-03-19
WO2021052487A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN112529951B (zh) 扩展景深图像的获取方法、装置及电子设备
JP6271990B2 (ja) 画像処理装置、画像処理方法
US9338348B2 (en) Real time assessment of picture quality
CN109889724B (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
CN103516988B (zh) 利用透镜移动的增强图像处理
CN104270560B (zh) 一种多点对焦方法和装置
CN110248097B (zh) 追焦方法、装置、终端设备、计算机可读存储介质
US20100157135A1 (en) Passive distance estimation for imaging algorithms
CN113837079B (zh) 显微镜的自动对焦方法、装置、计算机设备和存储介质
JP6436783B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10721414B2 (en) All-in-focus implementation
CN107690673B (zh) 图像处理方法、装置及服务器
KR20070118036A (ko) 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램
US20140307054A1 (en) Auto focus method and auto focus apparatus
TW201501533A (zh) 調整對焦位置的方法及電子裝置
JP6742173B2 (ja) 焦点調節装置及び方法、及び撮像装置
CN108702457B (zh) 用于自动图像校正的方法、装置和计算机可读存储媒体
WO2011093923A1 (en) Depth from defocus calibration
JP2014044408A (ja) 撮像装置、距離情報取得方法およびプログラム
JP2015148532A (ja) 距離計測装置、撮像装置、距離計測方法、およびプログラム
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
CN116109922A (zh) 鸟类识别方法、鸟类识别设备和鸟类识别***
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN110581950B (zh) 相机、选择相机设置的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant