CN108369649A - 焦点检测 - Google Patents

焦点检测 Download PDF

Info

Publication number
CN108369649A
CN108369649A CN201680072427.XA CN201680072427A CN108369649A CN 108369649 A CN108369649 A CN 108369649A CN 201680072427 A CN201680072427 A CN 201680072427A CN 108369649 A CN108369649 A CN 108369649A
Authority
CN
China
Prior art keywords
big
focus
blurred picture
image
calculate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680072427.XA
Other languages
English (en)
Other versions
CN108369649B (zh
Inventor
A·别列斯托夫
李平山
魏佳宁
屠雪
水仓贵美
松井启
首田大仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108369649A publication Critical patent/CN108369649A/zh
Application granted granted Critical
Publication of CN108369649B publication Critical patent/CN108369649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Analysis (AREA)

Abstract

焦点检测是确定图像是否焦点对准。焦点检测能够被用于改进相机自动聚焦性能。通过仅使用一个特征进行的焦点检测不提供足够的可靠性来区分焦点对准和稍微焦点未对准的图像。本文描述组合用于评估清晰度的多个特征的焦点检测算法。具有焦点对准和焦点未对准图像的大型图像数据集被用来开发用于分离焦点对准图像与焦点未对准图像的焦点检测器。诸如迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征之类的许多特征能够被用来评估清晰度并确定大模糊图像。

Description

焦点检测
技术领域
本发明涉及成像领域。更具体地，本发明涉及焦点检测。
背景技术
在数字成像中，有很多方式聚焦到物体。但是，这些实现具有缺陷并且能够被改进。
发明内容
焦点检测是确定图像是否焦点对准(in focus)。焦点检测能够被用于改进相机自动聚焦(autofocus)性能。通过仅使用一个特征进行的焦点检测不提供足够的可靠性来区分焦点对准和稍微焦点未对准的图像。本文描述组合用于评估清晰度(sharpness)的多个特征的焦点检测算法。具有焦点对准和焦点未对准图像的大型图像数据集被用来开发用于分离焦点对准图像与焦点未对准图像的焦点检测器。诸如迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征之类的许多特征能够被用来评估清晰度并确定大模糊图像。
一方面，一种被编程在设备的非暂时性存储器中的方法包括：获取内容，其中内容包括一个或多个图像；确定内容是否包括大模糊图像；移除大模糊图像；以及确定剩余小模糊图像的焦点对准图像。大模糊图像远离焦点对准位置，使得大模糊图像至少有10个景深远。使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。如果差值低于阈值，那么一个或多个图像是焦点对准的。确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值(magnitude)的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。确定内容是否包括大模糊图像包括计算Chebyshev矩比。确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩(chromatic)特征和组合的非色彩特征设置的阈值。设备选自以下组：该组包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、便携式音乐播放器、平板计算机、视频播放器、DVD刻录机/播放器、高清晰度视频刻录机/播放器、电视机和家庭娱乐***。
另一方面，一种被编程在相机设备的非暂时性存储器中的***包括：被配置为用于捕获来自场景的内容的传感器，其中内容包括一个或多个图像；以及计算模块，被配置为用于：确定内容是否包括大模糊图像、移除大模糊图像，以及确定剩余小模糊图像的焦点对准图像。大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。如果差值低于阈值，那么一个或多个图像是焦点对准的。确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。确定内容是否包括大模糊图像包括计算Chebyshev矩比。确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
在另一方面，一种相机设备包括：用于捕获来自场景的内容的传感器，其中内容包括一个或多个图像；用于存储应用的存储器，该应用用于：确定内容是否包括大模糊图像、移除大模糊图像，以及确定剩余小模糊图像的焦点对准图像；以及用于处理应用的处理器。大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。如果差值低于阈值，那么一个或多个图像焦点对准。确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性误差与线性回归的斜率组合以用于焦点检测。确定内容是否包括大模糊图像包括计算Chebyshev矩比。确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
在另一方面，一种被编程在设备的非暂时性存储器中的方法包括使用该设备获取图像序列，并使用Chebyshev矩比使用该图像序列生成深度图。图像序列的每个图像是以不同的镜头设置拍摄的。图像序列的每个图像被分成小块，并通过聚焦镜头位置表示每个块的深度。Chebyshev矩比被用作焦点测量，以在图像序列中找到最清晰的图像。生成深度图包括首先生成低分辨率平滑深度图，然后逐级地将低分辨率平滑深度图细化为高分辨率深度图，其中在粗糙级别，块尺寸足够大以包含纹理，以确保Chebyshev矩比的有效性，并且大图像块被持续拆分成较小的块，直到每个块中的物体具有相同的深度。该方法还包括检查图像序列的Chebyshev矩比的曲线形状，并且如果Chebyshev矩比曲线具有多个局部最大值并且所有局部最大值都大以至于没有一个突出，那么确定通过比较Chebyshev矩比来找到的聚焦图像是不可靠的，并且如果图像片(patch)的Chebyshev矩比被判定为无效，那么来自较低级别的结果被用来代替不可靠的结果。
附图说明
图1示出了根据一些实施例的确定大模糊图像的图。
图2示出了根据一些实施例的小模糊图像及其频率与DOF的关系的图表。
图3示出了根据一些实施例的使用迭代卷积和色差的图表。
图4示出了根据一些实施例的来自具有使用多变量高斯分布建模的色差的多维特征的焦点对准图像样本的图表。
图5示出了根据一些实施例的图像的频率与小波能量比的关系的图表。
图6示出了根据一些实施例的用于小波变换计算的块的图。
图7示出了根据一些实施例的小波能量比的应用的示例。
图8示出了根据一些实施例的色差的示例。
图9示出了根据一些实施例的另一色差和散焦示例。
图10示出了根据一些实施例的在框架中应用具有红色通道的小波能量比的示例。
图11示出了根据一些实施例的红色和绿色通道之间的清晰度差异的示例。
图12示出了根据一些实施例的确定单个图像的焦点的方法的流程图。
图13示出了根据一些实施例的焦点对准和焦点未对准图像的曲线图。
图14示出了根据一些实施例的频谱线性度的示例。
图15示出了根据一些实施例的线性回归斜率以及频谱线性误差和线性回归斜率的组合的曲线图。
图16示出了根据一些实施例的示例性深度图。
图17示出了根据一些实施例的具有变化的模糊级别的图像的示例。
图18示出了根据一些实施例的Chebyshev矩比的图。
图19示出了根据一些实施例的计算Chebyshev矩比的图。
图20示出了根据一些实施例的将块拆分成越来越小的块的图。
图21示出了根据一些实施例的多个深度的示例。
图22示出了根据一些实施例的Chebyshev矩比的曲线图。
图23示出了根据一些实施例的处于变化级别的深度图的图。
图24示出了根据一些实施例的焦点检测方法的流程图。
图25示出了根据一些实施例的被配置为实现焦点检测方法的示例性计算设备的框图。
具体实施方式
焦点检测是要确定图像是否焦点对准。焦点检测能够被用于改进相机自动聚焦性能。通过仅使用一个特征进行的焦点检测不提供足够的可靠性来区分焦点对准和稍微焦点未对准的图像。本文描述组合用于评估清晰度的多个特征的焦点检测算法。具有焦点对准和焦点未对准图像的大型图像数据集被用来开发用于分离焦点对准图像与焦点未对准图像的焦点检测器。
用于焦点检测的训练方法包括收集焦点对准图像和焦点未对准图像的图像样本，通过对每个特征输出的值进行阈值化来移除“大模糊”图像，并且第二步从剩余的“小模糊”图像中检测焦点对准图像。
“大模糊”图像是远离焦点对准位置的图像(例如，10个景深(DOF)远)。检测大模糊的目的是移除它们，使得剩余“小模糊”图像遵循统计模型。
图1示出了根据一些实施例的确定大模糊图像的图。诸如迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征之类的许多特征能够被用来评估清晰度并确定大模糊图像，其中迭代模糊估计在2015年8月21日提交的标题为“基于高斯近似拉普拉斯算子的单幅图像散焦估计(Defocus Estimation forSingle Image Based on Laplacian of Gaussian Approximation)”的美国专利申请No.14/832,781中描述，该申请通过引用整体并入本文。
图2示出了根据一些实施例的小模糊图像及其频率与DOF的关系的图表。图3示出了根据一些实施例的使用迭代卷积和色差的图表。R与G之间的大多数差值是0和1。
在统计模型中，为迭代次数差值的每个值(0和1)定义小模糊图像集。对于每个定义的图像集，构建具有5个色差特征的多变量高斯模型：频谱线性度、频谱斜率、小波能量比、局部对比度和基于小波的色差。
均值和协方差矩阵
X～N(μc，∑c)
5维多变量高斯分布
对于迭代次数差值＝0的焦点对准图像
对于迭代次数差值＝1的焦点对准图像
多变量高斯模型
高斯分布：
其中c(X)＝(X-μ)T∑-1(X-μ)
c(X)测量到高斯分布的中心的距离，并且能够被用作组合的色彩特征。在同一个椭圆上，c(X)具有常数值。在较小的椭圆上，c(X)较小。图4示出了根据一些实施例的来自具有使用多变量高斯分布建模的色差的多维特征的焦点对准图像样本的图表。
非色彩特征
能够使用高斯分布针对以下每个特征对焦点对准图像进行建模：频谱线性度、频谱斜率、能量百分比和小波能量比。除频谱线性度以外，特征的符号被翻转，使得较小的值意味着较接近于焦点对准。图5示出了根据一些实施例的图像的频率与小波能量比的关系的图表。
非色彩特征的线性组合
对于迭代次数差值＝0的焦点对准图像
对于迭代次数差值＝1的焦点对准图像
针对迭代次数差值、组合的色彩特征和组合的非色彩特征设置阈值。
使用色差的单个画面相机焦点检测的方法
在数字相机中，在自动聚焦期间，评估聚焦窗口中的被摄体是否焦点对准常常是至关重要的。通常在不同的镜头位置处拍摄多个图像，以通过比较这些图像的清晰度或对比度来确定被摄体是否是焦点对准的。在本文描述，焦点能够从单个图像被确定。任何数字相机中每个镜头中所固有的色差量被用来决定被摄体是否焦点对准。
确定基于图像的每个小波子带中的能量的清晰度测量。计算三个颜色通道(红色、绿色和蓝色)中每一个通道的清晰度。由于色差，红色、绿色和蓝色通道的清晰度在焦平面的两侧是不同的。例如，在焦平面的一侧红色通道始终比绿色通道清晰，但在另一侧红色通道比绿色通道模糊。但在焦平面处，不同通道之间的清晰度差异最小。通过计算颜色通道之间清晰度的差异，可以区分聚焦图像和散焦图像。
模糊/清晰度度量可以随着图像内容或边缘类型显著变化。但是，两个颜色通道之间的差异的变化小得多。这是因为颜色通道之间存在强相关性。例如，如果红色通道是阶梯边缘，那么绿色通道最有可能也是阶梯边缘。如果红色通道是纹理，那么绿色通道最有可能也是纹理。虽然阶梯边缘和纹理图像的模糊度量能够非常不同，但阶梯边缘和纹理图像的红色和绿色通道之间的模糊度量的差异应当不会非常不同。
输入图像被获取，并且其L级小波变换W被计算。W1，h(i，j)用来表示在级别l、像素位置(i，j)处的水平频带小波系数。类似地，W1，v(i，j)用来表示垂直频带小波系数，并且W1，d(i，j)用来表示对角线频带小波系数。而且，l＝1用来表示最精细的级别，并且l＝L用来表示最粗糙的级别。计算以下小波能量比：
其中s是清晰度/模糊测量。较小的s意味着较清晰的图像或较接近焦点位置。小波能量比是所有小波细节系数的能量总和与最精细级别小波细节系数的能量总和之间的比。在焦点对准位置处，高频带(最精细的级别)中的能量占大比例。但是，在焦点未对准位置处，高频带中的能量只占小的比例。图6示出了根据一些实施例的用于小波变换计算的块的图。
图7示出了根据一些实施例的小波能量比的应用的示例。如能够看出的，焦点对准位置处的清晰度值对于图像而言是非常不同的。
图8示出了根据一些实施例的色差的示例。镜头色差造成红色和绿色通道的清晰度不同。最左边的图像示出焦点后面的物体与绿色边缘。最右边的图像示出焦点前方的物体与红色边缘。中间的图像是焦点对准的。图9示出了根据一些实施例的另一色差和散焦示例。
使用色差进行焦点检测包括计算绿色通道和红色通道的清晰度之间的绝对差值。这个差值能够被用来确定焦点。差值越小(就绝对值而言)指示越接近焦点。
图10示出了根据一些实施例的在框架中应用具有红色通道的小波能量比的示例。相同的小波能量比在一个场景中被认为是焦点对准，并且在另一场景中被认为是焦点未对准。该示例示出了清晰度/模糊度量随着图像内容的大变化。
图11示出了根据一些实施例的红色和绿色通道之间的清晰度差异的示例。使用清晰度的差异作为焦点测量显著减少了场景变化。
图12示出了根据一些实施例的确定单个图像的焦点的方法的流程图。在步骤1200中，获取图像。在步骤1202中，针对图像的红色通道计算小波能量比。在步骤1204中，针对图像的绿色通道计算小波能量比。在步骤1206中，计算小波能量比的差值。在步骤1208中，将差值与阈值进行比较。如果差值高于阈值，那么图像焦点未对准，并且如果差值等于或低于阈值，那么图像焦点对准。阈值能够是任何阈值，诸如针对每个不同相机、镜头、光圈和变焦设置使用机器学习训练的或根据经验确定的阈值。此外，能够考虑增益因子(相机ISO)来调整阈值。
使用功率谱进行焦点检测
假设自然图像由分形(fractal)形成。图像的功率谱应当作为1/f2降低。图13示出了根据一些实施例的焦点对准图像和焦点未对准图像的曲线图。
为了使用功率谱执行焦点检测，实现以下步骤。取聚焦区域的快速傅立叶变换(FFT)。取围绕频率0的FFT系数的量值的径向平均值。取量值和频率两者的对数，使得如果图像焦点对准，那么曲线应该当是线性的。取线性回归。计算线性回归结果与FFT系数曲线之间的误差以用于测量线性度。线性回归结果的斜率与线性度误差的线性组合被用于焦点检测。图14示出了根据一些实施例的频谱线性度的示例。
在一些实施例中，单独线性度误差不足以用于焦点检测。对于一些散焦图像，频谱看起来比焦点对准图像更线性。其造成原因能够是模糊不是高斯的并且在图像中存在强周期性模式。为了解决这个问题，使用修改的焦点检测功能。
由于对于散焦图像频谱值下降得较快，因此线性回归斜率能够用于结合频谱线性度进行焦点检测。频谱线性度和线性回归斜率的线性组合被用作焦点检测功能。包含焦点对准图像和焦点未对准图像两者的大型图像数据集被用来优化组合系数，以最大程度地分离焦点对准图像与焦点未对准图像。图15示出了根据一些实施例的线性回归斜率以及频谱线性误差和线性回归斜率的组合的曲线图。
使用Chebyshev矩的由粗到细的深度图构造方法
本文描述的方法针对从具有不同镜头设置的DSC相机拍摄的图像序列构造深度图。在不同的镜头位置处，投射到图像传感器上的场景呈现出不同的模糊程度，其中只有一个镜头位置可以正确地捕获具有焦点的场景。因此，镜头位置能够被用作场景深度的测量。为了描述复杂场景的深度信息，图像能够被分成小块，并通过每个块的聚焦镜头位置表示该块的深度。Chebyshev矩比被用作焦点测量，以在序列中找到最清晰的图像。Chebyshev矩比测量主要使用纹理频率信息来找到焦点图像，因此当图像片缺乏一定的纹理时曲线会变得嘈杂。为了构造高分辨率但平滑的深度图，开发了由粗到细方案，其中首先构造低分辨率平滑深度图，然后逐级细化为高分辨率。在粗糙级别，块尺寸被设置为足够大以包含纹理，以确保Chebyshev矩比的有效性。但是，如果单个块包含处于不同深度的多个物体，那么大的块尺寸失去准确性，因为它将选择主要物体的深度作为结果。大图像块被持续地拆分成较小的块，直到每个块中的物体具有相同的深度。在某一精细级别处，如果小片包含很少纹理使得焦点测量变得嘈杂，那么结果被认为是不可靠的并且使用来自较粗糙级别的结果。
图像处理和计算机视觉中的基本问题是要检索复杂场景的深度信息。相机自动聚焦就是一个这样的实际应用。
传统的基于对比度的自动聚焦方法也尝试在具有不同模糊程度的图像序列中找到最清晰的图像。已经使用了不同的焦点测量，包括方差、一阶梯度、二阶梯度和频率。但是这些方法通常没有可靠性判断，当图像包含很少纹理时结果会变得嘈杂。
本文描述的可靠性测量被用来决定查找最清晰图像块的结果是否有效。而且，如果找不到可靠的结果，那么使用由粗到细方案来确保平滑度。
一种新的可靠性测量方法包括检查图像序列的Chebyshev矩比的曲线形状。如果Chebyshev矩比曲线具有多个局部最大值并且所有局部最大值都大以使得没有一个或两个可以突出，那么决定通过比较Chebyshev矩比而找出的聚焦图像是不可靠的。如果用于图像片的Chebyshev矩比被决定为无效，那么来自较低级别的结果被用来替换不可靠的结果。由粗到细级别提升细化方案首先将图像拆分成大块(或根本不拆分)以确保每个块包含Chebyshev矩比有效的纹理，然后将每个块拆分成较小的块以便如果结果有效就更新深度值。该方案能够成功地生成噪声较少的高分辨率深度图，因为较低分辨率深度图中的大块确保平滑度，而较高分辨率的小块增加准确度。
该方法能够被用来为各种应用构造测试工作台(bench)参考深度图，诸如1图像或2图像自动聚焦、3D TV或任何深度相关的计算机视觉任务。它也用作自动聚焦技术。
深度图是一种表达场景的深度信息的方式，其中深度图中的像素表示3D空间中物体的深度。测量场景深度的一种方式是使用镜头位置。不同的镜头位置聚焦在不同的深度处。深度图能够具有不同的分辨率。最精细的分辨率与图像分辨率相同。较粗糙的分辨率意味着小图像块被假设为具有相同的深度，并且深度图中那个块内的像素将具有相同的值。
图16示出了根据一些实施例的示例性深度图。图17示出了根据一些实施例的具有变化的模糊级别的图像的示例。利用不同相机镜头设置拍摄的图像呈现出不同程度的模糊。最清晰的图像(聚焦图像)能够通过比较提供深度的模糊程度来确定。图18示出了根据一些实施例的Chebyshev矩比的图。
Chebyshev矩是图像和Chebyshev多项式之间的相关测量。Chebyshev矩比被定义为高阶矩除以低阶矩。较清晰的图像具有较大的Chebyshev矩比，并且模糊图像具有较小的Chebyshev矩比。从具有不同模糊程度的图像序列中，通过比较其Chebyshev矩比，能够找到聚焦图像，其中具有最大Chebyshev矩比的图像是聚焦图像。
如果图像包含处于不同深度的多个物体，那么在具体的镜头设置下，只能将图像的一部分聚焦。为了找到用于整个图像的聚焦镜头设置，能够将图像拆分成小块并找到用于每个块的合适镜头位置。对于每个小块计算Chebyshev矩比，并且具有最大Chebyshev矩比的块被认为是聚焦的。图19示出了根据一些实施例的计算Chebyshev矩比的图。
如果图像块包含很少纹理，那么Chebyshev矩比曲线不平滑并且可以包含多个局部最大值，于是最大值不能指示正确的焦点。因此图像被拆分成较大的块，以确保每个块包含纹理，然后每个较大的块被拆分成较小的块。图20示出了根据一些实施例的将块拆分成越来越小的块的图。
当大块包含处于不同深度的多个物体时，最大Chebyshev矩比只与主要深度对应，以增加深度图准确度，大块被拆分成较小的块。
图21示出了根据一些实施例的多个深度的示例。
图22示出了根据一些实施例的Chebyshev矩比的曲线图。
有时候由于缺乏纹理，最大Chebyshev矩比不与正确的聚焦镜头位置对应。这种结果应当被认为是无效的。判断标准包括：Chebyshev矩比曲线不应当包含多于三个其值大于全局最大值的40％的局部最大值。当小块的Chebyshev矩比曲线被决定为无效时，使用较粗糙级别的局部最大值来代替它。如果存在多个局部最大值，那么选择当前级别中较接近全局最大值的那一个。图23示出了根据一些实施例的处于变化级别的深度图的图。
图24示出了根据一些实施例的焦点检测方法的流程图。在步骤2400中，获取内容。例如，捕获一个或多个图像。在步骤2402中，使用本文所述的方法分析内容。例如，迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比，Chebyshev矩比和色差特征被用于检测焦点。在一些实施例中，实现较少或附加的步骤。在一些实施例中，步骤的次序被修改。
图25示出了根据一些实施例的被配置为实现焦点检测方法的示例性计算设备的框图。计算设备2500能够被用来获取、存储、计算、处理、传送和/或显示诸如图像和视频之类的信息。一般而言，适于实现计算设备2500的硬件结构包括网络接口2502、存储器2504、处理器2506、(一个或多个)I/O设备2508、总线2510和存储设备2512。处理器的选择不是关键的，只要选择具有足够速度的合适处理器即可。存储器2504能够是本领域已知的任何常规的计算机存储器。存储设备2512能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清晰度盘/驱动器、超HD驱动器、闪存卡或任何其它存储设备。计算设备2500能够包括一个或多个网络接口2502。网络接口的示例包括连接到以太网或其它类型的LAN的网卡。(一个或多个)I/O设备2508能够包括以下一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用来执行焦点检测方法的(一个或多个)焦点检测应用2530可能被存储在存储设备2512和存储器2504中，并且如应用通常被处理的那样被处理。图25中所示的较多或较少的部件能够被包括在计算设备2500中。在一些实施例中，包括焦点检测硬件2520。虽然图25中的计算设备2500包括用于焦点检测方法的应用2530和硬件2520，但是焦点检测方法能够以硬件、固件、软件或其任意组合在计算设备上实现。例如，在一些实施例中，焦点检测应用2530被编程在存储器中并且使用处理器来执行。在另一示例中，在一些实施例中，焦点检测硬件2520是编程的硬件逻辑，包括专门设计为实现焦点检测方法的门。
在一些实施例中，(一个或多个)焦点检测方法应用2530包括若干应用和/或模块。在一些实施例中，模块还包括一个或多个子模块。在一些实施例中，能够包括较少或附加的模块。
合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、智能电话、便携式音乐播放器、平板计算机、移动设备、视频播放器、视频盘刻录机/播放器(例如DVD刻录机/播放器、高清晰度盘刻录机/播放器、超高清晰度盘刻录机/播放器)、电视机、家庭娱乐***、智能珠宝(例如，智能手表)或任何其它合适的计算设备。
为了利用本文描述的焦点检测方法，诸如数字相机之类的设备被用来获取视频/图像。焦点检测方法被自动用于处理所获取的数据，诸如自动聚焦。焦点检测方法能够在没有用户参与的情况下自动实现。
在操作中，本文描述的焦点检测方法显著地减少了不同场景的焦点测量的变化。焦点检测方法能够被用于数字相机、相机电话、平板电脑、扫描仪以及任何其它带镜头的光学成像***的焦点测量和自动聚焦应用。
焦点检测的一些实施例
1、一种被编程在设备的非暂时性存储器中的方法，包括：
a.获取内容，其中内容包括一个或多个图像；
b.确定内容是否包括大模糊图像；
c.移除大模糊图像；以及
d.确定剩余小模糊图像的焦点对准图像。
2、如条款1所述的方法，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
3、如条款1所述的方法，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
4、如条款1所述的方法，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
5、如条款4所述的方法，其中如果差值低于阈值，那么一个或多个图像焦点对准。
6、如条款1所述的方法，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。
7、如条款1所述的方法，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
8、如条款1所述的方法，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
9、如条款1所述的方法，其中设备选自以下组：该组包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、便携式音乐播放器、平板计算机、视频播放器、DVD刻录机/播放器、高清晰度视频刻录机/播放器、电视机和家庭娱乐***。
10、一种被编程在相机设备的非暂时性存储器中的***，包括：
a.传感器，被配置为用于捕获来自场景的内容，其中内容包括一个或多个图像；以及
b.计算模块，被配置为用于：
i.确定内容是否包括大模糊图像；
ii.移除大模糊图像；以及
iii.确定剩余小模糊图像的焦点对准图像。
11、如条款10所述的***，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
12、如条款10所述的***，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
13、如条款10所述的***，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
14、如条款13所述的***，其中如果差值低于阈值，那么一个或多个图像焦点对准。
15、如条款10所述的***，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。
16、如条款10所述的***，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
17、如条款10所述的***，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
18、一种相机设备，包括：
a.传感器，用于捕获来自场景的内容，其中内容包括一个或多个图像；以及
b.存储器，用于存储应用，该应用用于：
i.确定内容是否包括大模糊图像；
ii.移除大模糊图像；以及
iii.确定剩余小模糊图像的焦点对准图像；以及
c.处理器，用于处理应用。
19、如条款18所述的相机设备，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
20、如条款18所述的相机设备，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
21、如条款18所述的相机设备，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算一个或多个图像的第一通道的小波能量比、计算一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
22、如条款21所述的相机设备，其中如果差值低于阈值，那么一个或多个图像焦点对准。
23、如条款18所述的相机设备，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度并将线性度误差与线性回归的斜率组合以用于焦点检测。
24、如条款18所述的相机设备，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
25、如条款18所述的相机设备，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
26、一种被编程在设备的非暂时性存储器中的方法，包括：
a.使用该设备获取图像序列；以及
b.使用Chebyshev矩比使用该图像序列生成深度图。
27、如条款26所述的方法，其中图像序列的每个图像是以不同的镜头设置拍摄的。
28、如条款26所述的方法，其中图像序列的每个图像被分成小块，并通过聚焦镜头位置表示每个块的深度。
29、如条款26所述的方法，其中Chebyshev矩比被用作焦点测量，以在图像序列中找到最清晰的图像。
30、如条款29所述的方法，其中生成深度图包括首先生成低分辨率平滑深度图，然后逐级地将低分辨率平滑深度图细化为高分辨率深度图，其中在粗糙级别，块尺寸足够大以包含纹理，以确保Chebyshev矩比的有效性，并且大图像块被持续拆分成较小的块，直到每个块中的物体具有相同的深度。
31、如条款30所述的方法，还包括检查图像序列的Chebyshev矩比的曲线形状，并且如果Chebyshev矩比曲线具有多个局部最大值并且所有局部最大值都大以至于没有一个突出，那么确定通过比较Chebyshev矩比来找到的聚焦图像是不可靠的，并且如果图像片的Chebyshev矩比被判定为无效，那么来自较低级别的结果被用来代替不可靠的结果。
已经就结合细节的具体实施例描述了本发明，以促进理解本发明的构造和操作的原理。本文对具体实施例及其细节的这种引用并不旨在限制所附权利要求的范围。对于本领域技术人员而言容易清楚的是，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以在被选择用来例证的实施例中进行其它各种修改。

Claims (31)

1.一种被编程在设备的非暂时性存储器中的方法，包括：
a.获取内容，其中内容包括一个或多个图像；
b.确定内容是否包括大模糊图像；
c.移除大模糊图像；以及
d.确定剩余小模糊图像的焦点对准图像。
2.如权利要求1所述的方法，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
3.如权利要求1所述的方法，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
4.如权利要求1所述的方法，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算所述一个或多个图像的第一通道的小波能量比、计算所述一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
5.如权利要求4所述的方法，其中如果差值低于阈值，那么所述一个或多个图像焦点对准。
6.如权利要求1所述的方法，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。
7.如权利要求1所述的方法，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
8.如权利要求1所述的方法，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
9.如权利要求1所述的方法，其中设备选自以下组：该组包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能电话、智能电器、游戏控制台、数字相机、数字摄像机、相机电话、便携式音乐播放器、平板计算机、视频播放器、DVD刻录机/播放器、高清晰度视频刻录机/播放器、电视机和家庭娱乐***。
10.一种被编程在相机设备的非暂时性存储器中的***，包括：
a.传感器，被配置为用于捕获来自场景的内容，其中内容包括一个或多个图像；以及
b.计算模块，被配置为用于：
i.确定内容是否包括大模糊图像；
ii.移除大模糊图像；以及
iii.确定剩余小模糊图像的焦点对准图像。
11.如权利要求10所述的***，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
12.如权利要求10所述的***，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
13.如权利要求10所述的***，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算所述一个或多个图像的第一通道的小波能量比、计算所述一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
14.如权利要求13所述的***，其中如果差值低于阈值，那么所述一个或多个图像焦点对准。
15.如权利要求10所述的***，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度，并将线性度误差与线性回归的斜率组合以用于焦点检测。
16.如权利要求10所述的***，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
17.如权利要求10所述的***，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
18.一种相机设备，包括：
a.传感器，用于捕获来自场景的内容，其中内容包括一个或多个图像；以及
b.存储器，用于存储应用，该应用用于：
i.确定内容是否包括大模糊图像；
ii.移除大的模糊图像；以及
iii.确定剩余小模糊图像的焦点对准图像；以及
c.处理器，用于处理该应用。
19.如权利要求18所述的相机设备，其中大模糊图像远离焦点对准位置，使得大模糊图像至少10个景深远。
20.如权利要求18所述的相机设备，其中使用选自迭代模糊估计、FFT线性度、边缘百分比、小波能量比、改进的小波能量比、Chebyshev矩比和色差特征的标准来确定大模糊图像。
21.如权利要求18所述的相机设备，其中确定内容是否包括大模糊图像包括利用色差特征，包括计算所述一个或多个图像的第一通道的小波能量比、计算所述一个或多个图像的第二通道的小波能量比、计算小波能量比的差值并将该差值与阈值进行比较。
22.如权利要求21所述的相机设备，其中如果差值低于阈值，那么所述一个或多个图像焦点对准。
23.如权利要求18所述的相机设备，其中确定内容是否包括大模糊图像包括计算区域的快速傅立叶变换、计算围绕频率0的快速傅立叶变换系数的量值的径向平均值、计算量值和频率的对数、计算线性回归、计算线性回归结果与快速傅立叶变换系数曲线之间的误差以用于测量线性度并将线性度误差与线性回归的斜率组合以用于焦点检测。
24.如权利要求18所述的相机设备，其中确定内容是否包括大模糊图像包括计算Chebyshev矩比。
25.如权利要求18所述的相机设备，其中确定剩余小模糊图像的焦点对准图像利用为迭代次数差值、组合的色彩特征和组合的非色彩特征设置的阈值。
26.一种被编程在设备的非暂时性存储器中的方法，包括：
a.使用该设备获取图像序列；以及
b.使用Chebyshev矩比使用该图像序列生成深度图。
27.如权利要求26所述的方法，其中图像序列的每个图像是以不同的镜头设置拍摄的。
28.如权利要求26所述的方法，其中图像序列的每个图像被分成小块，并通过聚焦镜头位置表示每个块的深度。
29.如权利要求26所述的方法，其中Chebyshev矩比被用作焦点测量，以在图像序列中找到最清晰的图像。
30.如权利要求29所述的方法，其中生成深度图包括首先生成低分辨率平滑深度图，然后逐级地将低分辨率平滑深度图细化为高分辨率深度图，其中在粗糙级别，块尺寸足够大以包含纹理，以确保Chebyshev矩比的有效性，并且大图像块被持续拆分成较小的块，直到每个块中的物体具有相同的深度。
31.如权利要求30所述的方法，还包括检查图像序列的Chebyshev矩比的曲线形状，并且如果Chebyshev矩比曲线具有多个局部最大值并且所有局部最大值都大以使得没有一个突出，那么确定通过比较Chebyshev矩比来找到的聚焦图像是不可靠的，并且如果图像片的Chebyshev矩比被判定为无效，那么来自较低级别的结果被用来代替不可靠的结果。
CN201680072427.XA 2015-12-18 2016-12-12 焦点检测 Active CN108369649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/975,315 US9715721B2 (en) 2015-12-18 2015-12-18 Focus detection
US14/975,315 2015-12-18
PCT/US2016/066113 WO2017106084A1 (en) 2015-12-18 2016-12-12 Focus detection

Publications (2)

Publication Number Publication Date
CN108369649A true CN108369649A (zh) 2018-08-03
CN108369649B CN108369649B (zh) 2021-11-12

Family

ID=59057456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680072427.XA Active CN108369649B (zh) 2015-12-18 2016-12-12 焦点检测

Country Status (6)

Country Link
US (1) US9715721B2 (zh)
EP (1) EP3371741B1 (zh)
JP (1) JP6703314B2 (zh)
KR (1) KR102038789B1 (zh)
CN (1) CN108369649B (zh)
WO (1) WO2017106084A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244399A1 (zh) * 2020-06-02 2021-12-09 深圳光峰科技股份有限公司 一种投影装置及其自动对焦方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646225B2 (en) * 2015-08-21 2017-05-09 Sony Corporation Defocus estimation from single image based on Laplacian of Gaussian approximation
GB2578769B (en) 2018-11-07 2022-07-20 Advanced Risc Mach Ltd Data processing systems
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
KR102665968B1 (ko) 2019-06-27 2024-05-16 삼성전자주식회사 블러 추정 방법 및 장치
CN110455258B (zh) * 2019-09-01 2021-08-10 中国电子科技集团公司第二十研究所 一种基于单目视觉的无人机离地高度测量方法
CN113132620B (zh) * 2019-12-31 2022-10-11 华为技术有限公司 一种图像拍摄方法及相关装置
WO2024106746A1 (ko) * 2022-11-18 2024-05-23 삼성전자주식회사 디지털 보케 이미지의 해상도를 높이기 위한 전자 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454134B2 (en) * 2004-11-10 2008-11-18 Hoya Corporation Image signal processing unit and digital camera
US20080309771A1 (en) * 2007-06-12 2008-12-18 Nikon Corporation Digital camera
CN101751664A (zh) * 2008-12-02 2010-06-23 奇景光电股份有限公司 立体深度资讯的产生***及产生方法
CN103595910A (zh) * 2012-08-15 2014-02-19 佳能株式会社 摄像设备及其控制方法
CN103685861A (zh) * 2012-08-29 2014-03-26 索尼公司 用于在深度估计过程中使用增强的场景检测的***和方法
CN103813096A (zh) * 2012-11-14 2014-05-21 索尼公司 多分辨率的基于离焦深度测量的自动聚焦
US8922662B1 (en) * 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5475429A (en) * 1991-07-25 1995-12-12 Olympus Optical Co., Ltd. In-focus sensing device for sensing an in-focus condition using a ratio of frequency components at different positions
CA2236268A1 (en) 1995-11-30 1997-06-05 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
US6753919B1 (en) * 1998-11-25 2004-06-22 Iridian Technologies, Inc. Fast focus assessment system and method for imaging
WO2002063367A1 (en) 2001-02-02 2002-08-15 Cellomics, Inc. Method for estimating the best initial focus position
US7257273B2 (en) * 2001-04-09 2007-08-14 Mingjing Li Hierarchical scheme for blur detection in digital image using wavelet transform
US6548800B2 (en) * 2001-04-09 2003-04-15 Microsoft Corporation Image blur detection methods and arrangements
EP1527395A4 (en) 2002-06-25 2006-03-01 Ibm METHOD AND SYSTEM FOR CONTROLLING THE PERFORMANCE OF AN APPLICATION IN A DISTRIBUTED ENVIRONMENT
US7181082B2 (en) * 2002-12-18 2007-02-20 Sharp Laboratories Of America, Inc. Blur detection system
JP2007524438A (ja) 2003-03-25 2007-08-30 イメージング セラピューティクス，インコーポレーテッド 放射線画像処理技術における補償の方法
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
US7764844B2 (en) 2004-09-10 2010-07-27 Eastman Kodak Company Determining sharpness predictors for a digital image
US7668388B2 (en) * 2005-03-03 2010-02-23 Mitutoyo Corporation System and method for single image focus assessment
US7920172B2 (en) 2005-03-07 2011-04-05 Dxo Labs Method of controlling an action, such as a sharpness modification, using a colour digital image
US20070165961A1 (en) * 2006-01-13 2007-07-19 Juwei Lu Method And Apparatus For Reducing Motion Blur In An Image
US8970680B2 (en) 2006-08-01 2015-03-03 Qualcomm Incorporated Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device
EP2283463B1 (en) * 2008-05-30 2014-10-29 GE Healthcare Bio-Sciences Corp. System and method for detecting and eliminating one or more defocused or low contrast-to-noise ratio images
US8928763B2 (en) 2008-12-09 2015-01-06 Abbyy Development Llc Detecting and correcting blur and defocusing
JP5136474B2 (ja) * 2009-03-13 2013-02-06 ソニー株式会社 画像処理装置および方法、学習装置および方法、並びに、プログラム
US8294811B2 (en) * 2009-08-04 2012-10-23 Aptina Imaging Corporation Auto-focusing techniques based on statistical blur estimation and associated systems and methods
FR2949003B1 (fr) 2009-08-10 2017-09-08 Dxo Labs Systeme et procede de capture d'images avec deux modes de fonctionnement
US9147246B2 (en) 2009-08-18 2015-09-29 Ben-Gurion University Of The Negev Research And Development Authority Apparatus and method for analyzing stream of imaging data
US8373789B2 (en) 2010-02-18 2013-02-12 Ju Jin Auto focus system and auto focus method
US8688616B2 (en) 2010-06-14 2014-04-01 Blue Prism Technologies Pte. Ltd. High-dimensional data analysis
EP2448246B1 (en) 2010-10-28 2019-10-09 Axis AB Method for focusing
US9297995B2 (en) * 2011-02-11 2016-03-29 University Of South Florida Automatic stereological analysis of biological tissue including section thickness determination
US9116834B2 (en) 2011-03-23 2015-08-25 Asml Netherlands B.V. Methods and apparatus for calculating electromagnetic scattering properties of a structure and for reconstruction of approximate structures
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US8340456B1 (en) 2011-10-13 2012-12-25 General Electric Company System and method for depth from defocus imaging
US9117277B2 (en) 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US9357123B1 (en) * 2014-12-23 2016-05-31 Adobe Systems Incorporated Image defocus blur estimation
US9723197B2 (en) * 2015-03-31 2017-08-01 Sony Corporation Depth estimation from image defocus using multiple resolution Gaussian difference
US10194072B2 (en) * 2015-06-08 2019-01-29 Motorola Solutions, Inc Method and apparatus for remote detection of focus hunt

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454134B2 (en) * 2004-11-10 2008-11-18 Hoya Corporation Image signal processing unit and digital camera
US20080309771A1 (en) * 2007-06-12 2008-12-18 Nikon Corporation Digital camera
CN101751664A (zh) * 2008-12-02 2010-06-23 奇景光电股份有限公司 立体深度资讯的产生***及产生方法
US8922662B1 (en) * 2012-07-25 2014-12-30 Amazon Technologies, Inc. Dynamic image selection
CN103595910A (zh) * 2012-08-15 2014-02-19 佳能株式会社 摄像设备及其控制方法
CN103685861A (zh) * 2012-08-29 2014-03-26 索尼公司 用于在深度估计过程中使用增强的场景检测的***和方法
CN103813096A (zh) * 2012-11-14 2014-05-21 索尼公司 多分辨率的基于离焦深度测量的自动聚焦

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
PEW-THIAN YAP等: "Image Focus Measure Based on Chebyshev Moments", 《IEE PROCEEDINGS - VISION IMAGE AND SIGNAL PROCESSING》 *
SERDAR CAKIR等: "Autofocus of infrared cameras based on the cumulative probability of blur detection", 《2014 22ND SIGNAL PROCESSING AND COMMUNICATIONS APPLICATIONS CONFERENCE (SIU)》 *
TAYEBEH RAJABZADEH等: "Static Object Depth Estimation Using Defocus Blur Levels Features", 《2010 6TH INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS NETWORKING AND MOBILE COMPUTING (WICOM)》 *
冯华君等: "一种用于数字成像的自动对焦***", 《光电工程》 *
王昕等: "空间遥感相机的自动检焦技术研究", 《红外》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021244399A1 (zh) * 2020-06-02 2021-12-09 深圳光峰科技股份有限公司 一种投影装置及其自动对焦方法

Also Published As

Publication number Publication date
EP3371741A1 (en) 2018-09-12
US9715721B2 (en) 2017-07-25
KR20180084858A (ko) 2018-07-25
EP3371741A4 (en) 2019-06-26
JP6703314B2 (ja) 2020-06-03
US20170178296A1 (en) 2017-06-22
WO2017106084A1 (en) 2017-06-22
KR102038789B1 (ko) 2019-10-30
CN108369649B (zh) 2021-11-12
JP2019508921A (ja) 2019-03-28
EP3371741B1 (en) 2023-01-25

Similar Documents

Publication Publication Date Title
CN108369649A (zh) 焦点检测
US10013764B2 (en) Local adaptive histogram equalization
Zheng et al. Single-image vignetting correction
Oliveira et al. Parametric blur estimation for blind restoration of natural images: Linear motion and out-of-focus
Konrad et al. Learning-based, automatic 2D-to-3D image and video conversion
US7623683B2 (en) Combining multiple exposure images to increase dynamic range
US20110128354A1 (en) System and method for obtaining camera parameters from multiple images and computer program products thereof
CN107077725A (zh) 数据处理装置、成像装置和数据处理方法
US9798951B2 (en) Apparatus, method, and processor for measuring change in distance between a camera and an object
CN107481271B (zh) 一种立体匹配方法、***及移动终端
Zhang et al. Robust metric reconstruction from challenging video sequences
WO2007114847A2 (en) Single-image vignetting correction
CN102034113A (zh) 基于l1差距量度来测量局部图像相似度的方法
CN106153579A (zh) 测量装置、测量方法和程序
Singh et al. Robust and effective image preprocessing conglomerate method for denoising of both grayscale and color images
Ruchay et al. Removal of impulse noise clusters from color images with local order statistics
Tiwari et al. Certain investigations on motion blur detection and estimation
Xu et al. Features based spatial and temporal blotch detection for archive video restoration
Kwon et al. All-in-focus imaging using average filter-based relative focus measure
US8463037B2 (en) Detection of low contrast for image processing
Wang et al. An airlight estimation method for image dehazing based on gray projection
Jung et al. Robust statistical pixel estimation
Tolstaya et al. Depth propagation for semi-automatic 2d to 3d conversion
Mahmood et al. Measuring focus quality in vector valued images for shape from focus
US20220377301A1 (en) Light field synthesis method and light field synthesis system

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant