CN102948142B - 自动聚焦图像*** - Google Patents

自动聚焦图像*** Download PDF

Info

Publication number
CN102948142B
CN102948142B CN201080066987.7A CN201080066987A CN102948142B CN 102948142 B CN102948142 B CN 102948142B CN 201080066987 A CN201080066987 A CN 201080066987A CN 102948142 B CN102948142 B CN 102948142B
Authority
CN
China
Prior art keywords
edge
sharp
width
signal
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080066987.7A
Other languages
English (en)
Other versions
CN102948142A (zh
Inventor
郑苍隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201610286776.3A priority Critical patent/CN105898146A/zh
Publication of CN102948142A publication Critical patent/CN102948142A/zh
Application granted granted Critical
Publication of CN102948142B publication Critical patent/CN102948142B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

一种自动聚焦图像***,其包括耦合到一聚焦信号产生器的一像素阵列。该像素阵列捕捉具有具一宽度的至少一个边缘的一图像。该聚焦信号产生器可产生一聚焦信号,该聚焦信号随边缘宽度和/或边缘宽度统计而变。一处理器接收该聚焦信号和/或该边缘宽度统计,且调整一聚焦透镜的一聚焦位置。可通过包括使用梯度等各种技术来确定该边缘宽度。可使用边缘宽度的一直方图来确定一特定图像是已聚焦的还是未聚焦的。具有一大的瘦边缘宽度计数的一直方图指示一已聚焦的图像。

Description

自动聚焦图像***
发明人
HiokNamTAY
本专利申请案主张2010年5月26日申请的第61/348,699号美国临时专利申请案以及2010年5月27日申请的第2010-122100号日本专利申请案的优先权。
技术领域
所揭示的标的物一般涉及自动聚焦电子捕捉的图像。
背景技术
例如数码相机和数字摄像机等摄影设备可包含电子图像传感器,其捕捉光以用于分别处理成静止或视频图像。电子图像传感器通常包含数百万个光捕捉元件,例如光电二极管。
例如相机等许多图像捕捉装置包括自动聚焦***。自动聚焦过程包括以下步骤:捕捉图像;处理图像以确定其是否对焦;以及如果未对焦,那么产生用以改变聚焦透镜的聚焦位置的反馈信号。存在两种主要自动聚焦技术。第一种技术涉及对比度测量,另一技术考虑一对图像之间的相位差。在对比度方法中,分析邻近像素之间的强度差,且调整焦点,直到检测到最大对比度为止。尽管对于静态图片来说是可接受的,但对比度技术对于运动视频来说是不合适的。
相位差方法包括将传入图像***成两个图像,其由单独的图像传感器捕捉。将两个图像进行比较以确定相位差。调整聚焦位置,直到两个图像匹配为止。相位差方法需要额外零件,例如光束***器和额外图像传感器。另外,相位差方法分析相对小的固定检测点带。具有较小的检测点群组易于导致误差,因为噪声可叠加到一个或一个以上点上。如检测点不与图像边缘重合,那么此技术也是无效的。最后,因为相位差方法将光***,因此撞击在光传感器上的光的量被切为两半或更多。在图像光强度已经较低的暗淡环境中,这可成为问题。
发明内容
本发明揭示一种自动聚焦图像***,其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像,该图像具有具一宽度的至少一个边缘。该产生器产生聚焦信号,该聚焦信号随边缘宽度和边缘宽度的各种统计而变。
附图说明
图1是自动聚焦图像拾取设备的实施例的示意图
图2是自动聚焦图像拾取设备的替代实施例的示意图
图3是聚焦信号产生器的框图。
图4是图像信号矩阵上的水平索贝尔算子的运算的说明。
图5说明从水平梯度计算边缘宽度。
图6A、图6B是具有倾斜角度φ的边界中的垂直边缘的边缘宽度的计算的说明。
图6C、图6D是具有倾斜角度φ的边界中的水平边缘的边缘宽度的计算的说明。
图7是计算倾斜角度并校正具有倾斜度的边界中的垂直边缘的边缘宽度。
图8是垂直级联边缘的说明。
图9A是紧密堆积的垂直条的群组的说明。
图9B是越过图9A的图像信号的曲线图;
图9C是越过图9A的水平索贝尔梯度的曲线图。
图10是用以消除具有浅调制深度的紧密堆积边缘的过程的流程图。
图11是说明用于计算细聚焦信号的边缘宽度范围的边缘宽度的直方图。
图12是场景的说明。
图13是说明图12的场景的聚焦扫描期间的窄边缘计数的变化的曲线图。
图14是说明图12的场景的聚焦扫描期间的毛聚焦信号的变化的曲线图。
图15是说明聚焦位置范围上的细聚焦信号的变化的曲线图。
图16是显示场景中的多个对象以及该等对象中的一者上的选择标记的设备的说明。
图17是排除校准器的第一实施例的框图。
图18是排除校准器的第二实施例的框图。
图19是用以确定一个边缘特性的排除范围的过程的流程图。
图20是用以确定多个边缘特性的排除范围链的过程的流程图。
图21是具有各自在不同照明下的不同聚焦距离处的边缘的场景的说明。
图22是边缘的最大亮度的第一直方图以及在图21的区(壁钟)内的仅足够尖锐的边缘的第二直方图。
图23是边缘的色调的第一直方图以及图21的区(壁钟)内的仅足够尖锐的边缘的第二直方图。
图24是边缘上的亮度变化量值的第一直方图以及图21的区(壁钟)内的仅足够尖锐的边缘的第二直方图。
图25是聚焦扫描过程的流程图。
图26到图28是在不同聚焦位置处捕捉到的图12的场景的图像的说明。
图29是说明图13的聚焦位置FA、FB和FC处的尖锐边缘计数对色调的曲线图。
图30A是展示聚焦位置FA(“山脉、太阳和地平线”)的色调排除范围的曲线图。
图30B是展示聚焦位置FB(“汽车”)的色调排除范围的曲线图。
图30B是展示聚焦位置FC(“人”)的色调排除范围的曲线图。
图31是展示在显示器上加亮的对应于图13的聚焦位置FA的呈尖锐聚焦的边缘的说明。
图32是展示在显示器上加亮的图14的尖锐聚焦位置FB的边缘的说明。
图33是展示图像捕捉装置上的供用户请求跳到下一较远或较近尖锐聚焦位置的按钮的说明。
图34是处于搜寻模式的聚焦控制***的流程图。
图35是在搜寻聚焦位置FB以及随后切换到跟踪模式期间的窄边缘计数对聚焦位置的曲线图。
图36是展示在搜寻对应于图35的聚焦位置FB期间的毛聚焦信号的曲线图。
图37是其中聚焦***切换到跟踪模式的替代实施例的窄边缘计数对聚焦位置的曲线图。
图38是处于图37的搜寻模式的聚焦控制***的流程图。
图39是说明在使细聚焦信号维持最小的聚焦控制***的实施例在跟踪移动对象期间的细聚焦信号的变化的曲线图。
图40是说明在尖锐聚焦获取期间细聚焦信号如何随时间变化的曲线图。
图41是说明在使细聚焦信号维持与最小值的偏移的聚焦控制***的替代实施例跟踪移动对象期间的细聚焦信号的变化的曲线图。
图42A是展示当选择区选择场景中的鸟且排除校准器在该鸟呈尖锐聚焦时校准该鸟时所捕捉到的第一图像的说明。
图42B是展示在鸟已移动到图像捕捉画框的第二位置之后捕捉到的第二图像的说明。
图42B是展示在鸟已从第二位置移动到第三位置之后捕捉到的第三图像的说明。
图43是级联边缘的长度的第一直方图以及图42A的仅级联的足够尖锐的边缘(鸟)的第二直方图。
图44是与边缘的垂直轴的倾斜角度的第一直方图以及图42A的仅足够尖锐的边缘(鸟)的第二直方图。
图45是聚焦信号产生器的替代实施例的框图。
图46是自动聚焦图像拾取设备的替代实施例的示意图。
图47是具有主像素阵列和辅助像素阵列的自动聚焦图像拾取设备的实施例的示意图。
图48是具有主像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图。
图49是具有主像素阵列和辅助像素阵列的自动聚焦图像拾取设备的替代实施例的示意图。
图50是来自主像素阵列的边缘宽度的变化以及来自处于不同聚焦位置的辅助像素阵列的边缘宽度的变化的说明。
具体实施方式
所揭示的是一种自动聚焦图像***,其包括耦合到聚焦信号产生器的像素阵列。该像素阵列捕捉图像,该图像具有具一宽度的至少一个边缘。聚焦信号产生器可产生聚焦信号,其随边缘宽度和/或边缘宽度的统计而变。处理器接收聚焦信号和/或边缘宽度的统计,并调整聚焦透镜的聚焦位置。边缘宽度可由包括使用梯度在内的各种技术来确定。可使用边缘宽度的直方图来确定特定图像是聚焦还是未聚焦。具有大的较瘦边缘宽度计数的直方图指示已聚焦的图像。
架构
通过参考数字来更具体地参考图式,图1展示自动聚焦图像捕捉***102的实施例。***102可为数字静态相机的一部分,但将理解,该***可在需要图像的受控聚焦的任何装置中实施。***102可包括聚焦透镜104、像素阵列和电路108、A/D转换器110、处理器112、显示器114、存储器卡116以及驱动电动机/电路118。来自场景的光穿过透镜104进入。像素阵列和电路108产生模拟信号,模拟信号由A/D转换器110转换为数字信号。像素阵列108可并入有镶嵌色彩图案,例如拜耳图案。可将数字信号发送到处理器112,其执行各种处理,例如色彩内插、聚焦位置控制、色彩校正、图像压缩/解压缩、用户接口控制以及显示器控制;且可将数字信号发送到聚焦信号产生器120。在聚焦信号产生器120和处理器112驻存在不同封装内的情况下,可实施色彩内插单元148以对数字信号130执行色彩内插,以为聚焦信号产生器120估计每一像素上的缺失色彩信号。或者,在聚焦信号产生器120和处理器112一起驻存在封装144内的情况下,聚焦信号产生器120可如图2所示,在总线146上输入来自处理器112的经内插的色彩图像,或从由A/D转换器110产生的原始图像信号得出的单个图像信号,例如灰度级信号。
聚焦信号产生器120接收来自处理器112的一组控制信号132,另外,且可将信号134输出到处理器112。输出信号134可包括以下各项中的一者或一者以上:聚焦信号134、窄边缘计数以及表示图像中的边缘宽度的统计的一组数字。处理器112可产生聚焦控制信号136,其被发送到驱动电动机/电路118以控制聚焦透镜104。已聚焦的图像最终提供给显示器114且/或存储在存储器卡116中。用于调整聚焦位置的算法可由处理器112执行。
像素阵列和电路108、A/D转换器110、聚焦信号产生器120以及处理器112可全部驻存在一封装内。或者,像素阵列和电路108、A/D转换器110、聚焦信号产生器120可独立于处理器112而作为图1中所示的图像传感器150驻存在封装142内。或者,聚焦信号产生器120和处理器112可独立于像素阵列108和A/D转换器110而作为相机控制器160驻存在封装144内。
聚焦信号产生器
图3展示接收来自图像提供单元202的图像的聚焦信号产生器120的实施例。图像提供单元202可为图1中的色彩内插器148或图2中的处理器212。聚焦信号产生器120可包括边缘检测与宽度测量(EDWM)单元206、聚焦信号计算器210、长度过滤器212、宽度过滤器209、排除过滤器207以及排除校准器205。聚焦信号产生器120可进一步包括细化开关220和排除开关230,其分别由输入“细化”222和“排除”232控制。聚焦信号产生器120可提供来自宽度过滤器209的窄边缘计数以及来自聚焦信号计算器210的聚焦信号,该聚焦信号可在细聚焦信号与毛聚焦信号之间配置,其可由输入“细化”222选择。或者,可计算细聚焦信号和毛聚焦信号两者,并将其作为输出信号134的一部分输出。边缘检测与宽度测量单元206接收由图像提供单元202提供的图像。排除校准器205接收输入到聚焦信号计算器210的命令和控制信号(校准命令、索引和R/W)。在图1和图2的情形中,这些命令和控制信号,以及控制信号“细化”222和“排除”232可由处理器112在信号132中提供。而且在图1和图2的情形中,可将输出信号134提供给处理器112,处理器112充当聚焦***控制器,其控制聚焦透镜104的聚焦位置,以通过分析输出信号134以检测图像中的尖锐对象来使对象的图像达到像素阵列108上的尖锐聚焦。下文描述聚焦信号产生器120的各种组件。
EDWM单元206可变换输入图像,使得图像的三个信号红(R)、绿(G)和蓝(B)被转换为单个图像信号。可利用若干种技术来将图像变换为单个图像。可使用RGB值来计算亮度或色度值,或可取RGB值的特定比率来形成单个图像信号。举例来说,可用等式Y=0.2126*R+0.7152*G+0.0722*B来计算亮度值,其中Y为亮度值。该单个图像信号可接着由高斯过滤器或任何低通过滤器处理,以平滑相邻像素之间的像素信号值而移除噪声。
聚焦信号产生器120、120'、120″不限于灰度级信号。聚焦信号产生器120、120'、120''可对任何一个图像信号操作,以检测该图像信号中的一个或一个以上边缘。或者,聚焦信号产生器120、120'、120''可对图像信号的任何组合操作,例如Y、R-G或B-G。聚焦信号产生器120、120'、120''可分别对R、G、B图像信号中的每一者或其任何一个或一个以上组合操作,以检测边缘。聚焦信号产生器120、120'、120''可针对R、G、B图像信号中的每一者或其任何组合而形成边缘宽度的统计。聚焦信号产生器120、120'、120''可根据来自一个或一个以上图像信号的边缘宽度的统计形成聚焦信号。
接着计算经处理图像的梯度。有各种方法可用以计算梯度,包括拉普拉斯和索贝尔。可分别例如使用索贝尔X算子和索贝尔Y算子来计算列和行上的梯度,以分别检测垂直和水平边缘。通过等式Sx[k,q]=U[k,q+1]–U[k,q-1]给出像素位置[k,q]处的索贝尔X算子,其中k为行编号,且q为列编号。通过等式Sy[k,q]=U[k+1,q]–U[k-1,q]给出同一位置处的索贝尔Y算子,其中U是经处理图像的图像信号。
定向加标签
如果垂直或水平梯度量值超过预定下限(“消除阈值”)(例如针对8位图像为5),那么对每一像素加水平边缘(“H”)或垂直边缘(“V”)的标签,或如果两者都不是,那么加无边缘的标签。此下限消除因柔和阴影或噪声而导致的伪边缘。如果像素的水平梯度量值超过其垂直梯度量值预定的滞后量或以上(例如,对于8位图像来说为2),那么将像素加标签为垂直边缘,且反之亦然。如果两个梯度量值相差小于滞后量,那么像素获得与其最近的具有已确定的方向标签的相邻者的方向标签相同的方向标签。举例来说,如果在每一行中从左到右并向下逐行地扫描图像,那么相邻像素的检查序列可为上方像素第一、左上方像素第二,且左侧像素第三,且右上方像素最后。应用此滞后有助于确保如果邻近像素中的每一者具有几乎相同的水平和垂直梯度量值,那么邻近像素获得类似标签。图4说明水平和垂直梯度的6x6阵列上的加标签的结果。在每一单元中,水平梯度位于左上,垂直梯度在右侧,且方向标签在底部。在此步骤中,仅具有超过5的水平或垂直梯度量值的像素合格,因为边缘像素以粗体印刷,且获得方向标签。
可针对垂直边缘水平扫描且针对水平边缘垂直扫描图像、梯度和标签。如果同一行中具有相同水平梯度极性且全部针对垂直边缘而加标签的每一连续像素群组的左侧或右侧的邻近像素不同样,那么可将该像素群组标示为垂直边缘。同样,如果同一列中具有相同垂直梯度极性且全部针对水平边缘而加标签的每一连续像素群组的上方或下方的邻近像素均不满足上述条件,那么可将该像素群组标示为水平边缘。因此,可识别水平和垂直边缘。
边缘宽度
可通过移除梯度量值小于边缘内的峰梯度量值的给定分数的像素来精细化每一边缘。图5说明使用等于边缘的峰梯度量值的三分之一的精细化阈值来将边缘宽度从原来的9向下精细化到3的此步骤。此边缘精细化辨别占优势的梯度分量(其设定在边缘的锐度的视觉感知中占优势的视在边缘宽度),而不管具有可能导致梯度在许多像素上柔和地衰退的多个重叠阴影的图像。
可在已知方法的任一者中计算边缘宽度。一种计算边缘宽度的方法是简单地对边缘内的像素的数目进行计数。图5中展示计算边缘宽度的替代方法。在图5中,通过从精细化阈值304进行内插,在经细化边缘的第一外像素(像素3)与邻近的外侧像素(像素2)之间找到第一分数像素位置(2.4)。同样,在第二外像素(像素5)与其邻近的外侧像素(像素6)之间找到第二分数像素位置(5.5)。认为边缘宽度为这两个分数像素位置之间的差,5.5-2.4=3.1。
倾斜度校正
在一图像中,当该图像变得更聚焦或变得较不聚焦时,具有不同辉度或色调的两个区之间的边界变得更厚或更薄。此边界的该厚度是在垂直于该边界的方向上跨该边界的宽度。
如果该边界是垂直的,那么垂直于该边界的该方向是水平方向。如果该边界是水平的,那么垂直于该边界的该方向是垂直方向。
在该边界内,图像信号(例如,发光度、蓝色色度信号,或红色色度信号)具有从该边界的一侧到另一侧的转变。该边界的视觉上感知的范围覆盖了该转变最陡处的附近。
如果该边界是垂直的,那么该转变的陡度反映于跨该边界从一侧到另一侧水平产生的梯度信号中。因此,梯度信号达到峰处的邻域以及该邻域的宽度分别对应于该边界的视觉上感知的范围和该边界的厚度。该邻域是一组邻近像素,该组邻近像素的水平梯度高于峰梯度的预定分数。该邻域是本描述中早先界定的垂直边缘,且该邻域的宽度是该垂直边缘的边缘宽度。随后可看到该垂直边界包括垂直排列的多个此类垂直边缘。
同样,如果该边界是水平的,那么可看到其包括水平排列的多个水平边缘,且其边缘宽度表示该水平边界的厚度。
然而,并不是一图像中的多个区之间的全部边界都垂直或水平定向。许多边界相对于垂直方向和水平方向倾斜,且通常相对于一者比相对于另一者倾斜得少。在图6A到6D中说明此情形。在图6A中,边界410是区420与区430之间的直边界,且以顺时针方式以一倾斜角度从垂直虚线倾斜。在图6B中,边界412是区422与区432之间的直边界,且以逆时针方式以一倾斜角度从垂直虚线倾斜。在图6C中,边界414是区424与区434之间的直边界,且以逆时针方式以一倾斜角度从水平虚线倾斜。在图6D中,边界416是区426与区436之间的直边界,且以顺时针方式以一倾斜角度从水平虚线倾斜。
如图6A到6D中所示,边界的作为垂直地跨该等边界的宽度的厚度(展示为b)与倾斜角度无关。跨图6A和6B中的边界在水平方向上测得的宽度(展示为a)以及同样跨图6C和6D中的边界在垂直方向上测得的宽度是该等边界中的该等边缘(图6A和6B的垂直边缘;图6C和6D的水平边缘)的边缘宽度。但与垂直边界和水平边界的情况不一样,该等边缘宽度不再表示边界的厚度。当边界不是垂直的或水平的时,保持对边界在图像中未聚焦的程度的量度的是边界的厚度,而不是边缘宽度。使用现状的边缘宽度来形成聚焦信号而不考虑该等边缘所属的边界的倾斜度将导致聚焦信号受到图像中的边界的定向影响。这是在本发明中发现并解决的不合意的效应。
此问题的一解决方案是校正从边缘在规定方向(例如,水平方向,或垂直方向)上测得的边缘宽度,从而获得该边缘所属的边界的宽度,随后将经校正的边缘宽度而不是未经校正的边缘宽度输入到聚焦信号计算。边界的宽度是垂直地跨边界测得的。
通过将边缘宽度从沿着该方向测量边缘宽度的规定方向(其垂直于边缘方向)投影到垂直于边界的方向的方向,可找出边界的宽度。将边界从边缘方向的倾斜角度标示为φ,可通过将边缘宽度乘以cos(φ)或其近似值来执行该校正。
存在用于找出倾斜角度φ的各种方法。一类方法涉及从边缘中的垂直和水平梯度找出tan(φ)或其近似值。一个实例是找出比率y/x,其中是x是垂直于边缘方向的梯度,且y是平行于边缘方向的梯度,对于邻域(其可在该边缘内或可为与该边缘重叠的二维邻域)中的每一像素,随后找出该邻域内的比率的平均值(其可为经加权的平均值)。
为了从边缘宽度计算聚焦信号,在那些规定方向中的一者或另一者上测得的边缘宽度将通过将该等边缘宽度缩小到在垂直于相应边缘的方向的方向上的宽度而经过校正。边缘检测和宽度测量单元206对边缘宽度执行此校正。如图6A中所示,所测得的宽度a是其底边(以宽度b标记)垂直地跨过阴影边界的直角三角形的斜边的长度。可从所测得的宽度a到垂直于边界的方向的投影获得经校正的宽度b。可通过b=acos(φ)给出此投影,但只要获得在20%以内的准确度,便可使用近似值。可通过此项技术中已知的用于找出一图像中的边缘的方向的任何方法,或通过图7中所示的流程图中所描述的更准确的方法,来找出角度φ或cos(φ)自身。
可针对每一水平或垂直边缘的边缘宽度分别与水平或垂直定向(规定方向)的倾斜度,来校正该边缘宽度。图6A、6B说明针对具有与垂直线的倾斜度的边界(和因此形成该边界的边缘)的用于在水平方向上测得的边缘宽度的校正计算。图6C、6D说明针对具有与水平线的倾斜度的边界(和因此形成该边界的边缘)的用于在垂直方向上测得的边缘宽度的校正计算。该校正可通过将在规定方向(例如,垂直方向或水平方向)上测得的边缘宽度乘以因子cos(φ)来进行,其中φ是从规定方向的倾斜角度。此倾斜角度φ可进一步用于排除过滤器207和排除校准器205中。
举例来说,图7展示用以针对从垂直线倾斜的边界中的边缘的倾斜度来校正边缘宽度的过程的流程图。(对于从水平线倾斜的边界中的水平边缘,在流程图中用‘行’代替“列”,且将‘垂直’与‘水平’互换。)
从步骤502到步骤506,找出倾斜角度φ。对于每一垂直边缘,在步骤502处,定位水平梯度量值达到峰的列位置,且找出水平梯度x。在步骤504处,找出沿列位置且在两个像素的距离内具有最大量值的垂直梯度,且假设y是此垂直梯度。
在步骤506处,找出倾斜角度φ=tan-1(y/x)。在步骤506处,可通过查找查找表来找出倾斜角度。尽管步骤502到506呈现一种找出倾斜角度的特定程序和方法,但可改为使用此项技术中已知的其它程序和方法。
最后,在步骤508处,通过与cos(φ)或与其近似表示相乘来按比例缩小边缘宽度,如所属领域的技术人员在实践中通常做的那样。
图7中展示的过程的第一修改是通过提供具有输入值x和y的各种组合的条目的查找表来代替步骤506以及步骤508的部分。对于输入值x和y的每一组合,查找表返回边缘宽度校正因子。由查找表输出的边缘宽度校正因子可为cos(tan-1(y/x))的在20%以内(优选在5%以内)的近似表示。接着使边缘宽度乘以此校正因子,以产生经倾斜度校正的边缘宽度。
第二修改为计算垂直梯度y与水平梯度x之间的商y/x,以产生商q,接着使用q来输入到具有针对q的各种值的条目的查找表。对于q的每一值,查找表返回边缘宽度校正因子。边缘宽度校正因子可为cos(tan-1(q))的在20%以内(优选在5%以内)的近似表示。
为了找出倾斜角度φ(或其近似表示,使得校正因子准确到在20%以内)且随后找出校正因子cos(φ)(或其近似表示),或为了直接找出校正因子而不找出倾斜角度φ(如在第一和第二修改中),可在步骤502到506中获得x和y的值,但可改为使用其它方法。
第三修改是对边缘中的多个像素中的每一者执行以下操作:(a)为像素找出水平梯度x和垂直梯度y两者,(b)为此像素找出q=y/x,以及(c)找出对应于q的校正因子,例如cos(tan-1(q))或其到20%以内的近似表示。最后,通过对来自多个像素中的每一者的校正因子求平均来找出用于该边缘宽度的校正因子。平均值可为经加权平均值,例如其中具有较大水平梯度的像素被给予比具有较小水平梯度的另一像素大的权重的平均值。
第四修改是,在步骤504处,找出在距峰水平梯度两列和两行内具有最大量值的垂直梯度,且假设y是此垂直梯度。
沿这些方向或其它方向的其它修改是可能的。
筛选阈值
如果邻近边缘的峰梯度量值低于邻近的较宽边缘的峰梯度量值的预定分数,那么可完全阻止该等邻近边缘对聚焦信号作贡献,或使其贡献削弱。图9A、图9B和图9C说明正解决的问题。
图9A说明由各自宽度为2个像素的两个窄黑空间分离的三个垂直白条。中间白条的宽度为窄条2个像素。图9B展示水平越过图9A中的图像的针对尖锐图像和模糊图像中的每一者而描绘的图像信号。图9C描绘图9B的针对尖锐图像和模糊图像的索贝尔x梯度。在图9C中,如所预期,模糊图像的第一边缘(像素2到5)比尖锐图像宽,且最后边缘(像素13到15)也是如此。然而,两个最窄边缘(像素9和10,以及像素11和12)在两个图像中具有宽度二。在图9B中,像素9和10以及像素11和12处的对应斜率各自取两个像素以完成过渡。然而,模糊图像具有从较宽边缘到较窄边缘的峰梯度量值的显著下降,多达50%。另一方面,尖锐图像在较宽边缘与窄边缘之间改变少于10%。
邻近于具有相对正负号梯度的较宽边缘的较窄边缘的峰梯度量值的显著下降(例如20%或更大)提示模糊的图像未经良好聚焦,且因此,不应依赖较窄边缘作为模糊图像为尖锐的指示。
同样,只要具有交替梯度极性的互相邻近的边缘彼此非常接近,例如相隔不超过1个像素(“最小边缘间隙”),就不应依靠其来用于此指示,即使其边缘宽度较小。最小边缘间隙是依据像素的数目,例如1或2或之间。
此外,假定一个边缘可能因具有小于消除阈值的峰梯度而已被消除,具有相同梯度极性且隔开不超过最小边缘间隙的两倍加上sharp_edge_width(sharp_edge_width为经指派以标示尖锐边缘的边缘宽度的数字)的两个连续边缘可用作用于消除或降级来自两个相互邻近的边缘中的一者或两者的贡献的条件。任一。
可通过以下接近度测试中的任一者来确定此检测中的邻近性,例如(a)通过超过预定零点交叉阈值的梯度信号来检测邻近于该边缘的零点交叉的陡度,该预定零点交叉阈值可随该等边缘中的一者或两个边缘的峰梯度和/或该等边缘中的一者或两个边缘的宽度而变,(b)检测最小边缘间隙内的相反正负号的梯度,该最小边缘间隙可随该等边缘中的一者或两个边缘的边缘宽度而变,每一梯度具有超过预定阈值的量值,该预定阈值可随该等边缘中的一者或两个边缘的峰梯度和/或该等边缘中的一者或两个边缘的宽度而变,以及(c)检测边缘的峰之间的小于峰峰间距阈值的峰峰间距,该峰峰间距阈值预定为随该等边缘中的一者或两个边缘的边缘宽度而变。
边缘检测与宽度测量单元206可执行以下算法,以用于基于从较宽边缘建立的筛选阈值以及可开启和关闭的调制筛选旗标而消除紧密堆积的较窄边缘。
对于每一边缘,根据图10中所示的流程图的过程来确定将用于相对极性的紧接下一边缘的筛选阈值和筛选旗标。
在给定筛选阈值和筛选旗标的情况下,可取消边缘,除非以下条件中的一者为真:(a)对于此边缘,筛选旗标关闭,(b)边缘的峰梯度量值不小于用于此边缘的筛选阈值。可将条件(c)添加到条件(a)和(b),边缘宽度不小于sharp_edge_width+1,其中已为sharp_edge_width指派一数字以标示尖锐边缘的边缘宽度,且其中可改变“+1”以设定高于sharp_edge_width的边缘宽度的范围,在该范围内,如果边缘无法达到(a)和(b),那么消除该等边缘。对于图9A到图9C中所示的实例,sharp_edge_width可为2。
图10是为每一边缘确定筛选阈值和筛选旗标的流程图。对于垂直边缘,假定沿行从左到右扫描,但这不是要求的。(对于水平边缘,假定沿列从上到下扫描,但这不是要求的。)为sharp_edge_width指派一数字,且其对于图9A到图9C所示的实例可为2。在步骤702处,在第一边缘处开始,在步骤720处,询问每一边缘其边缘宽度是否大于或等于一加sharp_edge_width,值一是用于此说明的最小边缘间隙值,但可使用不同的值,例如在0.5与2.0之间。如果是,那么该边缘为较宽边缘,且步骤706接着将具有相对极性的紧接下一边缘的筛选阈值设定为β乘以边缘的峰梯度量值,β为从0.3到0.7,优选为0.55,接着步骤708开启用于下一边缘的筛选旗标,接着进行到下一个边缘。如果否,那么该边缘不是较宽边缘,且步骤730接着检查距相同梯度极性的前一边缘的间距是否大于最小边缘间隙(或不同的预定数字)的两倍加上sharp_edge_width,且相对极性的最接近的前一边缘(如果存在)是否大于远离的最小边缘间隙。如果是,那么步骤710接着关闭用于下一边缘的筛选旗标。如果否,那么保持用于下一边缘的筛选旗标和筛选阈值,且进行到下一边缘。β可为预定分数,或其可为依据预定公式计算的分数,例如边缘宽度的函数。在后者情况下,β可从图像的一部分到另一部分不等。
为了说明以及实施简单起见,图10中的流程图将作为较宽边缘的具有大于或等于一加sharp_edge_width的边缘宽度的边缘与其它边缘(较窄边缘)分离开来。但是,较宽边缘的含义并未因此受限制:较宽边缘仅仅宽于较窄边缘。
长度过滤器
下文描述长度过滤器212的功能。广义上说,长度过滤器212形成对各自连接到类似定向的一个或一个以上边缘的边缘的偏好。群组内类似定向且相互连接的边缘群组(“级联边缘”)与不接触类似定向的任何其它边缘的隔离边缘相比,较不可能由噪声引起。因此,级联在一起的具有类似定向的边缘越多,其由噪声引起的概率就越小。该群组由噪声引起的概率随着群组内的边缘的数目增加而以指数方式下降,且远快于线性方式。可利用此性质来拒斥噪声,尤其是在光线暗淡或短曝光情形下,其中信噪比较弱,例如小于10,在图像内或在所关注区内。可在任何合理方法中实施偏好以表达此偏好。下文所描述的若干方式仅为实例。
第一种方法是消除属于具有小于级联长度阈值的长度的垂直/水平级联边缘的边缘。当所关注区较暗淡时,级联长度阈值可较大。举例来说,级联长度阈值可开始小至2,但随着所关注区内的信噪比降到5而增加到8。级联长度阈值可由处理器112、112'、112″(例如通过图3所示的“长度命令”信号)作为信号132的一部分而提供。或者,可根据聚焦信号产生器上的公式来计算阈值。
第二种方法是在长度过滤器212中针对每一边缘提供一长度权重,且在聚焦信号计算器210中应用该长度权重来计算聚焦信号。与作为较短级联边缘的一部分的边缘相比,作为较长级联边缘的一部分的边缘接收较大的权重。举例来说,长度权重可为级联边缘的长度的平方。因此,可使每一边缘对聚焦信号的贡献乘以因子A/B,之后对所有贡献进行求和以形成聚焦信号,其中B是进入聚焦信号计算的所有边缘的长度权重的总和,且A是边缘的长度权重。同样,可作为信号134的一部分输出的边缘宽度直方图可具有作为较长级联边缘的成员的边缘,因此,优选的是,更多地贡献对应于其相应边缘宽度且因此为优选的区间,而不是所有边缘均贡献相同的量,例如+1。因此,举例来说,每一边缘可贡献A/C,其中C为该边缘上的A的平均值。类似地,窄边缘计数可具有作为贡献较多的较长级联边缘的成员的边缘。因此,举例来说,来自每一边缘的贡献可乘以A/D,其中D是在窄边缘计数中计数的边缘之间的A的平均值。
N个垂直(水平)边缘的群组(其中,顶部(最左)和底部(最右)边缘除外),每一边缘接触两个其它垂直(水平)边缘,一个其它边缘在边缘本身上方(左侧),且在该边缘本身下方(右侧)另一其它边缘为长度为N的垂直(水平)级联边缘。顶部(最左)边缘仅需要触碰在其本身下方(右侧)的一个边缘。底部(最右)边缘仅需要触碰其上方(左侧)的一个边缘。
图8说明垂直级联边缘及其长度。在图8中,单元R2C3和R2C4形成第一垂直边缘,单元R3C3、R3C4以及R3C5一起形成第二垂直边缘,且单元R4C4和R4C5一起形成第三垂直边缘。第一和第三垂直边缘各自仅触碰一个其它垂直边缘,而第二垂直边缘触碰两个其它垂直边缘。第一、第二和第三垂直边缘一起形成具有长度3的垂直级联边缘。
在垂直(水平)级联边缘具有两个或两个以上分支(即,在行(列)中具有两个边缘)的情形(未图示)中,可将长度界定为级联边缘内的边缘的总数。或者,可将长度界定为从其中的最顶部(最左)边缘到其中的最底部(最右)边缘加一的垂直(水平)距离。
除以上提议之外,有其它可能的方法来界定级联长度。举例来说,级联边缘的长度的界定应具有以下性质:长度与级联边缘内至少达三个的成员边缘的数目成比例。这将与先前陈述的推论一致,该推论为较多边缘通过彼此接触而相互连接将以指数方式降低由噪声引起的级联边缘的概率,且因此长度应表达与级联边缘内达合理数目的成员边缘的数目的比例性,该合理数目充分增强级联边缘中超过针对单个成员的置信度的置信度。长度过滤器212可淡化或消除且因此(一般地说)区别对待级联长度为一的边缘。长度过滤器212可区别对待级联长度为二的边缘。长度过滤器212可区别对待级联长度为三的边缘,以进一步降低噪声的影响。长度过滤器212可根据来自处理器的命令进行这些动作中的任一者。
尽管图3中展示为紧跟在边缘检测与宽度测量单元206之后,但其它布置是可能的。举例来说,可在聚焦信号计算器210之前以及排除开关230之后***长度过滤器212,其中由长度过滤器212处理的边缘是穿过宽度过滤器209和排除过滤器207中任一者或两者的边缘,其取决于“细化”和“排除”命令信号。
在聚焦信号产生器的替代实施例中,可移除细化开关220,使得聚焦信号计算单元210接收未由宽度过滤器209过滤的第一组数据以及经过滤的第二组数据,且针对每一者计算不同聚焦信号,针对前者计算毛聚焦信号,针对后者计算细聚焦信号,且将上述两种信号输出到处理器112、112'。
宽度过滤器
接下来参看图3以理解宽度过滤器209的操作。图11描绘边缘宽度的直方图,即边缘计数对边缘宽度的曲线图。在边缘宽度2处,即前面提到的sharp_edge_width,存在峰,其指示图像中尖锐边缘的存在。然而,在边缘宽度4和5处,存在峰,其指示可能因对应的成像对象在焦点外、与产生尖锐边缘的对象相比在远离聚焦透镜的不同距离处而模糊的边缘。为了计算聚焦信号,可使用宽度过滤器209来淡化宽度在预定范围(“窄边缘范围”)外的边缘。宽度过滤器209可针对在窄边缘范围外的边缘宽度产生较小的权重,以供聚焦信号计算中使用。举例来说,可为边缘宽度指派权重1.0,而为在上限840右侧大于+1的边缘宽度指派权重0,且为之间的边缘宽度指派在0与1.0之间的权重,随边缘宽度而单调下降。或者,宽度过滤器209可防止此些边缘全部进入聚焦信号计算。适当的上限830和下限840取决于若干因素,包括像素阵列108中的串扰、用以产生由聚焦信号产生器120接收的图像的缺失色彩的内插方法,以及用于边缘检测与宽度测量单元206中所使用的低通过滤器中的过滤器系数。可通过捕捉各种尖锐程度的图像并检查边缘宽度直方图来为图像拾取设备102、102'确定适当的上限830和下限840以及参数sharp_edge_width。举例来说,如果尖锐图像在边缘宽度2处具有峰,那么适当的下限和上限可分别为1.5和3,且可将sharp_edge_width设定为2.0。可如上确定下限和上限以及sharp_edge_width,且通过处理器112、112″提供给聚焦信号产生器120、120'、120″。当“细化命令”为ON时,如此计算的细聚焦信号淡化在窄边缘范围外的边缘宽度。
另外,宽度过滤器209可计算边缘宽度落在窄边缘范围内的边缘的总计数,且作为输出信号134的一部分而输出。可将窄边缘计数输入到聚焦***控制器(处理器112)且由聚焦***控制器(处理器112)使用,以检测尖锐图像的存在且/或用于起始跟踪。
聚焦信号
接下来参看图3的聚焦信号计算器210,聚焦信号计算器210接收边缘宽度且输出聚焦信号。可将聚焦信号计算为所有边缘宽度的经加权平均值,其中权重为针对每一边缘宽度的边缘计数,即聚焦信号=∑wiei/∑wi,其中ei为边缘宽度,wi为权重,其中此处wi=ci,ci为边缘宽度ei处的边缘计数,i为边缘宽度的直方图的区间数目。或者,每一边缘宽度处的权重可为针对边缘宽度的边缘计数乘以边缘宽度本身,即wi=ciei。另外,来自宽度过滤器209的按照权重而表达的偏好可进一步乘以每一边缘宽度。举例来说,对于宽度过滤器209所产生的权重Ωi,∑Ωi=1,可将聚焦信号计算为∑Ωiwiei/∑Ωiwi。如果控制信号“细化”为ON,且“排除”为OFF,那么聚焦信号将为非常靠近图11中所示的实例的尖锐边缘宽度2.0的值,从而指示在将产生在2.0与3.0之间的边缘宽度的在聚焦距离范围内的对象细节之中,大多数对象细节实际上处于尖锐聚焦。如果控制信号“细化”为OFF,且“排除”为OFF,那么聚焦信号可为靠近5.0的值,从而指示存在在焦点外的图像的大部分细节。接通细化开关220允许聚焦信号较多地响应略微模糊的对象,而较少地响应完全模糊的对象。当细化开关220为ON时,将把聚焦信号称为细聚焦信号,而当细化开关220为OFF时,将把聚焦信号称为毛聚焦信号。如前面所提到,可以若干方式中的一种方式将长度过滤器212所表达的强调并入到聚焦信号中,例如消除不再强调的边缘使其不进入聚焦信号计算,或降低边缘对对应边缘宽度区间的计数ei的贡献的权重。
图15简述细聚焦信号对对象处于尖锐聚焦的地方附近的聚焦位置的调整的响应。细聚焦信号达到最小值,近似在sharp_edge_width处,其中聚焦位置使图像达到尖锐聚焦,且否则便增加。细聚焦信号可用于跟踪已已聚焦或非常接近于聚焦的对象。对于移动对象,细聚焦信号允许聚焦控制***使对象保持尖锐聚焦,即使聚焦距离不断地变化也是如此。细聚焦信号还可用于获取尚未处于尖锐聚焦但足够靠近的对象的尖锐聚焦(“获取”),使得该对象产生宽度落在窄边缘范围内的边缘。由于边缘宽度直方图在对应于远离sharp_edge_width的对象的边缘宽度处展现峰,从而导致细聚焦信号大于sharp_edge_width,因此聚焦控制***可通过以下动作来响应:调整聚焦位置以使细聚焦信号值朝向sharp_edge_width,从而因边缘宽度值处的对象等于sharp_edge_width而使边缘宽度的峰居中。
基本使用
图12到图16说明可如何使用窄边缘计数、毛聚焦信号和细聚焦信号来执行聚焦控制以实现尖锐图像。
图12说明在不同的聚焦距离处具有3个对象群组的户外场景:在前景中的“人”、在背景中的“山脉、太阳和地平线”,以及在其之间的“车”。
图13是当聚焦透镜104的聚焦位置从远到近地扫掠过图12中所说明的场景时,对照时间而描绘的窄边缘计数的说明。当聚焦位置使对象达到像素阵列108上的尖锐图像时,窄边缘计数到达到峰。因此,窄边缘计数曲线展现3个峰,在扫掠期间,“山脉、太阳和地平线”、“汽车”和“人”以此次序各一个峰。
图14展示对照时间而描绘的毛聚焦信号。当聚焦位置接近窄边缘计数达到峰的3个聚焦位置中的每一者时,毛聚焦信号展现最小值。然而,在每一最小值处,毛聚焦信号并不处于尖锐边缘宽度水平,其在此实例中为2.0,因为在焦点外的其它对象所贡献的边缘宽度较大。
图15说明对照在图12的场景中的“汽车”的尖锐聚焦位置附近的聚焦位置而描绘的细聚焦信号。细聚焦信号本质上实现尖锐边缘宽度,其在此实例中为2,尽管存在模糊对象(“人”和“山脉、太阳和地平线”)。再次参看图11,其中宽度4和5处的两个峰由该等两个模糊对象群组贡献,这可理解为宽度过滤器324已减小权重或完全消除来自在上限840右侧的边缘宽度的贡献。
聚焦控制***可在搜索模式中使用毛聚焦信号来搜索最近的尖锐聚焦位置。聚焦控制***可将聚焦位置移离当前聚焦位置,以确定毛聚焦信号是增加还是减小。举例来说,如果当聚焦位置向内(向外)移动时,毛聚焦信号增加(减小),那么存在离当前聚焦位置较远的尖锐聚焦位置。处理器112、112'、112″可接着提供聚焦驱动信号,以在朝向邻近的尖锐聚焦位置的方向上移动聚焦透镜104。
聚焦控制***可使用细聚焦信号来跟踪已经处于尖锐聚焦的对象,以使对应的图像维持尖锐(因此“跟踪模式”),而不管场景的变化、对象的移动或图像拾取设备的移动。当对象处于尖锐聚焦时,细聚焦信号电平是稳定的,而不管此些变化。因此,细聚焦信号的变化暗示对象距图像拾取设备的聚焦距离的变化。通过将聚焦控制***“锁定”到最小值附近的给定细聚焦信号电平,例如在此实例中介于2.0与2.5之间,明确地说2.1,细聚焦信号电平的任何移位会立即告知处理器112、112'、112″对象的聚焦距离的变化。处理器112、112'、112″可接着确定方向,且致使聚焦透镜104移动以使细聚焦信号电平回到“锁定”电平。因此,图像拾取设备102、103、103'、103″能够跟踪移动对象。
聚焦控制***(例如在处理器112、112'、112″中的算法中实施)可使用窄边缘计数来触发从搜索模式到跟踪模式的改变。在跟踪模式下,聚焦控制***使用细聚焦信号来“锁定”对象。在聚焦位置充分靠近对象的尖锐聚焦位置之前,聚焦控制***可使用毛聚焦信号来识别移动方向并调节透镜的移动速度。当对象进入尖锐聚焦时,窄边缘计数急剧地达到峰。在检测到窄边缘计数的急剧升高或达到峰或两者后,处理器112、112'、112″可即刻切换到跟踪模式中,且使用细聚焦信号来进行聚焦位置控制。可将阈值(每一不同尖锐聚焦位置可不同)指派给从端到端聚焦位置“扫描”找到的每一对象群组,且随后当窄边缘计数超过此阈值时,检测对应的对象群组。对于静止场景,例如对于静态图像拍摄,端到端聚焦位置扫描可返回最大计数列表,窄边缘计数的每一达到峰具有一个最大计数。可(例如)通过取最大计数的50%而从最大计数列表产生阈值列表。
图16说明图像拾取设备102,其具有显示器114、包括按钮的输入装置107,以及在显示器114中加亮的选择标记1920。用户可使用输入装置107来创建、定形和操纵选择标记1920。尽管此实例中展示为包括按钮,但输入装置107可包括上覆于显示器114上的触摸屏,以检测显示器114上的触摸或敲击位置。输入装置107和处理器112、112'、112″或用于输入装置107的单独的专用控制器(未图示)可确定选择区。可经由总线132(或在聚焦信号产生器120是处理器112的一部分的情况下,在处理器112内部)将用于描述选择区的参数发射到聚焦信号产生器120、120'、120″。作为响应,聚焦信号产生器120可将聚焦信号计算或窄边缘计数或两者限于由所述参数描述的选择区内的边缘,或淡化选择区外的边缘。这样做可淡化来自聚焦信号的非所要对象,且接着甚至毛聚焦信号也将展现出单个最小值和在尖锐边缘宽度的1.0或以下内的最小电平。
排除过滤
下文描述由排除过滤器207、910执行的排除过滤。
一般来说,假定针对每一特性界定一个或一个以上图像特性以及一个或一个以上排除范围,排除过滤形成对未落入任一特性中的任一排除范围中的边缘的偏好。
图像特性的集合可为预定的。以下是非穷举列表:色调(图23)、色调对、色调改变、饱和度、最大亮度(图22)、亮度变化(图24)、平均亮度、倾斜角度(图6A到图6D以及图44)、级联边缘的长度(图8和图43)以及到最近边缘的间距。
排除过滤器的第一实施例是消除属于赋予排除过滤器的任一特性中的任一排除范围的边缘。
图22说明将最大亮度用作用于排除的特性。图22说明图21中所说明的场景(仅有壁钟处于尖锐聚焦)的所捕捉图像的最大亮度的所有边缘和尖锐边缘直方图。最大亮度是边缘内的最高亮度值。图22展示尖锐边缘(与图21中的壁钟相关联)的直方图以及所有边缘(与图像中的未处于尖锐聚焦的其它对象(灯罩、香蕉、大浅盘、桌布、灯泡)以及壁钟相关联)的直方图。在图22中,与被明亮地照明的所有其它对象相比,壁钟占据最大亮度的下部范围。大致涵盖最大亮度范围的上半部的排除范围(图22中展示)淡化不处于尖锐聚焦的大多数边缘或甚至完全排除该等大多数边缘。
图23说明将色调用作用于排除的特性。图23展示尖锐边缘(与图21中的壁钟相关联)的直方图以及所有边缘(与图像中的未处于尖锐聚焦的其它对象以及壁钟相关联)的直方图。对于此色调直方图,如果边缘的两侧具有相同色调值,那么包含该色调值的色调区间从此边缘获得+2的计数贡献;而如果每一侧具有不同的色调值,那么包含该等色调中的一者的每一色调区间获得+1的计数贡献。在图23中,壁钟和大浅盘一起占据棕色色调附近的较小色调范围。一起涵盖色调范围的其余部分的大多数的排除范围1和排除范围2(图23中展示)将排除未处于尖锐聚焦的大多数边缘,源自大浅盘的边缘除外,其不是非尖锐对象的主要部分。如果边缘的两侧上的色调均属于这两个排除范围中的任一者,那么根据这些排除范围操作的排除过滤器将淡化该边缘,或甚至完全排除该边缘。
色调对可用作排除特性。来自一边缘的一侧的第一色调和来自同一边缘的另一侧的第二色调可经过测量且一起用于将该边缘指派给直方图中的多个区间中的具有二维横坐标的一个区间。二维横坐标中的每一区间对应于该边缘的一侧上的色调的第一范围和该边缘的另一侧上的色调的第二范围。
色调差可用作排除特性。色调从同一边缘的一侧到另一侧的改变可经过测量且用于将该边缘指派给具有多个区间的直方图中的多个区间中的一者,每一区间针对一色调差范围。图24说明将亮度变化用作用于排除的特性。亮度变化是边缘上的亮度的变化量值。图23展示尖锐边缘(与图21中的壁钟相关联)的直方图以及所有边缘(与图像中的未处于尖锐聚焦的其它对象以及壁钟相关联)的直方图。在图24中,来自壁钟的边缘占据下部范围处的较小区,且涵盖上部范围的排除范围(图24中所展示)将淡化未处于尖锐聚焦的大多数边缘,或甚至完全排除该等边缘。
图43说明级联边缘的长度的直方图以及图42A的场景的排除范围。此直方图可用于分离具有不同大小的对象。
到最近边缘的间距是另一图像特性。针对每一垂直(水平)边缘来计算并关联沿着同一行(列)到最近相邻垂直(水平)边缘的间距(“边缘间距”)。所有边缘和足够尖锐的边缘的边缘间距具有其相应的直方图。与其它特性一样形成边缘间距的排除范围。边缘间距可用于区分具有许多小细节(例如,具有许多树叶和树枝的树)的对象与不具有类似密度的细节的其它对象(例如,汽车)。
排除过滤器的替代实施例将在排除过滤器212和/或910中为每一边缘创建排除权重,且在聚焦信号计算器210中将排除权重应用于聚焦信号的计算。针对第一特性的值落在第一特性的排除范围内的边缘与值落在所有排除范围外的边缘相比,接收该特性的较小权重(“特性权重”)。举例来说,特性权重在排除范围的中间可为0,在排除范围的边缘处升高到1,且在所有排除范围外的任何地方为1。如果排除过滤仅使用一个特性,那么特性权重为排除权重。如果使用两个或两个以上特性,那么每一特性针对每一边缘具有一特定权重,且所有特性权重可相乘在一起以形成排除权重。因此,每一边缘可具有第一、第二和第三特性权重,其中在排除链中使用三个不同特性,且排除权重将为所有三个特性权重的乘积。因此,可使每一边缘对聚焦信号的贡献乘以因子E/G,之后对所有贡献进行求和以形成聚焦信号,其中G为进入聚焦信号计算的所有边缘的排除权重的总和,且E为边缘的排除权重。同样,边缘宽度直方图(其可作为信号134的一部分而输出)可使不是任何特性的任何排除范围的成员的边缘向对应于其相应边缘宽度的区间作出更多贡献,而不是所有边缘贡献相同的量(例如+1)。因此,例如每一边缘可向边缘宽度直方图的区间贡献E/H,而不是+1,其中H是E在直方图中计数的边缘之间的平均值。类似地,窄边缘计数可使不是任何特性的任何排除范围的边缘作出更多贡献。因此,例如,来自每一边缘的贡献可乘以E/J,其中J为E在窄边缘直方图中计数的边缘之间的平均值。
排除校准
接下来参看图3的排除校准器205,排除校准器205接收边缘、边缘宽度和输入图像,且对其进行处理以产生各种排除控制参数来配置排除过滤器207。排除校准器205可进一步接收控制信号“校准命令”、“索引”和“R/W”。这些控制信号可来自聚焦***控制器,例如图1或图2的处理器112。
排除校准器205经配置以应“校准命令”输入控制信号上的命令而检查(一般)边缘的一个或一个以上图像特性以及(特别地)单独检查尖锐边缘的一个或一个以上图像特性,且在该特性中创建一个或一个以上排除范围,以排除实质量的不够尖锐的边缘。足够尖锐的边缘是宽度落在sharp_edge_width周围的预定窄范围(“尖锐边缘范围”)内的边缘。尖锐边缘范围可包括在窄边缘范围内。举例来说,尖锐边缘范围可为sharp_edge_width周围+/-0.2。如果sharp_edge_width为2.0,那么尖锐边缘范围可从1.8到2.2,而窄边缘范围可从1.5到3.0。可通过在“R/W”输入控制信号上提供写入命令,而在“索引”输入控制信号所提供的唯一索引值下存储排除范围。可存储多组排除范围,每一组具有一不同的索引值。可通过在“索引”输入控制信号上提供其相关联索引值且在“R/W”输入控制信号上提供读取命令来检索一组排除范围。图3中的排除过滤器207可应用检索到的排除范围来排除落在这些排除范围内的边缘。可在第二特性的排除范围之前应用第一特性的排除范围。
图17展示排除校准器的一个实施例的框图。边缘统计单元902接收图像、一组边缘和边缘宽度。边缘统计单元902计算所有边缘统计,其为与这些边缘相关联的一个或一个一个以上特性的直方图。边缘统计单元902还计算尖锐边缘统计,其为相同特性但仅在边缘宽度落在尖锐边缘范围内的边缘上的直方图。所有边缘统计和尖锐边缘统计两者可存储在存储器1904中。排除计算器906接收上述两组统计、执行计算以基于其中的直方图形成一个或一个以上特性中的排除范围,且输出到存储器2908,存储器2908可应输入控制信号“R/W”上的写入命令而存储在输入控制信号“索引”上所提供的索引值下的这些排除范围。
图18是排除校准器的替代实施例的框图。此实施例将排除过滤器910添加到图17的结构。排除过滤器910根据排除范围组的链进行过滤,每一组对应于一不同特性。根据该链中一个接一个组来对边缘进行过滤。在每次反复时,将针对在先前反复时分析的特性而计算的该组排除范围附加到排除范围组的链。由排除过滤器910输出且进一步根据新添加的组而过滤的所得边缘和边缘宽度(以及排除权重,如果排除过滤器910遵循前面提到的排除过滤器的替代实施例)由边缘统计单元902分析,以产生一组新的所有边缘统计以及尖锐边缘统计(以及排除权重,同上)。排除计算器906分析该组新的所有边缘统计和尖锐边缘统计(以及排除权重,同上),并选择下一特性和其多组排除范围。挑选在先前反复中未使用的特性。
图20中的流程图说明此过程。在步骤1010处,将排除范围组的链初始化为空。在步骤1012处,边缘统计单元902针对从排除过滤器910接收到的边缘和相关联的边缘宽度的特性的数目而产生所有边缘统计和尖锐边缘统计。在步骤1014处,排除计算器906针对先前反复中未使用的特性的数目计算排除范围。在步骤1016处,从上文所提到的特性中选择下一特性,且将其相关联组的排除范围附加到排除范围组的链。在步骤1018处,作出对“足够好”的询问(下文描述)。如果回答为是,那么进行反复过程,且可将排除范围组的链存储到存储器2908。如果回答为否,那么在步骤1020处,排除过滤器910进一步用最新添加的排除范围对先前输入到步骤1012的边缘及其相关联的边缘宽度进行过滤,且随后在步骤1012处开始,以重新计算边缘统计。
图20中的每一反复可以若干方式中的一者选择先前反复中未使用的不同特性。在第一方式中,所有特性的序列可为预定的,使得每个下一反复使用沿该序列的下一特性。在第二方式中,为了在第一特性与第二特性之间进行选择以成为下一特性,与其它特性相比,更偏好产生淡化仍存在于当前反复中的较多边缘或甚至排除该边缘的排除范围的特性。如果该特性淡化尖锐边缘的多于某一分数(例如10%到50%,优选20%)或移除多于某一分数,那么此偏好可相反。针对下一特性的此选择程序适用于图17的实施例以及图18的实施例。
一般来说,如果第一特性导致足够尖锐的边缘与在使用一组对应的排除范围重新过滤之后仍存在的边缘中的所有边缘的比率的较大增加,那么与第二特性相比,可更偏好第一特性。
对应于不同索引的数目的排除范围可经组合以形成在新索引下存储的新排除范围。对于在所述不同索引中的一者或一者以上下存在的每一特性,在所述不同索引下的所述特性的排除范围可跨所述索引进行逻辑“与”运算,接着求反,以形成新的排除范围,使得当且仅当至少在其排除链中具有所述特性的索引的值不在所述特性的排除范围内时,所述值才在此些新的排除范围内。实际上,针对所述特性的此些新排除范围尝试将足够尖锐的边缘从所有所述不同索引中排除。可以此方式对一个或一个以上特性进行操作,以产生新的排除范围。此些特性可形成排除链。排除校准器可接收命令输入,该命令输入指定一组不同索引以及新索引,以在其下存储所得的排除链。可检索因此形成于新索引下的新排除链,以应用于排除过滤器207上,以排除来自已校准的若干对象的边缘贡献,从而发现场景中的剩余对象。
排除校准从校准命令的开始反复地起作用,直到满足某一“足够好“条件或没有更多特性剩下为止。接着,可将整个排除范围组链连同来自“索引”输入控制信号的索引值存储在存储器2808中,或发射到处理器112、112'、112″,或两者。可以若干方式中的一种来满足“足够好”条件。在一种方式中,如果排除范围链具有预定数目个特性(例如三个),那么满足该条件。在第二种方式中,如果(例如)在排除过滤之后消除75%或在50%到100%之间的某一其它百分数的作为不够尖锐边缘的边缘,那么满足该条件。在第三种方式中,如果在排除过滤之后,足够尖锐的边缘的数目在数量上超过其余边缘三比一,或不小于二比一的某一其它比率,那么满足该条件。“足够好”条件可为上述条件中的任一者,或其组合,或指示在排除过滤之后剩下的边缘未由除足够尖锐边缘之外的边缘支配的其它合理条件。
图19是图17和图18中所示的排除计算器906针对每一特性产生排除范围的流程图。可将该特性的范围分成若干区间,每一区间涵盖该范围的分数,且所有区间一起涵盖整个范围,且邻近区间除了共享共同边界外不重叠。在步骤1002处以第一区间开始,清空排除范围。在步骤1004处,将足够尖锐的边缘的计数与所有边缘的计数进行比较。如果此区间中的足够尖锐的边缘的计数为零或小于此区间中的所有边缘的计数的给定分数,例如四分之三,那么将此区间包括在排除范围内。重复步骤1004和1006,直到完成所有区间为止。
排除校准器可通过将足够尖锐的边缘限于图像中的给定区内来创建一组单独的排除范围(“所指出的排除范围”)。为此,进一步收紧尖锐边缘统计,以排除位于给定区之外的边缘。举例来说,在图16中,由展示为重叠在显示器114中所显示的图像上的选择区1920形成给定区。选择区1920指示希望处于尖锐聚焦的对象。因此,如果存在在选择区1920外但与选择区1920内的对象处于相同聚焦距离的不同对象,那么该不同对象不干扰用以舍弃不与所要对象有关的边缘的排除范围的形成。排除校准器可创建并存储对应于将足够尖锐的边缘进一步限制于选定区内的一组单独的排除范围。或者,可将给定区形成为在数码相机的显示器且一般来说在相机的取景器中心的预定聚焦区(未图示),其常呈矩形形状或圆形形状。或者,可通过重叠在显示器114上的触摸屏传感器来形成给定区。触敏屏传感器可感测(例如)尖笔和手指中的一者或一者以上的一个或一个以上触摸敲击,且将此信息作为触摸位置提供给处理器以确定对应的选择区。
尽管展示为一起驻存在聚焦信号产生器120中,但排除校准器205的一个或一个以上组件可改为驻存在处理器112、112'、112″中。举例来说,排除计算器906和存储器908可驻存在处理器112、112'、112″中。在此配置中,处理器112、112'、112″经由信号134接收所有边缘和尖锐边缘统计(图17和图18中展示),以供在排除计算器906中使用。处理器112、112'、112″可完全在其本身内或结合聚焦信号产生器120、120'来执行图19和/或图20中的流程图的过程。
结合排除的使用
排除校准器205和排除过滤器207一起可用于形成排除范围链,以消除不属于在某一时间捕捉到的一个图像中处于尖锐聚焦的对象的边缘。随后可将同一排除范围链用于消除其它边缘,尽管对象已相对于背景对象移动。这样做允许对象的边缘继续支配聚焦信号。无论图3中的细化开关220是否旁通宽度过滤器209,均可操作排除过滤。如果宽度过滤器209被旁通,即聚焦信号为毛聚焦信号,那么可消除图11中的在边缘宽度4.0和5.0处的两个外峰,使得即使先前对焦的对象已移到焦点外这么多以致相关联的峰820移到窄边缘范围外,毛聚焦信号也可仍向聚焦控制***提供良好反馈信号,以估计要调整聚焦位置到什么程度来使所关注对象回到窄边缘范围中,其中细聚焦信号可提供较准确的反馈控制信号,以最终使对象处于尖锐聚焦。
可在任何时间(例如在跟踪所关注对象期间)通过向排除校准器205发出“校准”命令来执行重新校准。处理器112、112'、112″可向排除校准器205提供与在其下存储了所关注对象的现存经校准排除范围的索引相同的索引。索引可为用以检索当前在校准过滤器207中使用的排除范围组的链。发出与现存索引相同的索引将用新的排除范围组的链来代替对应于现存索引的先前经校准的排除范围和链。
当在所关注对象上和/或周围形成选择区以将足够尖锐的边缘仅限于该选择区内时(如上文所论述),可执行重新校准。可将“所指出的排除范围”或“所指出的排除链”(而不是未指出的排除范围或链)发送到排除过滤器207且在排除过滤器207处使用,例如在处理器112接收到以上文所提到的方式中的一者提供给定区的用户命令时。
可在所关注对象在场景内移动从而致使属于该对象的一个或一个以上图像特性改变期间,执行重新校准。举例来说,一旦所关注对象不再加亮或正失去越来越多的指示尖锐边缘的加亮区,用户就可命令所关注对象上和/或周围的给定区。
为了重新校准,处理器112可提供新索引以存储排除范围组的新链,而不是提供相同索引。可在新索引下存储经重新校准的排除范围组的链,且不盖写现存索引及其相关联的排除范围组的链。可将来自新的和现存索引的排除范围组的链进行比较,以识别哪些特性改变,且哪些特性未改变。从现存索引到新索引不改变的特性可得到支持,以在新的链中变得较早。可将改变的特性从链中消除。因此,随时间而保持不变的特性被保留以用于随时间跟踪相同对象。如果在用该特性进行重新过滤之后,用现存链的特性的排除范围来代替新链中的特性的排除范围将导致足够尖锐的边缘与所有边缘的比率的显著改变,那么可认为该特性已改变。该比率的显著改变可按照百分比来预定,例如大于50%。可将该预定百分比指定为随图像或图像的序列而变。
对于几乎处于尖锐聚焦使得其产生在尖锐边缘范围内的边缘的所关注对象,排除校准器205和排除过滤器207有助于消除由在焦点外的对象贡献的边缘,使得对细聚焦信号(未对其将宽度过滤器旁通)的贡献受由所关注对象贡献的边缘支配,以给出细聚焦信号的准确性的改进,作为聚焦尖锐度的指示。
当在所关注对象上和/或周围形成选择区1920时,聚焦信号产生器120可在处理器112的控制(未图示)下,在聚焦信号的计算中偏好对应于仅选择区1920的边缘(“优选边缘”)。对优选边缘的偏好可以若干方式中的一者给出。在总线130上向聚焦信号产生器120提供的图像可限于选择区1920内。或者,可对进入聚焦信号计算的边缘施加权重,使得在选择区1920外且/或距选择区1920较远的边缘与优选边缘相比具有较少权重,或甚至为零(即,等效于完全被从聚焦信号计算中排除)。或者,可在聚焦信号产生器120内的单元中的任一者(例如边缘检测与宽度测量单元206、宽度过滤器209以及排除过滤器207)处消除不是优选边缘的边缘。偏好区内边缘的方式不限于上文。也不需要选择区1920的内侧与外侧之间的刚性或明显不同。所属领域的技术人员可容易了解,只要选择多个边缘以对应于该选择区并接收抵制在选择区外的多个边缘的此偏好便已足够。
当在所关注对象上或周围形成选择区1920时,处理器112可控制聚焦信号产生器以产生毛聚焦信号,其对优选边缘应用偏好。这样做可拒斥不属于所关注对象的边缘。举例来说,图14中展示在不应用此偏好的情况下,从远到近地跨聚焦位置扫掠的毛聚焦信号。毛聚焦信号展现出多个最小值,但仅位置FB处的一个最小值是归因于汽车。通过对汽车应用此偏好,例如通过使用图16中所示的选择区1920,可消除对应于位置FC处的前景“人”和位置FA处的背景“山脉、太阳和水平线”的最小值。另外,位置FB处对应于“汽车”的毛聚焦信号电平将具有较靠近尖锐边缘宽度的值。聚焦控制***102可控制聚焦透镜104的聚焦位置,以通过应用已知控制方法中的一者(PI控制器)来评估当前毛聚焦信号电平与sharp_edge_width之间的差,而减小聚焦位置FB与当前聚焦位置之间的差。聚焦控制***102可在当前聚焦信号电平落入足够靠近sharp_edge_width的范围(例如窄边缘范围)内时进行切换以使用细聚焦信号。
控制-扫描
图25是例如图1和图2的处理器112等聚焦***控制器调整聚焦位置且在使聚焦位置跨其范围从一端到另一端移动以搜索呈现场景中的对象的尖锐图像的聚焦位置时测量聚焦信号的流程图。在步骤1400处,将聚焦位置设定到远端。可清除用于图3的排除校准器205的所有索引,以及图17和图18的存储器2908中的排除范围数据。在步骤1402处,将聚焦位置移近一个步长。在步骤1404处,如果聚焦位置为近端,那么扫描完成。如果不是,那么在步骤1406处,检查以查看窄边缘计数是否达到峰。如果未达到峰,那么转到下一反复,在步骤1402处重新开始。如果达到峰,那么为此聚焦位置创建新索引、记录该聚焦位置、将校准命令发送到排除校准器205以搜集边缘统计、形成多组排除范围的链,且发送索引和写入命令以存储排除范围链,接着进行到下一反复,在步骤1402处重新开始。
可在对找到尖锐图像的每一聚焦位置的扫描过程期间形成多组排除范围的链。在对这些对象中的任一者的后续搜索中,可将排除范围应用于聚焦信号产生器,以帮助淡化和排斥由其它对象贡献的边缘,使得毛聚焦信号可展现出单个谷,且另外该谷具有靠近sharp_edge_width的最小值,且使得细聚焦信号也具有来自焦点外对象的较少干扰,使得其与sharp_edge_width的偏差给出要调整聚焦位置到什么程度来使对象尖锐聚焦的准确估计。即使所关注对象相对于其它对象移动,上述两者仍是有用和可靠的。
作为说明,图13是当扫描图12中所说明的场景时对照时间而描绘的窄边缘计数的曲线图。每当聚焦位置使得对象在图1或图2中的像素阵列108上投影尖锐图像时,窄边缘计数就达到峰,因此其达到峰表示足够尖锐的边缘的存在。图26、图27和图28说明当聚焦透镜处于窄边缘计数达到峰的那些聚焦位置中的每一者处时捕捉到的图像。
图14展示由聚焦信号产生器120在扫描期间输出的毛聚焦信号,其中排除过滤器207被作为OFF的“排除”信号旁通。毛聚焦信号正确地展现出对应于聚焦位置接近三个聚焦位置中使一对象处于尖锐聚焦的每一者时的时间的最小值。然而,毛聚焦信号的最小值因来自在焦点外的其它对象所贡献的模糊边缘的干扰而并不处于sharp_edge_width水平,其在此实例中为2.0。如前面所提到,在已校准排除校准器205之后开启“排除”信号将随后允许毛聚焦信号通过使用每一对象群组的索引来检索排除范围而针对3个对象群组中的每一者展现出单个全局最小值,,即使该等对象已从其在扫描期间所处的位置移动也是如此。图29以及图30A到图30C说明可如何形成针对该等三个对象群组中的每一者的色调排除范围。
搜索-显示和用户指南
图31到图33说明当聚焦位置使边缘处于尖锐聚焦时,可如何在图1或图2的显示器114上加亮该边缘。当图像捕捉分辨率远高于显示器分辨率时,加亮尖锐边缘或足够尖锐的边缘对用户来说尤其有用,使得不够尖锐的聚焦边缘在显示器上仍看起来是尖锐的。这还解决了其中用户无法分辨场景中的若干对象之中的哪一对象处于尖锐聚焦的常见问题。在被如此告知哪些对象处于尖锐聚焦之后,用户可接着按压图16的图像捕捉设备102的向外按钮1912以聚焦在较远对象上,或按压向内按钮1910以聚焦在较近对象上,或使用输入此类用户命令可用的用户输入装置和方法中的任一者。图像捕捉设备102还可显示闪烁的轮廓2100,闪烁的轮廓2100与在将聚焦在其边缘上的对象重叠,如图33中所示。一般来说,如所属领域的技术人员将容易认识到,可使用用以指示一个或一个以上足够尖锐的边缘的任何显示方法。
搜索模式
图34是用于在给定方向上搜寻到第N个对象的流程图。在步骤2200处,聚焦透镜104移动,直到跳过N-1个峰为止。可通过将若干信号中的一者用于峰检测(“峰检测信号”)来检测峰跳过。一个候选峰检测信号为毛聚焦信号,其如图36展示在存在产生所捕捉到的图像中的尖锐边缘的对象的每一位置处获得局部最小值。对于图12的场景,为了使汽车达到尖锐聚焦,聚焦透镜将从最内位置向外移动,以跳过人处于尖锐聚焦的聚焦位置FC,经过毛聚焦信号达到局部最小值(其几乎达到sharp_edge_width值2.0)的聚焦位置。另一候选峰检测信号为窄边缘计数。图35展示当聚焦位置从最内位置向外移动经过人产生所捕捉到的图像中的尖锐图像的位置时的窄边缘计数。
在图34中的流程图的步骤2202处,除非已找到第N个峰,否则在步骤2206处继续在同一方向上移动聚焦透镜,且返回到2202处的相同询问。如果找到第N个峰,那么移动到步骤2204以开启跟踪模式。对第N个峰的检测可使用若干个峰检测信号中的一者。一个候选峰检测信号为毛聚焦信号。另一候选者为窄边缘计数。可对步骤2202使用与步骤2200不同的峰检测信号。在检测到峰之后(如在图34的流程图之后的图35和图36中所示)或当靠近且足够接近峰时(如在图38的流程图之后的图37中所示)开启跟踪。(“足够接近”可为超过例如来自前一扫描的前一检测到的峰的预定分数)。
用户对搜索的控制
可以若干方式中的一者来建立与要搜寻的聚焦位置相关联的数目为N。
在第一方法中,设备102可提供用户控制,例如图16中所示的按钮1912和1910,或本描述中提到的任何其它形式的用户输入方法/设备,以在尖锐聚焦位置之中向外或向内导航。举例来说,按钮1912的每次按压可选择下一较远尖锐聚焦位置,而按钮1910的每次按压可选择下一较近尖锐聚焦位置。设备102可在尖锐边缘或尖锐对象上显示加亮区,例如图31中所示的加亮区2000。可在扫描期间存储尖锐聚焦位置。在扫描期间,可在扫描期间找到的每一尖锐聚焦位置处形成加亮区2000或对应的尖锐边缘或两者,并将其存储在存储器中,例如存储在处理器112、112'、112″内。可一起存储每一尖锐聚焦位置处显示的图像。在向目标聚焦位置导航(例如通过使用按钮1912和1910以在尖锐聚焦位置之中跳得较远和较近)期间,可从存储器检索对应于选定尖锐聚焦位置的加亮区,并将其显示在显示器1902上。连同加亮区2000一起,先前存储的对应于选定尖锐聚焦位置的所显示图像也可显示以展示所存储的显示图像中的什么对象产生选定尖锐聚焦位置处的尖锐边缘。借此帮助,用户可决定选定尖锐聚焦位置是否对应于他或她的既定目标尖锐,或他或她是否需要导航较远或较近。因此,甚至在不同聚焦距离处的若干不同对象产生在图16的显示器1902中的图像内重叠的边缘(例如人的头部和汽车的左端)的情况下,用户也能够选择目标对象。处理器112因此确定用于对目标尖锐聚焦位置及其相关联的所存储尖锐聚焦位置或排除链或索引或其任何组合的选择。如果从扫描发现目标尖锐聚焦位置是最近的,那么N为1。如果是紧接其后的一个聚焦位置,那么N为2;且依此类推。可检索相关联的排除范围链,并将其应用于排除过滤器207,相关联的链先前已校准、创建和在索引下存储。
在第二方法中,不采取先前扫描。使用如先前段落中所描述的同一用户接口,用户可导航远或近N个步长。举例来说,用户可按压按钮1912三次,以要求从当前聚焦位置经过第一尖锐聚焦位置接着第二尖锐聚焦位置以在第三尖锐聚焦位置处停止的向外搜索。聚焦***控制器112通过遵循图34中的流程图而命令聚焦透镜104向外移动到第三尖锐聚焦位置,N初始化为3。如果用户随后通过按压按钮1910一次来要求将目标尖锐聚焦位置改变到第二尖锐聚焦位置,那么聚焦***控制器112通过遵循图34中的流程图而命令聚焦透镜104移动到第二尖锐聚焦位置,但此次是在向内方向上移动聚焦位置,N初始化为1。每当在最终目的地处(或在经过最终目的地中)找到尖锐聚焦位置时,设备102可在尖锐边缘上显示加亮区2000。
以上方法中的任一者均对处理其中来自不同聚焦距离处的对象的边缘重叠的不同聚焦情形有用。此情形的一个实例为铁丝网和铁丝网后面的鸡。如果聚焦位置具有处于尖锐聚焦的铁丝网,而鸡为所要的对象,那么用户可使用用户接口向外导航一个步长,例如通过按压向外按钮1912一次。作为响应,聚焦***控制器112命令聚焦透镜104向外移动,直到检测到下一尖锐聚焦为止,其为鸡的尖锐聚焦位置。另一方面,如果聚焦位置具有处于尖锐聚焦的鸡,而铁丝网为所要的对象,那么用户可使用用户接口向内导航一个步长,例如通过按压向内按钮1910一次。作为响应,聚焦***控制器112命令聚焦透镜104向内移动,直到检测到下一尖锐聚焦为止,其为铁丝网的尖锐聚焦位置。在任一情况下,每当对象处于尖锐聚焦时,就可在显示器1902上加亮尖锐对象或其边缘,以帮助用户确定哪一对象处于尖锐聚焦。
在显示器上加亮处于尖锐聚焦的对象或其边缘、提供接受用户的命令以起始和/或请求搜寻到下一聚焦位置的方向以使较远或较近的对象处于尖锐聚焦的用户接口、在用户经由所述用户接口输入对应命令后即刻搜寻到所述下一尖锐聚焦位置,以及在过渡到最终聚焦位置期间加亮达到尖锐聚焦的对象或其边缘是对设备102的用户有用的步骤,不管聚焦信号如何形成,也不管处于尖锐聚焦的对象或其边缘如何确定。可通过(如在本申请案中)测量图像中的边缘的宽度来产生聚焦信号。或者,设备102可测量跨边缘的对比度,且通过检测聚焦透镜104的聚焦位置改变时所述对比度的达到峰来检测边缘的尖锐聚焦。或者,设备102可通过以下步骤来产生聚焦信号:将图像分成若干个邻近像素群组,例如每一群组具有16×16个像素,在每一群组内测量到的对比度作为表示从场景反射的可见光的信号(例如亮度)的最大值与最小值之间的差;以及通过检测聚焦透镜104的聚焦位置改变时所述对比度的达到峰而检测所述像素群组内的尖锐聚焦;以及加亮显示器1902中所显示图像的对应于所述像素群组的一部分。或者,设备102可使用任何常规方法来产生聚焦信号。
跟踪模式
当跟踪模式开始时,聚焦***控制器(例如图1或图2中的处理器112)可开启“细”控制信号以控制聚焦信号产生器120接收细聚焦信号。如果几乎对焦的对象先前已经校准,那么还可开启“排除”控制信号,且将对应索引提供给聚焦信号产生器120内的排除校准205,以检索对应的排除范围。如果几乎对焦的对象先前尚未经校准,那么可向排除校准205发出校准命令以执行校准,且提供新索引以存储经校准的排除范围,且随后检索该排除范围以供排除过滤器207使用。这样做通过极大地衰减来自非想要对象的干扰而改进细聚焦信号的准确性。
聚焦***控制器可调整聚焦位置以使细聚焦信号尽可能保持最接近最小值,如图39中所示,或聚焦***控制器可寻求控制聚焦位置的替代策略以使细聚焦信号保持远离sharp_edge_width某一偏移量并高于最小值,如图40和图41中所示。(在图40到图41中将sharp_edge_width标记为hFB)。使细聚焦信号维持高于sharp_edge_width和最小值某一偏移量具有以下益处:细聚焦信号因对象的任何移动而导致的细微变化给出对象是移近还是移远的线索。如果聚焦位置比将使细聚焦信号处于最小值的理想聚焦位置远(因此,细聚焦信号电平高于最小值),那么对象的减小细聚焦信号的移动必须向外导向,即较靠近其中当前聚焦位置将形成尖锐图像的场景位置。另一方面,如果对象的移动增加细聚焦信号,那么对象必然向内移动,即远离该场景位置。另一方面,如果聚焦位置比理想聚焦位置近,那么将为相反的情况。聚焦***控制器接着可立即使聚焦透镜在如此确定的方向上移动。这在图41中展示,其中展示细聚焦信号总是在小偏离之后返回到相同电平,而在图39中,其中聚焦***控制器将细聚焦信号定目标到最小值,不能够立即确定对象的移动方向,且在对象开始移动时可能犯错,从而导致细聚焦信号的初始增加较快,且仅在其之后认识到错误的方向猜测并自己校正。在图39中,假定对象继续在同一方向上移动,那么使后续波动维持与图41一样小,因此聚焦***控制器不会犯第二次方向错误。但如果对象改变方向,那么定目标为最小聚焦信号电平的聚焦***控制器可能再次犯错。
一般来说,在此替代性策略中,聚焦***控制器应将聚焦信号伺服到与(聚焦信号的)最佳信号水平有偏移的目标水平,最佳信号水平指示其边缘宽度贡献于聚焦信号的多个边缘的最尖锐的聚焦,目标水平指示与最佳信号水平相比之下的多个边缘的较不聚焦的状态。这归因于以下观察:如果聚焦透镜定位在这些边缘的最尖锐的聚焦位置处,那么对聚焦信号的影响在聚焦透镜的前向移位与后向移位之间不能区别,因为前向移位和后向移位都将导致边缘变宽。
结合所说明的排除的使用
图42A到图42C说明聚焦控制***跟踪相对于背景对象而移动的对象(鸟)的能力。在图42A中,鸟处于尖锐聚焦,且聚焦***控制器向排除校准器205发出校准命令,且开启“细”控制信号以产生细聚焦信号,且开启“排除”控制信号以排除在图42A中不尖锐的邮箱。排除校准器205找出两个特性,即级联边缘的长度和倾斜角度,其排除范围分别在图43和图44中展示,以将邮箱从鸟排除。
接下来,在图42B中,鸟飞近且停留在邮箱上。在图42A与图42B之间,聚焦控制***继续跟踪鸟以使其保持尖锐聚焦。当鸟变为停留在邮箱上时,邮箱所贡献的边缘也是足够尖锐的边缘,但排除过滤器207通过使用两个特性而将其排除,该等两个特性即为级联边缘的长度及倾斜角度,其排除范围分别在图43和图44中展示。细聚焦信号继续指示仅由鸟(不是邮箱)共享的边缘的尖锐度。最后,当鸟飞离时,聚焦控制***继续跟踪鸟以使其图像维持尖锐聚焦,且不会错误地锁定到邮箱上,偏航较大数目个边缘原本将支配细聚焦信号,且错误地告知聚焦控制信号所关注对象仍在同一聚焦距离处。
某些优点
聚焦信号产生器的一个优点是不同图像的最小聚焦信号近似处于相同的值。这确保了透镜即使在相机晃动的情况下也将留在相同位置中,但图像仍保持尖锐。另一优点是场景的具有不同聚焦距离的最大聚焦信号与最小聚焦信号之间的范围足够宽,以确保可获得最佳聚焦。
另一优点是聚焦信号值并不依赖于照明,也不依赖于场景中的对象色彩或反射性。产生聚焦信号的常规对比度方法产生强烈依赖于所有所述因素的对比度信号,使得当新的对象进入场景时,即使在尖锐聚焦距离处,对比度方法所产生的聚焦信号通常也改变。
替代实施例
图45展示聚焦信号产生器120'的替代实施例。聚焦信号产生器120'输出边缘和边缘宽度的统计。在控制器120'输出的边缘宽度统计之中可为以下各项中的一者或一者以上:边缘宽度直方图,其包括不同边缘宽度下的边缘计数;其中边缘宽度计数达到最大值的边缘宽度;一组系数,其代表估计不同边缘宽度下的边缘计数的样条函数;以及可代表边缘宽度的函数的任何数据。普查单元240可接收在具有聚焦信号产生器120'的其它单元中的一者或一者以上中计算的数据以计算边缘宽度的统计。一般来说,聚焦信号产生器120'可输出具有边缘宽度的分布的指示的信号。
参看图46,因此在信号134中向替代自动聚焦图像拾取设备102'中的处理器112'的替代实施例提供的边缘宽度统计可由处理器112'用来根据上文所论述的方法或其等效物来计算毛和/或细聚焦信号以及窄边缘计数。另外,可将在聚焦信号产生器120'中计算的任何数据作为输出信号134的一部分输出到处理器112'。举例来说,可将排除范围和链以及边缘统计(例如用于根据图19或图20的流程图来计算排除范围和链的边缘特性的统计)发送到处理器112'。
除包括于图1的处理器112中的功能之外,处理器112'可在内部产生聚焦信号和/或窄边缘计数。
像素阵列108、A/D转换器110、色彩内插器148和产生器120'可驻存在封装142内,一起构成与处理器112'分开的图像传感器150'。
聚焦信号产生器的又一实施例可将普查单元240添加到图1的产生器102,且将在此产生器中计算的一个或一个以上统计输出到处理器112。
辅助像素阵列
图47展示自动聚焦图像拾取***103的替代实施例。除包括于***102中的元件之外,***103可包括部分反射镜2850、全反射镜2852、光学低通过滤器2840、主像素阵列2808以及主A/D转换器2810。部分反射镜2850可将传入光束***成第一分光束和第二分光束,一者被透射,且另一者被反射。第一分光束在最终到达主像素阵列2808之前可进一步穿过光学低通过滤器2840,其检测第一分光束并将其转换为模拟信号。第二分光束在最终到达辅助像素阵列108″之前可由全反射镜2852反射,辅助像素阵列108''对应于图1所示的***102中的像素阵列108。在部分反射镜2850处***之后,第一光束与第二光束的光强度(以焦耳/秒为单位)的比率可大于1比1,优选大于2比1。举例来说,该比率可为4比1。
主像素阵列2808可由彩色镶嵌图案(例如拜耳图案)的彩色滤光片阵列覆盖。光学低通过滤器2808防止聚焦在像素阵列2808上的最小光点过小而导致混叠。在镶嵌图案的彩色滤光片覆盖像素阵列2808的地方,混叠可在色彩内插之后引起色彩摩尔纹假象。举例来说,通过使用光学低通过滤器,包围主像素阵列2808上的光点的可见光功率的84%的圆的最小直径(“最小主直径”)可保持大于一又二分之一像素宽度,但小于两个像素宽度。举例来说,如果主像素阵列2808具有4.5um的像素宽度,而最小直径为2.0um,而无光学低通过滤,那么可选择光学低通过滤器2840以使光点的直径为6.7um或更大。
辅助像素阵列108''可包括一个或一个以上光电检测器阵列。该阵列中的每一者可由或可不由彩色镶嵌图案的彩色滤光片阵列覆盖。辅助像素阵列108″中的阵列在模拟信号中输出图像,该模拟信号由A/D转换器110转换成数字信号130。将图像发送到聚焦信号产生器120。色彩内插器148可产生从由彩色滤光片覆盖的像素产生的图像的缺失色彩。如果辅助像素阵列108″包括多个光电检测器阵列,那么每一阵列可捕捉对应于由主像素阵列2808捕捉到的图像的一部分的子图像。该多个阵列可物理上分开一百个以上像素宽度,且可共享或可不共享半导体衬底。在辅助像素阵列108″内的像素阵列不共享半导体衬底的情况下,该像素阵列可一起容纳在一封装(未图示)中。
主A/D转换器2810将来自主像素阵列2808的模拟信号转换成数字主图像数据信号2830,其被发送到处理器112,其中在主像素阵列2808上捕捉到的图像可接受图像处理,例如色彩内插、色彩校正以及图像压缩/解压缩,且最后存储在存储器卡116中。
辅助像素阵列108″中的光电检测器阵列可具有小于主像素阵列2808的像素宽度(“主像素宽度”)的像素宽度(“辅助像素宽度”)。辅助像素宽度可小至主像素宽度的一半。如果辅助像素由彩色滤光片覆盖,且在无光学低通过滤的情况下,辅助像素宽度小于可见光的最小光点的1.3倍,那么可在辅助阵列108″前面***第二光学低通过滤器,以使辅助像素阵列108″上的最小直径(“最小辅助直径”)增加到在1.3倍到2倍大之间,但仍小于最小主直径,优选为1.5。辅助图像中的轻微摩尔纹不成问题,因为辅助图像并不作为最终捕捉图像向用户呈现。
图50说明针对来自主像素阵列2808的主图像(实曲线)和来自辅助像素阵列108''的辅助图像(虚曲线),边缘宽度可如何关于尖锐聚焦位置而变化。正当主图像到达所定标的尖锐边缘宽度2时,辅助图像给出较尖锐的斜坡。准许辅助图像达到低于所定标的尖锐边缘宽度,因为因混叠而导致的摩尔纹在辅助像素中并不那么关键,因为辅助图像并不作为最终图像向用户呈现。这有助于使尖锐边缘宽度下方和上方的斜坡尖锐。较尖锐的斜坡也由小于主像素宽度的辅助像素宽度促进。
图50中的阴影区指示在其内控制聚焦位置以使主图像保持尖锐聚焦的良好区。聚焦位置向外的改变将导致边缘宽度在辅助图像中增加,而向内改变将导致边缘宽度在辅助图像中减小。为了使主图像的边缘宽度维持接近尖锐边缘宽度,可使用线性反馈控制***以将中间辅助边缘宽度值定目标在阴影区内,且将从辅助图像产生的边缘宽度用作反馈信号。这是根据在以上跟踪模式段落中所描述的替代策略,其中聚焦***控制器应将聚焦信号伺服到与(聚焦信号的)最佳信号水平有偏移的目标水平,最佳信号水平指示其边缘宽度贡献于聚焦信号的多个边缘的最尖锐的聚焦,目标水平指示与最佳信号水平相比之下的多个边缘的较不聚焦的状态。参考图50,聚焦控制***将来自辅助阵列的边缘宽度伺服到略微大于辅助阵列上可实现的可能最小的边缘宽度的宽度。
辅助像素阵列108″、A/D转换器110、聚焦信号产生器120一起可容纳在封装142中,且构成辅助传感器150。辅助传感器150可进一步包括色彩内插器148。
图48展示除聚焦信号产生器120'代替聚焦信号产生器120外类似于设备103的自动聚焦图像拾取设备103'的替代实施例。辅助像素阵列108″、A/D转换器110、聚焦信号产生器120一起可容纳在封装142中,且构成辅助传感器150'。辅助传感器150可进一步包括色彩内插器148。
图49展示自动聚焦图像拾取设备103″的替代实施例。聚焦信号产生器120和处理器112″可作为相机控制器容纳在封装144中,与辅助像素阵列108″分离。处理器112″类似于处理器112,不同之处在于处理器112″接收来自主像素阵列2808以及辅助像素阵列108″的图像。处理器112″可执行色彩内插、色彩校正、压缩/解压缩以及将在信号2830上接收到的图像存储到存储器卡116,类似于图2中处理器112可对信号130执行的处理。不同于图2中的是,此处在信号130上接收到的图像无需接受压缩/解压缩且存储到存储器卡116。处理器112″可针对由辅助像素阵列108″中的彩色滤光片覆盖的像素对在信号130上接收到的图像执行色彩内插,且在信号146上将经色彩内插的图像发送到聚焦信号产生器120。
自动聚焦图像拾取***102、102'、103、103'、103″可包括计算机程序存储媒体(未图示),其包括分别致使处理器112、112'、112″和/或聚焦信号产生器120、120'执行本文所描述的功能中的一者或一者以上的指令。举例来说,所述指令可致使处理器112或产生器120'根据图7的流程图对边缘宽度执行倾斜度校正。作为另一实例,所述指令可致使处理器112'或产生器120根据上文针对宽度过滤器209的描述执行边缘宽度过滤。或者,处理器112、112'或产生器120、120'可经配置以具有用于本文所包括的功能中的一者或一者以上的固件与硬件的组合或纯硬件实施方案。举例来说,在产生器120中,可在纯硬件中执行倾斜度校正,且根据固件中的指令执行长度过滤器212。
虽然将存储器卡116展示为***102的部分,但可改为使用任何非易失性存储媒体,例如硬盘驱动器,其中存储在其中的图像可由用户存取,且可复制到***102外且远离***102的不同位置。
用于该***中的一个或一个以上参数(例如sharp_edge_width)可存储在***内的装置中的非易失性存储器中。该装置可为快闪存储器装置、处理器或图像传感器,或作为与之分离的装置的聚焦信号产生器。用于***中的一个或一个以上公式(例如用于计算级联长度阈值,或用于计算β)可同样作为参数或作为计算机可执行指令存储在那些装置中的一者或一者以上中的非易失性存储器中。
虽然附图中已描述并展示了某些示范性实施例,但将理解,此些实施例仅说明而非限制本发明,且本发明不限于所展示和描述的特定构造和布置,因为所属领域的技术人员可想到各种其它修改。

Claims (4)

1.一种用于产生随多个边缘宽度而变的一聚焦信号的方法,每一边缘宽度与一图像中的多个边缘中的一者相关联,该方法包括:
针对一边界的倾斜度来校正该边界上的一边缘的边缘宽度以给出经校正的边缘宽度,
其中,该边缘宽度是沿着一第一规定方向测得的,而该校正是从该第一规定方向到垂直于该边界的另一方向。
2.根据权利要求1所述的方法,其中根据一第一最大梯度和一第二最大梯度来计算对该倾斜度的一校正,该第一最大梯度是该边缘的一峰梯度且处于该第一规定方向上,该第二最大梯度是距该边缘两个像素的一最大梯度且处于垂直于该第一规定方向的一第二规定方向上。
3.根据权利要求1所述的方法,其中将该边缘宽度校正为一经校正的边缘宽度,该经校正的边缘宽度是该边缘宽度到垂直于该边界的该另一方向的投影。
4.根据权利要求1至3中任一项所述的方法,其中,所述第一规定方向是图像中相邻像素的排列方向。
CN201080066987.7A 2010-05-26 2010-05-27 自动聚焦图像*** Expired - Fee Related CN102948142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610286776.3A CN105898146A (zh) 2010-05-26 2010-05-27 用于产生随多个边缘宽度而变的一聚焦信号的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US34869910P 2010-05-26 2010-05-26
PCT/IB2010/052375 WO2011148233A1 (en) 2010-05-26 2010-05-27 Auto-focus image system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610286776.3A Division CN105898146A (zh) 2010-05-26 2010-05-27 用于产生随多个边缘宽度而变的一聚焦信号的方法

Publications (2)

Publication Number Publication Date
CN102948142A CN102948142A (zh) 2013-02-27
CN102948142B true CN102948142B (zh) 2016-05-25

Family

ID=45413433

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080066987.7A Expired - Fee Related CN102948142B (zh) 2010-05-26 2010-05-27 自动聚焦图像***
CN201610286776.3A Pending CN105898146A (zh) 2010-05-26 2010-05-27 用于产生随多个边缘宽度而变的一聚焦信号的方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610286776.3A Pending CN105898146A (zh) 2010-05-26 2010-05-27 用于产生随多个边缘宽度而变的一聚焦信号的方法

Country Status (11)

Country Link
US (1) US9031352B2 (zh)
JP (6) JP5532415B2 (zh)
CN (2) CN102948142B (zh)
AU (1) AU2010353808A1 (zh)
CA (1) CA2799891A1 (zh)
DE (1) DE112010005589T5 (zh)
GB (6) GB2487144B (zh)
HK (3) HK1171884A1 (zh)
MY (1) MY154248A (zh)
SG (1) SG185345A1 (zh)
WO (1) WO2011148233A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010353808A1 (en) * 2010-05-26 2012-12-06 Tay, Hiok Nam MR Auto-focus image system
CN104038699B (zh) * 2014-06-27 2016-04-06 努比亚技术有限公司 对焦状态的提示方法和拍摄装置
DE102014111150B3 (de) * 2014-08-05 2015-07-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zur Ermittlung eines Schärfemasses für ein Bild
EP3467428A4 (en) * 2016-05-30 2019-05-08 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM, AND IMAGE CAPTURE SYSTEM
CN108803204B (zh) * 2017-04-28 2021-03-12 宏碁股份有限公司 投影机及投影机的操作方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
EP0926526A2 (en) * 1997-12-25 1999-06-30 Canon Kabushiki Kaisha Optical device and method for selecting object of focus
CN101231786A (zh) * 2007-12-28 2008-07-30 北京航空航天大学 一种基于视频图像特征的车辆检测方法

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143311A (ja) 1983-12-29 1985-07-29 Asahi Optical Co Ltd Ttlオ−トフオ−カスビデオカメラの光学系
JPS6119211U (ja) 1984-07-06 1986-02-04 株式会社 コシナ オ−トフオ−カス付ズ−ムレンズ
JPH083579B2 (ja) * 1986-07-09 1996-01-17 キヤノン株式会社 自動合焦装置
JPH0779434B2 (ja) 1986-05-16 1995-08-23 キヤノン株式会社 合焦検出装置
JP3167023B2 (ja) 1989-11-13 2001-05-14 キヤノン株式会社 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写***置検出装置
DE69127850T2 (de) 1990-04-29 1998-03-12 Canon Kk Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt
US5790710A (en) * 1991-07-12 1998-08-04 Jeffrey H. Price Autofocus system for scanning microscopy
US5488429A (en) 1992-01-13 1996-01-30 Mitsubishi Denki Kabushiki Kaisha Video signal processor for detecting flesh tones in am image
US5880455A (en) 1995-08-08 1999-03-09 Nikon Corporation Focal position detection apparatus having a light reflecting member with plural reflecting films
US5875040A (en) 1995-12-04 1999-02-23 Eastman Kodak Company Gradient based method for providing values for unknown pixels in a digital image
JP3630880B2 (ja) * 1996-10-02 2005-03-23 キヤノン株式会社 視線検出装置及び光学機器
US6094508A (en) 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
US6151415A (en) * 1998-12-14 2000-11-21 Intel Corporation Auto-focusing algorithm using discrete wavelet transform
US6337925B1 (en) 2000-05-08 2002-01-08 Adobe Systems Incorporated Method for determining a border in a complex scene with applications to image masking
JP2001331806A (ja) * 2000-05-22 2001-11-30 Nec Corp 画像処理方式
JP2002189164A (ja) 2000-12-21 2002-07-05 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
JP2002214513A (ja) * 2001-01-16 2002-07-31 Minolta Co Ltd 光学系制御装置、光学系制御方法および記録媒体
US7088474B2 (en) 2001-09-13 2006-08-08 Hewlett-Packard Development Company, Lp. Method and system for enhancing images using edge orientation
JP2003125198A (ja) * 2001-10-18 2003-04-25 Sharp Corp 画像処理装置および画像処理方法、並びにそれを備えた画像形成装置、プログラム、記録媒体
JP3555607B2 (ja) * 2001-11-29 2004-08-18 ミノルタ株式会社 オートフォーカス装置
JP3628648B2 (ja) * 2001-12-18 2005-03-16 コニカミノルタフォトイメージング株式会社 光学系制御装置
US6917901B2 (en) 2002-02-20 2005-07-12 International Business Machines Corporation Contact hole profile and line edge width metrology for critical image control and feedback of lithographic focus
JP2003262783A (ja) * 2002-03-08 2003-09-19 Minolta Co Ltd オートフォーカス装置および撮像装置
JP4208563B2 (ja) 2002-12-18 2009-01-14 キヤノン株式会社 自動焦点調節装置
SG115540A1 (en) 2003-05-17 2005-10-28 St Microelectronics Asia An edge enhancement process and system
US7720302B2 (en) 2003-09-25 2010-05-18 Fujifilm Corporation Method, apparatus and program for image processing
JP2005269604A (ja) * 2004-02-20 2005-09-29 Fuji Photo Film Co Ltd 撮像装置、撮像方法、及び撮像プログラム
JP2005309559A (ja) 2004-04-19 2005-11-04 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20050249429A1 (en) 2004-04-22 2005-11-10 Fuji Photo Film Co., Ltd. Method, apparatus, and program for image processing
US20050244077A1 (en) 2004-04-22 2005-11-03 Fuji Photo Film Co., Ltd. Method, apparatus and program for image processing
JP2005332383A (ja) 2004-04-23 2005-12-02 Fuji Photo Film Co Ltd 画像処理方法および装置並びにプログラム
US20060078217A1 (en) 2004-05-20 2006-04-13 Seiko Epson Corporation Out-of-focus detection method and imaging device control method
JP2006024193A (ja) 2004-06-07 2006-01-26 Fuji Photo Film Co Ltd 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
EP1624672A1 (en) 2004-08-07 2006-02-08 STMicroelectronics Limited A method of determining a measure of edge strength and focus
JP2006115446A (ja) * 2004-09-14 2006-04-27 Seiko Epson Corp 撮影装置、及び画像評価方法
JP4487805B2 (ja) 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP4539318B2 (ja) 2004-12-13 2010-09-08 セイコーエプソン株式会社 画像情報の評価方法、画像情報の評価プログラム及び画像情報評価装置
GB0505443D0 (en) * 2005-03-17 2005-04-20 Dmist Technologies Ltd Image processing methods
JP4759329B2 (ja) * 2005-06-23 2011-08-31 Hoya株式会社 オートフォーカス機能を有する撮影装置
GB2427974A (en) * 2005-07-01 2007-01-10 Univ Cardiff Resolving boundaries in a medical image using histological data
US7590288B1 (en) 2005-11-07 2009-09-15 Maxim Integrated Products, Inc. Method and/or apparatus for detecting edges of blocks in an image processing system
CN1971616B (zh) * 2005-11-23 2012-10-10 索诺塞特公司 多分辨率自适应滤波
WO2007075552A2 (en) 2005-12-16 2007-07-05 Thomson Licensing Imager and imaging method for digital cinematography
US7792420B2 (en) 2006-03-01 2010-09-07 Nikon Corporation Focus adjustment device, imaging device and focus adjustment method
JP4182990B2 (ja) 2006-06-02 2008-11-19 セイコーエプソン株式会社 印刷装置、画像がぼやけているか否かを決定する方法、およびコンピュータプログラム
US20080021665A1 (en) 2006-07-20 2008-01-24 David Vaughnn Focusing method and apparatus
JP2008072696A (ja) * 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2009044757A (ja) * 2006-08-14 2009-02-26 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
US7924468B2 (en) 2006-12-20 2011-04-12 Seiko Epson Corporation Camera shake determination device, printing apparatus and camera shake determination method
KR20080081693A (ko) 2007-03-06 2008-09-10 삼성전자주식회사 카메라의 자동초점조절 방법
US7672531B2 (en) 2007-04-26 2010-03-02 Geostudio Consultants Limited System and method for determining edges of objects in an image
JP2009065224A (ja) * 2007-09-04 2009-03-26 Seiko Epson Corp 画像データ解析装置、画像データ解析方法、およびプログラム
US8264591B2 (en) 2007-10-22 2012-09-11 Candela Microsystems (S) Pte. Ltd. Method and system for generating focus signal
JP2009156946A (ja) 2007-12-25 2009-07-16 Sanyo Electric Co Ltd 撮像装置の防振制御回路
JP2009218806A (ja) * 2008-03-10 2009-09-24 Seiko Epson Corp 画像処理装置及び方法、並びに、そのためのプログラム
JP2009260411A (ja) 2008-04-11 2009-11-05 Olympus Corp 撮像装置
US8184196B2 (en) 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
JP5158202B2 (ja) * 2008-08-19 2013-03-06 富士通株式会社 画像補正装置および画像補正方法
JP2010122100A (ja) 2008-11-20 2010-06-03 Fis Inc 防水型ガスセンサ
WO2010061352A2 (en) * 2008-11-26 2010-06-03 Hiok Nam Tay Auto-focus image system
WO2010061250A1 (en) * 2008-11-26 2010-06-03 Hiok-Nam Tay Auto-focus image system
KR20120044934A (ko) * 2009-05-08 2012-05-08 바스프 에스이 입자상 나노복합 물질의 제조 방법
WO2011070514A1 (en) * 2009-12-07 2011-06-16 Hiok Nam Tay Auto-focus image system
AU2010353808A1 (en) * 2010-05-26 2012-12-06 Tay, Hiok Nam MR Auto-focus image system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5496106A (en) * 1994-12-13 1996-03-05 Apple Computer, Inc. System and method for generating a contrast overlay as a focus assist for an imaging device
EP0926526A2 (en) * 1997-12-25 1999-06-30 Canon Kabushiki Kaisha Optical device and method for selecting object of focus
CN101231786A (zh) * 2007-12-28 2008-07-30 北京航空航天大学 一种基于视频图像特征的车辆检测方法

Also Published As

Publication number Publication date
JP2011248085A (ja) 2011-12-08
AU2010353808A1 (en) 2012-12-06
DE112010005589T5 (de) 2013-03-14
GB201314740D0 (en) 2013-10-02
JP5435362B2 (ja) 2014-03-05
CN105898146A (zh) 2016-08-24
US20120008872A1 (en) 2012-01-12
MY154248A (en) 2015-05-29
GB2487142B (en) 2012-12-12
JP5825566B2 (ja) 2015-12-02
JP2014078021A (ja) 2014-05-01
GB201203290D0 (en) 2012-04-11
JP2016177293A (ja) 2016-10-06
GB2487144B (en) 2014-11-19
HK1185149A1 (zh) 2014-02-07
GB201200088D0 (en) 2012-02-15
GB2495424B (en) 2013-12-11
CN102948142A (zh) 2013-02-27
CA2799891A1 (en) 2011-12-01
GB2505318A (en) 2014-02-26
GB2484223A (en) 2012-04-04
GB201203294D0 (en) 2012-04-11
US9031352B2 (en) 2015-05-12
JP2016028294A (ja) 2016-02-25
GB201203296D0 (en) 2012-04-11
HK1171885A1 (en) 2013-04-05
GB2487142A (en) 2012-07-11
GB2487143B (en) 2012-12-12
GB2495424A (en) 2013-04-10
JP2011248151A (ja) 2011-12-08
JP2014134811A (ja) 2014-07-24
GB201222601D0 (en) 2013-01-30
HK1171884A1 (en) 2013-04-05
GB2487144A (en) 2012-07-11
GB2484223B (en) 2014-07-09
GB2487143A (en) 2012-07-11
SG185345A1 (en) 2012-12-28
GB2505318B (en) 2014-08-13
JP5532415B2 (ja) 2014-06-25
WO2011148233A1 (en) 2011-12-01

Similar Documents

Publication Publication Date Title
US9237270B2 (en) Auto-focus image system
US8462258B2 (en) Focus signal generation for an auto-focus image system
CN103416052B (zh) 自动聚焦控制***的产生聚焦信号的方法
CN102844705B (zh) 焦点调节装置和焦点调节方法
RU2466438C2 (ru) Способ облегчения фокусировки
US8538075B2 (en) Classifying pixels for target tracking, apparatus and method
CN102948142B (zh) 自动聚焦图像***
US20130083232A1 (en) Auto-focus image system
WO2010061250A1 (en) Auto-focus image system
US20170371129A1 (en) Image processing apparatus and image processing method
CN103262524B (zh) 自动聚焦图像***
CN103650473B (zh) 自动聚焦图像方法
US20160094782A1 (en) Auto-focus image system
GB2510495A (en) Auto-focus image system
CN104427248A (zh) 摄像装置及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160525

Termination date: 20210527

CF01 Termination of patent right due to non-payment of annual fee