CN102172013A - 抖动焦点的评估 - Google Patents
抖动焦点的评估 Download PDFInfo
- Publication number
- CN102172013A CN102172013A CN2009801394328A CN200980139432A CN102172013A CN 102172013 A CN102172013 A CN 102172013A CN 2009801394328 A CN2009801394328 A CN 2009801394328A CN 200980139432 A CN200980139432 A CN 200980139432A CN 102172013 A CN102172013 A CN 102172013A
- Authority
- CN
- China
- Prior art keywords
- focus
- image
- images
- assessment
- limited
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims description 9
- 238000000034 method Methods 0.000 claims description 79
- 230000008569 process Effects 0.000 claims description 54
- 239000004744 fabric Substances 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 10
- 230000001105 regulatory effect Effects 0.000 claims description 10
- 229920001746 electroactive polymer Polymers 0.000 claims description 2
- 239000012530 fluid Substances 0.000 claims description 2
- 239000007788 liquid Substances 0.000 claims description 2
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 239000012190 activator Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000033228 biological regulation Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 238000011088 calibration curve Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 235000010724 Wisteria floribunda Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
Abstract
本发明利用一种能够在聚焦***聚焦范围较小部分上迅速改变焦点的自动聚焦***(806)。当在诸如预览模式中重复的系列图像或帧中或在视频拍摄中连续工作时,在每个视频帧之前和之后拍摄自动聚焦图像,其中自动聚焦图像与系列中的图像具有不同焦距设置。然后评估自动聚焦图像的焦点质量,判断是否需要焦点调节。
Description
技术领域
本发明涉及用于数字摄像机的自动聚焦***领域。更具体地说,本发明涉及用于图像拍摄设备的自动聚焦领域,图像拍摄设备例如是能用于拍摄一系列图像以获得视频、突发拍摄以及静止图像的数字摄像机。
背景技术
通常,用于拍摄静止图像或视频的数字摄像机中的自动聚焦***使用的是“通过透镜的”自动聚焦***,其拍摄一系列5-20幅或更多自动聚焦图像,这些图像是利用位于不同聚焦位置的可移动聚焦透镜摄取的。对于包括有着用于聚焦的可变焦距或可变屈光率的可变焦距透镜的自动聚焦***而言,不是移动聚焦透镜,而是以电子方式调节可变焦距透镜以为自动聚焦图像提供5-20个或更多不同焦距或屈光率。
在拍摄之后,分析5-20幅或更多自动聚焦图像的对比度以确定为图像提供最高对比度的聚焦透镜条件,这被认为是最佳聚焦条件。在分析中,基于存在的对比度水平为每幅自动聚焦图像产生焦距值。然后,在拍摄并存储最终图像之前,使聚焦透镜返回到产生最高对比度(最高聚焦值)自动聚焦图像的聚焦条件,或返回到两个或更多自动聚焦图像之间的内插位置。这种自动聚焦方法被称为“爬山法”,因为其产生水平增加的焦点值序列,直到它们超过峰值,即“山”。
“通过透镜的”自动聚焦***可以是非常精确的,因为它们直接从利用用于拍摄最终图像的同一高质量透镜拍摄的自动聚焦图像测量焦点质量。不过,“通过透镜的”自动聚焦***也可能非常慢,因为需要聚焦透镜做出很多运动并且必须要拍摄和分析很多自动聚焦图像。聚焦时间缓慢这种情况成为按下拍摄按钮和实际拍摄图像之间用户察觉到的讨厌延迟的原因之一,这种延迟被称为快门滞后。希望能够减小快门滞后。
在视频拍摄期间,典型地从构成视频片段的相同系列静止图像或帧导出自动聚焦图像,因此,每次场景变化时,自动聚焦过程都会造成在视频中产生5-20幅或更多离焦的帧。结果,在场景连续变化,通过摄像机摇摄运动拍摄视频期间,视频的大部分实际上是焦点未对准的。理想地,自动聚焦***在拍摄视频和静止图像时要更快,对于视频拍摄而言,每一帧都应当得到聚焦,以便减少离焦帧的数目。在使得来自视频的图像能够被打印或以其他方式使用时,这一点尤其重要。
双透镜测距仪模块也可以实现对焦点条件的快速评估。可以从FujiElectric购买到几种型号的测距仪模块,例如FM6260W。双透镜测距仪模块包含两个分隔一定距离的透镜,连同两个匹配传感器区域,从而能够拍摄低分辨率图像的匹配对。然后分析低分辨率图像的匹配对中两个图像之间的相关性,以确定两个透镜之间分离导致的两幅图像之间的偏移量。然后连同透镜分离距离一起,使用偏移量信息,通过三角测量法计算与场景的距离。使用计算出的距场景距离,基于校准曲线指导聚焦透镜的使用,校准曲线是在双透镜测距仪模块测量的距场景距离和通过透镜的自动聚焦***产生的系列最佳聚焦图像之间确定的。广告声称,Fuji FM6260W模块的响应时间在高灵敏度模式下为0.004秒,这肯定位于视频自动聚焦所需的1/30秒之内。然而,双透镜测距仪模块的精确度通常受到环境条件变化的影响,例如温度和/或湿度的变化。因此,通常不会独立地将这些双透镜测距仪模块用于数字摄像机中的自动聚焦,而是用作粗略焦点调节,由基于通过透镜的对比度的自动聚焦***进行辅助。双透镜测距仪模块的问题在于,在用于数字摄像机的正常工作环境之内,双透镜测距仪模块和聚焦透镜设置之间的校准是不稳定的。环境条件,例如温度和湿度的变化可能导致双透镜测距仪模块生成的距场景的计算距离变化超过10%,此外,可移动透镜控制***中可移动透镜的实测位置也容易受到环境诱发的变化。此外,双透镜测距仪模块为双透镜测距仪模块自身的摄像机增加了额外成本。
如美国专利公开US 20080002959所述,在通过透镜的***孔径设备中,使用透镜***中的***孔径来生成可以经解释获得焦点信息的图像。***孔径为通过透镜的光生成两条光路,以在传感器处生成至少两个自动聚焦图像。通过在透镜***的孔径处***光路,两条光路的每一条都产生完整的图像而没有阴影效应,不过在图像传感器处光强减小。通过依次部分阻挡孔径的两个不同部分,由此***孔径,生成了两条具有不同前景的光路。两条光路之间的前景差异导致自动聚焦图像与离焦程度和图像中对象的离焦方向成比例地沿横向位移。不过,通过可探测焦点区域数目测量的***孔径方法的焦点分辨率受到所生成的两条光路之间实现的实际分离的限制,实际分离大约是透镜孔径的40%。随着透镜孔径变小,由于缺少焦点分辨率,这种技术的焦点精确度减小,对于小型图像拍摄设备而言尤其是这种情况,例如,对于紧凑型数字摄像机、手机、膝上型计算机和其他通信设备中的图像拍摄设备。
因此,需要改进自动聚焦***以为静止拍摄提供较小快门滞后,为视频提供更少的离焦帧,同时提供焦点分辨率以实现精确聚焦。
发明内容
本发明的目的是提供一种用于拍摄图像的自动聚焦***,其在上述问题上作出了改进。
在一个实施例中,利用了一种能够在聚焦***聚焦范围至少较小部分上迅速改变焦点的自动聚焦***。当在诸如预览模式中重复的系列图像或帧中或在视频拍摄中连续工作时,在系列中每个图像之前和之后拍摄自动聚焦图像,其中自动聚焦图像与系列中的图像具有不同焦距设置。然后评估自动聚焦图像的焦点质量,并在自动聚焦图像之间比较焦点质量,以判断是否需要为系列中的后续图像进行焦点调节。然后根据需要,基于用于焦点质量更好的自动聚焦图像的焦点设置执行焦点调节。通过这种方式,可以逐帧完成焦点评估和焦点调节,在场景中的焦点条件变化时,产生的离焦帧数目大大减少。
公开了多种自动聚焦图像组。一个实施例使用交替的单一步骤,为系列中图像拍摄任一侧的第一和第二组自动聚焦图像增大和减少聚焦透镜的屈光率。另一个实施例使用交替的多步骤,为系列中图像拍摄任一侧的第一和第二组自动聚焦图像增大和减少聚焦透镜的屈光率。另一个实施例使用交替的第一和第二步骤,为系列中图像拍摄任一侧的第一和第二组自动聚焦图像增大和减少聚焦透镜的屈光率。
附图说明
图1是使用本发明方法实施例的聚焦透镜屈光率与时间关系的图示。
图2是在预览模式下使用摄像机或其他图像拍摄设备时使用本发明的方法的流程图。
图3是在用于视频拍摄的连续模式下使用摄像机或其他图像拍摄设备时使用本发明的方法的流程图。
图4是使用本发明方法另一实施例的聚焦透镜屈光率与时间关系的图示。
图5是使用本发明方法另一实施例的聚焦透镜屈光率与时间关系的图示。
图6是使用本发明方法又一实施例的聚焦透镜屈光率与时间关系的图示。
图7是用于本发明***实施例的图像拍摄设备的截面示意图。
图8是能够利用根据本发明实施例的抖动焦点评估的图像拍摄设备的简化方框图。
具体实施方式
本发明的实施例希望为摄像机或其他数字图像拍摄设备提供一种快速自动聚焦***,在拍摄诸如视频中的一系列图像期间其能够做出焦点评估和焦点调节,而不会导致大量拍摄到的图像离焦。
尽管结合视频拍摄描述了本发明,本发明同样适用于图像系列中图像的任何拍摄,例如,在突发拍摄模式下发生的图像拍摄,或在拍摄图像以在图像拍摄设备上进行预览显示等。为此,本发明的实施例在拍摄每一视频图像之间增加了一个或多个自动聚焦图像的拍摄,其中,与视频图像以不同焦点设置拍摄自动聚焦图像。由于在每幅视频帧之间都评估焦点质量,因此场景之内的条件在帧和帧之间不会有大的变化,从而能够以少量的自动聚焦图像进行本发明的焦点评估。
为了使自动聚焦变得足够快,以接近30帧/秒或更快的典型视频帧率下的逐帧自动聚焦,在整个自动聚焦***中需要做若干改进。首先,需要焦点测量***,其能够提供焦点质量的测量,可以在1/30秒之内或更快地完成测量。焦点测量必须提供足够的信息,以精确地指导聚焦透镜焦点的变化,以便也在1/30秒之内实现期望的焦点质量。第二,聚焦透镜控制***必须足够快,以在帧间可用的1/30秒之内做出焦点调节。有很多快速聚焦***可用于在1/30秒之内做出焦点调节。能用于本发明中聚焦透镜的适当快速的聚焦***范例包括,但不限于:用于移动聚焦透镜的压电马达;用于聚焦透镜可变屈光率的液体透镜;用于聚焦透镜可变屈光率的流体透镜;用于聚焦透镜可变屈光率的电活性聚合物透镜和用于聚焦透镜可变屈光率的双量程液晶透镜,如John N.Border等人在2008年9月25日提交的题为“Dual Range Focus Element”的共同未决美国专利申请中所述,在此通过引用将其并入本文,如同这里完整阐述一般。
在一个实施例中使用快速聚焦***在用于视频图像的焦点设置和用于自动聚焦图像的焦点设置之间以交替方式迅速调节聚焦透镜。拍摄自动聚焦图像必须充分快,以免干扰视频图像的拍摄,不过同时,自动聚焦图像必须要有足够好的图像质量,以便能够确定焦点质量,从而能够为拍摄视频图像做出焦点调节的决定。
图1示出了使用本发明一个实施例的方法的聚焦透镜屈光率的操作图示,在这种情况下,在拍摄视频图像105(标记为Video)之间拍摄自动聚焦图像120(标记为AF1)和125(标记为AF2),其中以第一组120随后第二组125的方式拍摄自动聚焦图像。在拍摄每幅自动聚焦图像之前,将聚焦透镜从视频拍摄改变成不同的焦点设置。如图1所示,第一自动聚焦图像组120的焦点设置具有较低屈光率,第二自动聚焦图像组125的焦点设置具有较高屈光率。选择用于自动聚焦图像120和125的焦点设置和用于视频图像105的焦点设置之间的变化,使得与用于分隔自动聚焦图像的视频图像的焦点设置相比,变化量导致同样量的但离焦方向相反的离焦。
为简单起见,在图1、4、5、6中,屈光率从用于视频帧的焦点设置到第一组自动聚焦图像和第二组自动聚焦图像的变化被示为相同的,但实际屈光率变化可以是不同的,以基于聚焦透镜和透镜组的聚焦特性为第一组自动聚焦图像和第二组自动聚焦图像产生同样量的离焦。由于用于自动聚焦图像120和125的焦点设置涵盖用于视频图像105的焦点设置,如果视频图像聚焦良好,自动聚焦图像120和125将被同等离焦。因此,在彼此比较来自2组120和125的自动聚焦图像以检查焦点质量时,如果在自动聚焦图像120和125之间拍摄的视频图像105焦点对准,2组自动聚焦图像120和125的焦点质量将是相同的。
相反,如果视频图像105聚焦不好,自动聚焦图像组120或125之一的焦点质量将好于另一自动聚焦图像组的焦点质量。在本发明中,就是使用2组自动聚焦图像120和125之间的焦点质量的这种差异在拍摄下一视频图像105之前判断是否需要焦点调节的。此外,使用2组自动聚焦图像120和125之间的焦点质量的差异程度来确定用于改善下一视频图像105焦点质量的焦点调节的量。在已经拍摄1组第一组自动聚焦图像120、1组第二组自动聚焦图像125和1个视频帧105之后,可以使用图1中所示的过程决定是否需要用于视频帧拍摄105的焦点调节。
在决定是否需要焦点调节用于视频帧拍摄105之后,在图1所示的下一视频帧拍摄105期间可以执行焦点调节,其中在视频帧拍摄105期间示出了屈光率变化110。或者,可以协同用于自动聚焦图像的屈光率变化一起执行焦点调节。继焦点调节110之后用于自动聚焦图像组130的焦点改变与前面的焦点调节量相同,但现在的改变是相对于刚拍摄的视频图像105末尾的新焦点设置,因此用于自动聚焦图像组130的屈光率与先前的自动聚焦设置125不同。
图2示出了在摄像机处在拍摄并立即显示图像的预览模式下时使用的本发明方法一个实施例的流程图。在摄像机处于默认焦点设置下,在打开摄像机或数字拍摄设备时,该过程在200开始。在210,拍摄视频帧并发送到显示器。在220,为了拍摄第一组自动聚焦图像将焦点设置改变一个量(例如1屈光度,或,在该焦点设置,对应于透镜景深的量,例如1个焦点区域)。在230,拍摄第一组自动聚焦图像并暂时存储。然后在240中将聚焦***返回到用于视频帧拍摄的设置。在250,拍摄另一视频帧并发送到显示器。然后在255中将焦点设置改变第二量,用于拍摄第二组自动聚焦图像。
然后在步骤260中拍摄第二组自动聚焦图像并暂时存储。然后在265中将聚焦***返回到用于视频帧拍摄的设置。在270,拍摄另一视频帧并发送到显示器。在270中拍摄视频帧时,评估第一和第二组自动聚焦图像的焦点质量并为每幅自动聚焦图像产生焦点值。其中,用于评估系列自动聚焦图像以产生焦点值的技术是本领域公知的,可以在美国专利5877809、6441855、6885819和美国专利申请2003/0160886中找到范例技术。在275,基于用于第一和第二自动聚焦设置的焦点值是否在选定阈值之内是相同的做出决定。如果第一和第二自动聚焦设置的焦点值之间的差异小于选定的阈值,过程前进到220。如果第一或第二组自动聚焦图像的焦点值高于另一个且在阈值之外(更好的焦点值),就探测到离焦状态,并在280中向着具有更好焦点质量的自动聚焦图像组的焦点设置调节用于后续视频帧拍摄的焦点设置,该过程前进到220。
在焦点设置调节过程中,基于快速聚焦***和摄像机成像***的焦点特性选择焦点设置调节率,以校正探测到的离焦状态。可以基于在制造期间执行的校准过程将焦点设置调节率编写到自动聚焦***中。或者,在使用期间自动聚焦***可以基于获得稳定程度的良好焦点质量所需的焦点设置调节次数累进地学习焦点设置调节率。
应当指出,在一个实施例中,用于突发拍摄自动聚焦的本发明的过程将遵循类似于图2所示的过程流程,其中视频图像为突发图像。此外,将突发图像发送到存储器,而不是发送到显示器。
还应当指出,在另一实施例中,用于在图2所示的预览模式中聚焦的本发明过程也适用于为静止图像拍摄聚焦。在这种情况下,在拍摄静止图像之前将摄像机置于预览模式,在场景内容变化时,摄像机继续在预览模式中对自己聚焦。然后,在操作者按下拍摄按钮从而指示摄像机拍摄静止图像时,摄像机已经聚焦好了。
图3示出了本发明方法用于进行中连续视频拍摄的另一实施例的流程图。如300中所述,过程开始时,摄像机已经工作在视频模式下。在310,将焦点设置改变一个量,用于拍摄第一组自动聚焦图像。然后在步骤320中拍摄第一组自动聚焦图像并暂时存储。然后在330中将聚焦***返回到用于视频帧拍摄的设置。在340,拍摄、存储视频帧,且通常发送到显示器,尽管本发明不要求将视频帧发送到显示器。在350中确定相对焦点质量,相对焦点质量是通过用于第一和第二组自动聚焦图像的焦点值确定的。然后在360中,基于第一和第二组自动聚焦图像是否具有阈值之内的相同焦点值(相对焦点质量)做出决定。如果第一和第二组自动聚焦图像的相对焦点质量在选定阈值之内,该过程前进到370。其中,在370,将焦点设置改变一个量,用于拍摄第二组自动聚焦图像。在375中拍摄第二组自动聚焦图像。然后在380中将聚焦***返回到用于视频帧拍摄的焦点设置。在385拍摄视频帧,存储并通常发送到显示器。
在390中通过为第一组自动聚焦图像和第二组自动聚焦图像中后两组确定的焦点值评估相对焦点质量。在392,基于第一组自动聚焦图像和第二组自动聚焦图像中后两组是否具有选定阈值之内的相同焦点值(相对焦点质量)做出过程方向的决定。如果第一组自动聚焦图像和第二组自动聚焦图像中后两组具有选定阈值之内的相同焦点值,该过程循环返回到步骤310。如果第一组自动聚焦图像或第二组自动聚焦图像具有高于选定阈值的更高焦点值(更好的相对焦点质量),该过程前进到395。其中在395中,向着用于具有更好焦点质量的自动聚焦图像组的焦点设置调节用于视频帧拍摄的聚焦***设置,该过程循环返回到310。
如果在360,判定第一组自动聚焦图像或第二组自动聚焦图像的相对焦点质量具有高于阈值的更高焦点值(更好的焦点质量),该过程前进到步骤365。其中在365,向着用于产生更好焦点质量的该组自动聚焦图像的焦点设置调节聚焦***设置,如前所述,该过程前进到370。
图4示出了本发明方法另一实施例的图示,其中多个自动聚焦图像包括在第一组自动聚焦图像和第二组自动聚焦图像两者中。在这一实施例中,第一组自动聚焦图像420(标志为AF1)由屈光率逐级减小的多个图像构成,而第二组自动聚焦图像425(标记为AF2)由屈光率逐级增大的多个图像构成。本实施例能够在已经拍摄1组第一组自动聚焦图像420、1组第二组自动聚焦图像425和1个视频帧405之后,决定视频帧405(标志为Video)拍摄是否需要焦点调节。此外,由于在第一和第二组自动聚焦图像420和425之内拍摄具有不同焦点设置的多个自动聚焦图像,所以所产生的焦点值度量(相对焦点质量)精确度提高。
图5示出了本发明方法另一实施例的图示,其中用于自动聚焦图像的屈光率改变量在组与组之间变化。在这种情况下,直到已经拍摄了2组第一组自动聚焦图像520和521(标记为AF1)和2组第二组自动聚焦图像525和526(标记为AF2)以及2个视频帧505(标记为Video)之后才做出焦点质量的判决。然后,通过比较2组第一组自动聚焦图像520和521和2组第二组自动聚焦图像525和526的相对焦点质量,判断为视频帧拍摄进行焦点调节的需要。尽管本实施例产生更加离焦的视频帧,但由于第一组(520和521)和第二组(525和526)自动聚焦图像仅在每次视频拍摄之间拍摄1幅自动聚焦图像,因此可以增加用于每幅自动聚焦图像的曝光时间以减少自动聚焦图像中的噪声,评估多个自动聚焦图像以判断视频帧拍摄是否需要焦点调节,从而获得更高的焦点精确度。
图6示出了本发明方法另一实施例的图示,其中第一组自动聚焦图像620(标记为AF1)和第二组自动聚焦图像625(标记为AF2)相同,且均包括逐级递减和递增的屈光率。尽管图6的图示示出了一个减小梯级和一个增大梯级,每组自动聚焦图像620或625中递减和递增梯级的数目可以均超过一个。在这一实施例中,在已经拍摄一组自动聚焦图像620或625之后,可以做出视频帧605(标记为Video)拍摄是否需要焦点调节的决定,然后可以在拍摄以下视频帧605期间实施焦点调节。这种方法实现了所产生离焦视频帧605数目的进一步减少,因为更快地探测到离焦状态。
应当指出,对于在拍摄静止图像之前检验焦点而言,使用类似于图6所示的过程进行焦点评估是可能的。在这种情况下,摄像机会如图2的流程图所示在预览模式下对自己聚焦,然后,在操作者按下按钮,指示摄像机拍摄静止图像时,可以通过以聚焦透镜越来越大和越来越小的屈光率拍摄若干自动聚焦图像来实现焦点质量的最终评估。然后评估自动聚焦图像的相对焦点质量,在拍摄静止图像之前决定是否需要最终焦点调节。
在本发明的又一实施例中,公开了一种聚焦***,其提供了短曝光时间和自动聚焦图像的迅速读出以支持前面描述的方法。图7示出了包括本发明特征的图像拍摄设备的图示。本发明包括不同类型的自动聚焦图像的迅速拍摄。迅速拍摄自动聚焦图像需要短曝光时间和从图像传感器快速读出。因此,本发明的聚焦***包括透镜组700,透镜组700包括能够迅速改变屈光率的聚焦透镜720,作为例示性范例,在0.01秒或更少时间内改变1屈光度。其中,聚焦透镜720被示为位于孔径光阑710后方,因为这是通常产生图像拍摄设备最短总长的位置。在本发明的范围内,聚焦透镜720或孔径光阑710的其他位置是可能的,例如在光进入的透镜尾部。
为了提高图像传感器730收集光的效率,使用具有全色像素的图像传感器,从整个可见光谱上收集光,如2005年7月28日提交的题为“Image Sensor with Improved Light Sensitivity”美国专利申请2007/0024931所述,在此通过引用并入本文,如同在此充分阐述一般。为了实现更高的光灵敏度和更快的拍摄时间,自动聚焦图像可以唯一地由以二次抽样方式读出的全色像素构成。此外,传感器应当能够读出传感器的部分,以减少在每幅图像中读出的像素数目。通过这种方式,自动聚焦图像可以由探测到的感兴趣区域——例如被成像场景之内的面孔或识别的对象——构成。传感器还应当能够对像素进行分容器读出。其中,通过将相邻像素电连接在一起,从而在分容器像素之间贡献收集的电荷来实现分容器(binning),由此增大像素的有效尺寸并提高像素对光的灵敏度。
参考图8,示出了诸如数字式静物摄影机、摄影机等图像拍摄设备800的简化方框图。摄像机800包括诸如透镜700的聚焦透镜***。可以将本领域公知的能够采取CMOS或CCD图像传感器形式的传感器,例如图像传感器730用于本发明。自动聚焦***806包括焦点评估部分/电路和焦点调节部分/电路,焦点评估部分/电路能够如前所述执行焦点评估,焦点调节部分/电路如前所述执行焦点调节。根据希望的设计要求,部分808和810可以包括硬件、软件或两者的组合。
充当摄像机800的控制器的处理器812能够包括若干微处理器、微控制器、数字信号处理器等中的任何一种。在一个实施例中,控制器812与自动聚焦***806合作执行上述所有自动聚焦技术。能够包括易失性和非易失存储器两者的存储器814存储用于操作摄像机800的数据以及必要程序。如本领域公知的,能够包括液晶显示器(LCD)816的显示器816可以提供当前正拍摄的图像以及先前拍摄的图像。
特别参考其特定优选实施例详细描述了本发明,但显然可以在本发明的精神和范围之内进行变化和修改。
部件列表
105视频帧
110视频帧期间的焦点调节
120第一组自动聚焦图像中的自动聚焦图像
125第二组自动聚焦图像中的自动聚焦图像
130为视频拍摄进行焦点调节之后第一组自动聚焦图像中的自动聚焦图像
200过程方框
210过程方框
220过程方框
230过程方框
240过程方框
250过程方框
255过程方框
260过程方框
265过程方框
270过程方框
275过程方框
280过程方框
300过程方框
310过程方框
320过程方框
330过程方框
340过程方框
350过程方框
360过程方框
365过程方框
370过程方框
375过程方框
380过程方框
385过程方框
390过程方框
392过程方框
395过程方框
405视频帧
420第一组自动聚焦图像中的自动聚焦图像
425第二组自动聚焦图像中的自动聚焦图像
505视频帧
520第一组自动聚焦图像中的第一自动聚焦图像
521第一组自动聚焦图像中的第二自动聚焦图像
525第二组自动聚焦图像中的第一自动聚焦图像
526第二组自动聚焦图像中的第二自动聚焦图像
605视频帧
620第一组自动聚焦图像中的自动聚焦图像
625第二组自动聚焦图像中的自动聚焦图像
700透镜组
710孔径光阑
720聚焦透镜
730图像传感器
800图像拍摄设备
802透镜
804传感器
806自动聚焦部分
808焦点评估部分
810焦点调节部分
812处理器
814存储器
816显示器
Claims (20)
1.一种用于使能够拍摄要存储的一系列图像的图像拍摄设备自动聚焦的方法,包括:
拍摄用于焦点评估的图像,所述图像不是所述要存储的一系列图像之一并且是在所述要存储的一系列图像中两幅图像之间拍摄的;
评估用于焦点评估的图像;以及
如果判定需要调节焦点,则基于焦点评估中使用的图像调节焦点并对所述要存储的一系列图像中的至少一幅使用经调节的焦点。
2.根据权利要求1所限定的方法,其中用于焦点评估的图像与所述要存储的一系列图像具有不同焦点设置。
3.根据权利要求1所限定的方法,其中在所述要存储的一系列图像中的多幅之间进行用于焦点评估的图像的评估。
4.根据权利要求2所限定的方法,其中用于焦点评估的图像由在所述要存储的一系列图像中的图像间拍摄的两个或更多用于焦点评估的图像的组来构成,针对用于焦点评估的图像的焦点设置包括针对第一组用于焦点评估的图像沿一个方向调节焦点,并针对第二组用于焦点评估的图像沿相反方向调节焦点。
5.根据权利要求4所限定的方法,其中沿一个方向调节焦点是多步过程。
6.根据权利要求5所限定的方法,其中沿一个方向调节焦点包括以周期性步进方式减小屈光率。
7.根据权利要求5所限定的方法,其中沿一个方向调节焦点包括以周期性步进方式增大屈光率。
8.根据权利要求2所限定的方法,其中调节所述焦点是多步过程,所述过程中的一些步骤增大屈光率,所述过程中的一些步骤减小屈光率。
9.一种图像拍摄设备,包括:
透镜;
位于所述透镜光路中的传感器;
耦合到所述透镜的用于调节所述透镜焦点的自动聚焦***,所述自动聚焦***包括:
评估用于焦点评估的图像时使用的焦点评估部分,所述图像不是所述图像拍摄设备要存储的一系列图像之一并且是在所述要存储的一系列图像的两幅图像之间拍摄的;以及
对所述评估电路做出响应的焦点调节部分,其用于如果判定需要调节焦点,则所述焦点调节部分基于焦点评估中使用的图像调节所述透镜的焦点并对所述要存储的一系列图像中的至少一幅使用经调节的焦点。
10.根据权利要求9所限定的图像拍摄设备,其中所述图像传感器包括全色像素。
11.根据权利要求9所限定的图像拍摄设备,其中所述自动聚焦***包括如下逐项之一:压电致动器、液体透镜、流体透镜、电活性聚合物透镜或液晶透镜。
12.根据权利要求9所限定的图像拍摄设备,其中所述自动聚焦***包括双量程聚焦***,其中所述双量程聚焦***的一部分可以变化得比另一部分更快。
13.根据权利要求9所限定的图像拍摄设备,其中所述图像传感器包括所述图像传感器上的开窗口或分容器操作。
14.根据权利要求9所限定的图像拍摄设备,其中用于焦点评估的图像与要拍摄的一系列图像具有不同焦点设置。
15.根据权利要求9所限定的图像拍摄设备,其中在所述要存储的一系列图像的多幅之间由所述焦点评估部分进行用于焦点评估的图像的评估。
16.根据权利要求14所限定的图像拍摄设备,其中在所述要存储的一系列图像的两幅或更多幅之间由所述焦点评估部分进行用于焦点评估的图像的评估,并且所述评估包括在所述要存储的一系列图像的两幅或更多幅之一中沿一个方向调节焦点,并在所述要存储的一系列图像的所述两幅或更多幅的另一幅中沿相反方向调节焦点。
17.根据权利要求16所限定的图像拍摄设备,其中沿一个方向调节焦点是多步过程。
18.根据权利要求17所限定的图像拍摄设备,其中沿一个方向调节焦点包括以周期性步进方式减小屈光率。
19.根据权利要求17所限定的图像拍摄设备,其中沿一个方向调节焦点包括以周期性步进方式增大屈光率。
20.根据权利要求14所限定的图像拍摄设备,其中调节所述焦点是多步过程,所述过程中的一些步骤增大屈光率,所述过程中的一些步骤减小屈光率。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/250,589 | 2008-10-14 | ||
US12/250,589 US8164682B2 (en) | 2008-10-14 | 2008-10-14 | Dithered focus evaluation |
PCT/US2009/005533 WO2010044831A1 (en) | 2008-10-14 | 2009-10-09 | Dithered focus evaluation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102172013A true CN102172013A (zh) | 2011-08-31 |
CN102172013B CN102172013B (zh) | 2014-09-10 |
Family
ID=41323379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980139432.8A Active CN102172013B (zh) | 2008-10-14 | 2009-10-09 | 抖动焦点的评估 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8164682B2 (zh) |
EP (1) | EP2335404B1 (zh) |
JP (1) | JP5745416B2 (zh) |
CN (1) | CN102172013B (zh) |
WO (1) | WO2010044831A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297665A (zh) * | 2012-02-22 | 2013-09-11 | 庄佑华 | 图像采集*** |
CN103475818A (zh) * | 2013-09-03 | 2013-12-25 | 小米科技有限责任公司 | 一种拍摄方法、装置及终端设备 |
CN103763477A (zh) * | 2014-02-21 | 2014-04-30 | 上海果壳电子有限公司 | 一种双摄像头拍后调焦成像装置和方法 |
CN103780840A (zh) * | 2014-01-21 | 2014-05-07 | 上海果壳电子有限公司 | 一种高品质成像的双摄像成像装置及其方法 |
CN104717418A (zh) * | 2013-12-16 | 2015-06-17 | 腾讯科技(深圳)有限公司 | 对焦方法、装置及电子设备 |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8274715B2 (en) | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US8068153B2 (en) * | 2009-03-27 | 2011-11-29 | Omnivision Technologies, Inc. | Producing full-color image using CFA image |
US8045024B2 (en) * | 2009-04-15 | 2011-10-25 | Omnivision Technologies, Inc. | Producing full-color image with reduced motion blur |
US8203633B2 (en) * | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
US8237831B2 (en) * | 2009-05-28 | 2012-08-07 | Omnivision Technologies, Inc. | Four-channel color filter array interpolation |
US8125546B2 (en) * | 2009-06-05 | 2012-02-28 | Omnivision Technologies, Inc. | Color filter array pattern having four-channels |
US8253832B2 (en) * | 2009-06-09 | 2012-08-28 | Omnivision Technologies, Inc. | Interpolation for four-channel color filter array |
US8964103B2 (en) * | 2010-02-16 | 2015-02-24 | Blackberry Limited | Method and apparatus for reducing continuous autofocus power consumption |
US9118842B2 (en) * | 2010-09-16 | 2015-08-25 | Intellectual Ventures Fund 83 Llc | Producing focused videos from single captured video |
DE102011121928B4 (de) | 2011-08-01 | 2015-03-05 | Physik Instrumente (Pi) Gmbh & Co. Kg | Anordnung zum Betreiben eines dynamischen Nanofokussiersystems |
US9575221B2 (en) | 2013-12-31 | 2017-02-21 | Cognex Corporation | Systems and methods reduce temperature induced drift effects on a liquid lens |
US10690816B2 (en) | 2013-12-31 | 2020-06-23 | Cognex Corporation | Systems and methods reduce temperature induced drift effects on a liquid lens |
CN104301633B (zh) * | 2014-11-03 | 2016-01-20 | 苏州思源科安信息技术有限公司 | 移动终端可见光和生物识别组合光电成像***及移动终端 |
CN105120153B (zh) * | 2015-08-20 | 2018-01-19 | 广东欧珀移动通信有限公司 | 一种图像拍摄方法及装置 |
CN114584700B (zh) * | 2020-11-30 | 2024-04-05 | 京东方科技集团股份有限公司 | 对焦标记方法、标记装置以及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1713063A (zh) * | 2004-06-15 | 2005-12-28 | 佳能株式会社 | 自动调焦装置和包含该自动调焦装置的图像拾取装置 |
US20070071433A1 (en) * | 2005-09-26 | 2007-03-29 | Pentax Corporation | Camera with autofocus system |
EP1821128A1 (en) * | 2004-11-16 | 2007-08-22 | Citizen Holdings Co., Ltd. | Automatic focusing apparatus |
WO2008066699A2 (en) * | 2006-11-30 | 2008-06-05 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6020111A (ja) | 1983-07-14 | 1985-02-01 | Fuji Electric Corp Res & Dev Ltd | 距離測定装置 |
JP3943613B2 (ja) * | 1995-10-02 | 2007-07-11 | キヤノン株式会社 | 撮像装置及びレンズユニット |
JP3752510B2 (ja) | 1996-04-15 | 2006-03-08 | イーストマン コダック カンパニー | 画像の自動被写体検出方法 |
US6453124B2 (en) | 2000-03-27 | 2002-09-17 | Minolta Co., Ltd. | Digital camera |
JP3726630B2 (ja) * | 2000-03-27 | 2005-12-14 | コニカミノルタフォトイメージング株式会社 | デジタルスチルカメラ |
US6441855B1 (en) | 2000-05-09 | 2002-08-27 | Eastman Kodak Company | Focusing device |
JP4355847B2 (ja) * | 2000-09-04 | 2009-11-04 | 富士フイルム株式会社 | カメラの合焦情報表示装置及びその方法 |
JP3992992B2 (ja) | 2002-02-19 | 2007-10-17 | 株式会社リコー | 被写体像取得装置 |
JP4198449B2 (ja) | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
JP3823921B2 (ja) * | 2002-12-27 | 2006-09-20 | コニカミノルタフォトイメージング株式会社 | 撮像装置 |
JP4581417B2 (ja) * | 2004-01-16 | 2010-11-17 | ソニー株式会社 | オートフォーカス制御装置および方法、記録媒体、並びにプログラム |
JP4023457B2 (ja) * | 2004-03-02 | 2007-12-19 | ソニー株式会社 | オートフォーカス制御装置および方法、記録媒体、並びにプログラム |
IL174531A0 (en) | 2005-04-06 | 2006-08-20 | Given Imaging Ltd | System and method for performing capsule endoscopy diagnosis in remote sites |
US8430809B2 (en) | 2005-08-01 | 2013-04-30 | G. I View Ltd. | Capsule for use in small intestine |
WO2007051147A2 (en) | 2005-10-26 | 2007-05-03 | Capso Vision, Inc. | Onboard data storage and method |
JP2007150643A (ja) * | 2005-11-28 | 2007-06-14 | Sony Corp | 固体撮像素子、固体撮像素子の駆動方法および撮像装置 |
US7561789B2 (en) * | 2006-06-29 | 2009-07-14 | Eastman Kodak Company | Autofocusing still and video images |
JP2008051871A (ja) * | 2006-08-22 | 2008-03-06 | Nikon Corp | 自動焦点調節装置 |
US8095000B2 (en) * | 2007-02-15 | 2012-01-10 | Panasonic Corporation | Camera system |
US7676146B2 (en) * | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
US7729602B2 (en) * | 2007-03-09 | 2010-06-01 | Eastman Kodak Company | Camera using multiple lenses and image sensors operable in a default imaging mode |
DE102007017267A1 (de) | 2007-04-12 | 2008-10-16 | Siemens Ag | Verfahren zur Verbesserung der Rentabilität von Untersuchungen oder Behandlungen mit Endoskopiekapseln |
US7667169B2 (en) * | 2008-05-22 | 2010-02-23 | Omnivision Technologies, Inc. | Image sensor with simultaneous auto-focus and image preview |
-
2008
- 2008-10-14 US US12/250,589 patent/US8164682B2/en active Active
-
2009
- 2009-10-09 EP EP09740550.0A patent/EP2335404B1/en active Active
- 2009-10-09 CN CN200980139432.8A patent/CN102172013B/zh active Active
- 2009-10-09 JP JP2011532073A patent/JP5745416B2/ja active Active
- 2009-10-09 WO PCT/US2009/005533 patent/WO2010044831A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1713063A (zh) * | 2004-06-15 | 2005-12-28 | 佳能株式会社 | 自动调焦装置和包含该自动调焦装置的图像拾取装置 |
EP1821128A1 (en) * | 2004-11-16 | 2007-08-22 | Citizen Holdings Co., Ltd. | Automatic focusing apparatus |
US20070071433A1 (en) * | 2005-09-26 | 2007-03-29 | Pentax Corporation | Camera with autofocus system |
WO2008066699A2 (en) * | 2006-11-30 | 2008-06-05 | Eastman Kodak Company | Processing images having color and panchromatic pixels |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103297665A (zh) * | 2012-02-22 | 2013-09-11 | 庄佑华 | 图像采集*** |
CN103475818A (zh) * | 2013-09-03 | 2013-12-25 | 小米科技有限责任公司 | 一种拍摄方法、装置及终端设备 |
CN104717418A (zh) * | 2013-12-16 | 2015-06-17 | 腾讯科技(深圳)有限公司 | 对焦方法、装置及电子设备 |
CN103780840A (zh) * | 2014-01-21 | 2014-05-07 | 上海果壳电子有限公司 | 一种高品质成像的双摄像成像装置及其方法 |
CN103780840B (zh) * | 2014-01-21 | 2016-06-08 | 上海果壳电子有限公司 | 一种高品质成像的双摄像成像装置及其方法 |
CN103763477A (zh) * | 2014-02-21 | 2014-04-30 | 上海果壳电子有限公司 | 一种双摄像头拍后调焦成像装置和方法 |
CN103763477B (zh) * | 2014-02-21 | 2016-06-08 | 上海果壳电子有限公司 | 一种双摄像头拍后调焦成像装置和方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5745416B2 (ja) | 2015-07-08 |
US20100091169A1 (en) | 2010-04-15 |
EP2335404A1 (en) | 2011-06-22 |
EP2335404B1 (en) | 2016-10-05 |
US8164682B2 (en) | 2012-04-24 |
JP2012506066A (ja) | 2012-03-08 |
CN102172013B (zh) | 2014-09-10 |
WO2010044831A1 (en) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102172013B (zh) | 抖动焦点的评估 | |
US8730374B2 (en) | Focus detection apparatus | |
US7859588B2 (en) | Method and apparatus for operating a dual lens camera to augment an image | |
US7729602B2 (en) | Camera using multiple lenses and image sensors operable in a default imaging mode | |
US7676146B2 (en) | Camera using multiple lenses and image sensors to provide improved focusing capability | |
JP5183715B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5168798B2 (ja) | 焦点調節装置および撮像装置 | |
US7953318B2 (en) | Imaging apparatus and focusing method | |
US20080267601A1 (en) | Interchangeable lens type digital camera | |
US8184197B2 (en) | Focus detecting apparatus and image pick-up apparatus having the same | |
CN102169276A (zh) | 摄像装置和自动焦点调节方法 | |
US10187564B2 (en) | Focus adjustment apparatus, imaging apparatus, focus adjustment method, and recording medium storing a focus adjustment program thereon | |
US8059954B2 (en) | Single lens reflex camera comprising a focus detecting apparatus and method of photographing | |
CN103941522A (zh) | 焦点调节装置、照相机***及焦点调节装置的控制方法 | |
JP6014452B2 (ja) | 焦点検出装置及びそれを有するレンズ装置及び撮像装置 | |
JP2011053379A (ja) | 撮像装置及びその制御方法 | |
JP6175748B2 (ja) | 撮像装置 | |
CN105391934A (zh) | 焦点检测设备、其控制方法以及摄像装置 | |
JP2013097154A (ja) | 距離測定装置、撮像装置、距離測定方法 | |
JP6960755B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
CN103259974A (zh) | 进行特写拍摄的摄像装置及其控制方法 | |
US20230177711A1 (en) | Distance measurement apparatus, distance detection technique, and imaging apparatus | |
JPH11211974A (ja) | 撮像装置 | |
JP2020127202A (ja) | 撮像装置 | |
JP2004120582A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: American California Patentee after: OmniVision Technologies, Inc. Address before: American California Patentee before: Haowei Tech Co., Ltd. |