CN104811608B - 图像捕获装置及其图像缺陷校正方法 - Google Patents

图像捕获装置及其图像缺陷校正方法 Download PDF

Info

Publication number
CN104811608B
CN104811608B CN201510042311.9A CN201510042311A CN104811608B CN 104811608 B CN104811608 B CN 104811608B CN 201510042311 A CN201510042311 A CN 201510042311A CN 104811608 B CN104811608 B CN 104811608B
Authority
CN
China
Prior art keywords
image
camera lens
focusing
step number
focal distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510042311.9A
Other languages
English (en)
Other versions
CN104811608A (zh
Inventor
周宏隆
廖明俊
蔡庆隆
王煜智
罗梦麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Altek Semiconductor Corp
Original Assignee
Altek Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Altek Semiconductor Corp filed Critical Altek Semiconductor Corp
Publication of CN104811608A publication Critical patent/CN104811608A/zh
Application granted granted Critical
Publication of CN104811608B publication Critical patent/CN104811608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0015—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras characterised by the lens design
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像捕获装置及其图像缺陷校正方法，适用于具有第一镜头、第二镜头、对焦致动器以及预存第一对焦步数与对焦距离的对应关系的图像捕获装置，包括下列步骤。利用第一镜头以及第二镜头捕获多组图像，其中各所述组图像分别包括第一图像以及第二图像，所述组图像包括参考组图像。检测参考组图像是否发生图像缺陷。当检测到参考组图像发生图像缺陷时，根据各所述组图像所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系，其中各所述组图像所对应的对焦步数为对焦致动器移动第一镜头与第二镜头至对焦位置而产生各所述组图像所需的步数。

Description

图像捕获装置及其图像缺陷校正方法
技术领域
本发明是有关于一种图像捕获装置，且特别是有关于一种图像捕获装置及其图像缺陷校正方法。
背景技术
随着科技的发展，各式各样的智能图像捕获装置，例如平板型电脑、个人数字助理、及智能手机等，已成为现代人不可或缺的工具。其中，高级款的智能图像捕获装置所搭载的相机镜头已经与传统消费型相机不相上下，甚至可以取而代之，少数高级款还具有接近数字单眼的画素和画质或是拍摄三维图像的功能。
一般而言，图像捕获装置在执行自动对焦程序的过程可以是通过步进马达(Stepping Motor)、音圈马达(Voice Coil Motor，简称：VCM)等对焦致动器(focusingactuator)移动镜头的方式达到对焦。因此，此类图像捕获装置在出厂前可预先求得目标物的对焦距离与对焦致动器的移动步数(Step)的对应关系，汇整为一个对照表，并预存于图像捕获装置中。如此一来，当图像捕获装置在对目标物执行自动对焦程序时，可依据目标物的深度信息取得目标物的对焦距离，继而查询到对焦致动器所需移动的步数，并据此移动镜头。然而，一般在使用者实际地使用上述图像捕获装置时，图像捕获装置往往会由于不慎摔落、撞击、挤压、温度或湿度的变化等外在因素，而导致第一镜头、第二镜头以及对焦致动器产生变形或移位，进而使得图像捕获装置在对物体进行拍摄时，在进行对焦程序时产生误差。
发明内容
有鉴于此，本发明提供一种图像捕获装置及其图像缺陷校正方法，其可随时检测图像捕获装置的第一镜头、第二镜头以及对焦致动器是否产生变形或移位，并且随时对图像捕获装置进行校正，以确保图像捕获装置的稳定品质。
本发明提出一种图像捕获装置的图像缺陷校正方法，适用于具有第一镜头、第二镜头、对焦致动器以及预存第一对焦步数与对焦距离的对应关系的图像捕获装置，此图像缺陷校正方法包括下列步骤。首先，利用第一镜头以及第二镜头捕获多组图像，其中各所述组图像分别包括对应于第一镜头的第一图像以及对应于第二镜头的第二图像，所述组图像包括参考组图像，参考组图像包括对应于第一镜头的第一参考图像以及对应于第二镜头的第二参考图像。接着，检测参考组图像是否发生图像缺陷。当检测到参考组图像发生图像缺陷时，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系，其中各所述组图像中的对焦目标物所对应的对焦步数为对焦致动器移动第一镜头与第二镜头至对焦位置而产生各所述组图像所需的步数。
在本发明的一实施例中，上述检测参考组图像是否发生图像缺陷的步骤包括：检测参考组图像中的特征点分别在第一参考图像以及第二参考图像的图像坐标；判断特征点分别在第一参考图像与第二参考图像的图像坐标之间的偏移量是否超过一门槛值；若是，则判断参考组图像发生图像缺陷。
在本发明的一实施例中，上述检测参考组图像是否发生图像缺陷的步骤包括：针对第一参考图像与第二参考图像进行三维深度估测，以产生参考组图像中的参考对焦目标物的参考深度信息；根据参考深度信息取得参考对焦目标物所对应的对焦距离；判断参考对焦目标物所对应的对焦步数以及对焦距离是否符合第一对焦步数与对焦距离的对应关系；若否，则判断参考组图像发生图像缺陷。
在本发明的一实施例中，上述检测参考组图像是否发生图像缺陷的步骤包括：检测第一参考图像以及第二参考图像是否失焦；当第一参考图像以及第二参考图像当中至少一个失焦时，则判断参考组图像发生图像缺陷。
在本发明的一实施例中，当检测到参考组图像发生图像缺陷时，在根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系的步骤之前，上述的图像缺陷校正方法还包括下列步骤。检测该图像捕获装置的对焦条件，其中对焦条件包括远景对焦条件以及近景对焦条件。
在本发明的一实施例中，当检测到参考组图像发生图像缺陷并且上述对焦条件为远景对焦条件时，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系的步骤包括：记录各所述组图像中的对焦目标物所对应的对焦步数；当各所述组图像中的对焦目标物所对应的对焦步数达到收敛值时，取得第一对焦步数与对焦距离的对应关系中的最小对焦步数，并且计算最小对焦步数与收敛值的差值，据以校正该第一对焦步数与对焦距离的对应关系。
在本发明的一实施例中，而当检测到参考组图像发生图像缺陷并且上述对焦条件为近景对焦条件时，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系的步骤包括：针对各所述组图像进行三维深度估测，以产生各所述组图像中的对焦目标物的深度信息；根据各所述深度信息，取得各所述组图像中的对焦目标物所对应的对焦距离；根据各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数，进行回归运算，并且根据回归运算的结果，校正第一对焦步数与对焦距离的对应关系。
在本发明的一实施例中，上述根据各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数，进行回归运算的步骤包括：将各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数设定为多个数据点；依据所述对焦距离，将所述数据点分类成多个邻近数据群组；针对各所述邻近数据群组中的数据点进行加权平均运算，以产生对应于各所述邻近数据群组的加权平均数据点；以及针对所述加权平均数据点进行回归运算。
本发明另提出一种图像捕获装置，包括第一镜头、第二镜头、对焦致动器、储存单元以及一或多个处理单元，其中对焦致动器耦接第一镜头以及第二镜头，所述处理单元耦接第一镜头、第二镜头、对焦致动器以及储存单元。储存单元用以记录多个模块以及第一对焦步数与对焦距离的对应关系。所述处理单元用以存取并执行储存单元中记录的所述模块。所述模块包括图像捕获模块、对焦模块、缺陷检测模块以及校正模块。图像捕获模块利用第一镜头以及第二镜头捕获多组图像，其中各所述组图像分别包括对应于第一镜头的第一图像以及对应于第二镜头的第二图像，所述组图像包括参考组图像，参考组图像包括对应于第一镜头的第一参考图像以及对应于第二镜头的第二参考图像。对焦模块用以控制对焦致动器移动第一镜头与第二镜头至对焦位置。缺陷检测模块用以检测参考组图像是否发生图像缺陷。当缺陷检测模块检测到参考组图像发生图像缺陷时，校正模块根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系，其中各所述组图像中的对焦目标物所对应的对焦步数为对焦致动器移动第一镜头与第二镜头至对焦位置而产生各所述组图像所需的步数。
在本发明的一实施例中，上述的缺陷检测模块检测参考组图像中的特征点分别在第一参考图像以及第二参考图像的图像坐标，并且判断特征点分别在第一参考图像与第二参考图像的图像坐标之间的偏移量是否超过门槛值。若是，则缺陷检测模块判断参考组图像发生图像缺陷。
在本发明的一实施例中，上述的缺陷检测模块针对第一参考图像与第二参考图像进行三维深度估测，以产生参考组图像中的参考对焦目标物的参考深度信息，再根据参考深度信息取得参考对焦目标物所对应的对焦距离，并且判断参考对焦目标物所对应的对焦步数以及对焦距离是否符合第一对焦步数与对焦距离的对应关系。若否，则缺陷检测模块判断参考组图像发生图像缺陷。
在本发明的一实施例中，上述的缺陷检测模块检测第一参考图像以及第二参考图像是否失焦，当第一参考图像以及第二参考图像当中至少一个失焦时，则缺陷检测模块判断参考组图像发生图像缺陷。
在本发明的一实施例中，上述的图像捕获装置还包括条件检测模块，用以检测图像捕获装置的对焦条件，其中对焦条件包括远景对焦条件以及近景对焦条件。
在本发明的一实施例中，当上述的对焦条件为远景对焦条件时，校正模块记录各所述组图像中的对焦目标物所对应的对焦步数。而当各所述组图像中的对焦目标物所对应的对焦步数达到收敛值时，校正模块取得第一对焦步数与对焦距离的对应关系中的最小对焦步数，并且计算最小对焦步数与收敛值之间的差值，据以校正第一对焦步数与对焦距离的对应关系。
在本发明的一实施例中，当上述的对焦条件为近景对焦条件时，校正模块针对各所述组图像进行三维深度估测，以产生各所述组图像中的对焦目标物的深度信息，再根据各所述深度信息，取得各所述组图像中的对焦目标物所对应的对焦距离，又根据各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数，进行回归运算，以及根据回归运算的结果，校正第一对焦步数与对焦距离的对应关系。
在本发明的一实施例中，上述的还设定各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数为多个数据点，又依据所述对焦距离，将所述数据点分类成多个邻近数据群组，再针对各所述邻近数据群组中的所述数据点进行加权平均运算，以产生对应于各所述邻近数据群组的加权平均数据点，以及针对所述加权平均数据点进行回归运算。
本发明提出一种图像捕获装置的图像缺陷校正方法，适用于具有第一镜头、第二镜头、对焦致动器以及预存第一对焦步数与对焦距离的对应关系的图像捕获装置，此图像缺陷校正方法包括下列步骤。首先，利用第一镜头以及第二镜头捕获多组图像，其中各所述组图像分别包括对应于第一镜头的第一图像以及对应于第二镜头的第二图像，而其中捕获各所述组图像的步骤是利用对焦致动器移动第一镜头以及第二镜头以使各所述组图像中的对焦目标物具有最大清晰度。接着，根据各所述组图像的对焦目标物的深度信息取得对焦距离。之后，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系，其中各所述组图像中的对焦目标物所对应的对焦步数为对焦致动器移动第一镜头与第二镜头而产生各所述组图像所需的步数。
本发明另提出一种图像捕获装置，包括第一镜头、第二镜头、对焦致动器、储存单元以及一或多个处理单元，其中对焦致动器耦接第一镜头以及第二镜头，所述处理单元耦接第一镜头、第二镜头、对焦致动器以及储存单元。储存单元用以记录多个模块以及第一对焦步数与对焦距离的对应关系。所述处理单元用以存取并执行储存单元中记录的所述模块。所述模块包括图像捕获模块、对焦模块、缺陷检测模块以及校正模块。图像捕获模块利用第一镜头以及第二镜头捕获多组图像，其中各所述组图像分别包括对应于第一镜头的第一图像以及对应于第二镜头的第二图像。对焦模块用以控制对焦致动器移动第一镜头与第二镜头，以使图像捕获模块所捕获的各所述组图像中的对焦目标物具有最大清晰度。缺陷检测模块用以根据各所述组图像的对焦目标物的深度信息取得对焦距离。校正模块用以根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系，其中各所述组图像中的对焦目标物所对应的对焦步数为对焦致动器移动第一镜头与第二镜头而产生各所述组图像所需的步数。
基于上述，本发明所提出的图像捕获装置及其图像缺陷校正方法，在图像捕获装置的第一镜头、第二镜头以及对焦致动器有变形或移位的疑虑时，图像捕获模块可利用第一镜头以及第二镜头所捕获多组图像中的对焦目标物所对应的对焦距离以及对焦致动器将第一镜头以及第二镜头移动至对焦距离所需的对焦步数，来校正预存于图像捕获装置的第一对焦步数与对焦距离的对应关系。本发明所提出的图像捕获装置及其图像缺陷校正方法可在图像捕获模块捕获到多组图像时，即便在使用者无察觉的情况下，可自动对图像捕获装置进行简易且快速的校正，以确保图像捕获装置的稳定拍摄品质并且提升使用者经验(user experience)。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本发明一实施例所示出的图像捕获装置的方块图；
图2为根据本发明一实施例所示出的图像捕获装置的图像形变校正方法流程图；
图3为根据本发明一实施例所示出的图像捕获装置的图像形变校正方法流程图；
图4是根据本发明一实施例所示出的校正第一对焦步数与对焦距离的对应关系的示意图；
图5A～图5D是根据本发明一实施例所示出的校正第一视差与距离的对应关系的示意图；
图6为根据本发明一实施例所示出的图像捕获装置的图像失焦校正方法流程图；
图7为根据本发明一实施例所示出的图像捕获装置的图像缺陷校正方法流程图；
图8是根据本发明另一实施例所示出的图像捕获装置的方块图；
图9为根据本发明一实施例所示出的图像捕获装置的图像缺陷校正方法流程图。
附图标记说明：
100、800：图像捕获装置；
10a、80a：第一镜头；
10b、80b：第二镜头；
15、85：对焦致动器；
20、820：储存单元；
30、830：处理单元；
122、822：图像捕获模块；
124、824：对焦模块；
126、826：缺陷检测模块；
128、828：校正模块；
41、42、51、52、53：直线；
421、521～531、N1～N5：点；
S201～S205、S301～S317、S601～S605、S701～S705、S901～S905：步骤。
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的装置与方法的范例。
图1是根据本发明一实施例所示出的图像捕获装置的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍图像捕获装置的所有构件以及配置关系，详细功能将配合图2一并揭示。
请参照图1，图像捕获装置100包括第一镜头10a、第二镜头10b、对焦致动器15、储存单元20以及一或多个处理单元30。在本实施例中，图像捕获装置100例如是数码相机、单眼相机、数码摄影机或是其他具有图像捕获功能的智能手机、平板电脑、个人数字助理、平板电脑等、头戴显示器等装置，本发明不以此为限。
第一镜头10a以及第二镜头10b包括感光元件，用以分别感测进入第一镜头10a以及第二镜头10b的光线强度，进而分别产生第一图像以及第二图像。所述的感光元件例如是电荷耦合元件(Charge Coupled Device，简称：CCD)、互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，简称：CMOS)元件或其他元件，本发明不在此设限。
对焦致动器15耦接第一镜头10a以及第二镜头10b，其可以例如是步进马达(Stepping Motor)、音圈马达(Voice Coil Motor，简称：VCM)、压电致动器(PiezoActuator)或其它可机械式地移动第一镜头10a以及第二镜头10b达成对焦的致动器，本发明不在此设限。
储存单元20例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory，简称：RAM)、只读存储器(Read-Only Memory，简称：ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合。储存单元20用以记录可由处理单元30执行的多个模块，这些模块可载入处理单元30，以校正图像捕获装置100。
处理单元30可以例如是中央处理单元(Central Processing Unit，简称：CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，简称：DSP)、可编程控制器、专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)、可编程逻辑装置(Programmable LogicDevice，简称：PLD)或其他类似装置或这些装置的组合。处理单元30耦接第一镜头10a、第二镜头10b、对焦致动器15以及储存单元20，其可存取并执行记录在储存单元20中的模块，以校正图像捕获装置100。
上述模块包括图像捕获模块122、对焦模块124、缺陷检测模块126以及校正模块128，其可载入处理单元30，从而执行校正图像捕获装置100的功能。以下即列举实施例说明针对图像捕获装置100执行校正的详细步骤。
图2为根据本发明一实施例所示出的图像捕获装置的图像形变(imagedeformation)校正方法流程图，而图2的图像捕获装置的图像形变校正方法可以图1的图像捕获装置100的各元件实现。
请同时参照图1以及图2，首先，图像捕获模块122利用第一镜头10a以及第二镜头10b捕获多组图像，其中所述组图像包括参考组图像(步骤S201)。在此，第一镜头10a以及第二镜头10b例如是采用相同的参数捕获图像，而所述参数包括焦距、光圈、快门、白平衡等，本实施例并不设限。图像捕获模块122所捕获的多组图像例如是多组预览图像(previewimage)，各所述组图像分别包括对应于第一镜头10a的第一图像以及对应于第二镜头10b的第二图像。以下将针对多组图像中的其中一组图像进行说明，即为前述的“参考组图像”，而参考组图像包括对应于第一镜头10a的第一参考图像以及对应于第二镜头10b的第二参考图像。
接着，缺陷检测模块126将检测上述参考组图像是否发生图像形变(步骤S203)。在此，缺陷检测模块126可根据参考组图像的任一特征点的偏移量或是针对参考组图像进行三维深度估测来判断参考组图像是否发生图像形变，本发明不在此设限。
详言之，在一实施例中，缺陷检测模块126可根据现有的特征点检测的演算方法(feature detection algorithm)检测参考组图像的任一特征点后，并且判断此特征点分别在第一参考图像以及第二参考图像的偏移量(offset)是否超过上述门槛值，据以检测参考组图像是否发生图像形变。在本实施例中，缺陷检测模块126检测出特征点后，可判断此特征点分别在第一参考图像与第二参考图像的垂直偏移量(也即，Y轴坐标的差距)是否超过上述门槛值。当缺陷检测模块126判断参考组图像的特征点的偏移量没超过上述门槛值时，代表参考组图像并无发生图像形变，图像捕获装置100将结束图像形变校正方法的流程。反之，当缺陷检测模块126判断参考组图像的所述特征点的偏移量超过上述门槛值时，代表参考组图像发生图像形变，则图像捕获装置100将接续执行图像形变校正方法的流程。
以另一观点而言，由于图像捕获模块122在捕获参考组图像前，对焦模块124已利用自动对焦技术控制对焦制动器15移动第一镜头10a以及第二镜头10b至对焦位置，以变更第一镜头10a以及第二镜头10b与被摄物体之间的距离来取得具有最大清晰度的被摄物体图像，因此在此将参考组图像中具有最大清晰度的被摄物体定义为“参考对焦目标物”。在本实施例中，缺陷检测模块126可根据参考对焦目标物的深度信息来判断参考组图像是否发生图像形变。具体而言，缺陷检测模块126可通过立体视觉技术(stereo vision)将参考组图像处理，以求得参考对焦目标物在空间中的深度信息，并且依据深度信息取得参考对焦目标物的物距，也就是参考对焦目标物的对焦距离。
必须说明的是，越靠近图像捕获装置100的被摄物体，对焦致动器15所须移动第一镜头10a以及第二镜头10b至对焦位置所须的步数越多；越远离图像捕获装置100的被摄物体，对焦致动器15所须移动第一镜头10a以及第二镜头10b至对焦位置所须的步数越少，因此，被摄物体的对焦距离与对焦致动器15的移动步数存在着一个对应关系，在此定义为“第一对焦距离与对焦步数的对应关系”。储存单元20可预先储存第一对焦距离与对焦步数的对应关系汇整为一个查找表(look-up table，简称：LUT)，其中查找表的输入索引为对焦距离，而查找表的输出为对焦步数。然而，当第一镜头10a、第二镜头10b以及对焦致动器15产生变形或移位时，则预存于储存单元20的第一对焦距离与对焦步数的对应关系为不可靠。
因此，缺陷检测模块126可判断参考对焦目标物所对应的对焦步数以及对焦距离是否符合预存于储存单元20的第一对焦步数与对焦距离的对应关系。换言之，缺陷检测模块126可判断根据深度信息取得的对焦距离以及对焦模块124移动第一镜头10a以及第二镜头10b以获得参考组图像所需的步数是否符合第一对焦步数与对焦距离的对应关系。当缺陷检测模块126参考对焦目标物所对应的对焦步数以及对焦距离符合第一对焦步数与对焦距离的对应关系时，代表参考组图像并无发生图像形变，图像捕获装置100将结束图像形变校正方法的流程。反之，当缺陷检测模块126参考对焦目标物所对应的对焦步数以及对焦距离不符合第一对焦步数与对焦距离的对应关系时，代表参考组图像发生图像形变，则图像捕获装置100将接续执行图像形变校正方法的流程。
当缺陷检测模块126检测到参考组图像发生图像形变时，校正模块128根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系(步骤S205)，以完成校正流程。在此，校正模块128可利用不同对焦距离所捕获的图像来对第一对焦步数与对焦距离的对应关系进行校正。详尽的步骤将在后续段落中搭配实施例进行说明。
图3是根据本发明一实施例所示出的图像捕获装置的图像形变校正方法流程图。在本实施例中，图像捕获装置100还包括条件检测模块(未示出)，用以检测图像捕获装置100的对焦条件，据以利用不同方式对第一对焦步数与对焦距离的对应关系进行校正。
请同时参照图1以及图3，首先，图像捕获模块122利用第一镜头10a以及第二镜头10b捕获多组图像，其中所述组图像包括参考组图像(步骤S301)。接着，缺陷检测模块126将检测上述参考组图像是否发生图像形变(步骤S303)。步骤S301以及步骤S303可分别参照步骤S201以及步骤S203的相关说明，在此不再赘述。当缺陷检测模块126无检测到参考组图像发生图像形变时，图像捕获装置100将结束图像形变校正方法的流程。反之，当缺陷检测模块126检测到参考组图像发生图像形变时，条件检测模块检测图像捕获装置100的对焦条件(步骤S305)。在此的对焦条件包括远景对焦条件以及近景对焦条件。详言之，当图像捕获模块122利用第一镜头10a以及第二镜头10b取得例如是多组预览图像时，条件检测模块可检测图像捕获装置100所述组图像的内容为远景或是近景。在此的远景例如是室外景像(outdoor scene)，而近景例如是室内景像(indoor scene)。条件检测模块检测对焦条件的方式可以是检测环境光源的亮度值、利用模式识别演算方式(pattern recognition)来识别图像内容的场景、或是第一镜头10a以及第二镜头10b所采用的参数等多种方式，本发明不在此设限。
当条件检测模块判断对焦条件为远景对焦条件时，校正模块128将记录各所述组图像中的对焦目标物所对应的对焦步数(步骤S307)。详言之，由于图像捕获模块122捕获的各所述图像皆为远景对焦条件下所取得的图像，各所述图像中具有最大清晰度的被摄物体(在此定义为“对焦目标物”)位于相对于第一镜头10a以及第二镜头10b无限远(infinity)的位置。在本实施例中，此无限远的位置可以为相对于第一镜头10a以及第二镜头10b距离5公尺以上的位置。校正模块128将记录图像捕获模块122捕获对焦距离为无限远所须移动第一镜头10a以及第二镜头10b的步数。
当各所述组图像中的对焦目标物所对应的对焦步数达到一收敛值时，校正模块128将取得对焦步数与对焦距离的对应关系中的最小对焦步数(步骤S309)，并且计算最小对焦步数与收敛值的差值，据以校正第一对焦步数与对焦距离的对应关系(步骤S311)。详言之，在对焦距离范围内，对焦步数与对焦距离的对应关系呈负线性关系(negativelinear relationship)。当图像捕获模块122所捕获的各所述组远景图像所对应的对焦步数收敛(converge)至最小值时，此收敛值代表对焦致动器15在对位于无限远的对焦目标物进行对焦所需移动的步数。接着，校正模块128可取得第一对焦步数与对焦距离的对应关系中的最小对焦步数，并且根据最小对焦步数与收敛值之间的差值来校正第一对焦步数与对焦距离的对应关系。
举例来说，表1为图像捕获模块122在捕获十组远景图像对焦致动器15所需移动的步数：
表1
图像组别 1 2 3 4 5 6 7 8 9 10
对焦步数 308 310 300 303 307 301 303 300 301 300
在表1中，图像捕获单元122捕获的10组皆为远景图像，其所对应的对焦步数收敛于300，也就是说收敛值为300。校正模块128将利用此收敛值300来对第一对焦步数与对焦距离的对应关系进行校正。
图4是根据本发明一实施例所示出的校正对焦步数与对焦距离的对应关系的示意图。
请先参照图4，直线41为对焦距离范围为0.2公尺到5公尺的第一对焦步数与对焦距离的对应关系，其中对焦距离为0.2公尺所对应的对焦步数为600，对焦距离为5公尺所对应的对焦步数为200。换言之，在本实施例中，前述的最小对焦步数为200。在表1的范例中，由于图像捕获模块122在所捕获的所述组远景图像所对应的对焦步数收敛至300，则校正模块128可判断此为对焦距离为5公尺时所对应的对焦步数，其可以点421来表示。校正模块128可根据点421与直线41的最短距离来对第一对焦步数与对焦距离的对应关系进行校正。简言之，此最短距离也就是最小对焦步数与收敛值于Y轴方向的差值，而校正模块128将根据此差值对第一对焦步数与对焦距离的对应关系进行校正。
以图4为例，校正模块128会将直线41往Y轴正方向平移，使得直线41往上移动至与点421重叠，而直线41最终移动至的位置即为直线42所在之处，其中直线42即为新的对焦步数与对焦距离的对应关系。校正模块128则会将新的对焦步数与对焦距离的对应关系取代预存于储存单元20的第一对焦步数与对焦距离的对应关系，以完成校正程序。
当条件检测模块判断对焦条件为近景对焦条件时，校正模块128将针对各所述组图像进行三维深度估测，以产生各所述组图像中的对焦目标物的深度信息(步骤S313)，并且根据各所述深度信息，取得各所述组图像中的该对焦目标物所对应的对焦距离(步骤S315)。具体而言，校正模块128可通过立体视觉技术将各所述组图像进行处理，以求得各所述组图像中对焦目标物在空间中的深度信息，并且依据深度信息取得各所述组图像中对焦目标物的物距，也就是对焦目标物的对焦距离。
接着，校正模块128可根据各所述组图像中的对焦目标物所对应的对焦距离以及对焦步数，进行回归运算，并且根据回归运算的结果，校正对焦步数与对焦距离的对应关系(步骤S317)。换言之，校正模块128会将所收集到的多组对焦距离以及对焦步数进行回归分析(Regression Analysis)。在本实施例中，由于第一对焦步数与对焦距离的对应关系是呈负线性关系，因此校正模块128会利用线性回归模型(Linear Regression Model)，找出所述组对焦距离以及对焦步数的拟合回归线(Fitted Regression Line)，以取代第一对焦步数与对焦距离的对应关系。
举例来说，图5A以及图5B是根据本发明一实施例所示出的校正对焦步数与对焦距离的对应关系的示意图。请先参照图5A，直线51为对焦距离范围为0.2公尺到5公尺的对焦步数与对焦距离的对应关系，其中对焦距离为0.2公尺所对应的对焦步数为600，对焦距离为5公尺所对应的对焦步数为200。当图像捕获模块122捕获11组图像后，此11组图像的对焦距离与对焦步数可以点521～531来表示。在本实施例中，校正模块128可利用最小平方误差回归模型(Least Square Regression Model)来对点521～531进行回归分析。然而，在其它实施例中，校正模块128可利用其它线性回归模型来对点521～531进行回归分析，本发明不在此受限。校正模块128在利用针对点521～531进行回归分析后所计算出的拟合回归线为图5B的直线52，即代表新的对焦步数与对焦距离的对应关系。
在另一实施例中，假设所述组对焦距离以及对焦步数可定义为多个数据点。校正模块128在进行回归分析之前，可先依对焦距离来对邻近(neighboring)数据点进行数据分群，以将所述数据点分类成多个邻近数据群组。接着，校正模块128可针对各个邻近数据群组中的数据点进行加权平均运算(weighted average)，以产生对应于各个邻近数据群组的加权平均数据点。之后，校正模块128再针对所有的加权平均数据点进行回归分析，从而计算出拟合回归线。
举例来说，图5C以及图5D是根据本发明一实施例所示出的校正对焦步数与对焦距离的对应关系的示意图。请先参照图5C，在本实施例中，校正模块128在进行回归分析之前，可先依照对焦距离来对点521～531分为包括点521、点522～523、点524～525、点526～528以及点529～531的五个群组。请再参照图5D，校正模块128可针对五个群组中的数据点进行加权平均运算，以产生分属五个群组的加权平均数据点，即点N1～N5。校正模块128在利用针对点N1～N5进行回归分析后所计算出的拟合回归线为直线53，即代表新的对焦步数与对焦距离的对应关系。
之后，校正模块128则会将新的对焦步数与对焦距离的对应关系取代预存于储存单元20中的第一对焦步数与对焦距离的对应关系，以完成校正程序。
附带一提的是，在另一实施例中，当图像捕获单元122捕获的多组图像中包括远景对焦条件以及近景对焦条件下所取得的图像时，校正模块128可先根据近景对焦条件下所取得的图像，执行步骤S313～S317以对第一对焦步数与对焦距离的对应关系进行校正，再根据远景对焦条件下所取得的图像，执行步骤S307～S311以对新的对焦步数与对焦距离的对应关系再进行校正，使得整个校正结果更为精确。在另一实施例中，校正模块128也可先根据远景对焦条件下所取得的图像，执行步骤S307～S311以对第一对焦步数与对焦距离的对应关系进行校正，再根据近景对焦条件下所取得的图像，执行步骤S313～S317以对新的对焦步数与对焦距离的对应关系再进行校正。本发明不在此设限。
图3以及图4主要是针对图像形变进行校正。在另一实施例中，若是因例如是对焦致动器15本身所造成的变形或位移而造成图像失焦等情况时，可利用图6根据本发明一实施例所示出的图像捕获装置的图像失焦校正方法流程图来对图像捕获装置进行校正。在此，图6的图像失焦校正方法也适用于图1的图像捕获装置。
请同时参照图1以及图6，首先，图像捕获模块122利用第一镜头10a以及第二镜头10b捕获多组图像，其中所述组图像包括参考组图像(步骤S601)。步骤S601以及可参照步骤S201的相关说明，在此不再赘述。
接着，缺陷检测模块126将检测上述参考组图像是否发生图像失焦(步骤S603)。详言之，如同图2的实施例所述，由于图像捕获模块122在捕获参考组图像前，对焦模块124已利用自动对焦技术控制对焦制动器15移动第一镜头10a以及第二镜头10b至对焦位置，以变更第一镜头10a以及第二镜头10b与被摄物体之间的距离。然而，当对焦致动器15产生变形或位移时，储存单元20所预存的第一对焦距离与对焦步数的对应关系为不可靠，以致于图像捕获模块122所捕获的参考组图像会有模糊等对焦失败的状况。
据此，缺陷检测模块126可例如是判断参考组图像中的第一参考图像以及第二参考图像是否符合清晰条件，进而判断参考组图像为对焦或是失焦。在本实施例中，判断清晰条件的依据可以是利用代表图像的锐利度、对比度或是利用边缘检测(edge detection)的方式来取得图像清晰度信息，以快速取得图像的清晰度值，然而本发明不以此为限。缺陷检测模块126可判断第一参考图像以及第二参考图像的清晰度值是否大于预设清晰度值。当第一参考图像以及第二参考图像两者皆符合清晰条件时，代表参考组图像并无发生图像失焦，图像捕获装置100将结束图像失焦校正方法的流程。
当第一参考图像以及第二参考图像当中至少一个失焦时，则缺陷检测模块126将判断参考组图像发生图像失焦，校正模块128将根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系(步骤S605)，以完成校正流程。在此步骤S605校正第一对焦步数与对焦距离的对应关系的方式可参照图3的步骤S307～317的相关说明，在此不再赘述。
上述图2以及图6有关于图像形变以及图像失焦的方式也可整合于图7根据本发明一实施例所示出的图像捕获装置的图像缺陷校正方法的流程图。
请参照图7，首先，图像捕获模块122利用第一镜头10a以及第二镜头10b捕获多组图像，其中所述组图像包括参考组图像(步骤S701)。步骤S601以及可参照步骤S201的相关说明，在此不再赘述。
接着，缺陷检测模块126将检测上述参考组图像是否发生图像缺陷(步骤S703)。也就是说，缺陷检测模块126将判断上述参考组图像是否发生图像形变及/或图像失焦等因第一镜头10a、第二镜头10b以及对焦致动器15的变形或是移位而造成的图像缺陷。详细判断方式可依据图2以及图6的相关说明，在此不再赘述。
当第一参考图像以及第二参考图像当中至少一个失焦时，则缺陷检测模块126将判断参考组图像发生图像缺陷，校正模块128将根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系(步骤S705)，以完成校正流程。在此步骤S705校正第一对焦步数与对焦距离的对应关系的方式可参照图3的步骤S307～317的相关说明，在此不再赘述。
图8是根据本发明另一实施例所示出的图像捕获装置的方块图。
请参照图8，图像捕获装置800包括第一镜头80a、第二镜头80b、对焦致动器85、储存单元820以及一或多个处理单元830，其中第一镜头80a、第二镜头80b、对焦致动器85、储存单元820以及处理单元830的功能类似于图1中的第一镜头10a、第二镜头10b、对焦致动器15、储存单元20以及处理单元30，在此不再赘述。
在本实施例中，储存单元820储存图像捕获模块822、对焦模块824、缺陷检测模块826以及校正模块828。以下即列举实施例说明针对图像捕获装置800执行校正的详细步骤。
图9是根据本发明一实施例所示出的图像捕获装置的图像缺陷校正方法的流程图，而图9的图像捕获装置的图像缺陷校正方法可以图8的图像捕获装置800的各元件实现。
请同时参照图8以及图9，首先，图像捕获模块822利用第一镜头80a以及第二镜头80b捕获多组图像，其中各所述组图像分别包括对应于第一镜头80a的第一图像以及对应于第二镜头80b的第二图像，而图像捕获模块822捕获各所述组图像的步骤是通过对焦模块824利用对焦致动器85移动第一镜头80a以及第二镜头80b，以使各所述组图像中的对焦目标物具有最大清晰度(步骤S901)。接着，缺陷检测模块826根据各所述组图像的对焦目标物的深度信息取得对焦距离(步骤S903)。之后，校正模块828将根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正第一对焦步数与对焦距离的对应关系(步骤S905)，其中各所述组图像中的对焦目标物所对应的对焦步数为对焦致动器移动第一镜头与第二镜头而产生各所述组图像所需的步数。步骤S901中图像捕获模块822取得对焦目标物具有最大清晰度的对焦目标物的图像、步骤S903中缺陷检测模块826利用对焦目标物的深度信息取得对焦距离以及步骤S905中校正模块828校正第一对焦步数与对焦距离的对应关系的执行方式请参照前述图像捕获装置100的相关说明，在此不再赘述。
综上所述，本发明所提出的图像捕获装置及其图像缺陷校正方法，在图像捕获装置的第一镜头、第二镜头以及对焦致动器有变形或移位之疑虑时，图像捕获模块可利用第一镜头以及第二镜头所捕获多组图像中的对焦目标物所对应的对焦距离以及对焦致动器将第一镜头以及第二镜头移动至对焦距离所需的对焦步数，来校正预存于图像捕获装置的第一对焦步数与对焦距离的对应关系。本发明所提出的图像捕获装置及其图像缺陷校正方法可在图像捕获模块捕获到多组图像时，即便在使用者无察觉的情况下，可自动对图像捕获装置进行简易且快速的校正，以确保图像捕获装置的稳定拍摄品质并且提升使用者经验(user experience)。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (18)

1.一种图像捕获装置的图像缺陷校正方法，其特征在于，适用于具有第一镜头、第二镜头、对焦致动器以及预存第一对焦步数与对焦距离的对应关系的图像捕获装置，该图像缺陷校正方法包括：
利用该第一镜头以及该第二镜头捕获多组图像，其中各所述组图像分别包括对应于该第一镜头的第一图像以及对应于该第二镜头的第二图像，所述组图像包括参考组图像，该参考组图像包括对应于该第一镜头的第一参考图像以及对应于该第二镜头的第二参考图像；
检测该参考组图像是否发生图像缺陷；以及
当检测到该参考组图像发生该图像缺陷时，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系，其中各所述组图像中的该对焦目标物所对应的对焦步数为该对焦致动器移动该第一镜头与该第二镜头至对焦位置而产生各所述组图像所需的步数。
2.根据权利要求1所述的图像缺陷校正方法，其特征在于，检测该参考组图像是否发生该图像缺陷的步骤包括：
检测该参考组图像中的特征点分别在该第一参考图像以及该第二参考图像的图像坐标；
判断该特征点分别在该第一参考图像与该第二参考图像的图像坐标之间的偏移量是否超过门槛值；以及
若是，则判断该参考组图像发生该图像缺陷。
3.根据权利要求1所述的图像缺陷校正方法，其特征在于，检测该参考组图像是否发生该图像缺陷的步骤包括：
针对该第一参考图像与该第二参考图像进行三维深度估测，以产生该参考组图像中的参考对焦目标物的参考深度信息；
根据该参考深度信息取得该参考对焦目标物所对应的对焦距离；
判断该参考对焦目标物所对应的对焦步数以及对焦距离是否符合该第一对焦步数与对焦距离的对应关系；以及
若否，则判断该参考组图像发生该图像缺陷。
4.根据权利要求1所述的图像缺陷校正方法，其特征在于，检测该参考组图像是否发生该图像缺陷的步骤包括：
检测该第一参考图像以及该第二参考图像是否失焦；
当该第一参考图像以及该第二参考图像当中至少一个失焦时，则判断该参考组图像发生该图像缺陷。
5.根据权利要求1所述的图像缺陷校正方法，其特征在于，当检测到该参考组图像发生该图像缺陷时，根据各所述组图像中的该对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系的步骤之前，该图像缺陷校正方法还包括：
检测该图像捕获装置的对焦条件，其中该对焦条件包括远景对焦条件以及近景对焦条件。
6.根据权利要求5所述的图像缺陷校正方法，其特征在于，该对焦条件为该远景对焦条件，当检测到该参考组图像发生该图像缺陷时，根据各所述组图像中的该对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系的步骤包括：
记录各所述组图像中的该对焦目标物所对应的对焦步数；以及
当各所述组图像中的该对焦目标物所对应的对焦步数达到收敛值时，取得该第一对焦步数与对焦距离的对应关系中的最小对焦步数，并且计算该最小对焦步数与该收敛值的差值，据以校正该第一对焦步数与对焦距离的对应关系。
7.根据权利要求5所述的图像缺陷校正方法，其特征在于，该对焦条件为该近景对焦条件，当检测到该参考组图像发生该图像缺陷时，根据各所述组图像中的该对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系的步骤包括：
针对各所述组图像进行三维深度估测，以产生各所述组图像中的该对焦目标物的深度信息；
根据各所述深度信息，取得各所述组图像中的该对焦目标物所对应的对焦距离；以及
根据各所述组图像中的该对焦目标物所对应的对焦距离以及对焦步数，进行回归运算，并且根据该回归运算的结果，校正该第一对焦步数与对焦距离的对应关系。
8.根据权利要求7所述的图像缺陷校正方法，其特征在于，根据各所述组图像中的该对焦目标物所对应的对焦距离以及对焦步数，进行该回归运算的步骤还包括：
设定各所述组图像中的该对焦目标物所对应的对焦距离以及对焦步数为多个数据点；
依据所述对焦距离，将所述数据点分类成多个邻近数据群组；
分别针对各所述邻近数据群组中的所述数据点进行加权平均运算，以产生对应于各所述邻近数据群组的加权平均数据点；以及
针对所述加权平均数据点进行该回归运算。
9.一种图像捕获装置，其特征在于，包括：
第一镜头；
第二镜头；
对焦致动器，耦接至该第一镜头以及该第二镜头；
储存单元，记录多个模块以及第一对焦步数与对焦距离的对应关系；以及
一或多个处理单元，耦接该第一镜头、该第二镜头、该对焦致动器以及该储存单元，以存取并执行该储存单元中记录的所述模块，所述模块包括：
图像捕获模块，利用该第一镜头以及该第二镜头捕获多组图像，其中各所述组图像分别包括对应于该第一镜头的第一图像以及对应于该第二镜头的第二图像，所述组图像包括参考组图像，该参考组图像包括对应于该第一镜头的第一参考图像以及对应于该第二镜头的第二参考图像；
对焦模块，控制该对焦致动器移动该第一镜头与该第二镜头至对焦位置；
缺陷检测模块，检测该参考组图像是否发生图像缺陷；以及
校正模块，当检测到该参考组图像发生该图像缺陷时，根据各所述组图像中的对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系，其中各所述组图像中的该对焦目标物所对应的对焦步数为该对焦致动器移动该第一镜头与该第二镜头至对焦位置而产生各所述组图像所需的步数。
10.根据权利要求9所述的图像捕获装置，其特征在于，该缺陷检测模块检测该参考组图像中的特征点分别在该第一参考图像以及该第二参考图像的图像坐标，并且判断该特征点分别在该第一参考图像与该第二参考图像的图像坐标之间的偏移量是否超过门槛值，若是，则该缺陷检测模块判断该参考组图像发生该图像缺陷。
11.根据权利要求9所述的图像捕获装置，其特征在于，该缺陷检测模块针对该第一参考图像与该第二参考图像进行三维深度估测，以产生该参考组图像中的参考对焦目标物的参考深度信息，再根据该参考深度信息取得该参考对焦目标物所对应的对焦距离，并且判断该参考对焦目标物所对应的对焦步数以及对焦距离是否符合该第一对焦步数与对焦距离的对应关系，若否，则该缺陷检测模块判断该参考组图像发生该图像缺陷。
12.根据权利要求9所述的图像捕获装置，其特征在于，该缺陷检测模块检测该第一参考图像以及该第二参考图像是否失焦，当该第一参考图像以及该第二参考图像当中至少一个失焦时，则该缺陷检测模块判断该参考组图像发生该图像缺陷。
13.根据权利要求9所述的图像捕获装置，其特征在于，还包括：
条件检测模块，检测该图像捕获装置的对焦条件，其中该对焦条件包括远景对焦条件以及近景对焦条件。
14.根据权利要求13所述的图像捕获装置，其特征在于，该对焦条件为该远景对焦条件，其中该校正模块记录各所述组图像中的该对焦目标物所对应的对焦步数，而当各所述组图像中的该对焦目标物所对应的对焦步数达到收敛值时，该校正模块取得该第一对焦步数与对焦距离的对应关系中的最小对焦步数，并且计算该最小对焦步数与该收敛值的差值，据以校正该第一对焦步数与对焦距离的对应关系。
15.根据权利要求13所述的图像捕获装置，其特征在于，该对焦条件为该近景对焦条件，该校正模块针对各所述组图像进行三维深度估测，以产生各所述组图像中的该对焦目标物的深度信息，再根据各所述深度信息，取得各所述组图像中的该对焦目标物所对应的对焦距离，又根据各所述组图像中的该对焦目标物所对应的对焦距离以及对焦步数，进行回归运算，以及根据该回归运算的结果，校正该第一对焦步数与对焦距离的对应关系。
16.根据权利要求15所述的图像捕获装置，其特征在于，该校正模块还设定各所述组图像中的该对焦目标物所对应的对焦距离以及对焦步数为多个数据点，又依据所述对焦距离，将所述数据点分类成多个邻近数据群组，再分别针对各所述邻近数据群组中的所述数据点进行加权平均运算，以产生对应于各所述邻近数据群组的加权平均数据点，以及针对所述加权平均数据点进行该回归运算。
17.一种图像捕获装置的图像缺陷校正方法，其特征在于，适用于具有第一镜头、第二镜头、对焦致动器以及预存第一对焦步数与对焦距离的对应关系的图像捕获装置，该图像缺陷校正方法包括：
利用该第一镜头以及该第二镜头捕获多组图像，其中各所述组图像分别包括对应于该第一镜头的第一图像以及对应于该第二镜头的第二图像，其中捕获各所述组图像的步骤是利用该对焦致动器移动该第一镜头以及该第二镜头以使各所述组图像中的对焦目标物具有最大清晰度；
根据各所述组图像的该对焦目标物的深度信息取得对焦距离；以及
根据各所述组图像中的该对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系，其中各所述组图像中的该对焦目标物所对应的对焦步数为该对焦致动器移动该第一镜头与该第二镜头产生各所述组图像所需的步数。
18.一种图像捕获装置，其特征在于，包括：
第一镜头；
第二镜头；
对焦致动器，耦接至该第一镜头以及该第二镜头；
储存单元，记录多个模块以及第一对焦步数与对焦距离的对应关系；以及
一或多个处理单元，耦接该第一镜头、该第二镜头、该对焦致动器以及该储存单元，以存取并执行该储存单元中记录的所述模块，所述模块包括：
图像捕获模块，利用该第一镜头以及该第二镜头捕获多组图像，其中各所述组图像分别包括对应于该第一镜头的第一图像以及对应于该第二镜头的第二图像；
对焦模块，控制该对焦致动器移动该第一镜头与该第二镜头，以使该图像捕获模块所捕获的各所述组图像中的对焦目标物具有最大清晰度；
缺陷检测模块，根据各所述组图像的该对焦目标物的深度信息取得对焦距离；以及
校正模块，根据各所述组图像中的该对焦目标物所对应的对焦步数以及对焦距离，校正该第一对焦步数与对焦距离的对应关系，其中各所述组图像中的该对焦目标物所对应的对焦步数为该对焦致动器移动该第一镜头与该第二镜头而产生各所述组图像所需的步数。
CN201510042311.9A 2014-01-28 2015-01-28 图像捕获装置及其图像缺陷校正方法 Active CN104811608B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW103103261 2014-01-28
TW103103261A TWI494680B (zh) 2014-01-28 2014-01-28 影像擷取裝置及其影像形變校正方法

Publications (2)

Publication Number Publication Date
CN104811608A CN104811608A (zh) 2015-07-29
CN104811608B true CN104811608B (zh) 2018-03-13

Family

ID=53680331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510042311.9A Active CN104811608B (zh) 2014-01-28 2015-01-28 图像捕获装置及其图像缺陷校正方法

Country Status (3)

Country Link
US (2) US9693041B2 (zh)
CN (1) CN104811608B (zh)
TW (1) TWI494680B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052161B2 (en) * 2005-12-19 2015-06-09 Raydon Corporation Perspective tracking system
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
DE102015215845B4 (de) 2015-08-19 2017-06-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit kanalindividueller Einstellbarkeit
CN105657279A (zh) * 2016-02-29 2016-06-08 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
CN106651870B (zh) * 2016-11-17 2020-03-24 山东大学 多视角三维重建中图像失焦模糊区域的分割方法
CN106990669B (zh) * 2016-11-24 2019-07-26 深圳市圆周率软件科技有限责任公司 一种全景相机量产方法及***
CN107515104A (zh) * 2017-09-19 2017-12-26 华勤通讯技术有限公司 像质测量装置、***及方法
KR102537784B1 (ko) * 2018-08-17 2023-05-30 삼성전자주식회사 전자 장치 및 그 제어 방법
US11393125B1 (en) 2019-12-09 2022-07-19 Gopro, Inc. Systems and methods for dynamic optical medium calibration
CN111784685B (zh) * 2020-07-17 2023-08-18 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN114815121A (zh) * 2022-02-22 2022-07-29 湖北三赢兴光电科技股份有限公司 一种摄像模组的快速调焦方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241223A (zh) * 2008-01-28 2008-08-13 瑞声光电科技(常州)有限公司 一种自动对焦的方法
CN102131049A (zh) * 2010-01-20 2011-07-20 华晶科技股份有限公司 图像撷取装置的人脸对焦方法
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577216B2 (en) * 2008-02-13 2013-11-05 Qualcomm Incorporated Auto-focus calibration for image capture device
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5198530B2 (ja) * 2010-09-28 2013-05-15 株式会社東芝 音声付き動画像呈示装置、方法およびプログラム
US8525918B2 (en) * 2011-04-20 2013-09-03 Htc Corporation Portable electronic devices and auto-focus control methods for cameras therein
JP5901423B2 (ja) * 2012-05-18 2016-04-13 キヤノン株式会社 レンズ装置、撮像システム、および、レンズ装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101241223A (zh) * 2008-01-28 2008-08-13 瑞声光电科技(常州)有限公司 一种自动对焦的方法
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
CN102131049A (zh) * 2010-01-20 2011-07-20 华晶科技股份有限公司 图像撷取装置的人脸对焦方法

Also Published As

Publication number Publication date
TW201530243A (zh) 2015-08-01
US9693041B2 (en) 2017-06-27
US20150215615A1 (en) 2015-07-30
CN104811608A (zh) 2015-07-29
TWI494680B (zh) 2015-08-01
US20150215607A1 (en) 2015-07-30
US9706189B2 (en) 2017-07-11

Similar Documents

Publication Publication Date Title
CN104811608B (zh) 图像捕获装置及其图像缺陷校正方法
KR101172629B1 (ko) 영상 처리 방법 및 이를 위한 장치
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
TWI511081B (zh) 影像擷取裝置及其影像形變校正方法
CN105657237B (zh) 图像获取装置及其数字变焦方法
JP5548310B2 (ja) 撮像装置、撮像装置を備える撮像システム、及び撮像方法
KR102118173B1 (ko) 왜곡계수 추정을 통한 영상 보정 시스템 및 방법
JP2008170981A (ja) レンズ光学系の偏芯調整方法及び装置並びにプログラム
JP2013517460A (ja) 複数の焦点面を用いた細胞特性決定
JP6429444B2 (ja) 画像処理装置、撮像装置及び画像処理方法
CN105205806B (zh) 一种基于机器视觉的精度补偿方法
Han et al. A novel training based auto-focus for mobile-phone cameras
CN104205800B (zh) 摄像设备
CN106888344B (zh) 摄像模组及其像面倾斜的获取方法和调整方法
CN112653835B (zh) 聚焦状态的判断方法、装置及存储介质
JP5375531B2 (ja) 距離画像取得装置及び距離画像取得処理方法
CN104811604B (zh) 图像获取装置及其图像形变校正方法
US9116854B2 (en) Method of evaluating image correlation with speckle patter
JP6642998B2 (ja) 像ズレ量算出装置、撮像装置、および像ズレ量算出方法
JP2015207090A (ja) 画像処理装置、及びその制御方法
CN104811688B (zh) 图像获取装置及其图像形变检测方法
JP6304964B2 (ja) 情報処理装置及びその制御方法、及び、システム
CN104811680A (zh) 图像获取装置及其图像形变校正方法
CN113920065B (zh) 用于工业现场的视觉检测***成像质量评价方法
US11631194B2 (en) Image processing apparatus that performs recognition processing, control method thereof, and storage medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant