CN113366383A - 摄像头装置及其自动聚焦方法 - Google Patents

摄像头装置及其自动聚焦方法 Download PDF

Info

Publication number
CN113366383A
CN113366383A CN202080010426.9A CN202080010426A CN113366383A CN 113366383 A CN113366383 A CN 113366383A CN 202080010426 A CN202080010426 A CN 202080010426A CN 113366383 A CN113366383 A CN 113366383A
Authority
CN
China
Prior art keywords
camera
tof
image
distance
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080010426.9A
Other languages
English (en)
Other versions
CN113366383B (zh
Inventor
朴贞娥
赵成崙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Innotek Co Ltd
Original Assignee
LG Innotek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Innotek Co Ltd filed Critical LG Innotek Co Ltd
Publication of CN113366383A publication Critical patent/CN113366383A/zh
Application granted granted Critical
Publication of CN113366383B publication Critical patent/CN113366383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

根据本发明实施例的摄像头装置的自动聚焦方法包括以下步骤：通过使用ToF摄像头提取物体的距离信息；通过使用根据距离信息的自动聚焦信息来执行RGB摄像头的自动聚焦，其中，ToF摄像头包括向物体输出光的照明单元和接收关于从物体反射的光的信息的传感器单元，传感器单元基于光的输出接收关于以多个相位从物体反射的光的多条信息，并且ToF摄像头通过使用多条信息提取距离信息。

Description

摄像头装置及其自动聚焦方法
技术领域
本发明涉及一种红绿蓝(RGB)摄像头的自动聚焦方法。
背景技术
随着移动终端中安装的摄像头模块的发展，在移动终端中的摄像头模块中需要自动聚焦功能。
自动聚焦(AF)的典型示例包括相位AF和对比度AF。相位AF在将入射光分成两条光线并比较强度和波型的方法中执行，并且需要能够执行这种功能的特殊传感器，因此存在传感器的自由度降低的问题。对比度AF被执行为利用相邻像素之间的亮度差异随着透镜聚焦而增加的现象在前后移动透镜的同时进行测量的方法，为此，应该执行复杂的软件算法，计算量大，具有时间延迟，电池消耗大。
因此，需要一种在短时间内通过简单计算执行自动聚焦的方法。
发明内容
技术问题
本发明旨在提供一种能够在短时间内执行自动聚焦的方法。
技术方案
本发明的一个方面提供一种摄像头装置的自动聚焦的方法，包括：通过飞行时间(ToF)摄像头提取物体的距离信息；以及通过使用根据距离信息的自动聚焦信息来执行红绿蓝(RGB)摄像头的自动聚焦，其中ToF摄像头包括向物体输出光的照明单元和接收关于被物体反射的光的信息的传感器单元，传感器单元基于光的输出接收关于被物体反射的具有多个相位的光的多条信息，并且ToF摄像头使用该多条信息提取距离信息。
根据距离信息的自动聚焦信息可以包括针对每个距离的致动器控制值和透镜的移动距离中的至少一个。
自动聚焦的执行可以包括：将距离信息代入根据距离信息的自动聚焦信息的相关性中；从根据距离信息的自动聚焦信息的相关性中提取透镜的移动距离；以及使RGB摄像头的自动聚焦光学***移动提取的透镜的移动距离。
可以使用由使用多个自动聚焦校准数据估计的RGB摄像头的自动聚焦光学***的特征值组成的函数来计算自动聚焦信息。
多个自动聚焦校准数据可以包括针对物体距离和致动器控制值的第一坐标值以及针对物体距离和致动器控制值的第二坐标值。
RGB摄像头的自动聚焦光学***的特征值可以包括RGB摄像头的自动聚焦光学***的透镜的特征值以及用于使RGB摄像头的自动聚焦光学***的透镜移动的致动器的特征值。
RGB摄像头的自动聚焦光学***的透镜的特征值可以包括有效焦距，并且用于使RGB摄像头的自动聚焦光学***的透镜移动的致动器的特征值可以包括相对于致动器控制值的变化量的透镜的移动距离的变化量。
根据距离信息的自动聚焦信息的相关性可以被预先存储在摄像头装置中。
本发明的另一方面提供一种摄像头装置，包括：拍摄RGB图像的RGB摄像头；拍摄ToF图像的ToF摄像头；以及使用被ToF摄像头拍摄的ToF图像中的特定区域的距离信息和根据物体的距离信息的自动聚焦信息的相关性执行RGB摄像头的自动聚焦的控制单元。
根据物体的距离信息的自动聚焦信息可以包括针对每个距离的致动器控制值和透镜的移动距离中的至少一个。
控制单元可以将特定区域的距离信息代入根据物体的距离信息的自动聚焦信息的相关性中，从根据物体的距离信息的自动聚焦信息的相关性中提取透镜的移动距离，并且使RGB摄像头的自动聚焦光学***移动提取的透镜的移动距离。
可以使用由使用多个自动聚焦校准数据估计的RGB摄像头的自动聚焦光学***的特征值组成的函数来计算自动聚焦信息。
多个自动聚焦校准数据可以包括针对物体距离和致动器控制值的第一坐标值以及针对物体距离和致动器控制值的第二坐标值。
RGB摄像头的自动聚焦光学***的特征值可以包括RGB摄像头的自动聚焦光学***的透镜的特征值以及用于使RGB摄像头的自动聚焦光学***的透镜移动的致动器的特征值。
RGB摄像头的自动聚焦光学***的透镜的特征值可以包括透镜的有效焦距，用于使RGB摄像头的自动聚焦光学***的透镜移动的致动器的特征值可以包括相对于致动器控制值的变化量的透镜的移动距离的变化量。
摄像头装置可以进一步包括数据存储单元，数据存储单元预先存储根据物体的距离信息的自动聚焦信息的相关性。
有益效果
根据本发明的一个实施例，可以在短时间内执行红绿蓝(RGB)摄像头的自动聚焦，并且由于计算量小，可以减少电池消耗。根据本发明方法的一个实施例的自动聚焦方法不仅可以应用于直接移动透镜的方法，还可以应用于使用数字处理的方法。
附图说明
图1是示出根据本发明一个实施例的摄像头装置的框图。
图2是示出根据本发明的一个实施例的飞行时间(ToF)摄像头的框图。
图3是用于描述根据本发明的一个实施例的ToF摄像头的输出光信号的频率的视图。
图4是用于描述根据本发明的一个实施例的产生电信号的过程的视图。
图5是用于描述根据本发明的一个实施例的ToF摄像头的图像传感器的视图。
图6是示出通过根据本发明的一个实施例的ToF摄像头获得的四个相位图像的视图。
图7是示出从图6的相位图像中获得的ToF IR图像的视图。
图8示出了示出从图6的相位图像中获得的深度图像的视图。
图9示出了根据本发明的一个实施例的红绿蓝(RGB)摄像头中包括的自动聚焦光学***的视图。
图10是根据本发明的一个实施例的摄像头装置的自动聚焦方法的流程图。
图11是图10的操作S1200的一个示例的流程图。
图12是根据本发明的一个实施例的摄像头装置中预先存储的根据物体的距离信息的自动聚焦信息的相关性的一个示例。
图13(a)和图13(b)是根据本发明一个实施例的自动聚焦图像的示例。
图14是示出物体、自动聚焦透镜和图像传感器之间的相对位置的视图。
图15是示出透镜位置、透镜移动距离和致动器控制值之间的相关性的图。
图16是根据透镜的特征值绘制的一个示例图的视图。
图17是从图16获得的相关性匹配表的一个示例的视图。
图18是示出根据本发明的另一实施例的摄像头装置中包括的图像处理单元的框图。
图19和图20是用于描述ToF摄像头和RGB摄像头之间的校准方法的视图。
图21是示出基于RGB图像映射ToF图像的结果的图。
图22是示出根据本发明的一个实施例的摄像头装置的图像处理方法的方法的流程图。
图23至图24是用于描述从第一RGB特征点和第一ToF特征点中提取第二RGB特征点和第二ToF特征点的方法的视图。
具体实施方式
在下文中，将参照附图详细描述本发明的示例性实施例。
然而，本发明的技术精神不限于将描述的一些实施例并且可以使用各种其他实施例来实现，并且实施例的至少一个部件可以在技术精神的范围内选择性地结合、替换和使用。
此外，除非上下文另有明确定义，否则本文中使用的所有术语(包括技术术语和科学术语)都可以解释为具有对于本领域技术人员而言通常的含义，并且将考虑相关技术的上下文含义来解释通用的术语(例如通用的字典中定义的术语)的含义。
此外，本发明的实施例中使用的术语被认为是描述性的，并不用于限制本发明。
在本说明书中，除非上下文另有明确说明，否则单数形式包括其复数形式，并且在描述“A、B和C中的至少一个(或一个或多个)”的情况下，其可以包括A、B和C的所有可能组合中的至少一种组合。
另外，在本发明的部件的说明中，可以使用诸如“第一”、“第二”、“A”、“B”、“(a)”、“(b)”的术语。
这些术语仅用于将一个元件与另一个元件区分开，元件的本质、顺序等不受这些术语限制。
另外，应当理解，当一个元件被称为“连接或耦接”到另一个元件时，这样的描述可以包括该元件直接连接或耦接到另一个元件的情况以及该元件连接或耦接到另一个元件并且在它们之间设置有又一个元件的情况。
此外，在任何一个元件被描述为形成或设置在另一个元件“之上或之下”的情况下，这样的描述包括两个元件形成或设置为彼此直接接触的情况以及一个或多个其他元件设置在两个元件之间的情况。此外，当一个元件被描述为设置在另一个元件“之上或之下”时，这样的描述可以包括一个元件相对于另一个元件设置在上侧或下侧的情况。
图1是示出根据本发明的一个实施例的摄像头装置的框图，图2是示出根据本发明的一个实施例的飞行时间(ToF)摄像头的框图，图3是用于描述根据本发明的一个实施例的ToF摄像头的输出光信号的频率的视图，图4是用于描述根据本发明的一个实施例的产生电信号的过程的视图，图5是用于描述根据本发明的一个实施例的ToF摄像头的图像传感器的视图，图6是示出通过根据本发明的一实施例的ToF摄像头获得的四个相位图像的视图，图7是示出从图6的相位图像中获得的ToF IR图像的视图，图8示出了示出从图6的相位图像获得的深度图像的视图。
参照图1，根据本发明的一个实施例的摄像头装置10包括ToF摄像头100、红绿蓝(RGB)摄像头200和控制单元300。
ToF摄像头100是能够获得深度信息的装置之一，并且根据ToF方法，测量飞行时间，即光发射、反射和返回的时间，以计算到物体的距离。
RGB摄像头200可以是能够拍摄RBG图像的通用摄像头。
ToF摄像头100和RGB摄像头200可以设置在一个装置中，例如设置在一个移动设备中以拍摄相同区域的图像。
此外，控制单元300可以连接到ToF摄像头100和RGB摄像头200，并且将从ToF摄像头100获得的ToF图像和从RGB摄像头200获得的RGB图像合成以获得三维图像。
这里，控制单元300被示出为与摄像头装置10中的ToF摄像头100和RGB摄像头200相邻设置，但不限于此，并且可以与ToF摄像头100和RGB摄像头200分开设置。可替代地，控制单元300的一些功能可以被包括在ToF摄像头100和RGB摄像头200中。
参考图2，ToF摄像头100包括照明单元110、透镜单元120、图像传感器单元130和图像控制单元140。
照明单元110产生输出光信号并将输出光信号发射到物体。在这种情况下，照明单元110可以产生脉冲波或连续波形式的输出光信号。连续波可以具有正弦波或方波的形式。由于以脉冲波或连续波的形式产生输出光信号，因此ToF摄像头100可以检测从照明单元110输出的输出光信号与被物体反射并输入到ToF摄像头100的输入光信号之间的相位差。在本说明书中，输出光可以表示从照明单元110输出并入射到物体上的光，并且输入光可以表示从照明单元110输出、到达物体、被物体反射并被输入到ToF摄像头100的光。从物体的角度来看，输出光可以是入射光，输入光可以是反射光。
照明单元110以预定的积分时间将产生的输出光信号发射到物体。在这种情况下，积分时间是指一帧周期。在生成多个帧的情况下，重复预设的积分时间。例如，在ToF摄像头模块100以20FPS拍摄物体的图像的情况下，积分时间是1/20[秒]。另外，在产生100帧的情况下，积分时间可以重复100次。
照明单元110可以产生具有不同频率的多个输出光信号。照明单元110可以依次地并且重复地产生具有不同频率的多个输出光信号。可替代地，照明单元110也可以同时产生具有不同频率的多个输出光信号。
参考图3，照明单元110可以被控制以在积分时间的前一半产生具有频率f1的输出光信号并且在积分时间的剩余一半产生具有频率f2的输出光信号。
根据另一实施例，照明单元110还可以控制多个发光二极管(LED)中的一些LED以产生具有频率f1的输出光信号，并控制其余的LED以产生具有频率f2的输出光信号。
为此，照明单元110可以包括被配置为产生光的光源112和被配置为调制光的光调制器114。
首先，光源112产生光。由光源112产生的光可以是具有770nm至3000nm波长的红外光，也可以是具有380nm至770nm的波长的可见光。LED可以用于形成光源112，并且光源112可以具有多个LED以预定图案排列的形式。此外，光源112还可以包括有机发光二极管(OLED)或激光二极管(LD)。可替代地，光源112也可以是垂直腔面发射激光器(VCSEL：Vertical Cavity Surface Emitting Laser)。VCSEL是被配置为将电信号转换为光信号的LD之一并且可以使用约800nm至1000nm，例如约850nm或940nm的波长。
光源112以预定时间间隔重复地开启和关闭以产生具有脉冲波或连续波形式的输出光信号。预定时间间隔可以是输出光信号的频率。光源的开启和关闭可以由光调制器114控制。
光调制器114控制光源112的开启和关闭以控制光源112产生连续波或脉冲波形式的输出光信号。光调制器114可以通过频率调制、脉冲调制等来控制光源112产生连续波或脉冲波形式的输出光信号。
同时，透镜单元120聚集被物体反射的输入光信号并将输入光信号传输到图像传感器单元130。
再次参照图2，图像传感器单元130使用通过透镜单元120聚集的输入光信号产生电信号。
图像传感器单元130可以与照明单元110的开启和关闭周期同步以接收输入光信号。具体地，图像传感器单元130可以接收从照明单元110输出的输出光信号的同相和异相光。也就是说，图像传感器单元130可以重复执行在光源开启时接收入射光信号的操作和在光源关闭时接收入射光信号的操作。
接下来，图像传感器单元130可以使用具有不同相位差的基准信号产生与多个基准信号相对应的电信号。基准信号的频率可以被设定为与从照明单元110输出的输出光信号的频率相同。因此，在照明单元110产生具有多个频率的输出光信号的情况下，图像传感器单元130使用与频率相对应的多个基准信号产生电信号。每个电信号可以包括关于与基准信号相对应的电荷量或电压的信息。
如图4所示，根据本发明实施例的基准信号可以是四个基准信号C1至C4。基准信号C1至C4可以具有与输出光信号的频率相同的频率并且彼此之间具有90°的相位差。四个基准信号中的一个基准信号C1可以具有与输出光信号的相位相同的相位。输入光信号的相位延迟了输出光信号入射到物体上并被物体反射并从物体返回的距离。图像传感器单元130将输入光信号和每个相应的基准信号混合。然后，图像传感器单元130可以产生与图4的基准信号的每个阴影区域相对应的电信号。
作为另一实施例，在以积分时间产生具有多个频率的输出光信号的情况下，图像传感器单元130根据多个频率接收输入光信号。例如，假设产生具有频率f1和f2的输出光信号并且多个基准信号具有90°的相位差。然后，由于输入光信号也具有频率f1和f2，因此可以使用具有频率f1的输入光信号以及与输入光信号相对应的四个基准信号来产生四个电信号。此外，可以使用具有频率f2的输入光信号以及与输入光信号相对应的四个基准信号来产生四个电信号。因此，可以产生总共八个电信号。
图像传感器单元130可以形成为多个像素以网格形状排列的结构。图像传感器单元130可以是互补金属氧化物半导体(CMOS)图像传感器或者也可以是电荷耦合器件(CCD)图像传感器。此外，图像传感器单元130可以包括ToF传感器，ToF传感器通过接收被物体反射的红外光使用时间或相位差来测量距离。
参考图5，例如，在分辨率为320×240的图像传感器130的情况下，可以以网格形状排列76800个像素。在这种情况下，如图5的阴影区域那样，在多个像素之间可以产生恒定的间隙。在本发明实施例中，与一个像素相邻的具有恒定间隙的一个像素将被描述为一个像素。
根据本发明的实施例，每个像素132可以包括具有第一光电二极管和第一晶体管的第一光接收单元132-1以及具有第二光电二极管和第二晶体管的第二光接收单元132-2。
第一光接收单元132-1接收具有与输出光信号的波形的相位相同的相位的输入光信号。即，当光源开启时，第一光电二极管导通并接收输入光信号。此外，当光源关闭时，第一光电二极管截止并停止接收输入光信号。第一光电二极管将接收到的输入光信号转换为电流并将电流传输到第一晶体管。第一晶体管将接收到的电流转换为电信号并输出该电信号。
第二光接收单元132-2接收具有与输出光的波形的相位相反的相位的输入光信号。即，当光源开启时，第二光电二极管截止并接收输入光信号。此外，当光源关闭时，第二光电二极管导通并停止输入光信号的接收。第二光电二极管将接收到的输入光信号转换为电流并将电流传输到第二晶体管。第二晶体管将接收到的电流转换为电信号。
因此，第一光接收单元132-1可以被称为同相接收单元，第二光接收单元132-2可以被称为异相接收单元。如上所述，当第一光接收单元132-1和第二光接收单元132-2在不同时间被激活时，根据与物体的距离而出现接收光量的差异。例如，在物***于ToF摄像头100的前面(即距离＝0)的情况下，由于光从照明单元110输出并被物体反射并从物体返回所花费的时间为零，因此光源的开启和关闭周期为光接收周期。因此，仅第一光接收单元132-1接收光，第二光接收单元132-2不接收光。作为另一示例，在物体与ToF摄像头100间隔一定距离的情况下，由于光从照明单元110输出并被物体反射并从物体返回花费时间，因此光源的开启和关闭周期与光接收周期不同。因此，在第一光接收单元132-1与第二光接收单元132-2之间出现接收光量的差异。即，可以使用在第一光接收单元132-1与第二光接收单元132-2之间的接收光量的差异来计算物体的距离。
再次参照图2，图像控制单元140使用从图像传感器单元130接收的电信号计算输出光与输入光之间的相位差，并使用该相位差计算物体与ToF摄像头100之间的距离。
具体地，图像控制单元140可以使用关于电信号的电荷量的信息来计算输出光与输入光之间的相位差。
如上所述，对于输出光信号的频率可以产生四个电信号。因此，图像控制单元140可以使用下面的等式1来计算输出光信号与输入光信号之间的相位差td。
[等式1]
Figure BDA0003175059040000101
在此，Q1至Q4表示四个电信号的电荷量。Q1表示与具有与输出光信号的相位相同的相位的基准信号相对应的电信号的电荷量。Q2表示与具有从输出光信号的相位延迟180°的相位的基准信号相对应的电信号的电荷量。Q3表示与具有从输出光信号的相位延迟90°的相位的基准信号相对应的电信号的电荷量。Q4表示与具有从输出光信号的相位延迟270°的相位的基准信号相对应的电信号的电荷量。
然后，图像控制单元140可以使用输出光信号与输入光信号之间的相位差来计算物体与ToF摄像头100之间的距离。在这种情况下，图像控制单元140可以使用下面的等式2来计算物体与ToF摄像头100之间的距离d。
[等式2]
Figure BDA0003175059040000111
在此，c表示光速，f表示输出光的频率。
根据本发明的实施例，可以从ToF摄像头100获得ToF红外(IR)图像和深度图像。在本说明书中，ToF图像可以是ToF IR图像或深度图像。
更具体地，如图6所示，可以从根据本发明实施例的ToF摄像头100获得根据四个相位的原始图像。在这种情况下，四个相位可以是相位0°、相位90°、相位180°和相位270°，并且针对每个相位的原始图像可以是包括针对每个相位数字化的像素值的图像，并且也可以被称为相位图像、相位IR图像等。
当使用图6的四个相位图像和等式3进行计算时，可以获得幅值图像(amplitudeimage)，幅值图像是图7的ToF IR图像。
[等式3]
Figure BDA0003175059040000112
在此，Raw(x0)可以是针对每个像素在相位0°被传感器接收到的数据值，Raw(x90)可以是针对每个像素在90°相位被传感器接收到的数据值，Raw(x180)可以是针对每个像素在180°相位被传感器接收到的数据值，Raw(x270)可以是针对每个像素在270°相位被传感器接收到的数据值。
可替代地，当使用图6的四个相位图像和等式4进行计算时，还可以获得作为另一个ToF IR图像的强度图像。
[等式4]
强度＝|Raw(x90)-Raw(x270)|+|Raw(x180)-Raw(x0)|
在这种情况下，Raw(x0)可以是针对每个像素在0°相位被传感器接收到的数据值，Raw(x90)可以是针对每个像素在90°相位被传感器接收到的数据值，Raw(x180)可以是针对每个像素在180°相位被传感器接收到的数据值，Raw(x270)可以是针对每个像素在270°相位被传感器接收到的数据值。
如上所述，ToF IR图像是通过从四个相位图像中的两个相位图像减去剩余的两个相位图像的操作产生的图像，并且可以通过该操作去除背景光。因此，在ToF IR图像中，仅具有由光源输出的波长的信号被保留，从而可以增加对物体的IR敏感度并且可以显著降低噪声。
在本说明书中，ToF IR图像可以是幅值图像或强度图像，强度图像也可以称为置信度图像。如图7所示，ToF IR图像可以是灰度图像。
同时，当使用图6的四个相位图像和等式5和等式6进行计算时，还可以获得图8的深度图像。
[等式5]
Figure BDA0003175059040000121
[等式6]
Figure BDA0003175059040000122
图9是示出根据本发明的一个实施例的RGB摄像头中包括的自动聚焦光学***的图。
图9(a)是示出长焦模式(tele mode)下的自动聚焦光学***的图，图9(b)是示出广角模式(wide mode)下的自动聚焦光学***的图，图9(c)是示出超广角模式(superwidemode)下的自动聚焦光学***的图。
参考图9(a)至图9(c)，自动聚焦光学***900设置在物体910与图像传感器920之间。虽然图中未示出，但自动聚焦光学***900可以包括多个透镜。
自动聚焦光学***900可以根据物体910的距离来移动以调整放大率并且聚焦在图像传感器920上。
例如，如图9(a)至图9(c)所示，自动聚焦光学***900的透镜可以移动，使得有效焦距fEFL随着物体的距离变短而减小，即，长焦模式改变为超广角模式。
如上所述，自动聚焦光学***900的透镜移动的距离可以根据物体的距离而改变。
根据本发明的实施例，从ToF图像中提取由ToF摄像头拍摄的ToF图像中的特定区域的距离信息，并利用该距离信息执行RGB摄像头的自动聚焦。
图10是根据本发明的一个实施例的摄像头装置的自动聚焦方法的流程图。
参考图10，摄像头装置10使用ToF摄像头100拍摄ToF图像(S1000)并提取ToF图像中的特定区域的距离信息(S1100)。在这种情况下，ToF图像中的特定区域可以是要聚焦于的区域，并且要聚焦于的区域可以由用户直接设定或者通过嵌入控制单元300中的物体检测算法来设定。物体检测算法可以是用于检测图像中的特定物体(例如，最大物体或人)的算法。为此，如上所述，ToF摄像头100的传感器单元可以基于光的输出接收关于被物体反射的具有多个相位的光的多条信息，并使用该多条信息来提取物体的距离信息。
接下来，摄像头装置10的控制单元300使用在操作S1100中提取的ToF图像中的特定区域的距离信息与根据物体的距离信息的自动聚焦信息之间的相关性，执行RGB摄像头200的自动聚焦(S1200)。
图11是图10的操作S1200的一个示例的流程图。
参考图11，摄像头装置10的控制单元300将在操作S1100中提取的ToF图像中的特定区域的距离信息代入根据物体的距离信息的自动聚焦信息的相关性中(S1210)，从根据物体的距离信息的自动聚焦信息的相关性中提取透镜的移动距离(S1220)，并且使RGB摄像头200的自动聚焦光学***移动提取的透镜的移动距离(S1230)。
在这种情况下，根据物体的距离信息的自动聚焦信息的相关性可以存储在摄像头装置10中并且包括针对每个距离的致动器控制值和透镜的移动距离中的至少一个。
图12是根据本发明的一个实施例的摄像头装置中预先存储的根据物体的距离信息的自动聚焦信息的相关性的一个示例，图13(a)和图13(b)是根据本发明的一个实施例的自动聚焦图像的示例。
参照图12，可以存储与致动器控制值(分辨率刻度(DAC)(resolution cal.(DAC)))和透镜移动距离中的至少一个匹配的物体的距离(mm)或深度(mm)。为此，摄像头装置10可以进一步包括数据存储单元。
根据本发明实施例的摄像头装置10可以从ToF图像中提取物体的距离或深度，并使用与提取的物体的距离或深度匹配的致动器控制值或透镜移动距离来执行自动聚焦。
在这种情况下，致动器控制值可以包括施加于用于移动透镜的致动器的电压或电流。用于移动透镜的致动器例如可以是音圈电机(VCM)。
如图13(a)所示，在从ToF图像中提取250mm作为要聚焦于的物体的距离的情况下，可以使用与其匹配的426.565997DAC的致动器控制值在使透镜移动0.03993mm的过程中执行自动聚焦。可替代地，在从ToF图像中提取250mm作为要聚焦于的物体的距离的情况下，也可以在使透镜移动作为与其匹配的透镜移动距离的0.03993mm的过程中执行自动聚焦。
可替代地，如图13(b)所示，在从ToF图像中提取600mm作为要聚焦于的物体的距离的情况下，可以使用与其匹配的323.027365DAC的致动器控制值在使透镜移动0.01652mm的过程中执行自动聚焦。可替代地，在从ToF图像中提取600mm作为要聚焦于的物体的距离的情况下，也可以在使透镜移动作为与其匹配的透镜移动距离的0.01652mm的过程中执行自动聚焦。
因此，由于可以仅使用从ToF图像中提取的物体的距离来提取要聚焦于的物体的透镜移动距离，因此可以在短时间内执行自动聚焦而无需执行复杂的操作。
同时，可以通过由RGB摄像头200的自动聚焦光学***的特征值组成的函数来估计根据物体的距离信息的自动聚焦信息的相关性。RGB摄像头200的自动聚焦光学***的特征值可以根据光学***的种类、结构等而不同。在下文中，将更具体地描述根据物体的距离信息估计自动聚焦信息的相关性的方法。
图14是示出物体、自动聚焦透镜和图像传感器之间的相对位置的图，图15是示出透镜位置、透镜移动距离和致动器控制值之间的相关性的图。
参考图14和等式7，透镜可以表示为以下函数。
[等式7]
Figure BDA0003175059040000151
在此，x表示自动聚焦透镜1400与物体1410之间的距离，q表示透镜1400相对于图像传感器1420的位置(mm)，并且fEFL表示焦距(mm)。如图9所示，由于焦距根据长焦模式、广角模式和超广角模式而改变，因此透镜1400可以移动以在图像传感器1420上形成图像。
同时，参考图15和等式8，透镜位置、透镜移动距离和致动器控制值之间的相关性可以表示为以下函数。
[等式8]
q(y)＝ay+b
在这种情况下，q表示透镜1400距图像传感器1420的位置(mm)，y表示致动器控制值，a表示透镜移动距离相对于致动器控制值的变化量的斜率(mm/DAC)，b表示截距(mm)。
在将等式8代入等式7的情况下，可以依次推导出等式9和等式10。
[等式9]
Figure BDA0003175059040000152
[等式10]
Figure BDA0003175059040000161
在这种情况下，RGB摄像头200的自动聚焦光学***的特征值可以包括透镜的特征值和用于移动透镜的致动器的特征值。透镜的特征值可以包括透镜的有效焦距fEFL，用于移动透镜的致动器的特征值可以包括相对于致动器控制值的变化量的透镜的移动距离的变化a以及截距b。
当推导出透镜的有效焦距fEFL、相对于致动器控制值的变化量的透镜的移动距离的变化a和截距b时，由RGB摄像头200的自动聚焦光学***的特征值组成的函数可以如等式10来估计。另外，当将从ToF图像中提取的物体的距离代入等式10的x时，可以导出作为致动器控制值的y(DAC)。
在这种情况下，可以使用多个自动聚焦校准数据来估计由RGB摄像头200的自动聚焦光学***的特征值组成的函数。多个自动聚焦校准数据可以包括物体距离的多个坐标值和致动器控制值。例如，N个自动聚焦校准数据可以表示如下。
[等式11]
x＝{(x1，y1)，(x2，y2)，…，(xn，yn)，…，(xN，yN)}
在给出两对物体距离坐标值和致动器控制值的情况下，可以如下估计用于移动透镜的致动器的特征值fEFL、a和b。
[等式12]
Figure BDA0003175059040000162
Figure BDA0003175059040000163
在给出三对物体距离坐标值和致动器控制值的情况下，可以如下估计用于移动透镜的致动器的特征值fEFL、a和b。
[等式13]
Figure BDA0003175059040000171
Figure BDA0003175059040000172
Figure BDA0003175059040000173
在给出四对物体距离坐标值和致动器控制值的情况下，可以如下估计用于移动透镜的致动器的特征值fEFL、a和b。
[等式14]
Figure BDA0003175059040000174
Figure BDA0003175059040000175
Figure BDA0003175059040000176
Figure BDA0003175059040000177
在如上所述估计用于移动透镜的致动器的特征值fEFL、a和b的情况下，可以获得如图16所示的图，可以估计与任意物体的距离x对应的致动器控制值y，可以如图17所示获得相关性匹配表。
根据本发明的实施例，可以快速地执行RGB摄像头的自动聚焦，而无需如上所述的复杂操作过程。
同时，根据本发明的另一实施例，在从ToF摄像头获得的ToF图像和从RGB摄像头获得的RGB图像的匹配质量高的情况下，自动聚焦的精度会高。为此，根据本发明实施例的摄像头装置可以进一步包括对从ToF摄像头获得的ToF图像和从RGB摄像头获得的RGB图像进行校准的图像处理单元，图像处理单元可以在图1的控制单元中实现或者与控制单元分开实现。
图18是示出根据本发明的另一实施例的摄像头装置中包括的图像处理单元的框图。
参考图18，图像处理单元1300包括分别从ToF摄像头100和RGB摄像头200中接收ToF图像和RGB图像的图像获取单元1310、从RGB图像中提取第一RGB特征点并从ToF图像中提取第一ToF特征点的第一特征点提取单元1320、分别从第一RGB特征点和第一ToF特征点中提取第二RGB特征点和第二ToF特征点的第二特征点提取单元1330、分别使用第二RGB特征点和第二ToF特征点校准RGB图像和ToF图像的校准单元1340以及通过将校准后的RGB图像与ToF图像匹配来生成三维彩色图像的图像合成单元1350。根据本发明实施例的图像处理单元1300可以进一步包括接收用于触发第一特征点提取单元1320、第二特征点提取单元1330和校准单元1340的操作的信号的信号接收单元1360，以及从ToF摄像头100或RGB摄像头200中获得物体的距离信息的距离信息获取单元1370。
如上所述，从ToF摄像头100获得的TOF图像可以包括ToF IR图像和深度图像。在这种情况下，ToF IR图像可以是从0°、90°、180°和270°四个相位的IR图像生成的幅值图像或强度图像。可以根据图6至图7以及等式3和等式4生成幅值图像。图像合成单元1350可以通过匹配并渲染RGB图像与深度图像来生成包括颜色信息和深度信息这两者的三维彩色图像。
同时，为了使图像合成单元1350通过匹配来自ToF摄像头100的深度图像和从RGB摄像头200获得的RGB图像来获得高质量的三维彩色图像，需要ToF摄像头100与RGB摄像头200之间的精确对准。在ToF摄像头100和RGB摄像头200安装在一个装置，例如一个移动设备中的情况下，应该在移动设备被组装之后在市场上出售之前，预先执行ToF摄像头100与RGB摄像头200之间的校准。
图19和图20是用于描述ToF摄像头与RGB摄像头之间的校准方法的视图。
参考图19和图20，具有预定图案的图表(chart)设置在ToF摄像头100和RGB摄像头200的前面，并且ToF摄像头100和RGB摄像头200拍摄相同图表的图像并获得图案图像。
每个摄像头可以从图案图像中通过内在校准(intrinsic calibration)提取摄像头中即透镜与传感器之间的参数。
在这种情况下，提取的参数可以是焦距、光学中心和畸变校正系数(distortioncorrection coefficient)。
另外，每个摄像头可以从图案图像中通过外在校准(extrinsic calibration)提取摄像头与图表之间的参数。ToF摄像头的摄像头与图表之间的参数可以使用外参数X、Y和Z/俯仰(Pitch)/滚转(Roll)/偏航(Yaw)和重投影误差(reprojection error)来描述，并且RGB摄像头的摄像头与图表之间的参数可以使用外参数X、Y和Z/俯仰/滚转/偏航和重投影误差进行描述。
另外，可以使用通过摄像头的内在校准提取的参数和通过摄像头的外在校准提取的参数执行两个摄像头之间的外在校准，并且可以提取两个摄像头之间的位置相关性的参数。在这种情况下，可以使用X、Y和Z/俯仰/滚转/偏航和重投影误差来描述摄像头之间的位置相关性的参数。例如，基于RGB图像映射ToF图像的结果可以示于下表1中，并且结果可以如图21所示。
[表1]
参数 TOF RGB 基于RGB的ToF映射
俯仰(°) 90.9761 86.5407 4.37048
滚转(°) 0.42211 0.92037 -0.23463
偏航(°) -1.5376 3.40775 -5.00505
X(mm) -6.2585 24.0698 -29.9763
Y(mm) 130.25 133.406 2.33581
Z(mm) -358.023 -352.497 -7.49864
重投影误差(像素) 0.1543 1.0719 4.5120
在本发明的实施例中，可以假设ToF摄像头100和RGB摄像头200在市场上销售之前组装在一个装置中，例如，即使在制造操作中，也使用图19至图20所示的方法预先执行校准，并且预先存储包括X、Y和Z/俯仰/滚转/偏航和重投影误差的校准数据。在本说明书中，描述了校准数据被预先存储在图像处理单元1300中的示例，但是本发明不限于此，校准数据也可以预先存储在安装有根据本发明实施例的摄像机装置10的装置，例如移动设备或远程存储单元中。根据本发明的实施例，图像处理单元1300可以实时执行ToF摄像头100与RGB摄像头200之间的校准。因此，即使当ToF摄像头100和RGB摄像头200之间出现偏斜时，也能够获得高质量的三维彩色图像而无需每当发生偏斜时访问服务中心。
为便于说明，在本说明书中，在ToF摄像头和RGB摄像头组装之后在市场上销售之前执行的校准可以被称为离线校准或过程校准，在图像处理单元1300中实时执行的校准可以被称为实时校准、动态校准等。为便于说明，描述本发明的摄像头装置被安装在移动设备中的示例，但本发明不限于此，本发明的实施例可以应用于在其中安装RGB摄像头和ToF摄像头两者以合成三维彩色图像的任何设备。
图22是示出根据本发明的一个实施例的摄像头装置的图像处理方法的方法的流程图。
参考图22，如上所述，在产品在市场上销售之前，预先执行ToF摄像头100与RGB摄像头200之间的离线校准(S100)，并且校准数据可以预先存储在图像处理单元1300中(S102)。在这种情况下，校准数据可以包括X、Y和Z/俯仰/滚转/偏航和重投影误差。
当在移动设备中驱动与三维图像相关的应用时(S104)，RGB摄像头200和ToF摄像头100两者开始工作，并且图像处理单元1300的图像获取单元1310获取RGB图像和ToF图像(S106和S108)。在这种情况下，ToF图像可以包括如上所述从四个相位的IR图像生成的ToFIR图像和深度图像。
接下来，图像处理单元1300的第一特征点提取单元1320从RGB图像中提取第一RGB特征点(S110)并且从ToF图像中提取第一ToF特征点(S112)。在这种情况下，可以使用RGB图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一条信息提取第一RGB特征点，并且可以使用ToF图像中的物体的边缘信息、形状信息、尺寸信息和中心点信息中的至少一条信息提取第一ToF特征点。在这种情况下，第一ToF特征点可以包括从ToF IR图像中提取的特征点和从深度图像中提取的特征点中的至少一个。在操作S110和S112中，可以应用从图像中提取特征点的各种已知方法中的一种。
接下来，图像处理单元1300的第二特征点提取单元1320将第一RGB特征点与第一ToF特征点进行匹配以提取第二RGB特征点和第二ToF特征点，其中第一RGB特征点与第一ToF特征点之间的相关性为预定值以上(S114)。在这种情况下，由于第一RGB特征点与第一ToF特征点之间的相关性为预定值以上的事实表示可以从RGB图像和ToF图像这两者中提取特征点，当比较特征点时，可以推断出RGB摄像头200与ToF摄像头100之间的偏斜程度。因此，在本说明书中，第二RGB特征点和第二ToF特征点也可以被称为有意义的特征点。在这种情况下，可以通过将第一RGB特征点与ToF IR图像的第一ToF特征点进行匹配，将第一RGB特征点与深度图像的第一ToF特征点进行匹配，或将第一RGB特征点与ToF IR图像的第一ToF特征点和深度图像的第一ToF特征点进行匹配，来提取第二RGB特征点和第二ToF特征点。在这种情况下，ToF IR图像有利于提取物体的边缘分量作为特征点，深度图像有利于在具有相同材料和颜色的物体以不同距离存在的情况下使用特征点来区分物体。
在操作S114中，可以应用在RGB图像和ToF图像之间匹配特征点的已知方法之一，例如，尺度不变特征变换(SIFT)算法或加速鲁棒特征(SURF)算法。图23示出了用于描述从第一RGB特征点和第一ToF特征点中提取第二RGB特征点和第二ToF特征点的方法的视图。当使用SIFT算法、SURF算法等在图23(a)中以红色表示的深度图像的特征点与图23(b)中以红色表示的RGB图像的特征点之间进行匹配时，可以如图23(c)，提取其间的相关性为预定值以上的第二RGB特征点和第二ToF特征点。
接下来，图像处理单元1300存储关于由第二特征点提取单元1320提取的第二RGB特征点和第二ToF特征点的信息(S116)，并且校准单元1340计算第二RGB特征点与第二TOF特征点之间的误差值(S118)。在这种情况下，可以使用第二RGB特征点的X值、Y值、Z值、俯仰值、滚转值、偏航值和重投影误差中的至少一个和第二ToF特征点的X值、Y值、Z值、俯仰值、滚转值、偏航值和重投影误差中的至少一个来计算误差值。误差值可以是RGB图像与ToF图像之间的偏斜程度并且可以包括X值、Y值、Z值、俯仰值、滚转值、偏航值、偏航值和重投影误差中的至少一个。
此外，图像处理单元1300的校准单元1340将操作S118中的误差值与临界值进行比较(S120)，当误差值大于临界值时用新的校准数据更新误差值(S122)，并且使用校准数据校准RGB图像和ToF图像(S124)。
此外，图像处理单元1300的图像合成单元1350通过匹配校准的RGB图像和ToF图像来生成三维彩色图像(S126)。
如上所述，根据本发明的实施例，即使在使用安装有ToF摄像头100和RGB摄像头200的装置时由于各种原因而发生偏斜时，也可以实时自动执行校准，而无需访问服务中心。
同时，在RGB摄像头和ToF摄像头能够拍摄位于远距离的物体的图像的情况下，以远距离存在的物体的图像可能已经被拍摄在RGB图像和ToF图像中，因此第一RGB特征点和第一ToF特征点的数量可能会无限增加，准确度可能会下降。
因此，根据本发明的一个实施例，为了在操作S114中提取第二RGB特征点和第二ToF特征点，还可以进一步使用距离信息。例如，可以通过仅比较第一RGB特征点和第一ToF中的距摄像头预定距离(例如1m)内的特征点的相关性，来提取第二RGB特征点和第二ToF特征点。因此，不仅提高了有意义的特征点的准确度，而且可以显著减少计算第一RGB特征点与第一ToF特征点之间的相关性的计算量。
为此，可以从图像处理单元1300的距离信息获取单元1370中获取距离信息。在这种情况下，距离信息获取单元1370可以连接到ToF摄像头100以获取深度图像中物体距ToF摄像头100的距离信息。可替代地，距离信息获取单元1370也可以连接到图像处理单元1300的图像获取单元1310，以从图像获取单元1310中接收到的深度图像中直接提取物体的距离。
另外，在RGB摄像头和ToF摄像头的图像拍摄范围内具有多个相似的图案或形式的情况下，可能难以确保RGB图像的第一RGB特征点之一和ToF图像的第一ToF特征点之一是相同的物体。因此，根据本发明的一个实施例，可以如图24(a)所示仅提取RGB图像中距摄像头的距离在预定范围内的物体的第一RGB特征点，可以如图24(b)所示仅提取距摄像头的距离与预定范围相同或相似的物体的第一ToF特征点，可以使用第一RGB特征点与第一ToF特征点之间的相关性来提取第二RGB特征点和第二ToF特征点。可替代地，也可以通过分别从RGB图像的整个范围和ToF图像的整个范围中提取第一RGB特征点和第一ToF特征点，并利用提取的第一RGB特征点和第一ToF特征点中的在RGB图像中距摄像头的距离在预定范围内的第一RGB特征点与在ToF图像中距摄像头距离在预定范围内的第一ToF特征点之间的相关性，来提取第二RGB特征点和第二ToF特征点。因此，可以显著减少计算量，并且可以提高有意义的特征点的准确度。
如上所述，当仅提取预定距离或范围内的物体的有意义的特征点时，不仅可以提高有意义的特征点的准确性，而且可以显著减少计算量。
尽管图中未示出，但在本发明的另一实施例中，在计算第二RGB特征点与第二ToF特征点之间的误差值的操作S118中，还可以使用下落冲击检测信号。图像处理单元1300可以仅当接收到下落冲击检测信号时执行计算第二RGB特征点和第二ToF特征点之间的误差值的S118。
虽然以上主要参照实施例对本发明进行了描述，但本领域技术人员应理解，本发明不限于这些实施例，实施例仅是示例，以上未示出的各种修改和应用在不背离本实施例的本质特征的情况下可以落入本发明的范围内。例如，实施例中具体描述的部件可以被修改和实现。此外，应当理解，与修改和应用有关的差异落入所附权利要求书所限定的本发明的范围内。

Claims (8)

1.一种摄像头装置的自动聚焦的方法，所述方法包括：
通过飞行时间摄像头即ToF摄像头提取物体的距离信息；以及
通过使用根据所述距离信息的自动聚焦信息来执行红绿蓝摄像头即RGB摄像头的自动聚焦，
其中，所述ToF摄像头包括向所述物体输出光的照明单元和接收关于被所述物体反射的光的信息的传感器单元，
所述传感器单元基于光的输出接收关于被所述物体反射的具有多个相位的光的多条信息，并且
所述ToF摄像头使用所述多条信息提取所述距离信息。
2.根据权利要求1所述的方法，其中，根据所述距离信息的所述自动聚焦信息包括针对每个距离的致动器控制值和透镜的移动距离中的至少一个。
3.根据权利要求2所述的方法，其中，所述自动聚焦的执行包括：
将所述距离信息代入根据所述距离信息的所述自动聚焦信息的相关性中；
从根据所述距离信息的所述自动聚焦信息的所述相关性中提取所述透镜的所述移动距离；以及
使所述RGB摄像头的自动聚焦光学***移动提取的所述透镜的所述移动距离。
4.根据权利要求2所述的方法，其中，使用由使用多个自动聚焦校准数据估计的所述RGB摄像头的自动聚焦光学***的特征值组成的函数来计算所述自动聚焦信息。
5.根据权利要求4所述的方法，其中，所述多个自动聚焦校准数据包括：
针对所述物体的距离和所述致动器控制值的第一坐标值；以及
针对所述物体的所述距离和所述致动器控制值的第二坐标值。
6.根据权利要求5所述的方法，其中，所述RGB摄像头的所述自动聚焦光学***的所述特征值包括：
所述RGB摄像头的所述自动聚焦光学***的所述透镜的特征值；以及
用于使所述RGB摄像头的所述自动聚焦光学***的所述透镜移动的致动器的特征值。
7.根据权利要求6所述的方法，其中，
所述RGB摄像头的所述自动聚焦光学***的所述透镜的所述特征值包括有效焦距，并且
用于使所述RGB摄像头的所述自动聚焦光学***的所述透镜移动的所述致动器的所述特征值包括相对于所述致动器控制值的变化量的所述透镜的所述移动距离的变化量。
8.根据权利要求2所述的方法，其中，根据所述距离信息的所述自动聚焦信息的相关性被预先存储在所述摄像头装置中。
CN202080010426.9A 2019-01-22 2020-01-21 摄像头装置及其自动聚焦方法 Active CN113366383B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0008168 2019-01-22
KR1020190008168A KR20200091197A (ko) 2019-01-22 2019-01-22 카메라 장치 및 그의 오토포커싱 방법
PCT/KR2020/000998 WO2020153703A1 (ko) 2019-01-22 2020-01-21 카메라 장치 및 그의 오토포커싱 방법

Publications (2)

Publication Number Publication Date
CN113366383A true CN113366383A (zh) 2021-09-07
CN113366383B CN113366383B (zh) 2023-03-31

Family

ID=71735524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010426.9A Active CN113366383B (zh) 2019-01-22 2020-01-21 摄像头装置及其自动聚焦方法

Country Status (4)

Country Link
US (1) US11539873B2 (zh)
KR (1) KR20200091197A (zh)
CN (1) CN113366383B (zh)
WO (1) WO2020153703A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021065176A1 (ja) * 2019-09-30 2021-04-08 富士フイルム株式会社 処理装置、電子機器、処理方法、及びプログラム
EP4319138A1 (en) 2021-05-13 2024-02-07 Samsung Electronics Co., Ltd. Method for providing image, and electronic device supporting same
US12028611B1 (en) 2021-06-09 2024-07-02 Apple Inc. Near distance detection for autofocus
US11587258B1 (en) * 2021-11-10 2023-02-21 GM Cruise Holdings LLC. Focal length validation using three-dimensional pose estimates

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5967505A (ja) * 1982-10-12 1984-04-17 Asahi Optical Co Ltd ビデオカメラのオ−トフオ−カス装置
JPS63259626A (ja) * 1987-04-17 1988-10-26 Fuji Photo Film Co Ltd カメラの測距装置
JPS63291043A (ja) * 1987-05-25 1988-11-28 Canon Inc 自動焦点装置
US4908648A (en) * 1987-12-30 1990-03-13 Ricoh Company, Ltd. Distance measuring device for automatic focusing camera
JPH03241326A (ja) * 1990-07-27 1991-10-28 Asahi Optical Co Ltd カメラの自動焦点装置
CN105827937A (zh) * 2015-08-28 2016-08-03 维沃移动通信有限公司 一种摄像装置及摄像方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100558107C (zh) * 2006-02-28 2009-11-04 华为技术有限公司 通信***用资源预留方法和资源预留***
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
US20170230649A1 (en) * 2016-02-05 2017-08-10 Qualcomm Incorporated Calibration of hybrid auto focus (af) imaging systems
EP3296788B1 (en) * 2016-09-15 2018-08-22 Axis AB Method of performing autofocus, autofocus system, and camera comprising an autofocus module
CN108369190B (zh) * 2017-06-23 2021-03-16 深圳前海达闼云端智能科技有限公司 一种物质检测方法、装置及设备
WO2020078440A1 (zh) * 2018-10-18 2020-04-23 北京中科虹霸科技有限公司 采集高清晰度面部图像的装置和摄像头云台自动俯仰调节的方法
CN110336942B (zh) * 2019-06-28 2021-02-02 Oppo广东移动通信有限公司 一种虚化图像获取方法及终端、计算机可读存储介质
CN212181480U (zh) * 2020-05-14 2020-12-18 深圳蚂里奥技术有限公司 一种人脸识别装置、电子设备及应用***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5967505A (ja) * 1982-10-12 1984-04-17 Asahi Optical Co Ltd ビデオカメラのオ−トフオ−カス装置
JPS63259626A (ja) * 1987-04-17 1988-10-26 Fuji Photo Film Co Ltd カメラの測距装置
JPS63291043A (ja) * 1987-05-25 1988-11-28 Canon Inc 自動焦点装置
US4908648A (en) * 1987-12-30 1990-03-13 Ricoh Company, Ltd. Distance measuring device for automatic focusing camera
JPH03241326A (ja) * 1990-07-27 1991-10-28 Asahi Optical Co Ltd カメラの自動焦点装置
CN105827937A (zh) * 2015-08-28 2016-08-03 维沃移动通信有限公司 一种摄像装置及摄像方法

Also Published As

Publication number Publication date
CN113366383B (zh) 2023-03-31
US11539873B2 (en) 2022-12-27
KR20200091197A (ko) 2020-07-30
WO2020153703A1 (ko) 2020-07-30
US20220132043A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
CN113366383B (zh) 摄像头装置及其自动聚焦方法
US11863734B2 (en) Time-of-flight camera system
CN110325879B (zh) 用于压缩三维深度感测的***和方法
KR102209255B1 (ko) 사진 측량 및 3 차원 스캔 기능을 동시에 갖는 핸드헬드 대형 3 차원 측정 스캐너 시스템
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
US9807369B2 (en) 3D imaging apparatus
KR102590900B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN104935790A (zh) 成像***
US8199247B2 (en) Method for using flash to assist in focal length detection
US10893244B2 (en) Compensating for vignetting
CN114930192A (zh) 红外成像组件
US8436934B2 (en) Method for using flash to assist in focal length detection
CN112655022B (zh) 图像处理装置和图像处理方法
CN114424522B (zh) 图像处理装置、电子设备、图像处理方法与程序
US11863735B2 (en) Camera module
CN111373222A (zh) 光投射***
JP5981898B2 (ja) 撮像装置およびその制御方法
JP2015014686A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant