CN113985425A - 测距装置以及测距方法 - Google Patents

测距装置以及测距方法 Download PDF

Info

Publication number
CN113985425A
CN113985425A CN202110176362.6A CN202110176362A CN113985425A CN 113985425 A CN113985425 A CN 113985425A CN 202110176362 A CN202110176362 A CN 202110176362A CN 113985425 A CN113985425 A CN 113985425A
Authority
CN
China
Prior art keywords
projection
patterns
sensing
depth information
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110176362.6A
Other languages
English (en)
Inventor
印秉宏
王佳祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Original Assignee
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tyrafos Semiconductor Technologies Co Ltd filed Critical Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Publication of CN113985425A publication Critical patent/CN113985425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供一种测距装置以及测距方法。测距装置包括发光源、图像传感器以及处理器。发光源在不同时间投射多个投影图案至待测物的表面。图像传感器同步于所述多个投影图案的投射时间来感测待测物的表面，以取得分别对应于所述多个投影图案的多个感测图像。处理器分析所述多个感测图像，以决定待测物的深度信息。处理器执行三角函数计算来取得深度信息。

Description

测距装置以及测距方法
技术领域
本发明涉及一种测量技术，尤其涉及一种测距装置以及测距方法。
背景技术
在目前的测距技术中，飞时测距(Time of Flight；ToF)的感测手段虽可有效取得测距结果，但是实现飞时测距功能通常需要较高成本的元件与复杂的运算电路。有鉴于此，如何提供准确的测距功能且无需配置较高成本的元件与复杂的运算电路的测距装置，以下将提出几个实施例的解决方案。
发明内容
本发明是针对一种测距装置以及测距方法可有准确地取得待测物的深度信息。
根据本发明的实施例，本发明的测距装置包括发光源、图像传感器以及处理器。发光源用以在不同时间投射多个投影图案至待测物的表面。图像传感器用以同步于所述多个投影图案的投射时间来感测待测物的表面，以取得分别对应于所述多个投影图案的多个感测图像。处理器耦接发光源以及图像传感器。处理器分析所述多个感测图像，以决定待测物的深度信息。处理器执行三角函数计算来取得深度信息。
根据本发明的实施例，本发明的测距方法包括以下步骤：通过发光源在不同时间投射多个投影图案至待测物的表面；通过图像传感器同步于所述多个投影图案的投射时间来感测待测物的表面，以取得分别对应于所述多个投影图案的多个感测图像；以及分析所述多个感测图像，以决定待测物的深度信息，其中深度信息经由执行三角函数计算所产。
基于上述，本发明的测距装置以及测距方法可通过取得多个感测图像来准确分析待测物的深度信息。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是本发明的一实施例的测距装置的示意图；
图2是本发明的一实施例的测距方法的流程图；
图3A是本发明的一实施例的测距操作的示意图；
图3B是本发明的另一实施例的测距操作的示意图；
图4A是本发明的一实施例的原始参考图案的示意图；
图4B是本发明的一实施例的第一投影图案的示意图；
图4C是本发明的一实施例的第二投影图案的示意图；
图5是本发明的一实施例的测距装置的操作时序图；
图6A是本发明的一实施例的待测物表面具有障碍物的测距操作的示意图；
图6B是本发明的另一实施例的待测物表面具有障碍物的测距操作的示意图。
附图标记说明
100:测距装置；
110:处理器；
120:发光源；
130:图像传感器；
300、600:待测物；
410:原始参考图案；
411～416:条纹图案；
420:第一投影图案；
430:第二投影图案；
TD:投影时序；
TS:感测时序；
t0～t3:时间；
S1、S2:表面；
S210～S230:步骤；
R1:取像范围；
P1、P2、P3:投影图案；
D1:距离参数；
L1、L2、L3、y1、y2、y1’、y2’、ya、yb、yc、Da:距离；
θ1、θ2、θa、θb:角度；
T1、T2、T3:感测光；
Q1、Q2、Q3、Q1’、Q2’、Q3’、Qa、Qb、Qc、Qa’、Qc’:成像位置。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1是本发明的一实施例的测距装置的示意图。参考图1，测距装置100包括处理器110、发光源120以及图像传感器130。处理器110耦接发光源120以及图像传感器130。在本实施例中，处理器110可驱动发光源120在不同时间投射多个投影图案至待测物的表面，并且处理器110可驱动图像传感器130同步于发光源120投射所述多个投影图案的时间来同时操作图像传感器130感测所述多个投影图案在待测物的表面的投影结果，以取得对应于所述多个投影图案的多个感测图像。因此，在本实施例中，处理器110可通过分别分析所述多个感测图像以决定待测物的深度信息。
在本实施例中，处理器110可例如是中央处理单元(Central Processing Unit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可程序化逻辑装置(ProgrammableLogic Device，PLD)、其他类似处理装置或这些装置的组合。处理器110可用于产生驱动信号、进行信号处理以及执行相关运算功能。值得注意的是，本实施例的测距装置100适于进行三角测距(Triangulation)操作，并且处理器110可进行基于三角函数关系所执行的相关参数运算，例如包括由处理器110执行三角函数计算来取得深度信息(距离参数)。
在本实施例中，发光源120可为红外光发光源(Infrared light source)。在一实施例中，发光源120可例如是红外线激光光源，并且发光源120还可进一步包括相关投影模块或发光驱动电路，而本发明并不加以限制。在本实施例中，图像传感器130可为互补式金属氧化物半导体图像传感器(Complementary Metal-Oxide Semiconductor ImageSensor；CIS)，并且图像传感器130是以全局快门(Global Shutter)的曝光方式来感测图像。值得注意的是，当测距装置100及待测物的至少其中之一为移动状态时，由于本实施例的图像传感器130是以全局快门的曝光方式来感测图像，因此可有效改善图像传感器130所取得的感测图像的图像失真(pattern distortion)的情况，而有效提升测距的准确度。
图2是本发明的一实施例的测距方法的流程图。参考图1以及图2，本实施例的测距装置100可执行步骤S210～S230来实现测距功能。在步骤S210，测距装置100可通过发光源120在不同时间投射多个投影图案至待测物的表面。在步骤S220，测距装置100可通过图像传感器130同步于多个投影图案的投射时间来感测待测物的表面，以取得分别对应于多个投影图案的多个感测图像。在步骤S230，测距装置100可分析多个感测图像，以决定待测物的深度信息。在本实施例中，所述深度信息可经由测距装置100的处理器110执行三角函数计算所产生。因此，本发明的测距装置100可操作以多次投影以及图像感测的操作来取得准确的测距结果。并且，以下将由各实施例详细说明步骤S210～S230的实施方式。
图3A是本发明的一实施例的测距操作的示意图。参考图1以及图3A，本实施用于解释本发明的测距装置100执行的一种三角测距操作(运算)，并且图3A为俯视示意图。在本实施例中，发光源120例如投射投影图案P1至待测物300的表面S1，其中投影图案P1可例如是光点或条纹。图像传感器130可拍摄待测物300的表面S1，以取得感测图像。在本实施例中，发光源120与图像传感器130可固定设置在电子设备或载具的固定位置。在本实施例中，由于发光源120的光发射角度为已知(预设)，因此处理器110可预先取得角度θ1，并且发光源120与图像传感器130之间的距离参数L1为已知。并且，由于图像传感器130的视角为已知，因此处理器110可进一步通过判断投影图案P1在图像传感器130的感测图像中的位置(例如投影图案P1在取像范围R1中的位置)，来计算出角度θ2。最后，处理器110可依据角度θ1、角度θ2以及距离参数L1来进行基于三角函数关系所执行的相关参数运算(三角函数计算)，而取得待测物300与测距装置100之间的距离参数D1。
图3B是本发明的另一实施例的测距操作的示意图。参考图1以及图3B，本实施用于解释本发明的测距装置100执行的另一种三角测距操作(另一三角函数计算)，并且图3B为俯视示意图。在本实施例中，发光源120例如发射感测光T1、T2、T3，以投射投影图案P1、P2、P3至待测物300的表面S1，其中投影图案P1、P2、P3可例如是光点或条纹。图像传感器130可拍摄待测物300的表面S1，以取得感测图像。在本实施例中，发光源120与图像传感器130可固定设置在电子设备或载具的固定位置。在本实施例中，感测光T1以及T2的夹角角度θa为已知(预设)，并且感测光T2以及T3的夹角角度θb为已知(预设)。感测光T1～T3经由待测物300的表面S1反射至图像传感器130。处理器110可执行如上述运算，以取得感测光T1～T3经由待测物300的表面S1反射而在图像传感器130上成像的成像位置Q1～Q3(或是在感测图像中的投影图案的位置)与发光源120之间的距离L1～L3。接着，处理器110可进一步计算成像位置Q1以及成像位置Q2之间的距离y1以及成像位置Q2及成像位置Q3之间的距离y2。
对此，如图3B所示，参考虚拟侧的感测光T1～T3虚拟光路结果，以及虚拟侧的虚拟成像位置Q1’～Q3’之间的距离y1’、y2’与成像位置Q1～Q3的距离y1、y2相同。因此，当测距装置100(包含发光源120与图像传感器130)与待测物300之间的距离增加，则可推知成像位置Q1～Q3的距离y1、y2也将对应增加。因此，若待测物300的表面S1为曲面(非平面)，则处理器110可依据距离y1来计算投影图案P1、P2之间的一点与图像传感器130之间的距离，并且依据距离y2来计算投影图案P2、P3之间的一点与图像传感器130之间的距离，而可有效取得更精确的待测物300的表面S1的深度信息，例如曲面的深度变化结果，或是测距装置100与待测物300的表面S1的距离Da。
图4A是本发明的一实施例的原始参考图案的示意图。图4B是本发明的一实施例的第一投影图案的示意图。图4C是本发明的一实施例的第二投影图案的示意图。图5是本发明的一实施例的测距装置的操作时序图。参考图1、图4A至图5，在本实施例中，发光源120所投射的投影图案可例如是具有多个条纹图案。先参考图4A，在本实施例中，原始参考图案410可包括多个条纹图案411～416或其他结构光的图案形式。对此，由于待测物的表面可能为非常不规则的表面或粗糙表面等，诸如此类的非平滑表面，而导致发光源120基于原始参考图案410所投射的条纹图案411～416在待测物的表面可能发生条纹图案重叠的情况，因此图像传感器130所取得的感测图像中的多个条纹图案可能无法被正确地辨识其顺序或排列关系等，以至于发生误判的情况。因此，本实施例的测距装置100可将原始参考图案410进行拆解，以分为图4B所示的第一投影图案420以及图4C所示的第二投影图案430。在本实施例中，第一投影图案420可包括条纹图案411、413、415，并且第二投影图案430可包括条纹图案412、414、416。条纹图案411、413、415可为原始参考图案410中的奇数条的条纹图案，并且条纹图案412、414、416可为原始参考图案410中的偶数条的条纹图案。
在本实施例中，发光源120与图像传感器130同步，因此如图5的投影时序TD以及感测时序TS所示，发光源120先在时间t0至时间t1的期间投射第一投影图案420于待测物的表面，并且图像传感器130同时在时间t0至时间t1的期间感测(拍摄)待测物的表面，以可取得对应于第一投影图案420的第一感测图像。接着，发光源120在时间t2至时间t3的期间投射第二投影图案430于待测物的表面，并且图像传感器130同时在时间t2至时间t3的期间感测(拍摄)待测物的表面，以可取得对应于第二投影图案430的第二感测图像。换言之，测距装置100可在一次测距操作中进行两次投射操作以及两次感测(拍摄)操作。
在本实施例中，测距装置100可通过图像传感器130先感测条纹图案411、413、415，并且通过处理器110进行如上述图3A及图3B实施例所述的运算，而取得待测物的表面一部分深度信息。接着，测距装置100可通过图像传感器130感测条纹图案412、414、416，并且通过处理器110进行如上述图3A及图3B的运算，而取得待测物的表面另一部分深度信息。因此，处理器110可合并第一投影图案420以及第二投影图案430的感测结果，而有效取得待测物的表面的完整深度信息。
或者，在一实施例中，处理器110可分别分析第一感测图像以及第二感测图像，以判断条纹图案411、413、415以及条纹图案412、414、416分别在第一感测图像以及第二感测图像中的分布位置以及排列顺序(例如计算图案在图像中的坐标参数)。在本实施例中，处理器110可记录条纹图案411、413、415以及条纹图案412、414、416分别在第一感测图像以及第二感测图像中的分布位置以及排列顺序。并且，处理器110可将第一感测图像以及第二感测图像叠合以产生叠合图像，其中叠合图像包括条纹图案411～416。处理器110可分析叠合图像中的条纹图案411～416的位置关系，以整体性地分析与计算待测物与测距装置100之间的多个距离参数，其中可例如对叠合图像中的条纹图案411～416进行如上述图3A及图3B实施例所述的运算。
图6A是本发明的一实施例的待测物表面具有障碍物的测距操作的示意图。图6B是本发明的另一实施例的待测物表面具有障碍物的测距操作的示意图。测距装置100的处理器110可操作发光源120发射对应于多个投影图像的多个感测光T1～T3至待测物600的表面S2。参考图1以及图6A，测距装置100可对待测物600进行测距操作(或深度感测操作)。如图6A所示，由于待测物600的表面S2可能存有障碍物OP1，而导致发光源120向待测物600的表面S2发射的感测光T2经由障碍物OP1反射而在图像传感器130上成像的成像位置Qb并未介于成像位置Qa、Qc之间，其中成像位置Qa、Qc为感测光T1、T3经由待测物600的表面S2反射而在图像传感器130上成像的成像位置。成像位置Qa与成像位置Qb之间具有距离ya，并且成像位置Qa与成像位置Qc之间具有距离yb。因此，若发光源120同时发射感测光T1～T3，则处理器110无法判断在图像传感器130上成像的成像位置Qa、Qb、Qc的正确顺序。对此，处理器110可能将成像位置Qa误判为对应感测光T2，而将成像位置Qb误判为对应感测光T1。
因此，在本实施例中，测距装置100的处理器110可操作发光源120依序地分时发射感测光T1～T3，以使处理器110可依据图像传感器130对应于感测光T1～T3依序在图像传感器130上的成像位置Qa、成像位置Qb以及成像位置Qc所接收到的多个感测图像来正确地判断成像位置Qa、Qb、Qc的正确顺序。举例而言，若处理器110判断成像位置Qa、Qb、Qc未沿特定方向排列，则处理器110可依其成像顺序以及成像位置来判断出成像位置Qb为异常感测结果，并且处理器110可进而有效地判断所对应的感测光T2可能受到待测物600的表面S2的障碍物OP1影响。因此，处理器110可忽略成像位置Qb的感测结果，而仅利用成像位置Qa、Qc来计算测距装置100与待测物600的距离或待测物600的表面S2的深度信息。
换言之，本实施例的处理器110可依据对应于感测光T1～T3的所述多个投影图案的投射顺序以及所述多个投影图案分别在所述多个感测图像中的位置来判断所述多个感测图像的至少一部分为多个有效感测图像，并且依据所述多个有效感测图像来计算待测物600的深度信息。
参考图1以及图6B，在另一情境中，如图6B所示，由于待测物600的表面S2可能存有障碍物OP1，而导致发光源120向待测物600的表面S2发射的感测光T2经由障碍物OP1反射而在图像传感器130上成像的成像位置Qb’并未介于感测光T1、T3经由待测物600的表面S2反射而在图像传感器130上成像的成像位置Qa’、Qc’之间。成像位置Qa’与成像位置Qc’之间具有距离yc。甚至，感测光T2经反射后，感测光T2无法成像于图像传感器130上。因此，若发光源120同时发射感测光T1～T3，则处理器110无法判断在图像传感器130上成像的成像位置Qa’、Qc’是分别对应于哪一个感测光。对此，处理器110可能将成像位置Qc’误判为对应感测光T2。
因此，在本实施例中，测距装置100的处理器110可操作发光源120依序地分时发射感测光T1～T3，以使处理器110可依据图像传感器130对应于感测光T1、T3依序在图像传感器130上的成像位置Qa以及成像位置Qc所接收到的感测图像来正确地判断成像位置Qa、Qc的正确顺序。举例而言，若处理器110判断图像传感器130未接收到感测光T2，则处理器110可有效地判断感测光T1所对应的感测光T2可能受到待测物600的表面S2的障碍物OP1影响。因此，处理器110可忽略感测光T2的感测结果，而仅利用成像位置Qa、Qc来计算测距装置100与待测物600的距离或待测物600的表面S2的深度信息。
再参考图4A至图4C，上述的感测光的发射方式可适用于图4A至图5。在一范例实施例中，测距装置100的处理器110可操作发光源120可逐一投射条纹图案411～416至待测物的表面，来使图像传感器130逐一进行拍摄，并且处理器110逐一分析条纹图案411～416的投射结果。换言之，测距装置100可在一次测距操作中进行六次投射操作以及六次感测(拍摄)操作。另外，处理器110亦可在判断完成条纹图案411～416的投射结果的多个位置以及排列顺序后，合并多个感测图像，以产生叠合图像。因此，处理器110可通过分析叠合图像来取得待测物的表面的完整深度信息。
或者，在另一范例实施例中，测距装置100的处理器110可操作发光源120先在时间t0至时间t1的期间依序地分时投射第一投影图案420的条纹图案411、413、415，来使图像传感器130逐一进行拍摄，并且处理器110逐一分析条纹图案411、413、415的投射结果。而取得待测物的表面一部分深度信息。接着，测距装置100的处理器110可操作发光源120先在时间t2至时间t3的期间依序地分时投射第二投影图案430的条纹图案第二投影图案412、414、416，来使图像传感器130逐一进行拍摄，并且处理器110逐一分析条纹图案412、414、416的投射结果。而取得待测物的表面一部分深度信息。因此，处理器110可合并第一投影图案420以及第二投影图案430个别的多次感测结果，而有效取得待测物的表面的完整深度信息，并且可有效避免待测物的表面的障碍物所造成测量误判。
综上所述，本发明的测距装置以及测距方法可通过分时投射不同的多个投影图案至待测物的表面，并且同步地感测所述多个投影图案在待测物的表面的投影结果，以取得多个感测图像。本发明的测距装置以及测距方法可通过分别分析所述多个感测图像来准确地取得待测物的深度信息。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种测距装置，其特征在于，包括：
发光源，用以在不同时间投射多个投影图案至待测物的表面；
图像传感器，用以同步于所述多个投影图案的投射时间来感测所述待测物的所述表面，以取得分别对应于所述多个投影图案的多个感测图像；以及
处理器，耦接所述发光源以及所述图像传感器，并且用以分析所述多个感测图像，以决定所述待测物的深度信息，其中所述处理器执行三角函数计算来取得所述深度信息。
2.根据权利要求1所述的测距装置，其特征在于，所述处理器依据所述多个投影图案的投射顺序以及所述多个投影图案分别在所述多个感测图像中的位置来判断所述多个感测图像的至少一部分为多个有效感测图像，并且依据所述多个有效感测图像来计算所述待测物的所述深度信息。
3.根据权利要求1所述的测距装置，其特征在于，所述多个投影图案包括具有多个条纹图案的第一投影图案以及具有另多个条纹图案的第二投影图案，并且所述多个条纹图案与另所述多个条纹图案在原始参考图案中为交错排列。
4.根据权利要求3所述的测距装置，其特征在于，所述处理器依据对应于所述第一投影图案的所述多个条纹图案的第一感测图案来计算所述待测物的部分深度信息，并且所述处理器依据对应于所述第二投影图案的所述多个条纹图案的第二感测图案来计算所述待测物的另一部分深度信息。
5.根据权利要求3所述的测距装置，其特征在于，所述处理器叠合对应于所述第一投影图案的所述多个条纹图案的第一感测图像以及对应于所述第二投影图案的所述多个条纹图案的第二感测图案，以取得叠合图像，并且所述处理器分析所述多个投影图案在所述叠合图像中的位置来决定所述待测物的所述深度信息。
6.根据权利要求1所述的测距装置，其特征在于，所述图像传感器为互补式金属氧化物半导体图像传感器。
7.根据权利要求1所述的测距装置，其特征在于，所述图像传感器以全局式快门的方式来感测图像。
8.根据权利要求1所述的测距装置，其特征在于，所述发光源为红外光发光源。
9.一种测距方法，其特征在于，包括：
通过发光源在不同时间投射多个投影图案至待测物的表面；
通过图像传感器同步于所述多个投影图案的投射时间来感测所述待测物的所述表面，以取得分别对应于所述多个投影图案的多个感测图像；以及
分析所述多个感测图像，以决定所述待测物的深度信息，其中所述深度信息经由执行三角函数计算所产生。
10.根据权利要求9所述的测距方法，其特征在于，分析所述多个感测图像，以决定所述待测物的所述深度信息的步骤包括：
依据所述多个投影图案的投射顺序以及所述多个投影图案分别在所述多个感测图像中的位置来判断所述多个感测图像的至少一部分为多个有效感测图像；以及
依据所述多个有效感测图像来计算所述待测物的所述深度信息。
11.根据权利要求9所述的测距方法，其特征在于，所述多个投影图案包括具有多个条纹图案的第一投影图案以及具有另多个条纹图案的第二投影图案，并且所述多个条纹图案与另所述多个条纹图案在原始参考图案中为交错排列。
12.根据权利要求11所述的测距方法，其特征在于，分析所述多个感测图像，以决定所述待测物的所述深度信息的步骤包括：
依据对应于所述第一投影图案的所述多个条纹图案的第一感测图案来计算所述待测物的部分深度信息；以及
依据对应于所述第二投影图案的所述多个条纹图案的第二感测图案来计算所述待测物的另一部分深度信息。
13.根据权利要求11所述的测距方法，其特征在于，分析所述多个感测图像，以决定所述待测物的所述深度信息的步骤包括：
叠合对应于所述第一投影图案的所述多个条纹图案的第一感测图像以及对应于所述第二投影图案的所述多个条纹图案的第二感测图案，以取得叠合图像；以及
分析所述多个投影图案在所述叠合图像中的位置来决定所述待测物的所述深度信息。
14.根据权利要求9所述的测距方法，其特征在于，所述图像传感器为互补式金属氧化物半导体图像传感器。
15.根据权利要求9所述的测距方法，其特征在于，所述图像传感器以全局式快门的方式来感测图像。
16.根据权利要求9所述的测距方法，其特征在于，所述发光源为红外光发光源。
CN202110176362.6A 2020-07-10 2021-02-09 测距装置以及测距方法 Pending CN113985425A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063050120P 2020-07-10 2020-07-10
US63/050,120 2020-07-10

Publications (1)

Publication Number Publication Date
CN113985425A true CN113985425A (zh) 2022-01-28

Family

ID=79173267

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110176362.6A Pending CN113985425A (zh) 2020-07-10 2021-02-09 测距装置以及测距方法
CN202110196584.4A Active CN113923386B (zh) 2020-07-10 2021-02-22 动态视觉传感器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110196584.4A Active CN113923386B (zh) 2020-07-10 2021-02-22 动态视觉传感器

Country Status (3)

Country Link
US (2) US11343456B2 (zh)
CN (2) CN113985425A (zh)
TW (2) TWI773133B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
US11622092B2 (en) * 2017-12-26 2023-04-04 Pixart Imaging Inc. Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3884321B2 (ja) * 2001-06-26 2007-02-21 オリンパス株式会社 ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
US8446470B2 (en) * 2007-10-04 2013-05-21 Magna Electronics, Inc. Combined RGB and IR imaging sensor
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
JP5132832B1 (ja) * 2011-07-11 2013-01-30 キヤノン株式会社 計測装置および情報処理装置
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
DE102011053219B4 (de) * 2011-09-02 2022-03-03 pmdtechnologies ag Kombiniertes Pixel mit phasensensitivem und farbselektivem Subpixel
KR101854188B1 (ko) * 2011-10-25 2018-05-08 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법
US8946613B2 (en) * 2012-11-07 2015-02-03 Himax Imaging, Inc. Ultra low readout noise architecture having a pixel sensor with dual active pixel sensor pixel and dual ramp line
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
KR20150022231A (ko) * 2013-08-22 2015-03-04 에스케이하이닉스 주식회사 3차원 이미지 센서 모듈 및 이를 이용한 3차원 이미지 구현 방법
TWI485361B (zh) * 2013-09-11 2015-05-21 Univ Nat Taiwan 三維形貌輪廓量測裝置及其方法
US11176655B2 (en) * 2014-01-27 2021-11-16 Cognex Corporation System and method for determining 3D surface features and irregularities on an object
WO2016027397A1 (ja) * 2014-08-20 2016-02-25 パナソニックＩｐマネジメント株式会社 固体撮像装置及びカメラ
US10368056B2 (en) * 2015-06-19 2019-07-30 Shanghai Percipio Technology Limited Depth data detection and monitoring apparatus
KR102544169B1 (ko) * 2015-09-10 2023-06-14 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 모듈, 전자 기기, 및 촬상 장치의 동작 방법
CN105303572B (zh) * 2015-10-26 2018-05-25 西安电子科技大学 基于主被动结合的深度信息获取方法
EP3432574A4 (en) * 2016-03-17 2019-01-23 Sony Corporation IMAGE RECORDING ELEMENT AND ELECTRONIC DEVICE
US10234561B2 (en) * 2016-05-09 2019-03-19 Microsoft Technology Licensing, Llc Specular reflection removal in time-of-flight camera apparatus
KR102527110B1 (ko) * 2016-05-23 2023-05-03 에스케이하이닉스 주식회사 아날로그-디지털 변환 장치 및 그 동작 방법
US10638054B2 (en) * 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US10116925B1 (en) * 2017-05-16 2018-10-30 Samsung Electronics Co., Ltd. Time-resolving sensor using shared PPD + SPAD pixel and spatial-temporal correlation for range measurement
CN108989715B (zh) * 2017-06-01 2021-02-12 飞瑞菲尼克斯公司 图像传感器
CN107370951B (zh) * 2017-08-09 2019-12-27 Oppo广东移动通信有限公司 图像处理***及方法
WO2019041116A1 (zh) * 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
US10741592B2 (en) * 2018-06-07 2020-08-11 Semiconductor Components Industries, Llc Image sensors with multi-photodiode image pixels and vertical transfer gates
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
US11158074B1 (en) * 2018-10-02 2021-10-26 Facebook Technologies, Llc Depth sensing using temporal coding
US10977775B2 (en) * 2018-12-07 2021-04-13 Himax Technologies Limited Depth decoding system and method for ground truth image rectification
CN113272624A (zh) * 2019-01-20 2021-08-17 魔眼公司 包括具有多个通带的带通滤波器的三维传感器
KR20200114860A (ko) * 2019-03-29 2020-10-07 삼성전자주식회사 광각 고해상도 거리 측정 장치
US11418274B2 (en) * 2019-05-02 2022-08-16 Guangzhou Tyrafos Semiconductor Technologies Co., Ltd Multimedia system applying time of flight ranging and operating method thereof
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
US11320537B2 (en) * 2019-12-01 2022-05-03 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system

Also Published As

Publication number Publication date
US11343456B2 (en) 2022-05-24
TW202203443A (zh) 2022-01-16
US20220254044A1 (en) 2022-08-11
CN113923386B (zh) 2023-10-27
TWI793531B (zh) 2023-02-21
TWI773133B (zh) 2022-08-01
US20220014702A1 (en) 2022-01-13
CN113923386A (zh) 2022-01-11
US11638073B2 (en) 2023-04-25
TW202202871A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
JP7191921B2 (ja) Ｔｏｆカメラシステムおよび該システムにより距離を測定するための方法
US11638073B2 (en) Ranging device and ranging methhod
TWI518637B (zh) 用於自二維影像進行三維驗證的方法和機械視覺裝置
US10121246B2 (en) Measurement apparatus that obtains information of a shape of a surface using a corrected image and measurement method
JP7186019B2 (ja) 三次元形状計測装置及び三次元形状計測方法
JP2008241643A (ja) ３次元形状測定装置
WO2022050279A1 (ja) 三次元計測装置
WO2020065850A1 (ja) ３次元測定装置
WO2022222291A1 (zh) 光轴检测***的光轴标定方法、装置、终端、***和介质
JP6116710B2 (ja) 外観検査装置および外観検査方法
US10325377B2 (en) Image depth sensing method and image depth sensing apparatus
US10016862B2 (en) Measurement apparatus, calculation method, system, and method of manufacturing article
JP2007093412A (ja) ３次元形状測定装置
CN112470458B (zh) 距离测定装置及可靠性判定方法
KR101802894B1 (ko) Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템
WO2020066236A1 (ja) 奥行取得装置、奥行取得方法およびプログラム
CN114730010B (zh) 利用飞行时间信息增强基于三角测量的三维距离测量
JP6702234B2 (ja) ３次元測定装置、３次元測定方法、およびプログラム
JP2017198470A (ja) 計測装置、計測方法、システム及び物品の製造方法
EP3217191A1 (en) Distance measuring apparatus and method for measuring a distance
KR20130041440A (ko) 영상 처리 장치 및 방법
KR20200032442A (ko) 자기보정이 가능한 3차원 정보 생성 장치 및 방법
KR101750883B1 (ko) 비전 검사 시스템의 3차원 형상 측정 방법
JP7088232B2 (ja) 検査装置、検査方法、およびプログラム
JP2018179654A (ja) 距離画像の異常を検出する撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination