CN114127509A - 测距***和电子设备 - Google Patents

测距***和电子设备 Download PDF

Info

Publication number
CN114127509A
CN114127509A CN202080052095.5A CN202080052095A CN114127509A CN 114127509 A CN114127509 A CN 114127509A CN 202080052095 A CN202080052095 A CN 202080052095A CN 114127509 A CN114127509 A CN 114127509A
Authority
CN
China
Prior art keywords
event
turn
light source
light
comparator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052095.5A
Other languages
English (en)
Inventor
中川庆
渡边翔太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Sony Group Corp
Original Assignee
Sony Semiconductor Solutions Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp, Sony Group Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114127509A publication Critical patent/CN114127509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一种***包括：处理器；光源，其由所述处理器控制，并且被构造为发射光；和基于事件的视觉传感器，其由所述处理器控制。所述传感器包括多个像素。所述多个像素中的至少一个像素包括：光电传感器，其被构造为检测入射光；和第一电路，其被构造为基于来自所述光电传感器的输出而输出第一信号。所述第一信号表示入射光量的变化。所述传感器还包括比较器，该比较器被构造为基于第一参考电压和第二参考电压中的至少一者以及所述第一信号而输出比较结果。所述处理器被构造为基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压中的一者施加到所述比较器。

Description

测距***和电子设备
相关申请的交叉引用
本申请要求2019年8月27日提交的日本专利申请JP2019-154499的优先权权益，因此将该日本专利申请的全部内容通过引用并入本文。
技术领域
本公开涉及测距***和电子设备。
背景技术
作为用于获取三维(3D)图像(物体表面的深度信息/深度级别信息)并且测量与被摄体相距的距离的***，已经提出了与结构光相关的技术(例如，参见PTL 1)。该技术使用动态投影仪和动态视觉相机。根据与结构光相关的技术，动态投影仪将预定图案的光投射到测量目标/被摄体上，基于由动态视觉相机获得的摄像结果分析图案的失真，并获取深度信息/距离信息。
PTL 1公开了如下技术：该技术使用垂直腔面发射激光器(VCSEL：vertical-cavity surface-emitting laser)作为充当光源的动态投影仪，并且使用称为动态视觉传感器(DVS：dynamic vision sensor)的事件检测传感器作为充当光接收部的动态视觉相机。事件检测传感器是一种将对入射光执行光电转换的像素的亮度变化超过或等于预定阈值检测为事件的传感器。
引用文献列表
专利文献
PTL 1：美国专利公开号US2019/0045173A1
发明内容
技术问题
根据以上列出的PTL 1中所描述的相关技术，如果不能彼此同步地控制动态投影仪和事件检测传感器，则因背景光或投射在被摄体上的图案的变化而产生的事件信息以及因被摄体的运动而产生的事件信息会混合地出现。结果，为了获取因被摄体的运动而产生的事件信息，对事件信息进行处理的应用处理器必须对混合的多条事件信息执行分离处理。然而，PTL 1中所描述的相关技术没有考虑彼此同步地控制动态投影仪和事件检测传感器。
期望提供测距***和包括该测距***的电子设备。该测距***可以输出因被摄体的运动而产生的事件信息而不包括由其他原因产生的事件信息。
解决问题的技术方案
根据本公开的实施方案，提供了一种***，该***包括：处理器；光源，其由所述处理器控制，并且被构造为发射光；和基于事件的视觉传感器，其由所述处理器控制。所述传感器包括多个像素和比较器。所述多个像素中的至少一个像素包括：光电传感器，其被构造为检测入射光；和第一电路，其被构造为基于来自所述光电传感器的输出而输出第一信号。所述第一信号表示入射光量的变化。所述比较器被构造为基于第一参考电压和第二参考电压中的至少一者以及所述第一信号而输出比较结果。所述处理器被构造为基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压中的一者施加到所述比较器。
根据本公开的一个方面，提供了一种***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
根据本公开的一个方面，提供了一种***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
根据本公开的一个方面，提供了一种***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
根据本公开的一个方面，提供了一种***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
根据本公开的一个方面，提供了一种***，其中，所述光源是垂直腔面发射激光器。
根据本公开的一个方面，提供了一种***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
根据本公开的实施方案，提供了一种***，该***包括：图像传感器，其被构造为输出图像信号；光源，其被构造为发射光；和基于事件的视觉传感器，其被构造为输出事件信号。所述基于事件的视觉传感器包括多个像素和比较器。所述多个像素中的至少一个像素包括：光电传感器，其被构造为检测入射光；和第一电路，其基于来自所述光电传感器的输出而输出第一信号。所述第一信号表示入射光量的变化。所述比较器被构造为基于第一参考电压和第二参考电压中的至少一者以及所述第一信号而输出比较结果。所述***还包括：***控制器，其被构造为同步地控制所述基于事件的视觉传感器和所述光源；和处理器。所述处理器被构造为对所述图像信号和所述事件信号进行处理。所述***控制器基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压施加到所述比较器。
根据本公开的一个方面，提供了一种***，其中，所述图像传感器包括RGB相机。
根据本公开的一个方面，提供了一种***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
根据本公开的一个方面，提供了一种***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
根据本公开的一个方面，提供了一种***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
根据本公开的一个方面，提供了一种***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
根据本公开的一个方面，提供了一种***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
根据本公开的一个方面，提供了一种***，其中，所述接通事件数据和所述关断事件数据用于产生深度图。
根据本公开的一个方面，提供了一种***，其中，所述深度图用于识别面部。
根据本公开的一个方面，提供了一种***，其中，在施加所述第一参考电压之前，利用图像传感器检测所述面部。
根据本公开的一个方面，提供了一种***，其中，所述处理器被构造为使用所述深度图和所述图像信号来识别面部。
根据本公开的一个方面，提供了一种***，其中，所述光源是垂直腔面发射激光器。
根据本公开的一个方面，提供了一种***，其中，所述图像传感器由相机控制部控制。
根据本公开的实施方案，提供了一种驱动测距***的方法。该方法包括：基于光源的操作，利用处理器选择性地将第一参考电压和第二参考电压中的一者施加到比较器；和利用所述比较器将所述第一参考电压和所述第二参考电压中的所述一者与由像素的电路输出的第一信号进行比较。所述光源由所述处理器控制，并且被构造为发射光。所述像素是包括在基于事件的视觉传感器内的多个像素中的一个像素。所述像素包括：光电传感器，其被构造为检测入射光；和第一电路，其基于来自所述光电传感器的输出而输出所述第一信号。所述第一信号表示入射光量的变化。
根据本公开的多个方面，提供了一种方法，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
根据本公开的多个方面，提供了一种方法，其中，当将第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
根据本公开的多个方面，提供了一种方法，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
根据本公开的多个方面，提供了一种方法，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
根据本公开的多个方面，提供了一种方法，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
根据本公开的多个方面，提供了一种方法，其中，所述光源是垂直腔面发射激光器。
根据本公开的实施方案，提供了一种测距***，该测距***包括：
光源部，其被构造为向被摄体发射光；
事件检测传感器，其被构造为接收由所述被摄体反射的所述光，并且将像素的亮度变化超过或等于预定阈值检测为事件；和
控制部，其被构造为彼此同步地控制所述光源部和所述事件检测传感器。
另外，根据本公开的实施方案，期望提供一种包括如上所述地构造的测距***的电子设备。
附图说明
图1A是示出了根据本公开的实施方案的测距***的构造的示例的示意图。图1B是示出了电路构造的示例的框图。
图2A是示出了根据本公开的实施方案的测距***中的垂直腔面发射激光器的光源的随机点排列的图。图2B是示出了垂直腔面发射激光器的光源的阵列点排列的图。
图3A是示出了根据阵列点排列的两个光源的组合的图。图3B是用于描述光源的驱动示例1的图。
图4是用于描述光源的驱动示例2的图。
图5是用于描述光源的驱动示例3的图。
图6是示出了根据本公开的实施方案的测距***中的事件检测传感器的构造的示例的框图。
图7是示出了根据电路构造示例1的像素的电路构造的电路图。
图8是示出了根据电路构造示例2的像素的电路构造的电路图。
图9是示出了根据电路构造示例3的像素的电路构造的电路图。
图10是示出了根据电路构造示例4的像素的电路构造的电路图。
图11是示出了根据实施例1的同步控制处理的流程的流程图。
图12是示出了根据实施例2的同步控制处理的流程的流程图。
图13是示出了根据实施例3的同步控制处理的流程的流程图。
图14是示出了根据实施例4的同步控制处理的流程的流程图。
图15A和图15B是示出了根据实施例5的ON像素和OFF像素的像素排列示例(第1部分)的图。
图16A和图16B是示出了根据实施例5的ON像素和OFF像素的像素排列示例(第2部分)的图。
图17是示出了根据实施例6的同步控制处理的流程的流程图。
图18是示出了根据实施例7的同步控制处理的流程的流程图。
图19是示出了根据实施例8的同步控制处理的流程的流程图。
图20是示出了根据实施例9的测距***的电路构造的示例的框图。
图21是示出了根据实施例10的面部认证处理的流程的流程图。
图22是当从正面观察时的根据本公开的实施方案的电子设备的具体示例的智能手机的外观图。
具体实施方式
下面将参考附图详细地描述用于实施根据本公开的技术的实施方案(在下文中称为“实施方案”)。根据本公开的技术不限于这些实施方案。在下面的描述中，彼此相同或相似的数字或符号将指代彼此相同或相似的元件或功能，而不再重复解释。需要注意，将按以下顺序进行描述。
1.根据本公开的实施方案的测距***和电子设备的一般描述
2.根据实施方案的测距***
2-1.***构造
2.2.垂直腔面发射激光器(VCSEL)
2-2-1.随机点排列
2-2-2.阵列点排列
2-3.根据阵列点排列的光源的驱动示例
2-3-1.光源的驱动示例1(在两个光源之间的中间位置处形成强度峰值的示例)
2-3-2.光源的驱动示例2(同时使用事件检测传感器的灵敏度调节的示例)
2-3-3.光源的驱动示例3(当同时驱动两个光源时，在调节两个光源的发光强度以保持强度峰值恒定的同时使峰值位置移动的示例)
2-4.事件检测传感器(DVS)
2-4-1.事件检测传感器的构造示例
2-4-2.像素的电路构造示例
2-4-2-1.电路构造示例1(通过使用单个比较器以分时(Time-Sharing)方式检测接通事件(ON Event)和关断事件(OFFEvent)的示例)
2-4-2-2.电路构造示例2(通过使用两个比较器并行检测接通事件和关断事件的示例)
2-4-2-3.电路构造示例3(通过使用单个比较器仅检测接通事件的示例)
2-4-2-4.电路构造示例4(通过使用单个比较器仅检测关断事件的示例)
2-5.垂直腔面发射激光器和事件检测传感器的同步控制
2-5-1.实施例1(在电路构造示例1的情况下使用的同步控制示例)
2-5-2.实施例2(在电路构造示例2的情况下使用的同步控制示例)
2-5-3.实施例3(在电路构造示例3的情况下使用的同步控制示例)
2-5-4.实施例4(在电路构造示例4的情况下使用的同步控制示例)
2-5-5.实施例5(在像素阵列部包括ON像素和OFF像素两者的情况下使用的像素排列的示例)
2-5-6.实施例6(在实施例5的情况下使用的同步控制示例(第1部分))
2-5-7.实施例7(在实施例5的情况下使用的同步控制示例(第2部分))
2-5-8.实施例8(应用于面部识别的示例)
2-5-9.实施例9(除了事件检测传感器之外还包括RGB相机的示例)
2-5-10.实施例10(应用于面部识别的示例)
3.变形例
4.应用例
5.根据本公开的实施方案的电子设备(智能手机的示例)
6.本公开的实施方案能够具有的构造
<根据本公开的实施方案的测距***和电子设备的一般描述>
在根据本公开的实施方案的测距***和电子设备中，像素可以被构造为具有通过使用单个比较器以分时方式检测接通事件和关断事件的功能，接通事件表示光电流的变化量超过或等于上限阈值，关断事件表示光电流的变化量低于或等于下限阈值。另外，单个比较器可以被构造为接收基于光电流的电压作为第一输入，接收以分时方式提供的用于检测接通事件的电压和用于检测关断事件的电压作为第二输入，并输出第一输入与第二输入之间的比较结果作为接通事件信息和关断事件信息。
在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，控制部被构造为执行比较器的第一输入的全局复位，将比较器的第二输入设定为用于检测接通事件的电压，从光源部向被摄体发射光，将接通事件信息存储在存储器中，将比较器的第二输入设定为用于检测关断事件的电压，停止向被摄体发射光，将关断事件信息存储在存储器中，并将接通事件信息和关断事件信息依次传送到读出电路。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，像素可以被构造为具有通过使用两个比较器并行检测接通事件和关断事件的功能，接通事件表示光电流的变化量超过或等于上限阈值，关断事件表示光电流的变化量低于或等于下限阈值。另外，两个比较器之中的一个比较器可以被构造为接收基于光电流的电压作为第一输入，接收用于检测接通事件的电压作为第二输入，并输出第一输入与第二输入之间的比较结果作为接通事件信息，而两个比较器之中的另一个比较器可以被构造为接收基于光电流的电压作为第一输入，接收用于检测关断事件的电压作为第二输入，并输出第一输入与第二输入之间的比较结果作为关断事件信息。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，控制部可以被构造为执行比较器的第一输入的全局复位，从光源部向被摄体发射光，将接通事件信息存储在存储器中，停止向被摄体发射光，将关断事件信息存储在存储器中，并将接通事件信息和关断事件信息依次传送到读出电路。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，像素可以被构造为具有通过使用单个比较器检测接通事件的功能，接通事件表示光电流的变化量超过或等于上限阈值。另外，单个比较器可以被构造为接收基于光电流的电压作为第一输入，接收用于检测接通事件的电压作为第二输入，并输出第一输入与第二输入之间的比较结果作为接通事件信息。另外，控制部可以被构造为执行比较器的第一输入的全局复位，从光源部向被摄体发射光，将接通事件信息存储在存储器中，并将接通事件信息依次传送到读出电路。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，像素可以被构造为具有通过使用单个比较器检测关断事件的功能，关断事件表示光电流的变化量低于或等于下限阈值。另外，单个比较器可以被构造为接收基于光电流的电压作为第一输入，接收用于检测关断事件的电压作为第二输入，并输出第一输入与第二输入之间的比较结果作为关断事件信息。另外，控制部可以被构造为执行比较器的第一输入的全局复位，从光源部向被摄体发射光，将连接在比较器的第一输入端子与输出端子之间的复位开关接通，停止向被摄体发射光，将关断事件信息存储在存储器中，然后将关断事件信息依次传送到读出电路。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，事件检测传感器的像素阵列部可以包括第一像素和第二像素两者，第一像素具有使用比较器并检测表示光电流的变化量超过或等于上限阈值的接通事件的功能，第二像素具有使用比较器并检测表示光电流的变化量低于或等于下限阈值的关断事件的功能。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，控制部可以被构造为首先执行包括第一像素和第二像素的所有像素的全局复位，从光源部向被摄体发射光，将由第一像素检测到的接通事件信息存储在存储器中，将连接在第二像素的比较器的第一输入端子与输出端子之间的复位开关接通，停止向被摄体发射光，将由第二像素检测到的关断事件信息存储在存储器中，将接通事件信息和关断事件信息依次传送到读出电路，然后执行比较器的第一输入的全局复位。
可替代地，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，控制部可以被构造为首先执行包括第一像素和第二像素的所有像素的全局复位，从光源部向被摄体发射光，将由第一像素检测到的接通事件信息存储在存储器中，将接通事件信息依次传送到读出电路，将连接在第二像素的比较器的第一输入端子与输出端子之间的复位开关接通，停止向被摄体发射光，将由第二像素检测到的关断事件信息存储在存储器中，将关断事件信息依次传送到读出电路，然后执行比较器的第一输入的全局复位。
另外，在根据本公开的实施方案的包括上述有利构造的测距***和电子设备中，光源部可以包括面发射半导体激光器。有利的面发射半导体激光器是垂直腔面发射激光器。另外，垂直腔面发射激光器可以被构造为将预定图案的光投射到被摄体上。
根据本公开的另一实施方案的测距***包括：
光源部，其被构造为向被摄体发射光；
事件检测传感器，其被构造为接收由被摄体反射的光，并且将像素的亮度变化超过或等于预定阈值检测为事件；
摄像部，其被构造为拍摄被摄体的图像，并且产生图像信号；
处理器，其被构造为对由事件检测传感器产生的事件信号进行处理，并且基于来自摄像部的图像信号提取感兴趣区域；和
控制部，其被构造为彼此同步地控制光源部和事件检测传感器，并且控制摄像部。
另外，根据本公开的另一实施方案的电子设备包括如上所述地构造的测距***。
在根据本公开的另一实施方案的包括上述构造的测距***和电子设备中，处理器可以被构造为具有基于事件信号获取测距信息并且基于图像信号在感兴趣区域中执行图案匹配的功能。另外，处理器还可以被构造为具有基于所获取的测距信息和图案匹配对用户执行面部认证的功能。
<根据实施方案的测距***>
根据本公开的实施方案的测距***是使用与结构光相关的技术来测量与被摄体相距的距离的***。另外，还可以使用根据本公开的实施方案的测距***作为获取三维(3D)图像的***。在这种情况下，可以将这样的***称为三维图像获取***。根据与结构光相关的技术，可以通过使用图案匹配来识别点图像的坐标并识别该点图像是从哪个光源(所谓的点光源)投射的，从而执行测距。
(***构造)
图1A是示出了根据本公开的实施方案的测距***的构造的示例的示意图。图1B是示出了电路构造的示例的框图。
根据本实施方案的测距***使用诸如垂直腔面发射激光器(VCSEL)10等面发射半导体激光器作为光源部，并且使用称为DVS的事件检测传感器20作为光接收部。如本文中所使用的，也可以将DVS称为基于事件的视觉传感器。垂直腔面发射激光器(VCSEL)10将预定图案的光投射到被摄体上。除了垂直腔面发射激光器10和事件检测传感器20之外，根据本实施方案的测距***1还包括***控制部30、光源驱动部40、传感器控制部50、光源侧光学***60和相机侧光学***70。
稍后将详细地描述垂直腔面发射激光器(VCSEL)10和事件检测传感器(DVS)20。***控制部30例如由处理器(例如，CPU)实现。***控制部30通过光源驱动部40驱动垂直腔面发射激光器10，并且通过传感器控制部50驱动事件检测传感器20。更具体地，***控制部30彼此同步地控制垂直腔面发射激光器10和事件检测传感器20。稍后将描述在***控制部30的控制下彼此同步地控制垂直腔面发射激光器10和事件检测传感器20的具体示例。
在根据本实施方案的如上所述地构造的测距***1中，垂直腔面发射激光器10发射预定图案的光，并且预定图案的光穿过光源侧光学***60并投射到被摄体(测量目标)100上。被摄体100反射所投射的光。随后，由被摄体100反射的光穿过相机侧光学***70并进入事件检测传感器20。事件检测传感器20接收由被摄体100反射的光，并且将像素的亮度变化超过或等于预定阈值检测为事件。由事件检测传感器20检测到的事件信息被供应给测距***1外部的应用处理器200。应用处理器200对由事件检测传感器20检测到的事件信息执行预定处理。
(垂直腔面发射激光器(VCSEL))
(随机点排列)
根据与结构光相关的技术，为了识别点图像的坐标并识别该点图像是从哪个光源(点光源)投射的，考虑仿射变换的图案匹配是必要的。为了实现考虑了仿射变换的图案匹配，如图2A所示，垂直腔面发射激光器10的光源11特别地以不重复的方式排列。这种排列是以其空间方向为特征的所谓的随机点排列。
关于垂直腔面发射激光器10的光源11的排列，随机点排列也适用于根据本实施方案的测距***1。然而，在随机点排列的情况下，难以在保持光源11的排列图案的特异性以便识别光源的同时增加光源11的数量。因此，可能无法改善基于光源11的数量而决定的距离图像的分辨率。这里，“距离图像”是用于获得关于与被摄体相距的距离的信息的图像。
(阵列点排列)
因此，根据本实施方案的测距***1使用所谓的阵列点排列作为垂直腔面发射激光器10的光源11的排列。根据阵列点排列，如图2B所示，光源11以恒定间距二维地排列成阵列状(矩阵状)。对于垂直腔面发射激光器10和事件检测传感器20组合的根据本实施方案的测距***1而言，在不随机地排列光源11的情况下，通过依次打开垂直腔面发射激光器10的光源11并检查由事件检测传感器20记录的事件的时间戳(时间信息)，很容易识别哪个光源11投射了图像。
在阵列点排列的情况下，与随机点排列的情况相比，可以增加光源11的数量。因此，可以改善基于光源(点)11的数量而决定的距离图像的分辨率。通过修改垂直腔面发射激光器10的阵列点排列中的光源11的驱动并且还表征时间轴方向，根据本实施方案的测距***1可以根据基于光源11的数量而决定的分辨率来进一步改善距离图像的分辨率。
(根据阵列点排列的光源的驱动示例)
在驱动垂直腔面发射激光器10的阵列点排列中的光源11的情况下，以阵列点排列中相邻的两个光源11和11为单位进行驱动。如图3A所示，相邻的两个光源11和11的组合的示例可以包括在行方向(X方向)上相邻的两个光源11和11a的组合A、在列方向(Y方向)上相邻的两个光源11和11的组合B以及在倾斜方向上相邻的两个光源11和11的组合C。
(光源的驱动示例1)
这里，以在行方向上相邻的两个光源11和11的组合A的情况为例，将基于组合A的光源的驱动作为光源的驱动示例1进行描述。图3B是用于描述光源的驱动示例1的图。在***控制部30的控制下，由光源驱动部40驱动光源11。这同样适用于下述的各种驱动示例。
驱动示例1是如下示例：其中，同时驱动相邻的两个光源11和11发射光，并且在驱动光源11和11独立地发射光的期间内的中间位置处形成强度峰值。这里，措辞“中间位置”具有严格中间位置的含义和大致中间位置的含义。在设计或制造中出现各种变化是允许的。另外，在驱动示例1中，假设两个光源11和11的发光强度是相同的。这里，措辞“相同”具有严格相同的情况的含义和大致相同的情况的含义。在设计或制造中出现各种变化是允许的。
关于在行方向(X方向)上相邻的两个光源11和11，在时刻t1，驱动第一个光源11(图3A中位于左侧的光源)发射光(点亮)，在时刻t2，同时驱动两个光源11和11发射光(两点发光驱动)，随后在时刻t3，驱动第二个光源11(图3A中位于右侧的光源)发射光。换句话说，在***控制部30的控制下，在驱动两个光源11和11独立地发射光的时刻t1与时刻t3之间的时间段内，即，在两个光源11和11之间的时间段内，有利地在该时间段的中间位置处，同时驱动两个光源11和11发射光(在时刻t2)。
这里，将同时驱动两个光源11和11发射光的时刻t2设定为时刻t1与时刻t3之间的中间时刻，即，在行方向(X方向)上的第一个光源11的强度峰值位置与第二个光源11的强度峰值位置之间的中间位置处的时刻。因此，在驱动第一个光源11发射光时获得的峰值位置和在两点发光驱动时获得的峰值位置之间的间隔为间隔d，该间隔d与在两点发光驱动时获得的峰值位置和在驱动第二个光源11发射光时获得的峰值位置之间的间隔相同。
如上所述，在驱动示例1中，以相邻的两个光源11和11为单位进行驱动，并且除了驱动两个光源11和11独立地发射光的操作之外，还执行同时驱动两个光源11和11发射光的操作(在该示例中，在驱动光源独立地发射光的时序之间的时间段内，同时驱动两个光源11和11发射光的操作)。因此，可以在与驱动两个光源11和11独立地发射光的情况不同的位置(在该示例中，在两个光源11和11之间的期间内的中间位置)处形成强度峰值。这种驱动除了表征空间方向之外还可以表征时间轴方向。因此，可以在保持光源11的排列图案的特异性以便识别光源的同时改善用于获得关于与被摄体相距的距离的信息的距离图像的分辨率，而无需增加光源11的数量。
需要注意，在驱动示例1中，将用作驱动单位的两个光源11和11设定为具有相同的发光强度。然而，也可以调节两个光源11和11中的一者或两者的发光强度。
另外，驱动示例1描述了以两个光源11和11的组合A为例的情况。即使在组合B或组合C的情况下，通过以与驱动示例1的情况类似的方式驱动光源11，也基本上可以在保持光源11的排列图案的特异性以便识别光源的同时改善距离图像的分辨率，而无需增加光源11的数量。这同样适用于下述的各种驱动示例。
(光源的驱动示例2)
驱动示例2是在两个光源11和11的组合A的情况下，同时使用事件检测传感器(DVS)20的灵敏度调节的示例。这里，为了方便描述，将在行方向(X方向)上相邻的两个光源11和11之中的第一个光源11(在图3A中位于左侧)称为光源1，并且将第二个光源11(在图3A中位于右侧)称为光源2。
图4是用于描述光源的驱动示例2的图。在图4中，光源1的电流由虚线表示，光源2的电流由点线表示。另外，事件检测传感器(DVS)20的灵敏度由实线表示。在驱动示例2中，以与驱动示例1类似的方式，将两个光源1和2设定为具有相同的发光强度。然而，也可以调节两个光源1和2中的一者或两者的发光强度。
在驱动示例2中，在时间段T1内，驱动光源1发射光，在随后的时间段T2内，驱动光源2发射光。因此，光源1和光源2可以在时间段T2内同时发射光。通过同时从光源1和光源2发射光，可以使时间段T2内的强度峰值提高到大于仅从光源1发射光的情况(其与驱动示例1的情况相同)。
接下来，在时间段T2内，以时间段T2内的灵敏度变得低于在仅光源1发射光时(在时间段T1内)获得的灵敏度的方式来控制事件检测传感器(DVS)20的灵敏度。用于调节事件检测传感器20的灵敏度的这种控制是在***控制部30(参见图1)的控制下执行的。这里，当事件检测传感器20对更多的入射光作出反应时，事件检测传感器20的灵敏度变低。
接下来，在时间段T3内，驱动光源1停止发射光，因此提高了事件检测传感器20的灵敏度。此时，有利地，将事件检测传感器20的灵敏度恢复至在同时驱动光源1和光源2发射光之前获得的灵敏度，即，与在仅光源1发射光时(在时间段T1内)获得的灵敏度相同的灵敏度。这里，措辞“相同的灵敏度”具有如下含义：它们具有完全相同的灵敏度的情况的含义和它们具有大致相同的灵敏度的情况的含义。在设计或制造中出现各种变化是允许的。
如上所述，在驱动示例2中，在同时驱动两个光源1和2发射光的时间段T2内将事件检测传感器20的灵敏度设定为比在仅光源1发射光时获得的灵敏度低的灵敏度的情况下，可以通过驱动两个光源1和2发射光来形成关于事件检测传感器20的三个反应位置。这种驱动除了表征空间方向之外还可以表征时间轴方向。因此，可以在保持光源11的排列图案的特异性以便识别光源的同时改善距离图像的分辨率，而无需增加光源11的数量。
(光源的驱动示例3)
驱动示例3是如下示例：在两个光源11和11的组合A的情况下，当同时驱动两个光源11和11时，调节两个光源11和11的发光强度以获得恒定的强度峰值并且使峰值位置移动。这里，措辞“恒定的强度峰值”具有强度峰值完全恒定的情况的含义和强度峰值大致恒定的情况的含义。在设计或制造中出现各种变化是允许的。
同样，在驱动示例3中，为了方便描述，将在行方向上相邻的两个光源11和11之中的第一个光源11(在图3A中位于左侧)称为光源1，并且将第二个光源11(在图3A中位于右侧)称为光源2。
图5是用于描述光源的驱动示例3的图。在图5中，光源1的电流由虚线表示，光源2的电流由点线表示。另外，在仅光源1或光源2发射光时获得的强度波形以及在光源1和2同时发射光时获得的强度波形由实线表示。在驱动示例3的情况下，假设事件检测传感器(DVS)20的灵敏度是恒定的。
在驱动示例3中，例如，以光源1的发光强度逐渐变低并且光源2的发光强度与光源1的发光强度的降低同步地逐渐变高的方式驱动光源1和2。因此，当在仅从光源1发射光(停止发射光)之后且仅从光源2发射光之前的时间段内光源1和光源2同时发射光时，可以获得恒定的强度峰值。通过这种驱动，可以在保持恒定的强度峰值的同时，使峰值位置(一点一点地)移动(偏移)预定量。
如上所述，在驱动示例3中，当光源1和光源2同时发射光时，通过以调节光源1和光源2两者的发光强度以便获得恒定的强度峰值的方式控制和驱动两个光源1和2发射光，可以形成关于事件检测传感器20的更多个反应位置。这种驱动除了表征空间方向之外还可以表征时间轴方向。因此，可以在保持光源11的排列图案的特异性以便识别光源的同时改善距离图像的分辨率，而无需增加光源11的数量。
需要注意，驱动示例1至3基于两个光源11和11的组合A以仅驱动光源1发射光、驱动光源1和光源2同时发射光和仅驱动光源2发射光的情况为例进行了描述。这同样适用于后续过程。换句话说，例如，以仅光源2发射光、光源2和光源3同时发射光、仅光源3发射光、光源3和光源4同时发射光以及仅光源4发射光等的方式重复驱动光源发射光。
另外，选择性地采用相邻的两个光源11和11的组合A、组合B或组合C中的任一者。可替代地，也可以将这些组合结合在一起。当采用组合A时，可以改善行方向(水平方向)的分辨率。当采用组合B时，可以改善列方向(垂直方向)的分辨率。当采用组合C时，可以改善倾斜方向的分辨率。
(事件检测传感器(DVS))
接下来，将描述事件检测传感器20。
(事件检测传感器的构造示例)
图6是示出了根据本公开的实施方案的如上所述地构造的测距***1中的事件检测传感器20的构造的示例的框图。
根据该示例的事件检测传感器20包括像素阵列部22，在该像素阵列部22中，多个像素21以矩阵状(以阵列状)二维地排列。多个像素21分别产生具有与用作通过光电转换产生的电信号的光电流相对应的电压的模拟信号作为像素信号，并且输出该模拟信号。另外，多个像素21分别基于与入射光的亮度相对应的光电流的变化是否超过或等于预定阈值来检测是否发生了事件。换句话说，多个像素21分别将亮度变化超过或等于预定阈值检测为事件。
除了像素阵列部22之外，事件检测传感器20还包括作为像素阵列部22的周边电路部的驱动部23、仲裁器部(仲裁部)24、列处理部25和信号处理部26。
当检测到事件时，多个像素21分别向仲裁器部24输出请求。该请求要求输出表示事件发生的事件数据。接下来，多个像素21在接收到来自仲裁器部24的响应时分别将事件数据输出到驱动部23和信号处理部26。该响应表示允许输出事件数据。另外，检测到事件的像素21将通过光电转换产生的模拟像素信号输出到列处理部25。
驱动部23驱动像素阵列部22中的各个像素21。例如，驱动部23检测事件，驱动已经输出事件数据的像素21，并使像素21的模拟像素信号输出到列处理部25。
仲裁器部24对要求输出从各个像素21供应的多条事件数据的请求进行仲裁，并且将基于仲裁结果(是否允许输出多条事件数据)的响应和用于复位事件检测的复位信号传送到像素21。
列处理部25包括模数转换部，该模数转换部包括针对例如像素阵列部22中的各像素列安装的一组模数转换器。例如，模数转换器的示例包括单斜率模数转换器、逐次逼近模数转换器和delta-sigma调制(ΔΣ调制)模数转换器。
列处理部25针对像素阵列部22中的各像素列执行将从列中的像素21输出的模拟像素信号转换为数字信号的处理。列处理部25还可以对数字化像素信号执行相关双采样(CDS：correlated double sampling)处理。
信号处理部26对从列处理部25供应的数字化像素信号和从像素阵列部22输出的事件数据执行预定的信号处理，并且输出经过了信号处理的事件数据和像素信号。
如上所述，也可以将由像素21产生的光电流的变化认为是进入像素21的光的光量变化(亮度变化)。因此，可以说，事件可以是超过或等于预定阈值的像素21的光量变化(亮度变化)。表示事件发生的事件数据至少包括位置信息，诸如表示发生作为事件的光量变化的像素21的位置的坐标等。除了位置信息之外，事件数据还可以包括光量变化的极性。
关于在事件发生时的时序从像素21输出的一系列事件数据，可以说，事件数据隐含地包括表示事件发生时的相对时间的时间信息，只要将多条事件数据之间的间隔保持为与事件发生时的间隔一样。
然而，如果未将多条事件数据之间的间隔保持为与事件发生时的间隔一样，则隐含地包括在事件数据中的时间信息将丢失。其原因之一是，多条事件数据存储在例如存储器中。因此，在未将多条事件数据之间的间隔保持为与事件发生时的间隔一样之前，信号处理部26在事件数据中包括表示事件发生时的相对时间的时间信息，诸如时间戳等。
(像素的电路构造示例)
接下来，将描述像素21的具体电路构造示例。像素21具有将亮度变化超过或等于预定阈值检测为事件的事件检测功能。
像素21基于光电流的变化量是否超过或等于预定阈值来检测是否发生了事件。事件的示例包括接通事件和关断事件。接通事件表示光电流的变化量超过或等于上限阈值。关断事件表示变化量低于或等于下限阈值。另外，表示事件发生的事件数据(事件信息)包括例如表示接通事件的检测结果的位和表示关断事件的检测结果的位。需要注意，像素21也可以以这样的方式构造：像素21具有仅检测接通事件的功能，或者像素21具有仅检测关断事件的功能。
<<电路构造示例1>>
电路构造示例1是通过使用单个比较器以分时方式检测接通事件和关断事件的示例。图7示出了根据电路构造示例1的像素21的电路图。根据电路构造示例1的像素21具有包括光接收元件211、光接收电路212、存储电容213、比较器214、复位电路215、反相器216和输出电路217的电路构造。像素21在传感器控制部50的控制下检测接通事件和关断事件。
光接收元件211的第一电极(阳极电极)连接到光接收电路212的输入端口。光接收元件211的第二电极(阴极电极)连接到作为参考电位节点的接地节点。光接收元件211对入射光执行光电转换，并且产生与光强度(光量)相对应的电荷量的电荷。另外，光接收元件211将所产生的电荷转换为光电流Iphoto。
光接收电路212将光电流Iphoto转换为电压Vpr。光电流Iphoto由光接收元件211检测并且对应于光强度(光量)。这里，通常，光强度与电压Vpr之间的关系是对数关系。换句话说，光接收电路212将光电流Iphoto转换为电压Vpr。光电流Iphoto对应于发射到光接收元件211的光接收面的光强度。电压Vpr是对数函数。然而，光电流Iphoto与电压Vpr之间的关系不限于对数关系。
从光接收电路212输出的与光电流Iphoto相对应的电压Vpr通过存储电容213，并且作为电压Vdiff成为反相(-)输入，该反相输入是比较器214的第一输入。通常，比较器214由差分对晶体管实现。比较器214接收由传感器控制部50提供的阈值电压Vb作为非反相(+)输入，该非反相输入是第二输入。另外，比较器214以分时方式检测接通事件和关断事件。另外，在检测接通事件和关断事件之后，复位电路215复位像素21。
以分时方式，传感器控制部50在检测接通事件的阶段输出电压Von作为阈值电压Vb，在检测关断事件的阶段输出电压Voff，并且在执行复位的阶段输出电压Vreset。将电压Vreset设定为电压Von与电压Voff之间的值，并且有利地设定为电压Von与电压Voff之间的中间值。这里，措辞“中间值”具有严格中间值的含义和大致中间值的含义。在设计或制造中出现各种变化是允许的。
另外，传感器控制部50在检测接通事件的阶段将接通选择信号(ON selectionsignal)输出到像素21，在检测关断事件的阶段将关断选择信号(OFF selection signal)输出到像素21，并且在执行复位的阶段将全局复位信号输出到像素21。接通选择信号作为控制信号被提供给***在反相器216与输出电路217之间的选择开关SWon。关断选择信号作为控制信号被提供给***在比较器214与输出电路217之间的选择开关SWoff。
在检测接通事件的阶段，比较器214将电压Von与电压Vdiff进行比较。当电压Vdiff超过或等于电压Von时，比较器214输出接通事件信息On作为比较结果。接通事件信息On表示光电流Iphoto的变化量超过或等于上限值。接通事件信息On由反相器216反相，通过选择开关SWon，并被供应给输出电路217。
在检测关断事件的阶段，比较器214将电压Voff与电压Vdiff进行比较。当电压Vdiff低于电压Voff时，比较器214输出关断事件信息Off作为比较结果。关断事件信息Off表示光电流Iphoto的变化量低于下限值。关断事件信息Off通过选择开关SWoff，并被供应给输出电路217。
复位电路215包括复位开关SWRS、两输入OR门2151和两输入AND门2152。复位开关SWRS连接在比较器214的反相(-)输入端子与输出端子之间。当复位开关SWRS接通(闭合)时，复位开关SWRS选择性地使反相输入端子与输出端子之间短路。
OR门2151接收已经通过选择开关SWon的接通事件信息On和已经通过选择开关SWoff的关断事件信息Off作为两个输入。AND门2152接收来自OR命运2151的输出信号作为一个输入，接收由传感器控制部50提供的全局复位信号作为另一个输入，并检测接通事件信息On和关断事件信息Off中的一者。当全局复位信号处于激活状态时，AND门2152使复位开关SWRS接通(闭合)。
如上所述，当来自AND门2152的输出信号变为激活状态时，复位开关SWRS使比较器214的反相输入端子与输出端子之间短路，并且对像素21执行全局复位。因此，可以仅对检测到事件的像素21执行复位操作。
输出电路217包括关断事件输出晶体管NM1、接通事件输出晶体管NM2和电流源晶体管NM3。关断事件输出晶体管NM1包括用于在其栅极中存储关断事件信息Off的存储器(未示出)。该存储器由关断事件输出晶体管NM1的栅极寄生电容实现。
以与关断事件输出晶体管类似的方式，接通事件输出晶体管NM2包括用于在其栅极中存储接通事件信息On的存储器(未示出)。该存储器由接通事件输出晶体管NM2的栅极寄生电容实现。
在读出阶段，当传感器控制部50向电流源晶体管NM3的栅极电极提供行选择信号时，针对像素阵列部22中的各像素行，存储在关断事件输出晶体管NM1的存储器中的关断事件信息Off和存储在接通事件输出晶体管NM2的存储器中的接通事件信息On经由输出线nRxOff和输出线nRxOn传送到读出电路80。读出电路80可以是例如安装在信号处理部26(参见图6)中的电路。
如上所述，根据电路构造示例1，像素21以这样的方式构造：像素21具有在传感器控制部50的控制下，通过使用单个比较器214以分时方式检测接通事件和关断事件的事件检测功能。
<<电路构造示例2>>
电路构造示例2是通过使用两个比较器并行(同时)检测接通事件和关断事件的示例。图8示出了根据电路构造示例2的像素21的电路图。
如图8所示，根据电路构造示例2的像素21以这样的方式构造：像素21包括用于检测接通事件的比较器214A和用于检测关断事件的比较器214B。如上所述，当使用两个比较器214A和214B来检测事件时，可以并行实施接通事件检测操作和关断事件检测操作。结果，可以更快地实施接通事件检测操作和关断事件检测操作。
通常，用于检测接通事件的比较器214A由差分对晶体管实现。比较器214A接收与光电流Iphoto相对应的电压Vdiff作为充当第一输入的非反相(+)输入，接收用作阈值电压Vb的电压Von作为充当第二输入的反相(-)输入，并且输出接通事件信息On作为非反相(+)输入与反相(-)输入之间的比较结果。通常，用于检测关断事件的比较器214B也由差分对晶体管实现。比较器214B接收与光电流Iphoto相对应的电压Vdiff作为充当第一输入的反相输入，接收用作阈值电压Vb的电压Voff作为充当第二输入的非反相输入，并且输出关断事件信息Off作为反相输入与非反相输入之间的比较结果。
选择开关SWon连接在比较器214A的输出端子与输出电路217的接通事件输出晶体管NM2的栅极电极之间。选择开关SWoff连接在比较器214B的输出端子与输出电路217的关断事件输出晶体管NM1的栅极电极之间。选择开关SWon和选择开关SWoff通过从传感器控制部50输出的采样信号被控制为接通(闭合)/关断(断开)。
作为比较器214A的比较结果的接通事件信息On经由选择开关SWon存储在接通事件输出晶体管NM2的栅极的存储器中。用于存储接通事件信息On的存储器由接通事件输出晶体管NM2的栅极寄生电容实现。作为比较器214B的比较结果的关断事件信息Off经由选择开关SWoff存储在关断事件输出晶体管NM1的栅极的存储器中。用于存储关断事件Off的存储器由关断事件输出晶体管NM1的栅极寄生电容实现。
当传感器控制部50向电流源晶体管NM3的栅极电极提供行选择信号时，针对像素阵列部22中的各像素行，存储在接通事件输出晶体管NM2的存储器中的接通事件信息On和存储在关断事件输出晶体管NM1的存储器中的关断事件信息Off经由输出线nRxOn和输出线nRxOff传送到读出电路80。
如上所述，根据电路构造示例2，像素21以这样的方式构造：像素21具有在传感器控制部50的控制下，通过使用两个比较器214A和214B并行(同时)检测接通事件和关断事件的事件检测功能。
<<电路构造示例3>>
电路构造示例3是仅检测接通事件的示例。图9示出了根据电路构造示例3的像素21的电路图。
根据电路构造示例3的像素21包括单个比较器214。比较器214接收与光电流Iphoto相对应的电压Vdiff作为充当第一输入的反相(-)输入，接收由传感器控制部50提供的用作阈值电压Vb的电压Von作为充当第二输入的非反相(+)输入，将反相(-)输入与非反相(+)输入进行比较，并且输出接通事件信息On作为比较结果。这里，将n型晶体管用作用于实现比较器214的差分对晶体管。因此，可以省略在电路构造示例1(参见图7)中使用的反相器216。
作为比较器214的比较结果的接通事件信息On存储在接通事件输出晶体管NM2的栅极的存储器中。用于存储接通事件信息On的存储器由接通事件输出晶体管NM2的栅极寄生电容实现。当传感器控制部50向电流源晶体管NM3的栅极电极提供行选择信号时，针对像素阵列部22中的各像素行，存储在接通事件输出晶体管NM2的存储器中的接通事件信息On经由输出线nRxOn传送到读出电路80。
如上所述，根据电路构造示例3，像素21以这样的方式构造：像素21具有在传感器控制部50的控制下，通过使用单个比较器214仅检测接通事件的事件检测功能。
<<电路构造示例4>>
电路构造示例4是仅检测关断事件的示例。图10示出了根据电路构造示例4的像素21的电路图。
根据电路构造示例4的像素21包括单个比较器214。比较器214接收与光电流Iphoto相对应的电压Vdiff作为充当第一输入的反相(-)输入，接收由传感器控制部50提供的用作阈值电压Vb的电压Voff作为充当第二输入的非反相(+)输入，将反相(-)输入与非反相(+)输入进行比较，并且输出关断事件信息Off作为比较结果。能够将p型晶体管用作用于实现比较器214的差分对晶体管。
作为比较器214的比较结果的关断事件信息Off存储在关断事件输出晶体管NM1的栅极的存储器中。用于存储关断事件Off的存储器由关断事件输出晶体管NM1的栅极寄生电容实现。当传感器控制部50向电流源晶体管NM3的栅极电极提供行选择信号时，针对像素阵列部22中的各像素行，存储在关断事件输出晶体管NM1的存储器中的关断事件信息Off经由输出线nRxOff传送到读出电路80。
如上所述，根据电路构造示例4，像素21以这样的方式构造：像素21具有在传感器控制部50的控制下，通过使用单个比较器214仅检测关断事件信息Off的事件检测功能。需要注意，根据图10所示的电路构造，尽管复位开关SWRS由来自AND门2152的输出信号控制，但是也可以由全局复位信号直接控制复位开关SWRS。
(垂直腔面发射激光器和事件检测传感器的同步控制)
在本实施方案中，在使用包括上述的根据电路构造示例1、电路构造示例2、电路构造示例3或电路构造示例4构造的像素21的事件检测传感器20的测距***1中，在***控制部30的控制下彼此同步地控制垂直腔面发射激光器10和事件检测传感器20。
通过彼此同步地控制垂直腔面发射激光器10和事件检测传感器20，可以输出因被摄体的运动而产生的事件信息而不包括由其他原因产生的事件信息。因被摄体的运动而产生的事件信息以外的事件信息的示例可以包括因背景光或投射在被摄体上的图案的变化而产生的事件信息。通过输出因被摄体的运动而产生的事件信息而不包括由其他原因产生的事件信息，可以可靠地获取因被摄体的运动而产生的事件信息，并且可以省略由对事件信息进行处理以分离混合的多条事件信息的应用处理器执行的处理。
接下来，将描述在***控制部30的控制下控制垂直腔面发射激光器10和事件检测传感器20的具体示例。在图1B所示的***控制部30的控制下，通过光源驱动部40和传感器控制部50执行同步控制。换句话说，可以说，在本公开的实施方案中描述的措辞“控制部”是指在***控制部30的控制下操作的光源驱动部40和传感器控制部50。
(实施例1)
实施例1是在根据电路构造示例1(换句话说，通过使用单个比较器以分时方式检测接通事件和关断事件的示例)构造像素21的情况下使用的同步控制示例。图11示出了根据实施例1的同步控制处理的流程图。可以例如利用如下***来执行图11所示的流程图：该***包括构造为输出图像信号的图像传感器、构造为发射光的光源(诸如垂直腔面发射激光器10等)和构造为输出事件信号的基于事件的视觉传感器。基于事件的视觉传感器可以包括多个像素和一个比较器214。多个像素之中的一个以上像素可以包括构造为检测入射光的光电传感器和构造为基于来自光电传感器的输出而输出第一信号的第一电路。第一信号可以表示入射光量的变化。比较器214可以构造为基于第一参考电压和第二参考电压中的至少一者以及第一信号而输出比较结果。***控制器或传感器控制部50可以构造为同步地控制基于事件的视觉传感器和光源。处理器可以构造为对图像信号和事件信号进行处理。***控制器可以基于光源的操作选择性地将第一参考电压和第二参考电压施加到比较器。
传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位，并且将作为比较器214的非反相输入的阈值电压Vb设定为用于检测接通事件的电压Von(步骤S11)。
电压Vdiff的全局复位可以在将事件信息传送到读出电路80之后执行。需要注意，电压Vdiff的全局复位是通过在图7所示的复位电路215中接通(闭合)复位开关SWRS来执行的。这同样适用于下述的各种实施例。
接下来，作为光源部的垂直腔面发射激光器10向被摄体(测量目标)发射预定图案的光(步骤S12)。垂直腔面发射激光器10在***控制部30的控制下由光源驱动部40驱动。这同样适用于下述的其他实施例。
接下来，传感器控制部50将作为比较器214的比较结果的接通事件信息On存储在存储器中(步骤S13)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，传感器控制部50将阈值电压Vb设定为用于检测关断事件的电压Voff(步骤S14)。接下来，光源驱动部40停止向被摄体发射光(步骤S15)。接下来，传感器控制部50将作为比较器214的比较结果的关断事件信息Off存储在存储器中(步骤S16)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
随后，传感器控制部50将存储在接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On和存储在关断事件输出晶体管NM1的栅极寄生电容中的关断事件信息Off依次传送到读出电路80(步骤S17)，并且结束同步控制的一系列处理。
(实施例2)
实施例2是在根据电路构造示例2(换句话说，通过使用两个比较器并行检测接通事件和关断事件的示例)构造像素21的情况下使用的同步控制示例。图12示出了根据实施例2的同步控制处理的流程图。
传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位(步骤S21)。接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体发射预定图案的光(步骤S22)。
接下来，传感器控制部50将作为比较器214的比较结果的接通事件信息On存储在存储器中(步骤S23)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，光源驱动部40停止向被摄体发射光(步骤S24)。接下来，传感器控制部50将作为比较器214的比较结果的关断事件信息Off存储在存储器中(步骤S25)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
随后，传感器控制部50将存储在接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On和存储在关断事件输出晶体管NM1的栅极寄生电容中的关断事件信息Off依次传送到读出电路80(步骤S26)，并且结束同步控制的一系列处理。
(实施例3)
实施例3是在根据电路构造示例3(换句话说，通过使用单个比较器仅检测接通事件的示例)构造像素21的情况下使用的同步控制示例。图13示出了根据实施例3的同步控制处理的流程图。
传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位(步骤S31)。接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体发射预定图案的光(步骤S32)。
接下来，传感器控制部50将作为比较器214的比较结果的接通事件信息On存储在存储器中(步骤S33)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。随后，传感器控制部50将存储在接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On依次传送到读出电路80(步骤S34)，并且结束同步控制的一系列处理。
(实施例4)
实施例4是在根据电路构造示例4(换句话说，通过使用单个比较器仅检测关断事件的示例)构造像素21的情况下使用的同步控制示例。图14示出了根据实施例4的同步控制处理的流程图。
传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位(步骤S41)。接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体发射预定图案的光(步骤S42)。
接下来，传感器控制部50接通复位开关SWRS(步骤S43)。接下来，光源驱动部40停止向被摄体发射光(步骤S44)。接下来，传感器控制部50将作为比较器214的比较结果的关断事件信息Off存储在存储器中(步骤S45)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
随后，传感器控制部50将存储在关断事件输出晶体管NM1的栅极寄生电容中的关断事件信息Off依次传送到读出电路80(步骤S46)，并且结束同步控制的一系列处理。
(实施例5)
实施例5是在像素阵列部22包括ON像素和OFF像素两者的情况下使用的像素排列示例。这里，“ON像素”是根据电路构造示例3构造的像素21，即，具有仅检测接通事件的功能的第一像素。另外，“OFF像素”是根据电路构造示例4构造的像素21，即，具有仅检测关断事件的功能的第二像素。
图15A和图5B示出了根据实施例5的ON像素和OFF像素的像素排列示例(第1部分)。图16A和图16B示出了像素排列示例(第2部分)。这里，为了简化附图，图15A至图16B示出了16个像素的像素排列(像素阵列)，该16个像素包括在X方向(行方向/水平方向)上的各行中的四个像素和在Y方向(列方向/垂直方向)上的各列中的四个像素。
根据图15A所示的像素排列，ON像素和OFF像素在X方向和Y方向上交替地排列。根据图15B所示的像素排列，四个像素(X方向上的两个像素×Y方向上的两个像素)形成一个区块(一个单位)，并且ON像素的区块和OFF像素的区块在X方向和Y方向上交替地排列。
根据图16A所示的像素排列，16个像素之中的位于中央的4个像素是ON像素，位于ON像素周围的12个像素是OFF像素。根据图16B所示的像素排列，16个像素之中的排列在奇数列且偶数行中的各像素是ON像素，其他像素是OFF像素。
需要注意，以上例示的ON像素和OFF像素的像素排列仅仅是示例。本公开不限于此。
(实施例6)
实施例6是在实施例5的情况下使用的同步控制示例(第1部分)，即，在像素阵列部22包括ON像素和OFF像素两者的像素排列的情况下使用的同步控制示例(第1部分)。图17示出了根据实施例6的同步控制处理的流程图。
传感器控制部50首先对包括ON像素和OFF像素的所有像素执行全局复位(步骤S51)。接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体发射预定图案的光(步骤S52)。接下来，传感器控制部50将由ON像素检测到的接通事件信息On存储在存储器中(步骤S53)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，传感器控制部50将OFF像素的复位开关SWRS接通(步骤S54)。接下来，光源驱动部40停止向被摄体发射光(步骤S55)。接下来，传感器控制部50将由OFF像素检测到的关断事件信息Off存储在存储器中(步骤S56)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
随后，传感器控制部50将接通事件信息On和关断事件信息Off依次传送到读出电路80(步骤S57)。接下来，传感器控制部50在经过了事件检测的像素中对作为比较器214的反相输入的电压Vdiff执行全局复位(步骤S58)。接下来，传感器控制部50结束同步控制的一系列处理。
(实施例7)
实施例7是在实施例5的情况下使用的同步控制示例(第2部分)，即，在像素阵列部22包括ON像素和OFF像素两者的像素排列的情况下使用的同步控制示例(第2部分)。图18示出了根据实施例7的同步控制处理的流程图。
传感器控制部50首先对包括ON像素和OFF像素的所有像素执行全局复位(步骤S61)。接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体发射预定图案的光(步骤S62)。接下来，传感器控制部50将由ON像素检测到的接通事件信息On存储在存储器中(步骤S63)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，传感器控制部50将存储在输出电路217中的接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On依次传送到读出电路80(步骤S64)，并且将OFF像素的复位开关SWRS接通(步骤S65)。
接下来，光源驱动部40停止向被摄体发射光(步骤S66)。接下来，传感器控制部50将由OFF像素检测到的关断事件信息Off存储在存储器中(步骤S67)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
随后，传感器控制部50将接通事件信息On和关断事件信息Off依次传送到读出电路80(步骤S68)。接下来，传感器控制部50在经过了事件检测的像素中对作为比较器214的反相输入的电压Vdiff执行全局复位(步骤S69)。接下来，传感器控制部510结束同步控制的一系列处理。
(实施例8)
实施例8是将根据本实施方案的测距***1应用于面部识别的示例。例如，在实施例8中，将描述使用电路构造示例1并在同步控制下执行用于面部识别的面部检测处理的情况。图19示出了根据实施例8的同步控制处理的流程图。
传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位，并且将作为比较器214的非反相输入的阈值电压Vb设定为用于检测接通事件的电压Von(步骤S71)。
接下来，光源驱动部40使作为光源部的垂直腔面发射激光器10向被摄体(测量目标)发射预定图案的光(步骤S72)。接下来，传感器控制部50将作为比较器214的比较结果的接通事件信息On存储在存储器中(步骤S73)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，传感器控制部50将阈值电压Vb设定为用于检测关断事件的电压Voff(步骤S74)。接下来，光源驱动部40停止向被摄体发射光(步骤S75)。接下来，传感器控制部50将作为比较器214的比较结果的关断事件信息Off存储在存储器中(步骤S76)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
接下来，传感器控制部50将存储在接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On和存储在关断事件输出晶体管NM1的栅极寄生电容中的关断事件信息Off依次传送到读出电路80(步骤S77)。
被依次传送到读出电路80的接通事件信息On和关断事件信息Off，即，由事件检测传感器20检测到的多条事件信息被供应给图1B所示的应用处理器200。应用处理器200基于接通事件信息On和关断事件信息Off执行用于面部识别的面部检测处理(步骤S78)。
(实施例9)
实施例9是根据本实施方案的测距***1的变形例。实施例9是其中测距***1除了包括事件检测传感器20之外还包括摄像部(在下文中称为“RGB相机”)的示例。摄像部包括诸如CMOS图像传感器等图像传感器，并且各像素例如包括诸如红色(R)滤光片、绿色(G)滤光片和蓝色(B)滤光片等各种彩色滤光片。
图20是示出了根据实施例9的测距***的电路构造的示例的框图。如图20所示，除了事件检测传感器20之外，根据本实施方案的变形例的测距***1还包括RGB相机91和用于控制RGB相机91的相机控制部92。在***控制部30的控制下，RGB相机91获取由事件检测传感器20检测到的被摄体的图像信息，将所获取的图像信息供应给***控制部30，将所获取的图像信息供应给***控制部30，并且经由相机控制部92将图像信息供应给应用处理器200。
用作RGB相机的摄像部是以预定的帧速率拍摄图像并且具有比事件检测传感器20更好的分辨率的同步摄像装置。因此，根据本实施方案的变形例的测距***1可以使用RGB相机91并且可以以比事件检测传感器20更高的分辨率获取包括事件的区域的图像信息。结果，可以基于通过由RGB相机91执行的摄像而获取的包括事件的区域的图像信息来更准确地识别事件的物体(诸如预定用户的面部等)。
需要注意，由于像素21具有根据图7所示的电路构造示例1、图8所示的电路构造示例2、图9所示的电路构造示例3或图10所示的电路构造示例4的电路构造，因此，事件检测传感器20必然具有比由同步摄像装置实现的RGB相机91更大的像素尺寸。因此，可以说，事件检测传感器20具有比以预定帧速率拍摄图像的RGB相机91更低的分辨率。换句话说，可以说，RGB相机91具有比事件检测传感器20更好的分辨率。在一些实施方案中，RGB相机可以作为单个芯片集成到基于事件的视觉传感器中。在这样的实施方案中，传感器能够检测事件和RGB摄像。传感器可以包括像素阵列，该像素阵列包括一个以上能够检测用于RGB摄像的可见光的像素和一个以上能够检测用于事件检测的红外光的像素。作为另一示例，芯片传感器可以包括像素阵列，该像素阵列包括一个以上能够检测用于事件检测的红外光和用于RGB摄像的可见光的像素。
(实施例10)
实施例10是通过使用根据本实施方案的变形例的测距***1(即，事件检测传感器20和RGB相机91的组合)执行面部识别(面部认证)的示例。在这种情况下，根据实施例9的测距***1的应用处理器200对由事件检测传感器20产生的事件信号进行处理，并且基于来自作为摄像部的RGB相机91的图像信号来提取感兴趣区域。另外，应用处理器200具有基于事件信号获取测距信息并基于图像信号在感兴趣区域中执行图案匹配的功能，并且具有基于所获取的测距信息和图案匹配对用户执行面部认证的功能。
图21示出了根据实施例10的面部识别处理的流程图。在实施例10中，以与上述实施例类似的方式，在***控制部30的控制下，也通过光源驱动部40和传感器控制部50彼此同步地控制垂直腔面发射激光器10和事件检测传感器20。需要注意，面部识别处理由应用处理器200执行。
***控制部30首先激活RGB相机91(步骤S81)，然后使RGB相机91拍摄图像(步骤S82)。接下来，***控制部30检测由RGB相机91拍摄的RGB图像中的面部(步骤S83)，然后判定检测到的面部部分的图像信息是否与预定用户的面部的图像信息匹配(步骤S84)。在判定上述图像信息彼此不匹配的情况下(步骤S84中的否)，***控制部30返回到步骤S81。
在判定上述图像信息彼此匹配的情况下(步骤S84中的是)，***控制部30使用传感器控制部50对作为比较器214的反相输入的电压Vdiff执行全局复位，并且将作为比较器214的非反相输入的阈值电压Vb设定为用于检测接通事件的电压Von(步骤S85)。
接下来，***控制部30使作为光源部的垂直腔面发射激光器10向检测到的面部部分发射光(步骤S86)，并且将作为比较器214的比较结果的接通事件信息On存储在存储器中(步骤S87)。这里，用于存储接通事件信息On的存储器是输出电路217中的接通事件输出晶体管NM2的栅极寄生电容。
接下来，***控制部30将阈值电压Vb设定为用于检测关断事件的电压Voff(步骤S88)，然后停止向面部部分发射光(步骤S89)。接下来，***控制部30将作为比较器214的比较结果的关断事件信息Off存储在存储器中(步骤S90)。这里，用于存储关断事件信息Off的存储器是输出电路217中的关断事件输出晶体管NM1的栅极寄生电容。
接下来，***控制部30将存储在接通事件输出晶体管NM2的栅极寄生电容中的接通事件信息On和存储在关断事件输出晶体管NM1的栅极寄生电容中的关断事件信息Off依次传送到读出电路80(步骤S91)。
被依次传送到读出电路80的接通事件信息On和关断事件信息Off，即，由事件检测传感器20检测到的多条事件信息被供应给应用处理器200。应用处理器200基于接通事件信息On和关断事件信息Off产生用于面部识别的深度图(步骤S92)。接下来，应用处理器200基于图像信号在感兴趣区域中使用图案匹配功能，并且判定所产生的深度图是否与预定用户的面部的深度图匹配(步骤S93)。在判定上述深度图彼此匹配的情况下(步骤S93中的是)，应用处理器200结束面部识别的一系列处理。在判定上述深度图彼此不匹配的情况下(步骤S93中的否)，应用处理器200返回到步骤S81。
<变形例>
上面已经基于有利的实施方案描述了根据本公开的技术。然而，根据本公开的技术不限于这些实施方案。在上述实施方案中描述的测距***的构造和结构仅仅是说明性的，并且可以适当地修改。
<应用例>
根据本公开的实施方案和变形例的上述测距***能够用于各种情况。所述各种情况的示例可以包括下面列出的设备等。
-用于交通的设备，例如：为了诸如自动停止等安全驾驶和识别驾驶员的状况等，拍摄汽车的前方、后方、周围和内部等的图像的车载传感器；监视行驶车辆和道路的监视相机；或测量车辆之间的距离的测距传感器等。
-用于诸如TV、冰箱或空调等家用电器的设备，以用于拍摄用户手势的图像并根据该手势操作设备。
-用于安全的设备，诸如用于预防犯罪的监视相机或用于个人认证应用的相机等。
<根据本公开的实施方案的电子设备>
根据本公开的实施方案和变形例的上述测距***可以用作安装在例如具有面部认证功能的各种电子设备中的三维图像获取***(面部认证***)。具有面部认证功能的电子设备的示例可以包括诸如智能手机、平板电脑和个人计算机等移动设备。需要注意，根据本公开的实施方案或变形例的测距***适用的电子设备不限于移动设备。
(智能手机)
这里，将以智能手机作为根据本公开的实施方案或变形例的测距***适用的根据本公开的实施方案的电子设备的具体示例进行描述。图22是当从正面观察时的根据本公开的实施方案的电子设备的具体示例的智能手机的外观图。
根据具体示例的智能手机300包括在壳体310的正面的显示部320。另外，智能手机300还包括在壳体310正面的上侧的发光部330和光接收部340。需要注意，图22所示的发光部330和光接收部340的排列示例仅仅是示例。该排列不限于此。
关于如上所述地构造并且用作移动设备的示例的智能手机300，可以使用根据上述实施方案的测距***1中的光源(垂直腔面发射激光器10)作为发光部330，并且可以使用事件检测传感器20作为光接收部340。换句话说，根据该具体示例的智能手机300是通过使用根据上述实施方案的测距***1作为三维图像获取***而获得的。
根据上述实施方案的测距***1可以改善距离图像的分辨率，而无需增加光源的阵列点排列中的光源数量。因此，在将根据上述实施方案的测距***1用作三维图像获取***(面部认证***)的情况下，根据具体示例的智能手机300可以具有高精度的面部识别功能(面部认证功能)。
<本公开的实施方案能够具有的构造>
需要注意，本公开的实施方案也可以如下地构造。
<<A.测距***(第1部分)>>
(A-1)
一种测距***，其包括：
光源部，其被构造为向被摄体发射光；
事件检测传感器，其被构造为接收由所述被摄体反射的所述光，并且将像素的亮度变化超过或等于预定阈值检测为事件；和
控制部，其被构造为彼此同步地控制所述光源部和所述事件检测传感器。
(A-2)
根据(A-1)所述的测距***，
其中，所述像素具有通过使用单个比较器以分时方式检测接通事件和关断事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值，所述关断事件表示光电流的变化量低于或等于下限阈值。
(A-3)
根据(A-2)所述的测距***，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收以所述分时方式提供的用于检测所述接通事件的电压和用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息和关断事件信息。
(A-4)
根据(A-3)所述的测距***，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，将所述比较器的所述第二输入设定为所述用于检测接通事件的电压，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，将所述比较器的所述第二输入设定为所述用于检测关断事件的电压，停止向所述被摄体发射所述光，将所述关断事件信息存储在存储器中，然后将所述接通事件信息和所述关断事件信息依次传送到读出电路。
(A-5)
根据(A-1)所述的测距***，
其中，所述像素具有通过使用两个比较器并行检测接通事件和关断事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值，所述关断事件表示光电流的变化量低于或等于下限阈值。
(A-6)
根据(A-5)所述的测距***，其中，
所述两个比较器之中的一个比较器接收基于光电流的电压作为第一输入，接收用于检测所述接通事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息，并且
所述两个比较器之中的另一个比较器接收基于光电流的电压作为第一输入，接收用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为关断事件信息。
(A-7)
根据(A-6)所述的测距***，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，停止向所述被摄体发射所述光，将所述关断事件信息存储在所述存储器中，然后将所述接通事件信息和所述关断事件信息依次传送到读出电路。
(A-8)
根据(A-1)所述的测距***，
其中，所述像素具有通过使用单个比较器检测接通事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值。
(A-9)
根据(A-8)所述的测距***，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收用于检测所述接通事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息。
(A-10)
根据(A-9)所述的测距***，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，然后将所述接通事件信息依次传送到读出电路。
(A-11)
根据(A-1)所述的测距***，
其中，所述像素具有通过使用单个比较器检测关断事件的功能，所述关断事件表示光电流的变化量低于或等于下限阈值。
(A-12)
根据(A-11)所述的测距***，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为关断事件信息。
(A-13)
根据(A-12)所述的测距***，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将连接在所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将所述关断事件信息存储在存储器中，然后将所述关断事件信息依次传送到读出电路。
(A-14)
根据(A-1)所述的测距***，
其中，所述事件检测传感器的像素阵列部包括第一像素和第二像素两者，所述第一像素具有使用比较器并检测表示光电流的变化量超过或等于上限阈值的接通事件的功能，所述第二像素具有使用比较器并检测表示光电流的变化量低于或等于下限阈值的关断事件的功能。
(A-15)
根据(A-14)所述的测距***，
其中，所述控制部首先对包括所述第一像素和所述第二像素的所有像素执行全局复位，从所述光源部向所述被摄体发射光，将由所述第一像素检测到的接通事件信息存储在存储器中，将连接在所述第二像素的所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将由所述第二像素检测到的关断事件信息存储在存储器中，将所述接通事件信息和所述关断事件信息依次传送到读出电路，然后对所述比较器的第一输入执行所述全局复位。
(A-16)
根据(A-14)所述的测距***，
其中，所述控制部首先对包括所述第一像素和所述第二像素的所有像素执行全局复位，从所述光源部向所述被摄体发射光，将由所述第一像素检测到的接通事件信息存储在存储器中，将所述接通事件信息依次传送到读出电路，将连接在所述第二像素的所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将由所述第二像素检测到的关断事件信息存储在存储器中，将所述关断事件信息依次传送到所述读出电路，然后对所述比较器的第一输入执行所述全局复位。
(A-17)
根据(A-1)至(A-16)中任一项所述的测距***，
其中，所述光源部包括面发射半导体激光器。
(A-18)
根据(A-17)所述的测距***，
其中，所述面发射半导体激光器是垂直腔面发射激光器。
(A-19)
根据(A-18)所述的测距***，
其中，所述垂直腔面发射激光器将预定图案的光投射到所述被摄体上。
<<B.测距***(第2部分)>>
(B-1)
一种测距***，其包括：
光源部，其被构造为向被摄体发射光；
事件检测传感器，其被构造为接收由所述被摄体反射的所述光，并且将像素的亮度变化超过或等于预定阈值检测为事件；
摄像部，其被构造为拍摄所述被摄体的图像，并且产生图像信号；
处理器，其被构造为对由所述事件检测传感器产生的事件信号进行处理，并且基于来自所述摄像部的所述图像信号提取感兴趣区域；和
控制部，其被构造为彼此同步地控制所述光源部和所述事件检测传感器，并且控制所述摄像部。
(B-2)
根据(B-1)所述的测距***，
其中，所述像素具有通过使用单个比较器以分时方式检测接通事件和关断事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值，所述关断事件表示光电流的变化量低于或等于下限阈值。
(B-3)
根据(B-2)所述的测距***，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收以所述分时方式提供的用于检测所述接通事件的电压和用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息和关断事件信息。
(B-4)
根据(B-3)所述的测距***，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，将所述比较器的所述第二输入设定为所述用于检测接通事件的电压，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，将所述比较器的所述第二输入设定为所述用于检测关断事件的电压，停止向所述被摄体发射所述光，将所述关断事件信息存储在存储器中，然后将所述接通事件信息和所述关断事件信息依次传送到读出电路。
(B-5)
根据(B-3)所述的测距***，
其中，所述处理器具有基于所述事件信号获取测距信息并且基于所述图像信号在所述感兴趣区域中执行图案匹配的功能。
(B-6)
根据(B-5)所述的测距***，
其中，所述处理器具有基于获取的所述测距信息和所述图案匹配对用户执行面部认证的功能。
<<C.电子设备>>
(C-1)
一种电子设备，其包括测距***，所述测距***包括：
光源部，其被构造为向被摄体发射光；
事件检测传感器，其被构造为接收由所述被摄体反射的所述光，并且将像素的亮度变化超过或等于预定阈值检测为事件；和
控制部，其被构造为彼此同步地控制所述光源部和所述事件检测传感器。
(C-2)
根据(C-1)所述的电子设备，
其中，所述像素具有通过使用单个比较器以分时方式检测接通事件和关断事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值，所述关断事件表示光电流的变化量低于或等于下限阈值。
(C-3)
根据(C-2)所述的电子设备，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收以所述分时方式提供的用于检测所述接通事件的电压和用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息和关断事件信息。
(C-4)
根据(C-3)所述的电子设备，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，将所述比较器的所述第二输入设定为所述用于检测接通事件的电压，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，将所述比较器的所述第二输入设定为所述用于检测关断事件的电压，停止向所述被摄体发射所述光，将所述关断事件信息存储在存储器中，然后将所述接通事件信息和所述关断事件信息依次传送到读出电路。
(C-5)
根据(C-1)所述的电子设备，
其中，所述像素具有通过使用两个比较器并行检测接通事件和关断事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值，所述关断事件表示光电流的变化量低于或等于下限阈值。
(C-6)
根据(C-5)所述的电子设备，其中，
所述两个比较器之中的一个比较器接收基于光电流的电压作为第一输入，接收用于检测所述接通事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息，并且
所述两个比较器之中的另一个比较器接收基于光电流的电压作为第一输入，接收用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为关断事件信息。
(C-7)
根据(C-6)所述的电子设备，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，停止向所述被摄体发射所述光，将所述关断事件信息存储在所述存储器中，然后将所述接通事件信息和所述关断事件信息依次传送到读出电路。
(C-8)
根据(C-1)所述的电子设备，
其中，所述像素具有通过使用单个比较器检测接通事件的功能，所述接通事件表示光电流的变化量超过或等于上限阈值。
(C-9)
根据(C-8)所述的电子设备，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收用于检测所述接通事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为接通事件信息。
(C-10)
根据(C-9)所述的电子设备，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将所述接通事件信息存储在存储器中，然后将所述接通事件信息依次传送到读出电路。
(C-11)
根据(C-1)所述的电子设备，
其中，所述像素具有通过使用单个比较器检测关断事件的功能，所述关断事件表示光电流的变化量低于或等于下限阈值。
(C-12)
根据(C-11)所述的电子设备，
其中，所述单个比较器接收基于光电流的电压作为第一输入，接收用于检测所述关断事件的电压作为第二输入，并输出所述第一输入与所述第二输入之间的比较结果作为关断事件信息。
(C-13)
根据(C-12)所述的电子设备，
其中，所述控制部对所述比较器的所述第一输入执行全局复位，从所述光源部向所述被摄体发射光，将连接在所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将所述关断事件信息存储在存储器中，然后将所述关断事件信息依次传送到读出电路。
(C-14)
根据(C-1)所述的电子设备，
其中，所述事件检测传感器的像素阵列部包括第一像素和第二像素两者，所述第一像素具有使用比较器并检测表示光电流的变化量超过或等于上限阈值的接通事件的功能，所述第二像素具有使用比较器并检测表示光电流的变化量低于或等于下限阈值的关断事件的功能。
(C-15)
根据(C-14)所述的电子设备，
其中，所述控制部首先对包括所述第一像素和所述第二像素的所有像素执行全局复位，从所述光源部向所述被摄体发射光，将由所述第一像素检测到的接通事件信息存储在存储器中，将连接在所述第二像素的所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将由所述第二像素检测到的关断事件信息存储在存储器中，将所述接通事件信息和所述关断事件信息依次传送到读出电路，然后对所述比较器的第一输入执行所述全局复位。
(C-16)
根据(C-14)所述的电子设备，
其中，所述控制部首先对包括所述第一像素和所述第二像素的所有像素执行全局复位，从所述光源部向所述被摄体发射光，将由所述第一像素检测到的接通事件信息存储在存储器中，将所述接通事件信息依次传送到读出电路，将连接在所述第二像素的所述比较器的第一输入端子与输出端子之间的复位开关接通，停止向所述被摄体发射所述光，将由所述第二像素检测到的关断事件信息存储在存储器中，将所述关断事件信息依次传送到所述读出电路，然后对所述比较器的第一输入执行所述全局复位。
(C-17)
根据(C-1)至(C-16)中任一项所述的电子设备，
其中，所述光源部包括面发射半导体激光器。
(C18)
根据(C-17)所述的电子设备，
其中，所述面发射半导体激光器是垂直腔面发射激光器。
(C-19)
根据(C-18)所述的电子设备，
其中，所述垂直腔面发射激光器将预定图案的光投射到所述被摄体上。
(D-1)
一种***，其包括：
处理器；
光源，其由所述处理器控制，并且被构造为发射光；和
基于事件的视觉传感器，其由所述处理器控制，其中，所述传感器包括：
多个像素；和
比较器，其被构造为基于第一参考电压和第二参考电压中的至少一者以及第一信号而输出比较结果，
其中，所述多个像素中的至少一个像素包括：
光电传感器，其被构造为检测入射光；和
第一电路，其被构造为基于来自所述光电传感器的输出而输出所述第一信号，其中，所述第一信号表示入射光量的变化，
其中，所述处理器被构造为基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压中的一者施加到所述比较器。
(D-2)
根据(D-1)所述的***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
(D-3)
根据(D-2)所述的***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
(D-4)
根据(D-3)所述的***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
(D-5)
根据(D-4)所述的***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
(D-6)
根据(D-1)所述的***，其中，所述光源是垂直腔面发射激光器。
(D-7)
根据(D-1)所述的***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
(E-1)
一种***，其包括：
图像传感器，其被构造为输出图像信号；
光源，其被构造为发射光；
基于事件的视觉传感器，其被构造为输出事件信号；
***控制器，其被构造为同步地控制所述基于事件的视觉传感器和所述光源；和
处理器，其被构造为对所述图像信号和所述事件信号进行处理，
所述基于事件的视觉传感器包括：
多个像素；和
比较器，其被构造为基于第一参考电压和第二参考电压中的至少一者以及第一信号而输出比较结果，
其中，所述多个像素中的至少一个像素包括：
光电传感器，其被构造为检测入射光；和
第一电路，其基于来自所述光电传感器的输出而输出所述第一信号，其中，所述第一信号表示入射光量的变化，
其中，所述***控制器基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压施加到所述比较器。
(E-2)
根据(E-1)所述的***，其中，所述图像传感器包括RGB相机。
(E-3)
根据(E-1)所述的***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
(E-4)
根据(E-1)所述的***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
(E-5)
根据(E-4)所述的***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
(E-6)
根据(E-5)所述的***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
(E-7)
根据(E-5)所述的***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
(E-8)
根据(E-5)所述的***，其中，所述接通事件数据和所述关断事件数据用于产生深度图。
(E-9)
根据(E-8)所述的***，其中，所述深度图用于识别面部。
(E-10)
根据(E-9)所述的***，其中，在施加所述第一参考电压之前，利用所述图像传感器检测所述面部。
(E-11)
根据(E-8)所述的***，其中，所述处理器被构造为使用所述深度图和所述图像信号来识别面部。
(E-12)
根据(E-1)所述的***，其中，所述光源是垂直腔面发射激光器。
(E-13)
根据(E-1)所述的***，其中，所述图像传感器由相机控制部控制。
(F-1)
一种驱动测距***的方法，所述方法包括：
基于光源的操作，利用处理器选择性地将第一参考电压和第二参考电压中的一者施加到比较器；和
利用所述比较器将所述第一参考电压和所述第二参考电压中的所述一者与由像素的电路输出的第一信号进行比较，其中：
所述光源由所述处理器控制，并且被构造为发射光，
所述像素是包括在基于事件的视觉传感器内的多个像素中的一个像素，
所述像素包括：光电传感器，其被构造为检测入射光；和第一电路，其基于来自所述光电传感器的输出而输出第一信号，并且
所述第一信号表示入射光量的变化。
(F-2)
根据(F-1)所述的方法，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
(F-3)
根据(F-2)所述的方法，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
(F-4)
根据(F-3)所述的方法，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
(F-5)
根据(F-4)所述的方法，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
(F-6)
根据(F-4)所述的方法，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
(F-7)
根据(F-1)所述的方法，其中，所述光源是垂直腔面发射激光器。
本领域技术人员应当理解，可以根据设计要求和其他因素进行各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同物的范围内即可。
附图标记列表
1测距***
10垂直腔面发射激光器(VCSEL)
11光源(点光源)
20事件检测传感器(DVS)
21像素
22像素阵列部
23驱动部
24仲裁器部
25列处理部
26信号处理部
30***控制部
40光源驱动部
50传感器控制部
60光源侧光学***
70相机侧光学***
80读出电路
91RGB相机
92相机控制部
100被摄体
200应用处理器

Claims (27)

1.一种***，其包括：
处理器；
光源，其由所述处理器控制，并且被构造为发射光；和
基于事件的视觉传感器，其由所述处理器控制，其中，所述传感器包括：
多个像素；和
比较器，其被构造为基于第一参考电压和第二参考电压中的至少一者以及第一信号而输出比较结果，
其中，所述多个像素中的至少一个像素包括：
光电传感器，其被构造为检测入射光；和
第一电路，其被构造为基于来自所述光电传感器的输出而输出所述第一信号，其中，所述第一信号表示入射光量的变化，
其中，所述处理器被构造为基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压中的一者施加到所述比较器。
2.根据权利要求1所述的***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
3.根据权利要求2所述的***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
4.根据权利要求3所述的***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
5.根据权利要求4所述的***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
6.根据权利要求4所述的***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
7.根据权利要求1所述的***，其中，所述光源是垂直腔面发射激光器。
8.一种***，其包括：
图像传感器，其被构造为输出图像信号；
光源，其被构造为发射光；
基于事件的视觉传感器，其被构造为输出事件信号；
***控制器，其被构造为同步地控制所述基于事件的视觉传感器和所述光源；和
处理器，其被构造为对所述图像信号和所述事件信号进行处理，
所述基于事件的视觉传感器包括：
多个像素；和
比较器，其被构造为基于第一参考电压和第二参考电压中的至少一者以及第一信号而输出比较结果，
其中，所述多个像素中的至少一个像素包括：
光电传感器，其被构造为检测入射光；和
第一电路，其基于来自所述光电传感器的输出而输出所述第一信号，其中，所述第一信号表示入射光量的变化，
其中，所述***控制器基于所述光源的操作选择性地将所述第一参考电压和所述第二参考电压施加到所述比较器。
9.根据权利要求8所述的***，其中，所述图像传感器包括RGB相机。
10.根据权利要求8所述的***，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
11.根据权利要求8所述的***，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
12.根据权利要求11所述的***，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
13.根据权利要求12所述的***，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
14.根据权利要求12所述的***，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
15.根据权利要求12所述的***，其中，所述接通事件数据和所述关断事件数据用于产生深度图。
16.根据权利要求15所述的***，其中，所述深度图用于识别面部。
17.根据权利要求16所述的***，其中，在施加所述第一参考电压之前，利用所述图像传感器检测所述面部。
18.根据权利要求15所述的***，其中，所述处理器被构造为使用所述深度图和所述图像信号来识别面部。
19.根据权利要求8所述的***，其中，所述光源是垂直腔面发射激光器。
20.根据权利要求8所述的***，其中，所述图像传感器由相机控制部控制。
21.一种驱动测距***的方法，所述方法包括：
基于光源的操作，利用处理器选择性地将第一参考电压和第二参考电压中的一者施加到比较器；和
利用所述比较器将所述第一参考电压和所述第二参考电压中的所述一者与由像素的电路输出的第一信号进行比较，其中：
所述光源由所述处理器控制，并且被构造为发射光，
所述像素是包括在基于事件的视觉传感器内的多个像素中的一个像素，
所述像素包括：光电传感器，其被构造为检测入射光；和第一电路，其基于来自所述光电传感器的输出而输出所述第一信号，并且
所述第一信号表示入射光量的变化。
22.根据权利要求21所述的方法，其中，所述操作是接通事件信号检测和关断事件信号检测中的一者。
23.根据权利要求22所述的方法，其中，当将所述第一参考电压施加到所述比较器时，所述光源发射光，并且所述传感器将接通事件数据存储在所述***的存储器中。
24.根据权利要求23所述的方法，其中，当将所述第二参考电压施加到所述比较器时，所述光源停止发射光，并且所述传感器将关断事件数据存储在所述存储器中。
25.根据权利要求24所述的方法，其中，存储的所述接通事件数据和所述关断事件数据被依次传送到读出电路。
26.根据权利要求24所述的方法，其中，存储的所述接通事件数据和所述关断事件数据用于执行面部检测处理。
27.根据权利要求21所述的方法，其中，所述光源是垂直腔面发射激光器。
CN202080052095.5A 2019-08-27 2020-06-10 测距***和电子设备 Pending CN114127509A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154499A JP7451110B2 (ja) 2019-08-27 2019-08-27 測距システム及び電子機器
JP2019-154499 2019-08-27
PCT/JP2020/022783 WO2021039022A1 (en) 2019-08-27 2020-06-10 Ranging system and electronic apparatus

Publications (1)

Publication Number Publication Date
CN114127509A true CN114127509A (zh) 2022-03-01

Family

ID=71738265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052095.5A Pending CN114127509A (zh) 2019-08-27 2020-06-10 测距***和电子设备

Country Status (8)

Country Link
US (1) US20220400218A1 (zh)
EP (1) EP4022895A1 (zh)
JP (1) JP7451110B2 (zh)
KR (1) KR20220047778A (zh)
CN (1) CN114127509A (zh)
DE (1) DE112020004136T5 (zh)
TW (1) TW202112121A (zh)
WO (1) WO2021039022A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4053501A4 (en) * 2019-10-30 2022-12-28 Sony Group Corporation OBJECT RECOGNITION SYSTEM, SIGNAL PROCESSING METHOD FOR OBJECT RECOGNITION SYSTEM AND ELECTRONIC DEVICE
CN116134289A (zh) 2020-09-07 2023-05-16 发那科株式会社 三维测量装置
AT524572B1 (de) * 2021-05-26 2022-07-15 Ait Austrian Inst Tech Gmbh Verfahren zur Erfassung der dreidimensionalen Struktur eines Gegenstands
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
CN118176739A (zh) 2021-08-27 2024-06-11 夏日机器人公司 多传感器超分辨率扫描和捕获***
WO2023177692A1 (en) * 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
WO2023188184A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2023188183A1 (ja) * 2022-03-30 2023-10-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、システム、情報処理方法、情報処理プログラム、およびコンピュータシステム
WO2024004166A1 (ja) * 2022-06-30 2024-01-04 ファナック株式会社 距離測定装置
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US20170033777A1 (en) * 2015-07-31 2017-02-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling threshold voltage
CN108139207A (zh) * 2015-10-16 2018-06-08 卡普索影像公司 用于撷取混合的结构光图像和正规图像的单一图像传感器
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
US20190045173A1 (en) * 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging
US20190052821A1 (en) * 2016-03-14 2019-02-14 Insightness Ag A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2887009A1 (en) 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
US10567679B2 (en) 2016-12-30 2020-02-18 Insightness Ag Dynamic vision sensor architecture
EP4220258A1 (en) * 2017-04-19 2023-08-02 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
JP7209990B2 (ja) 2018-03-07 2023-01-23 株式会社サンセイアールアンドディ 遊技機
CN109470166B (zh) * 2018-11-09 2020-12-08 业成科技（成都）有限公司 结构光深度感测器及感测方法
US11809613B2 (en) * 2018-11-12 2023-11-07 Magic Leap, Inc. Event-based camera with high-resolution frame output

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106165399A (zh) * 2014-04-07 2016-11-23 三星电子株式会社 高分辨率、高帧率、低功率的图像传感器
US20170033777A1 (en) * 2015-07-31 2017-02-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling threshold voltage
CN108139207A (zh) * 2015-10-16 2018-06-08 卡普索影像公司 用于撷取混合的结构光图像和正规图像的单一图像传感器
US20190052821A1 (en) * 2016-03-14 2019-02-14 Insightness Ag A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly
EP3393122A1 (en) * 2017-04-18 2018-10-24 Oculus VR, LLC Event camera
US20190045173A1 (en) * 2017-12-19 2019-02-07 Intel Corporation Dynamic vision sensor and projector for depth imaging

Also Published As

Publication number Publication date
KR20220047778A (ko) 2022-04-19
JP2021032763A (ja) 2021-03-01
WO2021039022A1 (en) 2021-03-04
DE112020004136T5 (de) 2022-07-07
JP7451110B2 (ja) 2024-03-18
EP4022895A1 (en) 2022-07-06
US20220400218A1 (en) 2022-12-15
TW202112121A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN114127509A (zh) 测距***和电子设备
WO2021084833A1 (ja) 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器
US9294695B2 (en) Image processing apparatus, image pickup apparatus, and storage medium for generating a color image
US20210067679A1 (en) Event sensors with flicker analysis circuitry
US20190281226A1 (en) Image sensor including phase detection pixels and image pickup device
CN108353158B (zh) 图像拍摄装置及其控制方法
WO2021210389A1 (ja) 物体認識システム及び電子機器
US10534240B2 (en) Imaging control device, imaging control method, and recording medium having same recorded thereon
CN111602386B (zh) 缓解运动图片的led频闪
JP2018201196A (ja) 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
WO2020140601A1 (zh) 检测电路、纹路识别装置及驱动方法
WO2021039146A1 (ja) 測距システム及び電子機器
US20220253519A1 (en) Face authentication system and electronic apparatus
EP3993405A2 (en) Integrated image sensor with internal feedback and operation method thereof
US20220400213A1 (en) Object recognition system and method of signal processing performed by object recognition system, and electronic apparatus
TW201703511A (zh) 影像感測器及其運作方法、包含該影像感測器之動作感測器
CN114035717B (zh) 使用tof传感器的动作识别设备及其操作方法
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
JP2022064801A (ja) 画像センサー及び電子デバイス
WO2021157393A1 (ja) 測距装置および測距方法
US20230098566A1 (en) Photoelectric conversion device having signal in response to incidence of photon, imaging device, control method, and storage medium
US11546538B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, moving body, and method for checking photoelectric conversion apparatus
US20240107134A1 (en) Image acquisition apparatus and electronic apparatus including same, and method of controlling image acquisition apparatus
US20230095243A1 (en) Photoelectric conversion device, imaging device, control method, and storage medium
US20230064794A1 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination