CN112193208A - 车辆传感器增强 - Google Patents

车辆传感器增强 Download PDF

Info

Publication number
CN112193208A
CN112193208A CN202010559809.3A CN202010559809A CN112193208A CN 112193208 A CN112193208 A CN 112193208A CN 202010559809 A CN202010559809 A CN 202010559809A CN 112193208 A CN112193208 A CN 112193208A
Authority
CN
China
Prior art keywords
depth
light
pixel
sensor
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010559809.3A
Other languages
English (en)
Inventor
大卫·迈克尔·赫尔曼
阿什温·阿伦莫治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN112193208A publication Critical patent/CN112193208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B13/00—Accessories or details of general applicability for machines or apparatus for cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48—Liquid supply therefor
    • B60S1/481—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0006—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means to keep optical surfaces clean, e.g. by preventing or removing dirt, stains, contamination, condensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B08—CLEANING
    • B08B—CLEANING IN GENERAL; PREVENTION OF FOULING IN GENERAL
    • B08B3/00—Cleaning by methods involving the use or presence of liquid or steam
    • B08B3/02—Cleaning by the force of jets or sprays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Water Supply & Treatment (AREA)
  • Computer Graphics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本公开提供了“车辆传感器增强”。一种计算机，其包括处理器和存储器，所述存储器存储可由处理器执行以进行以下各项的指令：从飞行时间传感器收集第一传感器数据；从一个或多个传感器收集第二传感器数据；根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。

Description

车辆传感器增强
技术领域
本公开总体上涉及车辆传感器，并且更具体地，涉及车辆传感器清洁。
背景技术
诸如乘用车的车辆通常包括用于收集关于周围环境的数据的传感器。传感器可以放置在车辆的各种部分上或各种部分中，例如车辆车顶、车辆发动机罩、后车门等。传感器(例如，传感器透镜盖)在车辆的操作期间可能会变脏。在车辆操作期间，车辆周围的传感器数据和/或环境条件可能改变，并且这种改变可能影响传感器操作。
发明内容
一种计算机，其包括处理器和存储器，所述存储器存储可由处理器执行以进行以下各项的指令：从飞行时间传感器收集第一传感器数据；从一个或多个传感器收集第二传感器数据；根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。
所述指令还可以包括以下指令：生成所述光反射率和所述深度中的另一者的第二虚拟图，以及在所述数量的像素在所述第一传感器数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时，确定所述遮挡。
所述指令还可以包括以下指令：当所述遮挡超过所述遮挡阈值时，致动流体喷射器以将清洁流体喷射到所述飞行时间传感器上。
所述指令还可以包括以下指令：基于所述遮挡来识别所述飞行时间传感器的遮挡物类型。
所述遮挡物类型可以是轻度碎屑、重度碎屑、清洁的水、水中的碎屑或光源上的碎屑中的一种。
所述指令还可以包括以下指令：致动光源以发射多个光脉冲并在所述光脉冲的发射期间收集所述第一传感器数据和所述第二传感器数据。
所述指令还可以包括以下指令：基于在发射所述光脉冲之后对于每个像素接收到照度的时间延迟来确定对于所述第一传感器数据的每个像素的所述深度和对于所述第二传感器数据的每个像素的所述深度。
所述指令还可以包括以下指令：基于在发射所述光脉冲之后每个像素的相应照度来确定对于所述第一传感器数据的每个像素的所述光反射率和对于所述第二传感器数据的每个像素的所述光反射率。
所述指令还可以包括以下指令：掩蔽所述虚拟图的多个像素，每个被掩蔽的像素为所述第一传感器数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二传感器数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
所述指令还可以包括以下指令：确定所述被掩蔽的像素的所述遮挡并在所述遮挡超过所述遮挡阈值时致动所述部件。
所述指令还可以包括以下指令：将所述被掩蔽的像素识别为所述第二传感器数据的其中光反射率或深度数据未被收集的像素。
所述指令还可以包括以下指令：确定环境照度，并基于所述环境照度和由每个像素接收的光脉冲的幅值之间的差异来确定对于所述第一传感器数据的每个像素和所述第二传感器数据的每个像素的所述光反射率。
一种方法包括：从飞行时间传感器收集第一传感器数据；从一个或多个传感器收集第二传感器数据；根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。
所述方法还可以包括：生成所述光反射率和所述深度中的另一者的第二虚拟图，以及在所述数量的像素在所述第一传感器数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时，确定所述遮挡。
所述方法还可以包括：当所述遮挡超过所述遮挡阈值时，致动流体喷射器以将清洁流体喷射到所述飞行时间传感器上。
所述方法还可以包括：基于所述遮挡来识别所述飞行时间传感器的遮挡物类型。
所述方法还可以包括：致动光源以发射多个光脉冲并在所述光脉冲的发射期间收集所述第一传感器数据和所述第二传感器数据。
所述方法还可以包括：基于在发射所述光脉冲之后对于每个像素接收到照度的时间延迟来确定对于所述第一传感器数据的每个像素的所述深度和对于所述第二传感器数据的每个像素的所述深度。
所述方法还可以包括：基于在发射所述光脉冲之后每个像素的相应照度来确定对于所述第一传感器数据的每个像素的所述光反射率和对于所述第二传感器数据的每个像素的所述光反射率。
所述方法还可以包括：掩蔽所述虚拟图的多个像素，每个被掩蔽的像素为所述第一传感器数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二传感器数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
所述方法还可以包括：确定所述被掩蔽的像素的所述遮挡并在所述遮挡超过所述遮挡阈值时致动所述部件。
所述方法还可以包括：将所述被掩蔽的像素识别为所述第二传感器数据的其中光反射率或深度数据未被收集的像素。
所述方法还可以包括：确定环境照度，并基于所述环境照度和由每个像素接收的光脉冲的幅值之间的差异来确定对于所述第一传感器数据的每个像素和所述第二传感器数据的每个像素的所述光反射率。
一种***包括：飞行时间传感器；图像传感器；用于从所述飞行时间传感器收集第一图像数据的器件；用于从所述图像传感器收集第二图像数据的器件；用于根据所收集的第一图像数据和所收集的第二图像数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图的器件；用于确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异的器件；用于在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值的器件；以及用于当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器的器件。
所述***还可以包括用于生成所述光反射率和所述深度中的另一者的第二虚拟图的器件，以及用于在所述数量的像素在所述第一图像数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时确定所述遮挡的器件。
所述***还可以包括用于发射多个光脉冲的器件和用于在所述光脉冲的发射期间收集所述第一图像数据和所述第二图像数据的器件。
所述***还可以包括用于掩蔽所述虚拟图的多个像素的器件，每个被掩蔽的像素为所述第一图像数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二图像数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
还公开了一种计算装置，所述计算装置被编程为执行上述方法步骤中的任一者。还公开了一种包括所述计算装置的车辆。还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行，以执行上述方法步骤中的任一者。
附图说明
图1是用于执行传感器诊断的示例***的图。
图2是示例飞行时间传感器的透视图。
图3是具有碎屑的示例传感器的视图。
图4是没有碎屑的传感器的示例反射率图和示例深度图的视图。
图5是具有碎屑的传感器的示例反射率图和示例深度图的视图。
图6是用于执行传感器诊断的示例过程的图。
具体实施方式
开发根据从飞行时间传感器和另一个传感器收集的传感器数据的虚拟反射率和深度图检测飞行时间传感器上的碎屑，并允许车辆计算机减轻飞行时间传感器上的碎屑。将来自飞行时间传感器和另一个传感器(例如图像传感器)的数据进行融合能够区分导致不同类型的深度图劣化并且可能需要不同的清洁技术来从飞行时间传感器移除的不同类型的遮挡碎屑。基于检测到的碎屑，计算机可以致动清洁部件以从飞行时间传感器移除特定的碎屑或更改图像的计算，例如传感器融合算法修改。
图1示出用于执行传感器诊断的示例***100。***100包括计算机105。车辆101中通常包括的计算机105被编程为从一个或多个传感器110接收所收集的数据115。例如，车辆101的数据115可以包括车辆101的位置、关于车辆101周围的环境的数据、关于车辆外部的对象(诸如另一车辆)的数据等。车辆101位置通常以常规形式提供，例如地理坐标，诸如经由使用全球定位***(GPS)的导航***获得的纬度和经度坐标。数据115的另外的示例可以包括车辆101的***和部件的测量结果，例如，车辆101的速度、车辆101的轨迹等。
计算机105通常被编程用于在车辆101的网络上进行通信，所述网络例如包括常规的车辆101的通信总线。经由网络、总线和/或其他有线或无线机制(例如，车辆101中的有线或无线局域网)，计算机105可以向车辆101中的各种装置(例如，控制器、致动器、传感器等，包括传感器110)传输消息和/或从所述各种装置接收消息。替代地或另外，在其中计算机105实际上包括多个装置的情况下，车辆网络可用于在本公开中表示为计算机105的装置之间的通信。另外，计算机105可以被编程用于与网络125通信，如下所述，网络125可以包括各种有线和/或无线联网技术，例如蜂窝、
Figure BDA0002545877270000071
低功耗
Figure BDA0002545877270000072
(BLE)、有线和/或无线分组网络等。
数据存储装置106可以是任何类型的，例如硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。数据存储装置106可以存储从传感器110发送的所收集的数据115。
传感器110可以包括多种装置。例如，车辆101中的各种控制器可以作为传感器110操作以经由车辆101的网络或总线提供数据115，例如与车速、加速度、位置、子***和/或部件状态等有关的数据115。此外，其他传感器110可以包括相机、运动检测器等，即，用于提供数据115以用于评估部件的位置、评估道路的坡度等的传感器110。传感器110还可以包括但不限于短程雷达、远程雷达、激光雷达(LIDAR)和/或超声换能器。
所收集的数据115可以包括在车辆101中收集的多种数据。以上提供了所收集的数据115的示例，并且另外，数据115通常使用一个或多个传感器110来收集，并且另外可以包括在计算机105中和/或在服务器130处根据数据115计算出的数据。一般而言，所收集的数据115可以包括可以由传感器110采集的和/或根据此类数据计算出的任何数据。
车辆101可以包括多个车辆部件120。在这种背景下，每个车辆部件120包括适于执行诸如移动车辆101、使车辆101减慢或停止、使车辆101转向等机械功能或操作的一个或多个硬件部件。部件120的非限制性示例包括推进部件(其包括例如内燃发动机和/或电动马达等)、变速器部件、转向部件(例如，其可以包括方向盘、转向齿条等中的一者或多者)、制动部件、清洁部件、泊车辅助部件、自适应巡航控制部件、自适应转向部件、可移动座椅等。
***100还可以包括连接到服务器130和数据存储装置135的网络125。计算机105还可以被编程为经由网络125与诸如服务器130的一个或多个远程站点通信，这种远程站点可能包括数据存储装置135。网络125表示车辆计算机105可以通过其与远程服务器130进行通信的一种或多种机制。因此，网络125可以是各种有线或无线通信机制中的一种或多种，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望的组合以及任何期望的网络拓扑结构(或当使用多个通信机制时的多个拓扑结构)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用
Figure BDA0002545877270000083
低功耗
Figure BDA0002545877270000082
(BLE)、IEEE 802.11、车辆对车辆(V2V)(诸如专用短程通信(DSRC)等))、局域网(LAN)和/或广域网(WAN)，包括因特网。
图2是示例飞行时间传感器200的透视图。飞行时间传感器200包括相机205和光源210。在图2的示例中，光源210是多个光发射器。替代地，光源210可以是单个光发射器。光源210产生多个光脉冲，所述多个光脉冲可以从相机205的视场中的对象反射。计算机105可以使用常规的脉冲光技术来开发深度图。亦即，相机205接收反射的光脉冲，并且计算机105可以基于由相机205的两个异相窗口接收到的电荷、光脉冲的发射与光脉冲的接收之间的时间差以及光速来预测相机205与光被反射的对象之间的距离，如等式1所示：
Figure BDA0002545877270000081
其中d是像素的深度，c是光速，Δt是光脉冲的发射与接收之间的时间差，Q1是在该像素处由相机205接收到的第一光子的电荷，并且Q2是在该像素处由相机205接收到的第二光子的电荷。替代地，计算机105可以使用常规的调制信号相关函数，所述函数基于发射的光脉冲和接收的光脉冲之间的相位来确定深度。仍为替代地，计算机105可以使用直接飞行时间技术，所述技术基于光脉冲的发射与光脉冲的接收之间的时间差乘以光速来预测相机205与对象之间的距离。相机205可以在接收到光脉冲时确定由相机205接收的光的幅值。
图3示出具有遮挡碎屑300的多个示例飞行时间传感器200。遮挡碎屑300阻止来自光源210的光到达相机205，从而减少由飞行时间传感器200收集的数据115的量。在图3的示例中，四个传感器200a、200b、200c、200d被示为各自具有不同种类的遮挡碎屑300a、300b、300c、300d。传感器200a具有碎屑300a，其为脏水，即聚集在传感器200a的相机205a上、其中悬浮有诸如脏物或灰尘的遮挡颗粒的水。传感器200b具有碎屑300b，其为干尘，即覆盖相机205b的一部分但不包括水的诸如脏物或灰尘的遮挡颗粒。传感器200c具有碎屑300c，其为生物，例如昆虫、节肢动物、蛛形纲动物等。亦即，小生物可能飞到和/或爬到相机205c上，从而遮挡传感器200。计算机105可致动清洁部件120以将流体喷射到生物上，从而用信号指示生物移动远离传感器200c。传感器200d具有碎屑300d，其为光源210d上的干尘，从而减少由光源210d发射并由相机205d接收的光的量。亦即，飞行时间传感器200的相机205和光源210可能各自被干尘遮挡，并且计算机105可致动清洁部件120以从相机205和光源210的一者或两者中移除干尘。遮挡碎屑会减少或阻挡来自反射对象的光脉冲，延迟或阻止光脉冲到达相机205，导致不准确的反射率和深度图而可能无法检测到车辆101附近的对象。
图4示出示例反射率图400和示例深度图405，其基于从没有遮挡碎屑300的飞行时间传感器200收集的数据115。图5示出示例反射率图500和示例深度图505，其基于从具有遮挡碎屑300的飞行时间传感器200收集的数据。在本背景下，“反射率图”是从由相机205观察的对象反射的光的量(即由相机205接收的光的幅值)的图。在这种背景下，“深度图”是相机205与由相机205观察的对象之间的距离的图。深度图405、505可以包括指示距相机205的深度范围的灰度410、510。例如，深度图405可以包括灰度410a、410b、410c，其中特定灰度410内的深度图405的每个像素在相机205的距离范围内，例如，灰度410a、510a中的深度图405、505的像素可能距相机205大于5米，灰度410b、510b中的像素可能距相机205大于3米但小于5米，灰度410c、510c中的像素可能距相机205小于3米。灰度410、510可在深度图405、505中由不同的颜色表示，或者如图4至图5所示，阴影表示颜色梯度。亦即，灰度410a、510a的阴影可表示深灰色，灰度410b、510b可表示中灰色，并且灰度410c、510c可表示浅灰色。图500、505上的碎屑300遮挡由飞行时间传感器200观察到的对象的反射率和深度。例如，在图500中，碎屑300阻止光到达相机205，从而导致所得图像的暗部，其遮挡图像中的对象的形状。在另一个示例中，在图505中，碎屑300直接位于相机205上，因此测得的深度为0，且在图5的示例中表示为白色部分。碎屑300会向图像中引入噪声，从而降低图像中对象的清晰度。例如，在图405中，可以清楚地描绘对象(例如，车辆101)，而周围环境可能具有环境噪声。在图505中，碎屑300可将噪声引入到通常会观察到对象的图像部分上，从而模糊对象的边界。
为了生成反射率图400、500和深度图405、505，计算机105指示飞行时间传感器200以及一个或多个其他传感器110收集车辆101周围的数据115。例如，如图4至图5所示，飞行时间传感器200和图像传感器110可以收集车辆101附近的目标车辆101的图像数据115。图像传感器110可以是例如互补金属氧化物半导体(CMOS)相机、电荷耦合器件(CCD)相机等。在另一个示例中，附加传感器110可以包括例如激光雷达、雷达、红外发射器、超声换能器等。使用多个传感器110、200允许计算机105融合来自多于一个来源的数据115，以生成更准确的图400、405、500、505。
计算机105可以确定车辆101周围的环境照度。图像传感器110和/或照度传感器可以接收来自光源以外的其他来源(例如，太阳、街灯、建筑物灯等)的光波，并且“环境照度”是由图像传感器110和/或照度传感器接收到的光的幅值。计算机105可以基于来自图像传感器110和/或照度传感器的数据115来确定车辆101周围的环境的照度。来自飞行时间传感器200和图像传感器110的图像数据115包括使用常规的光检测技术接收的光波的测量幅值，并且计算机105可以基于环境照度来确定图像数据115中的幅值是否为环境照度或来自光源210的光的结果。例如，如果在特定像素中接收的光的幅值大于被确定为环境照度的先前确定的幅值，则计算机105可以确定当前幅值和环境照度幅值之间的差异是来自光源210的光。因此，计算机105可以基于来自光源210的光来生成反射率图400、500和深度图405、505。在另一个示例中，碎屑300可以减少由飞行时间传感器200接收的光的量，并且计算机105可以将反射率图400、500与环境照度进行比较以识别飞行时间传感器200的遮挡，例如通过识别反射率图400、500具有比环境照度低照度阈值的光幅值，所述照度阈值通过对飞行时间传感器200上特定数量的碎屑300进行经验测试而确定。替代地，计算机105可以生成反射率图400、500和深度图405、505，而无需确定环境照度，即，通过图像传感器110使用光的幅值。
计算机105可以将数据115定位在车辆坐标系中，即，指定由数据115指示的对象在车辆坐标系中的坐标。车辆坐标系可以是以原点(例如保险杠的前中心点)为中心的常规笛卡尔坐标系，其具有沿车辆前向的纵向方向延伸的第一轴线和沿车辆横向的横向方向延伸的第二轴线，第二轴线垂直于第一轴线。来自飞行时间传感器200和图像传感器110的数据115可以被收集在传感器坐标系(即在相应传感器110、200处具有原点的常规笛卡尔坐标系)中。计算机105使用常规坐标变换技术可以将相应传感器坐标系中的数据115的空间坐标变换至车辆坐标系。通过将数据115定位在车辆坐标系中，计算机105可以融合数据115，即，将来自两个传感器110、200的数据115转换为来自飞行时间传感器200和图像传感器110的相同坐标系，以生成反射率图400、500和深度图405、505。
计算机105可以基于融合的数据115生成反射率图400、500。如上所述，反射率图400、500是从由飞行时间传感器200和图像传感器110捕获的对象的表面反射的光的虚拟图。来自图像传感器110和飞行时间传感器200的数据115对于每个像素包括由每个像素接收的光的幅值。计算机105将反射率图的每个像素的“反射率”确定为在每个像素处接收到的光的幅值，所述光的幅值通过来自飞行时间传感器200和图像传感器110的融合数据115测得。
计算机105可以基于融合的数据115生成深度图405、505。如上所述，深度图405、505是飞行时间传感器200到所接收的光被反射的对象的表面之间的距离的虚拟(即，存储在计算机存储器中并且通常不被物理显示或渲染)图。亦即，融合的数据115的每个像素的“深度”是由该像素捕获的对象的表面与飞行时间传感器200之间的距离。如上所述，计算机105可以基于常规的脉冲光技术来确定深度图405、505。替代地或另外，计算机105可以使用直接飞行时间技术，所述技术基于光脉冲的发射与光脉冲的接收之间的时间差乘以光速来预测相机205与对象之间的距离。亦即，基于光速、指示来自光源210的发射光的时间戳以及指示图像传感器110和飞行时间传感器200的每个像素的接收到光的时间戳，计算机105可以确定相应传感器110、200的每个像素与由相应像素捕获的对象之间的距离。
计算机105可以基于融合的数据115生成预测的反射率图和预测的深度图。预测的反射率图和预测的深度图是飞行时间传感器200被预测基于融合的数据115在没有碎屑的情况下进行检测的反射率和深度的图。亦即，计算机105可以利用常规的图像处理技术来预测针对飞行时间传感器200的接收到的反射率和针对飞行时间传感器200的接收到的深度测量值。例如，计算机105可以将常规的射线追踪技术应用于融合的数据115，即，模拟来自光源的光，并且对于融合的数据115的每个像素，预测来自像素中检测到的对象的所模拟的光的幅值和相位延迟。基于预测的幅值和相位延迟，计算机105可以预测来自针对像素的对象的反射率和深度。在对融合的数据115的每个像素应用射线追踪技术时，计算机105可以将预测的反射率和深度收集到相应图中，即预测的反射率图和预测的深度图。在另一个示例中，计算机105可以开发由飞行时间传感器200以外的传感器110检测的对象的三维截面(例如利用雷达和/或激光雷达)，并且可以内插连接来自传感器110的数据115的表面以生成预测的深度图。在又一个示例中，计算机105可以使用常规的高动态范围映射算法来预测离开像素的辐射通量，并且使用射线追踪算法如上所述来预测由所述像素接收的辐射通量，预测的反射率图是对于每个像素离开的通量除以接收的通量的比率。
计算机105可以确定反射率图400、500和预测的反射率图之间的光反射率差异。光反射率差异是飞行时间传感器200因为来自碎屑300的遮挡而未接收到的反射光的度量。亦即，预测的反射率图指示飞行时间传感器200应接收的反射率，并且光反射率差异指示可能由飞行时间传感器200上的碎屑300遮挡的像素。
计算机105可以确定深度图405、505和预测的深度图之间的深度差异。深度差异是因为来自碎屑300的遮挡而未由飞行时间传感器200检测到的深度的度量。亦即，预测的深度图指示飞行时间传感器200应检测到的深度，并且深度差异指示可能由飞行时间传感器200上的碎屑300遮挡的像素。
计算机105可以掩蔽仅对飞行时间传感器200可见的对象的像素。在这种背景下，为了“掩蔽”像素，计算机105执行逐像素的滤波操作以隐藏像素以免在计算中使用来确定反射率差异和深度差异。示例计算包括例如像对象检测、传感器融合等。飞行时间传感器200的视场可以与图像传感器110的视场不同。例如，飞行时间传感器200可以具有更大的视场和/或可以包括比图像传感器110更多的像素，并且可以观察图像传感器110不能观察的对象。计算机105可以识别飞行时间传感器200的不具有图像传感器110的对应像素的像素，并且可以掩蔽所识别的像素。亦即，计算机105可以为被识别为要被掩蔽的像素生成具有0值的参考图，其可以与数据115相乘，因此计算机105不为被掩蔽的像素产生反射率或深度。
计算机105可以基于反射率图400、500，深度图405、505，预测的反射率图和预测的深度图来确定飞行时间传感器200的遮挡。计算机105可以将反射率图400、500的每个像素与预测的反射率图的对应像素进行比较。如果反射率图400、500的像素具有低于反射率阈值的反射率并且预测的反射率图的对应像素高于反射率阈值，则计算机105可以确定该像素被遮挡。这种遮挡可能导致在估计对应像素位置的深度时出现较大的误差或偏差。类似地，由于相对于环境的周围照明较低的信噪比，位于光源210的一部分上的遮挡物可能遮挡图像的一部分并增加深度误差估计。
可以基于飞行时间传感器200的数据115收集极限来确定反射率阈值，例如，具有低于反射率阈值的反射率的像素对于反射率返回空值(例如，NaN)，并且具有高于反射率阈值的反射率的像素返回非空值。亦即，如果反射率图400、500中的像素返回空值并且预测的反射率图对于对应像素不返回空值，则计算机105可以确定反射率图400、500中的像素被碎屑遮挡。可以执行另一组形态学运算(例如腐蚀和膨胀)以移除单个像素误报，并且仅检测被认为被遮挡的像素簇。如果反射率图400、500和预测的反射率图两者的对应像素都返回空值，则计算机105可以确定像素在飞行时间传感器200的视场之外。替代地或另外，当深度图405、505的像素返回空值并且预测深度图405、505的对应像素不返回空值时，计算机105可以确定飞行时间传感器200的遮挡。仍为替代地，当像素的反射率差异超过基于飞行时间传感器200和/或图像传感器110的光接收分辨率确定的反射率差异阈值时，或像素的深度差异超过基于飞行时间传感器200和/或图像传感器110的距离分辨率确定的深度差异阈值时，计算机105可以将像素识别为被遮挡。替代地或另外，计算机105可以基于例如表面的漫反射和镜面反射率、发射的光脉冲和接收的光脉冲之间的波长差、由飞行时间传感器205和/或其他传感器110收集的数据115中的噪声、连续图像中的时间变化等来确定反射率阈值和深度差异阈值。例如，由飞行时间传感器200收集的具有特定量的碎屑300的图像的经验测试可以得出用于碎屑300的量和参数(诸如，例如表面的漫反射和镜面反射率、发射的光脉冲和接收的光脉冲之间的波长差、由飞行时间传感器200和/或其他传感器110收集的数据115中的噪声、连续图像中的时间变化等)的参考数据，并且所述阈值可基于所述参考数据以及由其确定的相关性来确定。
计算机105可以基于反射率图400、500和/或深度图405、505的具有低于反射率阈值的反射率或低于深度阈值的深度的像素的数量来确定飞行时间传感器200的遮挡。例如，计算机105可以识别反射率图400、500的具有低于反射率阈值的值并且对其而言预测的反射率图的对应像素高于反射率图的像素的数量。计算机105可以将识别出的像素的数量除以反射率图400、500中的像素的总数，以确定识别出的像素与总像素的比率。基于该比率，计算机105可以确定飞行时间传感器200的遮挡的数量和类型。遮挡物类型可以是例如轻度碎屑、重度碎屑、清洁的水、水中的碎屑、光源210上的碎屑等。例如，计算机105可以包括查找表，诸如基于已识别像素与总像素的比率列出遮挡物类型的表1：
比率 遮挡
0.13％ 清洁
0.17％ 相机上的水和脏物
0.20％ 相机上的重度脏物
0.70％ 所有光源上的碎屑
表1
计算机105可以在识别出引起遮挡的遮挡物的类型和数量时致动清洁部件120以清洁飞行时间传感器200。例如，如果遮挡是相机205上的重度脏物，则计算机105可以致动空气喷嘴以将空气吹到相机205上以移除脏物。在另一示例中，如果遮挡是相机上的水和脏物，则计算机105可以致动流体喷嘴以将清洁流体喷射到相机205上。在又一示例中，如果遮挡是光源210上的碎屑，则计算机105可以致动空气喷嘴以将空气吹到光源210上以移除碎屑。
计算机105可以在识别出遮挡后调整车辆101的运动算法。当飞行时间传感器200被遮挡时，由飞行时间传感器200接收的数据115可能不如来自清洁的飞行时间传感器200的数据115准确。计算机105可以调整车辆101的推进、转向和/或制动操作以虑及遮挡的数据115。例如，计算机105可以以较低的速度操作推进，直到清洁部件120从飞行时间传感器200移除碎屑为止。在另一示例中，计算机105可以增加车辆101与道路中的另一车辆101之间的距离。
图6是用于执行传感器诊断的示例过程600的图。过程600开始于框605，在框605中，计算机105致动飞行时间传感器200以收集车辆101周围的图像数据115。计算机105致动飞行时间传感器200的光源210，并且相机205接收从车辆101周围的对象反射的光，从而生成图像数据115。
接下来，在框610中，计算机105致动图像传感器110以收集车辆101周围的第二图像数据115。图像传感器110收集飞行时间传感器200所收集的同一对象的图像数据115。图像传感器110可以是例如CMOS相机、CCD相机等。
接下来，在框615中，计算机105确定环境照度。计算机105可以基于来自图像传感器110和/或照度传感器的数据115来确定车辆101周围的环境的照度。来自飞行时间传感器200和图像传感器110的图像数据115包括所接收的光波的幅值，并且计算机105可以基于环境照度来确定图像数据115中的幅值是否为环境照度或来自光源210的光的结果。替代地，计算机105可以在不确定环境照度的情况下从框610进行到框620。计算机105可以确定跳过框615并生成反射率图400、500和深度图405、505，而无需确定环境照度以减少计算机105的功耗和/或更快地生成图400、405、500、505。
在框620中，计算机105将来自车辆101的图像数据115和第二图像数据115定位在车辆坐标系中。如上所述，可以在传感器坐标系(即在相应传感器110、200处具有原点的常规笛卡尔坐标系)中收集来自飞行时间传感器200和图像传感器110的数据115。计算机105使用常规坐标变换技术可以将相应传感器坐标系中的数据115的空间坐标变换至车辆坐标系。通过将数据115定位在车辆坐标系中，计算机105可以融合来自飞行时间传感器200和图像传感器110的数据115以生成反射率图400、500和深度图405、505。
接下来，在框625中，计算机105基于融合的数据115确定光反射率图400、500。如上所述，光反射率图400、500是从由相机205观察的对象反射的光的量(即由相机205接收的光的幅值)的图。来自图像传感器110和飞行时间传感器200的数据115对于每个像素包括由每个像素接收的光的幅值。计算机105将反射率图的每个像素的反射率确定为在每个像素处接收到的光的幅值，所述光的幅值通过来自飞行时间传感器200和图像传感器110的融合数据115测得。
接下来，在框630中，计算机105基于融合的数据115确定深度图405、505。如上所述，计算机105可以利用常规脉冲光技术来确定深度图405、505，该常规脉冲光技术使用由相机205的两个异相窗口接收的电荷、光脉冲的发射与光脉冲的接收之间的时间差以及光速，如上所述。替代地，计算机105可以基于来自光源210的光的发射以及图像传感器110和飞行时间传感器200对光的接收之间的时间延迟来确定深度图405、505。亦即，基于光速、指示来自光源210的发射光的时间戳以及指示图像传感器110和飞行时间传感器200的每个像素的接收到光的时间戳，计算机105可以确定相应传感器110、200的每个像素与由相应像素捕获的对象之间的距离。
接下来，在框635中，计算机105确定光反射率图400、500和预测的光反射率图之间的反射率差异。反射率差异是飞行时间传感器200因为来自碎屑300的遮挡而未接收到的反射光的度量。亦即，预测的反射率图指示飞行时间传感器200应接收的反射率，并且光反射率差异指示可能由飞行时间传感器200上的碎屑300遮挡的像素。
接下来，在框640中，计算机105确定深度图405、505与预测的深度图之间的深度差异。深度差异是因为来自碎屑300的遮挡而未由飞行时间传感器200检测到的深度的度量。亦即，预测的深度图指示飞行时间传感器200应检测到的深度，并且深度差异指示可能由飞行时间传感器200上的碎屑300遮挡的像素。
接下来，在框645中，计算机105掩蔽反射率图400、500和/或深度图405、505的仅对飞行时间传感器200可见的像素。亦即，如上所述，飞行时间传感器200的视场可以与图像传感器110的视场不同。例如，飞行时间传感器200可以具有更大的视场和/或可以包括比图像传感器110更多的像素，并且可以观察图像传感器110不能观察的对象。计算机105可以识别飞行时间传感器200的不具有图像传感器110的对应像素的像素，并且可以掩蔽所识别的像素，即，隐藏像素以免在诸如对象检测、传感器融合等计算中使用，如上所述。
接下来，在框650中，计算机105确定飞行时间传感器200的遮挡，即，由飞行时间传感器200上的碎屑或另一对象遮挡的像素的数量。例如，计算机105可以将反射率图400、500的每个像素与预测的反射率图的对应像素进行比较。如果反射率图400、500的像素具有低于反射率阈值的反射率并且预测的反射率图的对应像素高于反射率阈值，则计算机105可以确定该像素被遮挡。可以基于飞行时间传感器200的数据115收集极限来确定反射率阈值，例如，具有低于反射率阈值的反射率的像素对于反射率返回空值(例如，NaN)，并且具有高于反射率阈值的反射率的像素返回非空值。亦即，如果反射率图400、500中的像素返回空值并且预测的反射率图对于对应像素不返回空值，则计算机105可以确定反射率图400、500中的像素被碎屑遮挡。
接下来，在框655中，计算机105确定遮挡是否高于预定阈值。例如，计算机105可以将识别出的像素的数量除以反射率图400、500中的像素的总数，以确定识别出的像素与总像素的比率。基于该比率，计算机105可以确定引起飞行时间传感器200的遮挡的遮挡数量和类型。阈值可以被确定为特定比率，高于该特定比率则计算机105确定飞行时间传感器200需要清洁。例如，阈值可以是0.17％。
在框660中，计算机105致动清洁部件120以从飞行时间传感器200移除导致遮挡的碎屑300。如上所述，基于所识别的被遮挡像素的比率，计算机105致动特定清洁部件120以移除碎屑300。例如，如果该比率指示碎屑300是相机205上的重度脏物，则计算机105可以致动流体喷射器以将清洁流体喷射到相机上。在另一示例中，如果该比率指示碎屑300是光源210上的灰尘，则计算机105可以致动空气喷嘴以将空气吹到光源210上。
在框665中，计算机105确定是否继续过程600。例如，计算机105可以确定对于每个飞行时间传感器200继续过程600。如果计算机105确定继续，则过程600返回到框605。否则，过程600结束。
如本文所使用的，修饰形容词的副词“基本上”意指形状、结构、测量结果、值、计算等可能偏离精确描述的几何形状、距离、测量结果、值、计算等，这是因为材料、机加工、制造、数据收集器测量值、计算、处理时间、通信时间等存在缺陷。
本文中所讨论的计算装置(包括计算机105和服务器130)包括处理器和存储器，所述存储器通常各自包括可由诸如上面识别的那些计算装置的一个或多个计算装置执行的并且用于执行上述过程的框或步骤的指令。计算机可执行指令可以由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于单独或组合的JavaTM、C、C++、Intercal、Visual Basic、Java Script、Perl、Python、HTML等。一般来说，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所描述的过程中的一个或多个过程。可使用各种计算机可读介质来存储和传输此类指令和其他数据。计算机105中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。
计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。这种介质可采用许多形式，包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他持久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(DRAM)。计算机可读介质的常见形式包括例如软盘、软磁盘、硬盘、磁带、任何其他磁性介质、CD ROM、DVD、任何其他光学介质、穿孔卡、纸带、具有孔图案的任何其他物理介质、RAM、PROM、EPROM、快闪EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
关于本文所描述的介质、过程、***、方法等，应当理解，虽然此类过程等的步骤已被描述为按照某一有序的序列发生，但是此类过程可在以本文描述的次序以外的次序执行所描述的步骤的情况下来实践。还应当理解，可以同时执行某些步骤，可以添加其他步骤，或者可省略本文所描述的某些步骤。例如，在过程600中，可以省略一个或多个步骤，或者可以以不同于图6所示的顺序执行所述步骤。换句话说，本文提供的***和/或过程的描述是为了说明某些实施例的目的，并且决不应被解释为限制所公开的主题。
因此，应当理解，包括上述描述和附图以及以下权利要求的本公开意图是说明性的而非限制性的。通过阅读以上描述，除了所提供的示例之外的许多实施例和应用对于本领域技术人员来说将是显而易见的。本发明的范围不应参考以上描述来确定，而是应参考所附的和/或基于此包括在非临时专利申请中的权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。预期并且期望本文所讨论的领域未来将有所发展，并且所公开的***和方法将并入此类未来的实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。
除非另有说明或上下文另有要求，否则修饰名词的冠词“一个”应被理解为是指一个或多个。短语“基于”涵盖部分地或全部地基于。
根据本发明，提供了一种***，其具有计算机，所述计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下各项的指令：从飞行时间传感器收集第一传感器数据；从一个或多个传感器收集第二传感器数据；根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。
根据一个实施例，所述指令还可以包括以下指令：生成所述光反射率和所述深度中的另一者的第二虚拟图，以及在所述数量的像素在所述第一传感器数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时，确定所述遮挡。
根据一个实施例，所述指令还可以包括以下指令：当所述遮挡超过所述遮挡阈值时，致动流体喷射器以将清洁流体喷射到所述飞行时间传感器上。
根据一个实施例，所述指令还可以包括以下指令：基于所述遮挡来识别所述飞行时间传感器的遮挡物类型。
根据一个实施例，所述遮挡物类型是轻度碎屑、重度碎屑、清洁的水、水中的碎屑或光源上的碎屑中的一种。
根据一个实施例，所述指令还可以包括以下指令：致动光源以发射多个光脉冲并在所述光脉冲的发射期间收集所述第一传感器数据和所述第二传感器数据。
根据一个实施例，所述指令还可以包括以下指令：基于在发射所述光脉冲之后对于每个像素接收到照度的时间延迟来确定对于所述第一传感器数据的每个像素的所述深度和对于所述第二传感器数据的每个像素的所述深度。
根据一个实施例，所述指令还可以包括以下指令：基于在发射所述光脉冲之后每个像素的相应照度来确定对于所述第一传感器数据的每个像素的所述光反射率和对于所述第二传感器数据的每个像素的所述光反射率。
根据一个实施例，所述指令还可以包括以下指令：掩蔽所述虚拟图的多个像素，每个被掩蔽的像素为所述第一传感器数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二传感器数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
根据一个实施例，所述指令还可以包括以下指令：确定所述被掩蔽的像素的所述遮挡并在所述遮挡超过所述遮挡阈值时致动所述部件。
根据一个实施例，所述指令还可以包括以下指令：将所述被掩蔽的像素识别为所述第二传感器数据的其中光反射率或深度数据未被收集的像素。
根据一个实施例，所述指令还可以包括以下指令：确定环境照度，并基于所述环境照度和由每个像素接收的光脉冲的幅值之间的差异来确定对于所述第一传感器数据的每个像素和所述第二传感器数据的每个像素的所述光反射率。
根据本发明，一种方法，其包括：从飞行时间传感器收集第一传感器数据；从一个或多个传感器收集第二传感器数据；根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。
根据一个实施例，本发明的特征还在于：生成所述光反射率和所述深度中的另一者的第二虚拟图，以及在所述数量的像素在所述第一传感器数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时，确定所述遮挡。
根据一个实施例，本发明的特征还在于：致动光源以发射多个光脉冲并在所述光脉冲的发射期间收集所述第一传感器数据和所述第二传感器数据。
根据一个实施例，本发明的特征还在于：掩蔽所述虚拟图的多个像素，每个被掩蔽的像素为所述第一传感器数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二传感器数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
根据本发明，提供了一种***，其具有：飞行时间传感器；图像传感器；用于从所述飞行时间传感器收集第一图像数据的器件；用于从所述图像传感器收集第二图像数据的器件；用于根据所收集的第一图像数据和所收集的第二图像数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图的器件；用于确定所述第一图像数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异的器件；用于在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值的器件；以及用于当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器的器件。
根据一个实施例，本发明的特征还在于：用于生成所述光反射率和所述深度中的另一者的第二虚拟图的器件，以及用于在所述数量的像素在所述第一图像数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时确定所述遮挡的器件。
根据一个实施例，本发明的特征还在于：用于发射多个光脉冲的器件和用于在所述光脉冲的发射期间收集所述第一图像数据和所述第二图像数据的器件。
根据一个实施例，本发明的特征还在于：用于掩蔽所述虚拟图的多个像素的器件，每个被掩蔽的像素为所述第一图像数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二图像数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。

Claims (15)

1.一种方法，其包括：
从飞行时间传感器收集第一传感器数据；
从一个或多个传感器收集第二传感器数据；
根据所收集的第一传感器数据和所收集的第二传感器数据生成来自所述飞行时间传感器的光反射率或深度中的至少一者的虚拟图；
确定所述第一传感器数据的每个像素的所述光反射率或所述深度与所述虚拟图的每个对应像素的所述光反射率或所述深度之间的差异；
在一定数量的像素具有所述光反射率或所述深度的相应差异时确定所述飞行时间传感器的遮挡超过遮挡阈值；以及
当所述遮挡超过遮挡阈值时，致动部件以清洁所述飞行时间传感器。
2.如权利要求1所述的方法，其还包括：生成所述光反射率和所述深度中的另一者的第二虚拟图，以及在所述数量的像素在所述第一传感器数据的所述像素的所述光反射率和所述深度与所述虚拟图的所述对应像素的所述光反射率和所述深度之间的相应差异超过相应的光反射率和深度阈值时，确定所述遮挡。
3.如权利要求1所述的方法，其还包括：当所述遮挡超过所述遮挡阈值时，致动流体喷射器以将清洁流体喷射到所述飞行时间传感器上。
4.如权利要求1所述的方法，其还包括：基于所述遮挡来识别所述飞行时间传感器的遮挡物类型。
5.如权利要求4所述的方法，其中所述遮挡物类型是轻度碎屑、重度碎屑、清洁的水、水中的碎屑或光源上的碎屑中的一种。
6.如权利要求1所述的方法，其还包括：掩蔽所述虚拟图的多个像素，每个被掩蔽的像素为所述第一传感器数据的具有超过光反射率阈值或深度阈值的相应光反射率或深度的像素和所述第二传感器数据的具有低于第二光反射率阈值或第二深度阈值的相应光反射率或深度的对应像素。
7.如权利要求6所述的方法，其还包括：确定所述被掩蔽的像素的所述遮挡并在所述遮挡超过所述遮挡阈值时致动所述部件。
8.如权利要求6所述的方法，其还包括：将所述被掩蔽的像素识别为所述第二传感器数据的其中光反射率或深度数据未被收集的像素。
9.如权利要求1至8中任一项所述的方法，其还包括：确定环境照度，并基于所述环境照度和由每个像素接收的光脉冲的幅值之间的差异来确定对于所述第一传感器数据的每个像素和所述第二传感器数据的每个像素的所述光反射率。
10.如权利要求1至8中任一项所述的方法，其还包括：致动光源以发射多个光脉冲并在所述光脉冲的发射期间收集所述第一传感器数据和所述第二传感器数据。
11.如权利要求10所述的方法，其还包括：基于在发射所述光脉冲之后对于每个像素接收到照度的时间延迟来确定对于所述第一传感器数据的每个像素的所述深度和对于所述第二传感器数据的每个像素的所述深度。
12.如权利要求10所述的方法，其还包括：基于在发射所述光脉冲之后每个像素的相应照度来确定对于所述第一传感器数据的每个像素的所述光反射率和对于所述第二传感器数据的每个像素的所述光反射率。
13.一种计算机，其被编程为执行如权利要求1至8中任一项所述的方法。
14.一种车辆，其包括如权利要求13所述的计算机。
15.一种计算机程序产品，其包括计算机可读介质，所述计算机可读介质存储指令，所述指令能够由计算机处理器执行以执行如权利要求1至8中任一项所述的方法。
CN202010559809.3A 2019-06-19 2020-06-18 车辆传感器增强 Pending CN112193208A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/445,284 US11673533B2 (en) 2019-06-19 2019-06-19 Vehicle sensor enhancements
US16/445,284 2019-06-19

Publications (1)

Publication Number Publication Date
CN112193208A true CN112193208A (zh) 2021-01-08

Family

ID=73654091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010559809.3A Pending CN112193208A (zh) 2019-06-19 2020-06-18 车辆传感器增强

Country Status (3)

Country Link
US (1) US11673533B2 (zh)
CN (1) CN112193208A (zh)
DE (1) DE102020115997A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112313941A (zh) * 2019-09-20 2021-02-02 深圳市大疆创新科技有限公司 控制装置、摄像装置、控制方法以及程序
US20210109523A1 (en) * 2019-10-10 2021-04-15 Waymo Llc Sensor field of view in a self-driving vehicle
CN114260259B (zh) * 2021-12-22 2023-06-02 深圳泰德激光技术股份有限公司 激光清洗电池的方法、装置及计算机可读存储介质
DE102022205617A1 (de) 2022-06-01 2023-12-07 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Testvorrichtung zur Detektion von Ablagerungen auf einem Deckglas eines optischen Sensors und optischer Sensor

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852461B2 (en) * 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
US8279418B2 (en) * 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
EP2729826B1 (en) 2012-01-10 2017-04-26 Softkinetic Sensors N.V. Improvements in or relating to the processing of time-of-flight signals
US10230934B2 (en) * 2013-06-14 2019-03-12 Microsoft Tehcnology Licensing, Llc Depth map correction using lookup tables
US9958758B2 (en) * 2015-01-21 2018-05-01 Microsoft Technology Licensing, Llc Multiple exposure structured light pattern
US10229502B2 (en) * 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
DE102016003021B4 (de) * 2016-03-12 2017-11-23 Audi Ag Kraftfahrzeug-Steuervorrichtung und Verfahren zum Ermitteln einer Position eines in einem Kraftfahrzeug eingebauten optischen Sensors
US10565682B2 (en) 2016-11-07 2020-02-18 Ford Global Technologies, Llc Constructing map data using laser scanned images
CN108528431B (zh) * 2017-03-02 2020-03-31 比亚迪股份有限公司 车辆行驶自动控制方法和装置
US10241198B2 (en) 2017-03-30 2019-03-26 Luminar Technologies, Inc. Lidar receiver calibration
US10677897B2 (en) 2017-04-14 2020-06-09 Luminar Technologies, Inc. Combining lidar and camera data
US10189449B2 (en) * 2017-06-23 2019-01-29 Ford Global Technologies, Llc Vehicle cleaning
US10705214B2 (en) * 2017-07-14 2020-07-07 Microsoft Technology Licensing, Llc Optical projector having switchable light emission patterns
EP3688492B1 (en) 2017-09-26 2023-12-20 Innoviz Technologies Ltd. Lidar systems and methods
US10922395B2 (en) * 2018-01-05 2021-02-16 Stmicroelectronics, Inc. Facial authentication systems and methods utilizing time of flight sensing
US10643059B2 (en) * 2018-01-10 2020-05-05 Trax Technology Solutions Pte Ltd. Inspecting store shelf capacity
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
CN111126114B (zh) * 2018-11-01 2023-03-31 财团法人车辆研究测试中心 道路标线的光达侦测方法及其***

Also Published As

Publication number Publication date
DE102020115997A1 (de) 2020-12-24
US20200398797A1 (en) 2020-12-24
US11673533B2 (en) 2023-06-13

Similar Documents

Publication Publication Date Title
US11609329B2 (en) Camera-gated lidar system
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
CN112193208A (zh) 车辆传感器增强
KR102614323B1 (ko) 수동 및 능동 측정을 이용한 장면의 3차원 지도 생성
CN108140323B (zh) 用于机动车中的环境检测时改进的数据融合的方法和设备
US20150336575A1 (en) Collision avoidance with static targets in narrow spaces
JP2020534518A (ja) 低レイテンシ動作計画更新を有するインテリジェントｌａｄａｒシステム
US20160139255A1 (en) Method and device for the localization of a vehicle from a fixed reference map
Dannheim et al. Weather detection in vehicles by means of camera and LIDAR systems
US20180114436A1 (en) Lidar and vision vehicle sensing
US11961306B2 (en) Object detection device
Zhang et al. Lidar degradation quantification for autonomous driving in rain
RU2763800C1 (ru) Бортовая сенсорная система
EP4102251A1 (en) Determination of atmospheric visibility in autonomous vehicle applications
US20230257000A1 (en) System and method for detecting an obstacle in an area surrounding a motor vehicle
US20200274998A1 (en) Determination of illuminator obstruction by known optical properties
WO2022231879A1 (en) Data driven resolution function derivation
US20230152431A1 (en) Methods for Detecting LIDAR Aperture Fouling
US20210302554A1 (en) System and method for lidar defogging
CN115485582A (zh) 用于识别激光雷达测量中的光晕的方法和装置
US20230221410A1 (en) Object sensing device and object sensing method
US11682140B1 (en) Methods and apparatus for calibrating stereo cameras using a time-of-flight sensor
Gabb et al. Probabilistic inference of visibility conditions by means of sensor fusion
WO2024009739A1 (ja) 光学式測距センサ、及び光学式測距システム
US20240190349A1 (en) Method for Operating a Gated Camera, Control Device for Carrying Out Such a Method, Over-The-Shoulder View Device Having Such a Control Device, and Motor Vehicle Having Such an Over-The-Shoulder View Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination