CN112805716A - 用于训练事件检测器的快照图像 - Google Patents

用于训练事件检测器的快照图像 Download PDF

Info

Publication number
CN112805716A
CN112805716A CN201880098545.7A CN201880098545A CN112805716A CN 112805716 A CN112805716 A CN 112805716A CN 201880098545 A CN201880098545 A CN 201880098545A CN 112805716 A CN112805716 A CN 112805716A
Authority
CN
China
Prior art keywords
event
sensor
sensor data
vehicle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880098545.7A
Other languages
English (en)
Inventor
M·德姆林
江万里
李千山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN112805716A publication Critical patent/CN112805716A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/295—Means for transforming co-ordinates or for evaluating data, e.g. using computers
    • G01S7/2955—Means for determining the position of the radar coordinate system for evaluating the position data of the target in another coordinate system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的示例描述了一种用于利用快照图像来训练事件检测器的方法和装置。该方法包括：从安装在车辆上的至少一个传感器获取至少两个传感器数据帧，该至少两个传感器数据帧是在不同时间处按顺序收集的(702)；获取在传感器数据被获取时正在发生的事件的结果(704)；对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像(706)；将所获取的事件的结果与对应的快照图像相关联作为训练数据(708)；以及使用该训练数据来训练事件检测器(710)。

Description

用于训练事件检测器的快照图像
技术领域
本公开一般涉及自动驾驶车辆，更具体地，涉及利用快照图像来训练事件检测器。
背景技术
自动驾驶车辆(也称为无人驾驶汽车、自动驾驶汽车、机器人汽车)是一种能够感测其环境并且在无需人类输入的情况下导航的车辆。自动驾驶车辆(在下文中被称为ADV)使用各种技术来检测其周边环境，诸如使用雷达、激光、GPS、测程法以及计算机视觉。高级的控制***对感测信息进行解读以标识合适的导航路径，以及障碍物和相关路标。
更具体地，ADV从各种车载传感器(例如相机、激光雷达、雷达等)收集传感器数据。基于该传感器数据，ADV可以构建其周围的实时道路模型。道路模型可包括各种信息，包括但不限于车道标志、交通灯、交通标志、道路边界等。将所构建的道路模型与预先安装的道路模型(诸如由高清晰度(HD)地图提供商提供的那些道路模型)进行比较，以使得ADV可以更准确地确定其在HD地图中的位置。同时，ADV还可以基于传感器数据来标识其周围的对象，诸如车辆和行人。ADV可以基于所确定的道路模型和所标识的周围对象(诸如车道改变、加速、刹车等)来做出适当的驾驶决策。
如本领域中已知的，不同的传感器产生不同形式或格式的数据。例如，相机提供图像，而激光雷达提供点云。在处理来自不同传感器的此类传感器数据时，必须单独处理每种类型的传感器数据。因此，对于每种类型的传感器，必须建立一个或多个用于对象标识的模型。另外，对于任何特定类型的传感器，在用于训练目标模型(诸如事件检测器)时，它可能具有缺点。例如，如果使用由相机直接获取的图像来训练事件检测器，则缺点可包括：(1)没有对图像中的各元素进行分类；(2)图像可以处于任意视角；以及(3)需要大量的样本图像来训练目标模型。对于其他类型的传感器可能存在类似的缺点。因此，期望一种利用传感器数据来记录交通场景的改进的解决方案。另外，如果事件检测器是基于预定义的描述进行训练的，则它可能具有以下缺点：(1)该描述应专门为一事件定义；以及(2)该描述可能容易忽略一些支持信息，例如，对于车道改变意图，相邻车道中的对象也会产生影响。此外，用于训练事件检测器的现有方式不使用机器学习技术，并且因此，该训练需要很多预定义的准则，并且仅在很多前提条件下起效。
发明内容
本公开的目的在于提供一种用于利用快照图像来训练事件检测器并且利用经训练的事件检测器来检测事件的方法和装置。本发明的方法至少可具有优于事件检测器训练的传统方式的以下优点：由于统一的数据表示而使用较少数目的训练样本；(2)样本数据可包含各种类型的信息，其也可包括历史信息；(3)计算高效；以及(4)实现不同格式的现有数据的使用。
根据本公开的第一示例性实施例，提供了一种用于利用快照图像来训练事件检测器的方法。该方法包括：从安装在车辆上的至少一个传感器获取至少两个传感器数据帧，该至少两个传感器数据帧是在不同时间处按顺序收集的；获取在传感器数据被获取时正在发生的事件的结果；对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；将所获取的事件的结果与对应的快照图像相关联作为训练数据；以及使用该训练数据来训练事件检测器。
根据本公开的第二示例性实施例，描述了一种在车辆上用于检测事件的方法。该方法包括：获取由根据第一实施例的方法训练的事件检测器；从安装在车辆上的至少一种类型的传感器获取至少一个传感器数据帧；对于该至少一帧中的每一帧，利用所获取的传感器数据来创建快照图像；以及基于所创建的快照图像，利用该事件检测器来检测事件。
根据本公开的第三示例性实施例，提供了一种用于利用快照图像来训练事件检测器的***。该***包括：传感器数据获取模块，该传感器数据获取模块被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧；事件结果获取模块，该事件结果获取模块被配置用于获取在传感器数据被获取时正在发生的事件的结果；快照图像创建模块，该快照图像创建模块被配置用于对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；关联模块，该关联模块被配置用于将所获取的事件的结果与对应的快照图像相关联作为训练数据；以及训练模块，该训练模块被配置用于使用该训练数据来训练事件检测器。
根据本公开的第四示例性实施例，描述了一种在车辆上用于检测事件的装置。该装置包括：检测器获取模块，该检测器获取模块被配置用于获取由根据第一实施例的方法训练的事件检测器；传感器数据获取模块，该传感器数据获取模块被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧；快照图像创建模块，该快照图像创建模块被配置用于对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；以及事件检测模块，该事件检测模块被配置用于基于所创建的快照图像，利用该事件检测器来检测事件。
根据本公开的第五示例性实施例，提供了一种包括至少一个传感器和该第四示例性实施例的装置的车辆。
提供本发明内容以便以简化的形式介绍以下在具体实施方式中进一步描述的概念的选集。本发明内容并非旨在标识出要求保护的主题内容的关键特征或必要特征，亦非旨在限定要求保护的主题内容的范围。诸示例的附加的方面、特征和/或优点将在下面的描述中部分地阐述，并且部分地从描述中将是显而易见的，或者可以通过本公开的实践而获知。
附图说明
结合附图，通过以下对示例性实施例的详细描述，本公开的上述和其它方面和优点将变得显而易见，这些附图作为示例解说了本公开的原理。注意，附图不一定按比例绘制。
图1解说了根据本发明的一实施例的从交通场景的快照图像生成的示例性示图。
图2是根据本发明的一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
图3解说了根据本发明的另一实施例的从交通场景的快照图像生成的示例性示图。
图4是根据本发明的另一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
图5是根据本发明的又一实施例的用于创建交通场景的快照图像的示例性方法的流程图。
图6是根据本发明的一实施例的用于利用快照图像来训练道路模型的示例性方法的流程图。
图7是根据本发明的一实施例的用于利用快照图像来训练事件检测器的示例性方法的流程图。
图8是根据本发明的一实施例的在车辆上实现的用于检测事件的示例性方法的流程图。
图9解说了根据本发明的一实施例的用于创建交通场景的快照图像的示例性装置。
图10解说了根据本发明的一实施例的示例性车辆。
图11解说了根据本发明的另一实施例的用于创建交通场景的快照图像的示例性装置。
图12解说了根据本发明的另一实施例的示例性车辆。
图13解说了根据本发明的又一实施例的用于创建交通场景的快照图像的示例性装置。
图14解说了根据本发明的又一实施例的示例性车辆。
图15解说了根据本发明的一实施例的用于利用快照图像来训练道路模型的示例性***。
图16解说了根据本发明的一实施例的用于利用快照图像来训练事件检测器的示例性***。
图17解说了根据本发明的一实施例的在车辆上用于检测事件的装置。
图18解说了根据本发明的一实施例的示例性车辆。
图19解说了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境。
具体实施方式
在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有一些或所有这些具体细节的情况下实践所描述的实施例。在其他示例性实施例中，未详细描述众所周知的结构或处理步骤，以避免不必要地使本公开的概念模糊。
在说明书中使用的术语车辆摂是指汽车、飞机、直升机、轮船等。为了简单起见，结合“汽车”来描述本发明，但是本文所描述的各实施例不仅限于“汽车”，而是可适用于其他种类的交通工具。说明书中使用的术语“A或B”是指“A和B”和“A或B”，而不是意味着A和B是排他的，除非另有说明。
I.快照
本发明提供了一种方法，该方法能够以统一的方式高效地将各种类型的传感器数据集成在车辆上，以整体地展现车辆周围的交通场景的信息。该方法在某种程度上类似于拍摄场景的照片，因此在下文中被称为“快照”，并且这些快照的数据被称为“快照图像”。
1.多个传感器，一个时间戳
作为本发明的第一实施例，可以通过同时捕获的来自多个传感器的传感器数据来构建快照。
如以上所提及的，车辆(尤其是ADV)被装备有不同类型的传感器，诸如激光雷达、雷达和相机。每个传感器记录其自己的传感器数据，并且将其提供给车辆的中央处理单元。由各种类型或各种制造商的传感器提供的传感器数据的格式通常是不同的。因此，中央处理单元需要具有读取和识别各种类型的传感器数据中的每一者并且单独使用它们的能力。因此，这消耗大量资源，并且效率很低。
本发明以快照的形式集成来自多个传感器的传感器数据。多个传感器可以是相同类型的传感器，但是也可以是不同类型的传感器。
为了执行统一的集成，建立了统一的参考坐标系。根据本发明的一个实施例，本发明的参考坐标系可以是平行于地面的二维平面。例如，参考坐标系的原点可以是车辆后轴的中点。替换地，原点可以是任何一个传感器的位置，诸如传感器的几何中心、或者由传感器所使用的局部坐标系的原点。当然，原点也可以是车辆上的任何点。为了便于阐述，在本实施例中，汽车后轴的中点被选为原点。
相应地，参考坐标系的一个轴可以平行于车辆的后轴，而另一轴可以垂直于车辆的后轴。因此，如图1所示，其解说了根据本发明一实施例的从交通场景的快照图像生成的示例性示图，x轴垂直于车辆的后轴，其中x轴的正半轴表示车辆行驶方向前方的位置，而x轴的负半轴表示车辆行驶方向后方的位置。y轴平行于车辆的后轴。y轴的正半轴可以表示车辆行驶方向左侧的位置，而y轴的负半轴可以表示车辆行驶方向右侧的位置。可任选地，可以预定参考坐标系的大小，以便限制数据量。作为示例，x轴和y轴可被定义为具有-50至+50米、或-100至+100米或类似的大小。在另一示例中，x轴和y轴可以由安装在车辆上的传感器的最大感测范围来确定。
在车辆中使用的各种传感器，不管它们采用的数据格式如何，通常都至少包括位置信息和值信息的二进制集，诸如{{x，y)，d}，其表示在位置(x,y)处从传感器读出的值为d。位置信息处于传感器的局部坐标系中。因此，在参考坐标系被确定之后，可以将每个传感器的传感器数据从其相应的局部坐标系变换到参考坐标系。传感器在车辆上的安装位置是已知的，因此可以确定参考坐标系中的对应位置。例如，假设第一传感器的局部坐标系与参考坐标系之间的相对位置为xc1,yc1，即第一传感器的局部坐标系的原点位于参考坐标系中的(xc1,yc1)。随后，局部参考坐标系中的给定位置(xs1,ys1)可被变换为(xs1-xc1,ys1-yc1)。类似地，假设第二传感器的局部坐标系与参考坐标系之间的相对位置为xc2,yc2，即第二传感器的局部坐标系的原点位于参考坐标系中的(xc2,yc2)。随后，局部参考坐标系中的给定位置(xs2,ys2)可被变换为(xs2-xc2,ys2-yc2)。
另外，一些传感器可以使用三维局部坐标系，例如，激光雷达的点云数据是三维的。此类三维坐标系可被投影到二维参考坐标系上。更具体地，此类三维坐标系一般由x、y和z轴来表示，其中由三个轴中的两个轴(假设x和y轴)形成的平面通常也平行于地面，并且因此平行于在本发明的参考坐标系中的x-y平面。因此，可以通过平移将其x-y坐标类似地变换成参考坐标系中的坐标。z坐标不需要变换，并且可以作为附加信息保留在快照图像数据中。通过三维到二维的变换，本发明所提供的快照图像在可视地显示的情况下可能看起来类似于场景的俯视图。
另外，如前所述，由不同传感器提供的数据可以具有不同的数据格式。除了数据格式之外，数据的处理程度可能会有所不同。例如，一些传感器仅能提供原始数据，而一些传感器提供已处理的数据，例如在某种程度上具有识别的数据。例如，一些激光雷达可以基于点云数据来提供场景的进一步信息，诸如一些对象(例如，路牌等)的分割或识别。一些相机还可以提供类似的识别，诸如标识所捕获的图像中的车道标记。不管数据被处理的程度如何，由传感器所输出的数据始终包含成对的位置数据和值。换言之，传感器的输出始终告知关于什么位置的什么信息。因此，为了根据本发明来创建快照，仅需要在单个快照中记录位置和数据之间的所有对应关系，使得本发明的快照可与所有传感器兼容，并且同时包含每个传感器的所有原始信息。
可以构想，由于多个传感器被用于感测相同的场景，因此场景中的相同对象可以由不同的传感器来感测。例如，如图1所示，在假设在参考坐标系中为(x1,y1)的特定位置处存在建筑物102。
因此，激光雷达、雷达和相机可能都已经感测到了树，并且分别提供与在其自己的局部坐标系中表示的树相对应的对应传感器数据，诸如由第一传感器提供的{(xs1,ys1),ds1}、以及由第二传感器提供的{(xs2,ys2),ds2})。
显然，在变换到参考坐标系之后，由这两个传感器给出的位置将在参考坐标系中处于同一地点，即(x1,y1)。换言之，(xs1-xc1,ys1-yc1)＝(xs2-xc2,ys2-yc2)＝(x1,y1)。例如，在创建快照时，由这两个传感器给出的传感器数据两者都可被添加到(x1,y1)，如{(x1,y1),ds1,ds2}。本领域技术人员将领会，本文所描述的数据格式仅仅是示例性的，并且根据本发明，反映位置和读出值之间的关系的任何合适的数据格式都可被用于记录快照图像数据。
图2是根据本发明的一实施例的用于创建交通场景的快照图像的示例性方法200的流程图。方法200在步骤202开始，在步骤202，可以获取安装在车辆上的至少两个传感器的传感器数据。该传感器数据是在基本上同一时间处收集的(或具有相同的时间戳)。随后，在步骤204，可以获取每个传感器的位置。如上所述，每个传感器的位置是每个传感器在参考坐标系中的相对位置。此后，在步骤206，可以基于所获取的传感器的位置来将该至少两个传感器中的每一者的传感器数据变换到参考坐标系中。最终，在步骤208，可以将所有经变换的传感器数据绘制到图像上以形成快照图像。
在将传感器数据绘制到快照图像上之前，可以对传感器数据执行可任选的“融合”步骤。由于多个传感器被使用，因此来自不同传感器的传感器数据可被用于增强传感器数据的可靠性和置信度。例如，如果激光雷达感测到交通标志并且给出指示该对象是交通标志的经识别结果，并且现在如果相机也捕获了照片并且识别到该交通标志，则该交通标志的识别具有几乎100％的置信度。另一方面，如果由激光雷达所给出的传感器数据不太确定它是什么(像具有50％置信度的交通标志)，但是利用来自相机的传感器数据，置信度也将增加到几乎100％置信度。示出使用多个传感器的优点的另一种情形可以是，车道标记的一部分可能被对象(诸如汽车)暂时遮挡，因此被遮挡的部分可能不会被传感器A感测到，但是参考来自传感器B的传感器数据(诸如清楚地示出那儿存在车道标记并且仅被遮挡的由相机捕获的图像)，由传感器A给出的原始数据可被处理以便使用与车道标记相对应的数据来替换原始数据，就好像不存在遮挡车道标记的那部分的对象一样。
应注意，尽管在本公开中使用术语“快照”、“快照图像”和“绘制”等，但是所记录的快照数据不必被绘制为可见图像。替代地，如前所述，快照或快照图像仅是在一个或多个特定时刻记录周围场景的传感器数据的代表。因此，步骤208中的“将数据绘制到图像上”并不意味着该数据被可视地呈现为图像，而是指基于参考坐标系中的坐标位置来将来自各个传感器的经变换的传感器数据集成到统一的数据结构中。该数据结构被称为“快照”、“快照图像”或“快照图像数据”。当然，由于位置信息和与该位置相关联的数据值被完全保留在快照图像数据中，因此，如有必要，例如为了人类理解，可以通过一些专用软件来将其可视地渲染为图像。
通过将各种传感器数据变换为统一的快照，车辆不必单独记录和使用各种类型的传感器数据，这大大减轻了车载***的负担。同时，传感器数据的统一格式使得无需基于不同的传感器来单独训练各种模型，这大大减少了训练进度中的计算量，并且显著提高了训练效率。
2.一个传感器，多个时间戳
作为“快照”的第二实施例，快照可以由来自一个传感器的传感器数据来构建，但是在不同的时间处被捕获。如可领会的，与先前描述的实施例的区别在于，第一实施例记录多个传感器在同一时间处的快照，而第二实施例记录一个单个传感器在不同时间处的快照。
与第一实施例类似，可以首先建立参考坐标系。假设它仍然是平行于地面的二维坐标系。作为示例，汽车后轴的中点再次被选为参考坐标系的原点。以相同的方式，x轴垂直于车辆的后轴，其中x轴的正半轴和负半轴分别表示在车辆行驶方向的前方和后方的位置。y轴平行于车辆的后轴，其中y轴的正半轴和负半轴可以分别表示在车辆行驶方向的左侧和右侧的位置。
由传感器在单个时间点捕获的传感器数据可被称为传感器数据帧。作为示例，可以预设在一个快照中包括的数目为n个传感器数据帧，其中n是大于或等于2的正整数，诸如举例而言n＝10。在一个实施例中，n个帧可以是传感器的一系列连续数据帧。例如，可以使用传感器本身的采样间隔来按顺序获取n个数据帧。替换地，可以按规则的间隔来捕获n个传感器数据帧。在另一示例中，可以适当地选择大于采样传感器本身的采样间隔的间隔。例如，传感器本身的采样频率为100Hz，但是可以每10帧选择一个帧作为快照数据帧。采样间隔可以基于车辆的移动速度来选择，例如，以使得在车辆不是太快地移动时，传感器的数据可具有相对显著的差异。
在获取n个传感器数据帧之后，该n个传感器数据帧可被变换为快照数据。除了位置信息和读出值之外，传感器数据通常还包含记录捕获数据的时间的时间戳。在创建快照时，除了建立参考坐标系之外，特定的时间点可被选为参考时间或参考时间戳。例如，n个帧中的第一帧或最后一帧或任一帧的帧数据的采集时间可被视为参考时间t0。在本文中假设第一帧的时间被视为参考时间t0，并且后续的第2到第n帧可被标示为时间t1、…、tn-1。时间t1、…、tn-1在本文中也被称为时间戳或帧的年龄。
随后，每个传感器数据帧可被变换为参考坐标系中的数据。对于第一数据帧，变换可包括传感器的参考坐标系和局部坐标系之间的位置的变换。类似于第一实施例，传感器在车辆上的位置是已知的，因此其局部坐标系的原点和参考坐标系的原点之间的相对位置关系是已知的。因此，可以通过平移来变换坐标。
接下来，对于第二数据帧，除了参考坐标系与局部坐标系之间的位置的变换之外，还必须考虑车辆本身的位置在时间t0至时间t1期间的移动。作为示例，车辆的位置移动可以由在t0与t1之间的时间间隔和在该时间段期间的汽车速度、或者由里程表某些其他传感器数据来确定。假设局部坐标系与参考坐标系之间的相对位置为xc,yc，即局部坐标系的原点位于参考坐标系中的(xc,yc)，并且汽车在t0至t1期间的位置移动为(dx1,dy1)，则第二数据帧中的{(x1,y1),d1,t1}可被变换成{(x1-xc-dx1,y1-yc-dy1),d1,t1}，其中t1表示捕获第二数据帧的时间。类似地，后续帧也可以执行相同的变换。最后，所有n个经变换的传感器数据帧可基于参考坐标系中的经变换位置来集成以形成快照。
可以构想，假设快照数据被可视地渲染为图像，诸如图3，其解说了根据本发明另一实施例的从交通场景的快照图像生成的示例性示图，则从时间t0至时间tn的数据被集成到一个单一的坐标系中。在此类图像中，场景中的静止对象仍然看起来是静止的，但是移动的对象可以表现为运动轨迹。以图1中的建筑物102为例，由于它是静止的，因此对于各传感器数据帧，坐标在被变换到参考坐标系之后将彼此一致。因此，它仍然在图3中被示为固定在与图1相比相同的位置处。相比之下，图1中的移动的车103将在图3中表现为首先沿车道直线行驶，并且随后执行车道改变。
通过将多个数据帧组合成一个单个快照，可以清晰地反映场景在一段时间内的动态情况，这适用于后续的模型训练，并且将在以下进一步详细地描述。
图4是根据本发明的另一实施例的用于创建交通场景的快照图像的示例性方法400的流程图。方法400在步骤402开始，在步骤402，获取安装在车辆上的传感器的至少两个传感器数据帧。
该至少两个传感器数据帧可以是在不同时间处按顺序收集的。
此后，在步骤404，获取该传感器的位置。如在第一实施例中，传感器的位置是传感器在参考坐标系中的相对位置。在步骤406，可基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中。如先前所提及的，在变换期间还应考虑车辆在各帧之间的相对移动。在步骤408，在所有传感器数据帧都被变换之后，将经变换的传感器数据帧绘制到图像上以形成快照图像。
在该实施例中，也可存在可选的融合步骤。尽管仅使用一个传感器，但是在不同时间戳处捕获的传感器数据也可被用于增强传感器数据的可靠性和置信度。例如，在一个时间戳处，传感器可感测到一对象，但不能确定它是什么。在若干帧之后，随着车辆离对象越来越近，它清楚地认清它是什么。随后，先前的数据可被处理或与较新的数据融合。
3.多个传感器，多个时间戳
作为“快照”的第三实施例，快照可以由来自多个传感器的在不同时间处的传感器数据来构建。除了在第二实施例中仅使用一个传感器，而在第三实施例中使用多个传感器之外，第三实施例在许多方面与前述第二实施例类似。在前述第一实施例中，描述了在单个时间点利用多个传感器来创建快照。类似于第一实施例，在记录n个传感器数据帧的第二实施例的基础上，可以对来自多个传感器的数据执行坐标系变换，并且可基于坐标来形成快照。
作为示例，假设第一传感器(例如，激光雷达)的局部坐标系与参考坐标系之间的相对位置为xc1,yc1，即局部坐标系的原点位于参考坐标系中的(xc1,yc1)，第二传感器(例如，雷达)的局部坐标系与参考坐标系之间的相对位置为xc2,yc2，即，局部坐标系的原点位于参考坐标系中的(xc2,yc2)，并且汽车在t0至t1期间的位置移动为(dx1,dy1)，则第一传感器的第二数据帧中的{(xs1,ys1),d1,t1}可被变换成{(xs1-xc1-dx1,ys1-yc1-dy1),d1,t1}，其中t1表示捕获第二数据帧的时间。类似地，第二传感器的第二数据帧中的{(xs2,ys2),d2,t1}可被变换成{(xs2-xc2-dx1,ys2-yc2-dy1),d2,t1}。此外，如果存在第n传感器(例如，相机)，则第n传感器的第二数据帧中的{(xsn,ysn),dn,t1}可被变换成{(xsn-xcn-dx1,ysn-ycn-dy1),dn,t1}。如前所述，每个传感器的经变换数据的每个帧在参考坐标系下被集成到快照中。在数据结构方面，根据第三实施例形成的快照看起来像第一实施例和第二实施例的快照数据格式的组合，并且可以一般地被表示为{(x,y),ds1,ds2,…,dsn,tn-1}，以表示在参考坐标系中的(x,y)处具有时间戳的多个传感器数据值。假设第三实施例的快照数据被可视地渲染为图像，则该图像应看起来类似于反映场景的动态变化的第二实施例。
图5是根据本发明的一实施例的用于创建交通场景的快照图像的示例性方法500的流程图。该方法在步骤502开始，在步骤502，从安装在车辆上的至少两个传感器获取道路场景的至少两个传感器数据帧。该至少两个传感器数据帧可以是在不同时间处按顺序收集的。在步骤504，获取该至少两个传感器中的每一者的位置。此后，在步骤506，基于所获取的该至少两个传感器的位置来将每个传感器数据帧变换到当前参考坐标系中。类似于第二实施例，在变换期间还应考虑车辆在各帧之间的相对移动。在步骤508，可以将所有经变换的传感器数据绘制到图像上以形成快照图像。此外，在该实施例中还可存在可任选的融合步骤，诸如以融合在参考坐标系中具有交叠位置的传感器数据。
II.训练道路模型
对于自动驾驶(AD)车辆，它基于HD地图和各种传感器数据来做出实时驾驶决策。一般而言，AD车辆必须首先确定其在道路上的确切位置，并随后决定如何驾驶(转向、加速等)。更具体地说，AD车辆基于实时传感器数据来标识对象，诸如激光雷达、相机等。随后，它将所标识出的对象与HD地图中包含的道路模型进行比较，由此确定其在道路上的位置。
实际上，现有道路模型的很大一部分是基于由安装在地图信息收集车辆上的传感器在道路上收集的传感器数据来构建的。可以理解，最初，此类数据取决于人类对标识对象的判断。通过数据积累，慢慢地形成了一些规则，并且对象可由计算机来自动识别。最终目标是要具有允许标识各种对象的成熟的模型并且通过简单地输入所获取的传感器数据来生成道路模型。
然而，现有的道路模型构建要求使用彼此独立工作的各种传感器。
因此，为了训练某个模型，必须针对每个传感器单独训练模型。这显然是低效的且计算量大的。
这一问题可以通过使用本发明所提出的快照技术来解决。根据本发明的快照技术，各种传感器的数据被集成到统一的数据结构中。因此，仅需要对这一统一的数据进行一次训练。
图6是根据本发明的一实施例的用于利用快照图像来训练道路模型的示例性方法600的流程图。该方法开始于步骤602，获取道路场景的现有道路模型。在步骤604，从安装在车辆上的至少两个传感器获取该道路场景的至少两个传感器数据帧，该至少两个传感器数据帧是在不同时间处按顺序收集的。在步骤606，对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像。在步骤608，将该现有道路模型与每个快照图像相关联作为训练数据。在步骤610，使用该训练数据来训练新的道路模型。作为示例，训练可基于机器学习技术。快照图像和来自现有道路模型的已知元素被配对或被称为标记，以便用作训练数据。利用大量的训练数据，可以训练所需的模型。尽管用于训练模型的训练数据量仍然很大，但是数据量将显著少于利用每种类型的传感器数据单独训练模型的数据量。
III.训练事件检测器
如前所述，本发明的快照可包含由一个或多个传感器在多个时间处收集的数据，并且因此可以反映各对象在场景中的动态信息。在训练ADV以标识在场景中实时发生的各对象的运动状态(也被称为事件)时，该特征也是有用的。例如，图3中的汽车从安装有传感器的车辆所在的当前车道的左车道改变为当前车道，这是道路上常见的车道改变，也被称为“切入”。类似事件包括但不限于：车道改变；超车；转向；刹车；碰撞和失控。
图7是根据本发明的一实施例的用于利用快照图像来训练事件检测器的示例性方法700的流程图。方法700在步骤702开始，在步骤702，从安装在车辆上的至少一个传感器获取至少两个传感器数据帧。该至少两个传感器数据帧可以是在不同时间处按顺序收集的。在步骤704，可以获取在传感器数据被获取时正在发生的事件的结果。这些结果可来自人类。例如，工程师可以观看与传感器数据帧相对应的视频，并且标识该视频中的事件。在步骤706，对于该至少两帧中的每一帧，可以利用所获取的传感器数据来创建快照图像(诸如经由在图2、4和5中描述的创建快照图像的方法200、400或500)。在步骤708，将所获取的事件的结果与对应的快照图像相关联作为训练数据。在步骤710，使用该训练数据来训练事件检测器。作为示例，训练可基于机器学习技术。快照图像和已知元素被配对或被标记，以便用作训练数据。利用大量的训练数据，可以训练所需的事件检测器。尽管用于训练事件检测器的训练数据量仍然很大，但是数据量将显著少于利用每种类型的传感器数据单独训练事件检测器的数据量。
图8是在车辆上用于检测事件的示例性方法800的流程图。方法800在步骤802开始，在步骤802，可以获取事件检测器(诸如经由方法700来训练的事件检测器)。在步骤804，可以从安装在车辆上的至少一个传感器获取至少一个传感器数据帧。在步骤806，对于该至少一帧中的每一帧，可利用所获取的传感器数据来创建快照图像。在步骤808，可以基于所创建的快照图像利用该事件检测器来检测事件。更具体地，该步骤可包括将所创建的快照图像输入到事件检测器，并且随后该事件检测器基于所输入的快照图像来输出检测到的事件。优选地，可以按概率或置信度来输出结果，即，检测到的事件。
图9解说了根据本发明的一实施例的用于创建交通场景的快照图像的示例性装置900。装置900可包括传感器数据获取模块902、传感器位置获取模块904、变换模块906和绘制模块908。传感器数据获取模块902可被配置用于获取安装在车辆上的至少两个传感器的传感器数据。传感器位置获取模块904可被配置用于获取每个传感器的位置。变换模块906可被配置用于基于所获取的传感器的位置来将该至少两个传感器中的每一者的传感器数据变换到参考坐标系中。绘制模块908可被配置用于将经变换的传感器数据绘制到图像上以形成快照图像。
图10解说了根据本发明的一实施例的示例性车辆1000。车辆1000可包括用于创建交通场景的快照图像的装置，诸如图9中的装置900。像正常车辆一样，车辆1000可以进一步包括用于收集交通场景的传感器数据的至少两个传感器1002。传感器1002可以是不同的类型，并且包括但不限于激光雷达、雷达和相机。
图11解说了根据本发明的一实施例的用于创建交通场景的快照图像的示例性装置1100。装置1100可包括传感器数据获取模块1102、传感器位置获取模块1104、变换模块1106和绘制模块1108。传感器数据获取模块1102可被配置用于获取安装在车辆上的传感器的至少两个传感器数据帧。传感器位置获取模块1104可被配置用于获取该传感器的位置。变换模块1106可被配置用于基于所获取的传感器的位置来将每个传感器数据帧变换到当前参考坐标系中。绘制模块1108可被配置用于将经变换的传感器数据绘制到图像上以形成快照图像。
图12解说了根据本发明的一实施例的示例性车辆1200。车辆1200可包括用于创建交通场景的快照图像的装置，诸如图11中的装置1100。像正常车辆一样，车辆1200可以进一步包括用于收集交通场景的传感器数据的至少一个传感器1202。该至少一个传感器1202可以是不同的类型，并且包括但不限于激光雷达、雷达和相机。
图13解说了根据本发明的一实施例的用于创建交通场景的快照图像的示例性装置1300。装置1300可包括传感器数据获取模块1302、传感器位置获取模块1304、变换模块1306和绘制模块1308。传感器数据获取模块1302可被配置用于从安装在车辆上的至少两个传感器获取道路场景的至少两个传感器数据帧。传感器位置获取模块1304可被配置用于获取该至少两个传感器中的每个传感器的位置。变换模块1306可被配置用于基于所获取的该至少两个传感器的位置来将每个传感器数据帧变换到当前参考坐标系中。绘制模块1308可被配置用于将经变换的传感器数据绘制到图像上以形成快照图像。
图14解说了根据本发明的一实施例的示例性车辆1400。车辆1400可包括用于创建交通场景的快照图像的装置，诸如图13中的装置1300。像正常车辆一样，车辆1400可以进一步包括用于收集交通场景的传感器数据的至少两个传感器1402。该至少两个传感器1402可以是不同的类型，并且包括但不限于激光雷达、雷达和相机。
图15解说了根据本发明的一实施例的用于利用快照图像来训练道路模型的示例性***1500。***1500可包括被配置用于收集道路场景的传感器数据的至少两个传感器1502和处理单元1504。处理单元1504被配置成执行利用快照图像来训练道路模型的方法，诸如在图6中描述的方法600。
图16解说了用于利用快照图像来训练事件检测器的示例性***1600。***1600可包括传感器数据获取模块1602、事件结果获取模块1604、快照图像创建模块1606、关联模块1608和训练模块1610。传感器数据获取模块1602可被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧。事件结果获取模块1604可被配置成获取在传感器数据被获取时正在发生的事件的结果。快照图像创建模块1606可被配置用于，对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像。关联模块1608可被配置用于将所获取的事件的结果与对应的快照图像相关联作为训练数据。训练模块1610可被配置用于使用该训练数据来训练事件检测器。
图17解说了根据本发明的一实施例的在车辆上用于检测事件的装置1700。装置1700可包括检测器获取模块1702、传感器数据获取模块1704、快照图像创建模块1706和事件检测模块1708。检测器获取模块1702可被配置用于获取由该方法(诸如关于图8所描述的方法800)训练的事件检测器。传感器数据获取模块1704被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧。快照图像创建模块1706可被配置用于，对于该至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像。事件检测模块1708可被配置用于基于所创建的快照图像利用事件检测器来检测事件。
图18解说了根据本发明的一实施例的示例性车辆1800。车辆1800可包括用于检测事件的装置，诸如图17中的装置1700。像正常车辆一样，车辆1800可以进一步包括用于收集交通场景的传感器数据的至少一个传感器1802。传感器1802可以是不同的类型，并且包括但不限于激光雷达、雷达和相机。
图19解说了根据本公开的示例性实施例的其中可应用本公开的一般硬件环境1900。
参照图19，现在将描述计算设备1900，计算设备1900是可应用于本公开的各方面的硬件设备的示例。计算设备1900可以是配置成执行处理和/或计算的任何机器，可以是但不限于工作站、服务器、桌面型计算机、膝上型计算机、平板计算机、个人数字助理、智能电话、车载计算机、或其任何组合。以上提及的***可以全部或者至少部分地由计算设备1900或类似设备或***来实现。
计算设备1900可以包括可能地经由一个或多个接口来与总线1902连接或者与总线1902处于通信的元件。例如，计算设备1900可以包括总线1902、以及一个或多个处理器1904、一个或多个输入设备1906和一个或多个输出设备1908。该一个或多个处理器1904可以是任何类型的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专门的处理芯片)。输入设备1906可以是可将信息输入计算设备的任何类型的设备，并且可以包括但不限于鼠标、键盘、触摸屏、话筒、和/或遥控器。输出设备1908可以是可呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。计算设备1900还可以包括非瞬态存储设备1910或者与非瞬态存储设备1910相连接，该非瞬态存储设备1910可以是为非瞬态的且可实现数据存储的任何存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储、软盘、软磁盘、硬盘、磁带或任何其他磁性介质、光盘或任何其他光介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其他存储器芯片或存储器盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。非瞬态存储设备1910可以能与接口分开。非瞬态存储设备1910可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备1900还可以包括通信设备1912。通信设备1912可以是能实现与外部装置和/或网络的通信的任何类型的设备或***，并且可以包括但不限于调制解调器、网卡、红外通信设备、诸如蓝牙TM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施之类的无线通信设备和/或芯片组、等等。
当计算设备1900被用作车载设备时，计算设备1000还可以连接至外部设备，例如GPS接收机、用于感测不同环境数据的传感器(诸如加速度传感器、车轮速度传感器、陀螺仪)、等等。以此方式，计算设备1900可以例如接收指示车辆的行驶情况的位置数据和传感器数据。当计算设备1900被用作车载设备时，计算设备1000还可以连接至用于控制车辆的行驶和操作的其他设施(诸如引擎***、雨刮器、制动防抱死***等)。
另外，非瞬态存储设备1910可以具有地图信息和软件元素，以使得处理器1904可以执行路线引导处理。另外，输出设备1906可以包括用于显示地图、车辆的位置标记以及指示车辆的行驶情况的图像的显示器。输出设备1906还可以包括具有用于音频引导的耳机的扬声器或接口。
总线1902可以包括但不限于工业标准架构(ISA)总线、微通道架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线、以及***组件互连(PCI)总线。具体地，对于车载设备，总线1902可以包括控制器局域网(CAN)总线或者被设计成用于汽车上的应用的其他架构。
计算设备1900还可以包括工作存储器1914，工作存储器1914可以是可存储对于处理器1904的工作而言有用的指令和/或数据的任何类型的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件元素可以位于工作存储器1914中，包括但不限于操作***1916、一个或多个应用程序1918、驱动程序和/或其他数据和代码。用于执行上述方法和步骤的指令可以包括在一个或多个应用程序1918中，并且以上提及的装置800的各单元可以通过处理器1904读取和执行一个或多个应用程序1918的指令来实现。软件元素的指令的可执行代码或源代码可以被存储在非瞬态计算机可读存储介质(诸如上述存储设备1910)中，并且可以可能地通过编译和/或安装而被读取到工作存储器1914中。软件元素的指令的可执行代码或源代码也可以从远程位置下载。
从上面的实施例中，本领域技术人员可以清楚地知道，本公开可以由具有必要硬件的软件来实现，或者由硬件、固件等来实现。基于这样的理解，本公开的实施例可以部分地以软件形式来实施。可以将计算机软件存储在诸如计算机的软盘、硬盘、光盘或闪存之类的可读存储介质中。该计算机软件包括一系列指令，以使计算机(例如，个人计算机、服务站或网络终端)执行根据本公开的相应实施例的方法或其一部分。
在整个说明书中，已经对“一个示例”或“一示例”进行了参考，这意味着在至少一个示例中包括具体描述的特征、结构或特性。因此，此类短语的使用可能涉及不止一个示例。此外，所描述的特征、结构或特性可以在一个或多个示例中以任何合适的方式组合。
然而，相关领域的技术人员可以认识到，可以在没有一个或多个特定细节的情况下，或者在其他方法、资源、材料等的情况下实践这些示例。在其他实例中，没有详细示出或描述众所周知的结构、资源或操作以避免使这些示例的各方面模糊。
尽管已经解说和描述了诸样例和应用，但是应当理解，这些示例不限于上述精确的配置和资源。可以对本文公开的方法和***的布置、操作和细节作出对于本领域技术人员而言显而易见的各种修改、改变和变化，而不会脱离所要求保护的示例的范围。

Claims (15)

1.一种用于利用快照图像来训练事件检测器的计算机实现的方法，其中所述方法包括：
从安装在车辆上的至少一个传感器获取至少两个传感器数据帧，所述至少两个传感器数据帧是在不同时间处按顺序收集的；
获取在所述传感器数据被获取时正在发生的事件的结果；
对于所述至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；
将所获取的事件的结果与对应的快照图像相关联作为训练数据；以及
使用所述训练数据来训练事件检测器。
2.根据权利要求1所述的方法，其中创建快照图像进一步包括：
获取所述至少一个传感器的位置；
基于所获取的所述至少一个传感器的位置来将每个传感器数据帧变换到当前参考坐标系中；以及
将所有经变换的传感器数据绘制到图像上以形成快照图像。
3.根据前述权利要求中任一项所述的方法，其中所述至少一个传感器包括：
激光雷达；
雷达；以及
相机。
4.据前述权利要求中任一项所述的方法，其中使用所述训练数据来训练事件检测器包括：
使用所述训练数据作为标签，基于机器学习来训练所述事件检测器。
5.根据前述权利要求中任一项所述的方法，其中所述事件包括：
切入；
车道改变；
超车；
转向；
刹车；
碰撞；以及
失控。
6.一种车辆上的用于检测事件的计算机实现的方法，其特征在于，所述方法包括：
获取通过根据权利要求1至5中任一项所述的方法来训练的事件检测器；
从安装在车辆上的至少一个传感器获取至少一个传感器数据帧；
对于所述至少一帧中的每一帧，利用所获取的传感器数据来创建快照图像；以及
基于所创建的快照图像利用所述事件检测器来检测事件。
7.根据权利要求6所述的方法，其中基于所创建的快照图像利用所述事件检测器来检测事件进一步包括：
将所创建的快照图像输入到所述事件检测器；以及
输出所检测到的事件。
8.根据权利要求6-7中任一项所述的方法，其中输出所检测到的事件进一步包括：
按概率来输出所检测到的事件。
9.根据权利要求8所述的方法，其中按概率来输出所检测到的事件进一步包括：
输出具有超过一预定阈值的概率的所检测到的事件。
10.一种用于利用快照图像来训练事件检测器的***，其中所述***包括：
传感器数据获取模块，所述传感器数据获取模块被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧；
事件结果获取模块，所述事件结果获取模块被配置用于获取在所述传感器数据被获取时正在发生的事件的结果；
快照图像创建模块，所述快照图像创建模块被配置用于对于所述至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；
关联模块，所述关联模块被配置用于将所获取的事件的结果与对应的快照图像相关联作为训练数据；以及
训练模块，所述训练模块被配置用于使用所述训练数据来训练事件检测器。
11.一种车辆上的用于检测事件的装置，其特征在于，所述装置包括：
检测器获取模块，所述检测器获取模块被配置用于获取通过根据权利要求1至5中任一项所述的方法来训练的事件检测器；
传感器数据获取模块，所述传感器数据获取模块被配置用于从安装在车辆上的至少一个传感器获取至少两个传感器数据帧；
快照图像创建模块，所述快照图像创建模块被配置用于对于所述至少两帧中的每一帧，利用所获取的传感器数据来创建快照图像；
事件检测模块，所述事件检测模块被配置用于基于所创建的快照图像利用事件检测器来检测事件。
12.一种车辆，其特征在于，所述车辆包括：
至少一个传感器；以及
根据权利要求11中任一项所述的装置。
13.根据权利要求12所述的车辆，其中所述至少一个传感器包括：
激光雷达；
雷达；以及
相机。
14.根据权利要求12-13中任一项所述的车辆，其中所述事件包括：
切入；
车道改变；
超车；
转向；
刹车；
碰撞；以及
失控。
15.如权利要求12-14中任一项所述的车辆，其中所述车辆进一步包括：
决策单元，所述决策单元被配置用于响应于所检测到的事件而做出车辆控制决策。
CN201880098545.7A 2018-10-11 2018-10-11 用于训练事件检测器的快照图像 Pending CN112805716A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/109802 WO2020073272A1 (en) 2018-10-11 2018-10-11 Snapshot image to train an event detector

Publications (1)

Publication Number Publication Date
CN112805716A true CN112805716A (zh) 2021-05-14

Family

ID=70164332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880098545.7A Pending CN112805716A (zh) 2018-10-11 2018-10-11 用于训练事件检测器的快照图像

Country Status (3)

Country Link
EP (1) EP3864568A4 (zh)
CN (1) CN112805716A (zh)
WO (1) WO2020073272A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的***和方法
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030041329A1 (en) * 2001-08-24 2003-02-27 Kevin Bassett Automobile camera system
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
CN105892471B (zh) * 2016-07-01 2019-01-29 北京智行者科技有限公司 汽车自动驾驶方法和装置
CN106485233B (zh) * 2016-10-21 2020-01-17 深圳地平线机器人科技有限公司 可行驶区域检测方法、装置和电子设备
US20180150698A1 (en) * 2017-01-09 2018-05-31 Seematics Systems Ltd System and method for collecting information about repeated behavior
CN107463907B (zh) * 2017-08-08 2021-06-25 东软集团股份有限公司 车辆碰撞检测方法、装置、电子设备及车辆

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107042824A (zh) * 2015-10-23 2017-08-15 哈曼国际工业有限公司 用于检测车辆中的意外事件的***和方法
US20180232947A1 (en) * 2017-02-11 2018-08-16 Vayavision, Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANG-NHAC L: ""Vehicle Mode and Driving Activity Detection Based on Analyzing Sensor Data of Smartphones"", 《SENSORS》, pages 1 - 25 *

Also Published As

Publication number Publication date
EP3864568A1 (en) 2021-08-18
EP3864568A4 (en) 2022-05-18
WO2020073272A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US10417816B2 (en) System and method for digital environment reconstruction
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
CN112543876B (zh) 用于自动驾驶车辆中的传感器同步性数据分析的***
KR20120118478A (ko) 교통 신호 맵핑 및 검출
JP2023504028A (ja) マップデータの更新
CN111164652B (zh) 移动体图像生成记录显示装置和程序产品
JP2020053046A (ja) 交通情報を表示するための運転者支援システム及び方法
WO2019116423A1 (ja) 教師データ収集装置
JPWO2020039937A1 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
CN113950612A (zh) 用于2d路径规划器的道路模型流形
US11461944B2 (en) Region clipping method and recording medium storing region clipping program
CN114503044A (zh) 用于在3d点云中自动标记对象的***和方法
JP7429246B2 (ja) 対象を識別する方法とシステム
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
CN114842455A (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
CN112805716A (zh) 用于训练事件检测器的快照图像
CN112889070A (zh) 用于训练道路模型的快照图像
CN112805533A (zh) 交通场景的快照图像
CN112805200A (zh) 交通场景的快照图像
JP2021124633A (ja) 地図生成システム及び地図生成プログラム
CN114127658A (zh) 使用道路模型2d流形的6d空间中的3d里程
CN112099481A (zh) 用于构建道路模型的方法和***
CN110884501B (zh) 车辆感知的数据处理方法、装置、电子设备与存储介质
US20240223915A1 (en) Systems and methods for downsampling images
CN114973742A (zh) 验证车辆的定位信息的方法、***和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination