CN114771548A - 用于高级驾驶辅助***测试和验证的数据记录 - Google Patents

用于高级驾驶辅助***测试和验证的数据记录 Download PDF

Info

Publication number
CN114771548A
CN114771548A CN202210070531.2A CN202210070531A CN114771548A CN 114771548 A CN114771548 A CN 114771548A CN 202210070531 A CN202210070531 A CN 202210070531A CN 114771548 A CN114771548 A CN 114771548A
Authority
CN
China
Prior art keywords
metadata
data
vehicle
driving
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210070531.2A
Other languages
English (en)
Inventor
M·塞尔斯特
M·科莫基维兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aptiv Technologies Ltd
Original Assignee
Aptiv Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aptiv Technologies Ltd filed Critical Aptiv Technologies Ltd
Publication of CN114771548A publication Critical patent/CN114771548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Abstract

用于高级驾驶辅助***测试和验证的数据记录。提供了一种评估数据记录活动的进展的***，该数据记录活动被执行以收集由被安装在车辆上的传感器数据记录仪记录的传感器数据，该***包括元数据生成设备，该元数据生成设备被设置成对由传感器模块获取的数据进行处理以生成该传感器数据的元数据，该元数据包括将在传感器数据的获取期间该车辆所处的驾驶环境的属性分类成该属性的预定类集合中的相应类，并且将该元数据发送至远程元数据处理设备，该远程元数据处理设备被设置为确定该元数据是否至少包括按照该预定类集合中的预定类进行的预定数量的分类，并且基于该确定，生成供在该数据记录活动中使用的指示符。

Description

用于高级驾驶辅助***测试和验证的数据记录
技术领域
本文中的示例方面总体上涉及高级驾驶辅助***(ADAS)测试和评估领域，更具体地，涉及用于评估数据记录活动的进展的***，该数据记录活动被执行以收集在例如测试和验证车辆的ADAS中使用的传感器数据。
背景技术
ADAS性能的测试和验证因多变的路况和交通形势而变得复杂，在这些情况下需要主车辆的ADAS可靠地工作。ADAS的性能可以根据车辆环境的特征而改变，举例来说，如主车辆附近的车辆数量、天气状况和照明条件、背景环境的类型(诸如城市或乡村环境)以及不同国家的交通标志变化。另外，需要大量的现实传感器数据来训练由ADAS电子控制单元(ECU)所使用的人工智能(AI)算法。通常，为了创建这样的大数据集，利用多于一个的记录车辆来执行被称为顶级公路旅行(mother of all road trips(MOART))的数据记录活动。为了说明不同的道路形势，这样的数据收集通常遵循严格定义的要求，该要求指定了在特定路况下应当记录的公里数。
用于ADAS验证的数据收集的另选方法是执行基于事件的数据记录，其中，仅记录关注的情况，而不是连续记录数据，举例来说，如在ADAS犯错并且驾驶员需要接管时。
所记录的数据(其通常是视频片段，但是可以另外或者另选地包括另一类型的数据，如雷达(Radar)数据、激光雷达(Lidar)数据、超声数据、来自各种车辆传感器的数据、时间数据和/或GPS数据)通常被存储在数据日志中，数据日志通常被分成较小的片段(例如，大小为1GB至2GB)。在记录活动结束时，将来自所有车辆的数据复制到临时数据存储装置，然后被运送至数据存储中心。由于所记录的数据的大小，正常来说不可能经由互联网连接等来流传输该数据。
收集用于正在开发中的验证和测试ADAS ECU的数据的当前方法存在许多缺点。
首先，满足不同现实道路场景的预定的严格要求通常需要记录几十万公里的驾驶。而且，所记录的数据无法进行实时的在线验证，而是需要被存储在车载存储装置中，并且仅在稍后被传递至数据中心以进行处理。从数据被记录到数据可用于分析的时段通常是以周为单位来测量的。
其次，记录活动可能需要大量存储空间。然而，实际上，仅所记录的数据中的一部分被用于ADAS的测试和验证。特别地，可能记录大量的冗余视频数据(例如，当主车辆夜间在高速公路上被驾驶时或者在交通拥挤下驾驶时，其中很少或没有超车并且主车辆附近的其它车辆保持它们的相对位置)。
第三，通常预先准备用于记录活动的车队的路线规划。这意味着当记录活动结束并且在数据中心分析所记录的数据时，才会发现缺失和多余的数据。
第四，上述类型的基于事件的记录要求ADAS ECU处于成熟状态，以使能够判断哪些情况值得记录，而这对于ECU正在开发的早期ADAS项目来说情况通常不会如此。
而且，在数据记录设备安装方面的错误(混合的信号、缺失信号、崩溃的传感器、误校准等)仅在所记录的数据在数据中心被分析时才可以检测到(通常在延迟了几周)。
最后，仅选择所记录的数据的小子集作为用于训练ADAS的人工智能算法(即，神经网络)的真值(ground truth)数据。对真值数据加标签是非常耗时的活动。为此，用于形成真值数据集的数据的最佳选择包括选择最小但足够量的数据。
发明内容
鉴于上述，根据本文的第一方面，发明人设计了一种评估数据记录活动的进展的***，当车辆被驾驶时执行数据记录活动，以收集已经由安装在该车辆上的传感器数据记录仪记录的传感器数据，该传感器数据供在测试和验证该车辆的高级驾驶辅助***ADAS中使用，其中，该ADAS被设置成在车辆被驾驶，通过对由安装在该车辆上的传感器模块获取的传感器数据进行处理来提供驾驶辅助。该***包括元数据生成设备和远程元数据处理设备。该元数据生成设备被设置成在被安装在车辆上并且被用于数据记录活动时提供元数据，该元数据生成设备包括：数据处理设备，该数据处理设备被设置成对由传感器模块获取的数据进行处理，以生成该传感器数据的元数据，该元数据包括以下项中的至少一个的分类：将在传感器数据的获取期间车辆所处的驾驶环境的属性分类成属性的预定类集合中的相应类；以及将在传感器数据的获取期间发生的涉及车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类，其中，各个驾驶场景与由车辆执行的相应驾驶机动或者由第二车辆相对于该车辆执行的驾驶机动相关联；以及通信设备，该通信设备被设置成将元数据发送至远程元数据处理设备。该远程元数据处理设备包括：数据存储部，该数据存储部被设置成存储由通信设备发送的元数据；以及指示符生成器模块，该指示符生成器模块被设置为确定所接收的元数据是否至少包括按照以下类中的至少一个类进行的预定数量的分类：在元数据包括属性的分类的情况下，该属性的预定类集合中的预定类；以及在元数据包括驾驶场景的分类的情况下，与不同驾驶场景相关联的预定驾驶场景类集合中的预定驾驶场景类。该指示符生成器模块还被设置成基于该确定来生成在数据记录活动中使用的指示符。
而且，根据本文的第二方面，设计了一种在用于评估数据记录活动的进展的***中使用的元数据生成设备，该数据记录活动是在车辆被驾驶时执行的以收集由被安装在该车辆上的传感器数据记录仪记录的传感器数据，该***具有远程元数据处理设备。该传感器数据在测试车辆的高级驾驶辅助***ADAS中使用，其中，该ADAS被设置成在车辆被驾驶时通过对由被安装在该车辆上的传感器模块获取的传感器数据进行处理来提供驾驶辅助。该元数据生成设备被设置成在被安装在车辆上并且被用于数据记录活动时生成元数据，并且包括数据处理设备，该数据处理设备被设置成对由传感器模块获取的数据进行处理，以生成该传感器数据的元数据，该元数据包括以下项中的至少一个的分类：将在传感器数据的获取期间车辆所处的驾驶环境的属性分类成该属性的预定类集合中的相应类；以及将在传感器数据的获取期间发生的涉及车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类，其中，各个驾驶场景与由车辆执行的相应驾驶机动或者由第二车辆相对于该车辆执行的驾驶机动相关联。该元数据生成设备还包括：通信设备，该通信设备可工作以将元数据发送至远程元数据处理设备，并且从该远程元数据处理设备接收在数据记录活动中使用的指示符，该指示符指示由远程元数据处理设备确定由该远程元数据处理设备接收到的元数据是否至少包括按照以下类中的至少一个类进行的预定数量的分类的确定结果：在元数据包括属性的分类的情况下，该属性的预定类集合中的预定类；以及在元数据包括驾驶场景的分类的情况下，与不同驾驶场景相关联的预定驾驶场景类集合中的预定驾驶场景类。
根据本文的第三方面，设计了一种在用于评估数据记录活动的进展的***中使用的元数据处理设备，该数据记录活动是在车辆被驾驶时执行的以收集由被安装在该车辆上的传感器数据记录仪记录的传感器数据。该传感器数据供在测试车辆的高级驾驶辅助***ADAS中使用，该ADAS被设置成在车辆被驾驶时通过对由被安装在该车辆上的传感器模块获取的传感器数据进行处理来提供驾驶辅助。该元数据处理设备包括：数据存储部，该数据存储部可工作以存储从元数据生成设备接收到的元数据，该元数据是基于由传感器模块获取的数据的并且包括以下项中的至少一个的分类：将在由传感器模块获取传感器数据期间车辆所处的驾驶环境的属性分类成该属性的预定类集合中的相应类；以及将在传感器数据的获取期间发生的涉及车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类，其中，各个驾驶场景与由车辆执行的相应驾驶机动或者由第二车辆相对于该车辆执行的驾驶机动相关联。该元数据处理设备还包括指示符生成器模块，该指示符生成器模块被设置为确定所接收的元数据是否至少包括按照以下类中的至少一个类进行的预定数量的分类：在元数据包括属性的分类的情况下，该属性的预定类集合中的预定类；以及在元数据包括驾驶场景的分类的情况下，与不同驾驶场景相关联的预定驾驶场景类集合中的预定驾驶场景类。该指示符生成器模块还被设置成基于该确定来生成在数据记录活动中使用的指示符。
在上述方面中的任一方面的示例实施方式中，该传感器模块可以包括：第一传感器，该第一传感器被设置成在车辆被驾驶时获取第一传感器数据；以及第二传感器，该第二传感器被设置成在车辆被驾驶时获取第二传感器数据，该第二传感器不同于第一传感器。而且，该ADAS可以被设置成基于第一传感器数据来提供驾驶辅助，并且该元数据生成设备可以被设置成通过对第二传感器数据进行处理来生成元数据。第一传感器和第二传感器中的各个传感器可以包括摄像机、雷达传感器或激光雷达传感器。
在上述方面中的任一方面的另一示例实施方式中，该传感器模块可以包括单个传感器，该单个传感器被设置成获取传感器数据，并且该ADAS和元数据生成设备可以被设置成对由单个传感器获取的传感器数据进行处理。而且，该单个传感器可以包括摄像机传感器、雷达传感器或激光雷达传感器。
在上面阐述的第一或第三方面的***或其示例实施方式中的任一示例实施方式中，传感器数据可以包括多个传感器数据测量结果，所述多个传感器数据测量结果是在数据记录活动期间的不同时刻获取的，并且该元数据可以包括多个元数据数据分组，该数据处理设备被设置成生成所述多个传感器数据测量结果中的相应传感器数据测量结果的各个元数据数据分组，并且将该元数据数据分组与相应的传感器数据测量结果相关联，其中，各个元数据数据分组是在获取传感器数据测量结果时对由传感器模块获取的数据进行处理来生成的。而且，各个元数据数据分组可以包括：在元数据包括属性的分类的情况下，将在传感器数据测量结果的获取期间车辆所处的驾驶环境的属性相应分类成该属性的预定类集合中的相应类；以及在元数据包括驾驶场景的分类的情况下，将在传感器数据测量结果的获取期间发生的涉及车辆的驾驶场景相应分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类。该指示符生成器模块可以被设置成通过确定预定数量的元数据数据分组是否具有满足以下项中的至少一个的预定条件的相应分类来确定所存储的元数据是否至少包括预定数量的分类：在元数据包括属性的分类的情况下，驾驶环境的属性；以及在元数据包括驾驶场景的分类的情况下的驾驶场景。响应于确定预定数量的元数据数据分组具有满足预定条件的相应分类，该指示符生成器模块可以被设置为生成指示传感器数据记录仪停止记录传感器数据的第一指令作为指示符，该远程元数据处理设备可以被设置成将第一指令发送至车辆，并且该传感器数据记录仪可以被设置成通过停止记录传感器数据来对第一指令作出响应。
而且，该指示符生成器模块可以被设置成确定被存储在数据存储部中的元数据数据分组是否满足以下项中的至少一个的预定条件：在元数据包括属性的分类的情况下的属性；以及在元数据包括驾驶场景的分类的情况下的驾驶场景，响应于确定元数据数据分组未满足预定条件，生成指示传感器数据记录仪删除存储的与该元数据数据分组相关联的传感器数据测量结果的第二指令作为指示符。该远程元数据处理设备可以被设置成将第二指令发送至车辆，并且该传感器数据记录仪可以被设置成通过删除所存储的与元数据数据分组相关联的传感器数据测量结果来对第二指令做出响应。
该传感器模块还可以被设置成在通过传感器模块获取传感器数据期间，获取包括以下项中的一个或更多个的测量结果的车辆状态数据：车辆的速度、车辆的偏航率、车辆的节流阀设定以及车辆的位置信息，该数据处理设备可以被设置成以还包括车辆状态数据的方式生成元数据(M)，该远程元数据处理设备还可以包括异常检测模块，该异常检测模块被设置成使用一个或更多个预定标准来搜索车辆状态数据中的异常，并且该指示符生成器模块还可以被设置成生成在数据记录活动中使用的第二指示符，该第二指示符指示在车辆状态数据中检测到异常。
该远程元数据处理设备还可以包括数据集选择模块，该数据集选择模块被设置成基于元数据和预定要求，从所述多个传感器数据测量结果中选择传感器数据测量结果子集，其中，该预定要求指定以下项中的至少一个：在元数据包括属性的分类的情况下，具有包括分类成预定的属性类的对应元数据数据分组的要求数量的传感器数据测量结果；以及在元数据包括驾驶场景的分类的情况下，具有包括分类成驾驶场景的预定类的对应元数据数据分组的要求数量的传感器数据测量结果。
可以将该数据集选择模块设置成通过使用整数规划对经受根据预定要求定义的数学约束的线性方程组求解，从而基于元数据和预定要求来选择传感器数据测量结果子集，该线性方程组中的各个线性方程是基于被包括在所述多个相应元数据数据分组的相应元数据数据分组集中的分类来形成的。在元数据包括属性的分类的情况下，各个线性方程的至少一个变量对应于属性的预定类，并且各个线性方程的所述至少一个变量的系数对应于由元数据数据分组集指示的在该属性的预定类中的分类数量。在元数据包括驾驶场景的分类的情况下，各个线性方程的至少一个变量对应于预定驾驶场景类，并且各个线性方程的所述至少一个变量的系数对应于由元数据数据分组集指示的预定驾驶场景类中的分类数量。
车辆的驾驶环境的属性可以包括以下项中的至少一个：车辆的驾驶环境中的一个或更多个对象的类型，其中，该数据处理设备被设置成对由传感器模块获取的数据进行处理，以检测车辆的驾驶环境中的一个或更多个对象，并且根据对象类型对所检测到的一个或更多个对象进行分类；车辆的驾驶环境中的具有预定的一个或更多个类型的对象的数量，其中，该数据处理设备被设置成对由传感器模块获取的数据进行处理，以检测具有预定的一个或更多个类型的一个或更多个对象，并且根据所检测到的一个或更多个对象的数量来对检测到的一个或更多个对象进行分类；车辆的驾驶环境的环境类型，其中，该数据处理设备被设置成获取关于车辆的驾驶环境的信息并且根据环境类型对该驾驶环境进行分类；驾驶环境的当日时间，其中，该数据处理设备被设置成获取车辆的地方时(local time)并且根据该地方时对该驾驶环境进行分类；以及车辆的驾驶环境的天气类型，其中，该数据处理设备被设置成获取关于车辆的驾驶环境的天气状况的信息，并且使用所获取的关于天气状况的信息来根据天气类型对该驾驶环境进行分类。
与不同驾驶场景相关联的预定驾驶场景类的集合包括以下项中的至少一个：与由车辆执行的超车机动相关联的超车类；与正被第二车辆超车的车辆相关联的被超车类；与由车辆执行的紧急制动相关联的紧急制动类；与车辆左侧或右侧的第二车辆移动到和该车辆同一车道相关联的并线类；与车辆的实现预定条件的偏航率相关联的偏航率相关机动类；与车辆的实现预定条件的速度相关联的速度相关机动类。
该指示符生成器模块还可以被设置成在显示器上显示指示符。
附图说明
现在，参照下述附图，仅通过非限制性示例的方式对示例实施方式进行描述。除非另有指示，否则不同的图中出现的相同标号可以表示相同或功能相似的要素。
图1是根据第一示例实施方式的用于评估数据记录活动的进展的***的示意性例示图，该数据记录活动被执行以收集传感器数据，以在测试和验证车辆的ADAS中使用。
图2是可编程信号处理硬件的示意性例示图，该可编程信号处理硬件可以被配置成执行第一示例实施方式的数据处理设备或远程元数据处理设备的模块的功能。
图3例示了可以由图1的元数据生成设备处理的驾驶环境的属性的示例，以及各个属性的预定类的示例。
图4例示了可以被用于对驾驶场景进行分类以生成元数据的、与不同驾驶场景相关联的预定驾驶场景类集合的示例。
图5例示了可以由图1的元数据生成设备处理的图像的帧，其中添加了注释以例示本文所描述的分类的示例。
图6是由第一示例实施方式的远程元数据处理设备的分布数据生成器模块生成的采用直方图形式的示例分布数据的例示图。
图7是根据第二示例实施方式的用于评估数据记录活动的进展的图1所示***的变型例的示意性例示图。
具体实施方式
图1是根据第一示例实施方式的用于评估数据记录活动的进展的***1的示意性例示图。如图1所示，车辆5包括：高级驾驶辅助***(ADAS)10、被安装在车辆5上并且包括第一传感器22和第二传感器24的传感器模块20、传感器数据记录仪30以及元数据生成设备40。该元数据生成设备40包括数据处理设备42和通信设备44。ADAS 10被设置成在车辆5正在被驾驶时通过对由传感器模块20获取的传感器数据进行处理来提供驾驶辅助。
图1还例示了远程元数据处理设备60，该远程元数据处理设备远离车辆5并且与车辆5进行无线通信。该元数据处理设备60包括：数据存储部61，该数据存储部被设置成存储从元数据生成设备40接收到的元数据M；以及指示符生成器模块62。如在本实施方式中，远程元数据处理设备60还可以包括分布生成器模块64和异常检测模块66。元数据处理设备60的所有组件模块均以通信方式进行联接以便能够彼此进行通信。
在车辆5正在被驾驶时，执行数据记录活动以收集由被安装在该车辆5上的传感器数据记录仪30记录的传感器数据。可以将所记录的传感器数据用于测试和验证车辆5的ADAS 10。应理解，根据实施方式的***包括如本文参照图1描述的数据处理设备42和远程元数据处理设备60，并且另外可以包括本文参照图1描述的其它组件中的一个或更多个。
图2是可编程信号处理硬件200的示意性例示图，该可编程信号处理硬件可以被配置成执行本示例实施方式的数据处理设备42、ADAS 10、或者远程元数据处理设备60的模块61至66中的一个或更多个模块的操作。可编程信号处理设备200包括通信接口(I/F)210，该通信接口用于接收待处理的输入数据并且输出由处理所生成的数据。信号处理装置200还包括：用于处理输入数据的处理器(例如，中央处理单元，CPU)220、工作存储器230(例如，随机存取存储器)以及存储计算机程序245的指令存储部240，该计算机程序245包括计算机可读指令，该计算机可读指令在由处理器220执行时，使该处理器220执行本文所描述的***1的前述组件之一的功能。工作存储器230存储在执行计算机程序245期间由处理器220使用的信息。指令存储部240可以包括被预加载有计算机可读指令的ROM(例如，采用电可擦除可编程只读存储器(EEPROM)或闪存的形式)。另选地，指令存储部240可以包括RAM或类似类型的存储器，并且可以将计算机程序245的计算机可读指令从计算机程序产品(诸如采用CD-ROM、DVD-ROM等形式的非暂时性计算机可读存储介质250，或者承载计算机可读指令的计算机可读信号260)输入至该指令存储部。在任何情况下，计算机程序245在由处理器220执行时，使该处理器220执行由本示例实施方式的数据处理设备42、ADAS 10或远程元数据处理设备60的模块61至66中的一个或更多个模块执行的处理。然而，应注意，***1的这些组件中的各个组件可以另选地以不可编程的硬件(诸如专用集成电路(ASIC))来实现。
再次参照图1，第一传感器22被设置成在车辆5正在被驾驶时通过对该车辆5的外部(驾驶)环境进行感测来获取第一传感器数据S1。在本示例实施方式中，第一传感器22和第二传感器24各自可以是感测由车辆环境中的对象发射/反射的可见光的摄像机传感器。而且，第二传感器24被设置成在车辆5正在被驾驶时获取第二传感器数据S2，该第二传感器指示该车辆5的环境。如在本实施方式中那样，第二传感器24可以被设置成在第一传感器22正在获取第一传感器数据S1的同时获取第二传感器数据S2，使得这些摄像机传感器同时工作。
因此，在本实施方式中，第一传感器数据S1和第二传感器数据S2分别包括在数据记录活动期间，在车辆正在被驾驶时由传感器22和24录制车辆5的驾驶环境而获得的视频片段的帧。
然而，应注意，第一传感器22和第二传感器24不限于两者都是摄像机传感器的形式，并且可以采取其它(可能的不同)形式。例如，第一传感器22和第二传感器24中的各个传感器可以另选地包括无线电探测和测距(雷达)传感器(其被设置成获取雷达数据作为传感器数据)，或者光检测和测距(激光雷达)传感器(其被设置成获取激光雷达数据作为传感器数据)。因此，例如，第一传感器22可以是摄像机传感器、雷达传感器以及激光雷达传感器中的一者，并且第二传感器24可以是摄像机传感器、雷达传感器以及激光雷达传感器中的一者。在本实施方式中，传感器22和24两者的视场是相对于车辆5以大致类似的方式进行定向的，以便记录道路和/或车辆5的至少一些外部环境的视频。
在图1中，ADAS 10被设置成基于第一传感器数据S1向车辆5的驾驶员提供驾驶辅助，该第一传感器数据S1包括由第一(摄像机)传感器22记录的视频帧。ADAS 10例如可以包括一个或更多个正在开发中的驾驶辅助功能，诸如自适应巡航控制、紧急制动辅助、前方碰撞警告、车道偏离警告以及横向控制和变道辅助。
而且，如图1所例示的，在数据记录活动期间，当车辆5正在被驾驶时，由传感器数据记录仪30记录由第一传感器22捕获的传感器数据S1，以在测试和验证ADAS 10中使用。而且，当第一传感器22捕获第一传感器数据S1时，也可以由传感器数据记录仪30记录ADAS 10的输出O(例如，由ADAS 10做出的决定)。另外，可以使ADAS输出O与所捕获的第一传感器数据S1在时间上同步，以便允许针对第一传感器数据S1来验证ADAS输出O。应注意，在ADAS开发的早期阶段期间，ADAS 10可能不是完全起作用的。即，尽管第一传感器22能够记录传感器数据S1，但是ADAS 10可能不能够对所记录的传感器数据S1执行任何检测或分类。
在图1中，元数据生成设备40被设置成在被安装在车辆5上并且被用于数据记录活动时记录元数据M。在本示例实施方式中，元数据生成设备40的数据处理设备42被设置成对由第二传感器24获取的第二传感器数据S2进行处理，以生成第一传感器数据S1的元数据M。在本实施方式中，可以生成第一传感器数据S1的元数据M，该第一传感器数据S1是与由数据处理设备42处理以生成元数据M的第二传感器数据S2大致同时获取的。元数据M由此可以包括将该车辆5在第一传感器数据S1的获取期间所处的驾驶环境的属性分类成该属性的预定类集合中的相应类。另选地或附加地，元数据M可以包括将在传感器数据S1的获取期间发生的涉及车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类。各个驾驶场景包括由车辆5执行的相应驾驶机动或者由第二车辆相对于车辆5执行的驾驶机动。
举例来说，在本示例实施方式中，第二传感器数据S2可以包括多个第二传感器数据测量结果，各个第二传感器数据测量结果是在数据记录活动期间，当车辆正在被驾驶时，在该数据记录活动期间的不同时刻获取的。在本示例中，所述多个第二传感器数据测量结果可以是由第二传感器24在不同时间获取的多个图像(本文中被称为多个图像采集)。元数据生成设备40可以被设置成对这些图像采集中的各个图像采集的图像数据进行处理，以生成相应的元数据数据分组，相应的元数据数据分组包括在元数据M包括属性的分类的情况下，将车辆环境的属性相应分类成该属性的所述多个预定类中的类。元数据生成设备40还可以被设置成对图像数据进行处理以生成元数据数据分组，该元数据数据分组包括在元数据M包括驾驶场景的分类的情况下，将在传感器数据测量结果的获取期间发生的涉及车辆5的驾驶场景相应分类成与不同驾驶场景相关联的驾驶场景类预定集中的类。在元数据M包括驾驶环境的属性的分类又包括驾驶场景的分类的实施方式中，可以将所述分类包括在同一元数据数据分组中，但是可以另选地将所述分类包括在单独的元数据数据分组中。
在元数据包括驾驶环境的属性的分类的实施方式中，各个图像获取的图像数据可以是由第二传感器24捕获的视频短片的单个帧，并且可以将数据处理设备42设置成对所述帧中的各个帧进行处理，以生成相应的元数据数据分组。然而，应理解，由第二传感器24进行的图像获取中的各个图像获取不需要对应于单个视频帧，而相反可以包括多个帧。另外，第二传感器24可以不以连续的方式获取图像数据(更一般地，第二传感器数据)，而相反例如可以仅在预定间隔或者基于某些事件的检测来获取第二传感器数据测量结果。
在元数据包括涉及车辆5的驾驶场景的分类的实施方式中，可以将数据处理设备42设置成对包括多个视频帧的图像数据进行处理，以便生成所述多个视频帧的元数据数据分组，该元数据数据分组包括将驾驶场景分类成多个预定驾驶场景类中的驾驶场景类。
而且，在本示例实施方式中，第一传感器数据S1可以包括在数据记录活动期间当车辆5正在被驾驶时由第一传感器22在不同时间进行的多个图像获取，其中各个图像获取包括由第一传感器22捕获的视频短片的一个或更多个帧。由元数据生成设备40生成的各个元数据数据分组与由第一传感器22进行的图像获取中的相应图像获取相关联，该关联是基于对时间戳、视频帧标识符等的比较的，这允许元数据数据分组在时间上与由第一传感器22进行的图像获取相互关联，使得在元数据M包括属性的分类的情况下，各个元数据数据分组包括在由第一传感器22进行的关联的图像获取期间车辆5所处的驾驶环境的属性的相应分类。另选地或附加地，在元数据M包括驾驶场景的分类的情况下，各个元数据数据分组可以包括在由第一传感器22进行的关联的图像获取的获取期间发生的涉及车辆5的驾驶场景的相应分类。
图3例示了可以由图1的元数据生成设备40处理以生成元数据M的车辆5的驾驶环境的属性300的示例。图3还例示了各个属性300的预定类310的一些示例。
如图3中的(a)所示，在本实施方式中，驾驶环境的属性300包括车辆5的驾驶环境中的一个或更多个对象的类型，其中，数据处理设备42被设置成对由第二传感器24获取的数据S2进行处理，以检测车辆5的驾驶环境中的一个或更多个对象，并且根据对象类型对检测到的一个或更多个对象进行分类。特别地，元数据M中的属性300的分类可以包括：将在第一传感器数据S1的获取期间车辆5的驾驶环境中的一个或更多个道路对象的类型分类成多个预定道路对象类中的相应类。预定道路对象类可以包括：车辆类、行人类、自行车类以及道路交通标志类中的一个或更多个。然而，可以将另外或另选的道路对象类包括在预定道路对象类中。
另外或者另选地，驾驶环境的属性300可以包括：车辆5的驾驶环境中的具有预定的一个或更多个类型的对象的数量，其中，将数据处理设备42设置成对由第二传感器24获取的数据S2进行处理，以检测具有预定的一个或更多个类型的一个或更多个对象，并且根据检测到的一个或更多个对象的数量来对检测到的一个或更多个对象进行分类，如图3中的(b)所例示的。在本示例中，数据处理设备42可以通过基于第二传感器数据测量结果首先对车辆5的驾驶环境中的对象进行检测，来处理各个第二传感器数据测量结果(被包括在第二传感器数据S2中)。数据处理设备42还可以将各个检测到的对象分类为属于所述多个预定对象类中的对象类。数据处理设备42随后可以确定属于所述多个预定对象类中的各个对象类的对象的数量。
在本示例中，在第二传感器24包括摄像机传感器并且所述多个第二传感器数据测量结果包括车辆5的驾驶环境的所记录的视频的多个帧的情况下，可以将多个对象识别算法中的任一对象识别算法用于生成元数据数据分组(针对各个第一传感器数据测量结果)，该元数据数据分组包括帧中的对象的类型以及帧中的各个类型的对象的数量。举例来说，对象识别算法是只看一次(You Only Look Once(YOLO))网络、基于区域的卷积神经网络(R-CNN)或者单发检测器(Single Shot Detector(SSD))算法之一。然而，可以另选地使用本领域技术人员已知的另一对象检测算法。然而，应注意，数据处理设备42不需要实现类同于ADAS的所有感知功能，并且可以另选地使用来自车辆状态机的分析功能和信息。
尽管在本示例中第二传感器24是摄像机传感器，但是应注意，当第二传感器数据S2是由雷达传感器获取的雷达数据或者由激光雷达传感器获取的激光雷达数据时，也可以根据该第二传感器数据S2来生成包括道路对象的类型的分类以及具有各个道路对象类型的对象的数量的元数据M。例如，在第二传感器24是雷达传感器并且第二传感器数据S2是雷达数据的实施方式中，数据处理设备42可以基于例如通过使用神经网络在延长时段(即，在连续观察时段)内获取的雷达数据来执行对象跟踪和对象分类，以识别和区分车辆5的驾驶环境中的不同类型的道路对象。而且，还可以使用雷达数据来检测道路障碍物和混凝土路缘石。例如，雷达数据可以包括多个雷达数据测量结果集，并且可以生成各个雷达数据测量结果集的元数据数据分组，各个元数据数据分组包括对象类型的分类，和/或从雷达数据测量结果集中检测到的具有一个或更多个预定类型的对象的数量的分类。尽管当第二传感器24采取摄像机传感器或激光雷达传感器的形式时通常可以提取关于驾驶环境的更多信息，但是雷达传感器可以在某些条件下提供更鲁棒的性能，例如在变化的环境光条件下或者在不利的天气状况下。而且，雷达***可以提供对象与本车(ego-vehicle)的距离的准确测量结果。
在诸如本实施方式的实施方式中(其中，第二传感器24是摄像机传感器)，驾驶环境的属性300可以另外或者另选地包括背景场景特征类型，如图3中的(c)所例示的。更具体地，车辆5的驾驶环境的属性300的分类还可以包括：将由摄像机传感器检测到的车辆5的驾驶环境的背景场景特征分类成与不同背景场景特征类型相关联的多个预定类中的一个类。背景场景特征类型的分类例如可以包括对多个背景场景特征类型类中的各个类的置信度得分的相应确定。各个置信度得分表示车辆5的环境包括属于背景场景特征类的背景场景特征的可能性。另外，背景场景特征的分类可以包括将背景场景特征分类为属于背景场景特征类中的一个类。
作为示例，元数据生成设备40可以对由摄像机传感器已经捕获的视频帧的至少一部分应用图像分类算法，以便例如将关于帧中各种背景特征类型的存在(诸如树、建筑物、隧道和/或桥梁的存在)的置信度得分确定为元数据。针对多个背景场景特征类中的各个类确定的置信度得分还可以被用于将图像分类成多个预定背景场景特征类中的一个类，其中，分类的输出被包括在元数据中。所述多个预定背景特征类例如可以包括：指示车辆5的驾驶环境包括一个或更多个建筑物的建筑物类中的至少一个或更多个；指示车辆5的驾驶环境包括诸如一颗或更多颗树木的绿植(greenery)的自然绿植类；指示车辆5的驾驶环境包括一座或更多座桥的桥梁类；以及指示车辆的环境包括一个或更多个隧道的隧道类。然而，可以将其它背景特征类包括在所述多个预定背景特征类中。被用于对图像进行分类的图像分类算法例如可以是卷积神经网络，诸如GoogleNet网络。然而，也可以使用其它形式的预训练神经网络。在一些情况下，可以使用分析函数来代替图像分类算法。例如，可以使用关于车辆5的时间、日期以及GPS位置的信息来计算太阳在地平线上的高度。
还可以将数据处理设备42设置成在足够长的时段内监测如上所述的背景特征分类，或者以其它方式获取关于车辆5的驾驶环境的信息，并且在此基础上，根据环境类型对驾驶环境进行分类，如图3中的(d)所例示的。环境类型例如可以包括：城市环境、郊区环境、乡村环境、沿海环境或地下环境，如图3中的(d)所例示的。举例来说，指示车辆环境中存在一个或更多个建筑物的重复分类可以使数据处理设备42进一步将驾驶环境分类为属于环境类型中的“城市环境”类。同样地，指示车辆环境中存在一颗或更多颗树的重复分类可以使数据处理设备42进一步将驾驶环境分类为属于环境类型中的“乡村环境”类。
另外或者另选地，驾驶环境的属性300可以包括驾驶环境的当日时间，其中，数据处理设备42被设置成根据当日时间对环境进行分类。例如，元数据数据生成装置40可以对各个视频帧进行处理，以将视频帧中的图像分类为属于与当日时间相关联的多个预定类中的一个类，举例来说，如日间类和夜间类，如图3中的(e)所例示的。另选地或附加地，可以将数据处理设备42设置成从传感器模块20中的时钟获取指示车辆5的地方时的数据，并且根据该地方时对环境进行分类。
另外或者另选地，驾驶环境的属性300可以包括车辆5的驾驶环境的天气类型，其中，数据处理设备42被设置成根据天气类型对环境进行分类。例如，元数据生成设备40可以将各个视频帧分类为属于与不同天气状况相关联的多个预定类中的一个类(例如，使用神经网络)，举例来说，如雨天状况类、雾天状况类以及雪天状况类。另选地或附加地，可以将数据处理设备42设置成从传感器模块20获取关于车辆5的环境中的天气状况的天气信息，并且使用所获取的天气信息来根据天气类型对环境进行分类，如图3中的(e)所例示的。传感器模块20例如可以包括雨量传感器或者与雨量传感器进行通信，该雨量传感器被配置成检测车辆5的挡风玻璃或其它表面上的降雨，并且传感器模块20可以基于由雨量传感器输出的检测结果来生成天气信息。传感器模块20例如可以另选地从天气预报/监测服务无线地获取天气信息。
图4例示了可以被用于对驾驶场景进行分类以生成元数据的、与不同驾驶场景相关联的预定驾驶场景类410集合的示例。
如图4所示，与不同驾驶场景相关联的预定驾驶场景类410集合可以包括与由车辆5执行的超车机动相关联的超车类。更具体地，当第二传感器24是摄像机传感器、雷达传感器或激光雷达传感器时，可以由数据处理设备42对在一定时段内获取的第二传感器数据S2进行处理，以确定车辆5超过第二车辆的驾驶事件。特别地，在第二传感器数据S2的捕获期间，数据处理设备42可以使用第二传感器数据S2来执行车辆5的环境中的第二车辆的对象检测和/或对象跟踪。基于对第二车辆相对于所述车辆的位置的跟踪，可以确定超车事件，并且元数据数据处理设备42可以生成指示将驾驶场景分类成超车类的元数据。
另选地或附加地，如图4所示，预定驾驶场景类410集合还可以包括与正在被第二车辆超车的车辆5相关联的被超车类。特别地，数据处理设备42可以使用前述的相同的对象检测和/或对象跟踪方法来对第二传感器数据S2进行处理，以确定车辆5被第二车辆超车的事件的发生。
另选地或附加地，如图4所示，预定驾驶场景类410集合还可以包括与由车辆5执行的紧急制动相关联的紧急制动类。数据处理设备42可以通过使用前述对象检测和/或对象跟踪方法对第二传感器数据24进行处理，来确定将驾驶场景400分类成紧急制动类。然而，数据处理设备42可以另选地基于如由速度传感器或者任何其它合适的装置获得的车辆5的速度数据来确定按照紧急制动类的分类。
另选地或附加地，如图4所示，预定驾驶场景类410集合还可以包括：与车辆5左侧或右侧的第二车辆移动到与车辆5同一车道相关联的并线类。特别地，数据处理设备42可以使用前述的相同的对象检测和/或对象跟踪方法来对第二传感器数据S2进行处理，以确定并分类车辆5左侧或右侧的第二车辆移动到与车辆5同一车道的事件的发生。
另选地或附加地，在一些实施方式中，可以将数据处理设备42配置成接收车辆5的偏航率的测量结果，并且如图4所示，预定驾驶场景类集合还可以包括与实现预定条件的车辆5的偏航率相关联的偏航率相关机动类。例如，可以将数据处理设备42配置成在一定时段内接收车辆5的偏航率测量结果，并且当确定车辆5的偏航率满足偏航率的预定条件时，将驾驶场景分类为属于偏航率相关类。该预定条件例如可以是检测到超过预定偏航率值的偏航率值达超过预定时段的时间(例如，这可能当车辆正在急弯处机动时发生)，但更一般地可以是为偏航率指定的任何条件。
另选地或附加地，在一些实施方式中，可以将数据处理设备42配置成接收车辆5的速度的测量结果，并且如图4所示，预定驾驶场景类集合还可以包括与实现预定条件的车辆5的速度相关联的速度相关机动类。例如，可以将数据处理设备42配置成在一定时段内接收车辆5的速度测量结果，并且当确定车辆5的速度满足预定条件时，将驾驶场景400分类成速度相关类。预定条件例如可以是检测到车辆5的速度超过预定速度，但是可以是针对速度限定的任何条件。
应注意，不同的驾驶场景不限于前述示例，并且可以包括与由车辆5执行的驾驶机动或者由第二车辆相对于车辆5执行的驾驶机动相对应的其它驾驶场景。
图5例示了可以由图1的数据处理设备42处理以生成驾驶环境的属性300的分类的视频帧。在本示例实施方式中，视频帧是由数据处理设备42进行处理以生成该帧的元数据M(采用元数据数据分组的形式)的第二传感器数据测量结果。如图5所示，数据处理设备42可以使用前述技术来对视频帧进行处理，以确定使用图3所示的环境特征中的一个或更多个环境特征定义的属性的分类。当数据处理设备42针对驾驶环境的特定属性将视频帧分类成预定类集合中的类时，生成各个分类。例如，在图5的示例中，数据处理设备42基于所例示的视频帧来确定图像包含属于图3中的(a)所示的“车辆”类的对象。而且，数据处理设备42确定帧中的车辆属于图3中的(b)所示的“三车辆”类，并且帧中的背景场景包含“自然绿植”的分类，和当日时间是日间的分类。
再次参照图1，元数据生成设备40还包括通信设备44，该通信设备被设置成在数据记录活动期间，当车辆5正在被驾驶时将所生成的元数据M发送至远程元数据处理设备60。在本示例中，通信设备44可以包括发送器，该发送器被设置成经由连接至互联网的无线网络将元数据M无线地发送至元数据处理设备60。无线网络例如可以是蜂窝网络，诸如3G、4G或5G网络。元数据处理设备60是远程计算装置/***，在本实施方式中，该远程计算装置/***例如可以是云计算***的云服务器，但是可以另选地是被设置成存储和处理元数据M的专用服务器。
在本示例实施方式中，可以将元数据数据分组实时地发送至远程元数据处理设备60(例如通过实况数据流)，以便允许实时地报告其中正在测试处于开发中的ADAS 10的驾驶环境的类型，以及在数据记录活动期间已经记录了数据的驾驶环境的类型。而且，被发送至远程元数据处理设备60的各个元数据数据分组在尺寸上优选地足够小，以使即使在低带宽数据连接上也可以发送数据。作为非限制性示例，各个元数据数据分组在尺寸上可以被限制在1千字节以下。这样，假设第二传感器24包括以每秒钟30帧的速度捕获图像的摄像机传感器，那么对于由传感器数据记录仪30记录的60秒钟左右的视频，仅需要将1.8兆字节的元数据发送至远程元数据处理设备。另外，由第二传感器24捕获的视频帧不需要被存储至传感器数据记录仪30，并且一旦根据该视频帧生成元数据数据分组，就可以删除所述数据帧。
在图1中，远程元数据处理设备60连接至互联网，并且包括数据存储部61，该数据存储部被设置成存储由车辆5上的通信设备44发送的元数据。
如图1所示，远程元数据处理设备60还包括指示符生成器模块62，该指示符生成器模块被设置为确定接收到的元数据M是否至少包括按照以下类中的至少一个类进行的预定数量的分类：在元数据M包括属性300的分类的情况下，该属性300的预定类310集合中的预定类；以及在元数据M包括驾驶场景400的分类的情况下，与不同驾驶场景相关联的预定驾驶场景类410集合中的预定驾驶场景类。基于该确定，指示符生成器模块62还生成用于在数据记录活动中使用的指示符T。评估元数据M所针对的预定数量的分类可以表示在远程元数据处理设备60处限定的关于需要由传感器数据记录仪30捕获的传感器数据的类型的要求。这些要求例如可以限定需要针对多种不同驾驶环境和/或驾驶场景中的每一者记录的传感器数据的量(例如，本示例中的视频帧的数量)。
在本示例实施方式中，第一传感器数据S1包括多个第一传感器数据测量结果，所述多个第一传感器数据测量结果是在数据记录活动期间的不同时刻获取的，并且第二传感器数据包括多个第二传感器数据测量结果。元数据包括多个元数据数据分组，所述多个元数据数据分组是针对所述多个第一传感器数据测量结果中的相应第一传感器数据测量结果生成的，并且与该第一传感器数据测量结果相关联。各个元数据数据分组是通过对由传感器模块在与获取第一传感器数据测量结果大致相同的时间获取的第二传感器数据测量结果进行处理而生成的。因此，各个元数据数据分组包括：在元数据M包括属性300的分类的情况下，将在第一传感器数据测量结果的获取期间车辆5所处的环境的一个或更多个属性中的各个属性分类成所述属性的多个预定类中的相应类。另选地或附加地，各个元数据数据分组还可以包括：在元数据M包括驾驶场景400的分类的情况下，将在传感器数据测量结果的获取期间发生的涉及车辆5的驾驶场景400分类成与不同驾驶场景相关联的预定驾驶场景类410集合中的类。在该实施方式中，指示符生成器模块62可以通过确定预定数量的元数据数据分组是否具有满足以下项中的至少一个的预定条件的分类来确定接收到的元数据M是否至少包括规定类的预定数量的分类：在元数据M包括属性300的分类的情况下，驾驶环境的属性300；以及在元数据M包括驾驶场景400的分类的情况下，驾驶场景400。
在元数据M包括属性300的分类的情况下，在本示例中，驾驶环境的所述一个或更多个属性300的预定条件可以是指示属性的特定分类的元数据数据分组。例如，假设数据记录活动的要求是传感器数据记录仪30记录至少X数量的视频帧，各个视频帧具有Y辆车、Z个行人并且是在夜间记录的，那么指示符生成器模块62可以基于在远程元数据处理设备60处接收到的元数据M来确定至少X数量的元数据数据分组(假设针对各个帧生成一个元数据数据分组)是否具有以下分类：Y辆车(针对车辆类型的对象数量的属性300)、Z个行人(针对行人类型的对象数量的属性300)以及夜间分类(针对当日时间的属性300)。尽管根据针对所述一个或更多个属性的预定条件使用了特定示例，但是应明白，可以以任何恰当的方式为任何数量的属性300限定数据记录活动的要求。另外，属性300的预定条件不需要是包含按照属性300的规定类进行分类的元数据数据分组。相反，预定条件可以取而代之地是从与属性300相关联的规定类310导出的。例如，代替指定元数据数据分组应当包含W个行人的分类，预定条件可以指定被包括在元数据数据分组中的分类满足至少或至多W个行人的条件。
类似地，在元数据M包括驾驶场景400的分类的情况下，在本示例中，驾驶场景400的预定条件可以是指示该驾驶场景400的特定分类的元数据数据分组。例如，假设数据记录活动的要求是传感器数据记录仪30在记录活动期间记录记录车辆5超越另一辆车的至少规定数量的实例，那么指示符生成器模块62可以基于在远程元数据处理设备60处接收到的元数据M来确定至少预定数量的元数据数据分组是否具有超车驾驶场景类中的与车辆5执行的超车机动相关联的分类。
而且，在元数据M包括驾驶环境的属性300的分类以及驾驶场景400的分类的实施方式中，可以根据属性300和驾驶场景400两者来定义必须由预定数量的元数据数据分组满足的预定条件。即，预定条件可以要求至少预定数量的元数据分组满足驾驶环境的属性300的预定条件并且还满足驾驶场景400的预定条件这两者。为属性300和驾驶场景400两者定义的预定条件可以被理解成对应于在特定驾驶环境中发生的特定驾驶场景。特别地，预定条件可以指定至少预定数量的元数据分组，各个元数据分组具有按照驾驶场景400的规定类410的分类和按照属性300的规定类310的分类，其中，按照驾驶场景400的规定类410的分类和按照属性300的规定类310的分类是由数据处理设备42至少部分地基于公共第二传感器数据S2来确定的。例如，在第二传感器是摄像机并且第二传感器数据S2是视频帧的情况下，数据处理设备42应当至少部分地基于一个或更多个公共视频帧，来确定按驾驶场景400的规定类410的分类和按照属性300的规定类310的分类，以便在与属性的规定类310相对应的驾驶环境中确定与驾驶场景的规定类410相对应的驾驶场景的出现。相对于驾驶环境的属性300和驾驶场景400定义的预定条件的非限制性示例可以包括这样的预定条件，即，该预定条件要求至少预定数量的元数据分组，各个元数据分组包括指示在城市环境中发生的超车事件的分类，或者至少预定数量的元数据分组，各个元数据分组包括指示在雨天状况下发生的紧急制动事件的分类。然而，预定条件决不限于所提供的示例，并且可以基于关于属性300和驾驶场景400定义的任何合适的标准。
再次参照图1，将(可选的)分布数据生成器模块64设置成在元数据M包括属性300的分类的情况下，生成指示属性300的分类在属性300的多个预定类310当中的分布的分布数据D。另选地或附加地，将分布数据生成器模块64设置成在元数据M包括驾驶场景400的分类的情况下，生成指示驾驶场景400的分类在多个预定的驾驶场景类410当中的分布的分布数据D。该分布数据D可以帮助监测数据记录活动的人来可视化在数据记录活动期间已经收集了传感器数据的驾驶环境的类型。例如，在元数据M包括一个或更多个道路对象的类型的分类的情况下，分类分布模块64例如可以生成指示按照所述多个预定道路对象类型类中的各个类进行的分类的数量的数据作为分布数据D。例如，在本实施方式中，分布数据D还可以指示包含已经由元数据生成设备40分类为属于特定对象类的对象的视频帧的数量。例如，分布数据可以指示X个视频帧包含一辆或更多辆车，Y个帧包含一个行人或更多个行人，并且Z个帧包含一辆或更多辆自行车。
而且，在第二传感器2是摄像机传感器并且针对由摄像机传感器捕获的各个视频帧确定所述多个预定对象类中的各个类的对象数量的分类的本实施方式中，分布数据D可以指示已经被分类为属于预定对象类型类和“对象数量”类(例如，“具有2辆车和2个行人的视频帧”类、“具有2辆车和1个行人的视频帧”类、“具有3个行人和1辆自行车的视频帧”类等)中的各个类的视频帧的相应数量。在元数据M包括背景场景特征的分类的实施方式中，分布数据D还可以指示已经被分类为具有属于背景场景类中的规定类的背景场景特征的视频帧的数量。在元数据M包括驾驶环境的当日时间的分类的实施方式中，分布数据D可以指示已经被分类为属于与当日时间相关联的类中的规定类的视频帧的数量。在元数据M包括驾驶环境中的天气类型的分类的实施方式中，分布数据D可以包括指示已针对多个不同天气类型类中的各个类获取的视频帧的数量的数据。
在一些实施方式中，分布数据D可以指示具有满足驾驶环境的属性的预定条件的分类的元数据数据分组的数量(并因此指示第一传感器数据测量结果的数量)。属性300的预定条件可以是指示属性的特定分类的元数据数据分组。然而，在一些实施方式中，预定条件还可从与属性相关联的预定类导出。例如，不是指定元数据数据分组应当包含W个行人的分类，而是预定条件可以指定元数据数据分组包含满足至少W个行人的要求的分类。另外，分布数据D可以指示满足为多个相应属性300指定的多个预定条件的图像帧的数量。例如，分布数据D可以指示在各个帧中具有X辆车、Y个行人并且具有作为背景特征的绿色场景的帧的数量。
而且，在元数据包括驾驶场景400的分类的实施方式中，分布数据D可以指示具有满足驾驶场景400的预定条件的分类的元数据数据分组的数量(并因此指示第一传感器数据测量结果的数量)。驾驶场景400的预定条件可以是指示该驾驶场景400的特定分类的元数据数据分组。例如，分布数据可以指示：包括超车驾驶场景类中的分类的元数据数据分组的数量、包括紧急制动驾驶场景类中的分类的元数据数据分组的数量、和/或包括速度相关机动驾驶场景类中的分类的元数据数据分组的数量，如在先前示例中所描述的。另外，在元数据包括属性300和驾驶场景400两者的分类的情况下，以与先前示例中所讨论的相同的方式，定义关于属性300和驾驶场景400两者的预定条件。例如，分布数据D可以指示具有指示在城市背景下由车辆5正在执行的超车机动的分类的元数据数据分组的数量，或者指示具有指示在雨天状况下正在执行的紧急制动机动的分类的元数据数据分组的数量。应理解，预定条件不限于前述内容，并且可以基于属性300(更具体地，属性300的一个或更多个预定类)和驾驶场景400(具体地，驾驶场景400的一个或更多个预定类)以任何合适的方式来定义。
图6是由远程元数据处理设备60的分布数据生成器模块64生成的分布数据500的示例图。在图6中，分布数据500是以直方图形式来呈现的，但是也可以以适合于显示属性300的各种预定类当中的分类分布的任何形式而进行图形呈现。沿着图6的X轴的箱(bin)对应于不同的驾驶环境/驾驶场景，其可以直接对应于属性/驾驶场景的预定类，但是也可以对应于基于属性/驾驶场景的预定类的预定条件。在图6的示例中，Y轴表示实现由沿着X轴的各个箱指定的特定驾驶环境的计数的数量。应理解，由图6的X轴上的箱给出的不同驾驶环境状况/驾驶场景仅仅是示例，并且另选地，可以代替地指定其它驾驶状况/驾驶场景。
在元数据包括驾驶环境的属性300的分类的情况下，由指示符生成器模块62生成的指示符T(当指示符生成器模块62确定元数据至少包括针对属性300的预定类310的预定数量的分类时)例如可以指示已经针对属性300的特定类310记录了足够的传感器数据。而且，指示符T例如可以被发送至监督数据记录活动的一个或更多个人(例如车辆5的驾驶员或者远程监测数据记录活动的进展的人)的显示装置。类似地，在元数据包括驾驶场景400的分类的情况下，由指示符生成器模块62生成的指示符T(当指示符生成器模块62确定元数据M至少包括针对驾驶场景400的预定类410的预定数量的分类时)例如可以指示已经针对驾驶场景400的特定类410记录了足够的传感器数据。而且，例如，可以将指示符T发送至监督数据记录活动的一个或更多个人的显示装置。
通过监测从接收自车辆5的元数据M获得的分类的分布，可以对数据记录活动进行调整以允许更高效地收集数据。例如，如果已经确定(基于分布数据D，或者基于所生成的指示符T)已经针对该驾驶环境或驾驶场景的某一属性获取了足够的传感器数据，则可以针对该数据获取活动的下一部分调整驾驶路线，以便集中于针对其它类型的驾驶环境或驾驶场景收集传感器数据。在一些实施方式中，当确定元数据M包括针对属性300的预定类310的至少规定数量的分类，或者包括针对驾驶场景400的预定驾驶场景类410的至少规定数量的分类时，还可以将指示符生成器模块62设置成生成指示传感器数据记录仪30停止记录的指令I作为指示符T，并且可以将远程元数据处理设备60设置成将指令I发送至车辆5。前述特征因此是有利的，因为它们允许高效地执行数据记录活动，同时减少需要被驾驶以收集用于测试和验证ADAS 10所需的数据的距离量。这样，不是根据针对数据记录活动需要被驾驶的距离来定义需求，而是可以根据针对不同驾驶状况和环境需要捕获的数据量(例如，视频帧)来定义需求。
在一些实施方式中，可以将指示符生成器模块62设置成确定从通信设备44接收到的元数据数据分组(在本示例中，针对由第一传感器捕获的多个视频帧生成的元数据数据分组)是否满足以下项中的至少一个的预定条件：在元数据M包括属性300的分类的情况下的属性300；以及在元数据M包括驾驶场景400的分类的情况下的驾驶场景400。响应于确定元数据数据分组未满足预定条件，可以将指示符生成器模块62设置成生成指示车辆5处的传感器数据记录仪30删除已经生成了元数据数据分组的第一传感器数据S1的指令I作为指示符D，并且可以将远程元数据处理设备60设置成将指令I发送至车辆5。属性300(在元数据M包括属性的分类的情况下)和/或驾驶场景400(在元数据M包括驾驶场景400的分类的情况下)的预定条件可以与先前定义的相同，即，元数据数据分组包括属性300和/或驾驶场景400的特定分类。然而，更一般地，在元数据包括属性300的分类的情况下，预定条件可以是实现基于属性的特定类310的预定条件的元数据数据分组(例如，代替指定W辆车，该条件可以指定至少W辆车辆)。另选地或附加地，预定条件可以是实现基于特定驾驶场景类410的预定条件的元数据数据分组。而且，在一些实施方式中，可以按照与先前实施方式中所述相同的方式为属性300和驾驶场景两者定义预定条件。因此，本实施方式的远程元数据处理设备60能够评估针对已经由传感器数据记录仪30记录的图像帧生成的元数据数据分组，并且确定所记录的帧是否包含为测试或训练ADAS 10所需类型的“关注”场景。如果图像帧不包含所需类型的场景，则可以立即从传感器数据记录仪30中删除所记录的帧，以便释放存储空间(例如，HDD空间)。这允许更高效地执行数据记录活动。
除了记录关于车辆5被驾驶的路况或驾驶环境的类型的传感器数据之外，还可能需要或希望准确地记录关于车辆5自身的状态的信息，以便获取用于ADAS 10的验证的所有必要数据。因此，在一些实施方式中，传感器模块40还可以包括车辆数据获取模块(图1未示出)，该车辆数据获取模块被设置成在通过第一传感器22获取第一传感器数据S1期间，获取以下项中的一个或更多个的车辆状态数据：车辆5的速度、车辆5的偏航率、车辆5的节流阀设定以及车辆5的位置信息。还可以将传感器数据记录仪30设置成记录车辆状态数据。在这些实施方式中，元数据M还可以包括车辆状态数据。另外，在这些实施方式中，元数据处理设备60还可以包括异常检测模块66(如图1所示)，该异常检测模块被设置成使用一个或更多个预定标准来识别车辆状态数据中的异常。还可以将指示符生成器模块62设置成生成在数据记录活动中使用的第二指示符A，该第二指示符A指示已经在车辆状态数据中检测到异常。用于识别车辆状态数据中的异常的所述一个或更多个预定标准例如可以基于针对车辆状态数据的预期测量结果，并且可以以任何合适的方式进行定义。所识别的异常可能是在用于测量和记录车辆状态数据的设备的安装方面的错误的结果，举例来说，测量装置的错误校准，或者由于混合的信号、硬件失效或人为错误而造成的破坏的测量结果。在这点上，通过发送还包括前述类型的车辆状态数据的元数据M，可以以很小的延迟来识别所记录的车辆状态数据中的异常或问题，并且可以生成指示符A并将该指示符提供给相关人员(举例来说，如车辆5的驾驶员)以突出问题并允许迅速解决异常的原因。
由元数据处理设备60接收到的元数据M还可以被用于高效地选择用于训练ADAS10的真值(ground truth)数据。特别地，通过在数据记录活动期间针对各个第一传感器数据测量结果(在本示例中为一个或更多个视频帧)自动生成元数据数据分组，显著减少了需要由人手动标注的数据量，并且可以将针对所述第一传感器数据测量结果中的各个第一传感器数据测量结果生成的元数据数据分组用于如下用途：选择可以被用于形成用于训练ADAS 10的真值数据集的第一传感器数据测量结果集。
因此，在一些实施方式中，元数据生成设备60还可以包括数据集选择模块68(如图1所示)，该数据选择模块被设置成基于元数据M和预定要求，从多个第一传感器数据测量结果中选择第一传感器数据测量结果子集。在元数据M包括属性300的分类的情况下，预定要求可以指定具有包括分类成属性300的规定类310的分类的对应元数据数据分组的要求数量的传感器数据测量结果。另选地或附加地，在元数据M包括驾驶场景400的分类的情况下，预定要求可以指定具有包括分类成驾驶场景400的规定类的分类的对应元数据数据分组的要求数量的传感器数据测量结果。在一些实施方式中，可以使用整数规划来优化对第一传感器数据测量结果子集的选择，以便选择允许满足预定要求的第一传感器数据测量结果的最小数量(即，视频帧的最小数量)。
更具体地，如在本示例实施方式中，可以将数据集选择模块设置成通过使用整数规划对经受根据预定要求定义的数学约束的线性方程组进行求解，从而基于元数据和预定要求来选择传感器数据测量结果子集。该线性方程组中的各个线性方程是基于被包括在多个相应元数据数据分组的相应元数据数据分组集中的分类来形成的。特别地，在元数据M包括属性300的分类的情况下，各个线性方程的至少一个变量对应于属性300的预定类，并且各个线性方程的所述至少一个变量的系数对应于由元数据数据分组的集合指示的属性300的预定类中的分类的数量。而且，在元数据M包括驾驶场景400的分类的情况下，各个线性方程的至少一个变量对应于预定驾驶场景类410，并且各个线性方程的所述至少一个变量的系数对应于由元数据数据分组的集合指示的预定驾驶场景类中的分类的数量。
作为示例，在元数据M包括环境的属性的分类的一个实施方式中，可以将所述多个传感器数据测量结果划分成传感器数据测量结果子集，各个子集被称为数据日志，并且数据集选择模块68可以基于各个传感器数据测量结果的元数据数据分组来生成各个数据日志的分类分布数据，该分类分布数据指示具有属性310的预定类310中的分类的传感器数据测量结果的数量。数据集选择模块68还可以使用整数规划来基于分类分布数据选择满足预定要求的数据日志的集合。作为非限制性示例，z个数据日志Log1，Log2，…Logz，中的各个数据日志的分布数据可以包括定义具有两个或更多个预定类310(针对一个或更多个属性300)中的分类的帧的数量的线性方程，举例来说，如
Figure BDA0003481903860000241
其中，p，b，c是分别表示具有一个或更多个行人的帧的数量、具有一辆或更多辆自行车的帧的数量、以及具有自行车和行人两者的帧的数量的变量。尽管在上面示出的线性方程组中定义了三个变量，但是应理解，也可以使用表示基于一个或更多个属性300的预定类310的预定条件的其它变量。如在本示例中，所选择的数据日志需要满足的预定要求可以至少指定具有行人的10个帧和具有自行车的50个帧。可以将该预定要求定义为数学约束，在该数学约束下，要执行函数f(a，b，...，z)的最小化，以便选择满足该预定要求的最小数量的数据日志，其中，
f(a，b，…，z)＝a*Log1+b*Log2+…+z*Log3
并且其中，a，b，...，z是要在最小化过程中确定的二进制值。在本实施方式中，最小化min(f(a，b，..，z))的解(其是整数规划问题)可以使用单纯形(simplex)算法来确定。所确定的值a，b，...，z指示需要选择哪些数据日志以便使用最小数量的所选择的数据日志来满足预定要求。
在前述实施方式中，传感器模块20包括第一传感器22和第二传感器24，使得针对第一传感器数据S1生成的元数据M是基于第二传感器数据S2的处理的，第二传感器数据S2是第二传感器24在与第一传感器22获取第一传感器数据S1基本相同的时间获取的。然而，应理解，传感器模块20不需要具有两个传感器。特别地，在一些实施方式中，传感器模块20可以代替地仅具有第一传感器22，并且可以将ADAS 10和元数据生成设备40设置成对由第一传感器22获取的传感器数据进行处理。
图7是根据第二示例实施方式的用于评估数据记录活动的进展的***1'的示意性例示图。图7的***1'与图1的***1的不同之处仅在于传感器模块20'的配置，该传感器模块20'包括采用第一传感器22的形式的单个传感器，而不是图1所示的两个传感器22和24。图7所示的变型例***1'包括与关于图1描述的相同的元数据生成设备40和远程元数据处理设备60，唯一的区别在于图7中的元数据生成设备40被设置成通过对由第一传感器22提供的第一传感器数据S1进行处理，来生成第一传感器数据S1的元数据M'。特别地，数据处理设备42可以按照与该数据处理设备42处理图1中的实施方式的第二传感器数据S2完全相同的方式，通过对第一传感器数据S1进行处理，来生成第一传感器数据S1的元数据M'。换句话说，在图7的***1'的示例中，第一传感器22、ADAS 10、传感器数据记录仪30、元数据生成设备40以及远程元数据处理设备60(包括指示符生成器模块62、分布数据生成器模块64、异常检测模块66以及数据集选择模块68)按照与针对对应标记的组件所描述的完全相同的方式工作，并且关于这些组件所描述的所有示例和实施方式应当被理解为图7中的***1'的示例和实施方式。而且，除了具有元数据生成设备40和远程元数据处理设备60之外，***1'还可以可选地另外包括图7所例示的其它组件中的任何组件的一个或更多个。
这里所描述的示例方面避免了与高级驾驶辅助***(ADAS)和自主驾驶应用的测试和验证相关的具体以计算机技术为基础的限制。特别地，为收集用于ADAS验证的数据而执行的记录活动需要进行长距离驾驶，以便收集足够的数据来覆盖ADAS将需要在其下可靠地运行的多种不同的驾驶环境。根据本文所描述的示例方面，当在数据记录活动期间记录用于正在开发中的ADAS的验证的传感器数据(诸如图像数据、雷达数据、激光雷达数据等)时，生成传感器数据的元数据并将该元数据发送至远程元数据处理设备。元数据包括对以下项中的至少一个的分类：将车辆的驾驶环境的属性分类成该属性的预定类集合中的类；将在传感器数据的获取期间发生的涉及车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类。而且，远程元数据处理设备包括指示符生成器模块，该指示符生成器模块被设置为确定接收到的元数据是否至少包括以该预定类集合中的规定类进行的预定数量的分类，并且基于该确定，生成在该数据记录活动中使用的指示符。可以对在远程元数据处理设备处接收到的元数据进行分析，以确定已记录的传感器数据的类型。这可以提高数据收集过程的效率，因为可以监测数据记录活动的进展，并且可以在数据收集过程的早期进行调整(例如，对车辆的规划路线的调整)，从而减小需要进行驾驶的距离，并且还提高车辆处的数据存储利用率。另外，所收集的传感器数据的元数据的可用性减少了需要由人手动标注的数据量，并且允许高效地选择用于训练ADAS的真值数据。而且，根据本文所描述的示例方面的以计算机技术为基础的前述能力，本文所描述的示例方面改进了计算机和计算机处理/功能，并且还改进了高级驾驶辅助***(ADAS)和自主驾驶应用的测试和验证领域。
在前述描述中，参照多个示例实施方式描述了示例方面。因此，本说明书应被认为是例示性的，而非限制性的。类似地，附图中例示的突出示例实施方式的功能和优点的图仅是出于示例目的而呈现的。示例实施方式的架构是足够灵活和可配置的，使得它可以以不同于附图所示的方式来加以利用(和导航)。
在一个示例实施方式中，本文所呈现的示例的软件实施方式可以被提供为计算机程序或软件(诸如具有指令或指令序列的一个或更多个程序)，该计算机程序或软件被包括或存储在诸如机器可访问或机器可读介质、指令存储部或计算机可读存储装置的制品中，其中每一个都可以是非暂时性的。可以将非暂时性机器可访问介质、机器可读介质、指令存储部或计算机可读存储装置上的程序或指令用于对计算机***或其它电子装置进行编程。机器或计算机可读介质、指令存储部以及存储装置可以包括但不限于软盘、光盘和磁光盘，或者适于存储或传输电子指令的其它类型的介质/机器可读介质/指令存储部/存储设备。本文所描述的技术不限于任何特定的软件配置。它们可以在任何计算或处理环境中找到适用性。本文所使用的术语“计算机可读”、“机器可访问介质、，“机器可读介质”、“指令存储部”以及“计算机可读存储装置”应当包括能够存储、编码或传输指令或指令序列以供机器、计算机或计算机处理器执行并且使机器/计算机/计算机处理器执行本文所描述的方法中的任一方法的任何介质。而且，本领域中通常以一种形式或另一种形式(例如，程序、过程、处理、应用、模块、单元、逻辑等)将软件称为采取动作或导致结果。这样的表达仅仅是陈述由处理***执行软件造成处理器执行动作以生成结果的速记方式。
一些实施方式还可以通过准备专用集成电路、现场可编程门阵列、或者通过互连常规组件电路的恰当网络来实现。
一些实施方式包括计算机程序产品。计算机程序产品可以是具有存储在其上或其中的指令的存储介质、指令存储部或者存储装置，这些指令可以被用于控制或造成计算机或计算机处理器执行本文所描述的示例实施方式的过程中的任一过程。存储介质/指令存储部/存储设备可以包括，例如但不限于光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存、闪存卡、磁卡、光学卡、纳米***、分子级存储器集成电路、RAID、远程数据存储装置/存档/仓储、和/或适于存储指令和/或数据的任何其它类型的装置。
被存储在计算机可读介质、指令存储部或者存储装置上的一些实现包括用于既控制***的硬件又用于使得***或微处理器能够利用本文所描述的示例实施方式的结果与人类用户或其它机制进行交互的软件。这种软件可以包括但不限于设备驱动程序、操作***以及用户应用。最终，此类计算机可读介质或存储装置还包括用于执行本文中的示例方面的软件，如上文所描述的。
被包括在***的编程和/或软件中的是用于实现本文所描述的过程的软件模块。在本文中的一些示例实施方式中，模块包括软件，但是在本文的其它示例实施方式中，模块包括硬件、或者硬件和软件的组合。
虽然上面已经描述了各种示例实施方式，但是应理解，它们是作为示例而非限制来呈现的。对于相关领域的技术人员显而易见的是，可以在其中进行形式和细节上的各种改变。因此，本公开不应受上述示例性实施方式中的任一示例实施方式的限制，而应仅根据所附权利要求及其等同物来进行限定。
在下面的编号条款中概述了上面详细描述的元数据处理设备的实施方式：
E1.一种在评估数据记录活动的进展的***中使用的元数据处理设备，所述数据记录活动是在车辆正在被驾驶时执行以收集由被安装在所述车辆上的传感器数据记录仪记录的传感器数据，所述传感器数据在测试所述车辆的高级驾驶辅助***ADAS中使用，其中，所述ADAS被设置成在所述车辆被驾驶时通过对由被安装在所述车辆上的传感器模块获取的传感器数据进行处理来提供驾驶辅助，所述元数据处理设备包括：
数据存储部，所述数据存储部能够工作以存储从所述元数据生成设备接收到的元数据，所述元数据是基于由所述传感器模块获取的数据的并且包括对以下项中的至少一个进行的分类：
将在由所述传感器模块获取所述传感器数据期间所述车辆所处的驾驶环境的属性分类成所述属性的预定类集合中的相应类；以及
将在所述传感器数据的获取期间发生的涉及所述车辆的驾驶场景分类成与不同驾驶场景相关联的预定驾驶场景类集合中的相应类，其中，各个驾驶场景与由所述车辆执行的相应驾驶机动或者由第二车辆相对于所述车辆执行的驾驶机动相关联；
指示符生成器模块，所述指示符生成器模块被设置成确定所述接收的元数据是否至少包括按照以下类中的至少一个类进行的预定数量的分类：
在所述元数据包括所述属性的分类的情况下，所述预定类集合中的预定类；以及
在所述元数据包括所述驾驶场景的分类的情况下，与不同驾驶场景相关联的所述预定驾驶场景类集合中的预定驾驶场景类，
其中，所述指示符生成器模块还被设置成基于所述确定，生成在所述数据记录活动中使用的指示符。
E2.根据E1所述的元数据处理设备，其中，所述传感器数据包括多个传感器数据测量结果，所述多个传感器数据测量结果皆是以在所述数据记录活动期间的不同时刻获取的，并且所述元数据包括多个元数据数据分组，各个元数据数据分组与所述多个传感器数据测量结果中的相应传感器数据测量结果相关联，并且基于当正在获取所述传感器数据测量结果时由所述传感器模块获取的数据，并且各个元数据数据分组包括以下项中的至少一个：
在所述元数据包括所述属性的分类的情况下，将在所述传感器数据测量结果的获取期间所述车辆所处的所述驾驶环境的所述属性相应分类成所述属性的所述预定类集合中的相应类；以及
在所述元数据包括所述驾驶场景的分类的情况下，将在所述传感器数据测量结果的获取期间发生的涉及所述车辆的所述驾驶场景相应分类成与不同驾驶场景相关联的所述预定驾驶场景类集合中的相应类。
E3.根据E2所述的元数据处理设备，其中，所述指示符生成器模块被设置成通过确定预定数量的元数据数据分组是否具有满足以下项中的至少一个的预定条件的相应分类来确定所述存储的元数据是否至少包括所述预定数量的分类：
在所述元数据包括所述属性的分类的情况下，所述驾驶环境的所述属性；以及
在所述元数据包括所述驾驶场景的分类的情况下，所述驾驶场景。
E4.根据E1所述的元数据处理设备，其中，
响应于确定所述预定数量的元数据数据分组具有满足所述预定条件的相应分类，所述指示符生成器模块被设置成生成指示所述传感器数据记录仪停止记录传感器数据的第一指令作为所述指示符，并且
所述元数据处理设备能够工作以将所述第一指令发送至所述车辆。
E5.根据E2至E4中的任一项所述的元数据处理设备，其中，
所述指示符生成器模块被设置成确定被存储在所述数据存储部中的元数据数据分组是否满足以下项中的至少一个的预定条件：
在所述元数据包括所述属性的分类的情况下，所述属性；以及
在所述元数据包括所述驾驶场景的分类的情况下，所述驾驶场景，
响应于确定所述元数据数据分组不满足所述预定条件，生成指示所述传感器数据记录仪删除所存储的、与所述元数据数据分组相关联的传感器数据测量结果的第二指令作为所述指示符，并且
所述元数据处理设备被设置成将所述第二指令发送至所述车辆。
E6.根据E1至E5中的任一项所述的元数据处理设备，其中，
所述元数据还包括车辆状态数据，所述车辆状态数据包括在通过所述传感器模块获取所述传感器数据期间测量的以下项中的一个或更多个：所述车辆的速度、所述车辆的偏航率、所述车辆的节流阀设定以及所述车辆的位置信息，
所述元数据处理设备还包括异常检测模块，所述异常检测模块被设置成使用一个或更多个预定标准来搜索所述车辆状态数据中的异常，并且
所述指示符生成器模块还被设置成生成在所述数据记录活动中使用的第二指示符，所述第二指示符指示已经在所述车辆状态数据中检测到异常。
E7.根据E2至E5中的任一项所述的元数据处理设备，所述元数据处理设备还包括数据集选择模块，所述数据集选择模块被设置成基于所述元数据和预定要求，从所述多个传感器数据测量结果中选择传感器数据测量结果的子集，其中，所述预定要求指定以下项中的至少一个：
在所述元数据包括所述属性的分类的情况下，具有包括分类成所述属性的预定类的对应元数据数据分组的要求数量的传感器数据测量结果，以及
在所述元数据包括所述驾驶场景的分类的情况下，具有包括分类成所述驾驶场景的预定类的对应元数据数据分组的要求数量的传感器数据测量结果。
E8.根据E7所述的元数据处理设备，其中，所述数据集选择模块被设置成通过使用整数规划对经受根据所述预定要求定义的数学约束的线性方程组进行求解，从而基于所述元数据和所述预定要求来选择所述传感器数据测量结果子集，所述线性方程组中的各个线性方程是基于被包括在所述多个相应元数据数据分组的相应元数据数据分组中的分类来形成的，
其中，在所述元数据包括所述属性的分类的情况下，各个线性方程的至少一个变量对应于所述属性的预定类，并且各个线性方程的所述至少一个变量的系数对应于由所述元数据数据分组指示的所述属性的所述预定类下的分类数量，并且
其中，在所述元数据包括所述驾驶场景的分类的情况下，各个线性方程的至少一个变量对应于预定驾驶场景类，并且各个线性方程的所述至少一个变量的系数对应于由所述元数据数据分组指示的所述预定驾驶场景类下的分类数量。
E9.根据E1至E8中的任一项所述的元数据处理设备，其中，所述车辆的所述驾驶环境的属性包括以下项中的至少一个：
车辆的驾驶环境中的一个或更多个对象的类型，其中，所述数据处理设备被设置成对由所述传感器模块获取的所述数据进行处理，以检测所述车辆的所述驾驶环境中的一个或更多个对象，并且根据对象类型对检测到的一个或更多个对象进行分类；
所述车辆的所述驾驶环境中的具有预定的一个或更多个类型的对象的数量，其中，所述数据处理设备被设置成对由所述传感器模块获取的所述数据进行处理，以检测具有所述预定的一个或更多个类型的一个或更多个对象，并且根据检测到的一个或更多个对象的数量来对检测到的一个或更多个对象进行分类；
所述车辆的所述驾驶环境的环境类型，其中，所述数据处理设备被设置成获取关于所述车辆的所述驾驶环境的信息并且根据环境类型对所述驾驶环境进行分类；
所述驾驶环境的当日时间，其中，所述数据处理设备被设置成获取所述车辆的地方时，并且根据所述地方时对所述驾驶环境进行分类；以及
所述车辆的所述驾驶环境的天气类型，其中，所述数据处理设备被设置成获取关于所述车辆的所述驾驶环境的天气状况的信息，并且使用所获取的关于所述天气状况的信息来根据天气类型对所述驾驶环境进行分类，并且
其中，与不同驾驶场景相关联的所述预定驾驶场景类集合包括以下项中的至少一个：
与由所述车辆执行的超车机动相关联的超车类；
与正被第二车辆超车的所述车辆相关联的被超车类；
与由所述车辆执行的紧急制动相关联的紧急制动类；
与所述车辆左侧或右侧的第二车辆移动到和所述车辆同一车道相关联的并线类；
与所述车辆的实现预定条件的偏航率相关联的偏航率相关机动类；以及
与所述车辆的实现预定条件的速度相关联的速度相关机动类。
E10.根据E1至E9中的任一项所述的元数据处理设备，其中，所述指示符生成器模块还被设置成在显示器上显示所述指示符。

Claims (15)

1.一种评估数据记录活动的进展的***(1、1')，所述数据记录活动是在车辆被驾驶时执行的以收集由被安装在所述车辆(5)上的传感器数据记录仪(30)记录的传感器数据(S1)，所述传感器数据(S1)用于在测试和验证所述车辆(5)的高级驾驶辅助***ADAS(10)中使用，其中，所述ADAS(10)被设置成在所述车辆(5)被驾驶时通过对由被安装在所述车辆(5)上的传感器模块(20)获取的传感器数据(S1)进行处理来提供驾驶辅助，所述***(1、1')包括元数据生成设备(40)和远程元数据处理设备(60)，其中，
所述元数据生成设备(40)被设置成在被安装在所述车辆(5)上并且被用于所述数据记录活动时生成元数据(M)，所述元数据生成设备(40)包括：
数据处理设备(42)，所述数据处理设备被设置成对由所述传感器模块(20、20')获取的数据(S1、S2)进行处理，以生成所述传感器数据(S1)的元数据(M)，所述元数据(M)包括对以下项中的至少一个进行的分类：
将在所述传感器数据(S1)的获取期间所述车辆(5)所处的驾驶环境的属性(300)分类成所述属性(300)的预定类(310)的集合中的相应类(310)；以及
将在所述传感器数据(S1)的获取期间发生的涉及所述车辆的驾驶场景(400)分类成与不同驾驶场景相关联的预定驾驶场景类(410)集合中的相应类，其中，各个驾驶场景与由所述车辆(5)执行的相应驾驶机动或者由第二车辆相对于所述车辆(5)执行的驾驶机动相关联；以及
通信设备(44)，所述通信设备被设置成将所述元数据(M)发送至所述远程元数据处理设备(60)，并且
所述远程元数据处理设备(60)包括：
数据存储部(61)，所述数据存储部被设置成存储由所述通信设备(44)发送的所述元数据(M)；以及
指示符生成器模块(62)，所述指示符生成器模块被设置成确定所接收的元数据(M)是否至少包括按照以下类中的至少一个类进行的预定数量的分类：
在所述元数据(M)包括所述属性(300)的分类的情况下，所述属性(300)的所述预定类(310)的集合中的预定类(310)；以及
在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，与不同驾驶场景相关联的所述预定驾驶场景类(410)集合中的预定驾驶场景类，
其中，所述指示符生成器模块(62)被设置成基于所述确定，生成在所述数据记录活动中使用的指示符(T)。
2.根据权利要求1所述的***(1)，其中，
所述传感器模块(20)包括：第一传感器(22)，所述第一传感器被设置成在所述车辆(5)被驾驶时获取第一传感器数据(S1)；以及第二传感器(24)，所述第二传感器被设置成在所述车辆(5)被驾驶时获取第二传感器数据(S2)，所述第二传感器(24)不同于所述第一传感器(22)，
所述ADAS(10)被设置成基于所述第一传感器数据(S1)来提供驾驶辅助，并且
所述元数据生成设备(40)被设置成通过对所述第二传感器数据(S2)进行处理来生成所述元数据(M)。
3.根据权利要求2所述的***(1)，其中，所述第一传感器(22)和所述第二传感器(24)中的各个传感器包括摄像机、Radar传感器以及Lidar传感器中的一个。
4.根据权利要求1所述的***(1')，其中，所述传感器模块(20')包括单个传感器(22)，所述单个传感器被设置成获取所述传感器数据(S1)，并且其中，所述ADAS(10)和所述元数据生成设备(40)被设置成对由所述单个传感器(22)获取的所述传感器数据(S1)进行处理。
5.根据前述权利要求中任一项所述的***(1、1')，其中，所述传感器数据(S1)包括多个传感器数据测量结果，所述多个传感器数据测量结果中的每一个是在所述数据记录活动期间的不同时刻获取的，并且所述元数据(M)包括多个元数据数据分组，所述数据处理设备(42)被设置成生成所述多个传感器数据测量结果中的相应传感器数据测量结果的各个元数据数据分组，并且将所述元数据数据分组与所述相应传感器数据测量结果相关联，其中，各个元数据数据分组是在获取到所述传感器数据测量结果时通过对由所述传感器模块(20、20')获取的数据(S2、S1)进行处理来生成的，并且各个元数据数据分组包括：
在所述元数据(M)包括在所述传感器数据测量结果的获取期间所述车辆(5)所处的所述驾驶环境的属性(300)的分类的情况下，将所述属性(300)相应分类成所述属性(300)的所述预定类(310)的集合中的相应类；以及
在所述元数据(M)包括在所述传感器数据测量结果的获取期间发生的涉及所述车辆的驾驶场景(400)的分类的情况下，将所述驾驶场景(400)相应分类成与不同驾驶场景相关联的所述预定驾驶场景类(410)集合中的相应类。
6.根据权利要求5所述的***(1、1')，其中，所述指示符生成器模块(62)被设置成通过确定预定数量的元数据数据分组是否具有满足以下项中的至少一个的预定条件的相应分类来确定所存储的元数据(M)是否至少包括所述预定数量的分类：
在所述元数据(M)包括所述属性(300)的分类的情况下，所述驾驶环境的所述属性(300)；以及
在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，所述驾驶场景(400)。
7.根据权利要求6所述的***(1、1')，其中，
响应于确定所述预定数量的元数据数据分组具有满足所述预定条件的相应分类，所述指示符生成器模块(62)被设置为生成指示所述传感器数据记录仪(30)停止记录传感器数据(S1)的第一指令(I)作为所述指示符(T)，
所述远程元数据处理设备(60)被设置成将所述第一指令(I)发送至所述车辆(5)，并且
所述传感器数据记录仪(30)被设置成通过停止记录传感器数据(S1)来响应所述第一指令(I)。
8.根据权利要求5至7中任一项所述的***(1、1')，其中，
所述指示符生成器模块(62)被设置成确定被存储在所述数据存储部(61)中的元数据数据分组是否满足针对以下项中的至少一个的预定条件：
在所述元数据(M)包括所述属性(300)的分类的情况下，所述属性(300)；以及
在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，所述驾驶场景，
响应于确定所述元数据数据分组不满足所述预定条件，生成指示所述传感器数据记录仪(30)删除所存储的、与所述元数据数据分组相关联的传感器数据测量结果的第二指令作为所述指示符(T)，
所述远程元数据处理设备(60)被设置成将所述第二指令发送至所述车辆(5)，并且
所述传感器数据记录仪(30)被设置成通过删除所存储的、与所述元数据数据分组相关联的传感器数据测量结果来响应所述第二指令。
9.根据前述权利要求中任一项所述的***(1、1')，其中，
所述传感器模块(20、20')还被设置成在通过所述传感器模块(20、20')获取所述传感器数据(S1)期间，获取包括以下项中的一个或更多个的测量结果的车辆状态数据：所述车辆(5)的速度；所述车辆(5)的偏航率；所述车辆(5)的节流阀设定；以及所述车辆(5)的位置信息，
所述数据处理设备(42)被设置成按照使所述元数据还包括所述车辆状态数据的方式生成所述元数据(M)，
所述远程元数据处理设备(60)还包括异常检测模块(66)，所述异常检测模块被设置成使用一个或更多个预定标准来搜索所述车辆状态数据中的异常，并且
所述指示符生成器模块(62)还被设置成生成在所述数据记录活动中使用的第二指示符(A)，所述第二指示符(A)指示已在所述车辆状态数据中检测到异常。
10.根据权利要求5至8中任一项所述的***(1、1')，其中，所述远程元数据处理设备(60)还包括数据集选择模块(68)，所述数据集选择模块被设置成基于所述元数据(M)和预定要求，从所述多个传感器数据测量结果中选择传感器数据测量结果子集，其中，所述预定要求指定以下项中的至少一个：
在所述元数据(M)包括属性(300)的分类(310)的情况下，具有包括分类成所述属性(300)的预定类(310)的分类的对应元数据数据分组的要求数量的传感器数据测量结果，以及
在所述元数据(M)包括所述驾驶场景(400)的分类(410)的情况下，具有包括分类成所述驾驶场景(400)的预定类的分类的对应元数据数据分组的要求数量的传感器数据测量结果。
11.根据权利要求10所述的***(1、1')，其中，所述数据集选择模块(68)被设置成通过使用整数规划对经受根据所述预定要求定义的数学约束的线性方程组进行求解，基于所述元数据(M)和所述预定要求来选择所述传感器数据测量结果子集，所述线性方程组中的各个线性方程是基于被包括在所述多个相应元数据数据分组的相应元数据数据分组集中的分类来形成的，
其中，在所述元数据(M)包括所述属性(300)的分类的情况下，各个线性方程的至少一个变量对应于所述属性(300)的预定类，并且各个线性方程的所述至少一个变量的系数对应于由所述元数据数据分组集指示的所述属性(300)的所述预定类中的分类数量，并且
其中，在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，各个线性方程的至少一个变量对应于预定驾驶场景类，并且各个线性方程的所述至少一个变量的系数对应于由所述元数据数据分组集指示的所述预定驾驶场景类中的分类数量。
12.根据前述权利要求中任一项所述的***(1、1')，其中，所述车辆(5)的所述驾驶环境的所述属性(300)包括以下项中的至少一个：
所述车辆(5)的所述驾驶环境中的一个或更多个对象的类型，其中，所述数据处理设备(42)被设置成对由所述传感器模块(20、20')获取的所述数据(S1、S2)进行处理，以检测所述车辆(5)的所述驾驶环境中的一个或更多个对象，并且根据对象类型对所检测到的一个或更多个对象进行分类；
所述车辆(5)的所述驾驶环境中的具有预定的一个或更多个类型的对象的数量，其中，所述数据处理设备(42)被设置成对由所述传感器模块(20、20')获取的所述数据(S1、S2)进行处理，以检测具有所述预定的一个或更多个类型的一个或更多个对象，并且根据所检测到的一个或更多个对象的数量来对所检测到的一个或多个对象进行分类；
所述车辆的所述驾驶环境的环境类型，其中，所述数据处理设备(42)被设置成获取关于所述车辆的所述驾驶环境的信息并且根据环境类型对所述驾驶环境进行分类；
所述驾驶环境的当日时间，其中，所述数据处理设备(42)被设置成获取所述车辆的地方时，并且根据所述地方时对所述驾驶环境进行分类；以及
所述车辆(5)的所述驾驶环境的天气类型，其中，所述数据处理设备(42)被设置成获取关于所述车辆(5)的所述驾驶环境的天气状况的信息，并且使用所获取的关于所述天气状况的信息来根据天气类型对所述驾驶环境进行分类，并且
其中，与不同驾驶场景相关联的所述预定驾驶场景类(410)集合包括以下项中的至少一个：
与由所述车辆(5)执行的超车机动相关联的超车类；
与被第二车辆超车的所述车辆(5)相关联的被超车类；
与由所述车辆(5)执行的紧急制动相关联的紧急制动类；
与所述车辆(5)左侧或右侧的第二车辆移动到和所述车辆(5)同一车道相关联的并线类；
与所述车辆的实现预定条件的偏航率相关联的偏航率相关机动类；以及
与所述车辆的实现预定条件的速度相关联的速度相关机动类。
13.根据前述权利要求中任一项所述的***(1、1')，其中，所述指示符生成器模块(62)还被设置成在显示器上显示所述指示符(T)。
14.一种在评估数据记录活动的进展的***(1、1')中使用的元数据生成设备(40)，所述数据记录活动是在车辆被驾驶时执行的以收集由被安装在所述车辆(5)上的传感器数据记录仪(30)记录的传感器数据(S1)，所述传感器数据(S1)用于在测试所述车辆(5)的高级驾驶辅助***ADAS(10)中使用，其中，所述ADAS(10)被设置成在所述车辆(5)被驾驶时通过对由被安装在所述车辆(5)上的传感器模块(20)获取的传感器数据(S1)进行处理来提供驾驶辅助，所述***(1、1')包括远程元数据处理设备(60)，其中，所述元数据生成设备(40)被设置成在被安装在所述车辆(5)上并且被用于所述数据记录活动时生成元数据(M)，所述元数据生成设备(40)包括：
数据处理设备(42)，所述数据处理设备被设置成对由所述传感器模块(20、20')获取的数据(S1、S2)进行处理，以生成所述传感器数据(S1)的元数据(M)，所述元数据(M)包括对以下项中的至少一个的分类：
将在所述传感器数据(S1)的获取期间所述车辆(5)所处的驾驶环境的属性(300)分类成所述属性(300)的预定类(310)集合中的相应类(310)；以及
将在所述传感器数据(S1)的获取期间发生的涉及所述车辆(5)的驾驶场景(400)分类成与不同驾驶场景相关联的预定驾驶场景类(410)集合中的相应类，其中，各个驾驶场景与由所述车辆(5)执行的相应驾驶机动或者由第二车辆相对于所述车辆(5)执行的驾驶机动相关联；
通信设备(44)，所述通信设备能够工作以：
将所述元数据(M)发送至所述远程元数据处理设备(60)；以及
从所述远程元数据处理设备(60)接收在所述数据记录活动中使用的指示符，所述指示符指示由所述远程元数据处理设备(60)做出的关于由此接收到的所述元数据(M)是否至少包括以下类中的至少一个的预定数量的分类的确定的确定结果：
在所述元数据(M)包括所述属性(300)的分类的情况下，所述属性(300)的所述预定类(310)集合中的预定类(310)；以及
在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，与不同驾驶场景相关联的所述预定驾驶场景类(410)集合中的预定驾驶场景类。
15.一种在评估数据记录活动的进展的***(1、1')中使用的元数据处理设备(60)，所述数据记录活动是在车辆被驾驶时执行的以收集由被安装在所述车辆(5)上的传感器数据记录仪(30)记录的传感器数据(S1)，所述传感器数据(S1)用于在测试所述车辆(5)的高级驾驶辅助***ADAS(10)中使用，其中，所述ADAS(10)被设置成在所述车辆(5)被驾驶时通过对由被安装在所述车辆(5)上的传感器模块(20)获取的传感器数据(S1)进行处理来提供驾驶辅助，所述元数据处理设备(60)包括：
数据存储部(61)，所述数据存储部能够工作以存储从元数据生成设备(40)接收到的元数据(M)，所述元数据(M)是基于由所述传感器模块(20、20')获取的数据(S1、S2)的并且包括对以下项中的至少一个的分类：
将在由所述传感器模块(20、20')获取所述传感器数据(S1)期间所述车辆(5)所处的驾驶环境的属性(300)分类成所述属性(300)的预定类(310)集合中的相应类(310)；以及
将在所述传感器数据(S1)的获取期间发生的涉及所述车辆(5)的驾驶场景(400)分类成与不同驾驶场景相关联的预定驾驶场景类(410)集合中的相应类，其中，各个驾驶场景与由所述车辆(5)执行的相应驾驶机动或者由第二车辆相对于所述车辆(5)执行的驾驶机动相关联；
指示符生成器模块(62)，所述指示符生成器模块被设置成确定所接收到的元数据(M)是否至少包括按照以下类中的至少一个进行的预定数量的分类：
在所述元数据(M)包括所述属性(300)的分类的情况下，所述预定类(310)集合中的预定类(310)；以及
在所述元数据(M)包括所述驾驶场景(400)的分类的情况下，与不同驾驶场景相关联的所述预定驾驶场景类(410)集合中的预定驾驶场景类，
其中，所述指示符生成器模块(62)被设置成基于所述确定来生成供在所述数据记录活动中使用的指示符(T)。
CN202210070531.2A 2021-01-22 2022-01-21 用于高级驾驶辅助***测试和验证的数据记录 Pending CN114771548A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21152932.6A EP4033460A1 (en) 2021-01-22 2021-01-22 Data recording for adas testing and validation
EP21152932.6 2021-01-22

Publications (1)

Publication Number Publication Date
CN114771548A true CN114771548A (zh) 2022-07-22

Family

ID=74205731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210070531.2A Pending CN114771548A (zh) 2021-01-22 2022-01-21 用于高级驾驶辅助***测试和验证的数据记录

Country Status (3)

Country Link
US (1) US20220234588A1 (zh)
EP (1) EP4033460A1 (zh)
CN (1) CN114771548A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102239570B1 (ko) * 2021-02-09 2021-04-15 (주)넥스트박스 Adas 모니터링 이벤트 시스템
KR20230008302A (ko) * 2021-07-06 2023-01-16 현대자동차주식회사 차량 내장형 영상 기록 장치의 평가 시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008047727A1 (de) * 2008-09-18 2010-03-25 Fsd Fahrzeugsystemdaten Gmbh Datenschreiber, Fahrerassistenzsystem und Verfahren zur Identifikation von kritischen Fahrsituationen
US10417838B2 (en) * 2012-10-16 2019-09-17 Appy Risk Technologies Limited Driving event classification system
EP3159853B1 (en) * 2015-10-23 2019-03-27 Harman International Industries, Incorporated Systems and methods for advanced driver assistance analytics
US10818109B2 (en) * 2016-05-11 2020-10-27 Smartdrive Systems, Inc. Systems and methods for capturing and offloading different information based on event trigger type
US10845803B2 (en) * 2017-11-29 2020-11-24 Nio Usa, Inc. Method and apparatus for simultaneous processing and logging of automotive vision system with controls and fault monitoring
US11328219B2 (en) * 2018-04-12 2022-05-10 Baidu Usa Llc System and method for training a machine learning model deployed on a simulation platform
US10839263B2 (en) * 2018-10-10 2020-11-17 Harman International Industries, Incorporated System and method for evaluating a trained vehicle data set familiarity of a driver assitance system
WO2020079698A1 (en) * 2018-10-19 2020-04-23 A.D Knight Ltd. Adas systems functionality testing
US11292486B2 (en) * 2019-02-27 2022-04-05 Denso International America, Inc. System and apparatus for a connected vehicle
US11292487B2 (en) * 2019-04-11 2022-04-05 GM Global Technology Operations LLC Methods and systems for controlling automated driving features of a vehicle
US20230049567A1 (en) * 2019-11-21 2023-02-16 Nvidia Corporation Deep neural network for detecting obstacle instances using radar sensors in autonomous machine applications
US20220343762A1 (en) * 2019-12-27 2022-10-27 Intel Corporation Quantitative driving evaluation and vehicle safety restrictions
US11745749B2 (en) * 2019-12-30 2023-09-05 Magna Electronics Inc. Vehicular system for testing performance of object detection algorithms
US11769332B2 (en) * 2020-06-15 2023-09-26 Lytx, Inc. Sensor fusion for collision detection
US20220032932A1 (en) * 2020-07-29 2022-02-03 Micron Technology, Inc. Image sensor for processing sensor data to reduce data traffic to host system
US11597395B2 (en) * 2020-09-16 2023-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods to manage vehicles under anomalous driving behavior
US20210107530A1 (en) * 2020-12-22 2021-04-15 Cornelius Buerkle Distributed in-vehicle realtime sensor data processing as a service
US20220205807A1 (en) * 2020-12-28 2022-06-30 Here Global B.V. Recall of hazard warning created from vehicle sensor data

Also Published As

Publication number Publication date
EP4033460A1 (en) 2022-07-27
US20220234588A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
Krajewski et al. The highd dataset: A drone dataset of naturalistic vehicle trajectories on german highways for validation of highly automated driving systems
Moers et al. The exid dataset: A real-world trajectory dataset of highly interactive highway scenarios in germany
CN107885795B (zh) 一种卡口数据的数据校验方法、***和装置
US11361556B2 (en) Deterioration diagnosis device, deterioration diagnosis system, deterioration diagnosis method, and storage medium for storing program
CN113706737B (zh) 基于自动驾驶车辆的路面巡检***及方法
US11703335B2 (en) Coordinating and learning maps dynamically
CN114771548A (zh) 用于高级驾驶辅助***测试和验证的数据记录
Wang et al. Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset
US20220237919A1 (en) Method, Apparatus, and Computing Device for Lane Recognition
CN113255439B (zh) 一种障碍物识别方法、装置、***、终端及云端
KR20190043396A (ko) 도로 경로 촬영 영상을 이용한 도로 경로 별 날씨정보 생성 및 제공하기 위한 방법 및 시스템
US20210271876A1 (en) Determining traffic control features based on telemetry patterns within digital image representations of vehicle telemetry data
US10109191B2 (en) Method of quickly detecting road distress
US20230360379A1 (en) Track segment cleaning of tracked objects
Tak et al. Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application
KR20230004212A (ko) 대상체 검출을 위한 교차 모달리티 능동 학습
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
KR102426943B1 (ko) 도로 이동 차량의 대기오염물질 배출량 및 미세먼지 감시 스마트 cctv 시스템
JP2022039188A (ja) 位置姿勢算出方法および位置姿勢算出プログラム
CN113778108A (zh) 一种基于路侧感知单元的数据采集***及数据处理方法
KR102297801B1 (ko) 사업용 차량을 이용하여 도로 위험정보를 탐지하는 방법 및 장치
KR102616571B1 (ko) 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템
Bäumler et al. Generating representative test scenarios: The fuse for representativity (Fuse4Rep) process model for collecting and analysing traffic observation data
CN111627224A (zh) 车辆速度异常检测方法、装置、设备及存储介质
JP2023152480A (ja) 地図データ生成方法、地図データ生成装置及び地図データ生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240308

Address after: Luxembourg

Applicant after: Aptiv Manufacturing Management Services Co.

Country or region after: Luxembourg

Address before: Babado J San Michael

Applicant before: Aptiv Technologies Ltd.

Country or region before: Barbados

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240320

Address after: Schaffhausen

Applicant after: APTIV Technology Co.,Ltd.

Country or region after: Switzerland

Address before: Luxembourg

Applicant before: Aptiv Manufacturing Management Services Co.

Country or region before: Luxembourg

TA01 Transfer of patent application right