CN114763159A - 利用自主驾驶车辆的自动音频数据标记 - Google Patents

利用自主驾驶车辆的自动音频数据标记 Download PDF

Info

Publication number
CN114763159A
CN114763159A CN202111642780.6A CN202111642780A CN114763159A CN 114763159 A CN114763159 A CN 114763159A CN 202111642780 A CN202111642780 A CN 202111642780A CN 114763159 A CN114763159 A CN 114763159A
Authority
CN
China
Prior art keywords
adv
audio data
vehicle
sound
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111642780.6A
Other languages
English (en)
Inventor
林泽俊
罗琦
许珂诚
孙宏艺
雷诺兹卫斯理
王为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN114763159A publication Critical patent/CN114763159A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18054—Propelling the vehicle related to particular drive situations at stand still, e.g. engine in idling state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

公开了用于自动生成标记的音频数据的***和方法。方法由自主驾驶车辆(ADV)的自主驾驶***(ADS)执行。方法包括记录驾驶环境内的对象发出的声音，并将记录的声音转换成音频数据。方法进一步包括在记录声音的同时捕获对象的至少一个位置。方法进一步包括使用捕获的对象的至少一个位置作为音频标签来自动标记音频数据，以生成标记的音频数据，其中标记的音频数据用于随后训练机器学习算法以在ADV的自主驾驶过程中识别声源。

Description

利用自主驾驶车辆的自动音频数据标记
技术领域
本公开的实施例一般涉及操作自主驾驶车辆。更特别地，本公开的实施例涉及利用自主驾驶车辆(autonomous driving vehicle，ADV)的自动音频数据标记。
背景技术
以自主模式(例如，无人驾驶)操作的车辆可以减轻乘坐者，尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时，车辆可以使用车载传感器导航到各种位置，从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
运动规划和控制是自主驾驶中的关键操作。然而，传统的运动规划操作主要从曲率和速度来估计完成给定路径的难度，而没有考虑不同类型车辆的特征差异。相同的运动规划和控制被应用于所有类型的车辆，在某些情况下可能不准确且不流畅。
此外，运动规划和控制的操作通常需要感知周围的障碍物或对象，以及监听或检测驾驶环境内的声源。因此，障碍物识别和声源识别需要对数据(例如传感器数据)进行标记，以便为机器学习模型训练和测试数据。遗憾的是，用于监督机器学习模型的标记的数据很少见，因为模型的大量参数通常需要大量标记的数据才能使网络收敛并适应数据。传统上，数据标记是由人类手动执行的，因此手动标记如此量级的数据既耗时又昂贵(例如，雇用人员)。
另外，由于人类的先天缺陷，人工标注的数据不是很准确，进而影响模型的准确性。关于音频数据标记，考虑到人类的感官限制，声源位置的标记对于人类来说并不是一项理想的任务。此外，人工实时标注声源相对于音频传感器(例如麦克风)的位置在复杂场景下是不可行的，诸如用于音频记录的音频传感器正在移动的情况下，声源正在移动，或者两者都在进行一些相对移动(特别是当它们移动得非常快时)。此外，稳健的音频数据应考虑许多影响因素，诸如多普勒效应。
发明内容
在第一方面，提供一种用于自动生成标记的音频数据的方法，所述方法由ADV的自主驾驶***(ADS)执行，所述方法包括：
记录驾驶环境内对象发出的声音，并将记录的声音转换成音频数据；
在记录声音的同时捕获对象的至少一个位置；以及
使用捕获的对象的至少一个位置作为音频标签而自动标记音频数据，以生成标记的音频数据，其中标记的音频数据用于随后训练机器学习算法以在ADV的自主驾驶期间识别声源。
在第二方面，提供一种ADV的自主驾驶***，所述***包括：
处理器；以及
耦接到处理器且存储指令的存储器，当指令被处理器执行时，使处理器执行如第一方面所述的方法的操作。
在第三方面，提供一种用于在驾驶场景中自动生成标记的音频数据的方法，所述方法包括：
在驾驶环境中提供自主驾驶车辆(ADV)和另一车辆；
激活另一车辆上的声音；
在ADV上开始对声音的音频记录以及对另一车辆的一个或多个位置的监控；
在ADV上获取流音频数据，流音频数据包括记录的音频和另一车辆的对应的位置信息；
在ADV上停止音频记录以及对另一车辆的一个或多个位置的监控；以及
在ADV上下载流音频数据和另一车辆的对应的位置信息作为标记的音频数据。
在第四方面，提供一种计算机可读存储介质，具有存储在其中的指令，所述指令在由处理器执行时使得所述处理器执行如第一方面所述的方法。
在第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时使得所述处理器执行如第一方面所述的方法。
根据本公开，能够自动生成稳健的标记的音频数据用于后续使用。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图，在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的联网***的框图。
图2是示出根据一个实施例的自主驾驶车辆(ADV)的示例的框图。
图3A-3B是示出根据一个实施例的与自主驾驶车辆一起使用的自主驾驶***的示例的框图。
图4是示出根据一个实施例的用于自动音频数据标记的***的框图。
图5是示出根据一个实施例的使用ADV和对象的音频数据标记***的图。
图6是示出根据一个实施例的用于自动音频数据标记的方法的流程图。
图7是示出根据一个实施例的用于在特定驾驶场景中自动生成标记的音频数据的方法的流程图。
具体实施方式
将参考以下讨论的细节描述本公开的各个实施例和方面，并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而，在某些情况下，为了提供对本公开的实施例的简要讨论，没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
根据一个方面，描述了一种用于自动生成标记的音频数据的计算机实现的方法。方法由自主驾驶车辆(ADV)的自主驾驶***(ADS)执行。方法包括记录驾驶环境内的对象发出的声音，并将记录的声音转换成音频数据。方法进一步包括在记录声音的同时捕获对象的至少一个位置。方法进一步包括使用捕获的对象的至少一个位置作为音频标签而自动标记音频数据，以生成标记的音频数据，其中标记的音频数据用于随后训练机器学习算法以在ADV的自主驾驶过程中识别声源。
在一个实施例中，方法还包括确定捕获的对象的至少一个位置对应于发出声音的声源的至少一个位置。自动标记音频数据可以包括用对象的捕获的位置标记音频数据。捕获对象的位置可以包括确定从ADV到对象的方向向量，以及基于方向向量和ADV的参考水平轴来确定方向角。在一个实施例中，ADV是静止的而对象在运动中，ADV是在运动中的而对象是静止的，或者ADV和对象都是在运动中的。在一个实施例中，对象是紧急车辆并且声音是警报声。
根据另一方面，描述了一种用于在驾驶场景中自动生成标记的音频数据的方法。方法包括在驾驶环境中提供自主驾驶车辆(ADV)和另一车辆。方法进一步包括激活另一车辆上的声音。方法进一步包括在ADV上开始对声音的音频记录以及对另一辆车辆的一个或多个位置的监控。方法进一步包括在ADV上获取流音频数据，流音频数据包括记录的音频和另一辆车辆的对应的位置信息。方法进一步包括在ADV上停止音频记录以及对另一辆车辆的一个或多个位置的监控。方法进一步包括在ADV上下载流音频数据和另一辆车辆对应的位置信息作为标记的音频数据。
图1是示出根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1，网络配置100包括自主驾驶车辆(ADV)101，自主驾驶车辆101可以通过网络102通信地耦接到一个或多个服务器103-104。尽管示出一个ADV，但是多个ADV可以通过网络102彼此耦接和/或耦接到服务器103-104。网络102可以是任何类型的网络，诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合，有线或无线。服务器103-104可以是任何类型的服务器或服务器群集，诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(map andpoint of interest，MPOI)服务器或位置服务器等。
ADV指的是能够被配置为处于自主模式的车辆，在自主模式中，车辆在很少或没有驾驶员的输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器***，传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用检测的信息导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中，ADV 101包括但不限于自主驾驶***(ADS)110、车辆控制***111、无线通信***112、用户接口***113和传感器***115。ADV 101进一步可包括在普通车辆中包括的某些常见组件，例如引擎、车轮、转向盘、变速器等，这些组件可以被车辆控制***111和/或ADS 110使用各种通信信号和/或命令，诸如，例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等控制。
组件110-115可以经由互连、总线、网络或其组合彼此通信地耦接。例如，组件110-115可以经由控制器局域网(CAN)总线彼此通信地耦接。CAN总线是一种车辆总线标准，其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议，最初被设计用于车辆内的多路电气布线，但是也用于许多其它环境中。
现在参考图2，在一个实施例中，传感器***115包括但不限于一个或多个相机211、全球定位***(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(light detection and range，LIDAR)单元215。GPS***212可包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可基于惯性加速度感测ADV的位置和朝向变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的***。在一些实施例中，除了感测对象之外，雷达单元214还可以额外地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他***组件。相机211可包括一个或多个设备以捕获ADV周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的，例如通过将相机安装在旋转和/或倾斜的平台上。
传感器***115还可包括其它传感器，诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自ADV周围的环境的声音。转向传感器可以被配置为感测转向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中，车辆控制***111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度，马达或引擎的速度进而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意，图2所示的组件可以以硬件、软件或其组合实现。
返回参考图1，无线通信***112允许在ADV 101和外部***，诸如设备、传感器、另一车辆等之间的通信。例如，无线通信***112可以直接或经由通信网络与一个或多个设备无线通信，诸如经由网络102与服务器103-104通信。无线通信***112可以使用任何蜂窝通信网络或无线局域网(WLAN)，例如使用WiFi与另一组件或***通信。无线通信***112可以例如使用红外链路、蓝牙等直接与设备(例如，乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户接口***113可以是在车辆101内实现的***设备的部分，包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
ADV 101的一些或所有功能可以由ADS 110控制或管理，尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如，处理器、存储器、存储设备)和软件(例如，操作***、规划和路由程序)，以从传感器***115、控制***111、无线通信***112和/或用户接口***113接收信息，处理接收的信息，规划从起点到目的地点的路线或路径，然后基于规划和控制信息驾驶车辆101。可替换地，ADS 110可以与车辆控制***111集成。
例如，作为乘客的用户可以例如经由用户接口指定行程的起始位置和目的地。ADS110获得行程相关数据。例如，ADS 110可以从MPOI服务器获得位置和路线信息，MPOI服务器可以是服务器103-104的部分。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI。可替换地，这种位置和MPOI信息可本地缓存在ADS 110的永久存储设备中。
当ADV 101沿着路线移动时，ADS 110还可以从交通信息***或服务器(trafficinformation system or server，TIS)获得实时交通信息。注意，服务器103-104可以由第三方实体操作。可替换地，服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息，以及由传感器***115检测或感测的实时局部环境数据(例如，障碍物、对象、附近车辆)，ADS 110可规划最佳路线，并例如经由控制***111根据规划路线驾驶车辆101，以安全且高效地到达指定目的地。
服务器103可以是为各种客户端执行数据分析服务的数据分析***。在一个实施例中，数据分析***103包括机器学习引擎122。基于标记的音频数据126，机器学习引擎122出于各种目的，诸如识别用于运动规划和控制的声源，生成或训练一组规则、算法和/或预测模型124。然后可以将算法124上传到ADV，以在自主驾驶期间实时使用。如下文更详细地描述，标记的音频数据126可包括声源的音频数据和声源的位置。
图3A和3B是示出根据一个实施例的与ADV一起使用的自主驾驶***的示例的框图。***300可以被实现为图1的ADV 101的一部分，包括但不限于ADS 110、控制***111和传感器***115。参考图3A-3B，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路由模块307、音频记录器308、声源位置确定模块309和音频数据标记模块310。
模块301-310中的一些或全部可以用软件、硬件或其组合来实现。例如，这些模块可以安装在永久存储设备352中，加载到存储器351中，并且由一个或多个处理器(未示出)执行。注意，这些模块中的一些或所有模块可以通信地耦接到图2的车辆控制***111的一些或所有模块或与其集成。模块301-310中的一些模块可以集成在一起作为集成模块。
定位模块301确定ADV 300的当前位置(例如，利用GPS单元212)并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户接口登录并指定行程的起始位置和目的地。定位模块301与ADV 300的其他组件交流诸如地图和路线信息311，以获得与行程有关的数据。例如，定位模块301可以从位置服务器和地图与POI(MPOI)服务器获得位置和路线信息。位置服务器提供位置服务，以及MPOI服务器提供地图服务和某些位置的POI，它们可作为地图和路线数据311的部分被缓存。当ADV 300沿着路线移动时，定位模块301还可以从交通信息***或服务器获得实时交通信息。
基于由传感器***115提供的传感器数据和由定位模块301获得的定位信息，由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员将感知到的驾驶员正在驾驶的车辆周围的情况。感知可包括车道配置、交通灯信号、例如以对象形式的另一车辆、行人、建筑物、人行横道或其它交通相关标志(例如，停止标志、让步标志)等的相对位置。车道配置包括描述一个或多个车道的信息，诸如，例如车道的形状(例如，直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。
感知模块302可包括计算机视觉***或计算机视觉***的功能，以处理和分析由一个或多个相机捕获的图像，以便识别ADV的环境中的对象和/或特征。对象可包括交通信号、车行道边界、另一辆车辆、行人和/或障碍物等。计算机视觉***可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中，计算机视觉***可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。
对于每个对象，预测模块303预测对象将在环境下表现什么。鉴于一组地图/路线信息311和交通规则312，基于感知在时间点的驾驶环境的感知数据执行预测。例如，如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示十字路口没有交通灯，则预测模块303可以预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。
对于每个对象，决策模块304作出关于如何处理该对象的决策。例如，对于特定对象(例如，在交叉路线中的另一车辆)以及描述该对象的元数据(例如，速度、方向、转向角)，决策模块304决定如何遇到该对象(例如，超车、让行、停止、通过)。决策模块304可根据一组规则，诸如交通规则或驾驶规则312作出这些决策，这组规则可存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程，路由模块307获得路线和地图信息311并且确定从起始位置用以到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置用以到达目的地位置的每条路线生成地形图形式的参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它者的任何干扰的理想路线或路径。也就是说，如果在道路上没有其它车辆、行人或障碍物，则ADV应该精确地或紧密地跟随参考线。然后，地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线，以鉴于由其它模块提供的其它数据(诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况)选择和修改最佳路线中的一个。取决于在时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同的于由路由模块307提供的参考线。
基于对于每个感知的对象的决策，规划模块305使用由路由模块307提供的参考线作为基础，规划用于ADV的路径或路线以及驾驶参数(例如，距离、速度和/或转向角)。也就是说，对于给定对象，决策模块304决策对该对象做什么，而规划模块305确定如何做。例如，对于给定对象，决策模块304可以决策经过对象，而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成，包括描述车辆300在下一个移动周期(例如，下一个路线/路径段)中将如何移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制***111发送适当的命令或信号控制和驾驶ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中，规划阶段在多个规划周期(也称为驾驶周期，诸如在100毫秒(ms)的每个时间间隔内)内执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。也就是说，对于每100ms，规划模块305规划下一个路线段或路径段，例如包括目标位置和ADV到达目标位置所需的时间。可替换地，规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中，规划模块305为下一预定的时间段，诸如5秒规划路线段或路径段。对于每个规划周期，规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如，下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门、制动、转向控制命令)。
注意，决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可包括导航***或导航***的功能，以确定用于ADV的驾驶路径。例如，导航***可以确定一系列速度和方向航向，以影响ADV沿着基本上避开感知的障碍物的路径的移动，同时大体使ADV沿着通向最终目的地的基于车行道的路径前进。目的地可以根据经由用户接口***113的用户输入而被设置。当ADV在操作时，导航***可以动态地更新驾驶路径。导航***可以并入来自GPS***的数据和一个或多个地图，以便确定用于ADV的驾驶路径。
另外参考图4，图4是示出根据一个实施例的用于自动音频数据标记的***的框图，音频记录器308可以与来自传感器***115的音频传感器(例如，麦克风)通信以记录或捕获来自ADV周围环境的声音。例如，ADV的用户可以通过用户接口***113激活(打开)音频记录器308，并且响应于用户的输入来激活音频记录器308，音频记录器308可以记录由对象(例如，紧急车辆，诸如警车、救护车、消防车等)发出的声音(例如，警报声)，并将其转换为音频数据313(例如，合适格式的音频文件)。当记录了足够的音频数据时(例如，已达到特定的数据大小或经过的时间，或已涵盖不同的驾驶场景)，用户可以停用(关闭)音频记录器308，并且音频数据313可以存储在永久存储设备352中或远程服务器(例如，服务器103)上。
同时，当音频记录器308正在记录时，感知模块302和声源位置确定模块309可以与来自***115的其他传感器(例如，相机211、雷达单元214、LIDAR单元215)通信和/或操作以确定并捕获声源的一个或多个位置。如前所述，感知模块302可以基于由其他传感器，诸如雷达、相机和/或LIDAR在不同时间点提供的传感器数据来检测对象。使用这些传感器数据，感知模块302可以确定某个时间点的对象的相对位置，并且声源位置确定模块309可以假设或确定对象的相对位置对应于声源的位置(与声源位置的确定有关的方面在下文中关于图5更详细地描述)。模块309然后可以将对象的相对位置存储为声源位置314的一部分，其可以存储在永久存储设备352中或远程服务器(例如，服务器103)上。
记录的音频数据313和声源位置314被提供给音频数据标记模块310以自动生成标记的音频数据126。在一个实施例中，音频数据标记模块310可以附加或标记声源位置314(作为音频标记)到音频数据313以产生标记的音频数据126。声源位置314表示作为音频数据313的一部分记录的发出声音的源(例如，紧急车辆)的相对位置。在另一个实施例中，模块310还可以将一个或多个时间戳标记到音频数据313和声源位置314作为标记的音频数据126的一部分。每个时间戳可以包括捕获位置和声音的当前时间。标记的音频数据126可以本地存储在永久存储设备352中和/或上传到远程服务器(例如，服务器103)上，并且可以用作机器学习引擎的输入，机器学习引擎生成或训练一组规则、算法、和/或预测模型用于各种目的，诸如用于运动规划和控制。
图5是示出根据一个实施例的使用ADV和对象的音频数据标记***的图。在图5中，***包括在驾驶环境内操作的ADV 101和对象501(例如，另一车辆，诸如紧急车辆，包括警车、救护车、消防车等)。ADV 101和对象501可以被配置在不同的驾驶场景中。例如，一种场景可以包括ADV 101是静止的而对象501是运动中的(例如，对象501接近ADV 101、对象501远离ADV 101、对象501围绕ADV 101移动)。另一场景可包括对象501是静止的以及ADV 101是运动中的(例如，ADV 101接近对象501、ADV 101远离对象501、ADV 101围绕对象501移动)。另一场景可包括ADV 101和对象501两者是运动中的。再另一场景可包括ADV 101和对象501两者是静止的。
在一个实施例中，对象501被配置为发出声音521(例如，通过激活安装在对象501上的警报声音播放器生成的警报)。同时，ADV 101可以被配置为使用音频传感器515(例如，麦克风)记录声音521(例如，通过音频记录器308)。在记录声音521时，可以启用ADV 101的感知传感器513(例如，相机、雷达单元、LIDAR单元)和ADS 110以检测对象501的相对位置。音频传感器515和感知传感器513可以是传感器***115的一部分。
响应于在驾驶环境中检测到对象501，感知传感器513可以提供对象501在笛卡尔平面或2-D地图中的坐标(例如，x、y坐标)。基于提供的坐标和ADV 101的参考水平轴(x轴)，感知模块302可以确定从ADV 101到对象501绘制的方向向量522。基于方向向量522和ADV101的参考水平轴，可以确定方向角512。基于方向角512和方向向量522，还可以确定对象501的高度(例如，z坐标)。因此，可以确定对象501相对于ADV 101的位置(例如，x、y、z坐标)。如前所述，音频源位置确定模块309可以假设对象501的位置并将其对应于发出声音521的声源的位置。模块309可以捕获或记录此位置作为声源位置314的一部分。
一旦记录了足够的音频数据，音频记录器308和音频传感器515可以被停用并且所记录的声音可以被转换并存储为音频数据313的一部分。音频数据标记模块310可以将声源位置314作为音频标签标记到音频数据313，以产生标记的音频数据126。注意，为了简单起见，图5仅示出了单个对象501。在一些实施例中，在每个对象可以从另一个对象发出相同或不同的声音的场景中可以使用多个对象，并且ADV 101可以捕获所发出的声音和一些或所有对象的位置。
图6是根据一个实施例的用于自动音频数据标记的方法的流程图。方法或过程600可由处理逻辑执行，处理逻辑可包括软件、硬件或其组合。例如，过程600可由图1的ADS 110执行。
参照图6，在块601，处理逻辑记录驾驶环境内的对象(例如，另一车辆，诸如紧急车辆)发出的声音，并将记录的声音转换成音频数据。在块602，处理逻辑在记录声音的同时捕获对象的至少一个位置。在块603，处理逻辑使用捕获的对象的位置作为音频标签，自动对音频数据进行标记，以生成标记的音频数据，其中标记的音频数据被用于随后训练机器学习算法以在ADV的自主驾驶期间识别声源。
图7是根据一个实施例的用于在特定驾驶场景中自动生成标记的音频数据的方法的流程图。方法或过程700可由图1的ADV 101和另一车辆执行。
参照图7，在块701，在开放环境中提供ADV(例如，ADV 101)和另一车辆(例如，紧急车辆)。在块702，启用ADV上的传感器***(例如，感知***和音频传感器)和ADS。在块703，激活另一车辆上的声音(例如，警报声)。在块704，在ADV上开始对声音的音频记录以及对另一车辆的一个或多个位置的监控。在块705，获取流音频数据和另一车辆的对应的位置信息(例如，通过ADV上的ADS***和传感器***)。在块706，停止音频记录和位置监控。在块707，下载流音频数据和对应的位置信息作为标记的音频数据。在块708，确定下载的标记的音频数据对于不同的驾驶场景是否足够。例如，确定可以是标记的音频数据是否涵盖以下场景：ADV是静止的而另一车辆是在运动中的，另一车辆是静止的而ADV 101是在运动中的，ADV和另一车辆都在运动中，和/或ADV和另一车辆都是静止的。如果确定下载的标记的音频数据足够，则过程结束。否则，在块709，切换到另一个场景(例如，尚未配置的场景)并且过程返回到块702。
注意，如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如，这些组件可以被实现为安装并存储在永久存储设备中的软件，软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替换地，这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码，专用硬件诸如集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由来自应用的对应驱动器和/或操作***访问。此外，这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑，作为经由一个或多个特定指令软件组件可访问的指令集的一部分。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而，应当记住的是，所有这些和类似的术语都与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非特别声明，否则从以上讨论中显而易见的是，应当理解的是，在整个说明书中，使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机***或类似电子计算设备的动作和过程，所述计算机***或类似电子计算设备将计算机***的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机***存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机制。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法，但是应当理解的是，可以以不同的顺序执行所述的一些操作。此外，一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解，可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中，已经参考本公开的具体示例性实施例描述了本公开的实施例。显然，在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下，可以对其进行各种修改。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims (14)

1.一种用于自动生成标记的音频数据的方法，所述方法由自主驾驶车辆(ADV)的自主驾驶***(ADS)执行，所述方法包括：
记录驾驶环境内对象发出的声音，并将记录的声音转换成音频数据；
在记录声音的同时捕获对象的至少一个位置；以及
使用捕获的对象的至少一个位置作为音频标签而自动标记音频数据，以生成标记的音频数据，其中标记的音频数据用于随后训练机器学习算法以在ADV的自主驾驶期间识别声源。
2.根据权利要求1所述的方法，进一步包括：确定捕获的对象的至少一个位置对应于发出声音的声源的至少一个位置。
3.根据权利要求1所述的方法，其中，自动标记音频数据包括用捕获的对象的至少一个位置来标记音频数据。
4.根据权利要求1所述的方法，其中，捕获对象的至少一个位置包括：
确定从ADV到对象的方向向量，以及
基于方向向量和ADV的参考水平轴确定方向角。
5.根据权利要求1所述的方法，其中，ADV是静止的并且对象在运动中。
6.根据权利要求1所述的方法，其中，ADV在运动中并且对象是静止的。
7.根据权利要求1所述的方法，其中，ADV和对象在运动中。
8.根据权利要求1所述的方法，其中，对象是应急车辆。
9.根据权利要求1所述的方法，其中，声音是警报声。
10.一种自主驾驶车辆(ADV)的自主驾驶***，所述***包括：
处理器；以及
耦接到处理器且存储指令的存储器，当指令被处理器执行时，使处理器执行如权利要求1至9中任一项所述的方法的操作。
11.一种用于在驾驶场景中自动生成标记的音频数据的方法，所述方法包括：
在驾驶环境中提供自主驾驶车辆(ADV)和另一车辆；
激活另一车辆上的声音；
在ADV上开始对声音的音频记录以及对另一车辆的一个或多个位置的监控；
在ADV上获取流音频数据，流音频数据包括记录的音频和另一车辆的对应的位置信息；
在ADV上停止音频记录以及对另一车辆的一个或多个位置的监控；以及
在ADV上下载流音频数据和另一车辆的对应的位置信息作为标记的音频数据。
12.根据权利要求11所述的方法，进一步包括：
确定下载的标记的音频数据对于不同的驾驶场景是否足够；以及
响应于确定下载的标记的数据对于不同的驾驶场景是不够的，切换到另一个驾驶场景。
13.一种计算机可读存储介质，具有存储在其中的指令，所述指令在由处理器执行时使得所述处理器执行如权利要求1至9中任一项所述的方法。
14.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时使得所述处理器执行如权利要求1至9中任一项所述的方法。
CN202111642780.6A 2021-01-12 2021-12-29 利用自主驾驶车辆的自动音频数据标记 Pending CN114763159A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/147,342 2021-01-12
US17/147,342 US20220222296A1 (en) 2021-01-12 2021-01-12 Automatic audio data labelling utilizing autonomous driving vehicle

Publications (1)

Publication Number Publication Date
CN114763159A true CN114763159A (zh) 2022-07-19

Family

ID=79317146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111642780.6A Pending CN114763159A (zh) 2021-01-12 2021-12-29 利用自主驾驶车辆的自动音频数据标记

Country Status (5)

Country Link
US (1) US20220222296A1 (zh)
EP (1) EP3998609A3 (zh)
JP (1) JP2022058593A (zh)
KR (1) KR20220012954A (zh)
CN (1) CN114763159A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT525938A1 (de) * 2022-02-24 2023-09-15 Avl List Gmbh Prüfstandsystem zum Testen eines Fahrerassistenzsystems mit einem Hörschall-Sensor
KR102585322B1 (ko) 2022-10-26 2023-10-06 주식회사 데이터메이커 불안정한 인터넷 환경에서 원활한 데이터 라벨링을 위한 클라이언트 장치 및 이를 포함하는 데이터 라벨링 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319228B2 (en) * 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
US10816984B2 (en) * 2018-04-13 2020-10-27 Baidu Usa Llc Automatic data labelling for autonomous driving vehicles
JP7048465B2 (ja) * 2018-09-18 2022-04-05 株式会社東芝 移動体制御装置、方法及びプログラム
US11567510B2 (en) * 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
EP3703028A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Operation of a vehicle in the event of an emergency

Also Published As

Publication number Publication date
JP2022058593A (ja) 2022-04-12
KR20220012954A (ko) 2022-02-04
EP3998609A2 (en) 2022-05-18
EP3998609A3 (en) 2022-07-06
US20220222296A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
US11485360B2 (en) Dynamic speed limit adjustment system based on perception results
CN113129624B (zh) 交通堵塞情况下的最快车道确定算法
EP3965066B1 (en) Machine learning model to detect emergency vehicles fusing audio and visual signals
CN114379590B (zh) 紧急车辆音频和视觉检测后融合
CN112526960A (zh) 自动驾驶监控***
EP3998609A2 (en) Automatic audio data labelling utilizing autonomous driving vehicle
EP4024365A1 (en) Audio logging for model training and onboard validation utilizing autonomous driving vehicle
CN112230646A (zh) 设计用于单车运行的自动驾驶***下的车辆队列实施
KR102597917B1 (ko) 자율 주행 차량을 위한 음원 검출 및 위치 측정
CN115871712A (zh) 操作自主驾驶车辆的方法和***
CN113815526B (zh) 用于自动驾驶车辆的早期制动灯警告***
US11288528B2 (en) Differentiation-based traffic light detection
US11679761B2 (en) Forward collision warning alert system for autonomous driving vehicle safety operator
CN113753071A (zh) 预防减速规划
US11577644B2 (en) L3-level auto-emergency light system for ego vehicle harsh brake
CN113552870B (zh) 基于感知结果的动态速度限制调整***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination