CN110800031B - 检测和响应警报 - Google Patents

检测和响应警报 Download PDF

Info

Publication number
CN110800031B
CN110800031B CN201880042597.2A CN201880042597A CN110800031B CN 110800031 B CN110800031 B CN 110800031B CN 201880042597 A CN201880042597 A CN 201880042597A CN 110800031 B CN110800031 B CN 110800031B
Authority
CN
China
Prior art keywords
vehicle
emergency vehicle
estimated
vehicles
emergency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880042597.2A
Other languages
English (en)
Other versions
CN110800031A (zh
Inventor
D.H.西尔弗
A.利
B.因格拉姆
J.泰勒
V.南吉亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202210001406.6A priority Critical patent/CN114312844B/zh
Publication of CN110800031A publication Critical patent/CN110800031A/zh
Application granted granted Critical
Publication of CN110800031B publication Critical patent/CN110800031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技术涉及检测和响应紧急车辆。这可以包括使用多个麦克风(152)来检测与紧急车辆相对应的警报噪声并估计紧急车辆的方位。将这种估计的方位与地图信息进行比较，以识别紧急车辆正在行驶的道路的部分。另外，从感知***接收的识别车辆的环境中的一组对象以及这些对象的特性的信息用于确定该组对象中的一个是否与紧急车辆相对应。基于估计的方位和识别的路段以及一组对象中的一个是否与紧急车辆相对应的确定，来确定如何响应紧急车辆。然后，这种确定的响应用于以自主驾驶模式控制车辆。

Description

检测和响应警报
相关申请的交叉引用
本申请是2017年8月29日提交的美国专利申请第15/689,336号的继续申请，其要求享有2017年6月27日提交的美国临时专利申请第62/525,423号的申请日的权益，其全部公开内容通过引用并入本文。
技术领域
本申请涉及检测和响应紧急车辆的方法和***。
背景技术
诸如不要求人类驾驶员的车辆的自主驾驶车辆可用于帮助将乘客或物品从一个位置运输到另一位置。此类车辆可以在完全自主的模式下操作，在该模式下，乘客可以提供一些初始输入，诸如，接送或目的地位置，并且车辆可自行操纵到该位置。
为了安全地做到这一点，这些车辆必须能够检测和识别环境中的对象并快速地对其做出响应。这在涉及紧急车辆的情况下尤其如此。使用视觉提示来检测此类车辆可能非常困难，尤其是因为这些车辆的差异可能很大，并且在许多情况下这些车辆实际上可能类似于非紧急车辆。此外，如果自主驾驶车辆的感知***不容易分辨出闪光灯，诸如，当紧急车辆被遮挡或超出车辆感知***的范围时，几乎不可能进行检测。紧急车辆的一个共同特征是使用警报来用信号发出紧急或紧急车辆快速通过交通的需要。但是，在某些情况下，即使通过其警报来识别紧急车辆的存在，也可能无法直接观察或识别该紧急车辆。在这种情况下，通过检测和跟踪警报来推断紧急车辆的位置、方位、速度和意图对于自主驾驶车辆的反应至关重要。
发明内容
本公开的一个方面提供了一种检测和响应紧急车辆的方法。该方法包括：由一个或多个处理器，使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；由一个或多个处理器使用来自多个麦克风的输出来估计紧急车辆的方位；由一个或多个处理器将估计的方位与识别再分为路段的道路的位置的地图信息进行比较，以便识别紧急车辆正在行驶的一个或多个路段；由一个或多个处理器基于估计的方位和识别的一个或多个路段来确定如何响应所述紧急车辆；以及，由一个或多个处理器基于如何响应紧急车辆的确定以自主驾驶模式控制车辆。
在一个示例中，该方法还包括使用来自多个麦克风的输出，估计紧急车辆的范围，并且其中还基于估计的范围来确定如何响应紧急车辆。在该示例中，该方法还包括使用随时间变化的来自多个麦克风的输出，估计紧急车辆的速度，并且其中还基于估计的相对速度来确定如何响应紧急车辆。在另一示例中，该方法还包括使用随时间变化的来自多个麦克风的输出，估计紧急车辆的速度，并且其中还基于估计的相对速度来确定如何响应紧急车辆。在另一示例中，控制车辆包括从第一车道改变到第二车道。在另一示例中，控制车辆包括将车辆开到路肩区域上。在另一示例中，控制车辆包括沿车辆的当前轨迹继续。在另一示例中，控制车辆还包括降低车辆的速度。
本公开的另一方面提供了一种检测和响应紧急车辆的方法。该方法包括：由一个或多个处理器使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；由一个或多个处理器使用来自多个麦克风的输出来估计紧急车辆的方位；从车辆的感知***接收识别车辆的环境中的一组对象以及这组对象的特性的信息；由一个或多个处理器基于这组对象的特性来确定这组对象中的一个是否与紧急车辆相对应；由一个或多个处理器基于估计的方位以及对这组对象中的一个是否与紧急车辆相对应的确定，确定如何响应紧急车辆；以及，由一个或多个处理器基于如何响应紧急车辆的确定以自主驾驶模式控制车辆。
在一个示例中，特性包括估计的对象位置，并且还基于这组对象的特性与估计的方位之间的比较来确定这组对象中的一个是否与紧急车辆相对应。在另一示例中，该方法还包括使用随时间变化的来自多个麦克风的输出，估计紧急车辆的范围，并且其中特性包括估计的对象位置，并且还基于这组对象的特性与估计的范围之间的比较来确定这组对象中的一个是否与紧急车辆相对应。在另一示例中，该方法还包括使用随时间变化的来自多个麦克风的输出，估计紧急车辆的速度，并且其中特性包括估计的对象速度，并且还基于这组对象的特性与估计的相对速度之间的比较来确定所述一组对象中的一个是否与紧急车辆相对应。在另一示例中，该方法还包括由一个或多个处理器将估计的方位与识别再分为路段的道路的位置的地图信息进行比较，以便识别紧急车辆正在行驶的一个或多个路段，并且其中还基于估计的方位和识别的一个或多个路段确定如何响应紧急车辆。在另一示例中，该方法还包括基于给定对象的特性来识别这组对象中的每个给定对象是紧急车辆的第一可能性，并且其中还基于任何第一可能性来确定这组对象中的一个是否与紧急车辆相对应。在另一示例中，该方法还包括基于给定对象的特性来识别这组对象中的每个给定对象不是紧急车辆的第二可能性，并且其中还基于任何第二可能性来确定这组组对象中的一个是否与紧急车辆相对应。在另一示例中，该方法还包括控制车辆，控制车辆包括当车辆原本具有继续通过交叉路口的路权时在交叉路口停车。
本公开的另一方面提供了一种检测和响应紧急车辆的***。该***包括一个或多个处理器，该处理器被配置为：使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；使用随时间变化的来自多个麦克风的输出来估计紧急车辆的方位；将估计的方位与识别再分为路段的道路的位置的地图信息进行比较，以便识别紧急车辆正在行驶的一个或多个路段；从车辆的感知***接收识别车辆的环境中的一组对象以及这组对象的特性的信息；基于这组对象的特性来确定这组对象中的一个是否与紧急车辆相对应；基于估计的方位和识别的一个或多个路段以及对这组对象中的一个是否与紧急车辆相对应的确定来确定如何响应紧急车辆；以及，基于如何响应紧急车辆的确定以自主驾驶模式控制车辆。
在一个示例中，一个或多个处理器还被配置为使用来自多个麦克风的输出来估计紧急车辆的范围，并且其中还基于估计的范围来确定如何响应紧急车辆。在另一示例中，一个或多个处理器还被配置为使用来自多个麦克风的输出来估计紧急车辆的速度，并且其中还基于估计的相对速度来确定如何响应紧急车辆。在另一示例中，***还包括车辆。
附图说明
图1是根据本公开的方面的示例车辆的功能图。
图2是根据本公开的方面的地图信息的示例表示。
图3A-3D是根据本公开的方面的车辆的示例外部视图。
图4是根据本公开的方面的对应于图2的地图信息的道路的部分的示例图。
图5是根据本公开的方面的方位数据的示例表示。
图6是根据本公开的方面的范围数据的示例表示。
图7是根据本公开的方面的相对速度数据的示例表示。
图8是根据本公开的方面的流程图。
具体实施方式
概述
本技术涉及用于在位置之间运输人和/或货物的自主驾驶车辆。为了解决上述情况，除了使用激光、雷达、声纳、照相机或其他传感器来检测环境中的对象的感知***之外，自主驾驶车辆还可以配备有布置在车辆上的不同位置处的一系列麦克风或麦克风阵列。如下所述，这些麦克风可以用于检测和识别紧急车辆，从而提供在紧急车辆被遮挡或对车辆的感知***不可见时感知紧急车辆并对其做出反应的方法，以及提供在紧急车辆对车辆的感知***可见或可被车辆的感知***检测时检测紧急车辆的独立和/或冗余的方法。
这些麦克风的输出可以输入到模型中以便检测潜在的紧急车辆警报。一旦模型检测到警报噪声，警报噪声到达每个麦克风的定时可以用作到第二模型的输入，以便提供有关警报源的可能方位或相对方向的测量，或者更确切地说是可能方位上的概率分布。另外，警报噪声、幅度和定时可以输入到第三模型中，以提供警报源的可能范围上的概率分布。第四模型可以用于估计警报噪声源的可能速度上的概率分布。
可以将来自模型的信息提供给车辆的一个或多个计算设备。这些计算设备可以使用估计的方位、估计的范围和估计的相对速度来确定车辆应该如何对车辆作出反应。然而，为了增加响应的有用性，可以将模型提供的信息与在车辆环境中检测到的对象进行比较，以确定那些对象中的任何对象是否是警报噪声源。一旦特定车辆被识别为警报噪声源，则该车辆可以被识别为紧急车辆。此时，在确定如何对紧急车辆作出最好响应时，也可以考虑观察到的该紧急车辆的移动，从而进一步提高响应的有用性。
除了将模型输出与来自感知***的信息进行比较之外，还可以将估计的方位、估计的范围和估计的相对速度与描述车辆环境中道路特征的地图信息进行比较。即使是在源超出车辆感知***的范围或者另外被遮挡的情况下，这同样可以用于识别可能的道路、路段，或者在某些情况下，甚至可以用于识别紧急车辆正在行驶的特定车道。车辆相对于紧急车辆的位置(反之亦然)可能是确定哪种类型的响应合适的重要因素。
即使在这些紧急车辆不易被车辆的感知***检测到时，本文所述的特征仍然可以允许自主驾驶车辆能够检测、识别和响应紧急车辆。当检测到警报声时，使用多个位置处的麦克风可以允许车辆的计算机不仅检测警报，而且估计警报源的相对方向、航向和速度。这可以向车辆的计算设备提供用于确定如何对警报噪声做出反应的关键信息。另外，将警报源的方向、航向和速度与所识别的车辆和地图信息进行比较，可以允许计算设备进一步改善车辆的响应。
示例***
如图1所示，根据本公开的一个方面的车辆100包括各种组件。尽管本公开的某些方面对于特定类型的车辆特别有用，但是该车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，诸如，包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120运行或另外使用的指令132和数据134。存储器130可以是能够存储可由处理器访问的信息的任何类型，包括计算设备可读介质，或者存储可以借助于电子设备(诸如，硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘以及其他可写和只读存储器)读取的数据的其他介质。***和方法可以包括前述的不同组合，由此指令和数据的不同部分存储在不同类型的介质上。
指令132可以是由处理器直接(例如，机器代码)或间接运行(例如，脚本)的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文可以互换使用。指令可以以目标代码格式存储以用于由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的脚本或独立源代码模块的集合。指令的功能、方法和例程将在下面更详细地解释。
数据134可以由处理器120根据指令132来检索、存储或修改。作为示例，存储器130的数据134可以存储预定义场景。给定场景可以识别一组场景要求，该组场景要求包括对象的类型、对象相对于车辆的位置的范围以及其他因素，诸如，自主驾驶汽车是否能够在对象周围操纵、对象是否正在使用转向信号、与对象的当前位置相关的交通灯的状况、对象是否正在接近停车标志等。要求可以包括离散值，诸如，“右转信号打开”或“在右转专用车道上”，或值的范围，诸如，“具有与车辆100的当前路径偏离30至60度的角度定向的航向”。在一些示例中，预定场景可以包括多个对象的类似信息。
一个或多个处理器120可以是任何常规处理器，诸如，商用CPU。替代地，一个或多个处理器可以是专用设备，诸如，ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域的普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可以或可以不存储在同一物理外壳内的多个处理器、计算设备或存储器。类似地，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以或可以不并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以是通常与计算设备(诸如，上述处理器和存储器)以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电子设备)结合使用的所有组件。在该示例中，车辆包括布置在车辆上的不同位置处的一系列麦克风152或麦克风阵列。如图所示，麦克风阵列被描绘为与感知***172分离并且被并入计算***110中。然而，麦克风152中的所有或一些可以被并入感知***172中或者可以被配置为分离的***。在这方面，麦克风可以被认为是经由向计算设备110发送信号的微控制器操作的独立计算设备。
在一个示例中，计算设备110可以是并入车辆100中的自主驾驶计算***。自主驾驶计算***可以能够与车辆的各种组件进行通信。例如，返回图1，计算设备110可以与车辆100的各种***通信，诸如，减速***160(用于控制车辆的制动)、加速***162(用于控制车辆的加速)、转向***164(用于控制车轮的朝向和车辆的方向)、信号(signaling)***166(用于控制转向信号)、导航***168(用于将车辆导航到某个位置或对象周围)、定位***170(用于确定车辆的位置)、感知***172(用于检测车辆环境中的对象)和动力***174(例如，电池和/或汽油或柴油动力引擎)，以便在自主驾驶模式下根据存储器130的指令132来控制车辆的移动、速度等，该自主驾驶模式不要求或不需要来自车辆乘客的连续或周期性输入。同样，尽管这些***显示为在计算设备110的外部，但实际上，这些***也可以并入计算设备110中，同样作为用于控制车辆100的自主驾驶计算***。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自地图信息和导航***168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位***170来确定车辆的位置，并且在需要时使用感知***172来检测和响应对象以安全地到达该位置。为此，计算设备110可以使车辆加速(例如，通过由加速***162增加提供给引擎的燃料或其他能量)、减速(例如，通过由减速***160减少提供给引擎的燃料、换挡、和/或施加制动)、改变方向(例如，通过由转向***164转动车辆100的前轮或后轮)并用信号发出这样的改变(例如，通过点亮信号***166的转向信号)。因此，加速***162和减速***160可以是包括在车辆的引擎和车辆的车轮之间的各种组件的传动***的部分。同样，通过控制这些***，计算设备110也可以控制车辆的传动系，以便自主地操纵车辆。
作为示例，计算设备110可以与减速***160和加速***162交互以便控制车辆的速度。类似地，计算设备110可以使用转向***164，以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，诸如，汽车或卡车，则转向***可以包括控制车轮的角度以使车辆转向的部件。计算设备110可以使用信号***166，以便在需要时，例如，通过点亮转向信号或刹车灯，来用信号向其他驾驶员或车辆发出车辆意图。
计算设备110可以使用导航***168，以便确定并遵循到位置的路线。在这方面，导航***168和/或数据134可以存储地图信息，例如，计算设备110可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以识别道路的形状和高程、车道标记、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被或其他此类对象和信息。车道标记可以包括诸如实/虚双/单车道线、实/虚车道线、反射镜等特征。给定车道可以与定义车道边界的左车道线和右车道线或其他车道标记相关联。因此，大多数车道可以由一个车道线的左边缘和另一车道线的右边缘界定。
感知***172还包括用于检测车辆外部的对象(诸如，其他车辆、道路上的障碍物、交通信号、标志、树木等)的一个或多个组件。例如，感知***172可以包括一个或多个LIDAR传感器、声纳设备、雷达单元、照相机和/或记录可由计算设备110处理的数据的任何其他检测设备。感知***的传感器可以检测对象及其特性，诸如，位置、朝向、大小、形状、类型(例如，车辆、行人、骑自行车的人等)、航向和移动速度等。来自传感器的原始数据和/或前述特征可以被量化或布置成描述性函数、向量和/或边界框，并且当其被感知***172所生成时，周期性地且连续地被发送到计算设备110以供进一步处理。如下面进一步详细讨论的，计算设备110可以使用定位***170来确定车辆的位置，并且在需要时使用感知***172来检测和响应对象以安全到达该位置。
图2是一段道路的地图信息200的示例。地图信息200包括识别靠近交叉路口202的各种道路特征的形状、位置和其他特性的信息。在该示例中，地图信息200包括定义车道210-219以及路肩区域220和222的形状和位置的信息。在该示例中，地图信息200包括识别车道线230-234的信息，该车道线230-234定义车道210-212以及路肩区域220。车道211、212、215和216具有相同的交通流方向(向东)，而车道210和217具有不同的交通流(向西)。车道219和213具有向南的交通流，车道214和218具有向北的交通流。此外，当车辆在车道211和212上行驶时，实线(白条)240可用于定义交叉路口202的边界和/或位置，在其处，当前没有从车道211或212通过交叉路口的路权的车辆必须在继续行驶之前停车。所有这些信息可以被包括在靠近交叉路口202的区域的地图信息200中。
地图信息可以将车道或车道的部分识别为在网格或道路图中连接在一起的单独路段。在这方面，考虑到车道211-219中的每一个的简单性质，在该示例中，如图2所示的这些“车道”中的每一个都可以视为路段。当然，地图信息中的路段实际上可以小得多，例如，大约几米或更多或更少。
尽管地图信息200的示例仅包括一些道路特征，例如，车道线、路肩区域、交叉路口以及车道和朝向，但是地图信息200还可以识别各种其他道路特征，诸如，交通信号灯、人行横道、人行道、停车标志、让行标志、限速标志、道路标志等。尽管未示出，但地图信息还可以包括识别速度限制和其他合法交通要求的信息，诸如，在给定停车标志的位置或交通信号灯的状态的情况下，哪辆车拥有路权等。
尽管本文将详细地图信息描绘为基于图像的地图，但是地图信息不必完全基于图像(例如，栅格)。例如，详细的地图信息可以包括一个或多个道路图或信息的图形网络，诸如，道路、车道、交叉路口以及这些特征之间的连接。每个特征都可以存储为图形数据，并且可以与诸如地理位置及其是否链接到其他相关特征的信息相关联，例如，停车标志可以链接到道路和交叉路口等。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以使允许有效地查找某些道路图特征。
图3A-3D是车辆100的外部视图的示例。可以看出，车辆100包括典型车辆的许多特征，例如，前灯302、挡风玻璃303、尾灯/转向信号灯304、后挡风玻璃305、车门306、侧视镜308、轮胎和车轮310以及转向信号/停车灯312。前灯302、尾灯/转向信号灯304以及转向信号/停车灯312可以与信号***166相关联。灯条307也可以与信号***166相关联。外壳314可以容纳感知***172的一个或多个传感器，诸如，LIDAR传感器、声纳设备、雷达单元、照相机等，尽管这样的传感器也可以并入车辆的其他区域中。
图3A-3D还包括布置在车辆上不同位置处的麦克风152(或152a-152d)。这些麦克风可以被视为“无源麦克风”，因为这些麦克风不需要包括发射器(诸如，声纳设备中使用的发射器)。在使用中，麦克风的实际间距应当合理地接近区域的警报噪声的预期波长(例如，由于不同的国家和地区可能使用不同的警报噪声)，以避免空间混叠或模糊。在这方面，给定这样的频率，例如，麦克风可以以大约1/2波长彼此分开放置，以便能够根据到达每个麦克风的声波的相对相位或更确切地说是到达的时间差来计算方向。例如，对于加利福尼亚的紧急车辆，6cm的距离可能是合适的。这种相对较小的间距可以在布置在车辆100的前端处的单组麦克风或麦克风阵列(诸如，麦克风152a)内实现。在这方面，如上所述，麦克风152(包括152a-152d)实际上可以包括多组麦克风或麦克风阵列。然而，由于麦克风是定向的，换句话说，车辆前端的阵列不能很好地听到车辆后面的声音，因此可以使用多于一组的麦克风或阵列。在这方面，第二组麦克风152b可以位于车辆100的后方。也可以使用远离车辆的侧面(左侧和右侧)定向的附加麦克风阵列，诸如，麦克风152c和152d。
尽管未在附图中示出，但是另外地或可替代地，麦克风阵列可以是放置在车辆的顶面板周围的麦克风，诸如围绕外壳314的圆周(在此描述为圆顶)。这可以同时实现两个目标(相对于车辆朝向不同方向的间距较近的麦克风阵列)，但是麦克风阵列必须被放置为限制圆顶内传感器的遮挡。
指令132可以包括用于估计警报噪声的特性的多个模型。第一模型可以被配置为从在麦克风处接收到的任何声音中检测警报噪声。例如，麦克风的输出可以被输入到第一模型中，以便识别麦克风的输出是否包括警报噪声。在这方面，第一模型可以针对不同类型的噪声提供麦克风的输出包括警报噪声的可能性的模型。
指令132还可以包括第二模型，该第二模型可以用于估计警报噪声的方位。例如，可以测量到达每个麦克风的警报噪声的定时，以提供关于警报源的可能方位或相对方向的测量，或者更确切地说是可能方位上的概率分布的测量。
指令132还可包括第三模型。这种第三模型可以使用先前由第一模型确定为包括警报噪声的麦克风输出以及警报噪声的定时和幅度作为输入。关于幅度，警报的较高频谐波的存在和强度也可以提供一些范围的指示，因为频率以不同的速率下降。在一些示例中，模型还可以使用估计的方位和估计的范围作为输入。在这方面，第三模型可以包括使用所有或一些前述输入来提供警报源的可能范围(距离)上的概率分布的模型。
指令132还可包括第四模型。这种第四模型可以使用警报噪声和随时间收集的定时来估计警报噪声源的可能相对速度上的概率分布。例如，使用方位随时间的变化可以提供相对速度的估计。另外地或可替代地，模型可以包括神经网络，该神经网络被训练以从警报声的片段中预测相对速度的可能性。例如，这些片段可以是诸如0.5秒、1.0秒、2.0秒、3.0秒、4.0秒或者更长或更短。该网络可能能够从振幅变化以及谐波变化中提取相对速度，并且在某些情况下，还可以从警报频率的多普勒频移中提取相对速度。
上述模型中的一个或多个可以包括经学习的模型，例如，利用机器学习的那些模型，诸如分类器。例如，一个或多个分类器可以用于检测警报噪声、估计方位、估计范围以及估计相对速度。在其他示例中，模型可以包括一个或多个神经网络(诸如，上面讨论的用于估计相对速度的那些神经网络)或***(诸如，卡尔曼滤波器或考虑了随时间变化的估计的方位和估计的范围和/或对应概率分布的那些***)，而不是使用所有或一些分类器，并输出其他状态估计，诸如估计的相对速度。又在其他示例中，可以使用诸如通用互相关相位变换的各种算法来确定估计的方位。在另一个示例中，因为使用在固定距离处的警报音量的范围和压力像1/范围那样下降的知识，可以从麦克风感测到的压力的幅度中分析地计算估计的范围。
此外，本文描述的示例利用四个分离的模型，但是，这些模型可以被实施为检测警报噪声、估计方位、估计范围以及估计相对速度的单个分类器，或者多个模型。例如，第一模型可以检测警报，以及第二模型可以用于估计方位、估计范围和估计相对速度。在另一实例中，第一模型可检测警报，第二模型可用于估计方位并估计范围，以及第三模型可用于估计相对速度。
在需要建立模型中的一些模型的情况下，可以从一大组日志中提取一些地面实况数据的测量。例如，这可能包括手动标记的真实警报噪声和没有警报的实例，以及手动标记或验证的车辆产生警报的示例等。这种标记的至少某些方面可以使用视觉检测来自主化，诸如通过利用模板或图像匹配从照相机图像或激光点云识别特定类型的对象的***。例如，如果存在警报存在于时间T处的标签，并且同时视觉检测使用车辆是警报源的假设将一辆且仅一辆车识别为具有闪光灯的紧急车辆，则随时间变化的车辆的细节、位置、速度等可以用来标记随时间变化的警报的相对和/或绝对位置、速度等。
示例方法
除了上述和附图所示的操作之外，现在将描述各种操作。应当理解，不必以下面描述的精确顺序执行以下操作。而是，可以以不同的顺序或同时地处理各种步骤，并且还可以添加或省略步骤。
如上所述，计算设备110可以控制车辆100在其环境中的移动。图4是车辆100在与地图信息200的区域相对应的道路400的部分上操纵的示例。在这方面，交叉路口402对应于交叉路口202，车道410-419对应于车道210-219，路肩区域420和422对应于路肩区域220和222，车道线430-434对应于车道线230-234，并且实线440对应于实线240。因此，在此示例中，车辆100正在将使车辆100进入交叉路口404以朝车道415继续行驶，或者可替代地右转进入车道413的轨迹上从车道412接近交叉路口402。
在该示例中，车辆的感知***172可以向计算设备110提供关于车辆的环境的信息。这可以包括诸如在地图信息200中具有对应特征的车道线430-434和实线440的对象以及诸如车辆451-454的对象的位置。这些不同对象的特性，包括它们的形状、位置、航向、速度等可以由感知***172提供给计算设备110。
当车辆四处移动时，麦克风152的输出可以被馈送到第一模型命令中以便检测潜在的紧急车辆警报。这可以由感知***172的计算设备110或一个或多个计算设备来完成。一旦第一模型检测到警报噪声，就可以执行进一步的处理以确定警报噪声源的附加特性。
例如，可以测量到达麦克风152中的每一个的警报噪声的定时，并将其输入到第二模型中，以提供关于警报源的可能方位或相对方向的测量，或者更确切地说是在可能方位上的概率分布的测量。例如，麦克风152可以是时间同步的，以便提供源的估计的方位或者警报相对于车辆来自哪个方向。这可以包括从车辆周围的多个不同方向(即，车辆周围的0度到360度)发出警报噪声的可能性。具有最高概率的方向或方向范围(例如，5度或者更大或更小的范围)可以被认为是警报噪声源的估计的方位。附加地或可替代地，警报噪声的相对幅度可以用作警报噪声源的方位的指示。例如，车辆前面的警报在布置在车辆前面的麦克风152a处可以比在布置在车辆后面的麦克风152b处听起来更大声。
图5提供了如上所述使用定时确定的警报噪声的方位数据的示例表示500。对于车辆周围360度半径内的不同方位，方位数据可以包括概率或似然值。在此示例中，方位显示为跨90度的范围，这些方位由方位范围510、520、530和540表示。这些方位范围中的每一个表示车辆周围的不同相对方向：前面(方位范围510)、左侧(方位范围540)、后面(方位范围530)和右侧(方位范围520)。当然，也可以使用更大或更小的范围，诸如180度、45度、度、30度、15度、10度、1度、0.5度等等。似然值的范围可以是0到1的量级，0较小可能性表示警报噪声源的方位，而1较大可能性表示警报噪声源的方位。在该示例中，方位范围510具有0.1的似然值，方位范围520具有0.1的似然值，方位范围530具有0.7的似然值，方位范围540具有0.1的似然值。因此，在该示例中，具有最高似然值的方位范围530可以被选择或识别为警报噪声源的估计的方位。在这方面，至少在示例表示500中，警报噪声源可能位于车辆100的后面。
另外，警报噪声和定时可以被输入到第三模型中，以提供警报源的可能范围(或距车辆的距离)上的概率分布。同样，这可以由感知***172的计算设备110或一个或多个计算设备来完成。例如，来自麦克风的几秒钟的输出定时，诸如0.1秒、1.0秒、2.0秒、3.0秒、4.0秒或更短，可以用于针对多个不同范围估计警报噪声源相对于车辆的范围。随时间过滤该信息可以提供改进的估计范围。跨多个不同范围的范围或距离范围，诸如0.25英里或更大，可以被识别为警报噪声源的估计范围。
图6提供了使用如上所述的第二模型确定的警报噪声的范围(距离)数据的示例表示600。对于距车辆的不同范围或实际距离范围，范围数据可以包括似然值。在此示例中，距离显示为跨0.25英里的范围，这些距离由0-0.25英里、0.25-0.50英里、0.50-0.75英里、0.75-1.00英里、1.00英里或更大的范围表示。如上所述，这些范围的大小可以更大或更小(0.01英里或0.5英里)，以其他量级(例如，米)定义等等。此外，尽管在图6的示例中，范围扩展到1英里或更大，并且距离范围的“顶端”可能稍微小一点，例如，0.2到0.25英里，这取决于麦克风的灵敏度和第三模型可以实现的精度。在其他示例中，该范围可以继续远超过1英里，例如，距车辆2、5、10或更多英里。
尽管在图6中被描绘为从车辆的前面开始，但是该距离可以在任何方向上，例如，包括估计的方位的方向(或方向范围)。同样，似然值的范围可以是0到1的量级，0较小可能性表示警报噪声源的距离，而1较大可能性表示警报噪声源的距离。在此示例中，范围0-0.25英里具有0.5的似然值，范围0.25-0.50英里具有0.2的似然值，范围0.50-0.75英里具有0.1的似然值，范围0.75-1.00英里具有0.1的似然值，范围1.00英里或以上具有0.1的似然值。因此，在此示例中，具有最高似然值的范围0-0.25英里可以被选择或识别为警报噪声源的估计范围。在这方面，至少在示例表示600中，警报噪声源可能位于车辆100的0.25英里处。
在其他示例中，第三模型可以输出估计的范围作为满足阈值似然或置信度值的距离范围，而不提供距离范围的似然值。例如，第三模型可以提供距离范围，该距离范围对应于警报噪声源在该距离范围内的至少0.95(或95％)或者更大或更小的似然值。例如，对于距车辆很近的源警报噪声，距离的范围可以是距车辆大约0至50米，或者更大或更小。对于距车辆很远的警报噪声源，例如，该范围可以是距车辆100至400米，或者更大或更小。因为敲击麦克风152的警报噪声的声波的压力大约下降了从麦克风152到警报噪声源的距离的倒数的比率(或1/范围)，所以当警报噪声源距车辆较近时，阈值似然值(或置信度)可能会较小，而当警报噪声源距车辆较远时，阈值似然值(或置信度)可能会更大。
这些范围估计可能并不准确，具有相对较大的误差，例如，约为1.5X至2X(其中，X表示估计的范围或距离)。然而，尽管存在这些大的误差，估计的范围仍可以帮助车辆的计算设备确定警报噪声源是否离得太远而无法做出反应(大约四分之一英里或更多)。同时，第二模型还可以提供范围比率的估计，或者警报噪声变大或变柔和的速度。这可以帮助计算设备110确定警报噪声源是越来越近还是越来越远(朝向或远离估计)，这可以用于确定如何响应紧急车辆。在图6的示例中，朝向或远离估计可以指示紧急车辆正朝车辆100移动。
第四模型还可以用于使用警报噪声和随时间收集的定时来估计警报噪声源的可能相对速度上的概率分布。在一些示例中，可以将初始估计与地图信息进行比较，以便例如基于地图约束(诸如速度限制等)细化估计。同样，这可以由感知***172的计算设备110或一个或多个计算设备来完成。通过随时间过滤该信息可以提供警报噪声源的估计的相对和/或绝对速度。
图7提供了使用如上所述的第三模型确定的警报噪声的相对速度数据的示例表示700。对于不同的速度或相对于车辆的实际速度范围，相对速度数据可以包括似然值。在此示例中，相对于车辆的速度显示为跨10英里/小时的范围，这些速度由小于-20英里/小时(mph)、-20--10英里/小时、-10-0英里/小时、0-10英里/小时、10-20英里/小时和大于20英里/小时的范围表示。当然，也可以使用附加范围(20-30、-30--20、等等)以及更大(20英里/小时)或更小(1英里/小时)的范围。此外，如图7的示例所示，范围甚至可以包括用于指示警报噪声源正远离车辆移动的负值和用于指示警报噪声源正在朝着车辆移动的正值。
同样，似然值可以在0到1的量级内变化，0较小可能性表示警报噪声源的速度，而1较大可能性表示警报噪声源的速度。在此示例中，范围-20或更小具有0.1的似然值，范围-20--10英里/小时具有0.1的似然值，范围0-10英里/小时具有0.5的似然值，范围10-20英里/小时具有0.1的似然值，范围1大于20英里/小时具有0.1的似然值。因此，在此示例中，具有最高似然值的相对速度可以被选择或识别为警报噪声源的估计的相对速度。在这方面，至少在示例表示700中，警报噪声源可能相对于车辆100以0-10英里/小时的速度朝着车辆100行驶(与远离或负向相反)，或者非常接近与车辆100相同的速度。
在一些示例中，第一模型可以用于准确地识别在麦克风处接收的声音的哪个部分对应于警报噪声。换句话说，第一模型可以用于识别随时间变化的频率的哪个小范围对应于警报噪声。这可以减少馈送到第二、第三和第四模型的与警报噪声无关的信息量(即来自像风声或附近车辆的噪声的声音的干扰)。
来自模型的信息以及任何估计的特性可以被提供给一个或多个计算设备110。这些计算设备可以使用方位数据、范围数据、相对速度数据、估计的方位、估计的范围、朝向或远离估计以及估计的相对速度来确定车辆应如何对车辆作出反应。结合图5-7的示例，计算设备可以确定警报噪声源朝向车辆100的后方(在方位范围530内)，位于距车辆100 0-0.25英里的范围内，并相对于车辆100以0-10英里/小时的速度“朝着”(接近)车辆100行驶。然而，为了增加响应的有用性，可以将由模型提供的信息与在车辆环境中检测到的对象进行比较，以确定那些对象中的任何一个是否是警报噪声源。
例如，如上所述，感知***可以检测和识别感知***的传感器范围内的对象。随着时间的推移，感知***还可以确定那些对象的特性，诸如哪些对象是车辆以及每个对象的航向、位置和相对速度。可以将该信息与警报噪声源的估计的方位、估计的范围和估计的相对速度进行比较，以识别哪些(如果有的话)检测到的车辆可能是警报噪声源。可以针对每个识别的车辆迭代地进行此操作，以产生它是警报噪声源的可能性。同时，计算设备可以产生每个识别的车辆没有产生警报的可能性。如果紧急车辆超出范围或另外被遮挡，这可能是重要的值。
返回图4的示例，将警报噪声源的估计的特性与由感知***172检测并确定的被识别为车辆的对象进行比较，计算设备110可以估计每个检测到的车辆是警报噪声源的可能性。例如，计算设备110可以遍历所有识别的车辆450-454，并且基于警报噪声源位于车辆100的后方(在方位范围530内)、位于距车辆100为0-0.25英里的范围处，并且相对于车辆100以0-10英里/小时的速度行驶的估计来确定似然值。由于警报噪声源位于车辆100的后方，因此车辆100前面的其他车辆或车辆452-454的似然值相对较低，例如为0.1或者更大或更小。同时，在给定估计的方位的情况下，朝向车辆100的后方的车辆或车辆450和451的似然值相对较高，例如0.5或者更大或更小。车辆450和451的似然值也可以基于估计的范围和估计的相对速度而不同。例如，车辆450的似然值可能大于车辆451的似然值，因为车辆450可能以在车辆100的速度的10英里/小时内的速度移动，而车辆451可能以更大的相对速度行驶，诸如比车辆100的速度大的20英里/小时。
尽管上面的示例依赖于被选择为估计的方位、估计的范围或估计的相对速度的数据，但是车辆环境中对象的似然值也可以不由被选择为估计的方位、估计的范围或估计的相对速度的数据来确定，而是由所有的方位数据、范围数据和相对速度数据来确定。
在一些示例中，可以在车辆的检测***实际检测到警报噪声源之前，检测警报噪声(例如，使用如上所述的第一模型)。在这种情况下，一旦由感知***检测到的对象被识别为警报噪声源，先前的模型输出(诸如估计的方位、估计的范围和估计的相对速度)就可以用来假设紧急车辆来自哪里，例如使用地图信息以及关于感知***范围内先前可能被遮挡的区域的信息。这可用于改善对哪个对象或车辆是警报噪声源(或不是警报噪声源)的估计。
一旦特定车辆被识别为警报噪声源，则该车辆可以被识别为紧急车辆。在这一点上，在确定如何最好地响应紧急车辆时，也可以考虑观察到的该紧急车辆的移动，从而进一步提高响应的有用性。同样，返回到上面讨论的示例，在给定似然值的情况下，计算设备110可以将车辆450识别为警报噪声源。在这方面，计算设备110可以观察紧急车辆450的移动并且使用该信息来确定如何最好地响应。当然，在一些示例中，感知***172可能没有检测到其他车辆，或者所有其他车辆可能具有太低的似然值或不满足最小似然值阈值而不能被识别为紧急车辆。在这样的情况下，计算设备110可以确定紧急车辆的源不在感知***172的范围内或另外被遮挡，例如，位于诸如另一车辆、建筑物等的对象的后面。
在图4的示例中，车辆100可以简单地开到路肩区域420上，并且停车或减速。可替代地，如果车辆100行驶太快而无法安全地开到路肩区域420上，或者如果车辆要在交叉路口404处右转，则车辆可以继续右转进入车道413，前提是如果这样做不会妨碍紧急车辆450的移动(诸如由于路肩区域非常狭窄、被占用或很快结束，因此转弯比靠边停车会更快、更安全)。在另一替代方案中，如果路肩区域420已经被占用，则车辆100从车道412变到车道411并且允许紧急车辆450超过车辆100并进入交叉路口404可能更安全。
除了将估计的特性与来自感知***的信息进行比较之外，还可以将这些特性与描述车辆环境中的道路特征的地图信息进行比较。这可以用于识别可能的道路、路段，或者在某些情况下甚至可以识别紧急车辆正在行驶的特定车道，即使在源超出范围或另外被遮挡的情况下，同样如此。例如，车辆的计算设备可以能够识别同一条道路上车辆前方的一个或多个路段、同一条道路上车辆后方的一个或多个路段、交叉街道上的一个或多个路段、以及即使与道路的当前轨迹不相交(或至少在附近相交)的道路上的一个或多个路段。例如，识别路段可以包括对多个道路或路段的概率建模，而不仅仅是识别最可能的单个路段。
例如，将估计的方位、估计的范围和估计的相对速度与图2的示例进行比较，计算设备110可以确定紧急车辆的源最有可能位于与车道210、211和212相对应的路段上。
因此，使用地图信息可以提供车辆应如何响应的、甚至更好的估计。当然，如果这样的地图信息不可用，则使用有关紧急车辆是在车辆的前面还是后面、是在车辆的左边还是右边、或者是接近还是远离车辆的提示也是有用的。
在某些情况下，波束成形可用于将麦克风集中在与紧急车辆最相关的位置上收听。这可以在识别警报之前或之后进行。例如，地图信息和来自感知***的信息也可以用于对麦克风进行波束成形，以集中在与紧急车辆最相关的位置上收听。例如，这可能包括道路或附近潜在的闪光灯检测(由感知***或通过使用来自感知***的信息识别)。同时，波束成形可用于忽略来自其他位置的干扰声音，诸如树木沙沙作响、风噪声、车辆本身的振动、附近的建筑等。作为示例，对于每个麦克风阵列，一个波束可以笔直向前形成，一个波束可以向左偏移60度，一个波束可以向右偏移60度。第一模型可以用于从每个形成的波束产生的声音。波束成形可以显著地增大信噪比，例如，这应该增大麦克风的检测范围。另外，其中模型给出包含警报的最高似然值的波束可以用作近似方位的指示。
另外，第二模型的输出可用于对麦克风进行波束成形，以便集中在从该方向发出警报噪声的概率出现峰值的每个方向上。通过这样做，增大的信噪比可以提供警报噪声的方位的更准确的估计。反过来，这可以提供范围和速度的更准确的估计。
如上所述，该附加处理在多种情况下可以是有用的。车辆相对于紧急车辆的位置(反之亦然)可能是确定哪种类型的响应合适的重要因素。这样，如果紧急车辆在车辆后面，则最合适的是靠边停车。在紧急车辆迎面驶来或在车辆前方并朝着车辆移动时，车辆是否应该靠边停车取决于物理环境，诸如是否有中间带。类似地，在车辆接近交叉路口时，如果警报源是来自车辆的侧面(左侧或右侧)，则最好的响应可能是大幅减速甚至在交叉路口之前停下，即使是在车辆原本可以自由通过交叉路口的情况下，诸如当灯为绿色或当交叉路口有停车或让行标志时。同时，如果声音来自邻近街道，例如平行的街道，那么通过改变车辆的行为做出响应可能实际上是不合适的。
同样，通过具有警报源的估计的特性，计算设备110可以更好地控制车辆100的反应行为。例如，返回图4，如果车辆450被识别为紧急车辆，则计算设备110可以控制车辆100立即开到路肩区域420上、变至车道411或如上面的示例中所讨论的那样右转。如果车辆451被识别为紧急车辆，则计算设备110可以控制车辆100以相同或较慢的速度继续在当前轨迹上行驶或开到路肩区域420上。如果车辆452被识别为紧急车辆，则即使在车辆100原本具有继续通过交叉路口的路权的情况下，计算设备110也可以控制车辆100在实线440处和/或在交叉路口404之前停车。作为示例实例，车辆100可以在以下情况下具有路权，其中，在车辆452受制于停车标志而车辆100不受制于停车标志的情况下，或者在车辆100当前对于交叉路口404具有绿灯(行)而车辆452对于交叉路口404具有红灯(停)的情况下。如果车辆453被识别为紧急车辆，则计算设备110可以控制车辆100以相同或较慢的速度继续在当前轨迹上行驶。在此示例中，由于车辆453已经越过了车辆100的轨迹，所以车辆100应该继续在当前轨迹上行驶。如果车辆454被识别为紧急车辆，则计算设备110可以控制车辆100以相同或较慢的速度继续在当前轨迹上行驶。在这种情况下，即使车辆454正在远离车辆100，减速并谨慎前行可能是合适的响应，其中车辆100的轨迹也跟随车辆454，因为车辆454(由于可能的紧急情况)突然停车的可能性可能相对较高。当然，取决于车辆100的当前情况，任何数量的附加操纵都可以是合适的。
如果车辆450-454中没有一个可能是警报噪声源，或者其他车辆中没有一个符合最小似然值阈值，同样地，计算设备110可以再次确定紧急车辆的源并不在感知***172的最大范围内，或者另外被遮挡，例如在诸如另一车辆、建筑物等的对象的后面。同样，即使没有将特定的检测到的车辆识别为警报噪声源，具有估计的特性仍可以向计算设备提供有用的信息，以确定(如果有的话)如何最好地响应警报噪声。例如，当紧急车辆被遮挡时，诸如当紧急车辆和车辆之间还有其他车辆时，计算设备仍然能够辨别警报以根据需要进行响应并靠边停车。
在某些情况下，当有另一个大声的声音或干扰(例如火车，千斤顶或其他响亮的车辆)时，可能难以分辨警报噪声的方位。当干扰既不与警报位于相同的方位又不在与警报相同的频率下具有高能量时，可以使用各种技术来集中检测警报噪声。一种技术可以包括使用如上所述的波束成形。如果警报噪声和干扰位于不同的方位，则在指向警报的波束中，与没有波束形成的数据相比，警报噪声会比干扰源大声得多。附加地或可替代地，方位信息可以作为频率和时间的函数来计算。该方位信息以及到第二模型的幅度信息，使得该模型可以区分具有相似频率内容但方位不同的声音。同样，另外地或可替代地，可以使用第一模型来识别并分类大声的声音的方位。如果大声的声音不是警报(而是干扰)，则可以形成并使用传递除了干扰方位以外的声音的波束。
图8是可以由诸如计算设备110的一个或多个处理器120的一个或多个处理器执行以便检测和响应紧急车辆的流程图800。在此示例中，在框810处，布置在诸如车辆100的车辆上的不同位置处的诸如麦克风152的多个麦克风用于检测与紧急车辆相对应的警报噪声。在框820处，来自多个麦克风的输出用于估计紧急车辆的方位和紧急车辆的范围。在框830处，将估计的方位和估计的范围与识别再分为路段的道路的位置的地图信息进行比较，以便识别紧急车辆可能正在行驶的一个或多个路段。在框840处，估计的方位和潜在的一个或多个路段用于确定如何响应紧急车辆。在框850处，基于如何响应紧急车辆的确定，以自主驾驶模式控制车辆。
如上所述，本文描述的操作可以以不同顺序执行。例如，可以使用模型(或上述其他方法)来计算作为时间和频率的函数的在麦克风152处接收的声音的估计的方位和估计的范围。然后，可以将它们馈送到实际检测或识别警报噪声的模型中。
除非另有说明，否则前述替代示例不是互相排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施方式的前述描述应通过说明的方式而不是通过限制由权利要求限定的主题的方式来进行。另外，在此描述的示例的提供以及措辞为“诸如”、“包括”等的短语不应被解释为将权利要求的主题限制于特定示例；相反，这些示例仅旨在说明许多可能的实施例之一。此外，不同附图中的相同参考编号可以标识相同或相似的元件。

Claims (20)

1.一种检测和响应紧急车辆的方法，所述方法包括：
由一个或多个处理器使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；
由所述一个或多个处理器使用来自所述多个麦克风的输出来估计所述紧急车辆的方位；
由所述一个或多个处理器将估计的方位与地图信息进行比较以识别所述紧急车辆正在行驶的道路的部分；
由所述一个或多个处理器，通过确定信息并且通过将多个车辆中的每一个的确定的信息与检测到的警报噪声源的估计的方位、估计的范围和估计的相对速度进行比较来估计多个车辆中的每一个是检测到警报噪声源的可能性，从而确定在车辆的感知***的一个或多个传感器的范围内的多个车辆中的一个车辆是否与所述紧急车辆相对应，所述信息包括多个车辆中的每一个的航向、位置或相对速度中的至少一个；
由所述一个或多个处理器基于估计的方位和识别的道路的部分以及估计的相对速度来确定如何响应所述紧急车辆；
由所述一个或多个处理器基于如何响应所述紧急车辆的确定以自主驾驶模式控制所述车辆。
2.根据权利要求1所述的方法，还包括：使用来自所述多个麦克风的输出来估计所述紧急车辆的范围，并且其中，还基于估计的范围来确定如何响应所述紧急车辆。
3.根据权利要求2所述的方法，还包括：使用随时间变化的来自所述多个麦克风的输出，估计所述紧急车辆的速度，并且其中，还基于估计的相对速度来确定如何响应所述紧急车辆。
4.根据权利要求1所述的方法，还包括：使用随时间变化的来自所述多个麦克风的输出，估计所述紧急车辆的速度，并且其中，还基于估计的速度来确定如何响应所述紧急车辆。
5.根据权利要求1所述的方法，其中，控制所述车辆包括从第一车道改变到第二车道。
6.根据权利要求1所述的方法，其中，控制所述车辆包括将所述车辆开到路肩区域上。
7.根据权利要求1所述的方法，其中，控制所述车辆包括沿所述车辆的当前轨迹继续。
8.根据权利要求1所述的方法，其中，控制所述车辆还包括降低所述车辆的速度。
9.一种检测和响应紧急车辆的方法，所述方法包括：
由一个或多个处理器使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；
由所述一个或多个处理器使用来自所述多个麦克风的输出来估计所述紧急车辆的方位；
由所述一个或多个处理器将估计的方位与地图信息进行比较以识别所述紧急车辆正在行驶的道路的部分；
从所述车辆的感知***接收识别所述车辆的环境中的一组对象以及所述一组对象的特性的信息，所述一组对象包括多个车辆；
由所述一个或多个处理器，通过确定信息并且通过将多个车辆中的每一个的确定的信息与检测到的警报噪声源的估计的方位、估计的范围和估计的相对速度进行比较来估计多个车辆中的每一个是检测到警报噪声源的可能性，从而确定在车辆的感知***的一个或多个传感器的范围内的多个车辆中的一个车辆是否与所述紧急车辆相对应，所述信息包括多个车辆中的每一个的航向、位置或相对速度中的至少一个；
由所述一个或多个处理器基于估计的方位、识别的道路的部分以及对所述多个车辆中的一个车辆是否与紧急车辆相对应的确定，确定如何响应所述紧急车辆；
由所述一个或多个处理器基于如何响应所述紧急车辆的确定，以自主驾驶模式控制所述车辆。
10.根据权利要求9所述的方法，其中，所述特性包括估计的对象位置，并且还基于所述一组对象的特性与估计的方位之间的比较来确定所述一组对象中的一个对象是否与所述紧急车辆相对应。
11.根据权利要求9所述的方法，还包括：使用随时间变化的来自所述多个麦克风的输出，估计所述紧急车辆的范围，并且其中，所述特性包括估计的对象位置，并且还基于所述一组对象的特性与估计的范围之间的比较来确定所述一组对象中的一个对象是否与所述紧急车辆相对应。
12.根据权利要求9所述的方法，还包括：使用随时间变化的来自所述多个麦克风的输出，估计所述紧急车辆的速度，并且其中，所述特性包括估计的对象速度，并且还基于所述一组对象的特性与估计的速度之间的比较来确定所述一组对象中的一个对象是否与所述紧急车辆相对应。
13.根据权利要求9所述的方法，还包括：由所述一个或多个处理器将估计的方位与地图信息进行比较以识别所述紧急车辆正在行驶的道路的部分，并且其中，还基于估计的方位和所述道路的部分来确定如何响应所述紧急车辆。
14.根据权利要求9所述的方法，还包括：基于所述多个车辆中的每个给定车辆的特性来识别所述给定车辆是所述紧急车辆的第一可能性，并且其中，还基于任何第一可能性来确定所述多个车辆中的一个车辆是否与所述紧急车辆相对应。
15.根据权利要求9所述的方法，还包括：基于所述多个车辆中的每个给定车辆的特性来识别所述给定车辆不是所述紧急车辆的第二可能性，并且其中，还基于任何第二可能性来确定所述多个车辆中的一个车辆是否与所述紧急车辆相对应。
16.根据权利要求9所述的方法，其中，控制所述车辆包括当所述车辆原本具有继续通过交叉路口的路权时，在所述交叉路口停车。
17.一种检测和响应紧急车辆的***，所述***包括一个或多个处理器，所述一个或多个处理器被配置为：
使用布置在车辆上不同位置处的多个麦克风来检测与紧急车辆相对应的警报噪声；
使用随时间变化的来自所述多个麦克风的输出来估计所述紧急车辆的方位；
将估计的方位与地图信息进行比较以识别所述紧急车辆正在行驶的道路的部分；
从所述车辆的感知***接收识别所述车辆的环境中的一组对象以及所述一组对象的特性的信息，所述一组对象包括多个车辆；
由所述一个或多个处理器，通过确定信息并且通过将多个车辆中的每一个的确定的信息与检测到的警报噪声源的估计的方位、估计的范围和估计的相对速度进行比较来估计多个车辆中的每一个是检测到警报噪声源的可能性，从而确定在车辆的感知***的一个或多个传感器的范围内的多个车辆中的一个车辆是否与所述紧急车辆相对应，所述信息包括多个车辆中的每一个的航向、位置或相对速度中的至少一个；
基于估计的方位和道路的部分以及所述多个车辆中的一个车辆是否与所述紧急车辆相对应的确定，来确定如何响应所述紧急车辆；以及
基于对如何响应所述紧急车辆的确定，以自主驾驶模式控制所述车辆。
18.根据权利要求17所述的***，其中，所述一个或多个处理器还被配置为使用来自所述多个麦克风的输出来估计所述紧急车辆的范围，并且其中，还基于估计的范围来确定如何响应所述紧急车辆。
19.根据权利要求18所述的***，其中，所述一个或多个处理器还被配置为使用来自所述多个麦克风的输出来估计所述紧急车辆的速度，并且其中，还基于估计的速度来确定如何响应所述紧急车辆。
20.根据权利要求17所述的***，还包括所述车辆。
CN201880042597.2A 2017-06-27 2018-06-26 检测和响应警报 Active CN110800031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210001406.6A CN114312844B (zh) 2017-06-27 2018-06-26 检测和响应警报

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762525423P 2017-06-27 2017-06-27
US62/525,423 2017-06-27
US15/689,336 2017-08-29
US15/689,336 US10319228B2 (en) 2017-06-27 2017-08-29 Detecting and responding to sirens
PCT/US2018/039496 WO2019005791A1 (en) 2017-06-27 2018-06-26 SIREN DETECTION AND RESPONSE TO THESE

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210001406.6A Division CN114312844B (zh) 2017-06-27 2018-06-26 检测和响应警报

Publications (2)

Publication Number Publication Date
CN110800031A CN110800031A (zh) 2020-02-14
CN110800031B true CN110800031B (zh) 2022-01-21

Family

ID=64693472

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201880042597.2A Active CN110800031B (zh) 2017-06-27 2018-06-26 检测和响应警报
CN202210001406.6A Active CN114312844B (zh) 2017-06-27 2018-06-26 检测和响应警报

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210001406.6A Active CN114312844B (zh) 2017-06-27 2018-06-26 检测和响应警报

Country Status (6)

Country Link
US (6) US10319228B2 (zh)
EP (1) EP3616183A1 (zh)
JP (1) JP7162017B2 (zh)
KR (2) KR102496460B1 (zh)
CN (2) CN110800031B (zh)
WO (1) WO2019005791A1 (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375172B2 (en) 2015-07-23 2019-08-06 Centurylink Intellectual Property Llc Customer based internet of things (IOT)—transparent privacy functionality
US10623162B2 (en) 2015-07-23 2020-04-14 Centurylink Intellectual Property Llc Customer based internet of things (IoT)
US10412064B2 (en) 2016-01-11 2019-09-10 Centurylink Intellectual Property Llc System and method for implementing secure communications for internet of things (IOT) devices
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10233679B1 (en) * 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10832665B2 (en) 2016-05-27 2020-11-10 Centurylink Intellectual Property Llc Internet of things (IoT) human interface apparatus, system, and method
US10110272B2 (en) 2016-08-24 2018-10-23 Centurylink Intellectual Property Llc Wearable gesture control device and method
US10687377B2 (en) 2016-09-20 2020-06-16 Centurylink Intellectual Property Llc Universal wireless station for multiple simultaneous wireless services
US10426358B2 (en) 2016-12-20 2019-10-01 Centurylink Intellectual Property Llc Internet of things (IoT) personal tracking apparatus, system, and method
US10150471B2 (en) 2016-12-23 2018-12-11 Centurylink Intellectual Property Llc Smart vehicle apparatus, system, and method
US10735220B2 (en) 2016-12-23 2020-08-04 Centurylink Intellectual Property Llc Shared devices with private and public instances
US10637683B2 (en) * 2016-12-23 2020-04-28 Centurylink Intellectual Property Llc Smart city apparatus, system, and method
US10576984B2 (en) * 2017-07-06 2020-03-03 Toyota Research Institute, Inc. Second stop position for intersection turn
US10565873B1 (en) * 2017-08-18 2020-02-18 State Farm Mutual Automobile Insurance Company Emergency vehicle detection and avoidance systems for autonomous vehicles
US10807591B1 (en) * 2017-11-02 2020-10-20 Zoox, Inc. Vehicle disaster detection and response
US10627794B2 (en) 2017-12-19 2020-04-21 Centurylink Intellectual Property Llc Controlling IOT devices via public safety answering point
US11567510B2 (en) 2019-01-24 2023-01-31 Motional Ad Llc Using classified sounds and localized sound sources to operate an autonomous vehicle
US10796571B2 (en) * 2019-01-31 2020-10-06 StradVision, Inc. Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles
US11119492B2 (en) * 2019-02-12 2021-09-14 Sf Motors, Inc. Automatically responding to emergency service vehicles by an autonomous vehicle
US11209831B2 (en) * 2019-05-03 2021-12-28 Ford Global Technologies, Llc Object sound detection
FR3097674A1 (fr) * 2019-06-18 2020-12-25 Psa Automobiles Sa Véhicule équipé d’un système de détection de véhicule d’urgence.
US12005906B2 (en) * 2019-10-15 2024-06-11 Waymo Llc Using driver assistance to detect and address aberrant driver behavior
US11295757B2 (en) * 2020-01-24 2022-04-05 Motional Ad Llc Detection and classification of siren signals and localization of siren signal sources
WO2021178754A1 (en) * 2020-03-06 2021-09-10 Cerence Operating Company System and method for integrated emergency vehicle detection and localization
US11711648B2 (en) * 2020-03-10 2023-07-25 Intel Corporation Audio-based detection and tracking of emergency vehicles
US11914390B2 (en) * 2020-03-31 2024-02-27 Zoox, Inc. Distinguishing between direct sounds and reflected sounds in an environment
US11625042B2 (en) * 2020-03-31 2023-04-11 Zoox, Inc. Detecting occluded objects using sound
EP3896671A1 (en) * 2020-04-15 2021-10-20 Zenuity AB Detection of a rearward approaching emergency vehicle
KR20210151594A (ko) * 2020-06-05 2021-12-14 주식회사 만도모빌리티솔루션즈 차량 제어 장치 및 방법
US11958505B2 (en) 2020-07-21 2024-04-16 Waymo Llc Identifying the position of a horn honk or other acoustical information using multiple autonomous vehicles
US20220122620A1 (en) * 2020-10-19 2022-04-21 Argo AI, LLC Emergency siren detection for autonomous vehicles
US11516613B1 (en) * 2020-10-22 2022-11-29 Zoox, Inc. Emergency sound localization
CN112258842A (zh) * 2020-10-26 2021-01-22 北京百度网讯科技有限公司 交通监测方法、装置、设备及存储介质
US11961536B2 (en) * 2020-12-09 2024-04-16 Nuro, Inc. Methods and apparatus for determining directionality associated with sounds detected by a vehicle
CN112946576B (zh) * 2020-12-10 2023-04-14 北京有竹居网络技术有限公司 声源定位方法、装置和电子设备
US11282382B1 (en) * 2020-12-22 2022-03-22 Waymo Llc Phase lock loop siren detection
US11735205B2 (en) * 2021-01-12 2023-08-22 Baidu Usa Llc Audio logging for model training and onboard validation utilizing autonomous driving vehicle
US20220222296A1 (en) * 2021-01-12 2022-07-14 Baidu Usa Llc Automatic audio data labelling utilizing autonomous driving vehicle
US11430466B2 (en) * 2021-01-13 2022-08-30 Baidu Usa Llc Sound source detection and localization for autonomous driving vehicle
US11620903B2 (en) 2021-01-14 2023-04-04 Baidu Usa Llc Machine learning model to fuse emergency vehicle audio and visual detection
US20220219736A1 (en) * 2021-01-14 2022-07-14 Baidu Usa Llc Emergency vehicle audio and visual detection post fusion
US11768283B2 (en) 2021-05-03 2023-09-26 Waymo Llc Sound source distance estimation
US11364910B1 (en) 2021-08-26 2022-06-21 Motional Ad Llc Emergency vehicle detection system and method
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles
US11889278B1 (en) 2021-12-22 2024-01-30 Waymo Llc Vehicle sensor modules with external audio receivers
US11984026B2 (en) 2022-05-19 2024-05-14 Alert The Mechanism LLC System and method for emergency vehicle detection and alerting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022165A1 (de) * 2010-05-20 2011-01-05 Daimler Ag Verfahren und Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden akustischen Sondersignals für ein Fahrzeug
US8838321B1 (en) * 2012-11-15 2014-09-16 Google Inc. Modifying a vehicle state based on the presence of a special-purpose vehicle
JP2014206804A (ja) * 2013-04-11 2014-10-30 本田技研工業株式会社 緊急車両位置特定装置
JP2015022453A (ja) * 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
CN105894841A (zh) * 2015-10-20 2016-08-24 乐卡汽车智能科技（北京）有限公司 紧急车辆提醒方法和装置
CN105938657A (zh) * 2016-06-27 2016-09-14 常州加美科技有限公司 一种无人驾驶车辆的听觉感知与智能决策***

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3691559A (en) * 1969-03-28 1972-09-12 Navsat Corp Aircraft collision warning system
US4212085A (en) * 1976-12-08 1980-07-08 Mary C. Vaillancour Frequency activated direction indicator
US4952931A (en) * 1987-01-27 1990-08-28 Serageldin Ahmedelhadi Y Signal adaptive processor
JP2763684B2 (ja) * 1991-02-28 1998-06-11 株式会社ケンウッド 緊急車両検知装置
US6822580B2 (en) * 1999-05-07 2004-11-23 Jimmie L. Ewing Emergency vehicle warning system
JP2001155259A (ja) 1999-11-30 2001-06-08 Matsushita Electric Ind Co Ltd ドライブスルーシステム
JP2001166025A (ja) * 1999-12-14 2001-06-22 Matsushita Electric Ind Co Ltd 音源の方向推定方法および収音方法およびその装置
FR2821163B1 (fr) * 2001-02-16 2003-05-09 Thomson Marconi Sonar Sas Procede de detection d'objets mobiles au moyen de bouees sous-marines passives
US6362749B1 (en) 2001-06-18 2002-03-26 William E. Brill Emergency vehicle detection system
ITTO20020306A1 (it) * 2002-04-09 2003-10-09 Loquendo Spa Metodo per l'estrazione di caratteristiche di un segnale vocale e relativo sistema di riconoscimento vocale.
US20040233067A1 (en) * 2003-05-20 2004-11-25 Yong Min Cho Acoustic siren detector system
WO2006011310A1 (ja) * 2004-07-23 2006-02-02 Matsushita Electric Industrial Co., Ltd. 音声識別装置、音声識別方法、及びプログラム
US7245232B1 (en) * 2005-08-09 2007-07-17 Caouette Sr James Emergency vehicle alert system
JP4725236B2 (ja) * 2005-08-16 2011-07-13 ヤマハ株式会社 車外警告音報知装置
KR100757867B1 (ko) * 2005-08-30 2007-09-11 삼성전자주식회사 멀티태스킹 환경에서의 사용자 인터페이스 방법 및 장치
US8094040B1 (en) * 2005-11-02 2012-01-10 Cornett Robertt H Methods and apparatus for electronically detecting siren sounds for controlling traffic control lights for signalling the right of way to emergency vehicles at intersections or to warn motor vehicle operators of an approaching emergency vehicle
JP3949701B1 (ja) * 2006-03-27 2007-07-25 株式会社コナミデジタルエンタテインメント 音声処理装置、音声処理方法、ならびに、プログラム
FR2901774A1 (fr) * 2006-06-06 2007-12-07 Lionel Wolberg Bouteille comportant un col equipe d'un bouchon
CN101140704A (zh) * 2006-09-08 2008-03-12 松下电器产业株式会社 方向检测装置
US20080150755A1 (en) 2006-11-15 2008-06-26 Alice Jane Van Zandt Emergency Vehicle Indicator
KR100868763B1 (ko) * 2006-12-04 2008-11-13 삼성전자주식회사 오디오 신호의 중요 주파수 성분 추출 방법 및 장치와 이를이용한 오디오 신호의 부호화/복호화 방법 및 장치
EP1990650A1 (en) * 2007-05-07 2008-11-12 Harman Becker Automotive Systems GmbH Method and system for determining position information of vehicles
DE102007034029A1 (de) * 2007-07-20 2009-01-22 Robert Bosch Gmbh Verfahren zur Information eines Beobachters über ein im Einsatz befindliches Einsatzfahrzeug und Anordnung dazu
US7791499B2 (en) * 2008-01-15 2010-09-07 Qnx Software Systems Co. Dynamic siren detection and notification system
US8319620B2 (en) 2008-06-19 2012-11-27 Personics Holdings Inc. Ambient situation awareness system and method for vehicles
TW201005685A (en) * 2008-07-25 2010-02-01 Imriss Technology Corp Physiological status monitoring and positioning system
JP5288251B2 (ja) * 2008-09-12 2013-09-11 株式会社デンソー 緊急車両認知支援装置
US9250315B2 (en) * 2009-03-04 2016-02-02 Toyota Motor Engineering & Manufacturing North America, Inc. Collision avoidance system and method
US7675431B1 (en) * 2009-03-13 2010-03-09 Caouette Sr James Emergency vehicle alert system
US8482486B2 (en) * 2009-04-02 2013-07-09 GM Global Technology Operations LLC Rear view mirror on full-windshield head-up display
WO2011001684A1 (ja) * 2009-07-02 2011-01-06 パナソニック株式会社 車両位置検出装置及び車両位置検出方法
US20120136559A1 (en) * 2010-11-29 2012-05-31 Reagan Inventions, Llc Device and system for identifying emergency vehicles and broadcasting the information
EP2663470A4 (en) * 2011-01-12 2016-03-02 Personics Holdings Inc AUTOMOTIVE SYSTEM WITH A CONSTANT SIGNAL-NOISE RATIO FOR IMPROVED SITUATION AWARENESS
JP5298155B2 (ja) * 2011-04-15 2013-09-25 トヨタ自動車株式会社 接近車両検出装置及び接近車両検出方法
US9047781B2 (en) 2011-05-31 2015-06-02 Georgia Tech Research Corporation Safety zone detection, enforcement and alarm system and related methods
US20130049985A1 (en) * 2011-08-24 2013-02-28 Henry Eisenson Device and system to alert vehicles and pedestrians of approaching emergency vehicles and emergency situations
JP5443454B2 (ja) * 2011-09-20 2014-03-19 トヨタ自動車株式会社 音源検出装置
FI123232B (en) * 2011-12-20 2012-12-31 Eigenor Oy Method and implementation for calculating rate distributions for multi-PRI and SMPRH radars
US9397630B2 (en) * 2012-04-09 2016-07-19 Dts, Inc. Directional based audio response to an external environment emergency signal
US10869648B2 (en) * 2012-05-11 2020-12-22 Philips Image Guided Therapy Corporation Device, system and method for flow imaging in the body using a swept transducer
US20140024112A1 (en) * 2012-07-23 2014-01-23 Northwestern University In-vivo bioreactor system and method for tissue engineering
US20140056438A1 (en) * 2012-08-21 2014-02-27 Harman International Industries, Incorporated System for vehicle sound synthesis
US9341719B2 (en) * 2012-09-07 2016-05-17 Qualcomm Technologies International, Ltd. Psuedo maximum likelihood tracking for global navigation satellite systems
US9264799B2 (en) * 2012-10-04 2016-02-16 Siemens Aktiengesellschaft Method and apparatus for acoustic area monitoring by exploiting ultra large scale arrays of microphones
US9544692B2 (en) 2012-11-19 2017-01-10 Bitwave Pte Ltd. System and apparatus for boomless-microphone construction for wireless helmet communicator with siren signal detection and classification capability
US9650646B2 (en) * 2013-01-11 2017-05-16 University Of Florida Research Foundation, Inc. Materials and methods to increase plant growth and yield
US9305223B1 (en) * 2013-06-26 2016-04-05 Google Inc. Vision-based indicator signal detection using spatiotemporal filtering
EP2845779B1 (en) * 2013-09-09 2018-08-01 Honda Research Institute Europe GmbH Driving assistance technique for active vehicle control
US9249742B2 (en) * 2013-10-15 2016-02-02 Ford Global Technologies, Llc Vehicle auto-stop control in the vicinity of an emergency vehicle
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
KR102033309B1 (ko) * 2013-10-25 2019-10-17 현대모비스 주식회사 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법
US9275136B1 (en) * 2013-12-03 2016-03-01 Google Inc. Method for siren detection based on audio samples
US10406981B2 (en) * 2014-03-20 2019-09-10 Magna Electronics Inc. Vehicle vision system with curvature estimation
DE102014213359A1 (de) * 2014-07-09 2016-01-14 Robert Bosch Gmbh Vorrichtung und Verfahren zur akustischen Untersuchung von Umgebungsobjekten eines Fortbewegungsmittels
US9800983B2 (en) * 2014-07-24 2017-10-24 Magna Electronics Inc. Vehicle in cabin sound processing system
DE102014217681B4 (de) * 2014-09-04 2020-12-10 Imra Europe S.A.S. Sirenensignalquellenerfassung, -Erkennung und -Lokalisation
US9751463B1 (en) * 2014-09-15 2017-09-05 Satesh S. Ramcharitar Enabling improved emergency response via a vehicle flow buffer
US10575117B2 (en) * 2014-12-08 2020-02-25 Harman International Industries, Incorporated Directional sound modification
US10127813B2 (en) * 2015-01-20 2018-11-13 Invent F&W, Llc Systems and methods for alerting drivers of approaching emergency vehicles
EP3296765B1 (en) * 2015-05-12 2019-11-13 Mitsubishi Electric Corporation Laser radar device and wind speed observation method
US9844981B2 (en) * 2015-06-02 2017-12-19 Karma Automotive Llc Systems and methods for use in a vehicle for detecting external events
TWI569275B (zh) * 2015-07-17 2017-02-01 慧榮科技股份有限公司 資料儲存裝置及其資料維護方法
US10327069B2 (en) * 2015-07-26 2019-06-18 Vocalzoom Systems Ltd. Laser microphone utilizing speckles noise reduction
US20170028850A1 (en) * 2015-07-31 2017-02-02 Ford Global Technologies, Llc Vehicle display systems
RU2688666C1 (ru) * 2015-08-05 2019-05-22 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Система и способ для обнаружения направления звука в транспортном средстве
US9607603B1 (en) * 2015-09-30 2017-03-28 Cirrus Logic, Inc. Adaptive block matrix using pre-whitening for adaptive beam forming
US10109190B1 (en) * 2015-10-09 2018-10-23 Danyell Baptiste Emergency vehicle warning system
JP2017114155A (ja) * 2015-12-21 2017-06-29 三菱自動車工業株式会社 運転支援装置
KR102252251B1 (ko) * 2016-01-20 2021-05-14 제로키 인코포레이티드 거리측정 및 위치결정시스템과 이를 사용한 방법
US9704397B1 (en) * 2016-04-05 2017-07-11 Global Ip Holdings, Llc Apparatus for use in a warning system to notify a land vehicle or a motorist of the vehicle of an approaching or nearby emergency vehicle or train
CN107134160A (zh) * 2016-02-29 2017-09-05 法拉第未来公司 紧急信号检测和响应
WO2017151937A1 (en) * 2016-03-04 2017-09-08 Emergency Vehicle Alert Systems Llc Emergency vehicle alert and response system
KR101807616B1 (ko) * 2016-04-21 2017-12-11 현대자동차주식회사 음향 추적 정보 제공 방법, 차량용 음향 추적 장치, 및 이를 포함하는 차량
US10176715B2 (en) * 2016-07-27 2019-01-08 Telenav, Inc. Navigation system with dynamic mapping mechanism and method of operation thereof
JP6670202B2 (ja) * 2016-08-10 2020-03-18 任天堂株式会社 音声処理プログラム、情報処理プログラム、音声処理方法、音声処理装置、及びゲームプログラム
US10127812B2 (en) * 2016-08-29 2018-11-13 Allstate Insurance Company Electrical data processing system for monitoring or affecting movement of a vehicle using a traffic device
CN106564496B (zh) * 2016-10-19 2018-11-09 江苏大学 基于前向车辆驾驶行为的智能车辆安全环境包络重构方法
JP6690007B2 (ja) * 2016-10-25 2020-04-28 パイオニア株式会社 処理装置、サーバ装置、出力方法及びプログラム
EP3319343A1 (en) * 2016-11-08 2018-05-09 Harman Becker Automotive Systems GmbH Vehicle sound processing system
US11244564B2 (en) * 2017-01-26 2022-02-08 Magna Electronics Inc. Vehicle acoustic-based emergency vehicle detection
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle
CN110431434A (zh) * 2017-03-01 2019-11-08 索尔塔雷有限公司 用于检测目标声音的***和方法
JP7236396B2 (ja) * 2017-05-03 2023-03-09 ソルターレ インコーポレイテッド 車両検知システムのオーディオ処理
US10431082B2 (en) * 2017-06-19 2019-10-01 GM Global Technology Operations LLC Systems and methods for emergency vehicle response in an autonomous vehicle
US10210756B2 (en) * 2017-07-24 2019-02-19 Harman International Industries, Incorporated Emergency vehicle alert system
US10284317B1 (en) * 2017-07-25 2019-05-07 BlueOwl, LLC Systems and methods for assessing sound within a vehicle using machine learning techniques
US10747231B2 (en) * 2017-11-17 2020-08-18 Intel Corporation Identification of audio signals in surrounding sounds and guidance of an autonomous vehicle in response to the same
US20190294169A1 (en) * 2018-03-21 2019-09-26 GM Global Technology Operations LLC Method and apparatus for detecting a proximate emergency vehicle
US11351988B2 (en) * 2018-07-26 2022-06-07 Byton North America Corporation Use of sound with assisted or autonomous driving
CN112334370B (zh) * 2018-10-26 2024-04-30 深圳市大疆创新科技有限公司 车道偏离警报的自动化载运工具动作及关联的***和方法
US20200211394A1 (en) * 2018-12-26 2020-07-02 Zoox, Inc. Collision avoidance system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010022165A1 (de) * 2010-05-20 2011-01-05 Daimler Ag Verfahren und Vorrichtung zur Erfassung zumindest eines von einem Einsatzfahrzeug ausgehenden akustischen Sondersignals für ein Fahrzeug
US8838321B1 (en) * 2012-11-15 2014-09-16 Google Inc. Modifying a vehicle state based on the presence of a special-purpose vehicle
JP2014206804A (ja) * 2013-04-11 2014-10-30 本田技研工業株式会社 緊急車両位置特定装置
JP2015022453A (ja) * 2013-07-18 2015-02-02 カルソニックカンセイ株式会社 緊急車両報知システム
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles
CN105894841A (zh) * 2015-10-20 2016-08-24 乐卡汽车智能科技（北京）有限公司 紧急车辆提醒方法和装置
CN105938657A (zh) * 2016-06-27 2016-09-14 常州加美科技有限公司 一种无人驾驶车辆的听觉感知与智能决策***

Also Published As

Publication number Publication date
US20240087451A1 (en) 2024-03-14
EP3616183A1 (en) 2020-03-04
WO2019005791A1 (en) 2019-01-03
KR102496460B1 (ko) 2023-02-07
US20200234579A1 (en) 2020-07-23
US11854390B2 (en) 2023-12-26
US10319228B2 (en) 2019-06-11
US20230282106A1 (en) 2023-09-07
JP7162017B2 (ja) 2022-10-27
KR20200010376A (ko) 2020-01-30
CN114312844A (zh) 2022-04-12
KR20220046000A (ko) 2022-04-13
CN110800031A (zh) 2020-02-14
US20190355251A1 (en) 2019-11-21
US11164454B2 (en) 2021-11-02
JP2020525885A (ja) 2020-08-27
US10650677B2 (en) 2020-05-12
US11636761B2 (en) 2023-04-25
US20180374347A1 (en) 2018-12-27
KR102382587B1 (ko) 2022-04-05
CN114312844B (zh) 2024-04-09
US20220005348A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN110800031B (zh) 检测和响应警报
US11989666B1 (en) Predicting trajectory intersection by another road user
US20210232152A1 (en) Detecting and responding to sounds for autonomous vehicles
AU2020202527B2 (en) Using wheel orientation to determine future heading
US9440647B1 (en) Safely navigating crosswalks
US20200180640A1 (en) Early object detection for unprotected turns
JP2015121959A (ja) 障害物検知装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant