CN109131328A - 用于自主车辆中应急车辆响应的***和方法 - Google Patents

用于自主车辆中应急车辆响应的***和方法 Download PDF

Info

Publication number
CN109131328A
CN109131328A CN201810593477.3A CN201810593477A CN109131328A CN 109131328 A CN109131328 A CN 109131328A CN 201810593477 A CN201810593477 A CN 201810593477A CN 109131328 A CN109131328 A CN 109131328A
Authority
CN
China
Prior art keywords
vehicle
autonomous vehicle
processor
value
emergency vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810593477.3A
Other languages
English (en)
Inventor
V·亚尔多
X·F·宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109131328A publication Critical patent/CN109131328A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)

Abstract

提供了用于控制自主车辆的***和方法。在一个实施例中，一种方法包括：从耦合至自主车辆的相机装置接收图像数据；通过处理器基于图像数据计算值；通过处理器基于所计算的值确定应急车辆的存在；通过处理器基于所确定的应急车辆的存在选择第一控制策略；通过处理器基于控制策略生成至少一个信号以自主地控制自主车辆。

Description

用于自主车辆中应急车辆响应的***和方法
技术领域
本公开大体上涉及自主车辆，并且更具体地，涉及用于检测应急车辆的存在并据此自主地控制车辆的***和方法。
引言
自主车辆是一种能够感测其环境并在很少或没有用户输入情况下导航的车辆。自主车辆利用感测装置感测其环境，比如雷达、激光雷达、图像传感器等。自主车辆***进一步使用来自全球定位***(GPS)技术、导航***、车辆对车辆通信、车辆对基础设施技术和/或线控***的信息来导航车辆。
车辆自动化已经被分类为数值级别，范围从对应于利用完全人类控制的无自动化的零级到对应于利用无人控制的完全自动化的五级。各种自动化驾驶员辅助***，比如巡航控制、自适应巡航控制以及停车辅助***，对应于较低的自动化几倍，而真正的“无人驾驶”车辆对应于较高的自动化级别。
为了使车辆完全自动化，车辆必须能够意识到环境中的常见标志和信号并对其做出响应。例如，应急车辆产生警告音和/或视觉信号以通知道路上的车辆靠边停车。因此，希望提供用于检测应急车辆的存在并据此自主地控制车辆的***和方法。此外，通过后续的详细描述和所附权利要求书并结合附图和前述技术领域和背景技术，本公开的其他期望特征和特性将变得显而易见。
发明内容
提供了用于控制自主车辆的***和方法。在一个实施例中，方法包括：从耦合至自主车辆的相机装置接收图像数据；通过处理器基于图像数据计算值；通过处理器基于所计算的值确定应急车辆的存在；通过处理器基于所确定的应急车辆的存在选择第一控制策略；以及通过处理器基于该控制策略生成至少一个信号以自主地控制自主车辆。
附图说明
之后将结合以下附图对示范性实施例进行描述，其中相同的附图标记指示相同的元件，并且其中：
图1A是示出了根据各个实施例的具有应急车辆检测***的自主车辆的功能框图；
图1B是根据各个实施例的分布在自主车辆周围的应急车辆检测***的车辆相机的图示；
图2是示出了根据各个实施例的具有一个或多个图1A的自主车辆的运输***的功能框图；以及
图3是示出了根据各个实施例的具有应急车辆检测***的自主驾驶***的功能框图；以及
图4是示出了根据各个实施例的用于控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述在本质上仅是示范性的，并且并不旨在限制应用和使用。另外，不存在被任何前述的技术领域、背景技术、发明内容或以下详细描述中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语模块是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。
本公开的实施例在本文可依据功能和/或逻辑块部件和各个处理步骤来描述。应当理解的是，这些块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。例如，本公开的实施例可采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能。另外，本领域技术人员将理解的是，本公开的实施例可结合任何数量的***来实践，并且本文所述的***仅仅是本公开的示范性实施例。
为了简洁起见，本文可不详细描述与信号处理、数据传输、信令、控制以及该***(和该***的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图示中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可以存在许多替代或附加的功能关系或物理连接。
参考图1A，根据各个实施例，总体上以100示出与车辆10相关联的应急车辆检测***。一般而言，应急车辆检测***100从集成的传感器接收传感器数据、基于该传感器数据检测应急车辆的存在、生成关于该应急车辆的警告消息，和/或基于应急车辆的存在控制车辆10。
如图1A中所示，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可以共同形成框架。车轮16至18各自在车身14的相应拐角附近旋转地联接到底盘12。
在各个实施例中，车辆10是自主车辆并且应急车辆检测***100被结合到自主车辆10中(以下称为自主车辆10)。自主车辆10例如是自动控制以将乘客从一个位置运送到另一个位置的车辆。在所说明的实施例中将车辆10描绘为客车，但是应当理解的是，还可以使用任何其他车辆，包括摩托车、卡车、运动型多功能车(SUV)、娱乐车辆(RV)、船舶、飞行器等。在示例性实施例中，自主车辆10是所谓的四级或五级自动化***四级***指示“高度自动化”，其指代由自动驾驶***具体执行动态驾驶任务的所有方面的驾驶模式，即使人类驾驶员对干预请求没有做出适当响应。五级***指示“全自动化”，其指代由自动驾驶***在可由人类驾驶员管理的所有道路和环境状况下全时执行动态驾驶任务的所有方面。
如图所示，自主车辆10通常包括推进***20、变速器***22、转向***24、制动***26、传感器***28、致动器***30、至少一个数据存储装置32、至少一个控制器34，以及通信***36。推进***20在各个实施例中可包括内燃机、诸如牵引电动机的电机和/或燃料电池推进***。变速器***22被配置为根据可选速度比将来自推进***20的动力传递到车辆车轮16至18。根据各个实施例，变速器***22可包括分级传动比自动变速器、无级变速器或其它适当的变速器。制动***26被配置为向车轮16、18提供制动转矩。在各个实施例中，制动***26可包括摩擦制动器、线控制动器、诸如电机等再生制动***，和/或其他适当的制动***。转向***24影响车辆车轮16至18的位置。虽然为了说明目的而被描绘为包括方向盘，但是在本公开的范围内设想的一些实施例中，转向***24可不包括方向盘。
传感器***28包括感测指示自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置31a至31n。感测装置31a至31n可以包括但不限于雷达、激光雷达、全球定位***、光学相机、热感相机、超声波传感器、惯性测量单元、麦克风和/或其他传感器。致动器***30包括一个或多个致动器装置42a至42n，其控制一个或多个车辆特征，例如但不限于推进***20、变速器***22、转向***24和制动***26。在各个实施例中，由一个或多个致动器装置42a至42n控制的车辆特征可以进一步包括内部和/或外部车辆特征，例如但不限于车门、行李箱以及诸如无线电、音乐、照明等客舱特征(未标号)。
在各个实施例中，感测装置31a至31n中的一个或多个是相机或其他成像装置。相机装置被耦合至车辆10的车身14的外部和/或耦合到车辆10的内部，使得它们可以捕获车辆10周围环境的图像。例如，图1B中显示了感测装置31a至31j的示范性实施例，其包括分布在车辆10周围的相机装置。如图所示，感测装置31a至31j设置在不同的位置处并且定向为感测车辆10附近的周围环境的不同部分。如可以理解的，感测装置31a至31j可以包括所有相同类型的相机装置或者可以是任何类型的相机装置的组合。
在所提供的实例中，第一感测装置31a定位在车辆10的左前(或驾驶员)侧并定向成沿向前方向相对于车辆10的纵向轴线逆时针45°，而另一感测装置31c可以定位在车辆10的右前(或乘客)侧并且定向成相对于车辆10的纵向轴线顺时针45°。附加的感测装置31i、31j定位在车辆10的左后和右后侧并且类似地以相对于车辆纵向轴线逆时针和顺时针45°定向，除此之外，感测装置31d和31h定位在车辆10的左侧和右侧并且定向成远离纵向轴线以便沿基本上垂直于车辆纵向轴线的轴线延伸。所示实施例还可以包括一组感测装置31e至31g，它们定位在车辆纵向轴线处或附近并且定向成与车辆纵向轴线一致的前向方向信号。
在各个实施例中，感测装置31k中的至少一个是雷达装置(例如，任何数量的可以用于测量距离的短距离、中距离和长距离雷达)。雷达装置31k被耦合至车辆10的车身14的外部和/或耦合到车辆10的内部，使得其可以捕获来自车辆10周围环境的数据。另外地或替代地，感测装置31k中的至少一个是测量距离和/或颜色的激光雷达装置。激光雷达装置被耦合至车身14的外部，从而使其捕获来自车辆10周围环境的数据。
在各个实施例中，感测装置311中的至少一个是麦克风或其他声音测量装置。麦克风311被耦合至车辆10的车身14的外部和/或耦合到车辆10的内部，使得其可以捕获来自车辆10周围环境的声音数据。在各个实施例中，感测装置中的至少一个是激光雷达装置。
现在参考图1A，通信***36被配置为向和从其它实体48(例如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程***和/或个人装置)(关于图2更详细进行描述的)无线地传送信息。在示例性实施例中，通信***36是被配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的无线通信***。然而，诸如专用短距离通信(DSRC)信道等附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短距离到中距离无线通信信道，以及相应的一组协议和标准。
数据存储装置32存储用于自动控制自主车辆10的数据。在各个实施例中，数据存储装置32存储可导航环境的已定义地图。在各个实施例中，已定义地图可由远程***预定义并且从远程***获取(关于图2进一步详细描述的)。例如，已定义地图可由远程***组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。如可以理解的，数据存储装置32可为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独***的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可为任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(采用微芯片或芯片集的形式)、宏处理器、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储装置。KAM是一种持久或非易失性存储器，其可在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电、磁、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的一些数据表示由控制器34用于控制自主车辆10的可执行指令。
指令可包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器***28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且向致动器***30产生控制信号以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。
在各个实施例中，控制器34的一个或多个指令体现在应急车辆检测***100中，并且当由处理器44执行时，从诸如相机装置的感测装置31至31j接收图像数据、处理该图像数据以检测应急车辆的存在、处理来自感测装置311(麦克风)和/或感测装置31k(雷达传感器)的数据以确定控制策略，以及基于所确定的控制策略选择性地控制车辆。在各个实施例中，当由处理器44执行时，指令控制车辆10导航到道路的侧边或者不挡应急车辆路的其他位置。
现在参考图2，在各个实施例中，关于图1A描述的自主车辆10可以适合于在特定地理区域(例如，城市、学校或或商业园区、购物中心、游乐园、活动中心等)中的出租车或往返运输***的背景下使用或者可以仅通过远程***进行管理。例如，自主车辆10可以与基于自主车辆的远程运输***相关联。图2示出了操作环境的示范性实施例，大体上以50示出，其包括基于自主车辆的远程运输***52，该远程运输***与关于图1A所述的一个或多个自主车辆10a至10n相关联。在各个实施例中，操作环境50进一步包括一个或多个用户装置54，该一个或多个用户装置经由通信网络56与自主车辆10和/或远程运输***52通信。
通信网络56根据需要支持操作环境50所支持的装置、***和部件之间的通信(例如，经由有形通信链路和/或无线通信链路)。例如，通信网络56可以包括无线载波***60，比如蜂窝电话***，其包括多个蜂窝塔(未示出)、一个或多个移动交换中心(MSC)(未示出)、以及将无线载波***60与陆地通信***进行连接所需的任何其他联网部件。每个蜂窝塔包括发送和接收天线以及基站，来自不同蜂窝塔的基站直接或经由诸如基站控制器的中间设备连接至MSC。无线载波***60可以实施任何合适的通信技术，包括例如，诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS的数字技术，或者其他当前或正在出现的无线技术。其他的蜂窝塔/基站/MSC布置也是可能的并且可以和无线载波***60一起使用。例如，基站和蜂窝塔可以共同位于相同的地点或者它们可以彼此远程地定位，每个基站可以负责单个蜂窝塔或者单个基站可以服务不同的蜂窝塔，或者不同的基站可以耦合至单个MSC，仅举出一些可能的布置作为例子。
除了包括无线载波***60之外，还可以包括采用卫星通信***64形式的第二无线载波***以提供与自主车辆10a至10n的单向或双向通信。这可以利用一个或多个通信卫星(未示出)和上行链路传输站(未示出)完成。单向通信可以包括，例如卫星无线电服务，其中节目内容(新闻、音乐等)由传输站接收、打包以用于上传以及随后发送至卫星，卫星将节目广播给订户。双向通信可以包括，例如卫星电话服务，其利用卫星来在车辆10和站之间中继电话通信。可以利用卫星电话作为无线载波***60的补充或替代。
可以进一步包括陆地通信***62，其可以是连接至一个或多个陆线电话的传统的陆基电信网络并且将无线载波***60连接至远程运输***52。例如，陆地通信***62可以包括公共交换电话网(PSTN)，比如用来提供硬线电话、分组交换数据通信以及因特网基础架构的PSTN。陆地通信***62的一个或多个分段可以通过使用标准有线网络、光纤或其他光网络、电缆网络、电力线、诸如无线局域网(WLAN)的其他无线网络、或者提供宽带无线接入(BWA)的网络或者它们的任何组合来实施。此外，远程运输***52并不需要经由陆地通信***62连接，但是可以包括无线电话设备，使得其可以直接与诸如无线载波***60的无线网络通信。
尽管图2中仅显示了一个用户装置54，操作环境50的实施例可以支持任何数量的用户装置，包括由一个人拥有、操作或以其他方式使用的多个用户装置54。操作环境50所支持的每个用户装置54可以利用任何合适的硬件平台来实施。就这一点而言，用户装置54可以按照任何常见的形式因素来实现，包括但不限于：桌上型计算机；移动计算机(例如，平板计算机、膝上型计算机，或者上网本计算机)；智能电话；电子游戏装置；数字媒体播放器；家庭娱乐设备件；数字相机或摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等等。操作环境50所支持的每个用户装置54被实现为计算机实施的或基于计算机的装置，其具有执行本文所述的各种技术和方法所需要的硬件、软件、固件和/或处理逻辑。例如，用户装置54包括采用可编程装置形式的微处理器，其包括存储在内部存储器结构中并应用于接收二进制输入以创建二级制输出的的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并基于这些信号生成GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝通信功能，以便该装置利用一种或多种蜂窝通信协议在通信网络56上实现语音和/或数据通信，如本文所讨论的。在各个实施例中，用户装置54包括视觉显示器，比如触摸屏图形显示器或其他显示器。
远程运输***52包括一个或多个后端服务器***，其可以是基于云的、基于网络的，或者驻存在由远程运输***52伺服的特定校园或地理位置处。远程运输***52可以由现场顾问人工控制，或者是自动顾问，或者两者的组合。远程运输***52可以与用户装置54和自主车辆10a至10n通信，以调度搭乘、派遣自主车辆10a至10n等。在各个实施例中，远程运输***52存储账户信息，比如订户认证信息、车辆标识符、简档记录、行为模式，以及其他相关的订户信息。
根据典型的使用情况流程，远程运输***52的注册用户可以经由用户装置54创建搭乘请求。搭乘请求通常将指示乘客的期望搭车位置(或当前的GPS位置)、期望的目的地位置(其可以识别预定车站和/或用户指定的乘客目的地)以及搭车时间。远程运输***52接收搭乘请求、处理该请求，并且(当且如果一个可用时)派遣自主车辆10a至10n中的选定一个来在在指定搭车位置处和在合适的时间搭载该乘客。远程运输***52还可以生成并向用户装置54发送经合适配置的确认消息或通知，以使乘客知晓车辆正在路上。
如可以理解的，本文所公开的主题为被认为是标准和基础自主车辆10和/或基于自主车辆的远程运输***52提供了增强特征和功能。就这一点而言，自主车辆和基于自主车辆的远程运输***可以被修改、增强，或者以其他方式补充以提供以下更详细描述的附加特征。
根据各个实施例，控制器34实施自主驾驶***(ADS)70，如图3中所示。也就是说，控制器34的合适的软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)被用来提供结合车辆10一起使用的自主驾驶***70。
在各个实施例中，自主驾驶***70的指令可以由功能或***组织。例如，如图3中所示，自主驾驶***70可以包括计算机视觉***74、定位***76、导向***78，以及车辆控制***80。如可以理解的，在各个实施例中，指令可以被组织成任意数目的***(例如，组合的、进一步划分的等)，因为本公开并不限于本实例。
在各个实施例中，计算机视觉***74合成并处理来自感测装置31a至31n(图1A)的传感器数据并预测物体的存在、位置、类别和/或路径以及车辆10的环境的特征。在各个实施例中，计算机视觉***74可以合并来自多种传感器的信息，包括但不限于相机、激光雷达、雷达和/或任意数量的其他类型的传感器。
定位***76处理传感器数据连同其他数据，以确定车辆10相对于环境的位置(例如，相对于地图的局部位置、相对于道路的车道的精确位置、车辆前进方向、速度等)。导向***78处理传感器数据连同其他数据以确定车辆将遵循的路径。车辆控制***80生成用于根据确定的路径控制车辆10的控制信号。
在各个实施例中，控制器34实施机器学习技术来辅助控制器34的功能，比如特征检测/分类、拥塞减轻、路径穿越、映射、传感器集成、地面真实情况确定，等等。
如以上简要提到的，图1的应急车辆检测***100的某些部分包含在ADS 70内，例如，作为应急车辆检测***82。如可以理解的，尽管应急车辆检测***82被描绘为单独的***，在各个实施例中，应急车辆检测***82的全部或者部分可以集成到计算机视觉***74、定位***76、导向***78以及车辆控制***80中的任一个内。鉴于图3中所示的实例，应急车辆检测***82与计算机视觉***74、导向***78和/或车辆控制***80进行通信，以从传感器***28接收经处理的数据、处理图形数据以确定应急车辆的存在、处理麦克风数据和/或雷达数据以确认控制策略，和/或基于确定的控制策略控制车辆10。
例如，计算机视觉***74为应急车辆检测***82提供经处理的传感器数据，其包括从相机装置合并的图像数据。在各个实施例中，应急车辆检测***82针对图案的存在处理图像数据，例如，在图像帧中的红色和蓝色的存在(例如，在x相邻帧中红色和在y相邻帧中蓝色的存在，或者任何其他的颜色组合)，基于图案的存在确定应急车辆的存在。如可以理解的，在各个实施例中可以检测与其他应急车辆相关联的其他颜色图案。
在另一实例中，计算机视觉***74为应急车辆检测***82提供对应于图像数据的经处理雷达数据。在各个实施例中，应急车辆检测***82处理雷达数据以确定与图案相关联的物体距离车辆10的距离。
在另一实例中，计算机视觉***74为应急车辆检测***82提供对应于图像数据的经处理麦克风数据。在各个实施例中，应急车辆检测***82处理麦克风数据以确定与图案相关联的物体距离车辆10的距离。
在又另一实例中，应急车辆检测***82将控制策略传送至导向***78。导向***78，继而确定到道路的侧边或者不挡应急车辆的路的路径和/或向运输***52和/或车辆10的使用者传送通知消息。在有另一实例中，应急车辆检测***82直接与车辆控制***80进行通信以控制致动器***30的致动器装置中的一个或多个，从而使车辆10得到控制，以便其自主地导航到道路的侧边或者不挡应急车辆的路。在有另一实例中，应急车辆检测***82与车辆控制***80进行通信以控制致动器***30的致动器装置中的一个或多个，从而使车辆得到控制，以便其自主地导航回到已经清除了紧急状况的路径。
如关于图4更详细显示的，并且接续参考图1A、图1B和图3，流程图示出了可以由根据本公开的图3的应急车辆检测***82执行的控制方法400。如根据本公开可以理解的，方法内的操作顺序并不限于图4中所示的顺序执行，而是可以以适用于并符合本公开的一种或多种不同的顺序执行。在各个实施例中，方法400可以安排为基于一个或多个预定事件运行，和/或可以在自主车辆10的操作期间连续的运行。
在一个实例中，方法可以在405处开始。在410处从相机装置、麦克风、雷达装置和/或激光雷达装置接收传感器数据。在420处对图像数据或激光雷达数据进行处理以确定数据的帧上是否存在红色和蓝色的图案(或者具有例如计算的RGB值的其他颜色)。如果在430处存在该图案，则在435处确定在车辆10的视场中存在应急车辆。如果不存在图案，则方法可以在470处结束。
如果在430和435处存在图案并且存在应急车辆，在440至500处确定控制策略。
例如，在各个实施例中，在440处对图像数据进一步处理，以针对一段时间(例如，大于预定阈值的时间)或行进的距离(例如，所确定的大于预定阈值的距离)，确定与车辆10后方环境相关联图像(例如，来自面向后部的相机装置的图像数据)中是否存在图案，在450处选择第一靠边停车控制策略。第一控制策略可以，例如控制车辆10停在道路的侧边的最近位置处并且继续停车直到视场中不再存在该图案。如可以理解的，在各个实施例中可以实施其他控制策略。在460处基于第一控制策略生成控制信号以控制致动器装置中的一个或多个。之后，方法可以在470处结束。
如果在440处确定了图案存在但是并不在与车辆10后方环境相关联的图像中或者针对一段时间或行进的距离并不在图像中，则在465处确定应急车辆并未直接在车辆10的后方。在480处接着对音频数据进行处理以确定(来自麦克风的)该音频数据指示了与警笛声相关的范围内有关的逐渐升高的分贝(dB)。如果在480处有与警笛声相关的范围内有关的逐渐升高的分贝(dB)，则在490处确定应急车辆正在朝向车辆10行进；并且在500处选择第二控制策略。第二控制策略可以，例如控制车辆10减速或者停在道路的侧边的某位置处并且继续停在道路的侧边直到该音频数据指示分贝现在正在降低。如可以理解的，在各个实施例中可以实施其他控制策略。在500处基于第二控制策略生成控制信号以控制一个或多个致动器装置；并且方法可以在470处结束。
尽管在前面的详细描述中已经呈现了至少一个示例性实施例，但是应该理解的是仍存在大量的变型。还应该理解到的是，示例性实施例或多个示例性实施例仅是示例，并不意图以任何方式限制本公开的范围、适用性或配置而是，前面的详细描述将为本领域技术人员提供用于实现示例性实施例或多个示例性实施例的便利路线图。应该理解的是，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以在元件的功能和设置上做出各种改变。

Claims (10)

1.一种控制自主车辆的方法，包括：
从耦合至所述自主车辆的相机装置接收图像数据；通过处理器基于所述图像数据计算值；
通过处理器基于所计算的值确定应急车辆的存在；
通过处理器基于所确定的应急车辆的存在选择第一控制策略；以及
通过处理器基于所述控制策略生成至少一个信号以自主地控制所述自主车辆。
2.根据权利要求1所述的方法，其中所述计算所述值包括基于所述图像数据计算颜色值。
3.根据权利要求2所述的方法，其中所述颜色值是红值或蓝值。
4.根据权利要求2所述的方法，其中所述计算所述值包括计算所述图像数据的帧上颜色的图案。
5.根据权利要求4所述的方法，其中所述颜色包括红和蓝。
6.根据权利要求1所述的方法，其中所述计算所述值包括计算与所述自主车辆后方环境相关联的图像中的颜色的图案。
7.根据权利要求1所述的方法，进一步包括：从耦合至所述自主车辆的麦克风接收音频数据；通过所述音频数据计算值；以及通过处理器基于所述所计算的值确定所述应急车辆的行进方向。
8.根据权利要求7所述的方法，进一步包括通过处理器基于所述行进方向选择第二控制策略。
9.一种用于控制自主车辆的***，包括：
非瞬时性计算机可读介质，包括：
第一模块，所述第一模块通过处理器配置为从耦合至所述自主车辆的相机装置接收图像数据；
第二模块，所述第二模块通过处理器配置为基于所述图像数据计算值，以及基于所述所计算的值确定应急车辆的存在；
第三模块，所述第三模块通过处理器配置为基于所述所确定的应急车辆的存在选择第一控制策略；以及
第四模块，所述第四模块通过处理器配置为基于所述控制策略生成至少一个信号以自主地控制所述自主车辆。
10.根据权利要求9所述的***，其中所述第二模块通过基于所述图像数据计算颜色值来计算所述值。
CN201810593477.3A 2017-06-19 2018-06-09 用于自主车辆中应急车辆响应的***和方法 Pending CN109131328A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/627304 2017-06-19
US15/627,304 US10431082B2 (en) 2017-06-19 2017-06-19 Systems and methods for emergency vehicle response in an autonomous vehicle

Publications (1)

Publication Number Publication Date
CN109131328A true CN109131328A (zh) 2019-01-04

Family

ID=64457257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810593477.3A Pending CN109131328A (zh) 2017-06-19 2018-06-09 用于自主车辆中应急车辆响应的***和方法

Country Status (3)

Country Link
US (1) US10431082B2 (zh)
CN (1) CN109131328A (zh)
DE (1) DE102018114600A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505690A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 实时检测应急车辆并规划行驶路径的方法及装置
CN114375467A (zh) * 2019-07-29 2022-04-19 伟摩有限责任公司 紧急车辆的检测

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10872379B1 (en) 2016-04-11 2020-12-22 State Farm Mutual Automobile Insurance Company Collision risk-based engagement and disengagement of autonomous control of a vehicle
US11851041B1 (en) 2016-04-11 2023-12-26 State Farm Mutual Automobile Insurance Company System for determining road slipperiness in bad weather conditions
US10233679B1 (en) * 2016-04-11 2019-03-19 State Farm Mutual Automobile Insurance Company Systems and methods for control systems to facilitate situational awareness of a vehicle
US10247565B2 (en) 2016-04-11 2019-04-02 State Farm Mutual Automobile Insurance Company Traffic risk avoidance for a route selection system
US10486708B1 (en) 2016-04-11 2019-11-26 State Farm Mutual Automobile Insurance Company System for adjusting autonomous vehicle driving behavior to mimic that of neighboring/surrounding vehicles
US10026309B1 (en) 2016-04-11 2018-07-17 State Farm Mutual Automobile Insurance Company Networked vehicle control systems to facilitate situational awareness of vehicles
US10222228B1 (en) 2016-04-11 2019-03-05 State Farm Mutual Automobile Insurance Company System for driver's education
US10019904B1 (en) 2016-04-11 2018-07-10 State Farm Mutual Automobile Insurance Company System for identifying high risk parking lots
US10319228B2 (en) 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
US10565873B1 (en) * 2017-08-18 2020-02-18 State Farm Mutual Automobile Insurance Company Emergency vehicle detection and avoidance systems for autonomous vehicles
JP6931370B2 (ja) * 2019-03-25 2021-09-01 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
US11409278B2 (en) 2019-07-26 2022-08-09 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
WO2021021680A1 (en) * 2019-07-26 2021-02-04 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
US11892835B2 (en) 2019-07-26 2024-02-06 Zoox, Inc. System and method for controlling an autonomous vehicle
DE102019215668A1 (de) * 2019-10-11 2021-04-15 Zf Friedrichshafen Ag Verfahren zur Erfassung und Interpretation von Schallereignissen bei einem autonom fahrenden Fahrzeug
US11620903B2 (en) 2021-01-14 2023-04-04 Baidu Usa Llc Machine learning model to fuse emergency vehicle audio and visual detection
US11768283B2 (en) 2021-05-03 2023-09-26 Waymo Llc Sound source distance estimation
US11952014B2 (en) 2021-10-29 2024-04-09 Waymo Llc Behavior predictions for active emergency vehicles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2680902A1 (fr) * 1991-08-28 1993-03-05 Centaure Dispositif de simulation de l'apparition d'un obstacle, pour installation d'education et de perfectionnement a la conduite de vehicules automobiles.
CN103702855A (zh) * 2011-06-07 2014-04-02 大陆汽车***公司 驾驶员辅助检测***
US8849557B1 (en) * 2012-11-15 2014-09-30 Google Inc. Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7663504B2 (en) * 2005-12-08 2010-02-16 Sean Robert Votaw Emergency vehicle warning system
US9576208B2 (en) * 2013-12-11 2017-02-21 Continental Automotive Systems, Inc. Emergency vehicle detection with digital image sensor
US20160252905A1 (en) * 2014-08-28 2016-09-01 Google Inc. Real-time active emergency vehicle detection
AU2017308749A1 (en) * 2016-08-09 2019-02-21 Contrast, Inc. Real-time HDR video for vehicle control
US10127818B2 (en) * 2017-02-11 2018-11-13 Clear Commute Ventures Pty Ltd Systems and methods for detecting and avoiding an emergency vehicle in the proximity of a substantially autonomous vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2680902A1 (fr) * 1991-08-28 1993-03-05 Centaure Dispositif de simulation de l'apparition d'un obstacle, pour installation d'education et de perfectionnement a la conduite de vehicules automobiles.
CN103702855A (zh) * 2011-06-07 2014-04-02 大陆汽车***公司 驾驶员辅助检测***
US8849557B1 (en) * 2012-11-15 2014-09-30 Google Inc. Leveraging of behavior of vehicles to detect likely presence of an emergency vehicle
CN104809901A (zh) * 2014-01-28 2015-07-29 通用汽车环球科技运作有限责任公司 使用街道级图像增强车辆的自动驾驶模式的方法
US9278689B1 (en) * 2014-11-13 2016-03-08 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to emergency vehicles

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111505690A (zh) * 2019-01-31 2020-08-07 斯特拉德视觉公司 实时检测应急车辆并规划行驶路径的方法及装置
CN114375467A (zh) * 2019-07-29 2022-04-19 伟摩有限责任公司 紧急车辆的检测
US20220130133A1 (en) 2019-07-29 2022-04-28 Waymo Llc Detection of emergency vehicles
CN114375467B (zh) * 2019-07-29 2023-07-11 伟摩有限责任公司 用于检测紧急车辆的***和方法
US11727692B2 (en) 2019-07-29 2023-08-15 Waymo Llc Detection of emergency vehicles

Also Published As

Publication number Publication date
US20180364732A1 (en) 2018-12-20
US10431082B2 (en) 2019-10-01
DE102018114600A1 (de) 2018-12-20

Similar Documents

Publication Publication Date Title
CN109131328A (zh) 用于自主车辆中应急车辆响应的***和方法
CN108802761B (zh) 用于激光雷达点云异常的方法和***
CN109215366A (zh) 用于自主车辆中盲区检测的方法和***
CN109814543A (zh) 道路廊道
CN112236648B (zh) 使用v2x补充信息增强导航体验
US20180354411A1 (en) System and method for providing enhanced passenger use of an autonomous vehicle
CN109151379A (zh) 用于车辆清洁的***和方法
CN109949590A (zh) 交通信号灯状态评估
CN108734429A (zh) 多模式运输管理
CN109507998A (zh) 用于自主车辆之间的协作的***和方法
CN109808700A (zh) 用于在自主车辆中映射道路干扰物体的***和方法
CN109814520A (zh) 用于确定自主车辆的安全事件的***和方法
US20190026588A1 (en) Classification methods and systems
CN108766011A (zh) 用于自主车辆的停车评分
CN109945891A (zh) 用于对准车辆中的惯性测量单元的***和方法
CN109085819A (zh) 用于实施自主车辆中的驾驶模式的***和方法
CN109131065B (zh) 用于由自主车辆进行外部警告的***和方法
CN109835347A (zh) 活动的交通参与者
CN109552211A (zh) 用于自主车辆中的雷达定位的***和方法
CN108791184A (zh) 用于自主车辆的车门致动器调整
CN109131332A (zh) 自动化车辆路线遍历能力
US20200103902A1 (en) Comfortable ride for autonomous vehicles
CN109115230A (zh) 自主车辆定位
CN109871009A (zh) 失效通信模式期间的自主车辆应急转向配置文件
CN109458083A (zh) 关门***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination