CN115620540A - 用于自主驾驶交通工具的批量控制 - Google Patents
用于自主驾驶交通工具的批量控制 Download PDFInfo
- Publication number
- CN115620540A CN115620540A CN202210818373.4A CN202210818373A CN115620540A CN 115620540 A CN115620540 A CN 115620540A CN 202210818373 A CN202210818373 A CN 202210818373A CN 115620540 A CN115620540 A CN 115620540A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- autonomous
- conditions
- autonomous driving
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 52
- 238000004891 communication Methods 0.000 claims description 33
- 230000036541 health Effects 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 23
- 230000004927 fusion Effects 0.000 description 19
- 238000010801 machine learning Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000002950 deficient Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003891 environmental analysis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/22—Platooning, i.e. convoy of communicating vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
- G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
- G08G1/096741—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where the source of the transmitted information selects which information to transmit to each vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/207—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles with respect to certain areas, e.g. forbidden or allowed areas with possible alerting when inside or outside boundaries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种用于指令自主驾驶交通工具(AV)执行最小风险条件操纵的***,包括AV的机队和监督服务器。监督服务器从机队接收适用于多辆AV的宏信息。监督服务器基于宏信息生成批量命令。批量命令与一个或多个条件相关联。监督服务器确定每辆AV是否满足一个或多个条件。如果监督服务器确定AV满足一个或多个条件,则监督服务器向AV发送批量命令。批量命令包括执行最小风险条件操纵的指令。
Description
技术领域
本公开总体上涉及自主驾驶交通工具。更具体地,本公开涉及用于自主驾驶交通工具的批量控制。
背景技术
自主驾驶交通工具技术的一个目标是提供能够安全地向目的地导航的交通工具。在某些情况下,在途中的自主驾驶交通工具的机队可能会受到交通、恶劣天气和/或其他事件的影响。例如,可以在多辆自主驾驶交通工具前面的道路上观察到恶劣的天气条件或交通事故。当前的自主驾驶交通工具技术未被配置为基于适用于多辆自主驾驶交通工具的观察到的信息来指令多辆自主驾驶交通工具执行安全操纵。
发明内容
当前的自主驾驶交通工具技术未被配置为基于适用于多辆自主驾驶交通工具的观察到的信息来指令多辆自主驾驶交通工具执行安全操纵。本公开认识到与向自主驾驶交通工具(AV)传送命令相关的各种问题和先前未满足的需求。本公开的某些实施例向当前自主驾驶交通工具技术的包括上述那些问题的技术问题提供了独特的技术解决方案,以将批量命令传送给多辆AV以执行最小风险条件(MRC)操纵。
在一个实施例中,一种用于指令AV执行安全操纵的***包括与监督服务器通信耦合的AV的机队。AV的机队包括两辆或更多辆AV。监督服务器被配置为与机队中的每辆AV无线和远程通信。
机队中的每辆AV包括交通工具传感器子***、交通工具驱动子***、交通工具控制子***和机载(in-vehicle)控制计算机。交通工具传感器子***包括被配置为提供交通工具健康数据的至少一个传感器,以及用以提供交通工具位置数据的全球定位***(GPS)单元。机载控制计算机包括网络通信子***。
监督服务器被配置为接收适用于来自机队之中的多辆AV的宏信息。例如,宏信息可以包括交通数据、天气数据和/或与多辆AV正在行驶的区域相关的任何其他信息。在另一示例中,宏信息可以包括关于多辆AV的信息,诸如在多辆AV上所安装的有缺陷的硬件和/或软件模块、在特定软件应用中检测到的安全性漏洞等。
监督服务器至少部分地基于宏信息生成批量命令(batch command)。批量命令与一个或多个条件相关联。一个或多个条件可以与特定区域、特定时间段、特定软件应用版本、或者与多辆AV的硬件和/或硬件模块相关联的故障代码有关。
针对来自机队之中的每辆AV,监督服务器确定AV是否满足一个或多个条件。响应于确定AV满足一个或多个条件,监督服务器向AV发送批量命令。批量命令包括用于执行最小风险条件(MRC)操纵的指令。例如,MRC操纵可以包括使AV停靠在AV正在行驶的道路上的一侧。在另一示例中,MRC操纵可以包括使AV减慢。在另一示例中,MRC操纵可以包括使AV重新制定路线(reroute)并离开它当前正在行驶的高速公路。
所公开的***提供了若干实际应用和技术优势,其包括:1)检测适用于多辆AV的宏信息的技术,其中宏信息可以与交通数据、天气数据、关于多辆AV的信息有关,诸如在多辆AV上所安装的有缺陷的硬件和/或软件模块等;2)基于宏信息生成批量命令的技术,其中批量命令与以下一个或多个条件相关联:该一个或多个条件与特定区域、特定时间段、特定软件应用版本、和/或与多辆AV的硬件和/或软件模块相关联的故障代码相关;3)提供用户接口来定义一个或多个条件的技术;4)基于交通工具位置数据、交通工具健康数据、与由AV行驶的道路相关联的天气数据、以及与由AV行驶的道路相关联的交通数据来确定AV的机队中的每辆AV是否满足一个或多个条件的技术;以及5)响应于确定机队中的每辆AV满足一个或多个条件而向AV的机队中的每辆AV发送批量命令的技术。
因此,本公开中描述的***可以被集成到考虑适用于AV的机队的宏观信息的针对AV的机队确定更高效、安全和可靠的导航解决方案的实际应用中,并且响应于确定机队中的每辆AV满足一个或多个条件而向AV的机队发出批量命令。
此外,本公开中描述的***可以被集成到针对受宏信息影响的AV确定更高效、安全和可靠的导航解决方案的附加实际应用中,即使宏信息未被AV的传感器观察到。例如,可以从第三方接收宏信息,包括实时新闻报道、实时交通报告、实时天气报告、执法等。因此,所公开的***可以改进当前的自主驾驶交通工具技术。
此外,所公开的***可以被集成到改进信息安全性和数据丢失防止技术的附加实际应用中。例如,通过检测在多辆AV上所安装的特定软件应用版本中的安全性漏洞,并且以批量命令发送安全性补丁,被存储在AV的机载控制计算机***的存储器中的数据受到保护,以防止未经授权的访问,从而防止数据提取、操控、破坏和泄露。这进而提供了改进机载控制计算机***的底层操作的附加实际应用。例如,通过保护被存储在机载控制计算机***的存储器中的数据,可以更高效地利用AV的处理和存储器资源,并且可以更精确地导航AV。
本公开的某些实施例可以包括这些优点中的一些、全部或不包括这些优点。从以下结合附图和权利要求的详细描述中将更清楚地理解这些优点和其他特征。
附图说明
为了更完整地理解本公开,现在参考以下简要描述,结合附图和具体实施方式,其中相似的附图标记表示相似的部分。
图1示出了被配置为向多辆自主驾驶交通工具(AV)传送批量命令的***的实施例;
图2示出了AV监控应用的示例屏幕截图;
图3和图4示出了当操作方正在定义用于向多辆AV发出批量命令的条件的同时AV监控应用的示例屏幕截图;
图5示出了用于向多辆AV传送批量命令的方法的示例流程图;
图6示出了被配置为实现自主驾驶操作的示例自主驾驶交通工具的框图;
图7示出了用于提供由图6的AV使用的自主驾驶操作的示例***;以及
图8示出了被包括在图6的AV中的机载控制计算机的框图。
具体实施方式
如上所述,先前的技术未能提供用于向多辆自主驾驶交通工具(AV)传送批量命令的高效、可靠和安全的解决方案。本公开提供了用于实现以下目标中的一个或多个目标的各种***、方法和设备:1)向多辆AV传送批量命令;2)改进多辆AV的导航;4)改进多辆AV的跟踪;5)改进多辆AV的自主操作的监控;以及6)为自主驾驶交通工具、其他交通工具和行人提供安全的驾驶体验。在一个实施例中,关于图1描述了向多辆AV传送批量命令的***100。在一个实施例中,分别关于图2至图4描述了用于监控AV的状态、定义发出批量命令的条件、以及审阅AV执行批量命令中的指令的进度的示例场景。在一个实施例中,关于图5描述了一种用于将批量命令传送给多辆AV的方法500。在一个实施例中,本文关于图6至8描述了示例AV及其用于实现由AV进行的自主操作的各种***和设备。
用于向多辆AV传送批量命令的示例***
图1示出了用于向多辆AV 602传送批量命令132的***100的实施例。图1还示出了由包括AV 602a、602b和602c的多辆AV 602行驶的道路102的简化示意图。在一个实施例中,***100包括AV 602的机队和监督服务器120(对AV 602的进一步描述参见图6)。AV 602的机队包括两个或更多辆AV 602。监督服务器120被配置为与每辆AV 602无线和远程通信。在一些实施例中,***100还包括网络110、应用服务器160和远程操作方162。网络110提供***100的组件之间的通信。***100可以如图所示或以任何其他合适的配置而被配置。
通常,***100(在监督服务器120处)接收宏信息130,该宏信息130适用于来自AV602的机队之中的多辆AV 602。监督服务器120基于宏信息130生成批量命令132。批量命令132包括用于执行最小风险条件(Minimum Risk Condition)或最小风险条件(MinimalRisk Condition)(MRC)操纵的指令134。换言之,批量命令132可以包括MRC操纵指令134。例如,批量命令132可以包括MRC操纵指令134,用于在这样做安全时将车停靠在AV 602当前正在行驶的道路102的一侧的区域。在另一示例中,批量命令132可以包括MRC操纵指令134,用于在这样做安全时重新制定路线并且离开道路102。在另一示例中,批量命令132可以包括MRC操纵指令134,用于在这样做安全时使AV 602在其当前车道中减慢。下面进一步描述批量命令132的其他示例。批量命令132与一个或多个条件136相关联。一个或多个条件136中的任一个可以是基于位置的、基于时区的或即时的。下面进一步描述条件136的示例。针对来自AV 602的机队之中的每个自主驾驶交通工具602,监督服务器120确定AV 602是否满足一个或多个条件136。响应于确定AV 602满足一个或多个条件136,监督服务器120将批量命令132发送给AV 602。
***组件
网络110可以是任何合适类型的无线和/或有线网络,包括但不限于互联网、内联网、专用网络、公共网络、对等网络、公共交换电话网络、蜂窝网络、局域网(LAN)、城域网(MAN)、广域网(WAN)和卫星网络的全部或一部分。网络110可以被配置为支持将由本领域普通技术人员理解的任何合适类型的通信协议。
监督服务器120通常被配置为监督AV 602的操作。监督服务器120包括处理器122、网络接口124、用户接口126和存储器128。监督服务器120的组件可操作地彼此耦合。
处理器122可以包括一个或多个处理单元,其执行如本文所述的各种功能。存储器128存储由处理器122用以执行其功能的任何数据和/或指令。例如,存储器128存储软件指令138,该软件指令138在由处理器122执行时使监督服务器120执行本文所述的一个或多个功能。
监督服务器120与每辆AV 602及其组件进行信号通信。监督服务器120可以进一步被配置为通过分析传感器数据148和/或地图数据142来检测道路102上和周围的对象。例如,监督服务器120可以通过实现对象检测机器学习模块140来检测道路102上和周围的对象。对象检测机器学习模块140可以使用用于从图像、视频、红外图像、点云、雷达数据等中检测对象的神经网络和/或机器学习算法来实现。对象检测机器学习模块140下面将更详细地描述。
在一个实施例中,AV 602可以包括附接到拖车以将货物(cargo)或货物(freight)从一个位置运输到另一位置的半挂式卡车牵引机单元(参见图6)。AV 602由图6至8中详细描述的多个组件导航。AV 602的操作在图6中进行了更详细的描述。下面的对应描述包括AV602的某些组件的简要描述。简言之,AV 602包括机载控制计算机650,其***作以促进AV602的自主驾驶。在本公开中,机载控制计算机650可以互换地称为控制设备650。
在图1的示例中,第一AV 602a与控制设备650a和传感器646-1相关联,第二AV602b与控制设备650b和传感器646-2相关联,并且第三AV 602c与控制设备650c和传感器646-3相关联。控制设备650a、650b和650c中的每个控制设备是图6中描述的控制设备650的实例。传感器646-1、646-2和6463中的每个传感器是图6中描述的传感器646的实例。
控制设备650通常被配置为控制AV 602及其组件的操作。控制设备650还被配置为确定AV 602的前面的可安全行驶且没有对象/障碍物的路径,并导航AV 602以在该路径中行驶。在图6至8中更详细地描述了该过程。控制设备650通常包括与AV 602的其他组件(参见图6)进行信号通信的一个或多个计算设备。控制设备650从位于AV 602上的传感器646接收传感器数据148以确定行驶的安全路径。传感器数据148包括由传感器646捕获的数据。传感器646被配置为捕获它们的检测区或视场内的任何对象,诸如地标、车道标记、车道边界、道路边界、交通工具、行人、道路/交通标志,等等。传感器646可以包括相机、LiDAR传感器、运动传感器、红外传感器、雷达、位置传感器等。在一个实施例中,传感器646可以定位在AV602周围以捕获AV 602周围的环境。
在图1的示例中,与第一AV 602a相关联的传感器646-1将传感器数据148a发送给监督服务器120,与第二AV 602b相关联的传感器646-2将传感器数据148b发送给监督服务器120,并且与第三AV 602c相关联的传感器646-3将传感器数据148c发送给监督服务器120。
控制设备650与监督服务器120进行信号通信。控制设备650被配置为例如经由网络110将传感器数据148传送给监督服务器120。控制设备650可以周期性地(例如,每分钟、每几分钟或任何其他合适的间隔)、连续地、和/或在从监督服务器120接收到发送传感器数据148的请求时将传感器数据148传送给监督服务器120。传感器数据148可以包括描述AV602周围环境的数据,诸如图像馈送、视频馈送、LiDAR数据馈送以及从传感器646的视场捕获的其他数据。传感器数据148还可以包括AV 602的位置坐标。对于控制设备650的进一步描述,参见图6的对应描述。
示例宏信息
宏信息130通常是适用于多辆AV 602的任何信息。在某些情况下,宏信息130可以适用于一辆AV 602。宏信息130可以包括关于AV 602的信息、AV 602的组件、由AV 602行驶的道路102、与AV 602正在行驶或前往的区域相关联的环境数据,诸如交通数据和天气数据等。
监督服务器120可以从第三方源接收宏信息130,包括实时新闻报道、实时交通报告、实时天气报告、执法等。例如,宏信息130可以包括多辆AV 602正在其中行驶的特定区域(例如,道路102)中的天气数据。天气数据可以包括多辆AV 602正在行驶或前往的地区或区域的天气信息。例如,可以从天气预报服务器、实时天气报告等访问天气数据。在另一示例中,宏信息130可以包括与多辆AV 602正在行驶的特定区域(例如,道路102)相关联的交通数据。交通数据提供关于由多辆AV 602行驶的特定区域的条件的信息。在另一示例中,宏信息130可以包括在特定区域(例如,道路102)中所报告的交通事件,该交通事件会影响多辆AV 602的自主驾驶。在另一示例中,宏信息130可以包括道路安全性法规数据、道路封闭、施工区和/或关于由多辆AV 602行驶的道路的任何其他信息。在另一示例中,宏信息130可以包括潜在安全性漏洞,该潜在安全性漏洞在被安装在多辆AV 602的控制设备650上的软件应用的特定版本上被检测到。在另一示例中,宏信息130可以指示AV 602中的有缺陷的软件和/或硬件组件。在另一示例中,宏信息130可以包括与特定区域(例如,道路102)相关联的政府路线制定(routing)规则的改变。在另一示例中,宏信息130可以包括与AV 602相关联的健康数据降级到健康数据小于阈值百分比的程度,例如小于AV 602的最佳性能的70%、60%等和/或小于AV 602的最佳功能的70%、60%等。在一些情况下,条件136可以由AV 602检测到。在这种情况下,条件136可以包括确定是否检测到潜在地使AV 602的健康条件降级的故障代码,确定是否检测到AV 602的软件和/或硬件组件中的缺陷。
在一种场景中,在图1的示例中,监督服务器120接收可以适用于多辆AV 602的宏信息。例如,假设宏信息130指示安全性漏洞在被安装在AV 602中的软件应用的特定版本中被检测到。
作为响应,监督服务器120确定AV 602a、602b和602c中的每个AV是否满足一个或多个条件136。在该示例中,条件136可以是确定软件应用的特定版本是否被安装在AV602a、602b和602c中的任何AV中。监督服务器120确定软件应用的特定版本是否被安装在AV602a、602b和602c中的任何一个AV中。监督服务器120响应于确定软件应用的特定版本被安装在分别与第一AV 602a和第二AV 602b相关联的控制设备650a和650b中而确定条件136被第一AV 602a和第二AV 602b满足。在该示例中,监督服务器120确定条件136不被第三AV602c满足,因为软件应用的特定版本没有被安装在控制设备650c上。
在另一场景中,在图1的示例中,假设宏信息130指示道路事故已经在道路102上的特定位置被报告。作为响应,监督服务器120确定AV 602a、602b和602c中的每个AV是否满足一个或多个条件136。在该示例中,条件136可以是确定AV 602a、602b和602c中的任何AV是否在道路102上,是否正朝着所报告的道路事故的位置前进,或者AV 602a、602b和602c中的任何AV与所报告的道路事故的位置之间的距离是否正在减小。监督服务器120基于被包括在传感器数据148a和148中的它们的交通工具位置数据确定第一AV 602a和第二AV 602b正朝着所报告的道路事故前进,其中传感器数据148a可以指示第一AV 602a与所报告的道路事故的位置之间的距离正在减小,并且传感器数据148b可以指示第二AV 602b与所报告的道路事故的位置之间的距离正在减小。作为响应,监督服务器120确定条件136被AV 602a和602b满足。在该示例中,监督服务器120确定第三AV 602c不满足条件136,因为被包括在传感器数据148c中的交通工具位置数据指示第三AV 602c正在驾驶远离所报告的道路事故。
在其他一些场景中,监督服务器120可以确定适用于AV 602的任何数目和组合的一个或多个条件136。在一些情况下,宏信息130可以适用于一辆AV 602。因此,监督服务器120可以确定适用于一辆AV 602的一个或多个条件136,并且针对一辆AV 602生成批量命令132。
示例批量命令
批量命令132通常是包括用于执行最小风险条件(MRC)操纵的一个或多个指令134的命令消息。监督服务器120响应于确定来自多辆AV 602之中的每辆AV 602满足(meet)或满足(fulfill)一个或多个条件136而将批量命令132发送给多辆AV 602。
在一个示例中,MRC操纵134可以包括使AV 602停靠在AV 602当前正在行驶的道路102的一侧的区域上。在图1的示例中,监督服务器120发送给AV 602a的批量命令132包括在道路102的一侧的区域上停靠的指令。
在另一示例中,MRC操纵指令134可以包括使AV 602离开AV 602当前正在其上行驶的高速公路或道路并停止驾驶直到接收到进一步的指令为止。在图1的示例中,监督服务器120发送给AV 602b的批量命令132可以包括离开104并停止驾驶直到接收到进一步指令为止的指令,或者在道路102的一侧的区域上停靠的指令。
在另一示例中,MRC操纵指令134可以包括在AV 602当前正在行驶的车道中减慢AV602。
在一些情况下,批量命令132可以取决于AV 602的当前状态和位置。例如,对于高速公路上的AV 602第一集合,可以包括离开高速公路的指令的第一批量命令132可以被发送,并且对于城市街道或道路102上的AV 602的第二集合,可以包括在道路102的一侧上停靠的指令的第二批量命令132可以被发送。
响应于接收到批量命令132,AV 602可以通过分析传感器数据148并确定存在执行MRC操纵指令134的无障碍路径来确定何时执行MRC操纵指令134是安全的。
示例条件
条件136通常包括可以适用于多辆AV 602的任何条件。例如,条件136可以包括确定AV 602是否正在某种类型的道路102上行驶,包括高速公路、上/下坡道、多车道道路、单车道道路或辅助道路(service road)。在另一示例中,条件136可以包括确定AV 602是否正朝着道路102上的特定方向行驶。在另一示例中,条件136可以包括检测特定类型的施工区是否在距AV 602的阈值距离内。在另一示例中,条件136可以包括确定AV 602是否正在道路102的由特定里程标记指定的一段上行驶。在另一示例中,条件136可以包括确定AV 602是否正在指示区边界的地理围栏中行驶。在另一示例中,条件136可以包括确定AV 602到特定位置的距离是否是特定距离。在另一示例中,条件136可以包括确定被安装在AV 602的控制设备650上的软件应用版本是否是特定软件应用版本。在另一示例中,条件136可以包括确定AV 602是否正在特定天气条件下行驶。在另一示例中,条件136可以包括确定AV 602是否正在特定交通条件下行驶。
条件136可以由远程操作方162和/或监督服务器120定义。定义条件136的过程在图2至4中描述。可以使用AV监控应用150定义条件136。AV监控应用150可以是软件、移动和/或web应用150,其被配置为向用户提供接口以监控AV 602,无论AV 602是否在途中。
AV监控应用150可以通过处理器122执行软件指令138来实现。远程操作方162可以通过使用用户接口126和/或从应用服务器160而从监督服务器120访问AV监控应用150。
根据AV监控应用定义条件
参考图2,示出了与AV监控应用150相关联的AV监控接口210的屏幕截图200。在图2的示例中,AV监控接口210包括用以显示地图212的第一部分202和用以显示AV 214的状态的第二部分204。AV监控接口210还可以包括按钮216,该按钮216在激活时打开图3中所示的批量动作接口页面310。
参考图3,示出了批量动作接口页面310的屏幕截图300。在图3的示例中,批量动作接口页面310包括显示过滤选项以选择和定义条件136的第一部分302,以及显示每个AV602执行批量命令132的进度的第二部分304。
远程操作方162可以选择一个或多个选项来定义条件136。例如,远程操作方162可以通过选择AV 602的组件的位置、软件应用版本、健康数据的指示符、距位置的距离范围、时间范围和/或在地图212上绘制区边界312(参见图4)来定义条件136。每个AV 602执行批量命令132的进度被显示在批量动作接口页面310的第二部分304上。在图4中描述了在地图上定义区边界312的示例。
参考图4,示出了定义区边界312的同时的AV监控应用150的屏幕截图400。区边界312可以以任何形状定义,例如,由地图212上的光标定义。区边界312可以与地理的地理围栏相关联。区边界312还可以与特定时间范围314相关联。例如,条件136可以由区边界312定义,并且批量命令132仅在AV 602处于那个区边界312中时的某个时间范围314期间被传输给AV 602。
在另一示例中,可以定义条件136,使得确定条件136是否适用于AV 602在调度事件范围134期间针对在区边界312内正在行驶的AV 602被执行。在该示例中,如果时间条件136和位置条件136由AV 602满足,则批量命令132到那些AV 602的传输在没有来自远程操作方162的直接控制的情况下被执行。
以此方式,当时间条件136(例如,在时间范围314期间)和位置条件136(例如,当AV602被检测到在区边界中时)被满足时,批量命令132的传输312可以被调度。
返回参考图2,在特定示例中,定义的条件136可以指示在上午8点和上午9点之间,在里程标记十和十五之间的特定道路102上以每小时60英里(mph)的平均速度向东行驶、具有特定的软件应用版本的AV 602应该执行MRC操纵134,例如,停靠。
监督服务器120可以接受在批量动作接口页面310上所选择和定义的条件136。
监督服务器
返回参考图1,上面描述了监督服务器120的实施例的方面,并且下面提供了附加的方面。监督服务器120包括至少一个处理器122、至少一个网络接口124、至少一个用户接口126和至少一个存储器128。监督服务器120可以如图所示或以任何其他合适的配置来配置。
在一个实施例中,监督服务器120可以由可以用于监督AV 602的操作的计算设备的集群来实现。例如,监督服务器120可以由使用分布式计算和/或云计算***的多个计算设备来实现。在另一示例中,监督服务器120可以由一个或多个数据中心中的多个计算设备实现。因此,在一个实施例中,监督服务器120可以包括比控制设备650多的处理能力。监督服务器120与一辆或多辆AV 602及其组件(例如,控制设备650)进行信号通信。在一个实施例中,监督服务器120被配置为确定用于AV 602的特定路线制定计划144。例如,监督服务器120可以确定用于AV 602的特定路线制定计划144,该计划引起减少的驾驶时间和到达该AV602的目的地的较安全的驾驶体验。
在一个实施例中,用于AV 602的导航解决方案或路线制定计划144可以根据交通工具到交通工具(V2V)通信(诸如一个AV 602与另一AV 602)确定。在一个实施例中,用于AV602的导航解决方案或路线制定计划144可以根据交通工具到云(V2C)通信(诸如AV 602与监督服务器120)确定。
在一个实施例中,用于AV 602的批量命令132、导航解决方案和/或路线制定计划144可以通过交通工具到云到人(V2C2H)、交通工具到人(V2H)、交通工具到云到交通工具(V2C2V)、交通工具到人到交通工具(V2H2V)和/或云到云到交通工具(C2C2V)通信来实现,其中在确定用于AV 602的导航解决方案时结合了人工干预。例如,远程操作方162可以审阅宏信息130、批量命令132、条件136、地图数据142、传感器数据148和/或来自用户接口126的其他数据并确认、修改和/或覆写用于AV 602的条件136和批量命令132。远程操作方162可以在确定AV 602的导航计划中添加控制设备650的和/或监督服务器120否则不提供的人的视角。在某些情况下,在安全性、节油等方面,人的视角比机器的视角更优选。
在一个实施例中,用于AV 602的批量命令132可以通过V2V、V2C、V2C2H、V2H、V2C2V、V2H2V、C2C2V通信以及其他类型的通信中的任何组合来实现。
如图1所示,远程操作方162可以经由通信路径164访问应用服务器160,并且类似地,经由通信路径166访问监督服务器120。在一个实施例中,监督服务器120可以例如无线地通过网络110和/或经由有线通信将宏信息130、批量命令132、条件136、传感器数据148、和/或任何其他数据/指令发送给应用服务器160以由远程操作方162审阅。因此,在一个实施例中,远程操作方162可以经由应用服务器160远程访问监督服务器120。
在一个实施例中,监督服务器120可以接收适用于多辆AV 602的宏信息130。例如,监督服务器120可以从第三方源接收宏信息130,诸如实时新闻报道、实时天气报告、实时交通报告、众包交通数据、执法等。在一个实施例中,远程操作方162可以例如通过使用用户接口126从监督服务器120、和/或从应用服务器160访问宏信息130来审阅和确认接收到的宏信息130。响应于接收宏信息130,监督服务器120可以评估每个AV 602是否满足(meet)或满足(fulfill)一个或多个条件136。响应于确定来自多个AV 602之中的一个AV 602满足(meet)或满足(fulfill)一个或多个条件136,监督服务器120向该AV 602发送批量命令132。
处理器122包括可操作地耦合到存储器128的一个或多个处理器。处理器122是任何电子电路***,包括但不限于状态机、一个或多个中央处理单元(CPU)芯片、逻辑单元、核(例如,多核处理器)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或数字信号处理器(DSP)。处理器122可以是可编程逻辑设备、微控制器、微处理器、或者前述的任何合适的组合。处理器122通信地耦合到网络接口124、用户接口126和存储器128并且与网络接口124、用户接口126和存储器128进行信号通信。一个或多个处理器被配置为处理数据并且可以在硬件或软件中实现。例如,处理器122可以是8位、16位、32位、64位或任何其他合适的架构。处理器122可以包括用于执行算术和逻辑运算的算术逻辑单元(ALU)、向ALU供应操作数并存储ALU运算的结果的处理器寄存器、以及从存储器取指指令并且通过指导ALU、寄存器和其他组件的协调操作来执行这些指令的控制单元。一个或多个处理器被配置为实现各种指令。例如,一个或多个处理器被配置为执行软件指令138以实现本文所公开的功能,诸如关于图1至8所描述的那些功能中的一些或全部功能。在一些实施例中,本文描述的功能是使用逻辑单元、FPGA、ASIC、DSP或任何其他合适的硬件或电子电路***来实现的。
网络接口124被配置为实现有线和/或无线通信。网络接口124被配置为在监督服务器120和其他网络设备、***或(多个)域之间传送数据。例如,网络接口124可以包括WIFI接口、局域网(LAN)接口、广域网(WAN)接口、调制解调器、交换机或路由器。处理器122被配置为使用网络接口124发送和接收数据。网络接口124可以被配置为使用任何合适类型的通信协议。
用户接口126可以包括一个或多个用户接口,其被配置为与用户(诸如远程操作方162)交互。远程操作方162可以经由通信路径164访问监督服务器120。用户接口126可以包括监督服务器120的***设备,诸如监控器、键盘、鼠标、触控板、触摸板等。远程操作方162可以使用用户接口126访问存储器128以审阅传感器数据148、宏信息130、批量命令132、条件136,以及被存储在存储器128中的其他数据。
存储器128存储图1至8中描述的任何信息以及当由处理器122执行时可操作以实现本文描述的(多个)功能的任何其他数据、指令、逻辑、规则或代码。例如,存储器128可以存储宏信息130、批量命令132、条件136、软件指令138、对象检测机器学习模块140、地图数据142、路线制定计划144、驾驶指令146、传感器数据148、AV监控应用150,和/或任何其他数据/指令。软件指令138包括代码,该代码当由处理器122执行时使监督服务器120执行本文描述的功能,诸如图1至8中描述的那些功能中的一些或全部功能。存储器128包括一个或多个磁盘、磁带驱动器或固态驱动器,并且可以用作溢出数据存储设备,以在这些程序被选择以供执行时存储这些程序,并且存储在程序执行期间读取的指令和数据。存储器128可以是易失性或非易失性的并且可以包括只读存储器(ROM)、随机存取存储器(RAM)、三进制内容可寻址存储器(TCAM)、动态随机存取存储器(DRAM)和静态随机存储器(SRAM)。存储器128可以包括以下一项或多项:本地数据库、云数据库、网络附接存储(NAS)等。
对象检测机器学习模块140可以通过处理器122执行软件指令138来实现,并且通常被配置为从传感器数据148检测对象和障碍物,包括道路封闭和施工区。对象检测机器学习模块140可以使用神经网络和/或机器学习算法来实现,用于从任何数据类型(诸如图像、视频、红外图像、点云、雷达数据等)检测对象。
在一个实施例中,对象检测机器学习模块140可以使用机器学习算法(诸如支持向量机(SVM)、朴素贝叶斯、逻辑回归、k-最近邻、决策树等)来实现。在一个实施例中,对象检测机器学习模块140可以利用多个神经网络层、卷积神经网络层等,其中这些层的权重和偏置在对象检测机器学习模块140的训练过程中被优化。对象检测机器学习模块140可以由训练数据集训练,该训练数据集包括在每个样本中利用一个或多个对象所标记的数据类型的样本。例如,训练数据集可以包括在每个样本图像中标记有(多个)对象的对象(例如,交通工具、车道标记、行人、路标、障碍物等)的样本图像。类似地,训练数据集可以包括在每个样本数据中标记有(多个)对象的其他数据类型的样本,诸如视频、红外图像、点云、雷达数据等。对象检测机器学习模块140可以通过训练数据集和传感器数据148来训练、测试和精化。对象检测机器学习模块140使用传感器数据148(其没有利用对象标记)来提高它们在检测对象时的预测准确性。例如,监督和/或非监督机器学习算法可以用于验证对象检测机器学习模块140在检测传感器数据148中的对象时的预测。对象检测机器学习模块140也可以在自主驾驶交通工具(AV)602上实现,诸如在机载控制计算机650或自主控制单元648e(参见图6)上。
地图数据142可以包括包含道路102的城市或区域的虚拟地图。在一些示例中,地图数据142可以包括地图758和地图数据库736(对地图758和地图数据库736的描述参见图7)。地图数据142可以包括可驾驶区域(诸如道路102、路径、高速公路)和不可驾驶区域(诸如地形(由占用网格模块760确定,对占用网格模块760的描述参见))。地图数据142可以指定道路标志、车道、车道标记、车道边界、道路边界、交通灯、障碍物等的位置坐标。
路线制定计划144是用于从起始位置(例如,第一AV启动台/着陆台)行驶到目的地(例如,第二AV启动台/着陆台)的计划。例如,路线制定计划144可以按照从起始位置到目的地的特定顺序指定一条或多条街道、道路和高速公路的组合。路线制定计划144可以指定阶段,包括第一阶段(例如,从起始位置移出)、多个中间阶段(例如,沿着一条或多条特定街道/道路/高速公路的特定车道行驶)和最后阶段(例如,进入目的地)。路线制定计划144可以包括关于从起始位置到目的地的路线的其他信息,诸如该路线制定计划144中的道路/交通标志等。
驾驶指令146可以由计划模块762实现(参见图7中计划模块762的描述)。驾驶指令146可以包括指令和规则,用于根据路线制定计划144的每个阶段的驾驶规则调整AV 602的自主驾驶。例如,驾驶指令146可以包括用于以下的指令:保持在由AV 602行驶的道路102的速度范围内,相对于由传感器646观察到的变化调整AV 602的速度,诸如周围交通工具的速度、传感器646的检测区内的对象等。
宏信息130可以包括地图数据142中的道路/街道/高速公路的交通数据。监督服务器120可以使用由一个或多个测绘交通工具(诸如无人机)收集的宏信息130。监督服务器120可以使用从任何源捕获的宏信息130,诸如从外部源(例如和Google)捕获的众包交通数据、实时交通报告等。
应用服务器
应用服务器160通常是被配置为经由网络110与其他设备(诸如其他服务器(例如,监督服务器120)、AV 602、数据库等)通信的任何计算设备。应用服务器160被配置为执行本文中描述的功能并且与远程操作方162交互,例如,经由使用其用户接口的通信路径164。应用服务器160的示例包括但不限于台式计算机、膝上型计算机、服务器等。在一个示例中,应用服务器160可以充当远程操作方162从其访问监督服务器120的表示层。这样,监督服务器120可以例如经由网络110向应用服务器160发送传感器数据148、宏信息130、批量命令132、条件136和/或任何其他数据/指令。远程操作方162,在与应用服务器160建立通信路径164之后,可以审阅接收到的数据并且确认、修改和/或覆写批量命令132和/或条件136,如下所述。
操作流程
接收宏信息
在一个实施例中,***100的操作流程在监督服务器120接收到适用于多辆AV 602的宏信息130时开始。监督服务器120可以从第三方源接收宏信息130,包括实时新闻报道、实时交通报告、实时天气报告、执法等。例如,监督服务器120可以接收与多辆AV 602正在行驶的区域相关联的可能影响多辆AV 602的自主驾驶的天气数据和交通数据。
监督服务器120还可以从一辆或多辆AV 602接收宏信息130。例如,与AV 602相关联的控制设备650可以检测AV 602的交通工具健康数据指示AV 602(或AV 602的组件)的健康百分比小于阈值百分比(诸如小于70%,60等)。上面描述了宏信息130的其他示例。
生成批量命令
监督服务器120基于宏信息130生成批量命令132。当处理器122执行软件指令138时,监督服务器120生成批量命令132。批量命令132与一个或多个条件136相关联。
一个或多个条件136可以由远程操作方162使用AV监控应用150来定义,类似于图2至4中所描述的。
监督服务器120可以接受在AV监控应用150上所选择的一个或多个条件136。来自一个或多个条件136之中的条件136可以是基于时区的(例如,时间敏感的或基于调度的),使得条件136在一天中的特定时间或在特定的时间范围内(例如,时间范围314(参见图4))被调度以针对每个AV 602被验证。来自一个或多个条件136之中的条件136可以是基于位置的,使得条件136在当AV 602驶入某个区边界(例如,区边界312(参见图4))时针对每个AV602被验证。来自一个或多个条件136中的条件136可以是即时的(例如,每个AV关于该条件的状态被立即查询),使得监督服务器120在监督服务器120接收宏信息130时确定AV 602是否满足条件136,例如在条件136是用于确定被安装在AV 602上的软件应用的版本是否是特定版本的情况下。
批量命令132包括MRC操纵指令134,与上述类似。批量命令132还可包括将批量命令132提供或转发给一辆或多辆其他AV 602的指令。
确定AV是否满足一个或多个条件。
监督服务器120可以针对来自AV 602的机队之中的每个AV 602执行下述操作。在图1的示例中,监督服务器120可以针对AV 602a、602b和602c执行这些操作。
监督服务器120确定AV 602是否满足一个或多个条件136。在这个过程中,监督服务器120从AV 602接收或接受传感器数据148。传感器数据148可以包括交通工具健康数据和交通工具位置数据。每个AV 602可以包括交通工具传感器子***644(参见图6),其包括被配置为提供交通工具健康数据的至少一个传感器646,以及被配置为提供交通工具位置数据的全球定位***(GPS)单元646g(参见图6)。基于接收到的传感器数据148,监督服务器120确定健康数据(例如,健康百分比)和AV 602的位置坐标。
监督服务器120将AV 602的健康数据与健康相关条件136相比较。例如,假设健康相关条件136是AV 602的健康是否小于AV 602的最佳性能的阈值(例如,70%、60%等)和/或和/或小于AV 602的最佳功能的70%、60%等,监督服务器120通过确定AV 602的健康是否小于阈值来确定AV 602是否满足健康相关条件136。
监督服务器120还将AV 602的位置坐标与位置相关条件136相比较。例如,假设位置相关条件136是AV 602是否正在特定区域、城市、邮政编码、区边界312(参见图4)中行驶,监督服务器120通过确定AV 602是否正在位置相关条件136中定义的特定区域、城市、邮政编码、区边界312(参见图4)中行驶,来确定AV 602是否满足位置相关条件136。
在一个实施例中,监督服务器120基于AV 602的交通工具健康数据、AV 602的交通工具位置数据、针对AV 602正在其中行驶的区域的天气数据、以及针对AV 602正在其中行驶的区域的交通数据来确定AV 602的机队中的AV 602何时已经满足一个或多个条件136。响应于确定AV 602满足条件136,监督服务器120将批量命令132发送给AV 602。AV 602经由其控制设备650从监督服务器120接受批量命令132。
基于各种宏信息的不同批量命令的示例场景
在宏信息130指示被安装在控制设备650上的特定软件应用版本中的安全性漏洞的示例中,条件136是特定软件应用版本是否被安装在AV 602上。批量命令132可以包括下载安全性补丁和/或更新软件应用。
在检测交通事件的示例中,条件136是AV 602是否正在交通事件的方向上行驶。批量命令132可以包括停靠、重新制定路线或减慢AV 602的指令。
在检测恶劣天气的示例中,条件136是AV 602是否正在恶劣天气的方向上行驶。批量命令132可以包括停靠、重新制定路线或减慢AV 602的指令。
在检测AV 602的低健康的示例中,条件136是AV 602的健康数据是否指示AV 602的健康指示符低于阈值。批量命令132可以包括停靠或重新制定路线到AV着陆台的指令,在该AV着陆台处AV 602可以由技术人员诊断和修理。
在检测路线(例如,道路102)上的政府规定中的改变的示例中,条件136是AV 602是否正在政府规定被改变的方向上行驶。批量命令132包括停靠、重新制定路线或遵循新规定的指令。
在检测有缺陷的组件(硬件和/或软件模块)的示例中,条件136是有缺陷的组件是否被安装在AV 602中。批量命令132可以包括停靠或重新制定路线到AV着陆台的指令。
AV 602通过利用传感器数据148和由其子***640(参见图6)收集和生成的控制指令来执行批量命令132。当与AV 602相关联的控制设备650确定执行批量命令132是安全的时,AV 602执行批量命令132。
控制设备650基于分析传感器数据148来确定执行批量命令132是安全的,传感器数据148包括道路102上和周围的对象的位置。例如,当控制设备650基于分析传感器数据148确定用以执行MRC操纵134的路径是无障碍的,则AV 602执行批量命令132。AV 602可以等待直到用以执行MRC操纵134的路径是无障碍的为止。
例如,AV 602可以基于传感器数据148检测道路102上特定位置处的对象。AV 602在第一时间戳确定对象是否阻止或阻碍执行MRC操纵134。响应于确定对象在第一时间戳阻止或阻碍执行MRC操纵134,AV 602继续驾驶直到AV 602经过对象为止。然后,响应于确定用以执行MRC操纵134的路径是无障碍的,AV 602在第二时间戳执行MRC操纵134。AV 602可以向监督服务器120发送确认消息,该确认消息指示执行批量命令132的完成。作为回报,监督服务器120从AV 602接收确认消息。
尽管图1描述了关于多辆AV 602的实施例,但是本领域普通技术人员将认识到其他实施例。例如,宏信息130可以适用于一辆AV 602。因此,监督服务器120可以基于宏信息130生成针对该AV 602的批量命令132,并将批量命令132发送给AV 602,类似于上面描述的。因此,本文描述的***和方法可以适用于具有一辆AV 602和一个监督服务器120(以及可选地远程操作方162)的***。
AV监控应用的示例屏幕截图
图2示出了与AV监控应用150相关联的AV监控接口210的屏幕截图200。如上所述,AV监控接口210包括用以显示地图212的第一部分202和用以显示AV 214的状态的第二部分204。在地图212上,示出了正在道路102上行驶的AV 602。
在第二部分204上,显示关于每辆AV 602的信息,诸如名称、交通工具型号、当前状态(例如,在途中、停止等)、标识符编号、任务号、开始位置、开始时间、目的地、估计到达时间、行程行驶时间、速度、检测到的故障代码(如果有)和/或与AV 602及其路线相关的任何其他信息。
图3示出了批量动作接口页面310的屏幕截图300。如上所述,批量动作接口页面310包括显示选择和定义条件136的过滤选项的第一部分302、和显示每个AV 602执行批量命令132的进度的第二部分304。上面关于图1描述了批量动作接口页面310的方面。
图4示出了针对一个或多个条件136定义区边界312和时间范围314的屏幕截图400。区边界312可以由地图212上的光标定义为任何形状。时间范围314可以是任何时间段,诸如从星期一的上午8点到上午9点,从特定时间开始的2个小时内等。
用于将批量命令传送给多辆AV的示例方法
图5示出了用于将批量命令132传送给多辆AV 602的方法500的示例流程图。可以对方法500进行修改、添加或省略。方法500可以包括更多、更少或其他步骤。例如,可以并行或以任何合适的顺序执行步骤。虽然有时讨论为AV 602、监督服务器120、控制设备650或其任何组件执行步骤,但任何合适的***或***的组件可以执行方法500的一个或多个步骤。例如,方法500的一个或多个步骤可以至少部分地以相应地来自图1和6的软件指令138和处理指令680的形式实现,软件指令138和处理指令680存储在非瞬态有形机器可读介质(例如,相应地来自图1、6和8的存储器128、690和802)上,在由一个或多个处理器(例如,相应地来自图1、6和8的处理器122、670、804)运行时可以使一个或多个处理器执行步骤502至512。
方法500开始于步骤502,其中监督服务器120接收适用于来自AV 602的机队之中的多辆AV 602的宏信息130。监督服务器120可以从第三方源接收宏信息130,包括实时新闻报道、实时天气报告、实时交通报告、众包交通数据、执法等。例如,宏信息130可以与特定区域和/或特定时间段相关。在另一示例中,宏信息130可以与被安装在AV 602上的软件模块和/或硬件模块有关。宏信息130的示例在图1中描述。
在步骤504,监督服务器120基于宏信息130生成批量命令132,其中批量命令132与一个或多个条件136相关联。监督服务器120可以在处理器122执行软件指令138时生成批量命令132。批量命令132可以包括用于执行MRC操纵134的指令。MRC操纵134的示例在上面关于图1所示的***进行了描述。一个或多个条件136的示例也在上文关于图1进行了描述。一个或多个条件136由远程操作方162使用AV监控应用150定义,类似于图2至4中所描述的。
在步骤506,监督服务器120从AV 602的队列之中选择AV 602。监督服务器120迭代地选择AV 602,直到没有剩下更多的AV 602以供评估为止。
在步骤508,监督服务器120确定AV 602是否满足一个或多个条件136。例如,监督服务器120接收包括AV 602的交通工具位置数据和交通工具健康数据的传感器数据148,并且基于传感器数据148、由AV 602行驶的道路102的天气数据和由AV 602行驶的道路102的交通数据,监督服务器120确定AV 602是否满足一个或多个条件136,类似于图1中所描述的。如果监督服务器120确定AV 602满足一个或多个条件136,则方法500进行到步骤510。否则,方法500进行到步骤512。
在步骤510,监督服务器120将批量命令132发送给AV 602。例如,监督服务器120可以使用V2C通信发送批量命令132。
在步骤512,监督服务器120确定是否选择另一个AV 602。如果监督服务器120确定剩下至少一个AV 602以供评估,则监督服务器120选择另一AV 602。如果监督服务器120确定选择另一AV 602,则方法500返回到步骤506。否则,方法500终止。
示例AV及其操作
图6显示了示例交通工具生态***600的框图,其中可以确定自主驾驶操作。如图6所示,AV 602可以是半挂式卡车。交通工具生态***600包括若干***和组件,其可以生成和/或向可能位于AV 602中的机载控制计算机650传递一个或多个信息/数据源和相关服务。机载控制计算机650可以与多个交通工具子***640进行数据通信,所有这些交通工具子***640都可以驻留在AV 602中。提供交通工具子***接口660以促进机载控制计算机650和多个交通工具子***640之间的数据通信。在一些实施例中,交通工具子***接口660可以包括控制器局域网(CAN)控制器以与交通工具子***640中的设备通信。
AV 602可以包括支持AV 602的操作的各种交通工具子***。交通工具子***640可以包括交通工具驱动子***642、交通工具传感器子***644、交通工具控制子***648和/或网络通信子***692。图6中所示的交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648的组件或设备是示例。AV 602可以如图所示或如任何其他配置而被配置。
交通工具驱动子***642可以包括可操作以针对AV 602提供动力运动的组件。在示例实施例中,交通工具驱动子***642可以包括发动机/马达642a、车轮/轮胎642b、变速器642c、电动子***642d和功率源642e。
交通工具传感器子***644可以包括多个传感器646,其被配置为感测关于AV 602的环境或条件的信息。交通工具传感器子***644可以包括一个或多个摄像头646a或图像捕获设备、雷达单元646b、一个或多个温度传感器646c、无线通信单元646d(例如,蜂窝通信收发器)、惯性测量单元(IMU)646e、激光测距仪/LiDAR单元646f、全球定位***(GPS)收发器646g、和/或雨刮器控制***646h。交通工具传感器子***644还可以包括被配置为监控AV 602的内部***的传感器(例如,O2监控器、燃油表、发动机油温等)。
IMU 646e可以包括传感器(例如,加速度计和陀螺仪)的任何组合,这些传感器被配置为基于惯性加速度感测AV 602的位置和方向变化。GPS收发器646g可以是被配置为估计AV 602的地理位置的任何传感器。为此目的,GPS收发器646g可以包括接收器/发射器,其可操作以提供关于AV 602相对于地球的位置的信息。雷达单元646b可以表示利用无线电信号来感测AV 602的本地环境内的对象的***。在一些实施例中,除了感测对象之外,雷达单元646b另外地可以被配置为感测靠近AV 602的对象的速度和航向。激光测距仪或LiDAR单元646f可以是被配置为使用激光感测AV 602所在环境中的对象的任何传感器。相机646a可以包括被配置为捕获AV 602的环境的多个图像的一个或多个设备。相机646a可以是静止图像相机或运动视频相机。
交通工具控制子***648可以被配置为控制AV 602及其组件的操作。因此,交通工具控制子***648可以包括各种元件,诸如油门和档位选择器648a、制动单元648b、导航单元648c、转向***648d、和/或自主控制单元648e。油门和档位选择器648a可以被配置为控制例如发动机的操作速度,并且进而控制AV 602的速度。油门和档位选择器648a可以被配置为控制发动机的档位选择。制动单元648b可以包括被配置为使AV 602减速的机构的任何组合。制动单元648b可以以标准方式减慢AV,包括通过使用摩擦来减慢车轮或发动机制动。制动单元648b可以包括防抱死制动***(ABS),当施加制动时,该防抱死制动***可以防止制动器抱死。导航单元648c可以是被配置为确定用于AV 602的驾驶路径或路线的任何***。导航单元648c另外可以被配置为在AV 602处于操作的同时动态地更新驾驶路径。在一些实施例中,导航单元648c可以被配置为合并来自GPS收发器646g的数据和一个或多个预定地图,以便确定用于AV 602的驾驶路径(例如,沿着图1的道路102)。转向***648d可以表示可操作以在自主模式或驾驶员控制模式下调整AV 602的航向的任何机构组合。
自主控制单元648e可以表示控制***,该控制***被配置为标识、评估和避免或以其他方式协商AV 602的环境中的潜在障碍物或障碍。通常,自主控制单元648e可以被配置为控制AV 602用于在没有驾驶员的情况下操作或在控制AV 602时提供驾驶员辅助。在一些实施例中,自主控制单元648e可以被配置为合并来自GPS收发器646g、雷达单元646b、LiDAR单元646f、相机646a和/或其他交通工具子***的数据以确定用于AV 602的驾驶路径或轨迹。
网络通信子***692可以包括网络接口,诸如路由器、交换机、调制解调器等。网络通信子***692被配置为在AV 602和包括图1的监督服务器120的其他***之间建立通信。网络通信子***692还被配置为向其他***发送数据以及从其他***接收数据。例如,网络通信子***692可以被配置为从监督服务器120(参见图1)接收批量命令132(参见图1)并且将传感器数据148(参见图1)发送给监督服务器120(参见图1)。
AV 602的许多或所有功能可以由机载控制计算机650控制。机载控制计算机650可以包括至少一个数据处理器670(其可以包括至少一个微处理器),该至少一个数据处理器670执行被存储在非瞬态计算机可读介质(诸如数据存储设备690或存储器)中的处理指令680。机载控制计算机650还可以表示可以用于以分布式方式控制AV 602的个体组件或子***的多个计算设备。在一些实施例中,数据存储设备690可以包含由数据处理器670可执行以执行AV 602的各种方法和/或功能的处理指令680(例如,程序逻辑),包括关于图1至8描述的那些。
数据存储设备690也可以包含附加指令,包括用于以下的指令:向交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648中的一个或多个传输数据,从交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648中的一个或多个接收数据,与交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648中的一个或多个交互,或者控制交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648中的一个或多个。机载控制计算机650可以被配置为包括数据处理器670和数据存储设备690。机载控制计算机650可以基于从各种交通工具子***(例如,交通工具驱动子***642、交通工具传感器子***644和交通工具控制子***648)接收的输入来控制AV 602的功能。
图7示出了用于提供精确的自主驾驶操作的示例性***700。***700包括可以在机载控制计算机650中操作的多个模块,如图6中所描述的。机载控制计算机650包括图7的左上角所示的传感器融合模块702,其中传感器融合模块702可以执行至少四个图像或信号处理操作。传感器融合模块702可以从位于自主驾驶交通工具上的相机获得图像,以执行图像分割704来检测移动对象(例如,其他交通工具、行人等)和/或位于自主驾驶交通工具周围的静态障碍物(例如停车标志、减速带、地形等)的存在。传感器融合模块702可以从位于自主驾驶交通工具上的LiDAR传感器获得LiDAR点云数据项,以执行LiDAR分割706来检测位于自主驾驶交通工具周围的对象和/或障碍物的存在。
传感器融合模块702可以对图像和/或点云数据项执行实例分割708,以标识对象周围的轮廓(例如,框)和/或位于自主驾驶交通工具周围的障碍物。传感器融合模块702可以执行时间融合710,其中来自一个图像和/或一帧点云数据项的对象和/或障碍物与来自在时间上随后接收到的一个或多个图像或帧的对象和/或障碍物相关或相关联。
传感器融合模块702可以融合来自从相机获得的图像和/或从LiDAR传感器获得的点云数据项的对象和/或障碍物。例如,传感器融合模块702可以基于两个相机的位置确定来自相机中的一个相机的、包括位于自主驾驶交通工具的前面的交通工具的一半的图像与由另一相机捕获的交通工具所位于的图像相同。传感器融合模块702将融合的对象信息发送给干扰模块746,并且将融合的障碍物信息发送到占用网格模块760。机载控制计算机包括占用网格模块760,其可以从被存储在机载控制计算机中的地图数据库758中获取地标。占用网格模块760可以根据从传感器融合模块702获得的融合障碍物和地图数据库758中所存储的地标来确定可驾驶区域和/或障碍物。例如,占用网格模块760可以确定可驾驶区域可以包括减速带障碍物。
在传感器融合模块702下方,机载控制计算机650包括基于LiDAR的对象检测模块712,该基于LiDAR的对象检测模块712可以基于从位于自主驾驶交通工具上的LiDAR传感器714获得的点云数据项来执行对象检测716。对象检测716技术可以提供来自点云数据项的对象的位置(例如,在3D世界坐标中)。在基于LiDAR的对象检测模块712下方,机载控制计算机包括基于图像的对象检测模块718,该基于图像的对象检测模块718可以基于从位于自主驾驶交通工具上的相机720获得的图像来执行对象检测724。对象检测718技术可以采用深度机器学习技术724来根据由相机720提供的图像提供对象的位置(例如,在3D世界坐标中)。
自主驾驶交通工具上的雷达756可以扫描自主驾驶交通工具的前面的区域或自主驾驶交通工具正在驶向的区域。雷达数据被发送给传感器融合模块702,传感器融合模块702可以使用雷达数据将由雷达756检测到的对象和/或障碍物与从LiDAR点云数据项和相机图像两者检测到的对象和/或障碍物相关。雷达数据也被发送给干扰模块746,干扰模块746可以对雷达数据执行数据处理以通过对象跟踪模块748跟踪对象,如下文进一步描述。
机载控制计算机包括干扰模块746,干扰模块746接收来自点云的对象和来自图像的对象的位置,以及来自传感器融合模块702的融合对象的位置。干扰模块746还接收雷达数据,利用该雷达数据,干扰模块746可以通过对象跟踪模块748从在一个时间实例获得的一个点云数据项和一个图像到在另一随后时间实例获得的另一(或下一个)点云数据项和另一个图像来跟踪对象。
干扰模块746可以执行对象属性估计750以估计在图像或点云数据项中检测到的对象的一个或多个属性。对象的一个或多个属性可以包括对象的类型(例如,行人、汽车或卡车等)。干扰模块746可以执行行为预测752以估计或预测在图像和/或点云中检测到的对象的运动模式。可以执行行为预测752以检测对象在不同时间点接收到的一组图像(例如,连续图像)中或在不同时间点接收到的一组点云数据项(例如,连续点云数据项)中的位置。在一些实施例中,可以针对从相机接收到的每个图像和/或从LiDAR传感器接收到的每个点云数据项执行行为预测752。在一些实施例中,干扰模块746可以被执行(例如,运行或执行)以通过每隔一个或在从相机接收到的每个预定数目的图像或从LiDAR传感器接收的点云数据项之后执行行为预测752来减少计算负载(例如,每两个图像之后或每三个点云数据项之后)。
行为预测752特征可以从雷达数据确定围绕自主驾驶交通工具的对象的速度和方向,其中速度和方向信息可以用于预测或确定对象的运动模式。运动模式可以包括在图像从相机被接收之后的未来的预定时间长度内对象的预测轨迹信息。基于预测的运动模式,干扰模块746可以将运动模式情境标签指派给对象(例如,“位于坐标(x,y)”、“停止”、“以50mph的速度行驶”、“加速”或“减慢”)。情境标签可以描述对象的运动模式。干扰模块746将一个或多个对象属性(例如,对象的类型)和运动模式情境标签发送给计划模块762。干扰模块746可以使用由***700获取的任何信息及其组件的任何数目和组合来执行环境分析754。
机载控制计算机包括计划模块762,计划模块762从干扰模块746接收对象属性和运动模式情境标签、可行驶区域和/或障碍物,并且从融合定位模块726接收交通工具位置和姿态信息(下面进一步描述)。
计划模块762可以执行导航计划764以确定自主驾驶交通工具可以在其上驾驶的轨迹的集合。该轨迹的集合可以基于可驾驶区域信息、对象的一个或多个对象属性、对象的运动模式情境标签、障碍物的位置、以及可驾驶区域信息来确定。在一些实施例中,导航计划764可以包括确定在紧急情况下自主驾驶交通工具可以安全停放的道路旁边的区域。计划模块762可以包括行为决策制定766,以响应于确定道路上的变化条件(例如,交通灯变黄,或自主驾驶交通工具因为另一辆车驾驶在自主驾驶交通工具的前面,并且在自主驾驶交通工具的位置的预定安全距离内的区域内而处于不安全驾驶条件下)来确定驾驶动作(例如,转向、制动、油门)。计划模块762执行轨迹生成768以及从由导航计划操作764确定的轨迹集合中选择轨迹。所选择的轨迹信息由计划模块762发送给控制模块770。
机载控制计算机包括控制模块770,控制模块770从计划模块762接收所建议的轨迹并且从融合定位模块726接收自主驾驶交通工具位置和姿态。控制模块770包括***标识符772。控制模块770可以执行基于模型的轨迹精化774以精化所建议的轨迹。例如,控制模块770可以应用滤波(例如,卡尔曼滤波器)以使所建议的轨迹数据平滑和/或最小化噪声。控制模块770可以通过基于精化的所建议的轨迹信息和自主驾驶交通工具的当前位置和/或姿态来确定要施加的制动压力的量、转向角、油门量来执行鲁棒控制776,以控制交通工具的速度和/或变速器档位。控制模块770可以将确定的制动压力、转向角、油门量和/或变速器档位发送给自主驾驶交通工具中的一个或多个设备,以控制和促进自主驾驶交通工具的精确驾驶操作。
由基于图像的对象检测模块718执行的基于深度图像的对象检测724还可以用于检测道路(例如,图1的道路102)上的地标(例如,停车标志、减速带等)。机载控制计算机包括融合定位模块726,融合定位模块726获得从图像中检测到的地标、从被存储在机载控制计算机上的地图数据库736获得的地标、由基于LiDAR的对象检测模块712从点云数据项检测到的地标、来自里程计传感器744的速度和位移、以及来自位于自主驾驶交通工具上或之中的GPS/IMU传感器738(即,GPS传感器740和IMU传感器742)的自主驾驶交通工具的估计的位置。基于该信息,融合定位模块726可以执行定位操作728以确定自主驾驶交通工具的位置,该位置可以被发送给计划模块762和控制模块770。
融合定位模块726可以基于GPS和/或IMU传感器738估计自主驾驶交通工具的姿态730。自主驾驶交通工具的姿态可以被发送给计划模块762和控制模块770。融合定位模块726还可以基于(例如,拖车状态估计734)例如由IMU传感器742提供的信息(例如,角速率和/或线速度)估计拖车单元的状态(例如,位置、可能的移动角度)。融合定位模块726还可以检查地图内容732。
图8示出了被包括在自主AV 602中的机载控制计算机650的示例性框图。机载控制计算机650包括至少一个处理器804和其上存储有指令(例如,相应地在图1和图6中的软件指令138和处理指令680)的存储器802。指令在由处理器804执行时,配置机载控制计算机650和/或机载控制计算机650的各种模块以执行图1至7中描述的操作。发射器806向自主驾驶交通工具中的一个或多个设备传输或发送信息或数据。例如,发射器806可以向转向盘的一个或多个马达发送指令以使自主驾驶交通工具转向。接收器808接收由一个或多个设备传输或发送的信息或数据。例如,接收器808从里程计传感器接收当前速度的状态或者从变速器接收当前变速器档位的状态。发射器806和接收器808还被配置为与以上在图6和7中描述的多个交通工具子***640和机载控制计算机650通信。
虽然在本公开中已经提供了若干实施例,但应当理解,在不脱离本公开的精神或范围的情况下,所公开的***和方法可以以许多其他特定形式体现。本示例应被认为是说明性的而非限制性的,并且其意图不限于本文给出的细节。例如,可以将各种元件或组件组合或集成到另一***中,或者可以省略或不实现某些特征。
此外,在不脱离本公开的范围的情况下,在各个实施例中描述和示出为分立或分开的技术、***、子***和方法可以与其他***、模块、技术或方法组合或集成。示出或讨论为彼此耦合或直接耦合或通信的其他项目可以通过某个接口、设备或中间组件间接耦合或通信,无论是电气、机械还是其他方式。改变、替换和变更的其他示例是本领域技术人员可以确定的并且可以在不脱离本文公开的精神和范围的情况下进行。
为了帮助专利局和关于本申请发布的任何专利的任何读者解释所附权利要求,申请人指出,他们不旨在如其在提交之日存在的将任何所附权利要求援引35U.S.C.§112(f),除非在特定权利要求中明确使用词语“用于……的部件”或“用于……的步骤”。
可以鉴于以下条款来描述本公开的实现,其特征可以以任何合理的方式组合。
1.一种用于指令自主驾驶交通工具执行最小风险条件操纵的***,该***包括:
机队,包括两辆或更多辆自主驾驶交通工具;以及
监督服务器,被配置为与机队中的每辆自主驾驶交通工具通信;
其中机队中的每辆自主驾驶交通工具包括:
交通工具传感器子***,包括:
至少一个传感器,被配置为提供交通工具健康数据;以及
GPS单元,用于提供交通工具位置数据;
交通工具驱动子***;
交通工具控制子***;以及
机载控制计算机,包括网络通信子***;并且
其中监督服务器被配置为:
接收适用于来自机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于宏信息生成批量命令,其中批量命令与一个或多个条件相关联;
针对来自机队之中的每辆自主驾驶交通工具:
确定自主驾驶交通工具是否满足一个或多个条件;以及
响应于确定自主驾驶交通工具满足一个或多个条件,向自主驾驶交通工具发送批量命令,其中批量命令包括用于执行最小风险条件操纵的指令。
2.条款1的***,其中批量命令还包括用于将该批量命令提供给机队中的一辆或多辆其他自主驾驶交通工具的指令。
3.条款1的***,其中最小风险条件操纵包括以下中的至少一项:
在自主驾驶交通工具当前正在行驶的车道上减慢自主驾驶交通工具;
使自主驾驶交通工具停靠在自主驾驶交通工具当前正在行驶的道路的一侧的区域;以及
使自主驾驶交通工具离开自主驾驶交通工具当前正在行驶的高速公路或道路并且停止驾驶,直到接收进一步的指令为止。
4.条款1的***,其中监督服务器被配置为接受在用户接口上所选择的一个或多个条件。
5.条款1的***,其中监督服务器还被配置为:
从机队中的每辆自主驾驶交通工具接受交通工具健康数据和交通工具位置数据;以及
基于以下中的至少一项确定机队的自主驾驶交通工具何时已经满足一个或多个条件:
由每辆自主驾驶交通工具提供的交通工具健康数据;
由每辆自主驾驶交通工具提供的交通工具位置数据;
针对每辆自主驾驶交通工具正在行驶的区域的天气数据;以及
针对每辆自主驾驶交通工具正在行驶的区域的交通数据。
6.条款1的***,其中机队的至少一辆自主驾驶交通工具被配置为:
经由与自主驾驶交通工具相关联的机载控制计算机,从监督服务器接受批量命令;以及
通过利用传感器数据和控制指令来执行批量命令,传感器数据和控制指令由与自主驾驶交通工具相关联的子***收集和生成。
7.条款2的***,其中自主驾驶交通工具被配置为向一辆或多辆其他自主驾驶交通工具发送批量命令。
8.一种用于指令自主驾驶交通工具执行最小风险条件操纵的方法,方法包括:
接收适用于来自自主驾驶交通工具的机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于宏信息生成批量命令,其中批量命令与一个或多个条件相关联;
针对来自机队之中的每辆自主驾驶交通工具:
确定自主驾驶交通工具是否满足一个或多个条件;以及
响应于确定自主驾驶交通工具满足一个或多个条件,向自主驾驶交通工具发送批量命令,其中批量命令包括用于执行最小风险条件操纵的指令。
9.条款8的方法,其中宏信息包括以下中的至少一项:
多辆自主驾驶交通工具正在行驶的特定区域中的天气数据;
与特定区域相关联的交通数据;
在与自主驾驶交通工具相关联的机载控制计算机上所安装的软件应用的版本上检测的潜在安全性漏洞;
与特定区域相关联的政府路线制定规定的变化;
在多辆自主驾驶交通工具上所安装的组件中的缺陷;以及
与多辆自主驾驶交通工具相关联的健康数据中的降级。
10.条款8的方法,其中一个或多个条件是基于时区的,使得一个或多个条件被调度为在特定时间范围内针对自主驾驶交通工具被验证。
11.条款8的方法,其中一个或多个条件是基于位置的,使得一个或多个条件在自主驾驶交通工具驶入特定的区边界时针对自主驾驶交通工具被验证。
12.条款8的方法,其中一个或多个条件是即时的,使得监督服务器在监督服务器接收到宏信息时确定自主驾驶交通工具是否满足一个或多个条件。
13.条款8的方法,其中一个或多个条件包括以下中的至少一项:
确定自主驾驶交通工具是否正在特定类型的道路上行驶,特定类型的道路包括高速公路、上下坡道、多车道道路、单车道道路、或者辅助道路;
确定自主驾驶交通工具是否正在道路上的特定方向上行驶;
检测特定类型的施工区是否在距自主驾驶交通工具的阈值距离内;
确定自主驾驶交通工具是否正在道路的由特定里程标记指定的一段上行驶;
确定自主驾驶交通工具是否正在指示区边界的地理围栏中行驶;
确定自主驾驶交通工具与特定位置之间的距离是否是特定距离;
确定自主驾驶交通工具上所安装的软件应用版本是否是特定版本;
确定自主驾驶交通工具是否正在特定天气条件下行驶;以及
确定自主驾驶交通工具是否正在特定交通条件下行驶。
14.条款8的方法,其中宏信息从第三方源被接收,第三方源包括实时新闻报道、实时交通报告、实时天气报告、或者执法。
15.一种计算机程序,包括被存储在非瞬态计算机可读介质中的可执行指令,该可执行指令在由一个或多个处理器执行时使一个或多个处理器:
接收适用于来自自主驾驶交通工具的机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于宏信息生成批量命令,其中批量命令与一个或多个条件相关联;
针对机队中的每辆自主驾驶交通工具:
确定自主驾驶交通工具是否满足一个或多个条件;以及
响应于确定自主驾驶交通工具满足一个或多个条件,向自主驾驶交通工具发送批量命令,其中批量命令包括用于执行最小风险条件操纵的指令。
16.条款15的计算机程序,其中:
一个或多个条件中的至少一个条件由自主驾驶交通工具检测,以及;
至少一个条件包括:
确定潜在地使自主驾驶交通工具的健康降级的故障代码是否被检测到,以及
确定自主驾驶交通工具中所安装的物理组件中的缺陷是否被检测到。
17.条款15的计算机程序,其中指令在由一个或多个处理器执行时,还使一个或多个处理器从自主交通工具接收自主驾驶交通工具执行了最小风险条件操纵的确认消息。
18.条款15的计算机程序,其中指令在由一个或多个处理器执行时,还使一个或多个处理器:
至少部分地基于传感器数据来检测由自主驾驶交通工具行驶的道路上的对象;
确定对象是否在第一时间戳处阻止执行最小风险条件操纵;
响应于确定对象在第一时间戳处阻止执行最小风险条件操纵:
继续行驶,直到自主驾驶交通工具经过对象为止;以及
在第二时间戳处执行最小风险条件操纵。
19.条款15的计算机程序,其中自主驾驶交通工具包括至少一个传感器,至少一个传感器包括相机、光探测和测距LiDAR传感器、运动传感器、或者红外传感器。
20.条款15的计算机程序,其中自主驾驶交通工具是被附接到拖车的牵引机单元。
Claims (20)
1.一种用于指令自主驾驶交通工具执行最小风险条件操纵的***,所述***包括:
机队,包括两辆或更多辆自主驾驶交通工具;以及
监督服务器,被配置为与所述机队中的每辆自主驾驶交通工具通信;
其中所述机队中的每辆自主驾驶交通工具包括:
交通工具传感器子***,包括:
至少一个传感器,被配置为提供交通工具健康数据;以及
GPS单元,用于提供交通工具位置数据;
交通工具驱动子***;
交通工具控制子***;以及
机载控制计算机,包括网络通信子***;并且
其中所述监督服务器被配置为:
接收适用于来自所述机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于所述宏信息生成批量命令,其中所述批量命令与一个或多个条件相关联;
针对来自机队之中的每辆自主驾驶交通工具:
确定所述自主驾驶交通工具是否满足所述一个或多个条件;以及
响应于确定所述自主驾驶交通工具满足所述一个或多个条件,向所述自主驾驶交通工具发送所述批量命令,其中所述批量命令包括用于执行最小风险条件操纵的指令。
2.根据权利要求1所述的***,其中所述批量命令还包括用于将所述批量命令提供给所述机队中的一辆或多辆其他自主驾驶交通工具的指令。
3.根据权利要求1所述的***,其中所述最小风险条件操纵包括以下中的至少一项:
在所述自主驾驶交通工具当前正在行驶的车道上减慢所述自主驾驶交通工具;
使所述自主驾驶交通工具停靠在所述自主驾驶交通工具当前正在行驶的道路的一侧的区域;以及
使所述自主驾驶交通工具离开所述自主驾驶交通工具当前正在行驶的高速公路或道路并且停止驾驶,直到接收进一步的指令为止。
4.根据权利要求1所述的***,其中所述监督服务器被配置为接受在用户接口上所选择的所述一个或多个条件。
5.根据权利要求1所述的***,其中所述监督服务器还被配置为:
从所述机队中的每辆自主驾驶交通工具接受所述交通工具健康数据和所述交通工具位置数据;以及
基于以下中的至少一项,确定所述机队的自主驾驶交通工具何时已经满足所述一个或多个条件:
由每辆自主驾驶交通工具提供的所述交通工具健康数据;
由每辆自主驾驶交通工具提供的所述交通工具位置数据;
针对每辆自主驾驶交通工具正在行驶的区域的天气数据;以及
针对每辆自主驾驶交通工具正在行驶的区域的交通数据。
6.根据权利要求1所述的***,其中所述机队的至少一辆自主驾驶交通工具被配置为:
经由与所述自主驾驶交通工具相关联的所述机载控制计算机,从所述监督服务器接受所述批量命令;以及
通过利用传感器数据和控制指令来执行所述批量命令,所述传感器数据和控制指令由与所述自主驾驶交通工具相关联的子***收集和生成。
7.根据权利要求2所述的***,其中所述自主驾驶交通工具被配置为向所述一辆或多辆其他自主驾驶交通工具发送所述批量命令。
8.一种用于指令自主驾驶交通工具执行最小风险条件操纵的方法,所述方法包括:
接收适用于来自自主驾驶交通工具的机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于所述宏信息生成批量命令,其中所述批量命令与一个或多个条件相关联;
针对来自所述机队之中的每辆自主驾驶交通工具:
确定所述自主驾驶交通工具是否满足一个或多个条件;以及
响应于确定所述自主驾驶交通工具满足所述一个或多个条件,向所述自主驾驶交通工具发送所述批量命令,其中所述批量命令包括用于执行最小风险条件操纵的指令。
9.根据权利要求8所述的方法,其中所述宏信息包括以下中的至少一项:
所述多辆自主驾驶交通工具正在行驶的特定区域中的天气数据;
与所述特定区域相关联的交通数据;
在与所述自主驾驶交通工具相关联的机载控制计算机上所安装的软件应用的版本上检测的潜在安全性漏洞;
与所述特定区域相关联的政府路线制定规定的变化;
在所述多辆自主驾驶交通工具上所安装的组件中的缺陷;以及
与所述多辆自主驾驶交通工具相关联的健康数据中的降级。
10.根据权利要求8所述的方法,其中所述一个或多个条件是基于时区的,使得所述一个或多个条件被调度为在特定时间范围内针对所述自主驾驶交通工具被验证。
11.根据权利要求8所述的方法,其中所述一个或多个条件是基于位置的,使得所述一个或多个条件在所述自主驾驶交通工具驶入特定的区边界时针对所述自主驾驶交通工具被验证。
12.根据权利要求8所述的方法,其中所述一个或多个条件是即时的,使得监督服务器在所述监督服务器接收到所述宏信息时确定所述自主驾驶交通工具是否满足所述一个或多个条件。
13.根据权利要求8所述的方法,其中所述一个或多个条件包括以下中的至少一项:
确定所述自主驾驶交通工具是否正在特定类型的道路上行驶,所述特定类型的道路包括高速公路、上下坡道、多车道道路、单车道道路、或者辅助道路;
确定所述自主驾驶交通工具是否正在道路上的特定方向上行驶;
检测特定类型的施工区是否在距所述自主驾驶交通工具的阈值距离内;
确定所述自主驾驶交通工具是否正在道路的由特定里程标记指定的一段上行驶;
确定所述自主驾驶交通工具是否正在指示区边界的地理围栏中行驶;
确定所述自主驾驶交通工具与特定位置之间的距离是否是特定距离;
确定所述自主驾驶交通工具上所安装的软件应用版本是否是特定版本;
确定所述自主驾驶交通工具是否正在特定天气条件下行驶;以及
确定所述自主驾驶交通工具是否正在特定交通条件下行驶。
14.根据权利要求8所述的方法,其中所述宏信息从第三方源被接收,所述第三方源包括实时新闻报道、实时交通报告、实时天气报告、或者执法。
15.一种计算机程序,包括被存储在非瞬态计算机可读介质中的可执行指令,所述可执行指令在由一个或多个处理器执行时使所述一个或多个处理器:
接收适用于来自自主驾驶交通工具的机队之中的多辆自主驾驶交通工具的宏信息;
至少部分地基于所述宏信息生成批量命令,其中所述批量命令与一个或多个条件相关联;
针对所述机队中的每辆自主驾驶交通工具:
确定所述自主驾驶交通工具是否满足所述一个或多个条件;以及
响应于确定所述自主驾驶交通工具满足所述一个或多个条件,向所述自主驾驶交通工具发送所述批量命令,其中所述批量命令包括用于执行最小风险条件操纵的指令。
16.根据权利要求15所述的计算机程序,其中:
所述一个或多个条件中的至少一个条件由所述自主驾驶交通工具检测,以及;
所述至少一个条件包括:
确定潜在地使所述自主驾驶交通工具的健康降级的故障代码是否被检测到,以及
确定所述自主驾驶交通工具中所安装的物理组件中的缺陷是否被检测到。
17.根据权利要求15所述的计算机程序,其中所述指令在由所述一个或多个处理器执行时,还使所述一个或多个处理器从所述自主交通工具接收所述自主驾驶交通工具执行了所述最小风险条件操纵的确认消息。
18.根据权利要求15所述的计算机程序,其中所述指令在由所述一个或多个处理器执行时,还使所述一个或多个处理器:
至少部分地基于传感器数据来检测由所述自主驾驶交通工具行驶的道路上的对象;
确定所述对象是否在第一时间戳处阻止执行所述最小风险条件操纵;
响应于确定所述对象在所述第一时间戳处阻止执行所述最小风险条件操纵:
继续行驶,直到所述自主驾驶交通工具经过所述对象为止;以及
在第二时间戳处执行所述最小风险条件操纵。
19.根据权利要求15所述的计算机程序,其中自主驾驶交通工具包括至少一个传感器,所述至少一个传感器包括相机、光探测和测距LiDAR传感器、运动传感器、或者红外传感器。
20.根据权利要求15所述的计算机程序,其中所述自主驾驶交通工具是被附接到拖车的牵引机单元。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/374,855 US20230020040A1 (en) | 2021-07-13 | 2021-07-13 | Batch control for autonomous vehicles |
US17/374,855 | 2021-07-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115620540A true CN115620540A (zh) | 2023-01-17 |
Family
ID=82547194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210818373.4A Pending CN115620540A (zh) | 2021-07-13 | 2022-07-12 | 用于自主驾驶交通工具的批量控制 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230020040A1 (zh) |
EP (1) | EP4120217A1 (zh) |
JP (1) | JP2023012435A (zh) |
CN (1) | CN115620540A (zh) |
AU (1) | AU2022204744A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117938787A (zh) * | 2024-03-25 | 2024-04-26 | 中国人民解放军国防科技大学 | 一种消息批量传输的仿真***及其实现方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11231287B2 (en) * | 2016-12-22 | 2022-01-25 | Nissan North America, Inc. | Autonomous vehicle service system |
US11702111B2 (en) * | 2020-08-19 | 2023-07-18 | Here Global B.V. | Method and apparatus for estimating object reliability |
US20220371622A1 (en) * | 2021-05-21 | 2022-11-24 | Honda Motor Co., Ltd. | System and method for completing joint risk localization and reasoning in driving scenarios |
US20230316927A1 (en) * | 2021-10-08 | 2023-10-05 | Gatik Ai Inc. | Method and system for operation of fleet vehicles |
CN116985766B (zh) * | 2023-09-27 | 2024-01-30 | 深圳市昊岳科技有限公司 | 一种基于域控制器的碰撞缓解控制***及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11009868B2 (en) * | 2017-07-20 | 2021-05-18 | Nuro, Inc. | Fleet of autonomous vehicles with lane positioning and platooning behaviors |
US10569784B2 (en) * | 2017-09-28 | 2020-02-25 | Waymo Llc | Detecting and responding to propulsion and steering system errors for autonomous vehicles |
US10807591B1 (en) * | 2017-11-02 | 2020-10-20 | Zoox, Inc. | Vehicle disaster detection and response |
US10967862B2 (en) * | 2017-11-07 | 2021-04-06 | Uatc, Llc | Road anomaly detection for autonomous vehicle |
US10933869B2 (en) * | 2017-11-29 | 2021-03-02 | Uatc, Llc | Autonomous vehicle motion control systems and methods |
EP3762926A4 (en) * | 2018-01-31 | 2021-06-23 | Nissan North America, Inc. | COMPUTER INFRASTRUCTURE FOR LOT ROUTING OF AUTONOMOUS VEHICLES |
AU2019217434A1 (en) * | 2018-02-06 | 2020-07-30 | Cavh Llc | Intelligent road infrastructure system (IRIS): systems and methods |
US11747827B2 (en) * | 2018-02-14 | 2023-09-05 | Here Global B.V. | Vehicle platoon system control for intersections |
US11836471B2 (en) * | 2020-10-21 | 2023-12-05 | Red Bend Ltd. | Methods for prioritizing updates for vehicle fleets |
-
2021
- 2021-07-13 US US17/374,855 patent/US20230020040A1/en active Pending
-
2022
- 2022-06-30 JP JP2022105569A patent/JP2023012435A/ja active Pending
- 2022-07-01 AU AU2022204744A patent/AU2022204744A1/en active Pending
- 2022-07-04 EP EP22182886.6A patent/EP4120217A1/en active Pending
- 2022-07-12 CN CN202210818373.4A patent/CN115620540A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117938787A (zh) * | 2024-03-25 | 2024-04-26 | 中国人民解放军国防科技大学 | 一种消息批量传输的仿真***及其实现方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230020040A1 (en) | 2023-01-19 |
EP4120217A1 (en) | 2023-01-18 |
JP2023012435A (ja) | 2023-01-25 |
AU2022204744A1 (en) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4120217A1 (en) | Batch control for autonomous vehicles | |
US20150105933A1 (en) | Remote vehicle monitoring | |
US20150106010A1 (en) | Aerial data for vehicle navigation | |
US20150104071A1 (en) | Traffic signal prediction | |
EP4030377A1 (en) | Responder oversight system for an autonomous vehicle | |
US20230139740A1 (en) | Remote access application for an autonomous vehicle | |
US20230138981A1 (en) | Autonomous Vehicle Navigation in Response to an Oncoming Train on a Railroad Track | |
US20220348223A1 (en) | Autonomous vehicle to oversight system communications | |
CA3094795C (en) | Using discomfort for speed planning for autonomous vehicles | |
US11767031B2 (en) | Oversight system to autonomous vehicle communications | |
US20230303122A1 (en) | Vehicle of interest detection by autonomous vehicles based on amber alerts | |
DE112022003364T5 (de) | Komplementäres steuersystem für ein autonomes fahrzeug | |
US20230324188A1 (en) | Autonomous vehicle fleet scheduling to maximize efficiency | |
EP4089368A1 (en) | Oversight system to autonomous vehicle communications | |
US11767032B2 (en) | Direct autonomous vehicle to autonomous vehicle communications | |
US20230365143A1 (en) | System and method for remote control guided autonomy for autonomous vehicles | |
US20240230344A1 (en) | Leveraging external data streams to optimize autonomous vehicle fleet operations | |
EP4261093A1 (en) | Method comprising the detection of an abnormal operational state of an autonomous vehicle | |
WO2023220509A1 (en) | System and method for remote control guided autonomy for autonomous vehicles | |
US20230182742A1 (en) | System and method for detecting rainfall for an autonomous vehicle | |
CN118354952A (zh) | 使用监督的手势信号检测*** | |
CN118339069A (zh) | 响应于施工区域手势信号的自动驾驶车辆机动 | |
WO2023076887A1 (en) | Autonomous vehicle maneuver in response to construction zone hand signals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |