CN111746548A - 用于自主驾驶中的感测的推理*** - Google Patents

用于自主驾驶中的感测的推理*** Download PDF

Info

Publication number
CN111746548A
CN111746548A CN202010185314.9A CN202010185314A CN111746548A CN 111746548 A CN111746548 A CN 111746548A CN 202010185314 A CN202010185314 A CN 202010185314A CN 111746548 A CN111746548 A CN 111746548A
Authority
CN
China
Prior art keywords
autonomous vehicle
inference
condition
module
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010185314.9A
Other languages
English (en)
Inventor
S.内杜努里
R.巴特查里亚
J.乔
A.M.拉希米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111746548A publication Critical patent/CN111746548A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/041Abduction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/042Backward inferencing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/046Forward inferencing; Production systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种自主车辆,操作该自主车辆的***和方法。该***包括传感器、推理引擎和导航***。所述传感器接收令牌数据。所述推理引擎对从所述令牌数据确定的事实执行溯因推断以估计后向条件,并对所估计的后向条件执行演绎推断以预测前向条件。所述导航***基于所预测的前向条件操作自主车辆。

Description

用于自主驾驶中的感测的推理***
技术领域
本公开内容涉及自主车辆,并具体涉及用于使用推理和逻辑陈述来确定各种动因相对于自主车辆的可能运动的***和方法。
背景技术
自主车辆是在很少或没有乘客输入的情况下运行的车辆。认知处理器可用于基于接收到的数据输入来预测自主车辆的轨迹,所述数据输入例如是各种动因(agent)车辆的位置和速度以及自主车辆的环境内的其他因素。认知处理器使用假设器来估计动因或车辆在自主车辆的环境中的可能的运动。然而,这些假设器不使用逻辑推理来观察人类可能看到的环境。
因此,期望在认知处理器中提供逻辑推理过程,以便在顺应边缘/拐角驾驶情况的环境内导航自主车辆。
发明内容
在一个实施例中,公开了一种操作自主车辆的方法。在自主车辆处接收令牌数据。在推理引擎(reasoning engine)处应用对从令牌数据确定的事实的溯因推断(abductiveinference),以估计后向或历史条件。在推理引擎处应用演绎推断(abductive inference)至所估计的后向条件,以预测前向或未来条件。然后,基于所预测的前向条件来操作自主车辆。
除了本文所述的一个或多个特征之外,应用溯因推理还包括对所述事实应用前提导致结论的公理(axiom),其中所述事实表示结论,后向条件对应前提。在各个实施例中,后向条件先于所述事实,应用演绎推论还包括对所述后向条件应用前提导出结论的公理,其中所述后向条件现在表示前提,以确定对应结论的前向条件。该方法还包括在推理引擎处接收所述令牌数据的符号转变。该方法还包括在推理引擎处接收来自认知处理器的假设器模块的假设的符号转变。该方法还包括将所预测的前向条件提供给认知处理器的决策器模块,其中该决策器模块从所预测的前向条件预测自主车辆的轨迹。
在另一实施例中,公开了一种操作自主车辆的***。该***包括传感器、推理引擎和导航***。所述传感器接收令牌数据。所述推理引擎对从所述令牌数据确定的事实执行溯因推理,以估计后向条件,并对所估计的后向条件执行演绎推断,以预测前向条件。所述导航***基于所预测的前向条件来操作自主车辆。
除了本文所述的一个或多个特征之外,所述推理引擎通过对所述事实应用前提导致结论的公理执行溯因推理,其中所述事实表示结论,后向条件对应前提。在各种实施例中,后向条件在所述事实之前。所述推理引擎通过对所述后向条件应用前提导致结论的公理来执行演绎推断,其中后向条件表示前提,以确定对应结论的前向条件。该***还包括符号转变模块,该符号转变模块将所述令牌数据转换为逻辑数据,并将该逻辑数据提供给所述推理引擎。该符号转变模块还将来自假设器模块的假设转换为逻辑数据,并将该逻辑数据提供给所述推理引擎。该***还包括决策器模块,该决策器模块被配置为接收所预测的前向条件,并从所预测的前向条件预测自主车辆的轨迹。
在又一个实施例中,公开了一种自主车辆。该自主车辆包括传感器、推理引擎和导航***。所述传感器接收令牌数据。所述推理引擎对从所述令牌数据确定的事实执行溯因推理,以估计后向条件,并对所估计的后向条件执行演绎推断,以预测前向条件。所述导航***基于所预测的前向条件来操作自主车辆。
除了本文所述的一个或多个特征之外,所述推理引擎通过对所述事实应用前提导致结论的公理执行溯因推理,其中所述事实表示结论,后向条件对应前提。所述推理引擎通过对所述后向条件应用前提导致结论的公理来执行演绎推断,其中后向条件表示前提,以确定对应结论的前向条件。该自主车辆还包括符号转变模块,该符号转变模块将所述令牌数据转换为逻辑数据,并将该逻辑数据提供给所述推理引擎。所述符号转变模块还配置为将来自假设器模块的假设转换为逻辑数据,并将该逻辑数据提供给所述推理引擎。所述自主车辆还包括决策器模块,该决策器模块被配置为接收所预测的前向条件,并从所预测的前向条件预测自主车辆的轨迹。
结合附图,根据以下详细描述,本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式在下面的详细描述中呈现,该详细描述参考附图,其中:
图1示出了根据各种实施例的具有相关联的轨迹规划***的自主驾驶车辆;
图2示出了包括与自主车辆或车辆模拟器集成的认知处理器的说明性控制***;
图3是示出适于在自主车辆的导航***中的使用的达成预测的几种假设-产生方法的示意图;
图4示出了采用推理模块的认知处理器的架构的示意图;
图5示出了说明推理模块的操作的示意图;并且
图6示出了说明推理引擎达成假设的操作的场景。
具体实施方式
以下描述本质上仅是示例性的,并不旨在限制本公开、其应用或用途。应当理解,在所有附图中,相应的附图标记表示相同或对应的部分和特征。如本文所使用的,术语模块指处理电路,其可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。
根据示例性实施例,1示出了根据各种实施例的具有相关联的轨迹规划***的自主驾驶车辆;通常,轨迹规划***100确定用于自主车辆10的自动驾驶的轨迹规划。自主车辆10总体上包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上,并且基本上包围自主车辆10的部件。车身14和底盘12可以共同形成框架。车轮16和18各自在车身14的各个角部附近旋转地联接至底盘12。
在各种实施例中,轨迹规划***100被结合到自主车辆10中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一位置的车辆。自主车辆10在所示实施例中被描述为乘用车,但是应当理解,也可以使用任何其他车辆,包括摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)等。在各级别中,自主车辆可以通过多种方法协助驾驶员,例如警告信号以指示即将发生的危险情况,通过预测其他动因的运动增强驾驶员的态势感知能力,警告潜在的碰撞等。通过耦合的辅助车辆控制一直到完全控制所有车辆功能,自主车辆具有不同级别的车辆干预或控制。在示例性实施例中,自主车辆10是所谓的四级或五级自主***。四级***表示“高度自动化”,是指自动驾驶***在动态驾驶任务的所有方面的驾驶模式特定性能,即使人类驾驶员没有正确响应请求进行干预。五级***表示“完全自动化”,是指自动驾驶***在可由人类驾驶员管理的所有道路和环境条件下在动态驾驶任务的所有方面的全时性能。
如图所示,自主车辆10通常包括推进***20、传动***22、转向***24、制动***26、传感器***28、致动器***30、认知处理器32和至少一个控制器34。在各种实施例中,推进***20可包括内燃发动机、诸如牵引电动机的电机和/或燃料电池推进***。传动***22被构造成根据可选择的速度比率将动力从推进***20传递至车轮16和18。根据各种实施例,传动***22可包括阶梯比率自动变速器、连续可变变速器或其他合适的变速器。制动***26被构造成向车轮16和18提供制动扭矩。在各种实施例中,制动***26可以包括摩擦制动器、线制动器、诸如电机的再生制动***、和/或其他合适的制动***。转向***24影响车轮16和18的位置。尽管出于示意目的被描绘为包括方向盘,但是在本公开的范围内预期的一些实施例中,转向***24可以不包括方向盘。
传感器***28包括一个或多个感测设备40a-40n,其感测自主车辆10的外部环境和/或内部环境的可观测的条件。感测设备40a-40n可以包括但不限于雷达、激光雷达、全球定位***、光学相机、热像仪、超声传感器和/或其他传感器。感测设备40a-40n获得与车辆环境内的各种对象或动因50有关的测量或数据。这样的动因50可以是但不限于其他车辆、行人、自行车、摩托车等,以及不移动的对象。感测设备40a-40n还可以获得交通数据,例如关于交通信号和标志的信息等。
致动器***30包括一个或多个致动器装置42a-42n,其控制一个或多个车辆特征,例如但不限于推进***20、传动***22、转向***24和制动***26。在各种实施例中,车辆特征还可以包括内部和/或外部车辆特征,例如但不限于门、行李箱和车厢特征,例如通风、音乐、照明等(未编号)。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。处理器44可以是任何定制的或可商购的处理器、中央处理器(CPU)、图形处理单元(GPU)、与控制器34相关联的几个处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组的形式)、宏处理器、其任何组合或用于执行指令的任何一般设备。例如,计算机可读存储设备或介质46可以包括在只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中的易失性和非易失性存储器。KAM是持久性或非易失性存储器,其可以在处理器44掉电时用于存储各种操作变量。可以使用许多已知的存储设备中的任何一种来实现计算机可读存储设备或介质46,例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光或组合存储设备,其中一些表示可执行指令,由控制器34在控制自主驶车辆10中使用。
指令可以包括一个或多个单独的程序,每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时,接收并处理来自传感器***28的信号,执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法,并生成至致动器***30的控制信号,以基于逻辑、计算、方法和/或算法自动控制自主车辆10的部件。
控制器34进一步与认知处理器32通信。认知处理器32从控制器34和传感器***28的感测设备40a-40n接收各种数据,并执行各种计算,以便向控制器34提供轨迹,以使控制器34经由一个或多个致动器装置42a-42n在自主车辆10上实现。参考图2提供对该认知处理器32的详细讨论。
图2示出了包括与自主车辆10集成的认知处理器32的说明性控制***200。在各种实施例中,自主车辆10可以是车辆模拟器,其模拟自主车辆10的各种驾驶场景,并且模拟自主车辆10对所述场景的各种响应。
自主车辆10包括数据获取***204(例如,图1的传感器40a-40n)。数据获取***204获得用于确定自主车辆10以及自主车辆10的环境中的各种动因的状态的各种数据。这样的数据包括但不限于自主车辆10的运动学数据、位置或姿势数据等,以及关于其他动因的数据,包括范围、相对速度(多普勒)、仰角、角位置等。自主车辆10还包括发送模块206,其将所获取的数据打包,并将打包的数据发送到认知处理器32的通信接口208,如下所述。自主车辆10还包括接收模块202,其从认知处理器32接收操作命令,并在自主车辆10处执行该命令以导航自主车辆10。认知处理器32从自主车辆10接收数据,基于提供的状态信息和本文公开的方法来计算自主车辆10的轨迹,并且在接收模块202处将该轨迹提供给自主车辆10。自主车辆10然后实现由认知处理器32提供的轨迹。
认知处理器32包括用于与自主车辆10通信的各种模块,包括用于从自主车辆10接收数据的接口模块208以及用于向自主车辆10发送诸如轨迹的指令的轨迹发送器222。认知处理器32还包括工作存储器210,该工作存储器210存储从自主车辆10接收的各种数据以及认知处理器32的各种中间计算值。认知处理器32的一个或多个假设器模块212用于使用多种可能的预测方法和存储在工作存储器210中的状态数据来建议自主车辆10的环境中一个或多个动因的运动和各种假设轨迹。认知处理器32的假设解析器214接收环境中每个动因的多个假设轨迹,并从多个假设轨迹中确定每个动因的最大可能轨迹。
认知处理器32还包括一个或多个决策器模块216和决策解析器218。(一个或多个)决策器模块216从假设解析器214接收环境中每个动因的最大可能轨迹,并基于最大可能的动因轨迹计算自主车辆10的多个候选轨迹和行为。所述多个候选轨迹和行为中的每一个被提供给决策解析器218。决策解析器218从所述候选轨迹和行为中选择或确定自主车辆10的最佳或期望轨迹和行为。
认知处理器32还包括轨迹规划器220,其确定提供给自主车辆10的自主车辆轨迹。轨迹规划器220从决策解析器218接收车辆行为和轨迹,从假设解析器214接收每个动因50的最佳假设,以及“状态数据”形式的最新环境信息,用以调整轨迹规划。轨迹规划器220处的该附加步骤确保针对来自数据获取***204的最新感测到的数据检查动因假设的异步计算中的任何异常处理延迟。这一附加步骤在轨迹规划器220中的最终轨迹计算中相应地更新了最佳假设。
所确定的车辆轨迹从轨迹规划器220被提供给轨迹发送器222,轨迹发送器222将轨迹消息提供给自主车辆10(例如,在控制器34处)用以在自主车辆10处实施。
认知处理器32还包括调制器230,调制器230控制(一个或多个)假设器模块212和(一个或多个)决策器模块216的各种限制和阈值。调制器230还可以对假设解析器214的参数施加变化,以影响其如何针对给定的动因代理50、决策者和决策解析器选择最佳假设对象。调制器230是使架构自适应的鉴别器。调制器230可以通过改变算法本身中的参数来改变被执行的计算以及确定性计算的实际结果。
认知处理器32的评估器模块232计算上下文信息并将其提供给认知处理器,其包括错误度量、假设置信度量、对环境的复杂度和自主车辆10状态的度量、给定环境信息对自主车辆10的性能评估,该给定环境信息包括动因假设和自主车辆轨迹(过去的或未来的)。调制器230从评估器232接收信息,以计算假设器212、假设解析器21、决策器216的处理参数和到决策解析器218的阈值决策解析器参数的变化。虚拟控制器224实现该轨迹消息并响应于该轨迹确定各种动因50的前馈轨迹。
调制作为对评估器模块232测量的不确定性的响应而发生。在一实施例中,调制器230接收与假设对象相关联的置信度。可以在单个时间点或在一选定的时间窗口内从假设对象收集这些置信度。该时间窗口可以是可变的。评估器模块232确定这些置信度水平的分布的熵。另外,还可以在评估器模块232中收集和评估假设对象的历史误差度量。
这些类型的评估用作认知处理器32的内部环境和不确定性的度量。来自评估器模块232的这些上下文信号被用于假设解析器214、决策解析器218和调制器230,后者可以基于计算结果来改变假设器模块212的参数。
认知处理器32的各个模块彼此独立地操作,并且以单独的更新速率(例如,在图2中由LCM-Hz、h-Hz、d-Hz、e-Hz、m-Hz、t-Hz指示)更新。
在操作中,认知处理器32的接口模块208在数据剖析器208a处从自主车辆10的发送模块206接收打包的数据,并在数据剖析器208b处剖析所接收的数据。数据剖析器208b将数据放入一数据格式(在此称为属性包(property bag))中,其可以存储在工作存储器210中,并由认知处理器32的各种假设器模块212、决策器模块216等使用。这些数据格式的特定类结构不应视为对本发明的限制。
工作存储器210在可配置的时间窗口期间从属性包的集合中提取信息,以构造自主车辆和各种动因的快照。这些快照以固定的频率发布,并被推送到订阅模块。来自属性包由工作存储器210创建的数据结构是“状态(State)”数据结构,其包含根据时间戳组织的信息。因此,所生成的快照的序列包含另一个车辆或动因的动态状态信息。选定的状态数据结构中的属性包包含有关对象的信息,例如其他动因,自主车辆、路线信息等。对象的属性包包含有关对象的详细信息,例如对象的位置、速度、航向角等。该状态数据结构在整个认知处理器32的其余部分中流动以进行计算。状态数据可以引用自主车辆状态以及动因状态等。
(一个或多个)假设器模块212从工作存储器210提取状态数据,以便在选定的时间范围或时间步长上计算动因在本地环境中的可能结果。可替代地,工作存储器210可以将状态数据推送到(一个或多个)假设器模块212。(一个或多个)假设器模块212可以包括多个假设器模块,多个假设器模块中的每一个采用不同的方法或技术来确定(一个或多个)动因的可能结果。一个假设器模块可以使用运动学模型来确定可能的结果,该运动学模型将基本的物理和力学应用于工作存储器210中的数据,以便预测每个动因50的后续状态。其他假设模块可以通过例如对数据采用运动学回归树、对数据应用高斯混合模型/马尔可夫混合模型(GMM-HMM)、对数据应用递归神经网络(RNN)、其他机器学习过程,在所述数据上执行基于逻辑的推理,等。假设器模块212是认知处理器32的模块化组件,可以根据需要从认知处理器32添加或删除。
每个假设器模块212包括用于预测动因行为的假设类。假设类包括假设对象的规范和一组算法。一旦被调用,就从假设类中为动因创建假设对象。假设对象遵守该假设类的规范,并使用该假设类的算法。多个假设对象可以彼此并行运行。每个假设器模块212基于工作当前数据为每个动因50创建其自己的预测,并将该预测发送回工作存储器210以供存储和将来使用。当新数据被提供给工作存储器210时,每个假设器模块212更新其假设,并将更新后的假设推送回到工作存储器210中。每个假设器模块212可以选择以其自己的更新速率(例如,速率h-Hz)来更新其假设。每个假设器模块212可以单独地充当订阅服务,其更新的假设从其推送到相关模块。
假设器模块212产生的每个假设对象都是状态数据结构形式的针对时间矢量、针对诸如位置、速度、航向等所定义的实体的预测。在一个实施例中,(一个或多个)假设器模块212可以包含碰撞检测模块,其可以改变与预测有关的信息的前馈流。具体地,如果假设器模块212预测两个动因50的碰撞,则可以调用另一个假设器模块以对该假设对象产生调整,以便考虑预期的碰撞或向其他模块发送警告标记,以尝试减轻危险情况或改变行为以避免危险情况。
对于每个动因50,假设解析器118接收相关的假设对象,并从假设对象中选择单个假设对象。在一个实施例中,假设解析器118调用简单的选择过程。可替代地,假设解析器118可以调用各种假设对象上的融合过程,以生成混合假设对象。
由于认知处理器的架构是异步的,因此,如果实现为假设对象的计算方法需要花费较长的时间才能完成,则假设解析器118和下游决策器模块216在最早的可用时间通过订阅推送过程从该特定的假设器模块接收假设对象。与假设对象关联的时间戳通知下游模块该假设对象的相关时间范围,从而允许与假设对象和/或来自其他模块的状态数据进行同步。假设对象的预测所适用的时间跨度因此在模块之间在时间上对齐。
例如,当决策器模块216接收到假设对象时,决策器模块216将假设对象的时间戳与自主车辆10的最新数据(即,速度、位置、航向等)的时间戳进行比较。如果假设假设对象的时间戳被认为太过旧(例如,在时间上以选择的时间标准早于自主车辆数据),则可以忽略假设对象,直到接收到更新的假设对象。基于最新信息的更新也由轨迹规划器220执行。
(一个或多个)决策器模块216包括这样的模块,其产生以自主车辆10的轨迹和行为为形式的各种候选决策。(一个或多个)决策器模块216从假设解析器214接收每个动因50的假设,并且将这些假设和自主车辆10的名义目标轨迹用作约束。(一个或多个)决策器模块216可以包括多个决策器模块,其中多个决策器模块中的每个使用不同的方法或技术来确定自主车辆10的可能轨迹或行为。每个决策器模块可以异步运行,并从工作存储器212接收各种输入状态,例如假设解析器214生成的假设。(一个或多个)决策器模块216是模块化组件,可以根据需要从认知处理器32添加或删除。每个决策器模块216可以以其自己的更新速率(例如,速率d-Hz)来更新其决策。
类似于假设器模块212,决策器模块216包括用于预测自主车辆的轨迹和/或行为的决策器类。决策器类包括决策器对象的规范和一组算法。一旦被调用,就从决策器类中为动因50创建决策器对象。决策器对象遵守该决策器类的规范,并使用该决策器类的算法。多个决策器对象可以彼此并行运行。
决策解析器218接收由一个或多个决策器模块生成的各种决策,并产生用于自主车辆10的单个轨迹和行为对象。决策解析器还可以从评估器模块232接收各种上下文信息,其中使用上下文信息以便产生轨迹和行为对象。
轨迹规划器220从决策解析器218接收轨迹和行为对象以及自主车辆10的状态。然后,轨迹规划器220生成提供给轨迹发送器222的轨迹消息。轨迹发送器222使用适合于与自主车辆10通信的格式,将轨迹消息提供给自主车辆10以在自主车辆10处实施。
轨迹发送器222还将轨迹消息发送到虚拟控制器224。虚拟控制器224在前馈循环中为认知处理器32提供数据。在随后的计算中发送到(一个或多个)假设模块212的轨迹由虚拟控制器224完善,以模拟由于尝试遵循该轨迹而导致的自主车辆10的一组未来状态。(一个或多个)假设器模块212使用这些未来状态来执行前馈预测。
认知处理器32的各个方面提供反馈环。虚拟控制器224提供第一反馈环。虚拟控制器224基于所提供的轨迹来模拟自主车辆10的操作,并且响应于由自主车辆10采取的轨迹来确定或预测每个动因50采取的未来状态。动因的这些未来状态可以作为第一反馈环的一部分提供给假设器模块。
发生第二个反馈环,这是因为各个模块将在其计算中使用历史信息,以便学习和更新参数。(一个或多个)假设器模块212例如可以实施其自己的缓冲器,以便存储历史状态数据,无论状态数据是来自观察还是来自预测(例如,来自虚拟控制器224)。例如,在采用运动学回归树的假设器模块212中,每个动因的历史观测数据被存储几秒钟,并用于状态预测的计算中。
假设解析器214在其设计中也具有反馈,因为它也利用历史信息进行计算。在这种情况下,有关观察的历史信息被用于及时计算预测误差,并使用该预测误差调整假设分辨率参数。滑动窗口可用于选择历史信息,该历史信息用于计算预测误差和学习假设分辨率参数。对于短期学习,滑动窗口控制假设解析器214的参数的更新速率。在较大的时间范围内,可以在所选情节(例如左转情节)中汇总预测误差,并在该情节之后被用于更新预测参数。
决策解析器218还将历史信息用于反馈计算。有关自主车辆轨迹性能的历史信息被用于计算最佳决策并相应地调整决策分辨率参数。该学习可以在决策解析器218处以多个时间尺度发生。在最短的时间尺度中,使用评估器模块232连续计算有关性能的信息,并将其反馈给决策解析器218。例如,一种算法可用于基于多个度量以及其他上下文信息来提供关于决策器模块所提供的轨迹性能的信息。该上下文信息可以在强化学习过程中用作奖励信号,以在各种时间尺度内操作决策解析器218。反馈可以与决策解析器218异步,并且决策解析器218可以在接收到反馈时进行调整。
图3是示出适于在自主车辆的导航***中的使用的为了达成预测的几种假设-产生方法的示意图300。每个箭头代表一种产生假设的方法。箭头302表示使用基于物理学的或运动学的计算来预测动因(例如动因50)的运动。箭头304表示使用数据驱动统计预测器(HMM)预测动因50的运动。统计预测器可以应用各种统计模型(例如,马尔可夫模型)来预测动因运动。箭头306表示使用基于模式的预测器或情节预测方法来预测动因50的运动。箭头308表示使用推理引擎的预测方法。箭头308提供的方法提供基于知识的推理,以补充箭头302、304和306表示的方法。
图4示出了采用推理模块的认知处理器400的架构的示意图。认知处理器400包括接口模块402、工作存储器404、一个或多个假设器(hypothesizers)406、推理模块408、一个或多个决策器410以及决策解析器和轨迹规划器412。
接口模块402从自主车辆10接收数据,例如运动学数据等。工作存储器404存储该接收到的数据以及一个或多个假设器406的各种中间计算值。一个或多个假设器406可包括但不限于:用于使用物理方程式预测动因运动的运动学假设器,基于应用于所接收的数据的统计规则而预测动因运动的统计假设器,以及基于时空数据并使用情节存储(即,历史离散场景)产生假设的情节假设器。一个或多个决策器410从一个或多个假设器406接收针对动因的假设,并基于该假设来确定自主车辆的一个或多个可能的轨迹。用于自主车辆的该一个或多个可能的轨迹被提供给决策解析器和轨迹规划器412,其选择用于自主车辆的轨迹,并将该轨迹提供给自主车辆以用于实施。
认知处理器400还包括用于将各种附加的预测能力应用于假设的推理模块408。该一个或多个假设器406和推理模块408读取存储在工作存储器404中的信息以进行它们的预测。另外,推理模块408接受由该一个或多个假设器406做出的预测,并将一个或多个预测输出到一个或多个决策器410。
图5示出了说明推理模块408的操作的示意图。推理模块408包括用于从接收到的数据生成一个或多个假设的推理器502。推理器502包括公理或上下文规则(contextualrules)(例如交通法规、情况交通行为趋势和本地速度)的数据库504。推理模块408还包括执行各种推理操作以产生一个或多个假设的推理引擎506。推理引擎506可以对接收到的数据执行溯因推断推理508和演绎推断推理510。
溯因推断推理是指根据结论确定逻辑陈述的前提。给定逻辑前提-结论语句p(x)→q(x),其中所接收到的数据指示事实q(a),则溯因推断可以得出条件或事实p(a)。溯因推断可以确定在时间上与结论一致或在时间上早于事实q(a)的事实p(a)。演绎推断推理是指根据前提确定逻辑陈述的结果。给定逻辑前提-结论语句p(x)→q(x),其中,所接收到的数据指示事实p(a),则演绎推断在逻辑上得出基于结论q(x)的结论事实q(a)。演绎推论可以确定在时间上等同于事实p(a)或预测在事实p(a)之后发生的事实q(a)。
可以在推理引擎506处使用溯因推断和演绎推断的建设性使用(constructiveuse)来生成一个或多个假设。特别地,溯因推断和演绎推断都可以用于一组事实。溯因推断可被用于应用后向逻辑规则,以便基于当前接收到的事实来获得过去必然发生的一组条件或事实。然后,从溯因推断中获得的这些后向条件或事实可在演绎推断步骤中用作前提和/或假设,以获取前向条件,例如对动因的运动进行预测。然后,可以基于通过该后向-前向推断过程得出的预测的前向状态来操作自主车辆。后向-前向推断过程将历史条件纳入未来的驾驶预测中,从而提供数据以为未来的驾驶需求做好准备。
在一个实施例中,从推理引擎506将假设提供给假设选择引擎512。假设选择引擎512去除或修改冗余的假设以及那些不适合给定交通场景的假设。然后,假设过滤器514将假设的数量减少到与自主车辆的当前状况相关的数量。例如,停在高速公路的路肩上的动因可能与沿高速公路行驶的自主车辆无关。将其余的假设作为预测提供给一个或多个决策器10。
推理模块408通过从符号转变模块516接收逻辑项和事实形式的数据来进行操作。符号转变模块516从自主车辆接收时间序列观察518,在本文中称为令牌(token),并将这些令牌转变成逻辑项和事实,其可以在推理模块408处使用。另外,来自一个或多个假设器406的假设被提供给符号转变模块516,其将该假设类似地转变为可以在推理模块408处使用的逻辑项和事实。
如图5所示,推理模块408在单个处理器处实现。在替代实施例中,推理引擎可以在多个处理器上或在基于云的处理器集合上实现。
图6示出了说明推理引擎408达成假设的操作的场景600。在图6的场景中,自主车辆正在接近人行横道604,并且观察到在人行横道604处停放的卡车602。由于没有看到行人,(基于其他假设器406的训练方式)可能的是,一个或多个假设器将预测自主车辆应保持在其当前速度。但是,法律规定,如果人行横道604上有行人,则车辆必须停车。不幸的是,当行人对自主车辆可见时,对于自主车辆而言停车为时已晚。
使用推理引擎,各种公理存储在公理数据库中。作为示例,
1.车辆处于人行横道处,同时行人处于同一人行横道处,车辆必须停车(根据知识库-驾驶规则)。
2.如果车辆当前不在某个位置,然后将在k秒后处于该位置,则该车辆必然在k秒内接近该位置(来自知识库–当地交通行为)。
3.动因不能同时是车辆和行人。
4.动因不能同时在两个地方。
推理引擎408可以进行如下推理:
1.假定观察到自主车辆将在k秒内接近人行横道,则可以使用应用于上述公理2的溯因推断,确定该自主车辆将在k秒后处于人行横道处。
2.使用HMM假设器预测,卡车将在接下来的k秒内保持停放状态,可以对公理1进行溯因推断,以确定至少一位行人将在k秒内处于人行横道处。
3.然后,基于行人存在的推断,对公理1进行演绎推断,以推断出自主车辆将需要在k秒内在人行横道处停车,并根据道路的相关规则访问指示正确动作的知识库。
其他场景可以使用推理引擎进行处理。例如,即使不存在人行横道,当车辆动因停在相邻车道上时,可以推断出存在看不见的障碍物。而且,当车辆动因停车且在危险灯点亮,可以做出车辆动因将停止任意时间的预测。另外,当两个车辆动因在4路交叉路口同时停车时,可以根据转向信号和路权规则以及跟踪其他车辆的运动的行为指标来预测车辆的可能动作。另外,给定狭窄的障碍物,例如前方的骑自行车的人,并且相邻车道被占用,则可以做出预测,车辆动因将转向绕开障碍物,而不是尝试改变车道。层次规则组织确保此类动作将安全放在首位;在自主车辆可以选择遵守交通法规并与另一辆汽车发生碰撞或无视次要交通法规以避免碰撞的情况下,***优先考虑关键法律和安全性,而不是教条遵守较低优先级的规则。
尽管已经参考示例性实施例描述了以上公开,但是本领域技术人员将理解,在不脱离其范围的情况下,可以进行各种改变并且可以用等同物代替其元件。另外,在不脱离本公开的实质范围的情况下,可以做出许多修改以使特定情况或材料适应本公开的教导。因此,本公开的意图不限于所公开的特定实施例,而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种操作自主车辆的方法,包括:
在自主车辆处接收令牌数据;
在推理引擎处对从所述令牌数据确定的事实应用溯因推断,以估计后向条件;
在推理引擎处对所估计的后向条件应用演绎推断,以预测前向条件;以及
基于所预测的前向条件操作自主车辆。
2.根据权利要求1所述的方法,其中,应用溯因推断还包括对所述事实应用前提导致结论的公理,其中所述事实表示结论,所述后向条件对应前提。
3.根据权利要求1所述的方法,其中,应用演绎推断还包括对所述后向条件应用前提导致结论的公理,其中所述后向条件表示前提,以确定对应结论的前向条件。
4.根据权利要求1所述的方法,还包括在推理引擎处接收所述令牌数据的符号转变和来自认知处理器的假设器模块的假设的符号转变。
5.根据权利要求1所述的方法,还包括将所预测的前向条件提供给认知处理器的决策器模块,其中,该决策器模块从所预测的前向条件预测自主车辆的轨迹。
6.一种操作自主车辆的***,包括:
传感器,其用于接收令牌数据;
推理引擎,其配置为执行:
对从所述令牌数据确定的事实应用溯因推断,以估计后向条件;和
对所估计的后向条件应用演绎推断,以预测前向条件;以及
导航***,其基于所预测的前向条件操作自主车辆。
7.根据权利要求6所述的***,其中,所述推理引擎通过对所述事实应用前提导致结论的公理执行所述溯因推断,其中所述事实表示结论,所述后向条件对应前提。
8.根据权利要求6所述的***,其中,所述推理引擎通过对所述后向条件应用前提导致结论的公理来执行所述演绎推断,其中所述后向条件表示前提,以确定对应结论的前向条件。
9.根据权利要求6所述的***,还包括符号转变模块,该符号转变模块被配置为将所述令牌数据转变为逻辑数据,并将所述逻辑数据提供给所述推理引擎,并且,将来自假设器模块的假设转变为逻辑数据,并将所述逻辑数据提供给所述推理引擎。
10.根据权利要求6所述的***,还包括决策器模块,该决策器模块被配置为接收所预测的前向条件,并从所预测的前向条件预测自主车辆的轨迹。
CN202010185314.9A 2019-03-26 2020-03-17 用于自主驾驶中的感测的推理*** Pending CN111746548A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/365,461 US20200310449A1 (en) 2019-03-26 2019-03-26 Reasoning system for sensemaking in autonomous driving
US16/365,461 2019-03-26

Publications (1)

Publication Number Publication Date
CN111746548A true CN111746548A (zh) 2020-10-09

Family

ID=72606039

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010185314.9A Pending CN111746548A (zh) 2019-03-26 2020-03-17 用于自主驾驶中的感测的推理***

Country Status (3)

Country Link
US (1) US20200310449A1 (zh)
CN (1) CN111746548A (zh)
DE (1) DE102020103513A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590815A (zh) * 2020-12-22 2021-04-02 吉林大学 基于act-r的自动驾驶预测节能认知模型的构建方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220308581A1 (en) * 2021-03-23 2022-09-29 Honda Motor Co., Ltd. System and method for completing continual multi-agent trajectory forecasting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129504A1 (en) * 2011-03-22 2014-05-08 Patrick Soon-Shiong Reasoning Engines
CN105189237A (zh) * 2013-03-19 2015-12-23 马西夫分析有限公司 用于控制自动驾驶或部分自动驾驶的陆地车辆的设备
CN105308558A (zh) * 2012-12-10 2016-02-03 维迪特克公司 基于规则的数据处理***和方法
WO2016153790A1 (en) * 2015-03-23 2016-09-29 Oracle International Corporation Knowledge-intensive data processing system
CN108984683A (zh) * 2018-06-29 2018-12-11 北京百度网讯科技有限公司 结构化数据的提取方法、***、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011111899A1 (de) * 2011-08-30 2013-02-28 Gm Global Technology Operations, Llc Detektionsvorrichtung und Verfahren zur Detektion eines Trägers eines Sende-/Empfangsgeräts, Kraftfahrzeug
WO2018057757A1 (en) * 2016-09-21 2018-03-29 Apple Inc. Cognitive Load Routing Metric for Vehicle Guidance
US10591914B2 (en) * 2017-11-08 2020-03-17 GM Global Technology Operations LLC Systems and methods for autonomous vehicle behavior control
US11048265B2 (en) * 2018-06-18 2021-06-29 Zoox, Inc. Occlusion aware planning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140129504A1 (en) * 2011-03-22 2014-05-08 Patrick Soon-Shiong Reasoning Engines
CN105308558A (zh) * 2012-12-10 2016-02-03 维迪特克公司 基于规则的数据处理***和方法
CN105189237A (zh) * 2013-03-19 2015-12-23 马西夫分析有限公司 用于控制自动驾驶或部分自动驾驶的陆地车辆的设备
WO2016153790A1 (en) * 2015-03-23 2016-09-29 Oracle International Corporation Knowledge-intensive data processing system
CN108984683A (zh) * 2018-06-29 2018-12-11 北京百度网讯科技有限公司 结构化数据的提取方法、***、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112590815A (zh) * 2020-12-22 2021-04-02 吉林大学 基于act-r的自动驾驶预测节能认知模型的构建方法
CN112590815B (zh) * 2020-12-22 2021-07-23 吉林大学 基于act-r的自动驾驶预测节能认知模型的构建方法

Also Published As

Publication number Publication date
DE102020103513A1 (de) 2020-10-01
US20200310449A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
US11714417B2 (en) Initial trajectory generator for motion planning system of autonomous vehicles
US11645916B2 (en) Moving body behavior prediction device and moving body behavior prediction method
US11320827B2 (en) Method and system for deterministic trajectory selection based on uncertainty estimation for an autonomous agent
US11565716B2 (en) Method and system for dynamically curating autonomous vehicle policies
US11537127B2 (en) Systems and methods for vehicle motion planning based on uncertainty
CN112840350A (zh) 自动驾驶车辆规划和预测
US20200310420A1 (en) System and method to train and select a best solution in a dynamical system
CN112292646A (zh) 车辆的控制***、用于控制车辆的方法和非暂时性计算机可读存储器
US11351996B2 (en) Trajectory prediction of surrounding vehicles using predefined routes
US20220177000A1 (en) Identification of driving maneuvers to inform performance grading and control in autonomous vehicles
US11810006B2 (en) System for extending functionality of hypotheses generated by symbolic/logic-based reasoning systems
CN111746548A (zh) 用于自主驾驶中的感测的推理***
CN111752265B (zh) 情景存储器中的超关联
US12012097B2 (en) Complementary control system for an autonomous vehicle
CN117529429A (zh) 用于预测自主车辆环境中行为者的行为的方法和***
US20240017746A1 (en) Assessing present intentions of an actor perceived by an autonomous vehicle
CN111746556B (zh) 用于自主***的状况复杂度量化
CN111746554A (zh) 自主***中的认知处理器前馈和反馈集成
CN111762146A (zh) 用于自主驾驶***的使用空间和时间交通信息的在线驾驶性能评估
US11814076B2 (en) System and method for autonomous vehicle performance grading based on human reasoning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009