CN116142188B - 一种基于人工智能的自动驾驶车辆控制决策确定方法 - Google Patents

一种基于人工智能的自动驾驶车辆控制决策确定方法 Download PDF

Info

Publication number
CN116142188B
CN116142188B CN202310396999.5A CN202310396999A CN116142188B CN 116142188 B CN116142188 B CN 116142188B CN 202310396999 A CN202310396999 A CN 202310396999A CN 116142188 B CN116142188 B CN 116142188B
Authority
CN
China
Prior art keywords
vehicle
tunnel
time
real
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310396999.5A
Other languages
English (en)
Other versions
CN116142188A (zh
Inventor
倪凯
于洪波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heduo Technology Guangzhou Co ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202310396999.5A priority Critical patent/CN116142188B/zh
Publication of CN116142188A publication Critical patent/CN116142188A/zh
Application granted granted Critical
Publication of CN116142188B publication Critical patent/CN116142188B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于人工智能的自动驾驶车辆控制决策确定方法，涉及车辆自动控制决策技术领域，根据车辆在隧道内的实时获取的最高限速、实时可见距离、剩余弯道距离、车辆实时颠簸程度以及周围车辆的实时距离等实时环境数据，计算出环境安全系数，再获取车辆在隧道内的历史行驶数据，并根据历史行驶数据生成每个时间步的数据样本，利用数据样本训练实时决策是否遵循司机行车操作的深度强化学习模型，司机在隧道内手动操控时，智能控制***基于手动操作对环境安全系数的影响，实时决策是否遵循司机的行车操作；在保证车辆的行车安全的基础上，满足司机自由操作的体验。

Description

一种基于人工智能的自动驾驶车辆控制决策确定方法
技术领域
本发明属于涉及车辆自动控制决策技术，具体是一种基于人工智能的自动驾驶车辆控制决策确定方法。
背景技术
隧道内行车相比于其他道路环境，具有更高的危险性。这是因为隧道内的视野受限，气流较为复杂，车辆的速度和密度较高等因素的综合作用。因此，在隧道内行车时需要特别注意车速、距离和前后车辆的变化等因素。
隧道内行车的安全问题一直是人们关注的焦点。近年来，自动驾驶技术得到了广泛的应用和发展，为隧道内行车安全带来了新的解决方案。自动驾驶技术通过传感器、摄像头等设备采集隧道内的环境信息，以及车辆的状态信息，然后通过深度学习、强化学习等算法进行数据分析和处理，实现车辆的自主驾驶。
但是司机是具有主观意识的，在隧道中往往也需要进行手动操作，而因为隧道内环境复杂或司机疲劳驾驶，甚至带有情绪时，手动操作可能会产生一定的危险，因此需要一种决策是否遵循司机的行车操作的辅助自动驾驶的方法；
为此，本发明提出一种基于人工智能的自动驾驶车辆控制决策确定方法。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于人工智能的自动驾驶车辆控制决策确定方法，该一种基于人工智能的自动驾驶车辆控制决策确定方法在保证车辆的行车安全的基础上，满足司机自由操作的体验。
为实现上述目的，根据本发明的第一方面的实施例提出一种基于人工智能的自动驾驶车辆控制决策确定方法，包括以下步骤：
步骤一：收集车辆在从隧道外行驶至隧道内的若干组历史行驶数据；
步骤二：对于每组历史行驶数据中，司机每次进行行车操作时，对车辆在隧道中的实时环境数据进行环境安全系数的评估；
步骤三：基于每组历史行驶数据，生成深度强化学习模型训练所需的每个时间步的数据样本；
步骤四：将所有时间步的数据样本作为深度强化学习模型的输入，并对深度强化学习模型进行训练，获得在隧道中实时决策是否遵循司机对车辆的行车操作的深度强化学习模型；
步骤五：将训练完成的深度强化学习模型载入车辆的智能控制***中，并在车辆行驶过程中，实时判断车辆是否是在隧道外并向隧道内行驶，若是在隧道外并向隧道内行驶，转至步骤六；
步骤六：在进入隧道前，车辆的图像捕获设备捕获隧道前的指引标志；并将指引标志发送图像发送至智能控制***，由智能控制***读取指引标志信息；智能控制***根据指引标志信息控制车辆车速，并在隧道内通过智能控制***对车辆进行自动驾驶；
步骤七：车辆进入隧道后，智能控制***实时获取隧道内的隧道环境，并对隧道环境进行环境安全系数的评估；
步骤八：智能控制***根据环境安全系数、与隧道出口的距离以及司机进行的行车操作，实时决策是否遵循司机对车辆的行车操作；
其中，所述历史行驶数据包括车辆从隧道外行驶入隧道内的行程曲线以及实时环境数据；
其中，所述行程曲线包括车速曲线、车道曲线以及司机操作曲线；所述车速曲线为车辆在进入隧道时的车速随时间变化的曲线；所述车道曲线为车辆所在车道随时间变化的曲线；所述司机操作曲线为司机在各个时间节点所实施的行车操作；
其中，所述实时环境数据包括隧道内的最高限速、实时可见距离、剩余弯道距离、车辆实时颠簸程度、周围车辆的实时距离以及周围车辆的实时车速；其中，所述周围车辆包括前方最近车辆、后方最近车辆以及相邻车道的最近车辆；
其中，实时可见距离可通过能见度仪获得；
剩余弯道距离为根据车辆GPS定位的位置与卫星电子地图上弯道结束位置的距离；
车辆实时颠簸程度可以通过震动传感器获得；
周围车辆的实时距离以及周围车辆的实时车速可以分别通过距离传感器和速度传感器获得；
对车辆所处隧道环境的环境安全系数进行评估的方式为：
将每个时刻标记为t；将实时可见距离标记为kt；将隧道内的最高限速标记为x；将剩余弯道距离标记为wt；将车辆实时颠簸程度标记为dt；将周围车辆的编号标记为i，其中，将车辆与第i辆周围车辆的距离标记为sit；将车辆的速度标记为vt；
计算时刻t的环境安全系数At；其中，环境安全系数At的计算公式为
Figure SMS_1
；其中，a1、a2以及a3分别为预设的大于0比例系数；其中，y为预设的隧道内的行车安全距离；
生成深度强化学习模型训练所需的每个时间步的数据样本的方式为：
在每次司机进行行车操作，即司机操作曲线出现变化时：
以车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为初始状态空间；
以拒绝司机的行车操作和遵循司机的行车操作作为动作空间；
设置时间步长i，当前时刻标记为r，计算时刻r+i与时刻r之间车辆距离隧道出口的距离的差值sr，计算时刻r+i与时刻r的环境安全系数的差值Adr；计算时刻r的Q值，将时刻r的Q值标记为Qr；计算公式为Qr=b1*sr+b2*Adr；其中，b1和b2分别为预设的比例系数；且b1小于0，b2大于0；
以车辆在时刻r+i的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为结果状态空间；
将每次司机进行行车操作时的初始状态空间、动作空间、Q值以及结果状态空间作为一个时间步的元组数据；该元组即为数据样本；
所述深度强化学习模型是深度Q网络；
实时判断车辆是否是在隧道外并向隧道内行驶的方式为：
智能控制***实时监控车辆的GPS定位的位置与卫星电子地图上的隧道位置的距离，若距离不断减少且距离小于预设的距离阈值时，判断车辆是在隧道外并向隧道内行驶；
当车载GPS失去信号时，车载摄像头实时捕获车辆前进方向的图像，并发送至智能控制***，智能控制***使用目标识别算法，实时识别车辆前方是否包含隧道口，若识别出隧道口，则判断车辆是在隧道外并向隧道内行驶；
由智能控制***读取指引标志信息的方式为：
智能控制***实时使用目标识别算法识别隧道口的限速标志以及隧道长度标志，并将限速标志和隧道长度标志进行截取，再使用OCR技术对截取的图像进行文字读取，分别获得隧道内的最高限速以及隧道长度；
智能控制***根据指引标志信息控制车辆车速的方式为：
智能控制***在车辆进入隧道前，若车速大于隧道内的最高限速，自动控制车辆速度降低至隧道内的最高限速；
智能控制***实时决策是否遵循司机对车辆的行车操作的方式为：
在司机进行行车操作时，获取当前车辆的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离作为初始状态空间，由智能控制***内的深度强化学习模型以最大化当前Q值为目的，决策是否遵循司机的行车操作，以在保证车辆的行车安全的基础上，满足司机自由操作的体验。
与现有技术相比，本发明的有益效果是：
（1）本发明根据车辆在隧道内的实时获取的最高限速、实时可见距离、剩余弯道距离、车辆实时颠簸程度以及周围车辆的实时距离等实时环境数据，提出计算当前环境安全系数的方法，将当前环境的安全程度进行量化，更有利于智能控制***对司机行车操作进行量化评估；
（2）本发明获取历史车辆在隧道内的行驶数据，并根据历史行驶数据生成深度强化学习模型训练所需的每个时间步的数据样本，利用数据样本训练出实时决策是否遵循司机行车操作的深度强化学习模型，在车辆实际行驶过程中，在隧道内采用智能控制***对车辆实施自动驾驶，而在司机需要手动操控时，智能控制***基于手动操作对环境安全系数的影响，实时决策是否遵循司机的行车操作，从而在保证车辆的行车安全的基础上，满足司机自由操作的体验。
附图说明
图1为本发明的实施例中基于人工智能的自动驾驶车辆控制决策确定方法的流程图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，一种基于人工智能的自动驾驶车辆控制决策确定方法，包括以下步骤：
步骤一：收集车辆在从隧道外行驶至隧道内的若干组历史行驶数据；
步骤二：对于每组历史行驶数据中，司机每次进行行车操作时，对车辆在隧道中的实时环境数据进行环境安全系数的评估；
步骤三：基于每组历史行驶数据，生成深度强化学习模型训练所需的每个时间步的数据样本；
步骤四：将所有时间步的数据样本作为深度强化学习模型的输入，并对深度强化学习模型进行训练，获得在隧道中实时决策是否遵循司机对车辆的行车操作的深度强化学习模型；
步骤五：将训练完成的深度强化学习模型载入车辆的智能控制***中，并在车辆行驶过程中，实时判断车辆是否是在隧道外并向隧道内行驶，若是在隧道外并向隧道内行驶，转至步骤六；否则，不做处理；
步骤六：在进入隧道前，车辆的图像捕获设备捕获隧道前的指引标志；并将指引标志发送图像发送至智能控制***，由智能控制***读取指引标志信息；智能控制***根据指引标志信息控制车辆车速，并在隧道内通过智能控制***对车辆进行自动驾驶；
步骤七：车辆进入隧道后，智能控制***实时获取隧道内的隧道环境，并对隧道环境进行环境安全系数的评估；
步骤八：智能控制***根据环境安全系数、与隧道出口的距离以及司机进行的行车操作，实时决策是否遵循司机对车辆的行车操作；
其中，所述历史行驶数据包括车辆从隧道外行驶入隧道内的行程曲线以及实时环境数据；
其中，所述行程曲线包括车速曲线、车道曲线以及司机操作曲线；所述车速曲线为车辆在进入隧道时的车速随时间变化的曲线；所述车道曲线为车辆所在车道随时间变化的曲线；所述司机操作曲线为司机在各个时间节点所实施的行车操作；所述行车操作可以包括但不限于加速、减速以及变道等；
其中，所述实时环境数据包括隧道内的最高限速、实时可见距离、剩余弯道距离、车辆实时颠簸程度、周围车辆的实时距离以及周围车辆的实时车速；其中，所述周围车辆包括前方最近车辆、后方最近车辆以及相邻车道的最近车辆；
其中，实时可见距离可通过能见度仪获得；可以理解的是，该可见距离与隧道内的天气和灯光分布情况有关；
剩余弯道距离为根据车辆GPS定位的位置与卫星电子地图上弯道结束位置的距离；可以理解的，在道路是直道时，剩余弯道距离为0；
车辆实时颠簸程度可以通过震动传感器获得；
周围车辆的实时距离以及周围车辆的实时车速可以分别通过距离传感器和速度传感器获得；
在一个优选的实施例中，对车辆所处隧道环境的环境安全系数进行评估的方式为：
将每个时刻标记为t；将实时可见距离标记为kt；将隧道内的最高限速标记为x；将剩余弯道距离标记为wt；将车辆实时颠簸程度标记为dt；将周围车辆的编号标记为i，其中，将车辆与第i辆周围车辆的距离标记为sit；将车辆的速度标记为vt；
计算时刻t的环境安全系数At；其中，环境安全系数At的计算公式为
Figure SMS_2
；其中，a1、a2以及a3分别为预设的大于0比例系数；其中，y为预设的隧道内的行车安全距离；
生成深度强化学习模型训练所需的每个时间步的数据样本的方式为：
在每次司机进行行车操作，即司机操作曲线出现变化时：
以车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为初始状态空间；
以拒绝司机的行车操作和遵循司机的行车操作作为动作空间；
设置时间步长i，当前时刻标记为r，计算时刻r+i与时刻r之间车辆距离隧道出口的距离的差值sr，计算时刻r+i与时刻r的环境安全系数的差值Adr；计算时刻r的Q值，将时刻r的Q值标记为Qr；计算公式为Qr=b1*sr+b2*Adr；其中，b1和b2分别为预设的比例系数；且b1小于0，b2大于0；
可以理解的是，时刻r+i与时刻r时，车辆距离隧道出口的距离可以根据隧道总长度与车辆在隧道内行驶距离的差值计算出；
以车辆在时刻r+i的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为结果状态空间；
将每次司机进行行车操作时的初始状态空间、动作空间、Q值以及结果状态空间作为一个时间步的元组数据；该元组即为数据样本；可以理解的是，每组历史行驶数据可以形成若干元组数据；
所述深度强化学习模型可以是深度Q网络；
在一个优选的实施例中，实时判断车辆是否是在隧道外并向隧道内行驶的方式为：
智能控制***实时监控车辆的GPS定位的位置与卫星电子地图上的隧道位置的距离，若距离不断减少且距离小于预设的距离阈值时，判断车辆是在隧道外并向隧道内行驶；
在本发明的另一个优选的实施例中，当车载GPS失去信号时，车载摄像头实时捕获车辆前进方向的图像，并发送至智能控制***，智能控制***使用目标识别算法，实时识别车辆前方是否包含隧道口，若识别出隧道口，则判断车辆是在隧道外并向隧道内行驶；
由智能控制***读取指引标志信息的方式为：
智能控制***实时使用目标识别算法识别隧道口的限速标志以及隧道长度标志，并将限速标志和隧道长度标志进行截取，再使用OCR技术对截取的图像进行文字读取，分别获得隧道内的最高限速以及隧道长度；
智能控制***根据指引标志信息控制车辆车速的方式为：
智能控制***在车辆进入隧道前，若车速大于隧道内的最高限速，自动控制车辆速度降低至隧道内的最高限速，若车速小于隧道内的最高限速，则不做处理；
智能控制***实时决策是否遵循司机对车辆的行车操作的方式为：
在司机进行行车操作时，获取当前车辆的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离作为初始状态空间，由智能控制***内的深度强化学习模型以最大化当前Q值为目的，决策是否遵循司机的行车操作，以在保证车辆的行车安全的基础上，满足司机自由操作的体验。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (5)

1.一种基于人工智能的自动驾驶车辆控制决策确定方法，其特征在于，包括以下步骤：
步骤一：收集车辆在从隧道外行驶至隧道内的若干组历史行驶数据；
步骤二：对于每组历史行驶数据中，司机每次进行行车操作时，对车辆在隧道中的实时环境数据进行环境安全系数的评估；
步骤三：基于每组历史行驶数据，生成深度强化学习模型训练所需的每个时间步的数据样本；
步骤四：将所有时间步的数据样本作为深度强化学习模型的输入，并对深度强化学习模型进行训练，获得在隧道中实时决策是否遵循司机对车辆的行车操作的深度强化学习模型；
步骤五：将训练完成的深度强化学习模型载入车辆的智能控制***中，并在车辆行驶过程中，实时判断车辆是否是在隧道外并向隧道内行驶，若是在隧道外并向隧道内行驶，转至步骤六；
步骤六：在进入隧道前，车辆的图像捕获设备捕获隧道前的指引标志；并将指引标志发送图像发送至智能控制***，由智能控制***读取指引标志信息；智能控制***根据指引标志信息控制车辆车速，并在隧道内通过智能控制***对车辆进行自动驾驶；
步骤七：车辆进入隧道后，智能控制***实时获取隧道内的隧道环境，并对隧道环境进行环境安全系数的评估；
步骤八：智能控制***根据环境安全系数、与隧道出口的距离以及司机进行的行车操作，实时决策是否遵循司机对车辆的行车操作；
所述历史行驶数据包括车辆从隧道外行驶入隧道内的行程曲线以及实时环境数据；
所述行程曲线包括车速曲线、车道曲线以及司机操作曲线；所述车速曲线为车辆在进入隧道时的车速随时间变化的曲线；所述车道曲线为车辆所在车道随时间变化的曲线；所述司机操作曲线为司机在各个时间节点所实施的行车操作；
所述实时环境数据包括隧道内的最高限速、实时可见距离、剩余弯道距离、车辆实时颠簸程度、周围车辆的实时距离以及周围车辆的实时车速；其中，所述周围车辆包括前方最近车辆、后方最近车辆以及相邻车道的最近车辆；
实时可见距离可通过能见度仪获得；
剩余弯道距离为根据车辆GPS定位的位置与卫星电子地图上弯道结束位置的距离；
车辆实时颠簸程度可以通过震动传感器获得；
周围车辆的实时距离以及周围车辆的实时车速可以分别通过距离传感器和速度传感器获得；
对车辆所处隧道环境的环境安全系数进行评估的方式为：
将每个时刻标记为t；将实时可见距离标记为kt；将隧道内的最高限速标记为x；将剩余弯道距离标记为wt；将车辆实时颠簸程度标记为dt；将周围车辆的编号标记为i，其中，将车辆与第i辆周围车辆的距离标记为sit；将车辆的速度标记为vt；
计算时刻t的环境安全系数At；其中，环境安全系数At的计算公式为
Figure QLYQS_1
；其中，a1、a2以及a3分别为预设的大于0比例系数；其中，y为预设的隧道内的行车安全距离；
生成深度强化学习模型训练所需的每个时间步的数据样本的方式为：
在每次司机进行行车操作，即司机操作曲线出现变化时：
以车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为初始状态空间；
以拒绝司机的行车操作和遵循司机的行车操作作为动作空间；
设置时间步长i，当前时刻标记为r，计算时刻r+i与时刻r之间车辆距离隧道出口的距离的差值sr，计算时刻r+i与时刻r的环境安全系数的差值Adr；计算时刻r的Q值，将时刻r的Q值标记为Qr；计算公式为Qr=b1*sr+b2*Adr；其中，b1和b2分别为预设的比例系数；且b1小于0，b2大于0；
以车辆在时刻r+i的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离为结果状态空间；
将每次司机进行行车操作时的初始状态空间、动作空间、Q值以及结果状态空间作为一个时间步的元组数据；该元组即为数据样本。
2.根据权利要求1所述的一种基于人工智能的自动驾驶车辆控制决策确定方法，其特征在于，实时判断车辆是否是在隧道外并向隧道内行驶的方式为：
智能控制***实时监控车辆的GPS定位的位置与卫星电子地图上的隧道位置的距离，若距离不断减少且距离小于预设的距离阈值时，判断车辆是在隧道外并向隧道内行驶；
当车载GPS失去信号时，车载摄像头实时捕获车辆前进方向的图像，并发送至智能控制***，智能控制***使用目标识别算法，实时识别车辆前方是否包含隧道口，若识别出隧道口，则判断车辆是在隧道外并向隧道内行驶。
3.根据权利要求1所述的一种基于人工智能的自动驾驶车辆控制决策确定方法，其特征在于，由智能控制***读取指引标志信息的方式为：
智能控制***实时使用目标识别算法识别隧道口的限速标志以及隧道长度标志，并将限速标志和隧道长度标志进行截取，再使用OCR技术对截取的图像进行文字读取，分别获得隧道内的最高限速以及隧道长度。
4.根据权利要求1所述的一种基于人工智能的自动驾驶车辆控制决策确定方法，其特征在于，智能控制***根据指引标志信息控制车辆车速的方式为：
智能控制***在车辆进入隧道前，若车速大于隧道内的最高限速，自动控制车辆速度降低至隧道内的最高限速。
5.根据权利要求1所述的一种基于人工智能的自动驾驶车辆控制决策确定方法，其特征在于，智能控制***实时决策是否遵循司机对车辆的行车操作的方式为：
在司机进行行车操作时，获取当前车辆的车辆车速、车辆位置、剩余弯道距离、车辆所在车道以及周围车辆的速度和与周围车辆的距离作为初始状态空间，由智能控制***内的深度强化学习模型以最大化当前Q值为目的，决策是否遵循司机的行车操作。
CN202310396999.5A 2023-04-14 2023-04-14 一种基于人工智能的自动驾驶车辆控制决策确定方法 Active CN116142188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310396999.5A CN116142188B (zh) 2023-04-14 2023-04-14 一种基于人工智能的自动驾驶车辆控制决策确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310396999.5A CN116142188B (zh) 2023-04-14 2023-04-14 一种基于人工智能的自动驾驶车辆控制决策确定方法

Publications (2)

Publication Number Publication Date
CN116142188A CN116142188A (zh) 2023-05-23
CN116142188B true CN116142188B (zh) 2023-06-20

Family

ID=86358467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310396999.5A Active CN116142188B (zh) 2023-04-14 2023-04-14 一种基于人工智能的自动驾驶车辆控制决策确定方法

Country Status (1)

Country Link
CN (1) CN116142188B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348415B (zh) * 2023-11-08 2024-06-04 重庆邮电大学 一种基于有限状态机的自动驾驶决策方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07197797A (ja) * 1994-01-04 1995-08-01 Hitachi Ltd 自動車用トンネル換気システム
CN113173170A (zh) * 2021-01-08 2021-07-27 海南华天科创软件开发有限公司 基于人员画像个性化算法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007276733A (ja) * 2006-04-11 2007-10-25 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP3514744A1 (en) * 2018-01-23 2019-07-24 Hitachi, Ltd. Vehicle operation analysis of a driver
EP3837137A4 (en) * 2018-06-26 2022-07-13 Itay Katz CONTEXT DRIVER MONITORING SYSTEM
US10635104B2 (en) * 2018-08-21 2020-04-28 International Business Machines Corporation Intelligent transitioning between autonomous and manual driving modes of a vehicle
US11085295B2 (en) * 2019-01-24 2021-08-10 Huaneng Tibet Yarlungzangbo River Hydropower Development Investment Co., Ltd. Tunnel boring robot and remote mobile terminal command system
CN113942519B (zh) * 2020-06-30 2023-08-08 比亚迪股份有限公司 车辆操作辅助方法、***及车辆
CN113815633A (zh) * 2021-11-02 2021-12-21 蔚来汽车科技(安徽)有限公司 行车监控方法、装置、计算机可读存储介质以及车辆
CN114732410B (zh) * 2022-04-22 2023-11-21 北京工业大学 隧道疲劳唤醒段设置方法、装置和道路隧道

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07197797A (ja) * 1994-01-04 1995-08-01 Hitachi Ltd 自動車用トンネル換気システム
CN113173170A (zh) * 2021-01-08 2021-07-27 海南华天科创软件开发有限公司 基于人员画像个性化算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于XGBoost的隧道掘进机操作参数智能决策***设计;王飞;龚国芳;段理文;秦永峰;;浙江大学学报(工学版)(第04期);全文 *

Also Published As

Publication number Publication date
CN116142188A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
JP7106664B2 (ja) 知的運転制御方法および装置、電子機器、プログラムならびに媒体
CN109598934B (zh) 一种基于规则与学习模型的无人驾驶汽车驶离高速的方法
CN108919795B (zh) 一种自动驾驶汽车换道决策方法及装置
CN110843789B (zh) 一种基于时序卷积网络的车辆换道意图预测方法
CN110647839A (zh) 自动驾驶策略的生成方法、装置及计算机可读存储介质
CN112249008B (zh) 针对复杂动态环境的无人驾驶汽车预警方法
CN113044064B (zh) 基于元强化学习的车辆自适应的自动驾驶决策方法及***
CN110077398B (zh) 一种用于智能驾驶的危险处理方法
CN116142188B (zh) 一种基于人工智能的自动驾驶车辆控制决策确定方法
CN111723854B (zh) 一种高速公路交通拥堵检测方法、设备及可读存储介质
CN112418237A (zh) 车辆驾驶决策方法、装置及电子设备
CN114915646B (zh) 一种无人驾驶矿车的数据分级上传方法和装置
CN110986994B (zh) 一种基于高噪音车辆轨迹数据的换道意图自动标注方法
CN115416650A (zh) 一种车辆的智能驾驶避障***
CN114475656A (zh) 行驶轨迹预测方法、装置、电子设备以及存储介质
CN112896166A (zh) 车辆换道方法、装置和电子设备
CN114779764B (zh) 基于行车风险分析的车辆强化学习运动规划方法
CN114895682B (zh) 一种基于云端数据的无人驾驶矿车行走参数校正方法及***
CN116504065A (zh) 一种监测事件的数据处理方法
Kalms et al. Robust lane recognition for autonomous driving
CN113553934B (zh) 基于深度强化学习的地面无人车智能决策方法及***
CN109910891A (zh) 车辆控制方法和装置
CN113296500B (zh) 一种局部路径规划方法及***
CN118238841A (zh) 辅助驾驶功能控制方法、装置、设备、介质、***及车辆
CN118082880A (zh) 一种自动驾驶车辆换道决策方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201, 202, 301, No. 56-4 Fenghuang South Road, Huadu District, Guangzhou City, Guangdong Province, 510806

Patentee after: Heduo Technology (Guangzhou) Co.,Ltd.

Address before: 100095 101-15, 3rd floor, building 9, yard 55, zique Road, Haidian District, Beijing

Patentee before: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.