CN113359709B - 一种基于数字孪生的无人驾驶运动规划方法 - Google Patents
一种基于数字孪生的无人驾驶运动规划方法 Download PDFInfo
- Publication number
- CN113359709B CN113359709B CN202110546715.7A CN202110546715A CN113359709B CN 113359709 B CN113359709 B CN 113359709B CN 202110546715 A CN202110546715 A CN 202110546715A CN 113359709 B CN113359709 B CN 113359709B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data
- unmanned
- planning
- emergency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004088 simulation Methods 0.000 claims abstract description 38
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 22
- 238000010276 construction Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 11
- 230000004888 barrier function Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 239000013604 expression vector Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 208000028257 Joubert syndrome with oculorenal defect Diseases 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 abstract description 7
- 230000004044 response Effects 0.000 abstract description 5
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于无人驾驶技术领域，更具体地，涉及一种基于数字孪生的无人驾驶运动规划方法，包括：获取车辆周围的环境数据及车身姿态数据；根据环境数据及车身姿态数据构建数字孪生驾驶场景；生成多种紧急事件模拟驾驶场景，并分别对多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果；将数字孪生驾驶场景与多种紧急事件模拟驾驶场景进行实时匹配，得到匹配紧急事件模拟驾驶场景；将匹配紧急事件模拟驾驶场景对应的规划结果传送到车辆。本发明中通过预先生成多种紧急事件模拟驾驶场景并生成相应的运动规划结果，直接匹配同步到车辆中，提高无人驾驶***在面对紧急事件时的反应灵敏度，提高无人驾驶***的安全性与可靠性。
Description
技术领域
本发明属于无人驾驶技术领域，更具体地，涉及一种基于数字孪生的无人驾驶运动规划方法。
背景技术
无人驾驶汽车，主要依靠无人驾驶***实现自动驾驶的目的，即是通过车载传感***感知道路环境，自动规划行车路线并控制车辆到达预定目标的智能汽车。近几年来，大量投资者及互联网从业者涌入智能汽车领域，带动无人驾驶技术的井喷式发展，使得完全的无人驾驶在可预见的将来能够实现。
由于汽车行驶速度较快，若无人驾驶***路线规划不合理，会对车内乘员、车外人员或环境造成重大的伤害，因此无人驾驶***的安全性、可靠性必须达到相关要求，才允许量产上路。目前的无人驾驶***必须在相应的物理场景中训练和测试运动规划等决策算法，这样的成本较高、周期较长、且不够全面，不利于无人驾驶技术的快速发展。
为解决上述技术问题，中国专利CN110716558A公开了一种基于数字孪生技术的非公开道路用自动驾驶***，但是其应用于非公开道路的自动驾驶***，而对于公开道路，驾驶环境更为复杂，紧急场景或突发场景多，因此潜在的危险更多，对无人驾驶***的可靠性安全要求更高，因此其不适用于公开道路的无人驾驶***。
发明内容
本发明为克服上述现有技术中的至少一个缺陷，提供一种基于数字孪生的无人驾驶运动规划方法，其能够应对突发的紧急事件，提高无人驾驶车辆应对紧急驾驶场景的反应速度，提高无人驾驶的安全性、可靠性，且其适用于开放公开的道路。
为解决上述技术问题，本发明采用的技术方案是：
提供一种基于数字孪生的无人驾驶运动规划方法，其特征在于，包括：获取车辆周围的环境数据及车身姿态数据；
根据环境数据及车身姿态数据构建数字孪生驾驶场景；
生成多种紧急事件模拟驾驶场景，并分别对多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果；
将数字孪生驾驶场景与多种紧急事件模拟驾驶场景进行实时匹配，得到匹配紧急事件模拟驾驶场景；
将匹配紧急事件模拟驾驶场景对应的规划结果传送到车辆。
本方案中通过预先生成多种紧急事件模拟驾驶场景，且对多种紧急事件模拟驾驶场景均作出运动规划，得到相应的规划结果，在进行无人驾驶运动规划时，将车辆的数字孪生驾驶场景与多种紧急事件模拟驾驶场景进行匹配，若匹配成功，则表示车辆处于紧急驾驶场景中，需要做出紧急规划，则将已经计算好的相应的规划结果同步到车辆即可，这样省去了在判别为紧急场景后再进行规划的过程，大大缩短了紧急驾驶场景的规划时间，提高了无人驾驶车辆的反应灵敏度以及安全性、可靠性。
优选地，上述的环境数据包括车辆前方的RGB序列图像数据、车辆周围环境的点云图像数据、车辆周围的高精度地图数据，车身姿态数据包括车辆速度、车辆加速度、车辆坐标、车辆航向角。
优选地，上述的采用RTK-SLAM(载波相位差分-即时定位与地图构建技术)获取车辆绝对坐标，接收RTK(载波相位差分技术)基准站播发的网络差分数据、接收CORS(城市连续运行参考站***)差分数据、接收车辆位置的差分数据；使用CORS模式进行定位，得到局部的高精度地图。
优选地，上述的构建数字孪生驾驶场景具体为：
对RGB序列图像数据进行检测得到交通信号信息，并根据交通信号信息提取可行路径；
对点云图像数据进行检测得到障碍物速度、障碍物航向角、障碍物位置；根据障碍物位置得到障碍物图像；
将车辆坐标映射为车身位置图像；
将可行路径、障碍物位置图像、车身位置图像融合得到多语义通道图像；
将车辆姿态数据、多语义通道图像、障碍物速度及障碍物航向角拼接形成数字孪生驾驶场景。
优选地，上述的提取可行路径具体包括：
利用YOLO(You Only Look Once)v3网络的对RGB序列图像进行目标检测得到交通标志与信号灯；
使用非极大值法抑制重叠检测；
对检测到的交通标志与信号灯分类，得到交通信号信息；
以车辆坐标为中心提取局部高精度地图，进行车道线提取和拼接，构建局部路网图；
利用交通信号信息在路网图中提取车辆当前的可行路径。
优选地，上述的对点云图像数据进行检测得到障碍物速度、障碍物航向角、障碍物位置过程为：
将点云图像在二维透射图像空间中映射；
在二维透视图像空间的一次回归结构基础上，对点云图像进行扩展，生成三维障碍物对应的立体框。
优选地，上述的生成多种紧急事件模拟驾驶场景具体包括：
采集多种紧急事件的数字驾驶场景构建训练数据集，将不同紧急事件的数字驾驶场景编码为特征矢量，作为不同紧急事件的条件，并对多种紧急事件的数字驾驶场景设置参数及分类，得到样本库；
定义多个高斯分布，并对服从高斯分布的隐矢量进行随机采样，得到相应的表达矢量；
根据表达矢量及条件，生成不同种类的虚拟紧急场景；
根据样本库对不同种类的紧急事件模拟数字驾驶场景进行对抗训练，最终得到多个紧急事件模拟驾驶场景。
优选地，上述的多种紧急事件的数字驾驶场景包括紧急刹车、紧急变道、行人冲入机动车道、行人闯红灯。
优选地，上述的分别对多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果具体包括：
提取数字孪生驾驶场景的时空信息以及车身姿态数据，利用深度确定性策略梯度算法训练运动规划模型，得到DDPG模型；
将多种紧急事件数字驾驶场景输入DDPG模型，得到相应的规划结果。
优选地，上述的规划结果包括车辆的转向角、油门或电门开度、制动力矩。
还提供一种用于实现基于数字孪生的无人驾驶运动规划方法的***，包括无人驾驶车辆终端、处理终端、通信模块；无人驾驶车辆终端设置有环境数据获取模块与车身姿态数据获取模块，处理终端设置有通信连接的环境感知单元、场景构建单元、运动规划单元；无人驾驶终端与处理终端通过通信模块通信连接；
车辆周围环境数据获取模块用于获取无人驾驶车辆终端周围的环境数据并传送到环境感知计算单元；
车身姿态数据获取模块用于获取无人驾驶车辆终端的车身姿态数据并传送到场景构建单元；
环境感知单元用于根据环境数据得到无人驾驶车辆终端周围的环境信息并传送到场景构建单元；
场景构建单元用于根据接收到的环境信息及车身姿态数据融合构建得到数字孪生驾驶场景；
运动规划单元用于生成多种紧急事件模拟驾驶场景，并得到多个分别对应的规划结果，将与数字孪生驾驶场景匹配的紧急事件模拟驾驶场景对应的规划结果传送到无人驾驶车辆终端。
与现有技术相比，有益效果是：
本方案中通过预先生成多种紧急事件模拟驾驶场景，且对多种紧急事件模拟驾驶场景均作出运动规划，得到相应的规划结果，在进行无人驾驶运动规划时，将车辆的数字孪生驾驶场景与多种紧急事件模拟驾驶场景进行匹配，若匹配成功，则表示车辆处于紧急驾驶场景中，需要做出紧急规划，则将已经计算好的相应的规划结果同步到车辆即可，这样省去了在判别为紧急场景后再进行规划的过程，大大缩短了紧急驾驶场景的规划时间，提高了无人驾驶车辆的反应灵敏度以及安全性、可靠性；并且，由于加入了对紧急事件的运动规划，使得无人驾驶***能够应对开放道路的各种不确定性因素。
附图说明
图1是本发明基于数字孪生的无人驾驶运动规划方法的流程示意框图；
图2是本发明基于数字孪生的无人驾驶运动规划方法的数字孪生驾驶场景构建过程框图；
图3是本发明基于数字孪生的无人驾驶运动规划方法的紧急事件模拟驾驶场景生成过程框图；
图4是实现本发明基于数字孪生的无人驾驶运动规划方法的***方框示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本发明的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本发明的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”“长”“短”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体描述：
实施例：
如图1至图3所示为一种基于数字孪生的无人驾驶运动规划的方法的实施例，包括：
获取车辆周围的环境数据及车身姿态数据；
根据所述环境数据及车身姿态数据构建数字孪生驾驶场景；
生成多种紧急事件模拟驾驶场景，并分别对所述多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果；
将所述数字孪生驾驶场景与所述多种紧急事件模拟驾驶场景进行实时匹配，得到匹配紧急事件模拟驾驶场景；
将所述匹配紧急事件模拟驾驶场景对应的规划结果传送到车辆。
本实施例中的环境数据包括车辆前方的RGB序列图像数据、车辆周围环境的点云图像数据、车辆周围的高精度地图数据，车身姿态数据包括车辆速度、车辆加速度、车辆坐标、车辆航向角。
其中，RGB序列图像数据可通过车载彩色摄像机采集，摄像机的参数优选为分辨率为200万像素，视频采样频率为60Hz，焦距为50mm。
另外，点云图像数据可通过激光雷达采集，激光雷达的参数优选为16线中距离激光雷达，波长为900nm，垂直分辨率为2°，水平分辨率为0.2°，扫描频率为10Hz。
本实施例中的采用RTK-SLAM(载波相位差分-即时定位与地图构建技术)获取车辆绝对坐标，接收RTK(载波相位差分技术)基准站播发的网络差分数据、接收CORS(城市连续运行参考站***)差分数据、接收车辆位置的差分数据；使用CORS模式进行定位，得到局部的高精度地图。
如图2所示，本实施例中的构建数字孪生驾驶场景具体为：
对RGB序列图像数据进行检测得到交通信号信息，并根据交通信号信息提取可行路径；
对点云图像数据进行检测得到障碍物速度、障碍物航向角、障碍物位置，其中障碍物速度、障碍物航向角用一维矢量表示；其中，障碍物包括机动车、非机动车、行人、路面设施等；
将障碍物位置进行防射变换和二值化，并映射为背景为黑色的二值图像，障碍物为表示为白色矩阵，即可得到障碍物图像；
通过GPS(全球卫星定位***)和RTK矫正车辆坐标，并将车辆坐标位置映射到黑色背景的图像中，采用白色实心圆表示车辆，即可得到车身位置图像；
将可行路径、障碍物位置图像、车身位置图像各自作为独立的通道，融合得到多语义通道图像；其中，多语义通道图像与车辆实时物理驾驶场景同步；
将车辆姿态数据、多语义通道图像、障碍物速度及障碍物航向角拼接形成数字孪生驾驶场景，其中数字孪生驾驶场景与车辆物理驾驶场景同步。
本实施例中的提取可行路径具体包括：
利用YOLO(You Only Look Once)v3网络的对RGB序列图像进行目标检测得到交通标志与信号灯；
使用非极大值法抑制重叠检测；
对检测到的交通标志与信号灯分类，得到交通信号信息；
以车辆坐标为中心提取局部高精度地图，进行车道线提取和拼接，构建局部路网图；其中，局部路网图为二值图像，背景为黑色，车道线为白色；
利用交通信号信息在路网图中提取车辆当前的可行路径。
本实施例中的对点云图像数据进行检测得到障碍物速度、障碍物航向角、障碍物位置过程为：
将点云图像在二维透射图像空间中映射；
在二维透视图像空间的一次回归结构基础上，对点云图像进行扩展，生成三维障碍物对应的立体框。
如图3所示，本实施例中的生成多种紧急事件模拟驾驶场景具体包括：
采集多种紧急事件的数字驾驶场景构建训练数据集，将不同紧急事件的数字驾驶场景编码为特征矢量，作为不同紧急事件的条件，并对多种紧急事件的数字驾驶场景设置参数及分类，得到样本库；
定义多个高斯分布，并对服从高斯分布的隐矢量进行随机采样，得到相应的表达矢量；
根据表达矢量及条件，生成不同种类的虚拟紧急场景；
根据样本库对不同种类的紧急事件模拟数字驾驶场景进行对抗训练，最终得到多个紧急事件模拟驾驶场景。
具体地，本实施例中基于改进的条件生成对抗网络构建模拟器，其中模拟器包括编码器、生成器、分类器、判别器实现紧急事件模拟驾驶场景的生成与训练；其中，编码器用于对驾驶场景进行编码和降维，生成器用于生成多种紧急事件模拟驾驶场景，判别器用于判断数字驾驶场景属于训练数据集或由生成器生成。在样本库中利用判别器、生成器、分类器进行对抗学***衡状态，可以生成最大限度接近真实场景的紧急事件模拟驾驶场景。
本实施例中的多种紧急事件的数字驾驶场景包括紧急刹车、紧急变道、行人冲入机动车道、行人闯红灯等，当然这不能理解为对本方案的限定，在具体实施过程中，可根据需要生成其他类型的紧急事件的数字驾驶场景。
本实施例中的分别对多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果具体包括：
提取数字孪生驾驶场景的时空信息以及车身姿态数据，利用深度确定性策略梯度算法训练运动规划模型，得到DDPG模型；
将多种紧急事件数字驾驶场景输入DDPG模型，得到相应的规划结果。
本实施例中的规划结果包括车辆的转向角、油门或电门开度、制动力矩。将规划结果同步到车辆后，即可控制车辆做出相应的动作，以做紧急规避。
如图4所示，本实施例还提供一种用于实现上述基于数字孪生的无人驾驶运动规划方法的***，包括无人驾驶车辆终端、处理终端、通信模块；无人驾驶车辆终端设置有环境数据获取模块与车身姿态数据获取模块，处理终端设置有通信连接的环境感知单元、场景构建单元、运动规划单元；无人驾驶终端与处理终端通过通信模块通信连接；
车辆周围环境数据获取模块用于获取无人驾驶车辆终端周围的环境数据并传送到环境感知计算单元；
车身姿态数据获取模块用于获取无人驾驶车辆终端的车身姿态数据并传送到场景构建单元；
环境感知单元用于根据环境数据得到无人驾驶车辆终端周围的环境信息并传送到场景构建单元；
场景构建单元用于根据接收到的环境信息及车身姿态数据融合构建得到数字孪生驾驶场景；
运动规划单元用于生成多种紧急事件模拟驾驶场景，并得到多个分别对应的规划结果，将与数字孪生驾驶场景匹配的紧急事件模拟驾驶场景对应的规划结果传送到无人驾驶车辆终端。
本实施例中的环境信息获取模块包括激光雷达、摄像机；激光雷达用于获取无人驾驶车辆终端周围的点云图像数据，其参数优选为16线中距离激光雷达，波长为900nm，垂直分辨率为2°，水平分辨率为0.2°，扫描频率为10Hz；摄像机用于获取无人驾驶车辆终端周围的RGB序列图像数据，其参数优选为200万像素，视频采样频率为60Hz，焦距为50mm。
本实施例中的车身姿态数据获取模块包括用于获取无人驾驶车辆终端坐标和高精度地图的GPS单元、用于获取无人驾驶车辆终端加速度及航向角的IMU单元、用于获取无人驾驶车辆终端速度的速度传感器。
本实施例中的处理终端为云服务平台，通信模块为采用5G通信技术的无线高速通信模块，此时无人驾驶车辆终端上设置有ECU(电子控制单元)，云服务平台通过通信模块与无人驾驶车辆终端上的ECU进行无线高速通信，以对接收到的数据进行相应的处理计算，并得到规划结果并传送到ECU中。需要说明的是，本实施例中采用云服务平台与5G无线高速通信模块均为参考的实施方式，不能理解为对本方案的限定，无线高速通信模块当然也可以采用6G等新一代的无线通信技术；或者通信模块为有线通信模块，此时，处理终端可为集成在无人驾驶车辆终端ECU上的芯片，这样同样可以实现本方案的功能。
本实施例中运动规划单元包括模拟器和规划器，模拟器用于生成多种紧急事件模拟驾驶场景，规划器用于根据紧急事件模拟驾驶场景生成相应的规划结果。
本实施例中通过预先生成多种紧急事件模拟驾驶场景，且对多种紧急事件模拟驾驶场景均作出运动规划，得到相应的规划结果，在进行无人驾驶运动规划时，将车辆的数字孪生驾驶场景与多种紧急事件模拟驾驶场景进行匹配，若匹配成功，则表示车辆处于紧急驾驶场景中，需要做出紧急规划，则将已经计算好的相应的规划结果同步到车辆即可，这样省去了在判别为紧急场景后再进行规划的过程，大大缩短了紧急驾驶场景的规划时间，提高了无人驾驶车辆的反应灵敏度以及安全性、可靠性；并且，由于加入了对紧急事件的运动规划，使得无人驾驶***能够应对开放道路的各种不确定性因素，使其能够面对开放道路中不确定的驾驶环境因素。
本发明是参照本申请实施例的方法、设备(***)、和计算机程序产品的流程图或方框图来描述的，应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (8)
1.一种基于数字孪生的无人驾驶运动规划方法，其特征在于，包括：
获取车辆周围的环境数据及车身姿态数据；
根据所述环境数据及车身姿态数据构建数字孪生驾驶场景；
生成多种紧急事件模拟驾驶场景，并分别对所述多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果；
将所述数字孪生驾驶场景与所述多种紧急事件模拟驾驶场景进行实时匹配，得到匹配紧急事件模拟驾驶场景；
将所述匹配紧急事件模拟驾驶场景对应的规划结果传送到车辆；
所述环境数据包括车辆前方的RGB序列图像数据、车辆周围环境的点云图像数据、车辆周围的高精度地图数据，所述车身姿态数据包括车辆速度、车辆加速度、车辆坐标和车辆航向角；
所述构建数字孪生驾驶场景具体为：
对所述RGB序列图像数据进行检测得到交通信号信息，并根据所述交通信号信息提取可行路径；
对所述点云图像数据进行检测得到障碍物速度、障碍物航向角和障碍物位置；根据所述障碍物位置得到障碍物位置图像；
将所述车辆坐标映射为车身位置图像；
将所述可行路径、障碍物位置图像和车身位置图像融合得到多语义通道图像；
将所述车身姿态数据、所述多语义通道图像和障碍物速度及障碍物航向角融合形成数字孪生驾驶场景。
2.根据权利要求1所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，所述高精度地图的获取具体包括：
采用RTK-SLAM获取车辆绝对坐标，接收RTK基准站播发的网络差分数据、接收CORS差分数据和接收车辆位置的差分数据；使用CORS模式进行定位，得到局部的高精度地图。
3.根据权利要求2所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，所述提取可行路径具体包括：
对所述RGB序列图像进行目标检测得到交通标志与信号灯；使用非极大值法抑制重叠检测；
对检测到的交通标志与信号灯分类，得到交通信号信息；
以车辆坐标为中心提取局部高精度地图，进行车道线提取和拼接，构建局部路网图；
利用交通信号信息在局部路网图中提取车辆当前的可行路径。
4.根据权利要求1所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，对所述点云图像数据进行检测得到障碍物速度、障碍物航向角和障碍物位置过程为：
将所述点云图像数据中的点云图像在二维透视 图像空间中映射；
在二维透视图像空间的一次回归结构基础上，对所述点云图像进行扩展，生成三维障碍物对应的立体框。
5.根据权利要求1所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，所述生成多种紧急事件模拟驾驶场景具体包括：
采集多种紧急事件的数字驾驶场景构建训练数据集，将不同紧急事件的数字驾驶场景编码为特征矢量，作为不同紧急事件的条件，并对多种紧急事件的数字驾驶场景设置参数及分类，得到样本库；
定义多个高斯分布，并对服从高斯分布的隐矢量进行随机采样，得到相应的表达矢量；
根据所述表达矢量及所述条件，生成不同种类的虚拟紧急场景；
根据所述样本库对所述不同种类的虚拟紧急场景进行对抗训练，最终得到多种紧急事件模拟驾驶场景。
6.根据权利要求5所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，分别对所述多种紧急事件模拟驾驶场景进行规划得到多个分别对应的规划结果具体包括：
提取所述数字孪生驾驶场景的时空信息以及所述车身姿态数据，利用深度确定性策略梯度算法训练运动规划模型，得到DDPG模型；
将所述多种紧急事件模拟驾驶场景输入所述DDPG模型，得到相应的规划结果。
7.根据权利要求1至6任一项所述的一种基于数字孪生的无人驾驶运动规划方法，其特征在于，所述规划结果包括车辆的转向角、油门或电门开度和制动力矩。
8.一种用于实现权利要求1至7任一项所述的基于数字孪生的无人驾驶运动规划方法的***，其特征在于，包括无人驾驶车辆终端、处理终端和通信模块；所述无人驾驶车辆终端设置有环境数据获取模块与车身姿态数据获取模块，所述处理终端设置有通信连接的环境感知单元、场景构建单元和运动规划单元；所述无人驾驶车辆 终端与所述处理终端通过所述通信模块通信连接；
所述环境数据获取模块用于获取无人驾驶车辆终端周围的环境数据并传送到环境感知计算单元；
所述车身姿态数据获取模块用于获取无人驾驶车辆终端的车身姿态数据并传送到场景构建单元；
所述环境感知单元用于根据所述环境数据得到无人驾驶车辆终端周围的环境信息并传送到场景构建单元；
所述场景构建单元用于根据接收到的所述环境信息及车身姿态数据融合构建得到数字孪生驾驶场景；
所述运动规划单元用于生成多种紧急事件模拟驾驶场景，并得到多个分别对应的规划结果，将与所述数字孪生驾驶场景匹配的紧急事件模拟驾驶场景对应的规划结果传送到无人驾驶车辆终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546715.7A CN113359709B (zh) | 2021-05-19 | 2021-05-19 | 一种基于数字孪生的无人驾驶运动规划方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110546715.7A CN113359709B (zh) | 2021-05-19 | 2021-05-19 | 一种基于数字孪生的无人驾驶运动规划方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113359709A CN113359709A (zh) | 2021-09-07 |
| CN113359709B true CN113359709B (zh) | 2022-07-05 |
Family
ID=77526935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110546715.7A Active CN113359709B (zh) | 2021-05-19 | 2021-05-19 | 一种基于数字孪生的无人驾驶运动规划方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113359709B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113867354B (zh) * | 2021-10-11 | 2023-05-02 | 电子科技大学 | 一种自动驾驶多车智能协同的区域交通流导引方法 |
| CN114396944B (zh) * | 2022-01-18 | 2024-03-22 | 西安塔力科技有限公司 | 一种基于数字孪生的自主定位误差矫正方法 |
| CN114715197B (zh) * | 2022-06-10 | 2022-08-30 | 深圳市爱云信息科技有限公司 | 基于数字孪生DaaS平台的自动驾驶安全方法及*** |
| CN117974942A (zh) * | 2022-10-25 | 2024-05-03 | 腾讯科技（深圳）有限公司 | 车辆驾驶状态的展示方法、装置、电子设备和存储介质 |
| CN116081488B (zh) * | 2022-12-21 | 2023-07-04 | 中国矿业大学 | 一种场景自适应单轨吊运输机器人无人驾驶控制方法 |
| CN115840404B (zh) * | 2022-12-21 | 2023-11-03 | 浙江大学 | 一种基于自动驾驶专用路网和数字孪生地图的云控自动驾驶*** |
| CN118097605A (zh) * | 2024-04-25 | 2024-05-28 | 华能信息技术有限公司 | 无人驾驶矿车数据的管理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272683A (zh) * | 2017-06-19 | 2017-10-20 | 中国科学院自动化研究所 | 基于acp方法的平行智能车控制*** |
| CN110716558A (zh) * | 2019-11-21 | 2020-01-21 | 上海车右智能科技有限公司 | 一种基于数字孪生技术的非公开道路用自动驾驶*** |
-
2021
- 2021-05-19 CN CN202110546715.7A patent/CN113359709B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107272683A (zh) * | 2017-06-19 | 2017-10-20 | 中国科学院自动化研究所 | 基于acp方法的平行智能车控制*** |
| CN110716558A (zh) * | 2019-11-21 | 2020-01-21 | 上海车右智能科技有限公司 | 一种基于数字孪生技术的非公开道路用自动驾驶*** |
Non-Patent Citations (5)
| Title |
|---|
| 基于3D LiDAR的矿山无人驾驶车行驶边界检测;陈龙等;《煤炭学报》;20200630;第45卷(第6期);第2140-2146页 * |
| 基于数字四胞胎的平行驾驶***及应用;刘腾等;《智能科学与技术学报》;20190331;第1卷(第1期);第40-51页 * |
| 平行无人***;陈龙等;《无人***技术》;20180531(第1期);第23-37页 * |
| 智能车的智能指挥与控制：基本方法与***结构;刘腾等;《指挥与控制学报》;20180331;第4卷(第1期);第22-31页 * |
| 端对端平行无人矿山***及其关键技术;杨超等;《智能科学与技术学报》;20190930;第1卷(第3期);第228-240页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113359709A (zh) | 2021-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113359709B (zh) | 一种基于数字孪生的无人驾驶运动规划方法 | |
| US10565458B2 (en) | Simulation system, simulation program and simulation method | |
| WO2022206942A1 (zh) | 一种基于行车安全风险场的激光雷达点云动态分割及融合方法 | |
| US11769058B2 (en) | Systems and methods for identifying unknown instances | |
| CN114282597B (zh) | 一种车辆可行驶区域检测方法、***以及采用该***的自动驾驶车辆 | |
| CN108417087B (zh) | 一种车辆安全通行***及方法 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN110446278B (zh) | 基于v2i的智能驾驶汽车传感器盲区安全控制方法及*** | |
| CN111164967B (zh) | 图像处理设备和图像处理方法 | |
| CN113313154A (zh) | 一体化融合多传感器自动驾驶智能感知装置 | |
| GB2621048A (en) | Vehicle-road laser radar point cloud dynamic segmentation and fusion method based on driving safety risk field | |
| US11574462B1 (en) | Data augmentation for detour path configuring | |
| CN110356412A (zh) | 用于自主驾驶的自动规则学习的方法和设备 | |
| US20220137636A1 (en) | Systems and Methods for Simultaneous Localization and Mapping Using Asynchronous Multi-View Cameras | |
| Armingol et al. | IVVI: Intelligent vehicle based on visual information | |
| US12026894B2 (en) | System for predicting near future location of object | |
| US12023812B2 (en) | Systems and methods for sensor data packet processing and spatial memory updating for robotic platforms | |
| WO2019188391A1 (ja) | 制御装置、制御方法、並びにプログラム | |
| KR20220073472A (ko) | V2x 통신기반 자율주행 혼합류환경 교차로 통합정보 제공 시스템 및 방법 | |
| US20220146277A1 (en) | Architecture for map change detection in autonomous vehicles | |
| US20240005642A1 (en) | Data Augmentation for Vehicle Control | |
| CN115662166A (zh) | 一种自动驾驶数据处理方法及自动驾驶交通*** | |
| He et al. | Towards C-V2X enabled collaborative autonomous driving | |
| CN112945244B (zh) | 适用于复杂立交桥的快速导航***及导航方法 | |
| US20240001849A1 (en) | Data Augmentation for Driver Monitoring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |