CN117666785A - 一种基于数字孪生的自动驾驶人机交互接管训练方法和*** - Google Patents
一种基于数字孪生的自动驾驶人机交互接管训练方法和*** Download PDFInfo
- Publication number
- CN117666785A CN117666785A CN202311603360.6A CN202311603360A CN117666785A CN 117666785 A CN117666785 A CN 117666785A CN 202311603360 A CN202311603360 A CN 202311603360A CN 117666785 A CN117666785 A CN 117666785A
- Authority
- CN
- China
- Prior art keywords
- driver
- takeover
- automatic driving
- training
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 123
- 238000012549 training Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 230000006399 behavior Effects 0.000 claims description 112
- 238000004088 simulation Methods 0.000 claims description 59
- 238000012360 testing method Methods 0.000 claims description 32
- 230000002452 interceptive effect Effects 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 20
- 230000007613 environmental effect Effects 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 19
- 238000012795 verification Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 18
- 238000002360 preparation method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000004424 eye movement Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 12
- 238000012790 confirmation Methods 0.000 claims description 11
- 238000012502 risk assessment Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000036387 respiratory rate Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 7
- 230000010485 coping Effects 0.000 claims description 5
- 230000015654 memory Effects 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000013136 deep learning model Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 230000036391 respiratory frequency Effects 0.000 claims description 2
- 230000003042 antagnostic effect Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 abstract 2
- 230000005855 radiation Effects 0.000 abstract 2
- 238000009877 rendering Methods 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 230000003068 static effect Effects 0.000 abstract 1
- 230000002787 reinforcement Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000002996 emotional effect Effects 0.000 description 4
- 238000002790 cross-validation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241000168096 Glareolidae Species 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Mechanical Engineering (AREA)
- Computer Graphics (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于数字孪生的自动驾驶人机交互接管训练方法和***，属于三维建模与计算机视觉领域。首先通过相机对建模物体的多角度采集得到多张静态2D图像，并通过COLMAP等工具估计每张图像对应的相机内外参；然后在每张图像上为目标物体提供分割提示并利用SAM大模型对图像进行分割，去除背景噪声，得到目标物体的分割图像；接着将分割图像及相机参数输入NeRF神经辐射场算法，进行三维重建与渲染，利用点云重建技术将隐式三维模型转换为显示三维模型进而得到高精度的数字孪生几何模型。该方法能够有效地利用SAM大模型的强大语义理解能力和NeRF神经辐射场算法的高效三维重建能力，实现数字孪生建模的自动化和精确化。
Description
技术领域
本发明涉及一种基于数字孪生的自动驾驶人机交互接管训练方法和***，属于人机共驾测试技术领域。
背景技术
当前自动驾驶技术发展迅速，人机共驾交互接管是有效提高自动驾驶***的可控性、安全性和用户接受度的重要支撑。人机共驾交互机制在实现高度自主驾驶的同时，能够为驾驶员提供随时介入和指导的能力，以确保***在各类挑战和异常情况下保持有效运行。
但现阶段对于人机接管层面研究数据多来源于实际道路试验，需要在真实道路环境下，对突发紧急情况进行模拟，并聘用合适的驾驶测试志愿者采用真车实验，根据眼动仪等基础实验仪器一起采集实验数据，因此，开发测试经济成本高、危险系数高、测试可靠性和数据量小，阻碍现阶段自动驾驶***的推出和市场落地。
发明内容
针对现有技术的不足，本发明提出了一种基于数字孪生的自动驾驶人机交互接管训练方法；
本发明还提出了一种基于数字孪生的自动驾驶人机交互接管训练***；
术语解释：
自动驾驶***，是一种通过使用传感器、计算机和控制***，使车辆能够在无需人类干预的情况下进行自主驾驶的技术。该***采用各种传感器(如雷达、摄像头、激光雷达等)来感知周围环境，并使用高级算法和人工智能技术来分析和理解这些数据。基于对环境的感知和分析，自动驾驶***能够做出决策并控制车辆的加速、刹车、转向等操作，以达到安全、高效的行驶。
自动驾驶人机交互接管训练***是在自动驾驶***现有技术基础上，借助数字孪生技术对传感器所采集的驾驶环境信息进行虚拟环境构建，通过基于数字孪生的自动驾驶人机交互接管训练方法，模拟自动驾驶突发紧急情况下，车辆驾驶权限移交及驾驶员对车辆的最优接管行为进行模拟训练及性能评估。
本发明的技术方案为：
一种基于数字孪生的自动驾驶人机交互接管训练方法，包括：
虚拟环境构建：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下模拟车辆行为；
人机交互接管：通过监测自动驾驶***状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；
接管决策方法：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
根据本发明优选的，建立虚拟环境，包括：数据采集及处理、仿真模型及环境变化测试；
数据采集及处理，是指：采集真实世界环境数据；并对所采集的真实世界环境数据进行初步筛选，剔除偏差数据；
仿真模型，是指：创建逼真的虚拟环境，创建真实环境的数字化模型，实现模拟车辆行驶、碰撞、车辆间互动；
环境变化测试，是指：在虚拟环境中引入不同的道路条件、天气情况、交通流量及突发情况导致的驾驶权限需要移交的复杂交通路况，进行自动驾驶算法的测试和验证，在虚拟环境中模拟自动驾驶行为并收集数据，虚拟环境中模拟自动驾驶场景，进行***测试、性能验证和算法优化。
进一步优选的，使用LiDAR、摄像机、雷达传感器进行数据采集及处理。
进一步优选的，使用三维建模软件或游戏引擎创建环境要素的虚拟模型和物理仿真能力，根据数据创建逼真的虚拟环境；通过模拟工具进行自动驾驶场景仿真，基于车辆动力学、交通规则和自动驾驶算法，将采集的数据进行处理和整合，创建真实环境的数字化模型。
根据本发明优选的，人机交互接管，包括：人机交互接管场景、驾驶员模拟行为构建、标注及数据库准备、人机交互接管交叉验证；
所述人机交互接管场景包括多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况；
所述驾驶员模拟行为构建：在虚拟仿真场景中，基于规则、机器学习或对抗网络(GAN)等深度学习模型，模拟驾驶员的操控行为、注意力变化、决策能力、生理特性指标及代表真实驾驶员的行为和反应，具体包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间的行为指标。
所述标注及数据库准备：针对多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下代表驾驶员操控行为、注意力变化、决策能力的生理、行为指标进行标注，实现将驾驶员的行为与相应的环境和自动驾驶***状态关联；训练数据集包括输入即人机交互数据和输出即驾驶员接管行为。
进一步优选的，所述不同交通路况引入道路障碍物、施工区域、行人穿越、不同交通流量突发情况导致的驾驶权限需要移交的复杂情况；
所述极端天气，借助数字孪生技术，模拟恶劣的天气条件，以及相关的道路湿滑和能见度下降情况。
进一步优选的，所述驾驶员的行为反应指标包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间；眼动数据包括瞳孔直径、扫视频率、注视次数、平均注视时间。
根据本发明优选的，接管决策，包括：
环境感知和***状态监测、风险评估和接管触发条件判断、接管建议和警告、驾驶员确认和准备、接管执行和交互模式切换、驾驶员控制和***支持及自动驾驶恢复和交互模式切换；
当自动驾驶***遇到需要交由驾驶员接管的情况时，交互逻辑触发，并向驾驶员发送相应的提示和警告；在驾驶员做出决策后，将控制权交还给自动驾驶***；
所述环境感知和***状态监测，包括：在虚拟仿真场景中，自动驾驶***实时监测车辆周围的环境，同时，监测自动驾驶***的状态，包括传感器工作、定位精度和决策输出；
所述风险评估和接管触发条件判断，包括：基于环境感知和自动驾驶***状态，自动驾驶***进行风险评估，判断是否存在需要驾驶员接管的风险情况；如果自动驾驶***无法准确应对当前情况，将根据事先设定的接管触发条件判断是否需要进行接管；
所述接管建议和警告，包括：自动驾驶***确定需要驾驶员接管时，向驾驶员发出接管建议和警告，提醒驾驶员准备接管控制；
所述驾驶员确认和准备，包括：当驾驶员收到接管建议后，确认准备接管控制；在确认之前，驾驶员继续监测环境，随时做好接管准备；
所述接管执行和交互模式切换，包括：在驾驶员确认准备接管后，自动驾驶***将执行接管控制的操作；同时，自动驾驶***与驾驶员之间的交互模式从自动驾驶模式切换为手动驾驶模式，驾驶员开始对车辆进行操控；
所述驾驶员控制和***支持，包括：接管控制移交给驾驶员后，驾驶员负责操控车辆，应对突发情况；自动驾驶***继续提供支持；
所述自动驾驶恢复和交互模式切换，包括：当驾驶员认为适合自动驾驶时，将手动驾驶模式切换回自动驾驶模式，由自动驾驶***接管控制。
根据本发明优选的，模拟训练及性能评估，包括：人机接管训练、性能评估及仿真环境验证；
人机接管训练，包括：获取不同交互接管场景下的交互结果预测数据集，让交互训练接管决策模型通过与环境交互，不断优化交互训练调整交互训练接管决策过程驾驶员的接管行为逻辑及自动驾驶***提示方式，循环迭代，包括：根据评估结果和模拟场景中的表现，不断优化交互训练接管决策模型训练过程，根据不同情况下的提示和警告做出正确的接管决策。
进一步优选的，通过机器学习方法及增强学习方法对驾驶员的人机接管行为进行单一或综合训练。
进一步优选的，性能评估，包括：交互训练接管决策模型建立、真实环境测试、仿真环境验证、交叉验证；
进一步优选的，仿真环境验证，包括：在数字孪生虚拟环境中进行大规模仿真测试，模拟各种不同情况下的驾驶员接管行为，以验证训练结果的泛化能力。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
一种基于数字孪生的自动驾驶人机交互接管训练***，包括：
虚拟环境构建模块，被配置为：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下模拟车辆行为；
人机交互接管模块，被配置为：通过监测自动驾驶***状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；
接管决策模块，被配置为：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估模块，被配置为：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
本发明的有益效果为：
本发明以数字孪生技术为核心，为人机交互接管***的训练和测试提供低风险的虚拟平台，实现对复杂的驾驶场景虚拟环境及驾驶员接管行为模拟，使驾驶员能够有效应对自动驾驶***的接管要求，有效降低实际道路试验所带来的潜在危险，加速自动驾驶***的推出和市场落地。
以虚拟环境进行人机交互接管演练能够降低实验成本，同时，还可以收集用于优化决策行为的实验数据；以数字孪生为基础的精细化环境控制能够保障***的可控性、灵活性及可靠性；优选机器学***，确保其在必要时能够高效介入和控制***。
附图说明
图1为本发明实施例中一种基于数字孪生的自动驾驶人机交互接管训练方法的场景应用示意图；
图2为一种基于数字孪生的自动驾驶人机交互接管训练方法流程示意图；
图3为人机交互接管方法控制流程示意图；
图4为tranfomer多头注意力机制架构示意图。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于数字孪生的自动驾驶人机交互接管训练方法，如图2所示，包括：
虚拟环境构建：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下，如交通紧急情况、不同交通流量、复杂路况等模拟车辆行为；
人机交互接管：通过监测自动驾驶***状态和环境变化，提供及时的介入提示，确保驾驶员或操作员在需要时进行合理的接管；需要人机交互接管的不同场景，如交通紧急情况、不同交通流量、复杂路况等涵盖各种挑战和难度级别，以便训练驾驶员或操作员应对不同情况下的接管行为。
接管决策方法：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
数字孪生在自动驾驶领域的人机交互接管中具有安全、成本效益、可控性、快速迭代、数据收集和人员培训等多方面的优点，有助于推动自动驾驶技术的发展和成熟。利用数字孪生技术，一种基于数字孪生的自动驾驶人机交互接管训练方法和***能够保证接管实验过程人员安全，降低实验成本，同时该***在虚拟环境中的高保真性、高可控性能够实现人机共驾接管训练结果的快速迭代优化。
实施例2
根据实施例1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其区别在于：
建立虚拟环境，包括：数据采集及处理、仿真模型及环境变化测试；
数据采集及处理，是指：采集真实世界环境数据；以便在虚拟环境中模拟；真实世界环境数据，如道路、交通标志、建筑物等。并对所采集的真实世界环境数据进行初步筛选，剔除明显与实际环境不符的偏差数据；
仿真模型，是指：创建逼真的虚拟环境，包括道路、建筑、车辆等。创建真实环境的数字化模型，包括地形、道路结构、交通流等，实现模拟车辆行驶、碰撞、车辆间互动；
环境变化测试，是指：在虚拟环境中引入不同的道路条件、天气情况、交通流量及突发情况导致的驾驶权限需要移交的复杂交通路况，进行自动驾驶算法的测试和验证，在虚拟环境中模拟自动驾驶行为并收集数据，虚拟环境中高度精确地模拟自动驾驶场景，进行有效的***测试、性能验证和算法优化。
使用LiDAR、摄像机、雷达等传感器进行数据采集及处理。
使用三维建模软件(如Blender、Maya、3D Max)或游戏引擎(如Unity、UnrealEngine)创建环境要素的虚拟模型和物理仿真能力，根据数据创建逼真的虚拟环境；通过专门的模拟工具(如CARLA、LGSVL Simulator)进行自动驾驶场景仿真，基于车辆动力学、交通规则和自动驾驶算法，将采集的数据进行处理和整合，创建真实环境的数字化模型。
人机交互接管，包括：人机交互接管场景、驾驶员模拟行为构建、标注及数据库准备、人机交互接管交叉验证；
人机交互接管场景包括多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况；以便训练驾驶员或操作员应对不同情况下的接管行为；
驾驶员模拟行为构建：在虚拟仿真场景中，基于规则、机器学习或对抗网络(GAN)等深度学习模型，模拟驾驶员的操控行为、注意力变化、决策能力、生理特性指标及代表真实驾驶员的行为和反应，具体包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间的行为指标。
虚拟仿真场景中，根据实际环境采集的反应驾驶员操控行为、注意力变化、决策能力的生理及行为特征指标数据，使用外部程序(Python)优先采用规则、机器学习或对抗网络(GAN)等深度学习模型，对驾驶员的人机接管行为进行单一或综合训练，使用监督学习方法，使用已知的驾驶员接管行为数据来训练模型。
标注及数据库准备：针对多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下代表驾驶员操控行为、注意力变化、决策能力的生理、行为指标进行标注，实现将驾驶员的行为与相应的环境和自动驾驶***状态关联；训练数据集包括输入即人机交互数据(人机交互场景环境、***状态等)和输出即驾驶员接管行为。
对不同交通路况、极端天气情况下的驾驶员的生理、行为反应指标进行标注，构建能够代表驾驶员的真实行为反应指标数据库，并基于通用的信息控制接口实现模拟驾驶员数据与虚拟环境的信息交互。人机交互接管交叉验证；将驾驶员模拟行为构建及数据库标注后人机接管数据库投入到真实驾驶环境中进行测试。在实际道路上模拟需要驾驶员接管的情况，记录实际的接管行为和结果。使用交叉验证方法，将数据分为训练集和测试集，以确保模型的泛化性能。通过在不同数据集上的测试，评估模型的稳定性和可靠性。
不同交通路况引入道路障碍物、施工区域、行人穿越、不同交通流量突发情况导致的驾驶权限需要移交的复杂情况；
极端天气，借助数字孪生技术，模拟恶劣的天气条件，如雨雪、雾霾等，以及相关的道路湿滑和能见度下降情况。
驾驶员的行为反应指标包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间；眼动数据包括瞳孔直径、扫视频率、注视次数、平均注视时间。
基于对环境感知和***状态监测，进行风险评估和接管触发条件判断，当自动驾驶***遇到需要交由驾驶员接管的情况时，交互逻辑触发，并给予驾驶员接管建议和警告，在提醒驾驶员确认和准备后，进行接管执行和交互模式切换，控制***应驾驶员做出决策后，将控制权交还给自动驾驶***，自动驾驶恢复和交互模式过程完成。
基于上述控制逻辑在虚拟环境中构建人机交互接管决策控制方法，在虚拟驾驶环境中集成生理和行为监测技术，在整个接管移交过程中，持续监测驾驶员行为、车辆状态和环境变化，在搭建的虚拟环境中使用外部程序Python的第三方库来读取代表真实驾驶员的行为和反应、车辆折损程度及驾驶环境财产损失的串口数据，采用合适的算法、网络架构和超参数调整，以获得更准确和可靠的预测结果，可能需要使用交叉验证等技术来评估模型的性能，汇总形成不同交互接管场景下的交互结果预测数据集。
接管决策，包括：
环境感知和***状态监测、风险评估和接管触发条件判断、接管建议和警告、驾驶员确认和准备、接管执行和交互模式切换、驾驶员控制和***支持及自动驾驶恢复和交互模式切换；
当自动驾驶***遇到需要交由驾驶员接管的情况时，交互逻辑触发，并向驾驶员发送相应的提示和警告；在驾驶员做出决策后，能够及时将控制权交还给自动驾驶***；
环境感知和***状态监测，包括：在虚拟仿真场景中，自动驾驶***实时监测车辆周围的环境，包括天气、道路状况、交通标志、其他车辆和行人等车辆50米范围内的可采集的环境信息数据；同时，监测自动驾驶***的状态，包括传感器工作、定位精度和决策输出；
风险评估和接管触发条件判断，包括：基于环境感知和自动驾驶***状态，自动驾驶***进行风险评估，判断是否存在需要驾驶员接管的风险情况；如果自动驾驶***无法准确应对当前情况，将根据事先设定的接管触发条件判断是否需要进行接管；
接管建议和警告，包括：自动驾驶***确定需要驾驶员接管时，向驾驶员发出接管建议和警告，提醒驾驶员准备接管控制；接管方式根据驾驶员模拟和行为建模，可通过声音、图像、震动等方式单独或同步进行，同时设置接管提示时间。
驾驶员确认和准备，包括：当驾驶员收到接管建议后，确认准备接管控制；在确认之前，驾驶员继续监测环境，但也应当保持警觉，随时做好接管准备；
接管执行和交互模式切换，包括：在驾驶员确认准备接管后，自动驾驶***将执行接管控制的操作；同时，自动驾驶***与驾驶员之间的交互模式从自动驾驶模式切换为手动驾驶模式，驾驶员开始对车辆进行操控；并负主要责任。
驾驶员控制和***支持，包括：接管控制移交给驾驶员后，驾驶员负责操控车辆，应对突发情况；自动驾驶***继续提供支持；如保持车辆在车道内、提供跟车辅助等功能。
自动驾驶恢复和交互模式切换，包括：当驾驶员认为情况安全、适合自动驾驶时，将手动驾驶模式切换回自动驾驶模式，由自动驾驶***接管控制。
模拟训练及性能评估，包括：人机接管训练、性能评估及仿真环境验证；
人机接管训练，包括：借助外界程序python获取不同交互接管场景下的交互结果预测数据集，优选使用机器学习方法及增强学习方法，让交互训练接管决策模型通过与环境交互，不断优化交互训练调整交互训练接管决策过程驾驶员的接管行为逻辑及自动驾驶***提示方式，循环迭代，包括：根据评估结果和模拟场景中的表现，不断优化交互训练接管决策模型训练过程，根据不同情况下的提示和警告做出正确的接管决策。
通过机器学习方法及增强学习方法对驾驶员的人机接管行为进行单一或综合训练；
机器学习方法，包括但不局限于下类方法：
循环神经网络(Recurrent Neural Networks，RNN)：用于对驾驶员的时间序列数据进行建模，如生理指标的时间变化、驾驶行为序列等，基于历史数据信息预测未来接管行为的影响；
长短时记忆网络(Long Short-Term Memory，LSTM)：用于处理长时间依赖关系，适用于需要记忆较长时间间隔内的驾驶员行为模式；
卷积神经网络(Convolutional Neural Networks，CNN)：用于图像数据处理，从驾驶员监控摄像头获取的图像数据中提取特征；这些特征可以用来预测驾驶员的注意力、情绪状态等，并判断是否需要接管；
时空卷积神经网络(3D Convolutional Neural Networks，3D CNN)：用于处理具有时间维度的图像数据，从驾驶员监控摄像头获取的图像数据中提取特征，用来预测驾驶员的注意力、情绪状态等，并判断是否需要接管；同时考虑图像在时间上的变化。从驾驶员监控摄像头获取的图像数据中提取特征。这些特征可以用来预测驾驶员的注意力、情绪状态等，并判断是否需要接管；
自注意力机制模型(Transformer)：捕捉不同生理和行为指标之间的复杂关系，有助于准确预测接管行为；
深度强化学习模型(Deep Reinforcement Learning，DRL)：在虚拟环境中模拟驾驶员的接管决策过程，并通过强化学习方法来训练模型。这些模型可以在不同情境下学习最优的接管策略；
多模态融合模型：将不同类型的数据(如图像、声音、时间序列)结合起来，通过融合模型进行综合分析和预测。这可以更全面地捕捉驾驶员的状态和行为；
生成对抗网络(Generative Adversarial Networks，GAN)：用于生成模拟的驾驶员行为数据，从而增强训练数据集的多样性和数量，有助于提高模型的泛化能力。
增强学习方法，包括：
采用深度Q网络(Deep Q-Network，DQN)、策略梯度方法、蒙特卡洛树搜索(MonteCarlo Tree Search，MCTS)增强学习方法进行交互训练接管决策模型的训练，或者选择采用异策略和同策略方法进行交互训练接管决策模型的训练。
性能评估，包括：交互训练接管决策模型建立、真实环境测试、仿真环境验证、交叉验证；在训练过程中，需要对驾驶员的人机接管行为进行性能评估；包括评估驾驶员生理及行为指标和***安全性等。
生理指标包括：
心率(Heart Rate)：驾驶员的心跳頻率，反映驾驶员的系张程度、兴奋水平和情绪状态。
皮肤电活动(Electrodermal Activity，EDA)：皮肤电导率的变化，反映驾驶员的情结、焦虑和压力水平；
眼动数据(Eye Tracking)：对驾驶员注视点的追踪，揭示了注意力分配、视觉授索和情绪变化；
脑电图(Electroencephalography，EG)：记录脑电活动的变化，反应驾驶员的认知状态和注意力；
水平呼吸频率(Respiration Rate)：驾驶员的呼吸速率，反映驾员的紧张度和情绪状态；
行为指标包括：
反应时间(Reaction Time)：驾驶员对于外界刺激作出反应所需的时间，衡量驾驶员警觉性和认知处理能力；
控制输入(Control Inputs)：驾驶员的方向盘转角、油门踏板和刹车踏板的操作，反映驾驶员的驾骏行为；
车辆位置和速度：驾骏员的车辆位置和速度信息，分析驾驶员的行驶行为和决策；
语音和手势：驾驶员的语音指令和手势动作,反映驾驶员与自动驾驶***的交互方式和意图；
眼睛闭合时间(Eye Blink Duration)：驾驶员眼睛闭合的时间，反应驾驶员的疲劳程度和注意力状态。
通过评估，可以不断改进驾驶员模拟和交互逻辑，提高训练效果。
仿真环境验证，包括：在数字孪生虚拟环境中进行大规模仿真测试，模拟各种不同情况下的驾驶员接管行为，以验证训练结果的泛化能力。
实施例3
根据实施例1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其区别在于：
(1)虚拟仿真场景构建
如图1所示，真实世界环境数据采用无人机获取，包括如道路、交通标志、建筑物等，并对所采集的真实世界环境数据进行初步筛选，剔除交通标志错位或缺失、噪点、建筑物偏移等明显与实际环境不符的偏差数，借助Blender二次调整建筑的高度和路网的宽度。并将采集到的数据在虚幻引擎unity中实现虚拟环境3d建模，车辆自动驾驶控制机制借助专门的模拟工具CARLA行自动驾驶场景仿真，基于车辆动力学、交通规则和自动驾驶算法，将采集的数据进行处理和整合，创建真实环境的数字化模型。
搭建云服务器平台，进行数据库配置并在虚拟环境中引入不同的道路条件、天气情况、交通流量等，进行自动驾驶算法的测试和验证，具体的人机交互接管场景包括多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况，并生成webGL格式，利用vue来进行二次开发，并在web端继续展示，便于模与后端以及硬件之间可以做到实施的数据交互，通过实测、仿真和数据分析来实时感知、诊断、预测物理实体对象的状态,以便训练驾驶员或操作员应对不同情况下的接管行为；
不同交通路况通过引入道路障碍物、施工区域、行人穿越、不同交通流量及突发情况导致的驾驶权限需要移交的复杂情况，所述极端天气主要模拟恶劣的天气条件，如雨雪、雾霾等，以及相关的道路湿滑和能见度下降情况；所述驾驶员的行为反应指标包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间；眼动数据包括瞳孔直径、扫视频率、注视次数、平均注视时间。
(2)驾驶员行为构建及数据库标注
在虚拟仿真场景中，模拟驾驶员的操控行为、注意力变化、决策能力，具体包括代表真实驾驶员的行为和反应，所选指标表包心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间的行为指标。使用外部程序(Python)优先采用对抗网络(GAN)模型，对驾驶员的人机接管行为进行单一或综合训练，使用监督学习方法，使用已知的驾驶员接管行为数据来训练模型。
对不同交通路况、极端天气情况下的驾驶员的生理、行为反应指标进行标注，构建能够代表驾驶员的真实行为反应指标数据库，采用UnityWebRequest原有模块化***，构成HTTP请求和处理HTTP响应，实现分块HTTP请求、流式POST/PUT操作以及对HTTP标头和动词的完全控制的Unity与Web浏览器后端模拟驾驶员数据与虚拟环境的信息交互。
将驾驶员模拟行为构建及数据库标注后人机接管数据库投入到真实驾驶环境中进行测试。在实际道路上模拟需要驾驶员接管的情况，记录实际的接管行为和结果。使用交叉验证方法，将数据分为训练集和测试集，以确保模型的泛化性能。通过在不同数据集上的测试，评估模型的稳定性和可靠性。
(3)交互训练接管决策训练
交互训练接管决策方法流程为：基于多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况状态监测，进行风险评估和接管触发条件判断，如图3所示，当自动驾驶***遇到需要交由驾驶员接管的情况时，交互逻辑触发，虚拟仿真场景中，自动驾驶***实时监测车辆周围的环境，包括天气、道路状况、交通标志、其他车辆和行人等车辆50米范围内的可采集的环境信息数据，并给予驾驶员接管建议和警告，在提请驾驶员确认和准备后，进行接管执行和交互模式切换，控制***应驾驶员做出决策后将控制权交还给自动驾驶***，自动驾驶恢复和交互模式过程完成。
接管建议和警告，包括：自动驾驶***确定需要驾驶员接管时，向驾驶员发出接管建议和警告，提醒驾驶员准备接管控制；接管方式根据驾驶员模拟和行为建模，通过声音、图像、震动等方式单独或同步进行，同时设置接管提示时间。
驾驶员确认和准备，包括：当驾驶员收到接管建议后，确认准备接管控制；在确认之前，驾驶员继续监测环境，但也应当保持警觉，随时做好接管准备；
接管执行和交互模式切换，包括：在驾驶员确认准备接管后，自动驾驶***将执行接管控制的操作；同时，自动驾驶***与驾驶员之间的交互模式从自动驾驶模式切换为手动驾驶模式，驾驶员开始对车辆进行操控；并负主要责任。
驾驶员控制和***支持，包括：接管控制移交给驾驶员后，驾驶员负责操控车辆，应对突发情况；自动驾驶***继续提供支持；如保持车辆在车道内、提供跟车辅助等功能。
自动驾驶恢复和交互模式切换，包括：当驾驶员认为情况安全、适合自动驾驶时，将手动驾驶模式切换回自动驾驶模式，由自动驾驶***接管控制。
借助外界程序python获取不同交互接管场景下的交互结果预测数据集，以使用自注意力机制模型(Transformer)为例，捕捉不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下驾驶员生理和行为指标数据X，构建如图4所示，的Multi-Head Attention的多个Self-Attention层，将输入X分别传递到h个不同的Self-Attention中，计算得到h个输出矩阵Z。
图4是h＝8时候的情况，此时会得到8个输出矩阵Z。
得到8个输出矩阵1到8，之后，Multi-Head Attention将它们拼接在一起(Concat)，然后传入一个Linear层，得到Multi-Head Attention最终的输出Z，和最初矩阵维度一样，并输入中添加位置Embedding，否则Transformer就是一个词袋模型了。
如图4所示，Transformer中的Self-Attention结构，其中用到的Q,K,V矩阵通过输出进行线性变换得到。Transformer中Multi-Head Attention中有多个Self-Attention，可以捕获单不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下驾驶员生理和行为指标数据之间多种维度上的相关关系，
让模型通过与环境交互，不断优化交互训练调整交互训练接管决策过程驾驶员的接管行为逻辑及自动驾驶***提示方式，循环迭代，包括：根据评估结果和模拟场景中的表现，不断优化交互训练接管决策模型训练过程，根据不同情况下的提示和警告做出正确的接管决策。
对不同情况下的最优接管仿真环境验证，在数字孪生虚拟环境中进行大规模仿真测试，模拟各种不同情况下的驾驶员接管行为，以验证训练结果的泛化能力。
实施例4
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例1-3任一所述的基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
实施例5
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1-3任一所述的基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
实施例6
一种基于数字孪生的自动驾驶人机交互接管训练***，包括：
虚拟环境构建模块，被配置为：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下，如交通紧急情况、不同交通流量、复杂路况等模拟车辆行为；
人机交互接管模块，被配置为：通过监测自动驾驶***状态和环境变化，提供及时的介入提示，确保驾驶员或操作员在需要时进行合理的接管；需要人机交互接管的不同场景，如交通紧急情况、不同交通流量、复杂路况等涵盖各种挑战和难度级别，以便训练驾驶员或操作员应对不同情况下的接管行为。
接管决策模块，被配置为：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估模块，被配置为：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
Claims (10)
1.一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，包括：
虚拟环境构建：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下模拟车辆行为；
人机交互接管：通过监测自动驾驶***状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；
接管决策方法：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
2.根据权利要求1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，建立虚拟环境，包括：数据采集及处理、仿真模型及环境变化测试；
数据采集及处理，是指：采集真实世界环境数据；并对所采集的真实世界环境数据进行初步筛选，剔除偏差数据；
仿真模型，是指：创建逼真的虚拟环境，创建真实环境的数字化模型，实现模拟车辆行驶、碰撞、车辆间互动；
环境变化测试，是指：在虚拟环境中引入不同的道路条件、天气情况、交通流量及突发情况导致的驾驶权限需要移交的复杂交通路况，进行自动驾驶算法的测试和验证，在虚拟环境中模拟自动驾驶行为并收集数据，虚拟环境中模拟自动驾驶场景，进行***测试、性能验证和算法优化；
进一步优选的，使用LiDAR、摄像机、雷达传感器进行数据采集及处理；
进一步优选的，使用三维建模软件或游戏引擎创建环境要素的虚拟模型和物理仿真能力，根据数据创建逼真的虚拟环境；通过模拟工具进行自动驾驶场景仿真，基于车辆动力学、交通规则和自动驾驶算法，将采集的数据进行处理和整合，创建真实环境的数字化模型。
3.根据权利要求1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，人机交互接管，包括：人机交互接管场景、驾驶员模拟行为构建、标注及数据库准备、人机交互接管交叉验证；
所述人机交互接管场景包括多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况；
所述驾驶员模拟行为构建：在虚拟仿真场景中，基于规则、机器学习或对抗网络深度学习模型，模拟驾驶员的操控行为、注意力变化、决策能力、生理特性指标及代表真实驾驶员的行为和反应，具体包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间的行为指标；
所述标注及数据库准备：针对多种难度级别的不同交通路况、多种极端天气及突发情况导致的驾驶权限需要移交的复杂交通路况下代表驾驶员操控行为、注意力变化、决策能力的生理、行为指标进行标注，实现将驾驶员的行为与相应的环境和自动驾驶***状态关联；训练数据集包括输入即人机交互数据和输出即驾驶员接管行为；
进一步优选的，所述不同交通路况引入道路障碍物、施工区域、行人穿越、不同交通流量突发情况导致的驾驶权限需要移交的复杂情况；
所述极端天气，借助数字孪生技术，模拟恶劣的天气条件，以及相关的道路湿滑和能见度下降情况；
进一步优选的，所述驾驶员的行为反应指标包括心率、皮肤电活动、眼动数据、脑电图、呼吸频率的生理指标及反应时间、控制行为、语音手势、眼睛闭合时间；眼动数据包括瞳孔直径、扫视频率、注视次数、平均注视时间。
4.根据权利要求1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，接管决策，包括：
环境感知和***状态监测、风险评估和接管触发条件判断、接管建议和警告、驾驶员确认和准备、接管执行和交互模式切换、驾驶员控制和***支持及自动驾驶恢复和交互模式切换；
当自动驾驶***遇到需要交由驾驶员接管的情况时，交互逻辑触发，并向驾驶员发送相应的提示和警告；在驾驶员做出决策后，将控制权交还给自动驾驶***；
所述环境感知和***状态监测，包括：在虚拟仿真场景中，自动驾驶***实时监测车辆周围的环境，同时，监测自动驾驶***的状态，包括传感器工作、定位精度和决策输出；
所述风险评估和接管触发条件判断，包括：基于环境感知和自动驾驶***状态，自动驾驶***进行风险评估，判断是否存在需要驾驶员接管的风险情况；如果自动驾驶***无法准确应对当前情况，将根据事先设定的接管触发条件判断是否需要进行接管；
所述接管建议和警告，包括：自动驾驶***确定需要驾驶员接管时，向驾驶员发出接管建议和警告，提醒驾驶员准备接管控制；
所述驾驶员确认和准备，包括：当驾驶员收到接管建议后，确认准备接管控制；在确认之前，驾驶员继续监测环境，随时做好接管准备；
所述接管执行和交互模式切换，包括：在驾驶员确认准备接管后，自动驾驶***将执行接管控制的操作；同时，自动驾驶***与驾驶员之间的交互模式从自动驾驶模式切换为手动驾驶模式，驾驶员开始对车辆进行操控；
所述驾驶员控制和***支持，包括：接管控制移交给驾驶员后，驾驶员负责操控车辆，应对突发情况；自动驾驶***继续提供支持；
所述自动驾驶恢复和交互模式切换，包括：当驾驶员认为适合自动驾驶时，将手动驾驶模式切换回自动驾驶模式，由自动驾驶***接管控制。
5.根据权利要求1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，模拟训练及性能评估，包括：人机接管训练、性能评估及仿真环境验证；
人机接管训练，包括：获取不同交互接管场景下的交互结果预测数据集，让交互训练接管决策模型通过与环境交互，不断优化交互训练调整交互训练接管决策过程驾驶员的接管行为逻辑及自动驾驶***提示方式，循环迭代，包括：根据评估结果和模拟场景中的表现，不断优化交互训练接管决策模型训练过程，根据不同情况下的提示和警告做出正确的接管决策。
6.根据权利要求5所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，通过机器学习方法及增强学习方法对驾驶员的人机接管行为进行单一或综合训练。
7.根据权利要求1所述的一种基于数字孪生的自动驾驶人机交互接管训练方法，其特征在于，性能评估，包括：交互训练接管决策模型建立、真实环境测试、仿真环境验证、交叉验证；
进一步优选的，仿真环境验证，包括：在数字孪生虚拟环境中进行大规模仿真测试，模拟各种不同情况下的驾驶员接管行为，以验证训练结果的泛化能力。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-7任一所述的基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于数字孪生的自动驾驶人机交互接管训练方法的步骤。
10.一种基于数字孪生的自动驾驶人机交互接管训练***，其特征在于，包括：
虚拟环境构建模块，被配置为：建立虚拟环境，将自动驾驶***整合于虚拟环境，使自动驾驶***在需要人机交互接管的不同场景下模拟车辆行为；
人机交互接管模块，被配置为：通过监测自动驾驶***状态和环境变化，提供介入提示，确保驾驶员或操作员在需要时进行合理的接管；
接管决策模块，被配置为：基于虚拟环境数据及人机交互接管逻辑预测的接管时机，通过训练好的交互训练接管决策模型为接管行为提供控制优化建议；
模拟训练及性能评估模块，被配置为：收集驾驶员的行为数据和接管决策数据，用于模块性能的评估和优化；通过迭代优化，不断调整模型参数、优化培训策略，提高训练模块的准确性和实用性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311603360.6A CN117666785A (zh) | 2023-11-28 | 2023-11-28 | 一种基于数字孪生的自动驾驶人机交互接管训练方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311603360.6A CN117666785A (zh) | 2023-11-28 | 2023-11-28 | 一种基于数字孪生的自动驾驶人机交互接管训练方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117666785A true CN117666785A (zh) | 2024-03-08 |
Family
ID=90085670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311603360.6A Pending CN117666785A (zh) | 2023-11-28 | 2023-11-28 | 一种基于数字孪生的自动驾驶人机交互接管训练方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117666785A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117962901A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 驾驶状态的调整方法及装置、存储介质、电子设备、计算机程序产品 |
-
2023
- 2023-11-28 CN CN202311603360.6A patent/CN117666785A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117962901A (zh) * | 2024-03-29 | 2024-05-03 | 苏州元脑智能科技有限公司 | 驾驶状态的调整方法及装置、存储介质、电子设备、计算机程序产品 |
| CN117962901B (zh) * | 2024-03-29 | 2024-05-28 | 苏州元脑智能科技有限公司 | 驾驶状态的调整方法及装置、存储介质、电子设备、计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Al-Qizwini et al. | Deep learning algorithm for autonomous driving using ***net | |
| US10532749B2 (en) | Systems and methods to adjust autonomous vehicle parameters in response to passenger feedback | |
| CN109774724A (zh) | 用于自主驾驶***的开发&评估的场景生成和参数扫描的方法和设备 | |
| JP7345639B2 (ja) | マルチエージェントシミュレーション | |
| CN111240350A (zh) | 一种无人机飞行员动态行为评估*** | |
| CN117666785A (zh) | 一种基于数字孪生的自动驾驶人机交互接管训练方法和*** | |
| CN113064487A (zh) | 一种交互虚拟仿真*** | |
| KR100955086B1 (ko) | 경제 주행 시뮬레이터 | |
| Zhao et al. | A human-like trajectory planning method on a curve based on the driver preview mechanism | |
| CN107590301A (zh) | 支持开发利于不同天气条件下铁路交叉道口的行驶的算法的虚拟传感器数据生成***和方法 | |
| Gajananan et al. | An experimental space for conducting controlled driving behavior studies based on a multiuser networked 3D virtual environment and the scenario markup language | |
| Weiss et al. | DeepRacing: A framework for autonomous racing | |
| CN109782751A (zh) | 用于自主***性能和基准测试的方法和设备 | |
| Kim et al. | Toward prediction of driver awareness of automotive hazards: Driving-video-based simulation approach | |
| CN110930811B (zh) | 一种适用于无人驾驶决策学习和训练的*** | |
| Notz et al. | Methods for improving the accuracy of the virtual assessment of autonomous driving | |
| KR102196027B1 (ko) | Lstm 기반 조향 행동 모니터링 장치 및 그 방법 | |
| CN117496790A (zh) | 虚拟消防车辆训练***、方法、电子设备及存储介质 | |
| Hartmann et al. | “Pedestrian in the Loop”: An approach using augmented reality | |
| Kowol et al. | A-eye: Driving with the eyes of ai for corner case generation | |
| CN115981302A (zh) | 车辆跟驰换道行为决策方法、装置及电子设备 | |
| Pietruch et al. | An overview and review of testing methods for the verification and validation of ADAS, active safety systems, and autonomous driving | |
| Mbanisi et al. | Learning coordinated vehicle maneuver motion primitives from human demonstration | |
| Cao | A Review of virtual test methods for autonomous vehicles | |
| Wang et al. | Fatigue driving detection of urban road at night based on multimodal information fusion. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |