CN115626173A - 一种车辆状态展示方法、装置、存储介质和车辆 - Google Patents

一种车辆状态展示方法、装置、存储介质和车辆 Download PDF

Info

Publication number
CN115626173A
CN115626173A CN202211286450.2A CN202211286450A CN115626173A CN 115626173 A CN115626173 A CN 115626173A CN 202211286450 A CN202211286450 A CN 202211286450A CN 115626173 A CN115626173 A CN 115626173A
Authority
CN
China
Prior art keywords
vehicle
model
digital twin
driving scene
state information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211286450.2A
Other languages
English (en)
Inventor
高宝连
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Great Wall Motor Co Ltd
Original Assignee
Great Wall Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Great Wall Motor Co Ltd filed Critical Great Wall Motor Co Ltd
Priority to CN202211286450.2A priority Critical patent/CN115626173A/zh
Publication of CN115626173A publication Critical patent/CN115626173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种车辆状态展示方法、装置、存储介质和车辆,属于车辆技术领域。本申请实施例基于车辆的三维模型和车辆周围的实际环境信息,构建出随实际环境信息的变化而变化的数字孪生驾驶场景,进而基于车辆零部件的实际状态信息,能够在数字孪生驾驶场景中展示车辆零部件对应的零部件模型的虚拟状态信息。本申请实施例通过在数字孪生驾驶场景中展示各个零部件模型的虚拟状态信息,能够直观全面地反映各个车辆零部件的实际状态信息,并真实反馈用户在驾驶过程中的实际环境信息,用户可以更清晰地查看自己的驾驶过程,提升用户的驾驶体验,同时可为用户驾驶行为分析、车辆故障及事故分析提供全面准确的数据支撑。

Description

一种车辆状态展示方法、装置、存储介质和车辆
技术领域
本申请涉及车辆技术领域,特别是涉及一种车辆状态展示方法、装置、存储介质和车辆。
背景技术
数字孪生技术是充分利用物理模型、传感器更新、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,该技术能够实现真实物理世界与虚拟数字世界之间的交互与融合,从而反映相对应的物理实体的全生命周期过程。
目前现有的数字孪生方法,通常是地图和定位轨迹集成在一起,该种方式所构建的车辆模型通常是通用的车辆轮廓模型,仅能在地图中呈现车辆的实时位置信息,而不能在车辆模型上直观地呈现车辆状态及车辆周边的环境信息。
发明内容
本申请提供一种车辆状态展示方法、装置、存储介质和车辆,以解决现有技术不能在车辆模型上直观地呈现车辆状态及车辆周边的环境信息的问题。
为了解决上述问题,本申请采用了以下的技术方案:
第一方面,本申请实施例提供了一种车辆状态展示方法,所述方法包括:
基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景;所述数字孪生驾驶场景随所述实际环境信息的变化而变化;所述三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件;
获取所述车辆零部件的实际状态信息;
基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息。
在本申请一实施例中,所述三维模型是通过以下步骤构建的:
基于所述车辆的标识信息,确定与所述标识信息匹配的零部件模型和纹理映射关系;不同的标识信息对应不同的零部件模型和纹理映射关系;
基于所述零部件模型和所述纹理映射关系,构建所述三维模型,以使所述三维模型具有和所述车辆相同的纹理特征。
在本申请一实施例中,基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景,包括:
基于所述车辆周围的实际环境信息,生成所述车辆的三维场景图;
将所述三维模型和所述三维场景图融合,得到所述车辆的数字孪生驾驶场景。
在本申请一实施例中,基于所述车辆周围的实际环境信息,生成所述车辆的三维场景图,包括:
获取所述车辆所在路段的地图数据和/或所述车辆在至少四个预设方位上的图像数据;
基于所述地图数据和/或所述图像数据,生成所述三维场景图。
在本申请一实施例中,所述零部件模型包括第一动态模型和第二动态模型;
基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息,包括:
在所述车辆零部件为所述第一动态模型的情况下,在所述数字孪生驾驶场景中的三维模型上展示所述第一动态模型对应的零部件模型的虚拟状态信息;和/或,
在所述车辆零部件为所述第二动态模型的情况下,在所述数字孪生驾驶场景中的预设区域展示所述第二动态模型对应的零部件模型的虚拟状态信息。
在本申请一实施例中,所述方法还包括:
获取用户的监控视频和主机***的显示画面;
在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面。
在本申请一实施例中,在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面之后,所述方法还包括:
在检测到所述车辆熄火的情况下,基于所述数字孪生驾驶场景生成驾驶行为分析报告。
第二方面,基于相同发明构思,本申请实施例提供了一种车辆状态展示装置,所述装置包括:
驾驶场景构建模块,用于基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景;所述数字孪生驾驶场景随所述实际环境信息的变化而变化;所述三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件;
获取模块,获取所述车辆零部件的实际状态信息;
展示模块,用于基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息。
在本申请一实施例中,所述装置还包括车辆模型构建模块,所述车辆模型构建模块包括:
确定子模块,用于基于所述车辆的标识信息,确定与所述标识信息匹配的零部件模型和纹理映射关系;不同的标识信息对应不同的零部件模型和纹理映射关系;
模型构建子模块,用于基于所述零部件模型和所述纹理映射关系,构建所述三维模型,以使所述三维模型具有和所述车辆相同的纹理特征。
在本申请一实施例中,所述驾驶场景构建模块包括:
三维场景图生成子模块,用于基于所述车辆周围的实际环境信息,生成所述车辆的三维场景图;
融合子模块,用于将所述三维模型和所述三维场景图融合,得到所述车辆的数字孪生驾驶场景。
在本申请一实施例中,所述三维场景图生成子模块包括:
数据获取单元,用于获取所述车辆所在路段的地图数据和/或所述车辆在至少四个预设方位上的图像数据;
生成单元,用于基于所述地图数据和/或所述图像数据,生成所述三维场景图。
在本申请一实施例中,所述零部件模型包括第一动态模型和第二动态模型;所述展示模块包括:
第一展示子模块,用于在所述车辆零部件为所述第一动态模型的情况下,在所述数字孪生驾驶场景中的三维模型上展示所述第一动态模型对应的零部件模型的虚拟状态信息;
第二展示子模块,用于在所述车辆零部件为所述第二动态模型的情况下,在所述数字孪生驾驶场景中的预设区域展示所述第二动态模型对应的零部件模型的虚拟状态信息。
在本申请一实施例中,所述装置还包括:
画面获取模块,用于获取用户的监控视频和主机***的显示画面;
画面展示模块,用于在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面。
在本申请一实施例中,所述装置还包括:
报告生成模块,用于在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面之后,在检测到所述车辆熄火的情况下,基于所述数字孪生驾驶场景生成驾驶行为分析报告。
第三方面,基于相同发明构思,本申请实施例提供了一种存储介质,所述存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现本申请第一方面提出的车辆状态展示方法。
第四方面,基于相同发明构思,本申请实施例提供了一种车辆,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现本申请第一方面提出的车辆状态展示方法。
与现有技术相比,本申请包括以下优点:
本申请实施例提供的一种车辆状态展示方法,基于车辆的三维模型和车辆周围的实际环境信息,构建出随实际环境信息的变化而变化的数字孪生驾驶场景,进而基于车辆零部件的实际状态信息,能够在数字孪生驾驶场景中展示车辆零部件对应的零部件模型的虚拟状态信息。本申请实施例通过将车辆的三维模型拆分为不同的零部件模型,并在数字孪生驾驶场景中展示各个零部件模型的虚拟状态信息,能够直观全面地反映车辆零部件的实际状态信息,同时真实反馈用户在驾驶过程中的环境信息,用户可以更清晰地查看自己的驾驶过程,提升用户的驾驶体验,同时为用户驾驶行为分析、车辆故障及事故分析提供全面准确的数据支撑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例中一种车辆状态展示方法的步骤流程图。
图2是本申请一实施例中一种车辆状态展示装置的功能模块示意图。
附图标记:200-车辆状态展示装置;201-驾驶场景构建模块;202-获取模块;203-展示模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,示出了本申请一种车辆状态展示方法,该方法具体可以包括以下步骤:
S101:基于车辆的三维模型和车辆周围的实际环境信息,构建车辆的数字孪生驾驶场景,数字孪生驾驶场景随实际环境信息的变化而变化,三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件。
需要说明的是,本实施例的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备如云端服务器,或者具有上述功能的电子设备如行车电脑、车载电脑等,如ECU(Electronic Control Unit,电子控制单元)、BCM(Body Control Module,车身控制模块)、VCU(Vehicle Control Unit,整车控制器)等,本实施方式将以VCU作为执行主体进行说明,需要说的是,本实施方式不对车辆的执行主体做出具体限制。
在本实施方式中,可以将车辆拆解为车身轮廓、车门、车窗、天窗、后视镜、转向灯、前大灯、尾灯、雾灯、方向盘、中控屏、仪表盘、座椅、发动机等多个车辆零部件,分别对各个车辆零部件进行数字模型的构建,得到对应的零部件模型。具体而言,可以通过3DMAX或C4D等三维引擎工具,对模型进行轻量化处理,实现对零部件模型的仿真构建。
需要说明的是,车辆的零部件模型可以存储在预先配置的数字孪生引擎中,并在数字孪生引擎中设置单独的模型管理模块对不同型号车辆的零部件模型进行管理,其中,不同型号的车辆对应不同的零部件模型。
在本实施方式中,VCU可以通过API((Application Programming Interface,应用程序编程接口)与数字孪生引擎连接,以通过数字孪生引擎实现对车辆的三维模型的构建。具体而言,VCU可以通过识别车辆的VIN(Vehicle Identification Number,车辆识别码),获取到车辆的型号信息,并将车辆的型号信息发送至数字孪生引擎,以使数字孪生引擎在模型管理模块中匹配该型号的车辆对应的零部件模型,并将匹配的零部件模型进行合成,得到车辆的三维模型。
需要说明的是,车辆的零部件模型按照状态信息是否发生改变可以分为静态零部件模型和动态零部件模型,其中,静态零部件模型为状态信息不会发生改变的零部件模型,动态零部件模型为状态信息会发生改变的零部件模型。在构建车辆的三维模型时,则是将动态零部件模型的状态信息设置为默认初始状态,在完成三维模型以及数字孪生驾驶场景的构建后,动态零部件模型的状态信息将会随动态零部件模型对应的车辆零部件的实际状态的改变而改变。
在本实施方式中,数字孪生驾驶场景可以通过预先存储的数字孪生引擎进行构建。该数字孪生引擎可以存储在云端服务器,也可以存储的车辆本地。
在本实施方式中,可以利用摄像头、激光雷达和/或毫米波雷电等传感器,实时获取车辆周围的实际环境信息,VCU再将获取的实际环境信息传输给数字孪生引擎,以使数字孪生引擎将物理空间中的实际环境信息映射到虚拟空间后与三维模型进行叠加融合,进而在虚拟空间中构建出车辆的数字孪生驾驶场景。其中,车辆周围的实际环境信息可以但不限于包括道路信息、交通信息、障碍物信息和建筑信息。
在本实施方式中,在数字孪生引擎完成对数字孪生驾驶场景的构建之后,会将包括该数字孪生驾驶场景的数据返回至VCU,并在车载显示终端显示该数字孪生驾驶场景。
需要说明的是,VCU除了控制车载显示终端显示该数字孪生驾驶场景外,还可以将该数字孪生驾驶场景发送至手机端、后台服务端等预设终端进行显示和/或存储。
在本实施方式中,通过将车辆周围的实际环境信息加入车辆的数字孪生驾驶场景的构建,能够使数字孪生驾驶场景随实际环境信息的变化而变化,真实还原物理空间的环境特征,同时,由于将车辆的三维模型拆分为不同的零部件模型,能够在数字孪生驾驶场景中展示更多的车辆细节,实现对车辆状态的真实还原。
S102:获取车辆零部件的实际状态信息。
本实施方式需要说明的是,车辆零部件的实际状态信息指用户在驾驶过程中各个车辆零部件的运行状态数据,如发动机转速、车辆行驶速度、油门踩踏力度、刹车力度、转向灯状态、车窗状态等车辆行驶过程中产生的数据。在具体实现中,还可以设置预处理模块对运行状态数据进行冗余数据、垃圾数据的过滤,以保留真实有效数据。
S103:基于车辆零部件的实际状态信息,在数字孪生驾驶场景中展示车辆零部件对应的零部件模型的虚拟状态信息。
在本实施方式中,基于车辆零部件的实际状态信息,可以确定每个车辆零部件各自对应的零部件模型在数字孪生驾驶场景中的虚拟状态信息。需要说明的是,实际状态信息表征车辆零部件在物理空间中的状态,虚拟状态信息表征车辆零部件对应的零部件模型在虚拟空间中的状态,车辆零部件的实际状态信息和对应零部件模型的虚拟状态信息保持一致。
示例性的,当用户利用灯光控制杆开启左转弯灯时,VCU将会获取到用户针对灯光控制杆触发的开启左转弯灯的用户驾驶行为数据,同时获取到左转弯灯的实际状态信息为开启状态,进而确定三维模型中的左转弯灯模型的虚拟状态信息同样为开启状态,并将左转弯灯模型的虚拟状态信息传输给数字孪生引擎,以使数字孪生引擎在数字孪生驾驶场景中对左转弯灯模型进行状态赋值,进而完成物理空间中的左转弯灯到虚拟空间中的左转弯灯模型的状态映射。
在本实施方式中,在数字孪生引擎获取到零部件模型的虚拟状态信息之后,会将零部件模型的显示状态更新为虚拟状态信息对应的显示状态,实现对数字孪生驾驶场景的更新,并将更新后的数字孪生驾驶场景返回至VCU,VCU则在车载显示终端同步显示更新后的数字孪生驾驶场景,使得用户能够在车载显示终端更清晰地查看车辆零部件的实际状态信息,实现实时的车辆状态反馈。
具体而言,在车辆零部件对应的零部件模型的虚拟状态信息相较于历史虚拟状态信息发生改变的情况下,将会在车载显示终端显示零部件模型在数字孪生驾驶场景中从历史虚拟状态信息转变为虚拟状态信息的动画,如播放方向盘模型的转动过程、车窗模型的开启或关闭过程以及油门踏板模型的变化过程等。示例性的,当用户转动方向盘时,将会采集方向盘的转动角度和转动速率,进而在数字孪生驾驶场景中,基于采集的转动角度和转动速率,播放方向盘模型的转动动作,以反馈方向盘在物理空间中的真实动作。
在本实施方式中,通过播放反映实际状态信息变化过程的动画,能够提供更为真实流畅的观感,进一步提高用户的使用体验。
在具体实现中,可以对零部件模型进行编号处理,根据零部件模型编号与数据接口进行映射,设定零部件模型的动作与数据接口获取数值的关系,在获取的车辆零部件的数据发生变化的时候,零部件模型同步实时变化展示,反映现实中车辆零部件的真实动作。
示例性的,可以对零部件模型进行编号处理,并根据数据接口ID联动零部件模型的模型编号,也就是说,可以利用不同的数据接口构建零部件模型和对应车辆零部件之间的数据传输通道。如针对刹车灯和刹车灯模型之间的联动,设定刹车灯模型的动作与对应数据接口获取数值的关系为:当VCU向与刹车灯绑定的数据接口传输的用于表征刹车灯状态的数值为1时,刹车灯模型的动作为亮起;当VCU向该数据接口传输的数值为0时,刹车灯模型的动作则为熄灭。
在本实施方式中,通过将车辆的三维模型拆分为不同的零部件模型,能够在数字孪生驾驶场景中直观全面地反馈各个车辆零部件的实际状态信息,同时真实反馈用户在驾驶过程中的实际环境信息,用户可以更清晰地查看自己的驾驶过程,提升用户的驾驶体验,同时可为用户驾驶行为分析、车辆故障及事故分析提供全面准确的数据支撑,如在车辆发生交通事故后,可以通过调取数字孪生驾驶场景的展示记录,获取到用户在驾驶过程中的各个车辆零部件的状态变化过程和实际环境信息,真实还原事故现场,为判断用户是否存在误操作,其他车辆是否存在违规驾驶,以及是否存在障碍物提供真实有效的数据支撑。
在一个可行的实施方式中,三维模型具体可以通过以下步骤构建得到:
S201:基于车辆的标识信息,确定与标识信息匹配的零部件模型和纹理映射关系。
需要说明的是,标识信息表征车辆的车身型式,即表征车辆的一般结构或外形诸如车门和车窗数量等特征,车身型式具体可以通过识别车辆的VIN获取;不同标识信息对应不同的零部件模型和纹理映射关系。
S202:基于零部件模型和纹理映射关系,构建三维模型,以使三维模型具有和车辆相同的纹理特征。
在本实施方式中,考虑到不同车型的车辆的外观存在较大区别,因此,为使三维模型能够真实还原车辆,在基于车辆的标识信息匹配车辆对应的零部件模型的同时,还将对零部件模型进行纹理映射,使三维模型具有和车辆相同的纹理特征。
在具体实现中,可以通过纹理贴图的方式实现三维模型与车辆的效果相同,具体可采用UV贴图,类似于空间模型中的X,Y,Z轴,“UV”指u、v纹理贴图坐标的简称,它定义了图像上每个点的位置信息。UV就是将图像上每一个点精确对应到三维数字车模的表面,在点与点之间的间隙位置可进行图像光滑插值处理。
在一个可行的实施方式中,S101具体可以包括以下步骤:
S101-1:基于车辆周围的实际环境信息,生成车辆的三维场景图。
在本实施方式中,可以通过车载前置摄像头、后置摄像头、两侧后视镜摄像头获取车辆在至少四个预设方位上的视频数据,利用多媒体串行链路解串器同步4个摄像头的视频信号,通过图像识别获取当同一时刻车辆在至少四个预设方位上的图像数据。
在本实施方式中,数字孪生引擎还可以通过从VCU获取车辆所在路段的地图数据和车辆的GPS(Global Positioning System,全球定位***)位置信息,通过坐标转换、位置纠偏后,将车辆的GPS位置信息转换到数字孪生地图的坐标体系中,基于车辆GPS位置信息通过数字孪生引擎加载三维模型,三维模型的位置根据GPS位置线性移动。
在本实施方式中,基于获取的地图数据和/或图像数据,便可生成车辆的三维场景图,用户可以根据实际需求选择呈现不同的三维场景图,如单独利用地图数据呈现三维导航地图,单独利用图像数据呈现三维全景图,或者同时呈现三维导航地图和三维全景图。在具体实现中,在对三维场景图进行可视化呈现时,可以将三维导航地图和三维全景图设置在不同的区域进行呈现,如可以将三维导航地图呈现在显示界面的左侧区域,以实时显示车辆的地图导航信息;将三维全景图呈现在显示界面的右侧区域,以实时显示车辆的环境图像。需要说明的是,在算力充足的情况下,也可以将三维导航地图和三维全景图进行融合显示,在车辆的导航界面中同步显示车辆周围的环境图像,呈现更为逼真的三维导航效果。
S101-2:将三维模型和三维场景图融合,得到车辆的数字孪生驾驶场景。
在本实施方式中,将三维模型和三维场景图融合后得到的数字孪生驾驶场景,不仅能够真实反映车辆行驶过程中的真实物理场景,还能提供导航所需的地图数据,辅助用户驾驶。
在一个可行的实施方式中,零部件模型包括第一动态模型和第二动态模型,S103具体可以包括以下步骤:
S103-1:在车辆零部件为第一动态模型的情况下,在数字孪生驾驶场景中的三维模型上展示第一动态模型对应的零部件模型的虚拟状态信息。
S103-2:在车辆零部件为第二动态模型的情况下,在数字孪生驾驶场景中的预设区域展示第二动态模型对应的零部件模型的虚拟状态信息。
在本实施方式中,车辆的零部件模型按照状态信息是否发生改变可以分为静态零部件模型和动态零部件模型,而动态零部件模型按照状态信息是否在三维模型上进行状态更新分为第一动态模型和第二动态模型。具体而言,第一动态模型指预设的在三维模型上进行状态展示的零部件模型,如车门、车窗、天窗、后视镜、转向灯、前大灯、尾灯、雾灯等车辆零部件;第二动态模型指预设的不在三维模型上进行状态展示的零部件模型,如制动踏板、油门踏板、方向盘、中控屏、仪表盘等零部件。
在本实施方式中,针对第一动态模型,则可以直接在三维模型上展示第一动态模型对应的车辆零部件的实际状态信息,如刹车灯开启、刹车灯关闭、转向灯开启、转向灯关闭等状态信息;针对第二动态模型,则是在呈现数字孪生驾驶场景的显示界面中的预设区域进行实际状态信息的显示,如针对方向盘、油门踏板和刹车踏板,可以在预设区域将方向盘转动、油门踩踏力度、刹车踩踏力度等状态信息通过动画的方式进行可视化呈现,如可以通过播放方向盘模型的转动动画反应方向盘的动作,利用0-100%的进度条实时呈现油门踩踏力度和刹车踩踏力度等。
在一个可行的实施方式中,车辆状态展示方法还可以包括以下步骤:
S301:获取用户的监控视频和主机***的显示画面。
S302:在数字孪生驾驶场景中展示监控视频和显示画面。
在本实施方式中,虽然车辆零部件的实际状态信息能够在一定程度上反映用户的操作信息,但是并不能百分百地还原用户操作,如灯光的控制、车辆方向盘的控制有可能是车辆辅助驾驶功能如自动驾驶场景下自动控制的,因此,为完整准确地还原用户的操作信息,还将获取用户的监控视频和主机***的显示画面。
在本实施方式中,用户的监控视频可以通过DMS(Driver Monitor System,驾驶员监控***)进行获取。需要说明的是,DMS主要利用***感知能力监测并理解人类司机的驾驶状态,用于监控不良驾驶行为诸如疲劳驾驶、分心驾驶、危险驾驶等行为,具体而言,可以通过车内摄像头采集用户的监控视频,并将该监控视频传输至数字孪生引擎,以使数字孪生引擎在数字孪生驾驶场景中的预设监控视频显示区域对监控视频进行显示。
本实施方式需要说明的是,主机***(Head Unit,HUT),又称为车载多媒体***,用于基于用户的触发操作在显示画面显示终端信息,通过获取主机***的显示画面,能够获取用户针对主机***的操作信息。具体而言,在将显示画面传输至数字孪生引擎后,数字孪生引擎可以在数字孪生驾驶场景中的预设画面显示区域对显示画面进行同步显示。
在本实施方式中,通过在数字孪生驾驶场景中展示监控视频和显示画面,能够对用户的操作行为进行全面准确的反馈和记录,便于进行事后分析,用户也可查看自己的驾驶行为。
在一个可行的实施方式中,S302之后,车辆状态展示方法还可以包括以下步骤:
S303:在检测到车辆熄火的情况下,基于数字孪生驾驶场景生成驾驶行为分析报告。
在本实施方式中,在用户驾驶过程中,生成的数字孪生驾驶场景将会实时上传到云端或存储在本地,由于数字孪生驾驶场景包含有用户在驾驶过程中的各个车辆零部件的状态数据、用户的操作信息以及车辆周围的实际环境信息,因此,在检测到车辆熄火,用户结束驾驶后,通过对上传的数字孪生驾驶场景进行数据分析,可以输出得到驾驶行为分析报告,用户可以通过在云端注册,通过扫码等方式进行验证登录,在手机终端查看和分享该驾驶行为分析报告。
在本实施方式中,通过对车辆驾驶过程完成数字化的转换,实现了驾驶过程的全数字监控,有利于用户查看自身的驾驶行为;通过对驾驶过程的数字孪生,在车辆发生故障及事故时,可完整还原整个驾驶行为及周边环境,为事故分析提供完整的证据链条;通过构建能够反映车辆状态、用户驾驶行为和车辆周围实际环境信息的数字孪生驾驶场景,使得用户可更清晰的进行查看自己的驾驶过程,提升用户的体验感。
第二方面,基于相同发明构思,参照图2,本申请实施例提供了一种车辆状态展示装置200,该车辆状态展示装置200包括:
驾驶场景构建模块201,用于基于车辆的三维模型和车辆周围的实际环境信息,构建车辆的数字孪生驾驶场景;数字孪生驾驶场景随实际环境信息的变化而变化;三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件;
获取模块202,用于获取车辆零部件的实际状态信息;
展示模块203,用于基于车辆零部件的实际状态信息,在数字孪生驾驶场景中展示车辆零部件对应的零部件模型的虚拟状态信息。
在本申请一实施例中,车辆状态展示装置200还包括车辆模型构建模块,车辆模型构建模块包括:
确定子模块,用于基于车辆的标识信息,确定与标识信息匹配的零部件模型和纹理映射关系;不同的标识信息对应不同的零部件模型和纹理映射关系;
模型构建子模块,用于基于零部件模型和纹理映射关系,构建三维模型,以使三维模型具有和车辆相同的纹理特征。
在本申请一实施例中,驾驶场景构建模块201包括:
三维场景图生成子模块,用于基于车辆周围的实际环境信息,生成车辆的三维场景图;
融合子模块,用于将三维模型和三维场景图融合,得到车辆的数字孪生驾驶场景。
在本申请一实施例中,三维场景图生成子模块包括:
数据获取单元,用于获取车辆所在路段的地图数据和车辆在至少四个预设方位上的图像数据;
生成单元,用于基于地图数据和图像数据,生成三维场景图。
在本申请一实施例中,零部件模型包括第一动态模型和第二动态模型;展示模块203包括:
第一展示子模块,用于在车辆零部件为第一动态模型的情况下,在数字孪生驾驶场景中的三维模型上展示第一动态模型对应的零部件模型的虚拟状态信息;
第二展示子模块,用于在车辆零部件为第二动态模型的情况下,在数字孪生驾驶场景中的预设区域展示第二动态模型对应的零部件模型的虚拟状态信息。
在本申请一实施例中,车辆状态展示装置200还包括:
画面获取模块,用于获取用户的监控视频和主机***的显示画面;
画面展示模块,用于在数字孪生驾驶场景中展示监控视频和显示画面。
在本申请一实施例中,车辆状态展示装置200还包括:
报告生成模块,用于在数字孪生驾驶场景中展示监控视频和显示画面之后,在检测到车辆熄火的情况下,基于数字孪生驾驶场景生成驾驶行为分析报告。
需要说明的是,本申请实施例的车辆状态展示装置200的具体实施方式参照前述本申请实施例第一方面提出的车辆状态展示方法的具体实施方式,在此不再赘述。
第三方面,基于相同发明构思,本申请实施例提供了一种存储介质,存储介质内存储有机器可执行指令,机器可执行指令被处理器执行时实现本申请第一方面提出的车辆状态展示方法。
需要说明的是,本申请实施例的存储介质的具体实施方式参照前述本申请实施例第一方面提出的车辆状态展示方法的具体实施方式,在此不再赘述。
第四方面,基于相同发明构思,本申请实施例提供了一种车辆,包括处理器和存储器,存储器存储有能够被处理器执行的机器可执行指令,处理器用于执行机器可执行指令,以实现本申请第一方面提出的车辆状态展示方法。
需要说明的是,本申请实施例的车辆的具体实施方式参照前述本申请实施例第一方面提出的车辆状态展示方法的具体实施方式,在此不再赘述。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种车辆状态展示方法、装置、存储介质和车辆,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种车辆状态展示方法,其特征在于,所述方法包括:
基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景;所述数字孪生驾驶场景随所述实际环境信息的变化而变化;所述三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件;
获取所述车辆零部件的实际状态信息;
基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息。
2.根据权利要求1所述的车辆状态展示方法,其特征在于,所述三维模型是通过以下步骤构建的:
基于所述车辆的标识信息,确定与所述标识信息匹配的零部件模型和纹理映射关系;不同的标识信息对应不同的零部件模型和纹理映射关系;
基于所述零部件模型和所述纹理映射关系,构建所述三维模型,以使所述三维模型具有和所述车辆相同的纹理特征。
3.根据权利要求1所述的车辆状态展示方法,其特征在于,基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景,包括:
基于所述车辆周围的实际环境信息,生成所述车辆的三维场景图;
将所述三维模型和所述三维场景图融合,得到所述车辆的数字孪生驾驶场景。
4.根据权利要求3所述的车辆状态展示方法,其特征在于,基于所述车辆周围的实际环境信息,生成所述车辆的三维场景图,包括:
获取所述车辆所在路段的地图数据和/或所述车辆在至少四个预设方位上的图像数据;
基于所述地图数据和/或所述图像数据,生成所述三维场景图。
5.根据权利要求1所述的车辆状态展示方法,其特征在于,所述零部件模型包括第一动态模型和第二动态模型;
基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息,包括:
在所述车辆零部件为所述第一动态模型的情况下,在所述数字孪生驾驶场景中的三维模型上展示所述第一动态模型对应的零部件模型的虚拟状态信息;和/或,
在所述车辆零部件为所述第二动态模型的情况下,在所述数字孪生驾驶场景中的预设区域展示所述第二动态模型对应的零部件模型的虚拟状态信息。
6.根据权利要求1所述的车辆状态展示方法,其特征在于,所述方法还包括:
获取用户的监控视频和主机***的显示画面;
在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面。
7.根据权利要求6所述的车辆状态展示方法,其特征在于,在所述数字孪生驾驶场景中展示所述监控视频和所述显示画面之后,所述方法还包括:
在检测到所述车辆熄火的情况下,基于所述数字孪生驾驶场景生成驾驶行为分析报告。
8.一种车辆状态展示装置,其特征在于,所述装置包括:
驾驶场景构建模块,用于基于车辆的三维模型和所述车辆周围的实际环境信息,构建所述车辆的数字孪生驾驶场景;所述数字孪生驾驶场景随所述实际环境信息的变化而变化;所述三维模型包括多个零部件模型,不同的零部件模型对应不同的车辆零部件;
获取模块,获取所述车辆零部件的实际状态信息;
展示模块,用于基于所述车辆零部件的实际状态信息,在所述数字孪生驾驶场景中展示所述车辆零部件对应的零部件模型的虚拟状态信息。
9.一种存储介质,其特征在于,所述存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-7任一项所述的车辆状态展示方法。
10.一种车辆,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-7任一项所述的车辆状态展示方法。
CN202211286450.2A 2022-10-20 2022-10-20 一种车辆状态展示方法、装置、存储介质和车辆 Pending CN115626173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211286450.2A CN115626173A (zh) 2022-10-20 2022-10-20 一种车辆状态展示方法、装置、存储介质和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211286450.2A CN115626173A (zh) 2022-10-20 2022-10-20 一种车辆状态展示方法、装置、存储介质和车辆

Publications (1)

Publication Number Publication Date
CN115626173A true CN115626173A (zh) 2023-01-20

Family

ID=84905962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211286450.2A Pending CN115626173A (zh) 2022-10-20 2022-10-20 一种车辆状态展示方法、装置、存储介质和车辆

Country Status (1)

Country Link
CN (1) CN115626173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828145A (zh) * 2023-02-09 2023-03-21 深圳市仕瑞达自动化设备有限公司 一种电子设备的在线监测方法、***及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115828145A (zh) * 2023-02-09 2023-03-21 深圳市仕瑞达自动化设备有限公司 一种电子设备的在线监测方法、***及介质

Similar Documents

Publication Publication Date Title
US10482003B1 (en) Method and system for modifying a control unit of an autonomous car
WO2022012094A1 (zh) 驾驶场景重构方法、装置、***、车辆、设备及存储介质
CN108319249B (zh) 基于驾驶模拟器的无人驾驶算法综合测评***及方法
CN113848855B (zh) 车辆控制***测试方法、装置、设备、介质及程序产品
CN112819968B (zh) 基于混合现实的自动驾驶车辆的测试方法和装置
Galko et al. Vehicle-Hardware-In-The-Loop system for ADAS prototyping and validation
US20220198107A1 (en) Simulations for evaluating driving behaviors of autonomous vehicles
CN113440849B (zh) 车辆控制方法、装置、计算机设备及存储介质
US20220204009A1 (en) Simulations of sensor behavior in an autonomous vehicle
CN111798718A (zh) 一种基于虚拟现实的驾驶适应性训练方法、主机及装置
CN113260430A (zh) 一种场景处理方法、装置、***及相关设备
US20220058314A1 (en) Hardware In Loop Testing and Generation of Latency Profiles for Use in Simulation
CN115626173A (zh) 一种车辆状态展示方法、装置、存储介质和车辆
CN113867315B (zh) 一种虚实结合的高保真交通流智能车测试平台及测试方法
CN117436821B (zh) 交通事故诊断报告的生成方法、设备及存储介质
Schwab et al. Consistent test method for assistance systems
US11327878B2 (en) Method for rating a software component of an SiL environment
CN116761999A (zh) 自动驾驶测试方法、***、车辆及存储介质
CN114867992A (zh) 用于呈现虚拟导航元素的方法和装置
Weber et al. Approach for improved development of advanced driver assistance systems for future smart mobility concepts
CN116301464A (zh) 展示道路数字孪生信息的方法、装置及终端设备
CN114987512A (zh) 收集交通工具的传感器数据
CN112883489A (zh) 自动驾驶汽车仿真***
CN112669612B (zh) 图像录制、回放方法、装置及计算机***
CN113777951B (zh) 面向弱势道路使用者避撞决策的自动驾驶仿真***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination