CN117193530B - 基于虚拟现实技术的智能座舱沉浸式用户体验方法及*** - Google Patents

Abstract

本发明提供了基于虚拟现实技术的智能座舱沉浸式用户体验方法及***，属于智能车辆技术领域，其方法包括：确定出驾驶员的实时视场位姿；基于智能座舱的舱内视频和驾驶员的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面并显示；用以提高基于虚拟现实技术的智能座舱的沉浸式用户体验感受。

Description

基于虚拟现实技术的智能座舱沉浸式用户体验方法及***

技术领域

本发明涉及智能车辆技术领域，特别涉及一种基于虚拟现实技术的智能座舱沉浸式用户体验方法及***。

背景技术

目前，随着汽车智能控制技术和虚拟现实技术的发展，逐渐出现很多用于车辆智能座舱内的智能头显设备，此类产品可以大大提升驾驶员的驾驶体验和视觉体验。

但是，现存的应用于智能座舱的虚拟现实技术，只是将需要显示的虚拟显示画面显示至头显设备，以辅助驾驶员的驾驶过程，进而相对于肉眼实际看到的场景，头显设备中显示的画面视觉效果的还原度不佳，且不存在将智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，导致其视觉体验有待提高。例如，公开号为″CN115195637A″、专利名称为″一种基于多模交互和虚拟现实技术的智能座舱***″的中国发明专利，其公开了一种基于多模交互和虚拟现实技术的智能座舱***，包括中央处理器、语音及环境检测***、车内状态视觉监测***、车内硬件预警及优化***、舱外感知***和车内数据管理***，其特征在于，所述语音及环境检测***、车内状态视觉监测***、车内硬件预警及优化***、舱外感知***和车内数据管理***与中央处理器之间以CAN总线进行电信号连接，且语音及环境检测***、车内状态视觉监测***、车内硬件预警及优化***、舱外感知***和车内数据管理***将基于经人工智能模型分析出的结果与中央处理器进行交互式通信，本发明公开的基于多模交互和虚拟现实技术的智能座舱***具有在提高车辆行驶安全的同时最大限度的优化驾乘体验的效果。但是，该专利并未解决相对于肉眼实际看到的场景，头显设备中显示的画面视觉效果的还原度不佳，也不存在将智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，导致其视觉体验有待提高。

因此，本发明提出了一种基于虚拟现实技术的智能座舱沉浸式用户体验方法及***。

发明内容

本发明提供一种基于虚拟现实技术的智能座舱沉浸式用户体验方法及***，用以利用驾驶者的实时体部位姿合理确定出驾驶员的实时视场位姿，并基于实时视场位姿对车内和车外场景模型的准确选择和画面生成，准确生成了舱内头显基础画面和车外头显基础画面，并通过二者叠加生成了虚拟现实头显画面，使得头显设备中显示的画面视觉效果的还原度更佳，且基于个性化驾驶操控数据对头显画面进行智能标记，即实现了智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，进而更进一步提高了其驾驶体验和视觉体验。

本发明提出基于虚拟现实技术的智能座舱沉浸式用户体验方法，包括：

S 1：基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿；

S2：基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；

S3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；

S4：对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；

S5：基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面；

S 6：将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示。

优选的，S 1：基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿，包括：

S 101：在驾驶员在智能座舱内的实时体部位姿中，提取出驾驶员的实时头部位姿和实时眼部位姿；

S 102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿。

优选的，S 102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿，包括：

基于实时头部位姿和标准眼部位姿，生成头部位姿的实时标准视场位姿；

基于实时眼部位姿对实时标准视场位姿进行方位校正，获得驾驶员的实时视场位姿。

优选的，S2：基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面，包括：

基于智能座舱的舱内视频，搭建出舱内显示模型；

基于驾驶员在智能座舱内的实时体部位姿，搭建出驾驶员的体部显示模型；将舱内显示模型和体部显示模型进行组合，获得舱内全景显示模型；

基于驾驶员的实时视场位姿对舱内全景显示模型进行模型选取，获得视场范围内模型；

基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面。

优选的，基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

在实时眼部位姿中提取出驾驶员的实时瞳孔位姿；

基于实时瞳孔位姿，确定出驾驶员的实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深；

基于驾驶员的实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深，实时视场位姿进行详细划分标记，获得驾驶员的实时舒适视场位姿和实时边缘视场位姿；

基于驾驶员的实时舒适视场位姿和实时边缘视场位姿对视场范围内模型进行模型分区，获得舒适视场范围内模型和边缘视场范围内模型；

基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面。

优选的，基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

基于实时舒适视场位姿和预设的舒适视场显示参数，对舒适视场范围内模型进行非透视画面生成，获得舒适视场内画面；

基于实时边缘视场位姿和预设的边缘视场显示参数，对边缘视场范围内模型进行非透视画面生成，获得边缘视场内画面；

将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面。

优选的，将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面，包括：

确定出舒适视场内画面的外边缘像素点的颜色三属性值、次外边缘像素点的颜色三属性值以及边缘视场内画面的内边缘像素点的颜色三属性值、次内边缘像素点的颜色三属性值；

基于舒适视场内画面的每个颜色属性的相邻渐变阈值和边缘视场内画面的每个颜色属性的相邻渐变阈值，计算出每个颜色属性的拼接相邻渐变阈值；

基于每个颜色属性的拼接相邻渐变阈值，对舒适视场内画面的外边缘像素点的颜色三属性值、次外边缘像素点的颜色三属性值以及边缘视场内画面的内边缘像素点的颜色三属性值、次内边缘像素点的颜色三属性值进行重新设置，获得舱内头显基础画面。

优选的，S3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面，包括：

基于当前车辆的实时车外环境视频进行模型搭建，获得车外环境空间模型；

基于实时视场位姿对车外环境模型进行空间模型选取，获得车外视场内模型；

基于实时视场位姿和预设的视场显示参数，对车外视场内模型进行非透视画面生成，获得当前时刻的车外头显基础画面。

优选的，S5：基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面，包括：

在智能座舱内的个性化驾驶操控数据中，提取出可叠加显示数据项的实时驾驶操控数据；

对实时驾驶操控数据的显示形式进行转换，获得可叠加显示数据项的显示数据；

将显示数据标记于虚拟现实头显完整画面中，获得虚拟现实头显完整画面。

本发明提出基于虚拟现实技术的智能座舱沉浸式用户体验***，包括：

第一位姿确定模块，用于基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿；

第一画面生成模块，用于基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；

第二画面生成模块，用于基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；

头显画面叠加模块，用于对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；

数据智能标记模块，用于基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面；

头显画面显示模块，用于将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示。

本发明区别于现有技术的有益效果为：利用驾驶者的实时体部位姿合理确定出驾驶员的实时视场位姿，并基于实时视场位姿对车内和车外场景模型的准确选择和画面生成，准确生成了舱内头显基础画面和车外头显基础画面，并通过二者叠加生成了虚拟现实头显画面，使得头显设备中显示的画面视觉效果的还原度更佳，且基于个性化驾驶操控数据对头显画面进行智能标记并显示，即实现了智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，进而更进一步提高了其驾驶体验和视觉体验。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中的一种基于虚拟现实技术的智能座舱沉浸式用户体验方法流程图；

图2为本发明实施例中的又一种基于虚拟现实技术的智能座舱沉浸式用户体验方法流程图；

图3为本发明实施例中的一种基于虚拟现实技术的智能座舱沉浸式用户体验***示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了基于虚拟现实技术的智能座舱沉浸式用户体验方法，参考图1，包括：

S1：基于驾驶员在智能座舱内的实时体部位姿(即为实时获取的驾驶员身体的位姿数据)，确定出驾驶员的实时视场位姿(即为驾驶员的实时视场对应的空间范围的坐标数据)；

S2：基于当前车辆智能座舱的舱内视频(即为记录有当前车辆智能座舱内所有可视结构的视频)和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面(即为驾驶员在实时体部位姿下且未佩戴虚拟现实头显设备的情况下，可以看到的包含智能座舱内的局部结构以及自己部分身体部分结构的画面，其中，虚拟现实头显设备即为头戴显示器，即用于将虚拟现实的画面呈现给用户的显示器)；

S 3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频(即为包含当前车辆车外的预设空间范围内的实时场景的视频)进行视角转换(即为基于实时车外环境视频生成驾驶员的实时视场位姿下可以看到的车外画面)和选取(即为在实时车外环境视频中选取出驾驶员的实时视场位姿下可以看到的视频中的部分场景视频)，生成当前时刻的车外头显基础画面(即为驾驶员在实时视场位姿下且未佩戴虚拟现实头显设备的情况下，可以看到的包含当前车辆外的部分场景的画面)；

利用驾驶者的实时体部位姿合理确定出驾驶员的实时视场位姿，并基于实时视场位姿对车内和车外场景模型的准确选择和画面生成，准确生成了舱内头显基础画面和车外头显基础画面；

S4：对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面(即为驾驶员在实时视场位姿下且未佩戴虚拟现实头显设备的情况下，可以看到的包含智能座舱内的局部结构和自己身体部分结构的以及当前车辆外的部分场景的画面)；

通过二者叠加生成了虚拟现实头显画面，使得头显设备中显示的画面视觉效果的还原度更佳；

S5：基于智能座舱内的个性化驾驶操控数据(即为智能座舱内的智能控制设备输入或输出的与车辆驾驶有关的数据，例如用户在智能座舱导航仪中检索出的导航路线等)，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面(即为将个性化驾驶操控数据标注于虚拟现实头显画面后获得的新的画面)；

S 6：将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示。

基于个性化驾驶操控数据对头显画面进行智能标记并显示，即实现了智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，进而更进一步提高了其驾驶体验和视觉体验。

实施例2：

在实施例1的基础上，S 1：基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿，参考图2，包括：

S 101：在驾驶员在智能座舱内的实时体部位姿中，提取出驾驶员的实时头部位姿(即为表征驾驶员当下的头部姿态的位姿数据)和实时眼部位姿(即为表征驾驶员的眼球姿态的位姿数据，实时眼部位姿也包括瞳孔姿态的位姿数据，基于瞳孔姿态的位姿数据可以确定出瞳孔扩散程度等)；

S 102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿。

通过在驾驶员的实时体部位姿中提取出的实时头部位姿和实时眼部位姿，可以准确确定出驾驶员的实时视场位姿。

实施例3：

在实施例2的基础上，S 102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿，包括：

基于实时头部位姿和标准眼部位姿(即为预设的已知其对应的视场位姿的眼部位姿，例如：人在凝视正前方五米的位置时的眼部位姿)，生成头部位姿的实时标准视场位姿(即为基于实时头部位姿确定出视场角的角点位置，以将标准眼部位姿对应的标准视场位姿中的视场角的角点位置与基于实时头部位姿确定出视场角的角点位置进行重合为原则，将标准眼部位姿对应的标准视场位姿与实时头部位姿进行叠加获得实时标准视场位姿)；

基于实时眼部位姿对实时标准视场位姿进行方位校正，获得驾驶员的实时视场位姿(即为基于实时眼部位姿相对于标准眼部位姿的方位偏差，对实时标准视场位姿进行方位校正，获得驾驶员的视场位姿，例如实时眼部位姿中的视线方向相对于标准眼部位姿中的视线方向的偏差角度为a，则将实时标准视场位姿的视线方向偏移角度a，获得新的视线方向，则将实时标准视场位姿按照新的视线方向进行偏移，获得实时视场位姿)。

基于标准眼部位姿和实时头部位姿生成当前实时头部姿态和标准眼部位姿下视场位姿，再基于驾驶员的实时眼部位姿对确定出的视场位姿进行方位校正，视线对驾驶员的实时视场位姿的准确确定。

实施例4：

在实施例1的基础上，S2：基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面，包括：

基于智能座舱的舱内视频，搭建出舱内显示模型(即为可以还原出智能座舱内所有结构的三维尺寸和显示效果(例如颜色、结构表面的材质纹路等)的模型)；

基于驾驶员在智能座舱内的实时体部位姿，搭建出驾驶员的体部显示模型(即为可以还原出驾驶员在智能座舱内的体部结构的三维尺寸和视觉效果(例如肤色和结构表面纹路等)的模型)；

将舱内显示模型和体部显示模型进行组合，获得舱内全景显示模型(即为可以还原出智能座舱内所有结构的三维尺寸和显示效果以及驾驶员在智能座舱内的体部结构的三维尺寸和视觉效果的模型)；

基于驾驶员的实时视场位姿对舱内全景显示模型进行模型选取，获得视场范围内模型(即为包含驾驶员的实时视场位姿下驾驶员可以看到的部分场景或结构在舱内全景显示模型中对应的部分模型)；

基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面。

将基于舱内视频、实时体部位姿搭建出的舱内显示模型和体部显示模型进行组合，实现对智能座舱内的舱内结构以及驾驶员的实时人体姿态的模型表示搭建，再基于实时视场位姿对搭建出的梦想进行选取，获得表征驾驶员当前姿态下肉眼可以看到的舱内结构和身体部分的模型，并基于选取出的部分梦想进行分区画面生成和合并，使其生成的舱内头显基础画面可以高度还原驾驶员在当前姿态下未佩戴虚拟现实头显设备的情况下可以看到的包含舱内实时形态的虚拟现实画面，即实现对舱内实时形态的高度还原。

实施例5：

在实施例1的基础上，基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

在实时眼部位姿中提取出驾驶员的实时瞳孔位姿(即表征驾驶员在当前状态下的瞳孔姿态的位姿数据，基于瞳孔姿态的位姿数据可以确定出瞳孔扩散程度等)；

基于实时瞳孔位姿(检索预设的实时瞳孔位姿-实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深的对应关系表)，确定出驾驶员的实时横向舒适视角范围(即为表征驾驶员在横向方向上的实时舒适视角，例如在横向方向的、以实时瞳孔位姿对应的视线方向为中心的60度范围内)、实时横向边缘视角范围(即为表征驾驶员在横向方向上的实时边缘视角，例如在横向方向的、以实时瞳孔位姿对应的视线方向为中心的120度范围内除实时横向舒适视角范围以外剩余的范围)、实时纵向舒适视角范围(即为表征驾驶员在纵向方向上的实时舒适视角，例如在纵向方向的、以实时瞳孔位姿对应的视线方向为中心的55度范围内)、实时纵向边缘视角范围(即为表征驾驶员在纵向方向上的实时边缘视角，例如在纵向方向的、以实时瞳孔位姿对应的视线方向为中心的135度范围内除实时纵向舒适视角范围以外剩余的范围)、实时舒适景深(即为表征驾驶员的舒适视场的景深，景深为与驾驶员的眼球在瞳孔中心在眼球表面的投影位置的切平面的距离)、实时边缘景深(即为表征驾驶员的边缘视场的景深)；

基于驾驶员的实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深，实时视场位姿进行详细划分标记，获得驾驶员的实时舒适视场位姿和实时边缘视场位姿；

基于驾驶员的实时舒适视场位姿和实时边缘视场位姿对视场范围内模型进行模型分区，获得舒适视场范围内模型和边缘视场范围内模型；

基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面。

该实施例中，舒适视角或舒适视场等与边缘视角或边缘视场是由于距离瞳孔位置的距离不同引起在眼球内的成像偏差，进而导致不同视场范围内的场景在人眼中的成像效果不同，一般舒适视场内的场景在人眼中的成像效果更好更清晰，反之边缘视场内的场景在人眼中的成像效果相比于舒适视场的有所降低。

基于实时瞳孔位姿，检索对应关系表，确定出舒适视场的范围参数和边缘视场的范围参数，并基于舒适视场的范围参数和边缘视场的范围参数确定出舒适视场位姿和边缘视场位姿，并基于该舒适视场位姿和边缘视场位姿对视场范围内模型进行模型选取和画面分别生成并合并，进而通过对驾驶员的舒适视场和边缘视场的准确确定，使得生成的舱内头显基础画面更加还原出肉眼视觉效果。

实施例6：

在实施例5的基础上，基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

基于实时舒适视场位姿和预设的舒适视场显示参数(即为预设的舒适视场内的场景在舱内头显基础画面中的显示参数，对比度、色度等)，对舒适视场范围内模型进行非透视画面生成(即生成驾驶员在实时舒适视场位姿下看到的舒适视场范围内模型表面结构的画面)，获得舒适视场内画面(即为还原出驾驶员在当前实时舒适视场位姿下看到的舒适视场内的场景画面)；

基于实时边缘视场位姿和预设的边缘视场显示参数(即为预设的边缘视场内的场景在舱内头显基础画面中的显示参数，显示参数例如有对比度、色度等)，对边缘视场范围内模型进行非透视画面生成(即生成驾驶员在实时边缘视场位姿下看到的边缘视场范围内模型表面结构的画面)，获得边缘视场内画面(即为还原出驾驶员在当前实时边缘视场位姿下看到的边缘视场内的场景画面)；

将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面。

通过确定出实时舒适视场位姿和实时边缘视场位姿，并与预设的舒适视场显示参数和边缘视场显示参数进行结合，分别对舒适视场范围内模型和边缘视场范围内模型进行非透视画面生成，实现对驾驶员当前视场内看到的场景画面的分区还原，并将还原出的画面进行光滑拼接，使得获得的舱内头显基础画面与肉眼看到的视觉效果更为接近。

实施例7：

在实施例6的基础上，将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面，包括：

确定出舒适视场内画面的外边缘像素点(即为舒适视场内画面的最***一圈的像素点)的颜色三属性值(即为颜色的三个属性值例如色相、明度、纯度)、次外边缘像素点(即为舒适视场内画面内与外边缘像素点相邻的一圈像素点)的颜色三属性值以及边缘视场内画面的内边缘像素点(即为边缘视场内画面的最内圈边缘的一圈的像素点)的颜色三属性值、次内边缘像素点(即为边缘视场内画面的与内边缘像素点相邻的一圈像素点)的颜色三属性值；

基于舒适视场内画面的每个颜色属性的相邻渐变阈值(即为舒适视场画面内或边缘视场内画面内所有像素点与在预设方向上(例如水平向右)的相邻像素点之间的颜色属性值的差值(例如明度差值)的均值)和边缘视场内画面的每个颜色属性的相邻渐变阈值，计算出每个颜色属性的拼接相邻渐变阈值(即为对应颜色属性在舒适视场内画面的相邻渐变阈值和在边缘视场内画面的相邻渐变阈值的均值)；

基于每个颜色属性的拼接相邻渐变阈值，对舒适视场内画面的外边缘像素点的颜色三属性值、次外边缘像素点的颜色三属性值以及边缘视场内画面的内边缘像素点的颜色三属性值、次内边缘像素点的颜色三属性值进行重新设置(即使得重新设置后获得的外边缘像素点、次外边缘像素点、内边缘像素点、次内边缘像素点与在预设方向上的相邻像素点之间的颜色属性值的差值不超过对应颜色属性的拼接相邻渐变阈值)，获得舱内头显基础画面。

通过对舒适视场内画面的外边缘像素点、次外边缘像素点、边缘视场内画面的内边缘像素点、次内边缘像素点的颜色三属性值的重新设置，使其拼接后的相邻像素点的颜色属性差值满足拼接相邻渐变阈值，即完成了对舒适视场内画面和边缘视场内画面的光滑拼接。

实施例8：

在实施例1的基础上，S3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面，包括：

基于当前车辆的实时车外环境视频进行模型搭建，获得车外环境空间模型(即为表征实时车外环境视频中包含的场景的三维尺寸的模型)；

基于实时视场位姿对车外环境模型进行空间模型选取，获得车外视场内模型(即为表征驾驶员在当前实时视场位姿下可以看到的车外环境场景的模型)；

基于实时视场位姿和预设的视场显示参数(预设的车外场景的显示画面的显示参数)，对车外视场内模型进行非透视画面生成(即生成驾驶员在实时视场位姿下看到的车外视场内模型的表面结构的画面)，获得当前时刻的车外头显基础画面。

基于实时视场位姿和当前车辆的实时车外环境视频，完成对驾驶员看到的车外场景的视觉画面的高度还原。

实施例9：

在实施例1的基础上，S5：基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面，包括：

在智能座舱内的个性化驾驶操控数据中，提取出可叠加显示数据项(即为可叠加至虚拟现实头显完整画面中的个性化驾驶操控数据项，例如导航指引路线、与邻近车辆的车距等)的实时驾驶操控数据(即为个性化驾驶操控数据中的可叠加显示数据项的具体数据，例如：当前显示的导航指引路线的指引数据)；

对实时驾驶操控数据的显示形式进行转换(例如将导航指引路线的指引数据转换成指引箭头画面组件)，获得可叠加显示数据项的显示数据(即为被转换成可以叠加至虚拟现实头显完整画面中的数据形式的实时驾驶操控数据)；

将显示数据标记于虚拟现实头显完整画面中，获得虚拟现实头显完整画面。

基于个性化驾驶操控数据对头显画面进行智能标记并显示，即实现了智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，进而更进一步提高了其驾驶体验和视觉体验。

实施例10：

本发明提供了基于虚拟现实技术的智能座舱沉浸式用户体验***，参考图3，包括：

第一位姿确定模块，用于基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿；

第一画面生成模块，用于基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；

第二画面生成模块，用于基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；

头显画面叠加模块，用于对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；

数据智能标记模块，用于基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面；

头显画面显示模块，用于将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示。

利用驾驶者的实时体部位姿合理确定出驾驶员的实时视场位姿，并基于实时视场位姿对车内和车外场景模型的准确选择和画面生成，准确生成了舱内头显基础画面和车外头显基础画面，并通过二者叠加生成了虚拟现实头显画面，使得头显设备中显示的画面视觉效果的还原度更佳，且基于个性化驾驶操控数据对头显画面进行智能标记并显示，即实现了智能座舱内的驾驶操控数据与虚拟现实设备中显示的头显画面之间的智能结合，进而更进一步提高了其驾驶体验和视觉体验。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.基于虚拟现实技术的智能座舱沉浸式用户体验方法，其特征在于，包括：

S1：基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿；

S2：基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；

S3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；

S4：对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；

S5：基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面；

S6：将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示；

其中，步骤S2：基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面，包括：

基于智能座舱的舱内视频，搭建出舱内显示模型；

基于驾驶员在智能座舱内的实时体部位姿，搭建出驾驶员的体部显示模型；

将舱内显示模型和体部显示模型进行组合，获得舱内全景显示模型；

基于驾驶员的实时视场位姿对舱内全景显示模型进行模型选取，获得视场范围内模型；

基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面；

其中，基于驾驶员的实时视场位姿和视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

在实时眼部位姿中提取出驾驶员的实时瞳孔位姿；

基于实时瞳孔位姿，确定出驾驶员的实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深；

基于驾驶员的实时横向舒适视角范围、实时横向边缘视角范围、实时纵向舒适视角范围、实时纵向边缘视角范围、实时舒适景深、实时边缘景深，实时视场位姿进行详细划分标记，获得驾驶员的实时舒适视场位姿和实时边缘视场位姿；

基于驾驶员的实时舒适视场位姿和实时边缘视场位姿对视场范围内模型进行模型分区，获得舒适视场范围内模型和边缘视场范围内模型；

基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面；

其中，基于舒适视场范围内模型和边缘视场范围内模型进行分区画面生成并合并，获得舱内头显基础画面，包括：

基于实时舒适视场位姿和预设的舒适视场显示参数，对舒适视场范围内模型进行非透视画面生成，获得舒适视场内画面；

基于实时边缘视场位姿和预设的边缘视场显示参数，对边缘视场范围内模型进行非透视画面生成，获得边缘视场内画面；

将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面；

其中，将舒适视场内画面和边缘视场内画面进行光滑拼接，获得舱内头显基础画面，包括：

确定出舒适视场内画面的外边缘像素点的颜色三属性值、次外边缘像素点的颜色三属性值以及边缘视场内画面的内边缘像素点的颜色三属性值、次内边缘像素点的颜色三属性值；

基于舒适视场内画面的每个颜色属性的相邻渐变阈值和边缘视场内画面的每个颜色属性的相邻渐变阈值，计算出每个颜色属性的拼接相邻渐变阈值；

基于每个颜色属性的拼接相邻渐变阈值，对舒适视场内画面的外边缘像素点的颜色三属性值、次外边缘像素点的颜色三属性值以及边缘视场内画面的内边缘像素点的颜色三属性值、次内边缘像素点的颜色三属性值进行重新设置，获得舱内头显基础画面。

2.根据权利要求1所述的基于虚拟现实技术的智能座舱沉浸式用户体验方法，其特征在于，S1：基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿，包括：

S101：在驾驶员在智能座舱内的实时体部位姿中，提取出驾驶员的实时头部位姿和实时眼部位姿；

S102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿。

3.根据权利要求2所述的基于虚拟现实技术的智能座舱沉浸式用户体验方法，其特征在于，S102：基于实时头部位姿和实时眼部位姿，确定出驾驶员的实时视场位姿，包括：

基于实时头部位姿和标准眼部位姿，生成头部位姿的实时标准视场位姿；

基于实时眼部位姿对实时标准视场位姿进行方位校正，获得驾驶员的实时视场位姿。

4.根据权利要求1所述的基于虚拟现实技术的智能座舱沉浸式用户体验方法，其特征在于，S3：基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面，包括：

基于当前车辆的实时车外环境视频进行模型搭建，获得车外环境空间模型；

基于实时视场位姿对车外环境模型进行空间模型选取，获得车外视场内模型；

基于实时视场位姿和预设的视场显示参数，对车外视场内模型进行非透视画面生成，获得当前时刻的车外头显基础画面。

5.根据权利要求1所述的基于虚拟现实技术的智能座舱沉浸式用户体验方法，其特征在于，S5：基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面，包括：

在智能座舱内的个性化驾驶操控数据中，提取出可叠加显示数据项的实时驾驶操控数据；

对实时驾驶操控数据的显示形式进行转换，获得可叠加显示数据项的显示数据；

将显示数据标记于虚拟现实头显完整画面中，获得虚拟现实头显完整画面。

6.基于虚拟现实技术的智能座舱沉浸式用户体验***，其特征在于，用于执行权利要求1至5中任一一种所述的基于虚拟现实技术的智能座舱沉浸式用户体验方法，包括：

第一位姿确定模块，用于基于驾驶员在智能座舱内的实时体部位姿，确定出驾驶员的实时视场位姿；

第一画面生成模块，用于基于当前车辆智能座舱的舱内视频和驾驶员在智能座舱内的实时体部位姿以及实时视场位姿，生成当前时刻的舱内头显基础画面；

第二画面生成模块，用于基于驾驶员的实时视场位姿，对当前车辆的实时车外环境视频进行视角转换和选取，生成当前时刻的车外头显基础画面；

头显画面叠加模块，用于对舱内头显基础画面和车外头显基础画面进行叠加，获得虚拟现实头显画面；

数据智能标记模块，用于基于智能座舱内的个性化驾驶操控数据，对虚拟现实头显画面进行智能标记，获得虚拟现实头显完整画面；

头显画面显示模块，用于将虚拟现实头显完整画面传输至虚拟现实头显设备进行显示。