CN115278204A - 显示装置使用方法、装置、设备及存储介质 - Google Patents

显示装置使用方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115278204A
CN115278204A CN202210919960.2A CN202210919960A CN115278204A CN 115278204 A CN115278204 A CN 115278204A CN 202210919960 A CN202210919960 A CN 202210919960A CN 115278204 A CN115278204 A CN 115278204A
Authority
CN
China
Prior art keywords
display device
determining
vehicle
relationship
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210919960.2A
Other languages
English (en)
Inventor
沈继
刘娇
林仁义
庄世政
张弢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Zhejiang Zeekr Intelligent Technology Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Zhejiang Zeekr Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Zhejiang Zeekr Intelligent Technology Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Priority to CN202210919960.2A priority Critical patent/CN115278204A/zh
Publication of CN115278204A publication Critical patent/CN115278204A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/12—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time in graphical form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种显示装置使用方法、装置、设备及存储介质，该方法包括：确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；基于所述目标运动轨迹数据，确定所述显示装置的输出画面。本申请解决现有技术中在运行的交通工具内使用显示装置，因画面轨迹不符合实际运动状态，易造成用户体感不适的技术问题。

Description

显示装置使用方法、装置、设备及存储介质
技术领域
本申请涉及智能汽车技术领域，尤其涉及一种显示装置使用方法、装置、设备及存储介质。
背景技术
目前，不少智能汽车内集成了各类显示装置，以满足旅途中用户的娱乐需求，具体地，不少智能汽车内集成了如虚拟现实眼镜、增强现实眼镜、混合现实眼镜等显示装置，以供智能车辆中用户在旅途中玩游戏使用。
然而，目前，大多显示装置是以用户在静态情况下设计的，用户在运行的智能汽车内使用各类显示装置时，容易造成体感不适，例如，用户A乘坐游艇在海面航行，用户B乘坐轿车正在山区行驶，此时两者均使用头戴显示装置进入网络服务端的一款射击游戏，由于各自的交通工具运动轨迹不一致，用户A和用户B都可能会体感不适，甚至会晕厥。
发明内容
本申请的主要目的在于提供一种显示装置使用方法、装置、设备及存储介质，旨在解决现有技术中在运行的交通工具内使用显示装置，易造成用户体感不适的技术问题。
为实现上述目的，本申请提供一种显示装置使用方法，所述显示装置使用方法包括：
确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
可选地，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的第三运动轨迹数据的步骤，包括：
基于所述第一定位关系，确定所述交通工具相对于地表的第一运动轨迹数据；
基于所述第二定位关系，确定所述显示装置相对于所述交通工具的第二运动轨迹数据；
基于所述第一运动轨迹数据和所述第二运动轨迹数据，确定所述显示装置相对于所述地表的目标运动轨迹数据。
可选地，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据的步骤，包括：
基于所述第一定位关系和所述第二定位关系，确定所述显示装置和地表的第三定位关系；
基于所述第三定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据。
可选地，所述第一定位关系通过设置在交通工具中的第一传感器确定，所述第二定位关系通过设置在交通工具中的第二传感器确定，其中，所述第一传感器和所述第二传感器分开设置。
可选地，所述确定交通工具和地表的第一定位关系的步骤之前，所述方法包括：
确定是否检测到开启虚拟场景的开启指令；
若检测到所述开启指令时，执行确定交通工具和地表的第一定位关系的步骤。
可选地，所述基于所述目标运动轨迹数据，确定所述显示装置的输出画面的步骤，包括：
确定所述交通工具所在环境的第一环境画面，并确定所述显示装置所在环境的第二环境画面；
融合所述第一环境画面和所述第二环境画面，得到融合画面；
基于所述目标运动轨迹数据和所述融合画面，确定所述显示装置的输出画面。
可选地，所述显示装置和地表之间的第三定位关系包括所述显示装置和地表之间的6dof位置关系，所述6dof位置关系包括前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系。
本申请还提供一种显示装置使用装置，所述显示装置使用装置包括：
第一确定模块，用于确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
第二确定模块，用于基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
第三确定模块，用于基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
本申请还提供一种显示装置使用设备，所述显示装置使用设备为实体节点设备，所述显示装置使用设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述显示装置使用方法的程序，所述显示装置使用方法的程序被处理器执行时可实现如上述的显示装置使用方法的步骤。
本申请还提供一种存储介质，所述存储介质上存储有实现上述显示装置使用方法的程序，所述显示装置使用方法的程序被处理器执行时实现如上述的显示装置使用方法的步骤。
本申请提供一种显示装置使用方法、装置、设备及存储介质，与现有技术中在运行的交通工具内使用显示装置，易造成用户体感不适相比，在本申请中，确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；基于所述目标运动轨迹数据，确定所述显示装置的输出画面。在本申请中，通过交通工具和地表的第一定位关系，交通工具和所述显示装置的第二定位关系，确定显示装置相对于所述地表的目标运动轨迹数据，然后再确定所述显示装置的输出画面，也即，在本申请中，输出给用户的输出画面，是与目标运动轨迹数据关联的，也即，输出的游戏画面是与用户本身的运动状态(考量显示装置相对于地表的运动轨迹数据)匹配的，进而，提升了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请显示装置使用方法第一实施例的流程示意图；
图2为本申请显示装置使用方法第二实施例的流程示意图；
图3为本申请实施例方案涉及的硬件运行环境的设备结构示意图；
图4为本申请显示装置使用方法涉及的第一场景示意图；
图5为本申请显示装置使用方法涉及的第二场景示意图；
图6为本申请显示装置使用方法涉及的第三场景示意图；
图7为本申请显示装置使用方法涉及的第四场景示意图；
图8为本申请显示装置使用方法涉及的第五场景示意图；
图9为本申请显示装置使用方法涉及的第六场景示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种显示装置使用方法，在本申请显示装置使用方法的第一实施例中，参照图1，所述显示装置使用方法包括：
步骤S10，确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
步骤S20，基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
步骤S30，基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
在本实施例中，需要说明几个参数的含义：
地表：不限于空中、地下隧道；
交通工具，不限于汽车，如降落伞、垂直电梯、马匹等，还可以是火车轮船等；
显示装置：不限于VR、AR、MR、PAD、照相机、全系等任何具有显示功能的设备；
外置传感器(第一传感器)：记录车辆在地图的某个坐标位置、海拔等数据用的传感器；
内置传感器(第二传感器)：记录车辆的水平仪，转向，海拔等，用于确认显示装置位置。
其中，外置和内置是相对于交通工具而言的。
在本实施例中，交通工具、地表、显示装置、外置传感器和内置传感器具***置关系如图4，图5所示，其中，图4是立体图，图5是正视图，在图4和图5中，(1)或者1表示地表，(2)或者2是交通工具，(3)或者3是显示装置，(4)或者4以及(5)或者5是传感器，其中，(4)或者4为设置在交通工具外如车辆外的传感器(外置传感器)，该传感器用于确定交通工具和地表的第一定位关系。(5)或者5为设置在交通工具内的传感器(内置传感器)，该传感器用于确定交通工具和显示装置的第二位关系。
在本实施例中，交通工具、地表、显示装置、外置传感器和内置传感器工作流程关系如图7所示。
在该图7中，交通工具(2)或者2设置有外置传感器(4)或者4，该交通工具(2)或者2还对应设置有交通工具相机(用于输入外界画面的装置，如车载摄像头)，内置传感器5，以及对应确定交通工具的预设参数，因而，可以准确获取交通工具的运动轨迹数据。
其中，交通工具的预设参数包括如汽车的外形尺寸、内饰装置的尺寸、汽车的外形尺寸、内饰装置的尺寸可用于虚拟世界里1：1的物体视觉渲染，防治用户在虚拟空间误触或者碰撞受伤。而外置传感器：类似雷达或第三方GPS等，外置传感器可置于交通工具(2)实体之上，或独立运行于外部。相应内置传感器：安装在交通工具内的传感器，用于定位显示装置，比如用户坐在前排还是后排，左侧还是右侧。
在本实施例中，在该图7中，该显示装置还对应设置有显示装置相机(用于输入外界画面的装置，如VR和PAD设备上的摄像头)，以及显示装置的展示(界面，观看渲染后的影像，可观看和互动游戏等)，因而，可以准确获取显示装置的运动轨迹数据以及显示画面。
在本实施例中，交通工具2运动轨迹可以是：汽车的前进、后退、转向、上升下降等6dof自由度变化的定位和移动轨迹数据。
在本实施例中，如图7所示，整体的实施流程可以是：
交通工具的运动轨迹数据和/或者显示装置的运动轨迹数据经过融合处理后，得到用于显示输出画面的输出数据，比如输出数据为XR应用内容，以及渲染影像。
具体地，交通工具的运动轨迹数据和/或者显示装置的运动轨迹数据分别经过实体定位和四维参数融合处理，得到输出数据(XR应用内容或者渲染影像)。
在本实施例中，具体的研发背景可以是：
背景一：目前，不少智能汽车内集成了各类显示装置，以满足旅途中用户的娱乐需求，具体地，不少智能汽车内集成了如虚拟现实眼镜、增强现实眼镜、混合现实眼镜等显示装置，以供智能车辆中用户在旅途中玩游戏使用。
然而，大多显示装置是以用户在静态情况下设计的，用户在运行的智能汽车内使用各类显示装置时，容易造成体感不适，例如，用户A乘坐游艇在海面航行，用户B乘坐轿车正在山区行驶，此时两者均使用头戴显示装置进入网络服务端的一款射击游戏，用户A和用户B都可能会体感不适，甚至会晕厥。
背景二：目前，难以准确记录交通工具运行时，用户身体状态的数据，即难以准确提供健康数据，例如，只能记录平地上用户身体状态的数据；
例如，可以记录用户在平地上的血压、心率等数据，但是难以准确记录乘坐车辆和轮船时用户的血压、心率等数据。
在本实施例中，通过交通工具和地表的第一定位关系，交通工具和所述显示装置的第二定位关系，确定显示装置相对于所述地表的目标运动轨迹数据，然后再确定所述显示装置的输出画面，也即，在本申请中，输出给用户的输出画面，是与目标运动轨迹数据关联的，也即，输出的游戏画面是与用户本身的运动状态(考量显示装置相对于地表的运动轨迹数据)匹配的，进而，提升了用户体验。
在本实施例中，确定显示装置相对于所述地表的目标运动轨迹数据，因而，相对应获取的用户身体状态的数据不只是平地下用户的身体状态数据，而是相对于运行的交通工具的数据，也即，准确确定交通工具运行时用户身体状态的数据。
在本实施例中，还将交通工具的运行状态，如：阻力、推力、失重、惯性、离心力等以6dof的方式与显示装置的内容结合起来，可提升更多种显示内容的体验，如：体育运动、风景观赏、电子游戏等不同显示内容的体验。
在本实施例中，在通过隧道、山区等地带时(无信号、迷路等情况)，也可以实现虚拟体感交互。
在本实施例中，只有开启虚拟场景时，才执行确定交通工具和地表的第一定位关系的步骤，也即，在本申请中，显示装置使用方法是可选的，以满足不同场景下用户的需求。
在本实施例中，显示装置使用方法应用于显示装置使用装置，所述显示装置使用装置应用于显示装置使用设备，所述显示装置使用设备属于显示装置使用***，该显示装置使用***还包括不同类型的相机，例如，该显示装置使用***包括设置在运行的交通工具上的相机，以及设置在显示装置上的相机。
具体步骤如下：
步骤S10，确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
在本实施例中，该确定交通工具和地表的第一定位关系的方式可以是：
通过设置在交通工具上的传感器确定，即通过外置传感器用来定位第一定位关系。
外置传感器：类似雷达、第三方GPS等，可置于交通工具2实体之上，或独立运行于外部。
在本实施例中，外置传感器还可以是雷达和相机等结合组成的传感器。
在本实施例中，交通工具、地表和显示装置具***置关系如图4，图5所示，其中，图4是立体图，图5是剖视图，在图4和图5中，具体地，在显示装置使用装置初始化时，在无磁场干扰的情况下；
地表(1)Z轴因与地球经线平行；
地表(1)X轴因与地球纬线平行；
地表(1)坐标点O1与交通工具(2)坐标点O2同时处于地表(1)的Y轴上(确定了初始化的地表坐标系)。
在本实施例中，需要说明的是，第一定位关系包括6dof位置关系，具体地，包括前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系，具体定位关系如图6所示。
确定交通工具(2)与地表(1)的6dof位置关系的具体方式为(需要说明的是，至少一种外置传感器(4)置于交通工具(2)上)：
基于外置传感器(4)确定交通工具(2)坐标点O2，并基于外置传感器(4)生成确定的地表(1)X轴、Y轴、Z轴的数据(地表坐标系)，进而确定交通工具(2)Z轴前后方向，确定交通工具(2)X轴左右方向，确定交通工具(2)Y轴上下方向。
其中，本实施例中，还确定翻滚角度关系、俯仰角度关系和偏航角度关系，具体地，交通工具(2)Z轴翻滚角度由(2)的内置传感器(5)获取；交通工具(2)X轴俯仰角度由(2)的内置传感器(5)获取；交通工具(2)Y轴偏航角度由外置传感器(4)获取。
在本实施例中，需要说明的是，第二定位关系包括6dof位置关系，具体地，包括前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系。
在本实施例中，第二定位关系通过内置传感器获取，内置传感器为安装在交通工具内的传感器，内置传感器可以用于定位显示装置，比如定位用户坐在前排还是后排，左侧还是右侧。
其中，确定显示装置(3)与交通工具(2)的6dof关系的具体方式为(需要说明的是，至少一种定位装置(内置传感器，5)置于交通工具(2)内部)：
其中，显示装置(3)坐标点O3由交通工具(2)内置传感器(5)确定，并生成交通工具(2)的X轴、Y轴、Z轴的数据；具体地，由(2)的内置传感器(5)获取显示装置(3)Z轴前后方向；并获取显示装置(3)X轴左右方向(由(3)Z轴确定)；还获取显示装置(3)Y轴上下方向(由(3)的Z轴和X轴确定)；还获取显示装置(3)Z轴翻滚角度；还获取显示装置(3)X轴俯仰角度；还获取显示装置(3)Y轴偏航角度。
步骤S20，基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
在本实施例中，基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据，确定所述显示装置相对于所述地表的目标运动轨迹数据的目的在于：使得显示装置的使用考虑用户在动态情况下的运行数据。
在本实施例中，运动轨迹具体可以是：前进后退轨迹，转向轨迹，上升下降等6dof自由度变化的定位和移动轨迹数据。
其中，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的第三运动轨迹数据的步骤，包括：
步骤S21，基于所述第一定位关系，确定所述交通工具相对于地表的第一运动轨迹数据；
步骤S22，基于所述第二定位关系，确定所述显示装置相对于所述交通工具的第二运动轨迹数据；
步骤S23，基于所述第一运动轨迹数据和所述第二运动轨迹数据，确定所述显示装置相对于所述地表的目标运动轨迹数据。
在本实施例中，是通过融合第一运动轨迹数据和第二运动轨迹数据，确定目标运动轨迹数据的。
在本实施例中，具体地，基于一段时间内交通工具相对于地表的前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系，确定第一运动轨迹数据，具体地，如获取第1秒交通工具相对于地表的前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系，然后获取第3秒，第5秒，第7秒，第10秒内交通工具相对于地表的前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系，进而，得到10秒内交通工具相对于地表的第一运动轨迹数据。
与上述同样的方式，得到显示装置相对于所述交通工具的第二运动轨迹数据(第1秒，第3秒，第5秒，第7秒，第10秒)。
在得到第一运动轨迹数据和第二运动轨迹数据后，融合得到所述显示装置相对于所述地表的目标运动轨迹数据(第1秒，第3秒，第5秒，第7秒，第10秒)。
具体地，为了满足实时性的要求，在得到10毫秒内第一运动轨迹数据和10毫秒内第二运动轨迹数据后，融合两者的轨迹数据，得到所述显示装置相对于所述地表的目标运动轨迹数据。另外，在本实施例中，只得到短时间内的第一运动轨迹数据和第二运动轨迹数据，即融合确定所述显示装置相对于所述地表的目标运动轨迹数据，因而，可以满足确定目标运动轨迹数据的实时性需求。
也即，VR或PAD等显示装置(3)通过上述两组传感器(4)以及(5)的检测，确定其6dof自由度变化的定位和移动轨迹数据。
在本实施例中，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据的步骤，包括：
步骤S24，基于所述第一定位关系和所述第二定位关系，确定所述显示装置和地表的第三定位关系；
步骤S25，基于所述第三定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据。
在本实施例中，直接确定显示装置和地表的第三定位关系，进而，确定所述显示装置相对于所述地表的目标运动轨迹数据，而不是每间隔一定时间段就融合轨迹数据。
整体地，需要说明的是，如图4所示，(2)和(3)(第二定位关系)是由(5)获取，(1)和(2)(第一定位关系)是由(4)获取。
确定所述显示装置和地表的第三定位关系(6dof位置关系)的具体方式为：
基于(5)确定显示装置(3)坐标点O3，且基于第一定位关系和第二定位关系生成对应显示装置的第三定位关系，例如，确定对应显示装置的X轴、Y轴、Z轴；
具体地，还可以是确定显示装置(3)Z轴前后方向；
确定显示装置(3)X轴左右方向；
确定显示装置(3)Y轴上下方向；
确定显示装置(3)Z轴翻滚角度；
确定显示装置(3)X轴俯仰角度；
确定显示装置(3)Y轴偏航角度。
具体地，第一定位关系中的前后方向为p1－p2方向，第二定位关系的前后方向为p3－p4方向，将p1－p2方向和p3－p4方向，经过预存方向逻辑运算即可得到第三定位关系中的p5－p6方向。
在本实施例中，还提供具体场景，即由第一定位关系和第二定位关系确定第三定位关系的具体场景如图9所示：
在图9中，路标为①、交通工具为②、显示装置为③，外置传感器为④，内置传感器为⑤，传感器⑤置于②上，且连接显示装置③，而⑤与①没有连接关系，且③与④没有连接关系，路标和交通工具均有GPS定位功能，具体地，如图9中C2图像显示，用户头戴③向左移动(第一定位关系)，②向右移动(第二定位关系)，如图9中C3图像显示，一定距离后，③与①的位置关系没有发生变化(第三定位关系)。
步骤S30，基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
在本实施例中，融合目标运动轨迹数据、交通工具的尺寸和初始定位数据、显示装置的尺寸和初始定位数据。
所述基于所述目标运动轨迹数据，确定所述显示装置的输出画面的步骤，包括：
步骤S31，确定所述交通工具所在环境的第一环境画面，并确定所述显示装置所在环境的第二环境画面；
步骤S32，融合所述第一环境画面和所述第二环境画面，得到融合画面；
步骤S33，基于所述目标运动轨迹数据和所述融合画面，确定所述显示装置的输出画面。
在本实施例中，阐述具体如何得到显示装置的输出画面。
首先，通过所述交通工具的相机采集所在环境的第一环境画面，通过所述显示装置的相机采集所在环境的第二环境画面。
融合所述第一环境画面和所述第二环境画面，得到融合画面。
在得到融合画面后，还基于所述目标运动轨迹数据和所述融合画面，确定所述显示装置的输出画面，具体地，基于目标运动轨迹数据中6dof变化数据，和融合画面进行进一步地的融合，得到输出画面。具体地，将目标运动轨迹数据转化为第一四维参数集，进而，将四维参数集和所述融合画面，进一步融合为输出画面，或者，将第一运动轨迹数据转化为第二四维参数集，基于第一四维参数集和第二四维参数集以及所述融合画面，进一步融合为输出画面。或者在本实施例中，还确定交通工具的尺寸和初始定位数据，以及显示装置的确定交通工具的尺寸和初始定位数据，基于交通工具的尺寸和初始定位数据，显示装置的尺寸和初始定位数据、第一四维参数集、第二四维参数集以及所述融合画面，进一步融合为输出画面。
本申请提供一种显示装置使用方法、装置、设备及存储介质，与现有技术中在运行的交通工具内使用显示装置，易造成用户体感不适相比，在本申请中，确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；基于所述目标运动轨迹数据，确定所述显示装置的输出画面。在本申请中，通过交通工具和地表的第一定位关系，交通工具和所述显示装置的第二定位关系，确定显示装置相对于所述地表的目标运动轨迹数据，然后再确定所述显示装置的输出画面，也即，在本申请中，输出给用户的输出画面，是与目标运动轨迹数据关联的，也即，输出的游戏画面是与用户本身的运动状态(考量显示装置相对于地表的运动轨迹数据)匹配的，进而，提升了用户体验。
进一步地，基于本申请中上述实施例，提供本申请的另一实施例，在该实施例中，所述第一定位关系通过设置在交通工具中的第一传感器确定，所述第二定位关系通过设置在交通工具中的第二传感器确定，其中，所述第一传感器和所述第二传感器分开设置。
在本实施例中，所述第一传感器(外置传感器)和所述第二传感器(内置传感器)分开设置，所述第一传感器和所述第二传感器分开设置的目的在于：避免第一传感器和所述第二传感器靠近设置而造成测量的互相影响，另外，将所述第一传感器设置在交通工具外，将所述第二传感器设置在交通工具内能够满足应用的实际需求(这是因为显示装置一般应用在交通工具内)，进一步地，将所述第一传感器设置在交通工具外，更能准确获取第一定位关系，这是因为：不会受到汽车内部本身的减震性能等的影响。
进一步地，基于本申请中上述实施例，提供本申请的另一实施例，在该实施例中，
所述确定交通工具和地表的第一定位关系的步骤之前，所述方法包括：
步骤A1，确定是否检测到开启虚拟场景的开启指令；
步骤A2，若检测到所述开启指令时，执行确定交通工具和地表的第一定位关系的步骤。
在本实施例中，只有开启虚拟场景时，才执行确定交通工具和地表的第一定位关系的步骤，也即，在本申请中，显示装置使用方法是可选的，以满足不同场景下用户的需求。
在本实施例中，还提供具体场景一：
如图8所示，若未检测到开启虚拟场景的开启指令，则不会实时本实施例中的技术方案，若检测到开启虚拟场景的开启指令，则开启各个传感器并定位(包括第一定位关系，第二定位关系，进而确定第三定位关系)，需要说明的是，显示设备不是非得进入交通工具内部才能定位，感应范围内即可定位(例如，在车辆周边也可以定位)，在开启定位后(可以通过预设按钮，预设同伴在虚拟场景内，提升真实感体验)，实现输出画面和当前场景是同步的(包括位移同步)，也即，实现现实与虚拟的场景视觉透视效果同步，例如，车辆上坡，这样效果的同步是：用户会感觉到重力，车辆下坡，这样效果的同步是：用户会感觉到失重。又例如，一些加速推背感，刹车惯性等现象都会同步到虚拟世界里。
在本实施例中，如图7所示，还提供交通工具、地表和显示装置的具体具体应用场景，具体地：
01.外置传感器：类似雷达或第三方GPS等方式，用于对地表进行定位或者确定与地表具有关系的装置或***，外置传感器可置于交通工具2实体之上，或独立运行于外部；
02.交通工具2运动轨迹：比如汽车的前进后退，转向，上升下降等6dof自由度变化的定位和移动轨迹数据；
03.交通工具2预设参数：如汽车的外形尺寸，内饰装置的尺寸，可用于虚拟世界里1：1的物体视觉渲染，防治用户在虚拟空间误触受伤；
04.内置传感器：安装在交通工具上的传感器，用于定位显示装置，比如用户坐在前排还是后排，左侧还是右侧，包括在预设A2画面中，用户未上车之前就已经相互确定位置关系；
05.显示装置3运动轨迹：VR或PAD等显示装置设备在上述两组传感器检测范围内确定其6dof自由度变化的定位和移动轨迹数据；
06.实体定位参数：包括移动设备和显示装置的尺寸和初始定位数据；
07.四维参数集：所有实体单位(包括显示装置，交通工具等)随时间的变化而产生的6dof数据变化；
08.交通工具2相机：用于输入外界画面的显示装置，如车载摄像头；
09.显示装置3相机：用于输入外界画面的显示装置，如VR和PAD设备上的摄像头；
10.XR应用：将08和09的数据融合后输出，比如输出MR技术的影像内容；
11.渲染影像：四维参数集+XR应用后根据内容需要进行画面渲染后输出；
12.显示装置3：提供观看渲染后的影像，用户可观看和互动游戏等。
在本实施例中，需要说明的是，第2步骤和第3步骤的数据，第4步骤和第5步骤的数据，分别都经过第6步骤和第7步骤处理后，才能得到第10步骤和/或者第11步骤的内容。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图3所示，该显示装置使用设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non－volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该显示装置使用设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI－FI接口)。
本领域技术人员可以理解，图3中示出的显示装置使用设备结构并不构成对显示装置使用设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种存储介质的存储器1005中可以包括操作***、网络通信模块以及显示装置使用程序。操作***是管理和控制显示装置使用设备硬件和软件资源的程序，支持显示装置使用程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与显示装置使用***中其它硬件和软件之间通信。
在图3所示的显示装置使用设备中，处理器1001用于执行存储器1005中存储的显示装置使用程序，实现上述任一项所述的显示装置使用方法的步骤。
本申请显示装置使用设备具体实施方式与上述显示装置使用方法各实施例基本相同，在此不再赘述。
本申请还提供一种显示装置使用装置，所述显示装置使用装置包括：
确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
可选地，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的第三运动轨迹数据的步骤，包括：
基于所述第一定位关系，确定所述交通工具相对于地表的第一运动轨迹数据；
基于所述第二定位关系，确定所述显示装置相对于所述交通工具的第二运动轨迹数据；
基于所述第一运动轨迹数据和所述第二运动轨迹数据，确定所述显示装置相对于所述地表的目标运动轨迹数据。
可选地，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据的步骤，包括：
基于所述第一定位关系和所述第二定位关系，确定所述显示装置和地表的第三定位关系；
基于所述第三定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据。
可选地，所述第一定位关系通过设置在交通工具中的第一传感器确定，所述第二定位关系通过设置在交通工具中的第二传感器确定，其中，所述第一传感器和所述第二传感器分开设置。
可选地，所述确定交通工具和地表的第一定位关系的步骤之前，所述方法包括：
确定是否检测到开启虚拟场景的开启指令；
若检测到所述开启指令时，执行确定交通工具和地表的第一定位关系的步骤。
可选地，所述基于所述目标运动轨迹数据，确定所述显示装置的输出画面的步骤，包括：
确定所述交通工具所在环境的第一环境画面，并确定所述显示装置所在环境的第二环境画面；
融合所述第一环境画面和所述第二环境画面，得到融合画面；
基于所述目标运动轨迹数据和所述融合画面，确定所述显示装置的输出画面。
可选地，所述显示装置和地表之间的第三定位关系包括所述显示装置和地表之间的6dof位置关系，所述6dof位置关系包括前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系。
本申请显示装置使用装置的具体实施方式与上述显示装置使用方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的显示装置使用方法的步骤。
本申请存储介质具体实施方式与上述显示装置使用方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种显示装置使用方法，其特征在于，所述显示装置使用方法包括：
确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
2.如权利要求1所述的显示装置使用方法，其特征在于，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的第三运动轨迹数据的步骤，包括：
基于所述第一定位关系，确定所述交通工具相对于地表的第一运动轨迹数据；
基于所述第二定位关系，确定所述显示装置相对于所述交通工具的第二运动轨迹数据；
基于所述第一运动轨迹数据和所述第二运动轨迹数据，确定所述显示装置相对于所述地表的目标运动轨迹数据。
3.如权利要求1所述的显示装置使用方法，其特征在于，所述基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据的步骤，包括：
基于所述第一定位关系和所述第二定位关系，确定所述显示装置和地表的第三定位关系；
基于所述第三定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据。
4.如权利要求1所述的显示装置使用方法，其特征在于，所述第一定位关系通过设置在交通工具中的第一传感器确定，所述第二定位关系通过设置在交通工具中的第二传感器确定，其中，所述第一传感器和所述第二传感器分开设置。
5.如权利要求1所述的显示装置使用方法，其特征在于，所述确定交通工具和地表的第一定位关系的步骤之前，所述方法包括：
确定是否检测到开启虚拟场景的开启指令；
若检测到所述开启指令时，执行确定交通工具和地表的第一定位关系的步骤。
6.如权利要求1所述的显示装置使用方法，其特征在于，所述基于所述目标运动轨迹数据，确定所述显示装置的输出画面的步骤，包括：
确定所述交通工具所在环境的第一环境画面，并确定所述显示装置所在环境的第二环境画面；
融合所述第一环境画面和所述第二环境画面，得到融合画面；
基于所述目标运动轨迹数据和所述融合画面，确定所述显示装置的输出画面。
7.如权利要求2所述的显示装置使用方法，其特征在于，所述显示装置和地表之间的第三定位关系包括所述显示装置和地表之间的6dof位置关系，所述6dof位置关系包括前后位置关系、左右位置关系、上下位置关系、翻滚角度关系、俯仰角度关系和偏航角度关系。
8.一种显示装置使用装置，其特征在于，所述显示装置使用装置包括：
第一确定模块，用于确定交通工具和地表的第一定位关系，并确定所述交通工具和所述显示装置的第二定位关系；
第二确定模块，用于基于所述第一定位关系和所述第二定位关系，确定所述显示装置相对于所述地表的目标运动轨迹数据；
第三确定模块，用于基于所述目标运动轨迹数据，确定所述显示装置的输出画面。
9.一种显示装置使用设备，其特征在于，所述显示装置使用设备包括：存储器、处理器以及存储在存储器上的用于实现所述显示装置使用方法的程序，
所述存储器用于存储实现显示装置使用方法的程序；
所述处理器用于执行实现所述显示装置使用方法的程序，以实现如权利要求1至7中任一项所述显示装置使用方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有实现显示装置使用方法的程序，所述实现显示装置使用方法的程序被处理器执行以实现如权利要求1至7中任一项所述显示装置使用方法的步骤。
CN202210919960.2A 2022-07-27 2022-07-27 显示装置使用方法、装置、设备及存储介质 Pending CN115278204A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210919960.2A CN115278204A (zh) 2022-07-27 2022-07-27 显示装置使用方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210919960.2A CN115278204A (zh) 2022-07-27 2022-07-27 显示装置使用方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115278204A true CN115278204A (zh) 2022-11-01

Family

ID=83747717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210919960.2A Pending CN115278204A (zh) 2022-07-27 2022-07-27 显示装置使用方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115278204A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002142A1 (en) * 2006-01-25 2009-01-01 Akihiro Morimoto Image Display Device
US20150097863A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节
CN106462232A (zh) * 2014-05-01 2017-02-22 微软技术许可有限责任公司 在动态环境中确定坐标框架
US20180040162A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
WO2019025212A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zur steuerung einer vr-darstellung in einem fortbewegungsmittel und vr-darstellungseinrichtung
CN109426345A (zh) * 2017-08-31 2019-03-05 北京网秦天下科技有限公司 Vr设备及其自适应显示方法
US20190130878A1 (en) * 2017-10-31 2019-05-02 Uber Technologies, Inc. Systems and Methods for Presenting Virtual Content in a Vehicle
CN109716266A (zh) * 2016-09-23 2019-05-03 苹果公司 沉浸式虚拟显示
CN110007760A (zh) * 2019-03-28 2019-07-12 京东方科技集团股份有限公司 显示控制方法、显示控制装置和显示装置
US20200192479A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for integrating environmental haptics in virtual reality
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002142A1 (en) * 2006-01-25 2009-01-01 Akihiro Morimoto Image Display Device
US20150097863A1 (en) * 2013-10-03 2015-04-09 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US20170078638A1 (en) * 2013-10-03 2017-03-16 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
CN104977717A (zh) * 2014-04-14 2015-10-14 哈曼国际工业有限公司 头戴式显示器呈现调节
CN106462232A (zh) * 2014-05-01 2017-02-22 微软技术许可有限责任公司 在动态环境中确定坐标框架
US20180040162A1 (en) * 2016-08-05 2018-02-08 Uber Technologies, Inc. Virtual reality experience for a vehicle
CN109716266A (zh) * 2016-09-23 2019-05-03 苹果公司 沉浸式虚拟显示
WO2019025212A1 (de) * 2017-08-04 2019-02-07 Robert Bosch Gmbh Verfahren zur steuerung einer vr-darstellung in einem fortbewegungsmittel und vr-darstellungseinrichtung
CN109426345A (zh) * 2017-08-31 2019-03-05 北京网秦天下科技有限公司 Vr设备及其自适应显示方法
US20190130878A1 (en) * 2017-10-31 2019-05-02 Uber Technologies, Inc. Systems and Methods for Presenting Virtual Content in a Vehicle
US20200192479A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for integrating environmental haptics in virtual reality
US10767997B1 (en) * 2019-02-25 2020-09-08 Qualcomm Incorporated Systems and methods for providing immersive extended reality experiences on moving platforms
CN110007760A (zh) * 2019-03-28 2019-07-12 京东方科技集团股份有限公司 显示控制方法、显示控制装置和显示装置

Similar Documents

Publication Publication Date Title
US11484790B2 (en) Reality vs virtual reality racing
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US11057574B2 (en) Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
KR101906711B1 (ko) 차량 정보 및 가상 현실을 위한 활성 윈도우
US10169923B2 (en) Wearable display system that displays a workout guide
EP3338136B1 (en) Augmented reality in vehicle platforms
US20210346805A1 (en) Extended environmental using real-world environment data
US20120256945A1 (en) System for altering virtual views
CN108572722B (zh) 用于在运输交通工具上支持增强现实应用的***和方法
US20200312282A1 (en) Information processing apparatus, information processing method, program, display system, and mobile object
CN110478901A (zh) 基于增强现实设备的交互方法及***
WO2015176599A1 (en) Interaction method, interaction apparatus and user equipment
CN113223129B (zh) 一种图像渲染方法、电子设备及***
US20180182261A1 (en) Real Time Car Driving Simulator
KR20200005740A (ko) 차량에서 사용 가능한 헤드 착용 시각적 출력 디바이스용 모바일 센서 장치, 및 디스플레이 시스템을 작동하기 위한 방법
KR101813018B1 (ko) 차량과 연계된 3d 콘텐츠 제공 장치 및 그 방법
CN115793852A (zh) 基于座舱区域获取操作指示的方法、显示方法及相关设备
CN113343457B (zh) 自动驾驶的仿真测试方法、装置、设备及存储介质
CN115278204A (zh) 显示装置使用方法、装置、设备及存储介质
KR101881227B1 (ko) 무인 비행체를 이용한 비행 체험 방법 및 장치
CN113041619A (zh) 虚拟车辆的控制方法、装置、设备及介质
JP5672942B2 (ja) 映像表示装置、映像表示方法、及びプログラム
EP4086102B1 (en) Navigation method and apparatus, electronic device, readable storage medium and computer program product
JP2019174523A (ja) 慣性力とは反対の姿勢を促す表示装置、並びに表示制御プログラム及び方法
CN115035239B (zh) 用于构建虚拟环境的方法、装置、计算机设备及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination