CN113515193B - 一种模型数据传输方法及装置 - Google Patents

Abstract

本申请提出了一种模型数据传输方法及装置，用以解决当前由于三维模型的数据量大，导致传输耗时长，渲染延迟等问题。所述方法包括：接收来自第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；将调整分辨率后的三维模型发送给所述第二终端设备。

Description

一种模型数据传输方法及装置

技术领域

本申请涉及图像处理技术领域，特别涉及一种模型数据传输方法及装置。

背景技术

目前，用户对于基于AR或者VR的远程通讯技术中显示端呈现图像的画质要求越来越高，所以采集端进行模型重建时，模型的分辨率越来越高，导致模型的数据量越来越大，从而云端在进行数据传输时传输耗时较长，可能会导致显示端获取数据出现延迟。如何在保障渲染质量的前提下，降低传输耗时值得研究。

发明内容

本申请实施例提供了一种模型数据传输方法及装置，用以结合显示端用户的实际需求对三维模型进行重建，在保证渲染质量的前提下，提升传输速率。

第一方面，本申请实施例提供了一种模型数据传输方法，应用于第一终端设备，所述第一终端设备与第二终端设备建立视频通信，所述方法包括：

接收来自第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；

根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；

将调整分辨率后的三维模型发送给所述第二终端设备。

基于上述方案，第一终端设备根据第二终端设备的用户的头部的位置和姿态变化的速度，调整生成的三维模型的分辨率，并传输调整分辨率后的三维模型。不仅能够使得调整分辨率后的三维模型更加符合第二终端设备用户的观看需求，减少因为视点变化和运动带来的晕眩症状，还能够控制传输的三维模型的数据量，提高传输效率，减少渲染延迟。

第二方面，本申请实施例提供了一种模型数据传输方法，应用于第二终端设备，所述第二终端设备与第一终端设备建立视频通信，所述方法包括：

获取用户的运动状态信息，并将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率；

接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

将所述调整分辨率后的三维模型进行渲染。

基于上述方案，第二终端设备实时获取用户的运动状态信息，传输到第一终端设备，并接收第一终端设备根据用户的运动状态信息调整分辨率后的三维模型，将调整分辨率后的三维模型进行渲染。使得渲染的内容能加符合第二终端设备的用户的观看需求，并且能够控制三维模型的数据量，提升数据的传输效率，减少渲染延迟，提升用户的使用体验。

第三方面，本申请实施例提供了一种第一终端设备，所述第一终端设备与第二终端设备建立视频通信，所述第一终端设备包括：

通信器，用于接收来自所述第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；

处理器，用于根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信器，还用于将调整分辨率后的三维模型发送给所述第二终端设备。

第四方面，本申请实施例提供了一种第二终端设备，所述第二终端设备与第一终端设备建立视频通信，所述第二终端设备包括：

处理器，用于获取用户的运动状态信息；

通信器，用于将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信器，还用于接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

处理器，还用于将所述调整分辨率后的三维模型渲染至显示屏；

所述显示屏，用于显示所述调整分辨率后的三维模型。

第五方面，本申请实施例还提供了一种模型数据传输装置，应用于第一终端设备，包括：

通信单元，用于接收来自所述第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；

处理单元，用于根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信单元，还用于将调整分辨率后的三维模型发送给所述第二终端设备。

第六方面，本申请实施例提供了另一种模型数据传输装置，应用于第二终端设备，包括：

处理单元，用于获取用户的运动状态信息；

通信单元，用于将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信单元，还用于接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

处理单元，还用于将所述调整分辨率后的三维模型渲染至显示单元；

所述显示单元，用于显示所述调整分辨率后的三维模型。

第七方面，本申请实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面所记载的方法。

第三方面至第七方面中任意一种实现方式所带来的技术效果可参见第一方面至第二方面对应的实现方式所带来的技术效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例。

图1为本申请实施例提供的一种模型数据传输***架构图；

图2为本申请实施例提供的一种应用场景的示意图；

图3为本申请实施例提供的一种模型数据传输方法流程图；

图4A为本申请实施例提供的一种第二终端设备中配置的速度范围和角速度范围与分辨率的调整级别之间的对应关系示意图；

图4B为本申请实施例提供的一种第一终端设备中配置的分辨率的调整级别与目标分辨率之间的对应关系示意图；

图4C为本申请实施例提供的一种第一终端设备中配置的分辨率的调整级别与分辨率调整的百分比之间的对应关系示意图；

图5为本申请实施例提供的另一种模型数据传输方法流程图；

图6为本申请实施例提供的一种第一终端设备的结构示意图；

图7为本申请实施例提供的一种第二终端设备的结构示意图；

图8为本申请实施例提供的一种模型数据传输装置的结构示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

需要说明的是，本申请中对于术语的简要说明，仅是为了方便理解接下来描述的实施方式，而不是意图限定本申请的实施方式。除非另有说明，这些术语应当按照其普通和通常的含义理解。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

当前基于VR或者AR的三维远程通讯技术存在一个根本性的挑战，以高沉浸感所需的极高分辨率呈现图像对渲染引擎和数据传输过程提出了巨大的要求。对于用户来讲，好的远程沉浸式体验需要渲染的低时延、高帧率、高画质。那么，如何有效的发挥显示端的图形处理器运算能力并提供符合人眼感知的高质量VR或者AR内容是关键问题。在用户使用VR或者AR头盔进行场景的快速浏览时，也就是用户的头部快速转动或者用户移动位置，此时实时渲染的场景需要快速进行变化，可能会出现画面的抖动甚至撕裂的问题，主要原因是由于显示端的图形处理器所需要进行的运算复杂及计算量超过负荷，并且由于三维数据体量大，在传输端传输存在延迟，导致无法实时更新，这样会使用户体验十分糟糕。

目前，异地的远程三维通信***核心技术涉及实时三维重建技术、三维数据的编解码及传输技术、沉浸式VR或者AR显示技术等。其中传输端传输的三维模型的数据对动态三维重建的质量及最终显示端成像有重要影响，而动态三维重建的分辨率越高，所要传输的三维模型的数据量会相应剧烈增长，例如192*192*128分辨率需要的传输码率为256Mbps，384*384*384分辨率需要的传输码率为1120Mbps(以30FPS为例)。因此，如何保证较好的三维重建质量，又能够降低传输压力成为亟待解决的问题。

有鉴于此，本申请实施例提出了一种模型数据传输方法及装置，通过监测显示端的用户的头部位姿变化速度确定用户的运动状态信息，并将显示端的用户的运动状态信息传递回采集端，采集端根据用户的运动状态信息控制采集端生成的三维模型的数据量，进而调整待发送的三维模型的分辨率。降低了传输端的传输压力并提高了数据的接收效率，从而节约传输时间，减少延迟，提高VR或者AR远程通讯的体验效果。

如下，结合附图详细描述本申请的实施例。

图1示例性地示出了本申请实施例提供的一种模型数据传输***架构图。如图1所示，该***包括采集端设备101、传输网络设备102、渲染显示端设备103。

其中，采集端设备101包括采集单元1011，用于采集用户的色彩RGB图像和深度信息，作为一种举例，采集单元1011可以包括一个或者多个摄像头(也可以称之为相机)。摄像头可以是RGBD摄像头，例如Azure Kinect深度摄像头或者Realsense深度摄像头等，采集用户的深度信息和RGB图像。采集端设备还包括处理器1012，用于接收采集单元1011采集的RGB图像和深度信息，并进行相关运算，得到三维模型的几何数据和运动姿态数据。根据人体的运动和位置数据，准确的重建人体的三维模型。其中，几何数据可以是由几何顶点的三维位置数据、颜色数据、法向数据、三角面片索引数据组成。几何数据的来源是RGB图像和深度信息(深度信息包含RGB图像中每个像素的深度信息)，可以通过点云泊松重建即可得到。运动位姿数据包括三维位置数据和人体(骨骼)关节点的姿态数据，其中位置数据是三维空间坐标数据(x,y,z)，姿态数据的几种表达方式包括：欧拉角、轴角、旋转矩阵、四元数，一般欧拉角、轴角是三个数据组成一个向量，旋转矩阵是九个数据组成一个向量，四元数是四个数据组成一个向量。

传输端设备102，用于将采集端设备101确定的三维的人体的三维模型的数据传输给渲染显示端设备103。传输端设备可以是云服务器，还可以用于对采集端设备101传输过来的三维模型的数据进行编解码以及分发。

显示端设备103，用于接收用于三维模型的数据，根据三维模型的数据重建人体的三维模型并进行三维沉浸式渲染，其中预先构建的三维模型是通过采集端采集的人体的不同形体参数和不同姿态参数构建的，且预先构建过程中使用了运动位姿数据和几何数据。显示端设备还用于获取用户在运动过程中的运动状态信息，并将运动状态信息发送到采集端设备，用于采集端设备根据该运动状态信息调整三维模型的分辨率。显示端设备包括电视、手机、VR/AR头戴式显示设备等。需要说明的是，如果显示端设备103为AR头戴式显示设备(头显)时，显示端设备还需要进一步结合显示端用户所处的场景进行三维模型的渲染。

需要说明的是，图1所示的架构图仅作为一种示例，本申请实施例对于采集端设备、传输端设备以及显示端设备的数量不作具体限定。

基于图1示出的***架构，图2示例性示出了本申请实施例提供的应用场景示意图。如图2所示，用户端1至用户端4进行实时远程三维通信，用户端1至用户端4分别布置了采集端设备(包括摄像头和处理器)和渲染显示端设备(包括电视、手机、VR或者AR头显的全部或部分)，远程三维通信过程中，用户端1的三维重建模型可上传到云端服务器，用户端2至用户端4从云端服务器下载用户端1的三维重建模型并同步显示，同理，用户端1、用户端3和用户端4也可同步显示用户端2的三维重建模型，依此类推。

需要说明的是，图2仅是多人远程三维通信的一种示例，本申请实施例对远程三维通信的用户端数不做限制性要求。

下面，结合图1和图2所示的架构图进一步对本申请实施例提出的模型数据传输方案进行介绍。参见图3，示出了一种模型数据传输方法流程图，具体为第一终端设备与第二终端设备之间的交互。需要说明的是，图3所示的流程图中的第一终端设备可以为图1的架构图中的显示端设备，也可以为图1的架构图中的采集端设备；同样，图3中的第二终端设备可以为图1中的显示端设备，也可以为图1中的采集端设备。那么，当第一终端设备为显示端设备时，则第二终端设备为采集端设备；当第一终端设备为采集端设备时，第二终端设备则为显示端设备。在图3中，以第一终端设备为采集端设备，第二终端设备为显示端设备为例进行介绍，具体包括：

301，第二终端设备在用户的运动过程中获取用户的运动状态信息，并将运动状态信息发送到第一终端设备。

其中，运动状态信息用于表征第二终端设备的用户的头部的位姿变化的速度。位姿变化包括用户的位置变化，也就是说，第二终端设备获取用户位移变化的速度。位姿变化还包括用户的头部的姿态变化，比如，用户转动头部时，第二终端设备获取用户转动头部时的角速度。第二终端设备将用于表征用户的位姿变化速度的运动状态信息发送到第一终端设备。

可选地，第二终端设备还可以通过图1中示出的传输端设备将运动状态信息转发到第一终端设备。

302，第一终端设备接收运动状态信息，根据运动状态信息调整待发送的三维模型的分辨率。

其中，三维模型的分辨率包括三维模型在三个方向上的分辨率，可以理解为在某个方向上构成该三维模型的体积元素(体素)的个数即为该方向上的三维模型的分辨率。

303，第一终端设备将调整分辨率后的三维模型发送给第二终端设备。

第一终端设备可以通过图1所示的传输端设备将调整分辨率后的三维模型转发到第二终端设备。还可以直接将调整分辨率后的三维模型发送到第二终端设备。

304，第二终端设备接收调整分辨率后的三维模型，并将调整分辨率后的三维模型进行渲染。

可选地，如果第二终端设备为手机、电视等显示设备时，可以进行二维图像的渲染。

如果第二终端设备为VR头显时，可以进行三维渲染。

如果第二终端设备为AR头显时，可以结合第二终端设备的用户所处的场景进行三维渲染。

下面，为了进一步理解本申请提出的模型数据传输方法，将结合具体地场景进行介绍。为了便于表述，后续还是以第一终端设备为采集端设备、第二终端设备为显示端设备为例进行介绍。本申请提出的方案可以用于会议场景、直播场景、游戏场景等多种场景中。下面，分别以会议场景和直播场景为例对本申请提出的方案进行介绍。

场景一：会议场景

首先需要说明的是，会议场景也可以分为很多种情况。比如，会议场景可以是：第一终端设备对应的用户A佩戴VR头显，第二终端设备为其对应的用户B佩戴AR头显，第一终端设备作为采集端，采集用户A的RGB图像和深度信息，并生成用户A的三维模型数据，将用户A的三维模型数据传输到第二终端设备。第二终端设备将该用户A的三维模型数据结合用户B所处的场景进行三维渲染。会议场景还可以是：第一终端设备对应的用户A佩戴VR头显，第二终端设备为其对应的用户B佩戴的VR头显，第一终端设备作为采集端，采集用户A的三维模型数据并传输到第二终端设备，也就是传输到用户B所佩戴的VR头显，第二终端设备将接收到的用户A的三维模型数据进行三维渲染。以上仅作为两种会议场景的举例，还有很多其他的会议场景，在此不多赘述，下面以上述第一种会议场景为例进行详细介绍。

第二终端设备可以响应于用户B的运动操作，获取用户B的移动速度以及用户B的头部转动的角速度等信息。作为一种举例，第二终端设备中可以配置有惯性传感器(Inertial Measurement Unit，IMU)和摄像头，用于获取用户B的头部的姿态变化量和位置变化量。第二终端设备根据姿态变化量和位置变化量计算出，用于获取用户B的运动速度和头部转动的角速度等信息。即在本申请中，第二终端设备不仅会获取用户B的位置的变化，还会获取用户B的姿态的变化。根据位置和姿态的变化共同确定用户B的运动状态信息。可选地，在获取用户B的位置变化时还可以采用光学追踪的方法，例如具备追踪功能的VR头显。第二终端设备向第一终端设备发送运动状态信息的可以是当前采集到的用户B的速度或者角速度或者速度和角速度，还可以是当前用户B的速度所处的速度范围或者当前用户B的角速度所处的角速度范围或者当前用户所处的速度范围和角速度范围。再或者，第二终端设备中可以配置有速度范围与分辨率的调整级别之间的对应关系，或者配置有角速度范围与分辨率的调整级别的对应关系，或者配置有速度范围和角速度范围与分辨率的调整级别之间的对应关系。这样，第二终端设备还可以根据采集到的速度或者角速度或者速度和角速度确定采集到的信息所处的范围，直接将该范围对应的调整级别作为运动状态信息发送到第一终端设备，这样传输的数据量小，传输速度快。其中，分辨率的调整级别用于第一终端设备调整三维模型的分辨率。为了便于理解，可以参见图4A，示例性的展示了第二终端设备中配置的速度范围和角速度范围与分辨率的调整级别之间的对应关系。

在一些实施例中，由于用于采集速度和角速度等信息的IMU可能会有温度漂移，比例缩放和安装误差等问题。这些问题造成了传感器的读数不准确，需要后续将IMU采集到的数据进行矫正，例如，第二终端设备可以采用互补滤波算法对采集到的角速度、速度等数据进行矫正，使得第二终端设备可以输出较为准确的运动状态信息。

进一步地，第二终端设备可以直接将获取的运动状态信息发送到第一终端设备，或者可以发送到图1示出的传输端设备，由传输端设备将运动状态信息转发到第一终端设备。第一终端设备在接收到运动状态信息后，可以根据运动状态信息调整用户A的三维模型的分辨率。为了能够更深刻的理解第一终端设备调整三维模型分辨率这个概念，先对三维模型的构建过程进行介绍：目前构建三维模型的方法有很多种，在本申请中，以基于符号距离函数(Truncated Signed Distance Function，TSDF)的模型构建方法为例进行介绍。实际的应用场景中，会采用在一个空间中开辟出一个立体的空间作为TSDF场，然后在x、y、z三个方向上对该立体空间进行剖分，剖分后的小立方体称为立体元素(体素)，每个方向上的体素的个数为该方向上的空间的分辨率，每个体素的中心点即为TSDF函数的采样点。在TSDF场中，通常会设定一个等值面，等值面上的所有的函数值为0，等值面以外的自由空间中的点的函数值为正，并且正比与该点到等值面的距离，等值面以内(等值面包围的空间)的空间中的点的函数值为负，并且反比与该点到等值面的距离。所有的函数采样点作为空间中的稀疏采样点。采样完成后，将三维模型从TSDF场中提取出来，例如，可以采用移动立方体算法(Marching Cube算法)进行三维模型的提取。以上介绍了三维模型的构建过程，下面继续介绍第一终端设备根据运动状态信息调整三维模型分辨率的过程。

可选地，在一种情况下，第一终端设备可以调整采集的用户A的三维模型的数据量，从而达到调整用户A的三维模型的分辨率的目的。第一终端设备接收到的运动状态信息可以包括用户B的运动速度、用户B的头部转动的角速度、用户B的运动速度和头部转动的角速度、用户B的运动速度所处的速度范围、用户B的头部转动的角速度所处的角速度范围、用户B的运动速度所处的速度范围和头部转动的角速度所处的角速度范围、用户B的动速度所处的速度范围对应的分辨率的调整级别、用户B的头部转动的角速度所处的角速度范围对应的分辨率调整级别、用户B的动速度所处的速度范围和头部转动的角速度所处的角速度范围对应的分辨率调整级别中的一项或多项。下面，结合具体的实施例对第一终端根据运动状态信息调整用户B的三维模型的分辨率的过程进行介绍。

实施例一，当运动状态信息为用户B的当前的运动速度时，第一终端设备中可以存有用户A的三维模型分辨率最高的情况下的分辨率，为了便于描述，后续将第一终端设备中保存的用户A的三维模型最高的分辨率称为M。第一终端设备中可以存储有用户B的当前的运动速度所处的速度范围与所要调整的目标分辨率的对应关系，或者第一终端设备中可以存储有速度范围与分辨率调整的百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占分辨率M的百分比。第一终端设备在接收到用户B的当前的运动速度后，可以首先确定该运动速度所处的速度范围，并进一步根据存储的速度范围与目标分辨率的对应关系确定需要调整的目标分辨率，或者根据存储的速度范围与分辨率调整的百分比的对应关系确定分辨率调整的百分比，然后根据该确定的百分比与分辨率M的乘积确定目标分辨率。然后，根据确定的目标分辨率进行用户A三维模型的分辨率的调整。例如，以上述实施例中提到的基于TSDF函数构建三维模型为例，第一终端设备可以根据确定的所要调整的目标分辨率，并通过控制TSDF场的分辨率来达到调整三维模型分辨率的目的。也就是说，第一终端设备可以根据确定的目标分辨率调整每个方向上剖分出的体素的个数，从而调整三维模型的分辨率。

实施例二，当运动状态信息为用户B的头部转动的角速度时，第一终端设备中可以存储有用户B的头部转动的角速度所处的角速度范围和需要调整的目标分辨率的对应关系，或者第一终端设备中可以存储有角速度范围与分辨率的调整的百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备接收到用户B的头部转动的角速度后，可以首先确定该角速度所处的角速度范围，并进一步根据存储的角速度与目标分辨率的对应关系确定需要调整的目标分辨率，或者根据存储的角速度范围与分辨率调整的百分比的对应关系确定需要分辨率的调整百分比，然后用该确定的百分比与分辨率M的乘积确定目标分辨率。最后，根据确定的目标分辨率进行调整用户A三维模型的分辨率。

实施例三，当运动状态信息为用户B的当前的运动速度和头部转动的角速度时。第一终端设备中可以存储有用户B的运动速度所处的速度范围和用户B的头部转动角速度所处的角速度范围与需要调整的目标分辨率之间的对应关系，或者第一终端设备中可以存储用户B的运动速度所处的速度范围和用户B的头部转动角速度所处的角速度范围与分辨率的调整的百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备接收到用户B的当前的运动速度和头部转动的角速度，可以首先确定运动速度所处的速度范围和角速度所述的角速度范围，并进一步根据确定的速度范围和角速度范围对应的目标分辨率调整用户A的三维模型的分辨率。

实施例四，当运动状态信息为用户B的当前的运动速度所处的速度范围时。第一终端设备中可以存储有用户B的运动速度所处的速度范围与需要调整的目标分辨率之间的对应关系，或者第一终端设备中还可以存储用户B的运动速度所处的速度范围与分辨率的调整的百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备在接收到用户B的当前的运动速度所处的速度范围后，可以确定该速度范围对应的目标分辨率，并根据确定的目标分辨率调整三维模型的分辨率。

实施例五，当运动状态信息为用户B的当前头部转动的角速度所处的角速度范围时。第一终端设备中可以存储有角速度范围与需要调整的目标分辨率之间的对应关系，或者第一终端设备中还可以存储用户B的角速度所处的角速度范围与分辨率的调整的百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备在接收到用户B的当前头部转动的角速度所处的角速度范围后，可以确定该角速度范围对应的目标分辨率，并根据确定的目标分辨率调整三维模型的分辨率。

实施例六，当运动状态信息为用户B的当前的运动速度所处的速度范围和头部转动的角速度所处的角速度范围时。第一终端设备中可以存储有速度范围和角速度范围与需要调整的目标分辨率之间的对应关系，或者第一终端设备中可以存储有速度范围和角速度范围与分辨率的调整百分比之间的对应关系，分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备在接受到用户B的当前的运动速度所处的速度范围和头部转动的角速度所处的角速度范围后，可以确定该速度范围和角速度范围对应的目标分辨率，并根据确定的目标分辨率调整用户A三维模型的分辨率。

实施例七，当运动状态信息为用户B的当前运动的速度所处的速度范围对应的分辨率调整级别，或者用户B当前头部转动的角速度所处的角速度范围对应的分辨率的调整级别，或者用户B的当前运动的速度所处的速度范围和头部转动的角速度所处的角速度范围对应的分辨率的调整级别时。第一终端设备中可以存储有分辨率的调整级别与目标分辨率之间的对应关系，例如，可以参见图4B示出的对应关系；或者第一终端设备中可以存储有分辨率的调整级别与分辨率的调整百分比之间的对应关系，例如，可以参见图4C示出的对应关系，其中分辨率的调整的百分比也就是所要调整的目标分辨率占上述实施例一中提及的分辨率M的百分比。第一终端设备在接受到分辨率的调整级别后，可以根据该调整级别确定目标分辨率，并进一步根据确定的目标分辨率调整用户A三维模型的分辨率。

在另一种情况下，第一终端设备确定用户A的三维模型已经构建完成，则可以对已经构建完成的三维模型进行降采样处理，例如，可以采用多细节层次(Levels of Detail，LOD)技术对三维模型进行简化。采用LOD技术在做三维模型的简化时，会根据三维模型的重要程度，对重要的三维模型的细节进行较高质量的绘制，对不重要的细节进行较低质量的绘制。例如，用户A在做某一个手势，采用LOD技术简化模型时，会重点绘制用户A的手部。使得简化后的三维模型能够充分保持原三维模型的几何特征和重点的特征，并且能够提升第一终端设备的运算速度。对于三维模型的细节的重要性的判断可以根据：距离标准(三维模型到第一终端设备的距离)、尺寸标准(三维模型的大小)、用户的具体设定等。LOD技术中，针对三维模型的简化的算法也有很多，例如几何元素删除法、区域合并法、定点聚类法等。在一种可能的实现方式中，以第一终端设备接收到的运动状态信息为三维模型分辨率的调整级别为例，第一终端设备中可以配置有调整级别与降采样级别的对应关系，根据接收到的调整级别确定降采样级别，并根据上述算法对三维模型进行简化，以此来达到降低三维模型分辨率的目的。

再进一步地，第一终端设备在调整用户A的三维模型的分辨率后，将调整分辨率后的用户A的三维模型发送到第二终端设备。或者，也可以通过图1中示出的传输端设备进行转发。本申请对此不作具体限定。

第二终端设备在接收到调整分辨率后的用户A的三维模型后，将结合用户B当前所处的场景将三维模型渲染到该场景中。在一些实施例中，如果用户A的位姿发生变化，第二终端设备还可以对用户A的位姿进行预测，减少渲染延迟，确保能够及时渲染准确的场景。作为一种举例，当用户A进行平动(头部不转动，仅位置变化)时，从位置S1开始运动，通过IMU测得运动速度为v，加速度为a，预测时间达到时间t时用户A所处的位置S2，可以通过如下公式(1)或者公式(2)进行预测：

S2＝S1+v*t (1)

或者，

S2＝S1+[v+(v+a*t)]*t/2 (2)

第二终端设备预测到用户A即将到达的位置S2后，将准备渲染S2处对应的场景。

场景二：直播场景

在直播场景中，第一终端设备可以为主播端对应的采集设备，第二终端设备为观看直播的用户C佩戴的VR或者AR头显，在本场景下，以用户C佩戴的为VR头显为例进行介绍。

第二终端设备响应于用户C的运动操作，获取用户C的运动状态信息。具体可以参见上一场景中对于第二终端设备获取用户B的运动状态信息的介绍，在此不再赘述。第二终端设备获取用户C的运动状态信息后，将运动状态信息直接发送到第一终端设备，或者通过图1示出的传输端设备将运动状态信息转发到第一终端设备。

第一终端设备接收到用户C的运动状态信息后，可以根据该运动状态信息调整主播的三维模型的分辨率。具体地调节过程可以参见上一场景中介绍的调节三维模型分辨率的过程，在此不再赘述。第一终端设备可以将调节分辨率后的主播的三维模型发送到第二终端设备，第二终端设备将该三维模型进行渲染，即用户C的VR头显渲染该三维模型。基于上述方案，结合用户C的运动状态调整三维模型的分辨率，可以减少三维模型的数据量，提升传输效率，减少渲染延迟。还可以使得渲染的画面更加贴合用户C的人眼观看需求，因为当用户C处在快速运动或者转动的过程中，并不需要高分辨率的视图。如果在快速运动或者转动的过程时，用户C观看到的画面还是高分辨率的，那么可能会导致用户C出现晕眩的情况。所以在用户C运动时，降低三维模型的分辨率，使得人眼在观看渲染的画面时与在自然场景中观看画面的体验一致，减少三维与现实之间的差距，减轻由视点变化和运动带来的晕眩症状。

以上，结合具体的场景对本申请提出的方案进行了介绍。为了更加清晰地理解本申请提出的模型数据传输的方案，如下将以具体的实施例对本申请的方案进行介绍，下面继续以第一终端设备作为采集端、第二终端设备作为显示端为例进行介绍。参见图5，为本申请实施例提供的一种模型数据传输方法流程图，包括：

501，第二终端设备响应于用户的运动操作确定用户的运动状态信息。

具体地，第二终端设备可以配置有IMU，通过IMU获取用户的速度和角速度等信息，第二终端设备发送的运动状态信息包括速度、角速度、速度和角速度或者速度范围、角速度范围、速度范围和角速度范围中的一项或者多项。

502，第二终端设备将用户的运动状态信息进行矫正。

由于IMU可能会有温度漂移、安装误差等问题，所以需要将IMU获取的数据进行矫正以得到更加准确地运动状态信息。

503，第二终端设备根据用户的运动状态信息进行位姿预测。

用户的位姿发生变化时，第二终端设备所需要渲染的场景也需要变化，所以根据用户的运动状态信息预测出下一步需要渲染的场景，提前准备渲染，避免出现渲染延迟的问题。具体地预测过程可以参见上述场景一中的相关介绍，在此不再赘述。为了便于描述，在本实施例中，将预测到的用户即将处于的场景称为场景P。

504，第二终端设备将用户的运动状态信息发送到传输端设备。

505，传输端设备将用户的运动状态信息发送到第一终端设备。

506，第一终端设备根据运动状态信息调整待发送的三维模型的分辨率。

具体的调整过程可以参见上述场景一中的相关描述，在此不再赘述。

507，第一终端设备将调整分辨率后的三维模型发送到传输端设备。

508，传输端设备将调整分辨率后的三维模型发送到第二终端设备。

509，第二终端设备将调整分辨率后的三维模型进行渲染。

具体地，第二终端设备可以结合场景P，将调整分辨率后的三维模型进行渲染。

需要说明的是，图5仅作为一种示例，其中的步骤503和步骤504的顺序可以进行调整，本申请对于这两个步骤的先后顺序不作具体限定。

基于与上述方法的同一构思，参见图6，为本申请实施例提供的一种第一终端设备600。第一终端设备600能够执行上述方法中的各个步骤，为了避免重复，此处不再详述。第一终端设备600包括通信器601、处理器602、摄像头603。

通信器601，用于接收来自所述第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；

处理器602，用于根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信器601，还用于将调整分辨率后的三维模型发送给所述第二终端设备。

基于与上述方法的同一构思，参见图7，本申请实施例提供了一种第二终端设备700，第二终端设备700能够执行上述方法中的各个步骤，为了避免重复，此处不再详述。第二终端设备700包括通信器701、处理器702、显示屏703。

处理器702，用于获取用户的运动状态信息；

通信器701，用于将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信器701，还用于接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

处理器702，还用于将所述调整分辨率后的三维模型渲染至显示屏；

所述显示屏703，用于显示所述调整分辨率后的三维模型。

基于与上述方法的同一构思，参见图8，为本申请实施例提供的一种模型数据传输装置800，装置800能够执行上述方法中的各个步骤，为了避免重复，在此不再详述。装置800包括通信单元801、处理单元802、显示单元803。

在一种场景下：

通信单元801，用于接收来自所述第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化速度；

处理单元802，用于根据所述运动状态信息调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信单元801，还用于将调整分辨率后的三维模型发送给所述第二终端设备。

在另一种场景下：

处理单元802，用于获取用户的运动状态信息；

通信单元801，用于将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率；

所述通信单元801，还用于接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

处理单元802，还用于将所述调整分辨率后的三维模型渲染至显示单元803；

所述显示单元803，用于显示所述调整分辨率后的三维模型。

本申请实施例还提供一种计算机可存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一方法的步骤。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

虽然以上描述了本申请的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本申请的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本申请的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本申请的保护范围。尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种模型数据传输方法，其特征在于，应用于远程三维通信，所述方法包括：

第一终端设备对第一用户的深度信息和RGB图像信息进行采集，根据所述深度信息和所述RGB图像信息确定三维模型并将所述三维模型发送至第二终端设备；所述第一终端设备与第二终端设备为参与所述远程三维通信的分处异地的终端设备；第一用户为所述第一终端设备的用户；

所述第二终端设备响应于第二用户的运动操作，获取第二用户的运动状态信息，并将所述运动状态信息发送至所述第一终端设备；第二用户为所述第二终端设备的用户，所述运动状态信息用于表征所述第二用户的头部位姿变化；

所述第一终端设备接收所述运动状态信息之后，根据所述运动状态信息降低向所述第二终端设备发送的三维模型的分辨率，以降低所述三维模型在传输过程中的数据量；其中，所述分辨率为所述三维模型在指定方向上的体素个数，不同的分辨率对应不同的运动状态信息；

所述第一终端设备将降低分辨率后的三维模型发送给所述第二终端设备；所述第二终端设备中配置有预设速度范围与分辨率的调整级别间的对应关系；

其中，所述第二终端设备获取第二用户当前的运动状态信息，包括：

获取所述第二用户的当前速度，确定与当前速度所属预设速度范围对应的调整级别；将所述分辨率调整级别作为所述运动状态信息；所述当前速度为第二用户头部的当前移动速度，或头部的转动角速度。

2.如权利要求1所述的方法，其特征在于，根据所述运动状态信息降低待向所述第二终端设备发送的三维模型的分辨率，包括：

所述运动状态信息包括的第二用户头部的当前移动速度，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述当前移动速度所处的速度范围对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型；或者，

所述运动状态信息包括的第二用户头部的转动角速度，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述转动角速度所处的角速度范围对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型；或者，

所述运动状态信息包括的第二用户头部的当前移动速度和转动角速度，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述当前移动速度所处的速度范围和所述角速度所处的角速度范围对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型。

3.如权利要求1所述的方法，其特征在于，根据所述运动状态信息降低待向所述第二终端设备发送的三维模型的分辨率，包括：

所述运动状态信息包括的第一指示信息，所述第一指示信息指示所述第二用户头部的移动速度的变化程度，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述第一指示信息对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型；或者，

所述运动状态信息包括的第二指示信息，所述第二指示信息用于指示所述第二终端设备的头部转动的角速度的变化程度，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述第二指示信息对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型；或者，

所述运动状态信息包括第一指示信息和第二指示信息，所述第一终端设备在采集用于生成所述三维模型的数据时，根据所述第一指示信息和所述第二指示信息对应的三维模型的数据量降低采集的所述三维模型的数据量，并根据采集的所述三维模型的数据构建所述三维模型。

4.如权利要求1所述的方法，其特征在于，根据所述运动状态信息降低待向所述第二终端设备发送的三维模型的分辨率，包括：

当所述运动状态信息满足如下设定条件中的一项或者多项时，根据所述运动状态信息对已完成构建的三维模型进行降采样处理：

所述运动状态信息包括所述第二用户的当前移动速度，所述当前移动速度大于第一设定阈值；或者，

所述运动状态信息包括所述第二用户头部的当前转动角速度，所述当前转动角速度大于第二设定阈值；或者，

所述运动状态信息包括所述第二用户的当前移动速度和所述第二用户头部的当前转动角速度，所述当前移动速度大于所述第一设定阈值且所述当前转动角速度大于所述第二设定阈值。

5.如权利要求4所述的方法，其特征在于，所述运动状态信息包括所述第二用户的当前移动速度，所述降采样处理所采用的采样率与所述当前移动速度所处的速度范围存在映射关系；或者，

所述运动状态信息包括所述第二用户头部的转动角速度，所述降采样处理所采用的采样率与所述转动角速度所处的角速度范围存在映射关系；或者，

所述运动状态信息包括所述第二用户的当前移动速度和所述第二用户头部的转动角速度，所述降采样处理所采用的采样率与所述转动角速度所处的角速度范围和所述当前移动速度所处的速度范围存在映射关系。

6.如权利要求1所述的方法，其特征在于，根据所述运动状态信息降低待向所述第二终端设备发送的三维模型的分辨率，包括：

当所述运动状态信息满足如下设定条件中的一项或者多项时，根据所述运动状态信息对已完成构建的三维模型进行降采样处理：

所述运动状态信息包括第一指示信息，第一指示信息的取值大于第一设定值，第一指示信息的取值越大，所述第二用户头部的移动速度的变化程度越高；或者，

所述运动状态信息包括第一指示信息，第一指示信息的取值小于第一设定值，第一指示信息的取值越大，所述第二用户头部的移动速度的变化程度越低；或者，

所述运动状态信息包括第二指示信息，第二指示信息的取值大于第二设定值，第一指示信息的取值越大，所述第二用户头部的转动角速度的变化程度越高；或者，

所述运动状态信息包括第二指示信息，第二指示信息的取值小于第二设定值，第一指示信息的取值越大，所述第二用户头部的转动角速度的变化程度越低；或者，

所述运动状态信息包括第一指示信息和第二指示信息，第一指示信息的取值大于第一设定值且第二指示信息的取值大于第二设定值，第一指示信息和第二指示信息的取值越大，所述第二用户头部的第一速度的变化程度越低且所述第二用户头部的转动角速度的变化程度越高；或者，

所述运动状态信息包括第一指示信息和第二指示信息，第一指示信息的取值小于第一设定值且第二指示信息的取值小于第二设定值，第一指示信息和第二指示信息的取值越大，所述第二用户头部的第一速度的变化程度越低且所述第二用户头部的转动角速度的变化程度越低。

7.如权利要求6所述的方法，其特征在于，所述运动状态信息包括所述第一指示信息，所述降采样处理所采用的采样率与所述第一指示信息存在映射关系；或者，

所述运动状态信息包括所述第二指示信息，所述降采样处理所采用的采样率与所述第二指示信息存在映射关系；或者，

所述运动状态信息包括所述第一指示信息和所述第二指示信息，所述降采样处理所采用的采样率与所述第一指示信息和所述第二指示信息存在映射关系。

8.一种第一终端设备，其特征在于，所述第一终端设备与第二终端设备建立视频通信，所述第一终端设备包括：

通信器，用于接收来自所述第二终端设备的运动状态信息，所述运动状态信息用于表征所述第二终端设备的用户的头部位姿变化；

处理器，用于对第一用户的深度信息和RGB图像信息进行采集，根据所述深度信息和所述RGB图像信息确定三维模型并将所述三维模型发送至第二终端设备；所述第一终端设备与第二终端设备为参与远程三维通信的分处异地的终端设备；第一用户为所述第一终端设备的用户；

所述处理器，还用于在接收所述运动状态信息之后，根据所述运动状态信息降低向所述第二终端设备发送的三维模型的分辨率，以降低所述三维模型在传输过程中的数据量；其中，所述分辨率为所述三维模型在指定方向上的体素个数，不同的分辨率对应不同的运动状态信息；其中，所述第二终端设备中配置有预设速度范围与分辨率的调整级别间的对应关系；所述第二终端设备通过获取第二用户的当前速度以确定与当前速度所属预设速度范围对应的调整级别，并将所述分辨率调整级别作为所述运动状态信息发送至所述第一终端设备；所述当前速度为第二用户头部的当前移动速度，或头部的转动角速度；所述第二用户为所述第二终端设备的用户；

所述通信器，还用于将调整分辨率后的三维模型发送给所述第二终端设备。

9.一种第二终端设备，其特征在于，所述第二终端设备与第一终端设备建立视频通信，所述第二终端设备中配置有预设速度范围与分辨率的调整级别间的对应关系；所述第二终端设备包括：

处理器，用于响应于第二用户的运动操作，获取所述第二用户的当前速度；确定与当前速度所属预设速度范围对应的调整级别，并将所述分辨率调整级别作为运动状态信息；第二用户为所述第二终端设备的用户，所述当前速度为第二用户头部的当前移动速度，或头部的转动角速度；

通信器，用于将所述运动状态信息发送给第一终端设备；所述运动状态信息用于调整待向所述第二终端设备发送的三维模型的分辨率，以降低所述三维模型在传输过程中的数据量；其中，所述三维模型是所述第一终端设备对所述第一终端设备的用户的深度信息和RGB图像信息进行采集得到的；所述分辨率为所述三维模型在指定方向上的体素个数；

所述通信器，还用于接收第一终端设备发送的根据所述运动状态信息调整分辨率后的三维模型；

处理器，还用于将所述调整分辨率后的三维模型渲染至显示屏；

所述显示屏，用于显示所述调整分辨率后的三维模型。