CN111352506A - 图像处理方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、装置、设备及计算机可读存储介质，其中，方法包括：获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；根据所述预测姿态数据，获取待显示图像；在所述待显示时刻到达时，显示所述待显示图像。

Description

图像处理方法、装置、设备及计算机可读存储介质

技术领域

本申请实施例涉及增强现实技术领域，涉及但不限于一种图像处理方法、装置、设备及计算机可读存储介质。

背景技术

对具有图像采集和显示功能的电子设备，由于实际运动到运动之间会存在一些延迟，且将采集的图像呈现在显示器上也需要时间，因此，会产生显示时的延迟。延迟的来源包括很多，如：感应延迟、处理延误、数据平滑处理、传输延迟、渲染延迟和帧速率延迟等。假设没有足够低的延迟，根本不可能带来好的用户体验，也就是说大脑不会把眼睛看到的画面当成真实的。因此，亟需一种能够降低电子设备在运动状态下的显示延迟的方法。

发明内容

有鉴于此，本申请实施例提供一种图像处理方法、装置、设备及计算机可读存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种图像处理方法，包括：

获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；

根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；

根据所述预测姿态数据，获取待显示图像；

在所述待显示时刻到达时，显示所述待显示图像。

第二方面，本申请实施例提供一种图像处理装置，包括：

第一获取模块，用于获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；

确定模块，用于根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；

第二获取模块，用于根据所述预测姿态数据，获取待显示图像；

显示模块，用于在所述待显示时刻到来时，显示所述待显示图像。

第三方面，本申请实施例提供一种图像处理设备，所述设备至少包括：处理器和配置为存储可执行指令的存储介质，其中：所述处理器配置为执行存储的可执行指令；

所述可执行指令配置为执行上述的图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述的图像处理方法。

本申请实施例提供的图像处理方法、装置、设备及计算机可读存储介质，由于根据预设时间段内的IMU偏差和IMU数据，确定电子设备在待显示时刻的预测姿态数据，从而根据预设姿态数据获取待显示图像。如此，根据IMU偏差和IMU数据能够准确的预测待显示时刻的预测姿态数据，从而根据准确的预测姿态数据能够绘制得到准确的待显示图像，使得在待显示时刻显示待显示图像时，由于与实际图像的误差较小，从而能够极大的降低显示时延。

附图说明

在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。

图1A是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图1B是本申请实施例提供的图像处理方法的应用场景示意图；

图2是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图3是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图4是本申请实施例提供的姿态数据预测模型训练方法的流程示意图；

图5是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图6是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图7是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图8是本申请实施例提供的图像处理方法的一个可选的流程示意图；

图9是本申请实施例提供的一种图像处理装置的组成结构示意图；

图10是本申请实施例提供的图像处理设备的组成结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本申请实施例提供一种图像处理方法，实现本申请实施例图像处理方法的图像处理设备可以实施为增强现实(Augmented Reality，AR)眼镜，笔记本电脑，平板电脑，台式计算机，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的电子设备，也可以实施为服务器。为了方便说明，本申请实施例以电子设备是AR眼镜为例进行说明。

由于电子设备(例如AR眼镜)可以在一定范围内发生运动，例如直线运动或者旋转运动，在电子设备运动时，实际运动到运动之间会存在一些延迟，以及将该运动时的图像呈现在电子设备的显示器上也需要时间。延迟的来源包括很多，如：感应延迟、处理延误、数据平滑处理、传输延迟、渲染延迟和帧速率延迟等。

假设没有足够低的延迟，根本不可能带来好的用户体验，也就是说大脑不会把眼睛看到的虚拟画面当成真实的。这里所谓的“真实”，不是指能不能用眼睛分辨出它们是否为虚拟的，而是说能不能在移动头、眼睛或身体时，感觉出图像与真实物体不一样。这当中的关键是虚拟的物体在电子设备移动时，必须一直保持在正确的位置上。假设从用户转头开始到画面绘制在新的位置上花了太长的时间，那画面就会偏移了非常远，造成显示感觉中的抖动或者拖影。

基于上述问题，本申请实施例提供一种图像处理方法，能够降低电子设备在运动状态下的显示延迟。

图1A是本申请实施例提供的图像处理方法的一个可选的流程示意图，本申请实施例提供的图像处理方法可以应用于电子设备，如图1A所示，所述方法包括以下步骤：

步骤S101，获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据。

这里，电子设备获取自身在预设时间段内的姿态数据。姿态数据包括惯性测量单元(Inertial Measurement Unit，IMU)偏差和IMU数据，所述IMU偏差包括IMU零偏，所述IMU零偏是指电子设备在静止状态下时，电子设备上的IMU所测量得到的数据，IMU数据包括电子设备在预设时间段内且在三维空间中的角速度和加速度等数据。

本申请实施例中，电子设备上安装有IMU，电子设备通过IMU测量获取自身在预设时间段内的姿态数据。

步骤S102，根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。

这里，将所获取的IMU偏差和IMU数据作为预测的基础数据，根据预测的基础数据，预测待显示时刻的预测姿态数据，其中，待显示时刻可以是下一显示时刻，或者待显示时刻可以是当前显示时刻之后的任一时刻。

所述预测姿态数据包括预测的位置和角度等数据，所述预测姿态数据用于表征电子设备在待显示时刻所运行到的位置和角度。

步骤S103，根据所述预测姿态数据，获取待显示图像。

这里，电子设备根据预测姿态数据，获取电子设备在预测的位置和角度下的待显示图像。

在一些实施例中，电子设备的图像采集单元可以预先采集电子设备在不同位置和角度下的图像，或者，电子设备可以预存自身处于不同的位置和角度时的图像。如此，在预测处预测姿态数据之后，可以根据预测姿态数据直接获取待显示图像。

在另一些实施例中，电子设备还可以基于所述预设时间段内所采集的图像，根据预测姿态数据绘制待显示图像，也就是说，由于电子设备的运动速度有限，那么在待显示时刻的待显示图像与预设时间段内的图像的差距可能并不是很大，且由于运动的连续性以及图像采集的连续性，则可以根据电子设备在待显示时刻的预测姿态数据以及预设时间段内采集的连续图像，预测并绘制待显示时刻的待显示图像。

步骤S104，在所述待显示时刻到达时，显示所述待显示图像。

这里，由于已经预测处待显示时刻的待显示图像，因此，在待显示时刻到达时，可以直接显示所述待显示图像，而无需再实时采集图像并显示采集的图像，从而能够降低显示延迟。

图1B是本申请实施例提供的图像处理方法的应用场景示意图，如图1B所示，用户头戴AR眼镜101(即电子设备)，头部运动带动AR眼镜101进行运动，即如图1B中所示的，用户头部运动带动AR眼镜101从第一姿态(图1B中的左图)运动到第二姿态(图1B中的右图)，其中，第一姿态的角度方向102与第二姿态的角度方向103不同。那么，为了降低AR眼镜101对采集图像的显示延迟，可以采用本申请实施例提供的方法，首先，获取AR眼镜101在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；然后，根据所述预设时间段内的IMU偏差和IMU数据，确定AR眼镜101在待显示时刻的预测姿态数据；根据所述预测姿态数据，获取待显示图像；最后，在所述待显示时刻到达时，AR眼镜101显示所述待显示图像。

本申请实施例提供的图像处理方法，由于根据预设时间段内的IMU偏差和IMU数据，确定电子设备在待显示时刻的预测姿态数据，从而根据预设姿态数据获取待显示图像。如此，根据IMU偏差和IMU数据能够准确的预测待显示时刻的预测姿态数据，从而根据准确的预测姿态数据能够绘制得到准确的待显示图像，使得在待显示时刻显示待显示图像时，由于与实际图像的误差较小，从而能够极大的降低显示时延。

在一些实施例中，图像处理方法还可以应用于服务器，图2是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图2所示，所述方法包括以下步骤：

步骤S201，电子设备采集自身在预设时间段内的姿态数据。

步骤S202，电子设备将所采集的姿态数据发送给服务器。

步骤S203，服务器根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。

步骤S204，服务器根据所述预测姿态数据，获取待显示图像。

步骤S205，服务器将所述待显示图像发送给电子设备。

步骤S206，电子设备在所述待显示时刻到达时，显示所述待显示图像。

本申请实施例中，电子设备采集姿态数据，并将姿态数据发送给服务器，以使得服务器进行预测姿态数据的预测，并使服务器根据预测姿态数据获取待显示图像，最终在电子设备上显示该待显示图像，如此，电子设备可以是不具备数据运算处理功能的电子设备，电子设备可以是仅具有数据采集功能以及显示图像功能的任意一种电子设备，因此，本申请实施例的图像处理方法可以应用于多种类型的电子设备。

基于图1，图3是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图3所示，步骤S102可以通过以下步骤实现：

步骤S301，根据预设时间段内的IMU偏差，确定电子设备的IMU误差。

这里，可以通过计算预设时间段内的IMU偏差的均值，或者，对预设时间段内的IMU偏差进行拟合处理，得到电子设备的IMU误差。

步骤S302，根据预设时间段内的IMU数据，确定电子设备的IMU估计值。

这里，根据预设时间段内电子设备的角速度和加速度，确定预设时间段内电子设备角速度和加速度的变化规律，然后根据变化规律确定电子设备在下一时刻或者待显示时刻的角速度和加速度(即IMU估计值)。

步骤S303，根据所述IMU误差和所述IMU估计值，确定所述电子设备在所述待显示时刻的预测姿态数据。

这里，根据IMU误差、待显示时刻的角速度和加速度，预测电子设备在待显示时刻的位置和角度，得到预测姿态数据。

在一些实施例中，还可以采用训练好的姿态数据预测模型，实现本申请实施例的图像处理方法中确定预测姿态数据的步骤，也就是说，采用姿态数据预测模型，对所述预设时间段内的IMU零偏和IMU数据进行预测，得到所述电子设备在送显时刻的预测姿态数据。其中，姿态数据预测模型包括误差估计模型、运动模型和运动预测模型，误差估计模型用于确定IMU样本误差，运动模型用于确定IMU样本估计值，运动预测模型根据IMU样本误差和IMU样本估计值预测得到用于表征预测姿态的预测数据。

送显时刻指要传送待显示图像并显示所述待显示图像的时刻，由于理想的状态是传送待显示图像的时刻与实际显示待显示图像的时刻为同一时刻，这样可以不存在显示延迟，提高用户体验，因此，本申请实施例中预测的理想状态是能够预测到送显时刻的预测姿态数据，所以所述预测姿态数据是送显时刻的姿态数据，也就是理想的传送待显示图像和显示待显示图像的时刻。

这里，提供一种姿态数据预测模型的训练方法，如图4所示，是本申请实施例提供的姿态数据预测模型训练方法的流程示意图，所述方法包括：

步骤S401，将特定时间段内的偏差样本数据输入至误差估计模型中，得到IMU样本误差。

本申请实施例中，训练姿态数据预测模型的样本数据包括特定时间段内的偏差样本数据和特定时间段内的IMU样本数据。

这里，误差估计模型用于对一定时间段内的偏差样本数据进行误差估计，得到样本数据的IMU样本误差。

步骤S402，将所述特定时间段内的IMU样本数据输入至运动模型中，得到IMU样本估计值。

这里，运动模型用于对一定时间段内的IMU样本数据进行变化规律确定，并根据变化规律估计得到IMU样本估计值。

步骤S403，将所述IMU样本误差和所述IMU样本估计值输入至运动预测模型中，得到预测数据。

这里，运动预测模型用于对IMU样本误差和IMU样本估计值进行综合，以预测位置和角度等预测数据。

步骤S404，将所述预测数据输入至预设损失模型中，得到损失结果。

这里，所述预设损失模型用于将预测数据与预设的姿态数据进行比较，得到所述损失结果。所述预设损失模型中包括损失函数，通过所述损失函数可以计算预测数据与预设的姿态数据之间的距离，即计算预测数据与预设的姿态数据之间的差值，并将所述差值确定为所述损失结果。

步骤S405，根据所述损失结果，对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，得到所述姿态数据预测模型。

这里，当所述差值大于预设损失阈值时，则所述损失结果表明当前的姿态数据预测模型中的误差估计模型不能准确的进行误差估计，或者，运动模型不能准确的估计得到IMU样本估计值，或者，运动预测模型不能准确的预测位置和角度等预测数据。因此，需要对当前的姿态数据预测模型进行修正，则可以根据所述差值，对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，直至所述姿态数据预测模型输出的预测数据与预设的姿态数据满足预设条件时，将对应的姿态数据预测模型确定为训练好的姿态数据预测模型。

本申请实施例提供的姿态数据预测模型的训练方法，由于将样本数据中的特定时间段内的偏差样本数据输入至误差估计模型中，得到IMU样本误差；将样本数据中的特定时间段内的IMU样本数据输入至运动模型中，得到IMU样本估计值；再将所述IMU样本误差和所述IMU样本估计值输入至运动预测模型中，得到预测数据。并根据损失函数，将预测数据与预设的姿态数据进行比较，从而能够根据损失结果对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，所得到的姿态数据预测模型能够准确的确定待显示时刻的预测姿态数据，从而根据准确的预测姿态数据能够绘制得到准确的待显示图像，使得在待显示时刻显示待显示图像时，由于与实际图像的误差较小，从而能够极大的降低显示时延。

在一些实施例中，在预测得到预测姿态数据之后，如果预测姿态数据与待显示时刻的实际姿态数据之间存在差异，还可以根据实际姿态数据进行预测姿态数据的准确性校验。图5是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图5所示，方法包括以下步骤：

步骤S501，获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据。

步骤S502，根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。

步骤S503，获取所述电子设备在所述待显示时刻的实际姿态数据。

这里，可以当到达所述待显示时刻时，获取电子设备的时间姿态数据。

步骤S504，根据所述实际姿态数据对所述预测姿态数据进行校验，判断所述预测姿态数据与所述实际姿态数据之间是否存在偏差。

如果判断结果为是，则执行步骤S505；如果判断结果为否，则执行步骤S507。

步骤S505，根据校验结果修正所述预测姿态数据。

这里，由于校验结果表明预测姿态数据与实际姿态数据之间存在偏差，因此获取预测姿态数据与实际姿态数据之间的偏差值，然后，根据所述偏差值修正所述预测姿态数据。

步骤S506，根据修正后的预测姿态数据获取待显示图像。

这里，修正后的姿态数据能够准确的反应电子设备的位置姿态，因此，基于该准确的位置姿态获取电子设备的待显示图像。

步骤S507，在待显示时刻到达时，显示所述待显示图像。

本申请实施例提供的图像处理方法，根据实际姿态数据与预测姿态数据之间的偏差，对预测姿态数据进行修正，从而得到准确的反应电子设备的位置姿态的数据，并根据修正后的预测姿态数据获取准确的待显示图像，由于预测姿态数据与实际姿态数据之间只是细小的偏差，因此，在修正的时候仅需要对这部分细小的偏差进行修正即可，所以可以快速的对预测姿态数据进行修正得到准确的姿态数据，从而快速的确定待显示图像，降低显示时延。

在一些实施例中，在预测得到预测姿态数据，并根据预测姿态数据获取到待显示图像之后，还可以根据实际的目标显示图像对所获取的待显示图像进行准确性校验，图6是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图6所示，方法包括以下步骤：

步骤S601，获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据。

步骤S602，根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。

步骤S603，根据所述预测姿态数据，获取待显示图像。

步骤S604，获取所述电子设备在所述待显示时刻的实际姿态数据。

步骤S605，获取电子设备基于所述实际姿态数据所采集的目标显示图像。

这里，目标显示图像是实际要显示的图像，目标显示图像与待显示图像可以相同也可以不同，但是由于电子设备的运动速度有限，即人头部的运动不会特别快，所预测得到的预测姿态数据与实际姿态数据之间的偏差就不会特别大，因此，根据预测姿态数据获取的待显示图像与实际要显示的目标显示图像之间的偏差也不会特别大，是局部的细节偏差。

步骤S606，根据所述实际姿态数据对所述预测姿态数据进行校验，判断所述待显示图像与所述目标显示图像之间是否存在像素差异位置。

如果判断结果为是，则执行步骤S607；如果判断结果为否，则执行步骤S609。

步骤S607，根据校验结果修正所述待显示图像。

这里，在修正所述待显示图像时，可以先获取待显示图像与目标显示图像之间的像素差异位置，然后基于像素差异位置的像素数据进行待显示图像的修正。在一些实施例中，步骤S607可以通过以下步骤实现：

步骤S6071，采用所述目标显示图像在所述像素差异位置的像素数据，替换所述待显示图像在所述像素差异位置的像素数据，以实现对所述待显示图像的修正，得到修正后的待显示图像。

本申请实施例中，在修正待显示图像时，仅需修正像素差异位置的像素数据，对其他位置的像素数据，由于与目标显示图像之间没差异，因此无需修正。

步骤S608，在所述待显示时刻到达时，显示所述修正后的待显示图像。

步骤S609，在所述待显示时刻到达时，显示所述待显示图像。

本申请实施例提供的图像处理方法，在获取到待显示图像之后，根据待显示时刻的实际图像与待显示图像之间的像素差异位置，对待显示图像进行修正，在修正的时候仅需要对待显示图像上位于像素差异位置的部分像素数据进行修正，其他部分的像素数据无需修正。如此，由于在待显示时刻之前已经获取并加载了待显示图像，在待显示时刻到来时仅需要对有限的像素数据进行修正，可以极大的提高待显示图像的加载速度，降低显示时延。

在一些实施例中，还可以确定电子设备的显示延迟时间，并根据所确定的显示延迟时间对姿态数据预测模型进行优化，图7是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图7所示，方法包括以下步骤：

步骤S701，获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据。

步骤S702，根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据。

步骤S703，获取所述电子设备在所述待显示时刻的实际姿态数据。

步骤S704，根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的显示延迟时间。

显示延迟时间用于表征实际显示的时刻与待显示时刻之间的时间差。

步骤S705，在确定所述待显示时刻之后的任一时刻的预测姿态数据时，根据所述IMU零偏、所述IMU数据和所述显示延迟时间，确定所述电子设备在所述待显示时刻之后的任一时刻的预测姿态数据。

这里，在确定出本次的显示延迟时间之后，在后续的预测过程中，可以将本次的显示延迟时间也作为预测的参考数据，依据本次的显示延迟时间对姿态数据预测模型进行进一步优化。如此，循环依据显示延迟时间进行模型优化，最终可以得到具有极低显示延迟的姿态数据预测模型，能够预测得到更加准确的预测姿态数据，进而极大的降低显示延迟。

图8是本申请实施例提供的图像处理方法的一个可选的流程示意图，如图8所示，步骤S704可以通过以下步骤实现：

步骤S801，获取所述电子设备的实际运行速度。

这里，实际运行速度包括实际运行的速度和角速度。在一些实施例中，当实际运行不是匀速运动时，还可以获取电子设备的加速度和角加速度。

步骤S802，根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的预测位置与实际位置之间的距离。

这里，预测位置与实际位置之间的距离包括直线距离和角度差。

步骤S803，根据所述距离和所述实际运行速度，确定所述电子设备的显示延迟时间。

本申请实施例中，根据所述距离和所述实际运动速度，可以计算电子设备实际显示时刻与待显示时刻之间的显示延迟时间，从而基于该显示延迟时间可以对姿态数据预测模型进行进一步优化。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。

本申请实施例提供一种基于AR眼镜的预测性追踪方法(即上述图像处理方法)，该追踪方法通过精准的运动模型计算、误差估计模型计算、以及运动预测模型计算，能够精确的计算出需要送显画面的位置和姿态(即预测姿态数据)，真正送显时刻(即待显示时刻)到来时获取送显时刻的姿态和位置，仅仅需要做微小的改动就可以显示，极大的减少了显示的延迟，使得显示效果更贴合人实际的运动。

本申请实施例中，比较直观的方式是通过传感器融合光学追踪和IMU。IMU能够提供低延迟的状态，而光学追踪能够用于修正IMU的偏差。

本申请实施例提供的方法，在追踪AR眼镜的姿态时，可以通过建立误差估计模型、运动模型来实时推算需要显示时刻的偏差(即IMU误差)以及IMU估计值。并根据偏差和IMU估计值确定预测姿态数据

应用程序基于取得的预测姿态数据绘制立体的场景画面，此阶段精确计算显示延迟的时间，基于上述模型推测出的偏差数据、加速度角速度等运动模型数据，以及基于算法计算出来的姿态数据，通过建立的运动预测模型计算出需要渲染的图像的姿态和位置等。

在图像的扫描输出前，获取真实的数据进行检验和适当的改正，然后传输到显示屏幕上。

本申请实施例的方法，同时建立误差估计模型、运动模型和运动预测模型，同时从误差和运动的模型进行精准预测，同时通过精确计算延迟的时间，达到精准预测性追踪。并且，通过获取最近邻桢的数据进行校验，可以进行适当调整，保证预测的精准性，使得画面显示稳定性输出。

以下是图像处理方法所经过的步骤：

步骤S11，追踪头戴显示器(例如，AR眼镜)的姿态，也就是现实世界中的位置和朝向，同时建立误差估计模型、运动模型和运动预测模型。

这里，误差估计模型输入IMU零偏数据，误差估计模型根据一定时间窗口的IMU零偏数据，建立三次样条曲线估计模型，并输出要预测的IMU零偏误差；运动模型输入IMU的原始数据，运动模型根据一定时间窗口的IMU的原始数据，估计三次样条运动曲线运动模型，并输出要预测的IMU数据；运动预测模型输入预测的IMU零偏误差、预测的IMU数据、当前的位置姿态和预测的时间步长，运动预测模型对输入的这些数据进行计算，得到预测的位置姿态等预测姿态数据，并输出预测姿态数据。

步骤S12，应用程序基于取得的姿态数据绘制立体的场景画面，精确计算显示延迟的时间，建立运动预测模型，精准预测性追踪。

步骤S13，通过最近邻桢检验和调整，得到最终精确姿态数据，图形硬件须要把绘制的场景画面传输到头戴显示器的屏幕上进行扫描输出。

步骤S14，基于收到的像素数据，屏幕的每一个像素才会开始显示。

基于前述的实施例，本申请实施例提供一种图像处理装置，该装置包括所包括的各模块、以及各模块所包括的各部件，可以通过图像处理设备中的处理器来实现；当然也可通过逻辑电路实现；在实施的过程中，处理器可以为中央处理器(Central ProcessingUnit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital SignalProcessing，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。

图9是本申请实施例提供的一种图像处理装置的组成结构示意图，如图9所示，该图像处理装置900包括：

第一获取模块901，用于获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；

确定模块902，用于根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；

第二获取模块903，用于根据所述预测姿态数据，获取待显示图像；

显示模块904，用于在所述待显示时刻到来时，显示所述待显示图像。

在一些实施例中，所述确定模块还用于：根据所述预设时间段内的IMU偏差，确定所述电子设备的IMU误差；根据所述预设时间段内的IMU数据，确定所述电子设备的IMU估计值；根据所述IMU误差和所述IMU估计值，确定所述电子设备在所述待显示时刻的预测姿态数据。

在一些实施例中，所述装置还包括：处理模块，用于采用姿态数据预测模型，对所述预设时间段内的IMU零偏和IMU数据进行预测，得到所述电子设备在送显时刻的预测姿态数据；其中，所述姿态数据预测模型通过以下步骤训练得到：将特定时间段内的偏差样本数据输入至误差估计模型中，得到IMU样本误差；将所述特定时间段内的IMU样本数据输入至运动模型中，得到IMU样本估计值；将所述IMU样本误差和所述IMU样本估计值输入至运动预测模型中，得到预测数据；将所述预测数据输入至预设损失模型中，得到损失结果；根据所述损失结果，对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，得到所述姿态数据预测模型。

在一些实施例中，所述装置还还包括：第三获取模块，用于获取所述电子设备在所述待显示时刻的实际姿态数据；校验模块，用于根据所述实际姿态数据对所述预测姿态数据进行校验；修正模块，用于根据校验结果修正所述待显示图像或所述预测姿态数据。

在一些实施例中，所述装置还包括：第四获取模块，用于获取所述电子设备基于所述实际姿态数据所采集的目标显示图像；所述修正模块还用于：当所述校验结果表明所述待显示图像与所述目标显示图像之间存在像素差异位置时，采用所述目标显示图像在所述像素差异位置的像素数据，替换所述待显示图像在所述像素差异位置的像素数据，以实现对所述待显示图像的修正。

在一些实施例中，所述装置还包括：第二确定模块，用于根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的显示延迟时间；对应地，所述确定模块还用于：在确定所述待显示时刻之后的任一时刻的预测姿态数据时，根据所述IMU零偏、所述IMU数据和所述显示延迟时间，确定所述电子设备在所述待显示时刻之后的任一时刻的预测姿态数据。

在一些实施例中，所述第二确定模块还用于：获取所述电子设备的实际运行速度；根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的预测位置与实际位置之间的距离；根据所述距离和所述实际运行速度，确定所述电子设备的显示延迟时间。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应的，本申请实施例提供一种图像处理设备，图10是本申请实施例提供的图像处理设备的组成结构示意图，如图10所示，所述图像处理设备1000至少包括：处理器1001、通信接口1002和配置为存储可执行指令的存储介质1003，其中处理器1001通常控制所述图像处理设备的总体操作。

通信接口1002可以使图像处理设备通过网络与其他终端或服务器通信。

存储介质1003配置为存储由处理器1001可执行的指令和应用，还可以缓存待处理器1001和图像处理设备1000中各模块待处理或已处理的数据，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器、磁碟或者光盘等各种可以存储程序代码的介质。或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，包括：

获取电子设备在预设时间段内的姿态数据，所述姿态数据包括惯性测量单元IMU偏差和IMU数据；

根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；

根据所述预测姿态数据，获取待显示图像；

在所述待显示时刻到达时，显示所述待显示图像。

2.根据权利要求1所述的方法，所述根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据，包括：

根据所述预设时间段内的IMU偏差，确定所述电子设备的IMU误差；

根据所述预设时间段内的IMU数据，确定所述电子设备的IMU估计值；

根据所述IMU误差和所述IMU估计值，确定所述电子设备在所述待显示时刻的预测姿态数据。

3.根据权利要求1所述的方法，还包括：

采用姿态数据预测模型，对所述预设时间段内的IMU零偏和IMU数据进行预测，得到所述电子设备在送显时刻的预测姿态数据；其中，所述姿态数据预测模型通过以下步骤训练得到：

将特定时间段内的偏差样本数据输入至误差估计模型中，得到IMU样本误差；

将所述特定时间段内的IMU样本数据输入至运动模型中，得到IMU样本估计值；

将所述IMU样本误差和所述IMU样本估计值输入至运动预测模型中，得到预测数据；

将所述预测数据输入至预设损失模型中，得到损失结果；

根据所述损失结果，对所述误差估计模型、所述运动模型和所述运动预测模型进行修正，得到所述姿态数据预测模型。

4.根据权利要求1所述的方法，还包括：

获取所述电子设备在所述待显示时刻的实际姿态数据；

根据所述实际姿态数据对所述预测姿态数据进行校验；

根据校验结果修正所述待显示图像或所述预测姿态数据。

5.根据权利要求4所述的方法，还包括：获取所述电子设备基于所述实际姿态数据所采集的目标显示图像；

所述根据校验结果修正所述待显示图像，包括：

当所述校验结果表明所述待显示图像与所述目标显示图像之间存在像素差异位置时，采用所述目标显示图像在所述像素差异位置的像素数据，替换所述待显示图像在所述像素差异位置的像素数据，以实现对所述待显示图像的修正。

6.根据权利要求4所述的方法，还包括：

根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的显示延迟时间；

对应地，在确定所述待显示时刻之后的任一时刻的预测姿态数据时，

根据所述IMU零偏、所述IMU数据和所述显示延迟时间，确定所述电子设备在所述待显示时刻之后的任一时刻的预测姿态数据。

7.根据权利要求6所述的方法，所述根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的显示延迟时间，包括：

获取所述电子设备的实际运行速度；

根据所述预测姿态数据和所述实际姿态数据，确定所述电子设备的预测位置与实际位置之间的距离；

根据所述距离和所述实际运行速度，确定所述电子设备的显示延迟时间。

8.一种图像处理装置，包括：

第一获取模块，用于获取电子设备在预设时间段内的姿态数据，所述姿态数据包括IMU偏差和IMU数据；

确定模块，用于根据所述预设时间段内的IMU偏差和IMU数据，确定所述电子设备在待显示时刻的预测姿态数据；

第二获取模块，用于根据所述预测姿态数据，获取待显示图像；

显示模块，用于在所述待显示时刻到来时，显示所述待显示图像。

9.一种图像处理设备，所述设备至少包括：处理器和配置为存储可执行指令的存储介质，其中：所述处理器配置为执行存储的可执行指令；

所述可执行指令配置为执行上述权利要求1至7任一项所提供的图像处理方法。

10.一种计算机可读存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至7任一项所提供的图像处理方法。

Images