CN111131805A - 图像处理方法、装置和可读存储介质 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置和可读存储介质，所述图像处理方法包括：获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向；依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤。本发明技术方案能够在人眼注视前开始进行画面渲染，提高画面的稳定性。

Description

图像处理方法、装置和可读存储介质

技术领域

本发明涉及数据传输技术领域，尤其涉及一种图像处理方法、装置和可读存储介质。

背景技术

头戴显示设备，是一种可穿戴的虚拟显示产品。目前的头戴显示设备的技术原理大致分为虚拟现实(Virtual Reality)简称VR显示，增强现实(Augmented Reality)简称AR显示，混合现实(Mixed Reality)简称MR显示和扩展现实(Extended Reality)简称XR显示。

随着头戴显示设备产品应用越来越广泛，应用场景也越来越多。目前的头戴显示设备中，对图像画面的渲染均是通过被动接受人眼位置坐标后，再对相应画面区域进行渲染，如此画面渲染在时间上有一定延后，易导致人眼在已经观看相应区域时，画面的渲染还没有完成，导致画面不够稳定，影响用户的观看效果。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

基于此，针对目前对图像画面的渲染均是通过被动接受人眼位置坐标后，再对相应画面区域进行渲染，画面渲染在时间上有一定延后，易产生人眼在已经观看相应区域时，画面的渲染还没有完成的情况，导致画面不够稳定，影响用户的观看效果的问题，有必要提供一种图像处理方法、装置和可读存储介质，能够有效提高画面渲染效率。

为实现上述目的，本发明提出的一种图像处理方法，所述图像处理方法包括：

获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向；

依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率。

可选地，所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤包括：

获取用户人眼注视图像的第一区域、以及围绕所述第一区域外边缘的第二区域；其中，所述第一区域的图像分辨率为第一分辨率，所述第二区域的图像分辨率为第二分辨率，所述第一分辨率高于所述第二分辨率；

依据所述预先观看方向，获取用户人眼在所述第二区域的第一注视区；

提前将所述第一注视区的图像分辨率提高至所述第一分辨率。

可选地，所述第二区域外边缘围绕设置有第三区域，所述第三区域的第三分辨率小于所述第二分辨率；

所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤还包括：

依据所述预先观看方向，获取用户人眼在所述第三区域的第二注视区；

提前将所述第二注视区的图像分辨率提高至所述第二分辨率。

可选地，所述提前提高所述预先观看方向区域的图像分辨率之后，所述方法还包括：

保存提高分辨率后的预先观看区域图像，所述预先观看区域图像包括所述第二分辨率的所述第二注视区和所述第一分辨率的所述第一注视区。

可选地，所述获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向的步骤之前包括：

获取最大分辨率的整幅图像，并保存所述最大分辨率的整幅图像；

所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤包括：

依据所述预先观看方向，获取所述预先观看方向的区域与所述整幅图像相对应的区域图；

将所述相对应的区域图渲染至所述预先观看方向的区域。

可选地，所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤之后包括：

确认用户观看所述预先观看方向的区域，降低与所述预先观看方向相反的区域的图像分辨率。

可选地，所述图像处理方法用于头戴显示设备，所述位姿信息包括第一位姿数值和第二位姿数值，所述获取用户的位姿信息，依据所述位姿信息确定用户预先观看方向的步骤包括：

依据所述头戴显示设备的位置变化，生成所述第一位姿数值；

依据所述用户人眼的注视点变化，生成所述第二位姿数值；

依据所述第一位姿数值和所述第二位姿数值确定用户预先观看方向。

此外，为了实现上述目的，本发明还提供一种图像处理装置，所述图像处理装置包括：

获取模块，用于获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向；

显示模块，用于依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率。

可选地，所述显示模块包括：

界定单元，用于获取用户人眼注视图像的第一区域、以及围绕所述第一区域外边缘的第二区域；其中，所述第一区域的图像分辨率为第一分辨率，所述第二区域的图像分辨率为第二分辨率，所述第一分辨率高于所述第二分辨率；

提高单元，用于依据所述预先观看方向，获取用户人眼在所述第二区域的第一注视区；提前将所述第一注视区的图像分辨率提高至所述第一分辨率。

此外，为了实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储图像处理程序，所述图像处理程序被处理器执行时实现如上文所述的图像处理方法的步骤。

本发明提出的技术方案中，用户在观看图像的过程中，位姿信息是持续变化的，通过位姿信息确定得出用户预计朝向哪个方向观看，即获得用户的预先观看方向，依据预先观看方向，在用户还没有观看相应区域之前，提前提高预先观看方向区域的图像分辨率，由此可知，在用户观看相应区域之前，对应画面区域已经提高了清晰度，从而保证用户在观看时画面已经稳定，提高用户的观看效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明图像处理方法第一实施例的流程示意图；

图2为本发明图像处理方法第二实施例的流程示意图；

图3为本发明图像处理方法第三实施例的流程示意图；

图4为本发明图像处理方法第四实施例的流程示意图；

图5为本发明图像处理方法第六实施例的流程示意图；

图6为本发明图像处理方法第七实施例的流程示意图；

图7为本发明图像处理方法第八实施例的流程示意图；

图8为本发明图像处理装置的连接示意图；

图9为本发明图像划分区域示意图。

附图标号说明：

标号	名称	标号	名称
				10	获取模块	220	提高单元
110	生成单元	第一区域	1
				120	确定单元	第二区域	2
20	显示模块	第三区域	3
				210	界定单元

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

参阅图1所示，本发明提出的第一实施例，一种图像处理方法，所述图像处理方法用于多种显示原理的技术，例如VR显示技术、AR显示技术、MR显示技术或XR显示技术，所述图像处理方法包括：

步骤S10，获取用户的位姿信息，依据位姿信息确定用户的预先观看方向；具体地，用户在观看显示图像的过程中，经常需要改变自己的位置和姿态，也就是说，位姿信息包括位置和姿态。例如，用户在观看视频直播，显示图像是360°显示的，用户通过转动头部或者眼睛注视位置的移动而观看不同位置显示图像的画面，在这个过程中，用户的位姿信息是变化的。依据变化的位姿信息确定出用户预计要观看的方向，即预先观看方向。

另外，用户的个体行为习惯有所差别，确定用户预先观看方向还可依据用户个体的行为习惯。例如，收集用户个体的行为习惯数据，将个体的行为习惯数据导入头戴显示设备中，依据个体的行为习惯数据集合位姿信息判断用户的预先观看方向。

步骤S20，依据预先观看方向，提前提高预先观看方向区域的图像分辨率。具体来说，依据用户想要观看哪个方向，就将哪个方向的显示画面设定为用户预先观看区域，通常预先观看区域的面积大小可以依据用户的观看习惯进行设定，如近视或者远视。也可依据正常用户的观看习惯进行设定。另外，对于预先观看区域的大小，用户可以自行设定其面积的大小。

在相关技术中，对相应区域的图像画面进行显示是根据用户人眼的注视点，然后依据注视点的位置，进而完成对相应区域的图像画面显示。这种图像处理方式可以理解为被动式的显示方式，显示的时间具有一定延迟性，效率不高。

而通过提前对预先观看区域的图像进行图像处理，将图像处理的时间提前，使用户在观看相应的区域之前，已经完成了图像处理。

本实施例的技术方案中，用户在观看图像的过程中，位姿信息是持续变化的，通过位姿信息确定得出用户预计朝向哪个方向观看，即获得用户的预先观看方向，依据预先观看方向，在用户还没有观看相应区域之前，提前提高预先观看方向区域的图像分辨率，由此可知，在用户观看相应区域之前，对应画面区域已经提高了清晰度，从而保证用户在观看时画面已经稳定，提高用户的观看效果。

参阅图2所示，在本发明提出的第一实施例的基础上，提出本发明的第二实施例，依据预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤S20包括：

步骤S21，获取用户人眼注视图像的第一区域、以及围绕第一区域外边缘的第二区域；通常来说，用户人眼在观看图像时，人眼会自动在图像一定范围内对焦，也是就在第一区域内的图像，人眼观看的是清晰的，而在第一区域以外的第二区域，对人眼来说是模糊的。另外，第一区域的范围面积和第二区域的范围面积是可以根据用户的需求而进行设定的，一般第二区域的所占图像的面积大于第一区域。通过对第一区域和第二区域图像分辨率的不同处理，能够有效降低头戴显示设备的运算功耗。

其中，第一区域的图像分辨率为第一分辨率，第二区域的图像分辨率为第二分辨率，第一分辨率高于第二分辨率。

具体地，用户人眼聚焦注视的区域为第一区域，而第二区域一般不在人眼注视的范围内。可以理解为第一区域为用户预先观看区域，提高预先观看区域的图像分辨率包括提高第一区域的图像分辨率。其中，第一分辨率高于第二分辨率，也就是说，第一区域的图像分辨率高于第二区域的图像分辨率。第一区域的第一分辨率高，用户人眼观看时能够获得清晰的图像，而在第二区域的第二分辨率低，用户观看时没有直接观看第二区域，因此可以降低第二分辨率，由此能够减少头戴显示设备的运算处理压力。

步骤S22，依据预先观看方向，获取用户人眼在第二区域的第一注视区。具体地，用户人眼在观看显示图像的过程中是不断移动的，也就说，用户人眼聚焦注视的第一区域是一个位置持续变化的区域。更具体地说，第一区域是一个面积不变，但是位置不断变化的区域。例如，在人眼观看时，人眼的观看方向向第二区域移动，在第二区域的位置产生第一注视区，所述第一注视区，是用户接下来需要观看的方向。

步骤S23，提前将第一注视区的图像分辨率提高至第一分辨率。一般来说图像的渲染需要时间过程，通过提前提高第一注视区的图像分辨率，能够节省渲染时间，带人眼观看时，图像已经渲染完毕，画面已经稳定。第一区域的分辨率为第一分辨率，通过将第一注视区的分辨率通常提高至第一分辨率，保证人眼移动在注视观看的时候是在同一个分辨率图像下完成的，避免注视区域出现清晰和模糊的偏差。

参阅图3所示，在本发明提出的第二实施例的基础上，提出本发明的第三实施例，第二区域外边缘围绕设置有第三区域，第三区域的第三分辨率小于第二分辨率，如此可知，在图像的表面设置有三个区域，一般这三个区域为椭圆形状，通过第一区域至第三区域的图像分辨率逐渐降低的方式能够降低人眼对图像周边区域的处理要求。

依据预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤S20包括：

步骤S210，依据预先观看方向，获取用户人眼在第三区域的第二注视区。

也就说，在第一区域向着第二区域移动时，第二区域同时也在向着第三区域移动，也就说，第二区域也是一个位置持续变化的区域。例如，在人眼观看时，人眼的观看方向向第二区域移动，在第二区域则向第三区域移动，由此产生第二注视区，所述第二注视区，是第三区域转化为第二区域的部分。

步骤S220，提前将第二注视区的图像分辨率提高至第二分辨率。

由此可知，第二注视区的图像分辨率和第二区域的图像分辨率相同，通过将第二注视区的图像分辨率提高至第二分辨率，第二注视区转化为第二区域的一部分。

通常，第一区域的面积小于第二区域的面积，第二区域的面积小于第三区域的面积。例如，第一区域、第二区域和第三区域为椭圆形结构，第二区域包裹在第一区域周边，第三区域包裹在第二区域周边。第二分辨率在第一分辨率和第三分辨率之间，一般来说，人眼在观看显示图像的过程中，图像也是由人眼注视的位置逐渐向外模糊的，通过第二分辨率在第一分辨率和第三分辨率之间能够更加符合人眼的观看习惯，同时，也能降低头戴显示设备的运算压力。另外，第二分辨率在第一分辨率和第三分辨率之间，在人眼移动时，第二区域相应的分辨率需要提高，第二分辨率更加接近第一分辨率，更利于快速提高第二区域的分辨率。

在本发明提出的第三实施例的基础上，提出本发明的第四实施例，第二分辨率为第一分辨率的70％，第三分辨率为所述第一分辨率的30％。

可以理解为，第一区域位置的图像是清晰的，能够满足用户对显示图像的显示要求。第二区域包裹第一区域，在用户的人眼移动的过程中，第二区域的图像分辨率需要提前提高，以达到图像分辨率的最大值。第二分辨率为最大值的70％，既是说第二分辨率为最大分辨率的70％，利于第二分辨率提高至最大值，节省第二分辨率的提高时间。另外，可以理解的是，第三区域包裹第二区域，通常来说，用户人眼在移动时，第三区域的部分图像要转化为第二区域面积，第三分辨率为最大值的30％，既是说第三分辨率为最大分辨率的30％，需要将第三分辨率由最大分辨率的30％提高至70％。如此由内而外分辨率的数值逐渐降低，符合用户人眼的观看习惯，在图像分辨率转换的过程中能够提高分辨率的转换效率。还能够降低头戴显示设备中图像处理芯片的工作负荷。

参阅图4所示，在本发明提出的第一实施例至第四实施例的任一实施例基础上，提出本发明的第五实施例。

获取用户的位姿信息，依据位姿信息确定用户的预先观看方向的步骤S10之前包括：

步骤S01，获取最大分辨率的整幅图像，并保存最大分辨率的整幅图像；具体地，头戴显示设备包括处理器，处理器连接有存储器，获取最大分辨率的图像为整幅图像，对整幅图像进行保存，在需要提高相应位置的图像分辨率时，提取整幅图像相应位置的图像，将提取的图像补充至需要提高分辨率的位置，由此能够快速提高图像分辨率，并提高图像的渲染效率。

依据预先观看方向，提前提高预先观看方向区域的图像分辨率的步骤S20包括：

步骤S211，依据预先观看方向，获取预先观看方向的区域与整幅图像相对应的区域图；具体地，用户人眼在移动的过程中，需要人眼聚焦的范围一般不变，这个范围会随着人眼的移动而移动，在判断得出用户人眼的预先观看区域后，同样能够得出，预先观看区域对应的最大分辨率的整幅图像的位置。

步骤S212，将相对应的区域图渲染至预先观看方向的区域。通常来说，预观看图像的分辨率较低，将最大分辨率的整幅图像的对应图像结合至预先观看区域的位置，由此提高预先观看区域的图像分辨率。由此能够快速提高预先观看区域的图像分辨率，并提高图像的渲染效率。

参阅图5所示，在本发明提出的第一实施例至第四实施例的任一实施例基础上，提出本发明的第六实施例。

依据预先观看方向，提前提高预先观看方向区域的图像分辨率的步骤S20之后包括：

步骤S30，确认用户观看预先观看方向的区域，降低与预先观看方向相反的区域的图像分辨率。

用户人眼聚焦的区域位置通常是大小不变的。人眼在想一个方向观看移动时，相反方向的图像通常脱离聚焦范围。通过降低与预先观看方向相反的区域的图像分辨率，能够更加符合人体视觉特征，同时，还能够通过降低图像分辨率的方式降低头戴显示设备的图像运算处理压力，使其运行更加流畅。

参阅图6所示，在本发明提出的第一实施例至第四实施例的任一实施例基础上，提出本发明的第七实施例。

图像处理方法用于头戴显示设备，位姿信息包括头戴显示设备的第一位姿数值和用户人眼的第二位姿数值，获取用户的位姿信息，依据位姿信息确定用户预先观看方向的步骤S10包括：

步骤S110，依据头戴显示设备的位置变化，生成第一位姿数值；具体地，用户穿戴头戴显示设备，所述头戴显示设备中设置有陀螺仪，陀螺仪能够检测头戴显示设备的位置信息，计算得出第一位姿数值。例如头戴显示设备由一个位置移动到另一个位置，第一位姿数值为四元数

则

其中，n为向量，θ代表向量旋转角度，n_x，n_y和n_z为向量的三个分量。

步骤S120，依据用户人眼的注视点变化，生成第二位姿数值；具体地，头戴显示设备中设置有眼球追踪接口，眼球追踪接口能够检测人眼的移动方向，依据人眼的移动方向，计算得出第二位姿数值

则

其中，n为向量，θ代表向量旋转角度，n_x，n_y和n_z为向量的三个分量。计算第一位姿数值公式中的向量n和向量旋转角度θ与计算第二位姿数值公式中的向量n和向量旋转角度θ不同。

步骤S130，依据第一位姿数值和第二位姿数值确定用户预先观看方向。用户在穿戴头戴显示设备过程中，需要操控头戴显示设备移动，同时用户在观看显示画面过程中人眼注视的位置也是在变化的。通过第一位姿数值

和第二位姿数值

计算得出用户预计观看的方向。

头戴显示设备中设置有处理器，处理器用于依据第一位姿数值和第二位姿数值确定用户预先观看方向。

需要说明的是，参阅图7所示，在本发明第三实施例的基础上，提出本发明的第八实施例，提前提高预先观看方向区域的图像分辨率后，还可以进一步包括如下步骤：

步骤S40，保存提高分辨率后的预先观看区域图像，预先观看区域图像包括第二分辨率的第二注视区和第一分辨率的第一注视区。也就是说，在第一注视区域提高至第一分辨率的同时，第二注视区提高至第二分辨率。或者可以说，第一区域、第二区域和第三区域的位置和面积是跟随人眼实时变化的。

采用上述实施例提供的方法，可以根据预先观看方向提前调整预先观看区域图像的分辨率，将该提高分辨率后的预先观看区域图像保存至存储器或者说渲染至存储器。

如图8所示，本发明还提供一种图像处理装置，所述图像处理装置用于多种显示原理的技术，例如VR显示技术、AR显示技术、MR显示技术或XR显示技术，所述图像处理装置包括：获取模块10和显示模块20。

获取模块10，用于获取用户的位姿信息，依据所述位姿信息确定用户预先观看方向；具体地，用户在观看显示图像的过程中，经常需要改变自己的位置和姿态，也就是说，位姿信息包括位置和姿态。例如，用户在观看视频直播，显示图像是360°显示的，用户通过转动头部或者眼睛注视位置的移动而观看不同位置显示图像的画面，在这个过程中，用户的位姿信息是变化的。依据变化的位姿信息确定出用户预计要观看的方向，即预先观看方向。

另外，用户的个体行为习惯有所差别，确定用户预先观看方向还可依据用户个体的行为习惯。例如，收集用户个体的行为习惯数据，将个体的行为习惯数据导入头戴显示设备中，依据个体的行为习惯数据集合位姿信息判断用户预先观看方向。

显示模块20，用于依据预先观看方向，提前提高预先观看方向区域的图像分辨率。具体来说，依据用户想要观看哪个方向，就将哪个方向的显示画面设定为用户预先观看区域，通常预先观看区域的面积大小可以依据用户的观看习惯进行设定，如近视或者远视。也可依据正常用户的观看习惯进行设定。另外，对于预先观看区域的大小，用户可以自行设定其面积的大小。

在相关技术中，对相应区域的图像画面进行显示是根据用户人眼的注视点，然后依据注视点的位置，进而完成对相应区域的图像画面显示。这种图像处理方式可以理解为被动式的显示方式，显示的时间具有一定延迟性，效率不高。

而通过提前对预先观看区域的图像进行图像处理，将图像处理的时间提前，使用户在观看相应的预先观看区域之前，已经完成了图像处理。

本实施例的技术方案中，用户在观看图像的过程中，位姿信息是持续变化的，通过位姿信息确定得出用户预计朝向哪个方向观看，即获得用户的预先观看方向，依据预先观看方向，在用户还没有观看相应区域之前，提前提高预先观看方向区域的图像分辨率，由此可知，在用户观看相应区域之前，对应画面区域已经提高了清晰度，从而保证用户在观看时画面已经稳定，提高用户的观看效果。

进一步地，显示模块20包括界定单元210、渲染单元220和提高单元230。

界定单元210用于获取用户人眼注视图像的第一区域、以及围绕第一区域外边缘的第二区域；通常来说，用户人眼在观看图像时，人眼会自动在图像一定范围内对焦，也是就在第一区域内的图像，人眼观看的是清晰的，而在第一区域以外的第二区域，对人眼来说是模糊的。另外，第一区域的范围面积和第二区域的范围面积是可以根据用户的需求而进行设定的，一般第二区域的所占图像的面积大于第一区域。通过对第一区域和第二区域图像分辨率的不同处理，能够有效降低头戴显示设备的运算功耗。

其中，第一区域的图像分辨率为第一分辨率，第二区域的图像分辨率为第二分辨率，第一分辨率高于第二分辨率。

具体地，用户人眼聚焦注视的区域为第一区域，而第二区域一般不在人眼注视的范围内。可以理解为第一区域为用户预先观看区域，提高预先观看区域的图像分辨率包括提高第一区域的图像分辨率。其中，第一分辨率高于第二分辨率，也就是说，第一区域的图像分辨率高于第二区域的图像分辨率。第一区域的第一分辨率高，用户人眼观看时能够获得清晰的图像，而在第二区域的第二分辨率低，用户观看时没有直接观看第二区域，因此可以降低第二分辨率，由此能够减少头戴显示设备的运算处理压力。

提高单元220用于据所述预先观看方向，获取用户人眼在第二区域的第一注视区。具体地，用户人眼在观看显示图像的过程中是不断移动的，也就说，用户人眼聚焦注视的第一区域是一个位置持续变化的区域。更具体地说，第一区域是一个面积不变，但是位置不断变化的区域。例如，在人眼观看时，人眼的观看方向向第二区域移动，在第二区域的位置产生第一注视区，所述第一注视区，是用户接下来需要观看的方向。

提高单元220还用于提前将第一注视区的图像分辨率提高至第一分辨率。一般来说图像的渲染需要时间过程，通过提前提高第一注视区的图像分辨率，能够节省渲染时间，带人眼观看时，图像已经渲染完毕，画面已经稳定。第一区域的分辨率为第一分辨率，通过将第一注视区的分辨率通常提高至第一分辨率，保证人眼移动在注视观看的时候是在同一个分辨率图像下完成的，避免注视区域出现清晰和模糊的偏差。

进一步地，第二区域外边缘围绕设置有第三区域，第三区域的第三分辨率小于第二分辨率，如此可知，在图像的表面设置有三个区域，一般这三个区域为椭圆形状，通过第一区域至第三区域的图像分辨率逐渐降低的方式能够降低人眼对图像周边区域的处理要求。

提高单元220还用于依据预先观看方向，获取用户人眼在第三区域的第二注视区。也就说，在第一区域向着第二区域移动时，第二区域同时也在向着第三区域移动，也就说，第二区域也是一个位置持续变化的区域。例如，在人眼观看时，人眼的观看方向向第二区域移动，在第二区域则向第三区域移动，由此产生第二注视区，所述第二注视区，是第三区域转化为第二区域的部分。

提高单元220还用于提前将第二注视区的图像分辨率提高至第二分辨率。由此可知，第二注视区的图像分辨率和第二区域的图像分辨率相同，通过将第二注视区的图像分辨率提高至第二分辨率，第二注视区转化为第二区域的一部分。

通常，第一区域的面积小于第二区域的面积，第二区域的面积小于第三区域的面积。例如，如图8所示，第一区域1、第二区域2和第三区域3为椭圆形结构，第二区域2包裹在第一区域1周边，第三区域3包裹在第二区域2周边。通过第二分辨率在第一分辨率和第三分辨率之间可知，由第一区域1至第二区域2和第三区域3的分辨率依次降低。一般来说，人眼在观看显示图像的过程中，图像也是由人眼注视的位置逐渐向外模糊的，通过第二分辨率在第一分辨率和第三分辨率之间能够更加符合人眼的观看习惯，同时，也能降低头戴显示设备的运算压力。另外，第二分辨率在第一分辨率和第三分辨率之间，在人眼移动时，第二区域2相应的分辨率需要提高，第二分辨率更加接近第一分辨率，更利于快速提高第二区域2的分辨率。

进一步地，第二分辨率为第一分辨率的70％，第三分辨率为第一分辨率的30％。

可以理解为，第一区域位置的图像是清晰的，能够满足用户对显示图像的显示要求。第二区域包裹第一区域，在用户的人眼移动的过程中，第二区域的图像分辨率需要提前提高，以达到图像分辨率的最大值，第二分辨率为最大值的70％，利于第二分辨率提高至最大值，节省第二分辨率的提高时间。另外，第三区域包裹第二区域，通常来说，用户人眼在移动时，第三区域的部分图像要转化为第二区域面积，第三分辨率为最大值的30％，需要将第三分辨率由最大分辨率的30％提高至70％。如此由内而外分辨率的数值逐渐降低，符合用户人眼的观看习惯。还能够降低头戴显示设备的运算效率，在图像分辨率转换的过程中能够提高分辨率的转换效率。

进一步地，获取模块10用于获取最大分辨率的整幅图像，并保存最大分辨率的整幅图像；具体地，头戴显示设备包括处理器，处理器连接有存储器，获取最大分辨率的图像为整幅图像，对整幅图像进行保存，在需要提高相应位置的图像分辨率时，提取整幅图像相应位置的图像，将提取的图像补充至需要提高分辨率的位置，由此能够快速提高图像分辨率，并提高图像的渲染效率。

显示模块20还用于依据所述预先观看方向，获取所述预先观看方向的区域与所述整幅图像相对应的区域图；具体地，用户人眼在移动的过程中，需要人眼聚焦的范围一般不变，这个范围会随着人眼的移动而移动，在判断得出用户人眼的预先观看区域后，同样能够得出，预先观看区域对应的最大分辨率的整幅图像的位置。

显示模块20还用于将所述区域图渲染至所述预先观看方向的区域。通常来说，预观看图像的分辨率较低，将最大分辨率的整幅图像的对应图像结合至预先观看区域的位置，由此提高预先观看区域的图像分辨率。由此能够快速提高预先观看区域的图像分辨率，并提高图像的渲染效率。

进一步地地，显示模块20还用于确认用户观看预先观看方向的区域，降低与预先观看方向相反的区域的图像分辨率。用户人眼聚焦的区域位置通常是大小不变的。人眼在想一个方向观看移动时，相反方向的图像通常脱离聚焦范围。通过降低与预先观看方向相反的区域的图像分辨率，能够更加符合人体视觉特征，同时，还能够通过降低图像分辨率的方式降低头戴显示设备的图像运算处理压力，使其运行更加流畅。

进一步地，所述获取模块10包括：生成单元110和确定单元120。

生成单元110，用于依据所述头戴显示设备的位置变化，生成所述第一位姿数值；所述生成单元还用于依据用于所述用户人眼注视点变化，生成所述第二位姿数值；具体地，用户穿戴头戴显示设备，所述头戴显示设备中设置有陀螺仪，陀螺仪能够检测头戴显示设备的位置信息，计算得出第一位姿数值。例如头戴显示设备由一个位置移动到另一个位置，第一位姿数值为四元数

则

其中，n为向量，θ代表向量旋转角度，n_x，n_y和n_z为向量的三个分量。

生成单元110，还用于依据用户人眼的注视点变化，生成第二位姿数值；具体地，头戴显示设备中设置有眼球追踪接口，眼球追踪接口能够检测人眼的移动方向，依据人眼的移动方向，计算得出第二位姿数值

则

其中，n为向量，θ代表向量旋转角度，n_x，n_y和n_z为向量的三个分量。计算第一位姿数值公式中的向量n和向量旋转角度θ与计算第二位姿数值公式中的向量n和向量旋转角度θ不同。

确定单元120，用于依据所述第一位姿数值和所述第二位姿数值确定用户预先观看方向。用户在穿戴头戴显示设备过程中，需要操控头戴显示设备移动，同时用户在观看显示画面过程中人眼注视的位置也是在变化的。通过第一位姿数值

和第二位姿数值

计算得出用户预计观看的方向。

头戴显示设备中设置有处理器，处理器用于依据第一位姿数值和第二位姿数值确定用户预先观看方向。

本发明还提供一种头戴显示设备，所述头戴显示设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像处理程序；所述图像处理程序被所述处理器执行时实现如上文所述的图像处理方法的步骤。

本发明头戴显示设备具体实施方式可以参照上述图像处理方法各实施例，在此不再赘述。

本发明还提供一种可读存储介质，所述可读存储介质上存储图像处理程序，所述图像处理程序被处理器执行时实现如上文所述的图像处理方法的步骤。

本发明可读存储介质具体实施方式可以参照上述图像处理方法各实施例，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：

获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向；

依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率。

2.如权利要求1所述的图像处理方法，其特征在于，所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤包括：

获取用户人眼注视图像的第一区域、以及围绕所述第一区域外边缘的第二区域；其中，所述第一区域的图像分辨率为第一分辨率，所述第二区域的图像分辨率为第二分辨率，所述第一分辨率高于所述第二分辨率；

依据所述预先观看方向，获取用户人眼在所述第二区域的第一注视区；

提前将所述第一注视区的图像分辨率提高至所述第一分辨率。

3.如权利要求2所述的图像处理方法，其特征在于，所述第二区域外边缘围绕设置有第三区域，所述第三区域的第三分辨率小于所述第二分辨率；

所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤还包括：

依据所述预先观看方向，获取用户人眼在所述第三区域的第二注视区；

提前将所述第二注视区的图像分辨率提高至所述第二分辨率。

4.如权利要求3所述的图像处理方法，其特征在于，所述提前提高所述预先观看方向区域的图像分辨率之后，所述方法还包括：

保存提高分辨率后的预先观看区域图像，所述预先观看区域图像包括所述第二分辨率的所述第二注视区和所述第一分辨率的所述第一注视区。

5.如权利要求1至4任一项所述的图像处理方法，其特征在于，所述获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向的步骤之前包括：

获取最大分辨率的整幅图像，并保存所述最大分辨率的整幅图像；

所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤包括：

依据所述预先观看方向，获取所述预先观看方向的区域与所述整幅图像相对应的区域图；

将所述相对应的区域图渲染至所述预先观看方向的区域。

6.如权利要求1至4任一项所述的图像处理方法，其特征在于，所述依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率的步骤之后包括：

确认用户观看所述预先观看方向的区域，降低与所述预先观看方向相反的区域的图像分辨率。

7.如权利要求1至4任一项所述的图像处理方法，其特征在于，所述图像处理方法用于头戴显示设备，所述位姿信息包括第一位姿数值和第二位姿数值，所述获取用户的位姿信息，依据所述位姿信息确定用户预先观看方向的步骤包括：

依据所述头戴显示设备的位置变化，生成所述第一位姿数值；

依据所述用户人眼的注视点变化，生成所述第二位姿数值；

依据所述第一位姿数值和所述第二位姿数值确定用户预先观看方向。

8.一种图像处理装置，其特征在于，所述图像处理装置包括：

获取模块，用于获取用户的位姿信息，依据所述位姿信息确定用户的预先观看方向；

显示模块，用于依据所述预先观看方向，提前提高所述预先观看方向区域的图像分辨率。

9.如权利要求8所述的图像处理装置，其特征在于，所述显示模块包括：

界定单元，用于获取用户人眼注视图像的第一区域、以及围绕所述第一区域外边缘的第二区域；其中，所述第一区域的图像分辨率为第一分辨率，所述第二区域的图像分辨率为第二分辨率，所述第一分辨率高于所述第二分辨率；

提高单元，用于依据所述预先观看方向，获取用户人眼在所述第二区域的第一注视区；提前将所述第一注视区的图像分辨率提高至所述第一分辨率。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储图像处理程序，所述图像处理程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。

Images