WO2019218783A1 - 图像渲染方法、装置、***、存储介质、图像显示方法、计算机设备 - Google Patents

Abstract

本公开提供一种图像渲染方法、装置、***、计算机可读存储介质、图像显示方法。图像渲染方法包括：获取待显示图像(S10)；根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在所述待显示图像上的注视点位置(S11)；根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域(S12)；对所述第一采样区域进行第一分辨率采样，以得到第一显示区域(S13)；对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率(S14)；将所述第一显示区域和所述第二显示区域进行拼接，以得到待传输至所述虚拟现实设备的输出图像(S15)。

Description

图像渲染方法、装置、***、存储介质、图像显示方法、计算机设备

本申请要求于2018年05月16日递交的中国专利申请第201810466112.4号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。

技术领域

本公开的实施例涉及一种面向虚拟现实的图像渲染方法、图像渲染装置、图像渲染***、计算机可读存储介质、计算机设备、图像显示方法。

背景技术

目前，对于显示清晰度，尤其是对于虚拟现实(VR)/增强现实(AR)的显示清晰度要求越来越高，计算机设备向显示设备输出图像的信息量也越来越大。对于一个高清分辨率渲染的场景，对软件计算速度、计算资源的消耗、图像数据传输数据量都有很大的要求。对于人眼而言，由于负责观察色彩和细节的视网膜上的视锥细胞浓度不同，只能接纳注视点中心的细节，在图像中任何超出人眼注视区5°以上的区域都会逐渐降低清晰度。

随着显示技术的发展，通过对图像进行基于算法的压缩处理的方式由于实时性差、计算资源消耗大已不能够满足需求。在节约图像传输过程中的传输带宽时，如何提高图像压缩传输的实时性及计算效率成为一个亟待解决的问题。

发明内容

本公开至少一些实施例提供一种面向虚拟现实的图像渲染方法，包括：

获取待显示图像；

根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在所述待显示图像上的注视点位置；

根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的 分辨率；

将所述第一显示区域和所述第二显示区域进行拼接，以得到待传输至所述虚拟现实设备的输出图像。

例如，在本公开一些实施例提供的图像渲染方法中，对所述第一采样区域进行第一分辨率采样和对所述待显示图像进行第二分辨率采样包括：

根据所述注视点位置，确定渲染模型，其中，所述渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及所述压缩分辨率采样区域的分辨率压缩倍数，所述原分辨率采样区域对应于所述第一采样区域，所述压缩分辨率采样区域对应于所述第二采样区域；

根据所述渲染模型，对所述第一采样区域进行第一分辨率采样并对所述待显示图像进行第二分辨率采样。

例如，在本公开一些实施例提供的图像渲染方法中，根据所述注视点位置，确定渲染模型包括：

获取原始渲染模型，其中，所述原始渲染模型包括原始原分辨率采样区域和原始压缩分辨率采样区域；

根据所述注视点位置，调整所述原始原分辨率采样区域的中心点位置以及所述原始压缩分辨率采样区域的分辨率压缩倍数，以得到所述渲染模型。

例如，在本公开至少一些实施例提供的图像渲染方法中，所述原始压缩分辨率采样区域的分辨率压缩倍数根据所述原始压缩分辨率采样区域与所述原始原分辨率采样区域的位置关系被预设及调整。

例如，在本公开至少一些实施例提供的图像渲染方法中，所述压缩分辨率采样区域的分辨率压缩倍数包括横向分辨率压缩倍数和/或纵向分辨率压缩倍数。

例如，在本公开至少一些实施例提供的图像渲染方法中，所述原分辨率采样区域和所述压缩分辨率采样区域构成九宫格结构，所述九宫格结构包括三行三列的多个区域，所述原分辨率采样区域位于所述九宫格结构的第二行和第二列。

例如，在本公开至少一些实施例提供的图像渲染方法中，所述第一采样区域的尺寸、所述原始原分辨率采样区域的尺寸与所述原分辨率采样区域的尺寸相同。

例如，在本公开至少一些实施例提供的图像渲染方法中，调整所述原始原 分辨率采样区域的中心点位置包括：

当所述原始原分辨率采样区域的中心点为所述注视点位置时，判断所述原始原分辨率采样区域是否超出所述待显示图像的边界：

若否，则调整所述原始原分辨率采样区域的中心点为所述注视点位置；

若是，则调整所述原始原分辨率采样区域的中心点为在所述原始原分辨率采样区域不超出所述待显示图像的边界的情况下最接近所述注视位置的位置。

例如，在本公开至少一些实施例提供的图像渲染方法中，根据所述渲染模型，对所述待显示图像进行第二分辨率采样，包括：

根据所述渲染模型，对所述待显示图像进行所述第二分辨率采样，以得到中间待显示图像；

根据所述第一采样区域和第二采样区域的位置和比例关系，分割所述中间待显示图像，以得到与所述第一采样区域对应的第一中间显示区域和与所述第二采样区域对应的第二中间显示区域，所述第二显示区域包括所述第二中间显示区域。

例如，在本公开至少一些实施例提供的图像渲染方法中，获取待显示图像包括：获取原始图像；对所述原始图像进行反畸变处理以得到所述待显示图像。

例如，在本公开至少一些实施例提供的图像渲染方法中，所述第一采样区域的分辨率等于所述第一显示区域的分辨率。

本公开至少一些实施例还提供一种图像显示方法，包括：

在渲染引擎中：

获取待显示图像；

根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在所述待显示图像上的注视点位置；

根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率；

将所述第一显示区域和所述第二显示区域进行拼接，以得到输出图像；以及

将所述输出图像输出至虚拟现实设备；以及

在所述虚拟现实设备中，

通过所述虚拟现实设备对所述输出图像进行拉伸，以得到拉伸图像；

在所述虚拟现实设备的显示屏上显示所述拉伸图像。

例如，在本公开至少一些实施例提供的图像显示方法中，所述输出图像包括所述第一显示区域和所述第二显示区域，通过所述虚拟现实设备对所述输出图像进行拉伸，以得到拉伸图像，包括：通过所述虚拟现实设备对所述输出图像中的所述第二显示区域进行拉伸，以得到拉伸显示区域；根据所述第一显示区域和所述拉伸显示区域，确定所述拉伸图像。

本公开一些实施例还提供一种面向虚拟现实的图像渲染装置，包括：注视点投影模块、渲染引擎和拼接模块；

所述注视点投影模块用于根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在待显示图像上的注视点位置；

所述渲染引擎用于：

根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率；

所述拼接模块用于将所述第一显示区域和所述第二显示区域进行拼接，得到待传输至所述虚拟现实设备的输出图像。

例如，在本公开至少一些实施例提供的图像渲染装置中，所述渲染引擎还用于根据所述注视点位置，加载渲染模型，即确定渲染模型，其中，所述渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及所述压缩分辨率采样区域的分辨率压缩倍数，所述原分辨率采样区域对应于所述第一采样区域，所述压缩分辨率采样区域对应于所述第二采样区域；

根据所述渲染模型，对所述第一采样区域进行第一分辨率采样并对所述待显示图像进行第二分辨率采样。

例如，本公开至少一些实施例提供的图像渲染装置还包括调整模块，所述渲染引擎还用于获取原始渲染模型，其中，所述原始渲染模型包括原始原分辨 率采样区域和原始压缩分辨率采样区域，所述调整模块用于根据所述注视点位置，调整所述原始原分辨率采样区域的中心点位置以及所述原始压缩分辨率采样区域的分辨率压缩倍数，以确定所述渲染模型。

本公开一些实施例还提供一种面向虚拟现实的图像渲染***，包括：虚拟现实设备和上述任一实施例所述的图像渲染装置；

所述虚拟现实设备用于获取人眼在虚拟现实设备的显示屏上的注视点并接收所述图像渲染装置传输的所述输出图像。

本公开一些实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本公开任一实施例提供的面向虚拟现实的图像渲染方法。

本公开一些实施例还提供一种计算机设备，包括存储器，被配置为存储计算机程序；处理器被配置为运行所述计算机程序，其中，所述处理器执行所述计算机程序时实现本公开任一实施例提供的面向虚拟现实的图像渲染方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1A示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的一种流程图；

图1B示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的另一种流程图；

图2A示出了本公开至少一些实施例提供的一种渲染过程的实现原理图；

图2B示出了本公开至少一些实施例提供的一种渲染模型的示意图；

图3示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的过程中图像的变化过程图；

图4A示出了本公开一些实施例提供的一种原始渲染模型的示意图；

图4B示出了本公开一些实施例提供的一种渲染模型的示意图；

图5A为本公开一些实施例提供的一种在待显示图像上注视点位置与原分辨率采样区域的位置关系的示意图；

图5B为本公开一些实施例提供的另一种注视点位置与原分辨率采样区域 的位置关系的示意图；

图5C为本公开一些实施例提供的一种对原分辨率采样区域的中心进行调整后的示意图；

图6为本公开一些实施例提供的一种图像显示方法的示意性流程图；

图7示出了本公开一些实施例提供的一种注视点位置不同时对应的渲染模型和输出图像的示意图；

图8示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染装置的结构示意图；

图9示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染***的示意图；

图10示出了本公开至少一些实施例提供的一种计算机设备的结构示意图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

为了更清楚地说明本公开，下面结合本公开的一些实施例和附图对本公开做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本公开的保护范围。

图1A示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的一种流程图，图1B示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的另一种流程图；图2A示出了本公开至少一些实施例提供的一种渲染过程的实现原理图；图2B示出了本公开至少一些实施例提供的一种渲染模型的示意图；图3示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染方法的过程中图像的变化过程图。

本公开的一些实施例提供一种图像渲染方法，该图像渲染方法可以应用于虚拟现实设备中。例如，如图1B所示，本公开的一些实施例提供了一种面向虚拟现实的图像渲染方法包括：

根据人眼在虚拟现实设备的显示屏上的注视点位置，得到注视点对应在待显示在显示屏上的图像上的位置；其中，获取注视点在显示屏上的位置可由显示屏所属虚拟现实设备通过相应的硬件或软件基于视线追踪技术实现；

加载渲染模型，其中，渲染模型预设有原分辨率采样区域和压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；

根据注视点对应在待显示在显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数；

根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样；

将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至虚拟现实设备的图像。

例如，如图1A所示，本公开的另一些实施例提供了一种面向虚拟现实的图像渲染方法包括：

S10：获取待显示图像；

S11：根据人眼在虚拟现实设备的显示屏上的注视点，得到注视点对应在待显示图像上的注视点位置；

S12：根据注视点位置确定待显示图像的第一采样区域和第二采样区域；

S13：对第一采样区域进行第一分辨率采样，以得到第一显示区域；

S14：对待显示图像进行第二分辨率采样，以得到与第二采样区域对应的第二显示区域；

S15：将第一显示区域和第二显示区域进行拼接，以得到待传输至虚拟现 实设备的输出图像。

本公开实施例提供的面向虚拟现实的图像渲染方法可以在渲染引擎中实现，通过调整渲染引擎中的渲染模型即可实现在渲染引擎中对图像的非高清区域(即非注视点区域)进行压缩，降低软件端输出给显示设备的传输带宽，可节约图像传输过程中的传输带宽，解决由于传输带宽的限制，直接传输4K的图像对于硬件的压力太大，无法完成高分辨率高刷新率的实时显示的问题。且与通过对图像进行基于算法的压缩处理的方式相比，本公开提供的图像渲染方法实时性高、计算速度快、计算资源消耗小、计算效率高，可以实现高分辨率高刷新率的实时显示。

例如，在步骤S10中，待显示图像可以由渲染引擎获取。在一些实施例中，步骤S10可以包括：获取原始图像；对原始图像进行反畸变处理以得到待显示图像。如图1B所示，在开始运行程序后，渲染引擎可以获得当前场景的渲染画面，即原始图像，然后，渲染引擎还可以对渲染画面进行反畸变处理，以得到待显示图像，也就是说，待显示图像为反畸变图像。

在应用于虚拟现实设备，特别是虚拟现实头戴显示设备时，由于虚拟现实设备的显示屏通常设有透镜，为了正常显示，需要对图像进行反畸变。通过在本实施例提供的面向虚拟现实的图像渲染方法中加入上述反畸变处理的步骤，实现了将该方法应用于计算机装置向虚拟现实设备的图像传输。

例如，待显示图像的尺寸和原始图像的尺寸可以相同。

例如，原始图像可以为彩色图像，也可以为灰度图像。例如，原始图像可以具有各种不同的形状，例如矩形、圆形、梯形等。下面以原始图像和待显示图像均具有矩形形状为例描述本公开的实施例。

例如，在步骤S11中，根据人眼在虚拟现实设备的显示屏上的注视点位置，得到注视点对应在显示屏上的待显示图像上的位置；例如，获取注视点在显示屏上的注视点位置可由显示屏所属虚拟现实设备通过相应的硬件或软件基于视线追踪技术实现。虚拟现实设备可以根据眼球和眼球周边的特征变化跟踪人眼视线。虚拟现实设备也可以根据虹膜角度变化跟踪人眼视线。虚拟现实设备还可以通过主动投射红外线等光束到虹膜以提取眼球特征，从而实现跟踪人眼视线。

例如，在一些示例中，虚拟现实设备通过相应的软件基于视线追踪技术实现跟踪人眼视线。如图1B所示，在开始运行程序后，虚拟现实设备可以运行 眼球追踪程序，从而获取当前眼球的注视点。

例如，在步骤S12中，第一采样区域的尺寸可以由用户预先设置，且在程序运行过程中，对于不同的待显示图像，第一采样区域的尺寸保持不变。

例如，第二采样区域可以根据注视点位置和第一采样区域的尺寸确定。

例如，在步骤S13和步骤S14中，对第一采样区域进行第一分辨率采样和对待显示图像进行第二分辨率采样包括：根据注视点位置，加载渲染模型，即确定渲染模型，其中，渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及压缩分辨率采样区域的分辨率压缩倍数，原分辨率采样区域对应于第一采样区域，压缩分辨率采样区域对应于第二采样区域；根据渲染模型，对第一采样区域进行第一分辨率采样并对待显示图像进行第二分辨率采样。

例如，在步骤S13和步骤S14中，第一采样区域的分辨率等于第一显示区域的分辨率，即第一显示区域的尺寸与第一采样区域的尺寸相同。第二采样区域的分辨率大于第二显示区域的分辨率，即第二采样区域的尺寸大于第二显示区域的尺寸。也就是说，在步骤S13和步骤S14中，对第一采样区域进行原分辨率采样以得到第一显示区域，对第二采样区域进行压缩分辨率采样以得到第二显示区域。

例如，压缩分辨率采样可以插值算法实现。插值算法例如包括拉格朗日插值、牛顿插值以及Hermite插值等。

例如，如图1B所示，在步骤S13中，可以根据注视点位置采样高清区(即第一采样区域)的反畸变图像(即待显示图像)；在步骤S14中，可以对整个待显示图像进行低分辨率采样，以获得全区域(即整个待显示图像的区域)的压缩后的反畸变图像。

例如，如图2A所示，在一些实施例中，待显示图像20的分辨率可以为4320*4800。通过本公开的实施例对该待显示图像20进行处理后得到的输出图像30的分辨率为2160*2400。

例如，输出图像30包括第一显示区域和第二显示区域。如图2A所示，在一些示例中，输出图像30包括九个输出子区域，第一显示区域为输出子区域15，第二显示区域包括八个输出子区域，即第二显示区域可以包括输出子区域11、输出子区域12、输出子区域13、输出子区域14、输出子区域16、输出子区域17、输出子区域18和子区域19。

例如，输出图像30的输出子区域15对应于待显示图像20的待显示子区 域5，输出图像30的输出子区域11对应于待显示图像20的待显示子区域1，输出图像30的输出子区域12对应于待显示图像20的待显示子区域2，输出图像30的输出子区域13对应于待显示图像20的待显示子区域3，输出图像30的输出子区域14对应于待显示图像20的待显示子区域4，输出图像30的输出子区域16对应于待显示图像20的待显示子区域6，输出图像30的输出子区域17对应于待显示图像20的待显示子区域7，输出图像30的输出子区域18对应于待显示图像20的待显示子区域8，输出图像30的输出子区域19对应于待显示图像20的待显示子区域9。输出图像30的输出子区域15的分辨率与待显示图像20的待显示子区域5的分辨率相同。第二显示区域中的各输出子区域的分辨率小于第二采样区域的对应的待显示子区域的分辨率，例如，输出图像30的输出子区域11的分辨率小于待显示图像20的待显示子区域1的分辨率。

例如，待显示图像20具有矩形形状，第一采样区域可以位于矩形的任意一个角上，第一采样区域可以位于矩形的任意一边；或者，第一采样区域还可以位于矩形的中间部位，也就是说，第一采样区域不与待显示图像20的边和角相接触。本公开的实施例对第二采样区域的具***置不作限制。

例如，第二采样区域可以包括多个待显示子区域。

例如，如图2A所示，在一些示例中，第一采样区域21可以位于待显示图像的中间部位，在这种情况下，待显示图像20被划分为九个待显示子区域，第一采样区域21为待显示子区域5，第二采样区域22包括八个待显示子区域，即第二采样区域22可以包括待显示子区域1、待显示子区域2、待显示子区域3、待显示子区域4、待显示子区域6、待显示子区域7、待显示子区域8和待显示子区域9。第一采样区域21和第二采样区域22组成九宫格结构，九宫格结构包括三行三列的多个区域，第一采样区域21位于九宫格结构的中心，即第一采样区域21位于九宫格结构的第二行第二列。

值得注意的是，各待显示子区域还可以继续进行划分。

例如，如图2A所示，第二采样区域22的待显示子区域1、待显示子区域3、待显示子区域7和待显示子区域9与第一采样区域21(即，待显示子区域5)不相邻，第二采样区域22的待显示子区域4和待显示子区域6在第二方向上与第一采样区域21相邻，第二采样区域22的待显示子区域2和待显示子区域8在第一方向上与第一采样区域21相邻。

例如，第一方向和第二方向彼此垂直。

例如，如图2B所示，在另一些示例中，第一采样区域21以位于矩形的任意一个角上。此时，如图2B所示，待显示图像20可以被划分成为四个待显示子区域，第一采样区域21为待显示子区域A，第二采样区域22包括三个待显示子区域，即第二采样区域22可以包括待显示子区域B、待显示子区域C和待显示子区域D。但本公开不限于此，第一采样区域21也可以为待显示子区域C，相应地，第二采样区域21包括待显示子区域A、待显示子区域B和待显示子区域D。

例如，如图2B所示，第二采样区域22的待显示子区域B在第一方向上与第一采样区域21(即，待显示子区域A)相邻，第二采样区域22的待显示子区域C在第二方向上与第一采样区域21相邻，第二采样区域22的待显示子区域D与第一采样区域21不相邻。

需要说明的是，在本公开中，“相邻”可以表示第二采样区域22中的待显示子区域(例如，图2B中的待显示子区域B和待显示子区域C)与第一采样区域21至少有一条边相邻。“不相邻”表示第二采样区域22中的待显示子区域(例如，图2B中的待显示子区域D)与第一采样区域21的任意一条边都不相邻。

例如，步骤S14可以包括：根据渲染模型，对待显示图像进行第二分辨率采样，以得到中间待显示图像；根据第一采样区域和第二采样区域的位置和比例关系，分割中间待显示图像，以得到与第一采样区域对应的第一中间显示区域和与第二采样区域对应的第二中间显示区域，第二显示区域包括第二中间显示区域。

例如，如图3所示，在step3中，对待显示图像20进行第二分辨率采样，以得到中间待显示图像26。中间待显示图像26为对待显示图像20整体进行压缩后得到的图像，然后，根据第一采样区域和第二采样区域的位置和比例关系，可以将中间待显示图像26进行划分，例如，对于图2A所示的示例，即在第二采样区域包括待显示子区域1、待显示子区域2、待显示子区域3、待显示子区域4、待显示子区域6、待显示子区域7、待显示子区域8和待显示子区域9，第一采样区域为待显示子区域5的情况下，中间待显示图像26也可以被划分为九个中间子区域，九个中间子区域排列为三行三列，第一中间显示区域包括位于第二行第二列的一个中间子区域，第二中间显示区域包括八个中间子区域，且八个中间子区域与第二采样区域的八个待显示子区域分别一一对应。例 如，第二中间显示区域的位于第一行第一列的中间子区域与第二采样区域的待显示子区域1对应，也就是说，第二中间显示区域的位于第一行第一列的中间子区域在中间待显示图像26中的位置和其与其余中间子区域的比例关系等与第二采样区域的待显示子区域1在待显示图像20中的位置和待显示子区域1与其余待显示子区域的比例关系等均相同。

图4A为本公开一些实施例提供的一种原始渲染模型的示意图；图4B为本公开一些实施例提供的一种渲染模型的示意图。

例如，在一些实施例中，在步骤S15中，当渲染模型确定后，第一显示区域置于原分辨率采样区域对应的位置，第二显示区域置于压缩分辨率采样区域对应的位置，以得到输出图像。例如，如图1B所示，将高清图(即第一显示区域)和原始图像中与第二显示区域对应的区域按照比例贴到多分辨率的渲染模型上，从而得到输出图像。

例如，根据注视点位置，确定渲染模型包括：获取原始渲染模型，其中，原始渲染模型包括原始原分辨率采样区域和原始压缩分辨率采样区域；根据注视点位置，调整原始原分辨率采样区域的中心点位置以及原始压缩分辨率采样区域的分辨率压缩倍数，以得到渲染模型。

例如，如图1B所示，在开始运行程序之前，可以通过建模软件创建多分辨率的原始渲染模型，然后将原始渲染模型导入到渲染引擎中以供后续使用。在程序运行过程中，渲染引擎可以根据注视点位置修改原始渲染模型的形状，以得到需要的渲染模型。例如，修改原始渲染模型的形状可以包括调整原始原分辨率采样区域的中心点位置以及原始压缩分辨率采样区域的分辨率压缩倍数。例如，渲染模型和原始渲染模型的形状也可以均为矩形。

例如，渲染模型的尺寸和原始渲染模型的尺寸相同。渲染模型的尺寸和输出图像的尺寸也相同。

例如，在本实施例的一些可选的实现方式中，原始压缩分辨率采样区域的分辨率压缩倍数可以根据原始压缩分辨率采样区域与原始原分辨率采样区域的位置关系被预设及调整。

例如，压缩分辨率采样区域的分辨率压缩倍数可以包括横向分辨率压缩倍数和/或纵向分辨率压缩倍数，例如，如图4A和图4B所示，纵向分辨率压缩倍数可以表示沿第一方向的分辨率压缩倍数，横向分辨率压缩倍数可以表示沿第二方向的分辨率压缩倍数。

需要说明的是，在本公开的实施例中，当分辨率压缩倍数大于1时，表示原始压缩分辨率采样区域被压缩；当分辨率压缩倍数小于1时，则表示原始压缩分辨率采样区域被拉伸。

例如，在渲染模型中，原分辨率采样区域即对应注视点对应在待显示图像上的位置的区域，将其他的用户未关注区域(即非注视区域)设置为压缩分辨率采样区域。也就是说，原分辨率采样区域对应输出图像的第一显示区域，即对应图2A所示的输出子区域15，压缩分辨率采样区域应输出图像的第二显示图像，即对应图2A所示的输出子区域11、输出子区域12、输出子区域13、输出子区域14、输出子区域16、输出子区域17、输出子区域18和输出子区域19。为了保证虚拟相机对图像的原分辨率采样区域进行原分辨率采样，在预设及调整各压缩分辨率采样区域的横向和纵向的分辨率压缩倍数时，需要考虑各压缩分辨率采样区域与原分辨率采样区域的位置关系，以实现正常的局部图像分辨率压缩，并保证压缩后的整体图像的形状与原图像相同(例如原图像为矩形图像，压缩后的图像也为矩形图像)。

例如，原始压缩分辨率采样区域的尺寸、原分辨率采样区域的尺寸、第一显示区域的尺寸和第一采样区域的尺寸均相同。

例如，在本实施例的一些可选的实现方式中，原分辨率采样区域和压缩分辨率采样区域构成九宫格结构。例如，原分辨率采样区域位于九宫格的中间格。这样的规则便于调整原分辨率采样区域的中心点位置，及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。另外，在这种情况下，原分辨率采样区域与注视点的对应也较精确。

例如，如图4B所示，在一些示例中，渲染模型100包括九个采样子区域，九个采样子区域排列为三行三列，即原分辨率采样区域和压缩分辨率采样区域构成九宫格结构，九宫格结构包括三行三列的九个采样子区域。原分辨率采样区域位于九宫格的中间格，即原分辨率采样区域位于九宫格结构的第二行和第二列。在图4B所示的示例中，原分辨率采样区域包括采样子区域105，即采样子区域105为原分辨率采样区域；压缩分辨率采样区域包括八个采样子区域，即压缩分辨率采样区域包括采样子区域101、采样子区域102、采样子区域103、采样子区域104、采样子区域106、采样子区域107、采样子区域108和采样子区域109。

例如，采样子区域101、采样子区域103、采样子区域107和采样子区域 109中的每个都可能具有横向分辨率压缩倍数和纵向分辨率压缩倍数，也就是说，在第一方向和第二方向上，采样子区域101、采样子区域103、采样子区域107和采样子区域109中的每个均可以被压缩。采样子区域102和采样子区域108仅可以具有纵向分辨率压缩倍数，也就是说，在第一方向上，采样子区域102和采样子区域108可以被压缩，而在第二方向上，采样子区域102和采样子区域108不会被压缩。采样子区域104和采样子区域106仅可以具有横向分辨率压缩倍数，也就是说，在第一方向上，采样子区域104和采样子区域106不会被压缩，而在第二方向上，采样子区域104和采样子区域106可以被压缩。

例如，采样子区域101的纵向分辨率压缩倍数、采样子区域102的纵向分辨率压缩倍数和采样子区域103的纵向分辨率压缩倍数均相同。采样子区域107的纵向分辨率压缩倍数、采样子区域108的纵向分辨率压缩倍数和采样子区域109的纵向分辨率压缩倍数也均相同。

例如，采样子区域101的横向分辨率压缩倍数、采样子区域104的横向分辨率压缩倍数和采样子区域107的横向分辨率压缩倍数均相同。采样子区域103的横向分辨率压缩倍数、采样子区域106的横向分辨率压缩倍数和采样子区域109的横向分辨率压缩倍数也均相同。

例如，如图4A所示，原始渲染模型200可以包括九个原始采样子区域，九个原始采样子区域分别为原始采样子区域201、原始采样子区域202、原始采样子区域203、原始采样子区域204、原始采样子区域205、原始采样子区域206、原始采样子区域207、原始采样子区域108和原始采样子区域209，且九个原始采样子区域排列为三行三列，即原始原分辨率采样区域和原始压缩分辨率采样区域也可以构成九宫格结构，原始原分辨率采样区域位于九宫格的中间格，即原始原分辨率采样区域位于九宫格的第二行第二列的原始采样子区域205。原始压缩分辨率采样区域包括八个原始采样子区域，即原始采样子区域201、原始采样子区域202、原始采样子区域203、原始采样子区域204、原始采样子区域206、原始采样子区域207、原始采样子区域208和原始采样子区域209。

例如，原始压缩分辨率采样区域的各原始采样子区域与压缩分辨率采样区域的各采样子区域分别一一对应。例如，原始压缩分辨率采样区域中位于第一行第一列的原始采样子区域201与压缩分辨率采样区域位于第一行第一列的采样子区域101对应，原始压缩分辨率采样区域中位于第一行第二列的原始采样 子区域202与压缩分辨率采样区域位于第一行第二列的采样子区域102对应，依次类推。

例如，原始原分辨率采样区域与原分辨率采样区域对应，且原始原分辨率采样区域的尺寸与原分辨率采样区域的尺寸相同。也就是说，图4A中的原始采样子区域205与图4B中的采样子区域105对应且相同。

例如，原始原分辨率采样区域的形状与原分辨率采样区域的形状可以均为矩形。

例如，如图4A所示，原始原分辨率采样区域205的中心与原始渲染模型的中心重合。而在图4B中，原分辨率采样区域205的中心与渲染模型的中心不重合。

例如，在本实施例的一些可选的实现方式中，调整原分辨率采样区域的中心点位置包括：

当原分辨率采样区域的中心点为注视点位置时，判断原分辨率采样区域是否超出待显示图像的边界：

若否，则调整原分辨率采样区域的中心点为注视点位置；

若是，则调整原分辨率采样区域的中心点为在原分辨率采样区域不超出待显示图像的边界的情况下最接近注视点位置的位置。

需要说明的是，在渲染模型的预设中，原分辨率采样区域的中心点位置对应于整体模型的中心点位置。当原分辨率采样区域的中心点位置随着注视点被调整偏离整体模型的中心点位置时，压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数会被随之调整。

图5A为本公开一些实施例提供的一种在待显示图像上注视点位置与原分辨率采样区域的位置关系的示意图；图5B为本公开一些实施例提供的另一种注视点位置与原分辨率采样区域的位置关系的示意图；图5C为本公开一些实施例提供的一种对原分辨率采样区域的中心进行调整后的示意图。

例如，如图5A所示，在一些示例中，在待显示图像20上，注视点位置为点E所示，当原分辨率采样区域105的中心点与注视点位置E重合时，原分辨率采样区域105没有超出待显示图像20的边界，此时，原分辨率采样区域105的中心点即为注视点位置E。

需要说明的是，在本公开的实施例中，原始渲染模型的原始压缩分辨率采样区域的中心与原始渲染模型的中心重合，原始渲染模型的中心对应待显示图 像的中心。

例如，如图5A所示，注视点位置E与待显示图像20的中心点C不重合，相对于待显示图像20的中心点C，注视点位置E更靠近待显示图像20的右边的边界，且更靠近待显示图像20的上边的边界。例如，在图5A中，原始原分辨率采样区域205的中心可以为待显示图像20的中心点C，原分辨率采样区域105的中心则为注视点位置E，在这种情况下，原始渲染模型中位于第一行的三个原始采样子区域被沿纵向压缩，原始渲染模型中位于第一行的三个原始采样子区域被沿纵向压缩，原始渲染模型中位于第三行的三个原始采样子区域被沿纵向拉伸，原始渲染模型中位于第三列的三个原始采样子区域被沿横向压缩，原始渲染模型中位于第一列的三个原始采样子区域被沿横向拉伸，如图4B所示，在对原始渲染模型进行上述调整后即可得到渲染模型。例如，对图4A所示的原始采样子区域201沿第一方向进行压缩处理，并沿第二方向进行拉伸处理，则可以得到图4B所示的采样子区域101，也就是说，在第一方向上，原始采样子区域201的长度小于采样子区域101的长度，而在第二方向上，原始采样子区域201的长度大于采样子区域101的长度。此时，渲染模型仍然可以包括九个采样子区域。

例如，在图5A所示的示例中，待显示图像20的第一采样区域即为采样子区域105，从而第一采样区域105的中心点即为注视点位置E。

值得注意的是，渲染模型可能仅包括四个或六个采样子区域。

例如，如图5B所示，在另一些示例中，在待显示图像20上，注视点位置为点C所示，当原分辨率采样区域105的中心点与注视点位置E重合时，原分辨率采样区域105超出待显示图像20的边界，例如，原分辨率采样区域105超出待显示图像20的右边和下边的边界，也就是说，相对于待显示图像20的中心点C，注视点位置E位于待显示图像20的右下角。在此情况下，需要调整原分辨率采样区域105的中心点，当原分辨率采样区域105不超出待显示图像20的边界的情况下，最接近注视点位置E的位置为原分辨率采样区域105的中心点。例如，如图5C所示，当原分辨率采样区域105的两条相邻的边分别与待显示图像20的两条相邻的边(即右边的边和下边的边)重合时，则此时原分辨率采样区域105的中心点的位置为当原分辨率采样区域105不超出待显示图像20的边界的情况下最接近注视点位置E的位置。

例如，在图5C中，原分辨率采样区域105的两条相邻的边分别与待显示 图像20的两条相邻的边重合，即与原分辨率采样区域105对应的第一采样区域可以位于矩形的一个角(右下角)上，此时，渲染模型可以包括四个采样子区域，也就是说，图4B中的采样子区域103的面积、采样子区域107的面积、采样子区域108的面积和采样子区域109的面积均为零。在这种情况下，原始渲染模型中位于第一行第一列和第一行第二列的两个原始采样子区域(即图4A中的原始采样子区域201和原始采样子区域202)被沿纵向(即第一方向)拉伸，原始渲染模型中位于第一行第一列和第二行第一列的两个原始采样子区域(即图4A中的原始采样子区域201和原始采样子区域204)被沿横向拉伸，在对原始渲染模型进行上述调整后即可得到渲染模型。

需要说明的是，当渲染模型包括九个采样子区域时，九个采样子区域的总面积为SW，当渲染模型包括四个采样子区域时，四个采样子区域的总面积也为SW，也就是说，渲染模型的尺寸并不随着采样子区域的数量而变化。

本公开至少一些实施例还提供一种图像显示方法。图6为本公开一些实施例提供的一种图像显示方法的示意性流程图。如图6所示，图像显示方法可以包括以下步骤：

S60：获取待显示图像；

S61：根据人眼在虚拟现实设备的显示屏上的注视点，得到注视点对应在待显示图像上的注视点位置；

S62：根据注视点位置确定待显示图像的第一采样区域和第二采样区域；

S63：对第一采样区域进行第一分辨率采样，以得到第一显示区域；

S64：对待显示图像进行第二分辨率采样，以得到与第二采样区域对应的第二显示区域，第二采样区域的分辨率大于第二显示区域的分辨率；

S65：将第一显示区域和第二显示区域进行拼接，以得到输出图像；

S66：将输出图像输出至虚拟现实设备；

S67：通过虚拟现实设备对输出图像进行拉伸，以得到拉伸图像；

S68：在虚拟现实设备的显示屏上显示拉伸图像。

例如，上述步骤S60-S66均在渲染引擎中实现，步骤S67-S68则在虚拟现实设备中实现。由此，本公开实施例提供的图像显示方法可以在渲染引擎端实现图像压缩渲染，接着压缩后的输出图像传输至虚拟现实设备，然后虚拟现实设备进行显示，从而降低软件端输出给显示设备的传输带宽，可约图像传输过程中的传输带宽，实现图像的实时采样和传输，满足虚拟现实技术中实时处理 大量数据的要求。

例如，在图像显示方法中，在渲染引擎中执行的各步骤S60-S66的详细说明可以参考上述实施例中关于图像渲染方法的描述。例如，步骤S60的详细说明可以参考上述步骤S10的描述，步骤S61的详细说明可以参考上述步骤S11的描述，步骤S62的详细说明可以参考上述步骤S12的描述，步骤S63的详细说明可以参考上述步骤S13的描述，步骤S64的详细说明可以参考上述步骤S14的描述，步骤S65和S66的详细说明可以参考上述步骤S15的描述。

例如，显示屏可以包括液晶显示面板等。

例如，输出图像包括第一显示区域和第二显示区域，步骤S67包括：通过虚拟现实设备对输出图像中的第二显示区域进行拉伸，以得到拉伸显示区域；根据第一显示区域和拉伸显示区域，确定拉伸图像。也就是说，拉伸显示区域的尺寸大于第二显示区域，拉伸图像由第一显示区域和拉伸显示区域拼接得到，即拉伸图像包括拉伸显示区域和第一显示区域。

例如，在本实施例的一些可选的实现方式中，在步骤S67中，利用虚拟现实设备通过集成电路(IC)对接收的输出图像进行拉伸以得到拉伸图像，之后在显示屏上显示拉伸图像。

例如，拉伸图像的尺寸可以与待显示图像的尺寸相同。例如，第二显示区域中的各子区域的拉伸倍数与第二采样区域中的各子区域的压缩倍数相同，例如，在图2A所示的示例中，对于待显示子区域1，待显示子区域1对应于输出图像30中的输出子区域11，当对待显示子区域1沿第一方向按比例1/F1进行压缩处理，对待显示子区域1沿第二方向按比例1/F2进行压缩处理，也就是说，在第一方向上，待显示子区域1被缩小F1倍，在第二方向上，待显示子区域1被缩小F2倍；则在拉伸过程中，需要对输出子区域11沿第一方向按比例F1进行拉伸处理，对输出子区域11沿第二方向按比例F2进行拉伸处理，也就是说，在第一方向上，输出子区域11被扩大F1倍，在第二方向上，输出子区域11被扩大F2倍。输出图像中的其余输出子区域与输出子区域11处理方式类似，在此不再赘述。

例如，F1和F2均大于1。根据实际需求，F1和F2可以相同，也可以不同，对此不作限制。

下面代入一个具体的场景对本实施例提供的面向虚拟现实的图像渲染方法和图像显示方法作进一步地说明。

在一个场景中，显示屏可以为VR(虚拟现实)/AR(增强现实)头戴显示设备的显示屏，图像(即输出图像)传输过程在计算机设备与VR/AR头戴显示设备之间发生。

由于传输带宽的限制，计算机设备直接向VR/AR头戴显示设备传输4K的图像对于硬件的压力太大，无法完成高分辨率高刷新率的实时显示。根据人眼观察的清晰程度和人眼追踪技术的实现，可以实现对4K的图像进行非高清区域画质压缩实现传输带宽的节省。

例如，如图2A所示，对于一个高分辨的待显示图像20，将该待显示图像20按照九宫格的形式分为九个待显示子区域，其中待显示子区域5为注视点对应的原分辨率采样区域(高清区域)。对其他八个待显示子区域分别进行如下处理：待显示子区域1、待显示子区域3、待显示子区域7、待显示子区域9的横向分辨率和纵向分辨率同时被压缩4倍；待显示子区域2、待显示子区域8的横向分辨率不变，纵向分辨率被压缩4倍；待显示子区域4、待显示子区域6的纵向分辨率不变，横向分辨率被压缩4倍。待显示图像20的分辨率大小为4320*4800，压缩后的输出图像30的分辨率大小为2160*2400，相比于待显示图像20，压缩后的输出图像30的横向分辨率是原始待显示图像20的横向分辨率的50％，压缩后的输出图像30的纵向分辨率是原始待显示图像20的纵向分辨率的50％，这样在传输输出图像30的过程中可以节省75％的带宽。当注视点位置发生改变的时候，对原分辨率采样区域(即待显示子区域5)的范围和位置及其他八个待显示子区域的范围和大小(此处的大小对应的是分辨率)进行相应的调整，就可以完成正确的压缩输出结果。

如图3所示，执行本公开实施例提供的面向虚拟现实的图像渲染方法的过程中：Step1为对场景进行整体采样，以得到原始图像15，原始图像15的分辨率为4320*4800。Step2为对Step1中获得的原始图像15进行反畸变处理，以得到待显示图像20，待显示图像20的分辨率同样为4320*4800。例如，待显示图像20包括第一采样区域和第二采样区域，第一采样区域为注视点位置对应的区域。Step3为对反畸变结果(即待显示图像20)进行采样，在Step3中，根据渲染模型，对待显示图像20的高清区域(即第一采样区域)进行原分辨率(高清分辨率)采样，以得到第一显示区域对应的图像25，采样后的图像25的分辨率为1440*1600，在Step3中，根据渲染模型，对整个待显示图像20进行压缩分辨率(低分辨率)采样，以得到中间待显示图像26，采样后的中间 待显示图像26的分辨率为1080*1200，然后根据第一采样区域和第二采样区域的位置和比例关系，分割中间待显示图像，以得到与第二采样区域对应的第二中间显示区域，第二显示区域包括第二中间显示区域。需要说明的是，此处对整个待显示图像20进行压缩分辨率(低分辨率)采样而不是对第二采样区域进行采样的原因是便于实现，实际上，在一些示例中，仅对第二采样区域进行采样即可。Step4为进行高清区域(即第一显示图像)及非高清区域(即第二显示区域)拼接后得到的输出图像30，输出图像30的分辨率为2160*2400。例如，Step4可以包括：根据注视点位置，确定渲染模型，渲染模型包括原分辨率采样区域和压缩分辨率采样区域；将第一显示区域置于原分辨率采样区域对应的位置，将第二显示区域置于压缩分辨率采样区域对应的位置，以得到输出图像30。Step5为通过VR/AR头戴显示设备对输出图像30进行拉伸后得到拉伸图像35，拉伸图像35的分辨率为4320*4800。

例如，如图4A所示，用建模软件创建的(多分辨率)原始渲染模型，按照注视点在中心的情况建立原始渲染模型200，原始渲染模型200包括多个原始采样子区域；然后调整原始渲染模型200中的每个原始采样子区域的参考位置(为了方便模型形状的变化)，需要说明的是，此处的每个原始采样子区域的参考位置为压缩时位置不变的点。

例如，原始采样子区域201的参考位置为原始采样子区域201的左上角，即点Q1，当原始渲染模型开始变化的，仅修改原始采样子区域201的大小，而不需要修改原始采样子区域201的参考位置。原始采样子区域203、207和209也做类似的处理，也就是说，原始采样子区域203的参考位置为原始采样子区域203的右上角，即点Q3，原始采样子区域207的参考位置为原始采样子区域207的左下角，即点Q7，原始采样子区域209的参考位置为原始采样子区域209的右下角，即点Q9。原始采样子区域202的参考位置置于原始采样子区域202的正上方边缘，例如正上方边缘的中点，即点Q2；原始采样子区域208的参考位置置于原始采样子区域208的正下方边缘，例如正下方边缘的中点，即点Q8，对于原始采样子区域202和208，当原始渲染模型变化的时候，只有点Q2和点Q8的横坐标需要进行修改而纵坐标表示不变。原始采样子区域204的参考位置可以置于原始采样子区域204的正左方边缘，例如正左方边缘的中点，即点Q4，原始采样子区域206的参考位置可以置于原始采样子区域206的正右方边缘，例如正右方边缘的中点，即点Q6，当原始渲染模 型变化的时候，修改点Q4和点Q6的纵坐标，而点Q4和点Q6的横坐标保持不变。原始采样子区域205的参考位置仍在原始采样子区域205的正中心，即点Q5，当原始渲染模型变化的时候，原始采样子区域205大小不变，仅修改点Q5的横坐标和纵坐标。

例如，原始渲染模型位于直角坐标系x-o-y中，直角坐标系x-o-y的坐标原点o与点Q5重合。

例如，在直角坐标系x-o-y中，点Q1、点Q4和点Q7的横坐标相同，点Q2、点Q5和点Q8的横坐标相同，点Q3、点Q6和点Q9的横坐标相同；点Q1、点Q2和点Q3的纵坐标相同，点Q4、点Q5和点Q6的纵坐标相同，点Q7、点Q8和点Q9的纵坐标相同。

例如，如图4B所示，在一些示例中，当对原始渲染模200进行调整后得到渲染模型100，渲染模型100包括多个采样子区域，多个采样子区域与图4A所示的多个原始采样子区域一一对应。

例如，采样子区域101的参考位置为采样子区域101的左上角，即点P1，在直角坐标系x-o-y中，点P1的坐标与原始采样子区域201的参考位置Q1的坐标相同，而采样子区域101的大小与原始采样子区域201的大小不相同。采样子区域103、107和109也与采样子区域101类似，也就是说，采样子区域103的参考位置为采样子区域103的右上角，即点P3，采样子区域107的参考位置为采样子区域107的左下角，即点P7，采样子区域109的参考位置为采样子区域109的右下角，即点P9。

例如，采样子区域102的参考位置置于采样子区域102的正上方边缘，例如正上方边缘的中点，即点P2，采样子区域108的参考位置置于采样子区域108的正下方边缘，例如正下方边缘的中点，即点P8。在直角坐标系x-o-y中，点P2的纵坐标与原始采样子区域202的参考位置Q2的纵坐标相同，而点P2的横坐标与原始采样子区域202的参考位置Q2的横坐标不相同；类似地，点P8的纵坐标与原始采样子区域208的参考位置Q8的纵坐标相同，而点P8的横坐标与原始采样子区域208的参考位置Q8的横坐标不相同。

例如，采样子区域104的参考位置可以置于采样子区域104的正左方边缘，例如正左方边缘的中点，即点P4，采样子区域106的参考位置可以置于采样子区域106的正右方边缘，例如正右方边缘的中点，即点P6。在直角坐标系x-o-y中，点P4的横坐标与原始采样子区域204的参考位置Q4的横坐标相同，而点 P4的纵坐标与原始采样子区域204的参考位置Q4的纵坐标不相同；类似地，点P6的横坐标与原始采样子区域206的参考位置Q6的横坐标相同，而点P6的纵坐标与原始采样子区域206的参考位置Q6的纵坐标不相同。

例如，采样子区域105的参考位置在采样子区域105的正中心，即点P5。在直角坐标系x-o-y中，点P5的横坐标与原始采样子区域205的参考位置Q5的横坐标不相同，点P5的纵坐标与原始采样子区域205的参考位置Q5的纵坐标也相同。采样子区域105的尺寸和原始采样子区域205的尺寸相同。如图4B所示，采样子区域105的参考位置P5与直角坐标系x-o-y的坐标原点o不重合。

例如，在直角坐标系x-o-y中，点P1、点QP4和点P7的横坐标相同，点P2、点P5和点P8的横坐标相同，点P3、点P6和点P9的横坐标相同；点P1、点P2和点P3的纵坐标相同，点P4、点P5和点P6的纵坐标相同，点P7、点P8和点P9的纵坐标相同。

图7为本公开一些实施例提供的一种注视点位置不同时对应的渲染模型和输出图像的示意图。

例如，如图7所示，将注视点可以落到的位置投影到(-1，-1)到(1，1)的二维坐标系x'-o'-y'中，例如，图2A中的待显示图像20中待显示子区域1的中心点、待显示子区域3的中心点、待显示子区域7的中心点和待显示子区域9的中心点所围成的区域即为注视点可以落到的位置。在该二维坐标系x'-o'-y'中，待显示子区域1的中心点的坐标为(-1，1)，待显示子区域2的中心点的坐标为(0，1)，待显示子区域3的中心点的坐标为(1，1)，待显示子区域4的中心点的坐标为(-1，0)，待显示子区域5的中心点的坐标为(0，0)，待显示子区域6的中心点的坐标为(1，0)，待显示子区域7的中心点的坐标为(-1，-1)，待显示子区域8的中心点的坐标为(0，-1)，待显示子区域9的中心点的坐标为(1，-1)。

例如，该图7中的四个情况(即Pic1、Pic2、Pic3、Pic4)所对应的注视点位置分别为二维坐标系x'-o'-y'中的(0，0)、(0.5，0.5)、(1，1)(采样子区域101、102、103、106、109的面积为0)、(1，0)(采样子区域103、106、109的面积为0)。当注视点位置发生改变的时候，原始采样子区域201、203、207、209根据注视点位置修改其区域大小和对应的范围，无须修改其参考位置；原始采样子区域202、208根据注视点位置修改其参考位置的横坐标，纵方向的区域大小和对应的范围；原始采样子区域204、206根据注视点位置修改其 参考位置可以的纵坐标，横方向的区域大小和对应的范围；原始采样子区域205根据注视点位置修改其参考位置的横纵坐标，同时调整虚拟相机的位置，从而获得高清区的反畸变图像。

例如，对原始采样子区域201进行调整后的得到采样子区域101，采样子区域101的计算结果如下。

假设注视点位置在二维坐标系x'-o'-y'中的坐标为(x,y)(x∈[-1,1],y∈[-1,1])。

则采样子区域101的大小为：localScale＝(x+1,1-y)。例如，在一些示例中，当原始采样子区域201和采样子区域101为矩形，且原始采样子区域201的第一边为T1，原始采样子区域201的第二边为T2，第一边和第二边为原始采样子区域201的两条相邻边，第一边表示沿第一方向的边，第二边表示沿第二方向的边。采样子区域101包括第三边和第四边，采样子区域101的第三边与原始采样子区域201的第一边对应，采样子区域101的第四边与原始采样子区域201的第二边对应，则第三边表示为T1*(1-y)，第四边表示为T2*(x+1)。

例如，采样子区域101对应贴图区域为：

例如，在一些示例中，渲染模型的形状可以为矩形，渲染模型可以置于一个二维坐标系x”-o”-y”中，渲染模型的左下角位于二维坐标系x”-o”-y”的坐标原点，且渲染模型被投影到(-1，-1)到(1，1)的区域。在x”轴方向上，渲染模型的长度为R1，在y”轴方向上，渲染模型的长度为R2。在x”轴方向上，采样子区域101的长度为R1*(x+1)/3,在y”轴方向上，采样子区域101的长度为R2*(1-y)/3。采样子区域101的左下角在二维坐标系x”-o”-y”中的坐标为(0，(y+2)/3)。

其它采样子区域也通过相似的方式计算出区域大小、参考位置以及范围。例如，则采样子区域102的大小为：localScale＝(1,1-y)，采样子区域102对应贴图区域为：

当注视点位置发生改变的时候，x和y值发生改变，对应渲染模型发生改变，从而生成匹配当前注视点位置的输出图像。

图8示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染装置的结构示意图。如图8所示，本公开的另一些实施例提供了一种面向虚拟现实的图像渲染装置包括：注视点投影模块、调整模块、渲染引擎和拼接模块。

例如，注视点投影模块用于根据人眼在虚拟现实设备的显示屏上的注视 点，得到注视点对应在待显示图像上的注视点位置。

例如，渲染引擎用于根据注视点位置确定所述待显示图像的第一采样区域和第二采样区域；对第一采样区域进行第一分辨率采样，以得到第一显示区域；对待显示图像进行第二分辨率采样，以得到与第二采样区域对应的第二显示区域。例如，第二采样区域的分辨率大于第二显示区域的分辨率。

例如，如图8所示，渲染引擎包括虚拟相机和渲染模型，虚拟相机用于根据渲染模型，对第一采样区域进行第一分辨率采样和对待显示图像进行第二分辨率采样。

例如，在一些示例中，渲染引擎可以用于还用于根据注视点位置，加载渲染模型，即确定渲染模型，其中，渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及压缩分辨率采样区域的分辨率压缩倍数；原分辨率采样区域对应于第一采样区域，压缩分辨率采样区域对应于第二采样区域。

例如，渲染引擎还用于获取原始渲染模型，原始渲染模型包括原始原分辨率采样区域和原始压缩分辨率采样区域。

例如，调整模块用于根据注视点位置，调整原始原分辨率采样区域的中心点位置以及原始压缩分辨率采样区域的分辨率压缩倍数，以确定渲染模型。

例如，拼接模块用于将第一显示区域和第二显示区域进行拼接，得到待传输至虚拟现实设备的输出图像。

应当注意，图8所示的图像渲染装置的组件只是示例性的，而非限制性的，根据实际应用需要，该图像渲染装置还可以具有其他组件。

需要说明的是，本实施例提供的面向虚拟现实的图像渲染装置的原理及工作流程与上述面向虚拟现实的图像渲染方法相似，相关之处可以参照上述说明，在此不再赘述。

图9示出了本公开至少一些实施例提供的一种面向虚拟现实的图像渲染***的示意图。

例如，本公开的另一些实施例提供了一种面向虚拟现实的图像渲染***，包括：虚拟现实设备和图像渲染装置；图像渲染装置包括：注视点投影模块、调整模块、渲染引擎和拼接模块。

注视点投影模块用于根据人眼在虚拟现实设备的显示屏上的注视点位置，得到注视点对应在待显示在显示屏上的图像上的位置。

渲染引擎用于加载渲染模型，其中，渲染模型预设有原分辨率采样区域和 压缩分辨率采样区域以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。

调整模块用于根据注视点对应在待显示在显示屏上的图像上的位置，调整原分辨率采样区域的中心点位置以及压缩分辨率采样区域的横向和/或纵向的分辨率压缩倍数。

渲染引擎用于根据调整后的渲染模型，对图像的原分辨率采样区域进行原分辨率采样并对压缩分辨率采样区域进行压缩分辨率采样。

拼接模块用于将采样后的原分辨率采样区域和压缩分辨率采样区域进行拼接，得到待传输至虚拟现实设备的图像。

例如，如图9所示，本公开的另一些实施例还提供了一种面向虚拟现实的图像渲染***包括虚拟现实设备和图像渲染装置。图像渲染装置为本公开上述任一实施例所述的图像渲染装置。

例如，虚拟现实设备可以为头戴显示设备等。头戴显示设备用于获取人眼在虚拟现实设备的显示屏上的注视点并接收图像渲染装置传输的输出图像。

例如，虚拟现实设备还被配置为获取场景的原始图像。虚拟现实设备或图像渲染装置可以对原始图像进行反畸变处理，以得到待显示图像。

需要说明的是，本实施例提供的面向虚拟现实的图像渲染***的原理及工作流程与上述面向虚拟现实的图像渲染方法相似，相关之处可以参照上述说明，在此不再赘述。

图10示出了本公开至少一些实施例提供的一种计算机设备的结构示意图。本公开的另一个实施例提供了一种计算机设备。

例如，计算机设备包括存储器和处理器。例如，存储器被配置为存储计算机程序。处理器被配置为运行计算机程序。计算机程序被所述处理器运行时实现上述任一实施例所述的图像渲染方法中的一个或多个步骤。

例如，处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA)或张量处理单元(TPU)等。

例如，存储器可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、 硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在存储器上可以存储一个或多个计算机指令，处理器可以运行所述计算机指令，以实现各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。

例如，如图10所示，在一些示例中，计算机设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机***操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。

以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

例如，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和示意图，图示了本实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包注视点投影模块、调整模块、渲染引擎和拼接模块。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。例如，注视点投影模块还可以被描述为“图像注视点获取模块”。

本公开的一些实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述计算机设备中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时可以实现上述任一实施例所述的图像渲染方法。

在本公开的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。

还需要说明的是，在本公开的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本公开的上述实施例仅仅是为清楚地说明本公开所作的举例，而并非是对本公开的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本公开的技术方案所引伸出的显而易见的变化或变动仍 处于本公开的保护范围之列。

Claims (19)

1. 一种面向虚拟现实的图像渲染方法，包括：

   获取待显示图像；

   根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在所述待显示图像上的注视点位置；

   根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

   对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

   对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率；

   将所述第一显示区域和所述第二显示区域进行拼接，以得到待传输至所述虚拟现实设备的输出图像。
2. 根据权利要求1所述的图像渲染方法，其中，对所述第一采样区域进行第一分辨率采样和对所述待显示图像进行第二分辨率采样包括：

   根据所述注视点位置，确定渲染模型，其中，所述渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及所述压缩分辨率采样区域的分辨率压缩倍数，所述原分辨率采样区域对应于所述第一采样区域，所述压缩分辨率采样区域对应于所述第二采样区域；

   根据所述渲染模型，对所述第一采样区域进行所述第一分辨率采样并对所述待显示图像进行所述第二分辨率采样。
3. 根据权利要求2所述的图像渲染方法，其中，根据所述注视点位置，确定渲染模型包括：

   获取原始渲染模型，其中，所述原始渲染模型包括原始原分辨率采样区域和原始压缩分辨率采样区域；

   根据所述注视点位置，调整所述原始原分辨率采样区域的中心点位置以及所述原始压缩分辨率采样区域的分辨率压缩倍数，以得到所述渲染模型。
4. 根据权利要求3所述的图像渲染方法，其中，所述原始压缩分辨率采样区域的分辨率压缩倍数根据所述原始压缩分辨率采样区域与所述原始原分辨率采样区域的位置关系被预设及调整。
5. 根据权利要求3或4所述的图像渲染方法，其中，所述压缩分辨率采样区域的分辨率压缩倍数包括横向分辨率压缩倍数和/或纵向分辨率压缩倍数。
6. 根据权利要求2-5任一项所述的图像渲染方法，其中，所述原分辨率采样区域和所述压缩分辨率采样区域构成九宫格结构，

   所述九宫格结构包括三行三列的多个区域，所述原分辨率采样区域位于所述九宫格结构的第二行和第二列。
7. 根据权利要求3-6任一项项所述的图像渲染方法，其中，所述第一采样区域的尺寸、所述原始原分辨率采样区域的尺寸与所述原分辨率采样区域的尺寸相同。
8. 根据权利要求3-6任一项所述的图像渲染方法，其中，调整所述原始原分辨率采样区域的中心点位置包括：

   当所述原始原分辨率采样区域的中心点为所述注视点位置时，判断所述原始原分辨率采样区域是否超出所述待显示图像的边界：

   若否，则调整所述原始原分辨率采样区域的中心点为所述注视点位置；

   若是，则调整所述原始原分辨率采样区域的中心点为在所述原始原分辨率采样区域不超出所述待显示图像的边界的情况下最接近所述注视点位置的位置。
9. 根据权利要求2-8任一项所述的图像渲染方法，其中，根据所述渲染模型，对所述待显示图像进行第二分辨率采样，包括：

   根据所述渲染模型，对所述待显示图像进行所述第二分辨率采样，以得到中间待显示图像；

   根据所述第一采样区域和第二采样区域的位置和比例关系，分割所述中间待显示图像，以得到与所述第一采样区域对应的第一中间显示区域和与所述第二采样区域对应的第二中间显示区域，所述第二显示区域包括所述第二中间显示区域。
10. 根据权利要求1-9任一项所述的图像渲染方法，其中，获取待显示图像包括：

    获取原始图像；

    对所述原始图像进行反畸变处理以得到所述待显示图像。
11. 根据权利要求1-10任一项所述的图像渲染方法，其中，所述第一采样区域的分辨率等于所述第一显示区域的分辨率。
12. 一种图像显示方法，包括：

    在渲染引擎中：

    获取待显示图像；

    根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在所述待显示图像上的注视点位置；

    根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

    对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

    对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率；

    将所述第一显示区域和所述第二显示区域进行拼接，以得到输出图像；以及

    将所述输出图像输出至虚拟现实设备；以及

    在所述虚拟现实设备中，

    通过所述虚拟现实设备对所述输出图像进行拉伸，以得到拉伸图像；

    在所述虚拟现实设备的显示屏上显示所述拉伸图像。
13. 根据权利要求12所述的图像显示方法，其中，所述输出图像包括所述第一显示区域和所述第二显示区域，

    通过所述虚拟现实设备对所述输出图像进行拉伸，以得到拉伸图像，包括：

    通过所述虚拟现实设备对所述输出图像中的所述第二显示区域进行拉伸，以得到拉伸显示区域；

    根据所述第一显示区域和所述拉伸显示区域，确定所述拉伸图像。
14. 一种面向虚拟现实的图像渲染装置，包括：注视点投影模块、渲染引擎和拼接模块；

    所述注视点投影模块用于根据人眼在虚拟现实设备的显示屏上的注视点，得到所述注视点对应在待显示图像上的注视点位置；

    所述渲染引擎用于：

    根据所述注视点位置确定所述待显示图像的第一采样区域和第二采样区域；

    对所述第一采样区域进行第一分辨率采样，以得到第一显示区域；

    对所述待显示图像进行第二分辨率采样，以得到与所述第二采样区域对应的第二显示区域，其中，所述第二采样区域的分辨率大于所述第二显示区域的分辨率；

    所述拼接模块用于将所述第一显示区域和所述第二显示区域进行拼接，得到待传输至所述虚拟现实设备的输出图像。
15. 根据权利要求14所述的图像渲染装置，其中，所述渲染引擎还用于：

    根据所述注视点位置，确定渲染模型，其中，所述渲染模型包括原分辨率采样区域、压缩分辨率采样区域以及所述压缩分辨率采样区域的分辨率压缩倍数，所述原分辨率采样区域对应于所述第一采样区域，所述压缩分辨率采样区域对应于所述第二采样区域；

    根据所述渲染模型，对所述第一采样区域进行第一分辨率采样并对所述待显示图像进行第二分辨率采样。
16. 根据权利要求15所述的图像渲染装置，还包括调整模块，

    其中，所述渲染引擎还用于获取原始渲染模型，其中，所述原始渲染模型包括原始原分辨率采样区域和原始压缩分辨率采样区域，

    所述调整模块用于根据所述注视点位置，调整所述原始原分辨率采样区域的中心点位置以及所述原始压缩分辨率采样区域的分辨率压缩倍数，以确定所述渲染模型。
17. 一种面向虚拟现实的图像渲染***，包括：虚拟现实设备和如权利要求14-16任一项所述的图像渲染装置；

    所述虚拟现实设备用于获取人眼在所述虚拟现实设备的显示屏上的注视点并接收所述图像渲染装置传输的所述输出图像。
18. 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的图像渲染方法。
19. 一种计算机设备，包括：

    存储器，被配置为存储计算机程序；

    处理器，被配置为运行所述计算机程序，其中，所述计算机程序被所述处理器运行时实现如权利要求1-11中任一项所述的图像渲染方法。

Images