CN109615703A - 增强现实的图像展示方法、装置及设备 - Google Patents

Abstract

本说明书实施例提供一种增强现实的图像展示方法、装置及设备，本说明书实施例获取人物摄像模块所采集的人物图像，利用人物图像中的人眼区域与其所在图像的关系，确定人眼与人物摄像模块的相对位置；并至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；以人眼位置信息作为渲染参数中场景摄像模块的位置信息，并对三维模型进行渲染，获得投影在显示屏幕上的投影图像，实现将增强现实展示内容由摄像模块视角的投影图像更改为人眼视角的投影图像，使投影图像跟随人眼位置的变更而变更。

Description

增强现实的图像展示方法、装置及设备

技术领域

本说明书涉及图像处理技术领域，尤其涉及增强现实的图像展示方法、装置及设备。

背景技术

增强现实(Augmented Reality，简称AR)，可以是指通过摄影机摄影的位置及角度并加上图像分析技术，让虚拟世界能够与现实世界场景进行结合与交互的技术。这种技术可以将真实的环境和虚拟的对象叠加到同一个画面而同时存在，从而给与用户超越现实的感官体验。在AR场景中，可以将相机位置作为渲染参数之一，对由虚拟对象和现实场景所获得的三维模型进行渲染，获得投影图像。然而，所展示的投影图像与移动设备的位姿相关，而针对设备静止且拍摄者运动的情况，设备不能做出相应的响应。

发明内容

为克服相关技术中存在的问题，本说明书提供了增强现实的图像展示方法、装置及设备。

根据本说明书实施例的第一方面，提供一种增强现实的图像展示方法，所述方法包括：

获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

在一个实施例中，所述方法应用于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。

在一个实施例中，所述三维模型的构建步骤包括：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

在一个实施例中，所述至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息，包括：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

在一个实施例中，所述方法还包括：

在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。

根据本说明书实施例的第二方面，提供一种增强现实的图像展示装置，所述装置包括：

相对位置确定模块，用于：获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

人眼位置确定模块，用于：至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

图像渲染模块，用于：以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

在一个实施例中，所述装置设于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。

在一个实施例中，所述装置还包括三维模型构建模块，用于：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

在一个实施例中，所述人眼位置确定模块，具体用于：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

在一个实施例中，所述装置还包括位置判断模块，用于：

在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。

根据本说明书实施例的第三方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上述任一项所述方法。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；并至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；以人眼位置信息作为渲染参数中场景摄像模块的位置信息，结合其他渲染参数对三维模型进行渲染，获得投影在显示屏幕上的投影图像，实现将增强现实展示内容由摄像模块视角的投影图像更改为人眼视角的投影图像，使投影图像跟随人眼位置的变更而变更。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1是本说明书根据一示例性实施例提供的一种AR场景拍摄示意图。

图2是本说明书根据一示例性实施例示出的一种增强现实的图像展示方法的流程图。

图3A是本说明书根据一示例性实施例示出的另一种增强现实的图像展示方法的流程图。

图3B是本说明书根据一示例性实施例示出一种虚拟对象显示位置对比示意图。

图4是本说明书根据一示例性实施例示出的一种增强现实的图像展示装置所在计算机设备的一种硬件结构图。

图5是本说明书根据一示例性实施例示出的一种增强现实的图像展示装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

增强现实(Augmented Reality，简称AR)技术，是一种将真实世界信息和虚拟世界信息无缝集成的新技术，该技术可以通过计算机技术，将虚拟的信息应用到真实世界，真实环境和虚拟物体实时地叠加到了同一个画面或空间同时存在。

AR技术一种常见的应用场景是，用户通过手持或佩戴等移动设备中的摄像模块拍摄真实环境，提供AR服务的软件可以基于所拍摄的初始图像数据，在初始图像数据上渲染一个或多个虚拟对象。实现上述场景的关键在于如何将虚拟对象与实际拍摄的现实场景结合，一方面，可以提供AR服务的软件可以预先配置一个或多个对应虚拟对象的模型，每个虚拟对象的模型规定该虚拟对象对应的状态演变规则，以决定虚拟对象的不同运动状态。另一方面，软件还可以根据设备所拍摄的图像数据，确定虚拟对象在现实场景中的位置，进而确定虚拟对象渲染到图像数据上的哪个位置，在成功渲染后，用户即可观看到基于真实环境叠加有虚拟对象的画面。

然而，对由虚拟对象和现实场景所构建的三维模型进行渲染时，是以摄像模块的视角进行渲染。增强显示方案依赖设备的陀螺仪、加速度及重力感应器来感知设备角度变化。因此，如果摄像模块没有移动而拍摄者/观看者移动的情况，成像图像不会做出相应的响应，代入感和立体感较差。

举例来说，如图1所示，是本说明书根据一示例性实施例提供的一种AR场景拍摄示意图。图1中以虚拟对象为小狗、AR***采用普通显示器显示为例进行示例，在该情况下，用户无需穿戴任何显示设备即可从显示屏幕中看到真实环境与虚拟对象的融合效果。拍摄者/观看者利用手机后置摄像头拍摄现实场景，在手机屏幕中展示包括小狗的投影图像。然而，拍摄者/观看者保持手机不动而眼睛与手机的相对位置发生改变时，手机屏幕所展示画面不会有任何改变。

鉴于此，本说明书提供一种增强现实的图像展示方法，通过将设备的增强现实展示内容由摄像机视角的复合图像改为人眼视角的复合图像，从而使得展示的图像更接近人眼视角的效果，增强立体感和代入感。其中，摄像模块之所以能摄影成像，主要是靠镜头将被摄体结成影像投在摄像管或固体摄像器件的成像面上。摄像机镜头能涵盖多大范围的景物，通常以角度来表示，该角度可以称为镜头的视角。本说明书实施例所指人眼视角，并非指人眼所能看到的全部视角，而可以是透过显示屏幕所能看到的视角。

以下结合附图对本说明书实施例进行示例说明。

如图2所示，是本说明书根据一示例性实施例示出的一种增强现实的图像展示方法的流程图，所述方法包括：

在步骤202中，获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

在步骤204中，至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

在步骤206中，以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

在本说明书实施例中，人物摄像模块和场景摄像模块是不同的拍摄模块，两个拍摄模块的拍摄区域不同。在一个例子中，人物摄像模块和场景摄像模块的摄影方向相反，人物摄像模块的摄像头与显示屏幕在电子设备的同一面，甚至人物摄像模块的摄像头镜面与显示屏幕在同一平面，进一步的，两个摄像模块设于同一电子设备。例如，实际应用中，由于由后置摄像头采集的图像相比于由前置摄像头采集的图像清晰度高，拍摄者/观看者往往***面。因此，人物摄像模块可以是前置摄像头，场景摄像模块可以是后置摄像头，从而实现利用后置摄像头进行增强现实方面的应用，并利用前置摄像头辅助AR增强。

可以理解的是，人物拍摄模块和场景拍摄模块都是拍摄模块，只是为了区分不同拍摄模块，而进行不同的命名。在其他例子中，某些终端可能正面和反面均具有显示屏幕，因此可以将后置摄像头作为人物摄像模块，将前置摄像头作为场景摄像模块；又或者，人物摄像模块与场景摄像模块为设置于不同设备上的拍摄模块等。

人眼位置信息是用于表示拍摄者/观看者人眼在空间的位置，可以是人眼在世界坐标系或场景摄像模块坐标系下的三维坐标。步骤202和步骤204介绍如何确定人眼位置信息。作为一种应用实例，可以先确定人眼与人物摄像模块的相对位置，再根据人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息。

关于步骤202，人物摄像模块可以采集人物图像，特别是在人物拍摄模块所能拍摄范围内的摄像者的图像。人眼与人物摄像模块的相对位置，可以是相对位姿，包括相对距离和相对方向。在一个例子中，相对位置可以利用带方向的向量表示。

人眼与人物摄像模块的相对位置，可以利用人脸检测算法对人物图像进行人脸检测而获得。例如，可以先检测人物图像中人脸区域，进而根据人眼与人脸的关系从人脸区域中确定人眼区域，根据人眼区域与图像的关系，确定人眼与人物摄像模块的相对位置。

在一个实施例中，可以利用深度学习训练模型来确定人眼与人物摄像模块的相对位置。例如，可以以标注有人眼与摄像模块的相对位置的人物图像构建训练样本，利用训练样本对预设初始模型进行训练，获得用于检测人眼与摄像模块的相对位置的检测模型。在应用阶段，利用检测模型对待检测图像进行检测，获得人眼与摄像模块的相对位置。可以理解的是，在其他例子中，每组训练样本中还可以包括其他有助于提高相对位置检测结果的样本特征，例如，人脸区域框等。另外，也可以采用其他方式，通过对人物图像的识别，获得人眼与人物摄像模块的相对位置，在此不一一赘述。

关于步骤204，场景摄像模块的位置信息用于表示场景摄像模块在空间的位置，可以是场景摄像模块在世界坐标系或场景摄像模块坐标系下的三维空间坐标，例如，场景摄像模块的位置信息可以在对场景摄像模块进行相机标定时获得。可以理解的是，人眼位置和场景摄像模块的位置，是在同一坐标系的坐标。在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，可以建立摄像机成像的几何模型，几何模型参数即摄像机参数。摄像机参数可以包括内参、外参、畸变参数等。实际应用中，可以采用相关技术中的标定方法对摄像机进行标定，例如，线性标定法、非线性优化标定法、Tsai的经典两步标定法等，在此不做限制。

在获得人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息后，可以至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息。

在某些应用场景中，人物摄像模块的设置位置和场景摄像模块的设置位置较近，可以忽略两模块间的相对位置。特别是针对人物摄像模块与场景摄像模块背对设置的情况，可以忽略两模块间的相对位置，因此，可以直接根据人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息。例如，假设后置摄像头在场景中的位置是X，人眼相对于前置摄像头的位置是Y，则人眼位置可以是X+Y，朝向可以为-Y。

在某些应用场景中，为了提高人眼位置信息的准确性，还可以结合人物摄像模块和场景摄像模块的相对位置来确定人眼位置信息。针对人物摄像模块和场景摄像模块设置在同一设备的情况，人物摄像模块和场景摄像模块的相对位置是固定的，可以基于其所在设备的设备信息而确定。相应的，所述至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息，可以包括：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

可见，在该实施例中，通过人物摄像模块和场景摄像模块的相对位置，可以获得人眼与场景摄像模块的相对位置，从而提高人眼位置信息的准确性。

本说明书实施例欲通过人眼视角替换摄像机视角，从而以人眼视角动态渲染背景场景(现实场景)和虚拟对象，增强立体感和代入感。因此，以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得，渲染参数是对三维模型进行渲染时所需参数。

在对模型进行渲染获得投影图像时，最主要的渲染参数包括相机位置和投影面信息，而本实施例主要调整渲染参数中的相机位置，实现将相机视角调整为人眼视角。为此，在该实施例中，可以人眼位置信息作为渲染参数中场景摄像模块的位置信息，以实现用人眼视角替换场景摄像模块的视角，利用调整后的渲染参数对三维模型进行渲染，可以获得投影在显示屏幕上的投影图像。其中，渲染参数中的投影面信息可以根据显示屏幕信息而定。此外，渲染参数还包括渲染时所需的其他参数，例如光照参数等，在此不一一列举。

在该实施例中，可以通过人眼位置调整渲染参数，将渲染参数和三维模型输入渲染模块，由渲染模块渲染出投影图像。

在AR***的传统流程中，可以从真实世界出发，经过数字成像，然后***通过影像数据和传感器数据一起对三维世界进行感知理解，同时得到对三维交互的理解。3D交互理解的目的是告知***要“增强”的内容。3D环境理解的目的就是告知***要“增强”的位置。一旦***确定了要增强的内容和位置以后，就可以进行虚实结合，即通过渲染模块完成。最后，合成的视频被传递到用户的视觉***中，就达到了增强现实的效果。

而本说明书的三维模型，可以是基于将虚拟对象与场景摄像模块所扫描显示场景相结合而获得的模型。三维模型基于场景建模和虚拟对象叠加而获得。以下列举其中一种三维模型构建方法，在该实施例中，三维模型的构建步骤可以包括：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

其中，所述场景模型又称为空间模型，包括但不限于用于实现增强现实的初始化场景模型。在本说明书实施例中可以通过对现实场景进行三维重建，获得场景模型。三维重建(3D Reconstruction)是从输入数据中建立现实场景中物体的3D模型。基于视觉的三维重建，可以指通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。

在一个实施例中，可以以二维图像作为输入，重建出场景中的三维场景模型。通过对物体的不同角度拍摄的RGB图像，使用相关的计算机图形学和视觉技术，便可以重建出该物体的三维模型。

而随着深度相机的出现，在另一个实施例中，场景摄像模块可以是深度相机。对于现实场景中的点，深度相机扫描得到的每一帧数据不仅包括场景中的点的彩色RGB图像，还可以包括每个点到深度相机所在的垂直平面的距离值。该距离值可以被称为深度值(depth)，而深度值共同组成这一帧的深度图像。深度图像可以理解为一副灰度图像，其中图像中每个点的灰度值代表该点的深度值，即该点在现实中的位置到相机所在垂直平面的真实距离。因此，可以深度相机采集的RGB图像和深度图像作为输入，重建场景中的三维场景模型。

在三维重建过程中，可以涉及图像获取、摄像机标定、特征提取、立体匹配、三维重建等过程。由于三维重建技术是一种较为成熟的现有技术，此处不再赘述。例如，可以采用即时定位与地图构建(SLAM，simultaneous localization and mapping)等方法实现对现实场景的三维重建。

在获得场景模型后，可以基于预设叠加策略，筛选出虚拟对象，并定位虚拟对象所需叠加的位置，从而将虚拟对象叠加至场景模型，进而获得三维模型。预设叠加策略可以是确定待增强的内容和位置的策略，在此不做限制。

由上述实施例可见，在使用场景摄像模块进行增强现实应用的同时，使用人物摄像模块对人眼进行定位，从而以人眼视角动态渲染现实场景和虚拟对象，可以在人眼与摄像模块位置发生变更时，所展示的投影图像做出相适应的响应，增强立体感和代入感。

在一个实施例中，在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。从而实现在人眼与人物摄像模块的相对位置发生变更时，执行步骤204和206，而在人眼与人物摄像模块的相对位置未发生变更时，不执行步骤204和206，从而避免实时计算导致的资源浪费。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

以下以其中一种组合进行示例说明。

如图3A所示，是本说明书根据一示例性实施例示出的另一种增强现实的图像展示方法的流程图。所述方法可以应用于移动设备中，将移动设备的增强现实展示内容由摄像机视角的复合图像改为人眼视角的复合图像。所述方法可以包括：

在步骤302中，通过后置摄像头采集的图像进行设备背面场景的三维重建，并叠加虚拟对象，获得三维模型。

在步骤304中，通过前置摄像头采集的图像，使用人脸检测算法检测到用户的人眼位置。

在步骤306中，通过人眼的位置，重新计算重建的三维场景在设备屏幕上的投影以及虚拟对象在设备屏幕位置的投影，并获得投影图像。

在步骤308中，将投影图像展示在设备屏幕上。

图3A中与图2中相关技术相似，在此不一一赘述。

为了方便理解，还结合附图3B对本实施例中虚拟对象的显示位置与现有技术中虚拟对象显示位置进行对比说明。后置摄像头的视角往往大于人眼透过屏幕框所能看到的景物的视角(简称人眼视角)，因此，摄像头视角下虚拟对象的遮挡区大于人眼视角下虚拟对象的遮挡区。图中32表示利用本实施例方案后，虚拟对象在屏幕中的显示位置，34表示利用现有技术方案后，虚拟对象在屏幕中的显示位置。

本实施例通过前置摄像头对人眼位置的判断来调节显示内容，使得显示场景更接近人眼视角的效果，代入感和立体感更强。使用三维场景重建来对背景建模，可以更好的响应人眼位置的变化而显示不同角度的背景。同时，使用三维场景重建的方式可以对设备静止而背景运动的场景做出更恰当的响应。

与前述增强现实的图像展示方法的实施例相对应，本说明书还提供了增强现实的图像展示装置及其所应用的电子设备的实施例。

本说明书增强现实的图像展示装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书增强现实的图像展示装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、网络接口420、内存430、以及非易失性存储器440之外，实施例中增强现实的图像展示装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图5所示，是本说明书根据一示例性实施例示出的一种增强现实的图像展示装置的框图，所述装置包括：

相对位置确定模块52，用于：获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

人眼位置确定模块54，用于：至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

图像渲染模块56，用于：以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。在一个实施例中，所述装置设于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。

在一个实施例中，所述装置还包括三维模型构建模块(图5未示出)，用于：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

在一个实施例中，所述人眼位置确定模块，具体用于：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

在一个实施例中，所述装置还包括位置判断模块(图5未示出)，用于：

在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本说明书实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如下方法：

获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：

获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (11)

1.一种增强现实的图像展示方法，所述方法包括：

获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

2.根据权利要求1所述的方法，所述方法应用于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。

3.根据权利要求1所述的方法，所述三维模型的构建步骤包括：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

4.根据权利要求1至3任一项所述的方法，所述至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息，包括：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

5.根据权利要求1至3任一项所述的方法，所述方法还包括：

在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。

6.一种增强现实的图像展示装置，所述装置包括：

相对位置确定模块，用于：获取人物摄像模块所采集的人物图像，并利用人物图像中人眼区域与所述人物图像的关系，确定人眼与人物摄像模块的相对位置；

人眼位置确定模块，用于：至少基于人眼与人物摄像模块的相对位置、以及场景摄像模块的位置信息，确定人眼位置信息；

图像渲染模块，用于：以人眼位置信息作为渲染参数中场景摄像模块的位置信息，对三维模型进行渲染，获得投影在显示屏幕上的投影图像，所述三维模型基于将虚拟对象与场景摄像模块所扫描现实场景相结合而获得。

7.根据权利要求6所述的装置，所述装置设于电子设备，所述人物摄像模块包括所述电子设备的前置摄像头，所述场景摄像模块包括所述电子设备的后置摄像头。

8.根据权利要求6所述的装置，所述装置还包括三维模型构建模块，用于：

利用场景摄像模块所采集的实景图像，对现实场景进行三维重建，获得场景模型；

基于预设叠加策略，将虚拟对象叠加至场景模型，获得三维模型。

9.根据权利要求6至8任一项所述的装置，所述人眼位置确定模块，具体用于：

获取人物摄像模块和场景摄像模块的相对位置；

利用人物摄像模块和场景摄像模块的相对位置，将人眼与人物摄像模块的相对位置，转换为人眼与场景摄像模块的相对位置；

结合人眼与场景摄像模块的相对位置、以及场景摄像模块的位置信息，计算获得人眼位置信息。

10.根据权利要求6至8任一项所述的装置，所述装置还包括位置判断模块，用于：

在确定人眼位置之前，根据当前所获得的人眼与人物摄像模块的相对位置，与上一次所获得的人眼与人物摄像模块的相对位置，判定人眼与人物摄像模块的相对位置发生变更。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至5任一项所述方法。