CN113066189A - 一种增强现实设备及虚实物体遮挡显示方法 - Google Patents

Abstract

本申请提供一种增强现实设备及虚实物体遮挡显示方法，所述增强现实设备可以在获取用户的控制指令以后，在真实场景画面中添加虚拟物体，以形成增强现实画面。期间，增强现实设备可以根据虚拟物体像素点对重叠区域内的真实场景画面中稀疏的点云坐标执行插值补偿，以通过插值补偿得到重叠区域内的真实物体像素点坐标。再经过对比坐标值中的深度分量，确定虚实物体的遮挡关系，以按照遮挡关系隐藏被遮挡的虚拟物体像素点，融合成最终的增强现实画面。所述增强现实设备可以在真实场景画面中识别稀疏点云状态下，获得较好的遮挡显示效果，降低硬件功耗的同时有效提升遮挡效果的显示质量。

Description

一种增强现实设备及虚实物体遮挡显示方法

技术领域

本申请涉及增强现实设备技术领域，尤其涉及一种增强现实设备及虚实物体遮挡显示方法。

背景技术

增强现实(Augmented Reality，AR)技术是一种将虚拟画面与真实场景相融合的技术。可以将生成的虚拟物体，如文字、图像、三维模型以及视频画面模拟仿真并应用在真实场景画面中，为用户带来虚拟画面与真实画面相结合的观影感受。增强现实设备是一种应用增强现实技术的智能显示设备，可以在使用中实时获取真实场景画面和虚拟画面，再将虚拟画面与真实场景画面相融合，以呈现给用户最终的融合画面。

增强现实设备在将虚拟画面与真实场景画面进行融合的过程中，需要对虚拟物体与真实物体之间的互相遮挡结果进行计算，以输出更真实的融合画面。例如，在用户移动观看视角的过程中，当虚拟物***于真实物体后方时，从用户观看的视角将出现真实物体遮挡虚拟物体的效果。

为了计算遮挡效果，增强现实设备可以基于深度相机获取当前真实场景的深度信息，构建点云坐标系，以通过多个3D坐标点构成的点云表示每个真实物体，最后配合已知的虚拟物***置信息融合出最终的遮挡效果。可见，这种画面融合方法所获得的画面效果依赖点云的密度，即点云密度越稠密，能够获得遮挡效果越好。但深度相机和较高的点云密度将严重增加硬件功耗，降低增强现实设备对虚实物体遮挡效果的显示性能。

发明内容

本申请提供了一种增强现实设备及虚实物体遮挡显示方法，以解决传统增强现实设备对虚实物体遮挡效果的显示性能低的问题。

一方面，本申请提供一种增强现实设备，包括：显示器、图像采集装置以及控制器，其中，所述显示器用于显示用户界面；图像采集装置用于获取真实场景画面；控制器被配置为执行以下程序步骤：

获取用户输入的用于显示增强现实画面的控制指令；

响应于所述控制指令，在所述真实场景画面中添加虚拟物体；

根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点；

检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系，以及根据检测结果隐藏被遮挡的虚拟物体像素点。

另一方面，本申请还提供一种虚实物体遮挡显示方法，应用于上述增强现实设备。所述虚实物体遮挡显示方法包括以下步骤：

获取用户输入的用于显示增强现实画面的控制指令；

响应于所述控制指令，在所述真实场景画面中添加虚拟物体；

根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点；

检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系，以及根据检测结果隐藏被遮挡的虚拟物体像素点。

由以上技术方案可知，本申请提供的增强现实设备及虚实物体遮挡显示方法可以在获取用户的控制指令以后，在真实场景画面中添加虚拟物体，以形成增强现实画面。期间，增强现实设备可以根据虚拟物体像素点对重叠区域内的真实场景画面中稀疏的点云坐标执行插值补偿，以通过插值补偿得到重叠区域内的真实物体像素点坐标。再经过对比坐标值中的深度分量，可以确定虚实物体的遮挡关系，最后按照遮挡关系隐藏被遮挡的虚拟物体像素点，融合成最终的增强现实画面。所述方法可以在真实场景画面的稀疏点云状态下，获得较好的遮挡显示效果，降低硬件功耗的同时有效提升遮挡效果的显示质量。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中包括虚拟现实设备的显示***结构示意图；

图2a为本申请实施例中增强现实设备结构示意图；

图2b为本申请实施例中带有镜片的增强现实设备结构示意图；

图2c为本申请实施例中通过投影装置和镜片呈现增强现实画面的效果示意图；

图3为本申请实施例中VR场景全局界面示意图；

图4为本申请实施例中全局界面的推荐内容区域示意图；

图5为本申请实施例中全局界面的应用快捷操作入口区域示意图；

图6为本申请实施例中全局界面的悬浮物示意图；

图7为本申请实施例中遮挡效果对比图；

图8为本申请实施例中虚实物体遮挡显示方法流程示意图；

图9为本申请实施例中虚实物体遮挡显示方法总流程图；

图10为本申请实施例中插值补偿算法流程示意图；

图11为本申请实施例中点云识别结果示意图；

图12为本申请实施例中点云分类结果示意图；

图13为本申请实施例中边缘域识别结果示意图；

图14为本申请实施例中插值补偿算法中遍历点云结果示意图；

图15为本申请实施例中插值补偿算法总体流程图。

具体实施方式

为使本申请示例性实施例的目的、技术方案和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请中示出的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。

应当理解，本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语“模块”，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。

本申请实施例中，增强现实(Augmented Reality，AR)设备，是一种能够佩戴于用户头部，为用户提供沉浸感体验的显示设备。AR设备可以实时获取真实场景图像画面，并在真实场景画面中融合虚拟物体影像，以形成增强现实画面效果。所述AR设备包括但不限于AR头戴设备、AR眼镜、可穿戴式AR游戏机等。所述增强现实设备可以一种独立设备，例如AR头戴设备。也可以是由多种设备组合而成，且具有增强现实画面显示功能的设备组合。例如，可以通过在虚拟现实(Virtual Reality，VR)设备上加装摄像头的方式组合形成增强现实设备。

本申请实施例中所述的增强现实设备均以AR头戴设备为例对技术方案进行阐述，应当理解的是，所提供的技术方案同时可应用于其他类型的虚拟现实设备。所述虚拟现实设备500可以独立运行，或者作为外接设备接入其他智能显示设备，如图1所示。其中，所述显示设备可以是智能电视、计算机、平板电脑、服务器等。

增强现实设备500可以佩戴于用户头部，并在佩戴于用户面部后，实时获取真实场景画面。通过将获取的真实场景画面实时进行显示，为用户双眼提供近距离影像，带来沉浸感体验。为了呈现具体的显示画面，增强现实设备500可以包括多个用于显示画面和用于佩戴的部件。以AR头戴设备为例，增强现实设备500包括但不限于外壳、位置固定件、图像采集装置、光学***、显示组件、姿态检测电路、接口电路等部件。实际应用中，图像采集装置可固定在外壳上或部分嵌入到外壳中，用于采集用户正前方的真实场景画面。光学***、显示组件、姿态检测电路以及接口电路可以封装于外壳内，用于呈现具体的显示画面；位置固定件则设置在外壳的两侧，用于将整个AR设备固定在用户的头部。

其中，图像采集装置可以代替用户双眼对正前方的真实场景进行视频录制。因此，图像采集装置可以是与用户双眼可视范围相适应的一个或多个摄像头。例如，如图2a所示，图像采集装置可以由两个设置在前壳上的摄像头组成。在使用中，两个摄像头可以实时拍摄真实场景画面，并将真实场景画面以数据流的形式发送给显示组件进行显示。其中，真实场景画面所形成的数据流包括多个连续帧图像。

在显示组件显示真实场景画面的同时，增强现实设备500还可以在真实场景画面中添加虚拟物体，以最终融合形成增强现实画面。为此，在本申请的部分实施例中，增强现实设备500还可以包括控制器等数据处理***。图像采集装置在获取真实场景画面后，可以先将真实场景画面发送给控制器，触发控制器调用虚拟物体，并进行渲染获得虚拟物体画面。再将虚拟物体画面与真实场景画面进行融合，形成最终的增强现实画面。最后将增强现实画面发送给显示组件进行显示。

控制器向真实场景画面中添加的虚拟物体包括但不限于文字、图像、三维模型以及视频画面等。由于增强现实设备500可以将真实场景画面与虚拟物体画面进行融合，因此为了获得更好的融合效果，在真实场景画面中添加的虚拟物体画面也应具有立体感的效果。例如，在真实场景画面中添加3D模型时，随着用户头部动作变化，3D模型所呈现的画面也可以实时改变观看视角。

为此，在一些实施例中，增强现实设备500中还可以内置有姿态检测电路。姿态检测电路可以由多个位姿传感器组成，包括但不限于重力加速度传感器、陀螺仪等。在使用中，姿态检测电路可以实时检测用户在使用中的头部姿态数据，并将头部姿态数据发送给控制器，使控制器可以根据头部姿态数据渲染添加的虚拟物体，形成不同观看角度下的虚拟物体画面。

例如，增强现实设备500可以基于Unity 3D引擎构建渲染场景，并在使用中，向渲染场景中加载虚拟物体模型。虚拟渲染场景中还包括左显示相机和右显示相机等用于呈现最终渲染效果的虚拟相机。增强现实设备500可以通过左显示相机和右显示相机对渲染场景中的虚拟物体进行图像拍摄，以分别获得左眼画面和右眼画面，并输出给显示组件进行显示。当用户头部进行转动时，姿态检测电路可以检测出对应的姿态数据，并发送给控制器。控制器则根据姿态数据调整渲染场景中左显示相机和右显示相机的拍摄角度，从而获得不同视角下的虚拟物体画面。

为了显示最终的增强现实画面，显示组件可以包括显示器以及与显示过程相关的数据传输电路。其中，针对不同显示方式的增强现实设备，显示组件中的显示器数量也不同。即在一些实施例中，增强现实设备500包括两个显示器，分别为用户双眼呈现AR画面。例如，对于AR头戴设备，所呈现的AR画面包括左眼画面和右眼画面。显示组件可以由左显示器和右显示器组成。在显示AR画面时，左显示器可以显示左眼画面。所述左眼画面由左摄像头拍摄的真实场景画面以及渲染场景中左显示相机拍摄的虚拟物体画面叠加融合获得。同理，右显示器用于显示右眼画面，所述右眼画面由右摄像头拍摄的真实场景画面以及渲染场景中右显示相机拍摄的虚拟物体画面叠加融合获得。

需要说明的是，如图2b所示，对于部分增强现实设备500，其显示器还可以不显示图像采集装置拍摄的真实场景画面，而是将用户双眼前方区域设置为透明的形式，使用户可以直接观看到真实场景画面，再通过透明显示器或者投影的方式，将虚拟物体画面添加到用户双眼前方，形成增强现实画面。

在一些实施例中，如图2c所示，增强现实设备500还可以包括投影装置和镜片。其中，投影装置用于投射虚拟物体画面；镜片可以由多个偏振片组成为半透半反镜片。形成的半透半反镜片，可以使不同方向射入的光进行反射或透射，一方面可以使用户前方的真实场景画面能够透过镜片进入用户视野内；另一方面可以反射投影装置发出的光，使投影装置投出的虚拟物体画面能够通过镜片内侧的反射作用进入到用户视野内。

为了能够获得更好的画面融合效果，增强现实设备500的镜片的厚度从顶部至底部的方向上逐渐减小，以使反射后的虚拟物体画面光能够平行于用户视平线，缓解虚拟物体画面在反射过程中产生变形。另外，通过投影装置和镜片呈现增强现实画面的增强现实设备500也包括摄像头。用于拍摄真实场景画面，但所拍摄的真实场景画面不会进行显示，仅用于执行虚拟物体遮挡显示方法的融合计算过程。

在一些实施例中，增强现实设备500还可以仅包括一个显示器。例如，增强现实设备500可以由一个宽屏显示器组成。宽屏显示器被划分为左侧区域和右侧区域两个部分，其中，左侧区域用于显示左眼画面，右侧区域用于显示右眼画面。

需要说明的是，上述真实场景画面可以由增强现实设备500中的摄像头对当前用户的使用场景执行图像拍摄获得；也可以通过其他方式获得。例如，增强现实设备500可以通过接口电路连接图像采集设备或者其他带有图像采集装置的设备，并通过接入的设备获得真实场景画面。

因此，在一些实施例中，增强现实设备500可以接入显示设备200，并与服务器400之间构建一个基于网络的显示***，在增强现实设备500、显示设备200以及服务器400之间可以实时进行数据交互，例如显示设备200可以从服务器400获取媒资数据并进行播放，以及将具体的画面内容传输给增强现实设备500中进行显示。即所述真实场景画面具有广义性，可以是指增强现实设备500的图像采集装置拍摄获得的实时场景图像，也可以是由显示设备200、服务器400等发送至增强现实设备500的媒资画面。

其中，显示设备200可以是液晶显示器、OLED显示器、投影显示设备。具体显示设备类型，尺寸大小和分辨率等不作限定。本领技术人员可以理解的是，显示设备200可以根据需要做性能和配置上一些改变。显示设备200可以提供广播接收电视功能，还可以附加提供计算机支持功能的智能网络电视功能，包括但不限于，网络电视、智能电视、互联网协议电视(IPTV)等。

显示设备200以及增强现实设备500还与服务器400通过多种通信方式进行数据通信。可允许显示设备200和增强现实设备500通过局域网(Local Area Network，LAN)、无线局域网(Wireless Local Area Network，WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的，显示设备200通过发送和接收信息，以及电子节目指南(Electrical Program Guide，EPG)互动，接收软件程序更新，或访问远程储存的数字媒体库。服务器400可以是一个集群，也可以是多个集群。可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。

在进行数据交互的过程中，用户可通过移动终端300和遥控器100操作显示设备200。移动终端300和遥控器100可以与显示设备200之间采用直接的无线连接方式进行通信，也可以采用非直接连接的方式进行通信。即在一些实施例中，移动终端300和遥控器100可以通过蓝牙、红外等直接连接方式与显示设备200进行通信。当发送控制指令时，移动终端300和遥控器100可以直接将控制指令数据通过蓝牙或红外发送到显示设备200。

在另一些实施例中，移动终端300和遥控器100还可以通过无线路由器与显示设备200接入同一个无线网络，以通过无线网络与显示设备200建立非直接连接通信。当发送控制指令时，移动终端300和遥控器100可以将控制指令数据先发送给无线路由器，再通过无线路由器将控制指令数据转发给显示设备200。

在一些实施例中，用户还可以使用移动终端300和遥控器100与增强现实设备500进行交互。交互过程所建立的连接方式也可以是直接连接和非直接连接两种。例如，可以将移动终端300和遥控器100作为增强现实场景中的手柄进行使用，以实现体感交互等功能。又例如，可以通过无线路由器或显示设备200转发交互指令给增强现实设备500。

除上述传媒资数据外，增强现实设备500的接口电路可以用于传递交互数据。在实际应用中，增强现实设备500还可以通过接口电路连接其他显示设备或外设，以通过和连接设备之间进行数据交互，实现更为复杂的功能。例如，增强现实设备500还可以通过接口电路连接手柄，手柄可以由用户手持操作，从而在用户界面中执行相关操作。

其中，所述用户界面可以根据用户操作呈现为多种不同类型的UI布局。例如，用户界面可以包括全局界面，AR/VR终端启动后的全局UI如图3所示，所述全局UI可显示于AR/VR终端的显示屏幕中，也可显示于所述显示设备的显示器中。全局UI可以包括推荐内容区域1、业务分类扩展区域2、应用快捷操作入口区域3以及悬浮物区域4。

推荐内容区域1用于配置不同分类TAB栏目；在所述栏目中可以选择配置媒资、专题等；所述媒资可包括2D影视、教育课程、旅游、3D、360度全景、直播、4K影视、程序应用、游戏、旅游等具有媒资内容的业务，并且所述栏目可以选择不同的模板样式、可支持媒资和专题同时推荐编排，如图4所示。

在一些实施例中，推荐内容区域1的顶部还可以设置有状态栏，在状态栏中可以设置有多个显示控件，包括时间、网络连接状态、电量等常用选项。状态栏中包括的内容可以由用户自定义，例如，可以在状态栏中添加天气、用户头像等内容。状态栏中所包含的内容可以被用户选中，以执行相应的功能。例如，用户点击时间选项时，增强现实设备500可以在当前界面中显示时间设置窗口，或者跳转至日历界面。当用户点击网络连接状态选项时，增强现实设备500可以在当前界面显示WiFi列表，或者跳转至网络设置界面。

状态栏中显示的内容可以根据具体项目的设置状态呈现为不同的内容形式。例如，时间控件可以直接显示为具体的时间文字信息，并在不同的时间显示不同的文字；电量控件则可以根据增强现实设备500的当前电量剩余情况，显示为不同的电池图案样式。

状态栏用于使用户能够执行常用的控制操作，实现快速对增强现实设备500进行设置。由于对增强现实设备500的设置程序包括诸多项，因此在状态栏中通常不能将所有常用设置选项全部显示。为此，在一些实施例中，状态栏中还可以设置有扩展选项。扩展选项被选中后，可以在当前界面中呈现扩展窗口，在扩展窗口中可以进一步设置有多个设置选项，用于实现增强现实设备500的其他功能。

例如，在一些实施例中，扩展选项被选中后，可以在扩展窗口中设置“快捷中心”选项。用户在点击快捷中心选项后，增强现实设备500可以显示快捷中心窗口。快捷中心窗口中可以包括“截屏”、“录屏”以及“投屏”选项，用于分别唤醒相应的功能。

业务分类扩展区域2支持配置不同分类的扩展分类。如果有新的业务类型时，支持配置独立TAB，展示对应的页面内容。业务分类扩展区域2中的扩展分类，也可以对其进行排序调整及下线业务操作。在一些实施例中，业务分类扩展区域2可包括的内容：影视、教育、旅游、应用、我的。在一些实施例中，业务分类扩展区域2被配置为可展示大业务类别TAB，且支持配置更多的分类，其图标支持配置，如图3所示。

应用快捷操作入口区域3可指定预装应用靠前显示以进行运营推荐，支持配置特殊图标样式替换默认图标，所述预装应用可指定为多个。在一些实施例中，应用快捷操作入口区域3还包括用于移动选项目标的左向移动控件、右向移动控件，用于选择不同的图标，如图5所示。

悬浮物区域4可以配置为在固定区域左斜侧上方、或右斜侧上方，可配置为可替换形象、或配置为跳转链接。例如，悬浮物接收到确认操作后跳转至某个应用、或显示指定的功能页，如图6所示。在一些实施例中，悬浮物也可不配置跳转链接，单纯的用于形象展示。

在一些实施例中，全局UI还包括位于顶端的状态栏，用于显示时间、网络连接状态、电量状态、及更多快捷操作入口。使用AR/VR终端的手柄，即手持控制器选中图标后，图标将显示包括左右展开的文字提示，选中的图标按照位置自身进行左右拉伸展开显示。

例如，选中搜索图标后，搜索图标将显示包含文字“搜索”及原图标，进一步点击图标或文字后，搜索图标将跳转至搜索页面；又例如，点击收藏图标跳转至收藏TAB、点击历史图标默认定位显示历史页面、点击搜索图标跳转至全局搜索页面、点击消息图标跳转至消息页面。

在一些实施例中，可以通过外设执行交互，例如AR/VR终端的手柄可对AR/VR终端的用户界面进行操作，包括返回按钮；主页键，且其长按可实现重置功能；音量加减按钮；触摸区域，所述触摸区域可实现焦点的点击、滑动、按住拖拽功能。

在一些实施例中，用户界面上还可以设有“AR/VR”模式切换选项，增强现实设备500可以在用户的点击该切换选项时，在VR模式和AR模式进行切换。对于VR模式，增强现实设备500不会启用图像采集装置，仅通过渲染场景对指定的媒资数据进行渲染，以形成虚拟现实画面；而对于AR模式，增强现实设备500则需要启用图像采集装置实时进行拍摄，以获取真实场景画面，并在渲染场景中添加虚拟物体输出虚拟物体画面，从而在融合后形成AR画面。

增强现实设备500在融合AR画面的过程中，为了获得更好的融合效果，需要对真实场景画面中的物体与虚拟物体的遮挡状态进行检测，并根据遮挡状态控制虚拟物体画面的显示方式。例如，如图7所示，当增强现实设备在居家场景中添加虚拟的猫时，如果没有遮挡效果，猫对应的画面全部覆盖于真实场景画面的上层，使融合后的画面不够真实，效果差。而当计算遮挡效果后，猫对应画面的一部分将被沙发遮挡，因此可以获得更真实的融合画面，提高用户体验。

为了获得遮挡效果，在一些实施例中，可以通过深度相机获取当前真实场景画面的深度信息，或者基于深度学习模型预测出当前场景的深度信息，再与虚拟物体中各像素点的位置进行对比，确定真实物体和虚拟物体之间的遮挡关系，从而调整显示方式，获得遮挡效果。

在计算遮挡效果的过程中，增强现实设备500需要针对真实场景画面识别出用于标记多个关键点在空间中位置的点云信息。其中，点云信息是指通过图像处理算法，通过多个标记点(坐标)对真实场景画面中的各真实物体进行表示。显然，一个真实物体可以通过多个点云进行表示。

可见，采用这种遮挡效果的计算方式所获得的遮挡显示效果，完全依赖于对真实场景画面中真实物体识别出的点云密度。真实场景画面中识别出的点云密度越高，对真实物体形状和位置的表示就越精确，相应遮挡关系的计算精度也就越高，融合后的效果也越好。但是过高的点云密度将极大的消耗硬件性能，使得这种显示方法不能应用在硬件配置较低的增强现实设备500中。

另外，在使用深度相机获取深度信息时，由于深度相机的功耗较大，因此会降低增强现实设备500的连续使用时间。而依靠深度学习模型获取深度信息时，为了保证实时性，输入深度学习模型中的图片分辨率不宜过高，通常为240×180的缩略图，进一步降低了最终的遮挡效果处理质量。

因此，为了在获得较好的遮挡效果的前提下，尽可能降低硬件性能消耗，在本申请的部分实施例中还提供一种增强现实设备500。该增强现实设备500包括显示器、图像采集装置以及控制器。其中，显示器用于显示用户界面，图像采集装置用于获取真实场景画面。控制器则被配置为执行一种虚实物体遮挡显示方法，如图8所示，具体包括如下内容：

获取用户输入的用于显示增强现实画面的控制指令。增强现实设备500的控制器可以在用户使用过程中接收用户输入的多种控制指令。每种控制指令对应一个控制功能，部分控制指令可以用于显示增强现实画面。用户可以在不同的使用环境下输入显示增强现实画面的控制指令，例如，用于显示增强现实画面的控制指令可以是通过打开某种具有AR功能的应用程序完成输入；控制指令还可以通过打开增强现实设备500中的某一虚拟模型文件时完成输入。

具体的交互动作可以根据增强现实设备500所支持的交互方式的不同，呈现为不同的动作形式。例如，对于外接手柄操作的AR设备，用户可以通过手柄控制在应用程序界面中移动焦点光标，并在焦点光标移动至AR应用位置时，点击手柄上的“OK/确认”键，启动AR应用。此时，控制器可以接收到用户输入的用于显示增强现实画面的控制指令。

对于部分增强现实设备500，还可以内置或外接智能语音***，因此用户还可以通过智能语音***输入用于显示增强现实画面的控制指令。例如，用户可以通过输入诸如“打开××AR应用”、“我想看AR”等语音内容，控制增强现实设备500启动AR应用或打开AR资源文件，此时，控制器也可以接收到用于显示增强现实画面的控制指令。

在接收到用户输入的用于显示增强现实画面的控制指令后，增强现实设备500的控制器可以响应于该控制指令，运行与显示AR画面的控制程序。例如，增强现实设备500可以通过运行AR应用，控制启用图像采集装置，以通过图像采集装置实时获取真实场景画面。

显然，根据增强现实设备500的真实场景画面数据来源的不同，图像采集装置可以通过不同的方式获取真实场景画面。例如，当用户针对自身所处环境使用增强现实功能时，图像采集装置具体为设置在增强现实设备500上的摄像头。在使用过程中，增强现实设备500可以通过摄像头对当前用户所处的环境进行拍摄，以获得当前使用场景对应的真实场景画面。又例如，当用户针对自身场景以外的其他环境使用增强现实功时，图像采集装置具体为视频传输装置，以获得指定使用环境的真实场景画面视频流。

增强现实设备500在获取真实场景画面的同时，还可以调用虚拟物体相关的数据。例如，增强现实设备500可以在本地存储器或者云端服务器的虚拟物体库中获取虚拟物体模型。显然，根据不同的AR应用以及用户的使用需求，增强现实设备500所调用的虚拟物体数据也可以包括不同的形式。例如，虚拟物体数据可以包括但不限于文字、图像、三维模型以及视频画面中的一种或多种的组合。

在调用虚拟物体数据后，控制器还可以在真实场景画面中添加虚拟物体画面，以使真实场景画面中可以附带虚拟物体画面。为了将虚拟物体画面添加至真实场景画面中，增强现实设备500可以将虚拟物体加载至渲染场景中进行渲染，并通过渲染场景输出虚拟物体画面。

其中，渲染场景可以根据真实场景画面构建一个等比例的场景模型，具体的场景画面比例可以通过图像采集装置中摄像头的光学参数确定。也可以通过对真实场景画面执行深度分析，如基于OpenCV的双眼视差分析方法，确定真实场景画面对应的深度信息，并根据深度信息构建等比例的场景模型。

在渲染场景中构建场景模型后，增强现实设备500可以根据用户设定的显示效果，将虚拟物体加载至渲染场景中，使虚拟物体处于场景模型中的某一具***置。再通过渲染场景中的左显示相机和右显示相机对已经加载有虚拟物体模型的渲染场景执行图像拍摄，获得特定视角下的虚拟物体画面。

如图9所示，增强现实设备500在真实场景画面中添加虚拟物体画面后，可以对真实场景画面中的真实物体与添加的虚拟物体之间的位置关系进行检测，并根据检测结果确定在当前观看视角下，真实物体与虚拟物体之间的遮挡关系。

其中，真实物体是指通过对真实场景画面进行图像识别的识别结果。例如，增强现实设备500可以根据OpenCV双眼视差或者基于单目的同步定位与建图(SimultaneousLocalization And Mapping，SLAM)方法，对真实场景画面进行深度识别，确定真实场景画面对应的深度信息。

深度识别的识别结果可以通过点云坐标的形式进行表示。在点云坐标中，每一个点云可以表示真实场景画面中一个具体像素点对应在真实场景中的3D空间坐标。例如，深度信息中的一个点云坐标P1(x1，y1，z1)可以表示P1对应在真实物体上的一个点，在真实场景中水平位置为x1，高度位置为y1，深度位置为z1。在识别出点云坐标的同时，还可以对真实场景画面进行物体识别，以获得当前真实场景中所包含的真实物体。物体识别可以通过深度学习模型完成，例如可以通过Yolov深度学习方法，在真实场景画面中识别真实物体，并针对每个真实物体输出一个可视化的物体框，用于区分每个独立的物体。通过物体识别，可以在点云坐标与真实物体画面之间建立对应关系，即可以确定每个点云坐标对应归属的真实物体。

根据不同的深度识别方法，以及增强现实设备500的运算性能，增强现实设备500的深度识别结果中所包含的点云坐标密度也不同。通常，单个图像中所识别出的点云数量可以划分为稀疏、半稠密(半稀疏)和稠密三个等级。其中，稀疏点云密度一般为单个图像中的点云数量小于几百或几千个的数量区间；稠密点云密度一般为单个图像中的点云数量在十万个或以上的数量区间；而介于稀疏点云密度和稠密点云密度之间数量区间的点云密度则称为半稠密(或半稀疏)。

显然，稀疏点云密度的识别结果对增强现实设备500的处理性能要求较低，但获得的遮挡效果也较差；稠密点云密度的识别结果获得的遮挡效果较好，但对于增强现实设备500的处理性能要求也较高。因此，为了在较低的处理性能要求的前提下，获得更好的遮挡显示效果，增强现实设备500还可以根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点。

为了克服稀疏点云密度的遮挡显示效果差的问题，增强现实设备500可以针对稀疏的点云密度识别结果，通过插值补偿算法得到在虚拟物体与真实物体重叠区域内，未被点云坐标表示的真实物体像素点对应的3D坐标。其中，插值补偿是指通过特定范围(阈值框)内的多个点云坐标，计算获得阈值框中心点坐标的过程。

即如图10所示，在一些实施例中，增强现实设备500可以先获取虚拟物***于重叠区域内的每个顶点坐标。其中，顶点坐标是指在将虚拟物体加载至渲染场景中以后，虚拟物体上的每个点在渲染场景中的3D坐标。由于渲染场景与真实场景具有相同的场景模型结构，因此顶点坐标也可以指虚拟物体上的每个点对应在真实场景中的3D坐标。

在获取虚拟物体的顶点坐标后，增强现实设备500还可以将每个顶点坐标转化为2D像素坐标，即获得虚拟物体像素点。其中，虚拟物体像素点是指虚拟物体画面添加至真实场景画面以后对应的像素点位置。增强现实设备500可以按照下式将3D坐标转化为2D坐标：

式中，Zc为相机坐标系下的深度，也称为相机尺度；dx和dy为在x方向和y方向上的一个像素分别占据的长度单位，即一个像素代表的实际物理值的大小；γ为参考值，可以取γ＝0；u0和v0为图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；f为相机焦距；[R|T]为相机外参，即相机相对于世界坐标系的旋转和平移参数；Xw、Yw、Zw分别表示在世界坐标系下的3D坐标。

同理，为了便于后续计算，在一些实施例中，对于点云坐标，增强现实设备500也可以按照上式将3D的点云坐标转化为2D的真实物体像素点坐标。

在获得虚拟物体像素点后，增强现实设备500再以每个虚拟物体像素点为中心，遍历位于阈值框内的所有真实物体点云坐标。其中，所述阈值框为以虚拟物体像素点为中心、以设定像素点数为半径的圆形区域。例如，阈值框是半径为N个像素的圆。针对不同的使用场景和不同的真实场景画面图像分辨率，阈值框半径N可以进行调整。示例地，在通用场景下，N取值为20。

增强现实设备500再对位于阈值框内的真实物体点云坐标执行插值补偿运算，以获得与当前虚拟物体像素点位置相同的真实物体像素点。其中，插值补偿运算可以通过获取阈值框内的至少一个真实物体点云坐标后，按照插值补偿算法，计算真实物体点云的3D坐标平均值。增强现实设备500可以按照下式计算真实物体点云的3D坐标平均值：

式中，Pti为阈值框中心点坐标，即中心点坐标为多个Pn点坐标的求平均值；Pn为点云的3D坐标，即Pn＝Vector3(Xn，Yn，Zn)。

在计算获得真实物体点云的3D坐标平均值以后，增强现实设备500再将坐标平均值转化为阈值框中心点坐标，从而获得与当前虚拟物体像素点位置相同的真实物体像素点。

例如，如图11、图12、图13、图14所示，以虚拟物体上的一个像素点为中心，划定20像素的圆形阈值框以后，通过遍历获得位于阈值框内的点云坐标分别为P1(x1，y1，z1)、P2(x2，y2，z2)、P3(x3，y3，z3)以及P4(x4，y4，z4)。则通过上式求得阈值框中心点pt1对应坐标为：x＝(x1+x2+x3+x4)/4；y＝(y1+y2+y3+y4)/4；z＝(z 1+z2+z3+z4)/4。如此，可以插值补偿出与虚拟物体像素点同一平面位置上的真实物体像素点坐标。

在插值补偿出一个虚拟物体像素点相同位置的真实物体像素点坐标以后，增强现实设备500还可以按照上述插值补偿方法，继续对其他虚拟物体像素点相同位置的真实物体像素点坐标进行计算，直至插值补偿出重叠区域内的所有未通过点云坐标表示的真实物体像素点坐标。

在插值补偿出重叠区域内的所有真实物体像素点坐标后，增强现实设备500可以根据真实物体像素点坐标，检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系。为了检测遮挡关系，增强现实设备500可以对比真实物体像素点坐标与虚拟物体顶点坐标中表示深度的坐标值分量，以确定真实物体和虚拟物体在相同位置像素点上对应的深度。例如，增强现实设备500可以提取重叠区域内真实物体像素点和虚拟物体顶点坐标中的深度坐标分量Zn；如果真实物体像素点对应深度坐标分量大于顶点坐标对应的深度坐标分量，则可以确定虚拟物体像素点未被遮挡；如果真实物体像素点对应深度坐标分量小于顶点坐标对应的深度坐标分量，则确定虚拟物体像素点被遮挡。

最后，增强现实设备500还可以根据检测结果隐藏被遮挡的虚拟物体像素点。即通过检测虚拟物体像素点和真实物体像素点对应在空间中的深度信息，可以确定虚拟物体画面中，哪些像素点会被真实物体像素点遮挡。对于被遮挡的像素点，增强现实设备500可以将该位置上的虚拟物体图像进行隐藏，即在该位置显示真实物体像素点。而未被遮挡的像素点，则可以通过虚拟物体像素点覆盖真实物体像素点，即在该位置显示虚拟物体像素点。如此，经过对重叠区域中，每个像素点位置上的真实物体与虚拟物体的遮挡关系进行检测，可以将虚拟物体画面中的部分像素点剔除，达到遮挡显示效果。

可见，经过插值补偿，增强现实设备500可以获得重叠区域内的全部真实物体像素点，使得在稀疏点云识别结果下，也能够按照插值补偿获得的真实物体像素点进行遮挡关系检测，提高遮挡显示效果。并且，相对于识别几十万个点云的数据处理量，本实施例提供的遮挡显示方法可以仅针对重叠区域内执行插值补偿运算，数据处理量将大大降低，因此可以减少处理过程的硬件消耗。

由于被遮挡的虚拟物体仅发生在重叠区域，因此本申请中增强现实设备500可以仅对重叠区域执行插值补偿运算，而对于重叠区域以外的其他区域，增强显示设备500无需进行遮挡关系的检测，从而进一步减少数据处理量。为了能够确定真实物体画面与虚拟物体画面的重叠区域，在一些实施例中，如图11所示，增强现实设备500在根据虚拟物体像素点对重叠区域内的真实场景画面点云执行插值补偿时，还可以先从真实场景画面中识别真实物体点云坐标，再根据真实物体点云坐标，识别出每个真实物体的边缘域。

如图12所示，增强现实设备500可以在识别出真实物体点云坐标后，对点云坐标执行聚类分析。聚类分析可以通过点云坐标的具体数值以及点云坐标之间的间隔距离，结合对应像素点上的颜色值变化确定多个点云坐标是否归属于同一个真实物体。聚类分析还可以采用行业内通用的其他聚类方式，如k-means聚类算法等，识别出归属于同一个真实物体的点云集合，并剔除点云坐标中的离散异值点。

如图13所示，经过聚类分析后，增强现实设备500可以根据聚类分析获得的多个点云集合，进行边缘像素点的提取，以提取出提取每个点云集合的边缘像素坐标，获得真实物体范围。再将真实物体范围内的点云坐标转化为2D像素坐标，以输出每个真实物体的边缘域。

在输出每个真实物体的边缘域以后，增强现实设备500还可以对比边缘域与虚拟物体的覆盖区域，以获得重叠区域。显然，当真实场景画面中包括多个真实物体时，虚拟物体画面可能同时与多个真实物体之间具有遮挡关系，因此在确定重叠区域时，需要对真实场景画面中的全部真实物体与虚拟物体之间的重叠区域进行判断，即在部分情况下，可以获得多个重叠区域。

在一些实施例中，如图15所示，增强现实设备500在向真实场景画面中添加虚拟物体的过程中，可以对识别出的真实物体进行标记。即，如图11所示，增强现实设备500可以先获取带有真实场景画面的图像帧，再对图像帧执行图像识别，以获得图像帧中每个真实物体图像框。再根据点云坐标位置生成点云集合，并且为每个点云集合设置识别ID，以及存储点云集合。其中，所述点云集合包括处于同一个真实物体图像框内的多个点云。

通过设置识别ID可以有效区分点云集合，使得在两个真实物体在画面中距离较近时，可以通过识别ID区分归属于不同真实物体的点云，从而在执行插值补偿的过程中，仅根据同一个真实物体的点云插值补偿出真实物体像素点，缓解不同真实物体对插值补偿结果的影响。

为了呈现最终融合的增强现实画面，在一些实施例中，增强现实设备500可以通过遍历重叠区域内的全部虚拟物体像素点，并实时检测遍历进程。当重叠区域内的全部虚拟物体像素点均完成遮挡关系检测后，生成增强现实画面，以控制显示器显示增强现实画面。

其中，生成的增强现实画面是根据遮挡关系对虚拟物体画面进行部分隐藏后所最终形成的融合画面。显然，通过检测虚拟物体像素点的遮挡关系，如果虚拟物体像素点被遮挡，则在增强现实画面保留真实物体像素点；如果虚拟物体像素点未被遮挡，在增强现实画面保留虚拟物体像素点。

通过对虚拟物体逐个像素进行遮挡关系检测，可以剔除虚拟物体画面中被遮挡的像素点，再通过多层叠加等画面融合方式，可以获得最终的增强现实画面，最后发送给显示器进行显示即可为用户呈现具有正确遮挡关系的影像画面。

需要说明的是，为了获得更好的画面融合效果，在增强现实设备500数据处理性能能够满足需要时，可以对真实场景画面的每一帧图像均采用上述处理方式，获得多个连续帧增强现实画面，并呈现给用户。而对于部分增强现实设备500，当数据处理性能不足以满足对每一帧都采用上述处理方式时，也可以仅对真实场景画面中的部分关键帧执行上述处理，从而在满足基本融合效果的前提下，尽可能减少对硬件处理性能的消耗。

基于上述增强现实设备500，本申请的部分实施例中还提供一种虚实物体遮挡显示方法，所述虚实物体遮挡显示方法可以先获取用户输入的用于显示增强现实画面的控制指令，并响应于控制指令，在真实场景画面中添加虚拟物体，再根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点；通过检测重叠区域内真实物体像素点和虚拟物体像素点的遮挡关系隐藏被遮挡的虚拟物体像素点。

由以上技术方案可知，本实施例中提供的虚实物体遮挡显示方法可以在获取用户的控制指令以后，在真实场景画面中添加虚拟物体，以形成增强现实画面。期间，增强现实设备500可以根据虚拟物体像素点对重叠区域内的真实场景画面中稀疏的点云坐标执行插值补偿，以通过插值补偿得到重叠区域内的真实物体像素点坐标。再经过对比坐标值中的深度分量，可以确定虚实物体的遮挡关系，最后按照遮挡关系隐藏被遮挡的虚拟物体像素点，融合成最终的增强现实画面。所述方法可以在真实场景画面的稀疏点云状态下，获得较好的遮挡显示效果，降低硬件功耗的同时有效提升遮挡效果的显示质量。

需要说明的是，对于透明显示器的增强现实设备500或者通过投影装置和镜片呈现增强现实画面的增强现实设备500，控制器可以在接收到图像采集装置采集的真实场景画面后，仅根据真实场景画面执行相关遮挡显示计算，对虚拟物体画面进行处理后发送给透明显示器或投影装置，以达到画面融合的效果。

本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种增强现实设备，其特征在于，包括：

显示器，被配置为显示用户界面；

图像采集装置，被配置为获取真实场景画面；

控制器，被配置为：

获取用户输入的用于显示增强现实画面的控制指令；

响应于所述控制指令，在所述真实场景画面中添加虚拟物体；

根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点；

检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系，以及根据检测结果隐藏被遮挡的虚拟物体像素点。

2.根据权利要求1所述的增强现实设备，其特征在于，根据虚拟物体像素点对重叠区域内的真实场景画面点云执行插值补偿的步骤中，所述控制器被进一步配置为：

从所述真实场景画面中识别真实物体点云坐标；

根据所述真实物体点云坐标，识别出每个真实物体的边缘域；

对比所述边缘域与所述虚拟物体的覆盖区域，以获得所述重叠区域。

3.根据权利要求2所述的增强现实设备，其特征在于，根据所述真实物体点云坐标，识别出每个真实物体的边缘域的步骤中，所述控制器被进一步配置为：

对所述点云坐标执行聚类分析，剔除点云坐标中的离散异值点，以及识别出归属于同一个真实物体的点云集合；

提取每个所述点云集合的边缘像素坐标，获得真实物体范围；

将所述真实物体范围内的点云坐标转化为2D像素坐标，以输出每个真实物体的边缘域。

4.根据权利要求1所述的增强现实设备，其特征在于，根据虚拟物体像素点对重叠区域内的真实场景画面点云执行插值补偿的步骤中，所述控制器被进一步配置为：

获取所述虚拟物***于所述重叠区域内的每个顶点坐标；

将每个所述顶点坐标转化为2D像素坐标，以获得虚拟物体像素点；

以每个所述虚拟物体像素点为中心，遍历位于阈值框内的所有真实物体点云坐标，所述阈值框为以所述虚拟物体像素点为中心、以设定像素点数为半径的圆形区域；

对位于阈值框内的真实物体点云坐标执行插值补偿运算，以获得与当前虚拟物体像素点位置相同的真实物体像素点。

5.根据权利要求4所述的增强现实设备，其特征在于，对位于阈值框内的真实物体点云坐标执行插值补偿运算的步骤中，所述控制器被进一步配置为：

获取所述阈值框内的至少一个真实物体点云坐标；

按照所述插值补偿算法，计算所述真实物体点云的3D坐标平均值；

将所述坐标平均值转化为所述阈值框中心点坐标，以获得与当前虚拟物体像素点位置相同的真实物体像素点。

6.根据权利要求1所述的增强现实设备，其特征在于，检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系的步骤中，所述控制器被进一步配置为：

提取所述重叠区域内所述真实物体像素点和所述虚拟物体顶点坐标中的深度坐标分量；

如果所述真实物体像素点对应深度坐标分量大于所述顶点坐标对应的深度坐标分量，标记所述虚拟物体像素点未被遮挡；

如果所述真实物体像素点对应深度坐标分量小于所述顶点坐标对应的深度坐标分量，标记所述虚拟物体像素点被遮挡。

7.根据权利要求1所述的增强现实设备，其特征在于，根据检测结果隐藏被遮挡的虚拟物体像素点的步骤中，所述控制器被进一步配置为：

遍历所述重叠区域内的全部虚拟物体像素点；

如果所述重叠区域内的全部虚拟物体像素点均完成遮挡关系对比，生成增强现实画面；

控制所述显示器显示所述增强现实画面。

8.根据权利要求7所述的增强现实设备，其特征在于，生成增强现实画面的步骤中，所述控制器被进一步配置为：

如果所述虚拟物体像素点被遮挡，在所述增强现实画面保留真实物体像素点；

如果所述虚拟物体像素点未被遮挡，在所述增强现实画面保留虚拟物体像素点。

9.根据权利要求1所述的增强现实设备，其特征在于，在所述真实场景画面中添加虚拟物体的步骤中，所述控制器被进一步配置为：

获取带有真实场景画面的图像帧；

对所述图像帧执行图像识别，以获得所述图像帧中每个真实物体图像框；

根据点云坐标位置生成点云集合，所述点云集合包括处于同一个所述真实物体图像框内的多个点云；

为每个所述点云集合设置识别ID，以及存储所述点云集合。

10.一种虚实物体遮挡显示方法，其特征在于，应用于增强现实设备，所述增强现实设备包括显示器、图像采集装置以及控制器，其中，所述图像采集装置用于获取真实场景画面；所述虚实物体遮挡显示方法包括：

获取用户输入的用于显示增强现实画面的控制指令；

响应于所述控制指令，在所述真实场景画面中添加虚拟物体；

根据虚拟物体像素点对重叠区域内的真实场景画面点云坐标执行插值补偿，以获得真实物体像素点；

检测重叠区域内所述真实物体像素点和虚拟物体像素点的遮挡关系，以及根据检测结果隐藏被遮挡的虚拟物体像素点。

Images