CN108711144B - 增强现实方法及装置 - Google Patents

Abstract

本发明实施例涉及图像处理技术领域，提供一种增强现实方法及装置，应用于具备摄像装置的电子设备，所述方法包括：获取摄像装置采集的原始图像；将原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；基于深度逻辑关系，确定出分割结果图中的前景图像坐标；利用前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图；将原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。本发明实施例提供的增强现实方法使增强现实显示图像具有深度逻辑关系，与现有技术相比具有更好的真实感。

Description

增强现实方法及装置

技术领域

本发明实施例涉及图像处理技术领域，具体而言，涉及一种增强现实方法及装置。

背景技术

增强现实(Augmented Reality，AR)是一种实时计算摄像机位置和角度并在真实场景中叠加虚拟物体的技术，其通过附加虚拟的数字信息以提升用户与真实环境的交互体验。增强现实的大致过程为：首先在真实场景中定位摄像机位姿，然后采用计算机图形渲染技术将虚拟物体注册到真实场景中生成虚实融合的应用视图。但是，这种基于单摄像机透视关系进行图像合成的增强现实技术，不能根据拍摄物体的深度关系进行显示，故存在着真实感较差的问题。

发明内容

本发明实施例的目的在于提供一种增强现实方法及装置，用以改善上述问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种增强现实方法，应用于具备摄像装置的电子设备，所述方法包括：获取所述摄像装置采集的原始图像；将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标；利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图；将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

第二方面，本发明实施例还提供了一种增强现实装置，应用于具备摄像装置的电子设备，所述装置包括原始图像获取模块、语义分割模块、前景图像坐标确定模块、执行模块及图像合成模块。其中，原始图像获取模块用于获取所述摄像装置采集的原始图像；语义分割模块用于将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；前景图像坐标确定模块用于基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标；执行模块用于利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图；图像合成模块用于将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

相对现有技术，本发明实施例提供的一种增强现实方法及装置，首先，将摄像装置采集的原始图像输入预先训练好的语义分割网络得到包含深度逻辑关系的分割结果图；然后，基于深度逻辑关系，确定出分割结果图中的前景图像坐标，并利用前景图像坐标对场景贴图进行逻辑运算得到具有深度逻辑信息的场景贴图；最后，将原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像，从而使增强现实显示图像具有深度逻辑关系，与现有技术相比具有更好的真实感。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的方框示意图。

图2示出了本发明实施例提供的增强现实方法流程图。

图3为图2示出的步骤S102的子步骤流程图。

图4为图2示出的步骤S104的子步骤流程图。

图5示出了本发明实施例提供的增强现实装置的方框示意图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-摄像装置；200-增强现实装置；201-原始图像获取模块；202-语义分割模块；203-前景图像坐标确定模块；204-执行模块；205-图像合成模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于平板电脑、便携计算机、笔记本电脑、台式机等等。所述电子设备100包括增强现实装置200、存储器101、存储控制器102、处理器103、外设接口104和摄像装置105。

所述存储器101、存储控制器102、处理器103、外设接口104和摄像装置105各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述增强现实装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作***(operating system，OS)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述增强现实装置200包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序。

处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104用于将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104、处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

摄像装置105用于采集原始图像，在本实施例中，摄像装置105为单目摄像头，可以是数字摄像头或者模拟摄像头。

第一实施例

请参照图2，图2示出了本发明实施例提供的增强现实方法流程图。增强现实方法包括以下步骤：

步骤S101，获取摄像装置采集的原始图像。

在本发明实施例中，原始图像可以是摄像装置105拍摄的图片，原始图像中包含不同的主体，例如，广告栏、建筑物、车辆、树木、人、动物、天空等。

步骤S102，将原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图。

在本发明实施例中，获取到摄像装置105采集的原始图像之后，可以将该图像输入预先训练好的语义分割网络，通过语义分割网络对原始图像进行语义分割，从而得到包含深度逻辑关系的分割结果图。

作为一种实施方式，通过语义分割网络对原始图像进行语义分割的方法，可以包括：首先，将原始图像输入预先训练好的语义分割网络，利用语义分割网络的前部网络层对原始图像进行特征提取，得到包含原始图像的区块特征和整体特征的初步分割结果，区块特征可以是识别出来的形状类似于某个主体的拓扑结构，例如，形状类似于广告栏、建筑物、车辆、树木、人、动物、天空等主体的单个拓扑结构，均为区块特征，整体特征可以是识别出来的包括所有区块的逻辑结构，例如，包括广告栏、建筑物、车辆、树木、人、动物、天空等所有区块的逻辑结构，如天空一定在地面上、车辆一定在地面上行驶、人一定在地面上行走等；然后，利用语义分割网络的后部网络层对初步分割结果进行分类，得到分割结果图，也就是说，将包含原始图像的区块特征和整体特征的初步分割结果输入语义分割网络的后部网络层进行图像像素分类，得到包含各个图像区域的分割结果图；最后，根据分割结果图中各个图像区域的深度信息，例如，拍照时人一定在所有物体之前，天空一定在所有物体之后，得到包含深度逻辑关系的分割结果图。

请参照图3，步骤S102可以包括以下子步骤：

子步骤S1021，将原始图像输入预先训练好的语义分割网络，通过语义分割网络对原始图像进行语义分割，得到初步分割结果。

在本发明实施例中，将原始图像输入预先训练好的语义分割网络之后，利用语义分割网络的前部网络层对原始图像进行特征提取，得到包含原始图像的区块特征和整体特征的初步分割结果，前部网络层可以包括多个卷积层及与每个卷积层对应的多个池化层，利用语义分割网络的前部网络层对原始图像进行特征提取的方法为现有技术，在此不再赘述。

子步骤S1022，利用语义分割网络对初步分割结果进行分类，得到包含深度逻辑关系的分割结果图。

在本发明实施例中，语义分割网络的前部网络层对原始图像进行特征提取，得到包含原始图像的区块特征和整体特征的初步分割结果之后，将该初步分割结果输入语义分割网络的后部网络层，利用后部网络层进行图像像素分类，包含各个图像区域的分割结果图，后部网络层包括多个空洞卷积层，利用后部网络层进行像素分类得到分割结果图的方法为现有技术，在此不再赘述。

在本发明实施例中，语义分割网络的后部网络层对初步分割结果进行图像像素分类，包含各个图像区域的分割结果图之后，根据分割结果图中各个图像区域的深度信息，例如，拍照时人一定在所有物体之前，天空一定在所有物体之后，得到包含深度逻辑关系的分割结果图，分割结果图中各个图像区域的深度信息是由开发人员自行确定的。

步骤S103，基于深度逻辑关系，确定出分割结果图中的前景图像坐标。

在本发明实施例中，利用语义分割网络对原始图像进行语义分割，得到包含深度逻辑关系的分割结果图之后，基于该深度逻辑关系，确定出分割结果图中的前景图像区域和背景图像区域，再进一步确定出分割结果图中的前景图像坐标。

步骤S104，利用前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。

在本发明实施例中，基于深度逻辑关系，确定出分割结果图中的前景图像坐标之后，利用前景图像坐标对场景贴图进行逻辑运算，以去掉前景图像区域对应的贴图图像区域，例如，原始图像中人是前景图像，则利用前景图像坐标对场景贴图进行逻辑运算时，就会把场景贴图中人对应的贴图图像区域去掉，由于去掉了场景贴图中前景图像区域对应的贴图图像区域，这样就得到了具有深度逻辑信息的场景贴图，利用前景图像坐标得到具有深度逻辑信息的场景贴图的具体方法请参照子步骤S1041～子步骤S1043。

请参照图4，步骤S104可以包括以下子步骤：

子步骤S1041，依据原始图像，获取摄像装置的透视信息。

在本发明实施例中，利用前景图像坐标对场景贴图进行逻辑运算时，先依据原始图像获取摄像装置105的透视信息，具体过程可以包括：

首先，对原始图像进行特征点提取得到原始图像的特征点，原始图像的特征点可以是原始图像拍摄的物体中具有标定意义的点，例如，原始图像拍摄的是一个长方形的广告栏，则原始图像的特征点可以是该广告栏的4个角点；

然后，确定出该特征点对应的世界坐标和图像坐标，世界坐标可以是原始图像的特征点在物理世界中的物理世界位置，图像坐标可以是原始图像的特征点在原始图像中的行数和列数；

接下来，依据原始图像的特征点对应的世界坐标和图像坐标，计算出摄像装置105的内参数矩阵和外参数矩阵，该内参数矩阵和外参数矩阵构成摄像装置105的透视信息，摄像装置105的内参数是与摄像装置105自身特性相关的参数，例如焦距、畸变系数等，摄像装置105的外参数是摄像装置105在世界坐标系中的参数，例如位置、旋转方向等。假设原始图像中某一特征点的图像坐标为(x_i，y_i)，该特征点的世界坐标为(X_i,Y_i,Z_i)，则可以根据该特征点的图像坐标和世界坐标之间的转换公式

和

计算出转换矩阵

再根据转换矩阵H，计算出摄像装置105的内参数矩阵和外参数矩阵。

子步骤S1042，根据摄像装置的透视信息，确定出场景贴图所在的贴图区域坐标。

在本发明实施例中，计算出摄像装置105的透视信息之后，根据该透视信息，依据场景贴图确定出场景贴图所在的贴图区域坐标，该贴图区域坐标是依据摄像装置105的透视信息将场景贴图进行坐标转换之后得到的坐标，场景贴图所在的贴图区域坐标具体的确定过程为：首先，获取场景贴图的图像坐标，其中，场景贴图的图像坐标包含该场景贴图与原始图像中场景之间的逻辑关系，例如，场景贴图为广告贴图，该广告贴图一般要贴在原始图像的广告栏里面，则该广告贴图的图像坐标与原始图像中广告栏对应；然后，依据摄像装置105的透视信息，对场景贴图的图像坐标进行坐标变换，确定出预设场景贴图所在的贴图区域坐标，例如，从左往右拍摄广告栏得到的广告栏图像从左往右逐渐变小，则与该广告栏对应的广告贴图同样需要按照摄像装置105的透视信息变换为从左往右逐渐变小的贴图。

子步骤S1043，依据贴图区域坐标，将前景图像坐标和场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，其中，场景贴图对原始图像的背景图像进行局部遮挡。

在本发明实施例中，确定出场景贴图所在的贴图区域坐标之后，基于该贴图区域坐标，利用前景图像坐标对场景贴图进行逻辑运算，以去掉前景图像区域对应的贴图图像区域，该场景贴图只对原始图像的背景图像区域进行局部遮挡，由于去掉了场景贴图中前景图像区域对应的贴图图像区域，这样就得到了具有深度逻辑信息的场景贴图。

步骤S105，将原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

在本发明实施例中，得到具有深度逻辑信息的场景贴图之后，将原始图像与具有深度逻辑信息的场景贴图进行图像合成，例如，原始图像中人是前景图像，场景贴图中去掉了人对应的贴图图像区域，则将原始图像与去掉了人对应的贴图图像区域的场景贴图进行图像合成之后，得到的贴图结果图像中人就可以显示出来。

与现有技术相比，本发明实施例提供的增强现实方法具有以下有益效果：

首先，利用语义分割网络将原始图像分割为各个图像区域，再根据各个图像区域的深度信息，确定出分割结果图中的前景图像区域和背景图像区域，进而使用前景图像区域对场景贴图进行逻辑运算，从而使增强现实显示图像具有深度逻辑关系，与现有技术相比具有更好的真实感；

其次，依据原始图像获取摄像装置105的透视信息之后，以该透视信息为基础，确定出场景贴图所在的贴图区域坐标，从而使场景贴图能更好的与原始图像合成在一起，进一步提高了增强现实显示图像的真实感。

第二实施例

请参照图5，图5示出了本发明实施例提供的增强现实装置200的方框示意图。增强现实装置200包括原始图像获取模块201、语义分割模块202、前景图像坐标确定模块203、执行模块204及图像合成模块205。

原始图像获取模块201，用于获取摄像装置采集的原始图像。

语义分割模块202，用于将原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图。

在本发明实施例中，语义分割模块202，具体用于将原始图像输入预先训练好的语义分割网络，通过语义分割网络对原始图像进行语义分割，得到初步分割结果；利用语义分割网络对初步分割结果进行分类，得到包含深度逻辑关系的分割结果图。

前景图像坐标确定模块203，用于基于深度逻辑关系，确定出分割结果图中的前景图像坐标。

执行模块204，用于利用前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。

在本发明实施例中，执行模块204，具体用于依据原始图像，获取摄像装置105的透视信息；根据摄像装置105的透视信息，确定出场景贴图所在的贴图区域坐标；依据贴图区域坐标，将前景图像坐标和场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，其中，场景贴图对原始图像的背景图像进行局部遮挡。

在本发明实施例中，执行模块204执行依据原始图像，获取摄像装置105的透视信息的方式包括：对原始图像进行特征点提取，得到原始图像的特征点；确定出特征点对应的世界坐标和图像坐标；依据特征点对应的世界坐标和图像坐标，计算出摄像装置105的内参数矩阵和外参数矩阵，其中，摄像装置105的透视信息包括内参数矩阵和外参数矩阵。

在本发明实施例中，执行模块204执行根据摄像装置105的透视信息，确定出场景贴图所在的贴图区域坐标的方式包括：获取场景贴图的图像坐标，其中，场景贴图的图像坐标包含该场景贴图与原始图像中场景之间的逻辑关系；依据摄像装置105的透视信息，对场景贴图的图像坐标进行坐标变换，确定出场景贴图所在的贴图区域坐标。

图像合成模块205，用于将原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

综上所述，本发明实施例提供的一种增强现实方法及装置，应用于具备摄像装置的电子设备，所述方法包括：获取摄像装置采集的原始图像；将原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；基于深度逻辑关系，确定出分割结果图中的前景图像坐标；利用前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图；将原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。本发明实施例提供的增强现实方法使增强现实显示图像具有深度逻辑关系，与现有技术相比具有更好的真实感。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种增强现实方法，其特征在于，应用于具备摄像装置的电子设备，所述方法包括：

获取所述摄像装置采集的原始图像；

将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；

基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标，所述前景图像坐标为所述分割结果图中前景图像区域的图像坐标；

利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，具有深度逻辑信息的场景贴图去掉了所述场景贴图中与所述前景图像区域对应的贴图图像区域，以使具有深度逻辑信息的场景贴图只对原始图像的背景图像区域进行局部遮挡；

将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

2.如权利要求1所述的方法，其特征在于，所述利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图的步骤，包括：

依据所述原始图像，获取所述摄像装置的透视信息；

根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标；

依据所述贴图区域坐标，将所述前景图像坐标和所述场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。

3.如权利要求2所述的方法，其特征在于，所述依据所述原始图像，获取所述摄像装置的透视信息的步骤，包括：

对所述原始图像进行特征点提取，得到所述原始图像的特征点；

确定出所述特征点对应的世界坐标和图像坐标；

依据所述特征点对应的世界坐标和图像坐标，计算出所述摄像装置的内参数矩阵和外参数矩阵，其中，所述摄像装置的透视信息包括内参数矩阵和外参数矩阵。

4.如权利要求2所述的方法，其特征在于，所述根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标的步骤，包括：

获取所述场景贴图的图像坐标，其中，所述场景贴图的图像坐标包含该场景贴图与所述原始图像中场景之间的逻辑关系；

依据所述摄像装置的透视信息，对所述场景贴图的图像坐标进行坐标变换，确定出所述场景贴图所在的贴图区域坐标。

5.如权利要求1所述的方法，其特征在于，所述将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图的步骤，包括：

将所述原始图像输入预先训练好的语义分割网络，通过所述语义分割网络对所述原始图像进行语义分割，得到初步分割结果；

利用所述语义分割网络对所述初步分割结果进行分类，得到包含深度逻辑关系的分割结果图。

6.一种增强现实装置，其特征在于，应用于具备摄像装置的电子设备，所述装置包括：

原始图像获取模块，用于获取所述摄像装置采集的原始图像；

语义分割模块，用于将所述原始图像输入预先训练好的语义分割网络，得到包含深度逻辑关系的分割结果图；

前景图像坐标确定模块，用于基于所述深度逻辑关系，确定出所述分割结果图中的前景图像坐标，所述前景图像坐标为所述分割结果图中前景图像区域的图像坐标；

执行模块，用于利用所述前景图像坐标对场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图，具有深度逻辑信息的场景贴图去掉了所述场景贴图中与所述前景图像区域对应的贴图图像区域，以使具有深度逻辑信息的场景贴图只对原始图像的背景图像区域进行局部遮挡；

图像合成模块，用于将所述原始图像与具有深度逻辑信息的场景贴图进行图像合成，得到具有深度信息的贴图结果图像。

7.如权利要求6所述的装置，其特征在于，所述执行模块具体用于：

依据所述原始图像，获取所述摄像装置的透视信息；

根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标；

依据所述贴图区域坐标，将所述前景图像坐标和所述场景贴图进行逻辑运算，得到具有深度逻辑信息的场景贴图。

8.如权利要求7所述的装置，其特征在于，所述执行模块执行依据所述原始图像，获取所述摄像装置的透视信息的方式，包括：

对所述原始图像进行特征点提取，得到所述原始图像的特征点；

确定出所述特征点对应的世界坐标和图像坐标；

依据所述特征点对应的世界坐标和图像坐标，计算出所述摄像装置的内参数矩阵和外参数矩阵，其中，所述摄像装置的透视信息包括内参数矩阵和外参数矩阵。

9.如权利要求7所述的装置，其特征在于，所述执行模块执行根据所述摄像装置的透视信息，确定出所述场景贴图所在的贴图区域坐标的方式，包括：

获取所述场景贴图的图像坐标，其中，所述场景贴图的图像坐标包含该场景贴图与所述原始图像中场景之间的逻辑关系；

依据所述摄像装置的透视信息，对所述场景贴图的图像坐标进行坐标变换，确定出所述场景贴图所在的贴图区域坐标。

10.如权利要求6所述的装置，其特征在于，所述语义分割模块具体用于：

将所述原始图像输入预先训练好的语义分割网络，通过所述语义分割网络对所述原始图像进行语义分割，得到初步分割结果；

利用所述语义分割网络对所述初步分割结果进行分类，得到包含深度逻辑关系的分割结果图。

Images