CN108629800A - 平面确定方法及增强现实显示信息的显示方法、相应装置 - Google Patents

Abstract

本发明提供了一种平面确定方法及增强现实显示信息的显示方法、相应装置，该方法包括：对多媒体信息进行区域分割及深度估计；然后根据区域分割结果以及深度估计结果，确定多媒体信息的三维平面信息，然后根据多媒体信息对应的三维平面信息，显示增强现实显示信息。本发明提供的平面确定方法及增强现实显示信息的显示方法、相应装置能够用于将虚拟显示信息添加至三维平面中，能够提高增强显示显示结果的真实性，并能够提升用户的体验。

Description

平面确定方法及增强现实显示信息的显示方法、相应装置

技术领域

本发明涉及多媒体技术领域，具体而言，本发明涉及一种平面确定方法及增强现实显示信息的显示方法、相应装置。

背景技术

增强现实(英文全称Augmented Reality，英文缩写：AR)技术可以将虚拟内容叠加到真实场景中，从而使得用户获得超过现实的感官体验，即用户可以感知到一个同时存在真实物体和虚拟内容的场景。其中，AR技术可以应用于家居、旅游翻译、购物、游戏、导航、教育等领域。

现有技术的AR实现方法中，通常将虚拟内容直接放置在真实场景对应的多媒体信息中，得到AR显示结果，但是按照现有方式得到的AR显示结果的真实性较差，用户体验有待提高。如图1所示，虚拟物体(如某种动物)被放置在真实场景对应的多媒体信息中后，AR显示结果中该虚拟物体是悬浮在空中的，与真实情况不符；如图2所示，虚拟物体被放置在真实场景对应的多媒体信息中后，贴合在不合理的平面上(如垂直的墙壁)；如图3所示，显示的虚拟导航路线直接延伸至空中；如图4所示，显示的虚拟的导航路线直接穿过了障碍物。

综上，利用现有技术AR实现方法，将导致AR的显示结果不真实以及用户的体验较差。

发明内容

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

本发明的实施例提出了一种平面确定的方法，包括：

对多媒体信息进行区域分割及深度估计；

根据区域分割结果以及深度估计结果，确定所述多媒体信息的三维平面信息。

本发明的实施例提出了一种平面确定的装置，包括：

处理模块，用于对多媒体信息进行区域分割及深度估计；

第一确定模块，用于根据所述处理模块处理得到的区域分割结果以及深度估计结果，确定所述多媒体信息的三维平面信息。

本发明的实施例中，提出了一种增强现实显示信息的显示方法，包括：

确定多媒体信息对应的三维平面信息；

根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息。

本发明的实施例，提出了一种增强现实显示信息的显示装置，包括：

第二确定模块，用于确定多媒体信息对应的三维平面信息；

显示模块，用于根据所述第二确定模块确定的多媒体信息对应的三维平面信息，显示增强现实显示信息。

本发明提供了一种平面确定方法及增强现实显示信息的显示方法、相应装置，本发明通过对多媒体信息进行区域分割和深度估计，确定多媒体信息的三维平面，与现有技术的二维平面确定方法相比，确定出的三维平面更加准确，根据确定出的三维平面信息，显示增强现实显示信息，可以提高增强现实显示结果的真实性，进而可以提升用户的体验度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为一种现有技术的增强现实显示信息显示结果的示意图；

图2为另一种现有技术的增强现实显示信息显示结果的示意图；

图3为又一种现有技术的增强现实显示信息显示结果的示意图；

图4为又一种现有技术的增强现实显示信息显示结果的示意图；

图5为本发明实施例中，一种平面确定方法的流程示意图；

图6为本发明实施例中结合语义标注及平面标注的分割结果示意图；

图7为本发明实施例中，基于FCN和条件随机场的分割流程示意图；

图8为本发明实施例中，用于同时得到平面信息和语义信息的一体化区域分割框架；

图9为本发明实施例中，分割网络架构的示意图；

图10为本发明实施例中，深度估计网络架构的示意图；

图11为本发明实施例中，训练时的预测结果和训练样本的真实深度之间的对比示意图；

图12为本发明实施例中，深度估计网络整体框架示意图；

图13为本发明实施例中，采用多任务方式进行区域分割和深度估计的示意图；

图14为本发明实施例中，采用多任务方式进行区域分割和深度估计的示意图；

图15为本发明实施例中，在平面理解中利用三维空间信息相比利用二维空间信息的优势对比图；

图16为本发明实施例中，对确定出的三维平面信息进行调整的示意图；

图17为本发明实施例中，混合确定平面的方法流程示意图；

图18为本发明实施例中，混合确定平面的方法的处理结果的示意图；

图19为本发明实施例中，增强现实显示信息的显示方法的流程示意图；

图20为本发明实施例中，自动推荐虚拟显示信息的显示位置的示意图；

图21为本发明实施例中，通过基于先验知识过滤***和长短记忆神经网络实现自动推荐的示意图；

图22为现有技术以及本发明生成的增强现实显示信息的对比图；

图23为本发明实施例中，自动推荐虚拟显示信息的显示位置的具体流程示意图；

图24为本发明实施例中，自动推荐虚拟显示信息的显示位置的示意图；

图25为本发明实施例中，平面位置调整推荐方法的流程示意图；

图26为本发明实施例中，平面位置调整第一种推荐示意图；

图27为本发明实施例中，平面位置调整第二种推荐示意图；

图28为本发明实施例中，采集设备姿态调整推荐方法流程示意图；

图29为本发明实施例中，采集设备姿态调整推荐方法示意图；

图30为本发明实施例中，显示辅助驾驶提示信息的流程示意图；

图31为本发明实施例中，显示辅助驾驶提示信息的示意图；

图32为本发明实施例中，驾驶***中的路面状况估计方法示意图；

图32为本发明实施例中，辅助驾驶***中的路面状况估计方法流程示意图；

图33为本发明实施例中，辅助驾驶***中的路面状况估计方法示意图；

图34为本发明实施例中，AR键盘的实现方法流程图；

图35为本发明实施例中，多语言AR键盘的示意图；

图36为本发明实施例中，加密密码键盘的示意图；

图37为本发明实施例中，一种平面确定的装置结构示意图；

图38为本发明实施例中，一种增强现实显示信息的显示装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

实施例一

本发明实施例提供了一种平面确定的方法，如图5所示，包括如下步骤：

步骤501、对多媒体信息进行区域分割及深度估计。

本发明实施例中的多媒体信息包括图像和/或视频等。

此外，本发明实施例中的多媒体信息可以但不限于为单目多媒体信息，如一个多媒体信息采集设备(如摄像头)采集到的多媒体信息。

本发明实施例提出，区域分割结果可以包含二维平面信息。其中，可以但不限于通过深度学***面信息。具体包括以下步骤5011(图中未标注)。

步骤5011、通过结合平面标注训练得到的深度学***面信息)。

其中，上述深度学***面标注；根据标注后的训练样本训练得到深度学习网络。

本发明实施例提出，区域分割结果还可以进一步包含二维平面对应的语义信息。其中，可以但不限于通过深度学***面信息以及二维平面对应的语义信息。其中，可以通过不同的深度学***面识别和语义识别，分别得到二维平面信息以及二维平面对应的语义信息。

此外，还可以通过同一深度学***面识别和语义识别，同时得到二维平面信息以及二维平面对应的语义信息，具体包括以下步骤5012(图中未标注)。

步骤5012、通过结合语义标注和平面标注训练得到的深度学***面信息以及二维平面对应的语义信息)。

其中，上述深度学***面标注；根据标注后的训练样本训练得到深度学习网络。

上述步骤5011和步骤5012中，根据标注后的训练样本训练得到深度学习网络时，可以先确定深度学习网络的目标函数以及网络结构；然后根据标注后的训练样本以及上述目标函数以及网络结构，对深度学习网络进行训练。

对于本发明实施例，上述步骤5011和步骤5012中，在训练深度学***面标注。其中，语义标注以语义上的物体为单位，在多媒体信息(以下均用图像为例来说明多媒体信息)中的具***置标注出该语义物体，而像素级语义标注则是将具***置精确到像素级，对作为训练样本的图像中每一个像素点进行语义标注。例如，选取车辆作为语义上的物体，将车辆在图像中对应的每一个像素点均标注为相同的语义信息(如语义属性标识)。在本发明实施例中，平面标注是以平面作为单位，将图像中每个平面对应的像素点均标注为相同的平面信息。例如，图像含有N个平面，每个平面对应若干像素点，在同一个平面内的每个像素点对应同一平面信息。

由于在训练深度学***面标注，因此在通过深度学***面识别结果和语义识别结果，然后可以根据每个像素点的平面识别结果和语义识别结果，确定出二维平面信息以及二维平面对应的语义信息。

其中，通过上述方式训练得到的同一深度学习网络，也可以称为端到端(End-to-End)训练得到的深度学习网络

在针对像素点进行平面标注时，像素点对应的平面信息包括分类标识和/或平面标识，分类标识包括下述中的至少一种：平面对应的分类标识、平面边缘对应的分类标识、非平面对应的分类标识。当像素点属于某一平面时，该像素点的平面信息包括平面对应的分类标识以及该像素点所属平面的平面标识；当像素点不属于任一平面时，该像素点的平面信息包括非平面对应的分类标识；当像素点位于平面边缘时，该像素点的平面信息包括平面边缘对应的分类标识以及该平面边缘所对应的平面的平面标识。

不同于单纯的区域分割，本发明实施例中的区域分割可以被定义为一个平面分类问题，而非现有技术中的分割问题。由于在训练深度学***面”的点可以组成连通的二维平面，从而得到了上述二维平面信息。

本发明上述实施例中，通过结合语义标注以及平面标注，可以赋予训练样本双重属性，训练样本中每个像素点都对应语义标注和平面标注。例如，如图6所示，图6(a)对应普通的区域分割方法，只能将图像中的平面分割出来，而并不能确定每个平面对应的语义信息；图6(b)为普通的语义分割方法，只能将图像内容区分为正方体和背景，而无法具体区分到正方体的每个平面；图6(c)是本发明实施例中采用的区域分割方法，能够同时得到平面信息和平面对应的语义信息。具体的：一个六面正方体，六个面均对应同一语义，对于六面正方体中的任一像素点，通过语义标注，将每个像素点标注成同一语义属性；并通过结合平面标注，可以进一步细分正方体的六个平面。在本发明实施例中，这种双重属性将有助于细化多媒体信息，从而可以得到比单纯语义分割或者单纯区域分割更有意义的结果。

以下详述上面提到的语义分割的架构，深度学习网络可以为全卷积神经网络(英文全称：Fully Convolutional Network，英文缩写：FCN)。整套分割流程的框架是基于FCN和条件随机场(英文全称：Conditional Random Field，英文缩写：CRF)。如图7所示，首先确定输入图像以及语义分割的目标，该图中语义分割的目标定义为文字，通过全卷积神经网络密集预测，得到初步语义分割结果，该初步语义分割结果对应输入图像中含有文字的部分，并且该FCN在卷积层和金字塔池化层均采用了带孔结构(英文全称：AtrousStructure)，以达到降低下采样程度和允许多尺度特征提取的目的，从而可以使得语义分割结果更加可靠且网络更易于训练。其中，由于上述初步语义分割结果尚存在部分粘连和模糊，再通过条件随机场，并设定光照、颜色、对比度等图像信息作为判定条件，能够得到更加精细的最终分割结果。

本发明实施例提出的上述可以同时得到平面信息和语义信息的一体化区域分割框架(也可以称为多任务区域分割架构)是以上述语义分割架构为基础的，该多任务区域分割架构将平面信息的获取从传统图像处理问题，转化为深度学***面信息可以通过上述语义分割架构获取得到。如图8所示，首先输入图像，通过由全卷积神经网络组成的特征提取层之后，对每一个像素点进行两个像素级分类，一是进行平面分类，即判断该像素点在平面、平面边缘、非平面中属于哪一类，二是进行语义分类，即判断该像素点属于哪个语义属性，如天空、墙、地板等。最终得到同时包含二维平面信息和对应的语义信息的最终区域分割结果。

针对多媒体信息进行深度估计的步骤，本发明实施例提出，可以利用单目多媒体信息(单目摄像头采集的多媒体信息)中，时间前后帧之间的差异信息，来提高深度估计的精度。具体的，利用单帧多媒体信息进行深度估计仅能获得空间相关信息，但是利用时间前后帧的多媒体信息进行深度估计，不仅可以获得空间相关信息，还可以获得多媒体信息中每个位置的时间相关信息，该时间相关信息可以用来对深度估计结果进行校准。例如，当前后帧同一位置(例如同一像素点)的深度估计结果差异过大(大于设定阈值)时，可以利用前一帧的深度估计结果对当前帧的深度估计结果进行校准。

本发明实施例提出，可以通过单任务方式进行区域分割和深度估计，具体的：通过区域分割对应的深度学***面拟合，得到三维平面信息。

对于本发明实施例，分割网络以及深度估计网络如图9以及图10所示，具体地，参照图9，针对分割网络，首先输入图像，由若干层特征提取层提取特征信息，通过SOFTXMAX分类层分类分割结果，并利用一层反卷积的方式恢复到原图大小，得到像素级别的分割结果。

参照图10，深度估计网络的前半部分与分割网络类似，采用多层残差网络作为特征提取层进行特征提取，之后经过一系列反卷积层逐渐恢复到原图一半的大小，最终结果可以按热量图方式呈现连续分布。

在训练深度估计网络时，可以根据训练样本的真实深度，采用绝对损失函数、相对损失函数和融合损失函数组成三元组损失函数(英文全称：triplet loss)进行训练，图11为针对输入图像，训练时的预测结果(预测得到的深度信息图)和训练样本的真实深度之间的对比图。

具体的：对于本发明实施例，深度估计网络整体框架可以基于FCN，如图12所示，其中，该深度估计网络主要由FCN的前半部分的50层残差网络(英文全称：Residual Network，英文缩写：ResNet-50)和后半部分的反卷积网络(英文全称：Deconvolutional Network)组成，训练过程中，利用三元组损失函数来提高深度估计的精度，优化训练结果。首先输入图像信息，然后由ResNet-50对图像进行特征提取，该特征提取过程利用跳跃式连接，将残差网络中的若干层连接到一起，然后通过反卷积网络对提取出的特征进行反卷积，直到大小为原图尺寸的一半，其中，在反卷积过程中同样用到了跳跃式连接，然后对输出结果进行上采样，得到和原图像素一一对应的深度估计结果，最终得到原图像素中每一个像素点所对应的深度信息。其中，深度估计结果可以按热量图方式呈现连续分布。

本发明实施例提出，可以在得到区域分割结果和深度估计结果之后，进一步根据区域分割结果，对深度估计结果进行校正；和/或，根据深度估计结果，对区域分割结果进行校正。

其中，区域分割结果和深度估计结果可以通过上述单任务方式得到。

此外，本发明实施例还提出，可以采用多任务方式来进行区域分割和深度估计，通过同一深度学习网络，对多媒体信息进行区域分割及深度估计，并根据区域分割结果，对深度估计结果进行校正，以及根据深度估计结果，对区域分割结果进行校正，得到校正后的区域分割结果和深度估计结果。

具体的：参照图13，通过特征提取层，对输入图像(多媒体信息)进行特征提取，得到多层次的特征信息，由于后续的深度估计子网络和区域分割子网络只需要一次特征提取，无需分别进行特征提取，因此实现了深度估计子网络和区域分割子网络的共享计算；根据提取出的多层次的特征信息，通过区域分割子网络，得到区域分割子网络对应的区域分割结果(该结果为一个初步结果)，并且根据多层次的特征信息，通过深度估计子网络，得到深度估计子网络对应的深度估计结果(该结果为一个初步结果)；通过融合层，将区域分割子网络对应的区域分割结果及深度估计子网络对应的深度估计结果进行融合(根据区域分割结果，对深度估计结果进行校正，以及根据深度估计结果，对区域分割结果进行校正)，得到校正后的区域分割结果和校正后的深度估计结果。

其中，上述两个子网络(区域分割子网络和深度估计子网络)可以是逻辑上的子网络，在实际网络架构中两个子网络可作为整体，即一个网络；也可以作为两个单独的网络。

进一步地，深度估计子网络和区域分割子网络是通过下述方式训练得到的：以深度学习网络(可以但不限于为残差网络)作为预训练模型，对深度估计子网络进行训练；以训练后的深度估计子网络为预训练模型，对区域分割子网络进行训练；以训练后的区域分割子网络为预训练模型，对深度学习网络的融合层进行训练；以训练后的深度学习网络的融合层为预训练模型，对深度估计子网络以及区域分割子网络进行训练。

上述深度估计子网络和区域分割子网络还可以通过下述方式训练得到：

以深度学习网络(可以但不限于为残差网络)作为预训练模型，对区域分割子网络进行训练；以训练后的区域分割子网络为预训练模型，对深度估计子网络进行训练；以训练后的深度估计子网络为预训练模型，对深度学习网络的融合层进行训练；以训练后的深度学习网络的融合层为预训练模型，对区域分割子网络以及深度估计子网络进行训练。

优选地，在训练区域分割子网络时，还可以按照上述提到的方式，结合平面标注，或者平面标识及语义标注，对区域分割子网络进行训练。

例如，以残差网络作为预训练模型，将区域分割子网络的学习率设置为0，仅对深度估计子网络进行反向传播，根据单方面训练优化深度估计子网络的网络参数，即将深度估计子网络的初始学习率设为0.01，训练100000轮左右，然后以上一步训练得到的深度估计子网络作为预训练模型，将深度估计子网络学习率设为0，单方面优化分割子网络的网络参数，学习率和训练次数同上相同，然后同样以上一步结果为预训练模型，将分割子网络和深度估计子网络学习率均设为0，训练最后一层融合层的参数信息，然后以上一步为预训练模型，将所有子网络学习率均设置为正常，即整体学习率设置为0.001，训练100000轮，得到最终结果。

下面介绍能够通过多任务处理方式进行深度估计和区域分割的优势：

1、共享计算方面：上述单任务处理方式中，深度估计网络和区域分割网络均是基于全卷积神经网络密集预测的，二者的网络结构相似度极高，仅仅是在学习目标上存在显著差异。本发明实施例利用了以上单任务处理方式中网络结构相似度极高的特点，使用多任务处理的方式，使得深度估计和区域分割能够共享计算，进而提高运算速度，也能够提高处理结果的精度。

2、依赖关系方面：深度估计结果和区域分割结果二者互补又相互约束。例如，某区域若深度信息变化不明显，则该区域很可能是平面，反之，某区域如果为平面，则深度信息可能需要保持连续平滑变化。综合以上两点，将区域分割和深度估计由同一深度学习网络统一起来，进行多任务预测，从而同时得到深度估计结果和区域分割结果，不仅能够共享计算、提高速度，而且能互补约束，从而可以提高最终结果的可靠性。

如果区域分割子网络的区域分割结果包含二维平面信息以及二维平面对应的语义信息，则在根据区域分割结果，对深度估计结果进行校正时，可以根据二维平面信息和语义信息，对深度估计结果进行校正，能够得到更为准确的深度估计结果，例如，图像中包含窗户区域，对窗户区域进行深度估计时，由于透明玻璃，得到的深度估计结果可能并不是窗户区域的深度，而是窗外物体的深度，如果能够根据该区域的语义信息，对深度估计结果进行校正，就能够得到更为准确的深度估计结果，再如，针对墙面和挂在墙面上的画，通过语义信息可以确定二者的深度信息差异不大，因此能够对深度估计结果进行校正，提高了深度估计结果的准确性。

如图14所示，输入图像，以全卷积网络作为特征提取层，提取得到多层次的特征信息；根据提取出的多层次的特征信息，通过区域分割子网络，得到区域分割子网络对应的区域分割结果(该结果为一个初步结果)，其中区域分割结果包含二维平面信息和对应的语义信息，并且根据多层次的特征信息，通过深度估计子网络，得到深度估计子网络对应的深度估计结果(该结果为一个初步结果)；根据深度估计结果，通过交叉领域条件随机场，可以对区域分割结果进行校正，根据区域分割结果(二维平面信息和对应的语义信息)，通过交叉领域条件随机场，可以对深度估计结果进行校正，得到校正后的区域分割结果和校正后的深度估计结果，以得到更精确的结果。

对于本发明实施例，通过一种新型网络结构，在共享计算时能同时预测深度信息和区域分割结果。具体地，首先输入图像信息，由深度残差网络(英文全称：Deep ResidualNetwork)逐层提取更高层次特征，将多个层次的特征通过相加等方式进行融合，得到包含多层次信息(英文全称：multi-level)的特征图信息，然后将多层次特征图信息同时用于深度估计和区域分割的共享计算，然后分别通过深度估计子网络和分割子网络学***面信息(还可以包含语义信息)，最后通过一层网络将两者信息融合在一起，同时预测深度结果和区域分割结果，达到多任务学习/预测的效果。

步骤502、根据区域分割结果以及深度估计结果，确定多媒体信息的三维平面信息。

确定三维平面信息时，可以根据区域分割结果以及深度估计结果，进行三维平面拟合，从而得到多媒体信息的三维平面信息。

本发明实施例提出，在步骤502之后还可以包括：根据确定出的三维平面信息对应的语义信息和空间关系信息，对确定出的三维平面信息进行调整的步骤。

具体的，根据确定出的三维平面信息对应的语义信息和空间关系信息，确定三维平面间的关联关系，通过确定出的关联关系，对确定出的三维平面信息进行调整，纠正错误的三维平面信息。

其中，上述关联关系利用了三维平面的空间关系信息和语义信息，不同于利用现有技术仅利用二维平面信息，本发明实施例的空间关系扩展到三维，使用了步骤501中估计得到的深度估计结果。相比于二维平面的空间关系，三维平面的空间关系能更真实反映平面之间的确切位置，如图15(a)所示，为二维空间关系示意图，在二维空间关系中，平面A位于平面B的上方；如图15(b)，为三维空间关系示意图，在实际的三维空间关系中，平面A垂直于平面B。

上述三维平面间的关联关系，可以通过条件随机场实现，具体的，将每一个三维平面作为一个定点，将所有的定点连接为一个有向图，以条件随机场为基础框架，设定条件关系为三维空间关系和语义联系，校正每一个平面的平面信息和语义信息。如图16所示，校正前，左侧的一块墙面被错误分类为地板，通过条件随机场，检测到该平面四周都是墙，所以推断出该平面信息很可能存在错误，通过校正，将平面的语义信息正确地校正为墙。

其中，上述三维平面间的关联关系，也可以通过其他方式实现，例如通过马尔可夫场实现。

本发明实施例提出一种混合确定平面的方法，在确定多媒体信息中的平面时，可以根据各区域的纹理信息，自适应的选择合适的平面确定方法。现有的即时定位与地图构建(英文全称：Simultaneous Localization And Mapping，英文缩写：SLAM)平面确定方法，针对纹理丰富区域的确定效果较好，但对于纹理信息缺失区域(纹理信息过少或无纹理信息)，无法得到准确的确定结果，例如光滑的桌面、玻璃面、墙面，由于纹理信息过少或无纹理信息，因此不适用于SLAM平面确定方式。而本发明实施例中提到的基于深度学***面确定方法，对于纹理信息缺失区域，能够根据得到的三维平面信息，进一步确定出平面的法向量、朝向等信息，这些信息对后续渲染虚拟显示信息时非常有利，能够让生成的AR显示信息更加真实，提高了用户体验。

具体的：对多媒体信息进行区域分割及深度估计之前，还可以包括：确定多媒体信息的纹理信息；根据所述纹理信息，确定纹理缺失区域；

后续针对确定出的纹理缺失区域，按照本发明实施例提出的方式进行区域分割及深度估计。

其中，在确定多媒体信息的纹理信息时，可以先确定多媒体信息中的区域(可以根据用户操作确定区域)内的特征点数量，判断区域的纹理信息是否丰富，设定阈值T，当特征点数量超过阈值T时，则判定该区域为纹理丰富区域，否则为纹理缺失区域。

如图17所示，为混合确定平面的方法流程示意图。针对输入图像，判定纹理信息是否丰富，当纹理信息丰富时，选择SLAM平面确定方法确定图像中的平面，当纹理信息过少或无纹理信息时，选择本发明实施例中的基于深度学***面确定方法，进行区域分割和深度估计，根据区域分割结果和深度估计结果，进行三维平面拟合，最终得到三维平面信息。

其中，可以针对多媒体信息执行上述混合确定平面的方法，也可以针对某些区域执行上述混合确定平面的方法，例如，可以针对用户想要放置虚拟显示信息的区域(需要渲染虚拟显示信息的区域)执行上述混合确定平面的方法。

其中，上述混合确定平面的方法的处理结果如图18所示，图中亮点代表纹理特征点，纹理特征点越密集则代表该区域纹理信息越丰富。图中的两个方块为虚拟显示信息。用户选择将方块放置在无纹理信息的桌面上，按照图17的步骤，判定出该区域无纹理信息，应选用基于深度学***面确定方法，而不是现有传统SLAM平面确定方法。通过基于深度学***面确定方法，可以得到桌面的法向量、朝向、大小等信息，根据这些信息结合虚拟显示信息，可以让渲染的AR显示信息更为真实，提高了用户体验。

上述混合确定平面的方法增强了在不同场景下的适用性，在纹理丰富的区域适用SLAM平面确定方法，在纹理缺失区域适用上述基于深度学***面确定方法(区域分割，深度估计，平面拟合)，以弥补SLAM平面确定方法的缺陷。该混合确定平面的方法，使得可以对任意场景下的平面进行估计，在弥补传统方法缺陷的同时，能够借助其优势，大大增加了适用范围。

本发明实施例通过对多媒体信息进行区域分割和深度估计，确定多媒体信息的三维平面，与现有技术的二维平面确定方法相比，确定出的三维平面更加准确，后续根据确定出的三维平面信息，显示增强现实显示信息，可以提高增强现实显示结果的真实性，进而可以提升用户的体验度。

实施例二

本发明实施例提出一种增强现实显示信息的显示方法，如图19所示，该方法包括下述步骤：

步骤1001、确定多媒体信息对应的三维平面信息；步骤1002、根据多媒体信息对应的三维平面信息，显示增强现实显示信息。

其中，本发明实施例提出，可以但不限于按照上述实施例一的平面确定的方法来确定多媒体信息对应的三维平面信息。

进一步地，步骤1002包括步骤10021(图中未标注)以及步骤10022(图中未标注)，其中，步骤10021、获取三维平面信息对应的属性信息，和/或虚拟显示信息对应的属性信息；步骤10022、根据获取的三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，显示增强现实显示信息。

其中，三维平面对应的属性信息包括：三维平面对应的语义信息、语义信息对应的关联属性信息、三维平面的物理属性信息中的至少一项。

在本发明实施例中，可以同时获取三维平面信息对应的属性信息以及虚拟显示信息对应的属性信息，进而生成增强现实显示信息，也可以只获取虚拟显示信息的属性信息来生成增强现实显示信息。例如，根据虚拟显示信息的属性信息确定该虚拟显示信息为能够飞行的动物，那么该虚拟显示信息可以显示在任一位置，即此时可以仅确定虚拟显示信息对应的增强现实显示信息，而可以不确定多媒体信息对应的三维平面信息。

其中，上述关联属性信息是和语义信息相关的，由语义信息延伸出的，语义信息中可以蕴含关联属性信息。例如，语义信息为“海面”，那么“可游泳”为“海面”的关联属性信息。

进一步地，物理属性信息可以包括以下至少一项：面积、颜色、对比度、纹理等。

进一步地，获取三维平面信息对应的语义信息的步骤，包括步骤A(图中未标注)、步骤B(图中未标注)以及步骤C(图中未标注)中的任一项：

步骤A、将多媒体信息的二维平面信息对应的语义信息，作为对应的三维平面信息的语义信息；步骤B、根据多媒体信息的二维平面信息对应的语义信息以及多媒体信息的深度估计结果，确定三维平面信息的语义信息；步骤C、对三维平面信息进行语义分析，得到三维平面对应的语义信息。

本发明实施例还提出，可以确定三维平面信息的上下文语义信息，然后通过上述上下文语义信息，对三维平面对应的语义信息进行调整，进而提高确定出的三维平面的语义信息的精度。

在显示AR显示信息时，需要确定虚拟显示信息如何显示，本发明实施例提出，可以自动推荐虚拟显示信息的显示位置。步骤10022包括：根据获取的三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，确定虚拟显示信息与三维平面间的位置关系，和/或虚拟显示信息间的位置关系；根据确定出的位置关系，显示增强现实显示信息。

其中，自动推荐虚拟显示信息的显示位置的示意图如图20所示，图20(a)中，多媒体信息中获取的三维平面信息包含桌面和地面，虚拟显示信息为茶杯，根据两者的属性信息可知，茶杯可以摆放在桌面上，也可以摆放在地面上，一般不会放置在桌面侧壁上，但是摆放在桌面上会是更加常见的情况，因此基于以上关系，推荐将茶杯摆放在桌面上；图20(b)中，当存在多个虚拟显示信息时，也可以为多个虚拟显示信息之间的相对位置关系进行自动推荐，如显示器和键盘均为虚拟显示信息，且均放置于桌面上，将键盘放置在显示器之后的情况较少见，将键盘放置于显示器之前的情况更为合理多见，因此自动推荐将键盘放置于显示器之前。

其中，上述自动推荐的方法可以基于先验知识过滤***(英文全称：KnowledgeBased Filtering)和长短记忆神经网络(英文全称：Long Short Term Memory Network，英文缩写：LSTM)实现。如图21所示，首先确定多媒体信息和虚拟显示信息，将多媒体信息按照网格形式划分为若干个区域，尝试将虚拟显示信息放置于网格中的某个位置，随机构建若干种显示信息的组合方法，通过先验知识过滤器剔除其中一些不符合规则的组合方法，最后通过竖直LSTM和水平LSTM，对剩余组合方法进行打分，最后分数最高的组合方法即为自动推荐的摆放位置。

参照图22所示，采用本发明实施例提到的方法对多媒体信息进行区域分割及深度估计，根据区域分割结果和深度估计结果进行三维平面拟合，得到三维平面信息，根据三维平面对应的属性信息和/或虚拟显示信息对应的属性信息，能够确定虚拟显示信息(如陆地动物)不能飞行于空中、行走于墙壁上，只能在地面上行走，故可以选择属于地面的平面作为融合对象，最终选择将虚拟显示信息正面朝上放置在地面上，而不会与现有技术一样将虚拟显示信息(如陆地动物)直接悬浮在空中。进一步地，还可以根据虚拟显示信息的实际大小、图像远近等，确定虚拟显示信息在多媒体信息中的显示体积和具***置，以避免生成的增强现实显示信息中虚拟显示信息与真实情况不符的情况出现。

本发明实施例提出的增强现实显示信息的显示方法中，根据虚拟显示信息的属性信息和/或三维平面信息的属性信息，综合确定虚拟显示信息的显示方式(包含位置、大小等)，因此得到的增强现实显示信息能够与真实情况更加贴合，提高了用户体验。

下面以用户日常生活中家具摆放为例，来说明自动推荐虚拟显示信息的显示位置的方案。

虚拟显示信息在本实例中可以具体包括家具。

通过本发明实施例的上述方案，可以提供家具布局预览和自动推荐家具显示位置，包括预览家具摆放效果、推断可摆放特定家具的合理位置，以及家具摆放的最佳位置等。

布置家具是用户的一项基本生活需求，当需要购置家具或改变整体布局时，都需要预先构思如何摆放家具，将家具摆放到指定位置上。然而，通常只有当布置结束后，用户才能知道该家具布局方案是否合理或美观，从而导致用户难以达成满意的布局效果，并且大大增加了改变布局的成本，每次改变布局，需要用户将家具搬移到指定位置，这极大地增加了用户的体力和精力消耗。另外，和衣服试穿类似，有些用户在买到家具以后，并不满意该家具的实际布置效果，或者没有合适的地方摆放。

本实例可以提供家具布局预览，用户可以在改变家具布局前预览布局效果；用户可以在选购家具时，提前布局家具，判断该家具是否合适，家里是否有合适的地方摆放；用户可以在本实例的推荐下，按照引导摆放，或者合理或最佳位置。

其中，自动推荐虚拟显示信息的显示位置的具体流程如图23所示，其中，

步骤11，对输入的多媒体信息(图像)进行区域分割和深度估计，根据区域分割结果和区域分割结果，确定多媒体信息对应的三维平面信息，然后根据三维平面的语义信息，筛选出和家具摆放相关的三维平面，例如墙平面、地板平面等。

其中，多媒体信息对应的三维平面信息包括语义信息(墙、地板等)和物理信息(大小，形状)。

其中，本实例提出，可以但不限于按照上述实施例一的平面确定的方法来确定多媒体信息对应的三维平面信息。

步骤12、获取待摆放的家具信息(包括图像信息、尺寸信息等)，将三维平面信息和家具信息做匹配，设定一定筛选规则，包括语义匹配规则(例如桌子可以放在地板平面上，而不能放在墙面上)，以及尺寸匹配规则(例如平面尺寸必须大于家具尺寸)，匹配出的区域即为放置家具的合理区域。

获取待摆放的家具信息有两种方式，第一种方式为获取包含实际家具信息的多媒体信息，确定多媒体信息的三维平面，将家具对应的平面单独提取出来，并确定出相关信息(图像和尺寸等)；第二种方式由家具销售商提供，直接提供该家具的电子化信息，包括图像和尺寸。

可以将合理区域显示在屏幕中(显示方法可以为将区域用不同颜色高亮显示)，以供用户选择摆放家具的平面，确定摆放的平面后，可以将摆放的平面和家具信息融合在一起，达到预览效果。

步骤13，若用户选择自动推荐虚拟显示信息的显示位置的方式，那么可以在上述合理区域里，结合先验知识，自动推荐出最佳摆放位置。

确定摆放的平面后，可以将摆放的平面和家具信息融合在一起，达到预览效果。其中，将家具信息作为虚拟显示信息，按照位置关系，显示在推荐出的摆放位置上。

参照图24，为自动推荐虚拟显示信息的显示位置的示意图，用户想要提前预览电视桌(虚拟显示信息)摆放在客厅中的效果，通过手机拍摄，得到客厅的多媒体信息(图片)，电视桌的信息可以由家具供应商提供。通过上述步骤11，可以通过几何估计方式(区域分割和深度估计，根据区域分割结果和区域分割结果确定对应的三维平面信息)，确定房间内的多个平面，包括地面、窗面、电视机显示屏平面以及墙面等。在这些平面中，通过步骤11和12，可以寻找到合理的摆放位置，如，确定地面是可以摆放桌子的平面，并且大小足够容纳桌子，即为合理的摆放位置；通过上述步骤13，结合先验知识，确定电视桌通常摆放在电视机旁边，推荐最佳摆放位置为靠近电视机的地面；将最佳摆放位置对应的平面和家具信息融合在一起，达到预览效果。

如果用户选择按照推荐的摆放位置进行摆放，则选定推荐的位置为摆放位置。用户也可以选择自定义摆放的选项，可以手动选择某个平面作为最终摆放的平面。

实施例三

在本发明实施例中，上述步骤1002进一步包括：在多媒体信息对应的三维平面信息中，确定目标平面；确定目标平面对应的调整信息；显示调整信息对应的增强现实显示信息。

其中，调整信息可以但不限于为调整方向信息和/或调整角度信息。

实施例三的第一个示例

本实例提供了一种平面位置调整推荐方法，包括位置关系感知，并给出调整信息，使得平面的位置满足要求。

适用场景：用户在摆放家具，钟表、画框等物品时，需要让待摆放的物品保持水平或垂直。例如，客厅内的茶几与沙发平行，室内整体布局按照比较严格的垂直平行关系布置，钟表和画框水平摆放于墙上。然而，由于人对于垂直关系和/或水平关系的感知能力较差，不能很好的分辨小角度差异，特别是处于较近视角的时候，因此在摆放画框等物品时，经常会在摆放后远距离观察一下，再回来进行调整，或者询问他人是否水平或垂直，而这种来回多次调整会花费用户额外的精力和时间，并且可能要求额外的协助者。本实例提供的平面位置调整推荐方法，能够协助使用者，精确确定平面之间的角度关系，弥补人不能准确分辨小角度差异的缺陷。通过精确分辨小角度差异，可以精准确定平面间的水平和/或垂直关系，可以在家具摆放、物品摆放、室内布局等多个方面提供便利，减少使用者来回多次调整所花费的功夫和精力，提升布局的完美程度。

本实例提出，在确定目标平面对应的调整信息之前，还包括：在多媒体信息对应的三维平面信息中，确定参照平面，以及目标平面和参照平面间的位置关系；

确定目标平面对应的调整信息，包括：根据确定出的位置关系，确定目标平面的位置调整信息，作为目标平面对应的调整信息。

其中，调整信息为目标平面的位置调整建议。目标平面为需要调整位置的平面。目标平面和参照平面间的位置关系可以包含当前的位置关系，也可以包含目标位置关系。目标平面和参照平面间的位置关系可以但不限于为平面边缘线之间的角度。

本实例中，目标平面、和/或参照平面、和/或目标位置关系，可以由用户选择确定，如用户将画框挂在墙面上时，想要画框与地面或天花板平行，此时用户可以选择画框为目标平面，天花板为参照平面，目标位置关系为画框的边框与天花板边缘平行。此外，也可以由用户确定目标平面，然后根据目标平面自动确定参照平面或目标位置关系，例如目标平面为画框，而一般用户在挂画框时，大多想要画框与地面或天花板平行，因此可以自动将地面或天花板平面作为参照平面，将目标位置关系设置为画框的边框与天花板边缘平行。

如图25所示，为本实例中平面位置调整推荐方法的流程示意图，其中，

步骤21、对输入的多媒体信息(图像)进行区域分割和深度估计，根据区域分割结果和区域分割结果，确定多媒体信息对应的三维平面信息。步骤22、确定目标平面和参照平面间的当前位置关系。

其中，用户可以手动方式，在三维平面中选定目标平面和参照平面，例如油画框和天花板平面，分别为目标平面和参照平面。

根据三维平面信息，获取油画框平面的顶部边框，以及天花板的边缘线，求取油画框平面的顶部边框和天花板的边缘线之间的夹角，将该夹角作为目标平面和参照平面之间当前位置关系，也可以作为目标平面和参照平面间的平面角度，因此可以得到目标平面和参照平面间的精确位置关系。

步骤23、根据目标平面和参照平面间精确的当前位置关系，以及目标位置关系，确定调整信息(目标平面的位置调整建议)，以辅助用户完成目标平面的位置调整。

其中，步骤22中用户已经选定目标平面和参照平面，用户可以进一步选定希望目标平面和参照平面之间的目标位置关系，例如画框的边框与天花板边缘平行。根据步骤22得到的当前位置关系，两个平面的边缘线之间的角度为3°，而选定的目标位置关系为角度0°，因此***自动给出调整建议，将目标平面旋转3°，用户按照调整建议调整目标平面的位置，可以使得两个平面的边缘线平行，最终使得画框能够水平挂在墙面上。

其中，本实例的平面位置调整推荐示意如图26及图27所示。

参照图26，在日常生活中，用户可能需要将画框等物品水平置于墙面上，但人们对于垂直和水平关系的主观感知能力较差，特别是对于小角度(例如5°)的感知能力较差，一般用户需要先将画框挂在墙上，再远距离观察是否水平，然后再进行调整，可能需要进行多次反复调整，而且也不能保证画框最后水平放置。

在本场景中，用户通过终端(手机、AR眼镜等)的多媒体采集设备(如摄像头)，采集多媒体信息(图片或视频)。

通过步骤21，可以按照上述平面确定的方法，确定采集到的多媒体信息中的平面，以供用户选定目标平面和参照平面，用户可以点击屏幕中平面所处的位置即可选定分割出的平面作为目标平面和参照平面。用户可以在手机显示屏或AR眼镜显示屏上，通过触屏点击的方式，分别指定画框为目标平面，天花板为参照平面；

选定两个平面后，显示屏中可以提供水平和垂直两个选项，用户可以选择让两个平面保持水平关系或垂直关系，也可以选择让两个平面边缘保持水平或垂直关系。当用户选择边缘水平选项时，表示目标平面和参照平面间平行，即油画框平面的顶部边框和天花板的边缘线之间的夹角为0°。通过步骤22可以得知，两个平面之间的当前位置关系为：油画框平面的顶部边框和天花板的边缘线之间的夹角为5°。

由于目标的夹角为0°，而目前的夹角为5°，处于非平行状态，因此在显示屏中提示用户所选平面的边缘线之间“角度＝5°”。

通过步骤23得到调整建议，将目标平面在墙面上逆时针旋转5°，根据调整建议对画框进行调整后，可以使得油画框平面的顶部边框和天花板的边缘线之间的夹角为0°；其中，可以通过显示屏文字提示或语音播报提示等方式，将调整建议提示给用户，指示用户按照当前调整建议“逆时针旋转5°”。

对于本实例，当用户选定目标平面、参照平面以及平面之间的目标位置关系后，可以周期性的获取目标平面与参照平面间的位置关系，并给出调整建议。

其中，用户根据调整建议进行旋转后，可以利用手机或AR眼镜持续拍摄，实时确定位置关系变化。例如用户如果旋转角度过大，逆时针旋转了7°，那么***将重新评估目前的位置关系，提醒用户顺时针旋转2°，直至达到目标位置关系时，则不再提醒。

其中，本实例还可以选择实时评估当前的位置关系，此时需要在调整的同时，让手机或AR眼镜持续拍摄当前场景，用户可以缓慢旋转油画，并实时显示当前的位置关系，直至达到目标位置关系时，通过显示屏或语音提示完成调整。

参照图27，用户需要让沙发与墙面垂直，由于沙发并不直接紧挨墙，所以难以保证垂直关系，与图26类似，手机或AR眼镜拍摄当前场景，得到多媒体信息。用户选定沙发侧面和墙面作为目标平面和参照平面，并选定目标空间关系为：沙发侧面的底部边缘线与墙面边缘线垂直，即沙发侧面的底部边缘线与墙面边缘线的夹角为90°；通过步骤2可以得到沙发侧面和墙面之间的当前位置关系，即沙发侧面的底部边缘线与墙面边缘线的当前夹角，***确定出需要调整的角度，显示屏或语音提示用户按照调整建议进行调整，直至达到目标位置关系。

另外，该方法还可以选择一种简易方式，仅选定墙面作为参照平面，不选择目标平面，首先得到墙面的法向量，并在显示屏中显示法向量线条，用户持续观察显示屏，将沙发沿着法向量线条摆放。

实施例三的第二个实例

本实例提供了一种采集设备姿态调整推荐方法，可以提示用户调整多媒体采集设备(相机、手机等)的姿态，得到最佳采集角度。

适用场景：用户在使用相机或手机拍照时，对于一些特定物体，通常希望能得到正视的图片，例如给文档、油画等拍照时，拍出的照片如果存在旋转角度和倾斜角度，则会对后续的阅读造成不便，然而，为了得到正视图片，如何调整相机姿态，这对用户来说并不直观。

本实例可以通过分析采集到的多媒体信息，在显示屏上呈现采集设备的姿态调整建议，用户按照该调整建议旋转或移动采集设备，即可得到正视的多媒体信息。

本实例提出，确定目标平面对应的调整信息之前，还包括：确定目标平面和采集多媒体信息的采集设备对应的采集平面间的位置关系；

确定目标平面对应的调整信息，包括：根据确定出的位置关系，确定采集平面的姿态调整信息，作为目标平面对应的调整信息。

其中，调整信息采集设备的姿态调整建议。目标平面为需要拍摄的物体对应的平面。

其中，目标平面在下述实例中可以具体为需要拍照的物体对应的平面，例如文档、油画等。

其中，采集多媒体信息的采集设备在下述实施例中可以具体为相机或者手机等，采集多媒体信息的采集设备对应的采集平面在下述实施例可以具体为相机或手机对应的平面。

其中，调整信息为角度信息时，角度信息在下述实例中可以具体包括：调整旋转角度和/或倾斜角度。

如图28所示，为本实例中的采集设备姿态调整推荐方法流程示意图。

步骤31、对输入的多媒体信息(如图像)进行区域分割和深度估计，根据区域分割结果和区域分割结果，确定多媒体信息对应的三维平面信息。

其中，用户可以手动方式，在三维平面中选定目标平面，例如在拍摄油画时，将油画平面作为目标平面。

步骤32、确定目标平面相对于采集平面的相对法向量信息。

其中，如果目标平面和采集平面间的位置关系为平行，即正视方向采集目标平面，那么相对法向量在三维空间中的值为一个固定的标准值(如1,0,0)，如果不平行，则可以认为正在旋转采集目标平面，此时相对法向量为其他值。

通过该相对法向量信息即可确定目标平面和采集平面间的位置关系。

步骤33、根据目标平面和采集平面间的位置关系，可以确定采集平面的姿态调整信息，即姿态调整建议，具体可以为调整方向和/或调整角度。

此时的调整角度可以为旋转角度。可以在显示屏中显示旋转指示，包含旋转方向和旋转角度，用户按照旋转指示调整采集设备后，即可得到正视的目标平面。

此外，也可以根据目标平面的边缘线和采集平面的边缘线来确定目标平面和采集平面间的位置关系，如果两个平面的夹角不为0°，则可以认为正在倾斜采集目标平面，根据目标平面和采集平面间的位置关系，可以确定采集平面的姿态调整信息，即姿态调整建议，具体可以为调整方向和/或调整角度。此时的调整角度可以为倾斜角度。可以在显示屏中显示倾斜指示，包含倾斜方向和倾斜角度，用户按照倾斜指示调整采集设备后，即可得到正视的目标平面。

其中，本实例的采集设备姿态调整推荐方法示意图如图29所示。用户打开手机摄像头，获取的图像如图29(a)所示，此时，图中有一副油画，但该油画存在一定旋转角度，如果用户对于该拍摄结果并不满意，则可以选择正视模式，在该模式下，通过步骤31获取平面信息，得到油画平面；通过步骤32，得到油画平面的相对法向量，油画平面的相对法向量不为固定的标准值，则可以自动判定拍照得到的图像存在旋转角度，按照旋转角度，结合相机姿态，得到相机姿态调整建议为按照旋转角度反方向转动相机。可以将调整建议显示在显示屏，如图29(b)所示，用户按照调整建议旋转相机可以得到正视的图像，其中，用户按照调整建议调整相机时，***可以实时更新当前的角度状况，当相对法向量为固定的标准值时，可以提示用户调整完成，如图29(c)所示。

同样的，如图29(d)、29(e)、29(f)，当目标平面(文档)和采集平面的边缘线的夹角不为0°，不便于用户查看，此时可以推荐用户按照调整建议倾斜手机，可以拍摄到正视的内容。

在本实例中，倾斜采集设备表示在采集平面所在平面内移动采集设备，旋转采集设备表示以该采集设备中心为原点，进行横滚角、俯仰角、偏航角的调整。

实施例四

在本发明实施例中，上述步骤1002进一步包括：在多媒体信息对应的三维平面信息中，确定行车规避平面；根据行车规避平面，确定行车辅助信息；显示行车辅助信息对应的增强现实显示信息。

实施例四的第一个实例

本实例提供了一种辅助驾驶***中的是否可通行判断方法，可以在车辆通过狭小区域时，提供是否可通过的辅助信息。

在驾驶车辆时有一类常见的问题需要解决，车辆通过狭窄的车道或巷子时，用户需要估计可通行车道的准确宽度，以判断自身车辆能否顺利通过，然而，人对宽度的估计常常是粗略的，甚至可能会因为某些人类固有视觉缺陷，错误估计自身车辆宽度和车道宽度，本实例借助机器视觉，提供了更为准确的视觉估计结果，为用户提供辅助性的信息(例如车宽、车道宽、能否通过等)，帮助用户判断是否能够通过前方狭窄区域，进一步的，该方案可以应用在辅助驾驶***或自动驾驶***上，为自动化驾驶解决其中一类问题。

若行车规避平面为行车路面两侧的障碍物平面；则，根据行车规避平面，确定行车辅助信息，包括：根据行车路面两侧的障碍物平面，确定行车路面的宽度信息；根据行车路面的宽度信息，确定提示是能否通过行车路面的提示信息，作为行车辅助信息。

其中，行车路面两侧的障碍物平面可以具体为下述实施例中的巷子两侧平面、狭窄的车道两侧的障碍物平面，可以为墙面或其他车辆对应的平面等。

其中，具体过程如图30所示，其中，

步骤41、确定多媒体信息对应的三维平面信息。

其中，本实例提出，可以但不限于按照上述实施例一的平面确定的方法来确定多媒体信息对应的三维平面信息。

步骤42、根据获取的三维平面的语义信息，确定行车路面两侧的障碍物平面，例如，行车路面两侧的墙面、其他车辆的侧平面等，计算行车路面的宽度信息，也可以称为路宽或实际路面宽度。

在确定障碍物平面时，需要确定最接近当前车辆的平面，如当行车路面两侧存在其他车辆时，那么其他车辆的后视镜所在平面可以作为障碍物平面。

步骤43、根据实际路面宽度，以及车辆自身属性(如车辆宽度，即车宽)，判断车辆本身是否可以通过，当实际路面宽度大于车身自身宽度时，可以提示用户可通过。

参照图31，辅助驾驶***通过前方摄像头，拍摄前方路面信息，得到前方路况图像；通过步骤41可以检测到前方路面图像中的各个平面，通过步骤42可以计算出实际的路面宽段，通过步骤43，与车身宽度对比，得到是否可通过的辅助驾驶提示信息，可以将该提示信息作为推荐内容，通过语音播报或者显示在车内屏幕的方式提示用户。

实施例四的第二个实例

本实例提供了一种辅助驾驶***中的路面状况估计方法，可以在车辆行驶时，自动判断前方路面的状况，得到辅助驾驶提示。

自动驾驶或辅助驾驶***中，判断前方路面状况是一项基本需求，根据前方路面状况及时调整驾驶速度等。若缺乏对前方路面状况的基本判断，则可能导致灾难性的驾驶事故。

例如，前方路面状况较差，存在大量坑洼，需要减速行驶，如果全速行驶，则很可能产生驾驶事故。本实例仅需普通的低成本光学摄像头，就可以达到路面状况估计的目的，判断前方路面是否平坦，是否需要减速。

若行车规避平面为行车路面上的待规避平面；则，根据行车规避平面，确定行车辅助信息，包括：根据行车路面上的待规避平面，确定行车建议信息，作为行车辅助信息。

其中待规避平面在下述实施例中可以为不适宜通行的平面，例如水面、坑面、障碍物平面等。

其中，具体流程如图32所示，其中，

步骤51、确定多媒体信息对应的三维平面信息。

其中，本实例提出，可以但不限于按照上述实施例一的平面确定的方法来确定多媒体信息对应的三维平面信息。

步骤52、根据获取的三维平面信息，将行车路面和其他不适宜通行的平面提取出来(例如水面、坑面、障碍物平面)，并根据平面的深度信息，对平面做危险分类，浅坑属于低危险等级，深坑、大量积水、高障碍物属于高危险等级。

步骤53、根据危险等级，评估前方危险状况，提供行车建议信息，即驾驶建议，该驾驶建议可以为危险提示，也可以为重新规划的行车路线。

其中，可以根据相关平面的危险分类等级，以及相关平面的面积大小，综合评分得到危险状况。评分规则可以按危险等级和相关平面大小加权执行，并设定若干分数阈值，超过某一阈值后提示不同的危险提示。例如，前方存在部分坑洼，坑洼的危险等级为低，且坑洼面积较小，综合评分后，提示低等级的危险提示，提示减速慢行；前方存在大量障碍物，障碍物危险等级为高，且面积较大数量较多，综合评分提示高危险提示，提示停车观察。

此外，还可以根据前方路况重新规划行车路线。

其中，步骤53得到的危险提示包括减速和绕行，当驾驶建议为绕行时，需要重新规划行进路线，避开前方障碍区域。本实例可以为路径规划提供待规避平面信息和路面信息等。

参照图33，自动驾驶***通过前方摄像头，拍摄前方路面信息，得到左侧上下两幅图片。在左侧上方图片中，经过步骤51和步骤52后，可以得到相关的平面，包括水面和路面，经过危险分类，小面积的水面被分为中等危险障碍，得到评估是避让绕行，可以重新规划行车路线，并将危险提示信息及重新规划的行车路线显示给用户，如图33中右侧上方附图所示；同样的，在图33中左侧下方图片中，获取得到路面、浅坑面等信息，在危险分类中，浅坑面属于低危险级，同时前方路况无法规划出避让路线，因此可以提示用户减速慢行。

实施例五

本实例提供了一种AR键盘的实现方法，借助AR设备，可以将英文键盘变为多语言键盘，将普通密码键盘变为加密密码键盘。由于普通的键盘通常为英文键盘，而不同语言的使用用户通常需要其他形式的特定语言键盘，例如俄文键盘，韩文键盘，由于其他语言键盘较英文键盘相对难以获取，这对用户会造成极大不便，即使用户有多个不同语言的键盘，但是在需要输入多语言时，不停切换键盘非常不方便；另外，在输入密码时，随机密码键盘往往比固定密码键盘要更加安全，随机密码键盘已经广泛应用在网上交易中，但是在线下交易(刷卡，取款)等情况下，需要使用物理密码键盘，依然是固定的密码键盘，用户输入密码时如果被他人窥见，将面临账户安全问题。

本实例提供的AR键盘可以作为多语言键盘使用，根据AR呈现方式，可以呈现出多语言可切换键盘；AR键盘还可以作为随机密码键盘使用，根据编码规则，通过AR方式呈现出加密的密码键盘，只有用户自己能看到，其他人在一旁即使看到了，也不能获取真实密码。

本发明实施例中，上述步骤1002进一步包括；在多媒体信息对应的三维平面信息中，确定需要显示虚拟显示信息的平面；获取各个需要显示虚拟显示信息的平面分别对应的虚拟显示信息；显示虚拟显示信息对应的增强现实显示信息。

其中，需要显示虚拟显示信息的平面为语义信息为键位的平面；虚拟显示信息为键值信息。

该方法还包括：检测用户针对多媒体信息中的三维平面的操作；根据操作对应的三维平面的实际显示信息和虚拟显示信息，确定用户操作指令；根据用户操作指令，执行相应操作。

其中，键位的平面在下述实例中可以具体为键盘中的键位所在平面，该键盘可以为普通键盘，或者为密码键盘。

本实例中的AR键盘的实现方法流程如图34所示。

步骤61、确定多媒体信息对应的三维平面信息，根据得到的三维平面信息，筛选出键位平面。

其中，本实例提出，可以但不限于按照上述实施例一的平面确定的方法来确定多媒体信息对应的三维平面信息。

其中，筛选键位平面时，可以根据筛选规则，将语义信息为键位的平面保留，剔除其他不相关平面。

还可以按照键盘布局，为键盘进行数字建模，得到真实键盘的3D数字模型信息。

步骤62、用指定的虚拟显示信息替换原有键盘键位的键值，即先获取每个需要替换原有键位的键位平面分别对应的虚拟显示信息，将虚拟显示信息在该键位平面位置处进行渲染，得到AR显示信息。虚拟显示信息可以为替换后的键值信息。

当原有键位为语言键位时，经过不同语言间的键值替换，可以实现多语言键盘功能。当原有键位为密码键位时，经过键值替换，可以实现随机密码键盘的功能。

通过三维平面信息，可以更好的将虚拟显示信息在该键位平面位置处进行渲染，最终实现的AR虚拟键盘更加真实。

由于键位的键值发生了替换，因此当检测到用户针对键位执行操作后，可以确定该键位对应的替换后的虚拟显示信息，即替换后的键值，根据替换后的键值，确定用户的真实操作指令，根据用户的真实操作指令，执行相应操作。

例如，通过AR虚拟键盘实现随机密码键盘时，当用户在密码键盘上按下密码时，银行***或密码键盘会根据替换前后的键值，对用户的密码进行解密，得到用户的真实密码，从而完成交易。

其中，AR键盘包括多语言AR键盘和加密密码键盘两种。图35展示了多语言AR键盘的示意图，图35(a)中，真实的键盘为英文键盘，通过AR设备(例如手机或AR眼睛)，在AR设备上显示为俄文键盘，如图35(b)所示。

图36展示了加密密码键盘的示意图，通过AR设备，显示在AR设备上的为加密后的密码键盘，不同于其他人看到的真实键盘的内容。

本发明实施例提供了一种增强现实显示信息的显示方法，与现有技术相比，本发明实施例通过确定出多媒体信息对应的三维平面信息，能够获取三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，并根据上述两种信息显示增强现实显示信息，例如，能够确定出三维平面对应的属性信息为地面、水面，虚拟显示信息对应的属性信息为陆地动物，水生动物，并根据二者的属性信息，能够将陆地动物添加至地面上，将水生动物添加在水面上，以显示增强现实信息，以避免显示的虚拟现实信息为陆地动物在水面上，或者水生动物在地面上的情况，从而可以提高增强现实显示结果的真实性，进而可以提升用户的体验度。

本发明实施例提供了一种平面确定的装置，如图37所示，该装置包括：处理模块3701、第一确定模块3702；其中，

处理模块3701，用于对多媒体信息进行区域分割及深度估计。

第一确定模块3702，用于根据处理模块3701处理得到的区域分割结果以及深度估计结果，确定多媒体信息的三维平面信息。

本发明实施例提供了一种平面确定的装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

本发明实施例提供了一种增强现实显示信息的显示装置，如图38所示，该装置包括：第二确定模块3801、显示模块3802，其中，

第二确定模块3801，用于确定多媒体信息对应的三维平面信息。

显示模块3802，用于根据第二确定模块3801确定的多媒体信息对应的三维平面信息，显示增强现实显示信息。

本发明实施例提供了一种增强现实显示信息的显示装置，与现有技术相比，本发明实施例通过确定出多媒体信息对应的三维平面信息，能够获取三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，并根据上述两种信息生成增强现实显示信息，例如，能够确定出三维平面对应的属性信息为地面、水面，虚拟显示信息对应的属性信息为陆地动物，水生动物，并根据二者的属性信息，能够将陆地动物添加至地面上，将水生动物添加在水面上，以生成增强现实信息，以避免生成的虚拟现实信息为陆地动物在水面上，或者水生动物在地面上的情况，从而可以提高增强现实显示结果，进而可以提升用户的体验度。

本发明实施例提供了一种增强现实显示信息的显示装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (30)

1.一种平面确定的方法，其特征在于，包括：

对多媒体信息进行区域分割及深度估计；

根据区域分割结果以及深度估计结果，确定所述多媒体信息的三维平面信息。

2.根据权利要求1所述的平面确定的方法，其特征在于，所述区域分割结果包含二维平面信息以及二维平面对应的语义信息。

3.根据权利要求2所述的平面确定的方法，其特征在于，所述对多媒体信息进行区域分割，具体包括：

通过同一深度学***面信息以及二维平面对应的语义信息。

4.根据权利要求1-3中任一项所述的平面确定的方法，其特征在于，所述对多媒体信息进行区域分割及深度估计，还包括：

根据区域分割结果，对深度估计结果进行校正；和/或

根据深度估计结果，对区域分割结果进行校正。

5.根据权利要求1-4中任一项所述的平面确定的方法，其特征在于，还包括：

根据确定出的三维平面信息对应的语义信息和空间关系信息，对确定出的三维平面信息进行调整。

6.根据权利要求5所述的平面确定的方法，其特征在于，所述对确定出的三维平面信息进行调整，具体包括：

根据确定出的三维平面信息对应的语义信息和空间关系信息，确定三维平面间的关联关系，通过确定出的所述关联关系，对确定出的三维平面信息进行调整。

7.根据权利要求1-6中任一项所述的平面确定的方法，其特征在于，对多媒体信息进行区域分割及深度估计之前，还包括：

确定多媒体信息的纹理信息；根据所述纹理信息，确定纹理缺失区域；

对多媒体信息进行区域分割及深度估计，包括：

针对确定出的所述纹理缺失区域，进行区域分割及深度估计。

8.一种增强现实显示信息的显示方法，其特征在于，包括：

确定多媒体信息对应的三维平面信息；

根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息。

9.根据权利要求8所述的增强现实信息的显示方法，其特征在于，所述根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息的步骤，包括：

获取所述三维平面信息对应的属性信息，和/或虚拟显示信息对应的属性信息；

根据获取的三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，显示增强现实显示信息。

10.根据权利要求9所述的增强现实显示信息的显示方法，其特征在于，所述三维平面对应的属性信息包括以下至少一项：

所述三维平面对应的语义信息、所述语义信息对应的关联属性信息、所述三维平面的物理属性信息。

11.根据权利要求10所述的增强现实显示信息的显示方法，其特征在于，所述获取三维平面信息对应的语义信息的步骤，包括：

将所述多媒体信息的二维平面信息对应的语义信息，作为对应的三维平面信息的语义信息；

或者，根据所述多媒体信息的二维平面信息对应的语义信息以及所述多媒体信息的深度估计结果，确定三维平面信息的语义信息；

或者，对所述三维平面信息进行语义分析，得到所述三维平面对应的语义信息。

12.根据权利要求9-11中任一项所述的增强现实显示信息的显示方法，其特征在于，根据获取的三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，显示增强现实显示信息，包括：

根据获取的三维平面信息对应的属性信息和/或虚拟显示信息对应的属性信息，确定虚拟显示信息与三维平面间的位置关系，和/或虚拟显示信息间的位置关系；

根据确定出的位置关系，显示增强现实显示信息。

13.根据权利要求8所述的增强现实显示信息的显示方法，其特征在于，所述根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息，包括：

在所述多媒体信息对应的三维平面信息中，确定目标平面；

确定所述目标平面对应的调整信息；

显示所述调整信息对应的增强现实显示信息。

14.根据权利要求13所述的增强现实显示信息的显示方法，其特征在于，确定所述目标平面对应的调整信息之前，还包括：

在所述多媒体信息对应的三维平面信息中，确定参照平面，以及所述目标平面和参照平面间的位置关系；

确定所述目标平面对应的调整信息，包括：

根据确定出的所述位置关系，确定所述目标平面的位置调整信息，作为所述目标平面对应的调整信息。

15.根据权利要求13所述的增强现实显示信息的显示方法，其特征在于，确定所述目标平面对应的调整信息之前，还包括：

确定所述目标平面和采集所述多媒体信息的采集设备对应的采集平面间的位置关系；

确定所述目标平面对应的调整信息，包括：

根据确定出的所述位置关系，确定所述采集平面的姿态调整信息，作为所述目标平面对应的调整信息。

16.根据权利要求13-15中任一项所述的增强现实显示信息的显示方法，其特征在于，所述调整信息为调整方向信息和/或调整角度信息。

17.根据权利要求8所述的增强现实显示信息的显示方法，其特征在于，所述根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息，包括：

在所述多媒体信息对应的三维平面信息中，确定行车规避平面；

根据所述行车规避平面，确定行车辅助信息；

显示所述行车辅助信息对应的增强现实显示信息。

18.根据权利要求17所述的增强现实显示信息的显示方法，其特征在于，所述行车规避平面为行车路面两侧的障碍物平面；

根据所述行车规避平面，确定行车辅助信息，包括：

根据行车路面两侧的障碍物平面，确定行车路面的宽度信息；

根据行车路面的宽度信息，确定提示是能否通过行车路面的提示信息，作为所述行车辅助信息。

19.根据权利要求17所述的增强现实显示信息的显示方法，其特征在于，所述行车规避平面为行车路面上的待规避平面；

根据所述行车规避平面，确定行车辅助信息，包括：

根据行车路面上的待规避平面，确定行车建议信息，作为所述行车辅助信息。

20.根据权利要求8所述的增强现实显示信息的显示方法，其特征在于，所述根据所述多媒体信息对应的三维平面信息，显示增强现实显示信息，包括：

在所述多媒体信息对应的三维平面信息中，确定需要显示虚拟显示信息的平面；

获取各个需要显示虚拟显示信息的平面分别对应的虚拟显示信息；

显示所述虚拟显示信息对应的增强现实显示信息。

21.根据权利要求20所述的增强现实显示信息的显示方法，其特征在于，所述需要显示虚拟显示信息的平面为语义信息为键位的平面；虚拟显示信息为键值信息。

22.根据权利要求20或21所述的增强现实显示信息的显示方法，其特征在于，还包括：

检测用户针对所述多媒体信息中的三维平面的操作；

根据所述操作对应的三维平面的实际显示信息和虚拟显示信息，确定用户操作指令；

根据所述用户操作指令，执行相应操作。

23.根据权利要求8-22任一项所述的增强现实显示信息的显示方法，其特征在于，确定多媒体信息对应的三维平面信息，包括：

对多媒体信息进行区域分割及深度估计；

根据区域分割结果以及深度估计结果，确定所述多媒体信息的三维平面信息。

24.根据权利要求23所述的增强现实显示信息的显示方法，其特征在于，所述区域分割结果包含二维平面信息以及二维平面对应的语义信息。

25.根据权利要求24所述的增强现实显示信息的显示方法，其特征在于，所述对多媒体信息进行区域分割，具体包括：

通过同一深度学***面信息以及二维平面对应的语义信息。

26.根据权利要求23-25中任一项所述的增强现实显示信息的显示方法，其特征在于，所述对多媒体信息进行区域分割及深度估计，还包括：

根据区域分割结果，对深度估计结果进行校正；和/或

根据深度估计结果，对区域分割结果进行校正。

27.根据权利要求23-26中任一项所述的增强现实显示信息的显示方法，其特征在于，还包括：

根据确定出的三维平面信息对应的语义信息和空间关系信息，对确定出的三维平面信息进行调整。

28.根据权利要求23-27中任一项所述的增强现实显示信息的显示方法，其特征在于，对多媒体信息进行区域分割及深度估计之前，还包括：

确定多媒体信息的纹理信息；

根据所述纹理信息，确定纹理缺失区域；

针对所述纹理缺失区域，进行区域分割及深度估计。

29.一种平面确定的装置，其特征在于，包括：

处理模块，用于对多媒体信息进行区域分割及深度估计；

第一确定模块，用于根据所述处理模块处理得到的区域分割结果以及深度估计结果，确定所述多媒体信息的三维平面信息。

30.一种增强现实显示信息的显示装置，其特征在于，包括：

第二确定模块，用于确定多媒体信息对应的三维平面信息；

显示模块，用于根据所述第二确定模块确定的多媒体信息对应的三维平面信息，显示增强现实显示信息。