CN113538694A - 一种平面重建方法及显示设备 - Google Patents

Abstract

本申请涉及VR/AR技术领域，提供一种平面重建方法及显示设备，获取深度相机采集的深度图像，基于所述深度图像，提取包含多个3D点的三维点云数据，从多个3D点选取两个3D点，并确定两个3D点在与待重建平面垂直的轴线上的距离，遍历多个3D点中的全部3D点，根据确定的各个距离生成待重建平面的3D点集合，并根据3D点集合重建用于显示增强图像的平面，通过根据两个3D点在与待重建平面的垂直轴线上的高度差，来生成待重建平面的3D点集合，计算简单，效率快，且重建平面的精度更高。

Description

一种平面重建方法及显示设备

技术领域

本申请涉及虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)技术领域，尤其涉及一种平面重建方法及显示设备。

背景技术

虚拟现实(Virtual Reality，VR)技术，利用计算机仿真技术生成交互式的全数字三维视场来模拟虚拟环境，从而给人以环境沉浸感。增强现实(Augmented Reality，AR)技术，是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及智能交互、传感等多种技术手段，将生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

VR/AR显示在各行各业具有广泛的应用，例如教育培训、消防演练、虚拟驾驶、房地产、营销等行业中，给用户带来身临其境般沉浸式的视觉盛宴。通过AR技术给视频内容叠加上场景特效，充分展现出智能型带来的别开生面的视觉冲击体验，叠加个性化特效后的视频，会使用户产生肢体响应的趣味动态效果，并且在极端环境下展现出高稳定性的优势。

基于视觉追踪检测技术通过根据相机拍摄的图像对周围环境进行理解，重建用于显示增强图像的平面，从而实现AR增强特效。

目前，一般是根据点云信息将重建所有平面，然后根据平面的法向量和重力方向的角度进一步确定该平面是水平面或竖直面，但法向量和重力方向的角度计算复杂度高、耗时长，且重建的平面精确度低。

发明内容

本申请实施例提供了一种平面重建方法及显示设备，用以快速、准确的重建平面。

第一方面，本申请实施例提供一种平面重建方法，包括：

获取采集的深度图像，基于所述深度图像，提取三维点云数据，所述三维点云数据包含多个3D点；

从所述多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值；

遍历所述多个3D点中的全部3D点，根据确定的各个距离生成所述待重建平面的3D点集合；

根据所述3D点集合重建用于显示增强图像的待重建平面。

第二方面，本申请实施例提供一种显示设备，包括显示器、存储器、控制器：

所述显示器，与所述控制器连接，被配置为在重建的平面上显示增强图像；

所述存储器，与所述控制器连接，被配置为存储计算机程序指令；

所述控制器，被配置为根据所述计算机程序指令，执行以下操作：

获取采集的深度图像，基于所述深度图像，提取三维点云数据，所述三维点云数据包含多个3D点；

从所述多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值；

遍历所述多个3D点中的全部3D点，根据确定的各个距离生成所述待重建平面的3D点集合；

根据所述3D点集合重建用于显示增强图像的待重建平面。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行本申请实施例提供的平面重建方法。

本申请的上述实施例中，通过相机采集的深度图像提取包含多个3D点的三维点云数据，对全部3D点进行遍历，每次从多个3D点选取两个3D点，并确定两个3D点在与待重建平面垂直的轴线上的距离，遍历后，根据确定的各个距离生成待重建平面的3D点集合，并根据3D点集合重建用于显示增强图像的平面，通过根据两个3D点在与待重建平面的垂直轴线上的高度差，来生成待重建平面的3D点集合，相对于重建所有的平面，然后利用法向量和重力方向的角度来确定选取所需的平面，本申请实施例计算简单，效率快，且重建平面的精度更高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请的实施例提供的***架构图；

图2示例性示出了本申请的实施例提供的显示设备的硬件结构图；

图3示例性示出了本申请的实施例提供的平面重建方法；

图4示例性示出了本申请实施例提供的提取的三维点云数据的点云图；

图5示例性示出了本申请实施例提供的从多个3D点中筛选水平面对应的3D点的示意图；

图6示例性示出了本申请实施例提供的从多个3D点中筛选垂直面对应的3D点的示意图；

图7示例性示出了本申请实施例提供的从多个3D点中筛选倾斜面对应的3D点的示意图；

图8示例性示出了本申请实施例提供的重建的平面效果图；

图9示例性示出了本申请实施例提供的显示设备的功能结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体，而不必然意味着限定特定的顺序或先后次序，除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换，例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。

此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

下面结合附图详细描述本申请的实施例。

图1示例性示出了本申请实施例提供的应用场景示意图。如图1所示，显示设备具有摄像头(camera)，用于采集真实环境中的深度图像。本申请实施例对摄像机的类型不做限制性要求，例如可以是RGBD相机、双目相机等。显示设备对摄像头采集的深度图像进行处理，得到用于重建平面的3D点集合，并基于得到的3D点集合重建平面，并在重建平面上显示增强图像，如图1示出的，在重建的水平面上显示了萌宠恐龙，该恐龙添加了″喷火″的增强特效，增强了画面的代入感和真实性，从而给用户带来强烈而震撼的视觉冲击，并产生肢体响应的趣味动态效果，例如，身体自然躲避喷火特效。

需要说明的是，图1中重建的水平面仅是一种示例，本申请可适用于重建竖直面、倾斜面等各种平面，且对重建平面的形状不做限制性要求，可以是矩形、圆形等规则的形状，也可以是不规则的多边形。

以显示设备为智能电视为例，图2示例性示出了本申请实施例提供的显示设备的结构图。如图2所示，第一终端100中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275，音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。

在一些实施例中，显示器275，包括用于呈现画面的显示屏组件，以及驱动图像显示的驱动组件，用于接收源自第一处理器输出的图像信号，进行显示视频内容和图像以及菜单操控界面的组件。

在一些实施例中，显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

在一些实施例中，通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如：通信器可以包括Wifi芯片，蓝牙通信协议芯片，有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片，以及红外接收器中的至少一种。

在一些实施例中，第一终端100可以通过通信器220与外部设备之间建立控制信号和数据信号发送和接收。

在一些实施例中，用户接口265，可用于接收外部设备的控制信号。

在一些实施例中，检测器230包括光接收器、图像采集器、温度传感器、声音采集器等，用于采集外部环境或与外部交互的信号。

在一些实施例中，输入/输出接口255被配置为，可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。

在一些实施例中，外部装置接口240可以包括，但不限于如下：可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。

在一些实施例中，调谐解调器210被配置为，通过有线或无线接收方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，从多个无线或有线广播电视信号中解调出音视频信号，该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号，以及EPG数据信号。

在一些实施例中，调谐解调器210解调的频点受到控制器250的控制，控制器250可根据用户选择发出控制信号，以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。

在一些实施例中，控制器250，通过存储在存储器上中各种软件控制程序，来控制第一终端的工作和响应用户的操作。控制器250可以控制第一终端100的整体操作。例如：响应于接收到用于选择在显示器275上显示UI对象的用户命令，控制器250便可以执行与由用户命令选择的对象有关的操作。

如图2所示，控制器250包括随机存取存储器251(Random Access Memory，RAM)、只读存储器252(Read-Only Memory，ROM)、视频处理器270、音频处理器280、其他处理器253(例如：图形处理器(Graphics Processing Unit，GPU)、中央处理器254(CentralProcessing Unit，CPU)、通信接口(Communication Interface)，以及通信总线256(Bus)中的至少一种。其中，通信总线连接各个部件。

在一些实施例中，RAM251用于存储操作***或其他正在运行中的程序的临时数据。

在一些实施例中，ROM 252用于存储各种***启动的指令。

在一些实施例中，ROM 252用于存储一个基本输入输出***，称为基本输入输出***(Basic Input Output System，BIOS)。用于完成对***的加电自检、***中各功能模块的初始化、***的基本输入/输出的驱动程序及引导操作***。

在一些实施例中，在收到开机信号时，第一终端100电源开始启动，CPU运行ROM252中***启动指令，将存储在存储器的操作***的临时数据拷贝至RAM 251中，以便于启动或运行操作***。当操作***启动完成后，CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中，然后，以便于启动或运行各种应用程序。

在一些实施例中，CPU处理器254，用于执行存储在存储器中操作***和应用程序指令。以及根据接收外部输入的各种交互指令，来执行各种应用程序、数据和内容，以便最终显示和播放各种音视频内容。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器，用于在预加电模式中执行第一终端100一些操作，和/或在正常模式下显示画面的操作。一个或多个子处理器，用于在待机模式等状态下一种操作。

在一些实施例中，图形处理器253，用于产生各种图形对象，如：图标、操作菜单、以及用户输入指令显示图形等。包括运算器，通过接收用户输入各种交互指令进行运算，根据显示属性显示各种对象。以及包括渲染器，对基于运算器得到的各种对象，进行渲染，上述渲染后的对象用于显示在显示器上。

在一些实施例中，视频处理器270被配置为将接收外部视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理，可得到直接可第一终端100上显示或播放的信号。

在一些实施例中，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

在一些实施例中，音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等处理，得到可以在扬声器中播放的声音信号。

供电电源290，在控制器250控制下，将外部电源输入的电力为第一终端100提供电源供电支持。供电电源290可以包括安装第一终端100内部的内置电源电路，也可以是安装在第一终端100外部电源，在第一终端100中提供外接电源的电源接口。

用户接口265，用于接收用户的输入信号，然后，将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号，可以通过网络通信模块接收各种用户控制信号。

存储器260，包括存储用于驱动第一终端100的各种软件模块。如：第一存储器中存储的各种软件模块，包括：基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。

需要说明的是，图1-图2仅是一种示例，本申请中的显示设备可以是智能手机、笔记本电脑、台式机、平板、AR眼镜、VR眼镜等具有视频播放和交互功能的终端。

基于图1所示的场景，图3示例性示出了本申请实施例提供的平面重建方法流程图，如图3所示，该流程由显示设备执行，主要包括以下几步：

S301：获取采集的深度图像，基于深度图像，提取三维点云数据，三维点云数据包含多个3D点。

该步骤中，显示设备开启摄像头，采集显示设备所处环境的深度图像，基于采集的深度图像，提取三维点云数据。

图4示例性示出了本申请实施例提供的提取的三维点云数据的点云图，如图4所示，为从一帧深度图像中提取的三维点数据，其中包含多个3D点。

S302：从多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值。

该步骤中，从多个3D点中任意选取两个距离小于设定的距离阈值3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离。本申请的实施例中，根据待重建平面的不同，确定两个3D点在与待重建平面垂直的轴线上的距离的方式也不同。

在一种可选的实施方式中，当待重建平面为水平面或竖直面时，在执行S302的过程中，分别将选取的两个3D点在平行于待重建平面的第一轴线上的坐标设置为预设值，并按照预设的缩小比例，分别缩小两个3D点在平行于待重建平面的第二轴线上的坐标，得到两个3D点更新后的第一坐标，并根据更新后的第一坐标，确定两个3D点在与待重建平面垂直的轴线上的距离。

以待重建平面为水平面为例，如图5所示，Y轴与水平面XOZ垂直，根据两个3D点到水平面的高度差来确定这两个3D点是否为水平面对应的3D点，即根据选取的两个3D点在与待重建平面垂直的轴线上的距离从3D点中筛选水平面对应的3D点。具体实施时，从提取的多个3D点中任意选取距离小于设定距离阈值的两个3点，分别记为A、B，其中，A点坐标用(x1，y1，z1)表示，B点坐标用(x2，y2，z2)表示。可选的，选取的两个3D点为距离最近的两个3D点。将A、B两个3D点在X轴上的坐标值x1和x2设置为0，并将A、B两个3D点在Z轴上的坐标值缩小10000倍，得到更新后的A点的第一坐标为(0，y1，z1/1000)，B点的第一坐标为(0，y2，z2/1000)，由于缩小后的Z轴上的坐标较小，可忽略其对选取的两个3D点是否属于水平面的影响。根据A、B两个3D点的第一坐标，确定A、B两个3D点在Y轴上的距离，即确定A、B两个3D点到水平面的高度差。A、B两个3D点在Y轴上的距离dy＝|y2-y1|将dy与预设的高度差值ay进行比较，若dy＜ay，表明A、B两个3D点为水平面上的两个点，若dy≥ay，表明A、B两个3D点不属于水平面。

以待重建平面为竖直面为例，如图6所示，Z轴与竖直面XOY垂直，根据两个3D点到竖直面的高度差来确定选取的两个3D点是否为竖直面对应的3D点，即根据选取的两个3D点在与待重建平面垂直的轴线上的距离从3D点中筛选竖直面对应的3D点。具体实施时，从提取的多个3D点中任意选取距离小于设定距离阈值的两个3点，分别记为C、D，其中，C点坐标用(x3，y3，z3)表示，D点坐标用(x4，y4，z4)表示。可选的，选取的两个3D点为距离最近的两个3D点。将C、D两个3D点在X轴上的坐标值x3和x4设置为0，并将C、D两个3D点在Y轴上的坐标值缩小10000倍，得到更新后的C点的第一坐标为(0，y3/1000，z3)，D点的第一坐标为(0，y4/1000，z4)，根据C、D两个3D点的第一坐标，确定C、D两个3D点在Z轴上的距离，即确定C、D两个3D点到竖直面的高度差。C、D两个3D点在Z轴上的距离dz＝|z4-z3|，将dz与预设的高度差值az进行比较，若dz＜az，表明C、D两个3D点为竖直面上的两个点，若dy≥az，表明C、D两个3D点不属于竖直面。

在另一种可选的实施方式中，当待重建平面为倾斜面时，在执行S302的过程中，根据待重建平面相对于水平面和竖直面的倾斜角度，确定待重建平面对应的轴线。具体的，若待重建平面相对于水平面的倾斜角度大于待重建平面相对于竖直面的倾斜角度，则确定待重建平面对应的轴线为与竖直面垂直的轴线，若待重建平面相对于水平面的倾斜角度小于待重建平面相对于竖直面的倾斜角度，则确定待重建平面对应的轴线为与水平面垂直的轴线；若待重建平面相对于水平面的倾斜角度等于待重建平面相对于竖直面的倾斜角度，则将与水平面垂直的轴线和与竖直面垂直的轴线中的任一个确定为待重建平面对应的轴线。

进一步地，按照预设的缩小比例，分别缩小选取的两个3D点在与确定的轴线垂直的两个坐标轴上的坐标，得到两个3D点更新后的第二坐标，根据更新后的第二坐标，确定两个3D点在轴线上的距离。

以待重建平面为立方体的对角线确定的倾斜面为例，如图7所示，倾斜面XYZ相对于水平面XOZ和竖直面XOZ的倾斜角度相同，将Y轴或Z轴作为倾斜面XYZ对应的轴线。假设选择Y轴作为倾斜面XYZ对应的轴线，根据两个3D点到倾斜面的高度差来确定选取的两个3D点是否为倾斜面对应的3D点，即根据选取的两个3D点在Y轴线上的距离从3D点中筛选倾斜面对应的3D点。具体实施时，从提取的多个3D点中任意选取距离小于设定距离阈值的两个3点，分别记为E、F，其中，E点坐标用(x5，y5，z5)表示，F点坐标用(x6，y6，z6)表示，将E、F两个3D点在X轴、Z轴上的坐标值分别缩小10000倍，得到更新后的C点的第一坐标为(x5/1000，y5，z5/1000)，D点的第一坐标为(x6/1000，y6，z6/1000)，根据E、F两个3D点的第二坐标，确定E、F两个3D点在Y轴上的距离dw。将dw与预设的高度差值aw进行比较，若dw＜aw，表明E、F两个3D点为倾斜面上的两个点，若dw≥aw，表明C、D两个3D点不属于倾斜面。

需要说明的是，ay、az、aw的大小可根据实验数据进行设置，其大小可以相同，也可以不同。

S303：遍历多个3D点中的全部3D点，根据确定的各个距离生成待重建平面的3D点集合。

该步骤中，按照S302对提取的多个3D点进行遍历后，确定了多个距离。针对各个距离中的每一个距离，分别执行以下操作：将该距离与预设的高度差值进行比较，若该距离小于预设的高度差值，表明该距离对应的两个3D点为待重建平面上的点，因此，将该距离对应的两个2D点作为待重建平面的3D点集合中两点。

例如，假设待重建平面为水平面，A、B两个3D点在Y轴上的距离小于ay，则保留A、B两个3D点，而C、D两个3D点在Y轴上的距离大于ay，则将C、D两个3D点剔除，直到遍历全部3D点后，得到水平面对应的3D点集合。

需要说明的是，当对多个3D点进行遍历时，若多个3D点的数量为奇数，针对剩余的一个3D点，可结合与其最近的3D点确定剩余3D点所属的平面。

S304：根据3D点集合重建用于显示增强图像的待重建平面。

该步骤中，根据待重建平面对应的3D点集合重建待重建平面，无需重建其他平面，提高了平面重建的效率以及精确度。其中，一个待重建平面上可以包含多个形状不同的平面。执行S304时，根据3D点集合中3D点之间的距离进行聚类，得到至少一种形状类别的待重建平面。

以待重建平面为水平面为例，如图8所示，根据水平面对应的3D点集合中3D点之间的距离进行聚类后，获得4种形状不同的水平面，分别记为平面1、平面2、平面3、平面4。

重建待重建平面后，可在重建平面上显示增强后视频图像，从而实现对显示的视频图像的放大、缩小、效果增强、趣味互动等功能。

本申请实施例对聚类算法不做限制性要求，包括但不限于均值聚类(K-means)算法、均值漂移聚类算法、基于密度的聚类算法(DBSCAN)、高斯混合模型(GMM)聚类算法。

本申请的上述实施例中，通过确定任意两个3D点在与待重建平面垂直的轴线上的距离，即任意两个3D点到待重建平面的高度差，从多个3D点中筛选出待重建平面对应的3D点集合，并根据3D点集合中3D点之间的距离对待重建平面进行聚类，得到至少一种形状的待重建平面，从而显示AR特效。该方法可以快速重建所需的水平面、竖直面、倾斜面等，无需根据全部3D点重建所有平面，然后从所有平面中筛选所需的平面，效率较高，且由于重建使用的3D点集合为待重建平面对应的3D点，因此，重建平面的精确更高。在AR/VR等环境下，可利用重建的平面显示增强后的视频图像，给用户带来强烈而震撼的视觉冲击，提升用户的体验感和真实感，并产生与特效对应的肢体响应以提高体验趣味。

基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备能够实现图3所示的平面重建方法，且能得到相同的技术效果。

参见图9，该显示设备包括获取模块901、距离确定模块902、筛选模块903、重建模块904；

获取模块901，用于获取采集的深度图像，基于深度图像，提取三维点云数据，三维点云数据包含多个3D点；

距离确定模块902，用于从多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值；

筛选模块903，用于遍历多个3D点中的全部3D点，根据确定的各个距离生成待重建平面的3D点集合；

重建模块904，用于根据3D点集合重建用于显示增强图像的待重建平面。

可选的，待重建平面包括水平面或竖直面，距离确定模块902具体用于：

分别将选取的两个3D点在平行于待重建平面的第一轴线上的坐标设置为预设值，并按照预设的缩小比例，分别缩小两个3D点在平行于待重建平面的第二轴线上的坐标，得到两个3D点更新后的第一坐标；

根据更新后的第一坐标，确定两个3D点在与待重建平面垂直的轴线上的距离。

可选的，待重建平面包括倾斜面，距离确定模块902具体用于：

根据待重建平面相对于水平面和竖直面的倾斜角度，确定待重建平面对应的轴线；

按照预设的缩小比例，分别缩小选取的两个3D点在与轴线垂直的两个坐标轴上的坐标，得到两个3D点更新后的第二坐标；

根据更新后的第二坐标，确定两个3D点在轴线上的距离。

可选的，距离确定模块902，具体用于：

若待重建平面相对于水平面的倾斜角度大于待重建平面相对于竖直面的倾斜角度，则确定待重建平面对应的轴线为与竖直面垂直的轴线；或者

若待重建平面相对于水平面的倾斜角度小于待重建平面相对于竖直面的倾斜角度，则确定待重建平面对应的轴线为与水平面垂直的轴线；或者

若待重建平面相对于水平面的倾斜角度等于待重建平面相对于竖直面的倾斜角度，则将与水平面垂直的轴线和与竖直面垂直的轴线中的任一个确定为待重建平面对应的轴线。

可选的，筛选模块903具体用于：

针对各个距离中的每一个，若距离小于预设的高度差值，则将小于预设的高度差值的距离对应的两个2D点，作为待重建平面的3D点集合中两点。

可选的，重建模块904具体用于：

根据3D点集合中3D点之间的距离进行聚类，得到至少一种形状类别的待重建平面。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种平面重建方法，其特征在于，包括：

获取采集的深度图像，基于所述深度图像，提取三维点云数据，所述三维点云数据包含多个3D点；

从所述多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值；

遍历所述多个3D点中的全部3D点，根据确定的各个距离生成所述待重建平面的3D点集合；

根据所述3D点集合重建用于显示增强图像的待重建平面。

2.如权利要求1所述的方法，其特征在于，所述待重建平面包括水平面或竖直面，则所述确定选取的两个3D点在与待重建平面垂直的轴线上的距离，包括：

分别将选取的两个3D点在平行于待重建平面的第一轴线上的坐标设置为预设值，并按照预设的缩小比例，分别缩小所述两个3D点在平行于待重建平面的第二轴线上的坐标，得到所述两个3D点更新后的第一坐标；

根据更新后的第一坐标，确定所述两个3D点在与待重建平面垂直的轴线上的距离。

3.如权利要求1所述的方法，其特征在于，所述待重建平面包括倾斜面，则所述确定选取的两个3D点在与待重建平面垂直的轴线上的距离，包括：

根据所述待重建平面相对于水平面和竖直面的倾斜角度，确定所述待重建平面对应的轴线；

按照预设的缩小比例，分别缩小选取的两个3D点在与所述轴线垂直的两个坐标轴上的坐标，得到所述两个3D点更新后的第二坐标；

根据更新后的第二坐标，确定所述两个3D点在所述轴线上的距离。

4.如权利要求3所述的方法，其特征在于，所述根据所述待重建平面相对于水平面和竖直面的倾斜角度，确定所述待重建平面对应的轴线，包括：

若所述待重建平面相对于水平面的倾斜角度大于待重建平面相对于竖直面的倾斜角度，则确定所述待重建平面对应的轴线为与所述竖直面垂直的轴线；或者

若所述待重建平面相对于水平面的倾斜角度小于待重建平面相对于竖直面的倾斜角度，则确定所述待重建平面对应的轴线为与所述水平面垂直的轴线；或者

若所述待重建平面相对于水平面的倾斜角度等于待重建平面相对于竖直面的倾斜角度，则将与所述水平面垂直的轴线和与所述竖直面垂直的轴线中的任一个确定为所述待重建平面对应的轴线。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述遍历所述多个3D点中的全部3D点，根据确定的各个距离生成所述待重建平面的3D点集合，包括：

针对所述各个距离中的每一个，若所述距离小于预设的高度差值，则将小于预设的高度差值的距离对应的两个2D点，作为所述待重建平面的3D点集合中两点。

6.如权利要求1-4中任一项所述的方法，其特征在于，所述根据所述3D点集合重建所述待重建平面，包括：

根据所述3D点集合中3D点之间的距离进行聚类，得到至少一种形状类别的待重建平面。

7.一种显示设备，其特征在于，包括显示器、存储器、控制器：

所述显示器，与所述控制器连接，被配置为在重建的平面上显示增强图像；

所述存储器，与所述控制器连接，被配置为存储计算机程序指令；

所述控制器，被配置为根据所述计算机程序指令，执行以下操作：

获取采集的深度图像，基于所述深度图像，提取三维点云数据，所述三维点云数据包含多个3D点；

从所述多个3D点中选取两个3D点，并确定选取的两个3D点在与待重建平面垂直的轴线上的距离，选取的两个3D点之间的距离小于设定的距离阈值；

遍历所述多个3D点中的全部3D点，根据确定的各个距离生成所述待重建平面的3D点集合；

根据所述3D点集合重建用于显示增强图像的待重建平面。

8.如权利要求7所述的显示设备，其特征在于，所述待重建平面包括水平面或竖直面，所述控制器具体被配置为：

分别将选取的两个3D点在平行于待重建平面的第一轴线上的坐标设置为预设值，并按照预设的缩小比例，分别缩小所述两个3D点在平行于待重建平面的第二轴线上的坐标，得到所述两个3D点更新后的第一坐标；

根据更新后的第一坐标，确定所述两个3D点在与待重建平面垂直的轴线上的距离。

9.如权利要求7所述的显示设备，其特征在于，所述待重建平面包括倾斜面，所述控制器具体被配置为：

根据所述待重建平面相对于水平面和竖直面的倾斜角度，确定所述待重建平面对应的轴线；

按照预设的缩小比例，分别缩小选取的两个3D点在与所述轴线垂直的两个坐标轴上的坐标，得到所述两个3D点更新后的第二坐标；

根据更新后的第二坐标，确定所述两个3D点在所述轴线上的距离。

10.如权利要求7-9中任一项所述的显示设备，其特征在于，所述控制器根据所述3D点集合重建所述待重建平面，具体被配置为：

根据所述3D点集合中3D点之间的距离进行聚类，得到至少一种形状类别的待重建平面。

Images