CN110276831A - 三维模型的建构方法和装置、设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种三维模型的建构方法、装置、终端设备和计算机可读存储介质。方法包括获取可见光图，生成与可见光图对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定所述可见光图中的目标主体；获取目标主体对应的深度信息；根据目标主体和目标主体对应的深度信息，对目标主体进行三维重构，返回获取可见光图的步骤以获取不同采集角度的可见光图，直到得到目标主体对应的三维模型，提高了三维模型建构的准确率。

Description

三维模型的建构方法和装置、设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种三维模型的建构方法和装置、终端设备、计算机可读存储介质。

背景技术

随着影像技术的发展，人们越来越习惯通过电子设备上的摄像头等图像采集设备拍摄图像或视频，记录各种信息，由于三维的图像处理的真实感更强而得到广泛的关注。

传统的三维模型在进行三维建构时，经常受到周围的人或物体的影响，导致三维模型的建构准确率低。

发明内容

本申请实施例提供一种三维模型的建构方法、装置、终端设备、计算机可读存储介质，根据中心权重图和主体检测模型得到精准的主体区域置信度图，从而精确的识别图像中的目标主体，在三维模型建构时，通过目标主体的深度信息，实现目标主体对应的三维模型的精准构建，提高了三维模型建构的准确率。

一种三维模型的建构方法，所述方法包括：

获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述可见光图中的目标主体；

获取所述目标主体对应的深度信息；

根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

一种三维模型的建构装置，所述装置包括：

处理模块，用于获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

检测模块，用于将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

目标主体确定模块，用于根据所述主体区域置信度图确定所述可见光图中的目标主体；

三维模型建构模块，用于获取所述目标主体对应的深度信息，根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

一种终端设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述可见光图中的目标主体；

获取所述目标主体对应的深度信息；

根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述可见光图中的目标主体；

获取所述目标主体对应的深度信息；

根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

上述三维模型的建构方法、装置、终端设备、计算机可读存储介质，通过获取可见光图，生成与可见光图对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定可见光图中的目标主体；获取目标主体对应的深度信息；根据目标主体和目标主体对应的深度信息，对目标主体进行三维重构，返回获取可见光图的步骤以获取不同采集角度的可见光图，直到得到目标主体对应的三维模型，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出可见光图中的目标主体，在三维模型建构时，通过目标主体的深度信息，实现目标主体对应的三维模型的精准构建，在存在干扰物体的情况下也能精准识别目标主体，从而提高目标主体对应的三维模型建构的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中终端设备的内部结构框图；

图2为一个实施例中三维模型的建构方法的流程图；

图3为一个实施例中目标主体对应的三维模型的示意图；

图4为一个实施例中根据该主体区域置信度图确定该可见光图中的目标主体的流程图；

图5为一个实施例中主体检测模型的网络结构示意图；

图6为一个实施例中主体检测效果示意图；

图7为一个实施例中三维模型的建构装置的结构框图；

图8为一个实施例中终端设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例中的三维模型的建构方法可应用于终端设备。该终端设备可为带有摄像头的计算机设备、个人数字助理、平板电脑、智能手机、穿戴式设备等。终端设备中的摄像头在拍摄图像时，会进行自动对焦，以保证拍摄的图像清晰。

在一个实施例中，上述终端设备中可包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括第一ISP处理器130、第二ISP处理器140和控制逻辑器150。第一摄像头110包括一个或多个第一透镜112和第一图像传感器114。第一图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，第一图像传感器114可获取用第一图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由第一ISP处理器130处理的一组图像数据。第二摄像头120包括一个或多个第二透镜122和第二图像传感器124。第二图像传感器124可包括色彩滤镜阵列(如Bayer滤镜)，第二图像传感器124可获取用第二图像传感器124的每个成像像素捕捉的光强度和波长信息，并提供可由第二ISP处理器140处理的一组图像数据。

第一摄像头110采集的第一图像传输给第一ISP处理器130进行处理，第一ISP处理器130处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第一摄像头110的控制参数，从而第一摄像头110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器130进行处理后可存储至图像存储器160中，第一ISP处理器130也可以读取图像存储器160中存储的图像以对进行处理。另外，第一图像经过ISP处理器130进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。

其中，第一ISP处理器130按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一ISP处理器130可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

图像存储器160可为存储器装置的一部分、存储设备、或终端设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自第一图像传感器114接口时，第一ISP处理器130可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器160，以便在被显示之前进行另外的处理。第一ISP处理器130从图像存储器160接收处理数据，并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器130处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，第一ISP处理器130的输出还可发送给图像存储器160，且显示器170可从图像存储器160读取图像数据。在一个实施例中，图像存储器160可被配置为实现一个或多个帧缓冲器。

第一ISP处理器130确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜112阴影校正等第一图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头110的控制参数及第一ISP处理器130的控制参数。例如，第一摄像头110的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及第一透镜112阴影校正参数。

同样地，第二摄像头120采集的第二图像传输给第二ISP处理器140进行处理，第二ISP处理器140处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器150，控制逻辑器150可根据统计数据确定第二摄像头120的控制参数，从而第二摄像头120可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器140进行处理后可存储至图像存储器160中，第二ISP处理器140也可以读取图像存储器160中存储的图像以对进行处理。另外，第二图像经过ISP处理器140进行处理后可直接发送至显示器170进行显示，显示器170也可以读取图像存储器160中的图像以进行显示。第二摄像头120和第二ISP处理器140也可以实现如第一摄像头110和第一ISP处理器130所描述的处理过程。

在一个实施例中，第一摄像头110可为彩色摄像头，第二摄像头120可为TOF(TimeOf Flight，飞行时间)摄像头或结构光摄像头。TOF摄像头可获取TOF深度图，结构光摄像头可获取结构光深度图。第一摄像头110和第二摄像头120可均为彩色摄像头。通过两个彩色摄像头获取双目深度图。第一ISP处理器130和第二ISP处理器140可为同一ISP处理器。

第一摄像头110和第二摄像头120拍摄同一场景分别得到可见光图和深度图，将可见光图和深度图发送给ISP处理器。ISP处理器可根据相机标定参数对可见光图和深度图进行配准，保持视野完全一致；然后再生成与可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将可见光图和中心权重图输入到训练好的主体检测模型中，得到主体区域置信度图，再根据主体区域置信度图确定可见光图中的目标主体；也可将可见光图、深度图和中心权重图输入到训练好的主体检测模型中，得到主体区域置信度图，再根据主体区域置信度图确定可见光图中的目标主体。利用中心权重图可以让位于图像中心的对象更容易被检测，利用深度图可以让距离摄像头更近的对象容易被检测，提高了主体检测的准确性。在三维模型建构时，通过目标主体的深度信息，实现目标主体对应的三维模型的精准构建，在存在干扰物体的情况下也能精准识别目标主体，从而提高目标主体对应的三维模型建构的准确率。

图2为一个实施例中三维模型的建构方法的流程图。如图2所示，一种三维模型的建构方法，可应用于图1中的终端设备中，包括：

步骤202，获取可见光图。

其中，主体检测(salient object detection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域。可见光图是指RGB(Red、Green、Blue)图像。可通过彩色摄像头拍摄任意场景得到彩色图像，即RGB图像。该可见光图可为终端设备本地存储的，也可为其他设备存储的，也可以为从网络上存储的，还可为终端设备实时拍摄的，不限于此。。

具体地，终端设备的ISP处理器或中央处理器可从本地或其他设备或网络上获取可见光图，或者通过摄像头拍摄一场景得到可见光图。

步骤204，生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录可见光图中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征可见光图的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据可见光图的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤206，将该可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该可见光图和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤208，根据该主体区域置信度图确定该可见光图中的目标主体。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。目标主体是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为可见光图中的主体，若存在一个主体，则将该主体作为目标主体；若存在多个主体，可根据配置信息或深度信息选择其中一个或多个主体作为目标主体。在一个实施例中，根据各个主体对应的深度信息确定各个主体距离拍摄终端的距离，将距离最小的主体作为目标主体。

步骤210，获取目标主体对应的深度信息，根据目标主体和目标主体对应的深度信息，对目标主体进行三维重构，返回步骤202以获取不同采集角度的可见光图，直到得到目标主体对应的三维模型。

其中，目标主体存在精确的轮廓，只需获取目标主体轮廓内的各个像素点对应的深度信息，可从摄像头拍摄的深度图中获取目标主体对应的深度信息，其中深度图获取的方式不限。

具体地，根据目标主体和目标主体对应的深度信息对目标主体进行三维重构，进行三维重构的方式不作限定。其中深度信息表征了目标主体中各个像素点距拍摄设备的距离，根据深度信息可确定目标主体中各个像素点在三维空间中Z轴的坐标，从而对目标主体进行三维重构。进行三维重构时，相同深度信息的像素点在同一个平面，可选取参考像素点，将参考像素点对应的深度值作为参考深度值，比较其它像素点对应的深度值与参考深度值的大小关系，从而确定其它像素点相对于参考像素点在三维空间的位置。例如目标主体上某一像素点的深度值为10，相邻像素点的深度值为是12，则此物件以深度值为10的点作为参考像素点，则相邻像素点会凹12-10＝2的深度，目标主体三维重构就是在目标主体对应的主体表面上赋予其相对的凹凸信息。由于当前可见光图只拍摄了目标主体的一部分，所以需要获取其它采集角度的可见光图，如果是实时拍摄的可见光图，则可变换采集角度，对目标主体的各个部分进行拍摄，并获取各个部分对应的深度信息，从而对完整的目标主体进行三维重构。如果是获取的已拍摄的可见光图，则可从直接获取其它拍摄角度的可见光图，对完整的目标主体进行三维重构，直到得到目标主体对应的三维模型。如图3所示，为一个实施例中，建构出的目标主体对应的三维模型的示意图。

本实施例中的三维模型的建构方法，通过获取可见光图，生成与可见光图对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将可见光图和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定可见光图中的目标主体；获取目标主体对应的深度信息；根据目标主体和目标主体对应的深度信息，对目标主体进行三维重构，返回获取可见光图的步骤以获取不同采集角度的可见光图，直到得到目标主体对应的三维模型，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出可见光图中的目标主体，在三维模型建构时，通过目标主体的深度信息，实现目标主体对应的三维模型的精准构建，在存在干扰物体的情况下也能精准识别目标主体，从而提高目标主体对应的三维模型建构的准确率。

在一个实施例中，如图4所示，步骤208，包括：

步骤208A，对该主体区域置信度图进行处理，得到主体掩膜图。

具体地，主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。

步骤208B，检测该可见光图，确定该可见光图中的高光区域。

其中，高光区域是指亮度值大于亮度阈值的区域。

具体地，ISP处理器或中央处理器对可见光图进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。

步骤208C，根据该可见光图中的高光区域与该主体掩膜图，确定该可见光图中消除高光的目标主体。

具体地，ISP处理器或中央处理器可将可见光图中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到可见光图中消除高光的目标主体。

本实施例中，对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对可见光图进行检测得到高光区域，然后与主体掩膜图进行处理，可得到消除了高光的目标主体，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。

在一个实施例中，步骤208A，包括：对该主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

其中，自适应置信度阈值是指置信度阈值。自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。

在一个实施例中，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于第二亮度值，则配置第二置信度阈值，当像素点的亮度值大于第二亮度值且小于第一亮度值，则配置第三置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第三置信度阈值，第三置信度阈值小于第一置信度阈值。

在一个实施例中，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于或等于第一亮度值，则配置第二置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第一置信度阈值。

对主体区域置信度图进行自适应置信度阈值过滤处理时，将主体区域置信度图中各像素点的置信度值与对应的置信度阈值比较，大于或等于置信度阈值则保留该像素点，小于置信度阈值则去掉该像素点。

在一个实施例中，该对该主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图，包括：

对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

具体地，ISP处理器或中央处理器将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。

形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。

通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。

在一个实施例中，该根据该可见光图中的高光区域与该主体掩膜图，确定该可见光图中消除高光的目标主体，包括：将该可见光图中的高光区域与该主体掩膜图做差分处理，得到消除高光的目标主体。

具体地，ISP处理器或中央处理器将该可见光图中的高光区域与该主体掩膜图做差分处理，即可见光图和主体掩膜图中对应的像素值相减，得到该可见光图中的目标主体。通过差分处理得到去除高光的目标主体，计算方式简单。

在一个实施例中，该主体检测模型包括依次相连的输入层、中间层和输出层。将该可见光图和该中心权重图输入到主体检测模型中，包括：将该可见光图作用于主体检测模型的输入层；将该中心权重图作用于该主体检测模型的输出层。

主体检测模型可采用深度学习网络模型。该深度学习网络模型可包括依次相连的输入层、中间层和输出层。中间层可为一层或至少两层的网络结构。可见光图从主体检测模型的输入层输入，即作用于主体检测模型的输入层。中心权重图在主体检测模型的输出层输入，即作用于主体检测模型的输出层。将中心权重图作用于主体检测模型的输出层，可以降低主体检测模型的其他层对权重图的影响，让处于画面中心的对象更加容易被检测为主体。

在一个实施例中，步骤210中获取目标主体对应的深度信息包括：获取与可见光图对应的深度图；深度图包括TOF深度图、双目深度图和结构光深度图中至少一种，对可见光图和深度图进行配准处理，得到配准后的可见光图和深度图，根据可见光图中目标主体所在的区域从配准后的深度图中确定目标主体对应的深度信息。

其中，深度图是指包含深度信息的图。通过深度摄像头或双目摄像头拍摄同一场景得到对应的深度图。深度摄像头可为结构光摄像头或TOF摄像头。深度图可为结构光深度图、TOF深度图和双目深度图中的至少一种。

具体地，ISP处理器或中央处理器可通过摄像头拍摄同一场景得到可见光图和对应的深度图，然后采用相机标定参数对可见光图和深度图进行配准，得到配准后的可见光图和深度图。配准后的可见光图和深度图中，每个可见光图中的一个像素点在深度图中都存在匹配的像素点，从而根据匹配关系可得到目标主体所在的区域在深度图中对应的像素点，根据像素点的像素值得到目标主体对应的深度值。

在一个实施例中，当无法拍摄得到深度图，可自动生成仿真深度图。仿真深度图中的各个像素点的深度值可为预设值。此外，仿真深度图中的各个像素点的深度值可对应不同的预设值。

在一个实施例中，包括：将该配准后的可见光图、该深度图和该中心权重图输入到主体检测模型中，得到主体区域置信度图；其中，该主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的可见光图、深度图、中心权重图及已标注的主体掩膜图。其中，可见光图和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜图作为训练的主体检测模型期望输出得到的真实值。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

本实施例中，将深度图和中心权重图作为主体检测模型的输入，可以利用深度图的深度信息让距离摄像头更近的对象更容易被检测，利用中心权重图中中心权重大，四边权重小的中心注意力机制，让图像中心的对象更容易被检测，引入深度图实现对主体做深度特征增强，引入中心权重图对主体做中心注意力特征增强，不仅可以准确识别简单场景下的目标主体，更大大提高了复杂场景下的主体识别准确度，引入深度图可以解决传统目标检测方法对自然图像***的目标鲁棒性较差的问题。简单场景是指主体单一，背景区域对比度不高的场景。

在一个实施例中，该主体检测模型的训练方式，包括：获取同一场景的可见光图、深度图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该深度图和该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。

可收集一个场景的可见光图、深度图和对应的已标注的主体掩膜图。对可见光图和深度图进行语义级的标注，标注里面的主体。可收集大量的可见光图，然后基于COCO数据集中的前景目标图和简单的背景图进行融合得到大量的纯色背景或简单背景的图像，作为训练的可见光图。COCO数据集中包含数量众多的前景目标。

主体检测模型的网络结构采用基于mobile-Unet的架构，并在decoder部分增加层之间的桥接，使高级语义特征在上采样时更充分的传递。中心权重图作用于主体监测模型的输出层，引入中心注意力机制，让处于画面中心的对象更容易被检测为主体。

主体检测模型的网络结构包括输入层、卷积层(conv)、池化层(pooling)、双线性插值层(Bilinear Up sampling)、卷积特征连接层(concat+conv)、输出层等。在双线性插值层和卷积特征连接层之间采用deconvolution+add(反卷积特征叠加)操作实现桥接，使得高级语义特征在上采样时更充分的传递。卷积层、池化层、双线性插值层、卷积特征连接层等可为主体检测模型的中间层。

初始网络权重是指初始化的深度学习网络模型的每一层的初始权重。目标网络权重是指训练得到的能够检测图像主体的深度学习网络模型的每一层的权重。可通过预设训练次数得到目标网络权重，也可以设置深度学习网络模型的损失函数。当训练得到损失函数值小于损失阈值时，将主体检测模型的当前网络权重作为目标网络权重。

图5为一个实施例中主体检测模型的网络结构示意图。如图5所示，主体检测模型的网络结构包括卷积层402、池化层404、卷积层406、池化层408、卷积层410、池化层412、卷积层414、池化层416、卷积层418、卷积层420、双线性插值层422、卷积层424、双线性插值层426、卷积层428、卷积特征连接层430、双线性插值层432、卷积层434、卷积特征连接层436、双线性插值层438、卷积层440、卷积特征连接层442等，卷积层402作为主体检测模型的输入层，卷积特征连接层442作为主体检测模型的输出层。本实施例中的主体检测模型的网络结构仅为示例，不作为对本申请的限制。可以理解的是，主体检测模型的网络结构中的卷积层、池化层、双线性插值层、卷积特征连接层等可以根据需要设置多个。

该主体检测模型的编码部分包括卷积层402、池化层404、卷积层406、池化层408、卷积层410、池化层412、卷积层414、池化层416、卷积层418，解码部分包括卷积层420、双线性插值层422、卷积层424、双线性插值层426、卷积层428、卷积特征连接层430、双线性插值层432、卷积层434、卷积特征连接层436、双线性插值层438、卷积层440、卷积特征连接层442。卷积层406和卷积层434级联(Concatenation)，卷积层410和卷积层428级联，卷积层414与卷积层424级联。双线性插值层422和卷积特征连接层430采用反卷积特征叠加(Deconvolution+add)桥接。双线性插值层432和卷积特征连接层436采用反卷积特征叠加桥接。双线性插值层438和卷积特征连接层442采用反卷积特征叠加桥接。

原图450(如可见光图)输入到主体检测模型的卷积层402，深度图460作用于主体检测模型的卷积特征连接层442，中心权重图470作用于主体检测模型的卷积特征连接层442。深度图460和中心权重图470分别作为一个乘积因子输入到卷积特征连接层442。原图450、深度图460和中心权重图470输入到主体检测模型后输出包含主体的置信度图480。

该主体检测模型的训练过程中对深度图采用预设数值的丢失率。该预设数值可为50％。深度图的训练过程中引入概率的dropout，让主体检测模型可以充分的挖掘深度图的信息，当主体检测模型无法获取深度图时，仍然可以输出准确结果。对深度图输入采用dropout的方式，让主体检测模型对深度图的鲁棒性更好，即使没有深度图也可以准确分割主体区域。

此外，因正常的终端设备拍摄过程中，深度图的拍摄和计算都都相当耗时耗力，难以获取，在训练时深度图设计为50％的dropout概率，能够保证没有深度信息的时候主体检测模型依然可以正常检测。

对原图450采用高光检测层444进行高光检测识别出原图中的高光区域。对主体检测模型输出的主体区域置信度图进行自适应阈值过滤处理得到二值化的掩膜图，对二值化掩膜图进行形态学处理和引导滤波处理得到主体掩膜图，将主体掩膜图与包含高光区域的原图进行差分处理，将高光区域从主体掩膜图中删除得到去除高光的主体。主体区域置信度图是分布在0至1的置信度图，主体区域置信度图包含的噪点较多，有很多置信度较低的噪点，或聚合在一起的小块高置信度区域，通过区域自适应置信度阈值进行过滤处理，得到二值化掩膜图。对二值化掩膜图做形态学处理可以进一步降低噪声，做引导滤波处理，可以让边缘更平滑。可以理解的是，主体区域置信度图可为包含噪点的主体掩膜图。

本实施例中使用深度图作为特征以增强网络输出结果，并没有将深度图直接输入到主体检测模型的网络中，可以另外设计一个双深度学习网络结构，其中一个深度学习网络结构用于对深度图进行处理，另一个深度学习网络结构用于对RGB图进行处理，然后将两个深度学习网络结构的输出进行卷积特征连接，然后再输出。

在一个实施例中，该主体检测模型的训练方式，包括：获取同一场景的可见光图和已标注的主体掩膜图；生成与该可见光图对应的中心权重图，其中，该中心权重图所表示的权重值从中心到边缘逐渐减小；将该可见光图作用于包含初始网络权重的主体检测模型的输入层，将该中心权重图作用于初始的主体检测模型的输出层，将该已标注的主体掩膜图作为该主体检测模型输出的真实值，对该包含初始网络权重的主体检测模型进行训练，得到该主体检测模型的目标网络权重。

本实施例中的训练采用可见光图和中心权重图，即在图5的主体检测模型的网络结构中输出层部分不引入深度图，采用可见光图作用在卷积层402，中心权重图470作用于主体检测模型的卷积特征连接层442。

图6为一个实施例中目标主体识别的效果示意图。如图6所示，RGB图502中存在一只蝴蝶，将RGB图输入到主体检测模型后得到主体区域置信度图504，然后对主体区域置信度图604进行滤波和二值化得到二值化掩膜图506，再对二值化掩膜图506进行形态学处理和引导滤波实现边缘增强，得到主体掩膜图508。

在一个实施例中，返回所述获取可见光图的步骤以获取不同采集角度的可见光图的步骤包括：以目标主体为中心，围绕目标主体连续变换采集角度，在相邻的可见光图之间存在重叠区域的条件下，实时采集可见光图，得到不同采集角度的可见光图。

具体地，可通过旋转拍摄装置实现采集角度的变换，变换的幅度可自定义，如拍摄一个立方体物体，每次旋转45度以采集不同角度的可见光图。由于采集的可见光图需要覆盖整个目标主体，相邻的可见光图之间需要存在重叠区域以保证信息采集的完整性，其中重叠的比例可自定义。

本实施例中，通过围绕目标主体连续变换采集角度，实时采集可见光图可保证信息采集的完整性，从而实现实时对目标主体进行三维重构。

在一个实施例中，步骤210包括：获取目标主体上的第一平面像素点对应的第一深度值，根据第一平面像素点在目标主体的位置和第一深度值得到第一平面像素点在三维空间对应的第一三维像素点，获取目标主体上的第二平面像素点对应的第二深度值，以第一深度值为参考深度值，根据第二深度值确定第二三维像素点相对于所述第一三维像素点的相对位置，第二三维像素点是第二平面像素点在三维空间对应的三维像素点，根据相对位置和第二平面像素点在所述目标主体的位置确定第二三维像素点在三维空间对应的位置；连接三维空间中的各个三维像素点。

具体的，可对目标主体上的每个平面像素点进行三维像素点的匹配，也可对目标主体上的关键平面像素点进行三维像素点的匹配，以提高三维重构的效率，节省计算机资源。在一个实施例中，当目标主体为人脸时，关键平面像素点为通过对人脸检测得到的特征关键点，如鼻尖、眼睛、嘴巴、眉毛上的点得到关键平面像素点。建构三维模型需要相对深度值，选择一个点，如第一平面像素点，当成基础得标定点，其他点算出与此点相对的深度值，从而可逐步建构出目标主体在三维空间中对应的各个三维像素点，连接三维空间中的各个三维像素点就得到目标主体对应的三维模型。

在一个实施例中，步骤210包括：确定目标主体对应的目标类型，根据目标类型获取相同类型的初始三维模型，获取目标主体上的关键平面像素点对应的实际深度值；从初始三维模型中获取与关键平面像素点匹配的三维模型像素点；根据各个关键平面像素点之间的实际深度值比例调整匹配的三维模型像素点的三维空间位置；获取目标主体上的非关键平面像素点对应的实际深度值，从初始三维模型中获取与非关键平面像素点匹配的三维模型像素点，根据非关键平面像素点与关键平面像素点之间的实际深度值比例调整与非关键平面像素点匹配的三维模型像素点的三维空间位置，直到目标主体上的各个平面像素点存在匹配的调整后的三维模型像素点；调整后的各个三维模型像素点形成目标主体对应的三维模型。

具体地，主体检测模型不仅输出可见光图中的目标主体轮廓，还输出目标主体对应的目标类型，目标类型包括人、花、猫、狗等。可预先建立各个目标类型对应的初始三维模型，如建立人脸初始三维模型、人体初始三维模型、花初始三维模型、猫初始三维模型、狗初始三维模型等。关键平面像素点为确定三维模型立体性的关键特征点，如对于人脸，通过对人脸检测得到关键平面像素点，如鼻尖、眼睛、嘴巴、眉毛上的点为关键平面像素点。根据关键平面像素点之间的实际深度值比例调整匹配的三维模型像素点的三维空间位置。从而对初始三维模型进行调整得到与目标主体匹配的三维模型立体轮廓，如初始三维模型的鼻子较低，而实际目标主体的鼻子较高，通过将初始三维模型中的鼻子部位调高得到与目标主体匹配的三维模型立体轮廓。再根据其它非关键平面像素点的实际深度值进一步调整初始三维模型，得到与目标主体更匹配的三维模型。

本实施例中，由于初始三维模型是符合常规的模型，可减少深度图由于精度与算不准的问题，在深度图上形成的黑洞对三维模型的建构造成的影响。在初始三维模型的基础上逐步修正得到与目标主体匹配的三维模型。

在一个实施例中，可见光图为实时采集的，方法还包括：根据实时采集的可见光图，在预览界面实时显示目标主体对应的三维模型的建构过程。

具体地，可通过终端设备实时采集包括目标主体的可见光图，在采集的同时逐渐建构与目标主体对应的三维模型，并在在预览界面实时显示目标主体对应的三维模型的建构过程，使得用户可直观的观看三维模型的建构过程。从而可根据显示的已建构的三维模型，调整可见光图的采集角度，使得目标主体对应的三维模型的构建更准确与高效。

在一个实施例中，根据可见光图的纹理与颜色，对目标主体对应的三维模型匹配对应的纹理与颜色。应该理解的是，虽然图2、图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例中三维模型的建构装置的结构框图。如图7所示，一种三维模型的建构装置，包括处理模块602、检测模块604、目标主体确定模块606和三维模型建构模块608。其中：

处理模块602，用于获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小。

检测模块604，用于将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

目标主体确定模块606，用于根据所述主体区域置信度图确定所述可见光图中的目标主体。

三维模型建构模块608，用于获取所述目标主体对应的深度信息，根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述处理模块以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

本实施例中的三维模型的建构装置，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用可见光图、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出可见光图中的目标主体，在三维模型建构时，通过目标主体的深度信息，实现目标主体对应的三维模型的精准构建，在存在干扰物体的情况下也能精准识别目标主体，从而提高目标主体对应的三维模型建构的准确率。

在一个实施例中，目标主体确定模块606还用于对该主体区域置信度图进行处理，得到主体掩膜图；检测该可见光图，确定该可见光图中的高光区域；根据该可见光图中的高光区域与该主体掩膜图，确定该可见光图中消除高光的目标主体。

在一个实施例中，目标主体确定模块606还用于对该主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

在一个实施例中，目标主体确定模块606还用于对该主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对该二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

在一个实施例中，目标主体确定模块606还用于将该可见光图中的高光区域与该主体掩膜图做差分处理，得到该可见光图中的目标主体。

在一个实施例中，该主体检测模型包括依次相连的输入层、中间层和输出层；

检测模块604还用于将所述可见光图作用于主体检测模型的输入层；将所述中心权重图作用于所述主体检测模型的输出层。

在一个实施例中，三维模型建构模块608还用于获取与所述可见光图对应的深度图；该深度图包括TOF深度图、双目深度图和结构光深度图中至少一种；对所述可见光图和深度图进行配准处理，得到配准后的可见光图和深度图，根据所述可见光图中目标主体所在的区域从配准后的深度图中确定目标主体对应的深度信息。

在一个实施例中，三维模型建构模块608还用于以目标主体为中心，围绕目标主体连续变换采集角度；在相邻的可见光图之间存在重叠区域的条件下，实时采集可见光图，得到不同采集角度的可见光图。

在一个实施例中，三维模型建构模块608还用于获取目标主体上的第一平面像素点对应的第一深度值；根据第一平面像素点在目标主体的位置和第一深度值得到第一平面像素点在三维空间对应的第一三维像素点；获取目标主体上的第二平面像素点对应的第二深度值；以第一深度值为参考深度值，根据第二深度值确定第二三维像素点相对于所述第一三维像素点的相对位置，第二三维像素点是第二平面像素点在三维空间对应的三维像素点；根据相对位置和第二平面像素点在目标主体的位置确定第二三维像素点在三维空间对应的位置；连接三维空间中的各个三维像素点。

在一个实施例中，三维模型建构模块608还用于确定目标主体对应的目标类型，根据目标类型获取相同类型的初始三维模型；获取目标主体上的关键平面像素点对应的实际深度值；从初始三维模型中获取与所述关键平面像素点匹配的三维模型像素点，根据各个关键平面像素点之间的实际深度值比例调整匹配的三维模型像素点的三维空间位置；获取目标主体上的非关键平面像素点对应的实际深度值；从初始三维模型中获取与所述非关键平面像素点匹配的三维模型像素点；根据非关键平面像素点与关键平面像素点之间的实际深度值比例调整与非关键平面像素点匹配的三维模型像素点的三维空间位置，直到目标主体上的各个平面像素点存在匹配的调整后的三维模型像素点；调整后的各个三维模型像素点形成目标主体对应的三维模型。

在一个实施例中，装置还包括：

显示模块，用于根据实时采集的可见光图，在预览界面实时显示目标主体对应的三维模型的建构过程。

在一个实施例中，检测模块604还用于将该配准后的可见光图、深度图和中心权重图输入到主体检测模型中，得到主体区域置信度图；其中，该主体检测模型是预先根据同一场景的可见光图、深度图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

在一个实施例中，上述三维模型的建构装置还包括训练图像获取模块、训练权重生成模块和训练模块。

训练图像获取模块用于获取同一场景的可见光图、深度图和已标注的主体掩膜图。

训练权重生成模块用于生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小。

训练模块用于将所述可见光图作用于包含初始网络权重的主体检测模型的输入层，将所述深度图和所述中心权重图作用于初始的主体检测模型的输出层，将所述已标注的主体掩膜图作为所述主体检测模型输出的真实值，对所述包含初始网络权重的主体检测模型进行训练，得到所述主体检测模型的目标网络权重。当主体检测模型的损失函数小于损失阈值，或者训练次数达到预设次数时，主体检测模型的网络权重作为主体检测模型的目标网络权重。

图8为一个实施例中终端设备的内部结构示意图。如图8所示，该终端设备包括通过***总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个终端设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现各个实施例所提供的一种三维模型的建构方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。该终端设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的三维模型的建构装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行三维模型的建构方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行三维模型的建构方法的步骤。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维模型的建构方法，其特征在于，所述方法包括：

获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述可见光图中的目标主体；

获取所述目标主体对应的深度信息；

根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述主体区域置信度图确定所述可见光图中的目标主体，包括：

对所述主体区域置信度图进行处理，得到主体掩膜图；

检测所述可见光图，确定所述可见光图中的高光区域；

根据所述可见光图中的高光区域与所述主体掩膜图，确定所述可见光图中消除高光的目标主体。

3.根据权利要求1所述的方法，其特征在于，所述获取所述目标主体对应的深度信息包括：

获取与所述可见光图对应的深度图；所述深度图包括TOF深度图、双目深度图和结构光深度图中至少一种；

对所述可见光图和深度图进行配准处理，得到配准后的可见光图和深度图；

根据所述可见光图中所述目标主体所在的区域从配准后的深度图中确定所述目标主体对应的深度信息。

4.根据权利要求1所述的方法，其特征在于，所述返回所述获取可见光图的步骤以获取不同采集角度的可见光图的步骤包括：

以所述目标主体为中心，围绕所述目标主体连续变换采集角度；

在相邻的可见光图之间存在重叠区域的条件下，实时采集可见光图，得到所述不同采集角度的可见光图。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，包括：

获取所述目标主体上的第一平面像素点对应的第一深度值；

根据所述第一平面像素点在所述目标主体的位置和所述第一深度值得到所述第一平面像素点在三维空间对应的第一三维像素点；

获取所述目标主体上的第二平面像素点对应的第二深度值；

以所述第一深度值为参考深度值，根据所述第二深度值确定第二三维像素点相对于所述第一三维像素点的相对位置，所述第二三维像素点是第二平面像素点在三维空间对应的三维像素点；

根据所述相对位置和所述第二平面像素点在所述目标主体的位置确定所述第二三维像素点在所述三维空间对应的位置；

连接所述三维空间中的各个三维像素点。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述获取可见光图的步骤以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型包括：

确定目标主体对应的目标类型，根据所述目标类型获取相同类型的初始三维模型；

获取所述目标主体上的关键平面像素点对应的实际深度值；

从所述初始三维模型中获取与所述关键平面像素点匹配的三维模型像素点，根据各个关键平面像素点之间的实际深度值比例调整匹配的三维模型像素点的三维空间位置；

获取所述目标主体上的非关键平面像素点对应的实际深度值；

从所述初始三维模型中获取与所述非关键平面像素点匹配的三维模型像素点；

根据非关键平面像素点与关键平面像素点之间的实际深度值比例调整与非关键平面像素点匹配的三维模型像素点的三维空间位置，直到目标主体上的各个平面像素点存在匹配的调整后的三维模型像素点；

调整后的各个三维模型像素点形成目标主体对应的三维模型。

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述可见光图为实时采集的，所述方法还包括：

根据所述实时采集的可见光图，在预览界面实时显示所述目标主体对应的三维模型的建构过程。

8.一种三维模型的建构装置，其特征在于，所述装置包括：

处理模块，用于获取可见光图，生成与所述可见光图对应的中心权重图，其中，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

检测模块，用于将所述可见光图和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的可见光图、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

目标主体确定模块，用于根据所述主体区域置信度图确定所述可见光图中的目标主体；

三维模型建构模块，用于获取所述目标主体对应的深度信息，根据所述目标主体和目标主体对应的深度信息，对所述目标主体进行三维重构，返回所述处理模块以获取不同采集角度的可见光图，直到得到所述目标主体对应的三维模型。

9.一种终端设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。