CN114170366B - 基于点线特征融合的三维重建方法及电子设备 - Google Patents

Abstract

本申请公开了一种基于点线特征融合的三维重建方法及电子设备，涉及图像处理技术领域，该方法包括：电子设备可以获取到包括有物体1的多张图像，上述多张图像可以被称为图像集。该图像集中的各图像可以显示出不同状态（例如，角度、方位、时间、光照等）的物体1。电子设备可以通过指定算法从上述图像集中提取出特征点（也可以被称为点特征）和特征线（也可以被称为线特征），然后，电子设备可以对图像集中两两图像间已提取出的特征点和特征线进行匹配，并基于已建立匹配关系的特征点和特征线构建出物体1的三维模型。

Description

基于点线特征融合的三维重建方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于点线特征融合的三维重建方法及电子设备。

背景技术

随着终端技术的发展和人们处理信息能力的提高，二维图像已经不能满足工作和生活的需要。相较于二维图像，三维模型对于人类来说是最为直观的结构，并且基于三维角度观察物体和环境可以使得人们高效率地处理信息。因此，三维重建成了图像处理技术领域的热点之一，其为三维物体建立了适合计算机表示和处理的数学模型，使得电子设备可以在计算机环境下对物体进行处理、操作和分析。目前，基于运动结构恢复（structurefrom motion，SFM）算法重建物体的三维模型是一种常用的方式。该方式可以通过搜集一系列无序的图片并从其中提取充足的特征点进行分析来重建物体的三维模型。

然而，当图像中包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等），现有的SFM算法仅能从图像中提取到少量的特征点，因此会造成物体三维模型的重建效果较差，甚至难以重建物体三维模型的问题。

发明内容

本申请提供了一种基于点线特征融合的三维重建方法及电子设备，实现了基于已建立匹配关系的特征点和特征线构建出物体的三维模型，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

第一方面，本申请提供了一种基于点线特征融合的三维重建方法，包括：电子设备获取包括第一物体的多张图像，其中，该多张图像中包括第一图像、第二图像和第三图像。该电子设备提取出该第一图像中该第一物体上的特征点和特征线，以及该第二图像中该第一物体上的特征点和特征线。该电子设备确定出该第一图像和该第二图像中特征信息相同的特征点对和特征线对。该电子设备基于该第一图像和该第二图像构建出该第一物体的三维模型。该电子设备提取出该第三图像中该第一物体上的特征点和特征线，确定出与该特征点对特征信息相同的第一特征点，以及与该特征线对特征信息相同的第一特征线。该电子设备基于该第一特征点、该第一特征线和该第三图像中该第一物体上的特征点和特征线，更新该三维模型。该电子设备调整基于该第三图像在该三维模型中生成的三维点的坐标和三维线段的坐标。其中，调整后的基于该第三图像在该三维模型中生成的三维点和三维线段对应的重投影误差之和小于第一阈值。其中，该重投影误差的计算，基于该第三图像在该三维模型中生成的各三维点和对应特征点的映射关系，以及基于该第三图像在该三维模型中生成的各三维线段和对应特征线的映射关系。该电子设备输出调整后的该三维模型。其中，该三维模型包括稀疏三维点云和三维线段。

这样，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

在一种可能的实现方式中，该电子设备基于该第一图像和该第二图像构建出该第一物体的三维模型，具体包括：该电子设备以该第一图像为标准建立三维坐标系。该电子设备基于该特征点对和该特征线对，获取到该第二图像的位姿。该电子设备基于该第一图像中该第一物体上的特征点和特征线，该第二图像中该第一物体上的特征点和特征线，以及该第二图像的位姿，在该三维坐标系下构建出该第一物体的三维模型。这样，可以提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。

在一种可能的实现方式中，该电子设备基于该第一特征点、该第一特征线和该第三图像中该第一物体上的特征点和特征线，更新该三维模型，具体包括：该电子设备基于该第一特征点、该第一特征线和该第一物体的三维模型，确定出该第三图像的位姿。该电子设备基于该第三图像的位姿和该第三图像中该第一物体上的特征点和特征线，更新该第一物体的三维模型。这样，可以提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。

在一种可能的实现方式中，在该电子设备输出调整后的该三维模型之前，该方法还包括：当该电子设备基于指定数量的图像更新该三维模型时，该电子设备调整基于已用于三维模型构建的图像所生成的三维点的坐标和三维线段的坐标。其中，调整后的基于已注册图像生成的三维点和三维线段对应的重投影误差之和小于该第一阈值。该重投影误差的计算，基于已用于三维模型构建的图像所生成的各三维点和对应特征点的映射关系，以及基于已用于三维模型构建的图像所生成的各三维线段和对应特征线的映射关系。该指定数量的图像包括该第一图像、该第二图像和该第三图像。这样，可以提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。

在一种可能的实现方式中，该指定数量包括：第一数值、第二数值和第三数值。该第二数值与该第一数值的差值，和该第三数值与该第二数值的差值相同。

第二方面，本申请实施例提供了一种电子设备，包括显示屏、存储器以及耦合于该存储器的处理器，该存储器中存储有可执行指令，其中：该处理器用于，获取包括第一物体的多张图像，其中，该多张图像中包括第一图像、第二图像和第三图像。该处理器还用于，提取出该第一图像中该第一物体上的特征点和特征线，以及该第二图像中该第一物体上的特征点和特征线。该处理器还用于，确定出该第一图像和该第二图像中特征信息相同的特征点对和特征线对。该处理器还用于，基于该第一图像和该第二图像构建出该第一物体的三维模型。该处理器还用于，提取出该第三图像中该第一物体上的特征点和特征线，确定出与该特征点对特征信息相同的第一特征点，以及与该特征线对特征信息相同的第一特征线。该处理器还用于，基于该第一特征点、该第一特征线和该第三图像中该第一物体上的特征点和特征线，更新该三维模型。该处理器还用于，调整基于该第三图像在该三维模型中生成的三维点的坐标和三维线段的坐标。其中，调整后的基于该第三图像在该三维模型中生成的三维点和三维线段对应的重投影误差之和小于第一阈值。其中，该重投影误差的计算，基于该第三图像在该三维模型中生成的各三维点和对应特征点的映射关系，以及基于该第三图像在该三维模型中生成的各三维线段和对应特征线的映射关系。该显示屏用于，显示出调整后的该三维模型。其中，该三维模型包括稀疏三维点云和三维线段。

这样，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

在一种可能的实现方式中，该处理器，具体用于：以该第一图像为标准建立三维坐标系。基于该特征点对和该特征线对，获取到该第二图像的位姿。基于该第一图像中该第一物体上的特征点和特征线，该第二图像中该第一物体上的特征点和特征线，以及该第二图像的位姿，在该三维坐标系下构建出该第一物体的三维模型。

在一种可能的实现方式中，该处理器，具体用于：基于该第一特征点、该第一特征线和该第一物体的三维模型，确定出该第三图像的位姿。该电子设备基于该第三图像的位姿和该第三图像中该第一物体上的特征点和特征线，更新该第一物体的三维模型。

第三方面，本申请实施例提供了一种计算机存储介质，该计算机存储介质中存储有计算机程序，该计算机程序包括可执行指令，该可执行指令当被处理器执行时使该处理器执行上述第一方面中任一项可能的实现方式中的方法。这样，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

第四方面，本申请实施例提供了一种芯片或芯片***，包括处理电路和接口电路，该接口电路用于接收代码指令并传输至该处理电路，该处理电路用于运行该代码指令以执行上述第一方面中任一项可能的实现方式中的方法。这样，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

附图说明

图1为本申请实施例提供的一种电子设备100的硬件结构示意图；

图2为本申请实施例提供的一种三维重建方法的具体流程示意图；

图3A为本申请实施例提供的一种特征点匹配示意图；

图3B为本申请实施例提供的一种特征线匹配示意图；

图3C-图3G为本申请实施例提供的一组三维空间示意图；

图4为本申请实施例提供的一种软件结构示意图；

图5为本申请实施例提供的一种软件模块结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请得到说明书和所附权利要书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指包含一个或多个所列出醒目的任何或所有可能组合。在本申请实施例中，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

首先，介绍本申请实施例中提供的示例性电子设备100。

图1示出了电子设备100的硬件结构示意图。

电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、以及蜂窝电话、个人数字助理（personal digital assistant，PDA）、增强现实（augmentedreality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificialintelligence, AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

电子设备100可以包括处理器101、存储器102、无线通信模块103和显示屏104。上述各个模块可以通过总线或者其他方式连接，本申请实施例以通过总线连接为例。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合来实现。

处理器101可以包括一个或多个处理器单元，例如处理器101可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器101中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器101中的存储器为高速缓冲存储器。该存储器可以保存处理器101刚用过或循环使用的指令或数据。如果处理器101需要再次使用该指令或数据，可以从所述存储器中直接调用。避免了重复存取，减少了处理器101的等待时间，因而提高了***的效率。

在一些实施例中，处理器101可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

存储器102与处理器101耦合，用于存储各种软件程序和/或多组指令。具体实现中，存储器102可以包括易失性存储器（volatile memory），例如随机存取存储器（randomaccessmemory，RAM）；也可以包括非易失性存储器（non-vlatile memory），例如ROM、快闪存储器（flash memory）、硬盘驱动器（Hard Disk Drive，HDD）或固态硬盘（SolidState Drives，SSD）；存储器102还可以包括上述种类的存储器的组合。存储器102可以存储一些程序代码（例如，SFM算法程序代码等等），以便于处理器101调用存储器102中存储的程序代码，以实现本申请实施例在电子设备100中的实现方法。存储器102可以存储操作***，例如uCOS、VxWorks、RTLinux 等嵌入式操作***。

无线通信模块103可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星***(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块103可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块103经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器101。无线通信模块103还可以从处理器101接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。在一些实施例中，电子设备100可以通过无线通信模块103中的蓝牙模块（图1中未示出）、WLAN模块（图1中未示出）发射信号来探测或扫描在电子设备100附近的设备，并与附近的设备建立无线通信连接并传输数据。其中，蓝牙模块可以提供包括经典蓝牙（basic rate/enhanceddatarate，BR/EDR）或蓝牙低功耗（bluetooth low energy，BLE）中一项或多项蓝牙通信的解决方案。WLAN模块可以提供包括Wi-Fi direct、Wi-Fi LAN或Wi-Fi softAP中一项或多项WLAN通信的解决方案。

显示屏104可以用于显示图像、视频等。显示屏104可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏104，N为大于1的正整数。

可选的，电子设备100还可以包括摄像头（图1未示出）。该摄像头可以用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头，N为大于1的正整数。

本申请提供了基于点线特征融合的三维重建方法及电子设备。在该方法中，电子设备100可以获取到包括有物体1的多张图像，上述多张图像可以被称为图像集。该图像集中的各图像可以显示出不同状态（例如，角度、方位、时间、光照等）的物体1。电子设备100可以通过指定算法从上述图像集中提取出特征点（也可以被称为点特征）和特征线（也可以被称为线特征），然后，电子设备100可以对图像集中两两图像间已提取出的特征点和特征线进行匹配，并基于已建立匹配关系的特征点和特征线构建出物体1的三维模型。在一种可能的实现方式中，电子设备100也可以基于包括了物体1的视频序列，来实施本申请提供的基于点线特征融合的三维重建方法，本申请对此不作限制。

这样，实施本申请提供的上述方法，提高了三维模型构建过程的稳定性和效率，也提升了三维模型的构建精度。尤其是针对于包括弱纹理区域或无纹理区域（例如，仅有白墙的走廊、纯色背景的房间等等）的图像，该方法可以方便高效地构建出对应的三维模型。

接下来，介绍本申请实施例提供的一种基于点线特征融合的三维重建方法。

请参考图2，图2示例性示出了基于点线特征融合的三维重建方法的具体流程。如图2所示，该方法具体可以包括：

S201、电子设备100获取到包括有物体1的图像集。

具体的，电子设备100可以通过配置在本设备上的摄像头拍摄并获取到包括有物体1的多张图像，该多张图像可以被称为包括有物体1的图像集。电子设备100也可以获取到其他设备拍摄的包括有物体1的图像集。也即是说，本申请对包括有物体1的图像集的来源不作限制。在该图像集中，各图像可以显示出不同状态（例如，角度、方位、时间、光照等）下的物体1。

在一种可能的实现方式中，电子设备100可以获取到包括有物体1的视频序列。该视频序列可以是由电子设备100通过配置在本设备上的摄像头拍摄获取到的，也可以是由其他设备拍摄获取到的。在该视频序列中，各视频可以显示出不同状态（例如，角度、方位、时间、光照等）下的物体1。

S202、电子设备100提取出图像集中各图像的特征点和特征线。

具体的，电子设备100可以基于指定算法1提取出各图像中的特征点，基于指定算法2提取出各图像的特征线。其中，特征点和特征线是指，用于描述图像中具有某种特征信息的点和线。也就是说，相机在移动过程中，拍摄同一个物体或场景获得多张图像，如果该物体或场景中实际相同的地方能够从图像中被识别出来，则这些相同的地方在事件帧中对应的像素点可以称为特征点，像素点形成的线段可以称为特征线。

特征点提取和特征线提取是指从目标或场景所在图像中提取合适的描绘性特征。这些特征不仅可以明确的区分目标和背景，而且在应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。上述用于提取特征点的指定算法1可以是尺度不变特征变换（scale-invariant feature transform，SIFT）算法、加速稳健特征算法（speededuprobust features，SURF）算法、基于自监督的特征点提取算法（也可以被称为superpoint算法）等。上述用于提取特征线的指定算法2可以是直线检测分割（line segmentdetector，LSD）算法、快速线段检测（fast line detector，FSD）算法等。

S203、电子设备100匹配图像集中两两图像间提取出的特征点和特征线，并剔除外点和外线。

具体的，电子设备100可以基于指定算法3进行两两图像间特征点的匹配。其中，两两图像间特征点的匹配指的是将特征信息相同的、分属于不同图像中的两特征点进行匹配。已建立匹配关系的具有相同特征信息的特征点可以对应一个特征点集合。上述的指定算法3可以是暴力匹配算法(也可以被称为Brute-Froce Matcher)、K-d tree算法等。示例性的，图3A示出了两幅图像，分别为图像30和图像31。图像30和图像31包括有同一个物体301。在图像30显示出的物体301包括有一个特征点a。在图像31显示出的物体301包括有一个特征点b。特征点a包括的特征信息和特征点b包括的特征信息相同，因此，特征点a和特征点b可以进行匹配。

两两图像间特征线的匹配指的是，将分属于不同图像中具有相同的特征信息的特征线进行匹配。已建立匹配关系的具有相同特征信息的特征线可以称为特征线集合。示例性的，图3B示出了如前图3A所述的图像30和图像31。图像30和图像31包括有同一个物体301。在图像30显示出的物体301包括有一条特征线c。在图像31显示出的物体301包括有一条特征线d。特征点c和特征线d具有相同的特征信息，因此，特征线c和特征线d可以进行匹配。关于特征线的匹配，可以采用LSD匹配算法、二值描述符线检测匹配算法等。

当特征点间和/或特征线间出现误匹配的情况时，可以通过随机抽样一致性（random sample consensus，RANSAC）算法去除误匹配的特征点和/或特征线，也即是外点和外线。需要说明的是，本申请对于剔除误匹配的特征点和特征线的方法不作限制。

当特征点间和特征线间的匹配关系建立后，可以生成特征点集合和特征线集合。示例性的，电子设备100可以基于特征点间的匹配关系生成特征点轨迹（track）列表。例如第一幅图的特征点1、第二幅图的特征点2和第三幅图的特征点3所包含的特征信息相同，则上述特征点可以建立匹配关系。其中，第一幅图的特征点1可以由（1,1）表示，第二幅图的特征点2可以由（2,2）表示，第三幅图中的特征点3可以由（3,3）表示。则（1,1）、（2,2）和（3,3）属于一个track（也可以被称为具有相同特征信息的一个特征点集合）。电子设备100可以根据上述的示例生成track集合，该track集合包括一个或多个track，不同的track对应不同的特征信息。若同一个track多次包含同一幅图，说明同一幅图中的多个特征点都匹配了同一个特征点，出现了错误匹配，则应该剔除该track。若同一个track中包含的元素太少，例如只包含两个元素，表征只有两幅图像包括同一个目标点，则应该剔除该track。

S204、电子设备100基于指定图像1和指定图像2进行三维重建初始化。

其中，指定图像1和指定图像2指的是当两两图像间，已建立匹配关系的特征点数大于指定阈值2（例如，100、200等），且已建立匹配关系的特征线数大于指定阈值3（例如，50、100等）的图像对。

电子设备100可以基于上述的指定图像1和指定图像2进行三维重建的初始化。具体的，在一种可能的实现方式中，以指定图像1为标准建立三维坐标系，指定图像1上的特征点可以映射到该三维坐标系下，获取到对应的三维点信息。电子设备100可以基于指定图像1与指定图像2中特征点的匹配关系，通过RANSC算法计算获取到指定图像2的旋转矩阵（也可以被称为R矩阵）和平移矩阵（也可以被称为T矩阵），上述R矩阵和T矩阵也可以被视为指定图像2的位姿。然后，电子设备100可以通过直接线性变换（direct lineartransformation，DLT）算法基于上述的R矩阵、T矩阵和指定图像2上的特征点进行计算，获取到对应的三维点信息。电子设备100计算指定图像1和指定图像2中的特征线对应三维线段信息可以参考上述计算特征点对应三维点信息的说明，在此不再赘述。电子设备100可以基于上述所得的三维点信息和三维线段信息构建出初步的三维模型。

其中，位姿可以用于将图像上的二维点/二维线段映射为三维坐标系中的三维点（例如，特征点）/三维线段（例如，特征线），或将三维坐标系中的三维点/三维线段映射为图像上对应的二维点（例如，特征点）/二维线段（例如，特征线）。例如，指定图像2的位姿，可以用于将指定图像2上的特征点/特征线映射为三维坐标系下的三维点/三维线段，或将三维坐标系下的三维点/三维线段映射为指定图像2上对应的特征点/特征线。

需要说明的是，本申请对于基于指定图像1和指定图像2进行三维重建的初始化的方法不作限制。

S205、电子设备100注册指定图像3，计算出指定图像3中特征点对应的三维点信息和特征线对应的三维线段信息。

具体的，电子设备100注册指定图像3指的是电子设备100结合前述已生成的三维模型，基于指定图像3更新物体1的三维模型。其中，已被利用进行三维模型构建的图像可以被称为已注册图像，未被利用进行三维模型构建的图像可以被称为待注册图像。示例性的，基于上述说明，指定图像3可以被称为待注册图像，指定图像1和指定图像2可以被称为已注册图像。

电子设备100可以通过指定图像3与已注册图像间特征点和特征线的匹配关系（例如，前述示例中的track列表），获取到指定图像3中与已注册图像中特征点进行了匹配的特征点与对应的三维点的映射关系，以及指定图像3中与已注册图像中特征线进行了匹配的特征线与对应的三维线段的映射关系，基于上述映射关系计算出指定图像3的位姿。然后，电子设备100将指定图像3中没有映射到三维坐标系下的特征点，基于上述估算的指定图像3的位姿，计算出对应的三维点信息（例如，特征点中的特征信息、三维坐标等）；电子设备100将指定图像3中没有映射到三维坐标系下的特征线，基于上述估算的指定图像3的位姿，计算出对应的三维线段信息（例如，特征线中的特征信息、三维线段的三维坐标等），并且基于上述计算得出的三维点信息和三维线段信息构建物体1的三维模型。

示例性的，如图3C所示，在三维坐标系中，已基于图像32（可以被视为指定图像1）和图像33（可以被视为指定图像2）生成有A区域的三维点和三维线段。A区域的三维点和三维线段映射在图像32上，为A1区域的特征点和特征线；A区域的三维点和三维线段映射在图像33上，为A2区域的特征点和特征线。图像32上A1区域的特征点和特征线、图像33上A2区域的特征点和特征线、图像34（也可以被称为指定图像3）上A3区域的特征点和特征线已建立匹配关系。也即是说，A1、A2和A3区域映射在三维坐标系下是同一区域的三维点和三维线段。因此，A3区域的特征点和特征线映射在三维坐标系下，也为A区域的三维点和三维线段。基于A3区域的特征点和特征线和A区域的三维点和三维线段，电子设备100可以计算出图像34的位姿。

如图3D所示，电子设备100已计算出图像34的位姿。图像34中包括有A4区域的特征点和特征线。该A4区域的特征点和特征线没有被映射到三维坐标系下。电子设备100可以基于图像34的位姿，将A4区域的特征点和特征线映射到三维坐标系下，得到B区域的三维点和三维线段。

S206、当指定图像3已注册后，电子设备100进行局部的多特征集束调整。

具体的，电子设备100可以基于光束法平差（bundle adjustment，BA）算法进行局部的多特征集束调整。具体的，电子设备100可以通过BA算法，基于指定方向（例如，各三维点、各三维线段对应的梯度方向）调整指定图像3在注册时生成的三维点的坐标和三维线段的坐标，使得调整后的基于指定图像3生成的三维点和三维线段对应的重投影误差之和小于指定阈值（例如，0.3、0.5等）。

其中，针对于特征点所生成的三维点，其重投影误差可以指的是将该三维点重投影为对应图像上的二维坐标点，并将该二维坐标点与该三维点在该图像上对应特征点的二维坐标进行对比，所产生的距离误差。针对于特征线所生成的三维线段，其重投影误差可以指的是将该三维线段重投影为对应图像上的二维线段，并将该二维线段与该三维线段在该图像上对应的特征线进行对比，所产生的距离误差。

在本步骤中，上述重投影误差的计算，可以基于指定图像3生成的各三维点和对应特征点的映射关系，以及基于指定图像3生成的各三维线段和对应特征线的映射关系。

示例性的，如图3E所示，三维坐标系下有三维点P，该三维点P在图像35上对应有特征点P1，该三维点P重投影在图像35上的二维坐标点为P2，P2与P1有重投影误差e。

示例性的，如图3F所示，以前述图3D的实施例为例，B区域的三维点和三维线段是基于图像34中A4区域的特征点和特征线生成。该B区域中有三维线段41、三维线段42、三维点43和三维点44。B区域中的三维点和三维线段在图像32和图像33中没有映射相应的特征点和特征线，因此，只需要计算在图像34上的重投影误差。三维线段41映射到图像34上有重投影误差e1，三维线段42映射到图像34上有重投影误差e2，三维点43映射到图像34上有重投影误差e3，三维点44映射到图像34上有重投影误差e4。电子设备100可以基于BA算法调整三维线段41、三维线段42、三维点43和三维点44的三维坐标，使得重投影误差e1、e2、e3和e4的和小于指定阈值（例如，0.3、0.5等）。

S207、当每注册指定数量1（例如，100张）的图像时，电子设备100可以进行全局的多特征集束调整。

具体的，电子设备100可以基于BA算法进行全局的多特征集束调整。具体的，电子设备100可以通过BA算法，基于指定方向（例如，各三维点、各三维线段的对应梯度方向）调整基于已注册图像生成的三维点的坐标和三维线段的坐标，使得调整后的基于已注册图像生成的三维点和三维线段对应的重投影误差之和小于指定阈值（例如，0.3、0.5等）。

在本步骤中，上述重投影误差的计算，基于已注册图像生成的各三维点和对应特征点的映射关系，以及已注册图像生成的各三维线段和对应特征线的映射关系。

示例性的，如图3G所示，目前已注册图像包括图像60、图像61、图像62和图像63。基于上述图像生成有三维点50、三维线段51、三维点52、三维线段53、三维点54和三维线段55。

其中，三维点50在图像60、图像61和图像62上分别对应有特征点；三维线段51在图像61、图像62和图像63上分别对应有特征线；三维点52在图像60、图像61、图像62和图像63上分别对应有特征点；三维线段53在图像60、图像61、图像62和图像63上分别对应有特征线；三维点54在图像60、图像61、图像62和图像63上分别对应有特征点；三维线段55在图像60、图像61和图像62上分别对应有特征线。

因此，三维点50在图像60、图像61和图像62上的重投影误差分别为e5、e6和e7；

三维线段51在图像61、图像62和图像63上的重投影误差分别为e8、e9和e10；

三维点52在图像60、图像61、图像62和图像63上的重投影误差分别为e11、e12、e13和e14；

三维线段53在图像60、图像61、图像62和图像63上的重投影误差分别为e15、e16、e17和e18；

三维点54在图像60、图像61、图像62和图像63上的重投影误差分别为e19、e20、e21和e22；

三维线段55在图像60、图像61和图像62上的重投影误差分别为e23、e24和e25。

电子设备100可以基于BA算法调整三维点50、三维线段51、三维点52、三维线段53、三维点54和三维线段55的三维坐标，使得重投影误差e5、e6、e7、e8、e9、e10、e11、e12、e13、e14、e15、e16、e17、e18、e19、e20、e21、e22、e23、e24、e25的和小于指定阈值（例如，0.3、0.5等）。

S208、电子设备100判断待注册图像数是否为0。

具体的，若电子设备100确定出待注册图像数为0时，即是所有图像已注册完成，电子设备100可以通过BA算法，基于指定方向（例如，各三维点、各三维线段对应的梯度方向）调整基于所有图像生成的三维点的坐标和三维线段的坐标，使得调整后的基于所有图像生成的三维点和三维线段对应的重投影误差之和小于指定阈值（例如，0.3、0.5等）。该过程可以参考步骤S207中的描述，在此不再赘述。在本步骤中，上述重投影误差的计算，基于所有图像生成的各三维点和对应特征点的映射关系，以及所有图像生成的各三维线段和对应特征线的映射关系。

在一种可能的实现方式中，当电子设备100确定出待注册图像数大于0时，电子设备100可以执行步骤S205-S207，直到电子设备100确定出待注册图像数为0，电子设备100进行全局的多特征集束调整。

S209、当完成全局的多特征集束调整后，电子设备100输出物体1的三维模型。该三维模型中可以包括稀疏三维点云、三维线段和各图像的位姿。

需要说明的是，上述步骤的先后顺序仅仅用于示例性解释本申请。对本申请不构成任何限制。

接下来，介绍本申请实施例提供的一种软件结构。

电子设备100的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android***为例，示例性说明电子设备100的软件结构。

图4是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android***分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和***库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图4所示，应用程序包可以包括相机，日历，天气，备忘录，游戏，视频和音乐等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图4所示，应用程序框架层可以包括窗口管理器，内容提供器，视图***，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图***包括可视控件，例如显示文字的控件，显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

***库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子***进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面，介绍本申请实施例提供的一种软件模块结构。

请参考图5，图5示例性示出了一种用于电子设备100上的软件模块结构示意图。

如图5所示，电子设备100可以包括特征点和特征线提取模块701、匹配模块702、三维模型构建模块703和三维模型优化模块704等。其中，特征点和特征线提取模块701可以用于提取出图像集中各图像的特征点和特征线，该过程的说明可以参考前述步骤S202，在此不再赘述。匹配模块702可以用于匹配图像集中两两图像间提取出的特征点和特征线，该过程的说明可以参考前述步骤S203，在此不再赘述。三维模型构建模块703可以用于构建三维模型和更新三维模型，该过程的说明可以参考前述步骤S204-S205，在此不再赘述。三维模型优化模块704可以用于三维模型的优化调整，该过程的说明可以参考前述步骤S206-S208，在此不再赘述。

上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到（所陈述的条件或事件）”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到（所陈述的条件或事件）时”或“响应于检测到（所陈述的条件或事件）”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质（例如固态硬盘）等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (8)

1.一种基于点线特征融合的三维重建方法，其特征在于，包括：

电子设备获取包括第一物体的多张图像，其中，所述多张图像中包括第一图像、第二图像和第三图像；

所述电子设备提取出所述第一图像中所述第一物体上的特征点和特征线，以及所述第二图像中所述第一物体上的特征点和特征线；

所述电子设备确定出所述第一图像和所述第二图像中特征信息相同的特征点对和特征线对；

所述电子设备基于所述第一图像和所述第二图像构建出所述第一物体的三维模型；其中，所述特征点对构建出所述第一物体上的第一三维点区域，所述特征线对构建出所述第一物体上的第一三维线段区域；

所述电子设备提取出所述第三图像中所述第一物体上的特征点和特征线，确定出与所述特征点对特征信息相同的第一特征点，以及与所述特征线对特征信息相同的第一特征线；

所述电子设备基于所述第一特征点和所述第一三维点区域中三维点的映射关系、所述第一特征线和所述第一三维线段区域中三维线段的映射关系，确定出所述第三图像的位姿；

所述电子设备基于所述第三图像的位姿，将所述第三图像中所述第一物体上的特征点和特征线分别映射为三维点和三维线段，更新所述三维模型；

所述电子设备调整基于所述第三图像在所述三维模型中生成的三维点的坐标和三维线段的坐标；其中，调整后的基于所述第三图像在所述三维模型中生成的三维点和三维线段对应的重投影误差之和小于第一阈值；其中，所述重投影误差的计算，基于所述第三图像在所述三维模型中生成的各三维点和对应特征点的映射关系，以及基于所述第三图像在所述三维模型中生成的各三维线段和对应特征线的映射关系；

所述电子设备输出调整后的所述三维模型；其中，所述三维模型包括稀疏三维点云和三维线段。

2.根据权利要求1所述的方法，其特征在于，所述电子设备基于所述第一图像和所述第二图像构建出所述第一物体的三维模型，具体包括：

所述电子设备以所述第一图像为标准建立三维坐标系；

所述电子设备基于所述特征点对和所述特征线对，获取到所述第二图像的位姿；

所述电子设备基于所述第一图像中所述第一物体上的特征点和特征线，所述第二图像中所述第一物体上的特征点和特征线，以及所述第二图像的位姿，在所述三维坐标系下构建出所述第一物体的三维模型。

3.根据权利要求1所述的方法，其特征在于，在所述电子设备输出调整后的所述三维模型之前，所述方法还包括：

当所述电子设备基于指定数量的图像更新所述三维模型时，所述电子设备调整基于已用于三维模型构建的图像所生成的三维点的坐标和三维线段的坐标；其中，调整后的基于已注册图像生成的三维点和三维线段对应的重投影误差之和小于所述第一阈值；所述重投影误差的计算，基于已用于三维模型构建的图像所生成的各三维点和对应特征点的映射关系，以及基于已用于三维模型构建的图像所生成的各三维线段和对应特征线的映射关系；所述指定数量的图像包括所述第一图像、所述第二图像和所述第三图像。

4.根据权利要求3所述的方法，其特征在于，所述指定数量包括：

第一数值、第二数值和第三数值；

所述第二数值与所述第一数值的差值，和所述第三数值与所述第二数值的差值相同。

5.一种电子设备，其特征在于，包括显示屏、存储器以及耦合于所述存储器的处理器，所述存储器中存储有可执行指令，其中：

所述处理器用于，获取包括第一物体的多张图像，其中，所述多张图像中包括第一图像、第二图像和第三图像；

所述处理器还用于，提取出所述第一图像中所述第一物体上的特征点和特征线，以及所述第二图像中所述第一物体上的特征点和特征线；

所述处理器还用于，确定出所述第一图像和所述第二图像中特征信息相同的特征点对和特征线对；

所述处理器还用于，基于所述第一图像和所述第二图像构建出所述第一物体的三维模型；其中，所述特征点对构建出所述第一物体上的第一三维点区域，所述特征线对构建出所述第一物体上的第一三维线段区域；

所述处理器还用于，提取出所述第三图像中所述第一物体上的特征点和特征线，确定出与所述特征点对特征信息相同的第一特征点，以及与所述特征线对特征信息相同的第一特征线；

所述处理器还用于，基于所述第一特征点和所述第一三维点区域中三维点的映射关系、所述第一特征线和所述第一三维线段区域中三维线段的映射关系，确定出所述第三图像的位姿；

所述处理器还用于，基于所述第三图像的位姿，将所述第三图像中所述第一物体上的特征点和特征线分别映射为三维点和三维线段，更新所述三维模型；

所述处理器还用于，调整基于所述第三图像在所述三维模型中生成的三维点的坐标和三维线段的坐标；其中，调整后的基于所述第三图像在所述三维模型中生成的三维点和三维线段对应的重投影误差之和小于第一阈值；其中，所述重投影误差的计算，基于所述第三图像在所述三维模型中生成的各三维点和对应特征点的映射关系，以及基于所述第三图像在所述三维模型中生成的各三维线段和对应特征线的映射关系；

所述显示屏用于，显示出调整后的所述三维模型；其中，所述三维模型包括稀疏三维点云和三维线段。

6.根据权利要求5所述的电子设备，其特征在于，所述处理器，具体用于：

以所述第一图像为标准建立三维坐标系；

基于所述特征点对和所述特征线对，获取到所述第二图像的位姿；

基于所述第一图像中所述第一物体上的特征点和特征线，所述第二图像中所述第一物体上的特征点和特征线，以及所述第二图像的位姿，在所述三维坐标系下构建出所述第一物体的三维模型。

7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序，所述计算机程序包括可执行指令，所述可执行指令当被处理器执行时使所述处理器执行如权利要求1-4中任一项所述的方法。

8.一种芯片或芯片***，其特征在于，包括处理电路和接口电路，所述接口电路用于接收代码指令并传输至所述处理电路，所述处理电路用于运行所述代码指令以执行如权利要求1-4中任一项所述的方法。

Images