CN114677350A - 连接点提取方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种连接点提取方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：从包含目标物体的多个图像中分别识别二维线段；基于从所述多个图像中识别到的二维线段，生成线云数据；在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段；从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点。本申请实施例提供的方案中，提出了一种利用线云数据提取目标物体的连接点的方式，基于识别到的二维线段生成的线云数据，基于线云数据包含的三维轮廓线段，提取目标物体的连接点，以保证确定出的连接点是在目标物体的三维轮廓上的点且是目标物体的至少三个面的交点，从而保证了连接点的准确性。

Description

连接点提取方法、装置、计算机设备及存储介质

技术领域

本申请实施例涉及计算机技术领域，特别涉及一种连接点提取方法、装置、计算机设备及存储介质。

背景技术

在实际应用中，通常需要构建一些物体的三维轮廓，例如，针对真实环境中的建筑物，在某个三维空间中构建该建筑物的三维轮廓等。真实环境中的物体是包含多个面的，将物体包含的多个面中至少三个面的交点称为连接点，例如，真实环境中的楼房的东侧墙面、南侧墙面以及楼顶面的交点即为一个连接点。而在构建物体的三维轮廓时，需要先在三维空间中确定出该物体的连接点，再将三维空间中的连接点连接，即可得到该物体的三维轮廓。而如何准确地确定出物体的连接点，是目前亟需解决的问题。

发明内容

本申请实施例提供了一种连接点提取方法、装置、计算机设备及存储介质，能够保证连接点的准确性。所述技术方案如下：

一方面，提供了一种连接点提取方法，所述方法包括：

从包含目标物体的多个图像中分别识别二维线段，所述多个图像中所述目标物体的姿态不同；

基于从所述多个图像中识别到的二维线段，生成线云数据，所述线云数据包括所述目标物体的多条三维线段；

在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段，其中，所述轮廓点为所述线云数据中的所述三维线段的端点，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离；

从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点。

在一种可能实现方式中，所述从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点之前，所述方法还包括：

对于每条三维轮廓线段的每个端点，将所述端点的坐标与所述三维轮廓线段对应的轮廓点的坐标之间的差值，确定为所述端点更新后的坐标；

基于所述每条三维轮廓线段的端点更新后的坐标，分别确定所述每条三维轮廓线段更新后的三维轮廓线段。

在另一种可能实现方式中，所述基于所述多个图像中的二维线段以及所述多个图像对应的内参和外参，确定所述多个图像中相互匹配的二维线段，包括：

对于所述多个图像中的第一图像和第二图像，基于所述第一图像对应的内参和外参以及第二图像对应的内参和外参，将所述第一图像中的第一线段映射至所述第二图像中，得到第二线段，所述第一线段为第一图像中的任一二维线段；

在所述第二图像中的第三线段与所述第二线段相似的情况下，确定所述第一线段与所述第三线段匹配，所述第三线段为所述第一图像中的任一二维线段。

另一方面，提供了一种连接点提取装置，所述装置包括：

识别模块，用于从包含目标物体的多个图像中分别识别二维线段，所述多个图像中所述目标物体的姿态不同；

生成模块，用于基于从所述多个图像中识别到的二维线段，生成线云数据，所述线云数据包括所述目标物体的多条三维线段；

确定模块，用于在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段，其中，所述轮廓点为所述线云数据中的所述三维线段的端点，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离；

提取模块，用于从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点。

在一种可能实现方式中，所述提取模块，包括：

提取单元，用于对所述多个轮廓点对应的三维轮廓线段进行特征提取，得到三维轮廓特征；

第一确定单元，用于基于所述三维轮廓特征，确定多个备选点以及每个备选点对应的概率，所述概率指示所述备选点是所述目标物体的轮廓上的连接点的可能性；

第一获取单元，用于基于所述多个备选点对应的概率，从所述多个备选点中获取所述目标物体的连接点，所述连接点对应的概率大于其他备选点对应的概率。

在另一种可能实现方式中，所述获取单元，用于将所述多个备选点中概率最大的备选点，确定为所述目标物体的第1个连接点；从当前剩余的备选点中，删除与所述第1个连接点之间的距离小于第一距离阈值的备选点；将删除后剩余的备选点中概率最大的备选点，确定为所述目标物体的第2个连接点；从当前剩余的备选点中删除与所述第2个连接点之间的距离小于所述第一距离阈值的备选点，直至不再剩余备选点，或者，直至已确定所述目标物体的第n个连接点，且当前剩余的备选点与所述第n个连接点之间的距离小于所述第一距离阈值，n为大于1的整数。

在另一种可能实现方式中，所述提取单元，用于基于所述多个轮廓点对应的三维轮廓线段的端点的坐标，生成第一特征，所述第一特征包括每个轮廓点对应的局部特征；分别对所述第一特征中所述每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成第二特征；对所述第一特征进行全局降维，得到第三特征；将所述第二特征与所述第三特征进行拼接，得到所述三维轮廓特征。

在另一种可能实现方式中，所述装置还包括：

所述确定模块，还用于基于所述多条三维线段的端点的坐标，确定坐标平均值以及每条三维线段中的每个端点与坐标系原点之间的距离，所述坐标系原点为所述线云数据所处的三维坐标系中的原点；

选取模块，用于从当前已确定的多个距离中选取最大距离；

所述确定模块，还用于对于所述线云数据中的每个端点，确定所述端点的坐标与所述坐标平均值之间的差值，将所述差值与所述最大距离之间的比值确定为所述端点更新后的坐标；

更新模块，还用于对于所述线云数据中的每条三维线段，基于所述三维线段的端点更新后的坐标，确定所述三维线段更新后的三维线段，将所述多条三维线段更新后的三维线段构成更新后的线云数据。

在另一种可能实现方式中，所述确定模块，还用于对于每个连接点，确定所述连接点的坐标与所述最大距离之间的乘积，将所述乘积与所述平均值的和值，确定为所述连接点更新后的坐标。

在另一种可能实现方式中，所述确定模块，用于从所述多条三维线段的端点中选取任一端点，确定为第1个轮廓点；确定当前剩余的每个端点分别与所述第1个轮廓点之间的第一距离，将当前剩余的端点中第一距离最大的端点，确定为第2个轮廓点；对于当前剩余的每个端点，确定所述端点与当前已确定的每个轮廓点之间的第二距离，将所述端点对应的多个第二距离中的最小距离，确定为所述端点对应的第三距离；将当前剩余的端点中第三距离最大的端点，确定为第3个轮廓点，直至获取到第m个轮廓点，m为大于2的整数。

在另一种可能实现方式中，确定模块，用于对于所述多个轮廓点中的每个轮廓点，分别确定所述轮廓点与所述线云数据中每条三维线段之间的距离；从所述线云数据中，确定与所述轮廓点之间的距离小于第二距离阈值的三维线段的数量；在所述数量不小于数量阈值的情况下，将所述线云数据中与所述轮廓点之间的距离最小的所述数量阈值条三维线段，确定所述轮廓点对应的三维轮廓线段，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离。

在另一种可能实现方式中，所述确定模块，还用于在所述数量小于所述数量阈值的情况下，将所述线云数据中与所述轮廓点之间的距离小于所述第二距离阈值的三维线段，确定为所述轮廓点对应的三维轮廓线段。

在另一种可能实现方式中，所述确定模块，还用于对于每条三维轮廓线段的每个端点，将所述端点的坐标与所述三维轮廓线段对应的轮廓点的坐标之间的差值，确定为所述端点更新后的坐标；基于所述每条三维轮廓线段的端点更新后的坐标，分别确定所述每条三维轮廓线段更新后的三维轮廓线段。

在另一种可能实现方式中，所述装置还包括：

构成模块，用于基于所述目标物体的多个连接点的分布位置，将所述多个连接点连接构成所述目标物体的三维轮廓。

在另一种可能实现方式中，所述生成模块，包括：

第二获取单元，用于基于所述多个图像中所述目标物体的姿态，获取每个图像对应的内参和外参；

第二确定单元，用于基于所述多个图像中的二维线段以及所述多个图像对应的内参和外参，确定所述多个图像中相互匹配的二维线段；

重建单元，用于基于所述多个图像的内参和外参，对所述多个图像中相互匹配的二维线段进行重建，得到所述相互匹配的二维线段对应的三维线段；

构成单元，用于将得到的三维线段构成所述线云数据。

在另一种可能实现方式中，所述第二确定单元，用于对于所述多个图像中的第一图像和第二图像，基于所述第一图像对应的内参和外参以及第二图像对应的内参和外参，将所述第一图像中的第一线段映射至所述第二图像中，得到第二线段，所述第一线段为第一图像中的任一二维线段；在所述第二图像中的第三线段与所述第二线段相似的情况下，确定所述第一线段与所述第三线段匹配，所述第三线段为所述第一图像中的任一二维线段。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的连接点提取方法所执行的操作。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的连接点提取方法所执行的操作。

再一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述方面所述的连接点提取方法所执行的操作。

本申请实施例提供的方案中，考虑到连接点是目标物体包含的多个面中至少三个面的交点且位于该目标物体的三维轮廓上，提出了一种利用线云数据提取目标物体的连接点的方式，由于目标物体在多个图像中的姿态不同，该多个图像即为该目标物体的多视角图像，从该多视角图像中识别到的二维线段包含了目标物体的二维轮廓线段，则基于识别到的二维线段生成的线云数据中应当包括目标物体的三维轮廓线段，之后，再基于线云数据包含的三维轮廓线段，提取目标物体的连接点，以保证确定出的连接点是在目标物体的三维轮廓上的点且是目标物体的至少三个面的交点，从而保证了连接点的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的结构示意图；

图2是本申请实施例提供的一种连接点提取方法的流程图；

图3是本申请实施例提供的另一种连接点提取方法的流程图；

图4是本申请实施例提供的一种线云数据的示意图；

图5是本申请实施例提供的一种获取三维轮廓特征的流程图；

图6是本申请实施例提供的一种获取线云数据的流程图；

图7是本申请实施例提供的另一种连接点提取方法的流程图；

图8是本申请实施例提供的一种获取目标物体的连接点的流程图；

图9是本申请实施例提供的一种基于连接点提取模型提取连接点的流程图；

图10是本申请实施例提供的一种三维轮廓的示意图；

图11是本申请实施例提供的一种连接点提取装置的结构示意图；

图12是本申请实施例提供的一种连接点提取装置的结构示意图；

图13是本申请实施例提供的一种终端的结构示意图；

图14是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请所使用的术语“第一”、“第二”、“第三”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本申请的范围的情况下，可以将第一特征称为第二特征，且类似地，可将第二特征称为第一特征。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或两个以上，多个包括两个或两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个。举例来说，多个图像包括3个图像，而每个是指这3个图像中的每一个图像，任一是指这3个图像中的任意一个图像，能够是第一个图像，或者是第二个图像，或者是第三个图像。

在本申请的具体实施方式中，涉及到图像、线云数据等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

本申请实施例提供的方案，基于人工智能的机器学习技术，训练连接点提取模型，利用训练后的连接点提取模型，能够从目标物体对应的线云数据中，提取出目标物体的连接点。

本申请实施例提供的连接点提取方法，由计算机设备执行。可选地，该计算机设备为终端或服务器。可选地，该服务器是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式***，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。可选地，该终端是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端及飞行器等，但并不局限于此。

在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备能够组成区块链***。

在一种可能实现方式中，该计算机设备被提供为服务器。图1是本申请实施例提供的一种实施环境的示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接，本申请对此不做限定。

终端101用于采集包含任一物体的多个图像，该物体在该多个图像中的姿态不同。终端101通过与服务器102之间的网络连接，向服务器102发送该多个图像。服务器102用于为终端101提供连接点提取服务，对终端101发送的多个图像进行处理，以便获取该目标物体的连接点。

可选地，终端101上安装由服务器102提供服务的目标应用，终端101能够通过该目标应用实现例如三维轮廓构建、数据传输等功能。可选地，目标应用为终端101操作***中的目标应用，或者为第三方提供的目标应用。例如，目标应用为轮廓构建应用，该轮廓构建应用具有三维轮廓构建的功能，当然，该轮廓构建应用还能够具有其他功能，例如，点评功能、购物功能、导航功能等。

终端101用于通过该目标应用采集包含任一物体的多个图像，通过该目标应用向服务器发送该多个图像。服务器102用于接收该终端101发送的多个图像，对该多个图像进行处理，提取该物体包含的连接点，基于提取到的连接点，在三维空间中构建出该物体的三维轮廓，向终端101发送该三维轮廓，该终端101接收该三维轮廓，在该目标应用中展示该三维轮廓。

图2是本申请实施例提供的一种连接点提取方法的流程图，该方法由计算机设备执行，如图2所示，该方法包括：

201、计算机设备从包含目标物体的多个图像中分别识别二维线段，该多个图像中该目标物体的姿态不同。

其中，目标物体为任意类型的物体，例如，目标物体为建筑物、车辆或者卡通人物等。该图像是通过拍摄真实环境中的目标物体得到的，也可能是采用某些方式生成的虚拟物体。例如，针对真实环境中的任一物体，从多个角度对该物体进行拍摄，得到包含该物体的多个图像，且该多个图像中该物体的姿态不同。再例如，用户在多张图纸上绘画出同一个物体，且不同的图纸上该物体的姿态不同，拍摄该多张图纸即可得到包含该物体的多个图像。

该多个图像即为该目标物体的多个视角图像，多个图像中该目标物体的姿态不同，表示该多个图像呈现该目标物体的角度不同，例如，在该多个图像中，第一个图像显示该目标物体的正面，第二个图像显示该目标物体的侧面，第三个物体显示该目标物体的背面等。

在本申请实施例中，该多个图像包含目标物体，目标物体是具有轮廓的，每个图像中除了包含该目标物体的轮廓信息，还可能包含其他的信息，则从该多个图像中识别到的二维线段包含该目标物体在图像中的轮廓线段，也可能包含其他的线段。例如，该目标物体为建筑物，任一图像显示了该建筑物某个角度的轮廓，还包括该建筑物墙面上的窗户，并且，在该图像中，除了包含该建筑物外，还可能包含汽车，则从该图像中识别到的二维线段可能包含该建筑物的轮廓线段，也可能包含该汽车的轮廓线段，也可能包含该建筑物上窗户的轮廓线段等。因此，需要基于从该多个图像中识别到的二维线段进行处理，才能识别出该目标物体的轮廓。

202、计算机设备基于从该多个图像中识别到的二维线段，生成线云数据，该线云数据包括该目标物体的多条三维线段。

其中，该线云数据为任一三维空间中的数据，该线云数据包括的多条三维线段均位于该三维空间中。在本申请实施例中，由于多个图像均包含该目标物体，且多个图像中的目标物体的姿态不同，则可以利用目标物体在多个图像中不同姿态的二维线段，生成与二维线段对应的三维线段，将生成的三维线段构成该线云数据，后续利用该线云数据即可提取该目标物体的三维轮廓上的连接点。

并且，从该多个图像中识别到的二维线段包含了目标物体的二维轮廓线段，则基于识别到的二维线段生成的线云数据中应当包括目标物体的三维轮廓线段，后续可以从该线云数据中识别目标物体的三维轮廓线段，以从中提取目标物体的连接点。

203、计算机设备在该线云数据中确定多个轮廓点以及该多个轮廓点对应的三维轮廓线段，其中，轮廓点为线云数据中的三维线段的端点，轮廓点与对应的三维轮廓线段之间的距离小于该轮廓点与其他三维线段之间的距离。

其中，轮廓点是目标物体的三维轮廓上的点，三维轮廓线段为目标物体的三维轮廓上的线段。在本申请实施例中，线云数据包含了多条三维线段，每条三维线段具有两个端点，在任一三维线段中，该三维线段的端点在目标物体的三维轮廓上的可能性，大于该三维线段中其他点在目标物体的三维轮廓上的可能性，因此，从该线云数据包含的三维线段的端点中来选取轮廓点。并且，由于轮廓点是目标物体的轮廓上的点，而与该轮廓点距离较近的三维线段认为是该目标物体的三维轮廓线段。在确定多个轮廓点后，将线云数据中与轮廓点距离较近的三维线段，确定为轮廓点对应的三维轮廓线段。

204、计算机设备从该多个轮廓点对应的三维轮廓线段中，提取该目标物体的连接点。

在本申请实施例中，真实环境中的物体是包含多个面的，将物体包含的多个面中至少三个面的交点称为连接点。由于三维轮廓线段是线云数据中位于该目标物体的三维轮廓上的线段，则三维轮廓线段包含了该目标物的三维轮廓上的连接点。通过多个轮廓点对应的三维轮廓线段，能够确定出该目标物体的连接点，以保证确定出的连接点是在目标物体的三维轮廓上的点且是目标物体的至少三个面的交点，从而保证了连接点的准确性。

本申请实施例提供的方案中，考虑到连接点是目标物体包含的多个面中至少三个面的交点且位于该目标物体的三维轮廓上，提出了一种利用线云数据提取目标物体的连接点的方式，由于目标物体在多个图像中的姿态不同，该多个图像即为该目标物体的多视角图像，从该多视角图像中识别到的二维线段包含了目标物体的二维轮廓线段，则基于识别到的二维线段生成的线云数据中应当包括目标物体的三维轮廓线段，之后，再基于线云数据包含的三维轮廓线段，提取目标物体的连接点，以保证确定出的连接点是在目标物体的三维轮廓上的点且是目标物体的至少三个面的交点，从而保证了连接点的准确性。

在图2所示实施例的基础上，还能够利用三维轮廓线段对应的三维轮廓特征，提取目标物体的连接点，具体过程详见下述实施例。

图3是本申请实施例提供的一种连接点提取方法的流程图，该方法由计算机设备执行，如图3所示，该方法包括：

301、计算机设备从包含目标物体的多个图像中分别识别二维线段。

在本申请实施例中，每条二维线段具有两个端点，每个端点的坐标是在图像坐标系下的坐标。该多个图像的尺寸相同，多个图像的图像坐标系的原点在多个图像中的同一位置。例如，每个图像坐标系均是以图像的中心点为图像坐标系的原点，或者，每个图像坐标系均是以图像的左上角点为图像坐标系的原点。

在一种可能实现方式中，从每个图像中识别到的二维线段以该二维线段所具有的两个端点的二维坐标以及该两个端点之间的连接关系的形式表示。在任一图像中，确定两个端点的坐标以及该两个端点之间的连接关系，即确定了该两个端点构成的二维线段。

在一种可能实现方式中，采取LSD(a Line Segment Detector，直线段检测算法)，分别从每个图像中识别二维线段；或者，基于线段识别模型，分别从每个图像中识别二维线段，本申请对此不做限定。

其中，线段识别模型为L-CNN(Lookup-based Convolutional Neural Network，基于查找的卷积神经网络)或TP-LSD(Tri-Points Based Line Segment Detector，基于三点的线段检测器)等。

302、计算机设备基于从该多个图像中识别到的二维线段，生成线云数据。

在本申请实施例中，该线云数据为任一三维空间中的数据，线云数据包括的多条三维线段位于该三维空间中。如图4所示，该线云数据包含在三维空间中的多条三维线段，该多条三维线段中，任两条三维线段可能相交也可能不相交。

303、计算机设备在该线云数据中确定多个轮廓点以及该多个轮廓点对应的三维轮廓线段。

其中，轮廓点是目标物体的三维轮廓上的点，三维轮廓线段为目标物体的三维轮廓上的线段。从线云数据中确定的轮廓点是线云数据中的三维线段的端点，对于任一轮廓点对应的三维轮廓线段，该轮廓点对应的三维轮廓线段是与该轮廓点距离较近的三维线段，也即是，在该线云数据中，该轮廓点与对应的三维轮廓线段之间的距离小于该轮廓点与其他三维线段之间的距离。

在一种可能实现方式中，确定多个轮廓点的过程，包括以下步骤3031-3033。

3031、计算机设备从该多条三维线段的端点中选取任一端点，确定为第1个轮廓点。

在本申请实施例中，在线云数据中，每条三维线段具有两个端点，即多条三维线段具有多个端点，采用随机选取的方式，从线云数据中选取任一个端点，将所选取的端点确定为第1个轮廓点。

3032、计算机设备确定当前剩余的每个端点分别与该第1个轮廓点之间的第一距离，将当前剩余的端点中第一距离最大的端点，确定为第2个轮廓点。

在确定第1个轮廓点后，当前剩余的端点即为多条三维线段所具有的端点中除第1个轮廓点以外的端点。例如，线云数据包括10条三维线段，10条三维线段共具有20个端点，从20个端点中除去当前已确定的第1个端点，剩余的19个端点即为当前剩余的端点。

对于当前剩余的任一端点，该端点与该第1个轮廓点之间的第一距离越大，表示该端点位于该目标物体的边缘区域的可能性越大，则该端点在目标物体的三维轮廓上的可能性越大，因此，在确定当前剩余的每个端点与第1个轮廓点之间的第一距离后，将当前剩余的端点中第一距离最大的端点，确定为第2个轮廓点。

在一种可能实现方式中，线云数据包括每条三维线段的端点的坐标，基于当前剩余的每个端点的坐标以及第1个轮廓点的坐标，确定当前剩余的每个端点与第1个轮廓点之间的第一距离。

3033、计算机设备对于当前剩余的每个端点，确定该端点与当前已确定的每个轮廓点之间的第二距离，将该端点对应的多个第二距离中的最小距离，确定为该端点对应的第三距离；将当前剩余的端点中第三距离最大的端点，确定为第3个轮廓点，直至获取到第m个轮廓点。

其中，m为预先设定的大于2的任意整数，例如，该m为100或80等。在确定第2个轮廓点后，当前剩余的端点即为多条三维线段所具有的端点中除第1个轮廓点和第2个轮廓点以外的端点。

在当前确定2个或2个以上的轮廓点的情况下，由于当前确定的轮廓点的分布位置不同，则当前剩余的任一端点与当前确定的多个轮廓点之间的距离不同，因此，需要确定该端点与已确定的每个轮廓点之间的距离，将该端点与多个轮廓点之间的距离中的最小距离，确定为该端点对应的第三距离，端点对应的第三距离能够反映出以当前已确定的轮廓点为参照，该端点位于该目标物体的边缘区域的可能性，也即是，能够反映出该端点为目标物体的三维轮廓上的点的可能性，因此，在确定当前剩余的每个端点对应的第三距离后，确定出最大的第三距离对应的端点，该最大距离对应的端点是当前剩余的端点中可能性最大的轮廓点，因此，按照这种方式从线云数据中确定轮廓点，以确保选出的轮廓点是线云数据中靠近目标物体的边缘区域的点，从而保证选取的轮廓点的准确性。

在一种可能实现方式中，确定多个轮廓点对应的三维轮廓线段的过程，包括以下步骤3034-3037。

3034、计算机设备对于该多个轮廓点中的每个轮廓点，分别确定该轮廓点与该线云数据中每条三维线段之间的距离。

在确定多个轮廓点的情况下，对于该多个轮廓点中的每个轮廓点，基于该轮廓点的位置及线云数据中每条三维线段的位置，即可确定出该轮廓点与每条三维线段之间的距离。

在一种可能实现方式中，任一轮廓点与任一条三维线段之间的距离，满足以下关系：

其中，P表示多个轮廓点中的任一轮廓点，A和B分别表示一条三维线段的两个端点，

表示该三维线段的端点A至端点B的向量，

用于表示该三维线段的端点A至轮廓点P的向量，

用于表示向量

与向量

的向量积，|·|用于表示模。

3035、计算机设备从该线云数据中，确定与该轮廓点之间的距离小于第二距离阈值的三维线段的数量。

其中，该第二距离阈值为任意的数值。确定该轮廓点与线云数据中每条三维线段之间的距离后，将确定的距离分别与第二距离阈值进行比较，以确定小于第二距离阈值的距离的数量，也即是确定了与该轮廓点之间的距离小于第二距离阈值的三维线段的数量。

3036、计算机设备在该数量不小于数量阈值的情况下，将该线云数据中与该轮廓点之间的距离最小的该数量阈值条三维线段，确定该轮廓点对应的三维轮廓线段。

其中，该轮廓点与对应的三维轮廓线段之间的距离小于该轮廓点与其他三维线段之间的距离。该数量阈值为预先设置的任意数量，例如，数量阈值为10或12等。基于轮廓点与每条三维线段之间的距离后，在与该轮廓点之间的距离小于第二距离阈值的三维线段的数量不小于数量阈值的情况下，则选取与该轮廓点距离较近的数量阈值条三维线段，作为该轮廓点对应的三维轮廓线段，以保证确定的三维轮廓线段与该轮廓点之间的距离小于第二距离阈值，且为该轮廓点确定尽可能多的三维轮廓线段，且确定的三维轮廓线段的数量不超过数量阈值。在本申请实施例中，每个轮廓点对应的三维轮廓线段的数量会等于或小于数量阈值。

在本申请实施例中，在确定轮廓点后，需要从线云数据中选出与该轮廓点距离较近的三维线段，以丰富该目标物体的三维轮廓线段。为了保证选取的三维轮廓线段足够准确，设定了第二距离阈值，确定与该轮廓点距离较近的三维轮廓线段，且轮廓点与对应的三维线段之间的距离小于该第二距离阈值，从而保证了确定的三维轮廓线段的准确性。并且，从线云数据中选取与轮廓点距离最小的数量阈值条三维线段，以保证为该轮廓点确定尽可能多的三维轮廓线段，且确定的三维轮廓线段不超过设定的数量阈值，以避免选取过多的三维轮廓线段而造成数据冗余，这样也能够实现对线云数据的精简，从而保证减少后续所需处理的数据量。

3037、在该数量小于该数量阈值的情况下，将该线云数据中与该轮廓点之间的距离小于该第二距离阈值的三维线段，确定为该轮廓点对应的三维轮廓线段。

在与该轮廓点之间的距离小于第二距离阈值的三维线段的数量小于数量阈值的情况下，将与该轮廓点之间的距离小于第二距离阈值的三维线段，均确定为该轮廓点对应的三维轮廓线段，以保证为该轮廓点确定尽可能多的三维轮廓线段，且确定的三维轮廓线段不超过设定的数量阈值，并保证了确定的三维轮廓线段与该轮廓点之间的距离小于第二距离阈值。

例如，数量阈值为10，对于任一轮廓点，与该轮廓点之间的距离小于第二距离阈值的三维线段的数量为8，则为该轮廓点确定8条距离最小的三维轮廓线段。再例如，数量阈值为10，对于任一轮廓点，与该轮廓点之间的距离小于第二距离阈值的三维线段的数量为15，则为该轮廓点确定10条距离最小的三维轮廓线段。

304、计算机设备对该多个轮廓点对应的三维轮廓线段进行特征提取，得到三维轮廓特征。

其中，该三维轮廓特征用于表征多个轮廓点对应的三维轮廓线段。该三维轮廓特征能够以任意的形式表示，例如，该三维轮廓特征能够以多维特征矩阵的形式表示。

在本申请实施例中，确定的多个轮廓线段对应的三维轮廓线段为该目标物体的三维轮廓上的线段，因此，对得到的三维轮廓线段进行特征提取，从而能够得到能够表征目标物体的三维轮廓的特征。

305、计算机设备基于该三维轮廓特征，确定多个备选点以及每个备选点对应的概率。

其中，该备选点是从三维轮廓特征提取到的、且可能为目标物体上的三维轮廓上的连接点。该概率指示该备选点是该目标物体的轮廓上的连接点的可能性。

在本申请实施例中，由于该三维轮廓特征能够表征目标物体的三维轮廓，通过该三维轮廓特征，能够从该三维轮廓特征中选出备选点以及对应的概率。

306、计算机设备基于该多个备选点对应的概率，从该多个备选点中获取该目标物体的连接点。

其中，该连接点对应的概率大于其他备选点对应的概率。对于任一备选点，该备选点对应的概率越大，表示该备选点为目标物体的轮廓上的连接点的可能性越大，因此，从多个备选点中选取概率较大的备选点作为该目标物体的连接点。

在一种可能是实现方式中，基于多个备选点对应的概率，从多个备选点中获取目标数量的连接点。

其中，该目标数量为任意的数量。可选地，该目标数量与确定的多个轮廓点的数量相同。

例如，目标数量为30，基于三维轮廓特征确定了100个备选点以及每个备选点对应的概率，将100个备选点按照对应的概率由大到小的顺序进行排序，从排序后的100个备选点中选出排序靠前的30个备选点，确定为目标物体的连接点。

在一种可能实现方式中，从备选点中选取目标物体的连接点的过程，包括以下步骤3061-3062：

3061、计算机设备将多个备选点中概率最大的备选点，确定为该目标物体的第1个连接点；从当前剩余的备选点中，删除与该第1个连接点之间的距离小于第一距离阈值的备选点。

其中，概率越大的备选点在目标物体的轮廓上的可能性越大。因此，选取概率最大的备选点作为目标物体的第1个连接点。在确定第1个连接点后，当前剩余的备选点为多个备选点中除第1个连接点以外的备选点。

在本申请实施例中，考虑到目标物体的轮廓上的连接点之间的距离不会太近，因此，设定了一个第一距离阈值，在确定一个连接点后，将与该连接点距离较近的备选点删除，以保证后续确定的连接点与当前已确定的连接点之间的距离足够大，避免了所确定的连接点过于密集。

在一种可能实现方式中，该步骤3061包括：计算机设备在多个备选点对应的概率中最大的概率大于概率阈值的情况下，将多个备选点中概率最大的备选点，确定为该目标物体的第1个连接点；从当前剩余的备选点中，删除与该第1个连接点之间的距离小于第一距离阈值的备选点。其中，概率阈值为任意的数值。

3062、计算机设备将删除后剩余的备选点中概率最大的备选点，确定为该目标物体的第2个连接点；从当前剩余的备选点中删除与该第2个连接点之间的距离小于该第一距离阈值的备选点，直至不再剩余备选点，或者，直至已确定该目标物体的第n个连接点，且当前剩余的备选点与该第n个连接点之间的距离小于该第一距离阈值，n为大于1的整数。

其中，在确定第2个连接点后，当前剩余的备选点为多个备选点中除第1个连接点和第2个连接点以外的备选点。

在本申请实施例中，按照多个备选点对应的概率，每次从多个备选点中选取概率最大的备选点作为目标物体的连接点，并将当前选取的连接点距离较近的备选点删除，之后，再重复上述步骤选取下一个连接点，能够得到目标物体的多个连接点。在选取目标物体的连接点的过程中，如果将与当前确定的连接点距离小于第一距离阈值的备选点删除后，当前剩余一个备选点，则将该剩余的一个备选点作为目标物体的最后一个连接点，之后，当前不再剩余备选点。如果当前已确定该目标物体的第n个连接点，当前剩余的备选点与第n个连接点之间的距离均小于第一距离阈值，则将当前剩余的备选点删除。即本申请实施例采用了非极大值抑制方法，从多个备选点中确定目标物体的连接点，即可保证目标物体的连接点对应的概率足够大，且保证确定的多个连接点之间的距离足够，避免了确定的连接点过于密集。

在一种可能实现方式中，该步骤3062包括：计算机设备在删除后剩余的备选点对应的概率中最大的概率大于概率阈值的情况下，将删除后剩余的备选点中概率最大的备选点，确定为该目标物体的第2个连接点；从当前剩余的备选点中删除与该第2个连接点之间的距离小于该第一距离阈值的备选点，直至不再剩余备选点，或者，直至剩余的备选点对应的概率均小于概率阈值。

在一种可能实现方式中，将多个备选点构成第一点集合，则从备选点中选取目标物体的连接点的过程，包括：将第一点集合中概率最大的备选点，确定为该目标物体的第1个连接点，将第1个连接点添加在第二点集合中，从第一点集合中，删除第1个连接点以及与该第1个连接点之间的距离小于第一距离阈值的备选点；将当前的第一点集合中概率最大的备选点，确定为该目标物体的第2个连接点，将第2个连接点添加在第二点集合中；从第一点集合中，删除第2个连接点以及与该第2个连接点之间的距离小于第一距离阈值的备选点；直至该第一点集合为空。

在本申请实施例中，在第一点集合为空的情况下，当前的第二点集合中的连接点即为目标物体的连接点。

需要说明的是，本申请实施例是利用三维轮廓线段提取到三维轮廓特征后，利用该三维轮廓特征来确定目标物体的连接点，而在另一实施例中，无需执行上述步骤304-306，而是采取其他方式，从该多个轮廓点对应的三维轮廓线段中，提取该目标物体的连接点，以使连接点对应的概率大于该三维轮廓线段中其他点对应的概率。

在一种可能实现方式中，在该步骤306之后，该方法还包括：基于该目标物体的多个连接点的分布位置，将该多个连接点连接构成目标物体的三维轮廓。

其中，目标物体的三维轮廓是有多个线段构成的线结构，该三维轮廓中的每条线段是由两个连接点连接构成。例如，将多个连接点连接构成的三维线框结构即为该目标物体的三维轮廓。在本申请实施例中，线云数据是在三维空间中的数据，确定的多个连接点也是在该三维空间中的点，也即是确定了每个连接点在该三维空间中的坐标，按照该多个连接点的坐标所指示的位置，即可将多个连接点连接成该目标物体的三维轮廓。

需要说明的是，本申请实施例是利用从该多个轮廓点对应的三维轮廓线段中提取到的三维轮廓特征，确定目标物体的连接点的，而在另一实施例中，在步骤305之前，该方法还包括：获取多个图像的图像特征，将该多个图像的图像特征与该三维轮廓特征进行融合，得到更新后的三维轮廓特征，之后利用更新后的三维轮廓特征按照上述步骤305-306，确定目标物体的连接点。其中，图像特征用于表征对应的图像。通过将多个图像的图像特征与该三维轮廓特征进行融合，以丰富更新后的三维轮廓特征包含的信息，从而保证后续确定出的轮廓点的准确性。

本申请实施例提供的方案中，考虑到连接点是目标物体包含的多个面中至少三个面的交点且位于该目标物体的三维轮廓上，提出了一种利用线云数据提取目标物体的连接点的方式，由于目标物体在多个图像中的姿态不同，该多个图像即为该目标物体的多视角图像，从该多视角图像中识别到的二维线段包含了目标物体的二维轮廓线段，则基于识别到的二维线段生成的线云数据中应当包括目标物体的三维轮廓线段，之后，再基于线云数据包含的三维轮廓线段，提取目标物体的连接点，以保证确定出的连接点是在目标物体的三维轮廓上的点且是目标物体的至少三个面的交点，从而保证了连接点的准确性。并且，利用线云数据提取目标物体的连接点，无需利用点云数据提取目标物体的连接点，线云数据包含的数据量小于点云数据包含的数据量，减少了提取连接点的计算量，避免了提取点云数据或者点云重建所需要的成本。

并且，从线云数据中确定轮廓点的过程中，从线云数据中随机选取一个端点作为第1个轮廓点，再选取与第1个轮廓点之间距离最大的端点作为第2个轮廓点，在当前确定2个或2个以上的轮廓点的情况下，由于当前确定的轮廓点的分布位置不同，则当前剩余的任一端点与当前确定的多个轮廓点之间的距离不同，则将该端点与多个轮廓点之间的距离中的最小距离，确定为该端点对应的第三距离，端点对应的第三距离能够反映出以当前已确定的轮廓点为参照，该端点位于该目标物体的边缘区域的可能性，也即是，能够反映出该端点为目标物体的三维轮廓上的点的可能性，则将第三距离最大的端点作为下一个轮廓点，以确保选出的轮廓点是线云数据中靠近目标物体的边缘区域的点，从而保证选取的轮廓点的准确性。

并且，为了保证选取的三维轮廓线段足够准确，设定了第二距离阈值，确定与该轮廓点距离较近的三维轮廓线段，且轮廓点与对应的三维线段之间的距离小于该第二距离阈值，从而保证了确定的三维轮廓线段的准确性。并且，从线云数据中选取与轮廓点距离最小的数量阈值条三维线段，以保证为该轮廓点确定尽可能多的三维轮廓线段，且确定的三维轮廓线段不超过设定的数量阈值，以避免选取过多的三维轮廓线段而造成数据冗余，这样也能够实现对线云数据的精简，从而保证减少后续所需处理的数据量。

并且，按照多个备选点对应的概率，每次从多个备选点中选取概率最大的备选点作为目标物体的连接点，并将当前选取的连接点距离较近的备选点删除，之后，再重复上述步骤选取下一个连接点，能够得到目标物体的多个连接点。按照上述方式，即可保证目标物体的连接点对应的概率足够大，且保证确定的多个连接点之间的距离足够，避免了确定的连接点过于密集。

需要说明的是，在上述图3所示的实施例的基础上，还能够利用三维轮廓线段的端点的坐标，并采用局部特征和全局特征拼接的方式，获取三维轮廓特征，如图5所示，获取三维轮廓特征的过程，包括：

501、计算机设备基于该多个轮廓点对应的三维轮廓线段的端点的坐标，生成第一特征。

其中，第一特征包括每个轮廓点对应的局部特征。在本申请实施例中，每个轮廓点对应有三维轮廓线段，每条三维轮廓线段是通过该三维轮廓线段的两个端点以及该两个端点之间的连接关系来表示的，即每条三维轮廓线段的端点的坐标能够表示对应的三维轮廓线段，因此，基于每个轮廓点对应的三维轮廓线段的端点的坐标，能够确定出每个端点对应的局部特征，将多个端点对应的局部特征构成该第一特征。

在一种可能实现方式中，该步骤501包括：分别对每个轮廓点对应的三维轮廓线段进行特征提取，得到每个轮廓点对应的局部特征；将多个轮廓点对应的局部特征进行拼接，得到第一特征。

由于每个轮廓点对应的三维轮廓线段均为与该轮廓点距离较近的三维线段，该轮廓点对应的三维轮廓线段能够表示目标物体的三维轮廓上该轮廓点附近的轮廓，因此，对该轮廓点对应的三维轮廓线段进行特征提取，得到一个特征，该特征即为该轮廓点对应的局部特征，该局部特征能够表征目标物体的三维轮廓上该轮廓点附近的轮廓。

可选地，获取每个轮廓点对应的局部特征的过程，包括：对于多个轮廓点中的每个轮廓点，将该轮廓点对应的三维轮廓线段的端点的坐标，构成该轮廓点对应的第四特征，对该第四特征进行特征提取，得到该轮廓点对应的局部特征。

例如，多个轮廓点的个数为Z，每个轮廓点对应的三维轮廓线段的条数为L，每条三维轮廓线段具有2个端点，每个端点的坐标为三维坐标，则每个轮廓点对应的第四特征的维度为L×2×3，其中，L表示轮廓点对应的三维轮廓线段的条数，2表示每条三维轮廓线段的端点数，3表示每个端点的坐标为3维坐标。Z个轮廓点对应的第四特征构成的第五特征的维度为Z×L×2×3，即该第五特征是由多个轮廓点对对应的三维轮廓线段的端点的坐标构成的张量。对每个轮廓点对应的第四特征进行特征提取后，每个轮廓点对应的局部特征的维度为L×2×C，即将每个端点的坐标维度的特征的维度由3变为C，将Z个轮廓点对应的局部特征拼接成的第一特征的维度为Z×L×2×C。

可选地，获取局部特征的过程，包括：对于该多个轮廓点中的任一轮廓点，在该轮廓点对应的三维线段的数量等于数量阈值的情况下，将该轮廓点对应的三维轮廓线段的端点的坐标，构成该轮廓点对应的局部特征；在该轮廓点对应的三维轮廓线段的数量小于该数量阈值的情况下，将该数量与该数量阈值之间的差值，确定为第一数量，从该轮廓点对应的三维轮廓线段中确定该第一数量的重复轮廓线段，将该轮廓点对应的三维轮廓线段的端点的坐标以及该重复轮廓线段的端点的坐标，构成该轮廓点对应的局部特征。

其中，任一轮廓点对应的重复轮廓线段为该轮廓点对应的三维轮廓线段中，与该轮廓点之间的距离最小的第一数量的三维轮廓线段。例如，数量阈值为10，该轮廓点对应的三维轮廓线段的数量为7，则从该轮廓点对应的三维轮廓线段中确定3条重复轮廓线段，且3条重复轮廓线段与轮廓点之间的距离，小于其余4条三维轮廓线段与该轮廓点之间的距离。

在本申请实施例中，在任一轮廓点对应的三维轮廓线段的数量等于数量阈值的情况下，将该轮廓点对应的三维轮廓线段的端点的坐标，构成该轮廓点对应的局部特征；在该轮廓点对应的三维轮廓线段的数量小于数量阈值的情况下，需要从该轮廓点对应的三维轮廓线段中，确定该轮廓点对应的重复轮廓线段，以保证该轮廓点对应的三维轮廓线段以及重复轮廓线段对应的数量和达到数量阈值，以保证为每个轮廓点确定的出的局部特征的维度相同。

例如，多个轮廓点的个数为Z，该数量阈值为L，每条三维轮廓线段具有2个端点，每个端点的坐标为三维坐标，每个轮廓点对应的三维轮廓线段的数量仅可能等于或小于该数量阈值L。对于每个轮廓点，在该轮廓点对应的三维轮廓线段的数量等于数量阈值L的情况下，将该轮廓点对应的三维轮廓线段的端点的坐标构成的局部特征的维度为L×2×3；在该轮廓点对应的三维轮廓线段的数量X小于数量阈值L的情况下，如果将该轮廓点对应的三维轮廓线段的端点的坐标构成的局部特征的维度为X×2×3，此局部特征的维度与L×2×3不同，因此，确定该轮廓点对应的重复轮廓线段，将该轮廓点对应的三维轮廓线段的端点坐标以及重复轮廓线段的端点坐标构成的局部特征的维度为L×2×3，按照此方式，保证每个轮廓点对应的局部特征的维度为L×2×3，多个轮廓点对应的局部特征构成的第一特征的维度为Z×L×2×3。

502、计算机设备分别对第一特征中每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成第二特征。

其中，降维是指对特征包含的特征值进行处理，降低特征的维度，以减少特征包含的特征值的数量，对特征进行降维可以采用最大池化或平均池化等方式来实现。例如，局部特征为三维特征矩阵，该三维特征矩阵的维度为L×2×C，即该局部特征包括的特征值的数量为L×2×C。对该局部特征进行降维，也即是对该局部特征包括的L×2×C数量的特征值进行处理，以降低该局部特征的维度，从而减少局部特征包含的特征值的数量，如降维后的局部特征的维度为C，即降维后的局部特征包含的特征值的数量为C，即与降维前的局部特征的维度相比，降维后的局部特征的维度更小，包含的特征值的数量更少。

在本申请实施例中，通常对每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成该第二特征，使得该第二特征包含了目标物体的轮廓的局部特征。

例如，该第一个特征的维度为Z×L×2×C，多个轮廓点的个数为Z，每个轮廓点对应的局部特征维度为L×2×C，对每个局部特征进行降维，降维后的每个局部特征的维度为C，将降维后的多个局部特征构成第二特征，该第二特征的维度为Z×C。

在一种可能实现方式中，每个轮廓点对应的局部特征包括多个第一维度的特征及第二维度的特征，对局部特征进行降维的过程，包括：对于任一轮廓点对应的局部特征，对该局部特征中的多个第一维度的特征进行降维，得到该局部特征对应的降维后的局部特征。

例如，任一轮廓点对应的局部特征的维度为L×2×C，即该局部特征包括3个维度，多个第一维度包括维度L及维度2，第二维度为维度C，先对第2个维度(维度2)的特征进行最大池化处理，最大池化处理后的局部特征的维度为L×C，再对池化处理后的局部特征中的第1个维度(维度L)的特征进行平均池化处理，得到降维后的局部特征，该降维后的局部特征的维度为C。

503、计算机设备对该第一特征进行全局降维，得到第三特征。

其中，第三特征为该目标物体的轮廓的全局特征。

在一种可能实现方式中，该第一特征包括多个第三维度的特征及第四维度的特征，则该步骤503包括：对第一特征中每个第三维度的特征进行降维，得到该第三特征。

例如，第一特征的维度为Z×L×2×C，多个轮廓点的个数为Z，每个轮廓点对应的局部特征维度为L×2×C，多个第三维度包括维度Z、维度L及维度2，第四维度为维度C，对每个第三维度的特征进行降维，得到的第三特征的维度为C。再例如，第一特征包括3个第三维度的特征及1个第四维度的特征，对第3个第三维度(维度2)的特征进行最大池化处理，对第一个第三维度(维度Z)及第二个第三维度(维度L)的特征进行平均池化处理，得到第三特征。

504、计算机设备将该第二特征与该第三特征进行拼接，得到三维轮廓特征。

由于第二特征能表征该目标物体局部的三维轮廓，第三特征能够表征该目标物体全局的轮廓，通过将第二特征与第三特征进行拼接，使拼接得到的三维轮廓特征既包含了该目标物体的轮廓的局部特征，也包含了目标物体的轮廓的全局特征，丰富了三维轮廓特征包含的信息，保证了三维轮廓特征的准确性。

在一种可能实现方式中，第二特征与第三特征的维度不同，则该步骤504包括：对第三特征进行维度变换，将变换后的第三特征与第一特征进行拼接，得到三维轮廓特征。

其中，变换后的第三特征的维度与该第一特征的维度相同。

例如，第二特征的维度为Z×C，第三特征的维度为C，对第三特征进行维度变换，变化后的第三特征的维度为Z×C，则将第二特征与变换后的第三特征进行拼接，得到的三维轮廓特征的维度为Z×2C。

本申请实施例提供的方案中，利用多个轮廓点对应的三维轮廓线段的端点的坐标，生成第一特征，并对第一特征进行局部和全局处理，以获取到目标物体的第二特征和第三特征，由于第二特征能表征该目标物体局部的三维轮廓，第三特征能够表征该目标物体全局的轮廓，通过将第二特征与第三特征进行拼接，使拼接得到的三维轮廓特征既包含了该目标物体的轮廓的局部特征，也包含了目标物体的轮廓的全局特征，丰富了三维轮廓特征包含的信息，保证了三维轮廓特征的准确性。

在上述图3所示的实施例的基础上，还能够利用多个图像对应的内参和外参来生成线云数据，如图6所示，获取线云数据的过程，包括：

601、计算机设备基于多个图像中目标物体的姿态，获取每个图像对应的内参和外参。

在本申请实施例中，目标物体在每个图像中的姿态不同，图像对应的内参指示图像坐标系与相机坐标系之间的转换关系，图像对应的外参指示相机坐标系与世界坐标系之间的转换关系，该相机坐标系为拍摄该图像的设备的坐标系，例如，该相机坐标系是以设备的聚焦中心为原点，以光轴为Z轴建立的三维直角坐标系，三维直角坐标系X轴、Y轴与图像坐标系的X轴、Y轴平行。可选地，该内参和外参以矩阵的形式表示。

在一种可能实现方式中，基于多个图像中的像素点之间的匹配关系以及像素点在图像中的位置，能够确定出每个图像对应的内参和外参。

在本申请实施例中，目标物体上的任一点在多个图像中对应有像素点，该目标物体上的点在不同的图像中对应的像素点可能不同，在该多个图像中对应的像素点之间相互匹配。在确定出多个图像中的像素点之间的匹配关系以及互相匹配的多个像素点在各个图像中的位置，对相互匹配的多个像素点进行三角化处理，得到相互匹配的多个像素点映射到三维空间中，得到多个三维特征点，对于每个图像，基于该图像中的像素点与三维特征点之间的匹配关系、图像中的像素点的位置以及三维特征点在三维空间中的位置，确定出该图像对应的内参，按照上述方式即可得到每个图像对应的内参。以多个图像中的任一图像作为参考图像，该参考图像对应的外参设置为固定外参，对于多个图像中除参考图像外的任一图像，确定该图像中任一像素点在参考图像中匹配的参考像素点以及在三维空间中匹配的三维特征点，即该像素点、该参考像素点及该三维特征点与目标物体上同一个点对应，基于该像素点的坐标、该参考像素点的坐标及该三维特征点的坐标、该图像对应的内参以及固定外参，确定出该图像对应的外参，按照上述步骤，即可得到每个图像对应的外参。

在一种可能实现方式中，采用COLMAP(一种通用的运动结构和多视图立体管道)等SFM(Structure From Motion，运动结构)框架，或者，采用Reality Capture(现实捕捉)等应用，基于多个图像，确定出每个图像对应的内参和外参，本申请对此不做限定。

602、计算机设备基于多个图像中的二维线段以及多个图像对应的内参和外参，确定多个图像中相互匹配的二维线段。

在确定多个图像对应的内参和外参的情况下，基于该多个图像的内参和外参，能够确定该多个图像中的像素点之间的匹配的关系，从而确定出多个图像中相互匹配的二维线段。在本申请实施例中，相互匹配的多条二维线段指示目标物体的三维轮廓上的同一三维线段。

在一种可能实现方式中，该步骤602包括：对于该多个图像中的第一图像和第二图像，基于该第一图像对应的内参和外参以及第二图像对应的内参和外参，将该第一图像中的第一线段映射至该第二图像中，得到第二线段；在该第二图像中的第三线段与该第二线段相似的情况下，确定该第一线段与该第三线段匹配。

其中，第一图像和第二图像是多个图像中的任两个图像，在确定第一图像对应的内参和外参，以及第二图像对应的内参和外参的情况下，能够确定第一图像和第二图像中的像素点之间的匹配关系，能够将第一图像中的第一线段映射至第二线段中，从而得到一个新的线段，从而能够将新的线段与第二图像中的二维线段进行匹配，确定出该第二图像中是否有二维线段与该新的线段匹配，从而确定出第二图像中是否与该第一线段匹配。在本申请实施例中，上述确定图像中相互匹配的二维线段的方式，是利用了多视角图像之间的极限约束来确定的，而在另一实施例中，还能够采取其他方式来确定不同图像中相互匹配的二维线段，本申请对此不做限定。

可选地，将第一线段映射至第二图像中的过程包括：将第一线段的第一端点和第二端点分别映射至第二图像中，得到第一端点对应的第三端点和第二端点对应的第四端点，将第三端点及第四端点连接构成第二线段。

可选地，确定第二线段与第二图像中的线段是否相似的过程包括：确定第二线段的位置与第三图像的位置是否相同，在第二线段与第三线段的位置相同的情况下，确定第二线段与第三线段相似；或者，确定第二线段中的端点的坐标与第三线段中的端点坐标之间的差值，在该差异小于阈值的情况下，确定第二线段与第三线段相似。

603、计算机设备基于该多个图像的内参和外参，对该多个图像中相互匹配的二维线段进行重建，得到该相互匹配的二维线段对应的三维线段。

在本申请实施例中，对于物体的轮廓上的任一轮廓线段，该轮廓线段在多个图像中对应有二维线段，则多个图像中与该轮廓线段对应的二维线段相互匹配。对于相互匹配的一组二维线段，基于多个图像的内参和外参，将该组二维线段映射至三维空间中，得到同一条三维线段，将多个图像中相互匹配的多组二维线段映射至三维空间中，得到多条三维线段。

604、计算机设备将得到的三维线段构成该线云数据。

在本申请实施例中，多个图像包含多组相互匹配的二维线段，对于每组相互匹配的二维线段，即可重建出一条三维线段，从而得到多条三维线段，该多条三维线段即构成了线云数据。

本申请实施例提供的方案中，提供了一种利用二维图像来生成线云数据的一种方式，获取包含目标物体的多视角图像，利用目标物体在多视角图像中的不同姿态，估计出不同图像对应的内参和外参，并利用多个图像中二维线段之间的匹配关系以及多个图像对应的内参和外参，将相互匹配的二维线段映射到三维空间中，从而形成线云数据，保证了生成的线云数据的准确性。

在上述图2所示的实施例的基础上，获取目标物体的连接点的过程中，还需要对线云数据以及三维轮廓线段进行更新，如图7所示，连接点提取方法包括：

701、计算机设备从包含目标物体的多个图像中分别识别二维线段，该多个图像中该目标物体的姿态不同。

702、计算机设备基于从该多个图像中识别到的二维线段，生成线云数据，该线云数据包括该目标物体的多条三维线段。

需要说明的是，该步骤701-702与上述步骤201-202同理，在此不再赘述。

703、计算机设备基于该多条三维线段的端点的坐标，确定坐标平均值以及每条三维线段中的每个端点与坐标系原点之间的距离。

其中，该坐标系原点为线云数据所处的三维坐标系中的原点。在本申请实施例中，每条三维线段具有两个端点，基于多条三维线段所具有的两个端点的坐标，确定该坐标平均值。将每条三维线段中每个端点的坐标与坐标系原点的坐标，确定出每个端点与坐标系原点之间的距离。

在一种可能实现方式中，确定每个端点与坐标系原点之间的距离，采用L2norm(L2范数)或者其他方式，本申请对此不做限定。

704、计算机设备从当前已确定的多个距离中选取最大距离。

在确定多条线段中每个端点与坐标系原点之间的距离后，即确定了多个距离，从多个距离中确定出最大距离。

705、计算机设备对于该线云数据中的每个端点，确定该端点的坐标与该坐标平均值之间的差值，将该差值与该最大距离之间的比值确定为该端点更新后的坐标。

706、计算机设备对于该线云数据中的每条三维线段，基于该三维线段的端点更新后的坐标，确定该三维线段更新后的三维线段，将该多条三维线段更新后的三维线段构成更新后的线云数据。

其中，按照上述步骤705即可对每个端点的坐标进行更新，每条三维线段具有两个端点，对于每条三维线段，由该三维线段更新后的端点构成该三维线段更新后的三维线段。

在本申请实施例中，由于线云数据包含的多条三维线段是利用不同图像中的二维线段生成的，这样导致生成的多条三维线段的尺度可能不同，因此，在生成线云数据后，需要对该线云数据中的三维线段进行归一化处理，对每条三维线段的端点坐标进行更新，由更新后的端点构成更新后的三维线段，从而得到更新后的线云数据，以使更新后的线云数据中的三维线段的尺度在同一尺度级别上，以便后续来提取连接点。

707、计算机设备在该更新后的线云数据中确定多个轮廓点以及该多个轮廓点对应的三维轮廓线段。

其中，轮廓点为线云数据中的三维线段的端点，轮廓点与对应的三维轮廓线段之间的距离小于该轮廓点与其他三维线段之间的距离。该步骤707与上述步骤203同理，在此不再赘述。

708、计算机设备对于每条三维轮廓线段的每个端点，将该端点的坐标与该三维轮廓线段对应的轮廓点的坐标之间的差值，确定为该端点更新后的坐标。

在确定了多个轮廓点以及每个轮廓点对应的三维轮廓线段，即确定了轮廓点的坐标以及每条三维轮廓线段的端点的坐标。对于任一条三维轮廓线段，利用该三维轮廓线段对应的轮廓点的坐标，对该三维轮廓线段的端点的坐标进行更新，得到该三维轮廓线段更新后的端点。

709、计算机设备基于每条三维轮廓线段的端点更新后的坐标，分别确定该每条三维轮廓线段更新后的三维轮廓线段。

在得到每条三维轮廓线段的端点更新后的坐标后，基于属于同一条三维轮廓线段的两个端点更新的坐标，构成该三维轮廓线段更新后的三维轮廓线段。

在本申请实施例中，在确定轮廓点对应的三维轮廓线段时，以轮廓点为中心来选取该轮廓点对应的三维轮廓线段，即该轮廓点对应的三维轮廓线段是以该轮廓点为中心分布的，则按照上述方式，利用轮廓点的坐标，对该轮廓点对应的每条三维轮廓线段进行更新，以实现对三维轮廓线段去中心化处理。

710、计算机设备从该多个轮廓点对应的更新后的三维轮廓线段中，提取该目标物体的连接点。

该步骤710与上述步骤204同理，在此不再赘述。

711、计算机设备对于每个连接点，确定该连接点的坐标与该最大距离之间的乘积，将该乘积与该平均值的和值，确定为该连接点更新后的坐标。

其中，该最大距离为步骤704中确定的最大距离，该平均值是步骤703中确定的平均值。在本申请实施例中，由于在得到线云数据后，对线云数据进行了更新，更新后的线云数据中的端点的坐标可能发生了变化，则在得到目标物体的连接点后，需要对连接点的坐标进行还原，以获取连接点的真实坐标。在对线云数据中的三维线段进行更新时，利用上述步骤703和704确定的平均值和最大距离，对线云数据进行更新的，因此，在得到目标物体的连接点后，按照该平均值及最大值，对连接点的坐标进行还原，以使更新后的连接点的坐标与原始的线云数据相匹配，保证了更新后连接点的坐标的准确性。

在一种可能实现方式中，在该步骤711之后，该方法还包括：基于目标物体的多个更新后的连接点的分布位置，将多个连接点连接构成目标物体的三维轮廓。

需要说明的是，本申请实施例是以对线云数据、三维轮廓线段、连接点的坐标进行更新为例，获取目标物体最终的连接点，而在另一实施例中，无需执行上述步骤703-706、708-709、711，而是直接利用线云数据确定轮廓点以轮廓点对应的三维轮廓线段，之后从该三维轮廓线段中提取目标物体的连接点即可。

本申请实施例提供的方案中，考虑到不同图像中的二维线段的尺度可能不同，在获取到线云数据后，先对线云数据进行归一化处理，以保证归一化处理后的线云数据中的三维线段的尺度一致，以便后续利用归一化处理后的线云数据来获取连接点，之后，对连接点的坐标进行还原，以使更新后的连接点的坐标与原始的线云数据相匹配，保证了更新后连接点的坐标的准确性。并且，在确定轮廓点对应的三维轮廓线段时，以轮廓点为中心，选取该轮廓点对应的三维轮廓线段，则利用轮廓点的坐标，对该轮廓点对应的每条三维轮廓线段进行更新，以实现对三维轮廓线段去中心化处理，从而保证确定的连接点的准确性。

需要说明的是，在上述图2至图7所示的实施例的基础上，还能够利用连接点提取模型来提取目标物体的连接点，如图8所示，获取目标物体的连接点的流程包括：

801、计算机设备获取包含目标物体的多视角图像。

802、计算机设备从多视角图像中提取二维线段，并对多视角图像进行位姿估计，确定出多视角图像对应的内参和外参。

803、计算机设备基于提取到的二维线段及多视角图像对应的内参和外参进行三维线段生成，得到线云数据。

804、计算机设备基于连接点提取模型，按照上述步骤303-306，确定出目标物体的连接点，即得到连接点估计结果。

需要说明的是，在上述图8所示的实施例的基础上，该连接点提取模型包括局部特征子模型、全局特征子模型、连接子模型、分类子模型及回归子模型，如图9所示，即基于连接点提取模型提取连接点的过程，包括：

901、计算机设备获取包含目标物体的多视角图像。

902、计算机设备从多视角图像中提取二维线段，并对多视角图像进行位姿估计，确定出多视角图像对应的内参和外参。

903、计算机设备基于提取到的二维线段及多视角图像对应的内参和外参进行三维线段生成，得到线云数据。

904、计算机设备基于连接点提取模型，在该线云数据中确定多个轮廓点以及该多个轮廓点对应的三维轮廓线段。

905、计算机设备基于局部特征子模型，将该多个轮廓点对应的三维轮廓线段的端点的坐标，构成第一特征，分别对第一特征中每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成第二特征。

906、计算机设备基于全局特征子模型，将该多个轮廓点对应的三维轮廓线段的端点的坐标，构成第一特征，对该第一特征进行全局降维，得到第三特征。

在一种可能实现方式中，该局部特征子模型和全局特征子模型的结构相似，均是由多个全连接层、BN(Batch Normalization，批量归一化)层和非线性层构成。

可选地，局部特征子模型和全局特征子模型均包括多层感知机，局部特征子模型中多层感知机用于基于多个轮廓点对应的三维轮廓线段的端点的坐标，构成第一特征，全局特征子模型中的多层感知机用于基于多个轮廓点对应的三维轮廓线段的端点的坐标，构成第一特征。在本申请实施例中，该多层感知机的输入信道数为3，输出信道数为C。例如，该多层感知机输入的第五特征的维度为Z×L×2×3，通过该多层感知机得到的第一特征的维度为Z×L×2×C。

907、计算机设备基于连接子模型，将该第二特征与该第三特征进行拼接，得到三维轮廓特征。

908、计算机设备基于回归子模型，对该三维轮廓特征进行处理，得到多个备选点；基于分类子模型，对该三维轮廓特征进行处理，得到每个备选点对应的概率。

在申请实施例中，该回归子模型及该分类子模型均是由全连接层、BN层、非线性层和Dropout(一种防止过拟合的神经元)层顺序叠加构成。

在一种可能实现方式中，回归子模型的输出信道为3，分类子模型的输出信道为2。回归子模型输出的是每个备选点的三维坐标，分类子模型输出的是每个备选点对应的一组概率，该组概率包括2个概率，第1个概率指示备选点是目标物体的三维轮廓上的连接点的可能性，第2个概率指示备选点不是目标物体的三维轮廓上的连接点的可能性。

909、计算机设备基于连接点提取模型及该多个备选点对应的概率，从该多个备选点中获取该目标物体的连接点。

需要说明的是，在上述图8及图9所示的实施例的基础上，利用连接点提取模型提取到的连接点后，将得到的连接点连接构成目标物体的三维轮廓，如图10所示，基于连接点提取模型得到的三维轮廓与目标物体的真实三维轮廓相似，表示该连接点提取模型足够准确。

需要说明的是，在上述图8或图9所示的实施例的基础上，在基于连接点提取模型提取连接点之前，还需要对连接点提取模型进行训练，即对该连接点提取模型的训练过程包括：获取包含样本物体的多个样本图像，多个样本图像中该样本物体的姿态不同，按照上述步骤901-903，得到样本线云数据，从样本线云数据中确定正样本连接点，其中，正样本连接点为样本线云数据中该样本物体的三维轮廓上的真实连接点，该负样本连接点为样本线云数据中非该样本物体的三维轮廓上的真实连接点的其他点。按照上述步骤904-909，基于该连接点提取模型，确定目标物体的预测连接点以及对应的概率，该概率指示该预测连接点为样本物体的三维轮廓上的连接点的可能性。基于该正样本连接点、负样本连接点、预测连接点以及预测连接点对应的概率，对连接点提取模型进行训练。

在一种可能实现方式中，对连接点提取模型进行迭代训练，在迭代次数达到次数阈值的情况下，停止训练连接点提取模型；或者，采取其他方式停止训练连接点提取模型，本申请对此不做限定。

另外，在训练连接点提取模型后，在测试数据集上，以概率阈值为0.5，第二距离阈值为10为例，对该连接点提取模型的性能进行测试，测试结果如表1所示。通过表1可知，该连接点提取模型的准确率、召回率及精准率足够高。真阳性表示将正样本的预测为正样本的可能性，假阴性表示对正样本预测为负样本的可能性。通过测试结果中的正负样本之间的L2距离，能够确定出真负样本中的真阳性的准确率为12.97，真阳性+假阴性的准确率为15.19，连接点召回率为96.69％，即该连接点提取模型的准确性足够高。

表1

图11是本申请实施例提供的一种连接点提取装置的结构示意图，如图11所示，该装置包括：

识别模块1101，用于从包含目标物体的多个图像中分别识别二维线段，多个图像中目标物体的姿态不同；

生成模块1102，用于基于从多个图像中识别到的二维线段，生成线云数据，线云数据包括目标物体的多条三维线段；

确定模块1103，用于在线云数据中确定多个轮廓点以及多个轮廓点对应的三维轮廓线段，其中，轮廓点为线云数据中的三维线段的端点，轮廓点与对应的三维轮廓线段之间的距离小于轮廓点与其他三维线段之间的距离；

提取模块1104，用于从多个轮廓点对应的三维轮廓线段中，提取目标物体的连接点。

在一种可能实现方式中，提取模块1104，包括：

提取单元1141，用于对多个轮廓点对应的三维轮廓线段进行特征提取，得到三维轮廓特征；

第一确定单元1142，用于基于三维轮廓特征，确定多个备选点以及每个备选点对应的概率，概率指示备选点是目标物体的轮廓上的连接点的可能性；

第一获取单元1143，用于基于多个备选点对应的概率，从多个备选点中获取目标物体的连接点，连接点对应的概率大于其他备选点对应的概率。

在另一种可能实现方式中，第一获取单元1143，用于将多个备选点中概率最大的备选点，确定为目标物体的第1个连接点；从当前剩余的备选点中，删除与第1个连接点之间的距离小于第一距离阈值的备选点；将删除后剩余的备选点中概率最大的备选点，确定为目标物体的第2个连接点；从当前剩余的备选点中删除与第2个连接点之间的距离小于第一距离阈值的备选点，直至不再剩余备选点，或者，直至已确定目标物体的第n个连接点，且当前剩余的备选点与第n个连接点之间的距离小于第一距离阈值，n为大于1的整数。

在另一种可能实现方式中，提取单元1141，用于基于多个轮廓点对应的三维轮廓线段的端点的坐标，生成第一特征，第一特征包括每个轮廓点对应的局部特征；分别对第一特征中每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成第二特征；对第一特征进行全局降维，得到第三特征；将第二特征与第三特征进行拼接，得到三维轮廓特征。

在另一种可能实现方式中，如图12所示，装置还包括：

确定模块1103，还用于基于多条三维线段的端点的坐标，确定坐标平均值以及每条三维线段中的每个端点与坐标系原点之间的距离，坐标系原点为线云数据所处的三维坐标系中的原点；

选取模块1105，用于从当前已确定的多个距离中选取最大距离；

确定模块1103，还用于对于线云数据中的每个端点，确定端点的坐标与坐标平均值之间的差值，将差值与最大距离之间的比值确定为端点更新后的坐标；

更新模块1106，还用于对于线云数据中的每条三维线段，基于三维线段的端点更新后的坐标，确定三维线段更新后的三维线段，将多条三维线段更新后的三维线段构成更新后的线云数据。

在另一种可能实现方式中，确定模块1103，还用于对于每个连接点，确定连接点的坐标与最大距离之间的乘积，将乘积与平均值的和值，确定为连接点更新后的坐标。

在另一种可能实现方式中，确定模块1103，用于从多条三维线段的端点中选取任一端点，确定为第1个轮廓点；确定当前剩余的每个端点分别与第1个轮廓点之间的第一距离，将当前剩余的端点中第一距离最大的端点，确定为第2个轮廓点；对于当前剩余的每个端点，确定端点与当前已确定的每个轮廓点之间的第二距离，将端点对应的多个第二距离中的最小距离，确定为端点对应的第三距离；将当前剩余的端点中第三距离最大的端点，确定为第3个轮廓点，直至获取到第m个轮廓点，m为大于2的整数。

在另一种可能实现方式中，确定模块1103，用于对于多个轮廓点中的每个轮廓点，分别确定轮廓点与线云数据中每条三维线段之间的距离；从线云数据中，确定与轮廓点之间的距离小于第二距离阈值的三维线段的数量；在数量不小于数量阈值的情况下，将线云数据中与轮廓点之间的距离最小的数量阈值条三维线段，确定轮廓点对应的三维轮廓线段，轮廓点与对应的三维轮廓线段之间的距离小于轮廓点与其他三维线段之间的距离。

在另一种可能实现方式中，确定模块1103，还用于在数量小于数量阈值的情况下，将线云数据中与轮廓点之间的距离小于第二距离阈值的三维线段，确定为轮廓点对应的三维轮廓线段。

在另一种可能实现方式中，确定模块1103，还用于对于每条三维轮廓线段的每个端点，将端点的坐标与三维轮廓线段对应的轮廓点的坐标之间的差值，确定为端点更新后的坐标；基于每条三维轮廓线段的端点更新后的坐标，分别确定每条三维轮廓线段更新后的三维轮廓线段。

在另一种可能实现方式中，如图12所示，装置还包括：

构成模块1107，用于基于目标物体的多个连接点的分布位置，将多个连接点连接构成目标物体的三维轮廓。

在另一种可能实现方式中，如图12所示，生成模块1102，包括：

第二获取单元1121，用于基于多个图像中目标物体的姿态，获取每个图像对应的内参和外参；

第二确定单元1122，用于基于多个图像中的二维线段以及多个图像对应的内参和外参，确定多个图像中相互匹配的二维线段；

重建单元1123，用于基于多个图像的内参和外参，对多个图像中相互匹配的二维线段进行重建，得到相互匹配的二维线段对应的三维线段；

构成单元1124，用于将得到的三维线段构成线云数据。

在另一种可能实现方式中，第二确定单元1122，用于对于多个图像中的第一图像和第二图像，基于第一图像对应的内参和外参以及第二图像对应的内参和外参，将第一图像中的第一线段映射至第二图像中，得到第二线段，第一线段为第一图像中的任一二维线段；在第二图像中的第三线段与第二线段相似的情况下，确定第一线段与第三线段匹配，第三线段为第一图像中的任一二维线段。

需要说明的是：上述实施例提供的连接点提取装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的连接点提取装置与连接点提取方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的连接点提取方法所执行的操作。

可选地，计算机设备提供为终端。图13示出了本申请一个示例性实施例提供的终端1300的结构框图。终端1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field-Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个计算机程序，该至少一个计算机程序用于被处理器1301所执行以实现本申请中方法实施例提供的连接点提取方法。

在一些实施例中，终端1300还可选包括有：***设备接口1303和至少一个***设备。处理器1301、存储器1302和***设备接口1303之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1303相连。具体地，***设备包括：射频电路1304、显示屏1305、摄像头组件1306、音频电路1307和电源1308中的至少一种。

***设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和***设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和***设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置在终端1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在终端1300的不同表面或呈折叠设计；在另一些实施例中，显示屏1305可以是柔性显示屏，设置在终端1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-EmittingDiode，有机发光二极管)等材质制备。

摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。

电源1308用于为终端1300中的各个组件进行供电。电源1308可以是交流电、直流电、一次性电池或可充电电池。当电源1308包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

本领域技术人员可以理解，图13中示出的结构并不构成对终端1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

可选地，计算机设备提供为服务器。图14是本申请实施例提供的一种服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central Processing Units，CPU)1401和一个或一个以上的存储器1402，其中，存储器1402中存储有至少一条计算机程序，至少一条计算机程序由处理器1401加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该至少一条计算机程序由处理器加载并执行以实现上述实施例的连接点提取方法所执行的操作。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述实施例的连接点提取方法所执行的操作。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请实施例的可选实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种连接点提取方法，其特征在于，所述方法包括：

从包含目标物体的多个图像中分别识别二维线段，所述多个图像中所述目标物体的姿态不同；

基于从所述多个图像中识别到的二维线段，生成线云数据，所述线云数据包括所述目标物体的多条三维线段；

在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段，其中，所述轮廓点为所述线云数据中的所述三维线段的端点，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离；

从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点。

2.根据权利要求1所述的方法，其特征在于，所述从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点，包括：

对所述多个轮廓点对应的三维轮廓线段进行特征提取，得到三维轮廓特征；

基于所述三维轮廓特征，确定多个备选点以及每个备选点对应的概率，所述概率指示所述备选点是所述目标物体的轮廓上的连接点的可能性；

基于所述多个备选点对应的概率，从所述多个备选点中获取所述目标物体的连接点，所述连接点对应的概率大于其他备选点对应的概率。

3.根据权利要求2所述的方法，其特征在于，所述基于所述多个备选点对应的概率，从所述多个备选点中获取所述目标物体的连接点，包括：

将所述多个备选点中概率最大的备选点，确定为所述目标物体的第1个连接点；从当前剩余的备选点中，删除与所述第1个连接点之间的距离小于第一距离阈值的备选点；

将删除后剩余的备选点中概率最大的备选点，确定为所述目标物体的第2个连接点；从当前剩余的备选点中删除与所述第2个连接点之间的距离小于所述第一距离阈值的备选点，直至不再剩余备选点，或者，直至已确定所述目标物体的第n个连接点，且当前剩余的备选点与所述第n个连接点之间的距离小于所述第一距离阈值，n为大于1的整数。

4.根据权利要求2所述的方法，其特征在于，所述对所述多个轮廓点对应的三维轮廓线段进行特征提取，得到三维轮廓特征，包括：

基于所述多个轮廓点对应的三维轮廓线段的端点的坐标，生成第一特征，所述第一特征包括每个轮廓点对应的局部特征；

分别对所述第一特征中所述每个轮廓点对应的局部特征进行降维，将降维后的多个局部特征构成第二特征；

对所述第一特征进行全局降维，得到第三特征；

将所述第二特征与所述第三特征进行拼接，得到所述三维轮廓特征。

5.根据权利要求1所述的方法，其特征在于，所述在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段之前，所述方法还包括：

基于所述多条三维线段的端点的坐标，确定坐标平均值以及每条三维线段中的每个端点与坐标系原点之间的距离，所述坐标系原点为所述线云数据所处的三维坐标系中的原点；

从当前已确定的多个距离中选取最大距离；

对于所述线云数据中的每个端点，确定所述端点的坐标与所述坐标平均值之间的差值，将所述差值与所述最大距离之间的比值确定为所述端点更新后的坐标；

对于所述线云数据中的每条三维线段，基于所述三维线段的端点更新后的坐标，确定所述三维线段更新后的三维线段，将所述多条三维线段更新后的三维线段构成更新后的线云数据。

6.根据权利要求5所述的方法，其特征在于，所述从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点之后，所述方法还包括：

对于每个连接点，确定所述连接点的坐标与所述最大距离之间的乘积，将所述乘积与所述平均值的和值，确定为所述连接点更新后的坐标。

7.根据权利要求1所述的方法，其特征在于，所述在所述线云数据中确定多个轮廓点，包括：

从所述多条三维线段的端点中选取任一端点，确定为第1个轮廓点；

确定当前剩余的每个端点分别与所述第1个轮廓点之间的第一距离，将当前剩余的端点中第一距离最大的端点，确定为第2个轮廓点；

对于当前剩余的每个端点，确定所述端点与当前已确定的每个轮廓点之间的第二距离，将所述端点对应的多个第二距离中的最小距离，确定为所述端点对应的第三距离；将当前剩余的端点中第三距离最大的端点，确定为第3个轮廓点，直至获取到第m个轮廓点，m为大于2的整数。

8.根据权利要求1所述的方法，其特征在于，在所述线云数据中确定所述多个轮廓点对应的三维轮廓线段，包括：

对于所述多个轮廓点中的每个轮廓点，分别确定所述轮廓点与所述线云数据中每条三维线段之间的距离；

从所述线云数据中，确定与所述轮廓点之间的距离小于第二距离阈值的三维线段的数量；

在所述数量不小于数量阈值的情况下，将所述线云数据中与所述轮廓点之间的距离最小的所述数量阈值条三维线段，确定所述轮廓点对应的三维轮廓线段，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离。

9.根据权利要求8所述的方法，其特征在于，所述从所述线云数据中，确定与所述轮廓点之间的距离小于第二距离阈值的三维线段的数量之后，所述方法还包括：

在所述数量小于所述数量阈值的情况下，将所述线云数据中与所述轮廓点之间的距离小于所述第二距离阈值的三维线段，确定为所述轮廓点对应的三维轮廓线段。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述方法还包括：

基于所述目标物体的多个连接点的分布位置，将所述多个连接点连接构成所述目标物体的三维轮廓。

11.根据权利要求1-9任一项所述的方法，其特征在于，所述基于从所述多个图像中识别到的二维线段，生成线云数据，包括：

基于所述多个图像中所述目标物体的姿态，获取每个图像对应的内参和外参；

基于所述多个图像中的二维线段以及所述多个图像对应的内参和外参，确定所述多个图像中相互匹配的二维线段；

基于所述多个图像的内参和外参，对所述多个图像中相互匹配的二维线段进行重建，得到所述相互匹配的二维线段对应的三维线段；

将得到的三维线段构成所述线云数据。

12.一种连接点提取装置，其特征在于，所述装置包括：

识别模块，用于从包含目标物体的多个图像中分别识别二维线段，所述多个图像中所述目标物体的姿态不同；

生成模块，用于基于从所述多个图像中识别到的二维线段，生成线云数据，所述线云数据包括所述目标物体的多条三维线段；

确定模块，用于在所述线云数据中确定多个轮廓点以及所述多个轮廓点对应的三维轮廓线段，其中，所述轮廓点为所述线云数据中的所述三维线段的端点，所述轮廓点与对应的三维轮廓线段之间的距离小于所述轮廓点与其他三维线段之间的距离；

提取模块，用于从所述多个轮廓点对应的三维轮廓线段中，提取所述目标物体的连接点。

13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至11任一权利要求所述的连接点提取方法所执行的操作。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至11任一权利要求所述的连接点提取方法所执行的操作。

15.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一权利要求所述的连接点提取方法所执行的操作。

Images