CN113379826A - 物流件的体积测量方法以及装置 - Google Patents

物流件的体积测量方法以及装置 Download PDF

Info

Publication number
CN113379826A
CN113379826A CN202010159693.4A CN202010159693A CN113379826A CN 113379826 A CN113379826 A CN 113379826A CN 202010159693 A CN202010159693 A CN 202010159693A CN 113379826 A CN113379826 A CN 113379826A
Authority
CN
China
Prior art keywords
depth image
target
piece
logistics
logistics piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010159693.4A
Other languages
English (en)
Inventor
陈紫荣
彭显明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
SF Tech Co Ltd
Original Assignee
SF Technology Co Ltd
Shenzhen SF Taisen Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd, Shenzhen SF Taisen Holding Group Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010159693.4A priority Critical patent/CN113379826A/zh
Publication of CN113379826A publication Critical patent/CN113379826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请实施例提供了物流件的体积测量方法以及装置，用于获取物流件精确的体积数据，为物流运输提供有效的数据支持。本申请实施例提供的物流件的体积测量方法，包括：获取深度图像，其中，深度图像为通过深度摄像头拍摄目标物流件得到；在深度图像中分割出目标面，其中，目标面为承载目标物流件的承载面；将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像；根据物流件的深度图像，计算包围目标物流件的最小长方体；计算最小长方体的体积，作为目标物流件的体积测量结果。

Description

物流件的体积测量方法以及装置
技术领域
本申请涉及物流领域，具体涉及物流件的体积测量方法以及装置。
背景技术
与传统摄像头相比，深度摄像头(又可称为深度相机或者3D摄像头)可检测出图像中每个点离摄像头的距离，即可检测出拍摄空间的景深距离，如此可更便于还原真实场景，实现场景建模等应用。典型的，深度摄像头可采用结构光、双目视觉或者光飞行时间法(Time Of Flight，TOF)三种方案。
近些年来，随着机器视觉、自动驾驶、人脸识别等相关技术的迅速发展，深度摄像头的应用场景也愈加的广泛，尤其是在移动端的应用需求非常强烈。例如，在物流领域，可通过携带深度摄像头的个人数字助理(Personal Digital Assistant，PDA)拍摄物流件，并根据得到的深度图像测量物流件的体积，从而可促进物流工作的数字化管理。
与此同时可以发现的是，现有的相关技术中，通过物流件的深度图像测量物流件的体积，仍存在精度欠缺的问题。
发明内容
本申请实施例提供了物流件的体积测量方法以及装置，用于获取物流件精确的体积数据，为物流运输提供有效的数据支持。
第一方面，本申请实施例提供了一种物流件的体积测量方法，方法包括：
获取深度图像，其中，深度图像为通过深度摄像头拍摄目标物流件得到；
在深度图像中分割出目标面，其中，目标面为承载目标物流件的承载面；
将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像；
根据物流件的深度图像，计算包围目标物流件的最小长方体；
计算最小长方体的体积，作为目标物流件的体积测量结果。
结合本申请实施例第一方面，在本申请实施例第一方面第一种可能的实现方式中，在深度图像中分割出目标面包括：
对深度图像进行平面检测，得到深度图像中包含的几个面；
依次计算深度图像中包含的几个面到坐标原点的距离，并将距离最大的面选取为目标面。
结合本申请实施例第一方面第一种可能的实现方式，在本申请实施例第一方面第二种可能的实现方式中，对深度图像进行平面检测，得到深度图像中包含的几个面包括：
网格化深度图像；
将深度图像网格化后形成的每个网格内的二维像素点转换为三维坐标点，形成网格点云；
从网格点云内的三维坐标点中筛选出构成点云平面的目标网格点云；
对目标网格点云进行聚类，得到聚类平面；
将尚未聚类的三维坐标点与聚类平面进行聚类，得到深度图像中包含的几个面。
结合本申请实施例第一方面，在本申请实施例第一方面第三种可能的实现方式中，将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像包括：
提取目标面的深度值；
提取深度图像中像素点的深度值低于目标面的深度值的目标像素点；
将目标像素点形成的连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
结合本申请实施例第一方面第三种可能的实现方式，在本申请实施例第一方面第四种可能的实现方式中，将目标像素点形成的连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像包括：
检测深度图像的物流件标识，其中，物流件标识用于标识目标物流件；
在目标像素点中，以物流件标识所在位置为起点进行聚类，得到连通区域；
将连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
结合本申请实施例第一方面，在本申请实施例第一方面第五种可能的实现方式中，若目标像素点中存在未包含在连通区域的多个未知像素点，将连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像之前，方法还包括：
计算每个未知像素点到目标面的第一距离、每个未知像素点到前景区域的第二距离以及未知像素点两两点之间的第三距离；
根据第一距离、第二距离以及第三距离，按照距离大小进行聚类，将多个未知像素点归类至目标面或者连通区域。
结合本申请实施例第一方面，在本申请实施例第一方面第六种可能的实现方式中，根据物流件的深度图像，计算包围目标物流件的最小长方体包括：
将物流件的深度图像投影至目标面，得到投影图像；
提取投影图像的边缘点；
根据边缘点的位置，获取包围投影图像的最小长方形；
提取物流件的深度图像沿目标面的法向量方向的最大长度；
以最小长方形为底面，以及以最大长度为高，构建得到包围目标物流件的最小长方体。
第二方面，本申请实施例提供了一种物流件的体积测量装置，装置包括：
获取单元，用于获取深度图像，其中，深度图像为通过深度摄像头拍摄目标物流件得到；
分割单元，用于在深度图像中分割出目标面，其中，目标面为承载目标物流件的承载面；
分割单元，还用于将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像；
计算单元，用于根据物流件的深度图像，计算包围目标物流件的最小长方体；
计算单元，还用于计算最小长方体的体积，作为目标物流件的体积测量结果。
结合本申请实施例第二方面，在本申请实施例第二方面第一种可能的实现方式中，分割单元，具体用于：
对深度图像进行平面检测，得到深度图像中包含的几个面；
依次计算深度图像中包含的几个面到坐标原点的距离，并将距离最大的面选取为目标面。
结合本申请实施例第二方面第一种可能的实现方式，在本申请实施例第二方面第二种可能的实现方式中，分割单元，具体用于：
网格化深度图像；
将深度图像网格化后形成的每个网格内的二维像素点转换为三维坐标点，形成网格点云；
从网格点云内的三维坐标点中筛选出构成点云平面的目标网格点云；
对目标网格点云进行聚类，得到聚类平面；
将尚未聚类的三维坐标点与聚类平面进行聚类，得到深度图像中包含的几个面。
结合本申请实施例第二方面，在本申请实施例第二方面第三种可能的实现方式中，分割单元，具体用于：
提取目标面的深度值；
提取深度图像中像素点的深度值低于目标面的深度值的目标像素点；
将目标像素点形成的连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
结合本申请实施例第二方面第三种可能的实现方式，在本申请实施例第二方面第四种可能的实现方式中，分割单元，具体用于：
检测深度图像的物流件标识，其中，物流件标识用于标识目标物流件；
在目标像素点中，以物流件标识所在位置为起点进行聚类，得到连通区域；
将连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
结合本申请实施例第二方面第三种可能的实现方式，在本申请实施例第二方面第五种可能的实现方式中，若目标像素点中存在未包含在连通区域的多个未知像素点，分割单元，还还用于：
计算每个未知像素点到目标面的第一距离、每个未知像素点到前景区域的第二距离以及未知像素点两两点之间的第三距离；
根据第一距离、第二距离以及第三距离，按照距离大小进行聚类，将多个未知像素点归类至目标面或者连通区域。
结合本申请实施例第二方面，在本申请实施例第二方面第六种可能的实现方式中，计算单元，具体用于：
将物流件的深度图像投影至目标面，得到投影图像；
提取投影图像的边缘点；
根据边缘点的位置，获取包围投影图像的最小长方形；
提取物流件的深度图像沿目标面的法向量方向的最大长度；
以最小长方形为底面，以及以最大长度为高，构建得到包围目标物流件的最小长方体。
第三方面，本申请实施例还提供了一种物流件的体积测量装置设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请实施例提供的任一种方法中的步骤。
第四方面，本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请实施例提供的任一种方法中的步骤。
从以上内容可得出，本申请实施例具有以下的有益效果：
针对于不规则形状的物流件，或者说针对非长方体形状的物流件，通过从深度图像中分割出承载物流件的承载面，并根据该承载面对深度图像进行前后景分割，由此可有效分离出物流件的深度图像并计算包围物流件的最小长方体，该最小长方体可以作为该物流件在物流运输中的等同形状，可将该最小长方体的体积作为该物流件的体积测量结果，方便物流件的打包、放置、货运等作业。
此外，由于数据处理较为简单，并且由于仅需一张深度图像即可确定物流件的体积测量结果，这也方便现场的拍摄处理，显著提高自动检测物流件体积对于物流工作的便利性，简便地为物流工作提供有效的数据支持。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例物流件的体积测量方法的一种流程示意图；
图2为本申请图1对应实施例步骤S102的一种流程示意图；
图3为本申请图2实施例步骤S201的一种流程示意图；
图4为本申请图1实施例步骤S103的一种流程示意图；
图5为本申请实施例物流件的体积测量方法的一种场景示意图；
图6为本申请实施例物流件的体积测量装置的一种结构示意图；
图7为本申请实施例物流件的体积测量设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存***中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实***置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本申请的原理使用许多其它泛用性或特定目的运算、通信环境或组态来进行操作。所熟知的适合用于本申请的运算***、环境与组态的范例可包括(但不限于)手持电话、个人计算机、服务器、多处理器***、微电脑为主的***、主架构型计算机、及分布式运算环境，其中包括了任何的上述***或装置。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。
首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。
在现有的相关技术中，在对物流件的体积的测量中，通常结合物流件在不同姿态下的深度图像，计算物流件的体积，为提高计算精度，往往需要采集多张的深度图像，受限于从深度图像中取物流件的体积的精度限制，现场物流工作人员往往需要反反复复采集多张的深度图像，这对于现场工作来说实为不便。
基于现有的相关技术存在的上述缺陷，本申请实施例提供了一种新的物流件的体积测量方法，至少在一定程度上克服现有的相关技术所存在的缺陷。
本申请实施例提及的物流件的体积测量方法，其执行主体可以为物流件的体积测量装置，或者集成了该物流件的体积测量装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的物流件的体积测量设备，其中，物流件的体积测量装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者PDA等终端设备。
其中，物流件的体积测量设备还可分为多个设备，并共同执行本申请实施例提供的物流件的体积测量方法，例如快递网点的工作人员，可通过摄像装置可采集收件的物流件的深度图像，并将该深度图像通过网络上传至服务器，由服务器进行该物流件的体积的提取。
其中，摄像装置可以为深度摄像头，或者也可以为包括深度摄像头的设备，例如上述提及的PDA、智能手机或者平板电脑等设备；网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等；服务器可以是多个服务器组成的服务器集群等，服务器也可以为云服务器。根据实际需要，可以具有任意数目的摄像装置、网络和服务器。
当然，在本申请实施例中，由于物流件的体积测量方法所需的数据处理较为简单，因此在实际应用中，更方便直接在现场的PDA等设备上采集深度图像并基于采集到的深度图像提取物流件的体积，方便在现场安排后续的物流工作。
另外，本申请实施例所称的物流件，具体可以为物流行业中快递业务的快递件，对应的，本申请实施例所提供的物流件的体积测量方法，可用于基于快递件的深度图像提取快递件的体积。
图1示出了本申请实施例物流件的体积测量方法的一种流程示意图，如图1示出的，本申请实施例提供的物流件的体积测量方法，具体可包括如下步骤：
步骤S101，获取深度图像，其中，深度图像为通过深度摄像头拍摄目标物流件得到；
步骤S102，在深度图像中分割出目标面，其中，目标面为承载目标物流件的承载面；
步骤S103，将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像；
步骤S104，根据物流件的深度图像，计算包围目标物流件的最小长方体；
步骤S105，计算最小长方体的体积，作为目标物流件的体积测量结果。
在图1所示实施例提出的技术方案中，针对于不规则形状的物流件，或者说针对非长方体形状的物流件，通过从深度图像中分割出承载物流件的承载面，并根据该承载面对深度图像进行前后景分割，由此可有效分离出物流件的深度图像并计算包围物流件的最小长方体，该最小长方体可以作为该物流件在物流运输中的等同形状，可将该最小长方体的体积作为该物流件的体积测量结果，方便物流件的打包、放置、货运等作业。
此外，由于数据处理较为简单，并且由于仅需一张深度图像即可确定物流件的体积测量结果，这也方便现场的拍摄处理，显著提高自动检测物流件体积对于物流工作的便利性，简便地为物流工作提供有效的数据支持。
需要理解的是，这里说仅需一张深度图像即可确定物流件的体积测量结果，并不意味着在测量物流件的体积时，限定仅对物流件拍摄了一张深度图像，可以对物流件拍摄了多张深度图像。在实际应用中，若对物流件拍摄了多张深度图像，则可选取一张或者多张深度图像分别进行物流件体积的计算，若为多张深度图像，则可从多个的体积测量结果中筛选出对应的最小体积测量结果、最大体积测量结果或者平均体积测量结果等方式选定特定的体积测量结果，作为最终输出的体积测量结果。
此外，本申请实施例提供的物流件的体积测量方法，不仅可应用于不规则形状的物流件，也可应用于规则形状的物流件。在本申请实施例中，规则形状指的是长方体形状，例如很多商品在进行销售时，通过包装有长方体形状的纸箱，而不规则形状，则可理解为非长方体形状等形状，典型的，例如类似球体的多面体、未进行包装的商品本体、容易变形的衣服等，这些不规则形状的物流件，通常在收件后需要通过纸箱或者包装袋进行包装，以便后续的放置、货运等物流作业。
以下继续对图1所示实施例的各个步骤的具体实施方式进行详细阐述：
在本申请实施例中，深度图像具体可以为通过结构光、双目视觉或者TOF等不同类型的深度图拍摄方式拍摄物流件得到，具体可随实际拍摄设备或者拍摄条件而定。
步骤S101中深度图像的获取处理，可以理解为通过自身的深度摄像头实时拍摄物流件并得到物流件的深度图像；或者也可以理解为通过连接外部的深度摄像头或者外部具有深度摄像头的设备，实时拍摄物流件并得到物流件的深度图像；或者，也可理解为提取自身或者外部设备所存储的物流件的深度图像。
在实际应用中，由于物流件是不规则形状的，其深度图像中，结合具有深度信息的点云，可提取出平面，对于物流件以及承载物流件的承载面，两者对应的深度图像则是不同的，承载面的深度图像通常为单一且面积较大的面构成，而物流件的深度图像则通常为密集且面积较小的不同面构成。
考虑到不规则形状的物流件所构成的深度图像较为复杂，从深度图像分割出的难度以及数据处理量较高，而承载物流件所构成的深度图像较为简单，图像特征基本不变，从深度图像分割出的难度以及数据处理量较低，因此，在本申请实施例中，考虑先识别图像中的承载面出发，再间接识别图像中的物流件。从深度图像中分割出承载面后，再结合前后景分割的数据处理方式，在深度图像中对承载面以及物流件进行分离，得到物流件的深度图像，以此，避免直接从深度图像识别、分割出物流件较高的难度以及数据处理量。
进一步的，在上述涉及的数据处理过程中，作为一种示例性的具体实现方式，参阅图2示出的本申请图1对应实施例步骤S102的一种流程示意图，本申请实施例中承载面的分割处理，具体可包括如下步骤实现：
步骤S201，对深度图像进行平面检测，得到深度图像中包含的几个面；
其中，基于深度图像进行平面检测，通常可采用聚类的方式，对深度图像中的稠密点云进行聚类，而属于同一平面的相邻点云，则可通过较为相似的聚类特征进行类聚，得到不同的面。
例如，采用聚类分割算法，通过检测点云的空间特征、几何特征、纹理特征、颜色特征等不同类型的特征对点云进行划分，并进行聚类，得到特征近似的点云所组成的不同面。
或者，采用随机抽样一致算法(Random Sample Consensus，RANSAC)，在深度图像的点云中随机选择几个点设定为内群(或者说局内点，为组成面的点云中的点)，计算拟合内群的模型，再将其他点带入建立的模型中，计算是否为内群，记下内群数量，并重复多次以上步骤的迭代，比较哪次计算中内群数量最多，内群数量最多的那次所建的模型就是所要求的解，这些解所对应的点集所组成的面，即为从深度图像中检测得到的面。
当然，在现有的相关技术中，平面检测方式也可采取其他方式进行检测，具体在此不再赘述。
步骤S202，依次计算深度图像中包含的几个面到坐标原点的距离，并将距离最大的面选取为目标面。
在本申请实施例中，物流件的现场拍摄场景中，可默认摄入图像中的内容，除了物流件外只有承载物流件的承载面，该方式在工作人员的管理下，在物流件的收件现场较为容易实现。
而在该情况下则意味着，承载面为最低高度的面，或者说，在深度图像中，上述提取出来的若干的面，若计算它们沿深度画面Z轴到深度摄像头(坐标原点)的距离，则取得最大距离的面即为承载面，也就说本申请实施例中的目标面。
如此，可结合高度，精确地识别出深度图像中的承载面，方便后续物流件的深度图像的分割。
其中，作为聚类方式的一种具体实现方式，如图3示出的本申请图2实施例步骤S201的一种流程示意图，可包括：
步骤S301，网格化深度图像；
步骤S302，将深度图像网格化后形成的每个网格内的二维像素点转换为三维坐标点，形成网格点云；
步骤S303，从网格点云内的三维坐标点中筛选出构成点云平面的目标网格点云；
步骤S304，对目标网格点云进行聚类，得到聚类平面；
步骤S305，将尚未聚类的三维坐标点与聚类平面进行聚类，得到深度图像中包含的几个面。
具体地，将所获取到的原深度图像进行网格化，得到该深度图像对应的多个网格，网格的大小以及分布随实际需要调整；再根据每个二维像素点对应的深度数据，确定该二维像素点在三维场景中的三维坐标，并根据该三维坐标在三维场景中确定与二维像素点对应的三维坐标点，以将二维像素点转换为相应三维坐标点。
其中，对于每个二维像素点，还原出对应的三维坐标点，其对应公式如下：
Figure BDA0002405316780000111
其中(u,v)为二维坐标系下的点坐标，(xc,yc,zc)为三维坐标系下的点坐标，fx和fy为焦距，(u0,v0)为二维坐标系下的像素基准点，zc为目标点沿着画面深度Z轴方向到深度摄像头的距离，可由深度图直接获得。
接着，再根据每个网格内各个二维像素点各自对应的三维坐标点，得到该网格在三维场景中对应的网格点云，从而得到深度图像对应的多个网格点云，并根据每个网格点云内的三维坐标点，判断该网格点云内的三维坐标点在三维场景中是否处于同一点云平面，也就是判断该网格点云是否构成点云平面，并从该多个网格点云中筛选构成点云平面的网格点云。
对所筛选出的构成点云平面的网格点云，按照网格点云内的三维坐标点进行聚类，得到多个聚类平面。终端从三维点云数据中确定尚未聚类的三维坐标点，并将该尚未聚类的三维坐标点与所得到的聚类平面进行聚类，以将三维点云数据中的每个三维坐标点均聚类至相应聚类平面，得到深度图像所包含的几个的面。
在又一种示例性的具体实现方式中，参阅图4示出的本申请图1实施例步骤S103的一种流程示意图，上述所称的前后景分割处理，具体可以包括：
步骤S401，提取目标面的深度值；
步骤S402，提取深度图像中像素点值的深度低于目标面的深度值的目标像素点；
步骤S403，将目标像素点形成的连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
作为前后景分割，可以从深度维度出发，作为前后景图像的主要区分方式，在确定承载面，即目标面后，可暂时将深度图像分为承载面以及非承载面两部分的图像。此时提取承载面的深度值，该深度值随承载面各个点可为多个，形成深度值区间，而非承载面的图像其像素点的深度值若低于承载面的深度值，则可作为目标像素点，基于这些目标像素点进行生长，得到的连通区域即可作为前景区域，实现与承载面的分离，并可作为物流件的深度图像。
其中，可随机选取目标像素点中的某些像素点，作为生长种子进行区域生长，并结合坐标信息，包括深度信息，计算与目标像素点中其他相邻的像素点之间的距离，当距离小于阈值的阈值时，即可进行连通，加入生长的区域中，不断地重复这个寻找、比较的过程，直到目标像素点中的点都处理完成，由此得到的点的集合，就可认为是置信度较高的前景点云。
或者，还可结合位置标识，标识出物流件在图像中的所在位置，进行生长。
例如，上述步骤S403，可具体包括：
检测深度图像的物流件标识，其中，物流件标识用于标识目标物流件；
在目标像素点中，以物流件标识所在位置为起点进行聚类，得到连通区域；
将连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
其中，该物流件标识可在在深度图像的拍摄过程中生成。以PDA为例，工作人员在通过PDA拍摄物流件时，可在PDA拍摄预览界面所显示的物流件标识的引导下，校正拍摄角度，使得物流件标识位于物流件的图像中。
当然，该物流件标识除了可位于物流件的图像中，也可以通过其他方式指示对应的物流件，例如，通过指针标识的方式，将指针标识所指方向的图像作为物流件。
其中，物流件标识，可以限制在预览界面的固定位置，该固定位置为通过历史物流件的提取经验设置，或者也可随工作人员手动添加在预览界面的对应位置在。拍摄完成后，物流件标识即可在深度图像中显示于原预览界面中的所处位置，或者，通过深度图像携带的标识位置信息，指示物流件标识在深度图像中的位置。
如此，根据物流件标识，直接明确生长的起始像素点，在目标像素点中进行生长、聚类，得到连通区域。
而在上述所提及的生长的过程中，在较少情况下，可能还存在不属于连通区域，即不属于前景点云的点云，这些点云则可认为是未知的点云。
针对这些未知点云，或者说未知像素点，则可进行相对应的区分处理，以对其进行划分至承载面或者物流件的点云中，进一步提高前后景分割的精度。
对应的，作为又一种示例性的实施例，在执行上述步骤S403之前，还可包括如下步骤：
计算每个未知像素点到目标面的第一距离、每个未知像素点到前景区域的第二距离以及未知像素点两两点之间的第三距离；
根据第一距离、第二距离以及第三距离，按照距离大小进行聚类，将多个未知像素点归类至目标面或者连通区域。
例如，假设承载面的点云(后景点云)为Bkg_r，物流件的点云(前景点云)为Frg_r，还有未知点云为Ukn_r。对于待识别的未知点云Ukn_r中任一未知像素点的三维坐标点pt，
到后景区域的距离：将pt与后景点云Bkg_r中任意一个点ptb的距离，定义为
Figure BDA0002405316780000131
到前景区域的距离：将pt点与前景点云Frg_r中任意一个点ptf的距离，定义为
Figure BDA0002405316780000132
到相邻位置像素点的距离：对于未知点云Ukn_r，将集合中所有三维坐标点组成的点云，利用开源点云处理计算库(Point Cloud Library，PCL)中的KdTree方法，对三维空间进行划分，以每个点云为结点，构造出对应的K维树形结构。对于pt点，可利用该树形结构在点云中搜索k个最邻近的点，这k个邻近点即是pt点的邻域集合N(pt)。将pt点到为未知点云Ukn_r中的任一个点ptn的距离，定义为
Figure BDA0002405316780000141
如此，可根据计算得到的距离数据，依照就近原则，进行前后景的划分，将这些未知像素点归类至目标面或者连通区域，即承载面或者物流件。
进一步的，在图1对应实施例步骤S104中，在步骤S103得到物流件的深度图像后，可根据该图像，提取物流件在三个维度上的长度，即三条边的长度，作为物流件的长宽高数据，如此，可根据体积计算公式V＝X*Y*Z，计算物流件的体积，其中，长宽高所对应的边的位置，并不固定限制，长宽高对应的三条边处于互相垂直的空间关系即可。
其中，作为一种示例性的具体实现方式，可通过投影的方式，提取部分的边长长度数据，对应的，步骤S104可包括：
将物流件的深度图像投影至目标面，得到投影图像；
提取投影图像的边缘点；
根据边缘点的位置，获取包围投影图像的最小长方形；
提取物流件的深度图像沿目标面的法向量方向的最大长度；
以最小长方形为底面，以及以最大长度为高，构建得到包围目标物流件的最小长方体。
具体的，将物流件投影至承载面后，得到的二维图像，此时即可提取该图像的边缘点，该边缘点可以为图像的拐角或者轮廓的所有点，结合所在平面的坐标轴，例如XY轴，确定图像在X轴以及Y轴上的最大长度，根据两者，即可绘制出包围该图像的最小长方形。
以此类推，可将物流件再次投影至目标面的法向量和X轴所构成的平面上，或者投影至目标面的法向量和Y轴所构成的平面上，提取边缘点，并沿目标面的法向量方向，确定投影图像在目标面的法向量方向上的最大长度，作为物流件的高。或者，检测物流件的深度图像中目标面的法向量方向上离承载面最远距离的像素点并提取其距离作为提取物流件的深度图像沿目标面的法向量方向的最大长度，即物流件的高。
如此，得到物流件最大三条边的长度后，即可构建包围物流件的最小长方体并计算其体积。
需要说明的是，在上述内容中，还可涉及到坐标转换的处理，容易理解，在拍摄过程中，受限于拍摄角度、拍摄空间等实际拍摄条件的限制，深度图像中物流件往往呈现不一样的放置姿态，具有不一样的倾斜度，为便于计算处理，还可将所拍摄到的物流件的深度图像，进行坐标转换处理，以将物流件的放置姿态处于理想姿态下。
即，将承载面至垂直于画面深度Z轴的姿态，即将图像中承载面的法向量与深度摄像头的画面深度Z轴平行，其具体旋转过程如下：
画面深度Z轴方向为Z＝[0,0,1]，承载面法向量Ntop＝[nx,ny,nz]，计算x＝[xx,xy,xz]＝Ntop*Z，x＝[yx,yy,yz]＝Ntop*x，则可得
Figure BDA0002405316780000151
其中运算符号*为向量外积。对任意一个三维点P＝[px,py,pz]，旋转后的点为R*P。
其旋转效果，具体可参考图5示出的本申请实施例物流件的体积测量方法的一种场景示意图。
为便于更好的实施本申请实施例提供的物流件的体积测量装置方法，本申请实施例还提供物流件的体积测量装置。
参阅图6，图6为本申请实施例物流件的体积测量装置的一种结构示意图，在本申请实施例中，物流件的体积测量装置600具体可包括如下结构：
获取单元601，用于获取深度图像，其中，深度图像为通过深度摄像头拍摄目标物流件得到；
分割单元602，用于在深度图像中分割出目标面，其中，目标面为承载目标物流件的承载面；
分割单元602，还用于将目标面作为后景区域，对深度图像进行前后景分割，并将得到的前景区域对应的图像作为物流件的深度图像；
计算单元603，用于根据物流件的深度图像，计算包围目标物流件的最小长方体；
计算单元603，还用于计算最小长方体的体积，作为目标物流件的体积测量结果。
在一种示例性的具体实现方式中，分割单元602，具体用于：
对深度图像进行平面检测，得到深度图像中包含的几个面；
依次计算深度图像中包含的几个面到坐标原点的距离，并将距离最大的面选取为目标面。
在又一种示例性的具体实现方式中，分割单元602，具体用于：
网格化深度图像；
将深度图像网格化后形成的每个网格内的二维像素点转换为三维坐标点，形成网格点云；
从网格点云内的三维坐标点中筛选出构成点云平面的目标网格点云；
对目标网格点云进行聚类，得到聚类平面；
将尚未聚类的三维坐标点与聚类平面进行聚类，得到深度图像中包含的几个面。
在又一种示例性的具体实现方式中，分割单元602，具体用于：
提取目标面的深度值；
提取深度图像中像素点的深度值低于目标面的深度值的目标像素点；
将目标像素点形成的连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
在又一种示例性的具体实现方式中，分割单元602，具体用于：
检测深度图像的物流件标识，其中，物流件标识用于标识目标物流件；
在目标像素点中，以物流件标识所在位置为起点进行聚类，得到连通区域；
将连通区域作为前景区域，并将前景区域对应的图像作为物流件的深度图像。
在又一种示例性的具体实现方式中，若目标像素点中存在未包含在连通区域的多个未知像素点，分割单元602，还用于：
计算每个未知像素点到目标面的第一距离、每个未知像素点到前景区域的第二距离以及未知像素点两两点之间的第三距离；
根据第一距离、第二距离以及第三距离，按照距离大小进行聚类，将多个未知像素点归类至目标面或者连通区域。
在又一种示例性的具体实现方式中，计算单元603，具体用于：
将物流件的深度图像投影至目标面，得到投影图像；
提取投影图像的边缘点；
根据边缘点的位置，获取包围投影图像的最小长方形；
提取物流件的深度图像沿目标面的法向量方向的最大长度；
以最小长方形为底面，以及以最大长度为高，构建得到包围目标物流件的最小长方体。
本申请实施例还提供了物流件的体积测量设备，参阅图7，图7示出了本申请实施例物流件的体积测量设备的一种结构示意图，具体的，本申请实施例提供的物流件的体积测量设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中物流件的体积测量方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图6对应实施例中各单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
物流件的体积测量设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是物流件的体积测量设备的示例，并不构成对物流件的体积测量设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如物流件的体积测量设备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是物流件的体积测量设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据物流件的体积测量设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的物流件的体积测量装置、设备及其相应单元的具体工作过程，可以参考如图1至图5对应任意实施例中物流件的体积测量方法的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图5对应任意实施例中方法中的步骤，具体操作可参考如图1至图5对应任意实施例中方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如图1至图5对应任意实施例中物流件的体积测量方法中的步骤，因此，可以实现本申请如图1至图5对应任意实施例中物流件的体积测量方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的物流件的体积测量方法、装置、设备以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种物流件的体积测量方法，其特征在于，所述方法包括：
获取深度图像，其中，所述深度图像为通过深度摄像头拍摄目标物流件得到；
在所述深度图像中分割出目标面，其中，所述目标面为承载所述目标物流件的承载面；
将所述目标面作为后景区域，对所述深度图像进行前后景分割，并将得到的前景区域对应的图像作为所述物流件的深度图像；
根据所述物流件的深度图像，计算包围所述目标物流件的最小长方体；
计算所述最小长方体的体积，作为所述目标物流件的体积测量结果。
2.根据权利要求1所述的方法，其特征在于，所述在所述深度图像中分割出目标面包括：
对所述深度图像进行平面检测，得到所述深度图像中包含的几个面；
依次计算所述深度图像中包含的几个面到坐标原点的距离，并将距离最大的面选取为所述目标面。
3.根据权利要求2所述的方法，其特征在于，所述对所述深度图像进行平面检测，得到所述深度图像中包含的几个面包括：
网格化所述深度图像；
将所述深度图像网格化后形成的每个网格内的二维像素点转换为三维坐标点，形成网格点云；
从所述网格点云内的三维坐标点中筛选出构成点云平面的目标网格点云；
对所述目标网格点云进行聚类，得到聚类平面；
将尚未聚类的三维坐标点与所述聚类平面进行聚类，得到所述深度图像中包含的几个面。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标面作为后景区域，对所述深度图像进行前后景分割，并将得到的前景区域对应的图像作为所述物流件的深度图像包括：
提取所述目标面的深度值；
提取所述深度图像中像素点的深度值低于所述目标面的深度值的目标像素点；
将所述目标像素点形成的连通区域作为所述前景区域，并将所述前景区域对应的图像作为所述物流件的深度图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述目标像素点形成的连通区域作为所述前景区域，并将所述前景区域对应的图像作为所述物流件的深度图像包括：
检测所述深度图像的物流件标识，其中，所述物流件标识用于标识所述目标物流件；
在所述目标像素点中，以所述物流件标识所在位置为起点进行聚类，得到所述连通区域；
将所述连通区域作为所述前景区域，并将所述前景区域对应的图像作为所述物流件的深度图像。
6.根据权利要求4所述的方法，其特征在于，若所述目标像素点中存在未包含在所述连通区域的多个未知像素点，所述将所述连通区域作为所述前景区域，并将所述前景区域对应的图像作为所述物流件的深度图像之前，所述方法还包括：
计算每个所述未知像素点到所述目标面的第一距离、每个所述未知像素点到所述前景区域的第二距离以及所述未知像素点两两点之间的第三距离；
根据所述第一距离、所述第二距离以及所述第三距离，按照距离大小进行聚类，将多个所述未知像素点归类至所述目标面或者所述连通区域。
7.根据权利要求1所述的方法，其特征在于，所述根据所述物流件的深度图像，计算包围所述目标物流件的最小长方体包括：
将所述物流件的深度图像投影至所述目标面，得到投影图像；
提取所述投影图像的边缘点；
根据所述边缘点的位置，获取包围所述投影图像的最小长方形；
提取所述物流件的深度图像沿所述目标面的法向量方向的最大长度；
以所述最小长方形为底面，以及以所述最大长度为高，构建得到所述包围所述目标物流件的最小长方体。
8.一种物流件的体积测量装置，其特征在于，所述装置包括：
获取单元，用于获取深度图像，其中，所述深度图像为通过深度摄像头拍摄目标物流件得到；
分割单元，用于在所述深度图像中分割出目标面，其中，所述目标面为承载所述目标物流件的承载面；
所述分割单元，还用于将所述目标面作为后景区域，对所述深度图像进行前后景分割，并将得到的前景区域对应的图像作为所述物流件的深度图像；
计算单元，用于根据所述物流件的深度图像，计算包围所述目标物流件的最小长方体；
所述计算单元，还用于计算所述最小长方体的体积，作为所述目标物流件的体积测量结果。
9.一种物流件的体积测量设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至7任一项所述的方法。
CN202010159693.4A 2020-03-10 2020-03-10 物流件的体积测量方法以及装置 Pending CN113379826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010159693.4A CN113379826A (zh) 2020-03-10 2020-03-10 物流件的体积测量方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010159693.4A CN113379826A (zh) 2020-03-10 2020-03-10 物流件的体积测量方法以及装置

Publications (1)

Publication Number Publication Date
CN113379826A true CN113379826A (zh) 2021-09-10

Family

ID=77568597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010159693.4A Pending CN113379826A (zh) 2020-03-10 2020-03-10 物流件的体积测量方法以及装置

Country Status (1)

Country Link
CN (1) CN113379826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494404A (zh) * 2022-02-14 2022-05-13 云从科技集团股份有限公司 物体体积测量方法、***、装置和介质
CN114648640A (zh) * 2022-05-23 2022-06-21 深圳市其域创新科技有限公司 一种目标物单体化方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优***科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质
CN110095062A (zh) * 2019-04-17 2019-08-06 北京华捷艾米科技有限公司 一种物体体积参数测量方法、装置及设备
WO2019169941A1 (zh) * 2018-03-05 2019-09-12 华为技术有限公司 一种测距方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416804A (zh) * 2018-02-11 2018-08-17 深圳市优***科技股份有限公司 获取目标物体体积的方法、装置、终端设备及存储介质
WO2019169941A1 (zh) * 2018-03-05 2019-09-12 华为技术有限公司 一种测距方法及装置
CN110095062A (zh) * 2019-04-17 2019-08-06 北京华捷艾米科技有限公司 一种物体体积参数测量方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
孙晓兰;赵慧洁;: "基于网格采样的深度图像表面特征提取算法", 中国图象图形学报, no. 06, 15 June 2007 (2007-06-15) *
杜廷伟;刘波;: "基于高斯混合模型聚类的Kinect深度数据分割", 计算机应用与软件, no. 12, 15 December 2014 (2014-12-15) *
高庆吉;位园园;: "基于表面深度值均方差的航空行李分类研究", 计算机工程与科学, no. 01, 15 January 2017 (2017-01-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494404A (zh) * 2022-02-14 2022-05-13 云从科技集团股份有限公司 物体体积测量方法、***、装置和介质
CN114648640A (zh) * 2022-05-23 2022-06-21 深圳市其域创新科技有限公司 一种目标物单体化方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US10268917B2 (en) Pre-segment point cloud data to run real-time shape extraction faster
US10510159B2 (en) Information processing apparatus, control method for information processing apparatus, and non-transitory computer-readable storage medium
US9292961B1 (en) System and method for detecting a structural opening in a three dimensional point cloud
EP3502621B1 (en) Visual localisation
JP6760957B2 (ja) ３次元モデリング方法及び装置
CN112581629A (zh) 增强现实显示方法、装置、电子设备及存储介质
US20210256763A1 (en) Method and device for simplifying three-dimensional mesh model
CN112489099B (zh) 点云配准方法、装置、存储介质及电子设备
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
CN115439607A (zh) 一种三维重建方法、装置、电子设备及存储介质
CN108492284B (zh) 用于确定图像的透视形状的方法和装置
CN113379826A (zh) 物流件的体积测量方法以及装置
CN114396875B (zh) 一种基于深度相机垂直拍摄的长方形包裹体积测量方法
CN109344750B (zh) 一种基于结构描述子的复杂结构三维对象识别方法
CN113628343B (zh) 三维网格的合并处理方法和装置、存储介质
CN114998433A (zh) 位姿计算方法、装置、存储介质以及电子设备
CN116266365A (zh) 一种点云数据提取方法、装置、电子设备及存储介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN114066999A (zh) 基于三维建模的目标定位***及方法
CN112102391A (zh) 测量方法及装置、电子设备及存储介质
US10861174B2 (en) Selective 3D registration
CN112150527B (zh) 测量方法及装置、电子设备及存储介质
CN111295694A (zh) 点云的孔洞填充的方法和设备
CN115861403A (zh) 一种非接触式物体体积测量方法、装置、电子设备及介质
CN113048950B (zh) 基站天线倾角测量方法、装置、存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination