CN106225678A - 基于3d相机的动态物体定位与体积测量方法 - Google Patents

Abstract

本发明提出了一种基于3D相机的动态物体定位与体积测量方法，包括：基于检测平台方位布置安装3D相机，由安装于检测平台平面的红外触发器控制所述3D相机对待测物体进行抓拍采集；初始配置：自动确定所述红外触发器在检测平台基准面上的位置；物体定位：根据所述红外触发器位置扫描定位分割提取待测物体点云；体积测量：检测平台基准面对待测物体点云进行体积测量。本发明利用3D相机进行图像采集，基于较好的深度点云数据能够得到毫米级的测量精度，具有较高性价比，便于封装集成，适用于流水线等环境的动态物体体积测量。

Description

基于3D相机的动态物体定位与体积测量方法

技术领域

本发明涉及物流和仓储管理技术领域，特别涉及一种基于3D相机的动态物体定位与体积测量方法。

背景技术

近年来，随着经济全球化的快速发展，大量的物资需要在区域之间频繁流动，尤其是伴随着信息技术革命而产生的电子商务的兴起，使得物流行业获得急剧飞速发展，物流企业间的竞争也日趋激烈，怎样降低人力成本，高效的将快件发送到目的地是取得竞争优势的关键。

在物流和仓储管理中，物品的体积属性对物流中心优化收货入库、拣选、包装和发运管理至关重要，因此通过对物品的尺寸、体积实现自动化的精准测量，能大大提高仓储物流的效率以及物流***的智能和自动化水平。

现有的体积测量自动化设备有传感器厂家也有***集成商(美国Cubiscan、德国SICK、德国的AKL-tec GmbH等)，应用于流水线场景设备多是基于光幕或线阵激光扫描，必须配合传送带编码器才能计算体积。这种技术虽然较为成熟，但价格昂贵，而且***复杂度较高。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于3D相机的动态物体定位与体积测量方法，利用3D相机进行图像采集，可以得到较好的深度点云数据，并且价格便宜，***复杂度也低，便于操作。

为了实现上述目的，本发明的实施例提供一种基于3D相机的动态物体定位与体积测量方法，包括如下步骤：

步骤S1，基于检测平台方位布置安装3D相机，由安装于检测平台平面的红外触发器控制所述3D相机对待测物体进行抓拍采集；

步骤S2，初始配置：自动确定所述红外触发器在检测平台基准面上的位置；

步骤S3，物体定位：根据所述红外触发器位置扫描定位分割提取待测物体点云；

步骤S4，体积测量：结合步骤S2中的检测平台基准面对所述步骤S3中的待测物体点云进行体积测量。

进一步，在所述步骤S1中，将所述3D相机垂直俯视架设于检测平台的平面上方，其中，所述3D相机的像平面中心正对所述待测平台中心，且相机图像行向方向与检测平台的待检测物体运动方向平行。

进一步，在所述步骤S2中，采用基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法进行初始配置：

步骤S21，分析由触发器触发抓拍到的深度点云数据，计数点云到基准面的垂直位移即为h(X,Y,Z)＝f_xX+f_yY+f_zZ+f_d，得到位于基准面上方的点云，完成初步平面分割，

其中，f_x ²+f_y ²+f_z ²＝1，M(X,Y,Z)为在相机坐标下三维点云坐标值，f_xX+f_yY+f_zZ+f_d＝0；

步骤S22，通过下式计算点云在基准面上的投影点，保留落在初始ROI区域内的分割点云，采用欧拉聚类方法提取分割点云中最大的点云目标，并将距离图像中心点云最远的目标点标记为触发线位置，

$\stackrel{\‾}{M}(\stackrel{\‾}{X},\stackrel{\‾}{Y},\stackrel{\‾}{Z})=M(X,Y,Z)-h(X,Y,Z)*(f_x,f_y,f_z);$

步骤S23，采用触发线位置重新修正ROI区域，记为修正ROI区域。

进一步，在所述步骤S3中，采用基于触发线的目标点云的自动扫描分割定位方法进行体积测量：

步骤31，当所述红外触发器触发采集到待测物体的点云数据图像后，以触发线位置作为起始扫描线，用步骤S2中的基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法通过逐列行向扫描分割，并由于分割后的目标点云具有结构连续性，当扫描到无分割目标的列时终止分割扫描，完成对待测物体的初步分割；

步骤S32，对分割的点云再用步骤S2中聚类方法提取目标点云，实现对待测目标点云的精准定位分割。

进一步，在所述步骤S4中，采用基于点云表面重建的投影积分体积测量方法与最小外接立方体长宽高计算法方法，对待测物体点云进行体积测量：

步骤S41，对分割后的待测物体的目标点云，依据阵面点云的有序性，将目标点云进行Delaunay三角剖分，将每个三角剖分点后的三个点与其在基准面上对应的投影点组成五面体；

步骤S42，该计算该五面体的体积，最后将所有五面体体积进行累加，计算目标点云所包裹的物体真实体积。

进一步，所述步骤S42，包括如下步骤：

首先将目标点云到检测平台基准面的最大统计距离记为最小外接立方体的高度，再将目标点云在基准面上的投影点标记为目标投影点集，依据基准面平面参数构建能够将基准面法向量变换至与Z轴平行的旋转变换矩阵

通过该变换矩阵对投影点集进行旋转变换，截取变换后点集的XY坐标值，构建一个二维点集，对该二维点集使用旋转卡壳算法，计算最小外接矩形框，所得的矩形框的长宽即为最小外接立方体的长宽。

根据本发明实施例的基于3D相机的动态物体定位与体积测量方法，采用3D相机对待测物体进行拍摄采集，并分析得到待测物体的目标点云数据，实现在流水线环境下对待测的规则或非规则物体进行实时精准的定位及体积计算。由于3D相机的应用越来越广泛，且能够产生面阵深度数据，具有较好的精准度，因此本发明利用3D相机进行图像采集，基于较好的深度点云数据能够得到毫米级的测量精度，具有较高性价比，便于封装集成，适用于流水线等环境的动态物体体积测量。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于3D相机的动态物体定位与体积测量方法的流程图；

图2为根据本发明实施例的基于3D相机的动态物体定位与体积测量方法的示意图；

图3为根据本发明实施例的五面体的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的基于3D相机的动态物体定位与体积测量方法，包括如下步骤：

步骤S1，基于检测平台方位布置安装3D相机，由安装于检测平台平面的红外触发器控制3D相机对待测物体进行抓拍采集。

具体地，将3D相机垂直俯视架设于检测平台的平面上方，其中，3D相机的像平面中心正对待测平台中心，且相机图像行向方向与检测平台的待检测物体运动方向平行。

步骤S2，初始配置：自动确定红外触发器在检测平台基准面上的位置。

在本步骤中，采用基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法进行初始配置：包括：

步骤S21，分析由触发器触发抓拍到的深度点云数据，计数点云到基准面的垂直位移即为h(X,Y,Z)＝f_xX+f_yY+f_zZ+f_d，得到位于基准面上方的点云，完成初步平面分割。

其中，f_x ²+f_y ²+f_z ²＝1，M(X,Y,Z)为在相机坐标下三维点云坐标值，f_xX+f_yY+f_zZ+f_d＝0。

具体地，首先需要确定检测平台在3D相机坐标系下的平面参数，并将其作为检测基准面。为了获取平面参数，需要采集一帧能暴露全部检测平台平面的深度点云图像，再选取检测平台平面上三个不共线的三维点来确定平面参数。为了自动计算且保证计算结果的鲁棒性使用随机采样一致性算法来进行计算三维平面方程。

其中，f_x,f_y,f_z,f_d为三维平面方程的参数，f_x ²+f_y ²+f_z ²＝1，M(X,Y,Z)为在相机坐标下三维点云坐标值，

f_xX+f_yY+f_zZ+f_d＝0

在计算得到平面参数方程后，根据检测平台平面的三维点云就能够获得检测平台平面区域，将其记为初始ROI(Region of interest)区域。

步骤S22，通过下式计算点云在基准面上的投影点，保留落在初始ROI区域内的分割点云，采用欧拉聚类方法提取分割点云中最大的点云目标，并将距离图像中心点云最远的目标点标记为触发线位置。

在本步骤中，为了精准获取触发器在检测平台平面上的位置，在确保检测平台上只有一个测试物体的条件下，分析由触发器触发抓拍到的深度点云数据，计数点云到基准面的垂直位移即为h(X,Y,Z)＝f_xX+f_yY+f_zZ+f_d，得到位于基准面上方的点云，即完成初步平面分割。

然后通过下式计算点云在基准面上的投影点，保留落在初始ROI区域内的分割点云，其中，

$\stackrel{\‾}{M}(\stackrel{\‾}{X},\stackrel{\‾}{Y},\stackrel{\‾}{Z})=M(X,Y,Z)-h(X,Y,Z)*(f_x,f_y,f_z).$

然后，采用欧拉聚类方法提取分割点云中最大的点云目标，并将距离图像中心点云最远的目标点标记为触发线位置。

步骤S23，采用触发线位置重新修正ROI区域，记为修正ROI区域。

步骤S3，物体定位：根据红外触发器位置扫描定位分割提取待测物体点云。

在本步骤中，在步骤S3中，采用基于触发线的目标点云的自动扫描分割定位方法进行体积测量：

步骤31，当红外触发器触发采集到待测物体的点云数据图像后，以触发线位置作为起始扫描线，用步骤S2中的基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法通过逐列行向扫描分割，并由于分割后的目标点云具有结构连续性，当扫描到无分割目标的列时终止分割扫描，完成对待测物体的初步分割；

如图2所示，由于流水线场景下待测物体大小各异，很难用先验的位置或距离阈值对待测物体进行准确定位。本发明基于点云采集设备的面阵结构特点，当触发器触发采集到点云数据图像后，以触发线位置作为起始扫描线，用1中所述方法通过逐列行向扫描分割，并由于分割后的目标点云具有结构连续性，当扫描到无分割目标的列时，既可终止分割扫描，完成对待测物体的初步分割，

步骤S32，对分割的点云再用步骤S2中聚类方法提取目标点云，实现对待测目标点云的精准定位分割。

步骤S4，体积测量：结合步骤S2中的检测平台基准面对步骤S3中的待测物体点云进行体积测量。

在本步骤中，在步骤S4中，采用基于点云表面重建的投影积分体积测量方法与最小外接立方体长宽高计算法方法，对待测物体点云进行体积测量，包括：

步骤S41，对分割后的待测物体的目标点云，依据阵面点云的有序性，将目标点云进行Delaunay三角剖分，将每个三角剖分点后的三个点与其在基准面上对应的投影点组成五面体。

如图3所示，每个三角剖分点后的三个点A(X_A,Y_A,Z_A)、B(X_B,Y_B,Z_B)和C(X_C,Y_C,Z_C)与其在基准面上对应的投影点和组成五面体。

步骤S42，该计算该五面体的体积，最后将所有五面体体积进行累加，计算目标点云所包裹的物体真实体积。

具体地，该五面体由三个四面体组成，根据下式计算四面体体积，再由计算该五面体的体积，最后将所有五面体体积进行累加，就是目标点云所包裹的物体真实体积。

下面对计算体积的具体过程进行说明：

具体地，首先将目标点云到检测平台基准面的最大统计距离记为最小外接立方体的高度，再将目标点云在基准面上的投影点标记为目标投影点集，依据基准面平面参数构建能够将基准面法向量变换至与Z轴平行的旋转变换矩阵。

然后，通过该变换矩阵对投影点集进行旋转变换，截取变换后点集的XY坐标值，构建一个二维点集，对该二维点集使用旋转卡壳算法，计算最小外接矩形框，所得的矩形框的长宽即为最小外接立方体的长宽。

根据本发明实施例的基于3D相机的动态物体定位与体积测量方法，采用3D相机对待测物体进行拍摄采集，并分析得到待测物体的目标点云数据，实现在流水线环境下对待测的规则或非规则物体进行实时精准的定位及体积计算。由于3D相机的应用越来越广泛，且能够产生面阵深度数据，具有较好的精准度，因此本发明利用3D相机进行图像采集，基于较好的深度点云数据能够得到毫米级的测量精度，具有较高性价比，便于封装集成，适用于流水线等环境的动态物体体积测量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种基于3D相机的动态物体定位与体积测量方法，其特征在于，包括如下步骤：

步骤S1，基于检测平台方位布置安装3D相机，由安装于检测平台平面的红外触发器控制所述3D相机对待测物体进行抓拍采集；

步骤S2，初始配置：自动确定所述红外触发器在检测平台基准面上的位置；

步骤S3，物体定位：根据所述红外触发器位置扫描定位分割提取待测物体点云；

步骤S4，体积测量：结合步骤S2中的检测平台基准面对所述步骤S3中的待测物体点云进行体积测量。

2.如权利要求1所述的基于3D相机的动态物体定位与体积测量方法，其特征在于，在所述步骤S1中，将所述3D相机垂直俯视架设于检测平台的平面上方，其中，所述3D相机的像平面中心正对所述待测平台中心，且相机图像行向方向与检测平台的待检测物体运动方向平行。

3.如权利要求1所述的基于3D相机的动态物体定位与体积测量方法，其特征在于，在所述步骤S2中，采用基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法进行初始配置：

步骤S21，分析由触发器触发抓拍到的深度点云数据，计数点云到基准面的垂直位移即为h(X,Y,Z)＝f_xX+f_yY+f_zZ+f_d，得到位于基准面上方的点云，完成初步平面分割，

其中，f_x ²+f_y ²+f_z ²＝1，M(X,Y,Z)为在相机坐标下三维点云坐标值，f_xX+f_yY+f_zZ+f_d＝0；

步骤S22，通过下式计算点云在基准面上的投影点，保留落在初始ROI区域内的分割点云，采用欧拉聚类方法提取分割点云中最大的点云目标，并将距离图像中心点云最远的目标点标记为触发线位置，

$\stackrel{\‾}{M}(\stackrel{\‾}{X},\stackrel{\‾}{Y},\stackrel{\‾}{Z})=M(X,Y,Z)-h(X,Y,Z)*(f_x,f_y,f_z);$

步骤S23，采用触发线位置重新修正ROI区域，记为修正ROI区域。

4.如权利要求1所述的基于3D相机的动态物体定位与体积测量方法，其特征在于，在所述步骤S3中，采用基于触发线的目标点云的自动扫描分割定位方法进行体积测量：

步骤31，当所述红外触发器触发采集到待测物体的点云数据图像后，以触发线位置作为起始扫描线，用步骤S2中的基于平面聚类的平台平面检测与基于测试物品分割的触发线精确定位方法通过逐列行向扫描分割，并由于分割后的目标点云具有结构连续性，当扫描到无分割目标的列时终止分割扫描，完成对待测物体的初步分割；

步骤S32，对分割的点云再用步骤S2中聚类方法提取目标点云，实现对待测目标点云的精准定位分割。

5.如权利要求1所述的基于3D相机的动态物体定位与体积测量方法，其特征在于，在所述步骤S4中，采用基于点云表面重建的投影积分体积测量方法与最小外接立方体长宽高计算法方法，对待测物体点云进行体积测量：

步骤S41，对分割后的待测物体的目标点云，依据阵面点云的有序性，将目标点云进行Delaunay三角剖分，将每个三角剖分点后的三个点与其在基准面上对应的投影点组成五面体；

步骤S42，该计算该五面体的体积，最后将所有五面体体积进行累加，计算目标点云所包裹的物体真实体积。

6.如权利要求5所述的基于3D相机的动态物体定位与体积测量方法，其特征在于，所述步骤S42，包括如下步骤：

首先将目标点云到检测平台基准面的最大统计距离记为最小外接立方体的高度，再将目标点云在基准面上的投影点标记为目标投影点集，依据基准面平面参数构建能够将基准面法向量变换至与Z轴平行的旋转变换矩阵

通过该变换矩阵对投影点集进行旋转变换，截取变换后点集的XY坐标值，构建一个二维点集，对该二维点集使用旋转卡壳算法，计算最小外接矩形框，所得的矩形框的长宽即为最小外接立方体的长宽。