CN107067431B

CN107067431B - 一种基于Kinect的物体体积计算方法

Info

Publication number: CN107067431B
Application number: CN201710027717.9A
Authority: CN
Inventors: 刘波; 李凌; 陈荔; 庄兴昌; 李奎; 周军; 廖华丽; 王婷婷; 谢小敏; 杨跟
Original assignee: Changzhou Campus of Hohai University
Current assignee: Changzhou Campus of Hohai University
Priority date: 2017-01-16
Filing date: 2017-01-16
Publication date: 2020-07-03
Anticipated expiration: 2037-01-16
Also published as: CN107067431A

Abstract

本发明公开了一种基于Kinect的物体体积计算方法，包括：（1）利用Kinect采集深度图像和彩色图像；（2）对Kinect的彩色摄像头进行标定；（3）设置深度图像的ROI区域，利用采集的包含被测物的前景彩色图像和不包含被测物体的测量台的背景彩色图像进行图像分割，得到被测物体的二值图像；（4）将背景深度图像ROI区域转换为背景距离矩阵，并对其进行预处理，填充背景距离矩阵中为零的元素，将前景深度图像ROI区域转换为前景距离矩阵；（5）根据前、背景距离矩阵减差得到高度矩阵；（6）计算物体长宽高尺寸和物体体积。本发明有效解决了传统人工测量劳动强度大、测量时间长的问题，是一种非接触的测量手段，不伤及测量目标，可满足自动化的要求同时提高测量精度。

Description

一种基于Kinect的物体体积计算方法

技术领域

本发明涉及一种基于Kinect的物体体积计算方法，属于计算机视觉领域。

背景技术

随着数字信号处理和计算机技术的发展，将摄像机获取外界环境图像并转换为数字信号，用计算机实现对视觉信息的处理全过程而形成的新技术称为计算机视觉。将计算机视觉应用于空间几何尺寸的精确测量和定位，从而产生视觉测量技术。视觉测量作为当今高新技术之一，在图像处理和计算机技术不断成熟和完善的基础上得到迅猛发展，在产品检测、逆向工程、机器人导航等领域都得到了广泛应用。计算机视觉测量技术以图像传感器为手段检测空间物体的空间三维坐标，进而检测物体的尺寸、形状和运动状态等。

微软公司推出的Kinect体感交互设备拥有一个RGB摄像头、一个红外发射器和一个红外摄像头，能够同时捕捉场景的彩色图像与深度图像，在3D重建、动作捕获、虚拟现实、增强现实等方面都得到了很好的应用，但是还很少被应用于视觉测量技术领域。Kinect相对于其他深度提取设备，价格便宜，操作方便。

目前在物流行业，分布在各地的快递点众多。计费的主要依据是货物的重量和体积。在实际应用中，大多还是靠传统的基于人工手动接触性测量。国外Cubiscan系列测量设备价格高，不利于推广到各个分散物流点。国内的箱体尺寸测量光幕只能测量规则物体，无法满足快速、多样化的要求。

发明内容

目的：针对现有技术的不足，本发明提供一种基于Kinect的物体体积计算方法，通过一种非接触性的测量手段，不伤及测量目标，不干扰被测物自然状态，可在自动化的条件下应用且拆卸方便，方便安装，解决了传统测量方法测量时间长、成本高的问题。

本发明的技术方案如下：

一种基于Kinect的物体体积计算方法，具体步骤包括：

(1)利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量台的背景深度图像和背景彩色图像；

(2)对Kinect的彩色摄像头进行棋盘标定，通过图像坐标系和世界坐标系间的关系，计算Kinect彩色摄像头的内部参数与外部参数，

(3)将步骤(1)中采集的前景彩色图像减去采集的背景彩色图像得到减差后的区域，对减差后的区域进行图像分割，获得被测物体的二值图像,根据测量台的实际区域设置前景ROI区域和背景深度图像的ROI区域；

(4)对步骤(3)中获得的背景ROI区域进行图像预处理，填充ROI区域的空洞，所述图像预处理包括均值滤波，用空洞像素四邻域值的平均值填充，反复迭代直到所有的空洞像素均被填充完毕；

(5)将前景深度图像和背景深度图像进行减差取绝对值后得到被测物体高度矩阵，并对所述被测物体高度矩阵进行滤波预处理，所述滤波预处理包括设置高度值上限和高度值下限，上下限之外的数值被滤为0；

(6)根据步骤(5)经处理后的被测物体高度矩阵计算被测物体高度值，根据逆投影变换的原理，利用步骤(2)所述Kinect彩色摄像头的内部参数和外部参数，计算被测物体对应的世界坐标矩阵，利用寻找世界坐标矩阵的最小外接矩形的方法计算被测物体的长和宽；

(7)根据步骤(6)所述的世界坐标矩阵和被测物体高度矩阵利用积分的方法计算被测物体体积。

优选地，所述步骤(1)中待测物体放置在测量平台上，由安装在测量平台上方的Kinect进行图像采集。

优选地，步骤(2)所述对Kinect摄像机进行棋盘标定，确定图像坐标系和世界坐标系的关系，计算Kinect彩色摄像头的内部参数和外部参数，通用摄像机模型如式(I)所示：

式(I)中，K与摄像机内部结构有关，为摄像机内部参数；R，t与摄像机相对于世界坐标系的方位有关，为摄像机的外部参数，且R为旋转矩阵，t为平移矩阵，[x y]为场景图像像素点的坐标，[X Y Z]为[x y]在世界坐标系中的坐标。

优选地，步骤(6)所述物体长宽高尺寸计算方法如下:

(4a)世界坐标的计算方法：根据步骤(2)的棋盘标定数据，利用已知参数Z由通用摄像机模型式(I)反求出整个图像坐标系上各点(x,y)对应的世界坐标系坐标(X，Y)，并将计算结果保存到数据表Xcoord_in_World和Ycoord_in_World中,从而根据步骤(3)中的被测物体的二值图像以及步骤(5)中的物体高度矩阵通过查表的方式获得对应的被测物体的世界坐标；其中，已知参数Z为步骤(5)中获得的被测物体高度矩阵中的元素值height，其计算公式如(II)所示：

height＝D_ground-D_object (II)

其中，D_ground为背景深度图像中的元素值,代表Kinect到测量平台上各点的距离，D_object为前景深度图像中的元素值,代表Kinect到包含被测物体的各点的距离；

(4b)物体长和宽的计算：指定世界坐标矩阵最大范围,新建世界坐标矩阵(XcoordRange,YcoordRange)并初始化世界坐标矩阵的元素值为零；遍历被测物体的二值图像，若二值图像的像素值为1，则根据步骤(4a)查表Xcoord_in_World和Ycoord_in_World获取对应世界坐标X和Y；并将世界坐标矩阵对应元素值置为1；对计算得到的世界坐标矩阵进行滤波优化，求滤波优化后的世界坐标矩阵最小外接矩形，设最小外接矩形的四个顶点坐标为(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)，则被测物体的长度为

被测物体的宽度为

优选地，步骤(7)所述物体体积如下:

(7a)初始化体积volume为零,遍历被测物体二值图像，如果被测物体二值图像的像素值为1，以该像素点相邻的四个像素点为单元映射到世界坐标矩阵TheWorld；

(7b)计算这四个像素点映射到世界坐标矩阵的长L和宽W，即两个相邻像素点的距离对应的现实空间真实距离，求单元面积L×W；

(7c)将单元面积乘以像素点对应的被测物体高度矩阵中的高度值，逐个累加得到被测物体积。计算公式如(III)所示：

volume＝volume+L×W×height (III)

优选地，步骤(5)中所述的滤波预处理指设置被测物体高度矩阵的高度值上限和高度值下限，上下限之外的数值被滤为0。

优选地，步骤(4b)中所述滤波优化的方法为将世界坐标矩阵缩小到1/4尺寸，利用形态学开运算去除零散噪点后再将图像放大4倍，得到优化后的世界坐标矩阵。

本发明的有益效果：本发明提供一种基于Kinect的物体体积计算方法，有效解决了传统人工测量劳动强度大、测量时间长的问题。具有良好的稳定性和可靠性，是一种非接触的测量手段，不伤及测量目标，可满足自动化的要求同时提高测量精度。

附图说明

图1是本发明测量装置的示意图。

图2是本发明由图像坐标映射到世界坐标的示意图。

图3是本发明计算物体长宽的算法流程图。

图4是本发明计算物体体积算法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

如图1-4所示，一种基于Kinect的物体体积计算方法，具体步骤包括：

(2)对Kinect的彩色摄像头进行棋盘标定，通过图像坐标系和世界坐标系间的关系，计算Kinect彩色摄像头的内部参数与外部参数，；

(3)将步骤(1)中采集的前景彩色图像减去采集的背景彩色图像得到减差后的区域，对减差后的区域进行图像分割，获得被测物体的二值图像,根据测量台的实际区域设置前景ROI区域和背景ROI区域；

(5)将前景深度图像和背景深度图像进行减差取绝对值后得到被测物体高度矩阵，并对所述被测物体高度矩阵进行滤波预处理；

(7)根据步骤(6)所述的世界坐标矩阵和步骤(5)所述的被测物体高度矩阵利用积分的方法计算被测物体体积。

优选地，步骤(2)所述对Kinect摄像机进行棋盘标定，确定图像坐标系和世界坐标系的关系，计算摄像机的内部参数和外部参数，通用摄像机模型如式(I)所示：

式(I)中，K与摄像机内部结构有关，称为摄像机内部参数；R，t与摄像机相对于世界坐标系的方位有关，称为摄像机的外部参数，且R为旋转矩阵，t为平移矩阵，[x y]为场景图像像素点的坐标，[X Y Z]为[x y]在世界坐标系中的坐标。

优选地，步骤(6)所述物体长、宽、高尺寸计算如下:

(4a)世界坐标的计算方法：根据步骤(2)的棋盘标定数据，利用已知参数Z由通用摄像机模型式(I)反求出整个图像坐标系上各点(x,y)对应的世界坐标系坐标(X，Y)，并将计算结果保存到数据表Xcoord_in_World和Ycoord_in_World中,从而根据步骤(3)中的被测物体的二值图像以及步骤(5)中的物体高度矩阵通过查表的方式获得对应的被测物体的世界坐标；其中，已知参数Z为步骤(5)中获得的被测物体高度矩阵中的元素值height，其计算公式为如(II)所示：

height＝D_ground-D_object (II)

被测物体的宽度为

优选地，步骤(7)所述物体体积计算如下：

(5a)初始化体积volume为零,遍历被测物体二值图像，如果二值图像像素值为1，以该像素点相邻的四个像素点为单元映射到世界坐标矩阵；

(5b)计算这四个像素点映射到世界坐标矩阵的长L和宽W，即两个相邻像素点的距离对应的现实空间真实距离，求单元面积L×W；

(5c)将单元面积乘以像素点对应的被测物体高度矩阵中的高度值，逐个累加得到被测物体积，其计算公式如(III)所示：

volume＝volume+L×W×height (III)

实施例1：

(1a)利用Kinect采集包含被测物体的前景深度图像和前景彩色图像以及不包含被测物体的测量台的背景深度图像和背景彩色图像；

(1b)对Kinect的彩色摄像头进行棋盘标定，通过图像坐标系和世界坐标系间的关系，计算摄像机的内部参数与外部参数，通用摄像机模型可表示为如式(I)所示：

式(I)中，K只与摄像机内部结构有关，称为摄像机内部参数；R，t只与摄像机相对于世界坐标系的方位有关，称为摄像机的外部参数，R为旋转矩阵，t为平移矩阵，[x y]为图像像素点的坐标，[X Y Z]为[x y]在世界坐标系中的坐标；本发明中彩色摄像头的内部参数和外部参数是根据棋盘标定计算出来的，标定的方法采用张正友标定方法，R，t称为摄像机的外部参数，根据MATLAB里的标定工具箱计算出来的，属于常规技术手段。

(1c)将步骤(1a)中采集的前景彩色图像减去采集的背景彩色图像得到减差后的区域，对减差后的区域进行图像分割，获得被测物体的二值图像,根据测量台的实际区域设置前景ROI区域和背景ROI区域；

(1d)对步骤(1c)中获得的背景ROI区域进行图像预处理，填充背景ROI区域的空洞，所述图像预处理包括均值滤波，用空洞像素四邻域值的平均值填充，反复迭代直到所有的空洞像素均被填充完毕；

(1e)将前景深度图像和背景深度图像进行减差取绝对值后得到被测物体高度矩阵，并对所述被测物体高度矩阵进行滤波预处理，所述滤波预处理包括设置高度值上限和高度值下限，上下限之外的数值被滤为0；

(1f)根据步骤(1e)经处理后的被测物体高度矩阵计算被测物体高度值，根据逆投影变换的原理，利用步骤(1b)所述Kinect彩色摄像头的内部参数和外部参数计算被测物体对应的世界坐标矩阵，利用寻找世界坐标矩阵的最小外接矩形的方法计算被测物体长宽，计算得到物体高度矩阵后就可以将高度矩阵元素值作为世界坐标系的Z参数。

如图2所示，通过逆投影变换可以将一个像素点反过来映射回现实三维空间，但不能由图像像素的坐标求出对应的现实三维空间点的坐标，其本质原因是由于三维客观场景映射到像平面是多点对一点的变换。当已知产生图像像素点的三维空间点的一个世界坐标，即Z坐标已知，便可以通过摄像机模型式(I)求出另外两个世界坐标X、Y。因为R为3×3矩阵，t为1×3矩阵，K为3×3矩阵，所以

为4×3矩阵。

设

为4×3矩阵，

则计算后可得

其中，矩阵T和Z已知，则可以求出世界坐标X、Y。

如图3所示，计算物体长宽流程图，采用如下方式：指定世界坐标矩阵最大范围，即测量平台的实际有效区域(XcoordRange,YcoordRange)，新建世界坐标矩阵TheWorld(XcoordRange,YcoordRange)并初始化世界坐标矩阵的元素值为零；遍历被测物体的二值图像，若像素值为1，则获取对应世界坐标X和Y；并将世界坐标矩阵对应元素值置1即TheWorld(X,Y)＝1；计算得到的世界坐标矩阵TheWorld存在零散噪点，对长宽的计算影响较大。为了去除噪点对映射得到的世界坐标矩阵TheWorld进行滤波优化，将世界坐标矩阵缩小到1/4尺寸，利用形态学开运算去除零散噪点后再将图像放大4倍，求滤波优化后的世界坐标矩阵最小外接矩形，设最小外接矩形的四个顶点坐标为(X1，Y1)、(X2，Y2)、(X3，Y3)、(X4，Y4)，则长度为

作为被测物体的长，宽度为

作为被测物体的宽。

如图4所示，计算体积流程图，采用累加的方式，步骤如下：初始化体积volume为零,遍历被测物体二值图像，如果像素值为1，按照该像素点相邻的四个像素点为单元映射到世界坐标矩阵TheWorld；

计算这四个像素点映射到世界坐标矩阵TheWorld的长L和宽W，即两个相邻像素点的距离对应的现实空间真实距离，计算单元面积L×W，将单元面积乘以像素点对应的被测物体高度矩阵中的高度值，逐个累加得到被测物体积。计算公式如(II)所示：

volume＝volume+L×W×height (II)

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于Kinect的物体体积计算方法，其特征在于，具体步骤包括：

(2)对Kinect的彩色摄像头进行棋盘标定，通过图像坐标系和世界坐标系间的关系，计算Kinect彩色摄像头的内部参数与外部参数；

(4)对步骤(3)中获得的背景ROI区域进行图像预处理，填充背景ROI区域的空洞，所述图像预处理包括均值滤波，用空洞像素四邻域值的平均值填充，反复迭代直到所有的空洞像素均被填充完毕；

(6)根据步骤(5)经处理后的被测物体高度矩阵计算被测物体高度值，根据逆投影变换的原理，利用步骤(2)所述Kinect彩色摄像头的内部参数和外部参数，计算被测物体对应的世界坐标矩阵，利用寻找世界坐标矩阵的最小外接矩形的方法计算被测物体的长、宽、高；

(7)根据步骤(6)所述的世界坐标矩阵和步骤(5)所述的被测物体高度矩阵利用积分的方法计算被测物体体积；

步骤(7)所述物体体积计算如下：

(a)初始化体积volume为零,遍历被测物体二值图像，如果二值图像像素值为1，以该像素值为1的像素点相邻的四个像素点为单元映射到世界坐标矩阵；

(b)计算这四个像素点映射到世界坐标矩阵的长L和宽W，即两个相邻像素点的距离对应的现实空间真实距离，求单元面积L×W；

(c)将单元面积乘以该像素值为1的像素点对应的被测物体高度矩阵中的高度值，逐个累加得到被测物体积，其计算公式如(III)所示：

volume＝volume+L×W×height (III)。

2.根据权利要求1所述的一种基于Kinect的物体体积计算方法，其特征在于，所述步骤(1)中待测物体放置在测量平台上，由安装在测量平台上方的Kinect进行图像采集。

3.根据权利要求1所述的一种基于Kinect的物体体积计算方法，其特征在于，步骤(2)所述对Kinect摄像机进行棋盘标定，确定图像坐标系和世界坐标系的关系，计算摄像机的内部参数和外部参数，通用摄像机模型如式(I)所示：

4.根据权利要求3所述的一种基于Kinect的物体体积计算方法，其特征在于，步骤(6)所述物体长、宽、高尺寸计算如下:

height＝D_ground-D_object (II)

被测物体的宽度为

5.根据权利要求1所述的一种基于Kinect的物体体积计算方法，其特征在于，步骤(5)中所述的滤波预处理指设置被测物体高度矩阵的高度值上限和高度值下限，上下限之外的数值被滤为0。

6.根据权利要求4所述的一种基于Kinect的物体体积计算方法，其特征在于，步骤(4b)中所述滤波优化的方法为将世界坐标矩阵缩小到1/4尺寸，利用形态学开运算去除零散噪点后再将图像放大4倍，得到优化后的世界坐标矩阵。