CN106524917A

CN106524917A - 一种运输带上物体体积测量方法

Info

Publication number: CN106524917A
Application number: CN201611135891.7A
Authority: CN
Inventors: 李江昀; 刘刚
Original assignee: University of Science and Technology Beijing USTB
Current assignee: University of Science and Technology Beijing USTB
Priority date: 2016-12-09
Filing date: 2016-12-09
Publication date: 2017-03-22
Anticipated expiration: 2036-12-09
Also published as: CN106524917B

Abstract

本发明提供一种运输带上物体体积测量方法，能够快速、自动地确定运输带上物体的体积。所述方法包括：利用单目摄像机，采集不带有光条纹的图像和带有光条纹的图像；根据采集的不带有光条纹的图像和带有光条纹的图像，确定相机内参矩阵和光条纹中心的像素坐标集；基于确定的光条纹中心的像素坐标集，确定光平面方程；根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标和物体表面点的三维坐标；根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积。本发明适用于测量技术领域。

Description

一种运输带上物体体积测量方法

技术领域

本发明涉及测量技术领域，特别是指一种运输带上物体体积测量方法。

背景技术

带式输送机(也可以称为：传送带)是煤炭、建筑、冶金、电力等行业广泛使用的一种连续运输机械。为了统计进入原料、输出产品总量，迅速准确的得到结果，测量传送带传送物体体积成为解决方案之一。传统的测量方法大多基于人工、离线的方式进行，工人劳动强度大、效率低，而且实时性差，不能及时、有效地对生产线进行监测。为了适应现代化工业的生产，必须研究高效、自动、实时的测量技术及***。

现有的测量方法，例如，毛佳红在光学技术上发表的文章“基于线结构光的双目三维体积测量***”中公开了利用双目视觉对物体进行体积测量的方法，具体方法为，采用结构光的方式，在双目视觉***中获取物体表面三维点坐标，从而积分计算体积，该方法运算量大，成本高。

发明内容

本发明要解决的技术问题是提供一种运输带上物体体积测量方法，以解决现有技术所存在的运算量大，成本高的问题。

为解决上述技术问题，本发明实施例提供一种运输带上物体体积测量方法，包括：

利用单目摄像机，采集不带有光条纹的图像和带有光条纹的图像；

根据采集的不带有光条纹的图像和带有光条纹的图像，确定相机内参矩阵和光条纹中心的像素坐标集；

基于确定的光条纹中心的像素坐标集，确定光平面方程；

根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标和物体表面点的三维坐标；

根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积。

进一步地，所述光条纹为线式结构光。

进一步地，所述采集不带有光条纹的图像和带有光条纹的图像包括：

S1，采用靶标；

S2，开启激光器，采集带有光条纹的图像，关闭激光器，采集不带有光条纹的图像，得到一个不带有光条纹的和带有光条纹的图像对；

S3，移动所述靶标，重复执行S2，直至采集预定数目的图像对。

进一步地，所述根据采集的不带有光条纹的图像和带有光条纹的图像，确定光条纹中心的像素坐标集包括：

根据采集的不带有光条纹的图像，确定相机内参矩阵；

每一个图像对中，对采集的不带有光条纹的图像和带有光条纹的图像做差值运算，得到差值图像；

对得到的差值图像进行畸变校正；

根据校正后的差值图像，提取光条纹中心，得到光条纹中心的像素坐标集。

进一步地，所述方法还包括：

根据采集的不带有光条纹的图像，确定相机外参，所述外参包括：世界坐标系到相机坐标系下的旋转矩阵、平移向量及单应性矩阵；

所述基于确定的光条纹中心的像素坐标集，确定光平面方程包括：

根据确定的光条纹中心的像素坐标集，结合预定的单应性矩阵、像素坐标与世界坐标之间的关系，得到光条纹中心在世界坐标系下的坐标集；

根据确定的旋转矩阵、平移向量，将光条纹中心在世界坐标系下的坐标集转换到相机坐标系下，得到光条纹中心在相机坐标系下的坐标集；

对得到的光条纹中心在相机坐标系下的坐标集进行拟合，得到光平面方程。

进一步地，所述根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标包括：

在运输带上放置物体之前，利用单目摄像机，采集带有光条纹的运输带表面图像；

根据采集的带有光条纹的运输带表面图像，确定运输带表面的光条纹中心的像素坐标；

根据确定的运输带表面的光条纹中心的像素坐标，通过内参矩阵方程和确定的光平面方程，得到运输带表面点在相机坐标系下的三维坐标。

进一步地，所述内参矩阵方程表示为：

所述光平面方程表示为：

x_c-63.6195y_c+2.6409z_c-3218.2103＝0

其中，M表示内参矩阵，x_i、y_i表示像素坐标系下的二维坐标，x_c、y_c、z_c表示像素坐标系下的二维坐标对应点在相机坐标系下的三维坐标。

进一步地，所述根据确定的内参矩阵和确定的光平面方程，确定物体表面点的三维坐标包括：

运输带上放置物体后，在运输带运输过程中，利用单目摄像机，实时采集带有光条纹图像；

根据实时采集的带有光条纹图像，确定所述实时采集的带有光条纹图像的光条纹中心的像素坐标；

根据确定的所述实时采集的带有光条纹图像的光条纹中心的像素坐标，通过内参矩阵方程和确定的光平面方程，得到运输带表面点对应的物体表面点在相机坐标系下的三维坐标。

进一步地，所述根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积包括：

根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，计算物体表面点到运输带对应表面点的距离，对所述距离进行横向积分得到截面积；

利用运输带运动速度，对所述截面积进行积分，得到物体体积。

进一步地，所述截面积表示为：

所述物体体积表示为：

其中，S_j表示第j帧图像的截面积，x_g0、y_g0、z_g0表示运输带表面光条纹起始点在相机坐标系下的三维坐标，x_gn、y_gn、z_gn表示运输带表面光条纹终点在相机坐标系下的三维坐标，x_ti,y_ti,z_ti表示第i运输带表面点在相机坐标系下的三维坐标，x_gi,y_gi,z_gi表示第i运输带表面点对应的物体表面点在相机坐标系下的三维坐标，n表示光条纹中心点的个数，V表示物体的体积，v表示运输带运动速度，p表示图像帧数，t表示运行时间。

本发明的上述技术方案的有益效果如下：

上述方案中，通过单目摄像机采集不带有光条纹的图像和带有光条纹的图像；根据采集的不带有光条纹的图像和带有光条纹的图像，确定相机内参矩阵和光条纹中心的像素坐标集；基于确定的光条纹中心的像素坐标集，确定光平面方程；根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标和物体表面点的三维坐标；根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，能够实时确定物体的体积，且利用单目摄像机采集图像，能够减小运算量，从而能够快速、自动地确定运输带上物体的体积，且能够降低***成本。

附图说明

图1为本发明实施例提供的运输带上物体体积测量方法的流程示意图；

图2(a)为本发明实施例提供的不带有光条纹的图像示意图；

图2(b)为本发明实施例提供的带有光条纹的图像示意图；

图3为本发明实施例提供的视觉***示意图；

图4为本发明实施例提供的运输带表面的带有光条纹的图像；

图5为本发明实施例提供的运输带上放置物体后，得到的带有光条纹的图像。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的运算量大，成本高的问题，提供一种运输带上物体体积测量方法。

参看图1所示，本发明实施例提供的运输带上物体体积测量方法，包括：

S101，利用单目摄像机，采集不带有光条纹的图像和带有光条纹的图像；

S102，根据采集的不带有光条纹的图像和带有光条纹的图像，确定相机内参矩阵和光条纹中心的像素坐标集；

S103，基于确定的光条纹中心的像素坐标集，确定光平面方程；

S104，根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标和物体表面点的三维坐标；

S105，根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积。

本发明实施例所述的运输带上物体体积测量方法，通过单目摄像机采集不带有光条纹的图像和带有光条纹的图像；根据采集的不带有光条纹的图像和带有光条纹的图像，确定相机内参矩阵和光条纹中心的像素坐标集；基于确定的光条纹中心的像素坐标集，确定光平面方程；根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标和物体表面点的三维坐标；根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，能够实时确定物体的体积，且利用单目摄像机采集图像，能够减小运算量，从而能够快速、自动地确定运输带上物体的体积，且能够降低***成本。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述光条纹为线式结构光。

本实施例中，由于线式结构光抗干扰性好，作为一可选实施例，所述光条纹为线式结构光，使得本实施例提供的运输带上物体体积测量方法能够适用于复杂的工业现场。

本实施例中，所述采集不带有光条纹的图像和带有光条纹的图像包括：

S1，采用靶标，例如，所述靶标可以是二维平面靶标；

S2，开启激光器，采集带有光条纹的图像，此时不移动所述靶标，关闭激光器，采集不带有光条纹的图像，得到一个不带有光条纹的和带有光条纹的图像对；

本实施例中，例如，预定数目为10，则需采集10个图像对，如图2所示，图2(a)为不带有光条纹的图像，2(b)为带有光条纹的图像，对应图像的位置相同。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述根据采集的不带有光条纹的图像和带有光条纹的图像，确定光条纹中心的像素坐标集包括：

根据采集的不带有光条纹的图像，确定相机内参矩阵；

对得到的差值图像进行畸变校正；

本实施例中，如图3所示，建立视觉***，所述视觉***包括：世界坐标系O_w-X_wY_wZ_w、像素坐标系U-V、相机坐标系O_c-X_cY_cZ_c以及图像坐标系X_i-Y_i。

本实施例中，根据采集的不带有光条纹的图像，标定摄像机内参矩阵M、畸变参数K，并得到靶标每个位置的外参，即建立靶标坐标系；其中，内参矩阵M为：

畸变参数K为K＝[-0.00858 0 0 0]。

本实施例中，将该靶标坐标系视为世界坐标系，靶标棋盘格的大小为25mm×25mm，棋盘格交点的坐标已知；据此求世界坐标系到相机坐标系下的相机外参，其中，所述相机外参包括：旋转矩阵R、平移向量T以及对应的单应性矩阵H。

本实施例中，在每一个图像对中，对采集的不带有光条纹的图像和带有光条纹的图像做差值运算，得到差值图像；对得到的差值图像进行畸变校正；根据校正后的差值图像，提取光条纹中心，得到光条纹中心的像素坐标集，具体的，可以利用Hessian矩阵和最大连通域结合的方法提取光条纹中心，得到光条纹中心的像素坐标集I。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述基于确定的光条纹中心的像素坐标集，确定光平面方程包括：

本实施例中，预定的单应性矩阵、像素坐标与世界坐标之间的关系为：

sI＝HP

其中，s表示尺度因子。

本实施例中，将光条纹中心的像素坐标集I代入sI＝HP，计算得到光条纹中心在世界坐标系下的坐标集P；利用旋转矩阵R、平移向量T，将P转换到相机坐标系下，即P_c＝[R T]P，其中，P_c为光条纹中心在相机坐标系下的坐标，用该方法循环10个图片对之后，得到光条纹中心在相机坐标系下的坐标集，用最小二乘方法拟合出光平面在相机坐标系下的方程，所述光平面在相机坐标系下的方程在本文中也可以简称为：光平面方程，所述光平面方程表示为：

x-63.6195y+2.6409z-3218.2103＝0

其中，x、y、z相机坐标系下的三维坐标。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标包括：

本实施例中，在运输带上放置物体之前，利用单目摄像机，采集一次带有光条纹的运输带表面图像，如图4所示，对采集的带有光条纹的运输带表面图像进行畸变校正，接着，利用阈值法和Canny算子计算光条纹边沿，用中心法得到运输带表面的光条纹中心的像素坐标，通过内参矩阵方程和确定的光平面方程，得到运输带表面点在相机坐标系下的三维坐标T_i(x_ti,y_ti,z_ti)(i＝0～n)，其中，n为光条纹中心点的个数，也表示：物体横截面离散化的长方形个数，其中，所述内参矩阵方程表示为：

所述光平面方程表示为：

x_c-63.6195y_c+2.6409z_c-3218.2103＝0

其中，M表示内参矩阵，x_i、y_i像素坐标系下的二维坐标，x_i、y_i的下标i不是变量，是指在像素坐标系下的二维坐标，x_c、y_c、z_c表示像素坐标系下的二维坐标对应点在相机坐标系下的三维坐标。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述根据确定的内参矩阵和确定的光平面方程，确定物体表面点的三维坐标包括：

本实施例中，运输带上放置测量物体后，在运输带运输过程中，利用单目摄像机，实时采集带有光条纹的图像，如图5所示，得到物体表面光条纹点集，根据实时采集的带有光条纹图像，确定所述实时采集的带有光条纹图像的光条纹中心的像素坐标；根据确定的所述实时采集的带有光条纹图像的光条纹中心的像素坐标，通过内参矩阵方程和确定的光平面方程，得到运输带表面点顺序对应的物体表面点在相机坐标系下的三维坐标G_i(x_gi,y_gi,z_gi)(i＝0～n)。

在前述运输带上物体体积测量方法的具体实施方式中，进一步地，所述根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积包括：

本实施例中，根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，用距离公式计算物体表面点到运输带对应表面点的距离，得到运输带表面第一个点到最后一个点的距离，对得到的距离进行横向积分得到截面积；在运输带运动过程中，视觉***固定，利用运输带运动速度，对所述截面积进行积分，能够快速、自动地确定运输带上连续物体的体积。

本实施例中，所述距离公式/第j帧图像的截面积表示为：

所述物体体积表示为：

其中，S_j表示第j帧图像的截面积，x_g0、y_g0、z_g0表示运输带表面光条纹起始点在相机坐标系下的三维坐标，x_gn、y_gn、z_gn表示运输带表面光条纹终点在相机坐标系下的三维坐标，x_ti,y_ti,z_ti表示第i运输带表面点/运输带表面第i点在相机坐标系下的三维坐标，x_gi,y_gi,z_gi表示第i运输带表面点对应的物体表面点在相机坐标系下的三维坐标，n表示光条纹中心点的个数，V表示物体的体积，v表示运输带运动速度，p表示图像帧数，t表示运行时间。

本实施例中，根据本实施例提供的运输带上物体体积测量方法，测量体积为1000cm³物体的体积为：1051.232cm³。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种运输带上物体体积测量方法，其特征在于，包括：

基于确定的光条纹中心的像素坐标集，确定光平面方程；

2.根据权利要求1所述的运输带上物体体积测量方法，其特征在于，所述光条纹为线式结构光。

3.根据权利要求1所述的运输带上物体体积测量方法，其特征在于，所述采集不带有光条纹的图像和带有光条纹的图像包括：

S1，采用靶标；

4.根据权利要求3所述的运输带上物体体积测量方法，其特征在于，所述根据采集的不带有光条纹的图像和带有光条纹的图像，确定光条纹中心的像素坐标集包括：

根据采集的不带有光条纹的图像，确定相机内参矩阵；

对得到的差值图像进行畸变校正；

5.根据权利要求1所述的运输带上物体体积测量方法，其特征在于，所述方法还包括：

6.根据权利要求1所述的运输带上物体体积测量方法，其特征在于，所述根据确定的内参矩阵和确定的光平面方程，确定运输带表面点的三维坐标包括：

7.根据权利要求6所述的运输带上物体体积测量方法，其特征在于，所述内参矩阵方程表示为：

z_{c} [\begin{matrix} x_{i} \\ y_{i} \\ 1 \end{matrix}] = M [\begin{matrix} x_{c} \\ y_{c} \\ z_{c} \end{matrix}]

所述光平面方程表示为：

x_c-63.6195y_c+2.6409z_c-3218.2103＝0

8.根据权利要求6所述的运输带上物体体积测量方法，其特征在于，所述根据确定的内参矩阵和确定的光平面方程，确定物体表面点的三维坐标包括：

9.根据权利要求1所述的运输带上物体体积测量方法，其特征在于，所述根据确定的运输带表面点的三维坐标和物体表面点的三维坐标，确定物体的体积包括：

10.根据权利要求9所述的运输带上物体体积测量方法，其特征在于，所述截面积表示为：

S_{j} = \frac{\sqrt{{(x_{g 0} - x_{g n})}^{2} + {(y_{g 0} - y_{g n})}^{2} + {(z_{g 0} - z_{g n})}^{2}}}{n} \times Σ_{i = 0}^{n} \sqrt{{(x_{g i} - x_{t i})}^{2} + {(y_{g i} - y_{t i})}^{2} + {(z_{g i} - z_{t i})}^{2}}

所述物体体积表示为：

V = \frac{v t}{p} Σ_{j = 0}^{p} S_{j}