CN111798515B - 用于焚烧状况识别的立体视觉监测方法 - Google Patents

Abstract

本发明涉及计算机视觉技术领域的监测方法，具体为用于焚烧状况识别的立体视觉监测方法，建立双目立体视觉***；对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；获得燃烧物三维表面的曲面；计算获得的燃烧物三维表面的曲面与获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。本发明监测焚烧火线的精确位置，为进一步智能控制焚烧状况提供依据。

Description

用于焚烧状况识别的立体视觉监测方法

技术领域

本发明涉及计算机视觉技术领域的监测方法，具体为用于焚烧状况识别的立体视觉监测方法。

背景技术

本发明涉及焚烧状况的识别，例如单不仅限于垃圾焚烧中焚烧火线的辨识。垃圾焚烧是世界各国广泛采用的城市垃圾处理技术，配备热能回收与利用装置的垃圾焚烧处理***，正逐渐上升为焚烧处理的主流。但是目前垃圾焚烧时不能自动化、智能化地感知焚烧炉内垃圾焚烧状况，通常需要要求操作人员人为观察垃圾的焚烧状态是否理想，难以客观准确地获得焚烧炉内垃圾料层厚度，更难以判断垃圾焚烧的整体状态。

现有与本发明近似的垃圾焚烧炉内状态监控实现方案主要是通过单目摄像头采集垃圾焚烧炉内的视频或图像，对图像进行亮度识别或是特征提取来获得火焰的燃烧状态，也有通过建立火焰识别模型并对火焰识别模型进行训练来获得火焰的燃烧状态，进而对垃圾焚烧炉是否需要进料进行判断。

现有技术采用的图像或者视频检测方案缺乏空间深度信息，而且由于垃圾多不透明难以获得准确的料层厚度，从信息源角度来讲，现有辨识方案存在重要的信息缺失。由此，现有技术通过采集垃圾焚烧炉内的视频或图像等数据计算或训练学习获得的火焰信息得到火焰的燃烧状态，不能完全反映出垃圾焚烧炉内的垃圾焚烧状态信息，尤其不能反映出火焰的前、后、左、右位置信息，更不能反映出现存垃圾焚烧炉中的垃圾厚度信息，本发明针对以上现有技术的缺点提出了一种基于立体视觉的垃圾燃烧炉内料层厚度测量，并在此基础上获得火线的精准三维状态信息，因此可以支持自动化、智能化的垃圾焚烧炉控制。

发明内容

鉴于现有技术的缺陷，本发明提供一种用于焚烧状况识别的立体视觉监测方法，监测焚烧火线的精确位置，为进一步智能控制焚烧状况提供依据。避免现有监测技术中缺少燃烧物层厚的精确三维信息，并且不能精准定位火线的问题。

为了达到上述目的，本发明提供的技术方案是一种用于焚烧状况识别的立体视觉监测方法，其包括如下步骤：

步骤1：建立双目立体视觉***；

进一步的，所述建立双目立体视觉***是指：在焚烧空间内安置两台相同参数的摄像头，摄像头用于拍摄焚烧空间内的图片。

步骤2：在焚烧空间内未进料时进行双目相机标定；

进一步的，所述步骤2中双目相机标定是指：在焚烧空间内摆放标定物体，采用双目立体视觉***拍摄若干组同一时刻焚烧空间内标定物体的照片。

需要说明的是，优选的，所述标定物体采用网格状的矩形，标定物体在图像上的视野占有的比例超过1/3，标定物体内的网格大小不少于十个像素，摆放标定物体的时，标定物体在相机中被拍全。

步骤3：对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；

进一步的，所述步骤3中单相机标定是指：通过不同坐标系之间的转换，将像素空间的信息转换为空间位置信息；如下公式：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数；

s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

φ^j为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标。

步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；

进一步的，所述步骤4中获得焚烧空间的三维空间信息的方法为：先通过焚烧空间对角的两个像素点和/>来计算焚烧空间对角的两个三维空间点(x₁,y₁,z₁)和(x₂,y₂,z₂)，具体算法如下：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数，s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标；

然后利用上述得到的三维点来计算焚烧空间宽度△x＝x₂-x₁；

焚烧空间高度△y＝y₂-y₁；

焚烧空间斜度信息

三维平面方程的公式为Ax+By+Cz+D＝0；

然后利用最小二乘的方法来拟合得到焚烧空间的三维平面方程。

步骤5：在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；进行曲面拟合获得燃烧物三维表面的曲面；

优选的，所述步骤5使用BRISK特征描述算法检测关键点。

具体的，所述步骤5中得到若干关键点的三维空间信息P_ij(x,y,z)，进行曲面拟合获得燃烧物三维表面的曲面的方法为：

借助B样条进行三维点的曲面拟合，在三维空间中，给定(m+1)×(n+1)个空间点P_ij(i＝0,1,...,n；j＝0,1,...,m)，称为m×n次参数曲面，数学表达式为：

其中P_ij(i＝0,1,2...n；j＝0,1,2...m)是控制顶点，共计(m+1)×(n+1)个顶点，F_i,n(x)F_j,m(y)为B样条基底函数；求和号上下即为k的取值；具体表达式为：

步骤6：计算所述步骤5获得的燃烧物三维表面的曲面与步骤4获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。

步骤7：在检测到的燃烧物表面处，基于步骤5检测到的关键点筛选出燃烧物与火焰相交处的火线关键点；然后根据得到火线关键点的位置进行曲线拟合,获得火线三维空间位置，进行线性插值计算(x_i,y_i,z_i),(x_j,y_j,z_j)两点间各点位置：

其中d为两点间距离；并对上述检测关键点对校正前和校正后的视频帧进行匹配，以将校正之后的图像上的点对应到实际拍摄的视频帧上，从而将火线曲线显示在实际拍摄到的视频上。

进一步的，所述焚烧空间为焚烧炉排；所述燃烧物为垃圾。

需要说明的是，本发明的关键点是基于立体视觉的方法进行目标的三维位置信息获取，借助进料前获得焚烧空间三维空间信息，并在进料后再次进行双目立体视觉定位，从而由前后差获得焚烧空间内部燃烧物料层厚度，且获得火线三维信息。

本发明的有益效果：与现有技术相比，首先我们采用的方法是立体视觉的方法，与单目相比，能够获得燃烧物层厚的立体信息，其次，在燃烧物表面进行火线三维定位，能够确定火焰的前、后、左、右燃烧的位置信息，对焚烧空间内部燃烧物的智能控制提供精准依据。

附图说明

图1为本发明流程图；

图2为实施例中得到的曲线示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

将本发明的方法应用于垃圾焚烧，进一步的，焚烧空间为焚烧炉排；所述燃烧物为垃圾。

一种用于焚烧状况识别的立体视觉监测方法，其包括如下步骤：

步骤1：建立双目立体视觉***；

具体是对向垃圾焚烧炉排在炉壁水平方向间隔一定距离开两个口，安置两台相同参数的摄像头，如三星DS-8616N-K8，记为左、右相机。开口高度大致150-200厘米，间距约50-75厘米，两摄像头间距越大，能测到的视野范围越大。

步骤2：在焚烧炉排内未进料时进行双目相机标定；

本实施例中考虑到焚烧炉排内的空间大，采用的标定物体是网格状的矩形，标定物体在图像上的视野占有的比例超过1/3，标定物体内的网格大小不少于十个像素。使用一个1米×2米的铁网作为标定物体。铁网上的每网格尺寸是66毫米×66毫米，通过摆放的位置以及角度不同，拍摄一系列用于标定的图片。在摆放标定物体的时候，需要让标定物体在相机中被拍全。

步骤3：根据张正友方法对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；

进一步的，所述步骤3中单相机标定是指：通过不同坐标系之间的转换，将像素空间的信息转换为空间位置信息；如下公式：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数；

s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

φ^j为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标。

步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧炉排进行立体识别；获得焚烧炉排的三维空间信息，所述焚烧炉排的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；

进一步的，所述步骤4中获得焚烧炉排的三维空间信息的方法为：先通过焚烧炉排对角的两个像素点和/>来计算焚烧炉排对角的两个三维空间点(x₁,y₁,z₁)和(x₂,y₂,z₂)，具体算法如下：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数，s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标；

然后利用上述得到的三维点来计算焚烧炉排宽度△x＝x₂-x₁；

焚烧炉排高度△y＝y₂-y₁；

焚烧炉排斜度信息

三维平面方程的公式为Ax+By+Cz+D＝0；

然后利用最小二乘的方法来拟合得到焚烧炉排的三维平面方程。

步骤5：在焚烧炉排内垃圾燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内垃圾表面检测到的若干关键点的三维空间信息；进行曲面拟合获得垃圾三维表面的曲面；

优选的，所述步骤5使用Binary Robust Invariant Scalable Keypoints(BRISK)特征描述算法检测关键点。

具体的，所述步骤5中得到若干关键点的三维空间信息P_ij(x,y,z)，进行曲面拟合获得垃圾三维表面的曲面的方法为：

借助B样条进行三维点的曲面拟合，在三维空间中，给定(m+1)×(n+1)个空间点P_ij(i＝0,1,...,n；j＝0,1,...,m)，称为m×n次参数曲面，数学表达式为：

其中P_ij(i＝0,1,2...n；j＝0,1,2...m)是控制顶点，共计(m+1)×(n+1)个顶点，F_i,n(x)F_j,m(y)为B样条基底函数；具体表达式为：

步骤6：计算所述步骤5获得的垃圾三维表面的曲面与步骤4获得的焚烧炉排的三维平面信息之间的距离，获得垃圾层厚以及垃圾空间分布三维信息。

步骤7：在检测到的垃圾表面处，基于步骤5检测到的关键点筛选出垃圾与火焰相交处的火线关键点；然后根据得到火线关键点的位置进行曲线拟合,获得火线三维空间位置，进行线性插值计算(x_i,y_i,z_i),(x_j,y_j,z_j)两点间各点位置：

其中d为两点间距离；并对上述检测关键点对校正前和校正后的视频帧进行匹配，以将校正之后的图像上的点对应到实际拍摄的视频帧上，从而将火线曲线显示在实际拍摄到的视频上，从而将火线曲线显示在实际拍摄到的视频上以便操作员观看。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.用于焚烧状况识别的立体视觉监测方法，其特征在于：

步骤1：建立双目立体视觉***；

步骤2：在焚烧空间内未进料时进行双目相机标定,所述焚烧空间为焚烧炉排；

步骤3：对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；

步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；获得焚烧空间的三维空间信息的方法为：

先通过焚烧空间对角的两个像素点和/>来计算焚烧空间对角的两个三维空间点(x₁,y₁,z₁)和(x₂,y₂,z₂)，具体算法如下：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数，s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标；

然后利用上述得到的三维点来计算焚烧空间宽度Δx＝x₂-x₁；

焚烧空间高度Δy＝y₂-y₁；

焚烧空间斜度信息

三维平面方程的公式为Ax+By+Cz+D＝0；

然后利用最小二乘法来拟合得到焚烧空间的三维平面方程；

步骤5：在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；进行曲面拟合获得燃烧物三维表面的曲面；

步骤6：计算所述步骤5获得的燃烧物三维表面的曲面与步骤4获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。

2.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤5使用BRISK特征描述算法检测关键点。

3.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤5中得到若干关键点的三维空间信息P_ij(x,y,z)，进行曲面拟合获得燃烧物三维表面的曲面的方法为：

借助B样条进行三维点的曲面拟合，在三维空间中，给定(m+1)×(n+1)个空间点P_ij(i＝0,1,...,n；j＝0,1,...,m)，称为m×n次参数曲面，数学表达式为：

其中P_ij(i＝0,1,2...n；j＝0,1,2...m)是控制顶点，共计(m+1)×(n+1)个顶点，F_i,n(x)F_j,m(y)为B样条基底函数；具体表达式为：

4.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述立体视觉监测方法还包括步骤7：

在检测到的燃烧物表面处，基于步骤5检测到的关键点筛选出火线关键点；然后根据得到火线关键点的位置进行曲线拟合,获得火线三维空间位置，进行线性插值计算(x_i,y_i,z_i),(x_j,y_j,z_j)两点间各点位置：

其中d为两点间距离；并对上述检测关键点对校正前和校正后的视频帧进行匹配，以将校正之后的图像上的点对应到实际拍摄的视频帧上，从而将火线曲线显示在实际拍摄到的视频上。

5.根据权利要求1-4中任意一项所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述燃烧物为垃圾。

6.根据权利要求1-4中任意一项所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤1中建立双目立体视觉***是指：

在焚烧空间内安置两台相同参数的摄像头，摄像头用于拍摄焚烧空间内的图片。

7.根据权利要求1-4中任意一项所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤2中双目相机标定是指：

在焚烧空间内摆放标定物体，采用双目立体视觉***拍摄若干组同一时刻焚烧空间内标定物体的照片。

8.根据权利要求7所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述标定物体采用网格状的矩形，标定物体在图像上的视野占有的比例超过1/3，标定物体内的网格大小不少于十个像素，摆放标定物体的时，标定物体在相机中被拍全。

9.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤3中单相机标定是指：

通过不同坐标系之间的转换，将像素空间的信息转换为空间位置信息；如下公式：

式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数；

s^j为比例因子；

A^j为摄像机内参数，记为

分为x,y方向上的归一化焦距；

φ^j为扭曲系数；

为摄像机主光轴与图像平面交点的像素坐标；

R^j为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为

α^j,β^j,γ^j分别为旋转矩阵R^j的三个列向量，记为

T^j为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为

P_i＝[X_wi Y_wi Z_wi 1]^T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标。