CN113361532B - 一种图像识别方法、***、存储介质、设备、终端及应用 - Google Patents

Abstract

本发明属于图像识别技术领域，公开了一种图像识别方法、***、存储介质、设备、终端及应用，采用Python和OpenCV开源库；结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；通过误差计算和与超像素SEEDS分割方法进行比较。与传统方法相比，本发明的方法可以有效解决复杂环境下的图像识别问题。使用三目立体相机截取了尾矿坝滑坡过程中20second，640second，1665second，2765second和4140second的图像，进行了误差计算。在X和Y方向上的平均识别误差显著降低，可用于尾矿坝破坏区域等复杂环境下的岩土目标的高精度识别。

Description

一种图像识别方法、***、存储介质、设备、终端及应用

技术领域

本发明属于图像识别技术领域，尤其涉及一种图像识别方法、***、存储介质、设备、终端及应用。

背景技术

目前：随着尾矿坝的扩大和加高，暴雨和地下水位会引发尾矿坝的潜在变形和破坏，造成巨大的生命财产损失甚至环境问题。监测技术是控制尾矿坝故障风险的重要工具。近年来，滑坡监测研究的特点是边坡变形和位移，这与降雨和地下水位的特征有关。随着滑坡监测技术的不断发展，自动识别滑坡变形区域被广泛使用。Ardizzone使用机载激光雷达收集的高程数据来识别和绘制降雨造成的滑坡图像。Kurtz提出了一种基于在分割/分类区域的混合方法，该方法可以自动检测并绘制滑坡图。Mondini使用超高分辨率(VHR)的全色和高分辨(HR)的多光谱卫星地发图，并提出了一种用于半自动识别和绘制近期降雨引起的浅层滑坡的方法。Mwaniki使用图像增强功能来提高滑坡识别的准确性。在自动超像素识别领域，Xie提出了一种基于显着差异和空间距离的SAR图像超像素生成方法，该方法可以附着在目标轮廓上，并准确地反映出凹凸区域纹理细节的边界。Zhu提出了一种区域合并的方法，该方法通过构造新的能量函数显著提高了超像素分割的精度。为了识别小规模的滑坡，Hashiba可以通过使用超像素SLICO方法检查合适的面积大小来以更高的精度提取滑坡面积。Yang根据滑坡变形过程中图像超像素粗糙度的变化实现了小规模滑坡变形区域的识别。

通过上述分析，现有技术存在的问题及缺陷为：现有的大多数滑坡识别方法仅适用于具有简单的颜色和纹理特征的小区域，对复杂的山体滑坡无法准确识别，识别精度较低。在发明过程中发现，尾矿坝的内部机制比天然滑坡的内部机制更为复杂。由于尾矿坝中尾砂粒径的不均一及降雨和地表水的入渗导致破坏的区域众多且不规则，外界环境的颜色干扰同时也会造成识别精度降低。总之，目前没有一种有效的图像识别方法可以高精度的识别复杂的边坡破坏区域。

解决以上问题及缺陷的意义为：通过发明的方法可以有效的解决复杂边坡破坏区域识别精度较低的问题，利用多像素种子点与点云坐标相结合的区域生长分割方法可以确定破坏区域，更好的处理边界问题并进行合理的分割。该项发明可以有效地支持边坡变形视频的研究监视和特征提取工作。在工程地质领域，这项技术将在地质环境的监测方面起着重要作用。

发明内容

针对现有技术存在的问题，本发明提供了一种图像识别方法、***、存储介质、设备、终端及应用。

本发明是这样实现的，一种图像识别方法，所述图像识别方法包括：

采用Python和OpenCV开源库；

结合先进的三目立体摄像机3D拍摄技术及区域生长分割方法，自动提取连续尾矿坝坝坡变形信息；

通过误差计算和与超像素SEEDS分割方法进行比较。

进一步，所述三目立体摄像机采用以下方法进行位置校准：相机的坐标系由C_k和C_d表示，其中k，d＝1，2，3，1，2，3分别代表左、中和右摄像机，并且摄像机的位置关系用以下公式表示：

C_k＝R_ckd C_d+t_ckd；

其中，R_ckd表示从d摄像机到k摄像机的旋转变换，t_ckd表示从d摄像机到k摄像机的转换；

摄像机之间的位置变换通过以下变换获得：

选择中间值作为初始值R_ckd和t_ckd，Levenberg-Marquard算法用于迭代查找最小值，优化方程如下：

(R_ckd,t_ckd)＝min(J₁+J₂+J₃)

式中：t表示世界坐标系原点在相机坐标系中的坐标值；R代表世界的旋转矩阵坐标系到摄像机坐标系；

是焦距；m是图像区域的数目，n是每个区域中的像素数；M是像素矩阵；J₁，J₂，J₃分别是左、中、右三个摄像头的最小校准误差。

进一步，所述超像素SEEDS分割方法具体包括：

(1)自适应阈值和灰度处理：对灰度化的图像进行自适应阈值处理：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3；

其中ω_R,ω_G,ω_B是R，G，B的权重；

(2)点云坐标与多像素种子点组合：在获取点云坐标之前，修复点云并在坐标点之间转换，最近邻插值公式为：

m＝a₀×x/z+m₀

n＝b₀×y/z+n₀；

其中m和n代表图像的像素坐标，m₀和n₀代表图像中心，a₀和b₀代表相机参数，x，y和z代表点云坐标，遗失点的信息设置为其最接近的点。

进一步，使用三目立体摄像机拍摄时，坐标Z轴不垂直于倾斜表面，对原始数据进行坐标转换，并通过截取点云图像破坏区域来选择点云坐标，在破坏区域人工种植多个种子点，根据生长准则，逐渐添加相邻像素以扩大生长范围，最后形成生长区域。

进一步，所述生长区域的具体形成过程如下：

1)提取多个点云坐标以建立破坏区域的位置关系；

2)手动提取ROI图像中不同破坏区域的种子点，假设种子点像素为(x₀,y₀)；

3)以(x₀,y₀)为中心，寻找(x₀,y₀)的8邻域像素点(x_i,y_j)，如果(x₀,y₀)符合增长准则，则合并(x_i,y_j)和(x₀,y₀)区域，同时将(x_i,y_j)压入堆栈；

4)从堆栈中取出一个像素，将其视为(x₀,y₀)，然后返回步骤3)，堆栈为空时，返回步骤2)；

5)重复步骤2)至步骤4)，直到图像中的每个像素都具有归属则生长结束。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

采用Python和OpenCV开源库；

结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；

通过误差计算和与超像素SEEDS分割方法进行比较。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

采用Python和OpenCV开源库；

结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；

通过误差计算和与超像素SEEDS分割方法进行比较。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的图像识别方法。

本发明的另一目的在于提供一种实施所述图像识别方法的图像识别***，所述图像识别***包括：

数据库模块，采用Python和OpenCV开源库；

坝坡变形信息获取模块，结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；

对比模块，通过误差计算和与超像素SEEDS分割方法进行比较。

本发明的另一目的在于提供一种山体滑坡识别方法，所述山体滑坡识别方法使用所述图像识别方法。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明基于多个子像素和点云坐标相结合的区域生长分割算法。此方法是使用Python和OpenCV开源库实现的。与传统方法相比，该发明方法可以有效解决复杂环境下的图像识别问题。为了在物理建模实验中验证该方法，使用三目立体相机截取了尾矿坝滑坡过程中20second，640second，1665second，2765second和4140second的图像。进行了误差计算，并与当前主流的超像素SEEDS分割方法进行了比较。结果表明，使用本发明的新方法在X和Y方向上的平均识别误差显著降低(当前方法为3.744％和4.910％；超像素方法为8.302％和9.976％)。该方法可用于尾矿坝破坏区域等复杂环境下的岩土目标的高精度识别。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施提供的图像识别方法流程图。

图2是本发明实施提供的不同粒径的分类曲线示意图。

图3是本发明实施提供的将混合尾砂材料注入到尾矿库的过程示意图；图(a)实验场景；图(b)PVC管注入尾矿池使用场景图；图(c)滑坡破坏区域；图(d)降雨滑坡情况。

图4是本发明实施提供的(a)在20second、640second、1665second、2765second、4140second的五组原始边坡破坏图像；(b)在20second、640second、1665second、2765second、4140second的五组ROI边坡破坏图像。

图5是本发明实施提供的方法流程图。

图6是本发明实施提供的(a)尾矿坝坡体的点云图像；(b)手动选择种子点(深灰色圆圈)，确定8邻域内的相似像素点(浅灰色圆圈)和点云坐标(黑色三角形)；(c)按照种子点8邻域内的区域范围开始生长；(d)8邻域内像素点与种子点融合结果；(e)区域生长结果。

图7是本发明实施提供的形态学闭运算过程示意图；(a)是目标图像X，(b)选取种子点(c)开始膨胀操作；(d)膨胀后的结果；(e)开始腐蚀操作。(f)腐蚀后的结果；(其中：(c-d)是膨胀过程(步骤Ⅰ)；(e-f)是腐蚀过程(步骤Ⅱ))。

图8是本发明实施提供的变形区域的识别结果(黑色是变形区域，白色是背景区域)。

(a)是20秒的识别结果，(b)是640秒的识别结果，(c)是1665秒的识别结果，(d)是2765秒的识别结果，(e)是4140秒的识别结果。

图9是本发明实施提供的通过区域生长方法在识别的五组最终轮廓图像示意图。(a)是20秒时的识别结果，(b)是640秒时的识别结果，(c)是1665秒时的识别结果，(d)是2765秒时的识别结果，(e)是4140秒时的识别结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种图像识别方法、***、存储介质、设备、终端及应用，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供图像识别方法包括以下步骤：

步骤一，采用Python和OpenCV开源库；

步骤二，结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；

步骤三，通过误差计算和与超像素SEEDS分割方法进行比较。

本发明提供的图像识别方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的图像识别方法仅仅是一个具体实施例而已。

本发明提供的三目立体摄像机的位置校准：

相机校准精度直接影响视觉性能测量***。通过建立一个带约束的多目标优化方程及其连续信息可对尾矿坝的变形和破坏进行精确监控，从而提供技术支持。准确识别尾矿坝破坏区域的条件。假设相机的坐标系由C k和C d表示，其中k，d＝1，2，3，1，2，3分别代表左、中和右摄像机，并且摄像机的位置关系可以用以下公式表示：

C_k＝R_ckd C_d+t_ckd；

其中，R_ckd表示从d相机到k的旋转变换摄像机，t_ckd表示从d摄像机到k摄像机的转换转换。摄像机之间的位置变换可以通过以下变换获得：

由于噪声和计算误差的影响，这些值不完全是相同。选择中间值作为的初始值R_ckd和t_ckd，考虑到约束条件可以在优化参数中发挥作用，从而改善摄像机位置之间的校准精度。Levenberg-Marquard算法用于迭代查找最小值，优化方程如下：

(R_ckd,t_ckd)＝min(J₁+J₂+J₃)

在公式中：t表示世界坐标系原点在相机坐标系中的坐标值；R代表世界的旋转矩阵坐标系到摄像机坐标系；

是焦距；m是数字在图像区域中，n是每个区域中的像素数；M是像素矩阵；J₁，J₂，J₃分别是左、中和右三个摄像头的最小校准误差。

本发明提供的分割方法如下：

(1)自适应阈值和灰度处理

由于ROI图像中破坏区域的像素值接近于背景区域，直接图像识别将导致过度分割，并且R，G和B值的加权平均值可用于获得更好的灰度图像。对灰度化的图像进行自适应阈值处理。

加权平均法：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3；

其中ω_R,ω_G,ω_B是R，G，B的权重；通常来说，当ωR＝0.299,ωG＝0.587,ωB＝0.114时得到更好的灰度图像。

(2)点云坐标与多像素种子点组合

在获取点云坐标之前，有必要修复点云并在坐标点之间转换，如图6(a)所示，左图为原始点云，下部是边坡的变形区域，而上部是边坡的非变形区域。右图为变形区域。在变形区域中，外界的光照条件干扰是造成点云信息不完整的关键原因，因此损耗值由图像坐标和点云之间的坐标关系确定。最近邻插值公式为：

m＝a₀×x/z+m₀

n＝b₀×y/z+n₀；

其中m和n代表图像的像素坐标，m₀和n₀代表图像中心，a₀和b₀代表相机参数，x，y和z代表点云坐标，遗失点的信息设置为其最接近的点。

使用三目立体摄像机拍摄时，坐标Z轴不垂直于倾斜表面。本发明需要对原始数据进行坐标转换，并通过截取点云图像破坏区域来选择点云坐标。在破坏区域内人工种植多个种子点。根据生长准则，逐渐添加相邻像素以扩大生长范围，最后形成生长区域。对于破坏区域的每个位置关系，可以选择每个区域以确定点云的坐标，通过在该点附近种植多像素种子点，可以有效减少图像的过度分割，从而改善识别精度。在本发明的研究中，手动选择4个种子点和8个点云坐标，将1个种子点与2个点云坐标组合在不同的点云破坏区域中，并采用8邻域像素点生长准则进行生长。具体的区域成长过程如下：

(ⅰ)提取多个点云坐标以建立破坏区域的位置关系；

(ⅱ)手动提取ROI图像中不同破坏区域的种子点，假设种子点像素为(x₀,y₀)；

(ⅲ)以(x₀,y₀)为中心，寻找(x₀,y₀)的8邻域像素点(x_i,y_j)，如果(x₀,y₀)符合增长准则，则合并(x_i,y_j)和(x₀,y₀)区域，同时将(x_i,y_j)压入堆栈；

(ⅳ)从堆栈中取出一个像素，将其视为(x₀,y₀)，然后返回步骤3)，堆栈为空时，返回步骤2)；

(ⅴ)重复步骤2)至步骤4)，直到图像中的每个像素都具有归属则生长结束。

本发明基于Python和OpenCV开源图像库的连续滑坡变形特征识别方法；结合区域生长分割方法，可以获得连续的滑坡变形信息，以确定其形状和面积的连续变化；与当前的主流超像素方法相比，该方法可以同时考虑点云坐标和多像素种子点，更有效地识别滑坡变形区域。

下面结合实验对本发明的技术效果作详细的描述。

1.物理实验和数据预处理

1.1尾矿坝相似物理试验模型是以江西省赣州市漂塘钨矿为原型。将不同粒径的尾矿材料进行混合处理。在本发明的实验中筛选了6组不同质量的尾砂。筛选后的结果如表1所示。尾砂材料粒径比如图2所示。图2表明尾砂粒径材料分布不均，粒径大多集中在1-2mm，并且颗粒的级配更加复杂。在模型制作过程中，用少量水将尾矿浸湿，然后装入红色塑料桶中，利用水流的冲击力将其沿着直径为8厘米的PVC管注入尾矿池中，如图3所示。建立模型后，尾矿坝物理模型约为13米长，宽7米，高1.5米，倾斜度约为35°。降雨设备由6组直径相同的喷嘴组成，每组6个，降雨量等级值为0-100mm/h。本发明使用了100mm/h的降雨强度持续了5个小时。在实验过程中，本发明没有使用特殊光，而是使用了自然光。该方法旨在识别自然条件下的破坏区域。根据相机标定后位置在尾矿坝旁安装了三目立体相机(类型：Point Grey Bumblebee×3，分辨率：1280×960)，调整镜像及主要参数来记录尾矿坝破坏的全过程。相机捕获的图像每隔5秒保存一次。通过降雨和地表水的渗透监测边坡的破坏状况，如图3所示。

表格1：不同质量的6组尾矿的筛选结果(每组最小误差忽略不计)

1.2校准三目立体摄像机的位置

相机校准精度直接影响视觉性能测量***。通过建立一个带约束的多目标优化方程及其连续信息可对尾矿坝的变形和破坏进行精确监控，从而提供技术支持，准确识别尾矿坝破坏区域。假设相机的坐标系由Ck和Cd表示，其中k，d＝1，2，3，1，2，3分别代表左、中和右摄像机，并且摄像机的位置关系可以用以下公式表示：

C_k＝R_ckdC_d+t_ckd

R_ckd表示从d相机到k的旋转变换摄像机，t_ckd表示从d摄像机到k摄像机的转换的摄像机之间的位置变换可以通过以下变换获得：

由于噪声和计算误差的影响，这些值不完全是相同。选择中间值作为的初始值R_ckd和t_ckd，考虑到约束条件可以在优化参数中发挥作用，从而改善摄像机位置之间的校准精度。Levenberg-Marquard算法用于迭代查找最小值，优化方程如下：

(R_ckd,t_ckd)＝min(J₁+J₂+J₃)

在公式中：t表示世界坐标系原点在相机坐标系中的坐标值；R代表世界的旋转矩阵坐标系到摄像机坐标系；

是焦距；m是图像区域的数目，n是每个区域中的像素数；M是像素矩阵；J₁，J₂，J₃分别是左、中、右三个摄像头的最小校准误差。

1.3数据预处理

由于视频的长度，固定的时间间隔为300个选择帧(5s)，从三目立体相机记录保存的940张图像中随机选择了20second、640second、1665second、2765second、4140second的五组破坏图像。如图4的(a)所示，五组图像均包含外部干扰(建筑物，树枝等)。为了消除背景图像上多余的信息，将尾矿坝坡度部分设置为感兴趣区域(ROI)，裁剪五组图像以保留ROI，最终得到如图4的(b)所示的斜面。

2.区域生长分割方法

破坏区域没有固定的几何特征，因此很难分割直接从图像中提取整个破坏区域。另外，变形区域的颜色与未变形区域相似。在这种情况下，直接将色差用作条件不能有效地识别破坏区域。因此，本发明的研究使用区域生长分割方法从尾矿库中提取信息以识别破坏区域。图5是本发明方法的数据处理流程图。

2.1自适应阈值和灰度处理

由于ROI图像中受损区域的像素值接近于背景区域，直接的图像识别将导致过度分割，并且R，G和B值的加权平均值可用于获得更好的灰度图像。对灰度化的图像进行自适应阈值处理。

加权平均法：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3

其中ω_R,ω_G,ω_B分别为R，G，B的权重。通常来说，当ω_R＝0.299,ω_G＝0.587,ω_B＝0.114时能够得到更好的灰度图像。

2.2点云坐标与多像素种子点组合

在获取点云坐标之前，有必要修复点云并在坐标点之间转换，如图6的(a)所示，左图为原始点云图像，下部是边坡的变形区域，而上部是边坡的非变形区域。右图中的变形区域。外界的光照条件干扰是造成点云信息不完整的关键原因，因此损耗值由图像坐标和点云之间的坐标关系确定。最近邻插值公式为：

m＝a₀×x/z+m₀

n＝b₀×y/z+n₀；

其中m和n代表图像的像素坐标，m₀和n₀代表图像中心，a₀和b₀代表相机参数，x，y和z代表点云坐标。遗失点的信息设置为其最接近的点。

使用三目立体摄像机拍摄时，坐标Z轴不垂直于倾斜表面。本发明需要对原始数据进行坐标转换，并通过截取点云图像破坏区域来选择点云坐标(图6的(b)，过程1)。在破坏区域内人工种植多个种子点。根据生长准则，逐渐添加相邻像素(图6的(c)，过程2)以扩大生长范围(图6的(d)，过程3)，最后形成生长区域(图6的(e)，过程4)。对于破坏区域的每个位置关系，可以选择每个区域以确定点云的坐标，通过在该点附近种植多像素种子，可以有效减少图像的过度分割，从而改善识别精度。在本发明的研究中，手动选择4个种子点和8个点云坐标，将1个种子点与2个点云坐标组合在不同的点云破坏区域中，并采用8邻域像素点生长准则进行生长。具体的区域成长过程如下：

(ⅰ)提取多个点云坐标以建立破坏区域的位置关系；

(ⅱ)手动提取ROI图像中不同破坏区域的种子点，假设种子点像素为(x₀,y₀)；

(ⅲ)以(x₀,y₀)为中心，寻找(x₀,y₀)的8邻域像素点(x_i,y_j)，如果(x₀,y₀)符合增长准则，则合并(x_i,y_j)和(x₀,y₀)区域，同时将(x_i,y_j)压入堆栈；

(ⅳ)从堆栈中取出一个像素，将其视为(x₀,y₀)，然后返回步骤3)，堆栈为空时，返回步骤2)；

(ⅴ)重复步骤2)至步骤4)，直到图像中的每个像素都具有归属则生长结束

2.3噪声消除

分割结果表明，图像中存在一些孤立的点和一些小的无损区域。这是由于降雨留下的水迹像素值似于非破坏性区域的像素值，造成一定的干扰。因此，本发明使用中值滤波进行降噪，以便图像中的相邻像素根据大小进行排列，并且排序后的像素集中间的值作为中值滤波后的像素值。可以通过更改ksise来调整图像的清晰度。本发明的研究发现随着ksize逐渐增加，图像逐渐变得模糊。当ksize是3，可以实现最佳的降噪效果。

2.4形态学处理

去噪操作后，采用形态学闭运算操作，通过膨胀操作和腐蚀操作去除图像中的黑洞，而不会改变受损区域的面积。不同结构元素将导致不同程度的分割。本发明采用了5×5结构元素进行细分。闭运算操作公式如下。图7显示了闭运算操作过程。

在公式中，S是结构元素，X是图像，

是使用S展开X图片集。/>

是膨胀完成后的集合，然后腐蚀A图像集合。

2.5小面积清除

尾矿坝破坏区域以外的大多数“孔洞”都被结构元素填充，尾矿坝的破坏区域没有变大。图像中有一些无破坏小区域。由于结构元素的大小比这些无破坏小区域小得多，因此不能通过增加结构元素的大小来完全填充。OpenCV开源库中的contourArea函数可以通过定义阈值的大小来删除二值化图像中小于阈值的区域。本发明的研究表明，当contourArea函数值小于200时效果最佳。

3.结果

图8显示了在20second、640second、1665second、2765second、4140second五组区域生长以识别破坏区域的最终结果。在这些图像中，尾矿坝的破坏主要发生在尾矿坝二级坝和三级坝的右侧边坡处。随着降雨的持续增加，破坏面积开始扩大，破坏数量开始增多。降雨留下的水迹使一些破坏区域难以观察，但可以通过本发明的方法进行识别，如图8的(a)的右侧识别图像的右下区域所示。

在本发明的研究中，最初选择的种子点数为4，而点云坐标是8。根据图8的(a)-图8的(e)的阈值分别是a_threshold＝6.4，b_threshold＝6.3，c_threshold＝6.4，d_threshold＝6.2，e_threshold＝6.3。

使用Canny运算符提取已识别破坏区域的边缘，然后进行细化处理，并使用drawContours函数进行颜色标记。本发明选择RGB三个通道(255，0，255)进行标记。当thickness为负数时，将绘制整个轮廓区域，并最终将轮廓与ROI叠加，如图9所示。

本发明的方法与超像素方法进行了比较。本发明选择HSV图像中的V通道5000的超像素数量，以20次迭代执行SEEDS超像素处理。然后对处理后的图像进行中值去噪和自适应阈值处理，对小区域进行图像填充和去除，在的发明中contourArea函数值小于230。超像素分割阈值是：T_a＝8,T_b＝10,T_c＝10,T_d＝9,T_e＝11。用超像素方法计算每个像素的粗糙度水平，并且通过粗糙度将每个像素分类为变形点和非变形点。

本发明发现，超像素SEEDS可以识别变形区域的轮廓方法比区域生长方法大，并且边界处理不足够准确。此外，不可变形的斜坡区域和尾矿库幕布区域被错误识别为变形区域。由于光线强度和降雨留下的水迹，斜坡上某些点的像素值变大，粗糙度变高，因此可以识别为变形点。基于区域生长方法，边界区域和相似颜色区域的识别效果更好。由于多像素种子点种植和区域点云坐标的建立。点云坐标信息可以减少由于降雨引起的颗粒材料分布不均而引起的粗糙度增加，并避免过度分割非破坏区域。

识别出的轮廓数据，五组图像在不同方法下获得(x，y)坐标集(63个坐标集)，然后在20second、640second、1665second、2765second、4140second五组时刻将其导入Origin软件以显示为一行图表。单击Origin软件绘制的轮廓区域以随机选择坐标具有相同x和不同y，不同x和相同y的点。每个轮廓区域使用8组对应的坐标进行相对误差计算和分析。

根据公式(5-1)和(5-2)，提出的方法和超像素方法的平均分割误差如表2所示。X方向的平均分割误差为3.744％(超像素方法的误差为8.302％)。在本发明提出的方法中，Y方向的平均分割误差为4.910％(超像素方法的误差为9.976％)。

其中

是第i个样本的分割误差点，第i个采样点的观测值，第i个采样点的真实值以及所有样本点的平均分割误差。

表2：不同方法在X(N＝168)和Y(N＝168)方向上的平均分割误差

表3：对于20second，640second，1665second，2765second X(N＝32)和Y(N＝32)方向，4140second X(N＝40)和Y(N＝40)方向的不同方法的平均分割误差

从表3的数据中可以看出，在识别尾矿坝边坡的破坏区域时，区域生长方法比超像素方法更为准确。原因是：1)这种方法可以对具有相同特征的连通区域进行分割，并提供良好的边界条件和分割结果；2)本发明的方法结合点云与多像素种子点种植进行坐标确定，确定每个点中的所有点破坏的区域，而不是像超像素方法那样的单个点。每个破坏区域中的所有点可以很好地反映局部完整性，因此识别更加准确；3)通过像素相似度融合原理，可以正确的识别出深度变化较大的一些破坏区域，而超像素方法则考虑了每个超像素的色差，效果不佳。

本发明可以结合由三目立体相机采用多种亚像素点植入方法来识别图像的多破坏区域，并能准确识别出尾矿坝坡面的破坏特征。有效地支持了边坡变形视频的研究监视和特征提取。在工程地质领域，这项技术将在促进对地质环境的监测方面起着重要作用。

结合本发明采用3D数据的实验方法将提供更丰富，更准确的数据为后续边坡变形研究的提供技术指导。

应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种图像识别方法，其特征在于，所述图像识别方法包括：

采用Python和OpenCV开源库；

结合先进的三目立体摄像机3D拍摄技术及区域生长分割方法，自动提取连续尾矿坝坝坡变形信息；

通过误差计算和与超像素SEEDS分割方法进行比较；

所述区域生长分割方法包括：

(1)自适应阈值和灰度处理：进行自适应阈值处理：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3；

其中ω_R,ω_G,ω_B是R，G，B的权重；

(2)点云坐标与多像素种子点组合：在获取点云坐标之前，修复点云并在坐标点之间转换，最近邻插值公式为：

m＝a₀×x/z+m₀

n＝b₀×y/z+n₀；

其中m和n代表图像的像素坐标，m₀和n₀代表图像中心，a₀和b₀代表相机参数，x，y和z代表点云坐标，遗失点的信息设置为其最接近的点；

使用三目立体摄像机拍摄时，坐标Z轴不垂直于倾斜表面，对原始数据进行坐标转换，并通过截取点云图像破坏区域来选择点云坐标，在破坏区域内人工种植多个像素种子点，根据生长准则，逐渐添加相邻像素以扩大生长范围，形成生长区域；

所述生长区域的具体形成过程如下：

1)提取多个点云坐标以建立破坏区域的位置关系；

2)手动提取ROI图像中不同破坏区域的种子点，假设种子点像素为(x₀,y₀)；

3)以(x₀,y₀)为中心，寻找(x₀,y₀)的8邻域像素点(x_i,y_j)，如果(x₀,y₀)符合增长准则，则合并(x_i,y_j)和(x₀,y₀)区域，同时将(x_i,y_j)压入堆栈；

4)从堆栈中取出一个像素，将其视为(x₀,y₀)，然后返回步骤3)，堆栈为空时，返回步骤2)；

5)重复步骤2)至步骤4)，直到图像中的每个像素都具有归属则生长结束。

2.如权利要求1所述的图像识别方法，其特征在于，所述三目立体摄像机采用以下方法进行位置校准：相机的坐标系由C_k和C_d表示，其中k，d＝1，2，3，1，2，3分别代表左、中和右摄像机，并且摄像机的位置关系用以下公式表示：

C_k＝R_ckdC_d+t_ckd；

其中，R_ckd表示从d相机到k的旋转变换摄像机，t_ckd表示从d摄像机到k摄像机的转换；

摄像机之间的位置变换通过以下变换获得：

选择中间值作为初始值R_ckd和t_ckd，Levenberg-Marquard算法用于迭代查找最小值，优化方程如下：

(R_ckd,t_ckd)＝min(J₁+J₂+J₃)

式中：t表示世界坐标系原点在相机坐标系中的坐标值；R代表世界的旋转矩阵坐标系到摄像机坐标系；

是焦距；m是图像区域的数目，n是每个区域中的像素数；M是像素矩阵；J₁,J₂,J₃分别是左、中、右三个摄像头的最小校准误差。

3.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-2任意一项所述的图像识别方法。

4.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行行权利要求1-2任意一项所述的图像识别方法。

5.一种实施权利要求1～2任意一项所述图像识别方法的图像识别***，其特征在于，所述图像识别***包括：

数据库模块，采用Python和OpenCV开源库；

坝坡变形信息获取模块，结合先进的三目立体摄像机3D拍摄技术，自动提取连续尾矿坝坝坡变形信息；

对比模块，通过误差计算和与超像素SEEDS分割方法进行比较。

6.一种山体滑坡识别方法，其特征在于，所述山体滑坡识别方法使用权利要求1～2任意一项所述图像识别方法。

Images