CN113011440B - 一种煤层气井井场监控重识别技术 - Google Patents

Abstract

本发明提供一种煤层气井井场监控重识别技术。首先构建特征提取网络，把平均池化替换成加权池化，视分类计算为特征注意力热图之间内积计算，提取目标显著特征；其次对特征进行相应特征耦合聚类，随机选高置信度ID样本，成为聚类中心，建立异类样本相对距离阈值，计算特征与聚类中心距离，区分目标特征与背景干扰和异类特征，得到特征耦合聚类损失；最后利用三组态网络，将参考、同类和异类样本映射特征空间，比较相似性。本发明可以更好地跨摄像机的目标重识别，可以很好地提高特征辨识能力，提高重识别的准确性性和鲁棒性。

Description

一种煤层气井井场监控重识别技术

技术领域

本发明涉及一种煤层气井井场监控重识别方法技术，属于计算机视觉与图像处理技术领域。

背景技术

伴随着计算机软硬件的高速发展，高性能计算机和摄像机终端已经非常普遍，在城市智能监控中，得到了普遍的应用。随着社会发展进步，汽车普及率越来越高，对于城市安全，亟需能够对监控下的图像分析技术，目标识别技术就成为了人们关注的焦点。行人重识别在视频监控、智能交通和城市计算方面具有普遍应用，可以在大型监控视频中快速发现，定位和跟踪目标行人。与行人检测，跟踪或分类不同，行人重识别可以被发现为实例级对象搜索问题。行人再识别问题，实质上是指在一个特定范围内的交通监控场景下，判断非重叠区域内拍摄的行人图像是否属于同一个人的检索问题。目前，在交通比较发达区域都有着监控摄像头的存在(十字路口、易发事故地段，人流量大的路段等)，通过研究如何更好的利用摄像头进行交通监管和刑事侦破等，是非常有价值的。目前主要分成三种方法进行相关研究：第一种主要是结合传感器进行行人的重识别，这类方法受天气干扰以及距离因素影响比较大，并且相应的硬件成本也很大，无法满足现实需求。第二种主要是利用手工特征提取的方式，这类方法主要是利用一些提取算法提取一些手工特征，准确率无法提升。第三种基于深度学习的方法就应运而生，对于特征提取准确性更高，识别准确率也提升。三组态网络是孪生网络的一个改进提升，在判别能力上有显著的提升，对于复杂背景干扰的情况下，对于显著性特征提取，在识别检测领域上有着很好的效果。

发明内容

本专利旨在克服一些上面介绍的现有技术的不足，针对三组态网络相应的行人特征判别能力在复杂环境下跨摄像头的同一目标进行识别，我们提出了一种煤层气井井场监控重识别方法技术。

本发明所采用的技术方案是：构建基于特征耦合聚类的三组态网络进行目标重识别。对于图像数据，手工特征提取目前提取的都是来自低层的语义特征，关注于行人轮廓，纹理以及颜色等特征信息进行识别，通过神经网络可以提取更高层语义信息，包括空间特性以及时间和位置信息。这些高层次语义信息对于目标行人的特征表达是十分重要的，与提取的底层语义信息进行很好的互补，更好的实现相应的重识别。本发明可以充分利用空间特征获取相应的目标行人的空间语义信息，利用与低层语义信息互补的优势，来提升此方法对于复杂环境下的跨摄像头同一目标的判别能力，提高重识别的可靠性和鲁棒性。

一种煤层气井井场监控重识别方法技术，包括以下步骤：

第一步，通过构建一个嵌入网络结构，在嵌入网络结构中加入加权注意力池化层替换平均池化层，把分类计算看成对输出的行人特征注意力热图之间的内积计算，着重提取目标行人的显著性特征；

第二步，通过本发明中的特征耦合聚类方法，随机选取一些具有较高置信度的不同ID样本，作为聚类中心，通过建立异类样本相对距离阈值并且计算特征点与聚类中心的空间马氏距离，可以把目标行人特征点与背景干扰点以及不同行人进行相应聚类从而区分，得到相应特征耦合聚类损失，然后通过一个比较器计算相似性。

第三步，通过把三个嵌入网络融入三组态网络框架中，将参考样本、同类样本和异类样本图像映射到特征空间之中。

本发明的效果和好处是提出一种基于特征耦合聚类的一种煤层气井井场监控重识别方法技术，充分利用了相似特征耦合聚类的优势，同时，本发明还利用加权注意力池替代平均池化层来提取目标行人相应的显著特征信息和构建特征热图，通过加权注意力池模块对特定目标正相关性的特征进行激活，利用显著特征的空间特性，赋予相应通道上更好的权重偏向，实现更好的行人重识别。

本发明可以更好的跨摄像头下的同一行人进行识别，可以很好地提高特征识别能力，提高行人重识别的准确性和鲁棒性。

附图说明

图1基于特征耦合聚类的三组态网络行人重识别结构示意图。

图2本发明在MarKet1501数据集上重排序与重排序精确度对比图。

图3本发明与其他经典算法在MarKet1501数据集上精确曲线对比图。

图4本发明在MarKet1501数据集上重排序与重排序的置信度准确率对比图。

图5本发明与经典算法在MarKet1501数据集上的置信度准确率对比图。

图6本发明中特征耦合聚类效果图。

图7本发明中加权注意力池结构图。

图8本发明在煤层气井识别矿井行人识别效果图1。

图9本发明在煤层气井识别矿井行人识别效果图2。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

一种煤层气井井场监控重识别方法技术，包括以下步骤：

第一步，构建嵌入网络，提取样本特征，每个子网的作用被用来提取相关图像的特征，用用卷积网络提取参考行人和同类样本、异类样本的显著性特征，投影到特征空间。

对于第一步的嵌入网络结构，我们使用加权注意力池替换平均池化层，结构如图1所示。本发明由嵌入网络和一个三组态网络两个网络结构组成。使用加权注意力池对原平均池化层池化进行矩阵表示，并且使用二阶池的矩阵来进行表示，然后对权重的矩阵进行一个降分解，然后使用降解后的结果进行一个自底向上和自顶向下的注意力解释。具体实现方式如下：

其中X∈R^n*f,W∈R^f*f,X表示特征矩阵，n表示样本数量，f表示通道数

然后进行最低秩近似W_k权重，W_k∈R^f*f:

其中a,b∈R^f*1,其中a,b表示权重矩阵的行列，k表示类别数目。

我们选择模拟特定于类的“自上而下”注意力机制从自下而上的视觉显著性，与类无关。通常强制其中一个注意力参数向量是类无关的，因此，我们把b_k＝b,所以我们最后的低秩注意力池机制模块表示为：

Grade_attention(X,a,b)＝(Xa_k)^T(Xb_k) (公式3)

最后继续简化为：

其中T_k＝Xa_k,h＝Xb。

这相当于对自顶向下(特定类)T_k和自下而上的基于显著性h注意力映射之间求内积。我们之前的平均或最大池是将特征矩阵减小到R^f*1中的向量，然后是通过FC(完全连接层)权向量W处理生成分类数。我们把注意力热图可以看成是Xa∈R^n*1，b看成是注意池特征的分类器，所以最终我们的Grade_attention可以看成是在所有n个空间位置上进行定义的两个注意力热图之间的内积。

在我们的实验中，我们预测了一个与最后一个特征映射相同的单通道自下而上的显著性映射，并且在顶部使用线性分类器，同样，我们也生成n₁×n₂×Num_class维度的自上而下的注意力映射Xa，其中Num_class是类别数。我们将两个注意力图乘以空间平均，生成了Num_class维度的输出预测(Xa_k)^T(Xb_k)，这些操作相当于首先将特征与显著性特征X^T(Xb))相乘，然后再通过分类器(a(X^T(Xb))。

第二步，通过把三个嵌入网络融入三组态网络框架中，将参考样本、同类样本和异类样本图像映射到特征空间之中。通过本发明中的特征耦合聚类方法，随机选取一些具有较高置信度的不同ID样本，作为聚类中心，通过建立异类样本相对距离阈值并且计算特征点与聚类中心的空间马氏距离，可以把目标行人特征点与背景干扰点以及不同行人进行相应聚类从而区分，得到相应特征耦合聚类损失，然后通过一个比较器计算相似性。

在空间特征集合中，我们使用特征耦合聚类，把同类与异类进行一个划分，从而更加有利于后期的重识别，具体实现过程如下：

随机选择将一些具有较高置信度的不同ID样本，将其作为聚类中心Cluster_center，但是每一次的聚类中心的选择只能选择样本所有ID中的一个作为聚类中心，对于每一个聚类中心，计算周边样本的与聚类中心的空间欧氏距离，定义一个负样本相对距离阈值d_n,负样本d_n定义为不同聚类中心距离的最短距离，当我们计算聚类中心距离与其他样本S_i之间的距离时，如果dist(cluster_center,F_i)>d_n时候，其中F_i表示底i个特征样本，以聚类中心为中心，以d_n距离为半径划分一个聚类簇，将候选特征点进行聚类，选定min(dist(cluster_center,F_i))>d_n的那个最远点重新作为一个聚类中心，以相同方式进行继续聚类簇的划分，从而可以给所有样本贴上相应的相似与不相似的一个伪标签，这其中，我们使用一个特征耦合聚类损失来进行相应距离的计算，与K均值聚类不同的是，我们的数据耦合聚类会自动将部分数据标记为相似的高置信度，而K均值聚类是将所有数据划分为几个簇，我们的聚类中心会将相似样本标记成为相同的ID。在聚类过程中，或许有很多候选特征点满足这一约束，我们从中选择最大差异化的点作为聚类中心样本点。

min(Dist_M(f_i,f_j))>d_n

其中f_i,f_j都属于待检索与图像库中特征图，Cluster_center是聚类中心，d_n是阈值.

使用马氏距离计算空间特征点：

特征点之间的马氏距离计算公式如下：

其中，∑是一个多维随机变量的协方差矩阵，如果协方差矩阵是单位向量的话，各个维度之间独立同分布，那么马氏距离就是欧氏距离，由于欧氏距离在不同维度下，流型空间中的距离存在较大误差，导致计算出来的欧氏距离近并不一定是相似的，后来，人们想采用一种归一化的欧氏距离消除这种维度规模不一致的问题，但是随着样本量的增加，样本分布的差异性越来越大之后，这个归一化后的欧氏距离也无法很好的消除outlier，所以，我们我们采用马氏距离进行计算空间距离；马氏距离具体推导如下：

先对特征点进行旋转，旋转到主成分(PCA)，使得各个维度之间变成线性无关，相互独立，此时新坐标产生。

马氏距离就是旋转变化之后的欧氏距离，马氏距离公式6的计算就成了：

当Dist_Cluster<d_n时,则，以该聚类中心为中心，对该特征点进行一个聚类，d_n距离，反之，我们把距离推远d_n的距离。对于TripletNet(三组态网络)，由于输入的是三个样本对，即样本x，正样本x₊，负样本x_-。我们在正样本集和负样本集中选取正样本、负样本x₊,x_-,从而通过上述的特征耦合聚类，我们估计每个正样本的聚类中心的平均值：

其中N₊是正样本数量

得到的正负样本的相对距离计算可以通过以下公式反映：

其中i属于正样本集，j属于负样本集，他们满足关系：

Dist_postive+θ≤Dist_negtive (公式10)

其中θ是一个距离偏差，θ＜＜d_n

可以得到一个耦合聚类损失：

其中x_i是正样本集合，x_j是负样本集合，N₊是正样本数量。

如果小于等于0，则正负样本的偏导数为0，否则，正负样本的偏导数是

这个损失函数的约束条件与Triplet Loss一样，使得类内距离应该远小于类间距离。但是这个损失可以面向多样本进行样本的距离变化，并且计算的是聚类中心与样本之间的距离，并不是随便计算。

第三步，在经过三组态网络结构之后，我们通过计算得到的特征信息之后，通过以下计算公式计算参考样本，正样本和负样本两两l2范数进行求解距离比较函数：

TripletNet()表示经过三组态网络结构之后得到的特征距离函数，得到的cmp比较器，如果比较器结果大于0，我们可以得知正负样本相似度较高或者负样本也相似于参考样本，反之，如果二者之差是大于等于0，可以知道，正负样本识别分类效果很好，相较于参考样本x，正样本x₊拉近，负样本x_-被推远。

本发明利用MarKet1501数据集，对本网络结构进行一个训练和实验数据对比，我们通过绘制本发明与经典算法在MarKet1501数据集上的平均精确度曲线对比图，以及置信度准确率数据集还有特征耦合过程图以及网络结构图，还有本发明在相关煤层气井中的检测效果图，证明本发明可以在复杂环境下验证平均精确度和置信度准确率。

在MarKet1501数据集中，我们利用平均精确度和置信度准确率进行重识别评估。平均精确度是在目标检测与标签图像分类中常用的评测指标，因为在多分类任务中的标签大多不止一个，所以不能用单一的普通单标签图像的分类标准，也就是mAP,就是多分类任务中的平均精度AP求和再取平均值。各种识别方法的平均精确度均值对比曲线图如图2和图3所示。由图可知，一种煤层气井井场监控重识别方法技术相较于其他经典算法，可以有着较好的准确率。置信度准确率指的是在搜索结果中置信度排名靠前的有正确结果的概率，即在不同摄像头下面能够找到与目标行人相似图像标签的准确率。一种煤层气井井场监控重识别方法技术相较于其他算法，有着很好的置信度准确率，如图4和图5所示，由此可知，本发明可以较精确在跨摄像头下识别出是否是同一行人。

本发明中使用的特征聚类耦合算法以及加权注意力池，过程图如图6和图7所示，可以表明本发明中的特征聚类耦合算法和加权注意力池可以很好的提高识别准确率，可以对重识别有着较好的提升。本发明应用于实际项目，煤层气井中以及石油钻井的行人识别，可以有效对产量以及产能监控和智能安防、安全事故监控等提升较好的帮助，效果图如图8和图9所示，显示出本发明在重识别任务中的良好性能以及准确性。

Claims (1)

1.一种煤层气井井场监控重识别技术，其特征在于，步骤如下：

第一步，通过构建一个嵌入网络结构，提取样本特征，在嵌入网络结构中加入加权注意力池化层替换平均池化层，把分类计算看成对输出的行人特征注意力热图之间的内积计算，着重提取目标行人的显著性特征；

网络结构由一个嵌入网络和一个三组态网络组成；使用加权注意力池对原平均池化层池化进行矩阵表示，并且使用二阶池的矩阵来进行表示，然后对权重的矩阵进行一个降分解，然后使用降解后的结果进行一个自底向上和自顶向下的注意力解释；

具体实现方式如下：

其中X∈R^n*f,W∈R^f*f,X表示特征矩阵，n表示样本数量，f表示通道数；

对上述W_k权重矩阵进行最低秩近似，W_k∈R^f*f:

其中a,b∈R^f*1,其中a,b表示权重矩阵的行列，k表示类别数目；

选择模拟特定于类的“自上而下”注意力机制从自下而上的视觉显著性，与类无关；强制其中一个注意力参数向量是类无关的，因此，令b_k＝b,所以最后的低秩注意力池机制模块表示为：

Grade_attention(X,a,b)＝(Xa_k)^T(Xb_k) (公式3)

继续简化为：

其中T_k＝Xa_k,h＝Xb；

公式4相当于对自顶向下T_k和自下而上的基于显著性h注意力映射之间求内积；平均或最大池是将特征矩阵减小到R^f*1中的向量，然后是通过FC的权向量W处理生成分类数；本方法把注意力热图看成是Xa∈R^n*1，b看成是注意池特征的分类器，所以最终的Grade_attention看成是在所有n个空间位置上进行定义的两个注意力热图之间的内积；

通过对第一个与最后一个特征映射相同的单通道自下而上的显著性映射进行预测，并且在顶部使用线性分类器，同样，也生成n₁×n₂×Num_class维度的自上而下的注意力映射Xa，其中Num_class是类别数；将两个注意力图乘以空间平均，生成了Num_class维度的输出预测(Xa_k)^T(Xb_k)，这些操作相当于首先将特征与显著性特征X^T(Xb)相乘，然后再通过分类器a(X^T(Xb))；

第二步，通过把三个嵌入网络融入三组态网络框架中，将参考样本、同类样本和异类样本图像映射到特征空间之中；通过特征耦合聚类方法，随机选取一些具有较高置信度的不同ID样本，作为聚类中心，通过建立异类样本相对距离阈值并且计算特征点与聚类中心的空间马氏距离，把目标行人特征点与背景干扰点以及不同行人进行相应聚类从而区分，得到相应特征耦合聚类损失，然后通过一个比较器计算相似性；具体实现如下：

随机选择将一些具有较高置信度的不同ID样本，将其作为聚类中心Cluster_center，但是每一次聚类中心的选择只能选择样本所有ID中的一个作为聚类中心，对于每一个聚类中心，计算周边样本的与聚类中心的空间欧氏距离，定义一个负样本相对距离阈值d_n,负样本d_n定义为不同聚类中心距离的最短距离，当计算聚类中心距离与其他样本S_i之间的距离时，如果dist(Cluster_center,F_i)>d_n时，将以聚类中心为中心，其中F_i表示第i个特征集，以d_n距离为半径划分一个聚类簇，将候选特征点进行聚类，选定min(dist(Cluster_center,F_i))>d_n的那个最远点重新作为一个聚类中心，以相同方式进行继续聚类簇的划分，从而给所有样本贴上相应的相似与不相似的一个伪标签，这其中，使用一个特征耦合聚类损失来进行相应距离的计算，与K均值聚类不同的是，数据耦合聚类会自动将部分数据标记为相似的高置信度，而K均值聚类是将所有数据划分为几个簇，聚类中心将相似样本标记成为相同的ID；在聚类过程中，或许有很多候选特征点满足这一约束，从中选择最大差异化的点作为聚类中心样本点；

min(Dist_M(f_i,f_j))＞d_n

其中f_i,f_j都属于待检索与图像库中特征图，Cluster_center是聚类中心，d_n是阈值；

使用马氏距离计算空间特征点：

特征点之间的马氏距离计算公式如下：

其中，Σ是一个多维随机变量的协方差矩阵，如果协方差矩阵是单位向量的话，各个维度之间独立同分布，那么马氏距离就是欧氏距离，由于欧氏距离在不同维度下，流型空间中的距离存在较大误差，导致计算出来的欧氏距离近并不一定是相似的，后来采用一种归一化的欧氏距离消除这种维度规模不一致的问题，但是随着样本量的增加，样本分布的差异性越来越大之后，这个归一化后的欧氏距离也无法很好的消除outlier，所以，采用马氏距离进行计算空间距离；马氏距离具体如下：

先对特征点进行旋转，旋转到主成分，使得各个维度之间变成线性无关，相互独立，此时新坐标产生；

马氏距离就是旋转变化之后的欧氏距离，马氏距离公式8就成了：

当Dist_Cluster<d_n时,则，以该聚类中心为中心，对该特征点进行一个聚类，d_n距离，反之，把距离推远d_n的距离；对于三组态网络TripletNet，由于输入的是三个样本对，即参考样本x，正样本x₊，负样本x_-；在正样本集和负样本集中选取正样本、负样本x₊,x_-,从而通过上述的特征耦合聚类，估计每个正样本的聚类中心的平均值：

其中N₊是正样本数量；

得到的正负样本的相对距离计算通过以下公式反映：

其中i属于正样本集，j属于负样本集，他们满足关系：

Dist_postive+θ≤Dist_negtive (公式10)

其中θ是一个距离偏差，θ＜＜d_n；

得到一个耦合聚类损失：

其中x_i是正样本集合，x_j是负样本集合，N₊是正样本数量；

如果小于等于0，则正负样本的偏导数为0，否则，正负样本的偏导数是

这个损失函数的约束条件与Triplet Loss一样，使得类内距离应该远小于类间距离；

第三步，在经过三组态网络结构之后，通过计算得到的特征信息之后，通过以下计算公式计算参考样本，正样本和负样本两两l2范数进行求解距离比较函数：

TripletNet(x)表示经过三组态网络结构之后得到的特征距离函数，得到的cmp比较器，如果比较器结果大于0，得知正负样本相似度较高或者负样本也相似于参考样本，反之，如果二者之差是大于等于0，得知正负样本识别分类效果很好，相较于参考样本，正样本x₊拉近，负样本x_-被推远。