CN113610167B - 基于度量学习与视觉感知的设备风险检测方法 - Google Patents

Abstract

本发明涉及度量学习与视觉感知技术领域，具体涉及基于度量学习与视觉感知的设备风险检测方法。该方法将待测设备的第一图像及其风险监控指标输入对应的设备风险检测网络得到对应的风险预测结果；设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，关联总变差是根据不同数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；相似度是根据任意两个设备之间的预测风险等级、预测风险概率、风险波动指标和两个设备之间的风险等级的差异的概率比值的加权求和。本发明利用设备图像和风险监控指标进行网络训练能够实时得到设备的风险预测结果，提高了设备风险检测的实时性和准确性。

Description

基于度量学习与视觉感知的设备风险检测方法

技术领域

本发明涉及度量学习技术领域，具体涉及基于度量学习与视觉感知的设备风险检测方法。

背景技术

目前，经济水平发展正处于中低端向高端阶段迈进，但是企业层面的安全认知水平与安全理念相对落后，导致安全管理水平尚处于底层水平，事故预防仍处于被动阶段，绝大多数企业仍属于粗放安全管理。因此要加强对设备风险的检测，提前采用预防机制，构建实施风险分级管控体系。

目前，风险检测方法通常采用人为的进行风险排查，以发现其存在的设备风险。这种风险检测方法准确率低，没有考虑设备之间的相互影响、相互关联性。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于度量学习与视觉感知的设备风险检测的方法，所采用的技术方案具体如下：

本发明一个实施例提供了基于度量学习与视觉感知的设备风险检测方法，该方法包括以下步骤：

将待测设备的第一图像及其风险监控指标输入对应的设备风险检测网络得到对应的风险预测结果；

所述设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，所述关联总变差为实时关联总变差和标准关联总变差的差值；所述标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；所述实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；所述相似度是根据任意两个所述设备之间的预测风险等级的概率比值的加权求和，所述预测风险等级的概率是根据设备的预测风险等级、预测风险概率、风险波动指标和两个所述设备之间的风险等级的差异得到的。

优选的，所述风险波动指标的获取方法，包括：

获取所述设备的设备图像对应的风险等级序列，采用高斯背景建模获得所述风险等级序列对应的混合高斯分布以及混合高斯分布曲线，所述混合高斯分布曲线的横坐标为风险等级，纵坐标为风险概率；

将多个所述混合高斯分布曲线求均值得到最终高斯分布曲线；由所述最终高斯分布曲线得到所述设备的风险波动指数。

优选的，所述两个设备之间的风险等级的差异的获取方法，包括：

计算任意两个所述设备对应的最终高斯分布曲线之间的距离值；将所述距离值作为两个所述设备之间的风险等级的差异。

优选的，所述由所述最终高斯分布得到所述设备的风险波动指数，包括：

所述风险波动指标计算公式为：

其中，B_i为第i个所述设备的所述风险波动指标；Simⁱ为第i个所述设备的高斯分布相似度。

优选的，所述第i个所述设备的高斯分布相似度的获取方法，包括：

所述第i个所述设备的高斯分布相似度的计算公式为：

其中，fⁱ为第i个所述设备的最终高斯分布；argmax(fⁱ)为fⁱ取最大值时对应的所述风险等级；N(argmax(fⁱ)，1)为均值取argmax(fⁱ)的正态分布。

优选的，所述标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度，包括：

所述标准关联总变差的计算公式为：

其中，L₀为所述标准关联总变差；E为所有所述设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的所述风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Fⁱ为第i个设备的历史数据的最终高斯分布函数对应的风险概率序列；F^j为第j个设备的历史数据的最终高斯分布函数对应的风险概率序列；max(Fⁱ)为第i个设备的所述风险概率序列中最大风险概率；argmax(Fⁱ)为第i个设备上的所述最大风险概率对应的风险等级；max(F^j)为第j个设备的所述风险概率序列中最大风险概率；argmax(F^j)为第j个设备上的所述最大风险概率对应的风险等级。

优选的，所述关注度的获取方法，包括：

所述关注度的计算公式为：

其中，g_i为第i个所述设备的所述关注度；B_i为第i个所述设备的所述风险波动指标；B_j为第j个所述设备的所述风险波动指标；Num为所有所述设备的数量。

优选的，所述实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度，包括：

所述关联图实时总变差的计算公式为：

其中，L_u为所述标准关联总变差；E为所有所述设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的所述风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Z_i为第i个设备的实时数据对应的实时风险概率序列；Z_j为第j个设备的实时数据对应的实时风险概率序列；max(Z_i)为第i个设备的所述实时风险概率序列中实时最大风险概率；argmax(Z_i)为第i个设备上的所述实时最大风险概率对应的实时风险等级；max(Z_j)为第j个设备的所述实时风险概率序列中实时最大风险概率；argmax(Z_j)为第j个设备上的所述实时最大风险概率对应的实时风险等级。

优选的，所述设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，包括：

所述损失函数的构建公式为：

其中，M为所述设备的训练批次中训练数据的数量；

为第k个设备对应的风险检测网络输出的第u个训练数据属于c类风险等级的预测风险概率；

为第k个设备中第u个训练数据属于c类风险等级；L_u为第k个设备的第u个训练数据以及其他设备的与第u个训练数据相同位置处的训练数据输入各自的所述设备风险检测网络得到的所述关联图实时总变差；L₀为所述关联图标准总变差。

本发明具有如下有益效果：

本发明实施例利用基于度量学习与视觉感知，根据设备图像序列、风险监控指标序列以及对应风险等级得到风险波动指数、关注度、风险等级的差异、混合高斯分布以及风险等级对应的风险概率等各项指标，利用各项指标进行损失函数的构建对设备风险检测网络进行训练，通过训练好的风险检测网络预测设备风险等级，不需要频繁的进行人为的设备风险等级评估；在构建损失函数时，一方面利用了设备之间的关联程度作为节点之间的风险等级的差异，另一方面，通过对其他设备对待测设备的影响进一步提升待测设备的风险等级预测的准确性；最终，将设备图像序列和风险监控指标序列输入设备风险检测网络即可得到设备的风险等级，不需要人为的在固定时间进行设备风险等级评估，同时还考虑了同一生产场景中各设备之间具有相关关联性，进一步提高了风险等级预测的准确性和实时性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的一种基于度量学习与视觉感知的设备风险检测方法的方法流程图；

图2为本发明一个实施例所涉及的一种多组训练数据分组情况的示意图；

图3为本发明一个实施例所提供的一种设备风险检测网络训练方法的方法流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于度量学习与视觉感知的设备风险检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

本发明实施例提供了一种基于度量学习与视觉感知的设备风险检测方法的具体实施方法，该方法实施例适用于化工厂中的甲醛过滤设备的风险检测，本实施例中相机为监控RGB相机，该相机对待测设备的邻域范围进行设备图像采集；并在该待测设备周围部署多个气体传感器，实时采集待测设备的图像信息和气体传感器示数信息。本发明实施例通过构建损失函数进行网络训练，通过训练好的设备风险检测网络得到待测设备的风险等级，而不用再人为的为设备打上风险等级标签，且考虑了设备之间的关联性，设备风险检测网络得到的风险等级相比较人为评估的风险等级会更加准确。达到了实时得到设备风险等级，且通过设备之间的关联性提高风险等级预测的准确性和实时性的目的。

下面结合附图具体的说明本发明所提供的一种基于度量学习与视觉感知的设备风险检测方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于度量学习与视觉感知的设备风险检测方法的方法流程图，

步骤S100，将待测设备的第一图像及其风险监控指标输入对应的设备风险检测网络得到对应的风险预测结果。

使用RGB监控相机采集待测设备的RGB图像，提取RGB图像中的待测设备的邻域图像作为第一图像。在本发明实施例中，利用目标监测网络得到待测设备的包围框的中心点坐标和宽高尺寸，其中包围框的中心坐标为(x，y)，包围框的宽为w，高为h，由该中心坐标和宽高尺寸构成包围框信息，且包围框内为待测设备，利用包围框对RGB图像进行裁剪得到待测设备的邻域图像，作为第一图像。

作为其他的实施方式，对于第一图像的获取，还可以采用边缘检测得到待测设备图像，然后通过待测设备图像与原RGB图像进行作差得到待测设备的邻域图像作为第一图像。

根据待测设备的包围框的中心点坐标得到位置信息，从而确定该待测设备周围部署的传感器，采集所有的传感器数据，将传感器数据作为风险监控指标。

需要说明的是，在实际的化工厂生产场景中，企业的管理人员每隔固定时间t就会对设备进行检修维护，将检修维护之后设备的安全风险重置为0。为了方便后续设备风险波动指数的分析，在数据采集时，每当采集时间长度为t时则得到一组数据段。

在每组时间长度为t的数据段中，每经过时间t₀得到一组训练数据，即每组数据段中包含多组训练数据，每个长度为t₀的训练数据都包含一组第一图像序列及其风险监控指标序列，该多组训练数据分组情况参见图2所示。

其中，将在t₀时间内采集到的每帧第一图像进行concatenate操作得到第一图像序列。将在t₀时间采集到的风险监控指标也进行concatenate操作得到风险监控指标序列。

将第一图像序列以及风险监控指标序列输入对应的设备风险检测网络得到对应的风险预测结果。该风险预测结果即为待测设备的对应的风险等级和风险概率。在本发明实施例中，该风险等级划分为5类。等级越高表示该待测设备的风险越高，待测设备越危险，等级越低表示该待测设备的风险越低，待测设备越安全。

步骤S200，设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，关联总变差为实时关联总变差和标准关联总变差的差值；标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；相似度是根据任意两个设备之间的预测风险等级的概率比值的加权求和，预测风险等级的概率是根据设备的预测风险等级、预测风险概率、风险波动指标和两个设备之间的风险等级的差异得到的。

该设备风险检测网络训练主要分为以下几个步骤：

步骤S201，风险波动指标的获取方式。

对每个设备的训练数据进行分析，获得每个设备的风险波动指数。该风险波动指数反映设备风险等级发生变化的概率的大小，该设备的风险波动指数参与后续损失函数的设计，可以使得设备风险检测网络对于风险波动指数较大的设备更加敏感，提高了风险检测的准确率。

任选一设备i为例，详细说明设备i的风险波动指数B_i的计算方法：

(1)获取设备i的训练数据，对每个数据段t₁，t₂，...，t_n中每一个长度为t₀的训练数据，为每个训练数据人为的打上风险等级标签，即每个长度为t₀时间段内的设备图像序列及其风险监控指标序列都对应一个风险等级标签。

将数据段t₁中多个长度为t₀的时间段对应的风险等级按照时间采集的先后顺序进行排列，得到数据段t₁对应的风险等级序列，记为D₁＝{d₁，d₂，d₃，...，d_m}。其中，m为数据段t₁包含的风险等级数量，即m＝t₁/t₀。

(2)采用混合高斯背景建模的方式，根据风险等级序列D₁构建数据段t₁对应的混合高斯分布f₁，以及混合高斯分布曲线。

1)首先利用风险等级d₁得到初始混合高斯分布：

其中，

为风险等级d₁的权重；

为风险等级d₁对应的高斯分布；

为风险等级d₁的数据标准差；x为当前对应的风险等级；

为风险等级d₁的数据均值。

2)将风险等级d₂与风险等级d₁对应的高斯分布

进行匹配。判断

是否成立，若成立则说明风险等级d₂与高斯分布

匹配成功，则利用风险等级d₂对匹配成功的高斯分布

进行更新；更新的公式如下：

其中，

为更新之后的风险等级d₁的数据均值；

为更新之后的风险等级d₁的数据标准差；ρ为遗忘系数，即将风险等级d₂代入高斯分布

得到的更新后的高斯分布

的值，即

则由更新后的数据均值

和数据标准差

对高斯分布

进行更新，即可得到更新之后的高斯分布

此时的混合高斯分布为

3)若不成立则说明风险等级d₂与高斯分布

匹配失败，则得到一个新的高斯分布

其中，

为风险等级d₂的数据标准差；x为当前对应的风险等级；

为风险等级d₂的数据均值。

4)对混合高斯分布中的多个高斯分布

分配权重，以得到最终的混合高斯分布。权重的分配方法如下：

其中，

表示高斯分布

更新之前的权重；

表示高斯分布

更新之前的权重，由于之前高斯分布

没有权重，则此时

为0；

表示风险等级d₂与高斯分布

的匹配结果；

表示d₂与高斯分布

的匹配结果；其中，匹配成功则匹配结果取值为1，匹配失败则匹配结果取值为0。

最后将权重

和权重

进行归一化得到最终的权重

则此时的混合高斯分布为

5)将风险等级d₃按照步骤2)与混合高斯分布中的每一个高斯分布进行匹配。如若风险等级d₂与高斯分布

匹配成功得到更新后的高斯分布

则将风险等级d₃与高斯分布

进行匹配，若匹配成功则再次对高斯分布

进行更新得到更新后的高斯分布

则此时的混合高斯分布

若前一步骤风险等级d₂与高斯分布

匹配未成功，得到了一个新的高斯分布

则将风险等级d₃分别与高斯分布

和高斯分布

进行匹配，再次重复步骤2)-步骤4)。

若风险等级d₃与混合高斯分布中的每一个高斯分布匹配失败，则得到一个新的高斯分布

最后为多个高斯分布分配权重得到新的混合高斯分布f₁，即为高斯分布

高斯分布

和高斯分布

分配权重得到新的混合高斯分布f₁。

重复遍历D₁中的所有数值，即d₁，d₂，d₃，...，d_m，得到最终数据段t₁对应的混合高斯分布f₁。根据混合高斯分布得到混合高斯分布曲线，该混合高斯分布曲线的横坐标为风险等级，纵坐标为风险概率，风险概率即为对应的风险等级发生的概率。

(3)重复按照(2)中的方法，获得每个数据段的混合高斯分布以及对应的混合高斯分布曲线，将混合高斯分布记为f₁，f₂，...，f_n。

为了避免单个数据段获得的混合高斯分布存在误差对后续处理造成影响，本发明实施例对n个混合高斯分布曲线中相同横坐标对应的n个风险概率值求均值，得到设备i对应的最终高斯分布曲线，记为fⁱ。

(4)由先验知识可知，当设备的风险等级不发生变化时，即设备的风险等级稳定时，也就是设备的安全程度稳定时，最终高斯分布曲线fⁱ应符合正态分布，即最终高斯分布曲线与正态分布曲线越相似则风险等级越稳定，高斯分布相似度值越大则风险等级越稳定。基于度量学习的思想由最终高斯分布fⁱ得到与正态分布的相似度Simⁱ。

第i个设备的高斯分布相似度Simⁱ的计算公式为：

其中，fⁱ为第i个设备的最终高斯分布；argmax(fⁱ)为fⁱ取最大值时对应的风险等级；N(argmax(fⁱ)，1)为均值取argmax(fⁱ)的正态分布，避免因高斯分布曲线fⁱ平移对相似度影响的计算。需要说明的是，DTW算法为计算曲线相似度的公知技术，不再进行赘述。

由先验知识可知，当设备的风险等级不发生变化时，最终高斯分布曲线fⁱ应符合正态分布，所以用与正态分布的相似度可以衡量设备的风险波动指数，即与设备所对应的最终高斯分布曲线与正态分布越接近相似度越大，则该设备的风波等级波动程度越小，风险等级越稳定。由最终高斯分布得到的相似度计算得到设备的风险波动指数。

风险波动指标B_i的计算公式为：

其中，B_i为第i个设备的风险波动指标；Simⁱ为第i个设备的高斯分布相似度。需要说明的是，设备的风险等级越稳定，则设备的安全系数也就越高，风险波动指数B_i则越小。

步骤S202，进行设备风险关联性分析，构建设备风险关联图。

由企业生产的工序是固定不变的，使得每个设备之间存在一定的风险关联性，该风险关联性可以为后续设备风险检测网络的训练提供辅助的监督信息，提高设备风险检测网络的输出的准确性。根据每个设备的最终高斯分布曲线进行设备风险关联性分析，构建设备风险关联图，该设备风险关联图能够反映设备之间存在的风险关联性。

根据步骤S201，获得每个设备的最终高斯分布曲线。将每个设备视为一个节点，每个节点储存着该设备对应的最终高斯分布曲线，利用DTW算法计算任意两个设备对应的最终高斯分布曲线之间的距离值，将该距离值作为两个设备之间的边权值，得到设备风险关联图，边权值也即风险等级的差异。该边权值反映两个设备之间高斯分布曲线之间的偏差，也即反映两个设备之间风险等级的差异，在该设备风险关联图中每一个节点与其他所有节点均存在连接关系。

由于各个设备之间的风险波动指数不同，为了确保企业生产的安全运行，则需要对风险波动指数较大的设备应分配更大的关注度，该风险波动指数较大的设备即为风险等级不稳定安全程度低的设备。故各个设备的关注度的计算由各设备对应的风险波动指数拟合得到，每个设备及节点对应一个关注度。

关注度g_i的计算公式为：

其中，g_i为第i个设备的关注度；B_i为第i个设备的风险波动指标；B_j为第j个设备的风险波动指标；Num为所有设备的数量。

步骤S203，标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度。相似度是根据任意两个设备之间的预测风险等级的概率比值的加权求和，预测风险等级的概率是根据设备的预测风险等级、预测风险概率、风险波动指标和两个设备之间的风险等级的差异得到的。

用设备之间的关注度、风险等级和风险概率来表征设备之间的关联程度。由于参数之间的关系比较复杂，因此，利用设备之间的关注度、风险等级的差异、风险等级、和风险等级概率通过数学建模的方式拟合得到设备之间的标准关联总变差。

其中，设备的训练数据为历史训练数据。

标准关联总变差的计算方式为：

其中，L₀为标准关联总变差；E为所有设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Fⁱ为第i个设备的历史数据的最终高斯分布函数对应的风险概率序列；F^j为第j个设备的历史数据的最终高斯分布函数对应的风险概率序列；max(Fⁱ)为第i个设备的风险概率序列中最大风险概率；argmax(Fⁱ)为第i个设备上的最大风险概率对应的风险等级；max(F^j)为第j个设备的风险概率序列中最大风险概率；argmax(F^j)为第j个设备上的最大风险概率对应的风险等级。

需要说明的是，i，j分别代表设备的节点的编号，是人为按照一定规律指定的。为了在计算关联总变差时区分不同节点，每一个设备的节点对应的编号均不同，

步骤S204，实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度。相似度是根据任意两个设备之间的预测风险等级的概率比值的加权求和，预测风险等级的概率是根据设备的预测风险等级、预测风险概率、风险波动指标和两个设备之间的风险等级的差异得到的。

用设备之间的关注度、风险等级和风险概率来表征设备之间的关联程度。由于参数之间的关系比较复杂，因此，利用设备之间的关注度、风险等级的差异、风险等级、和风险等级概率通过数学建模的方式拟合得到设备之间的实时关联总变差。

其中，设备的训练数据为实时训练数据。

关联图实时总变差的计算公式为：

其中，L_u为标准关联总变差；E为所有设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Z_i为第i个设备的实时数据对应的实时风险概率序列；Z_j为第j个设备的实时数据对应的实时风险概率序列；max(Z_i)为第i个设备的实时风险概率序列中实时最大风险概率；argmax(Z_i)为第i个设备上的实时最大风险概率对应的实时风险等级；max(Z_j)为第j个设备的实时风险概率序列中实时最大风险概率；argmax(Z_j)为第j个设备上的实时最大风险概率对应的实时风险等级。

步骤S205，构建设备风险检测网络的损失函数，训练设备风险检测网络。

每个设备均对应一个设备风险检测网络。对每个设备对应的网络进行训练，将训练好的网络作为设备风险检测网络。该设备风险检测网络输入为各设备的训练数据输出为风险等级，该训练数据即为设备图像和风险监控指标。

首先建立该设备风险检测网络的损失函数，构建损失函数时需要尽量的最小化损失函数，将标准关联总变差与实时关联总变差作差，使实时关联总变量尽量接近于标准总变差。由于标准关联总变差、实时关联总变差和各设备的不同时间段的训练数据的对应的风险等级以及风险概率之间的综合关系比较复杂，因此，利用数学建模的方法拟合出标准关联总变差、实时关联总变差和各设备的不同时间段的训练数据的对应的风险等级以及风险概率之间的函数关系，得到该设备风险检测网络的损失函数。

损失函数的构建公式为：

其中，M为设备的训练批次中训练数据的数量；

为第k个设备对应的风险检测网络输出的第u个训练数据属于c类风险等级的预测风险概率；

为第k个设备中第u个训练数据属于c类风险等级；L_u为第k个设备的第u个训练数据以及其他设备的与第u个训练数据相同位置处的训练数据输入各自的设备风险检测网络得到的关联图实时总变差；L₀为关联图标准总变差。

该损失函数利用设备之间风险的关联性提供监督信息，保证网络输出的准确性。

综上所述，本发明实施例利用度量学习与视觉感知，利用设备图像序列、风险监控指标序列以及对应风险等级得到风险波动指数、关注度、混合高斯分布以及风险等级对应的风险概率，根据混合高斯分布得到任意两设备之间的风险等级的差异，由混合高斯分布、风险等级、风险概率、关注度得到标准关联总变差和实时关联总变差，由标准关联总变差、实时关联总变差以及任两设备之间的风险等级的差异之和构建损失函数，通过该损失函数训练设备风险检测网络。最终，将设备图像序列和风险监控指标序列输入设备风险检测网络即可得到设备的风险等级，不需要人为的再进行设备风险等级评估，同时还考虑了同一生产场景中各设备之间具有相关关联性，进一步提高了风险等级预测的准确性和实时性。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于度量学习与视觉感知的设备风险检测方法，其特征在于，该方法包括以下步骤：

将待测设备的第一图像及其风险监控指标输入对应的设备风险检测网络得到对应的风险预测结果；

所述设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，所述关联总变差为实时关联总变差和标准关联总变差的差值；所述标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；所述实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度；所述相似度是根据任意两个所述设备之间的预测风险等级的概率比值的加权求和，所述预测风险等级的概率是根据设备的预测风险等级、预测风险概率、风险波动指标和两个所述设备之间的风险等级的差异得到的；

其中，所述第一图像为：使用RGB监控相机采集待测设备的RGB图像，提取RGB图像中的待测设备的邻域图像；

其中，所述风险监控指标为：待检测设备周围部署的传感器的传感器数据；

其中，所述风险波动指标的获取方式为：获取所述设备的设备图像对应的风险等级序列，采用高斯背景建模获得所述风险等级序列对应的混合高斯分布以及混合高斯分布曲线，所述混合高斯分布曲线的横坐标为风险等级，纵坐标为风险概率；将多个所述混合高斯分布曲线求均值得到最终高斯分布曲线；由所述最终高斯分布曲线得到所述设备的风险波动指标；

其中，由所述最终高斯分布曲线得到所述设备的风险波动指标的过程为：所述风险波动指标计算公式为：

其中，B_i为第i个所述设备的所述风险波动指标；Simⁱ为第i个所述设备的高斯分布相似度；

其中，两个所述设备之间的风险等级的差异的获取方式为：计算任意两个所述设备对应的最终高斯分布曲线之间的距离值；将所述距离值作为两个所述设备之间的风险等级的差异；

其中，多个所述混合高斯分布曲线的获取过程为：

在数据采集时，每当采集时间长度为t时则得到一组数据段；在每组时间长度为t的数据段中，每经过时间t₀得到一组训练数据，每组数据段中包含多组训练数据，每个长度为t₀的训练数据都包含一组第一图像序列及其风险监控指标序列；(1)获取设备i的训练数据，对每个数据段t₁，t₂，...，t_n中每一个长度为t₀的训练数据，为每个训练数据人为的打上风险等级标签，即每个长度为t₀时间段内的设备图像序列及其风险监控指标序列都对应一个风险等级标签；将数据段t₁中多个长度为t₀的时间段对应的风险等级按照时间采集的先后顺序进行排列，得到数据段t₁对应的风险等级序列，记为D₁＝{d₁，d₂，d₃，...，d_m}；其中，m为数据段t₁包含的风险等级数量，即m＝t₁/t₀；

(2)采用混合高斯背景建模的方式，根据风险等级序列构建数据段对应的高斯分布，以及混合高斯分布曲线；

1)首先利用风险等级d₁得到初始混合高斯分布：

其中，

为风险等级d₁的权重；

为风险等级d₁对应的高斯分布；

为风险等级d₁的数据标准差；x为当前对应的风险等级；

为风险等级d₁的数据均值；

2)将风险等级d₂与风险等级d₁对应的高斯分布

进行匹配；判断

是否成立，若成立则说明风险等级d₂与高斯分布

匹配成功，则利用风险等级d₂对匹配成功的高斯分布

进行更新；更新的公式如下：

其中，

为更新之后的风险等级d₁的数据均值；

为更新之后的风险等级d₁的数据标准差；ρ为遗忘系数，即将风险等级d₂代入高斯分布

得到的更新后的高斯分布

的值，即

则由更新后的数据均值

和数据标准差

对高斯分布

进行更新，即可得到更新之后的高斯分布

此时的混合高斯分布为

3)若不成立则说明风险等级d₂与高斯分布

匹配失败，则得到一个新的高斯分布

其中，

为风险等级d₂的数据标准差；x为当前对应的风险等级；

为风险等级d₂的数据均值；

4)对混合高斯分布中的多个高斯分布

分配权重，以得到最终的混合高斯分布；

5)将风险等级d₃与混合高斯分布中的每一个高斯分布进行匹配；

重复遍历D₁中的所有数值，即d₁，d₂，d₃，...，d_m，得到最终数据段t₁对应的混合高斯分布f₁；

(3)重复按照(2)中的方法，获得每个数据段的混合高斯分布以及对应的混合高斯分布曲线。

2.根据权利要求1所述的基于度量学习与视觉感知的设备风险检测方法，其特征在于，所述第i个所述设备的高斯分布相似度的获取方法，包括：

所述第i个所述设备的高斯分布相似度的计算公式为：

其中，fⁱ为第i个所述设备的最终高斯分布；argmax(fⁱ)为fⁱ取最大值时对应的所述风险等级；N(argmax(fⁱ)，1)为均值取argmax(fⁱ)的正态分布；DTW()为DTW距离。

3.根据权利要求1所述的基于度量学习与视觉感知的设备风险检测方法，其特征在于，所述标准关联总变差是根据历史数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度，包括：

所述标准关联总变差的计算公式为：

其中，L₀为所述标准关联总变差；E为所有所述设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的所述风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Fⁱ为第i个设备的历史数据的最终高斯分布函数对应的风险概率序列；F^j为第j个设备的历史数据的最终高斯分布函数对应的风险概率序列；max(Fⁱ)为第i个设备的所述风险概率序列中最大风险概率；argmax(Fⁱ)为第i个设备上的所述最大风险概率对应的风险等级；max(F^j)为第j个设备的所述风险概率序列中最大风险概率；argmax(F^j)为第j个设备上的所述最大风险概率对应的风险等级。

4.根据权利要求1所述的基于度量学习与视觉感知的设备风险检测方法，其特征在于，所述实时关联总变差是根据实时数据中同一时段采集的设备图像中多个设备的预测风险等级的概率的相似度，包括：

所述实时关联总变差的计算公式为：

其中，L_u为所述实时关联总变差；E为所有所述设备的集合；i，j∈E为属于E集合的第i个设备和第j个设备；w_i，j为第i个设备和第j个设备的所述风险等级的差异；g_i为第i个设备的关注度；g_j为第j个设备的关注度；Z_i为第i个设备的实时数据对应的实时风险概率序列；Z_j为第j个设备的实时数据对应的实时风险概率序列；max(Z_i)为第i个设备的所述实时风险概率序列中实时最大风险概率；argmax(Z_i)为第i个设备上的所述实时最大风险概率对应的实时风险等级；max(Z_j)为第j个设备的所述实时风险概率序列中实时最大风险概率；argmax(Z_j)为第j个设备上的所述实时最大风险概率对应的实时风险等级。

5.根据权利要求3或4所述的基于度量学习与视觉感知的设备风险检测方法，其特征在于，所述关注度的获取方法，包括：

所述关注度的计算公式为：

其中，g_i为第i个所述设备的所述关注度；B_i为第i个所述设备的所述风险波动指标；B_j为第j个所述设备的所述风险波动指标；Num为所有所述设备的数量。

6.根据权利要求1所述的基于度量学习与视觉感知的设备风险检测方法，其特征在于，所述设备风险检测网络的损失函数为交叉熵损失函数和关联总变差的均方差损失函数之和，包括：

所述损失函数的构建公式为：

其中，M为所述设备的训练批次中训练数据的数量；

为第k个设备对应的风险检测网络输出的第u个训练数据属于c类风险等级的预测风险概率；

为第k个设备中第u个训练数据属于c类风险等级；L_u为第k个设备的第u个训练数据以及其他设备的与第u个训练数据相同位置处的训练数据输入各自的所述设备风险检测网络得到的所述实时关联总变差；L₀为所述标准关联总变差。

Images