CN113033548A - 用于机组运行状态判断及监控对点的图像识别方法 - Google Patents

Abstract

本发明公开了机组运行状态判断及监控对点的图像识别方法，包括步骤：获取标准状态DI板图像；识别标准状态DI板指示灯状态及板卡信息；生成标准信号点表；获取DI板图像；识别DI板指示灯状态及板卡信息；生成信号点表；对比信号点表与标准信号点表，判断输出。本发明采用的图像识别算法提高了图像识别的正确率；使指示灯的定位达到较高的准确率；输出的状态对比、点亮或未点亮的信号点表，方便现场人员快速查看机组哪些信号点状态不正确，有利于现场人员针对性地检查和对点，能够较快速地判断机组运行状态，在较大程度上提高监控对点和故障查找效率。

Description

用于机组运行状态判断及监控对点的图像识别方法

技术领域

本发明属于图像识别技术领域，尤其涉及机组运行状态判断及监控对点的图像识别方法。

背景技术

水电站发电机组通常由现地控制单元(Local Control Unit，以下简称LCU)进行控制。水电站发电机组主机和辅机设备的运行状态均接入机组LCU，同时机组LCU也会发出各种指令，对发电机组主机和辅机对象进行控制。机组LCU一般布置在水电站生产设备附近，是水电站计算机监控***的底层控制单元。

对水电站发电机组主机和辅机设备的运行状态采集，通常由机组LCU的DI(Digital Input)板完成。

DI板上的每一个小指示灯亮或灭，指示了机组LCU所采集到的一个信号状态，如进水口球阀的开或关、制动闸的顶起或落下、接力器锁定的投入或拔出、断路器的分闸或合闸等。例如，第1块DI板上的第28个灯的“亮”状态，指示机组LCU控制方式在“现地”；第4块DI板上的第12个灯的“亮”状态，指示机组出口断路器处于合闸状态。

水电站机组的DI板上一般有数百个指示灯，所有指示灯组成的阵列表征了机组运行的不同状态。水电站机组主要有停机、空转、空载和并网4种标准状态，每一种标准状态对应所有指示灯中哪些亮和哪些灭，形成每一种标准状态对应于所有指示灯亮或灭组成的标准信号点表。当某个指示灯不满足当前机组状态对应的标准信号点表时，说明可能有设备、元件及开关处于异常状态，需要检查异常原因并及时处理。

目前，数百个指示灯的检查方法一种是通过人工现场巡查，通过人眼识别来判断DI板上是否有指示灯处于异常状态；另一种检查方法是人工查看计算机监控***操作员站的事件表和报警表，来判断相关设备运行状态是否正常。

采用目前的人工巡查方式时，当有多台机组，每台机组数百个指示灯，会导致一次人工巡查的工作量大，花费的时间较多，而且人眼可能疲劳，存在出错的风险，缺点主要体现在：

(1)可能出现漏查和误查：对于机组运行状态正常与否，现场人员是在监控画面、事件表和报警表上查看的，查看需要一定的时间，而且可能会漏查某些设备的运行状态信号，同时可能会出现误查的情况；

(2)工作效率低：在新建水电站或机组检修时进行监控对点、查找故障时，现场人员首先需要查看机组LCU的DI信号点表后确定某个信号是哪个DI板上的哪个信号灯，然后在对应的DI板上查看该信号灯是否点亮，这种查看方式也需要一定的时间，影响监控对点和查找故障的工作效率。

导致原因：

(1)通过监控画面、事件表和报警表查看机组运行状态，现场人员需要在计算机监控***操作员站上频繁切换画面，并逐条查看相关的事件表和报警表，因此这种方式花费的时间较多，且可能存在漏查或误查的信号点；

(2)在进行监控对点和查找故障时，由于机组LCU接入的DI信号点多达数百个，需核对和查看的DI信号点较多，而且现场人员查看DI信号点表中的某个信号点以及找到这个信号点对应哪个DI板的哪个信号灯均需要一定的时间，因此监控对点和查找故障需花费的时间较多，且工作效率较低。

发明内容

本发明的目的就在于为了解决上述问题而提供用于机组运行状态判断及监控对点的图像识别方法，包括如下步骤：

获取机组在标准状态工作时的DI板图像；

识别机组在标准状态工作时的DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组在标准状态工作时的DI板图像识别结果生成标准信号点表；

获取机组DI板图像；

识别机组DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组DI板图像识别结果生成信号点表；

对比信号点表与标准信号点表，判断是否一致，若一致则提示正常，若不一致则输出不一致的指示灯对应的板卡信息。

本发明的有益效果在于：本发明采用的图像识别算法能较好地检测和定位机组DI板图像中的信号指示灯位置，并能准确识别出信号指示灯的亮、灭状态；采用的颜色空间特征提取方法能提高图像识别中特征工程的特征维度，提高图像识别的正确率；采用的模板匹配算法、动态规划算法、几何定位和区域选择算法，能使指示灯的定位达到较高的准确率；识别并输出的状态对比、点亮或未点亮的信号点表，方便现场人员快速地查看到目前机组哪些信号点状态不正确，有利于现场人员针对性地检查和对点，能够较快速地判断机组运行状态，在较大程度上提高监控对点和故障查找效率。

附图说明

图1是本发明的流程原理图；

图2是基于PLSA算法的颜色属性训练的流程图；

图3是基于模板匹配、动态规划、几何定位和区域选择的识别流程图。

具体实施方式

下面结合附图对本发明作进一步说明：

如附图1所示，本发明用于机组运行状态判断及监控对点的图像识别方法，包括如下步骤：

获取机组在标准状态工作时的DI板图像；

识别机组在标准状态工作时的DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组在标准状态工作时的DI板图像识别结果生成标准信号点表；

获取机组DI板图像；

识别机组DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组DI板图像识别结果生成信号点表；

对比信号点表与标准信号点表，判断是否一致，若一致则提示正常，若不一致则输出不一致的指示灯对应的板卡信息。

具体的，所述识别机组在标准状态工作时的DI板图像的过程包括：

输入机组DI板图像；

颜色属性训练，建立原始二维RGB空间到十一维颜色属性空间的概率映射关系，并用概率分布来代替原始的像素值；

将DI板图像从原始RGB颜色空间映射到11维颜色属性空间进行颜色特征的提取；

对图像采用形态学开闭运算处理；

对图像采用腐蚀和膨胀处理，再利用二值图像轮廓提取函数计算得到指示灯轮廓，计算得到轮廓最小外接圆，完成对指示灯的位置识别。

具体的，所述颜色属性训练过程包括：

建立LAB空间颜色直方图，将原始RGB图像转换为LAB图像；

LAB颜色空间直方图中的每个bin对应PLSA模型中的词汇，计算出每个bin在图像中出现的概率，通过EM算法估计图像中各种颜色属性的特定混合系数，图像中与已知标签相同的颜色被赋予高于设定值的概率值，得到颜色属性分布。

具体的，所述板卡信息包括DI点的信号编号、序号、名称中的一种或多种。

具体的，所述机组标准状态包括停机、空转、空载、并网。

具体的，所述输出指示灯的位置的过程具体包括：

模板匹配出所有包含设定编号的指示灯的位置，根据指示灯的圆心位置推算出其一侧相邻的指示灯的圆心位置；

采用动态规划的方法进行筛选和甄别，确定出指示灯的准确位置；

采用几何定位和区域选择算法，根据每个指示灯位置的圆圈内亮度大小及颜色特征来判断该指示灯亮或灭。

采用具有图像采集、图像识别处理功能的终端(如基于Android***的手机)，对水电站机组LCU机架相邻的DI板信号指示灯进行图像识别，自动比较出所拍图像与已保存的该台机组标准状态(停机、空转、空载、并网)图像对应的标准信号点表之间有哪些信号灯不一致，并自动输出不一致的信号点表；同时能够识别任一张拍摄的图像中哪些信号灯不亮和哪些信号灯亮，并输出识别后的信号点表。

打开摄像机，利用其选框的4个定位点正对DI板进行拍摄，保证拍照的位置正对且几何形变不严重，且包含全部DI板，有利于图像识别和处理，保证每张拍摄的DI板图像清晰度、角度和大小范围。

识别全部DI板上每一个指示灯的亮或灭的状态，以及该指示灯对应的板卡编号和序号，即该指示灯在DI板上的位置(图像识别正确率≥95％，图像识别后输出信号点表的正确率≥95％)。

关联DI板指示灯图像与信号点表，通过对比后直接输出所需要的信号点表，分别是2张图像之间有哪些信号不一致、任意1张图像中哪些信号满足(指示灯亮)和任意1张图像中哪些信号不满足(指示灯不亮)等。每台机组的4种标准状态(停机、空转、空载、并网)对应的DI板信号灯指示状态图像不完全一致，每台机组的4种标准状态图像分别保存后生成标准信号点表，比对图像时与相同机组对应的标准状态进行对比。

信号点表内容包括DI点的信号名称及编号。信号点表的格式采用xls格式。通过对机组4种标准状态下的图像进行拍照和识别，可生成标准状态下的DI信号点表。

DI板信号指示灯状态识别：启动相机，对准机组LCU的全部DI板拍照。拍照后可进行“状态对比”，将当前拍的机组状态的DI板指示灯图像转换生成信号点表后与***已保存的该台机组该标准状态的信号点表进行对比，输出不一致的DI信号点表，注明不一致情况，即对比标准信号点表后判断信号灯是亮或者不亮；也可进行“点亮或未点亮”识别，识别当前拍的某台机组DI板指示灯图像，输出当前图像中点亮或未点亮的DI信号点表。

DI板信号指示灯的检测和识别是根据信号指示灯的颜色、形状等特征，分析图像内容，找出信号指示灯位置并加以识别的过程。本发明采用一种基于颜色属性的信号指示灯检测识别方法，通过将输入图像从原始RGB颜色空间映射到11维颜色属性空间进行颜色特征的提取，能准确地检测出指示灯位置并识别指示灯亮、灭状态。

颜色属性作为一种基于潜在语义模型的特殊颜色空间算法属性，其在很大程度上改善了原始观测的RGB颜色的鲁棒性，通过从带有颜色标签信息的自然图像中选取11种较为常见的基本颜色(黑色、蓝色、棕色、灰色、绿色、橘色、粉色、紫色、红色、白色以及黄色)作为颜色属性，建立起原始二维RGB空间到11维颜色属性空间的概率映射关系，并用概率分布来代替原始的像素值。由于颜色属性建立起了观测颜色和本质颜色之间的映射关系，因而能够适应光照等变化造成的颜色失真，实现颜色特征的鲁棒表示。

颜色属性的训练基于概率潜在语义分析(PLSA)算法。PLSA算法来源于自然语言处理研究，通过将显性的文档和词汇关系抽象出潜在主题并以概率的形式表达出来。假设D＝{d1…,dN}和W＝{w1…,wN}分别表示文档集合和词汇集合，其中d1表示第1个文档，dN表示第N个文档，w1表示第1个词汇，wN表示第N个文档，n(d,w)表示词汇w出现在文档d的次数。PLSA算法只考虑词汇在文档中的出现频率，忽略其出现的先后次序。假设“文档—词汇”之间以及它们所包含的潜在主题都是独立分布的，那么，联合概率分布p(d,w)可定义为：

p(d,w)＝p(d)p(w|d)

其中，p(d)表示某个文档d出现的概率，p(w|d)表示某个文档d中出现词汇w的条件概率。

采用最大期望(EM)算法和最大化似然函数进行求解，似然函数如下：

其中，L表示似然函数，是在已知p(d,w)参数情况下的整体概率估计。这里采用对数似然函数，便于计算和优化。

颜色属性训练采用PLSA算法，如附图2所示。图像和像素点作为已知样本，分别对应于文档d和词汇w，图像内的颜色属性对应于特征属性。首先为带有颜色标签的图像建立LAB空间颜色直方图，由于LAB颜色空间是用来描述人眼可见的所有颜色的最完备的色彩模型，因此先将原始RGB图像转换为LAB图像，LAB颜色空间直方图中的每个bin对应PLSA模型中的词汇，可计算出每个bin在图像中出现的概率，以信号指示灯为例,在训练颜色属性时，将信号指示灯图像的bin对应于颜色属性来进行训练，然后将颜色属性数量设为11，每种颜色属性为上述11种基本颜色，通过EM算法(极大似然期望最大算法)估计每幅图像中各种颜色属性的特定混合系数，图像中与已知标签相同的颜色被赋予较高的概率，最终得到颜色属性分布。

在得到颜色属性分布后，就能确定某个像素点属于某种颜色的概率。以红色指示灯为例，当开状态时，得到开状态时像素点属于红色的分布，并得到二值化图像；当关状态时，得到关状态时像素点属于红色的分布，并得到二值化图像。通过对这两幅二值化图像进行像素点的差异化比对，可得到红色指示灯的像素轮廓分布。

颜色特征图像能够高效地将信号指示灯与背景分离开来,从而实现指示灯分割。在某颜色特征图像中对同一指示灯区域进行特征提取与分割时，会出现多个颜色分割块的现象。当背景出现某颜色像素点时，可能是非指示灯区域，从而形成噪音像素区域，为了解决这一问题，本发明采用形态学方法解决非指示灯区域内的空洞问题并去除噪音像素点。采用形态学中的开闭运算处理后的图像，其指示灯区域分割完整且非指示灯区域无噪音像素点出现。指示灯区域虽然整体出现高亮，但其边缘出现一些像素空洞，对特征图像进行形态学处理，采用腐蚀和膨胀操作，使原始图像中的指示灯轮廓变得较为清晰，再利用二值图像轮廓提取函数计算得到指示灯轮廓，并进一步计算得到轮廓最小外接圆，完成对信号指示灯的位置识别。

指示灯识别核心算法分为三个步骤：1)模板匹配出所有带有“D”字指示灯右边编号的位置，然后根据“D”的位置推算出其左边相邻的指示灯的圆心位置；2)假设整个DI面板的指示灯实际只有256个，通过计算得到的圆心位置可能超过256个。由于这256个指示灯的位置服从几何分布规律，所以采用动态规划的方法进行筛选和甄别，从而确定出这256个指示灯的准确位置；3)采用几何定位和区域选择算法，根据每个指示灯位置的圆圈内亮度大小及颜色特征来判断该指示灯亮或灭。基于模板匹配、动态规划、几何定位和区域选择的识别流程图如附图3所示。

本发明利用图像识别算法对水电站机组LCU机架的DI板信号指示灯图像进行识别，并将该图像识别算法集成到移动终端，实现标准DI信号点表维护、DI板标准状态图像导入生成信号点表、DI板信号指示灯状态对比、点亮识别或未点亮识别等功能。通过对机组LCU的全部DI板拍照，在选择状态对比、点亮识别或未点亮识别功能后，分别输出当前所拍图像与标准状态图像中不一致的信号点表或输出当前图像中点亮或未点亮的信号点表。

采用PLSA算法进行颜色属性训练，训练得到的11维特征图像用于图像识别与位置提取；对11维特征图像进行形态学处理，包括腐蚀和膨胀等操作，能更加准确地提取出指示灯位置；利用模板匹配算法和动态规划算法来定位每个指示灯的位置。

本发明采用图像识别和处理技术对水电站机组运行状态进行判断，并将其应用到监控对点和查找故障中。利用图像识别移动终端对水电站机组LCU机架的DI板信号指示灯图像进行识别，并将DI板指示灯图像与信号点表进行关联，能自动输出状态对比、点亮或未点亮的信号点表。现场人员打开输出的信号点表，就能快速地查看到目前机组哪些信号点状态不正确，然后有针对性地去检查和对点。现场人员在需要时使用该图像识别移动终端，能在较大程度上提高判断机组运行状态、监控对点和查找故障等的工作效率，并降低工作强度。

此外，该图像识别终端内置各台机组4种标准状态的DI信号点表，并能对每台机组这4种标准状态的信号点表进行修改、保存和导入；同时还具有DI板标准状态图像维护功能，通过对标准图像的识别也可以生成标准状态的DI信号点表，以供相关设备技术改造后的机组状态图像对比；采用图像识别算法能较好地检测和定位DI板图像中的信号指示灯位置，并能准确识别出信号指示灯的亮、灭状态；颜色空间特征提取方法能提高图像识别中特征工程的特征维度，提高图像识别的正确率；采用模板匹配算法、动态规划算法、几何定位和区域选择算法，能使指示灯的定位达到较高的准确率。

通过对水电站机组的4种标准状态下LCU机架相邻的DI板信号指示灯进行图像识别，自动识别出目前所拍图像对应的信号点的亮、灭分布情况，并分别与已保存的该台机组4种标准状态(停机、空转、空载、并网)对应的标准信号点表进行对比，分析有哪些信号灯不一致，并自动一次性的输出比较结果；同时可识别任一张拍摄的图像中哪些信号灯不亮和哪些信号灯亮，并自动一次性的输出识别结果，供现场人员查看和分析，给机组运行状态判断以及监控对点、故障查找等提供依据和指导。现场人员根据该比较或识别结果，有针对性地去检查和对点，能够较快速地判断机组运行状态，在较大程度上提高监控对点和故障查找效率，特别是对于新建水电站机组投运和已投产水电站机组检修，其效果更为明显。

本发明不仅可用于指示灯的识别，还可推广和应用到更多场景下的图像识别和处理中。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (6)

1.用于机组运行状态判断及监控对点的图像识别方法，其特征在于，包括如下步骤：

获取机组在标准状态工作时的DI板图像；

识别机组在标准状态工作时的DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组在标准状态工作时的DI板图像识别结果生成标准信号点表；

获取机组DI板图像；

识别机组DI板图像上每一个指示灯的状态以及指示灯对应的板卡信息；

关联DI板图像与信号点表，根据机组DI板图像识别结果生成信号点表；

对比信号点表与标准信号点表，判断是否一致，若一致则提示正常，若不一致则输出不一致的指示灯对应的板卡信息。

2.根据权利要求1所述用于机组运行状态判断及监控对点的图像识别方法，其特征在于，所述识别机组标准状态工作时的DI板图像的过程包括：

输入机组DI板图像；

颜色属性训练，建立原始二维RGB空间到十一维颜色属性空间的概率映射关系，并用概率分布来代替原始的像素值；

将DI板图像从原始RGB颜色空间映射到11维颜色属性空间进行颜色特征的提取；

对图像采用形态学开闭运算处理；

对图像采用腐蚀和膨胀处理，再利用二值图像轮廓提取函数计算得到指示灯轮廓，计算得到轮廓最小外接圆，完成对指示灯的位置识别。

3.根据权利要求2所述用于机组运行状态判断及监控对点的图像识别方法，其特征在于，所述颜色属性训练过程包括：

建立LAB空间颜色直方图，将原始RGB图像转换为LAB图像；

LAB颜色空间直方图中的每个bin对应PLSA模型中的词汇，计算出每个bin在图像中出现的概率，通过EM算法估计图像中各种颜色属性的特定混合系数，图像中与已知标签相同的颜色被赋予高于设定值的概率值，得到颜色属性分布。

4.根据权利要求2所述用于机组运行状态判断及监控对点的图像识别方法，其特征在于，所述输出指示灯的位置的过程具体包括：

模板匹配出所有包含设定编号的指示灯的位置，根据指示灯的圆心位置推算出其一侧相邻的指示灯的圆心位置；

采用动态规划的方法进行筛选和甄别，确定出指示灯的准确位置；

采用几何定位和区域选择算法，根据每个指示灯位置的圆圈内亮度大小及颜色特征来判断该指示灯亮或灭。

5.根据权利要求1所述用于机组运行状态判断及监控对点的图像识别方法，其特征在于，所述板卡信息包括DI点的信号编号、序号、名称中的一种或多种。

6.根据权利要求1所述用于机组运行状态判断及监控对点的图像识别方法，其特征在于，所述机组标准状态包括停机、空转、空载、并网。

Images