CN118233623A - 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** - Google Patents
基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** Download PDFInfo
- Publication number
- CN118233623A CN118233623A CN202211633935.4A CN202211633935A CN118233623A CN 118233623 A CN118233623 A CN 118233623A CN 202211633935 A CN202211633935 A CN 202211633935A CN 118233623 A CN118233623 A CN 118233623A
- Authority
- CN
- China
- Prior art keywords
- image
- real
- information board
- target
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 100
- 238000012544 monitoring process Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims description 46
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 24
- 230000005856 abnormality Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请提供基于监控画面的高速情报板故障检测方法、装置、介质、终端及***，属于高速情报板故障检测领域，本发明的技术方案自动化程度高，在***运行过程中能够自动读取可自动确认情报板无故障，无需人工手动控制。覆盖全面，摄像头可以将高速所有情报板全部拍摄，没有遗漏。实时性高，摄像头监控情报板的播放状态，没有时间差，信息实时性高，可以快速确认，延时低。使用简便，对于用户而言，***无需过多操作。仅需***提示故障时，人工二次确认即可。大大降低人工操作复杂程度，无需肉眼确认每个情报板状态。
Description
技术领域
本申请涉及高速情报板故障检测领域，特别是涉及基于监控画面的高速情报板故障检测方法、装置、介质、终端及***。
背景技术
目前，高速情报板是高速公路交通状况及交通信息发布的重要设备，情报板的屏板可能会产生显示异常、亮度异常等故障，从而影响重要信息发布。及时发现情报板故障，并对情报板进行维修，确保情报板正常运行，对降低交通拥堵和交通事故的发生概率，保障道路交通顺畅及车辆的安全行驶至关重要。
目前，高速情报板故障产生后，检测到故障的方式如下：
(1)人工通过非专用摄像头单独确认是否存在故障；
(2)对于未被摄像头覆盖的情报板，需要采用人工巡检的方式；
(3)其他方式获取情报板实际情况，然后人工现场确认是否出现故障。
但是，上述这些现有方式确认情报板是否产生故障，存在周期长、实时性差、成本高等问题。因此本领域亟需一种可以实时自动检测情报板故障的方法。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供基于监控画面的高速情报板故障检测方法、装置、介质、终端及***，用于解决现有技术中无法快速检测情报板故障并精准识别情报板故障类型的技术问题。
为实现上述目的及其他相关目的，本申请的第一方面提供一种基于监控画面的高速情报板故障检测方法，包括：获取情报板需要发布的目标图像；获取实时采集到的情报板当前所播放的实时图像；对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对；将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
于本申请的第一方面的一些实施例中，对所述实时图像与所述目标图像进行图像对齐处理的方式包括：对所述目标图像和实时图像进行特征提取以分别得到对应的多维特征向量；对所述目标图像和实时图像的多维特征向量进行距离计算，以得到目标图像和实时图像的相似度值；根据相似度值剔除不满足相似度要求的异常图像对，并提取保留的异常图像对的配对索引信息，以作为所述目标检测网络的输入参数。
于本申请的第一方面的一些实施例中，包括：对所述目标图像和实时图像进行特征提取以分别得到目标图像的N维特征向量以及实时图像的M维特征向量；将所述N维特征向量和M维特征向量两两计算距离得到矩阵CM，并在所述矩阵CM上得到维度为M的距离最大值向量；计算所述距离最大值向量的平均值以作为目标图像和实时图像的相似度值；将计算得到的相似度值与预设阈值做比较，若低于所述预设阈值，则剔除对应的图像对，否则保留该图像对；提取保留的异常图像对的配对索引信息，以作为所述目标检测网络的输入参数。
于本申请的第一方面的一些实施例中，所述相似度值记为CS，相似度值CS的计算方式包括：其中，ai表示第i个目标图像的特征向量，bj表示第j个实时图像的特征向量，M表示实时图像的特征向量的维度值，N表示目标图像的特征向量的维度值。
于本申请的第一方面的一些实施例中，根据每一个bj与之配对的ai的索引Indexj提取出所述异常图像对的配对索引信息：其中，ai表示第i个目标图像的特征向量，bj表示第j个实时图像的特征向量。
于本申请的第一方面的一些实施例中，所述将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，其过程包括：在提取出异常图像对后，基于三维卷积神经网络对所述异常图像对中的实时图像和目标图像进行特征提取，以分别得到实时特征图和目标特征图；将所述实时特征图和目标特征图进行特征融合处理，以得到融合后的总特征图；将所述总特征图输入所述已训练的目标检测网络进行异常类型检测，并输出异常区域的位置信息及异常类型信息。
于本申请的第一方面的一些实施例中，所述三维卷积神经网络包括多个卷积层，每个卷积层都对实时图像和目标图像进行特征提取，且提取到的每个卷积层上的特征图都进行特征融合处理。
于本申请的第一方面的一些实施例中，所述目标检测网络的训练方式包括：选取一YOLOv5目标检测模型作为待训练模型；获取用于训练YOLOv5目标检测模型的训练集以及用于测试该模型的测试集；其中，所述训练集和测试集均包括多个由实时图像和目标图像构成的图像对；设定一目标函数并基于所述训练集对YOLOv5目标检测模型进行训练直至模型收敛；对训练后的YOLOv5目标检测模型基于所述测试集进行测试，以得到最终的用于输出异常区域的位置信息及异常类型信息的目标检测网络。
为实现上述目的及其他相关目的，本申请的第二方面提供一种基于监控画面的高速情报板故障检测装置，包括：图像获取模块，用于获取情报板需要发布的目标图像；并且，用于获取实时采集到的情报板当前所播放的实时图像；图像对齐模块，用于对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对；异常检测模块，用于将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
为实现上述目的及其他相关目的，本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于监控画面的高速情报板故障检测方法。
为实现上述目的及其他相关目的，本申请的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行基于监控画面的高速情报板故障检测方法。
为实现上述目的及其他相关目的，本申请的第五方面提供一种基于监控画面的高速情报板故障检测***，包括：情报板；播放控制***，其与所述情报板通信连接以控制所述情报板的播放内容；实时图像采集***，其与所述播放控制***通信连接；智能识别***，其与所述播放控制***和实时图像采集***通信连接，用于执行所述基于监控画面的高速情报板故障检测方法。
如上所述，本申请的基于监控画面的高速情报板故障检测方法、装置、介质、终端及***，具有以下有益效果：
(1)自动化程度高：在***运行过程中能够自动读取可自动确认情报板无故障，无需人工手动控制。
(2)覆盖全面：摄像头可以将高速所有情报板全部拍摄，没有遗漏。
(3)实时性高：摄像头监控情报板的播放状态，没有时间差，信息实时性高，可以快速确认，延时低。
(4)使用简便：对于用户而言，***无需过多操作。仅需***提示故障时，人工二次确认即可。大大降低人工操作复杂程度，无需肉眼确认每个情报板状态。
附图说明
图1显示为本申请一实施例中基于监控画面的高速情报板故障检测方法的流程示意图。
图2显示为本申请一实施例中图像对齐处理的流程示意图。
图3显示为本申请一实施例中相似度计算结构示意图。
图4显示为本申请一实施例中异常类型检测的流程示意图。
图5显示为本申请一实施例中基于三维卷积神经网络的特征融合流程示意图。
图6显示为本申请一实施例中基于监控画面的高速情报板故障检测装置结构示意图。
图7显示为本申请一实施例中电子终端的结构示意图。
图8显示为本申请一实施例中基于监控画面的高速情报板故障检测***的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
为解决上述背景技术中的问题，本发明提供基于监控画面的高速情报板故障检测方法、装置、介质、终端及***，旨在通过摄像头采集情报板实时画面，智能判断故障，实时报警，并在***中展示情报板实时播放画面，方便使用人员实时监控。
与此同时，为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
在对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释：
<1>YOLOv5：YOLOv5是当前YOLO系列最新的目标检测算法，YOLOv5网络采用One-Stage结构，由Input输入端、Backbone主干网络、Neck网络层和Head输出端4个部分组成。Input输入端具有Mosaic数据增强，自适应锚框计算以及自适应图片缩放功能。Backbone主干网络包括Focus结构、CSP结构以及空间金字塔池化结构，通过深度卷积操作提取图像中的不同层次特征。Neck网络层由特征金字塔和路径聚合网络组成。Head作为最后的检测，在大小不同的特征图上预测不同尺寸的目标。
<2>三维卷积神经网络：卷积神经网络是一种典型的深度学习方法，深度卷积神经网络通过模仿生物神经网络，低层表示细节，高层表示语义，能够通过大量的数据自动地训练出模型。一个典型的神经网络通常包括卷积层、池化层和全连接层，三维卷积神经网络的基本网络结构和二维卷积神经网络类似，是二维卷积神经网络的一种拓展，由输入层、卷积层、池化层、全连接层和输出层组成；卷积层和池化层交替设置；全连接层设置在输出层之前。三维卷积神经网络的卷积层和池化层的输入与输出都是三维的特征体。
本发明实施例提供基于监控画面的高速情报板故障检测方法、装置、介质、终端及***。就基于监控画面的高速情报板故障检测方法的实施而言，本发明实施例将对基于监控画面的高速情报板故障检测的示例性实施场景进行说明。
如图1所示，展示了本发明一实施例中基于监控画面的高速情报板故障检测方法的流程示意图，主要包括如下各步骤：
步骤S11：获取情报板需要发布的目标图像。
于本实施例中，所述目标图像是指情报板预设播放的画面内容，通常由控制该情报板的控制器向该情报板发送目标图像；其中，该控制器可以是CPU处理器、MCU处理器、FPGA处理器、DSP处理器、ASIC处理器等，本实施例不做限定。
在一些示例中，所述情报板主要用于展示高速信息，这些高速信息包括但不限于高速环境信息、高速路况信息等；高速环境信息包括但不限于：能见度信息、温湿度信息、天气信息等；高速路况信息包括但不限于高速流畅度信息(例如是否堵车或者是否发生车祸事故等)、道路异常信息(例如道路施工或者养护、交通管制通知等信息)。
在一些示例中，所述情报板可采用LED显示屏；该LED显示屏可以是整块屏幕或者由多块屏幕拼接而成。情报板按发布内容的不同，可以分为文字型情报板、图形发布型情报板以及图形文字混合型情报板。
应理解的是，本实施例中提及的“图像”包括但不限于：静态图像、动态图像或者视频等。静态图像可采用jpg、jpeg、tiff、png等格式；动态图像可采用gif格式；视频包括mkv、mp4、avi、mov等类型。
步骤S12：获取实时采集到的情报板当前所播放的实时图像。
于本实施例中，所述实时图像是由图像采集装置对准高速情报板的播放画面实时采集得到的图像。其中，图像采集装置可以是摄像模组，所述摄像模组包括摄像装置、存储装置和处理装置。所述摄像装置包括但不限于：照相机、视频摄像机、集成有光学***或CCD芯片的摄像模块、集成有光学***和CMOS芯片的摄像模块等。
进一步地，图像采集装置与情报板可以是一对一的关系，即一个图像采集装置专门采集一块情报板的播放画面；图像采集装置与情报板也可以是一对多的关系，即一个图像采集装置可对应采集多块情报板的播放画面，以节约设备资源；抑或，图像采集装置与情报板也可以是多对一的关系，即多个图像采集装置采集同一块情报板的播放画面，以在其中一个图像采集装置损坏的情况下有备用的图像采集装置，从而不影响情报板的故障检测。
步骤S13：对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对。
于本实施例中，对所述实时图像与所述目标图像进行图像对齐处理的过程如图2所示，主要包括：
步骤S131：对所述目标图像和实时图像进行特征提取以分别得到对应的多维特征向量。
为便于描述，下文以实时图像对应提取得到M维特征向量以及目标图像对应提取得到N维特征向量为例进行说明；其中，M和N均为大于1的整数。
步骤S132：对所述目标图像和实时图像的多维特征向量进行距离计算，以得到目标图像和实时图像的相似度值。
于本实施例中，所述相似度值的计算过程如下：
将所述N维特征向量和M维特征向量两两计算距离得到矩阵CM，并在所述矩阵CM上得到维度为M的距离最大值向量；计算所述距离最大值向量的平均值以作为目标图像和实时图像的相似度值。
更具体而言：所述相似度值记为CS，相似度值CS的计算方式包括：
其中，ai表示第i个目标图像的特征向量，bj表示第j个实时图像的特征向量，M表示实时图像的特征向量的维度值，N表示目标图像的特征向量的维度值。
为便于理解，以图3为例来说明M维特征向量和N维特征向量的结构：序列{b1,b2,…,bj,…,bM}表示实时图像对应提取得到M维特征向量；序列{a1,a2,…,ai,…,aN}表示目标图像对应提取到的N维特征向量；其中，CS11表示a1与b1两两计算得到的距离值；基于同样的道理，CSMN表示bM与aN两两计算得到的距离值。
需说明的是，上述距离值用于表示相似程度，具体可使用如下方式中的任一种或多种计算得到：余弦距离、欧氏距离、马氏距离、相关系数等。
结合公式1，CS表示序列{a1,a2,…,ai,…,aN}和{b1,b2,…,bj,…,bM}之间总体的相似度情况，即CS的具体计算方式是指，先计算每一行距离值中的最大值；然后计算这些最大值的平均值，以作为最终的相似度值。
步骤S133：根据相似度值剔除不满足相似度要求的异常图像对，并提取保留的异常图像对的配对索引信息，以作为所述目标检测网络的输入参数。
于本实施例中，所谓不满足相似度要求的异常图像对，主要是指实时图像的内容与目标图像的内容不一致的情况。举例来说，若目标图像应是道路段的实时路况，而实时图像却为非道路画面或画面直接为空等等。
值得说明的是，本发明实施例的主要用途主要在于检测情报板自身的问题，而对于上述所列举的播放内容出错导致的相似度过低的问题，并不是本发明重点想要解决的一类问题，故为了节约计算资源也为了降低计算量，通过相似度值将播放内容出错的一类异常图像对预先进行剔除。
于本实施例中，所述提取保留的异常图像对的配对索引信息，其方式包括：
根据每一个bj与之配对的ai的索引Indexj提取出所述异常图像对的配对索引信息，具体的计算方式包括：
其中，ai表示第i个目标图像的特征向量，bj示第j个实时图像的特征向量。
值得注意的是：本发明实施例采用的是图像对的配对索引信息作为目标检测网络的输入参数，而非直接使用异常图像对本身作为目标检测网络的输入参数，其目的在于：索引信息所占用的存储空间很小，而图像本身所占用的存储空间会很大，目标检测网络通过索引信息能够在存储空间中找到图像对，通过调用获取到图像对，这样既能实现图像调用又节约了存储空间，大大提升了存储资源的利用效率，也减少了模型训练的难度。
步骤S14：将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
于本实施例中，所述将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，其过程如图4所示，包括如下：
步骤S141：在提取出异常图像对后，基于三维卷积神经网络对所述异常图像对中的实时图像和目标图像进行特征提取，以分别得到实时特征图和目标特征图。
具体而言，三维卷积神经网络的基本网络结构和二维卷积神经网络类似，是二维卷积神经网络的一种拓展，由输入层、卷积层、池化层、全连接层和输出层组成；卷积层和池化层交替设置；全连接层设置在输出层之前。三维卷积神经网络的卷积层和池化层的输入与输出都是三维的特征体。三维卷积神经网络不仅能够保留序列空域特征信息，还能保存序列的时域特征信息，三维卷积神经网可直接获取视频序列的时空特征信息，且计算方便。
步骤S142：将所述实时特征图和目标特征图进行特征融合处理，以得到融合后的总特征图。
本发明实施例通过使用特征融合的技术手段，可以得到更多的小目标信息，从而提高相应的检测精度，小目标信息融合后数据量减少，计算复杂度降低、计算机易于实现、计算效率提高。
较为优选的，所述三维卷积神经网络包括多个卷积层，每个卷积层都对实时图像和目标图像进行特征提取，且提取到的每个卷积层上的特征图都进行特征融合处理，所述特征提取和特征融合的具体流程如图5所示。这样的优势在于：通过将每个卷积层上的特征图进行融合处理，可以进一步提高检测精度，降低计算复杂度。
步骤S143：将所述总特征图输入所述已训练的目标检测网络进行异常类型检测，并输出异常区域的位置信息及异常类型信息。
于本实施例中，所述目标检测网络算法可采用基于候选区域的算法(如R-CNN、Fast R-CNN、R-FCN等)，也可采用基于回归方法的算法(如YOLO、SSD、YOLOv系列等)。
应理解的是，所述异常类型包括但不限于情报板的亮度异常和/或显示缺失异常；这些异常通常都是由于LED灯珠损坏所导致；其中，亮度异常通常表现为亮度特别高、亮度特别低、亮度不均匀、亮度不稳定(即忽亮忽暗等情况)；显示缺失异常通常表现为情报板的一或多个局部区域不显示(即显示屏出现马赛克等情况)。
为便于理解，下文以YOLOv5模型为例来解释目标检测网络的训练方式及过程：
选取一YOLOv5目标检测模型作为待训练模型；获取用于训练YOLOv5目标检测模型的训练集以及用于测试该模型的测试集；其中，所述训练集和测试集均包括多个由实时图像和目标图像构成的图像对；设定一目标函数并基于所述训练集对YOLOv5目标检测模型进行训练直至模型收敛；对训练后的YOLOv5目标检测模型基于所述测试集进行测试，以得到最终的用于输出异常区域的位置信息及异常类型信息的目标检测网络。YOLOv5在目标检测中其精度和速度均有显著优势。
如图6所示，展示了本发明实施例中的一种基于监控画面的高速情报板故障检测装置的结构示意图。本实施例中，基于监控画面的高速情报板故障检测装置600包括：图像获取模块601，用于获取情报板需要发布的目标图像；并且，用于获取实时采集到的情报板当前所播放的实时图像；图像对齐模块602，用于对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对；异常检测模块603，用于将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
需要说明的是：上述实施例提供的基于监控画面的高速情报板故障检测装置在进行高速情报板故障检测时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的基于监控画面的高速情报板故障检测装置与基于监控画面的高速情报板故障检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于监控画面的高速情报板故障检测方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
于本申请提供的实施例中，所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、U盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外，任何连接都可以适当地称为计算机可读介质。例如，如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或者诸如红外线、无线电和微波之类的无线技术，从网站、服务器或其它远程源发送的，则所述同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而，应当理解的是，计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质，而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中，磁盘通常磁性地复制数据，而光盘则用激光来光学地复制数据。
如图7所示，展示了本发明一实施例中的电子终端的结构示意图。本发明实施例提供的基于监控画面的高速情报板故障检测方法可以应用于智能识别***，所述智能识别***可采用终端侧或服务器侧实施，就电子终端的硬件结构而言，请参阅图7，为本发明实施例提供的电子终端700的一个可选的硬件结构示意图，该终端700可以是移动电话、计算机设备、平板设备、个人数字处理设备、工厂后台处理设备等。电子终端700包括：至少一个处理器701、存储器702、至少一个网络接口704和用户接口706。装置中的各个组件通过总线***705耦合在一起。可以理解的是，总线***705用于实现这些组件之间的连接通信。总线***705除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线***。
其中，用户接口706可以包括显示器、键盘、鼠标、轨迹球、点击枪、按键、按钮、触感板或者触摸屏等。
可以理解，存储器702可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous StaticRandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
本发明实施例中的存储器702用于存储各种类别的数据以支持电子终端700的操作。这些数据的示例包括：用于在电子终端700上操作的任何可执行程序，如操作***7021和应用程序7022；操作***7021包含各种***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的基于监控画面的高速情报板故障检测方法可以包含在应用程序7022中。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器701可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的配件优化方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，电子终端700可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)，用于执行前述方法。
如图8所示，本发明实施例还提供一种基于监控画面的高速情报板故障检测***，该***包括：情报板；播放控制***，其与所述情报板通信连接以控制所述情报板的播放内容；实时图像采集***，其与所述播放控制***通信连接；智能识别***，其与所述播放控制***和实时图像采集***通信连接，用于执行上述实施例中的基于监控画面的高速情报板故障检测方法。
需说明的是，本发明实施例中的基于监控画面的高速情报板故障检测***，其实施方式与上文中基于监控画面的高速情报板故障检测方法相类似，此处不再赘述。
综上所述，本申请提供基于监控画面的高速情报板故障检测方法、装置、介质、终端及***，本发明自动化程度高，在***运行过程中能够自动读取可自动确认情报板无故障，无需人工手动控制。覆盖全面，摄像头可以将高速所有情报板全部拍摄，没有遗漏。实时性高，摄像头监控情报板的播放状态，没有时间差，信息实时性高，可以快速确认，延时低。使用简便，对于用户而言，***无需过多操作。仅需***提示故障时，人工二次确认即可。大大降低人工操作复杂程度，无需肉眼确认每个情报板状态。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (12)
1.一种基于监控画面的高速情报板故障检测方法，其特征在于，包括：
获取情报板需要发布的目标图像；
获取实时采集到的情报板当前所播放的实时图像；
对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对；
将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
2.根据权利要求1所述的基于监控画面的高速情报板故障检测方法，其特征在于，对所述实时图像与所述目标图像进行图像对齐处理的方式包括：
对所述目标图像和实时图像进行特征提取以分别得到对应的多维特征向量；
对所述目标图像和实时图像的多维特征向量进行距离计算，以得到目标图像和实时图像的相似度值；
根据相似度值剔除不满足相似度要求的异常图像对，并提取保留的异常图像对的配对索引信息，以作为所述目标检测网络的输入参数。
3.根据权利要求2所述的基于监控画面的高速情报板故障检测方法，其特征在于，包括：
对所述目标图像和实时图像进行特征提取以分别得到目标图像的N维特征向量以及实时图像的M维特征向量；
将所述N维特征向量和M维特征向量两两计算距离得到矩阵CM，并在所述矩阵CM上得到维度为M的距离最大值向量；计算所述距离最大值向量的平均值以作为目标图像和实时图像的相似度值；
将计算得到的相似度值与预设阈值做比较，若低于所述预设阈值，则剔除对应的图像对，否则保留该图像对；提取保留的异常图像对的配对索引信息，以作为所述目标检测网络的输入参数。
4.根据权利要求3所述的基于监控画面的高速情报板故障检测方法，其特征在于，所述相似度值记为CS，相似度值CS的计算方式包括：
其中，ai表示第i个目标图像的特征向量，bj表示第j个实时图像的特征向量，M表示实时图像的特征向量的维度值，N表示目标图像的特征向量的维度值。
5.根据权利要求3所述的基于监控画面的高速情报板故障检测方法，其特征在于，根据每一个bj与之配对的ai的索引Indexj提取出所述异常图像对的配对索引信息：
其中，ai表示第i个目标图像的特征向量，bj表示第j个实时图像的特征向量。
6.根据权利要求1所述的基于监控画面的高速情报板故障检测方法，其特征在于，所述将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，其过程包括：
在提取出异常图像对后，基于三维卷积神经网络对所述异常图像对中的实时图像和目标图像进行特征提取，以分别得到实时特征图和目标特征图；
将所述实时特征图和目标特征图进行特征融合处理，以得到融合后的总特征图；
将所述总特征图输入所述已训练的目标检测网络进行异常类型检测，并输出异常区域的位置信息及异常类型信息。
7.根据权利要求6所述的基于监控画面的高速情报板故障检测方法，其特征在于，所述三维卷积神经网络包括多个卷积层，每个卷积层都对实时图像和目标图像进行特征提取，且提取到的每个卷积层上的特征图都进行特征融合处理。
8.根据权利要求6所述的基于监控画面的高速情报板故障检测方法，其特征在于，所述目标检测网络的训练方式包括：
选取一YOLOv5目标检测模型作为待训练模型；
获取用于训练YOLOv5目标检测模型的训练集以及用于测试该模型的测试集；其中，所述训练集和测试集均包括多个由实时图像和目标图像构成的图像对；
设定一目标函数并基于所述训练集对YOLOv5目标检测模型进行训练直至模型收敛；
对训练后的YOLOv5目标检测模型基于所述测试集进行测试，以得到最终的用于输出异常区域的位置信息及异常类型信息的目标检测网络。
9.一种基于监控画面的高速情报板故障检测装置，其特征在于，包括：
图像获取模块，用于获取情报板需要发布的目标图像；并且，用于获取实时采集到的情报板当前所播放的实时图像；
图像对齐模块，用于对所述实时图像与所述目标图像进行图像对齐处理，以根据图像对齐处理结果来判断情报板是否播放异常并提取对应的异常图像对；
异常检测模块，用于将所提取的异常图像对输入已训练的目标检测网络进行异常类型检测，以输出异常区域的位置信息及异常类型信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述基于监控画面的高速情报板故障检测方法。
11.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述基于监控画面的高速情报板故障检测方法。
12.一种基于监控画面的高速情报板故障检测***，其特征在于，包括：
情报板；
播放控制***，其与所述情报板通信连接以控制所述情报板的播放内容；
实时图像采集***，其与所述播放控制***通信连接；
智能识别***，其与所述播放控制***和实时图像采集***通信连接，用于执行如权利要求1至8中任一项所述基于监控画面的高速情报板故障检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211633935.4A CN118233623A (zh) | 2022-12-19 | 2022-12-19 | 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211633935.4A CN118233623A (zh) | 2022-12-19 | 2022-12-19 | 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118233623A true CN118233623A (zh) | 2024-06-21 |
Family
ID=91511652
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211633935.4A Pending CN118233623A (zh) | 2022-12-19 | 2022-12-19 | 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118233623A (zh) |
-
2022
- 2022-12-19 CN CN202211633935.4A patent/CN118233623A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380232B2 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
| KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
| CN112669316B (zh) | 电力生产异常监控方法、装置、计算机设备和存储介质 | |
| US20100272364A1 (en) | Image editing system and method | |
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN111310770B (zh) | 目标检测方法和装置 | |
| US20220286599A1 (en) | Systems and methods for adjusting a monitoring device | |
| CN111815576B (zh) | 金属部件腐蚀状况检测方法、装置、设备和存储介质 | |
| CN113591758A (zh) | 一种人体行为识别模型训练方法、装置及计算机设备 | |
| CN110390813B (zh) | 基于车型鉴别的大数据处理*** | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN114170269A (zh) | 一种基于时空相关性的多目标跟踪方法、设备及存储介质 | |
| CN118233623A (zh) | 基于监控画面的高速情报板故障检测方法、装置、介质、终端及*** | |
| CN116453086A (zh) | 识别交通标志的方法、装置和电子设备 | |
| CN115346169B (zh) | 一种睡岗行为检测方法及*** | |
| CN113938673B (zh) | 一种智慧城市监控管理方法 | |
| CN115082758A (zh) | 目标检测模型的训练方法、目标检测方法、装置和介质 | |
| CN112201047B (zh) | 一种基于Flink框架的嫌疑车辆落脚点分析方法及装置 | |
| CN114550129A (zh) | 一种基于数据集的机器学习模型处理方法和*** | |
| CN114170271A (zh) | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 | |
| CN115619698A (zh) | 电路板缺陷的检测方法、装置及模型训练方法 | |
| CN112949490A (zh) | 设备动作检测方法、装置、电子设备及可读存储介质 | |
| CN112215042A (zh) | 一种车位限位器识别方法及其***、计算机设备 | |
| CN115272249B (zh) | 一种缺陷检测方法、装置、计算机设备和存储介质 | |
| KR102251898B1 (ko) | 태양 영상 노이즈 처리 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |