CN117830320A - 一种基于图像识别的显示屏显示异常检测方法及*** - Google Patents

Abstract

本发明公开了一种基于图像识别的显示屏显示异常检测方法及***，涉及显示屏技术领域，包括：得到第一特征图像和第二特征图像；将至少一个图像的其余图像作为验证图像；得到至少一个疑似异常区域；判断疑似异常区域在至少一个验证图像中的图像是否均一致，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一；若至少一个疑似异常区域均为显示正常区域，则判断显示屏显示正常，若存在一个疑似异常区域为显示异常区域，则判断显示屏显示异常。通过设置特征提取模块、异常检测模块和判断模块，从而能及时对显示屏设备发生的异常上报后进行维修，延长显示屏设备的寿命。

Description

一种基于图像识别的显示屏显示异常检测方法及***

技术领域

本发明涉及显示屏技术领域，具体是涉及一种基于图像识别的显示屏显示异常检测方法及***。

背景技术

显示屏设备被广泛用作广告机，安装在电梯、公共交通工具和候机室等人流量较大的地方，用于投放图片或视频广告，这些显示屏设备由广告运营商统一进行管理和维护。

显示屏设备发生异常时，通常为部分区域黑屏、白屏或忽明忽暗的闪烁，忽明忽暗的闪烁是以一定的频率切换显示较亮的图像和较暗的图像。显示屏通常采用轮巡的方式，即每隔一段时间对显示屏设备进行检修，或是由安装点的相关负责人员在显示屏设备发生异常上报后进行维修。但这种方式也不能及时地发现显示屏存在的异常情况。由于异常不及时地被发现而得不到及时维护，容易缩短显示屏设备的寿命。

发明内容

为解决上述技术问题，提供一种基于图像识别的显示屏显示异常检测方法及***，本技术方案解决了上述背景技术中提出的显示屏通常采用轮巡的方式，即每隔一段时间对显示屏设备进行检修，或是由安装点的相关负责人员在显示屏设备发生异常上报后进行维修。但这种方式也不能及时地发现显示屏存在的异常情况。由于异常不及时地被发现而得不到及时维护，容易缩短显示屏设备的寿命的问题。

为达到以上目的，本发明采用的技术方案为：

一种基于图像识别的显示屏显示异常检测方法，包括：

获取显示屏的连续播放的至少一个图像，对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

将至少一个图像的其余图像作为验证图像；

对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

在至少一个验证图像中对疑似异常区域进行异常检测，判断疑似异常区域在至少一个验证图像中的图像是否均一致，若是，则判断疑似异常区域为显示异常区域，若否，则获取疑似异常区域在至少一个验证图像中不一致的两个图像，作为第一验证图像和第二验证图像，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一，若是，则判断疑似异常区域为显示异常区域，若否，则判断疑似异常区域为显示正常区域；

若至少一个疑似异常区域均为显示正常区域，则判断显示屏显示正常，若存在一个疑似异常区域为显示异常区域，则判断显示屏显示异常。

优选的，所述在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像包括以下步骤：

获取至少一帧图像中的第一图像和第二图像；

计算第一图像和第二图像的图像像素差值；

将第一图像和第二图像中相同位置的像素点的像素值作差并取绝对值，得到像素值差；

累加所有像素值差，得到第一图像和第二图像的图像像素差值；

判断图像像素差值是否大于预设值，若是，则将第一视频帧图像和第二视频帧图像分别作为第一特征图像和第二特征图像，若否，则不作任何处理。

优选的，所述对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域包括以下步骤：

在第一特征图像和第二特征图像中对相同位置的像素点的RGB值作差并取绝对值，得到RGB差值；

获取RGB差值小于预设值的像素点，作为相同特征点；

将距离小于预设间距的相同特征点归为同一区域，得到至少一个疑似异常区域。

优选的，所述判断疑似异常区域在至少一个验证图像中的图像是否均一致包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为疑似区域图像；

获取至少一个疑似区域图像中第一疑似区域图像和第二疑似区域图像；

计算第一疑似区域图像和第二疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到RGB疑似差值；

累加RGB疑似差值，得到疑似区域判断值；

判断疑似区域判断值是否大于预设值，若是，则第一疑似区域图像和第二疑似区域图像不一致，若否，则第一疑似区域图像和第二疑似区域图像一致；

第一疑似区域图像和第二疑似区域图像遍历至少一个疑似区域图像中的所有图像组合，若第一疑似区域图像和第二疑似区域图像均一致，则判断疑似异常区域在至少一个验证图像中的图像均一致，若否，则判断疑似异常区域在至少一个验证图像中的图像不一致。

优选的，所述判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为第三验证图像；

计算第一疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第一RGB差值；

累加第一RGB差值，得到第一RGB判断差值；

计算第二疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第二RGB差值；

累加第二RGB差值，得到第二RGB判断差值；

判断第一RGB判断差值或第二RGB判断差值是否小于预设值，若是，则第三验证图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理；

第三验证图像遍历疑似异常区域在至少一个验证图像中的图像，若第三验证图像均为第一验证图像或第二验证图像的其中之一，则判断疑似异常区域在至少一个验证图像中的图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理。

一种基于图像识别的显示屏显示异常检测***，用于实现上述的基于图像识别的显示屏显示异常检测方法，包括：

图像获取模块，所述图像获取模块获取显示屏的连续播放的至少一个图像；

RGB建模模块，所述RGB建模模块对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

图像比较模块，所述图像比较模块在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

特征提取模块，所述特征提取模块对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

异常检测模块，所述异常检测模块在至少一个验证图像中对疑似异常区域进行异常检测；

判断模块，所述判断模块判断疑似异常区域在至少一个验证图像中的图像是否均一致，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一。

与现有技术相比，本发明的有益效果在于：

通过设置特征提取模块、异常检测模块和判断模块，能对黑屏、白屏或忽明忽暗的闪烁进行区分判断，从而自主对不同条件下的显示屏进行判断，进而得出显示屏是否存在异常，从而能及时对显示屏设备发生的异常上报后进行维修，进而保证在显示屏异常初期，就发现异常，并对异常进行处理，延长显示屏设备的寿命。

附图说明

图1为本发明的基于图像识别的显示屏显示异常检测方法流程示意图；

图2为本发明的在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像流程示意图；

图3为本发明的对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域流程示意图；

图4为本发明的判断疑似异常区域在至少一个验证图像中的图像是否均一致流程示意图；

图5为本发明的判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

参照图1所示，一种基于图像识别的显示屏显示异常检测方法，包括：

获取显示屏的连续播放的至少一个图像，对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

将至少一个图像的其余图像作为验证图像；

对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

在至少一个验证图像中对疑似异常区域进行异常检测，判断疑似异常区域在至少一个验证图像中的图像是否均一致，若是，则判断疑似异常区域为显示异常区域，若否，则获取疑似异常区域在至少一个验证图像中不一致的两个图像，作为第一验证图像和第二验证图像，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一，若是，则判断疑似异常区域为显示异常区域，若否，则判断疑似异常区域为显示正常区域；

若至少一个疑似异常区域均为显示正常区域，则判断显示屏显示正常，若存在一个疑似异常区域为显示异常区域，则判断显示屏显示异常。

参照图2所示，在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像包括以下步骤：

获取至少一帧图像中的第一图像和第二图像；

计算第一图像和第二图像的图像像素差值；

将第一图像和第二图像中相同位置的像素点的像素值作差并取绝对值，得到像素值差；

累加所有像素值差，得到第一图像和第二图像的图像像素差值；

判断图像像素差值是否大于预设值，若是，则将第一视频帧图像和第二视频帧图像分别作为第一特征图像和第二特征图像，若否，则不作任何处理；

在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像的目的是寻找到至少一帧图像中不同的图像，也即是第一特征图像和第二特征图像，由于存在故障时显示屏显示为黑屏、白屏或闪烁屏，而黑屏、白屏的图像为单一的一种，闪烁屏图像为两种，分别为亮色和暗色；

因此，在不同的第一特征图像和第二特征图像中，相同的区域就是黑屏、白屏的图像，在进行相同特征提取，会被作为疑似异常区域；

当有多组第一特征图像和第二特征图像时，则必定有一组第一特征图像和第二特征图像的闪烁屏图像同时为亮色或同时为暗色，因此，也会在进行相同特征提取，作为疑似异常区域。

参照图3所示，对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域包括以下步骤：

在第一特征图像和第二特征图像中对相同位置的像素点的RGB值作差并取绝对值，得到RGB差值；

获取RGB差值小于预设值的像素点，作为相同特征点；

将距离小于预设间距的相同特征点归为同一区域，得到至少一个疑似异常区域；

对第一特征图像和第二特征图像进行相同特征提取时，首先，得到相同的像素点，对像素点进行聚合，得到疑似异常区域。

参照图4所示，判断疑似异常区域在至少一个验证图像中的图像是否均一致包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为疑似区域图像；

获取至少一个疑似区域图像中第一疑似区域图像和第二疑似区域图像；

计算第一疑似区域图像和第二疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到RGB疑似差值；

累加RGB疑似差值，得到疑似区域判断值；

判断疑似区域判断值是否大于预设值，若是，则第一疑似区域图像和第二疑似区域图像不一致，若否，则第一疑似区域图像和第二疑似区域图像一致；

第一疑似区域图像和第二疑似区域图像遍历至少一个疑似区域图像中的所有图像组合，若第一疑似区域图像和第二疑似区域图像均一致，则判断疑似异常区域在至少一个验证图像中的图像均一致，若否，则判断疑似异常区域在至少一个验证图像中的图像不一致；

判断疑似异常区域在至少一个验证图像中的图像是否均一致的目的是对于黑屏或白屏的情况进行检测，当疑似异常区域为黑屏或白屏的情况时，则在至少一个验证图像中的图像均为黑屏或白屏，因此，必然一致。

参照图5所示，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为第三验证图像；

计算第一疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第一RGB差值；

累加第一RGB差值，得到第一RGB判断差值；

计算第二疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第二RGB差值；

累加第二RGB差值，得到第二RGB判断差值；

判断第一RGB判断差值或第二RGB判断差值是否小于预设值，若是，则第三验证图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理；

第三验证图像遍历疑似异常区域在至少一个验证图像中的图像，若第三验证图像均为第一验证图像或第二验证图像的其中之一，则判断疑似异常区域在至少一个验证图像中的图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理；

判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一的目的是对闪烁屏的情况进行检测，由于闪烁屏为相同的亮图像和暗图像两种，而这两种情况分别对应的是第一验证图像或第二验证图像，因此，当疑似异常区域为闪烁屏时，则疑似异常区域在至少一个验证图像中的图像为第一验证图像或第二验证图像的其中之一，因此，可以将其作为判断依据。

一种基于图像识别的显示屏显示异常检测***，用于实现上述的基于图像识别的显示屏显示异常检测方法，包括：

图像获取模块，所述图像获取模块获取显示屏的连续播放的至少一个图像；

RGB建模模块，所述RGB建模模块对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

图像比较模块，所述图像比较模块在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

特征提取模块，所述特征提取模块对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

异常检测模块，所述异常检测模块在至少一个验证图像中对疑似异常区域进行异常检测；

判断模块，所述判断模块判断疑似异常区域在至少一个验证图像中的图像是否均一致，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一。

上述基于图像识别的显示屏显示异常检测***的工作过程如下：

步骤一：图像获取模块获取显示屏的连续播放的至少一个图像，RGB建模模块对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

步骤二：图像比较模块在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

步骤三：将至少一个图像的其余图像作为验证图像；

步骤四：特征提取模块对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

步骤五：异常检测模块在至少一个验证图像中对疑似异常区域进行异常检测，判断模块判断疑似异常区域在至少一个验证图像中的图像是否均一致，若是，则判断疑似异常区域为显示异常区域，若否，则获取疑似异常区域在至少一个验证图像中不一致的两个图像，作为第一验证图像和第二验证图像，判断模块判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一，若是，则判断疑似异常区域为显示异常区域，若否，则判断疑似异常区域为显示正常区域；

步骤六：若至少一个疑似异常区域均为显示正常区域，则判断显示屏显示正常，若存在一个疑似异常区域为显示异常区域，则判断显示屏显示异常。

再进一步的，本方案还提出一种存储介质，其上存储有计算机可读程序，计算机可读程序被调用时执行上述的基于图像识别的显示屏显示异常检测方法。

可以理解的是，存储介质可以是磁性介质，例如，软盘、硬盘、磁带；光介质例如，DVD；或者半导体介质例如固态硬盘SolidStateDisk，SSD等。

综上所述，本发明的优点在于：通过设置特征提取模块、异常检测模块和判断模块，能对黑屏、白屏或忽明忽暗的闪烁进行区分判断，从而自主对不同条件下的显示屏进行判断，进而得出显示屏是否存在异常，从而能及时对显示屏设备发生的异常上报后进行维修，进而保证在显示屏异常初期，就发现异常，并对异常进行处理，延长显示屏设备的寿命。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (6)

1.一种基于图像识别的显示屏显示异常检测方法，其特征在于，包括：

获取显示屏的连续播放的至少一个图像，对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

将至少一个图像的其余图像作为验证图像；

对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

在至少一个验证图像中对疑似异常区域进行异常检测，判断疑似异常区域在至少一个验证图像中的图像是否均一致，若是，则判断疑似异常区域为显示异常区域，若否，则获取疑似异常区域在至少一个验证图像中不一致的两个图像，作为第一验证图像和第二验证图像，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一，若是，则判断疑似异常区域为显示异常区域，若否，则判断疑似异常区域为显示正常区域；

若至少一个疑似异常区域均为显示正常区域，则判断显示屏显示正常，若存在一个疑似异常区域为显示异常区域，则判断显示屏显示异常。

2.根据权利要求1所述的一种基于图像识别的显示屏显示异常检测方法，其特征在于，所述在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像包括以下步骤：

获取至少一帧图像中的第一图像和第二图像；

计算第一图像和第二图像的图像像素差值；

将第一图像和第二图像中相同位置的像素点的像素值作差并取绝对值，得到像素值差；

累加所有像素值差，得到第一图像和第二图像的图像像素差值；

判断图像像素差值是否大于预设值，若是，则将第一视频帧图像和第二视频帧图像分别作为第一特征图像和第二特征图像，若否，则不作任何处理。

3.根据权利要求2所述的一种基于图像识别的显示屏显示异常检测方法，其特征在于，所述对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域包括以下步骤：

在第一特征图像和第二特征图像中对相同位置的像素点的RGB值作差并取绝对值，得到RGB差值；

获取RGB差值小于预设值的像素点，作为相同特征点；

将距离小于预设间距的相同特征点归为同一区域，得到至少一个疑似异常区域。

4.根据权利要求3所述的一种基于图像识别的显示屏显示异常检测方法，其特征在于，所述判断疑似异常区域在至少一个验证图像中的图像是否均一致包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为疑似区域图像；

获取至少一个疑似区域图像中第一疑似区域图像和第二疑似区域图像；

计算第一疑似区域图像和第二疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到RGB疑似差值；

累加RGB疑似差值，得到疑似区域判断值；

判断疑似区域判断值是否大于预设值，若是，则第一疑似区域图像和第二疑似区域图像不一致，若否，则第一疑似区域图像和第二疑似区域图像一致；

第一疑似区域图像和第二疑似区域图像遍历至少一个疑似区域图像中的所有图像组合，若第一疑似区域图像和第二疑似区域图像均一致，则判断疑似异常区域在至少一个验证图像中的图像均一致，若否，则判断疑似异常区域在至少一个验证图像中的图像不一致。

5.根据权利要求4所述的一种基于图像识别的显示屏显示异常检测方法，其特征在于，所述判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一包括以下步骤：

获取疑似异常区域在至少一个验证图像中的图像，作为第三验证图像；

计算第一疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第一RGB差值；

累加第一RGB差值，得到第一RGB判断差值；

计算第二疑似区域图像和第三疑似区域图像中相同位置像素点的RGB值的差并取绝对值，得到第二RGB差值；

累加第二RGB差值，得到第二RGB判断差值；

判断第一RGB判断差值或第二RGB判断差值是否小于预设值，若是，则第三验证图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理；

第三验证图像遍历疑似异常区域在至少一个验证图像中的图像，若第三验证图像均为第一验证图像或第二验证图像的其中之一，则判断疑似异常区域在至少一个验证图像中的图像为第一验证图像或第二验证图像的其中之一，若否，则不作任何处理。

6.一种基于图像识别的显示屏显示异常检测***，用于实现如权利要求1-5任一项所述的基于图像识别的显示屏显示异常检测方法，其特征在于，包括：

图像获取模块，所述图像获取模块获取显示屏的连续播放的至少一个图像；

RGB建模模块，所述RGB建模模块对至少一个图像进行RGB三色建模，得到至少一个图像中每个像素点的RGB值；

图像比较模块，所述图像比较模块在至少一个图像中进行差异比较，得到至少一组第一特征图像和第二特征图像；

特征提取模块，所述特征提取模块对第一特征图像和第二特征图像进行相同特征提取，得到至少一个疑似异常区域；

异常检测模块，所述异常检测模块在至少一个验证图像中对疑似异常区域进行异常检测；

判断模块，所述判断模块判断疑似异常区域在至少一个验证图像中的图像是否均一致，判断疑似异常区域在至少一个验证图像中的图像是否为第一验证图像或第二验证图像的其中之一。