CN117671918A - 一种基于边缘服务器的社区特殊区域安全识别方法与*** - Google Patents

Abstract

本发明公开了一种基于边缘服务器的特殊区域安全识别方法与***，属于图像信息识别处理技术领域，该方法利用边缘AI服务器赋能传统摄像头，实现视频数据本地化处理和储存，从而避免了数据传输延迟和网络宽带不足的问题。通过视频预处理技术，删除冗余帧，优化视频编码，能在保证视频质量的情况下，有效较少视频的数据量，为后续视频数据的传输和存储以及AI处理分析节约成本，提高效率。在传统地AI算法基础上，结合社区特殊区域异常特征数据模型，通过结合图像特征以及区域异常数据特征进行双向分析，提高***地识别率。通过场景不断积累存储异常区域图像和数据，对AI识别模型以及特殊区域异常特征数据模型进行训练，提高算法的精准度。

Description

一种基于边缘服务器的社区特殊区域安全识别方法与***

技术领域

本发明属于图像信息识别处理技术领域，具体涉及一种基于边缘服务器的社区特殊区域安全识别方法与***。

背景技术

目前，随着安防技术的快速发展，视频AI技术逐渐成为社区特殊区域安全保障的重要手段。然而，传统的视频AI技术主要分为采用AI摄像头以及采用普通摄像头加云端AI服务器两种类型。

采用AI摄像头，通过端侧AI算法识别特殊区域特征。在这种模式下，摄像头需要集成AI能力，传统摄像头无法满足要求，对于已经安装有传统摄像头的社区，则是需要重新采购，成本较高。另外由于摄像头算力的限制，无法适配不同的特殊区域场景，需要对摄像头算法配置精细化运维，维护成本大。

采用普通摄像头加云端AI服务器，将所采集到的监控视频传输到云端进行AI识别，不仅流量成本高昂，而且还存在数据传输延迟较以及隐私泄露等问题，限制了其应用范围和效果。

同时，传统AI识别模型需要部署多个不同的模型，后期也需要分别进行维护。不仅算法成本高，算力基础设施成本高。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种基于边缘服务器的社区特殊区域安全识别方法与***。

一种基于边缘服务器的社区特殊区域安全识别方法，包括以下步骤：

S1：视频监控设备通过摄像头对特殊区域进行实时监控，采集视频数据；

S2：对采集到的视频数据进行预处理，去除冗余信息、降低分辨率、压缩编码；

S3：将经过预处理后的视频数据传输到边缘AI服务器，边缘服务器对视频数据进行本地处理，采用通用视觉语义分割和提取算法模型SAM(Segment Anything Model)，检测区域内是否存在消防通道堵塞、楼道杂物堆积、楼道徘徊以及天台周界防护区域常见异常人和物，并将相应画面帧提取为关键帧；

S4：根据关键帧所在场景，结合AI识别结果和特殊区域异常特征数据模型进行区域异常结果判断，得到分析结果；

S5：将分析结果以及特殊区域监控视频上传至云端服务器中，进行报警。

优选的，步骤S2中所述去除冗余信息的步骤如下：通过分块搜索法(HierarchicalBilck-Matching)，将当前帧划分成一系列的图像块，然后将每一个图像块跟之前的帧图像进行对比，在之前的帧图像中搜索与当前快最相似的图像块，进而获取两个连续视频帧之间的运动信息；提取视频序列中相邻帧之间的运动信息，来判断当前帧相对于前一帧是否有运动变化；认定存在运动变化的当前帧为有效帧并进行保留，去除无运动变化的当前帧。

优选的，步骤S2中所述压缩编码，通过采用H.264、H.265等视频编码算法，在保证视频质量的情况下减少视频数据量。

优选的，步骤S3边缘服务器采用通用视觉语义分割和提取算法模型SAM对视频数据进行本地处理步骤为：

步骤S31：边缘服务器利用SAM算法对视频数据进行图像分割；

步骤S32：通过设定的安全区域关键提示词库(prompt)提取关键部分，例如:(prompt：提取图片消防栓)获取消防栓的信息；

步骤S33：保存异常视频图像信息、异常图像区域和异常标记，作为现场图像证据。

优选的，步骤S4中所述异常特征数据模型为无图识别模型，结合区域场景、图像提取的结果，特殊区域异常特征数据模型进行匹配分析，包括：异常物品分布情况、异常人物出现时间以及次数进行记录，得出异常情况分析结果。

其中，分析结果主要包括以下几部分：

消防通道是否堵塞：消防通道地主要作用是为火灾发生时提供安全疏散通道，如果消防通道被堵塞，人们在火灾发生时无法即使逃离，增加了逃生时的困难和危险，同时，还会妨碍消防队员和救援人员进入事故现场，影响消防设备的使用，进而可能会导致在火灾发生时，无法快速有效的对火势进行控制，所以对于消防通道的监控视频内容，需要注意是否有人或物品堵塞消防通道，对出现有人或物堵塞消防通道的画面，采集视频中人或物在通道内出现的次数、时间以及堵塞通道的程度等特征，所述堵塞通道的程度包括通道宽度被遮挡的比例等相关信息；

楼道杂物堆积：楼道杂物堆积会为人员的正常出入带来不便，同时也容易引起火灾，同时在火灾发生的时候，堆积在楼道中的杂物可能会成为燃料，加速火势蔓延，影响人员逃生，因此需要对楼道监控并对楼道上堆积的杂物进行及时的清理，所以对于楼道的监控画面，需要采集视频中楼道杂物堆积的面积、高度、分布情况以及存在时长等相关信息；

楼道徘徊：人员在楼道徘徊有可能会引入货源，如吸烟、使用明火、玩火等行为，也是容易引起火灾的一种情况，同时，在楼道内徘徊的人员可能会进行非法活动、而已破坏或者盗窃等违法行为，对此，监控记录能够作为取证或调查时的重要依据，预防和打击违法行为，所以需要对楼道徘徊人员进行及时发现并处理，需要采集楼道区域的监控视频中相应人员徘徊的时间、位置、频率等相关信息；

天台周界防护：对于天台的监控，需要注意天台周界是否有人或物进入，避免人或物在天台周界发生坠楼或高空坠物等险情，所以需要采集天台区域监控视频中天台周界范围出现的人或物的次数、时间以及进入天台的程度等信息；

公共休闲区：判断公共休闲区是否有人员摔倒，需要注意人员摔倒事件以及人员摔倒位置。

优选的，步骤S5中所述分析结果上传至云端服务器前，先将特殊区域异常结果的数据存储在相应的特殊区域异常特征数据模型中。

优选的，步骤S5中云端服务器，用户可以通过终端设备远程访问云端服务器，查看和管理特殊区域的监控视频和异常情况分析结果。

另一方面，本发明还提供了一种基于边缘服务器的社区特殊区域安全识别***，该***应用上述基于边缘服务器的社区特殊区域安全识别方法来实现社区特殊区域安全识别。

优选的，所述***包括：

摄像头：用于实时监控，采集视频数据；

视频处理设备：用于对监控视频的收集、预处理、去除冗余信息、降低分辨率、压缩编码，以及对监控视频的储存；

边缘AI服务器：用于进行视频数据处理，AI识别提取信息以及与特殊区域异常特征数据模型匹配；

社区监控报警平台：用于对异常结果、相关监控进行储存，以及为相关管理人员提供远程报警。

本发明的有益效果为：

1.利用边缘AI服务器赋能传统摄像头，通过在边缘服务器上进行数据处理，实现视频数据本地化处理和储存，从而避免了数据传输延迟和网络宽带不足的问题，同时，无需替换社区现存的传统摄像头设备，节约成本。

2.通过视频预处理技术，删除冗余帧，优化视频编码，能在保证视频质量的情况下，有效较少视频的数据量，为后续视频数据的传输和存储以及AI处理分析节约成本，提高效率。

3.利用通用视觉语义分割和提取算法模型SAM和特殊区域安全检控的方式，利用通用视觉分割算法的泛化能力，一个AI模型+不同的识别规则提示词规则实现多场景的区域安全检测，无需部署多个不同的模型，降低了社区的监控成本，同时，只需要增加新的予以提取规则，即可扩展新的区域安全检测能力。

4.在利用AI算法的基础上，结合社区特殊区域异常特征数据模型，通过图像特征以及区域异常数据特征的双向分析，有效提高***识别的准确率。通过场景不断积累存储异常区域图像和数据，持续对AI识别模型以及特殊区域异常特征数据模型进行训练，能够不断提高算法的精准度。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明在一实施例中提供的方法流程图；

图2为本发明在一实施例中提供的***结构图；

图3为本发明在一实施例中提供的AI算法识别流程图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

根据图1-2所示，本实施例提供的一种基于边缘服务器的社区特殊区域安全识别方法，包括以下步骤：

S1：视频监控设备通过摄像头对特殊区域进行实时监控，采集视频数据；

S2：对采集到的视频数据进行预处理，去除冗余信息、将其分辨率、压缩编码；

S3：将经过预处理后的视频数据传输到边缘AI服务器，边缘服务器对视频数据进行本地处理，采用通用视觉语义分割和提取算法模型SAM，检测区域内是否存在消防通道堵塞、楼道杂物堆积、楼道徘徊以及天台周界防护区域常见异常人和物，并将相应画面帧提取为关键帧；

S4：根据关键帧所在场景，结合AI识别结果和特殊区域异常特征数据模型进行区域异常结果判断，得到分析结果；

其中，AI识别结果包括被提取为关键帧的画面帧，以及该画面中的各种特征。

S5：将分析结果以及特殊区域监控视频上传至云端服务器中，进行报警。

利用边缘AI服务器赋能传统摄像头，无需更换社区现存的传统摄像头，通过在边缘服务器上进行数据处理，实现视频数据本地化处理和储存，从而避免了使用云服务器的过程中，数据传输延迟以及网络宽带不足的问题，同时减少向社区外部位置传输数据能够减少被网络攻击的机会，使本地设备能够更安全地运行，远离潜在的拦截或数据泄露。

同时，视频中的相邻帧通常会参在大量的重复内容，例如人物静止不动、无异常人或物体进入监控范围等画面，通过视频预处理技术，去除视频中这些重复的帧，删除冗余数据，优化视频编码，能在保证视频质量的情况下，有效较少视频的数据量，为后续视频数据的传输和存储以及AI处理分析节约成本，提高效率。

步骤S2中所述去除冗余信息的步骤如下：通过分块搜索法，将视频中当前显示的画面作为当前帧，将当前帧划分成一系列的图像块，然后将每一个图像块跟之前的帧图像进行搜索对比，在之前的帧图像中搜索出与当前块最相似的图像块，进而获取两个连续视频帧之间的运动信息；提取视频序列中相邻帧之间的运动信息，来判断当前帧相对于前一帧是否存在的运动变化；认定相比前一帧存在有运动变化的当前帧为有效帧并进行保留，去除无运动变化的当前帧。

使用分块搜索法，通过判断监控视频中相邻两帧的画面是否存在运动变化，将视频帧划分成为有效帧以及无效帧，去除不存在运动变化的无效帧，能够有效去除监控视频中存在的大量重复无可用信息的画面，减轻视频数据的传输和存储成本，也能减少后续AI识别的识别量，提高效率。

步骤S2中所述压缩编码，通过采用H.264、H.265等视频编码算法，在保证视频质量的情况下减少视频数据量。

请参考图3，步骤S3中，边缘服务器采用通用视觉语义分割和提取算法模型SAM对视频数据进行本地处理步骤为：

步骤S31：边缘服务器利用SAM算法对视频数据进行图像分割；

步骤S32：通过设定的安全区域关键提示词库(prompt)提取关键部分，例如:(prompt：提取图片消防栓)获取消防栓的信息；

步骤S33：保存异常视频图像信息、异常图像区域和异常标记，作为现场图像证据。

SAM模型可以为图像或视频中的任何物体生成"遮罩"，甚至是它以前没有遇到过的物体和图像。遮罩是一种技术，包括根据物体边缘的对比度变化来识别物体，并将其与场景的其他部分分开。SAM的通用性足以覆盖广泛的用例，并且不需要再进行额外的训练。

SAM结合了交互式分割和自动分割两种常见的分割方法，前者是人类通过迭代完善一个遮罩来指导模型，后者是模型在经过数百或数千个注释对象的训练后自行完成。

利用通用视觉语义分割和提取算法模型SAM和特殊区域安全检控的方式，利用通用视觉分割算法的泛化能力，一个AI模型+不同的识别规则提示词规则实现多场景的区域安全检测，无需部署多个不同的模型，降低了社区的监控成本，同时，只需要增加新的予以提取规则，即可扩展新的区域安全检测能力。

步骤S4中所述异常特征数据模型为无图识别模型，结合区域场景、图像提取的结果，特殊区域异常特征数据模型进行匹配分析，包括：异常物品分布情况、异常人物出现时间以及次数进行记录，得出异常情况分析结果。

其中，分析结果包括以下几部分：

消防通道是否堵塞：消防通道地主要作用是为火灾发生时提供安全疏散通道，如果消防通道被堵塞，人们在火灾发生时无法即使逃离，增加了逃生时的困难和危险，同时，还会妨碍消防队员和救援人员进入事故现场，影响消防设备的使用，进而可能会导致在火灾发生时，无法快速有效的对火势进行控制，所以对于消防通道的监控视频内容，需要注意是否有人或物品堵塞消防通道，对出现有人或物堵塞消防通道的画面，采集视频中人或物在通道内出现的次数、时间以及堵塞通道的程度等特征，如通道宽度被遮挡的比例等相关信息；

楼道杂物堆积：楼道杂物堆积会为人员的正常出入带来不便，同时也容易引起火灾，同时在火灾发生的时候，堆积在楼道中的杂物可能会成为燃料，加速火势蔓延，影响人员逃生，因此需要对楼道监控并对楼道上堆积的杂物进行及时的清理，所以对于楼道的监控画面，需要采集视频中楼道杂物堆积的面积、高度、分布情况以及存在时长等相关信息；

楼道徘徊：人员在楼道徘徊有可能会引入货源，如吸烟、使用明火、玩火等行为，也是容易引起火灾的一种情况，同时，在楼道内徘徊的人员可能会进行非法活动、而已破坏或者盗窃等违法行为，对此，监控记录能够作为取证或调查时的重要依据，预防和打击违法行为，所以需要对楼道徘徊人员进行及时发现并处理，需要采集楼道区域的监控视频中相应人员徘徊的时间、位置、频率等相关信息；

天台周界防护：对于天台的监控，需要注意天台周界是否有人或物进入，避免人或物在天台周界发生坠楼或高空坠物等险情，所以需要采集天台区域监控视频中天台周界范围出现的人或物的次数、时间以及进入天台的程度等信息；

公共休闲区：判断公共休闲区是否有人员摔倒，需要注意人员摔倒事件以及人员摔倒位置。

建立所述特殊区域异常特征数据模型，需要人工对异常情况的类型进行设置，如针对楼道区域的特殊区域异常特征数据模型，则是需要人工根据实际情况预设物体在占据楼道多少面积、存放多长时间为出现楼道杂物堆积，建立起相应的异常情况判断标准，避免物品临时摆放于楼道上等相关画面被误判为异常情况。

通过将AI识别与特殊区域异常特征数据模型相结合，能够提高***对监控画面的分析能力，提高***的识别率。

步骤S5中所述分析结果上传至云端服务器前，先将特殊区域异常结果的数据存储在相应的特殊区域异常特征数据模型中。

通过把异常情况的相关信息存储到相应的特殊区域异常特征数据模型中，不断完善特殊区域异常特征数据模型，通过对AI识别模型以及特殊区域异常特征数据模型的不断训练，不断提高算法的精准度。

步骤S5中云端服务器，用户可以通过终端设备远程访问云端服务器，查看和管理特殊区域的监控视频和异常情况分析结果。

通过将异常情况上传至云服务器，便于相关管理人员，对特殊区域进行远程监控，同时，便于巡查人员及时发现异常情况，并对异常情况进行相应的处理。

将监控视频上传至服务器，能够将相关数据进行备份处理，同时减缓本地设备的存储压力。

本发明的另一实施例还公开了一种基于边缘服务器的社区特殊区域安全识别***，该***应用上述基于边缘服务器的社区特殊区域安全识别方法来实现社区特殊区域安全识别。

根据图2所示，该***拥有以下设备：

摄像头：用于实时监控，采集视频数据。

视频处理设备：用于对监控视频的收集、预处理、去除冗余信息、降低分辨率、压缩编码，以及对监控视频的储存。

边缘AI服务器：用于进行视频数据处理，AI识别提取信息以及与特殊区域异常特征数据模型匹配。

社区监控报警平台：用于对异常结果、相关监控进行储存，以及为相关管理人员提供远程报警。

所述视频处理设备采用视频处理服务器。

***通过摄像头对社区特殊区域进行实时监控，采集视频数据。摄像头将所采集的视频传输至视频处理服务器后，视频处理服务器对视频进行预处理，去除冗余信息、降低分辨率、压缩编码。而后，***将经过预处理的视频传输至边缘AI服务器，边缘服务器对视频数据进行本地处理，识别特殊区域内是否存在异常情况，并提取相应信息。而后，***将AI识别提取到的信息与特殊区域异常特征数据模型进行匹配得出处理结果，并对异常信息存储到特殊区域异常特征数据模型中。最后，***将异常情况上传至报警平台，并触发警报。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，包括以下步骤：

S1：视频监控设备通过摄像头对特殊区域进行实时监控，采集视频数据；

S2：对采集到的视频数据进行预处理，去除冗余信息、降低分辨率、压缩编码；

S3：将经过预处理后的视频数据传输到边缘AI服务器，边缘服务器对视频数据进行本地处理，采用通用视觉语义分割和提取算法模型SAM，检测区域内是否存在消防通道堵塞、楼道杂物堆积、人员摔倒、楼道徘徊以及天台周界防护区域常见异常人和物，并将相应画面帧提取为关键帧；

S4：根据关键帧所在的场景，结合AI识别结果和特殊区域异常特征数据模型进行区域异常结果判断，得到分析结果；

S5：将分析结果以及特殊区域监控视频上传至云端服务器中，进行报警。

2.根据权利要求1所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S2中所述去除冗余信息的步骤如下：通过分块搜索法，将当前帧划分成一系列的图像块，然后将每一个图像块跟之前的帧图像进行对比，在之前的帧图像中搜索与当前快最相似的图像块，进而获取两个连续视频帧之间的运动信息；提取视频序列中相邻帧之间的运动信息，来判断当前帧相对于前一帧是否有运动变化；认定存在运动变化的当前帧为有效帧并进行保留，去除无运动变化的当前帧。

3.根据权利要求2所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S2中所述压缩编码，通过采用H.264或H.265视频编码算法，在保证视频质量的情况下减少视频数据量。

4.根据权利要求1所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S3边缘服务器采用通用视觉语义分割和提取算法模型SAM对视频数据进行本地处理步骤为：

步骤S31：边缘服务器利用SAM算法对视频数据进行图像分割；

步骤S32：通过设定的安全区域关键提示词库提取关键部分；

步骤S33：保存异常视频图像信息、异常图像区域和异常标记，作为现场图像证据。

5.根据权利要求1所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S4中所述异常特征数据模型为无图识别模型，结合区域场景、图像提取的结果，特殊区域异常特征数据模型进行匹配分析，包括：异常物品分布情况、异常人物出现时间以及次数进行记录。

6.根据权利要求1所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S5中所述分析结果上传至云端服务器前，先将特殊区域异常结果的数据存储在相应的特殊区域异常特征数据模型中。

7.根据权利要求1所述的一种基于边缘服务器的社区特殊区域安全识别方法，其特征在于，步骤S5中云端服务器，用户可以通过终端设备远程访问云端服务器，查看和管理特殊区域的监控视频和异常情况分析结果。

8.一种基于边缘服务器的社区特殊区域安全识别***，其特征在于，该***具体采用权利要求1-7任一项所述的一种基于边缘服务器的社区特殊区域安全识别方法来实现社区特殊区域安全识别。

9.根据权利要求8所述的一种基于边缘服务器的社区特殊区域安全识别***，其特征在于，该***包括：

摄像头：用于实时监控，采集视频数据；

视频处理设备：用于对监控视频的收集、预处理、去除冗余信息、降低分辨率、压缩编码，以及对监控视频的储存；

边缘AI服务器：用于进行视频数据处理，AI识别提取信息以及与特殊区域异常特征数据模型匹配；

社区监控报警平台：用于对异常结果、相关监控进行储存，以及为相关管理人员提供远程报警。