CN117478838B - 一种基于信息安全的分布式视频处理监管***及方法 - Google Patents

一种基于信息安全的分布式视频处理监管***及方法 Download PDF

Info

Publication number
CN117478838B
CN117478838B CN202311435215.1A CN202311435215A CN117478838B CN 117478838 B CN117478838 B CN 117478838B CN 202311435215 A CN202311435215 A CN 202311435215A CN 117478838 B CN117478838 B CN 117478838B
Authority
CN
China
Prior art keywords
risk
names
target objects
topic
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311435215.1A
Other languages
English (en)
Other versions
CN117478838A (zh
Inventor
许伟
陈功湖
林灏
封勇兵
罗卫强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Victory Idea Co ltd
Original Assignee
Zhuhai Victory Idea Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Victory Idea Co ltd filed Critical Zhuhai Victory Idea Co ltd
Priority to CN202311435215.1A priority Critical patent/CN117478838B/zh
Publication of CN117478838A publication Critical patent/CN117478838A/zh
Application granted granted Critical
Publication of CN117478838B publication Critical patent/CN117478838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于信息安全的分布式视频处理监管***及方法，属于信息安全技术领域。***包括数据采集模块、数据分析模块、风险识别模块和运行管理模块；数据采集模块用于采集直播设备的运行参数和拍摄到的视频；数据分析模块用于对视频信息进行逐帧分析，结合设备的运行参数划分出重点区域并识别出目标对象，计算目标对象的重要指数，根据重要指数确定视频主题；风险识别模块用于判断目标对象与视频主题的关联度，将关联度代入公式中计算每个目标对象的风险指数，根据风险指数找出需要进行监控的风险对象；运行管理模块采用分布式技术控制多台设备分别对不同风险对象所在区域进行监控，出现违规内容时及时进行图像处理，保护信息安全。

Description

一种基于信息安全的分布式视频处理监管***及方法
技术领域
本发明涉及信息安全技术领域，具体为一种基于信息安全的分布式视频处理监管***及方法。
背景技术
随着移动互联网的快速发展，直播视频成为了一种流行的媒体形式。人们可以通过手机、电脑等设备随时随地观看直播内容。直播视频涵盖了各种领域，包括娱乐、体育、教育、新闻等，成为了人们获取信息和娱乐的重要渠道。然而，直播视频也面临着一些问题和挑战。首先，直播视频的实时性要求较高，需要将现场的视频信号迅速传输到观众端，以保证观众能够实时观看直播内容。其次，直播视频通常需要进行一些处理，如图像增强、噪声去除、目标检测等，以提高视频质量和观看体验。此外，直播视频中可能存在一些敏感信息，比如：个人隐私或商业机密等，需要进行保护和处理，以确保信息安全。
现阶段，对于直播过程中有可能出现的信息安全问题通常采用人工观测或智能算法识别来解决。人工观测是指在直播过程中有专人负责观测直播现场环境，提醒或控制直播摄像头拍摄画面的调整。这种方法存在一定缺陷，由于人的反应需要一定时间，而直播环境***，在敏感信息泄露时，人往往不能及时做出反应来应对。而采用延时直播画面留足够时间来进行人工审核又会影响到直播的实时性，给观众带来不好的体验。相比于人工观测而言智能算法识别则更加高效，智能算法是指利用计算机视觉技术，通过对视频实时分析和识别，自动检测和遮挡敏感信息。这种方法相比于人工观测能够大大提高检测效率与处理速度，但同样也存在不可避免的缺陷。例如：1、缺乏人工观测方法识别敏感信息的灵活性：无法针对不同直播环境调整敏感信息检测类型，只能根据已有的对比库进行机械式筛选；2、缺乏足够细腻的图像处理能力：由于直播视频对实时性要求较高，视频从录制到处理再到发送至网络，通常有一定时间要求，而如此短的时间内单台设备无法提供满足像素级别图像处理的算力支持，甚至设备性能较差时，连静态图像级别的图像处理都无法完成，只能抽帧或直接在视频固定区域进行遮挡处理，导致直播效果体验感大幅度下降。所以现阶段需要一种更加灵活、高效的信息安全检测与处理的技术方案来解决上述问题。
发明内容
本发明的目的在于提供一种基于信息安全的分布式视频处理监管***及方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种基于信息安全的分布式视频处理监管方法，该方法包括以下步骤：
S1、实时采集直播设备的运行参数和拍摄的实时视频，获取最新的主题库；
S2、通过分析运行参数对视频画面划分区域，识别目标对象并计算重要指数；
S3、根据重要指数选定主题对象，判断每个目标对象的关联度；
S4、采用分布式技术对不同关联度目标对象进行监测和图像处理。
在S1中，运行参数是指直播设备摄像头的焦距和拍摄距离，拍摄距离是指摄像头距离拍摄目标的距离，由安装在直播设备内部的距离传感器进行数据采集。主题库作为直播类型的对比库，用于识别每场直播的类型，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称。
为提高直播类型识别覆盖程度，主题库在建立时应该包含足够多数量的主题集合，以满足不同直播类型的识别需求。每个主题集合中物品的种类名称也应该尽可能覆盖对应直播类型在直播过程中有可能出现的物品种类。
在S2中，具体步骤如下：
S201、获取直播设备拍摄到的实时视频，使用现有的OpenCV将视频分解成单帧图像，对所有单帧图像进行筛选，采用边缘检测法去除模糊的单帧图像。
S202、逐个分析剩余的单帧图像，获取每张单帧图像对应时间下直播设备摄像头的焦距和拍摄距离，代入公式中，分别计算每张单帧图像的权重占比R。以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域；权重占比计算公式如下：
式中，R为权重占比，α为焦距影响系数，j为焦距，Jmax为设备最大焦距，β为拍摄距离影响系数，a为距离常数，P为拍摄距离。
S203、采用YOLOv3目标检测算法检测每张单帧图像中所有目标对象并赋予标识符，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的目标对象标记为重点，其他目标对象标记为普通。
S204、获取重点目标对象的位置坐标(xi，yi)与对应单帧图像中心点位置坐标(xz，yz)，与重点目标对象的像素数代入公式计算重要指数，每个重点目标对象对应一个重要指数；计算公式如下：
式中，ZY为重要指数，Si为重点目标对象的像素数，Sz为单帧图像重点区域的像素数，u为距离影响系数，c为位置常数。
目标对象的位置坐标选择其所在区域的中心点坐标，像素数则为其所在区域的像素个数，像素数越多，其所在区域覆盖面积越大。
S205、不同单帧图像中的目标对象之间进行相似度识别，将相似度高于相似度阈值且不属于同一张单帧图像的目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，相互关联的目标对象作为同一个目标对象在不同单帧图像中的体现，将所有相互关联的目标对象的标识符进行统一。
在S3中，具体步骤如下：
S301、总重要指数大于重要指数阈值的重点目标对象作为主题对象，将所有主题对象所属种类的名称放入主题种类集合中，集合内包括{Q1,Q2,Q3,...,Qn}，其中，n表示种类名称个数，Qn表示第n个种类名称。
S302、将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合。
S303、获取所有目标对象的种类名称，分别与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联。
在S4中，具体步骤如下：
S401、为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定。获取所有目标对象的关联度，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数。公式如下：
FX＝K×E×S
式中，FX为目标对象的风险指数，K为影响系数，E为常数，S为目标对象的像素数。
S402、获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控。
S403、当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理，处理方式包括马赛克像素化、像素修复法、像素替换法。
马赛克像素化：对违规区域进行马赛克处理，将其像素化，达到隐藏的效果。像素修复法：对违规部分进行修复处理，将其修复成符合要求的像素，达到纠正的效果。像素替换法：将违规部分的像素替换成符合要求的像素，达到纠正的效果。
一种基于信息安全的分布式视频处理监管***，***包括数据采集模块、数据分析模块、风险识别模块和运行管理模块。
数据采集模块用于采集直播设备的运行参数和拍摄的实时视频；数据分析模块对视频信息进行逐帧分析，结合设备的运行参数划分出重点区域并识别出目标对象，计算目标对象的重要指数，根据重要指数确定视频主题；风险识别模块用于判断目标对象与视频主题的关联度，将关联度代入公式中计算每个目标对象的风险指数，根据风险指数找出需要进行监控的风险对象；运行管理模块采用分布式技术控制不同设备对每个风险对象所在区域进行监控，当风险对象为违规物品或出现违规行为时进行图像处理，保护信息安全。
数据采集模块包括图像信息采集单元、设备信息采集单元和主题信息采集单元。
图像信息采集单元用于采集直播设备拍摄的实时视频。设备信息采集单元用于采集直播设备工作时的运行参数，运行参数包括焦距和拍摄距离，拍摄距离是指直播设备距离拍摄目标的距离。主题信息采集单元用于采集***中的主题库，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称。
数据分析模块包括区域划分单元、对象识别单元和主题分析单元。
区域划分单元用于在视频画面中划分出重点区域。首先，将直播设备拍摄的实时视频分解为单帧图像；其次，获取每张单帧图像对应时间下直播设备的运行参数，代入公式中分别计算每张单帧图像的权重占比；最后，以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域，每张单帧图像具有一个重点区域。
在直播过程中，直播对象通常位于画面中心区域，而画面中心区域面积大小的设定则与焦距和拍摄距离成正反比关系。
正比关系：焦距大,画面距离被摄物体近，画面中心区域面积应该设置更大，合理包含直播对象。
反比关系：拍摄距离大，画面距离被摄物体远，画面中心区域面积应该设置更小，合理包含直播对象。
对象识别单元用于识别出重点目标对象。采用YOLOv3目标检测算法检测每张单帧图像中的目标对象，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的作为重点目标对象。
主题分析单元用于分析视频主题。
首先，获取重点目标对象的位置坐标与对应单帧图像中心点位置坐标，与重点目标对象的像素数代入公式计算重要指数。
其次，将不同单帧图像中同一个目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，将总重要指数大于重要指数阈值的重点目标对象的名称放入主题种类集合中。
最后，将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合。
风险识别模块包括关联性判断单元和风险性判断单元。
关联性判断单元用于判断每个目标对象与视频主题的关联度。将目标对象的种类名称与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联。
风险性判断单元用于计算每个目标对象的风险指数。为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数。
关联度的影响系数高则说明目标对象与视频主题不具备太多关联，出现违规情况的概率更大。像素数越大意味着目标对象的画面在整个画面中占比也越高，出现违规情况造成的影响更加恶劣。综合考虑关联度的影响系数与像素数能够更完善的评估目标对象的可能带来的风险。
运行管理模块用于对风险对象进行监管。首先，获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名；其次，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控；最后，当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理。
每台设备只监管一个风险对象，多台设备实现对一张单帧图像中多个风险对象的监控和图像处理。
当***运行时，实时视频不断被分解为单帧图像，重点区域划分与视频主题识别后，快速找出风险对象并采用分布式技术利用多台设备对不同风险对象所在区域分别进行监管。
当部分风险对象出现违规情况时，利用多台设备算力资源进行像素级别的快速图像处理，图像处理只针对风险对象所在区域，处理完成后将处理后区域的图像快速组合到原始单帧图像中。
与现有技术相比，本发明所达到的有益效果是：
1、快速识别视频主题：本发明通过重点区域的划分以及重点指数的计算，快速找到主题对象，结合主题库的对比分析，能够快速定位视频主题，提高信息安全检测的灵活性和精准度。
2、精准定位风险对象：本申请对目标对象的风险指数计算方面综合考虑了关联度影响系数和像素数，关联度影响系数表示目标对象违规概率，像素数表示目标对象违规后果，优先选择关联度影响系数高像素数多的目标对象进行监测，既能提高信息安全监测效率，也降低敏感信息泄露风险。
3、像素级别图像处理：本申请采用分布式技术调用多台设备分别对每个风险对象进行监管，在违规情况发生时，对应设备只需要对传递过来的每张静态图像上的部分区域进行像素级别的图像处理，任务简单消耗算力资源低且不用花费太多时间，处理后的像素区域组合成为新的单帧图像发送至网络，在不影响直播视频实时性的同时，提高了图像处理的细节程度。
综上所述，本发明相比于传统技术具有快速识别视频主题、精准定位风险对象和像素级别图像处理的优势，能够提高信息安全监测的灵活性和效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于信息安全的分布式视频处理监管方法的流程示意图；
图2是本发明一种基于信息安全的分布式视频处理监管***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种基于信息安全的分布式视频处理监管方法，该方法包括以下步骤：
S1、实时采集直播设备的运行参数和拍摄的实时视频，获取最新的主题库；
S2、通过分析运行参数对视频画面划分区域，识别目标对象并计算重要指数；
S3、根据重要指数选定主题对象，判断每个目标对象的关联度；
S4、采用分布式技术对不同关联度目标对象进行监测和图像处理。
在S1中，运行参数是指直播设备摄像头的焦距和拍摄距离，拍摄距离是指摄像头距离拍摄目标的距离，由安装在直播设备内部的距离传感器进行数据采集。主题库作为直播类型的对比库，用于识别每场直播的类型，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称。
为提高直播类型识别覆盖程度，主题库在建立时应该包含足够多数量的主题集合，以满足不同直播类型的识别需求。每个主题集合中物品的种类名称也应该尽可能覆盖对应直播类型在直播过程中有可能出现的物品种类。
在S2中，具体步骤如下：
S201、获取直播设备拍摄到的实时视频，使用现有的OpenCV将视频分解成单帧图像，对所有单帧图像进行筛选，采用边缘检测法去除模糊的单帧图像。
S202、逐个分析剩余的单帧图像，获取每张单帧图像对应时间下直播设备摄像头的焦距和拍摄距离，代入公式中，分别计算每张单帧图像的权重占比R。以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域；权重占比计算公式如下：
式中，R为权重占比，α为焦距影响系数，j为焦距，Jmax为设备最大焦距，β为拍摄距离影响系数，a为距离常数，P为拍摄距离。
S203、采用YOLOv3目标检测算法检测每张单帧图像中所有目标对象并赋予标识符，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的目标对象标记为重点，其他目标对象标记为普通。
S204、获取重点目标对象的位置坐标(xi，yi)与对应单帧图像中心点位置坐标(xz，yz)，与重点目标对象的像素数代入公式计算重要指数，每个重点目标对象对应一个重要指数；计算公式如下：
式中，ZY为重要指数，Si为重点目标对象的像素数，Sz为单帧图像重点区域的像素数，u为距离影响系数，c为位置常数。
目标对象的位置坐标选择其所在区域的中心点坐标，像素数则为其所在区域的像素个数，像素数越多，其所在区域覆盖面积越大。
S205、不同单帧图像中的目标对象之间进行相似度识别，将相似度高于相似度阈值且不属于同一张单帧图像的目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，相互关联的目标对象作为同一个目标对象在不同单帧图像中的体现，将所有相互关联的目标对象的标识符进行统一。
在S3中，具体步骤如下：
S301、总重要指数大于重要指数阈值的重点目标对象作为主题对象，将所有主题对象所属种类的名称放入主题种类集合中，集合内包括{Q1,Q2,Q3,...,Qn}，其中，n表示种类名称个数，Qn表示第n个种类名称。
S302、将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合。
S303、获取所有目标对象的种类名称，分别与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联。
在S4中，具体步骤如下：
S401、为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定。获取所有目标对象的关联度，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数。公式如下：
FX＝K×E×S
式中，FX为目标对象的风险指数，K为影响系数，E为常数，S为目标对象的像素数。
S402、获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控。
S403、当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理，处理方式包括马赛克像素化、像素修复法、像素替换法。
马赛克像素化：对违规区域进行马赛克处理，将其像素化，达到隐藏的效果。像素修复法：对违规部分进行修复处理，将其修复成符合要求的像素，达到纠正的效果。像素替换法：将违规部分的像素替换成符合要求的像素，达到纠正的效果。
请参阅图2，本发明提供一种基于信息安全的分布式视频处理监管***，***包括数据采集模块、数据分析模块、风险识别模块和运行管理模块。
数据采集模块用于采集直播设备的运行参数和拍摄的实时视频；数据分析模块对视频信息进行逐帧分析，结合设备的运行参数划分出重点区域并识别出目标对象，计算目标对象的重要指数，根据重要指数确定视频主题；风险识别模块用于判断目标对象与视频主题的关联度，将关联度代入公式中计算每个目标对象的风险指数，根据风险指数找出需要进行监控的风险对象；运行管理模块采用分布式技术控制不同设备对每个风险对象所在区域进行监控，当风险对象为违规物品或出现违规行为时进行图像处理，保护信息安全。
数据采集模块包括图像信息采集单元、设备信息采集单元和主题信息采集单元。
图像信息采集单元用于采集直播设备拍摄的实时视频。设备信息采集单元用于采集直播设备工作时的运行参数，运行参数包括焦距和拍摄距离，拍摄距离是指直播设备距离拍摄目标的距离。主题信息采集单元用于采集***中的主题库，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称。
数据分析模块包括区域划分单元、对象识别单元和主题分析单元。
区域划分单元用于在视频画面中划分出重点区域。首先，将直播设备拍摄的实时视频分解为单帧图像；其次，获取每张单帧图像对应时间下直播设备的运行参数，代入公式中分别计算每张单帧图像的权重占比；最后，以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域，每张单帧图像具有一个重点区域。
在直播过程中，直播对象通常位于画面中心区域，而画面中心区域面积大小的设定则与焦距和拍摄距离成正反比关系。
正比关系：焦距大,画面距离被摄物体近，画面中心区域面积应该设置更大，合理包含直播对象。
反比关系：拍摄距离大，画面距离被摄物体远，画面中心区域面积应该设置更小，合理包含直播对象。
对象识别单元用于识别出重点目标对象。采用YOLOv3目标检测算法检测每张单帧图像中的目标对象，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的作为重点目标对象。
主题分析单元用于分析视频主题。
首先，获取重点目标对象的位置坐标与对应单帧图像中心点位置坐标，与重点目标对象的像素数代入公式计算重要指数。
其次，将不同单帧图像中同一个目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，将总重要指数大于重要指数阈值的重点目标对象的名称放入主题种类集合中。
最后，将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合。
风险识别模块包括关联性判断单元和风险性判断单元。
关联性判断单元用于判断每个目标对象与视频主题的关联度。将目标对象的种类名称与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联。
风险性判断单元用于计算每个目标对象的风险指数。为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数。
关联度的影响系数高则说明目标对象与视频主题不具备太多关联，出现违规情况的概率更大。像素数越大意味着目标对象的画面在整个画面中占比也越高，出现违规情况造成的影响更加恶劣。综合考虑关联度的影响系数与像素数能够更完善的评估目标对象的可能带来的风险。
运行管理模块用于对风险对象进行监管。首先，获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名；其次，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控；最后，当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理。
每台设备只监管一个风险对象，多台设备实现对一张单帧图像中多个风险对象的监控和图像处理。
当***运行时，实时视频不断被分解为单帧图像，重点区域划分与视频主题识别后，快速找出风险对象并采用分布式技术利用多台设备对不同风险对象所在区域分别进行监管。
当部分风险对象出现违规情况时，利用多台设备算力资源进行像素级别的快速图像处理，图像处理只针对风险对象所在区域，处理完成后将处理后区域的图像快速组合到原始单帧图像中。
实施例一：
假设某张单帧图像对应时间下直播设备摄像头的焦距为1.5mm，拍摄距离为2m，焦距影响系数为0.4，该直播设备摄像头最大焦距为3mm，拍摄距离影响系数为0.2，距离常数为10，代入公式中，计算该单帧图像的权重占比：
权重占比：
实施例二：
假设某重点目标对象的位置坐标为(250,500),像素数为1200；对应单帧图像中心点位置坐标为(500,500)，重点区域的像素数为25000；距离影响系数为0.0001，位置常数为1，代入公式计算该重点目标对象的重要指数：
重要指数：
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于信息安全的分布式视频处理监管方法，其特征在于：该方法包括以下步骤：
S1、实时采集直播设备的运行参数和拍摄的实时视频，获取最新的主题库；
S2、通过分析运行参数对视频画面划分区域，识别目标对象并计算重要指数；
S3、根据重要指数选定主题对象，判断每个目标对象的关联度；
S4、采用分布式技术对不同关联度目标对象进行监测和图像处理；
在S1中，运行参数是指直播设备摄像头的焦距和拍摄距离，拍摄距离是指摄像头距离拍摄目标的距离，由安装在直播设备内部的距离传感器进行数据采集；主题库作为直播类型的对比库，用于识别每场直播的类型，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称；
在S2中，具体步骤如下：
S201、获取直播设备拍摄到的实时视频，使用现有的OpenCV将视频分解成单帧图像，对所有单帧图像进行筛选，采用边缘检测法去除模糊的单帧图像；
S202、逐个分析剩余的单帧图像，获取每张单帧图像对应时间下直播设备摄像头的焦距和拍摄距离，代入公式中，分别计算每张单帧图像的权重占比R；以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域；权重占比计算公式如下：
式中，R为权重占比，α为焦距影响系数，j为焦距，Jmax为设备最大焦距，β为拍摄距离影响系数，a为距离常数，P为拍摄距离；
S203、采用YOLOv3目标检测算法检测每张单帧图像中所有目标对象并赋予标识符，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的目标对象标记为重点，其他目标对象标记为普通；
S204、获取重点目标对象的位置坐标(xi，yi)与对应单帧图像中心点位置坐标(xz，yz)，与重点目标对象的像素数代入公式计算重要指数，每个重点目标对象对应一个重要指数；计算公式如下：
式中，ZY为重要指数，Si为重点目标对象的像素数，Sz为单帧图像重点区域的像素数，u为距离影响系数，c为位置常数；
S205、不同单帧图像中的目标对象之间进行相似度识别，将相似度高于相似度阈值且不属于同一张单帧图像的目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，相互关联的目标对象作为同一个目标对象在不同单帧图像中的体现，将所有相互关联的目标对象的标识符进行统一；
在S3中，具体步骤如下：
S301、总重要指数大于重要指数阈值的重点目标对象作为主题对象，将所有主题对象所属种类的名称放入主题种类集合中，集合内包括{Q1,Q2,Q3,...,Qn}，其中，n表示种类名称个数，Qn表示第n个种类名称；
S302、将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合；
S303、获取所有目标对象的种类名称，分别与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联；
在S4中，具体步骤如下：
S401、为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定；获取所有目标对象的关联度，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数；公式如下：
FX＝K×E×S
式中，FX为目标对象的风险指数，K为影响系数，E为常数，S为目标对象的像素数；
S402、获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控；
S403、当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理，处理方式包括马赛克像素化、像素修复法、像素替换法。
2.一种基于信息安全的分布式视频处理监管***，其特征在于：***包括数据采集模块、数据分析模块、风险识别模块和运行管理模块；
数据采集模块用于采集直播设备的运行参数和拍摄的实时视频；数据分析模块对视频信息进行逐帧分析，结合设备的运行参数划分出重点区域并识别出目标对象，计算目标对象的重要指数，根据重要指数确定视频主题；风险识别模块用于判断目标对象与视频主题的关联度，将关联度代入公式中计算每个目标对象的风险指数，根据风险指数找出需要进行监控的风险对象；运行管理模块采用分布式技术控制不同设备对每个风险对象所在区域进行监控，当风险对象为违规物品或出现违规行为时进行图像处理，保护信息安全；
数据采集模块包括图像信息采集单元、设备信息采集单元和主题信息采集单元；
图像信息采集单元用于采集直播设备拍摄的实时视频；设备信息采集单元用于采集直播设备工作时的运行参数，运行参数包括焦距和拍摄距离，拍摄距离是指直播设备距离拍摄目标的距离；主题信息采集单元用于采集***中的主题库，主题库内包含了各种直播类型的主题集合，主题集合内包括同种主题下不同物品的种类名称；
数据分析模块包括区域划分单元、对象识别单元和主题分析单元；
区域划分单元用于在视频画面中划分出重点区域；首先，将直播设备拍摄的实时视频分解为单帧图像；其次，获取每张单帧图像对应时间下直播设备的运行参数，代入公式中分别计算每张单帧图像的权重占比；最后，以单帧图像中心点为中心，将单帧图像长度与权重占比R的乘积作为长，单帧图像宽度与权重占比R的乘积作为宽，划分一块矩形区域作为重点区域，每张单帧图像具有一个重点区域；
权重占比计算公式为：式中，α为焦距影响系数，j为焦距，Jmax为设备最大焦距，β为拍摄距离影响系数，a为距离常数，P为拍摄距离；
对象识别单元用于识别出重点目标对象；采用YOLOv3目标检测算法检测每张单帧图像中的目标对象，提取目标对象的特征信息并分析所属种类和位置，以及计算目标对象占用的像素数，将位置处于重点区域内的作为重点目标对象；
主题分析单元用于分析视频主题；
首先，获取重点目标对象的位置坐标与对应单帧图像中心点位置坐标，与重点目标对象的像素数代入公式计算重要指数；
重要指数计算公式为：式中，Si为重点目标对象的像素数，Sz为单帧图像重点区域的像素数，(xi，yi)为重点目标对象的位置坐标，(xz，yz)为单帧图像中心点的位置坐标，u为距离影响系数，c为位置常数；
其次，将不同单帧图像中同一个目标对象进行关联，相互关联的重点目标对象的重要指数进行求和后得到总重要指数，将总重要指数大于重要指数阈值的重点目标对象的名称放入主题种类集合中；
最后，将主题种类集合中所有种类名称分别与主题库中每个主题集合中所有种类名称进行对比，判断主题集合中的种类名称与主题种类集合中的种类名称是否相同，相同则标记对应主题集合中的种类名称，主题库中所有主题集合都完成对比判断后，按照标记种类名称个数对主题集合进行正序排名，选择排名第一的主题集合作为当前主题集合；
风险识别模块包括关联性判断单元和风险性判断单元；
关联性判断单元用于判断每个目标对象与视频主题的关联度；将目标对象的种类名称与当前主题集合中所有种类名称进行对比，判断当前主题集合中是否存在相同种类名称，存在则将对应目标对象的关联度设定为强关联，不存在则继续与主题库中除当前主题集合外的其他主题集合中所有种类名称进行对比，判断是否存在相同种类名称，存在则将对应目标对象的关联度设定为弱关联，不存在则将对应目标对象的关联度设定为无关联；
风险性判断单元用于计算每个目标对象的风险指数；为不同关联度设置不同的影响系数，影响系数按照无关联、弱关联和强关联的顺序从大到小进行设定，将目标对象关联度对应的影响系数和像素数代入公式中计算风险指数；
风险指数计算公式为：K×E×S，式中，K为影响系数，E为常数，S为目标对象的像素数；
运行管理模块用于对风险对象进行监管；首先，获取分布式设备中可调用设备数量I，按照风险指数对目标对象进行正序排名；其次，选择排名前I名的目标对象作为风险对象，依次给这些风险对象分配设备，被分配的设备针对风险对象所在区域进行监控；最后，当监控到风险对象为违规物品或出现违规行为时，在不影响单帧图像整体清晰度的前提下对风险对象所在区域进行像素级别的图像处理。
CN202311435215.1A 2023-11-01 2023-11-01 一种基于信息安全的分布式视频处理监管***及方法 Active CN117478838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311435215.1A CN117478838B (zh) 2023-11-01 2023-11-01 一种基于信息安全的分布式视频处理监管***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311435215.1A CN117478838B (zh) 2023-11-01 2023-11-01 一种基于信息安全的分布式视频处理监管***及方法

Publications (2)

Publication Number Publication Date
CN117478838A CN117478838A (zh) 2024-01-30
CN117478838B true CN117478838B (zh) 2024-05-28

Family

ID=89626937

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311435215.1A Active CN117478838B (zh) 2023-11-01 2023-11-01 一种基于信息安全的分布式视频处理监管***及方法

Country Status (1)

Country Link
CN (1) CN117478838B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040795A (zh) * 2017-04-27 2017-08-11 北京奇虎科技有限公司 一种直播视频的监控方法和装置
CN109033072A (zh) * 2018-06-27 2018-12-18 广东省新闻出版*** 一种基于互联网的视听节目监管***
CN110012302A (zh) * 2018-01-05 2019-07-12 阿里巴巴集团控股有限公司 一种网络直播监测方法及装置、数据处理方法
CN110418161A (zh) * 2019-08-02 2019-11-05 广州虎牙科技有限公司 视频审核方法及装置、电子设备及可读存储介质
CN112465596A (zh) * 2020-12-01 2021-03-09 南京翰氜信息科技有限公司 一种基于电子商务直播的图像信息处理云计算平台
KR20220079428A (ko) * 2020-12-04 2022-06-13 삼성전자주식회사 비디오에서 객체를 검출하는 방법 및 장치
CN114745558A (zh) * 2021-01-07 2022-07-12 北京字节跳动网络技术有限公司 直播监控方法、装置、***、设备及介质
WO2022148378A1 (zh) * 2021-01-05 2022-07-14 百果园技术(新加坡)有限公司 违规用户处理方法、装置及电子设备
CN115019390A (zh) * 2022-05-26 2022-09-06 北京百度网讯科技有限公司 视频数据处理方法、装置以及电子设备
CN115775363A (zh) * 2022-04-27 2023-03-10 中国科学院沈阳计算技术研究所有限公司 一种基于文本与视频融合的违规视频检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313463B2 (en) * 2009-06-09 2016-04-12 Wayne State University Automated video surveillance systems

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107040795A (zh) * 2017-04-27 2017-08-11 北京奇虎科技有限公司 一种直播视频的监控方法和装置
CN110012302A (zh) * 2018-01-05 2019-07-12 阿里巴巴集团控股有限公司 一种网络直播监测方法及装置、数据处理方法
CN109033072A (zh) * 2018-06-27 2018-12-18 广东省新闻出版*** 一种基于互联网的视听节目监管***
CN110418161A (zh) * 2019-08-02 2019-11-05 广州虎牙科技有限公司 视频审核方法及装置、电子设备及可读存储介质
CN112465596A (zh) * 2020-12-01 2021-03-09 南京翰氜信息科技有限公司 一种基于电子商务直播的图像信息处理云计算平台
KR20220079428A (ko) * 2020-12-04 2022-06-13 삼성전자주식회사 비디오에서 객체를 검출하는 방법 및 장치
WO2022148378A1 (zh) * 2021-01-05 2022-07-14 百果园技术(新加坡)有限公司 违规用户处理方法、装置及电子设备
CN114745558A (zh) * 2021-01-07 2022-07-12 北京字节跳动网络技术有限公司 直播监控方法、装置、***、设备及介质
CN115775363A (zh) * 2022-04-27 2023-03-10 中国科学院沈阳计算技术研究所有限公司 一种基于文本与视频融合的违规视频检测方法
CN115019390A (zh) * 2022-05-26 2022-09-06 北京百度网讯科技有限公司 视频数据处理方法、装置以及电子设备

Also Published As

Publication number Publication date
CN117478838A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN107292240B (zh) 一种基于人脸与人体识别的找人方法及***
Han et al. Fast saliency-aware multi-modality image fusion
CN108040230B (zh) 一种保护隐私的监控方法及装置
CN108564052A (zh) 基于mtcnn的多摄像头动态人脸识别***与方法
EP2580738A1 (en) Region of interest based video synopsis
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控***
CN103020275A (zh) 基于视频摘要、视频检索的视频分析方法
CN115065798B (zh) 一种基于大数据的视频分析监控***
CN112422909B (zh) 一种基于人工智能的视频行为分析管理***
Gardella et al. Noisesniffer: a fully automatic image forgery detector based on noise analysis
CN114885119A (zh) 一种基于计算机视觉的智能监控报警***及方法
CN103607558A (zh) 一种视频监控***及其目标匹配方法和装置
Singleton et al. Gun identification using tensorflow
CN117478838B (zh) 一种基于信息安全的分布式视频处理监管***及方法
CN111708907B (zh) 一种目标人员的查询方法、装置、设备及存储介质
CN111479168B (zh) 用于标记多媒体内容热点的方法、装置、服务器以及介质
CN103425958A (zh) 一种视频中不动物检测的方法
CN115331152B (zh) 一种消防识别方法和***
CN115984973A (zh) 一种用于防偷窥屏幕的人体异常行为监测方法
CN113221818B (zh) 一种海面溢油特征智能检测方法及***
CN114863337A (zh) 一种新型屏幕防拍照识别方法
CN113938671B (zh) 图像内容分析方法、装置、电子设备和存储介质
Babaryka et al. Technologies for building intelligent video surveillance systems and methods for background subtraction in video sequences
CN111985331A (zh) 预防商业秘密被窃照的检测方法及装置
CN116012248B (zh) 图像处理方法、装置、计算机设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant