CN115209111A - 一种支持实时背景替换的居家办公视频监控方法及*** - Google Patents

一种支持实时背景替换的居家办公视频监控方法及*** Download PDF

Info

Publication number
CN115209111A
CN115209111A CN202210884211.0A CN202210884211A CN115209111A CN 115209111 A CN115209111 A CN 115209111A CN 202210884211 A CN202210884211 A CN 202210884211A CN 115209111 A CN115209111 A CN 115209111A
Authority
CN
China
Prior art keywords
module
real
monitoring
time
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210884211.0A
Other languages
English (en)
Inventor
乔秀全
孙譞
李鹏
黄亚坤
商彦磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xinfang Communication Technology Co ltd
Beijing University of Posts and Telecommunications
Original Assignee
Beijing Xinfang Communication Technology Co ltd
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xinfang Communication Technology Co ltd, Beijing University of Posts and Telecommunications filed Critical Beijing Xinfang Communication Technology Co ltd
Priority to CN202210884211.0A priority Critical patent/CN115209111A/zh
Publication of CN115209111A publication Critical patent/CN115209111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种支持实时背景替换的居家办公视频监控方法及***，其方法步骤如下：客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流。本发明能够采集、处理和分析多个监控视频流，对视频中的人员进行实时前景分割以及背景替换，并且对当前所有监控进行信息汇总与可视化，能够实时提供员工的监控信息和考勤数据，解决了员工居家办公时监管困难的问题，同时确保了监控内容的实时性、隐私性和安全性，对公司居家办公考勤管理有很大的帮助。

Description

一种支持实时背景替换的居家办公视频监控方法及***
技术领域
本发明涉及图像与视频处理技术领域，具体来说，涉及一种支持实时背景替换的居家办公视频监控方法及***。
背景技术
现阶段疫情在全世界范围内大流行，少接触、少聚集成为人们在生产生活上新的要求。为了响应国家号召，维护社会安全稳定，不少企事业单位开始实行员工居家办公的政策，这点以从属于第三产业的客服人员尤为明显,然而工作效率低、监管困难一直都是居家办公模式下最大的痛点。目前对居家办公的客服人员的监管手段以上下班打卡、写日报周报、不定期的抽查回复等 “弱监控”为主，这种方法十分依赖管理人员的经验，耗费人力并且收效甚微。为了方便对居家客服人员的监管以及提升居家办公效率，我们采取了能够满足实时视频监控的“强监控”***。这种监控***支持将摄像头采集的画面送至监管端实时播放，在明厨***、安防监控领域广泛应用。但考虑到客服居家办公场景的特殊性，对其直接监控势必会带来隐私安全的问题，因此我们依托人工智能相关技术的发展，在监控***中增加背景替换功能，避免客服居家环境直接暴露在网络之中，以解决该“强监控”***中存在的隐私性、安全性问题。
目前，实现背景替换常用的方法有绿幕抠图、交互式抠图以及基于深度学习的抠图。绿幕抠图使用固定的绿幕背景，通过RGB色彩阈值进行分割。该方法费时费力，制作周期长，并且对场地以及设备有所要求。因此绿幕抠图在使用时限制较多，适用性较差。交互式抠图是使用交互式计算来获取更多的先验信息来计算不透明度通道az，常见的包括GrabCut算法和LazySnapping算法。交互式抠图算法需要较多的先验信息，而且对前景以及背景的手工标注消耗大量精力，同时还存在不同人标记的个体差异，导致交互式抠图准确率不高，无法满足复杂背景的抠图以及实时抠图任务，使得该方式在处理视频流形式的抠图任务时变得极为困难。
针对上述问题，目前还没有有效的解决办法。
发明内容
针对相关技术中的上述技术问题，本发明提出一种支持实时背景替换的居家办公视频监控方法及***，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种支持实时背景替换的居家办公视频监控方法，包括如下步骤：
S1客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；
S2客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流，与此同时客户端用户工作状态由在线修改为工作中；
S3监控模块对采集的实时视频流进行编码、封装打包处理，将视频帧数据送至算法模块；
S4 算法模块对视频帧实时处理并返回给监控模块；
S5 监控模块将处理结果使用RTMP协议推送到流媒体服务器；
S6 流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库；
S7 ***可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。
进一步地，S4中的算法模块包括预处理、前景分割、图像融合，其具体步骤如下：
S41 将采集设备捕获的实时视频流进行编解码预处理；
S42 对缓存的视频帧进行前景分割，得到人物掩膜及前景图像；
S43 将人物前景与预设的背景图像进行图像融合，得到进行背景替换后的视频帧；
S44 将背景替换后的视频帧进行封装、打包、传输。
进一步地，所述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正常工作。
进一步地，S7中的所述数据包括客户端用户的视频流信息、基本信息、考勤信息和统计信息。
一种支持实时背景替换的居家办公视频监控***，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块和算法模块，所述数据库包括数据持久化模块，所述监控平台包括业务处理模块和***可视化模块；
所述登录模块，用于负责客户端用户登录客户端程序；
所述监控模块，用于采集客户端用户电脑摄像头视频，实时获取视频流的最新帧图像，发送至算法模块进以对视频帧进行背景替换处理，同时将相关参数存储至数据持久化模块；
所述算法模块：用于从监控模块中获取实时视频帧，对实时视频帧进行图像预处理后送入语义分割网络算法中进行实时分割，并将分割结果与预提供的背景图融合绘制到最新帧图像上；
所述流媒体服务器，用于负责接收算法模块处理后的视频流，并将流媒体协议由RTMP转码为WebRTC，向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化至数据库；
所述数据持久化模块，用于存储客户端用户电脑摄像头采集并经算法处理后的视频流数据，为监控平台提供数据支持，同时为后续的监控视频回放提供支撑；
所述业务处理模块，用于实现监控平台用户功能需求，将底层业务逻辑封装为API接口函数供可视化模块调用；
所述***可视化模块，用于向业务处理模块请求客户端用户的相关信息，拉取算法模块处理后的结果视频流展示到前端，向监管人员实时展示被客户端用户的当前行为状态，同时向业务处理模块请求客户端用户工作状态统计信息并进行排行展示。
进一步地，所述算法模块包括实时背景替换算法模型。
进一步地，所述数据持久化模块采用文件***存储视频流数据，采用MySQL数据库存储结构化数据。
进一步地，所述业务处理模块的功能包括账号管理功能、数据整合统计、工作状态切换功能及条件检索功能。
进一步地，所述底层业务逻辑包括图像算法处理的视频流和已有数据的获取方式。
本发明的有益效果：本发明能够采集、处理和分析多个监控视频流，对视频中的人员进行实时前景分割以及背景替换，并且对当前所有监控进行信息汇总与可视化，能够实时提供员工的监控信息和考勤数据，解决了员工居家办公时监管困难的问题，同时确保了监控内容的实时性、隐私性和安全性，对公司居家办公考勤管理有很大的帮助。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的支持实时背景替换的居家办公视频监控方法及***的宏观整体架构图；
图2是根据本发明实施例所述的支持实时背景替换的居家办公视频监控方法的工作流程图；
图3是根据本发明实施例所述的支持实时背景替换的居家办公视频监控方法的推流客户端推流过程示意图；
图4是根据本发明实施例所述的支持实时背景替换的居家办公视频监控方法的推流客户端整个生命周期中的人员状态变换示意图；
图5是根据本发明实施例所述的支持实时背景替换的居家办公视频监控***的结构示意图；
图6是根据本发明实施例所述的支持实时背景替换的居家办公视频监控***的监控平台与数据库的业务处理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1-4所示，一种支持实时背景替换的居家办公视频监控方法，包括如下步骤：
S1客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；
S2客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流，与此同时客户端用户工作状态由在线修改为工作中；
S3监控模块对采集的实时视频流进行编码、封装打包处理，将视频帧数据送至算法模块；
S4 算法模块对视频帧实时处理并返回给监控模块；
S5 监控模块将处理结果使用RTMP协议推送到流媒体服务器；
S6 流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库；
S7 ***可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。
实施例中，S4中的算法模块包括预处理、前景分割、图像融合，其具体步骤如下：
S41 将采集设备捕获的实时视频流进行编解码预处理；
S42 对缓存的视频帧进行前景分割，得到人物掩膜及前景图像；
S43 将人物前景与预设的背景图像进行图像融合，得到进行背景替换后的视频帧；
S44 将背景替换后的视频帧进行封装、打包、传输。
实施例中，所述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正常工作。
实施例中，S7中的所述数据包括客户端用户的视频流信息、基本信息、考勤信息和统计信息。
如图1、5、6所示，一种支持实时背景替换的居家办公视频监控***，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块和算法模块，所述数据库包括数据持久化模块，所述监控平台包括业务处理模块和***可视化模块；
所述登录模块，用于负责客户端用户登录客户端程序；
所述监控模块，用于采集客户端用户电脑摄像头视频，实时获取视频流的最新帧图像，发送至算法模块进以对视频帧进行背景替换处理，同时将相关参数存储至数据持久化模块；
所述算法模块：用于从监控模块中获取实时视频帧，对实时视频帧进行图像预处理后送入语义分割网络算法中进行实时分割，并将分割结果与预提供的背景图融合绘制到最新帧图像上；
所述流媒体服务器，用于负责接收算法模块处理后的视频流，并将流媒体协议由RTMP转码为WebRTC，向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化至数据库；
所述数据持久化模块，用于存储客户端用户电脑摄像头采集并经算法处理后的视频流数据，为监控平台提供数据支持，同时为后续的监控视频回放提供支撑；
所述业务处理模块，用于实现监控平台用户功能需求，将底层业务逻辑封装为API接口函数供可视化模块调用；
所述***可视化模块，用于向业务处理模块请求客户端用户的相关信息，拉取算法模块处理后的结果视频流展示到前端，向监管人员实时展示被客户端用户的当前行为状态，同时向业务处理模块请求客户端用户工作状态统计信息并进行排行展示。
实施例中，所述算法模块包括实时背景替换算法模型。
实施例中，所述数据持久化模块采用文件***存储视频流数据，采用MySQL数据库存储结构化数据。
实施例中，所述业务处理模块的功能包括账号管理功能、数据整合统计、工作状态切换功能及条件检索功能。
实施例中，所述底层业务逻辑包括图像算法处理的视频流和已有数据的获取方式。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的一种支持实时背景替换的居家办公视频监控方法，包括如下技术方案：
一种居家办公场景下的视频实时监控方案。该方案涉及三大部分，分别是推流客户端、流媒体服务器和监控平台端，具体步骤如下：
S11：居家办公人员使用工作电脑上安装的推流客户端通过PC摄像头采集实时视频流；
S12：推流客户端将采集的实时视频流进行算法处理并推流至流媒体服务器；
S13：流媒体服务器将视频流由RTMP转码为WebRTC并录制持久化；
S14：监控平台从流媒体服务器拉取视频流并结合人员其他信息可视化到Web页面。
一种居家办公视频监控场景下实时背景替换方法。该方法主要包括预处理、前景分割、图像融合，具体步骤如下：
S21：将采集设备捕获的实时视频流进行编解码等预处理；
S22：对缓存的视频帧进行前景分割，得到人物掩膜以及前景图像；
S23：将人物前景与预设的背景图像进行图像融合，得到进行背景替换之后的视频帧。
S24：将附带新背景的视频帧进行封装、打包、传输。
一种支持实时背景替换的客服人员居家办公视频监控***，包括：
登录模块：该模块负责客服人员登录客户端程序，是***的入口。
监控模块：该模块用于采集客服工作电脑摄像头视频，实时获取视频流的最新帧图像，送入算法模块进以对视频帧进行背景替换处理，与此同时将相关参数存储至数据持久化模块。
算法模块：该模块是***的核心功能模块，本文提出的实时背景替换算法模型部署于此模块。该模块首先从监控模块中获取实时视频帧，对其进行图像预处理后送入语义分割网络算法中，进行实时分割，并将分割结果与预提供的背景图融合，绘制到最新帧图像上。
流媒体服务器：该模块是客户端与监控平台的中介，同时也是推流与拉流的中介。其主要负责接收算法模块处理后的视频流，并将流媒体协议由RTMP转码为WebRTC，向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库。
数据持久化模块：该模块用于存储客服工作电脑摄像头采集并经算法处理后的的视频流数据，为***的功能实现提供数据支持，同时为后续可能的监控视频回放提供支撑。本模块使用文件***存储视频流数据，使用MySQL数据库存储其他结构化数据。
业务处理模块：该模块用于实现用户要求的应用功能，需要将底层业务逻辑封装为API接口函数以供外部调用。基于功能需求分析，该模块需要实现的四种主要功能包括：账号管理功能、数据整合统计、工作状态切换以及条件检索功能。将经过图像算法处理的视频流和已有数据的获取方式封装为接口函数以供调用。
***可视化模块：该模块首先向业务处理模块请求客服工作人员的相关信息，然后拉取算法模块处理后的结果视频流展示到前端，向监管人员实时展示客服人员的当前行为状态。同时向业务处理模块请求客服工作状态统计信息进行排行展示。
如图1所示，该***宏观上主要由以下三部分组成，分别为推流客户端、流媒体服务器以及监控平台。推流客户端服务于客服人员，主要负责视频流的采集、处理、推送等操作。监控平台服务于监管人员，主要负责监控视频以及包括考勤数据在内的其他信息的展示、人员的管理等。流媒体服务器则担任***的中介部分，能够接收客服端推送的实时视频流，并支持监管端拉流播放。同时支持转码、录制等操作。
如图2所示，支持实时背景替换的居家办公视频监控方法的工作流程图，具体如下：
S1：客服人员通过工作电脑登录客户端程序，此时用户工作状态也会由离线更新为在线；
S2：客服人员点击工作按钮，开始进行工作。监控模块会向用户申请摄像头权限，用户授权以后，监控模块会实时采集客服摄像头信息。与此同时，工作状态会由在线修改为工作中；
S3：监控模块会对采集的实时视频流进行编码、封装打包等处理，将视频帧数据送至算法模块；
S4：算法模块对视频帧实时处理，将客服人员前景从原视频帧中分割出来，与预先提供的背景图重新组合成结果帧，并返回给监控模块；
S5：监控模块将处理结果使用RTMP协议推送到流媒体服务器；
S6：流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并将视频流实时录制完成持久化；
S7：监管人员在网页浏览器输入***IP访问前端展示界面，选中某个客服人员进行实时监控，***可视化模块随即向业务处理模块请求数据；
S8：业务处理模块向数据持久化模块请求客服人员基本信息，向流媒体服务器请求媒体资源；
S9：业务处理模块获取到客服人员的基本信息以及媒体资源，将其打包返回给***可视化模块；
S10：***可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。
图3示例了本发明推流客户端完整的采集推流过程，首先向客服人员请求摄像头权限，如果请求权限失败，则记录为异常日志；成功则使用OpenCV库中的VideoCapture()方法初始化以及VideoCapture.read()获取视频帧。读取到最新帧成功后，将其送入算法模块进行处理。紧接着将处理后的视频帧进行编码并传输，包括以下步骤：
S1：初始化AVFormatContext；
S2：初始化io通道；
S3：寻找合适的编码器；
S4：设置编码器参数并打开编码器；
S5：为frame分配空间并设置frame相关参数；
S6：将frame编码并放入packet进行传输。
图4示例了推流客户端中客服人员在整个生命周期中的工作状态。一共存在四种工作状态，分别为：在线状态、离线状态、工作状态和休息状态，并且给出了这四种状态的相互转化关系。
图5示例了***间的结构图，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块、算法模块和电脑摄像头，所述数据库包括数据持久化模块，所述监控平台包括业务处理模块和***可视化模块，同时还显示了它们间的主要逻辑关系。
图6示例了监控平台与数据库的业务处理流程图。监控平台可以实现五大功能：获取所有监控信息、获取最近监测数据、获取个人详情、获取客服列表以及获取历史异常。
综上所述，借助于本发明的上述技术方案，本发明能够采集、处理和分析多个监控视频流，对视频中的人员进行实时前景分割以及背景替换，并且对当前所有监控进行信息汇总与可视化，能够实时提供员工的监控信息和考勤数据，解决了员工居家办公时监管困难的问题，同时确保了监控内容的实时性、隐私性和安全性，对公司居家办公考勤管理有很大的帮助。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种支持实时背景替换的居家办公视频监控方法，其特征在于，包括如下步骤：
S1客户端用户通过电脑登录推流客户端程序，登录成功后客户端用户工作状态由离线更新为在线；
S2客户端用户点击工作按钮，监控模块会向客户端用户申请摄像头权限，客户端用户授权摄像头权限后，监控模块会实时采集客户端用户的摄像头视频流，与此同时客户端用户工作状态由在线修改为工作中；
S3监控模块对采集的实时视频流进行编码、封装打包处理，将视频帧数据送至算法模块；
S4 算法模块对视频帧实时处理并返回给监控模块；
S5 监控模块将处理结果使用RTMP协议推送到流媒体服务器；
S6 流媒体服务器进行协议转换，将RTMP协议转为WebRTC协议，并向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化到数据库；
S7 ***可视化模块获得数据，将结果渲染到UI界面，向监管人员实时展示当前监控情况。
2.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法，其特征在于，S4中的算法模块包括预处理、前景分割、图像融合，其具体步骤如下：
S41 将采集设备捕获的实时视频流进行编解码预处理；
S42 对缓存的视频帧进行前景分割，得到人物掩膜及前景图像；
S43 将人物前景与预设的背景图像进行图像融合，得到进行背景替换后的视频帧；
S44 将背景替换后的视频帧进行封装、打包、传输。
3.根据权利要求2所述的支持实时背景替换的居家办公视频监控方法，其特征在于，所述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正常工作。
4.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法，其特征在于，S7中的所述数据包括客户端用户的视频流信息、基本信息、考勤信息和统计信息。
5.一种支持实时背景替换的居家办公视频监控***，其特征在于，包括：推流客户端、流媒体服务器、数据库和监控平台端，所述推流客户端包括登录模块、监控模块和算法模块，所述数据库包括数据持久化模块，所述监控平台包括业务处理模块和***可视化模块；
所述登录模块，用于负责客户端用户登录客户端程序；
所述监控模块，用于采集客户端用户电脑摄像头视频，实时获取视频流的最新帧图像，发送至算法模块进以对视频帧进行背景替换处理，同时将相关参数存储至数据持久化模块；
所述算法模块：用于从监控模块中获取实时视频帧，对实时视频帧进行图像预处理后送入语义分割网络算法中进行实时分割，并将分割结果与预提供的背景图融合绘制到最新帧图像上；
所述流媒体服务器，用于负责接收算法模块处理后的视频流，并将流媒体协议由RTMP转码为WebRTC，向监控平台提供Web页面拉流能力，同时将处理后的实时视频流录制持久化至数据库；
所述数据持久化模块，用于存储客户端用户电脑摄像头采集并经算法处理后的视频流数据，为监控平台提供数据支持，同时为后续的监控视频回放提供支撑；
所述业务处理模块，用于实现监控平台用户功能需求，将底层业务逻辑封装为API接口函数供可视化模块调用；
所述***可视化模块，用于向业务处理模块请求客户端用户的相关信息，拉取算法模块处理后的结果视频流展示到前端，向监管人员实时展示被客户端用户的当前行为状态，同时向业务处理模块请求客户端用户工作状态统计信息并进行排行展示。
6.根据权利要求1所述的支持实时背景替换的居家办公视频监控***，其特征在于，所述算法模块包括实时背景替换算法模型。
7.根据权利要求1所述的支持实时背景替换的居家办公视频监控***，其特征在于，所述数据持久化模块采用文件***存储视频流数据，采用MySQL数据库存储结构化数据。
8.根据权利要求1所述的支持实时背景替换的居家办公视频监控***，其特征在于，所述业务处理模块的功能包括账号管理功能、数据整合统计、工作状态切换功能及条件检索功能。
9.根据权利要求1所述的支持实时背景替换的居家办公视频监控***，其特征在于，所述底层业务逻辑包括图像算法处理的视频流和已有数据的获取方式。
CN202210884211.0A 2022-07-26 2022-07-26 一种支持实时背景替换的居家办公视频监控方法及*** Pending CN115209111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210884211.0A CN115209111A (zh) 2022-07-26 2022-07-26 一种支持实时背景替换的居家办公视频监控方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210884211.0A CN115209111A (zh) 2022-07-26 2022-07-26 一种支持实时背景替换的居家办公视频监控方法及***

Publications (1)

Publication Number Publication Date
CN115209111A true CN115209111A (zh) 2022-10-18

Family

ID=83584069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210884211.0A Pending CN115209111A (zh) 2022-07-26 2022-07-26 一种支持实时背景替换的居家办公视频监控方法及***

Country Status (1)

Country Link
CN (1) CN115209111A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116600147A (zh) * 2022-12-29 2023-08-15 广州紫为云科技有限公司 一种异地多人实时云合影的方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116600147A (zh) * 2022-12-29 2023-08-15 广州紫为云科技有限公司 一种异地多人实时云合影的方法和***
CN116600147B (zh) * 2022-12-29 2024-03-29 广州紫为云科技有限公司 一种异地多人实时云合影的方法和***

Similar Documents

Publication Publication Date Title
CN112087523B (zh) 基于云服务的智能建筑管理***、装置及计算机可读存储介质
CN109903414A (zh) 一种基于物联网监控办公考勤控制***及方法
US10719552B2 (en) Focalized summarizations of a video stream
CN106993163B (zh) 一种基于动态图像检测的视频监控***
CN112770088A (zh) 一种ai视频联动感知监控***
CN114666576B (zh) 一种公共安全边缘网关***
CN115209111A (zh) 一种支持实时背景替换的居家办公视频监控方法及***
CN108366232A (zh) 一种基于移动端虚拟现实技术的智能视频监控***
CN108391092A (zh) 基于深度学习的危险物识别***
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析***
Savva et al. Recognizing student facial expressions: A web application
CN111223011A (zh) 一种基于视频分析的餐饮企业食品***方法及***
CN112333434B (zh) 一种智能视频分析***
CN114222163A (zh) 一种营业厅智能视频分析***
CN102694845A (zh) 三网融合手机防盗监控***
CN106993164B (zh) 一种基于动态图像检测的视频监控方法
CN103581695A (zh) 一种实现移动终端接入全球眼的***和方法
Yi et al. The model of face recognition in video surveillance based on cloud computing
CN111314350A (zh) 图像存储***、存储方法、调用***和调用方法
CN114187562A (zh) 一种基于行为分析的校园安全预警***
CN210780878U (zh) 一种物联网边缘智能视频网关***
CN114124995A (zh) 物联感知体系服务平台
CN112699451A (zh) 一种基于社区业务中台与数据中台结合bim的社区实时孪生***
CN113347385A (zh) 一种视频流传输方法、装置、设备和介质
CN115578766A (zh) 一种坐席客服视频监控方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination