CN109324911A - 用户行为自动检测智能屏幕抓屏*** - Google Patents
用户行为自动检测智能屏幕抓屏*** Download PDFInfo
- Publication number
- CN109324911A CN109324911A CN201811104836.0A CN201811104836A CN109324911A CN 109324911 A CN109324911 A CN 109324911A CN 201811104836 A CN201811104836 A CN 201811104836A CN 109324911 A CN109324911 A CN 109324911A
- Authority
- CN
- China
- Prior art keywords
- screen
- user behavior
- keyboard
- grabs
- mouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/543—Local
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了用户行为自动检测智能屏幕抓屏***,通过采用计算机程序开发的图像识别分析技术、键盘鼠标钩子检测技术、USB信号检测技术,通过对各种技术的综合应用,研发了更为完全的***用户行为检测技术,将用户检测放在采集端实现,通过网络信号传递用户行为判定结果给录播***,减少录播***的CPU计算资源消耗。同时对用户电脑屏幕的信息采集通过流媒体技术实现,摒弃了传统的物理视频线采集的方法。
Description
技术领域
本发明涉及录播***,具体涉及用户行为自动检测智能屏幕抓屏***。
背景技术
近年来,录播***应用越来越广泛,各行各业活动现场实时录制、直播、后期点播等需求快速增长,录制下来的视频文件用于记录、学习、分享。尤其在学校、教育培训行业,优质视频资源建设是学校教育信息化建设的重点方向,如优课,微课,精品课程等视频资源的的视频录制。因此,能简单生成一部具有高观赏性,效果好的视频课程资源是各行各业非常迫切的愿望。然而,当前整个视频录播行业对这个需求的产品化应用支撑一直没能达到用户的期望。尤其是自动跟踪和自动导播功能更是行业应用的痛点。
传统的屏幕录制和导播的方式是通过物理的视频线进行信号采集、如VGA 线,HDMI线,DVI线等,在采集到屏幕信号后还需进行人工导播切换,即由专人执守进行判断是否需要将屏幕画面切换为直播和录制画面作,由于场景中人物角色活动的不确定性,及场景变化的迅速,在人工导播录制操作时,很容易出现误操作,如漏切、误切等不准确的情况,会导致拍摄的视频出现精彩镜头丢失,增加人工投入,因此还需进行后期的人工视频编辑工作,也是非常的耗时耗力,错过的精彩片段无法弥补。本算法就是为解决此类行业应用的痛点问题而专门研发的。
发明内容
为解决上述技术问题,本发明目的在于提供用户行为自动检测智能屏幕抓屏***,以克服现有技术的不足。
为达到上述目的,本发明的技术方案如下:用户行为自动检测智能屏幕抓屏***,包括与计算机***的硬件连接的用户行为检测识别模块和与录播***连接的屏幕抓取编码推流模块,
所述用户行为检测识别模块包括,
图像识别单元,实现视频画面中运动物体的行为识别应用算法;
键盘鼠标钩子检测单元,判断是否用户有点击鼠标或按下键盘的按键;
USB信号检测单元,判断是否有其他外部设备在进行***操作;
计算机***的硬件包括显卡、键盘、鼠标和USB接口,所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元,所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元,所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元;
所述屏幕抓取编码推流模块通过对计算机***的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流,将网络流进行推流,推送到指定的录播***网络流采集端。
进一步地,所述录播***包括录影机和录屏模块,通过录影机对讲解人员的录播以及录屏模块对操作***的屏幕抓屏进行数据采集,并发送到综合数据包。
进一步地,所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法,通过计算采集的相邻两帧画面之间是否存在变化,可判断屏幕是否有变化。
进一步地,所述USB设备的信号监测包括设备***和拔出以及设备信号截取,通过对开发的程序调用的RegisterDeviceNotification和 UnregisterDeviceNotification两个***函数,函数执行成功后,则有硬件变化时操作***就会发消息通知该程序,在程序收到***通知后,便可以继续通过钩子技术截取USB设备的通信消息。
与现有技术相比,本发明的有益效果是:本发明主要解决屏幕录制的自动导播切换问题,通过计算机程序开发实现准确识别用户行为,如键盘输入、鼠标点击,电子教鞭输入、PPT自动播放等操作,依据识别结果触发自动导播功能,取代拍摄录制的人工判断操作,实现自动化的录制和直播拍摄,减少人工参与对活动的干扰,提高拍摄质量,减少录播***及类似产品的使用难度,加速录播***的产品推广。
本发明作为一个新型的录播录制导播方案,可以获得的优点及功效增进至少包括:
(1)开发屏幕采集自动导播程序,减少了传统人工录制导播方法的人工成本。
(2)程序自动工作,比人工稳定可靠,减少了录制的视频文件中产生垃圾镜头的概率。
(3)减少人工参与对活动的干扰,提高拍摄质量。
(4)通过网络采集***屏幕,摒弃物理视频线方法,减少布线,简化了***的安装调试,减少施工操作。
(5)自动录制降低了录制设备和***的用户使用门槛,提高了产品化程序,加速录制***和产品(如录播***)的市场推广,加速各行业信息化建设。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面将结合本发明实施例,对本发明实施例中的技术方案进行清楚、完整地描述。
参照图1,用户行为自动检测智能屏幕抓屏***,包括与计算机***的硬件连接的用户行为检测识别模块和与录播***连接的屏幕抓取编码推流模块,
所述用户行为检测识别模块包括,
图像识别单元,本发明通过结合计算机程序开发的图像识别技术,实现一套视频画面中运动物体的行为识别应用算法,算法涉及到的主要图像分析计算算法为帧差法,通过计算采集的相邻两帧画面之间是否存在变化,可判断屏幕是否有变化,如用户是否在播放视频、PPT、图片等;
键盘鼠标钩子检测单元,判断是否用户有点击鼠标或按下键盘的按键,键盘钩子是一种可以监控键盘操作的指令;
钩子(Hook),是Windows消息处理机制的一个平台,应用程序可以在上面设置子程序以监视指定窗口的某种消息,而且所监视的窗口可以是其他进程所创建的,当消息到达后,在目标窗口处理函数之前处理它,钩子机制允许应用程序截获处理window消息或特定事件,好比钩吊到了一条大鱼时不管那鱼怎么逃,只要掌握了系在钩子上的绳子总是可以找到这条鱼。键盘钩子就是利用电脑一条一条执行程序的特点,在处理键盘***代码段里把某一指令替换成一个跳转指令,让执行行为转移到自定义的一段代码,在此代码的结尾处再添加那被替换掉的指令,最后转移到原来被替换处的下一条指令处让原来的***继续运行。好比电路中被串入了电流表,电路功能没有变化,但操作者获得了工作时的电流信息。
通过***调用***的钩子。钩子的本质是一段用以处理***消息的程序,通过***调用,将其挂入***。钩子的种类有很多,每种钩子可以截获并处理相应的消息,每当特定的消息发出,在到达目的窗口之前,钩子程序先行截获该消息、得到对此消息的控制权。此时在钩子函数中就可以对截获的消息进行加工处理,甚至可以强制结束消息的传递。而键盘钩子,只是为了截获键盘消息的。全局钩子可以捕获在Windows平台下任意窗口上的键盘操作
USB信号检测单元,判断是否有其他外部设备在进行***操作;
计算机***的硬件包括显卡、键盘、鼠标和USB接口,所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元,所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元,所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元;
所述屏幕抓取编码推流模块通过对计算机***的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流,将网络流进行推流,推送到指定的录播***网络流采集端,
如上,所述录播***包括录影机和录屏模块,通过录影机对讲解人员的录播以及录屏模块对操作***的屏幕抓屏进行数据采集,并发送到综合数据包。
如上,所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法,通过计算采集的相邻两帧画面之间是否存在变化,可判断屏幕是否有变化,帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法,它可以很好地适用于存在多个运动目标和画面变化的情况。当画面场景中出现异常物体运动时,帧与帧之间会出现较为明显的差别,两帧相减,得到两帧图像亮度差的绝对值,判断它是否大于阈值来分析视频或图像序列的运动特性,确定图像序列中有无物体运动。图像序列逐帧的差分,相当于对图像序列进行了时域下的高通滤波,通过对连续图片帧的比对分析计算,可准确判断场景中是否存在运动物体。
如上,所述USB设备的信号监测包括设备***和拔出以及设备信号截取,通过对开发的程序调用的RegisterDeviceNotification和 UnregisterDeviceNotification两个***函数,函数执行成功后,则有硬件变化时操作***就会发消息通知该程序,在程序收到***通知后,便可以继续通过钩子技术截取USB设备的通信消息。
本发明可用于开发基于网络采集电脑屏幕的自动导播录播***,录播***对用户的屏幕采集可通过网络流媒体进行采集,导播切换程序根据收到的用户行为数据,控制录播***的导播切换,并以以下实施例说明:
实施例1:根据图像识别技术进行导播切换
1)通过在计算机***上播放视频,图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算,判断到场景中存在运动物体,对连接显卡的屏幕进行数据采集,并发送到综合数据包;
2)通过在计算机***上打开PPT,图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算,判断到场景中存在运动物体,对连接显卡的屏幕进行数据采集,并发送到综合数据包;
3)通过在计算机***上打开图片,图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算,判断到场景中存在运动物体,对连接显卡的屏幕进行数据采集,并发送到综合数据包。
实施例2:根据键盘鼠标钩子检测技术进行导播切换
1)通过点击鼠标,在计算机***处理鼠标***代码段时,将鼠标的使用指令前添加一个跳转指令,转移到对操作***的屏幕进行连续抓屏的自定义指令,对连接显卡的屏幕进行数据采集,并发送到综合数据包。
2)通过按下键盘,在计算机***处理键盘***代码段时,将键盘的使用指令前添加一个跳转指令,转移到对操作***的屏幕进行连续抓屏的自定义指令,对连接显卡的屏幕进行数据采集,并发送到综合数据包。
实施例3:根据USB信号检测技术进行导播切换
根据设备的***和拔出,通过***激光笔的USB接口后,计算机***识别成功,有硬件变化时操作***就会发消息通知该程序,在程序收到***通知后,便可以继续通过钩子技术截取USB设备的通信消息,然后通过计算机***处理激光笔代码段时,将激光笔的使用指令前添加一个跳转指令,转移到对操作***的屏幕进行连续抓屏的自定义指令,对连接显卡的屏幕进行数据采集,并发送到综合数据包。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (4)
1.用户行为自动检测智能屏幕抓屏***,其特征在于:包括与计算机***的硬件连接的用户行为检测识别模块和与录播***连接的屏幕抓取编码推流模块,
所述用户行为检测识别模块包括,
图像识别单元,实现视频画面中运动物体的行为识别应用算法;
键盘鼠标钩子检测单元,判断是否用户有点击鼠标或按下键盘的按键;
USB信号检测单元,判断是否有其他外部设备在进行***操作;
计算机***的硬件包括显卡、键盘、鼠标和USB接口,所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元,所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元,所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元;
所述屏幕抓取编码推流模块通过对计算机***的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流,将网络流进行推流,推送到指定的录播***网络流采集端。
2.根据权利要求1所述的用户行为自动检测智能屏幕抓屏***,其特征在于:所述录播***包括录影机和录屏模块,通过录影机对讲解人员的录播以及录屏模块对操作***的屏幕抓屏进行数据采集,并发送到综合数据包。
3.根据权利要求1所述的用户行为自动检测智能屏幕抓屏***,其特征在于:所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法,通过计算采集的相邻两帧画面之间是否存在变化,可判断屏幕是否有变化。
4.根据权利要求1所述的用户行为自动检测智能屏幕抓屏***,其特征在于:所述USB设备的信号监测包括设备***和拔出以及设备信号截取,通过对开发的程序调用的RegisterDeviceNotification和UnregisterDeviceNotification两个***函数,函数执行成功后,则有硬件变化时操作***就会发消息通知该程序,在程序收到***通知后,便可以继续通过钩子技术截取USB设备的通信消息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811104836.0A CN109324911A (zh) | 2018-09-21 | 2018-09-21 | 用户行为自动检测智能屏幕抓屏*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811104836.0A CN109324911A (zh) | 2018-09-21 | 2018-09-21 | 用户行为自动检测智能屏幕抓屏*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109324911A true CN109324911A (zh) | 2019-02-12 |
Family
ID=65266017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811104836.0A Pending CN109324911A (zh) | 2018-09-21 | 2018-09-21 | 用户行为自动检测智能屏幕抓屏*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109324911A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598747A (zh) * | 2020-04-26 | 2020-08-28 | 广州市奥威亚电子科技有限公司 | 录播推送方法、装置及录播*** |
CN113935360A (zh) * | 2020-06-29 | 2022-01-14 | 腾讯科技(深圳)有限公司 | 视频中辅助线的识别方法、装置、设备及可读存储介质 |
CN114189646A (zh) * | 2020-09-15 | 2022-03-15 | 深圳市万普拉斯科技有限公司 | 终端控制方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455372A (zh) * | 2003-05-29 | 2003-11-12 | 上海交通大学 | 基于ip网络的屏幕共享和同步录制方法 |
CN103780860A (zh) * | 2014-01-28 | 2014-05-07 | 福建伊时代信息科技股份有限公司 | 一种屏幕录像方法及其装置与*** |
CN104158696A (zh) * | 2013-05-13 | 2014-11-19 | 华为技术有限公司 | 一种测量操作延时的确定方法、装置及终端 |
CN104850407A (zh) * | 2015-05-28 | 2015-08-19 | 深圳市云舒网络技术有限公司 | 一种桌面录屏***及其录屏方法 |
CN105069150A (zh) * | 2015-08-24 | 2015-11-18 | 上海艺赛旗软件有限公司 | 屏幕录像的压缩、存储、回放方法及压缩、存储*** |
CN108038397A (zh) * | 2017-12-15 | 2018-05-15 | 神思电子技术股份有限公司 | 一种rfid读写器读写计时的测试装置及方法 |
CN108279838A (zh) * | 2018-01-16 | 2018-07-13 | 安徽慧视金瞳科技有限公司 | 一种激光笔远程交互方法 |
-
2018
- 2018-09-21 CN CN201811104836.0A patent/CN109324911A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1455372A (zh) * | 2003-05-29 | 2003-11-12 | 上海交通大学 | 基于ip网络的屏幕共享和同步录制方法 |
CN104158696A (zh) * | 2013-05-13 | 2014-11-19 | 华为技术有限公司 | 一种测量操作延时的确定方法、装置及终端 |
CN103780860A (zh) * | 2014-01-28 | 2014-05-07 | 福建伊时代信息科技股份有限公司 | 一种屏幕录像方法及其装置与*** |
CN104850407A (zh) * | 2015-05-28 | 2015-08-19 | 深圳市云舒网络技术有限公司 | 一种桌面录屏***及其录屏方法 |
CN105069150A (zh) * | 2015-08-24 | 2015-11-18 | 上海艺赛旗软件有限公司 | 屏幕录像的压缩、存储、回放方法及压缩、存储*** |
CN108038397A (zh) * | 2017-12-15 | 2018-05-15 | 神思电子技术股份有限公司 | 一种rfid读写器读写计时的测试装置及方法 |
CN108279838A (zh) * | 2018-01-16 | 2018-07-13 | 安徽慧视金瞳科技有限公司 | 一种激光笔远程交互方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111598747A (zh) * | 2020-04-26 | 2020-08-28 | 广州市奥威亚电子科技有限公司 | 录播推送方法、装置及录播*** |
CN113935360A (zh) * | 2020-06-29 | 2022-01-14 | 腾讯科技(深圳)有限公司 | 视频中辅助线的识别方法、装置、设备及可读存储介质 |
CN114189646A (zh) * | 2020-09-15 | 2022-03-15 | 深圳市万普拉斯科技有限公司 | 终端控制方法、装置、电子设备和存储介质 |
WO2022057602A1 (zh) * | 2020-09-15 | 2022-03-24 | 深圳市万普拉斯科技有限公司 | 终端控制方法、装置、电子设备和存储介质 |
CN114189646B (zh) * | 2020-09-15 | 2023-03-21 | 深圳市万普拉斯科技有限公司 | 终端控制方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10565451B2 (en) | Augmented video analytics for testing internet of things (IoT) devices | |
JP2020030811A (ja) | 応答時間を確定するための方法及び装置 | |
CN109324911A (zh) | 用户行为自动检测智能屏幕抓屏*** | |
CN112511821B (zh) | 视频卡顿检测方法、装置和存储介质 | |
CN101916447B (zh) | 一种鲁棒的运动目标检测与跟踪图像处理方法 | |
EP2688296A1 (en) | Video monitoring system and method | |
CN104956339B (zh) | 从视频生成软件测试脚本 | |
CN114302159B (zh) | 一种直播间异常的监控方法、装置、设备以及存储介质 | |
CN112965804A (zh) | 一种处理信息的方法、装置、终端、***以及存储介质 | |
CN112950400A (zh) | 数据处理平台 | |
CN113096158A (zh) | 运动对象的识别方法、装置、电子设备及可读存储介质 | |
CN113269039A (zh) | 一种在岗人员行为识别方法和*** | |
CN110830772A (zh) | 一种厨房视频分析资源调度方法、装置及*** | |
CN112434178A (zh) | 图像分类方法、装置、电子设备和存储介质 | |
CN211184122U (zh) | 铁路作业安全防控和大客流预警联动的智能视频分析*** | |
CN114245232B (zh) | 一种视频摘要生成方法、装置、存储介质及电子设备 | |
CN117424924A (zh) | 一种基于元宇宙互动的巡视增强方法 | |
CN114419502A (zh) | 一种数据分析方法、装置及存储介质 | |
CN111263225A (zh) | 视频卡顿预测方法、装置、计算机设备及存储介质 | |
CN112883755A (zh) | 一种基于深度学习与行为先验的吸烟和打电话检测方法 | |
CN104021576A (zh) | 在场景中追踪移动物体的方法及*** | |
CN113691801A (zh) | 基于视频图像分析的视频监控设备故障监测方法及*** | |
CN113382232A (zh) | 监控音视频质量的方法和装置、***、电子设备 | |
CN115909194A (zh) | 一种基于图像识别的安防监控信息处理*** | |
CN114071232B (zh) | 音视频质量可视化方法及其装置、设备、介质、产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190212 |
|
RJ01 | Rejection of invention patent application after publication |