CN107666610A - 桌面视频内容分析方法 - Google Patents

桌面视频内容分析方法 Download PDF

Info

Publication number
CN107666610A
CN107666610A CN201710875777.6A CN201710875777A CN107666610A CN 107666610 A CN107666610 A CN 107666610A CN 201710875777 A CN201710875777 A CN 201710875777A CN 107666610 A CN107666610 A CN 107666610A
Authority
CN
China
Prior art keywords
frame
video
desktop
analysis method
static frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710875777.6A
Other languages
English (en)
Inventor
白刚
夏鹏
范圣冲
高新媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI SAILIAN INFORMATION TECHNOLOGY Co.,Ltd.
Original Assignee
Beijing Fish Easy Lian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fish Easy Lian Technology Co Ltd filed Critical Beijing Fish Easy Lian Technology Co Ltd
Priority to CN201710875777.6A priority Critical patent/CN107666610A/zh
Publication of CN107666610A publication Critical patent/CN107666610A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及桌面视频内容分析方法，包括：步骤1、对已采集的桌面图像的特定周期内的视频帧，以第二帧至最后一帧依次作为当前帧，分别判定当前帧与前一帧的画面差异程度；步骤2、根据当前帧与前一帧的画面差异程度，将当前帧分类为静态帧、小动态帧、大动态帧，其中，静态帧、小动态帧、大动态帧与前一帧画面的差异程度逐步增大；步骤3、统计所述特定周期中的静态帧、小动态帧、大动态帧各自所占的比例；步骤4、根据步骤3的统计结果，如果所述静态帧的比例大于第一阈值，则将所述视频判定为第一类型的视频。本发明可以帮助在线视频产品(例如，网络会议应用)分析用户的桌面场景，从而选择最合适的编码、传输方式对用户的桌面进行编码，传输。

Description

桌面视频内容分析方法
技术领域
本发明涉及通信和视频处理技术领域，具体地，涉及用于视频会议等场合的桌面视频内容分析方法。
背景技术
基于互联网的视频通信技术被广泛应用企业或个人进行视频会议等工作和生活应用场合。在这些应用中，经常需要对电脑桌面显示的画面进行抓取，然后使用视频编码技术，比如H.264、H.265等国际标准，对抓屏数据进行编码，然后实时传输。
现有的视频编码传输***在使用视频编码技术编码电脑桌面屏幕画面的过程中，并不对桌面屏幕画面进行内容分析，而是将画面整体作为输入，交由视频编码器进行处理。
由于人们在操作电脑时，电脑桌面屏幕内容变化多端，如不做内容分析，使用单一的参数设置编码器，往往不能得到最优的压缩比率、最优的视频质量和最佳的视频体验。例如，在现有的***中，视频编码的帧率和分辨率，一般仅根据网络带宽来确定，且某一帧是否为参考帧往往按固定模式设置。另外，各帧码率几乎平均分配，这对于例如幻灯片演示等的典型场景来说并不合理。
在现有的视频内容分析方法中，主要是对视频画面中的纹理进行分析，根据颜色统计等信息判断内容的类型。这种方法的缺点在于，纹理分析技术只针对图像纹理进行分析，而视频除了空间上的图像纹理信息，还有时间上的运动相关信息，而且，时间上的运动相关信息的变化对视频编码的码率控制和视频质量有很大的影响，现有技术中的视频画面分析不能针对桌面视频内容的特点、全面识别并利用视频内容的特征。
因此，在桌面视频的传输中，为了进一步优化体验，有开发新的桌面内容进行分析方法的需求，以便针对桌面视频内容的特点，更好地识别并利用视频内容的特征，进一步便于后续对视频编码和传输进行更好控制。
发明内容
本发明的目的是针对现有技术的不足，设计本视频编码和传输控制***，针对电脑屏幕内容进行分析，然后根据内容分析结果，结合网络传输状况控制编码器的编码参数，比如码率，分辨率，帧内编码帧间隔，参考帧选择，跳帧决策和量化参数等。
根据本发明的实施例，提供了桌面视频内容分析方法，包括以下步骤：步骤1、对已采集的桌面图像的特定周期内的视频帧，以第二帧至最后一帧依次作为当前帧，分别判定当前帧与前一帧的画面差异程度；步骤2、根据当前帧与前一帧的画面差异程度，将当前帧分类为静态帧、小动态帧、大动态帧，其中，静态帧、小动态帧、大动态帧与前一帧画面的差异程度逐步增大；步骤3、统计所述特定周期中的静态帧、小动态帧、大动态帧各自所占的比例；步骤4、根据步骤3的统计结果，如果所述静态帧的比例大于第一阈值，则将所述视频判定为第一类型的视频。
本发明可以帮助在线视频产品(例如，网络会议应用)分析用户的桌面场景，从而选择最合适的编码、传输方式对用户的桌面进行编码，传输。
附图说明
图1为根据本发明的实施例的桌面视频内容分析方法的流程示意图。
具体实施方式
下面，结合附图对技术方案的实施作进一步的详细描述。
本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。
另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。
下面结合附图对具体实施方案进行详细描述。
图1为根据本发明的实施例的桌面视频内容分析方法的流程示意图。
如图1所示，根据本发明的实施例，桌面视频内容分析方法主要包括以下步骤：
步骤1、对已采集图像的特定周期(定义为观察窗，例如，5秒周期的观察窗)内的视频帧，以第二帧至最后一帧依次作为当前帧，分别判定当前帧与前一帧的画面差异程度；
步骤2、根据当前帧与前一帧的画面差异程度，将当前帧分类为静态帧、小动态帧、大动态帧，其中，静态帧、小动态帧、大动态帧与前一帧的画面差异程度逐步增大；
步骤3、统计所述特定周期中的静态帧、小动态帧、大动态帧各自所占的比例，并且，该方法根据所述统计的结果跳转到以下步骤4至6中的一个；
步骤4、根据步骤3的统计结果，如果所述静态帧的比例大于第一阈值，则将所述视频判定为第一类型的视频(视频内容处于静态，如呈现文档、没有对桌面任何操作的视频)；
步骤5、根据步骤3的统计结果，如果所述静态帧的比例不大于第一阈值、且所述小动态帧在所述静态帧之外的帧中所占的比例大于第二阈值，则将所述视频判定为第二类型的视频(视频内容有较小变化，如图像内容为文档编辑模式，通常用户是在对文档做局部编辑、修改)；
步骤6、根据步骤3的统计结果，如果静态帧的比例不大于第一阈值、且所述小动态帧在所述静态帧之外的帧中所占的比例不大于第二阈值，则将所述视频判定为第三类型的视频(视频内容有较大变化，如视频播放模式，通常用户是在播放视频)。
具体地，作为示例，在步骤1中，根据分块规则(例如，均匀分块、或者基于感兴趣区域来分块)，以同样方式，将已采集图像的每帧各自分成若干个单元块，并判断每个单元块的内容是否有变化。之后，在步骤2中，基于以上单元块变化情况，统计每帧中的单元块变化比率，根据比率的大小将当前帧分类为静态帧、小动态帧、大动态帧。
更具体地，作为示例，在步骤1中，使用循环冗余校验(CRC)算法，计算得出每帧中每个单元块数据的散列(Hash)值。通过比较前后两帧相同位置的单元块的散列值，判断单元块内容是否有变化，例如，如果相同单元块的散列值不同，则单元块内容有变化；如果相同位置单元块的散列值相同，则单元块内容没有变化。由此，基于以上单元块变化情况，统计每帧单元块变化比率，根据比率的大小把图像帧分类为上述三类。
可选地，在步骤2中，可对图像的每一帧使用循环冗余校验算法，计算得出每帧图像的散列值。基于计算得出的散列值，在视频观察窗中统计静态帧(相同帧)的数目。
这样，上级的控制***能够例如上述图像帧分类的结果，结合用户当前的网络状况(例如，发送端用户的网络上行带宽、接收端用户的网络下行带宽)、适当地选择编码方式、以及编码参数，例如编码方式包括常规编码、全帧内编码、跳帧编码等方式，编码参数包括编码帧率、码率、分辨率等参数。由此，还结合视频内容的分析，在满足网络带宽需求的条件下保障了最优的视频质量，同时还能节省网络带宽。
最后，本领域的技术人员能够理解，对本发明的上述实施例能够做出各种修改、变型、以及替换，其均落入如所附权利要求限定的本发明的保护范围。

Claims (10)

1.一种桌面视频内容分析方法，包括以下步骤：
步骤1、对已采集的桌面图像的特定周期内的视频帧，以第二帧至最后一帧依次作为当前帧，分别判定当前帧与前一帧的画面差异程度；
步骤2、根据当前帧与前一帧的画面差异程度，将当前帧分类为静态帧、小动态帧、大动态帧，其中，静态帧、小动态帧、大动态帧与前一帧画面的差异程度逐步增大；
步骤3、统计所述特定周期中的静态帧、小动态帧、大动态帧各自所占的比例；
步骤4、根据步骤3的统计结果，如果所述静态帧的比例大于第一阈值，则将所述视频判定为第一类型的视频。
2.根据权利要求1所述的桌面视频内容分析方法，还包括以下步骤：
步骤5、根据步骤3的统计结果，如果所述静态帧的比例不大于第一阈值、且所述小动态帧在所述静态帧之外的帧中所占的比例大于第二阈值，则将所述视频判定为第二类型的视频。
3.根据权利要求2所述的桌面视频内容分析方法，还包括以下步骤：
步骤6、根据步骤3的统计结果，如果静态帧的比例不大于第一阈值、且所述小动态帧在所述静态帧之外的帧中所占的比例不大于第二阈值，则将所述视频判定为第三类型的视频。
4.根据权利要求1所述的桌面视频内容分析方法，其中，所述第一类型的视频为视频内容处于静态的视频，包括用户在桌面呈现文档、没有对桌面任何操作的状态下采集的视频。
5.根据权利要求2所述的桌面视频内容分析方法，其中，所述第二类型的视频为视频内容有较小变化的视频，包括用户在桌面进行文档编辑状态下采集的视频。
6.根据权利要求3所述的桌面视频内容分析方法，其中，所述第三类型的视频为视频内容有较大变化的视频，包括用户在桌面播放视频的情况下采集的视频。
7.根据权利要求1所述的桌面视频内容分析方法，其中，在步骤1中，将已采集图像的每帧各自分成若干个单元块，并判断每个单元块的内容是否有变化，
之后，在步骤2中，基于单元块变化情况，统计每帧中的单元块变化比率，根据比率的大小将当前帧分类为静态帧、小动态帧、大动态帧。
8.根据权利要求7所述的桌面视频内容分析方法，其中，在步骤1中，使用循环冗余校验算法，计算每帧中每个单元块数据的散列值，如果相同单元块的散列值相同，则判定单元块内容无变化，否则判定单元块内容有变化。
9.根据权利要求1所述的桌面视频内容分析方法，在步骤1中，计算每一帧的散列值，
在步骤2中，如果当前帧与前一帧的散列值相同，则判定当前帧为静态帧。
10.根据权利要求3所述的桌面视频内容分析方法，对第一类型的视频、第二类型的视频、第三类型的视频分别采用不同的编码方式进行编码。
CN201710875777.6A 2017-09-25 2017-09-25 桌面视频内容分析方法 Pending CN107666610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710875777.6A CN107666610A (zh) 2017-09-25 2017-09-25 桌面视频内容分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710875777.6A CN107666610A (zh) 2017-09-25 2017-09-25 桌面视频内容分析方法

Publications (1)

Publication Number Publication Date
CN107666610A true CN107666610A (zh) 2018-02-06

Family

ID=61097169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710875777.6A Pending CN107666610A (zh) 2017-09-25 2017-09-25 桌面视频内容分析方法

Country Status (1)

Country Link
CN (1) CN107666610A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740316A (zh) * 2019-09-09 2020-01-31 西安万像电子科技有限公司 数据编码方法及装置
CN111245879A (zh) * 2018-11-29 2020-06-05 深信服科技股份有限公司 一种虚拟桌面的桌面内容传输方法、***及相关组件
CN112887717A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 智慧终端视频编码优化方法和装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625106A (zh) * 2012-03-28 2012-08-01 上海交通大学 场景自适应的屏幕编码码率控制方法及其***
CN104618679A (zh) * 2015-03-13 2015-05-13 南京知乎信息科技有限公司 一种监控视频中抽取关键信息帧的方法
CN105025382A (zh) * 2014-04-23 2015-11-04 深圳Tcl新技术有限公司 游戏模式自动开关的方法和装置
CN105578177A (zh) * 2015-12-15 2016-05-11 浙江广播电视集团 基于crc校验的视频静帧检测***及方法
CN105681791A (zh) * 2016-01-18 2016-06-15 武汉理工大学 自适应远程桌面传输方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102625106A (zh) * 2012-03-28 2012-08-01 上海交通大学 场景自适应的屏幕编码码率控制方法及其***
CN105025382A (zh) * 2014-04-23 2015-11-04 深圳Tcl新技术有限公司 游戏模式自动开关的方法和装置
CN104618679A (zh) * 2015-03-13 2015-05-13 南京知乎信息科技有限公司 一种监控视频中抽取关键信息帧的方法
CN105578177A (zh) * 2015-12-15 2016-05-11 浙江广播电视集团 基于crc校验的视频静帧检测***及方法
CN105681791A (zh) * 2016-01-18 2016-06-15 武汉理工大学 自适应远程桌面传输方法与***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111245879A (zh) * 2018-11-29 2020-06-05 深信服科技股份有限公司 一种虚拟桌面的桌面内容传输方法、***及相关组件
CN110740316A (zh) * 2019-09-09 2020-01-31 西安万像电子科技有限公司 数据编码方法及装置
CN112887717A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 智慧终端视频编码优化方法和装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN102625106B (zh) 场景自适应的屏幕编码码率控制方法及其***
Yang et al. Perceptual quality assessment of screen content images
CN103886623B (zh) 一种图像压缩方法、设备及***
CN105677279B (zh) 桌面区域共享方法、***及相应的共享端和观看端
JP2020508010A (ja) 画像処理およびビデオ圧縮方法
CN107659827A (zh) 基于内容分析的桌面视频编码控制***
CA2981983A1 (en) Method and apparatus for automatic discovery of elements in a system of encoders
CN107666610A (zh) 桌面视频内容分析方法
US20150163485A1 (en) Method and system of coding prediction for screen video
CN105338323A (zh) 一种视频监控方法及装置
WO2008047865A1 (fr) Procédé, système et programme d'évaluation de qualité d'image
CN114513655A (zh) 直播视频质量评价方法、视频质量的调整方法及相关装置
CN106412572A (zh) 一种基于运动特性的视频流编码质量评价方法
JP2015507902A (ja) 安定した情報および過渡的／確率的情報の別個のエンコードおよびデコード
CN103209204A (zh) 一种用于医学影像教学***的计算机屏幕远程控制方法
CN110740316A (zh) 数据编码方法及装置
CN102754440A (zh) 图像编码方法、图像编码装置以及摄像***
CN112633313A (zh) 一种网络终端的不良信息识别方法及局域网终端设备
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN102917157A (zh) 一种基于人体视觉***的图片压缩***及方法
CN113111823A (zh) 一种建筑施工地的异常行为检测方法和相关装置
CN104052992B (zh) 一种图像处理方法及电子设备
CN110740352A (zh) 显卡透传环境下基于spice协议的差异图像显示方法
CN117201862B (zh) 一种基于多屏幕协同的实时互动方法及相关装置
CN110019953A (zh) 一种有效载荷图像数据实时快视***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200413

Address after: Three C06 room No. 207 Pudong New Area Road, Shanghai City, 200131 foot

Applicant after: SHANGHAI SAILIAN INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 100086 Beijing city Haidian District Qingyun aromatic garden Ting Building No. 9 building 17 layer 1707-754 contemporary Qingyun

Applicant before: BEIJING XYLINK TECHNOLOGY Inc.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180206

RJ01 Rejection of invention patent application after publication