CN111918077A - 视频直播图像声音采集和电脑桌面采集同步合成方法 - Google Patents
视频直播图像声音采集和电脑桌面采集同步合成方法 Download PDFInfo
- Publication number
- CN111918077A CN111918077A CN202010718614.9A CN202010718614A CN111918077A CN 111918077 A CN111918077 A CN 111918077A CN 202010718614 A CN202010718614 A CN 202010718614A CN 111918077 A CN111918077 A CN 111918077A
- Authority
- CN
- China
- Prior art keywords
- video
- data packet
- audio
- desktop
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001360 synchronised effect Effects 0.000 title abstract description 6
- 238000001308 synthesis method Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 6
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 239000003550 marker Substances 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000003786 synthesis reaction Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种视频直播图像声音采集和电脑桌面采集同步合成方法，涉及流媒体合成技术领域。本发明包括如下步骤：获取在桌面预选的至少一个显示区域的音频/位置参数；抓取当前整个桌面视频信息进行绑定为第一数据包；摄像头采集教师上课视频进行绑定为第二数据包；将第一数据包和第二数据包进行解析合并；合并后的视频发送给服务器端进行区域音频/位置参数集的音频数据和视频图像进行匹配；匹配成功后的视频数据在指定区域位置进行覆盖。本发明方便学生远程观看授课的课件和老师的同步讲解，同时多个视频框随意切换，提高学生远程上课的学习效果。
Description
技术领域
本发明属于流媒体合成技术领域，特别是涉及一种视频直播图像声音采集和电脑桌面采集同步合成方法。
背景技术
多媒体(Multimedia)是多种媒体的综合，一般包括文本、声音和图像等多种媒体形式。多媒体是信息化的体现，也是社会发展的趋势，多媒体教育是信息化的一个部分，大力促进多媒体教育已成为教育发展的潮流。
由于多媒体固有的融合文本、声音和图像等多种媒体形式的特点，教学中往往使用多媒体技术，有利于提高教师的专业水平，有利于教师整合教学资源。多媒体教学技术能弥补传统教学中的不足，是新型的科学教学技术。
目前，在采用多媒体技术的远程培训中，讲师需要将课件(PPT/或其他文档)、电脑桌面向学生共享，但上课学生看电脑的时候看不到教师的表情、动作、肢体语言，因此会遗漏老师的肢体表达信息，除此之外，其互动性及趣味性也较差；而且在直播的过程中，由于流媒体的数据帧非常容易丢帧，导致视频卡顿或者声音、画面不同步的问题，严重影响教师的教学质量。
发明内容
本发明的目的在于提供一种视频直播图像声音采集和电脑桌面采集同步合成方法，通过将桌面视频信息和教师上课视频信息进行采集解析合并，并将合并后的视频再服务器进行区域匹配，匹配成功后在指定区域进行覆盖，解决了现有的远程培训课堂老师和电脑桌面不能同步、授课效率低、直播视频容易卡顿的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种视频直播图像声音采集和电脑桌面采集同步合成方法，包括如下步骤：
步骤S1：获取在桌面预选的至少一个显示区域的音频/位置参数；
步骤S2：抓取当前整个桌面视频信息进行绑定为第一数据包；
步骤S3：摄像头采集教师上课视频进行绑定为第二数据包；
步骤S4：将第一数据包和第二数据包进行解析合并；
步骤S5：合并后的视频发送给服务器端进行区域音频/位置参数集的音频数据和视频图像进行匹配；
步骤S6：匹配成功后的视频数据在指定区域位置进行覆盖。
优选地，所述步骤S1中，桌面视频和摄像头采集的上课视频可以在显示区域内进行切换。
优选地，所述步骤S2中，客户端截取整个桌面的视频图像，并进行编码压缩获取视频编码数据包；所述视频图像包括至少一个显示区域；所述视频编码数据包与至少一个所述位置参数绑定为对应的第二网络数据包，并发送给所述目标服务端。
优选地，所述步骤S4中，对桌面视频进行音频标志的标识处理，并形成区域音频/位置参数集，并将提取并编码压缩的音频数据与区域音频/位置参数集进行绑定为对应的第一网络数据包，并发送给所述目标服务端。
优选地，所述目标服务端对或去的第一网络数据包或第二网络数据包进行类型解析，若为第一网络数据包，则对编码压缩后的音频数据进行解码获取至少一组音频数据，若为所述第二网络数据包，则对编码压缩后的音频数据进行解码获取到视频图像。
优选地，所述目标服务端对位置参数对应的显示区域进行是否存在有音频标志的检测，若有，则根据音频标志对应的区域音频/位置参数集进行音频数据和位置参数对应的视频图像的匹配，并进行对应的客户端桌面区域共享，若否，则位置参数对应的视频图像进行对应的客户端桌面区域共享。
优选地，所述S5中，若第一数据包和第二数据包进行解析合并使均包含音频标志，则需要对合并后的音频数据进行混音处理。
本发明具有以下有益效果：
本发明通过将桌面视频信息和教师上课视频信息进行采集解析合并，并将合并后的视频再服务器进行区域匹配，匹配成功后在指定区域进行覆盖，方便学生远程观看授课的课件和老师的同步讲解，同时多个视频框随意切换，方便学生进行观摩学习，提高学生远程上课的学习效果。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种视频直播图像声音采集和电脑桌面采集同步合成方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种视频直播图像声音采集和电脑桌面采集同步合成方法，包括如下步骤：
步骤S1：获取在桌面预选的至少一个显示区域的音频/位置参数；
步骤S2：抓取当前整个桌面视频信息进行绑定为第一数据包；
步骤S3：摄像头采集教师上课视频进行绑定为第二数据包；
步骤S4：将第一数据包和第二数据包进行解析合并；
步骤S5：合并后的视频发送给服务器端进行区域音频/位置参数集的音频数据和视频图像进行匹配；
步骤S6：匹配成功后的视频数据在指定区域位置进行覆盖。
其中，步骤S1中，桌面视频和摄像头采集的上课视频可以在显示区域内进行切换。
其中，步骤S2中，客户端截取整个桌面的视频图像，并进行编码压缩获取视频编码数据包；视频图像包括至少一个显示区域；视频编码数据包与至少一个位置参数绑定为对应的第二网络数据包，并发送给目标服务端。
其中，步骤S4中，对桌面视频进行音频标志的标识处理，并形成区域音频/位置参数集，并将提取并编码压缩的音频数据与区域音频/位置参数集进行绑定为对应的第一网络数据包，并发送给目标服务端。
其中，目标服务端对或去的第一网络数据包或第二网络数据包进行类型解析，若为第一网络数据包，则对编码压缩后的音频数据进行解码获取至少一组音频数据，若为第二网络数据包，则对编码压缩后的音频数据进行解码获取到视频图像。
其中，目标服务端对位置参数对应的显示区域进行是否存在有音频标志的检测，若有，则根据音频标志对应的区域音频/位置参数集进行音频数据和位置参数对应的视频图像的匹配，并进行对应的客户端桌面区域共享，若否，则位置参数对应的视频图像进行对应的客户端桌面区域共享。
其中，S5中，若第一数据包和第二数据包进行解析合并使均包含音频标志，则需要对合并后的音频数据进行混音处理。
值得注意的是，上述***实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，包括如下步骤：
步骤S1：获取在桌面预选的至少一个显示区域的音频/位置参数；
步骤S2：抓取当前整个桌面视频信息进行绑定为第一数据包；
步骤S3：摄像头采集教师上课视频进行绑定为第二数据包；
步骤S4：将第一数据包和第二数据包进行解析合并；
步骤S5：合并后的视频发送给服务器端进行区域音频/位置参数集的音频数据和视频图像进行匹配；
步骤S6：匹配成功后的视频数据在指定区域位置进行覆盖。
2.根据权利要求1所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述步骤S1中，桌面视频和摄像头采集的上课视频可以在显示区域内进行切换。
3.根据权利要求1所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述步骤S2中，客户端截取整个桌面的视频图像，并进行编码压缩获取视频编码数据包；所述视频图像包括至少一个显示区域；所述视频编码数据包与至少一个所述位置参数绑定为对应的第二网络数据包，并发送给所述目标服务端。
4.根据权利要求1所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述步骤S4中，对桌面视频进行音频标志的标识处理，并形成区域音频/位置参数集，并将提取并编码压缩的音频数据与区域音频/位置参数集进行绑定为对应的第一网络数据包，并发送给所述目标服务端。
5.根据权利要求1或4所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述目标服务端对或去的第一网络数据包或第二网络数据包进行类型解析，若为第一网络数据包，则对编码压缩后的音频数据进行解码获取至少一组音频数据，若为所述第二网络数据包，则对编码压缩后的音频数据进行解码获取到视频图像。
6.根据权利要求4所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述目标服务端对位置参数对应的显示区域进行是否存在有音频标志的检测，若有，则根据音频标志对应的区域音频/位置参数集进行音频数据和位置参数对应的视频图像的匹配，并进行对应的客户端桌面区域共享，若否，则位置参数对应的视频图像进行对应的客户端桌面区域共享。
7.根据权利要求1所述的一种视频直播图像声音采集和电脑桌面采集同步合成方法，其特征在于，所述S5中，若第一数据包和第二数据包进行解析合并使均包含音频标志，则需要对合并后的音频数据进行混音处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010718614.9A CN111918077A (zh) | 2020-07-23 | 2020-07-23 | 视频直播图像声音采集和电脑桌面采集同步合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010718614.9A CN111918077A (zh) | 2020-07-23 | 2020-07-23 | 视频直播图像声音采集和电脑桌面采集同步合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111918077A true CN111918077A (zh) | 2020-11-10 |
Family
ID=73281404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010718614.9A Pending CN111918077A (zh) | 2020-07-23 | 2020-07-23 | 视频直播图像声音采集和电脑桌面采集同步合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111918077A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140038781A1 (en) * | 2012-07-31 | 2014-02-06 | John Paul Foley | Exercise system and method |
| CN105141883A (zh) * | 2015-08-18 | 2015-12-09 | 广东威创视讯科技股份有限公司 | 一种桌面共享音频方法及*** |
| US20160049082A1 (en) * | 2014-08-14 | 2016-02-18 | Albert Roy Leatherman, III | System for Interactive Online Instruction |
| CN108769721A (zh) * | 2018-05-23 | 2018-11-06 | 福建掌搜科技有限公司 | 一种直播场景智能切换***及其方法 |
| CN109168017A (zh) * | 2018-10-16 | 2019-01-08 | 深圳市三叶虫科技有限公司 | 一种基于智能眼镜的视频直播互动***及直播互动方式 |
| CN110213609A (zh) * | 2019-06-12 | 2019-09-06 | 珠海读书郎网络教育有限公司 | 在网络教育直播中进行连麦直播的方法、装置及存储介质 |
-
2020
- 2020-07-23 CN CN202010718614.9A patent/CN111918077A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140038781A1 (en) * | 2012-07-31 | 2014-02-06 | John Paul Foley | Exercise system and method |
| US20160049082A1 (en) * | 2014-08-14 | 2016-02-18 | Albert Roy Leatherman, III | System for Interactive Online Instruction |
| CN105141883A (zh) * | 2015-08-18 | 2015-12-09 | 广东威创视讯科技股份有限公司 | 一种桌面共享音频方法及*** |
| CN108769721A (zh) * | 2018-05-23 | 2018-11-06 | 福建掌搜科技有限公司 | 一种直播场景智能切换***及其方法 |
| CN109168017A (zh) * | 2018-10-16 | 2019-01-08 | 深圳市三叶虫科技有限公司 | 一种基于智能眼镜的视频直播互动***及直播互动方式 |
| CN110213609A (zh) * | 2019-06-12 | 2019-09-06 | 珠海读书郎网络教育有限公司 | 在网络教育直播中进行连麦直播的方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hart | Understanding the media: A practical guide | |
| CN100535959C (zh) | 基于网络的多种媒体实时同步教学*** | |
| US10354540B2 (en) | Method for generating a dedicated format file for a panorama mode teaching system | |
| CN111611434B (zh) | 一种线上课程互动方法及互动平台 | |
| CN105405325A (zh) | 一种网络教学方法及*** | |
| CN106781770A (zh) | 一种常态化互动录播*** | |
| CN104539436A (zh) | 一种课堂内容实时直播方法及*** | |
| CN104540026A (zh) | 一种课堂内容录像及回放方法及*** | |
| CN102209080A (zh) | 一种用于同步教学或会议的终端***及其控制方法 | |
| CN112468822A (zh) | 一种基于视频sei消息的多媒体录播课互动方法 | |
| CN110072137A (zh) | 一种视频直播的数据传输方法及传输装置 | |
| CN106454200A (zh) | 一种基于场景切换的视频交互方法和*** | |
| Moe et al. | Media institutions as a research field: Three phases of Norwegian broadcasting research | |
| CN109862375B (zh) | 云录播*** | |
| CN110933350A (zh) | 一种电子云镜录播***、方法及装置 | |
| CN111918077A (zh) | 视频直播图像声音采集和电脑桌面采集同步合成方法 | |
| Samčović | Accessibility of services in digital television for hearing impaired consumers | |
| CN203193773U (zh) | 一种多媒体全景录制*** | |
| CN114938443A (zh) | 一种基于流媒体的实验实操考试实时评分方法 | |
| CN109889916B (zh) | 录播数据的应用*** | |
| WO2017149447A1 (en) | A system and method for providing real time media recommendations based on audio-visual analytics | |
| CN101883270A (zh) | 一种在独立视频流中***相关媒体的方法 | |
| KR20110124048A (ko) | 온라인 교육 포털 서비스 제공 시스템 및 방법 | |
| CN111614869A (zh) | 一种4k高清摄像机双路画面采集*** | |
| CN111081101A (zh) | 一种互动录播***、方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |