CN111432214A - 一种基于h5视频直播的自适应动态转码技术 - Google Patents

一种基于h5视频直播的自适应动态转码技术 Download PDF

Info

Publication number
CN111432214A
CN111432214A CN202010256141.5A CN202010256141A CN111432214A CN 111432214 A CN111432214 A CN 111432214A CN 202010256141 A CN202010256141 A CN 202010256141A CN 111432214 A CN111432214 A CN 111432214A
Authority
CN
China
Prior art keywords
video
code stream
browser
server
transcoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010256141.5A
Other languages
English (en)
Inventor
王齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Innoview Technology Co ltd
Original Assignee
Shenzhen Innoview Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Innoview Technology Co ltd filed Critical Shenzhen Innoview Technology Co ltd
Priority to CN202010256141.5A priority Critical patent/CN111432214A/zh
Publication of CN111432214A publication Critical patent/CN111432214A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种基于H5视频直播的自适应动态转码技术，包括以下步骤：采集端获取原始音频数据，并对音频进行压缩；采集端将压缩后的码流发送至动态转码服务器，动态转码服务器进行视频转码封装和视频传输；浏览器终端接收视频码流，并采用HTML5进行视频的解码和显示，以完成整个视频直播。本发明运用了视频采集、视频压缩、自动控制、网络传输和计算机技术，支持目前主流浏览器，在网络带宽满足要求时，视频延时控制在1s以内，能够满足视频直播的低延时需求，当网络带宽发生变化时，能在5s以内进行码流的动态切换，以满足用户在不同带宽环境下的使用需求。

Description

一种基于H5视频直播的自适应动态转码技术
技术领域
本发明涉及视频直播技术领域，尤其涉及一种基于H5视频直播的自适应动态转码技术。
背景技术
随着网络技术的突飞猛进，各种依赖于网络的应用也得以快速实现，其中视频直播行业就是其中最具代表性的，视频直播行业的应用场景非常广泛，比如传统的安防视频监控，实时路况监测，以及最近非常火爆的视频主播等，都迅速普及到了千家万户；B/S应用相比传统的App以及PC软件应用有着不可比拟的优势，比如布署升级简单，无需安装专门的软件即可使用，更低的用户学习成本等，因此很多传统行业的应用软件都进行了B/S升级，视频直播行业自然也不例外；
目前B/S的视频直播有两种方式，一种是Apple开发的HLS(HTTP Live Streaming)技术，其优点是浏览器兼容性好，但其有一个致命的弱点：延时高，因为它是基于文件切片播放的方式，延时是无可避免的，虽然可以通过减少切片大小以及切片数量进行改善，但也无法做到1s以内的延时效果，另一种是以传统安防视频监控为代表的插件直播技术，通过在浏览器客户端安装插件的方式实现视频直播应用，其存在以下问题，很难适应目前直播行业快速发展的需要：浏览器兼容性差，目前直播插件主要是基于IE内核的ActiveX，随着浏览器的升级换代，Chrome和Firefox等主流浏览器慢慢开始放弃对插件的支持，而IE的继任者Edge也不再支持ActiveX，传统的插件直播技术面临着无法继续在新的浏览器中使用的尴尬；存在安全隐患，由于插件可以调用***级API的特性，导致插件的使用存在一定的安全隐患，随着人们对***安全的重视，使用插件的方式将大大降低用户的使用体验；维护升级困难，人们使用B/S模式的一个主要原因就是无需下载专用的软件，实现即开即用，而ActiveX必须下载到客户端本地，并且进行注册后才能使用，而且当开发新功能并升级后，必须重新下载控件并进行安装，这给用户带来很大不便；
而随着浏览器语法新标准HTML5(简称H5)的制定，使得用浏览器无插件播放音视频功能成为可能，随着各大主流浏览器对H5支持的不断完善，使用H5进行音视频直播必将成为一种趋势和行业标准，H5与传统的插件方式相比有着不可比拟的优势，具体表现为：浏览器兼容性好，只要是支持H5的浏览器，都可以实现对音视频直播功能的原生支持，软件开发者无需再为不同的浏览器而开发不同的功能；无安全隐患，无需安装插件，音视频的播放功能由浏览器内部实现，其安全性由浏览器提供保障，用户再也无需担心音视频的播放会带来安全威胁；易于升级和维护，因为用户无需下载和安装任何插件，因此对于***的升级和维护，只需要对服务器端进行更新，更新后用户再次打开浏览器进行播放时，就是更新后的内容；
因此，研究H5的直播技术有着很好的市场前景和很大的潜在需求，而且符合直播行业的技术发展趋势。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于H5视频直播的自适应动态转码技术，运用了视频采集、视频压缩、自动控制、网络传输和计算机技术，支持目前主流浏览器，在网络带宽满足要求时，视频延时控制在1s以内，能够满足视频直播的低延时需求，当网络带宽发生变化时，能在5s以内进行码流的动态切换，以满足用户在不同带宽环境下的使用需求。
(二)技术方案
本发明提出了一种基于H5视频直播的自适应动态转码技术，包括以下步骤：
S1、采集端获取原始音频数据，并对音频进行压缩；
S2、采集端将压缩后的码流发送至动态转码服务器，动态转码服务器进行视频转码封装和视频传输；
S3、浏览器终端接收视频码流，并采用HTML5进行视频的解码和显示，以完成整个视频直播。
优选的，采集端使用的压缩技术为标准的H264压缩技术。
优选的，动态转码服务器采用的封装格式为FMP4。
优选的，浏览器直播方式的视频传输方案采用WebSocket方式，同时满足Http的方式以及保持与服务器的长连接，以保证数据传输的效率和浏览器的兼容。
优选的，采集端为具有采集与编码压缩功能的网络摄像机或PC。
优选的，对于动态码率的控制方式如下：
编码器固定编码两个码流，一个为高清码流，使用于内网或网络带宽较宽的外网环境，一个为标清码流，使用于带宽受限的外网环境；服务器无需重新编码，负载较轻，同一服务器可以服务的客户端数量更多。
优选的，对于动态码率的控制操作如下：
初始状态下，服务器默认发送高清码流，浏览器端通过定时向服务器发送质量报文，以报告浏览器目前数据接收情况，服务器根据浏览器的数据接收情况，动态在高清码流与标清码流之间进行动态切换。
优选的，服务器会对每个浏览器的质量报文进行分析以防止因为网络抖动而引起的频繁切换码流，只有浏览器终端在持续一段时间内，带宽有较大变化时，才会进行码流的切换，而且切换码流后，对质量报文状态重新计时。
本发明的上述技术方案具有如下有益的技术效果：
采集端获取原始音频数据，并对音频进行压缩；采集端将压缩后的码流发送至动态转码服务器，动态转码服务器进行视频转码封装和视频传输；浏览器终端接收视频码流，并采用HTML5进行视频的解码和显示，以完成整个视频直播；
本发明运用了视频采集、视频压缩、自动控制、网络传输和计算机技术，支持目前主流浏览器，在网络带宽满足要求时，视频延时控制在1s以内，能够满足视频直播的低延时需求，当网络带宽发生变化时，能在5s以内进行码流的动态切换，以满足用户在不同带宽环境下的使用需求。
附图说明
图1为本发明提出的一种基于H5视频直播的自适应动态转码技术的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于H5视频直播的自适应动态转码技术，包括以下步骤：
S1、采集端获取原始音频数据，并对音频进行压缩；
S2、采集端将压缩后的码流发送至动态转码服务器，动态转码服务器进行视频转码封装和视频传输；
S3、浏览器终端接收视频码流，并采用HTML5进行视频的解码和显示，以完成整个视频直播。
在一个可选的实施例中，采集端使用的压缩技术为标准的H264压缩技术，基于开放且成熟的H264的压缩算法，其算法成熟，数据压缩率较高，且CPU使用率也可控制在可接受范围，得到了各主流浏览器的广泛支持。
在一个可选的实施例中，动态转码服务器采用的封装格式为FMP4；各浏览器对于视频封装格式的支持程度并不一致，但经过多方研究和测试验证，主流浏览器对MP4格式的支持都较好，没有出现过不支持MP4格式播放的浏览器，为了保证视频的延时足够小，采用FMP4(Fragment MP4)的封装格式得以满足视频实时性的要求。
在一个可选的实施例中，浏览器直播方式的视频传输方案采用WebSocket方式，同时满足Http的方式以及保持与服务器的长连接，以保证数据传输的效率和浏览器的兼容。
在一个可选的实施例中，采集端为具有采集与编码压缩功能的网络摄像机或PC。
在一个可选的实施例中，对于动态码率的控制方式如下：编码器固定编码两个码流，一个为高清码流，使用于内网或网络带宽较宽的外网环境，一个为标清码流，使用于带宽受限的外网环境；服务器无需重新编码，负载较轻，同一服务器可以服务的客户端数量更多。
在一个可选的实施例中，对于动态码率的控制操作如下：初始状态下，服务器默认发送高清码流，浏览器端通过定时向服务器发送质量报文，以报告浏览器目前数据接收情况，服务器根据浏览器的数据接收情况，动态在高清码流与标清码流之间进行动态切换；服务器会对每个浏览器的质量报文进行分析以防止因为网络抖动而引起的频繁切换码流，只有浏览器终端在持续一段时间内，带宽有较大变化时，才会进行码流的切换，而且切换码流后，对质量报文状态重新计时。
本发明中，整个研发的技术以中间的动态转码服务器为主，采集端使用具有采集与编码压缩功能的网络摄像机或PC，将压缩后的码流发送转码服务器，由转码服务器进行视频转码封装、视频传输，以提供对浏览器H5视频直播功能的支持；
本发明运用了视频采集、视频压缩、自动控制、网络传输和计算机技术，支持目前主流浏览器，包括IE(IE11以上版本支持较好)，Google Chrome，FireFox以及使用相同内核的其它非主流浏览器(如Opera,QQ等)；在网络带宽满足要求时，视频延时控制在1s以内，基本能满足视频直播的低延时需求，当网络带宽不足时，视频会出现较为明显的延时和卡顿；当网络带宽发生变化(如手机使用4G网络时，由于在不同地段的信号强弱程度不同，导致网络带宽发生改变)时，能在5s以内，进行码流的动态切换，以满足用户在不同带宽环境下的使用需求。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (8)

1.一种基于H5视频直播的自适应动态转码技术，其特征在于，包括以下步骤：
S1、采集端获取原始音频数据，并对音频进行压缩；
S2、采集端将压缩后的码流发送至动态转码服务器，动态转码服务器进行视频转码封装和视频传输；
S3、浏览器终端接收视频码流，并采用HTML5进行视频的解码和显示，以完成整个视频直播。
2.根据权利要求1所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，采集端使用的压缩技术为标准的H264压缩技术。
3.根据权利要求1所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，动态转码服务器采用的封装格式为FMP4。
4.根据权利要求1所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，浏览器直播方式的视频传输方案采用WebSocket方式，同时满足Http的方式以及保持与服务器的长连接，以保证数据传输的效率和浏览器的兼容。
5.根据权利要求1所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，采集端为具有采集与编码压缩功能的网络摄像机或PC。
6.根据权利要求1所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，对于动态码率的控制方式如下：
编码器固定编码两个码流，一个为高清码流，使用于内网或网络带宽较宽的外网环境，一个为标清码流，使用于带宽受限的外网环境；服务器无需重新编码，负载较轻，同一服务器可以服务的客户端数量更多。
7.根据权利要求6所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，对于动态码率的控制操作如下：
初始状态下，服务器默认发送高清码流，浏览器端通过定时向服务器发送质量报文，以报告浏览器目前数据接收情况，服务器根据浏览器的数据接收情况，动态在高清码流与标清码流之间进行动态切换。
8.根据权利要求7所述的一种基于H5视频直播的自适应动态转码技术，其特征在于，服务器会对每个浏览器的质量报文进行分析以防止因为网络抖动而引起的频繁切换码流，只有浏览器终端在持续一段时间内，带宽有较大变化时，才会进行码流的切换，而且切换码流后，对质量报文状态重新计时。
CN202010256141.5A 2020-04-02 2020-04-02 一种基于h5视频直播的自适应动态转码技术 Pending CN111432214A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010256141.5A CN111432214A (zh) 2020-04-02 2020-04-02 一种基于h5视频直播的自适应动态转码技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010256141.5A CN111432214A (zh) 2020-04-02 2020-04-02 一种基于h5视频直播的自适应动态转码技术

Publications (1)

Publication Number Publication Date
CN111432214A true CN111432214A (zh) 2020-07-17

Family

ID=71555648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010256141.5A Pending CN111432214A (zh) 2020-04-02 2020-04-02 一种基于h5视频直播的自适应动态转码技术

Country Status (1)

Country Link
CN (1) CN111432214A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268612A (zh) * 2021-12-22 2022-04-01 中电福富信息科技有限公司 一种基于WebSocket的网页实时语音通信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935955A (zh) * 2015-05-29 2015-09-23 腾讯科技（北京）有限公司 一种传输直播视频流的方法、装置和***
CN107864402A (zh) * 2017-10-11 2018-03-30 湖南机友科技有限公司 直播视频播放方法及装置
CN108471548A (zh) * 2018-01-25 2018-08-31 湖南机友科技有限公司 直播视频快速播放方法及装置
CN108769616A (zh) * 2018-06-21 2018-11-06 泰华智慧产业集团股份有限公司 一种基于rtsp协议的实时视频无插件预览方法及***
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935955A (zh) * 2015-05-29 2015-09-23 腾讯科技（北京）有限公司 一种传输直播视频流的方法、装置和***
CN107864402A (zh) * 2017-10-11 2018-03-30 湖南机友科技有限公司 直播视频播放方法及装置
CN108471548A (zh) * 2018-01-25 2018-08-31 湖南机友科技有限公司 直播视频快速播放方法及装置
CN108769616A (zh) * 2018-06-21 2018-11-06 泰华智慧产业集团股份有限公司 一种基于rtsp协议的实时视频无插件预览方法及***
CN109819272A (zh) * 2018-12-26 2019-05-28 平安科技（深圳）有限公司 视频发送方法、装置、计算机可读存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114268612A (zh) * 2021-12-22 2022-04-01 中电福富信息科技有限公司 一种基于WebSocket的网页实时语音通信方法

Similar Documents

Publication Publication Date Title
US10728594B2 (en) Method and apparatus for transmitting data of mobile terminal
CN101917391B (zh) 一种网络视频的播放方法及一种网络视频播放***
CN102510541B (zh) 多屏互动的音视频内容切换方法及媒体播放器
CN106791956B (zh) 网络直播卡顿的处理方法及装置
CN110662114B (zh) 视频处理方法、装置、电子设备及存储介质
CN102291599A (zh) 网络视频播放方法及网络视频播放装置
CN106227492B (zh) 拼接墙与移动智能终端互联方法和装置
CN102098553B (zh) 视频传输方法、***及视频服务器
EP2790375A2 (en) Distribution control system, distribution control method, and computer-readable storage medium
CN110708564B (zh) 一种动态切换视频流的直播转码方法及***
CN103179431A (zh) Vdi环境下音视频重定向转码分离方法
EP2793475A1 (en) Distribution control system, distribution control method, and computer-readable storage medium
EP2779674A1 (en) Distribution control system and distribution system
EP2779571A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
KR20140126372A (ko) 데이터, 멀티미디어 및 비디오 전송 갱신 시스템
AU2014230423A1 (en) Distribution control system and distribution system
CN102263942A (zh) 一种分级视频转码装置和方法
CN115250356A (zh) 手机多机位可切换虚拟摄像头
CN111432214A (zh) 一种基于h5视频直播的自适应动态转码技术
CN105979284B (zh) 移动终端视频共享方法
CN205105347U (zh) 视频的无线传输设备、视频播放设备及***
CN103635938A (zh) 在流传输客户端中用于处理视频流传输数据的方法、流传输客户端、计算机程序和计算机程序产品
CN103826084A (zh) 一种音频编码方法
CN105323593A (zh) 一种多媒体转码调度方法和装置
CN203387627U (zh) 移动流媒体直播点播***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200717