CN106331590A - 一种流媒体适配器及适配方法 - Google Patents

Abstract

本发明提供一种流媒体适配器及适配方法，该流媒体适配器包括：视频输入模块接收监控所需路数的音视频数字信息；视频解码模块将监控所需路数的音视频数字信息解码成对应路数的YUV数据；多画面合成模块将监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；视频编码模块将监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。采用本发明的流媒体适配器及方法，可以使各类型的视频监控设备均可接入到监控***，并且无需担心手机终端的解码能力；在多画面监控时，也不用担心由于手机终端的解码能力不够而导致手机终端卡死或观看视频卡顿的问题。

Description

一种流媒体适配器及适配方法

技术领域

本发明属于视频监控技术领域，涉及一种视频处理装置及方法，特别是涉及一种流媒体适配器及适配方法。

背景技术

随着安防高科技的发展，视频监控已经成为各行业单位和家庭对重要场所进行实时监视控制或远程交互的物理基础。当前互联网时代已经深入人心，移动设备对于人们的日常生活来说已经是必不可少的工具。人们可通过它获得视频图像或声音信息，能够对突发性异常事件的发生过程进行及时的监视和记忆，甚至能够及时进行现场对讲，远程指导或监督控制，并在事后调用存储录像进行跟踪，还原事发当时的情景。视频监控***通常是由采集、传输、控制、显示、存储等五个部分组成。其中实现采集过程的设备主要为具有摄像头的装置，如枪机、球机、手机自带的摄像机等等。音视频主要可以通过有线IP、无线WIFI、3/4G数据通信信道进行传输。在监控***中，摄像头通常是安装在云台上的，故操作人员可以通过主机发出控制指令，对云台的上、下、左、右的动作进行控制以及对镜头的焦距进行调节，同时还可以在多路摄像机及云台之间进行切换控制。音视频存储对于监控***来说是不可或缺的部分，谁也不能保证事件发生过程中我们能够及时预览观察到。因而事后调用存储录像进行跟踪，对还原事发当时的情景进行分析和判断，是十分重要的。

视频监控显示的功能已经不再局限于普通PC机上了，移动终端也可以进行监控显示，如手机等设备亦可以进行监控。但是基于现在手机的配置能力来说，预览一路1080P的视频解码就已经有些吃不消了，手机会出现卡顿现象。并且现阶段的3/4G网络亦不能达到实时预览监控视频的带宽要求。因此，如何解决现阶段移动网络传输带宽限制手机移动端同时显示多路高分辨率的监控视频，是本发明所要解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种流媒体适配器及适配方法，用于解决现有移动端因视频解码能力和网络传输带宽受限导致不能同时预览和回放多路高分辨率的监控视频的问题。

为实现上述目的及其他相关目的，本发明提供一种流媒体适配器，所述流媒体适配器包括：视频输入模块，接收监控所需路数的音视频数字信息；视频解码模块，与所述视频输入模块相连，将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据；多画面合成模块，与所述视频解码模块相连，将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；视频编码模块，与所述多画面合成模块相连，将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。

可选地，所述多画面合成模块包括：合成模板，将所述监控所需路数的YUV数据合成具有与监控所需路数数目相同的画面的一路YUV数据；合成质量控制单元，与所述合成模板相连，根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。

可选地，所述视频输入模块包括ONVIF客户端、GB/T28181服务器、平台对接SDK、或/和设备网络SDK。

可选地，所述视频解码模块包括公有解码模块、或/和私有解码模块；所述公有解码模块包括H264解码模块、H265解码模块、或MPEG解码模块。

可选地，所述多画面合成模块还用于接收监控终端发送的所述监控需求；所述监控需求包括所述监控终端需要监控的视频路数和所述监控终端的网络带宽。

本发明还提供一种流媒体适配方法，所述流媒体适配方法包括：接收监控所需路数的音视频数字信息；将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据；将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。

可选地，所述流媒体适配方法还包括：根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。

可选地，所述流媒体适配方法还包括：通过ONVIF客户端、或/和GB/T28181服务器接入监控所需的音视频数字信息；或/和通过二次开发的平台对接SDK、或/和设备网络SDK接入监控所需的音视频数字信息。

可选地，所述流媒体适配方法还包括：对于基于标准协议的音视频数字信息，采用开源视频编解码库进行解码；对于基于私有协议的音视频数字信息，采用对应厂商提供的对应设备类型的解码库进行解码。

可选地，所述监控需求包括监控终端需要监控的视频路数和所述监控终端的网络带宽。

如上所述，本发明所述的流媒体适配器及适配方法，具有以下有益效果：

采用本发明可以使各类型的视频监控设备均可接入到监控***，并且无需担心手机终端的解码能力；在多画面监控时，也不用担心由于手机终端的解码能力不够而导致手机终端卡死或观看视频卡顿的问题。此外，在网络带宽紧张的时候，也可以令手机终端进行多画面的视频监控。

附图说明

图1为本发明实施例所述的流媒体适配器的一种实现结构示意图。

图2为本发明实施例所述的多画面合成模块的一种实现结构示意图。

图3a至图3c为多画面图像的一种显示示意图。

图4为本发明实施例所述的流媒体适配方法的一种实现流程示意图。

元件标号说明

100 流媒体适配器

110 视频输入模块

120 视频解码模块

130 多画面合成模块

131 合成模板

132 合成质量控制单元

140 视频编码模块

S41～S44 步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅附图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

下面结合实施例和附图对本发明进行详细说明。

实施例

本实施例提供一种流媒体适配器，如图1所示，所述流媒体适配器100包括：视频输入模块110，视频解码模块120，多画面合成模块130，视频编码模块140。

所述视频输入模块110接收监控所需路数的音视频数字信息。所述视频输入模块110是一种能够接收基于不同协议的数字视频输入的设备的统称，其接收的多路输入数字视频情况包括：1、通过标准协议，如ONVIF\GB28181等标准协议，接入前端监控设备，前端监控设备采集到的音视频数字信息通过IP网络(TCP或UDP)进行传输。2、通过设备厂商提供的设备网络SDK开发包，进行二次开发，即可将对应的厂商的视频监控设备进行对接。

进一步，所述视频输入模块110包括ONVIF客户端、GB/T28181服务器、平台对接SDK(Software Development Kit，软件开发工具包)、或/和设备网络SDK。所述前端视频接入模块(即所述视频输入模块)也可以采用协议类的接入方式：如ONVIF协议，那么接收端需要用ONVIF客户端进行接入，前端设备相当于服务端；如GB/T28181协议，那么接收端需要用服务器进行接入，前端设备相当于客户端。所述前端视频接入模块(即所述视频输入模块)也可以采用平台对接SDK和设备网络SDK的接入方式，则需要设备厂商提供一整套SDK资料，包括DEMO程序进行调试用，在接收端进行SDK的二次开发。即所述前端视频接入模块可以通过ONVIF/GB/T28181/平台、SDK/设备网络SDK等方式将视频数字信号送至视频解码模块120，并通过获知手机终端的预览数和网络带宽，通过多画面合成模块130合成一路YUV视频数据，然后通过视频编码模块140编码成数字信号，最后通过TCP/UDP网络传输到手机终端。

所述视频解码模块120与所述视频输入模块110相连，将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据。

进一步，所述视频解码模块120包括公有解码模块、或/和私有解码模块；所述公有解码模块包括H264解码模块、H265解码模块、或MPEG解码模块。对于标准视频流(即公有视频流)接入时，所述视频解码模块可以采用ffmpeg等开源视频编解码库进行解码。该开源库能支持一系列主流的编码格式，适用范围很广。除了传统的软解之外，所述视频解码模块也可以采用硬解的方式实现。对于私有视频流接入时，所述视频解码模块则需设备厂商提供对应设备类型的解码库进行解码。作为多画面合成的前提，所述视频解码模块需要将多路经过编码的数字信息输入(即多路音视频数字信息)解码成原始的YUV数据。对于如H264\H265\MPEG或把标准编码协议进行改进的私有编码方式，所述视频解码模块可以分为两种情况：A、公有解码模块，即对标准的编码格式的数字信息采用开源的解码库，如ffmpeg等，进行软解亦或硬解。B、私有解码模块，即对于私有的编码格式的数字信息就只能通过设备厂家提供对应的解码库进行解码。

所述多画面合成模块130与所述视频解码模块120相连，将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据。所述多画面合成模块130还用于接收监控终端发送的所述监控需求；所述监控需求包括所述监控终端需要监控的视频路数和所述监控终端的网络带宽。合成后的一路视频数据，所述多画面合成模块130通过检测手机移动终端所在的实际的网络带宽情况，在多画面合成时，可以利用降低码率、图像质量等方式进行自适应传输合成后的一路视频数据所需的带宽，即所述多画面合成模块130可以输出额定带宽的视频数据。

进一步，如图2所示，所述多画面合成模块130包括：合成模板131，合成质量控制单元132。所述合成模板131将所述监控所需路数的YUV数据合成具有与监控所需路数数目相同的画面的一路YUV数据。所述合成质量控制单元132与所述合成模板131相连，根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。所述合成模板131是根据通过TCP/UDP网络交互获知手机终端的预览路数进行确定的。预览几路监控视频就合成几画面的一路视频。合成质量控制单元132也是通过TCP/UDP网络交互获知手机终端所在网络的带宽状况，如果带宽充裕，则合成的图像质量选择高些，码流值大些。反之，网络带宽很拥挤时，则降低合成的图像质量和视频码流值。

所述多画面合成模块130对视频解码后得到的YUV数据进行按监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，二次编码的格式可以选用标准化的编码协议，二次编码的过程也可选软编亦或硬编。而多画面的合成模板131则按实际监控需求进行适配，如，在监控两路实时视频时，则合并成平行的两画面的一路图像，如图3a所示；而在监控三路实时视频时，则合并成三画面的一路图像，如图3b所示；在监控四路实时视频时，则合并成四画面的一路图像，如图3c所示；依此类推。

所述视频编码模块140与所述多画面合成模块130相连，将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。所述视频编码模块140是一种视频YUV数据编码模块，其可以采用软编码方式实现，如主要用ffmpeg等开源视频编解码库即可；也可以采用硬编码方式实现，如：可用OPENCV调用GPU进行硬编的方式。

采用本发明所述的流媒体适配器，可以使各类型的视频监控设备均可接入到监控***，并且无需担心手机终端的解码能力；在多画面监控时，也不用担心由于手机终端的解码能力不够而导致手机终端卡死或观看视频卡顿的问题。此外，在网络带宽紧张的时候，也可以令手机终端进行多画面的视频监控。

本实施例还提供一种流媒体适配方法，该方法可以由本发明所述的流媒体适配器实现，但本发明所述流媒体适配方法的实现装置的保护范围不限于本发明所述的流媒体适配器的结构，凡是本领域技术人员根据本发明的原理实现的方案都包括在本发明的保护范围内。

如图4所示，所述流媒体适配方法包括：

S41，接收监控所需路数的音视频数字信息。

进一步，通过ONVIF客户端、或/和GB/T28181服务器接入监控所需的音视频数字信息；或/和通过二次开发的平台对接SDK、或/和设备网络SDK接入监控所需的音视频数字信息。接收的多路输入数字视频情况包括：1、通过标准协议，如ONVIF\GB28181等标准协议，接入前端监控设备，前端监控设备采集到的音视频数字信息通过IP网络(TCP或UDP)进行传输。2、通过设备厂商提供的设备网络SDK开发包，进行二次开发，即可将对应的厂商的视频监控设备进行对接。即：步骤S41可以采用协议类的接入方式：如ONVIF协议，那么接收端需要用ONVIF客户端进行接入，前端设备相当于服务端；如GB/T28181协议，那么接收端需要用服务器进行接入，前端设备相当于客户端。步骤S41也可以采用平台SDK和设备网络SDK的接入方式，则需要设备厂商提供一整套SDK资料，包括DEMO程序进行调试用，在接收端进行SDK的二次开发。即所述步骤S41可以通过ONVIF/GB/T28181/平台、SDK/设备网络SDK等方式接收视频数字信号然后进行视频解码，并通过获知手机终端的预览数和网络带宽，将解码后的多路YUV视频数据合成一路YUV视频数据，然后再编码成数字信号，最后通过TCP/UDP网络传输到手机终端。

S42，将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据。

进一步，对于基于标准协议的音视频数字信息，采用开源视频编解码库进行解码；对于基于私有协议的音视频数字信息，采用对应厂商提供的对应设备类型的解码库进行解码。对于标准视频流(即公有视频流)接入时，可以采用ffmpeg等开源视频编解码库进行解码。该开源库能支持一系列主流的编码格式，适用范围很广。除了传统的软解之外，也可以采用硬解的方式实现。对于私有视频流接入时，则需设备厂商提供对应设备类型的解码库进行解码。作为多画面合成的前提，需要将多路经过编码的数字信息输入(即多路音视频数字信息)解码成原始的YUV数据。对于如H264\H265\MPEG或把标准编码协议进行改进的私有编码方式，可以分为两种情况：A、公有解码，即对标准的编码格式的数字信息采用开源的解码库，如ffmpeg等，进行软解亦或硬解。B、私有解码，即对于私有的编码格式的数字信息就只能通过设备厂家提供对应的解码库进行解码。

S43，将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。所述监控需求包括监控终端需要监控的视频路数和所述监控终端的网络带宽。

通过检测手机移动终端所在的实际的网络带宽情况，在多画面合成时，可以利用降低码率、图像质量等方式进行自适应传输合成后的一路视频数据所需的带宽，即可以输出额定带宽的视频数据。所述步骤S43可以根据通过TCP/UDP网络交互获知手机终端的预览路数进行确定的。预览几路监控视频就合成几画面的一路视频。也是通过TCP/UDP网络交互获知手机终端所在网络的带宽状况，如果带宽充裕，则合成的图像质量选择高些，码流值大些。反之，网络带宽很拥挤时，则降低合成的图像质量和视频码流值。

所述步骤S43对视频解码后得到的YUV数据进行按监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，二次编码的格式可以选用标准化的编码协议，二次编码的过程也可选软编亦或硬编。而且可以按实际监控需求进行适配，如，在监控两路实时视频时，则合并成平行的两画面的一路图像，如图3a所示；而在监控三路实时视频时，则合并成三画面的一路图像，如图3b所示；在监控四路实时视频时，则合并成四画面的一路图像，如图3c所示；依此类推。

S44，将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。所述步骤S44可以采用软编码方式实现，如主要用ffmpeg等开源视频编解码库即可；也可以采用硬编码方式实现，如：可用OPENCV调用GPU进行硬编的方式。

本发明的目的在于提供一种多路输入数字视频多画面合成、输出额定带宽的流媒体适配方案，用于解决现有技术中利用移动手机终端进行多路同时预览和回放监控视频时存在的所需视频解码能力和网络传输带宽受限的问题。采用本发明所述的流媒体适配器及方法，可以使各类型的视频监控设备均可接入到监控***，并且无需担心手机终端的解码能力；在多画面监控时，也不用担心由于手机终端的解码能力不够而导致手机终端卡死或观看视频卡顿的问题。此外，在网络带宽紧张的时候，也可以令手机终端进行多画面的视频监控。

本发明可以在手机移动终端监控多路视频时，通过视频合成方式，将多路视频数据合成一路再传输给手机移动终端上进行解码预览，而且不会再受终端硬件能力的限制导致不能同时监控多路视频。同时，在合成视频时进行降带宽的处理，达到了手机终端所在网络环境的带宽传输要求。

综上所述，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种流媒体适配器，其特征在于，所述流媒体适配器包括：

视频输入模块，接收监控所需路数的音视频数字信息；

视频解码模块，与所述视频输入模块相连，将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据；

多画面合成模块，与所述视频解码模块相连，将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；

视频编码模块，与所述多画面合成模块相连，将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。

2.根据权利要求1所述的流媒体适配器，其特征在于，所述多画面合成模块包括：

合成模板，将所述监控所需路数的YUV数据合成具有与监控所需路数数目相同的画面的一路YUV数据；

合成质量控制单元，与所述合成模板相连，根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。

3.根据权利要求1所述的流媒体适配器，其特征在于：所述视频输入模块包括ONVIF客户端、GB/T28181服务器、平台对接SDK、或/和设备网络SDK。

4.根据权利要求1所述的流媒体适配器，其特征在于：所述视频解码模块包括公有解码模块、或/和私有解码模块；所述公有解码模块包括H264解码模块、H265解码模块、或MPEG解码模块。

5.根据权利要求1所述的流媒体适配器，其特征在于：所述多画面合成模块还用于接收监控终端发送的所述监控需求；所述监控需求包括所述监控终端需要监控的视频路数和所述监控终端的网络带宽。

6.一种流媒体适配方法，其特征在于，所述流媒体适配方法包括：

接收监控所需路数的音视频数字信息；

将所述监控所需路数的音视频数字信息解码成对应路数的YUV数据；

将所述监控所需路数的YUV数据按照监控需求进行码流、图像质量优化并将优化后的各路YUV数据合并处理，生成具有监控所需路数画面的一路YUV数据；

将所述监控所需路数画面的一路YUV数据编码成可通过网络传输的一路音视频数字信号。

7.根据权利要求6所述的流媒体适配方法，其特征在于，所述流媒体适配方法还包括：根据所述监控需求反映的监控终端的带宽状况控制所述一路YUV数据的图像合成质量及传输码流值。

8.根据权利要求6所述的流媒体适配方法，其特征在于，所述流媒体适配方法还包括：通过ONVIF客户端、或/和GB/T28181服务器接入监控所需的音视频数字信息；或/和通过二次开发的平台对接SDK、或/和设备网络SDK接入监控所需的音视频数字信息。

9.根据权利要求6所述的流媒体适配方法，其特征在于，所述流媒体适配方法还包括：

对于基于标准协议的音视频数字信息，采用开源视频编解码库进行解码；

对于基于私有协议的音视频数字信息，采用对应厂商提供的对应设备类型的解码库进行解码。

10.根据权利要求6所述的流媒体适配方法，其特征在于：所述监控需求包括监控终端需要监控的视频路数和所述监控终端的网络带宽。