CN113014858A - 一种改变分辨率的方法、***和装置 - Google Patents

Abstract

本发明提出了一种改变分辨率的方法、***和装置，通过发送端设置若干个可输出不同分辨率的副本视频源，使得发送端可以根据接收端的需求输出对应分辨率等级的视频数据；接收端在切换视图窗口播放不同分辨率的画面时，会同时向发送端发送需求信号，发送端接收需求信号后，根据需求信号分析确定接收端当前视图窗口播放需要的分辨率等级，发送端根据分辨率等级确定对应的副本视频源进行输出视频数据，最后由对应的副本视频源输出对应分辨率的视频数据至接收端；以此实现了根据接收端播放视频的视图窗口来制定发送端的视频分辨率等级，发送端按需提供相应等级的分辨率视频，不影响用户体验，还能提高流畅度的效果。

Description

一种改变分辨率的方法、***和装置

技术领域

本发明涉及视频传输领域，具体涉及一种改变分辨率的方法、***和装置。

背景技术

视频会议***有三大基本架构，分别是Mesh架构、MCU架构、SFU架构；其中Mesh架构应用较为广泛的架构，其中每个端之间两两建立P2P连接；以5个浏览器为例，每个浏览器上行4路视频，总共需要10个连接；如果每条连接占用1M带宽，则每个端上行需要4M，下行带宽也要4M，总共带宽消耗20M；一般这种架构只能支持4-6人左右，优点在于没有中心节点，用户隐私相对安全；

但是Mesh架构存在的问题有：带宽消耗较大，且每个浏览器上还要进行音视频编码码，CPU使用率也是问题。

发明内容

为了克服现有技术的缺陷，本发明所要解决的技术问题在于提出一种改变分辨率的方法、***和装置，发送端通过设置若干个可输出不同分辨率的副本视频源，使得发送端可以根据接收端的需求输出对应分辨率等级的视频数据，实现了降低了带宽占用，降低了CPU使用率和内存资源等效果。

为达此目的，本发明采用以下技术方案：

本发明提供的一种改变分辨率的方法，用于发送端，其特征在于，包括：

获取接收端的需求信号，根据需求信号确定分辨率等级；

根据分辨率等级输出对应的视频数据至接收端。

一种改变分辨率的方法，用于至少一侧的接收端，其特征在于，包括：

切换播放模式，根据不同的播放模式发送对应的需求信号至发送端；

接收发送端的视频数据进行播放。

一种改变分辨率的***，用于发送端，包括：

原始视频源，发送视频数据至副本视频源；

副本视频源，用于接收原始视频源的视频数据，将视频数据转换为对应分辨率的视频数据发送至视频轨道源；

视频轨道源，用于根据需求信号确定分辨率等级信息，接收与分辨率等级相对应的副本视频源的视频数据，并发送至接收端。

优选的，包括：

预设若干个分辨率等级和若干个与所述分辨率等级一一对应的若干个副本视频源；

根据所述需求信号确定分辨率等级；

视频轨道源根据分辨率等级从对应的副本视频源接收视频数据。

优选的，还包括：第一副本视频源和第二副本视频源；

获取需求信号后，根据需求信号确定分辨率等级；

视频轨道源停止接收第一副本视频源的视频数据；

根据分辨率等级确定对应的第二副本视频源；

将视频轨道源与第二副本视频源连接；

第二副本视频源通过视频轨道源输出视频数据至对应的接收端。

优选的，还包括：

视频采集，用于获取视频数据并发送视频数据至原始视频源；

原始视频源，用于获取视频采集的视频数据并发送视频数据至副本视频源。

一种改变分辨率的***，用于接收端，其特征在于，包括：

若干视图窗口，各视图窗口用于播放不同分辨率等级的视频；

切换单元，用于切换不同视图窗口进行播放视频。

优选的，切换单元切换不同视图窗口进行播放视频的同时发送需求信号至发送端。

一种改变分辨率的装置，用于发送端，其特征在于，包括：

原始视频源模块，用于接收视频采集模块的原始视频数据，发送视频数据至副本视频源模块；

副本视频源模块，用于接收原始视频源模块的视频数据，将视频数据转换为对应分辨率的视频数据发送至轨道源模块；

轨道源模块，用于根据需求信号确定分辨率等级信息，接收与分辨率等级相对应的副本视频源的视频数据，并发送至接收端。

一种改变分辨率的装置，用于接收端，其特征在于，包括：

若干播放模块，各播放模块用于播放不同分辨率等级的视频；

切换模块，用于切换不同播放模块进行播放视频。

本发明的有益效果为：

本发明提供的一种改变分辨率的方法、***和装置，通过发送端设置若干个可输出不同分辨率的副本视频源，使得发送端可以根据接收端的需求输出对应分辨率等级的视频数据；接收端在切换视图窗口播放不同分辨率的画面时，会同时向发送端发送需求信号，发送端接收需求信号后，根据需求信号分析确定接收端当前视图窗口播放需要的分辨率等级，发送端根据分辨率等级确定对应的副本视频源进行输出视频数据，最后由对应的副本视频源输出对应分辨率的视频数据至接收端；以此实现了根据接收端播放视频的视图窗口来制定发送端的视频分辨率等级，发送端按需提供相应等级的分辨率视频，不影响用户体验，还能提高流畅度的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种改变分辨率的方法的流程示意图一；

图2为本发明实施例提供的一种改变分辨率的方法的流程示意图二；

图3为本发明实施例提供的一种改变分辨率的***示意图；

图4为本发明实施例提供的一种改变分辨率的***发送端与接收端信息交互示意图；

图5为本发明实施例提供的一种发送端的结构示意图；

图6为本发明实施例提供的一种接收端的结构示意图；。

附图标识：11视频采集；12原始视频源；13副本视频源；14视频轨道源；15视频轨道；21视频采集模块；22原始视频源模块；23副本视频源模块；24轨道源模块；25视频轨道模块；31切换模块；32播放模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

实施例一

如图1所示，本实施例中提供的一种改变分辨率的方法，用于发送端，其特征在于，包括：

获取接收端的需求信号，根据需求信号确定分辨率等级；

根据分辨率等级输出对应的视频数据至接收端。

具体的，本实施例的方法是基于WebRTC和Mesh架构的多方视频会议应用场景下改变分辨率的方法，现有技术中的WebRTC中发送端的视频数据传输顺序为：视频采集11、视频源、视频轨道源14、视频轨道15依次传输的，自身不具备为不同的接收端定制不同的视频分辨率的功能，因此会统一发送分辨率较高的视频数据，导致带宽消耗大、CPU使用率高；本实施例中根据WebRTC提供的1对1通信模型和Mesh架构，本实施例将视频数据的传输抽象为从发送端传输到接收端，每个对等端即是发送端又是接收端，本实施例中的发送端与接收端仅是对于一段数据的传输过程中发送数据的一端为发送端，接收数据的一端为接收端；即当对等端发送数据时为发送端，当对等端接收数据时为接收端；实际上，不同接收端对相同发送端发来的视频数据在屏幕上的显示并不是相同的，或呈现在大窗口上，或呈现在小窗口上，因此对于不同的窗口视图可以提供不同的分辨率以便适应对于的窗口视图，在保持相对清晰度情况的同时可以调节带宽的输出；本实施例中将这个不同的窗口视图为接收端对发送端的“需求”，这个需求表现为视频画面的大小，即分辨率；所以发送端会预设一个“分辨率等级”用于与接收端的“需求”相对应，通过分辨率等级进行适应性输出与视图窗口需求对应的视频数据；

本实施例主要遵循“按需取用”的原则，本实施例提出发送端应该根据接收端对视频的需求而发送相应分辨率的视频数据，根据需求动态改变发送分辨率；同时，本实施例提出固定分辨率等级，以便降低发送端处理压力，因为接收端的视图窗口普遍为三种或者四种窗口视图为主，所以发送端的分辨率等级可以根据视图窗口的大小进行针对性的预设分辨率；所以本实施例可以根据需求改变输出视频数据的分辨率起到减少了数据发送量的效果，相比于统一发送分辨率较高的视频数据，降低了带宽消耗、CPU的使用率。

本实施例的发送端，当发送端获取接收端的需求信号后，根据需求信号确定当前接收端的分辨率需求明确分辨率等级；根据分辨率等级输出对应的视频数据至接收端；完成了一次按需输出的视频数据交互。

实施例二

如图2所示，一种改变分辨率的方法，用于至少一侧的接收端，其特征在于，包括：

切换播放模式，根据不同的播放模式发送对应的需求信号至发送端；

接收发送端的视频数据进行播放。

具体的，本实施例与实施例一中的应用场景相同，均是基于WebRTC和Mesh架构下的，本实施例的接收端同样也是相对性的，当对等端接收数据时即为接收端，接收端为播放视频数据的作用，且接收端一般设有若干个视图窗口，用于切换不同视图进行播放，本实施中包括大中小三种视图窗口以供播放，因此，不同大小的窗口需要保持相对的清晰度其视频数据的自然需要不同分辨率等级，所以每当接收端进行切换播放模式时，会根据当前切换的视图窗口的大小发送对于的需求信号给发送端，发送端接收到需求信号后经过实施例一中的方法，反馈对应分辨率等级的视频数据至接收端，接收端接收视频数据进行播放，实现了，在切换不同视图窗口进行播放时，仍然可以保持相对清晰度进行播放视频。

实施例三

如图3-4所示，一种改变分辨率的***，用于发送端，其特征在于，包括：

原始视频源12，发送视频数据至副本视频源13；

副本视频源13，用于接收原始视频源12的视频数据，将视频数据转换为对应分辨率的视频数据发送至视频轨道源14；

视频轨道源14，用于接收副本视频源13的视频数据并发送至接收端。

具体的，视频源是具有将视频数据传递到视频接收器(VideoSink)的能力的节点抽象。视频接收器是具有从视频源中获取视频数据的能力的节点的抽象，视频接收器可将自己注册到视频源或从视频源中移除，同时还可通过接收器需求(VideoSinkWants)向视频源表达包括最大帧率(max fps)、最大像素数(max pixels)在内的自身需求。这两个抽象类是视频数据在各处理节点传递的基本方式。轨道(MediaStreamTrack)是WebRTC中的基本媒体单元，视频轨道15是媒体类型为视频(而非音频)的轨道。通过向PeerConnection中添加一个轨道(AddTrack)，可使对端接收到此轨道，以便接收轨道中的媒体数据。每个视频轨道15都有一个源与之关联，即视频轨道源14，在视频轨道15创建时视频轨道源14便与之绑定。WebRTC中，对于Mesh架构下的多方会话，是让每个对等端与其他所有对等端建立一个对等连接。

本实施例中，发送端预设四个分辨率等级，同时构建四个副本视频源13来处理帧，这四个副本视频源13的目标分辨率与这四个分辨率等级一一对应且固定，它们从原始视频源12中获取数据，经过处理后将处理后的数据传递到下一级节点，既扮演了VideoSink的角色，也扮演了VideoSource的角色，以此实现输出不同分辨率的视频数据。

它们所做的数据处理工作为：根据原始视频数据生成目标分辨率的数据(要求原始视频数据分辨率比目标分辨率大)，即将摄像头录制的较高分辨率的视频转换为低采样率的版本。当这四个源中某一源没有任何接收器注册到它时，它将暂停这个转换，以避免不必要的计算量。

进一步的，当发送端收到某一接收端的需求更改，则将与该端对应的PeerConnection所传输的分辨率更改，此时将相对应的视频轨道源14从原来的源中移除，再添加到对应的分辨率的副本视频源13中即可，如此，根据需求的改变，发送端对同一接收端的视频帧的分辨率也可以动态改变。

优选的，还包括：预设若干个分辨率等级和若干个与分辨率等级一一对应的若干个副本视频源13；根据需求信号确定分辨率等级；视频轨道源14根据分辨率等级从对应的副本视频源接收视频数据。

优选的，还包括：第一副本视频源13和第二副本视频源13；获取需求信号后，根据需求信号确定分辨率等级；视频轨道源14停止接收第一副本视频源13的视频数据；根据分辨率等级确定对应的第二副本视频源13；将视频轨道源14与第二副本视频源13连接；第二副本视频源13通过视频轨道源14输出视频数据至对应的接收端；其中通过视频轨道源14根据不同的分辨率等级需求具有选择性的接收不同的第二副本视频源13的视频数据，最终实现输出不同分辨率的视频数据至接收端。

优选的，还包括：视频采集11，用于获取视频数据并发送视频数据至原始视频源12；原始视频源12，用于获取视频采集11的视频数据并发送视频数据至副本视频源13。

本实施例中发送端具体的实现过程如下：

(一)为对等连接提供可供选择的视频副本，此副本是原始视频的低采样率版本，与接收端需求的分辨率等级所对应。具体步骤如下：

(1)构建具有视频帧接收和发送能力的副本视频源13。通过继承WebRTC中的VideoSource和VideoSink类接口来实现。

(2)为该副本视频源13增加视频转换的能力，原始视频经过它之后被转换某一分辨率的视频。通过在VideoSink的OnFrame函数中改变视频帧高宽为目标高宽来实现。

(3)创建若干个上述副本视频源13(以下称作副本源)，副本源的数目与分辨率等级数目一致，副本源转换的视频帧的目标高宽与分辨率等级一致。

(4)将这若干个副本源连接到原始视频源12中，使其接收原始视频源12的数据。通过调用原始视频源12的AddOrUpdateSink函数实现。

(5)将对等连接的视频轨道源14连接到分辨率等级为2或3的副本源，作为初始状态。通过调用副本源的AddOrUpdateSink函数实现。

(二)传输进行时：不断监听接收端是否传来要求更改分辨率的消息，即接收端是否发出需求请求。

(三)一旦收到接收端发来的需求清洗消息，则根据此消息，动态切换此对等连接所传输的视频的分辨率。即动态切换传输的视频副本，这些副本在初始工作中已准备。具体步骤如下：

(1)找到此接收端对应的对等连接，和此对等连接的视频轨道源14。

(2)使该视频轨道源14停止接收上一级副本源的数据。通过调用RemoveSink实现。

(3)根据需求反馈消息指示的分辨率等级，找到若干个副本源中与此分辨等级对应那一个。

(4)将步骤(1)找到的视频轨道源14连接到步骤(3)找到的副本源中去。通过调用副本源的AddOrUpdateSink实现。

实施例四

如图3-4所示，一种改变分辨率的***，用于接收端，其特征在于，包括：若干视图窗口，各视图窗口用于播放不同分辨率等级的视频；切换单元，用于切换不同视图窗口进行播放视频。

优选的，切换单元切换不同视图窗口进行播放视频的同时发送需求信号至发送端。

具体的，实际视频会议场景下，某一接收方分辨率需求的改变往往由视图切换造成；本实施例中预设三种视图窗口：大视图、均分视图(中等视图)、小视图。如图4所示：

为此，本方法为分辨率需求划分了等级(具体划分多少个等级，根据实际情况来确定，本实施例以5个等级为例)如表1：

分辨率等级	分辨率
		0	0(不发送)
1	160*90
		2	320*180
3	640*360
		4	1280*720

表1分辨率等级对应表

当某视频画面在大视图上时，在屏幕上呈现出清晰的画面需要视频帧分辨率在1280*720左右，这是广播电视级别的高清(HD，High Definition，纵向720线)等级；当视频画面在小视图上时，在屏幕上呈现出清晰的画面需要分辨率在160*90左右；当视频画面在中等视图上时，根据视窗的大小需要分辨率在320*180或640*360左右；1280*720分辨率的图像大小是160*90的64倍。

而一个接收端同一时间能观看的大视图最多只会有一个，这意味着这个接收端对其他对等端的画面需要是很小的。因此划分了分辨率等级，并将分辨率等级通过需求请求发送至发送端，调节发送端的输出，以此实现接收端将自己的需求等级，告知发送端，以便发送端进行分辨率差异化处理，能有效地减少各端的上下行带宽。

实施例五

如图5所示，一种改变分辨率的装置，用于发送端，其特征在于，包括：

原始视频源模块22，发送视频数据至副本视频源模块23；

副本视频源模块23，用于接收原始视频源模块22的视频数据，将视频数据转换为对应分辨率的视频数据发送至轨道源模块24；

轨道源模块24，用于根据需求信号确定分辨率等级信息，接收与分辨率等级相对应的副本视频源23的视频数据，并发送至接收端。

具体的，还包括视频采集模块21、视频轨道模块25；

视频采集模块21，用于采集原始视频数据并传输至原始视频源模块22；

视频轨道模块25，用于接收轨道源的视频数据并传输至接收端；

通讯模块，通讯模块用于与接收端实现通讯连接，同时还用于获取接收端的需求请求信号。

具体的，本实施例中根据WebRTC提供的1对1通信模型和Mesh架构下的装置，本实施例将视频数据的传输抽象为从发送端传输到接收端，每个对等端既是发送端又是接收端，本实施例中的发送端与接收端仅是对于一段数据的传输过程中发送数据的一端为发送端，接收数据的一端为接收端；即当对等端发送数据时为发送端，当对等端接收数据时为接收端；实际上，不同接收端对相同发送端发来的视频数据在屏幕上的显示并不是相同的，或呈现在大窗口上，或呈现在小窗口上，因此对于不同的窗口视图可以提供不同的分辨率以便适应对于的窗口视图，在保持相对清晰度情况的同时可以调节带宽的输出；本实施例中将这个不同的窗口视图为接收端对发送端的“需求”，这个需求表现为视频画面的大小，即分辨率；所以发送端会预设一个“分辨率等级”用于与接收端的“需求”相对应，通过分辨率等级进行适应性输出与视图窗口需求对应的视频数据；

本实施例主要遵循“按需取用”的原则，本实施例提出发送端应该根据接收端对视频的需求而发送相应分辨率的视频数据，根据需求动态改变发送分辨率；同时，本实施例提出固定分辨率等级，以便降低发送端处理压力，因为接收端的视图窗口普遍为三种或者四种窗口视图为主，所以发送端的分辨率等级可以根据视图窗口的大小进行针对性的预设分辨率；

本实施例的发送端，当端获取接收端的需求信号后，根据需求信号确定当前接收端的分辨率需求明确分辨率等级；根据分辨率等级输出对应的视频数据至接收端；完成了一次按需输出的视频数据交互。

本实施例中，发送端预设四个分辨率等级，同时构建四个副本视频源模块23来处理帧，这四个副本视频源模块23的目标分辨率与这四个分辨率等级一一对应且固定，它们从原始视频源模块22中获取数据，经过处理后将处理后的数据传递到下一级模块，以此实现输出不同分辨率的视频数据。

它们所做的数据处理工作为：根据原始视频数据生成目标分辨率的数据(要求原始视频数据分辨率比目标分辨率大)，即将摄像头录制的较高分辨率的视频转换为低采样率的版本。当这四个源中某一源没有任何接收器注册到它时，它将暂停这个转换，以避免不必要的计算量。

具体的实现过程为：发送端获取到某一接收端的需求请求后，通过需求请求确定接收端当前需要的分辨率等级，以此确定与该分辨率等级对应的目标视频副本源模块，将轨道源模块24与当前连接的副本视频源模块23断开，再将轨道源模块24与目标视频副本源模块连接，原始视频源模块22将视频数据发送至目标视频副本源模块，经过目标视频副本源模块输出对应分辨率的视频数据至轨道源模块24。

实施例六

如图6所示，一种改变分辨率的装置，用于接收端，其特征在于，包括：

若干播放模块32，各播放模块32用于播放不同分辨率等级的视频；

切换模块31，用于切换不同播放模块32进行播放视频。

本实施例与实施例五中的应用场景相同，均是应用于WebRTC和Mesh架构下的装置，本实施例的接收端同样也是相对性的，当对等端接收数据时即为接收端，接收端为播放视频数据的作用，且接收端设有若干个播放模块32，通过切换模块31实现不同的播放模块32之间进行切换，不同的播放模块32的播放界面大小不一所以保持相对的清晰度时不同的播放模块32其所需要的分辨率时不相同的，本实施中包括大中小三种播放模块32以供播放，因此，不同大小窗口的播放模块32需要保持相对的清晰度其视频数据的自然需要不同分辨率等级，所以每当接收端进行切换播放模式时，会根据当前切换的播放模块32的大小发送对于的需求信号给发送端，发送端接收到需求信号后经过实施例一中的方法，反馈对应分辨率等级的视频数据至接收端，接收端接收视频数据进行播放，实现了，在切换不同播放模块32进行播放时，仍然可以保持相对清晰度进行播放视频。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种改变分辨率的方法，用于发送端，其特征在于，包括：

获取接收端的需求信号，根据需求信号确定分辨率等级；

根据分辨率等级输出对应的视频数据至接收端。

2.一种改变分辨率的方法，用于至少一侧的接收端，其特征在于，包括：

切换播放模式，根据不同的播放模式发送对应的需求信号至发送端；

接收发送端的视频数据进行播放。

3.一种改变分辨率的***，用于发送端，其特征在于，包括：

原始视频源，发送视频数据至副本视频源；

副本视频源，用于接收原始视频源的视频数据，将视频数据转换为对应分辨率的视频数据发送至视频轨道源；

视频轨道源，用于根据需求信号确定分辨率等级信息，接收与分辨率等级相对应的副本视频源的视频数据，并发送至接收端。

4.如权利要求3所述的一种改变分辨率的***，其特征在于，包括：

预设若干个分辨率等级和若干个与所述分辨率等级一一对应的若干个副本视频源；

根据所述需求信号确定分辨率等级；

视频轨道源根据分辨率等级从对应的副本视频源接收视频数据。

5.如权利要求4所述的一种改变分辨率的***，其特征在于，包括：第一副本视频源和第二副本视频源；

获取需求信号后，根据需求信号确定分辨率等级；

视频轨道源停止接收第一副本视频源的视频数据；

根据分辨率等级确定对应的第二副本视频源；

将视频轨道源与第二副本视频源连接；

第二副本视频源通过视频轨道源输出视频数据至对应的接收端。

6.如权利要求3所述的一种改变分辨率的***，其特征在于，包括：

视频采集，用于获取视频数据并发送视频数据至原始视频源；

原始视频源，用于获取视频采集的视频数据并发送视频数据至副本视频源。

7.一种改变分辨率的***，用于接收端，其特征在于，包括：

若干视图窗口，各视图窗口用于播放不同分辨率等级的视频；

切换单元，用于切换不同视图窗口进行播放视频。

8.如权利要求7所述的一种改变分辨率的***，其特征在于，

切换单元切换不同视图窗口进行播放视频的同时发送需求信号至发送端。

9.一种改变分辨率的装置，用于发送端，其特征在于，包括：

原始视频源模块，用于接收视频采集模块的原始视频数据，发送视频数据至副本视频源模块；

副本视频源模块，用于接收原始视频源模块的视频数据，将视频数据转换为对应分辨率的视频数据发送至轨道源模块；

轨道源模块，用于根据需求信号确定分辨率等级信息，接收与分辨率等级相对应的副本视频源的视频数据，并发送至接收端。

10.一种改变分辨率的装置，用于接收端，其特征在于，包括：

若干播放模块，各播放模块用于播放不同分辨率等级的视频；

切换模块，用于切换不同播放模块进行播放视频。

Images