CN104967917A - 一种即时视频的编码方法和电子设备 - Google Patents

Abstract

本发明公开了一种即时视频的编码方法和电子设备，属于视频领域，包括：在当前即时视频帧中获取兴趣区域；若网络参数满足预设条件，则获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据；将残差数据发送至其他电子设备。通过获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。

Description

一种即时视频的编码方法和电子设备

技术领域

本发明涉及视频领域，特别涉及一种即时视频的编码方法和电子设备。

背景技术

随着移动设备和即时视频通讯技术的普及，越来越多的用户选择利用移动设备实现即时视频的交互，使得需要提供一种即时视频编码方法，实现即时视频的传输，以满足用户日益增长的即时视频交互需求。

现有技术提供了一种即时视频的编码方法，该方法包括：获取用户输入的即时视频；对即时视频帧内的所有区域采用统一的编码方式进行编码；传输该编码后的即时视频。

由于网络带宽的限制以及不稳定性，使得在使用现有技术所提供的方法时，在网络带宽较低的情况下，会导致即时视频传输的效率降低，出现即时视频画面的传输停止，即时视频连接断开等现象，从而降低了即时视频交互过程中的用户体验。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种即时视频的编码方法和电子设备。所述技术方案如下：

第一方面，提供了一种即时视频的编码方法，所述方法包括：

在当前即时视频帧中获取兴趣区域；

若网络参数满足预设条件，则获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据；

将所述残差数据发送至其他电子设备。

结合第一方面，在第一种可能的实现方式中，所述获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据包括：

获取所述兴趣区域的位置参数与姿态参数；

对所述位置参数与所述姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据所述标准位置参数与所述标准姿态参数，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述获取所述兴趣区域的位置参数与姿态参数之前，所述方法还包括：

设置组成所述当前即时视频帧的至少一个宏块的量化参数。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述设置组成包括所述兴趣区域的即时视频帧的至少一个宏块的量化参数包括：

根据所述当前即时视频帧的重要性矩阵，对至少包括所述区域的所述当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成所述处理后的当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

结合第一方面的第一种至第三种任一可能的实现方式，在第四种可能的实现方式中，所述获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据之前，所述方法还包括：

从已传输的至少一个即时视频帧中获取所述参考帧。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述将所述残差数据发送其他电子设备包括：

将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

第二方面，提供了一种即时视频的显示方法，所述方法包括：

获取与当前即时视频帧对应的残差数据，所述当前即时视频帧包括兴趣区域；

根据所述残差数据和参考帧，显示所述当前即时视频帧；

其中，所述残差数据是根据所述当前即时视频帧与所述参考帧获取的。

结合第二方面，在第一种可能的实现方式中，所述根据所述残差数据和参考帧，显示所述当前即时视频帧包括：

获取所述兴趣区域的位置参数与姿态参数；

根据所述残差数据、所述兴趣区域的位置参数、所述兴趣区域的姿态参数和所述参考帧，显示所述当前即时视频帧。

第三方面，提供了一种电子设备，所述电子设备包括：

第一处理模块，用于在当前即时视频帧中获取兴趣区域；

第二处理模块，用于在网络参数满足预设条件时，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据；

发送模块，用于将所述残差数据发送至其他电子设备。

结合第三方面，在第一种可能的实现方式中，所述第二处理模块具体用于：

获取所述兴趣区域的位置参数与姿态参数；

对所述位置参数与所述姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据所述标准位置参数与所述标准姿态参数，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据。

结合第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述电子设备还包括编码模块，所述编码模块用于：

设置组成所述当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

结合第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述编码模块具体用于：

根据所述当前即时视频帧的重要性矩阵，对至少包括所述区域的所述当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成所述处理后的当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

结合第三方面的第一种至第三种任一可能的实现方式，在第四种可能的实现方式中，所述电子设备还包括获取模块，所述获取模块用于：

从已传输的至少一个即时视频帧中获取所述参考帧。

结合第三方面的第四种可能的实现方式，在第五种可能的实现方式中，

所述发送模块具体用于将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

第四方面，提供了一种电子设备，所述电子设备包括发送模块、存储器以及与所述发送模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器所存储的程序代码用于执行以下操作：

在当前即时视频帧中获取兴趣区域；

若网络参数满足预设条件，则获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据；

将所述残差数据发送至其他电子设备。

结合第四方面，在第一种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码具体用于执行以下操作：

获取所述兴趣区域的位置参数与姿态参数；

对所述位置参数与所述姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据所述标准位置参数与所述标准姿态参数，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据。

结合第四方面的第一种可能的实现方式，在第二种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码还用于执行以下操作：

设置组成所述当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

结合第四方面的第二种可能的实现方式，在第三种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码还用于执行以下操作：

根据所述当前即时视频帧的重要性矩阵，对至少包括所述区域的所述当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成所述处理后的当前即时视频帧的至少一个宏块的量化参数。

结合第四方面的第一种至第三种任一可能的实现方式，在第四种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码还用于执行以下操作：

从已传输的至少一个即时视频帧中获取所述参考帧。

结合第四方面的第四种可能的实现方式，在第五种可能的实现方式中，所述处理器调用所述存储器所存储的程序代码具体用于执行以下操作：

将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

第五方面，提供了一种电子设备，所述电子设备包括：

获取模块，用于获取与当前即时视频帧对应的残差数据，所述当前即时视频帧包括兴趣区域；

显示模块，用于根据所述残差数据和参考帧，显示所述当前即时视频帧；

其中，所述残差数据是根据所述当前即时视频帧与所述参考帧获取的。

结合第五方面，在第一种可能的实现方式中，

所述获取模块还用于获取所述兴趣区域的位置参数与姿态参数；

所述显示模块具体用于根据所述残差数据、所述兴趣区域的位置参数、所述兴趣区域的姿态参数和所述参考帧，显示所述当前即时视频帧。

第六方面，提供了一种电子设备，所述电子设备包括显示屏、接收模块、存储器以及与所述显示屏、所述接收模块、所述存储器连接的处理器，其中，所述存储器用于存储一组程序代码，所述处理器调用所述存储器存储的程序代码用于执行以下操作：

获取与当前即时视频帧对应的残差数据，所述当前即时视频帧包括兴趣区域；

根据所述残差数据和参考帧，显示所述当前即时视频帧；

其中，所述残差数据是根据所述当前即时视频帧与所述参考帧获取的。

结合第六方面，在第一种可能的实现方式中，所述处理器调用所述存储器存储的程序代码用于执行以下操作：

获取所述兴趣区域的位置参数与姿态参数；

根据所述残差数据、所述兴趣区域的位置参数、所述兴趣区域的姿态参数和所述参考帧，显示所述当前即时视频帧。

本发明公开了一种即时视频的编码方法和电子设备，包括：在当前即时视频帧中获取兴趣区域；若网络参数满足预设条件，则获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据；将残差数据发送至其他电子设备。通过判断网络带宽是否满足预设条件，从而可以在判定网络带宽低时，对即时视频进行处理，从而提高了网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验；另外，由于本发明实施例所述的方法是在从当前即时视频帧中获取兴趣区域后，对当前即时视频帧进行处理，使得相比于传统的即时视频编码方法，在带宽资源不变的情况下，将更多的宽带资源用于兴趣区域的传输，从而保证了兴趣区域的传输，进一步提高了即时视频的传输效率，提高了用户体验；另外，由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于传统的传输全部即时视频帧，该方法进一步节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种即时视频的编码方法流程图；

图2是本发明实施例提供的一种即时视频的显示方法流程图；

图3是本发明实施例提供的一种即时视频的编码方法流程图；

图4是本发明实施例提供的一种即时视频的显示方法流程图；

图5是本发明实施例提供的一种电子设备结构示意图；

图6是本发明实施例提供的一种电子设备结构示意图；

图7是本发明实施例提供的一种电子设备结构示意图；

图8是本发明实施例提供的一种电子设备结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种即时视频的编码方法，该方法用于一种至少包括两个电子设备的交互***，其中，在该交互***中，该至少两个电子设备通过运行自身所存储的应用程序实现即时视频的交互，电子设备至少包括发送/接收模块、视频输入模块以及具有触控功能的显示模块，该视频输入模块包括摄像头，显示模块可以包括显示屏，电子设备通过发送/接收模块实现即时视频的发送与接收，通过视频输入模块实现即时视频的输入，通过具有触控功能的显示模块实现即时视频的显示以及接收用户触发的指令。

值得注意的是，上述交互***仅仅是示例性的，是为了进一步说明本发明实施例所提供的方法，并非特指，本发明实施例对具体的交互***不加以限定。

实施例一为本发明实施例提供的一种即时视频的编码方法，参照图1所示，该方法包括：

101、在当前即时视频帧中获取兴趣区域。

102、判断网络参数是否满足预设条件，若是，则执行步骤103及后续步骤；若不是，则结束。

103、从已传输的至少一个即时视频帧中获取参考帧。

104、获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。

具体的，获取兴趣区域的位置参数与姿态参数；

对位置参数与姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据标准位置参数与标准姿态参数，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。

可选的，获取兴趣区域的位置参数与姿态参数之前，方法还包括：

设置组成当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

具体的，设置组成当前即时视频帧的至少一个宏块的量化参数的过程可以为：

根据当前即时视频帧的重要性矩阵，对至少包括区域的当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成处理后的当前即时视频帧的至少一个宏块的量化参数。

105、将残差数据发送至其他电子设备。

具体的，将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

本发明实施例提供了一种即时视频的编码方法，通过判断网络带宽是否满足预设条件，从而可以在判定网络带宽低时，对即时视频进行处理，从而提高了网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验；另外，由于本发明实施例所述的方法是在从当前即时视频帧中获取兴趣区域后，对当前即时视频帧进行处理，使得相比于传统的即时视频编码方法，在带宽资源不变的情况下，将更多的宽带资源用于兴趣区域的传输，从而保证了兴趣区域的传输，进一步提高了即时视频的传输效率，提高了用户体验；另外，由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于传统的传输全部即时视频帧，该方法进一步节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。

实施例二为本发明实施例提供的一种即时视频的显示方法，参照图2所示，该方法包括：

201、获取与当前即时视频帧对应的残差数据，当前即时视频帧包括兴趣区域。

202、根据残差数据和参考帧，显示当前即时视频帧。

具体的，获取兴趣区域的位置参数与姿态参数；

根据残差数据、兴趣区域的位置参数、兴趣区域的姿态参数和参考帧，显示当前即时视频帧。

本发明实施例提供一种即时视频的显示方法，通过只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，然后根据该残差数据与预先发送的参考帧，显示该兴趣区域，节省了带宽资源，同时还可以保证兴趣区域的画面质量，提高了即时视频传输和显示的效率，提高了用户体验。

实施例三为本发明实施例提供的一种即时视频的编码方法，参照图3所示，该方法包括：

301、获取用于指示兴趣区域的特征参数。

具体的，兴趣区域可以包括用户细节所在的区域，该用户细节包括人脸；兴趣区域还可以包括当前即时视频帧中所包括的屏幕所在的区域，除此之外，兴趣区域还还可以包括其他区域，本发明实施例对具体的兴趣区域不加以限定。

为了方便说明，本发明实施例以兴趣区域为人脸所在的区域为例。

用于指示人脸所在区域的特征参数包括用于描述人脸的像素、特征点的位置参数等，该特征点用于描述人脸的轮廓。

除此之外，还可以通过其他方式获取用于指示人脸所在区域的特征参数，本发明实施例对具体的参数不加以限定。

由于用户在手机、平板电脑等电子设备上进行即时视频交互时，对于人脸所在区域的画面质量要求较高，所以，通过对如人脸所在区域的兴趣区域进行处理，可以进一步提高即时视频时的用户体验。

302、根据特征参数，从当前即时视频帧中获取兴趣区域。

具体的，获取特征参数所指示的区域内所有像素点的参数，该像素点的参数包括像素点的位置参数，该位置参数用于唯一确定像素点。

值得注意的是，步骤301至步骤302是实现从当前即时视频帧中获取兴趣区域的过程，除了上述方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

由于在即时视频交互的场景下，交互双方对于即时视频中如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域，所以，可以通过本发明实施例所提供的方法，对兴趣区域进行传输，对其他区域不进行传输，使得相比于传统的即时视频传输方法，该方法所需的带宽资源更少，从而能够进一步节省带宽资源，提高即时视频传输的效率，提高用户体验。

303、判断网络参数是否满足预设条件，若是，则执行步骤304以及后续步骤，若不是，则结束。

具体的，判断网络带宽与第一预设值和第二预设值之间的大小，本发明实施例对具体的判断方式不加以限定。

若网络带宽大于或者等于第一预设值，且网络带宽小于第二预设值，则执行步骤304；

若网络带宽满足小于第一预设值和大于或者等于第二预设值中的任意一个，则结束。

其中，在实际应用中，第一预设值可以为10kb/s，第二预设值可以为50kb/s。

可选的，由于网络传输时网络带宽的不稳定性，所以，可以判断当前时刻之前的预设时间段内网络带宽的平均值是否满足预设条件，若是，则执行步骤304；若不是，则结束。

其中，在实际应用中，预设时间段可以为0.2秒。

通过判断当前时刻之间的预设时间段内网络带宽的平均值是否满足预设条件，消除了网络传输时网络带宽的不稳定性，保证了即时视频编码的可靠性，提高了用户体验。

由于通过判断网络带宽是否满足预设条件，所以在判定网络带宽低时，对即时视频进行处理，可以提高网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验。

304、从已传输的至少一个即时视频帧中获取参考帧。

具体的，假设当前即时视频帧为i帧，该步骤的具体过程可以为：

检测第i-1帧是否发送至其他电子设备；

若是，则设置该第i-1帧为参考帧；

若不是，则检测第i-2帧是否发送至其他电子设备，若是，则设置该第i-2帧为参考帧，若不是，则检测第i-3帧是否发送至其他电子设备，并以此类推。

305、获取该参考帧中兴趣区域的位置参数和姿态参数。

具体的，获取用于描述该兴趣区域的所有特征点的位置参数和姿态参数，其中，该位置参数包括特征点的坐标。

本发明实施例对具体的获取方式不加以限定。

该所有特征点的位置参数和姿态参数，即为兴趣区域的位置参数和姿态参数。

该兴趣区域的位置参数用于描述该兴趣区域在参考帧中的位置，该姿态参数用于描述兴趣区域在参考帧中的当前姿态。

其中，该姿态参数可以为与特征点坐标对应的向量。

306、对参考帧中兴趣区域的位置参数和姿态参数进行归一化处理，生成标准姿态参数以及标准姿态下的位置参数。

具体的，根据预先存储的标准姿态参数对该所有特征点的姿态参数进行旋转，获取标准姿态参数和标准姿态下的位置参数；

本发明实施例对具体的归一化过程不加以限定。

值得注意的是，步骤304至步骤306是获取参考帧的过程，在实际应用中，可以使用预先获取的参考帧，无需每次都执行步骤303至步骤305。

307、根据当前即时视频帧的重要性矩阵，对至少包括区域的当前即时视频帧进行处理，获取处理后的当前即时视频帧。

具体的，根据滤波后的当前即时视频帧、当前即时视频帧以及重要性矩阵，获取处理后的即时视频帧。

可以通过预设的生成算法，在重要性矩阵的基础上，对当前即时视频帧和滤波后的当前即时视频帧进行融合，获取处理后的即时视频帧，该算法可以为：

$out=\∂*src+(1-\∂)*low$

其中，out为处理后的即时视频帧，src为当前即时视频帧，low为滤波后的当前即时视频帧，为重要性矩阵。

由于重要性矩阵指示了即时视频帧内的兴趣区域和非兴趣区域，所以，通过重要性矩阵，对重要性矩阵所指示的兴趣区域进行保留，利用低通滤波后的即时视频帧内的非兴趣区域替换即时视频帧内的非兴趣区域，使得输出的处理后的即时视频帧中兴趣区域的图像为不失真的原始图像，非兴趣区域的图像为不包括高频信号的图像，从而使得在传输该处理后的即时视频帧时，减少了传输时所需的带宽资源，提高了即时视频的传输效率，提高了用户体验。

本发明实施例对具体的重要性矩阵的获取过程和方式不加以限定。

308、设置组成处理后的当前即时视频帧的至少一个宏块的量化参数，并根据至少一个宏块的量化参数，对当前即时视频帧进行编码，生成编码后的当前即时视频帧。

具体的，将处理后的当前即时视频帧划分为至少一个宏块。

设置包括全部或者部分兴趣区域的宏块的量化参数为第一数值。

由于在实际应用中，量化参数的取值范围为0至51之间，所以该第一数值可以为0至25之间用户或者***中的任意一个所定义的任意数值。

设置不包括全部或者部分兴趣区域的宏块的量化参数为第二数值。

该第二数值可以为25至51之间用户或者***中的任意一个所定义的任意数值。

值得注意的是，步骤307至步骤308是设置组成当前即时视频帧的至少一个宏块的量化参数，并根据至少一个宏块的量化参数，对当前即时视频帧进行编码，生成编码后的当前即时视频帧的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

通过设置包括全部或者部分兴趣区域的宏块的量化参数为第一数值，设置不包括全部或者部分兴趣区域的宏块的量化参数为第二数值，使得在编码过程中，保留了兴趣区域的细节，对非兴趣区域的细节不进行保留，使得在对兴趣区域进行不失真传输的基础上，进一步减少了非兴趣区域在传输时所占用的带宽，使得相比于传统的即时视频传输方法，该方法不仅能够保证兴趣区域的画面质量，而且所需的带宽资源更少，从而能够进一步节省带宽资源，提高即时视频传输的效率，提高用户体验。

309、从编码后的当前即时视频帧中获取兴趣区域的位置参数与姿态参数。

具体的，该过程与步骤304中获取参考帧中的位置参数和姿态参数的过程相同，此处再不加以赘述。

由于兴趣区域的位置参数与姿态参数进一步描述了该兴趣区域在当前即时视频帧中的位置和当前姿态，所以，通过获取参考帧中的位置参数和姿态参数，可以保证在即时视频传输过程中兴趣区域的画面质量，进一步提高用户体验；另外，通过获取兴趣区域的位置参数与姿态参数，相比于对获取整个兴趣区域的所有数据，减少了即时视频传输过程中的数据传输量和处理量，进一步提高了即时视频的传输效率，提高了用户体验。

310、对位置参数与姿态参数进行归一化处理，生成标准位置参数与标准姿态参数。

具体的，该过程与步骤305中对参考帧中兴趣区域的位置参数和姿态参数进行归一化处理，生成标准位置参数与标准姿态参数的过程相同，此处再不加以赘述。

通过对兴趣区域的位置参数与姿态参数进行归一化处理，生成标准位置参数与标准姿态参数，相比于未归一化的位置参数与姿态参数，减少了即时视频传输过程中数据传输量和处理量，进一步提高了即时视频的传输效率，提高了用户体验。

311、根据标准位置参数与标准姿态参数，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。

具体的，获取当前即时视频帧中标准姿态下的标准位置参数与参考帧中标准姿态下的位置参数之间的残差数据，本发明实施例对具体的获取方式不加以限定。

由于当前即时视频帧中兴趣区域的姿态参数与参考帧中兴趣区域的姿态参数为标准姿态参数，所以根据标准位置参数与标准姿态参数，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于根据当前即时视频帧中兴趣区域的姿态参数位置参数与参考帧中的位置参数和姿态参数，生成残差数据，通过将姿态参数进行归一化处理，使得只通过在标准姿下位置参数获取当前即时视频帧与参考帧之间的残差数据，减少了即时视频传输过程中数据传输量和处理量，进一步提高了即时视频的传输效率，提高了用户体验。

值得注意的是，步骤307至步骤311是获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

通过获取当前即时视频帧中的兴趣区域与参考帧中的兴趣区域之间的残差数据，实现即时视频的传输，相比于传统的即时视频传输方法，该方法进一步减少了即时视频传输过程中数据传输量和处理量，从而进一步提供了即时视频的传输效率，提高了用户体验。另外，相比于获取当前即时视频帧与参考帧之间的残差数据，该方法进一步减少了即时视频传输过程中数据传输量和处理量，从而进一步提高了即时视频的传输效率，提高了用户体验。

312、将残差数据发送至其他电子设备。

具体的，将残差数据、兴趣区域的位置参数与姿态参数发送至其他电子设备。

具体的，本发明实施例对具体的发送方式不加以限定。

由于在即时视频交互的场景下，交互双方对于即时视频中如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域，所以，可以通过本发明实施例所提供的方法，只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，使得相比于传统的即时视频传输方法，该方法所需的带宽资源更少，从而能够进一步节省带宽资源，同时还可以保证兴趣区域的画面质量，进一步提高即时视频传输的效率，提高用户体验。

本发明实施例提供了一种即时视频的编码方法，通过判断网络带宽是否满足预设条件，从而可以在判定网络带宽低时，对即时视频进行处理，从而提高了网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验；另外，由于本发明实施例所述的方法是在从当前即时视频帧中获取兴趣区域后，对当前即时视频帧进行处理，使得相比于传统的即时视频编码方法，在带宽资源不变的情况下，将更多的宽带资源用于兴趣区域的传输，从而保证了兴趣区域的传输，进一步提高了即时视频的传输效率，提高了用户体验；另外，由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于传统的传输全部即时视频帧，该方法进一步节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。另外，由于在即时视频交互的场景下，交互双方对于即时视频中如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域，所以，可以通过本发明实施例所提供的方法，对兴趣区域进行传输，对其他区域不进行传输，使得相比于传统的即时视频传输方法，该方法所需的带宽资源更少，从而能够进一步节省带宽资源，提高即时视频传输的效率，提高用户体验。另外，由于重要性矩阵指示了即时视频帧内的兴趣区域和非兴趣区域，所以，通过重要性矩阵，对重要性矩阵所指示的兴趣区域进行保留，利用低通滤波后的即时视频帧内的非兴趣区域替换即时视频帧内的非兴趣区域，使得输出的处理后的即时视频帧中兴趣区域的图像为不失真的原始图像，非兴趣区域的图像为不包括高频信号的图像，从而使得在传输该处理后的即时视频帧时，减少了传输时所需的带宽资源，提高了即时视频的传输效率，提高了用户体验。另外，通过设置包括全部或者部分兴趣区域的宏块的量化参数为第一数值，设置不包括全部或者部分兴趣区域的宏块的量化参数为第二数值，使得在编码过程中，保留了兴趣区域的细节，对非兴趣区域的细节不进行保留，使得在对兴趣区域进行不失真传输的基础上，进一步减少了非兴趣区域在传输时所占用的带宽，使得相比于传统的即时视频传输方法，该方法不仅能够保证兴趣区域的画面质量，而且所需的带宽资源更少，从而能够进一步节省带宽资源，提高即时视频传输的效率，提高用户体验。另外，由于兴趣区域的位置参数与姿态参数进一步描述了该兴趣区域在当前即时视频帧中的位置和当前姿态，所以，通过获取参考帧中的位置参数和姿态参数，可以保证在即时视频传输过程中兴趣区域的画面质量，进一步提高用户体验；另外，通过获取兴趣区域的位置参数与姿态参数，相比于对获取整个兴趣区域的所有数据，减少了即时视频传输过程中的数据传输量和处理量，进一步提高了即时视频的传输效率，提高了用户体验。

实施例四为本发明实施例提供的一种即时视频的显示方法，参照图4所示，为该方法包括：

401、获取与当前即时视频帧对应的残差数据，当前即时视频帧包括兴趣区域。

具体的，可以接收其他电子设备发送的残差数据，也可以在电子设备自身生成残差数据后，获取该残差数据。

还可以通过其他方式获取该残差数据，本发明实施例对具体的获取方式不加以限定。

402、获取兴趣区域的位置参数与姿态参数。

具体的，获取兴趣区域的位置参数与姿态参数；

可以接收其他电子设备发送的兴趣区域的位置参数与姿态参数，也可以在电子设备自身生成兴趣区域的位置参数与姿态参数后，获取该兴趣区域的位置参数与姿态参数。

还可以通过其他方式获取该兴趣区域的位置参数与姿态参数，本发明实施例对具体的获取方式不加以限定。

由于兴趣区域的位置参数与姿态参数进一步描述了该兴趣区域在当前即时视频帧中的位置和当前姿态，所以，通过获取参考帧中的位置参数和姿态参数，可以保证在即时视频显示过程中兴趣区域的画面质量，进一步提高用户体验；另外，通过获取兴趣区域的位置参数与姿态参数，相比于对获取整个兴趣区域的所有数据，减少了即时视频显示过程中的数据传输量和处理量，进一步提高了用户体验。

403、根据残差数据、兴趣区域的位置参数、兴趣区域的姿态参数和参考帧，显示当前即时视频帧。

具体的，根据该残差数据与参考帧，获取标准姿态下的兴趣区域；

根据兴趣区域的位置参数和姿态参数，将标准姿态下的兴趣区域还原为当前姿态下的兴趣区域。

值得注意的是，步骤402至步骤403是根据残差数据和参考帧，显示当前即时视频帧的过程，除了上述步骤所述的方式之外，还可以通过其他方式实现该过程，本发明实施例对具体的方式不加以限定。

由于在即时视频交互的场景下，交互双方对于即时视频中如人脸所在区域等兴趣区域的关注度和画面质量要求大于其他区域，所以，可以通过本发明实施例所提供的方法，只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，然后根据该残差数据与预先发送的参考帧，显示该兴趣区域，使得相比于传统的即时视频传输和显示方法，该方法所需的带宽资源更少，从而能够进一步节省带宽资源，同时还可以保证兴趣区域的画面质量，进一步提高即时视频传输和显示的效率，提高用户体验。

在本发明实施例中，残差数据是根据当前即时视频帧与参考帧获取的。

本发明实施例提供一种即时视频的显示方法，通过只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，然后根据该残差数据与预先发送的参考帧，显示该兴趣区域，节省了带宽资源，同时还可以保证兴趣区域的画面质量，提高了即时视频传输和显示的效率，提高了用户体验。

实施例五为本发明实施例提供的一种电子设备5，参照图5所示，该电子设备5包括：

第一处理模块51，用于在当前即时视频帧中获取兴趣区域；

第二处理模块52，用于在网络参数满足预设条件时，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据；

发送模块53，用于将残差数据发送至其他电子设备。

可选的，第二处理模块52具体用于：

获取兴趣区域的位置参数与姿态参数；

对位置参数与姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据标准位置参数与标准姿态参数，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。

可选的，电子设备还包括编码模块，编码模块用于：

设置组成当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

可选的，编码模块具体用于：

根据当前即时视频帧的重要性矩阵，对至少包括区域的当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成处理后的当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

可选的，电子设备还包括获取模块，获取模块用于：

从已传输的至少一个即时视频帧中获取参考帧。

可选的，

发送模块具体用于将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

本发明实施例提供了一种电子设备，该电子设备通过判断网络带宽是否满足预设条件，从而可以在判定网络带宽低时，对即时视频进行处理，从而提高了网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验；另外，由于本发明实施例所述的方法是在从当前即时视频帧中获取兴趣区域后，对当前即时视频帧进行处理，使得相比于传统的即时视频编码方法，在带宽资源不变的情况下，将更多的宽带资源用于兴趣区域的传输，从而保证了兴趣区域的传输，进一步提高了即时视频的传输效率，提高了用户体验；另外，由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于传统的传输全部即时视频帧，该方法进一步节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。

实施例六为本发明实施例提供的一种电子设备6，参照图6所示，该电子设备6包括发送模块61、存储器62以及与发送模块61、存储器62连接的处理器63，其中，存储器62用于存储一组程序代码，处理器63调用存储器62所存储的程序代码用于执行以下操作：

在当前即时视频帧中获取兴趣区域；

若网络参数满足预设条件，则获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据；

将残差数据发送至其他电子设备。

可选的，处理器63调用存储器62所存储的程序代码用于执行以下操作：

获取兴趣区域的位置参数与姿态参数；

对位置参数与姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据标准位置参数与标准姿态参数，获取包括兴趣区域的当前即时视频帧与参考帧之间的残差数据。

可选的，处理器63调用存储器62所存储的程序代码用于执行以下操作：

设置组成当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

可选的，处理器63调用存储器62所存储的程序代码用于执行以下操作：

根据当前即时视频帧的重要性矩阵，对至少包括区域的当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成处理后的当前即时视频帧的至少一个宏块的量化参数。

可选的，处理器63调用存储器62所存储的程序代码用于执行以下操作：

从已传输的至少一个即时视频帧中获取参考帧。

可选的，处理器63调用存储器62所存储的程序代码用于执行以下操作：

将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

本发明实施例提供了一种电子设备，该电子设备通过判断网络带宽是否满足预设条件，从而可以在判定网络带宽低时，对即时视频进行处理，从而提高了网络带宽的利用率，节省网络资源，提高了即时视频的传输效率，提高了用户体验；另外，由于本发明实施例所述的方法是在从当前即时视频帧中获取兴趣区域后，对当前即时视频帧进行处理，使得相比于传统的即时视频编码方法，在带宽资源不变的情况下，将更多的宽带资源用于兴趣区域的传输，从而保证了兴趣区域的传输，进一步提高了即时视频的传输效率，提高了用户体验；另外，由于获取并传输包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据，相比于传统的传输全部即时视频帧，该方法进一步节省了网络带宽资源，同时保证了即时视频中兴趣区域的画面质量，保证了兴趣区域的传输，从而进一步提高了即时视频的传输效率，提高了用户体验。

实施例七为本发明实施例提供的一种电子设备7，参照图7所示，该电子设备7包括：

获取模块71，用于获取与当前即时视频帧对应的残差数据，当前即时视频帧包括兴趣区域；

显示模块72，用于根据残差数据和参考帧，显示当前即时视频帧；

其中，残差数据是根据当前即时视频帧与参考帧获取的。

可选的，

获取模块71还用于获取兴趣区域的位置参数与姿态参数；

显示模块72具体用于根据残差数据、兴趣区域的位置参数、兴趣区域的姿态参数和参考帧，显示当前即时视频帧。

本发明实施例提供了一种电子设备，该电子设备通过只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，然后根据该残差数据与预先发送的参考帧，显示该兴趣区域，节省了带宽资源，同时还可以保证兴趣区域的画面质量，提高了即时视频传输和显示的效率，提高了用户体验。

实施例八为本发明实施例提供的一种电子设备8，参照图8所示，该电子设备8包括显示屏81、接收模块82、存储器83以及与显示屏81、接收模块82、存储器83连接的处理器84，其中，存储器83用于存储一组程序代码，处理器84调用存储器83存储的程序代码用于执行以下操作：

获取与当前即时视频帧对应的残差数据，当前即时视频帧包括兴趣区域；

根据残差数据和参考帧，显示当前即时视频帧；

其中，残差数据是根据当前即时视频帧与参考帧获取的。

可选的，处理器84调用存储器83存储的程序代码用于执行以下操作：

获取兴趣区域的位置参数与姿态参数；

根据残差数据、兴趣区域的位置参数、兴趣区域的姿态参数和参考帧，显示当前即时视频帧。

本发明实施例提供了一种电子设备，该电子设备通过只传输兴趣区域与参考帧的兴趣区域之间的残差数据，对其他其余区域的数据不进行传输，然后根据该残差数据与预先发送的参考帧，显示该兴趣区域，节省了带宽资源，同时还可以保证兴趣区域的画面质量，提高了即时视频传输和显示的效率，提高了用户体验。

上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的电子设备在进行即时视频的编码时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的电子设备与即时视频的编码方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种即时视频的编码方法，其特征在于，所述方法包括：

在当前即时视频帧中获取兴趣区域；

若网络参数满足预设条件，则获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据；

将所述残差数据发送至其他电子设备。

2.根据权利要求1所述的方法，其特征在于，所述获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据包括：

获取所述兴趣区域的位置参数与姿态参数；

对所述位置参数与所述姿态参数进行归一化处理，生成标准位置参数与标准姿态参数；

根据所述标准位置参数与所述标准姿态参数，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据。

3.根据权利要求2所述的方法，其特征在于，所述获取所述兴趣区域的位置参数与姿态参数之前，所述方法还包括：

设置组成所述当前即时视频帧的至少一个宏块的量化参数，并根据所述量化参数，对所述当前即时视频帧进行编码，生成编码后的当前即时视频帧。

4.根据权利要求3所述的方法，其特征在于，所述设置组成包括所述兴趣区域的即时视频帧的至少一个宏块的量化参数包括：

根据所述当前即时视频帧的重要性矩阵，对至少包括所述区域的所述当前即时视频帧进行处理，获取处理后的当前即时视频帧；

设置组成所述处理后的当前即时视频帧的至少一个宏块的量化参数。

5.根据权利要求2至4任一所述的方法，其特征在于，所述获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据之前，所述方法还包括：

从已传输的至少一个即时视频帧中获取所述参考帧。

6.根据权利要求5所述的方法，其特征在于，所述将所述残差数据发送其他电子设备包括：

将所述残差数据、所述兴趣区域的位置参数与姿态参数发送至所述其他电子设备。

7.一种即时视频的显示方法，其特征在于，所述方法包括：

获取与当前即时视频帧对应的残差数据，所述当前即时视频帧包括兴趣区域；

根据所述残差数据和参考帧，显示所述当前即时视频帧；

其中，所述残差数据是根据所述当前即时视频帧与所述参考帧获取的。

8.根据权利要求7所述的方法，其特征在于，所述根据所述残差数据和参考帧，显示所述当前即时视频帧包括：

获取所述兴趣区域的位置参数与姿态参数；

根据所述残差数据、所述兴趣区域的位置参数、所述兴趣区域的姿态参数和所述参考帧，显示所述当前即时视频帧。

9.一种电子设备，其特征在于，所述电子设备包括：

第一处理模块，用于在当前即时视频帧中获取兴趣区域；

第二处理模块，用于在网络参数满足预设条件时，获取包括所述兴趣区域的当前即时视频帧与参考帧之间的残差数据；

发送模块，用于将所述残差数据发送至其他电子设备。

10.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于获取与当前即时视频帧对应的残差数据，所述当前即时视频帧包括兴趣区域；

显示模块，用于根据所述残差数据和参考帧，显示所述当前即时视频帧；

其中，所述残差数据是根据所述当前即时视频帧与所述参考帧获取的。