CN116886932B - 视频流传输方法、装置、终端设备及存储介质 - Google Patents
视频流传输方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN116886932B CN116886932B CN202311148638.5A CN202311148638A CN116886932B CN 116886932 B CN116886932 B CN 116886932B CN 202311148638 A CN202311148638 A CN 202311148638A CN 116886932 B CN116886932 B CN 116886932B
- Authority
- CN
- China
- Prior art keywords
- video
- code stream
- stream
- coding
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000005540 biological transmission Effects 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000013139 quantization Methods 0.000 claims abstract description 47
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 238000000926 separation method Methods 0.000 claims abstract description 32
- 230000004044 response Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 abstract description 21
- 230000006870 function Effects 0.000 abstract description 12
- 230000000903 blocking effect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请涉及数据传输领域，提供一种视频流传输方法、装置、终端设备及存储介质。所述方法包括：获取待传输的原始视频码流；对原始视频码流进行降采样和编码处理，得到基本编码码流；对原始视频码流的高频细节信息进行分离提取和量化编码处理，得到原始视频码流相对于基本编码码流的残差增强编码数据；将基本编码码流和残差增强编码数据整合为同一路目标视频流发送给视频接收方。本申请提供的视频流传输方法可以仅使用一路视频码流就能实现视频监控和实时音视频通话等功能，与并行处理两路视频码流相比，不仅可以减少内存资源消耗，降低硬件设备成本，还降低了视频传输总码率，从而减少对传输带宽的占用，减少视频播放卡顿、不流畅的现象。
Description
技术领域
本申请涉及数据传输领域，具体涉及一种视频流传输方法、装置、终端设备及存储介质。
背景技术
随着互联网技术的不断发展和智能终端设备技术的不断提升，物联网设备与安防监控和实时音视频通信技术的结合愈发紧密，人们不再满足传统安防***中单一的视频监控能力，RTC（Real time communication）实时音视频通话功能越来越多地被集成到IOT（Internet Of Things，物联网）设备当中。同时集成了安防监控和RTC能力的监控设备，用户只需在移动终端上安装相应的应用软件，就能同时实现移动终端与监控设备之间的安防监控和视频通话功能。
在现有的监控设备中，由于安防监控和RTC通话对视频流质量的要求不同，一台IOT设备往往需要对采集到的原始视频数据进行两路码流并行编码，一路码流供安防监控使用，另一路码流则供RTC通话使用。一方面两路视频流同时编码对CPU的计算能力提出了更高的要求，变相增加了设备硬件成本；另一方面IOT设备内存资源十分宝贵，两路视频码流不仅会增加设备的内存消耗，还会占用更大的网络传输带宽，容易造成视频的播放不流畅、卡顿甚至增加丢包率导致花屏等现象，严重影响用户体验。
发明内容
本申请实施例提供一种视频流传输方法、装置、终端设备及存储介质，用以解决现有的监控设备对采集到的原始视频数据进行两路码流并行编码，导致设备硬件成本和内存资源消耗增加，以及网络传输带宽占用较大的技术问题。
第一方面，本申请实施例提供一种视频流传输方法，包括：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
在一个实施例中，所述对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流，包括：
获取预设的第一分辨率；所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求；
根据所述第一分辨率对所述原始视频码流进行降采样处理，得到第一视频码流；
基于预设的基本编码器对所述第一视频码流进行编码处理，得到所述原始视频码流对应的基本编码码流。
在一个实施例中，所述对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据，包括：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
在一个实施例中，所述视频流传输方法还包括：
接收所述视频接收方的实时音视频通话请求；
根据所述实时音视频通话请求关闭所述低复杂度增强视频编码器，并向所述视频接收方发送请求应答信息，以对所述实时音视频通话请求进行响应；所述请求应答信息用于指示所述视频接收方进入实时音视频通话状态。
在一个实施例中，所述获取待传输的原始视频码流，包括：
接收所述视频接收方发送的状态信息，并根据所述状态信息确定所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态；
获取所述运行状态对应的目标分辨率；若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求；
根据所述目标分辨率采集待传输的原始视频码流。
第二方面，本申请实施例还提供一种视频流传输方法，应用于视频接收方，包括：
接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
在一个实施例中，所述视频流传输方法还包括：
向所述视频发送方发送实时音视频通话请求；所述视频发送方根据所述实时音视频通话请求关闭预设的低复杂度增强视频编码器；所述低复杂度增强视频编码器用于对所述高频细节信息进行量化编码处理；
接收所述视频发送方的请求应答信息，并根据所述请求应答信息进入实时音视频通话状态。
在一个实施例中，所述根据所述请求应答信息进入实时音视频通话状态之后，还包括：
向所述视频发送方发送状态信息；所述状态信息用于指示所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态。
在一个实施例中，若所述运行状态为视频监控状态，所述对所述目标视频流进行解码处理，以对所述原始视频码流进行还原，包括：
从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据；
基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；
基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流；
对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原。
在一个实施例中，所述原始视频码流是由所述视频发送方根据目标分辨率进行采集得到的，所述目标分辨率是根据所述运行状态确定的；
其中，若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；
所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求，所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求。
第三方面，本申请实施例提供一种视频流传输装置，应用于视频接收方，包括：
接收模块，用于接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
解码模块，用于对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
第四方面，本申请实施例提供一种视频流传输装置，包括：
采集模块，用于获取待传输的原始视频码流；
第一编码模块，用于对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
第二编码模块，用于对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
传输模块，用于将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
第五方面，本申请实施例提供一种终端，包括存储器，收发机，处理器；
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
第六方面，本申请实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面或第二方面所述的视频流传输方法的步骤。
第七方面，本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的视频流传输方法的步骤。
本申请实施例提供的视频流传输方法、装置、终端设备及存储介质，通过获取待传输的原始视频码流；对原始视频码流进行降采样和编码处理，得到原始视频码流对应的基本编码码流；对原始视频码流的高频细节信息进行分离提取和量化编码处理，得到原始视频码流相对于基本编码码流的残差增强数据；将基本编码码流和残差增强编码数据整合为同一路目标视频流发送给视频接收方。通过残差增强数据，可以仅使用一路视频码流就能同时满足安防视频监控和RTC通话等不同功能对视频质量的不同需求，与并行处理两路视频码流相比，不仅可以减少内存资源消耗，降低硬件设备成本，还降低了视频传输总码率，从而在传输时减少对传输带宽的占用，减少视频播放卡顿、不流畅的现象。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频流传输方法的流程示意图之一；
图2是本申请实施例提供的视频流传输方法的流程示意图之二；
图3是本申请实施例提供的视频流传输方法的流程示意图之三；
图4是本申请实施例提供的视频流传输方法的流程示意图之四；
图5是本申请实施例提供的视频流传输装置的结构示意图之一；
图6是本申请实施例提供的视频流传输装置的结构示意图之二；
图7是本申请实施例提供的终端的结构示意图；
图8是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明各实施例所涉及的主要技术术语包括：
RTC：Real Time Communication，实时音视频。
LCEVC：Low Complexity Enhancement Video Coding，低复杂度增强视频编码，是一种新的MPEG格式的视频编解码器。它的核心思想是使用常规视频编解码器作为较低分辨率的基本编码器，并通过将解码后的低分辨率视频与使用专用低复杂度编码工具编码的最多两个残差增强子层进行组合，来重建全分辨率视频。
为解决现有的监控设备存在的缺陷，本发明实施例提供一种视频流传输方法，基于LCEVC的安防与RTC，将较低分辨率的RTC视频流通过基本编码器进行编码，同时基于LCEVC编码功能，为视频安防监控提供额外的高质量码流。LCEVC并不是独立的视频编码器，而是对任意其他编码器如AVC（Advanced Video Coding，高级视频编码）、VP9（Next GenOpen Video，由Google开发的开放格式、无使用授权费的视频压缩标准）、HEVC（HighEfficiency Video Coding，高效率视频编码）、AV1（AOMedia Video 1，开放媒体联盟AOM（Alliance for Open Media）开发的第一代视频编码标准）、EVC（Essential VideoCoding，基本视频编码）和VVC（Versatile Video Coding，通用视频编码）的增强，目的是降低计算负荷。随着物联网产业的不断发展，其日益复杂多样化的功能需求对设备性能提出了更高的要求，本发明实施例结合LCEVC为解决安防视频监控和RTC通信的视频流同时传输提供了新的解决思路。
具体地，图1为本发明实施例提供的视频流传输方法的流程示意图。参照图1，本申请实施例提供的视频流传输方法，可以包括：
步骤100，获取待传输的原始视频码流；
需要说明的是，在本实施例中，视频流传输方法应用于视频流的视频发送方，该视频发送方具有视频监控和RTC通话功能，可以是集成了RTC通话功能的监控设备，或者集成了RTC通话功能和监控功能的IOT设备，在此不做具体限定。
首先，获取待传输的原始视频码流，该原始视频码流是对采集的原始视频图像进行原始YUV数据采集得到的，其中，YUV是视频领域应用较广泛的颜色编码方法，可以将亮度信息（Y）与色彩信息（UV）分离，也是常见的视频存储方式。YUV的三个分量中，“Y”表示明亮度（即Luminance或Luma），也就是灰度；而“U”和“V”表示色度（即Chrominance或Chroma），作用于指定像素的颜色。待传输的原始视频码流也即原始YUV数据。
步骤200，对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
步骤300，对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
对获取的原始视频码流进行降采样和编码处理，得到原始视频码流对应的基本编码码流，该基本编码码流用于响应视频接收方的RTC通话请求，满足视频接收方的RTC通话需求。
对原始视频码流的高频细节信息进行分离提取，并对提取的高频细节信息进行量化编码，得到原始视频码流相对于基本编码码流的残差增强编码数据，该残差增强编码数据包含对原始视频码流进行降采样时，导致原始视频码流丢失的高频信息。将残差增强编码数据与基本编码码流进行整合处理，可用于对原始视频码流进行还原，从而用于对视频接收方的视频监控请求进行响应，满足视频接收方的视频监控需求。
视频监控和RTC通话对视频流质量的要求不同，一般地，视频监控对视频流的质量要求要高于RTC通话。为满足用户需求，对于原始视频码流，一般是按照视频监控对视频流的质量要求进行采集的，因此，对于RTC通话，需要进行降采样处理，以减少传输时的带宽占用，防止RTC通话卡顿、不流畅，影响RTC通话质量。而对于视频监控，只需要保留RTC通话所需的视频流相对于原始视频码流丢失的高频信息即可，而无需再单独对一路视频流进行编码传输。
可以理解的是，对原始视频码流的降采样编码处理，与对高频细节信息的分离提取和编码处理，可以是同时进行的，也可以是并行进行的，还可以是顺序进行的，顺序进行时，不限制二者的处理顺序。
步骤400，将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
将基本编码码流和残差增强编码数据整合为同一路的目标视频流，并发送给视频接收方，该视频接收方可以是移动终端，移动终端可以与监控设备进行通信，向监控设备发送RTC通话请求或视频监控请求，从而获取监控设备采集的视频流，实现视频监控或RT通话。
优选地，视频接收方接收到传输的目标视频流之后，对接收到的目标视频流进行解码处理。具体地，从目标视频流中将基本编码码流和残差增强编码数据分别剥离出来，并分别进行解码处理。其中，对基本编码码流进行解码处理得到的视频流，用于RTC通话，对残差增强编码数据进行解码处理得到的视频流，与基本编码码流解码后的视频流进行整合，可对原始视频码流进行还原，用于视频监控。从而可以实现仅使用一路视频码流，同时满足RTC通话和视频监控需求。
在本实施例中，通过获取待传输的原始视频码流；对原始视频码流进行降采样和编码处理，得到原始视频码流对应的基本编码码流；对原始视频码流的高频细节信息进行分离提取和量化编码处理，得到原始视频码流相对于基本编码码流的残差增强数据；将基本编码码流和残差增强编码数据整合为同一路目标视频流发送给视频接收方。通过残差增强数据，可以仅使用一路视频码流就能同时满足安防视频监控和RTC通话等不同功能对视频质量的不同需求，与并行处理两路视频码流相比，不仅可以减少内存资源消耗，降低硬件设备成本，还降低了视频传输总码率，从而在传输时减少对传输带宽的占用，减少视频播放卡顿、不流畅的现象。
在一个实施例中，对原始视频码流的降采样和编码处理，基于预设的基础编码器实现，该基础编码器例如AVC或HEVC等。对原始视频码流的高频细节信息的量化编码，基于预设的LCEVC编码器实现。基于此，步骤200中，对原始视频码流进行降采样和编码处理，得到原始视频码流对应的基本编码码流，还可以包括：
步骤201，获取预设的第一分辨率；所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求；
步骤202，根据所述第一分辨率对所述原始视频码流进行降采样处理，得到第一视频码流；
步骤203，基于预设的基本编码器对所述第一视频码流进行编码处理，得到所述原始视频码流对应的基本编码码流。
在对原始视频码流进行降采样和编码处理时，首先获取预设的第一分辨率，该第一分辨率对应的视频流用于响应视频接收方的RTC通话请求，也即，第一分辨率下的视频流是RTC通话要求的视频质量。根据该第一分辨率对原始视频码流进行降采样处理，降低原始视频码流的分辨率，得到降采样处理后的第一视频码流。基于预设的基本编码器，对第一视频码流进行基本编码处理，得到原始视频码流对应的基本编码码流。
进一步地，步骤300中，对原始视频码流的高频细节信息进行分离提取和量化编码处理，得到原始视频码流相对于基本编码码流的残差增强编码数据，还可以包括：
步骤301，对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
步骤302，基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
对原始视频码流的高频细节信息进行分离提取，得到原始视频码流相对于基本编码码流的残差增强数据，并基于预设的低复杂度增强视频编码器LCEVC，对提取的残差增强数据进行量化编码处理，得到原始视频码流相对于基本编码码流的残差增强编码数据。
在一个实施例中，首先结合实际使用场景，视频监控的视频流质量要求往往高于RTC通话，为便于描述，假设安防视频监控所需视频分辨率为1080P，RTC视频通话所需分辨率为720P。参照图2所示的视频流传输方法的另一流程示意图，作为视频发送方的监控设备或IOT设备上电联网启动后，启动摄像头并以安防视频监控的高分辨1080P采集视频原始YUV数据，得到1080P的原始视频码流。然后对采集到的1080P原始视频码流进行编码，编码过程主要分为两个部分：
1、对1080P原始视频码流降采样到720P，然后使用AVC/HEVC等基本编码器以RTC视频通话所需的分辨率，即720P进行编码，得到基本编码器产生的基本编码码流；
2、启动LCEVC编码器，对1080P原始视频码流的高频细节部分进行分离提取，得到原始视频码流相对降采样后的720P视频码流的残差增强数据，并对残差增强数据进行量化编码，得到对应的残差增强编码数据。
最后，将编码后的基本编码码流与残差增强编码数据整合成一路视频流进行网络发包。
接收端收到视频码流后，剥离出两路视频流，一路是编码后的基本编码码流，另一路是编码后的残差增强数据。对基本编码码流使用与编码端基本编码器AVC/HEVC对应的解码器进行解码，对残差增强数据使用LCEVC解码器进行解码。将基本码流解码后的720P视频流用于RTC通话，将解码后的残差增强数据和解码后的基本编码码流进行整合，恢复出原始的1080P视频流用于视频监控。
优选地，参照图3所示的视频流传输方法的另一流程示意图，为了进一步提升CPU利用率和优化方案合理性，同时结合用户实际使用情况，在视频流的传输中加入发送端接收端的编解码协商逻辑。具体地，当视频接收方正在进行RTC通话时，视频接收方将自身的RTC通话状态信息同步给视频发送方，视频发送方接收到视频接收方同步的状态信息后，关闭LCEVC编码器，并以RTC通话所需的分辨率进行原始视频码流的采集。同样地，当视频接收方状态发生变化时，即从RTC通话状态变为视频监控状态，视频发送方根据视频接收方同步的状态信息，重新启动LCEVC编码器，并以视频监控所需的分辨率进行原始视频码流的采集。
如图3所示，当视频接收方用户正在进行RTC通话时，将视频接收方的RTC通话状态信息同步给发送方的IOT设备端，IOT设备端收到状态同步信息后，关闭LCEVC编码，同时重新以720P的分辨率进行原始YUV数据采集。当视频接收方用户结束RTC通话状态回到视频监控时，同样地，将变化后的状态信息同步给IOT设备端，IOT设备端接收到同步消息后，重新开启LCEVC编码，并以1080P的高分辨进行原始YUV数据采集。通过加入编解码协商，可以进一步降低IOT设备的CPU负荷。
本发明实施例提供的视频流传输方法，还可以包括：
步骤501，接收所述视频接收方的实时音视频通话请求；
步骤502，根据所述实时音视频通话请求关闭所述低复杂度增强视频编码器，并向所述视频接收方发送请求应答信息，以对所述实时音视频通话请求进行响应；所述请求应答信息用于指示所述视频接收方进入实时音视频通话状态。
接收视频接收方的RTC通话请求，根据视频接收方的RTC通话请求关闭LCEVC编码器，并向视频接收方发送请求应答信息，从而对视频接收方的RTC通话请求进行响应，向视频接收方发送请求应答信息用于指示视频接收方进入RTC通话状态。
进一步地，原始视频码流是基于视频接收方的运行状态对应的分辨率进行采集得到的，因此，步骤100中，获取待传输的原始视频码流，还可以包括：
步骤101，接收所述视频接收方发送的状态信息，并根据所述状态信息确定所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态；
步骤102，获取所述运行状态对应的目标分辨率；若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求；
步骤103，根据所述目标分辨率采集待传输的原始视频码流。
接收视频接收方发送的状态信息，并根据接收的状态信息确定视频接收方的运行状态，视频接收方的运行状态包括RTC通话状态和视频监控状态。确定视频接收方的运行状态对应的目标分辨率，并基于视频接收方的运行状态对应的目标分辨率采集原始视频码流。其中，若视频接收方的运行状态为RTC通话状态，则目标分辨率为预设的第一分辨率，若视频接收方的运行状态为视频监控状态，则目标分辨率为预设的第二分辨率，预设的第二分辨率对应的视频流用于响应视频接收方的视频监控请求。
对于视频接收方发送的状态信息，可以是视频接收方定期发送的，也可以是视频接收方在进入RTC通话状态后定期发送的，还可以是视频接收方在运行状态发生变化时发送的。优选地，由于用户进行RTC通话具有随机和不确定性，由视频接收方发送定期发送状态信息，可能出现对LCEVC编码器启动状态切换不及时的可能性，因此，采用如上所述的方式，当接收到视频接收方的RTC通话请求时，即关闭LCEVC编码器并响应RTC通话请求，可以确保对LCEVC编码器的切换及时性。后续可以根据视频接收方发送的状态信息，在确定视频接收方的运行状态变为视频监控状态时，重新启动LCEVC编码器。
可以理解的是，视频接收方对目标视频流进行解码时，采用的是基本编码器对应的基本解码器，以及LCEVC编码器对应的解码器，视频接收方可以根据自身的运行状态，在进行RTC通话时，关闭LCEVC解码器，仅采用基本解码器对目标视频流中的基本编码码流进行解码处理，并将解码得到的视频流用于RTC通话。
在本实施例中，通过结合用户实际使用场景，增加编解码协商能力，能够动态调整视频采集分辨率和动态开关LCEVC编解码器，进一步降低CPU负荷。
参照图4，本发明实施例还提供一种视频流传输方法，应用于视频接收方法，基于图4，本发明实施例提供的视频流传输方法，可以包括：
S1，接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
S2，对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
接收视频发送方传输的目标视频流，该目标视频流是由视频发送方对基本编码码流和残差增强编码数据进行整合得到的，其中，基本编码码流是由视频发送方对待传输的原始视频码流进行降采样和编码处理得到的，残差增强编码数据集是由视频发送方对原始视频码流的高频细节信息进行分离提取和量化编码得到的。
对接收的目标视频流进行解码处理，从而对原始视频码流进行还原。其中，对目标视频流的解码处理，包括对基本编码码流的解码处理和对残差增强编码数据的解码处理，对基本编码码流进行解码处理得到的基本码流，用于进行RTC通话，对残差增强编码数据进行解码得到的残差增强数据，与基本码流进行整合后，还原原始视频码流，该原始视频码流用于进行视频监控。
在一个实施例中，本发明实施例提供的视频流传输方法，还可以包括：
S01，向所述视频发送方发送实时音视频通话请求；所述视频发送方根据所述实时音视频通话请求关闭预设的低复杂度增强视频编码器；所述低复杂度增强视频编码器用于对所述高频细节信息进行量化编码处理；
S02，接收所述视频发送方的请求应答信息，并根据所述请求应答信息进入实时音视频通话状态。
根据用户的操作指令，向视频发送方发送RTC通话请求，视频发送方根据接收到的RTC通话请求，关闭预设的LCEVC编码器，该LCEVC编码器用于对原始视频码流的高频细节信息进行量化编码，得到残差增强编码数据，其中，原始视频码流的高频细节信息即原始视频码流相对于基本编码码流的残差增强数据。
接收视频发送方的请求应答信息，并根据接收到的请求应答信息进入RTC通话状态。
优选地，S02之后，还可以包括：
S03，向所述视频发送方发送状态信息；所述状态信息用于指示所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态。
在一较佳的实施方式中，视频接收方在进入RTC通话状态之后，向视频发送方发送状态信息，该状态信息用于指示视频接收方的运行状态，视频接收方的运行状态包括RTC通话状态和视频监控状态。
可以理解的是，当视频接收方的运行状态从视频监控状态进入RTC通话状态时，需要向视频发送方发送RTC通话请求，视频发送方可以根据视频接收方的RTC通话请求，确定视频接收方的运行状态，进而关闭LCEVC编码器，但当视频接收方的运行状态从RTC通话状态进入视频监控状态时，视频接收方与视频发送方之间没有交互，视频发送方无法获知视频接收方运行状态的变化，因此，视频接收方向视频发送方发送状态信息，以使视频发送方获取视频接收方的运行状态。
可知地，视频接收方的运行状态为视频监控状态时，也可以向视频发送方发送状态信息，在状态信息的发送间隔内，视频发送方在接收到视频接收方的RTC通话请求时，根据RTC通话请求关闭LCEVC编码器，可以确保对LCEVC编码器的切换及时性，从而进一步降低CPU负荷。
优选地，原始视频码流是由视频发送方根据目标分辨率进行采集得到的，该目标分辨率是根据视频接收方的运行状态确定的。具体地，若视频接收方的运行状态为RTC通话状态，则目标分辨率为预设的第一分辨率，若视频接收方的运行状态为视频监控状态，则目标分辨率为预设的第二分辨率。并且，第一分辨率对应的视频流用于响应所述接收方的RTC通话请求，第二分辨率对应的视频流用于响应视频接收方的视频监控请求。
并且，基于视频接收方和视频发送方之间的编解码协商逻辑，若视频接收方的运行状态为RTC通话状态，根据RTC通话状态对应的分辨率采集原始视频码流，并在对原始视频码流进行编码时，关闭LCEVC编码器，仅采用基本编码器对原始视频码流进行基本编码处理，得到目标视频流并传输给视频接收方。视频接收方对目标视频流进行解码时，同样只需要采用基本解码器对目标视频流进行解码，得到用于进行RTC通话的视频流。
进一步地，参照图3，若视频接收方的运行状态为视频监控状态，S1中，对目标视频流进行解码处理，以对原始视频码流进行还原，还可以包括：
S11，从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据；
S12，基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；
S13，基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流；
S14，对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原。
若视频接收方的运行状态为视频监控状态，则LCEVC编码器为开启状态，视频发送方根据视频监控状态对应的分辨率进行原始视频码流的采集，并基于预设的基础编码器对原始视频码流进行降采样和编码处理，得到基础编码码流；并对原始视频码流中的高频细节信息进行分离和提取，得到原始视频码流相对于降采样之后的视频流的残差增强数据，基于LCEVC编码器对残差增强数据进行编码，得到残差增强编码数据。视频发送方将基础编码码流和残差增强编码数据整合为一路目标视频流进行传输。
视频接收方接收到目标视频流，首先从目标视频流中剥离出基本编码码流和残差增强编码数据，基于预设的基础解码器，对基础编码码流进行解码处理，得到基础编码码流对应的第二视频流，也即对原始视频码流进行降采样得到的视频流，该第二视频流用于供RTC通话使用。基于预设的LCEVC解码器，对残差增强编码数据进行解码，得到原始视频码流相对于降采样后的第二视频流的残差增强数据，也即第三视频流。对第二视频流和第三视频流进行整合，从而还原原始视频码流。
在本实施例中，通过将基础编码码流和残差增强编码数据整合未一路视频码流，仅使用一路视频码流就可以同时满足RTC通话和视频监控需求，无需同时进行两路并行编码，降低了CPU的算力门槛，减少IoT设备成本。并且，仅需要一路视频流即可实现安防视频监控和RTC视频通话两种功能，减少了数据拷贝，降低了IOT设备上的内存消耗。同时，在传输时降低了视频传输总码率，减少了网络传输带宽的占用，可有效缓解在部分网卡性能不足的IOT设备上视频播放不流畅、卡顿的现象。
下面对本申请实施例提供的视频流传输装置进行描述，下文描述的视频流传输装置与上文描述的视频流传输方法可相互对应参照。
参照图5，本发明实施例提供的视频流传输装置，包括：
采集模块10，用于获取待传输的原始视频码流；
第一编码模块20，用于对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
第二编码模块30，用于对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
传输模块40，用于将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
在一个实施例中，所述第一编码模块20，还用于：
获取预设的第一分辨率；所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求；
根据所述第一分辨率对所述原始视频码流进行降采样处理，得到第一视频码流；
基于预设的基本编码器对所述第一视频码流进行编码处理，得到所述原始视频码流对应的基本编码码流。
在一个实施例中，所述第二编码模块30，还用于：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
在一个实施例中，所述视频流传输装置还包括第一音视频通话模块，用于：
接收所述视频接收方的实时音视频通话请求；
根据所述实时音视频通话请求关闭所述低复杂度增强视频编码器，并向所述视频接收方发送请求应答信息，以对所述实时音视频通话请求进行响应；所述请求应答信息用于指示所述视频接收方进入实时音视频通话状态。
在一个实施例中，所述采集模块10，还用于：
接收所述视频接收方发送的状态信息，并根据所述状态信息确定所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态；
获取所述运行状态对应的目标分辨率；若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求；
根据所述目标分辨率采集待传输的原始视频码流。
参照图6，本发明还提供一种视频流传输装置，应用于视频接收方，所述视频流传输装置，包括：
接收模块50，用于接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
解码模块60，用于对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
在一个实施例中，所述视频流传输装置还包括第二音视频通话模块，用于：
向所述视频发送方发送实时音视频通话请求；所述视频发送方根据所述实时音视频通话请求关闭预设的低复杂度增强视频编码器；所述低复杂度增强视频编码器用于对所述高频细节信息进行量化编码处理；
接收所述视频发送方的请求应答信息，并根据所述请求应答信息进入实时音视频通话状态。
在一个实施例中，所述视频流传输装置还包括状态发送模块，用于：
向所述视频发送方发送状态信息；所述状态信息用于指示所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态。
在一个实施例中，若所述运行状态为视频监控状态，所述解码模块60，还用于：
从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据；
基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；
基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流；
对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原。
本申请实施例涉及的终端，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备等。在不同的***中，终端设备的名称可能也不相同，例如在5G***中，终端设备可以称为用户设备（UserEquipment，UE）。
图7为根据本申请实施例的终端的结构示意图，参照图7，本申请实施例还提供一种终端，可以包括：存储器710，收发机720以及处理器730；
存储器710用于存储计算机程序；收发机720，用于在所述处理器730的控制下收发数据；处理器730，用于读取所述存储器710中的计算机程序并执行以下操作：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器730代表的一个或多个处理器和存储器710代表的存储器的各种电路链接在一起。总线架构还可以将诸如***设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机720可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口740还可以是能够外接内接需要设备的接口。
处理器730负责管理总线架构和通常的处理，存储器710可以存储处理器730在执行操作时所使用的数据。
处理器730通过调用存储器710存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的任一所述方法。处理器与存储器也可以物理上分开布置。
在此需要说明的是，本申请实施例提供的终端以及网络设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器（processor）810、通信接口（Communication Interface）820、存储器（memory）830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行视频流传输方法的步骤，例如包括：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
或者：
接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
一方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的视频流传输方法的步骤，例如包括：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
或者：
接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
另一方面，本申请实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的视频流传输方法的步骤，例如包括：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方。
或者：
接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；
对所述目标视频流进行解码处理，以对所述原始视频码流进行还原。
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器（例如软盘、硬盘、磁带、磁光盘（MO）等）、光学存储器（例如CD、DVD、BD、HVD等）、以及半导体存储器（例如ROM、EPROM、EEPROM、非易失性存储器（NANDFLASH）、固态硬盘（SSD））等。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种视频流传输方法，其特征在于，包括：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方；
所述视频接收方从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据，并基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；所述第二视频流用于实时音视频通话；
所述视频接收方基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流，对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原，用于进行视频监控；
所述对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据，包括：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
2.根据权利要求1所述的视频流传输方法，其特征在于，所述对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流，包括：
获取预设的第一分辨率；所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求；
根据所述第一分辨率对所述原始视频码流进行降采样处理，得到第一视频码流；
基于预设的基本编码器对所述第一视频码流进行编码处理，得到所述原始视频码流对应的基本编码码流。
3.根据权利要求1所述的视频流传输方法，其特征在于，所述视频流传输方法还包括：
接收所述视频接收方的实时音视频通话请求；
根据所述实时音视频通话请求关闭所述低复杂度增强视频编码器，并向所述视频接收方发送请求应答信息，以对所述实时音视频通话请求进行响应；所述请求应答信息用于指示所述视频接收方进入实时音视频通话状态。
4.根据权利要求1所述的视频流传输方法，其特征在于，所述获取待传输的原始视频码流，包括：
接收所述视频接收方发送的状态信息，并根据所述状态信息确定所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态；
获取所述运行状态对应的目标分辨率；若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求；
根据所述目标分辨率采集待传输的原始视频码流。
5.一种视频流传输方法，应用于视频接收方，其特征在于，包括：
接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和原始视频码流相对于所述基本编码码流的残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；所述基本编码码流用于响应所述视频接收方的实时音视频通话请求，所述残差增强编码数据用于与所述基本编码码流整合后，对所述原始视频码流进行还原，以响应所述视频接收方的视频监控请求；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据，包括：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据；
对所述目标视频流进行解码处理，以对所述原始视频码流进行还原；
所述对所述目标视频流进行解码处理，以对所述原始视频码流进行还原，包括：
从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据；
基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；所述第二视频流用于实时音视频通话；
基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流；
对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原，用于进行视频监控。
6.根据权利要求5所述的视频流传输方法，其特征在于，所述视频流传输方法还包括：
向所述视频发送方发送实时音视频通话请求；所述视频发送方根据所述实时音视频通话请求关闭预设的低复杂度增强视频编码器；所述低复杂度增强视频编码器用于对所述高频细节信息进行量化编码处理；
接收所述视频发送方的请求应答信息，并根据所述请求应答信息进入实时音视频通话状态。
7.根据权利要求6所述的视频流传输方法，其特征在于，所述根据所述请求应答信息进入实时音视频通话状态之后，还包括：
向所述视频发送方发送状态信息；所述状态信息用于指示所述视频接收方的运行状态；所述运行状态包括实时音视频通话状态和视频监控状态。
8.根据权利要求7所述的视频流传输方法，其特征在于，所述原始视频码流是由所述视频发送方根据目标分辨率进行采集得到的，所述目标分辨率是根据所述运行状态确定的；
其中，若所述运行状态为实时音视频通话状态，则所述目标分辨率为预设的第一分辨率，若所述运行状态为视频监控状态，则所述目标分辨率为预设的第二分辨率；
所述第一分辨率对应的视频流用于响应所述视频接收方的实时音视频通话请求，所述第二分辨率对应的视频流用于响应所述视频接收方的视频监控请求。
9.一种视频流传输装置，其特征在于，包括：
接收模块，用于接收视频发送方传输的目标视频流；所述目标视频流是将基本编码码流和残差增强编码数据整合为同一路视频流得到的，所述基本编码码流是对待传输的原始视频码流进行降采样和编码处理得到的，所述残差增强编码数据是对所述原始视频码流的高频细节信息进行分离提取和量化编码得到的；所述基本编码码流用于响应视频接收方的实时音视频通话请求，所述残差增强编码数据用于与所述基本编码码流整合后，对所述原始视频码流进行还原，以响应所述视频接收方的视频监控请求；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据，包括：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据；
解码模块，用于对所述目标视频流进行解码处理，以对所述原始视频码流进行还原；
所述解码模块，还用于：
从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据；
基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；所述第二视频流用于实时音视频通话；
基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流；
对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原，用于进行视频监控。
10.一种视频流传输装置，应用于视频发送方，其特征在于，包括：
采集模块，用于获取待传输的原始视频码流；
第一编码模块，用于对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
第二编码模块，用于对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
传输模块，用于将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方；
所述视频接收方从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据，并基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；所述第二视频流用于实时音视频通话；
所述视频接收方基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流，对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原，用于进行视频监控；
所述第二编码模块，还用于：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
11.一种终端，其特征在于，包括存储器，收发机，处理器；
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
获取待传输的原始视频码流；
对所述原始视频码流进行降采样和编码处理，得到所述原始视频码流对应的基本编码码流；
对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据；
将所述基本编码码流和所述残差增强编码数据整合为同一路目标视频流发送给视频接收方；所述视频接收方从所述目标视频流中剥离出所述基本编码码流和所述残差增强编码数据，并基于预设的基本解码器对所述基本编码码流进行解码，得到所述基本编码码流对应的第二视频流；所述第二视频流用于实时音视频通话；
所述视频接收方基于预设的低复杂度增强视频解码器对所述残差增强编码数据进行解码，得到所述残差增强编码数据对应的第三视频流，对所述第二视频流和所述第三视频流进行整合，对所述原始视频码流进行还原，用于进行视频监控；
所述对所述原始视频码流的高频细节信息进行分离提取和量化编码处理，得到所述原始视频码流相对于所述基本编码码流的残差增强编码数据，包括：
对所述原始视频码流的高频细节信息进行分离提取，得到所述原始视频码流相对于所述基本编码码流的残差增强数据；
基于预设的低复杂度增强视频编码器，对所述残差增强数据进行量化编码处理，得到残差增强编码数据。
12.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的视频流传输方法的步骤。
13.一种非暂态计算可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的视频流传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148638.5A CN116886932B (zh) | 2023-09-07 | 2023-09-07 | 视频流传输方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311148638.5A CN116886932B (zh) | 2023-09-07 | 2023-09-07 | 视频流传输方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116886932A CN116886932A (zh) | 2023-10-13 |
| CN116886932B true CN116886932B (zh) | 2023-12-26 |
Family
ID=88262588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311148638.5A Active CN116886932B (zh) | 2023-09-07 | 2023-09-07 | 视频流传输方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116886932B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111491168A (zh) * | 2019-01-29 | 2020-08-04 | 华为软件技术有限公司 | 视频编解码方法、解码器、编码器和相关设备 |
| CN115643429A (zh) * | 2021-07-20 | 2023-01-24 | 腾讯科技（北京）有限公司 | 视频播放方法、装置、电子设备及计算机可读存储介质 |
| CN116233453A (zh) * | 2023-05-06 | 2023-06-06 | 北京爱芯科技有限公司 | 一种视频编码方法及装置 |
| CN116567237A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 视频编码及解码方法、装置、计算机设备和存储介质 |
| CN116582685A (zh) * | 2023-04-12 | 2023-08-11 | 百果园技术(新加坡)有限公司 | 一种基于ai的分级残差编码方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10085017B2 (en) * | 2012-11-29 | 2018-09-25 | Advanced Micro Devices, Inc. | Bandwidth saving architecture for scalable video coding spatial mode |
-
2023
- 2023-09-07 CN CN202311148638.5A patent/CN116886932B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111491168A (zh) * | 2019-01-29 | 2020-08-04 | 华为软件技术有限公司 | 视频编解码方法、解码器、编码器和相关设备 |
| CN115643429A (zh) * | 2021-07-20 | 2023-01-24 | 腾讯科技（北京）有限公司 | 视频播放方法、装置、电子设备及计算机可读存储介质 |
| CN116567237A (zh) * | 2022-01-27 | 2023-08-08 | 腾讯科技（深圳）有限公司 | 视频编码及解码方法、装置、计算机设备和存储介质 |
| CN116582685A (zh) * | 2023-04-12 | 2023-08-11 | 百果园技术(新加坡)有限公司 | 一种基于ai的分级残差编码方法、装置、设备和存储介质 |
| CN116233453A (zh) * | 2023-05-06 | 2023-06-06 | 北京爱芯科技有限公司 | 一种视频编码方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116886932A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101461247B (zh) | 视频块的并行批量解码 | |
| WO2017219896A1 (zh) | 视频流的传输方法及装置 | |
| CN109391585B (zh) | 视频数据处理方法、装置、终端及计算机可读存储介质 | |
| CN109862409B (zh) | 视频解码、播放方法、装置、***、终端及存储介质 | |
| US9148670B2 (en) | Multi-core decompression of block coded video data | |
| US20130022100A1 (en) | Codec capability negotiation method and terminal thereof | |
| CN110113610B (zh) | 数据传输方法及装置 | |
| CN110149515B (zh) | 数据传输方法及装置 | |
| WO2021057705A1 (zh) | 视频编解码方法和相关装置 | |
| CN112235597A (zh) | 流媒体直播音视频同步保护方法、装置、计算机设备 | |
| WO2021057697A1 (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
| CN101651829A (zh) | 一种环路滤波的方法、装置及一种移动多媒体终端芯片 | |
| US20140254688A1 (en) | Perceptual Quality Of Content In Video Collaboration | |
| CN106713816A (zh) | 图像传输的方法及装置 | |
| CN110730364B (zh) | 一种云手机数据传输方法、装置及存储介质 | |
| CN111937389B (zh) | 用于视频编解码的设备和方法 | |
| US20220007039A1 (en) | Video encoding method, video decoding method, and related apparatuses | |
| CN116886932B (zh) | 视频流传输方法、装置、终端设备及存储介质 | |
| WO2024078066A1 (zh) | 视频解码方法、视频编码方法、装置、存储介质及设备 | |
| JP7176132B2 (ja) | 画像処理方法および電子デバイス | |
| CN111212288B (zh) | 视频数据的编解码方法、装置、计算机设备和存储介质 | |
| US10034007B2 (en) | Non-subsampled encoding techniques | |
| CN101188768A (zh) | 基于rgb编解码器发送和接收运动图像的方法和设备 | |
| US10531096B2 (en) | Decoder, method and system for decoding multimedia streams | |
| US20240244229A1 (en) | Systems and methods for predictive coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |