CN111726656B - 一种直播视频的转码方法、装置、服务器和存储介质 - Google Patents
一种直播视频的转码方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN111726656B CN111726656B CN202010698573.1A CN202010698573A CN111726656B CN 111726656 B CN111726656 B CN 111726656B CN 202010698573 A CN202010698573 A CN 202010698573A CN 111726656 B CN111726656 B CN 111726656B
- Authority
- CN
- China
- Prior art keywords
- transcoding
- transcoded
- rate
- gear
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012937 correction Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 239000002699 waste material Substances 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234354—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering signal-to-noise ratio parameters, e.g. requantization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例公开了一种直播视频的转码方法、装置、服务器和存储介质。其中，该方法包括：根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；采用下一画面组在每一待转码率档位下的转码因子修正系数，修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子。本发明实施例提供的技术方案，在保证直播视频转码后直播质量的稳定性的基础上，进一步降低当前画面组与下一画面组在每一待转码率档位下转码时的实际转码码率之间的波动幅度，从而实现了码率的合理分配，避免不必要的码率浪费而节省带宽资源。
Description
技术领域
本发明实施例涉及视频处理领域，尤其涉及一种直播视频的转码方法、装置、服务器和存储介质。
背景技术
在直播视频的转码领域，为了保证直播视频的播放稳定性，需要将直播视频的转码码率限制在一定码率范围内，使得直播视频转码时仅在该码率范围内进行波动，避免直播视频出现转码码率波动过大而造成直播丢包的问题。
目前，现有的直播转码技术中通常采用多码率自适应转码下的恒定码率(Constant Bitrate Rate，CBR)的码控方式对直播视频进行转码，此时在同一CBR的码率约束下，该直播视频在复杂画面场景下的视频播放质量会比在简单画面场景下的视频播放质量较差，导致直播视频在CBR约束下的直播转码质量存在不够稳定的问题，从而无法为用户提供良好的直播质量体验。
发明内容
本发明实施例提供了一种直播视频的转码方法、装置、服务器和存储介质，保证直播视频转码后直播质量的稳定性，提高转码码率分配的合理性。
第一方面，本发明实施例提供了一种直播视频的转码方法，该方法包括：
根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
第二方面，本发明实施例提供了一种直播视频的转码装置，该装置包括：
修正系数预测模块，用于根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
转码因子修正模块，用于采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
第三方面，本发明实施例提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的直播视频的转码方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的直播视频的转码方法。
本发明实施例提供的一种直播视频的转码方法、装置、服务器和存储介质，由于直播视频中相邻画面组内的视频内容相差不大，因此可以参考当前画面组在每一待转码率档位下转码时的画面转码特征，分析下一画面组在该待转码率档位下的转码特点，从而保证直播视频转码后直播质量的稳定性，此时可以通过分析当前画面组在每一待转码率档位下转码时的画面转码特征，以及当前画面组在每一待转码率档位下转码时的实际转码码率和该待转码率档位之间的差异程度，来预测下一画面组在该待转码率档位下的转码因子修正系数，并采用该转码因子修正系数来修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子，使得当前画面组与下一画面组在每一待转码率档位下可以配合相近的转码因子进行转码，从而在保证直播视频转码后直播质量的稳定性的基础上，进一步降低当前画面组与下一画面组在每一待转码率档位下转码时的实际转码码率之间的波动幅度，避免直播视频在转码码率波动过大时出现直播丢包的问题，从而实现了码率的合理分配，避免不必要的码率浪费而节省带宽资源。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1A为本发明实施例一提供的一种直播视频的转码方法的流程图；
图1B为本发明实施例一提供的直播视频转码过程的原理示意图；
图2A为本发明实施例二提供的一种直播视频的转码方法的流程图；
图2B为本发明实施例二提供的直播视频转码过程的原理示意图；
图3A为本发明实施例三提供的一种直播视频的转码方法的流程图；
图3B为本发明实施例三提供的直播视频转码过程的原理示意图；
图4为本发明实施例四提供的一种直播视频的转码装置的结构示意图；
图5为本发明实施例五提供的一种服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1A为本发明实施例一提供的一种直播视频的转码方法的流程图，本实施例可应用于对任一直播视频进行多码率转码的情况中。本实施例提供的一种直播视频的转码方法可以由本发明实施例提供的直播视频的转码装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的服务器中，该服务器可以是各类直播应用的后台服务器。
具体的，参考图1A，该方法可以包括如下步骤：
S110，根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数。
可选的，为了避免直播卡顿，直播间内各个观众端从服务器实时拉取主播端上传的直播视频时，需要选择与观众端的当前网络带宽匹配的码率下的直播视频，而由于直播过程中各个观众端的网络带宽是实时变化的，因此为了避免在各网络带宽下直播视频的播放卡顿，服务器针对任一主播端上传的直播源视频，均会按照预先设置的多种码率档位对该直播源视频进行多码率转码，以便实时向各个观众端下发自适应码率下转码后的直播视频。
此时，由于直播视频的一个画面组(Group of Pictures，GOP)中会同时包括内部编码帧(I帧)、前向预测帧(P帧)和双向内插帧(B帧)，能够保证直播视频在观众端播放时的秒出率，因此在对直播视频转码时，通常会以直播视频中的每一画面组为单位，分别对每一画面组在不同待转码率档位下进行单独转码。
需要说明的是，直播视频中相邻画面组之间的视频内容相差不大，而本实施例中的画面转码特征可以是指主播端上传的直播源视频中包含的能够评价该直播源视频中的各个画面组在该对应码率档位下编码后的客观编码质量的基础参数，例如直播视频的各个画面组中编码后视频帧的峰值信噪比(Peak Signal to Noise Ratio，PSNR)、编码码率以及编码量化参数等，同时该画面转码特征为在直播视频中各个画面组在每一待转码率档位下的转码过程中，用来表征该画面组转码后视频画面的时空复杂度的特征集合，其中待转码率档位是预先为直播源视频设定的能够与实时变化的网络带宽匹配的多种转码码率；因此，直播视频中相邻画面组在同一待转码率档位下转码时当前画面组和下一画面组之间的画面转码特征也较为相近。
同时，由于码率档位为直播视频在单位时间内的整体文件大小，无法保证不同画面内容的直播视频的直播转码质量，因此为了保证直播视频中不同画面组在每一待转码率档位下直播转码质量的稳定性，本实施例中通常会在每一待转码率档位下预先设定多个转码因子，以便在同一待转码率档位下配合不同的转码因子来控制不同画面组在该待转码率档位下直播转码质量的稳定性。本实施例中的转码因子可以为在每一待转码率档位下预先设定的多个恒定码率因子 (Constant Rate Factor，CRF)。进而，由于直播视频中相邻画面组在同一待转码率档位下转码时当前画面组和下一画面组之间的画面转码特征较为相近，那么为了保证当前画面组与下一画面组在同一待转码率档位下转码后直播转码质量的稳定值，当前画面组在每一待转码率档位下进行转码后，可以将当前画面组在该待转码率档位下转码时的画面转码特征，作为下一画面组在该待转码率档位下进行转码的考虑因素之一；同时，需要使当前画面组与下一画面组在同一待转码率档位下转码时所选用的转码因子也较为相近，考虑到相邻画面组之间视频内容的细微差异，后续可以通过对当前画面组在每一待转码率档位下进行实际转码时所选用的转码因子进行修正，来不断确定下一画面组在该待转码率档位下转码时所选用的转码因子，此时需要预先分析用于修正当前画面组在每一待转码率档位下配合的转码因子时所采用的转码因子修正系数。
具体的，为了避免各个画面组在同一待转码率档位下配合相应转码因子进行实际转码后由于所采用的实际转码码率的波动过大而造成直播丢包的问题，本实施例还需要分析直播视频中各个画面组在每一待转码率档位下转码时的实际转码码率与该待转码率档位之间的差异程度，此时基于不同画面组在每一待转码率档位下直播转码质量的稳定性要求，本实施例可以在直播视频中当前画面组的实际转码过程中，通过分析该当前画面组在每一待转码率档位下转码时的画面转码特征所指示的大致转码码率，以及该当前画面组在每一待转码率档位下实际转码时所采用的实际转码码率与该待转码率档位之间的差异程度，并以此作为参考，来预测下一画面组在每一待转码率档位下的转码因子修正系数，以便对当前画面组在该待转码率档位下转码时所选用的转码因子进行修正，从而实现下一画面组的自适应转码。
S120，采用下一画面组在每一待转码率档位下的转码因子修正系数，修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子。
具体的，在根据当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测出下一画面组在该待转码率档位下的转码因子修正系数之后，为了确保相邻画面组在每一转码率档位下直播转码质量的稳定性，要求当前画面组与下一画面组在同一待转码率档位下转码时所选用的转码因子也较为相近，因此本实施例中还需要确定出当前画面组在每一待转码率档位下进行转码时实际选用的转码因子，进而分别采用下一画面组在该待转码率档位下的转码因子修正系数，对当前画面组在该待转码率档位下进行转码时所选用的转码因子进行修正，并将修正后的转码因子作为下一画面组在该待转码率档位下的转码因子，使得下一画面组在采用每一待转码率档位以及该待转码率档位下的转码因子进行转码时，既能够保证直播转码质量的稳定性，也能够避免不同画面组在同一待转码率档位下转码时的实际转码码率出现较大波动，从而提高转码码率分配的合理性。
此外，本实施例在得到下一画面组在该待转码率档位下的转码因子之后，还可以包括：采用每一待转码率档位以及对应的转码因子对下一画面组进行转码。具体的，在每一待转码率档位下，分别采用该待转码率档位以及下一画面组在该待转码率档位下的转码因子对该下一画面组进行转码，实现下一画面组的多码率转码，从而合理分配码率，保证不同码率档位下各个画面组的主观质量一致，避免不必要的码率浪费而节省带宽资源。
本实施例提供的技术方案，由于直播视频中相邻画面组内的视频内容相差不大，因此可以参考当前画面组在每一待转码率档位下转码时的画面转码特征，预测下一画面组在该待转码率档位下的转码特点，从而保证直播视频转码后直播质量的稳定性，此时可以通过分析当前画面组在每一待转码率档位下转码时的画面转码特征，以及当前画面组在每一待转码率档位下转码时的实际转码码率和该待转码率档位之间的差异程度，来预测下一画面组在该待转码率档位下的转码因子修正系数，并采用该转码因子修正系数来修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子，使得当前画面组与下一画面组在每一待转码率档位下可以配合相近的转码因子进行转码，从而在保证直播视频转码后直播质量的稳定性的基础上，进一步降低当前画面组与下一画面组在每一待转码率档位下转码时的实际转码码率之间的波动幅度，避免直播视频在转码码率波动过大时出现直播丢包的问题，从而实现了码率的合理分配，避免不必要的码率浪费而节省带宽资源。
实施例二
图2A为本发明实施例二提供的一种直播视频的转码方法的流程图，图2B 为本发明实施例二提供的直播视频转码过程的原理示意图。本实施例是在上述实施例的基础上进行优化，本实施例主要对于下一画面组在不同待转码率档位下的转码因子修正系数的具体预测过程和转码因子的具体修正过程进行详细的解释说明。
可选的，如图2A所示，本实施例可以包括如下步骤：
S210，针对每一待转码率档位 ，融合当前画面组在该待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率，得到当前画面组在该待转码率档位下的综合转码特征。
可选的，由于本实施例会通过预先训练相应的神经网络模型对当前画面组在每一待转码率档位 下的实际转码过程中的各项转码信息进行分析，来预测下一画面组在每一待转码率档位下的转码因子修正系数，因此首先需要获取当前画面组在每一待转码率档位下的实际转码特征，此时针对每一待转码率档位，本实施例可以在当前画面组在每一待转码率档位下的实际转码过程中，通过当前画面组的实际转码参数来分析当前画面组在该待转码率档位下转码时的画面转码特征、该待转码率档位的恒定码率值以及当前画面组在该待转码率档位下采用的实际转码码率，并将当前画面组在该待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率进行特征融合，生成当前画面组在该待转码率档位下的综合转码特征；此时在当前画面组在每一待转码率档位下进行实际转码后，可以按照上述步骤，生成当前画面组在每一待转码率档位下的综合转码特征。
示例性的，如图2B所示，为了保证神经网络模型的预测准确性，本实施例中要求当前画面组在不同待转码率档位下的综合转码特征中能够包含多种维度下的特征，以便后续对大量维度特征进行融合分析；因此本实施例可以通过依次对当前画面组在每一待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率进行四阶叉乘运算，而对当前画面组在该待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率进行融合，进而使融合后的综合转码特征的特征维度相比直接合并的特征维度进一步扩大，从而得到当前画面组在该待转码率档位下扩维融合后的综合转码特征，此时该扩维融合后的综合转码特征中包含大量不同维度下的特征信息。
S220，通过预先构建的转码预测模型分别对当前画面组在每一待转码率档位下的综合转码特征进行转码预测，确定下一画面组在每一待转码率档位下的转码因子修正系数。
可选的，本实施例会预先选用大量直播视频作为训练样本，并设定各个训练样本中的不同画面组在不同待转码率档位下的转码因子修正系数标签，进而对本实施例中的转码预测模型进行训练，直至该转码预测模型能够根据任一直播视频中当前画面组在每一待转码率档位下的实际转码信息准确判定下一画面组在该待转码率档位下的转码因子修正系数；此时在确定直播视频中当前画面组在每一待转码率档位下的综合转码特征后，如图2B所示，可以将当前画面组在每一待转码率档位下的综合转码特征依次输入预先构建的转码预测模型中，通过该转码预测模型对当前画面组在每一待转码率档位下的综合转码特征进行下一画面组的转码修正判断，从而确定下一画面组在每一待转码率档位下的转码因子修正系数。
此外，在训练本实施例中的转码预测模型时，首先会选取出大量直播视频样本，并确定每一直播视频样本中相邻画面组在不同待转码率档位下的实际转码码率之间的差值，并将该差值作为对应画面组在该待转码率档位下表示转码因子修正系数的样本标签，并针对每一训练样本中的各个画面组，对该画面组在每一待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率进行四阶叉乘运算，得到扩维融合后的综合转码特征，进而将大量直播视频样本中的各个画面组在扩维融合后的综合转码特征作为对应直播视频样本下的训练样本集，通过初始设定的转码预测模型对该训练样本集进行预测训练，进而不断更新转码预测模型中的网络参数，直至训练完成。
需要说明的是，为了降低转码预测模型中额外的计算量，本实施例中转码预测模型可以由两层或两层以上的转码预测子模型构成；例如采用三层的小型神经网络实现，第一层可以为全连接层，第二层和第三层分别为批量标准化和全连接的串联，最后通过逻辑回归层输出下一画面组在每一待转码率档位下最终采用的转码因子修正系数。
S230，在每一待转码率档位下分别设置对应的转码码率波动区间。
可选的，为了避免直播视频中不同画面组在同一待转码率档位下转码时的实际转码码率出现过大波动，本实施例可以通过分析直播视频在每一待转码率档位的不同码率波动程度下出现转码丢包的概率，进一步在每一待转码率档位下分别设置对应的转码码率波动区间，使得不同画面组在每一待转码率档位下采用处于该待转码率档位对应的转码码率波动区间内的某一具体转码码率值进行转码时，不会出现转码丢包的现象，也就是本实施例中允许不同画面组在每一待转码率档位下转码时的实际转码码率可以在该待转码率档位对应的转码码率波动区间内进行波动。
需要说明的是，本实施例中S230只需要在S240之前执行即可，对于S230 与S220和S210之间的执行顺序不作限定。
S240，采用下一画面组在每一待转码率档位下的转码因子修正系数和该待转码率档位下的转码码率波动区间，修正当前画面组在该待转码率档位下转码时所选用的转码因子。
可选的，在采用下一画面组在每一待转码率档位下的转码因子修正系数来修正当前画面组在该待转码率档位下转码时所选用的转码因子时，可以通过判断每一待转码率档位下修正后的转码因子和该待转码率档位配合后的转码码率是否处于该待转码率档位下的转码码率波动区间内，如果超出该待转码率档位下的转码码率波动区间，则采用具体的码率超出值继续对当前画面组在该待转码率档位下转码时所选用的转码因子，直至每一待转码率档位下修正后的转码因子和该待转码率档位配合后的转码码率处于该待转码率档位下的转码码率波动区间内，进而将最终修正后的转码因子作为下一画面组在该待转码率档位下的转码因子，使得下一画面组在该待转码率档位下转码时的实际转码码率不会出现较大波动，从而实现码率分配的合理性。
本实施例提供的技术方案，融合当前画面组在每一待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率，得到当前画面组在该待转码率档位下的综合转码特征，并通过预先构建的转码预测模型分别对当前画面组在每一待转码率档位下的综合转码特征进行转码预测，确定下一画面组在每一待转码率档位下的转码因子修正系数，后续采用每一待转码率档位下的转码因子修正系数和转码码率波动区间共同修正当前画面组在该待转码率档位下转码时所选用的转码因子，作为下一画面组在该待转码率档位下的转码因子，保证不同画面组在每一待转码率档位下所选用的转码因子的适配准确性，从而实现了转码码率的合理分配，在保证不同画面组在每一待转码率档位下直播转码质量的稳定性的基础上，进一步避免直播视频在转码码率波动过大时出现直播丢包的问题，避免不必要的码率浪费而节省带宽资源。
实施例三
图3A为本发明实施例三提供的一种直播视频的转码方法的流程图，图3B 为本发明实施例三提供的直播视频转码过程的原理示意图。本实施例是在上述实施例的基础上进行优化，本实施例主要对于直播视频中当前画面组的具体转码过程进行详细的解释说明。
可选的，如图3A所示，本实施例可以包括如下步骤：
S310，判断直播视频中当前画面组是否为首个画面组，若是，执行S320；若否，执行S330。
可选的，由于本实施例中需要采用直播视频中当前画面组在每一待转码率档位下的实际转码信息来预测下一画面组在该待转码率档位下的转码因子修正系数，以采用该转码因子修正系数修正当前画面组在该待转码率档位下转码时所选用的转码因子，来确定下一画面组在该待转码率档位下的转码因子，此时直播视频中的首个画面组不存在上一画面组，也就不存在预测得到的转码因子，因此需要将直播视频中首个画面组和其他非首个画面组执行不同的转码操作，此时在对直播视频中的当前画面组在每一待转码率档位下进行转码前，首先需要判断该当前画面组是否为直播视频中的首个画面组，以便后续采用不同的转码操作。
S320，采用在每一待转码率档位下预设的恒定码率对当前画面组进行转码，并根据当前画面组在每一待转码率档位下的实际转码差异，预估当前画面组在该待转码率档位下的转码因子。
可选的，如果当前画面组为直播视频中的首个画面组，则为了避免与后续画面组在每一待转码率档位下的实际转码码率出现波动过大的现象，本实施例中可以直接设置一个恒定码率(Constant Bitrate Rate，CBR)编码器，如图 3B所示，以采用该CBR编码器分别在每一待转码率档位下采用对应预设的恒定码率对当前画面组进行转码，此时由于实际转码与预设恒定转码之间会存在一定的转码误差，因此本实施例还可以通过分析当前画面组在每一待转码率档位下的实际转码差异，来判断当前画面组在实际转码过程中与转码因子的作用相同的转码差值，作为当前画面组在该待转码率档位下的转码因子，以便后续进行修正，得到下一画面组在该待转码率档位下的转码因子。
S330，在每一待转码率档位下，采用该待转码率档位以及对应的转码因子对当前画面组进行转码。
可选的，如果当前画面组为直播视频中的非首个画面组，说明当前画面组的上一画面组在每一待转码率档位下的实际转码过程中存在相应的转码因子，同时可以通过上一画面组在每一待转码率档位下的实际转码情况预测出当前画面组在该待转码率档位下的转码因子修正系数，进而确定出当前画面组在每一待转码率档位下的转码因子，因此当前画面组在每一待转码率档位下进行转码时，可以直接采用每一待转码率档位的恒定码率值以及该待转码率档位下对应的转码因子对当前画面组进行转码，例如采用预先设置的由CBR和视频缓冲检验器(Video Buffer Verifier，VBV)共同结合的编码器在每一待转码率档位下对当前画面组进行转码，以便后续继续预测下一画面组在每一待转码率档位下的转码因子修正系数。
S340，在当前画面组在每一待转码率档位下的实际转码过程中，提取当前画面组在该待转码率档位下转码时的画面转码特征、实际转码码率和所选用的转码因子。
可选的，为了提高下一画面组在每一待转码率档位下的转码因子修正系数的预测便捷性，本实施例在当前画面组在每一待转码率档位下的实际转码过程中，需要根据每一待转码率档位下的实际转码情况，分别提取当前画面组在该待转码率档位下转码时的画面转码特征、实际转码码率和所选用的转码因子，以便及时确定下一画面组在该待转码率档位下的转码因子。
S350，根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数。
S360，采用下一画面组在每一待转码率档位下的转码因子修正系数，修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子。
S370，采用每一待转码率档位以及对应的转码因子对下一画面组进行转码。
本实施例提供的技术方案，由于直播视频中相邻画面组内的视频内容相差不大，因此可以参考当前画面组在每一待转码率档位下转码时的画面转码特征，分析下一画面组在该待转码率档位下的转码特点，从而保证直播视频转码后直播质量的稳定性，此时可以通过分析当前画面组在每一待转码率档位下转码时的画面转码特征，以及当前画面组在每一待转码率档位下转码时的实际转码码率和该待转码率档位之间的差异程度，来预测下一画面组在该待转码率档位下的转码因子修正系数，并采用该转码因子修正系数来修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子，使得当前画面组与下一画面组在每一待转码率档位下可以配合相近的转码因子进行转码，从而在保证直播视频转码后直播质量的稳定性的基础上，进一步降低当前画面组与下一画面组在每一待转码率档位下转码时的实际转码码率之间的波动幅度，避免直播视频在转码码率波动过大时出现直播丢包的问题，从而实现了码率的合理分配，避免不必要的码率浪费而节省带宽资源。
实施例四
图4为本发明实施例四提供的一种直播视频的转码装置的结构示意图，具体的，如图4所示，该装置可以包括：
修正系数预测模块410，用于根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
转码因子修正模块420，用于采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
本实施例提供的技术方案，由于直播视频中相邻画面组内的视频内容相差不大，因此可以参考当前画面组在每一待转码率档位下转码时的画面转码特征，分析下一画面组在该待转码率档位下的转码特点，从而保证直播视频转码后直播质量的稳定性，此时可以通过分析当前画面组在每一待转码率档位下转码时的画面转码特征，以及当前画面组在每一待转码率档位下转码时的实际转码码率和该待转码率档位之间的差异程度，来预测下一画面组在该待转码率档位下的转码因子修正系数，并采用该转码因子修正系数来修正当前画面组在该待转码率档位下转码时所选用的转码因子，得到下一画面组在该待转码率档位下的转码因子，使得当前画面组与下一画面组在每一待转码率档位下可以配合相近的转码因子进行转码，从而在保证直播视频转码后直播质量的稳定性的基础上，进一步降低当前画面组与下一画面组在每一待转码率档位下转码时的实际转码码率之间的波动幅度，避免直播视频在转码码率波动过大时出现直播丢包的问题，从而实现了码率的合理分配，避免不必要的码率浪费而节省带宽资源。
本实施例提供的直播视频的转码装置可适用于上述任意实施例提供的直播视频的转码方法，具备相应的功能和有益效果。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图，如图5所示，该服务器包括处理器50、存储装置51和通信装置52；服务器中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；服务器中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。
本实施例提供的一种服务器可用于执行上述任意实施例提供的直播视频的转码方法，具备相应的功能和有益效果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的直播视频的转码方法。该方法具体可以包括：
根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的直播视频的转码方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述直播视频的转码装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种直播视频的转码方法，其特征在于，包括：
根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
其中，所述根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数，包括:根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率,以及所述实际转码码率与所述待转码率档位之间的差异程度预测下一画面组在该待转码率档位下的转码因子修正系数；
采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
2.根据权利要求1所述的方法，其特征在于，所述根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数，包括：
针对每一待转码率档位 ，融合所述当前画面组在该待转码率档位下转码时的画面转码特征、该待转码率档位和实际转码码率，得到所述当前画面组在该待转码率档位下的综合转码特征；
通过预先构建的转码预测模型分别对所述当前画面组在每一待转码率档位下的综合转码特征进行转码预测，确定下一画面组在每一待转码率档位下的转码因子修正系数。
3.根据权利要求2所述的方法，其特征在于，所述转码预测模型由两层或两层以上的转码预测子模型构成。
4.根据权利要求1所述的方法，其特征在于，在根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数之前，还包括：
在所述当前画面组在每一待转码率档位下的实际转码过程中，提取所述当前画面组在该待转码率档位下转码时的画面转码特征、实际转码码率和所选用的转码因子。
5.根据权利要求1所述的方法，其特征在于，在根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数之前，还包括：
如果所述当前画面组为所述直播视频中的首个画面组，则采用在每一待转码率档位下预设的恒定码率对所述当前画面组进行转码，并根据所述当前画面组在每一待转码率档位下的实际转码差异，预估所述当前画面组在该待转码率档位下的转码因子；
如果所述当前画面组为所述直播视频中的非首个画面组，则在每一待转码率档位下，采用该待转码率档位以及对应的转码因子对所述当前画面组进行转码。
6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：
在每一待转码率档位下分别设置对应的转码码率波动区间；
相应的，所述采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，包括：
采用所述下一画面组在每一待转码率档位下的转码因子修正系数和该待转码率档位下的转码码率波动区间，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子。
7.根据权利要求1-5任一项所述的方法，其特征在于，在得到所述下一画面组在该待转码率档位下的转码因子之后，还包括：
采用每一待转码率档位以及对应的转码因子对所述下一画面组进行转码。
8.一种直播视频的转码装置，其特征在于，包括：
修正系数预测模块，用于根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率，预测下一画面组在该待转码率档位下的转码因子修正系数；
其中，所述修正系数预测模块，具体用于根据直播视频中当前画面组在每一待转码率档位下转码时的画面转码特征和实际转码码率,以及所述实际转码码率与所述待转码率档位之间的差异程度预测下一画面组在该待转码率档位下的转码因子修正系数；
转码因子修正模块，用于采用所述下一画面组在每一待转码率档位下的转码因子修正系数，修正所述当前画面组在该待转码率档位下转码时所选用的转码因子，得到所述下一画面组在该待转码率档位下的转码因子。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的直播视频的转码方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的直播视频的转码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010698573.1A CN111726656B (zh) | 2020-07-20 | 2020-07-20 | 一种直播视频的转码方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010698573.1A CN111726656B (zh) | 2020-07-20 | 2020-07-20 | 一种直播视频的转码方法、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111726656A CN111726656A (zh) | 2020-09-29 |
| CN111726656B true CN111726656B (zh) | 2022-07-26 |
Family
ID=72572856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010698573.1A Active CN111726656B (zh) | 2020-07-20 | 2020-07-20 | 一种直播视频的转码方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111726656B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113438555B (zh) * | 2021-07-02 | 2023-01-06 | 广州虎牙科技有限公司 | 一种带宽的检测方法、装置、计算机设备和存储介质 |
| CN114598927B (zh) * | 2022-03-03 | 2024-06-18 | 京东科技信息技术有限公司 | 转码资源的调度方法、***以及调度装置 |
| CN115002520B (zh) * | 2022-04-14 | 2024-04-02 | 百果园技术(新加坡)有限公司 | 一种视频流数据处理方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5819215A (en) * | 1995-10-13 | 1998-10-06 | Dobson; Kurt | Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data |
| CN107087192A (zh) * | 2016-02-15 | 2017-08-22 | 中兴通讯股份有限公司 | 目标码率调整方法及装置 |
| CN110225343A (zh) * | 2019-05-20 | 2019-09-10 | 北京佳讯飞鸿电气股份有限公司 | 一种视频编码的码率控制方法及装置 |
| CN110365981A (zh) * | 2019-07-10 | 2019-10-22 | 中移（杭州）信息技术有限公司 | 一种视频编码方法、装置、电子设备及存储介质 |
| CN110418177A (zh) * | 2019-04-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备和存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2059050A1 (en) * | 2007-10-31 | 2009-05-13 | Thomson Licensing | Method for coding a subsequent sequence of pictures by help of a preceding sequence of pictures |
| US9094684B2 (en) * | 2011-12-19 | 2015-07-28 | Google Technology Holdings LLC | Method for dual pass rate control video encoding |
| CN103841418B (zh) * | 2012-11-22 | 2016-12-21 | 中国科学院声学研究所 | 一种3g网络中视频监控器码率控制的优化方法及*** |
| CN109862359B (zh) * | 2018-12-29 | 2021-01-08 | 北京数码视讯软件技术发展有限公司 | 基于分层b帧的码率控制方法、装置和电子设备 |
| CN111193924B (zh) * | 2019-12-26 | 2022-01-25 | 腾讯科技（深圳）有限公司 | 视频码率的确定方法、装置、计算机设备及存储介质 |
| CN111107395B (zh) * | 2019-12-31 | 2021-08-03 | 广州市百果园网络科技有限公司 | 一种视频转码的方法、装置、服务器和存储介质 |
| CN111416986B (zh) * | 2020-03-24 | 2021-12-10 | 中国建设银行股份有限公司 | 一种码率确定方法、装置、存储介质及电子设备 |
-
2020
- 2020-07-20 CN CN202010698573.1A patent/CN111726656B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5819215A (en) * | 1995-10-13 | 1998-10-06 | Dobson; Kurt | Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data |
| CN107087192A (zh) * | 2016-02-15 | 2017-08-22 | 中兴通讯股份有限公司 | 目标码率调整方法及装置 |
| CN110418177A (zh) * | 2019-04-19 | 2019-11-05 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备和存储介质 |
| CN110225343A (zh) * | 2019-05-20 | 2019-09-10 | 北京佳讯飞鸿电气股份有限公司 | 一种视频编码的码率控制方法及装置 |
| CN110365981A (zh) * | 2019-07-10 | 2019-10-22 | 中移（杭州）信息技术有限公司 | 一种视频编码方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111726656A (zh) | 2020-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111726656B (zh) | 一种直播视频的转码方法、装置、服务器和存储介质 | |
| US10728564B2 (en) | Systems and methods of encoding multiple video streams for adaptive bitrate streaming | |
| US9350990B2 (en) | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming | |
| US20220030244A1 (en) | Content adaptation for streaming | |
| CN111107395B (zh) | 一种视频转码的方法、装置、服务器和存储介质 | |
| US9420282B2 (en) | Video coding redundancy reduction | |
| JP2016526336A (ja) | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 | |
| CN110248189B (zh) | 一种视频质量预测方法、装置、介质和电子设备 | |
| CN111953966B (zh) | 一种编码测试的方法、装置、服务器和存储介质 | |
| CN109803146B (zh) | 视频的二次压缩方法、装置、介质和设备 | |
| CN112272299A (zh) | 一种视频编码的方法、装置、设备和存储介质 | |
| CN112203096A (zh) | 视频编码方法、装置、计算机设备和存储介质 | |
| US20170214915A1 (en) | Image encoding device and image encoding method | |
| CN115134629B (zh) | 视频传输方法、***、设备及存储介质 | |
| CN109218722B (zh) | 一种视频编码方法、装置及设备 | |
| US20220408097A1 (en) | Adaptively encoding video frames using content and network analysis | |
| US11368680B2 (en) | Colour component prediction method, encoder, decoder and storage medium | |
| CN115701709A (zh) | 视频编码方法、装置、计算机可读介质及电子设备 | |
| US20210014547A1 (en) | System for distributing an audiovisual content | |
| CN111901631B (zh) | 一种直播视频的转码方法、装置、服务器和存储介质 | |
| CN111541898B (zh) | 一种编码模式的确定方法、装置、服务器和存储介质 | |
| CN110300305B (zh) | 视频编码装置与方法 | |
| CN114422783B (zh) | 视频编码方法、电子设备及存储介质 | |
| CN115834891A (zh) | 视频编码方法、装置、设备和存储介质 | |
| CN114430501A (zh) | 一种用于文件转码的内容自适应编码的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |