CN114531615A - 视频数据处理方法、装置、计算机设备和存储介质 - Google Patents
视频数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN114531615A CN114531615A CN202011208510.XA CN202011208510A CN114531615A CN 114531615 A CN114531615 A CN 114531615A CN 202011208510 A CN202011208510 A CN 202011208510A CN 114531615 A CN114531615 A CN 114531615A
- Authority
- CN
- China
- Prior art keywords
- target
- region
- code rate
- quantization parameter
- video picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 20
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000013139 quantization Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003999 initiator Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种视频数据处理方法、装置、计算机设备和存储介质，所述方法包括：响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数；基于感兴趣区域的位置信息、第一目标量化参数对原视频画面进行调整，得到调整后视频画面；调整后视频画面中的感兴趣区域的清晰度高于非感兴趣区域的清晰度。上述方法对视频画面中的感兴趣区域的量化参数进行调整，具体结合期望的目标清晰度确定感兴趣区域的量化参数可控制码率，实现感兴趣区域画面质量更清晰，同时由于较好的结合了码率控制，编码后的视频文件避免出现过度的码率分布不均的情况。
Description
技术领域
本申请涉及视频处理技术领域，特别是涉及一种视频数据处理方法、装置、计算机设备和存储介质。
背景技术
随着视频技术的发展，视频通话、直播等已经逐渐成为很多人的日常生活中的很重要的一部分。而随着技术的不断发展，视频的清晰度不断提升，但是随之而来的视频的数据量也越来越大，因此需要更高的码率才能保证视频传输之后的清晰度。但是受到网络条件的限制，保证清晰度的同时也意味着可能发生卡顿。
相关技术中有对视频进行局部的显示调整，通常是直接以固定的量化参数偏移值进行调整，这种方式容易产生码率抖动的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种在实现感兴趣区域的局部增强的前提下，能够避免码率抖动的视频数据处理方法、装置、计算机设备和存储介质。
一种视频数据处理方法，其特征在于，所述方法包括：
响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
一种视频数据处理装置，所述装置包括：
获取模块，用于响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
量化参数确定模块，用于根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
数据调整模块，用于基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
上述视频数据处理方法、装置、计算机设备和存储介质，在检测到视频数据调整指令时，获取原视频画面中感兴趣区域位置、感兴趣区域对应所需的目标清晰度，以及目标码率，并结合目标清晰度和目标码率确定感兴趣区域的第一目标量化参数，然后结合第一目标量化参数、感兴趣区域的位置对原视频画面进行调整，得到调整后视频画面。上述方法对视频画面中的感兴趣区域的量化参数进行调整，具体结合期望的目标清晰度确定感兴趣区域的量化参数可控制码率，实现感兴趣区域画面质量更清晰，同时由于较好的结合了码率控制，编码后的视频文件避免出现过度的码率分布不均的情况。
附图说明
图1为一个实施例中视频数据处理方法的应用环境图；
图2为一个实施例中视频数据处理方法的流程示意图；
图3为一个实施例中根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数的流程示意图；
图4为另一个实施例中视频数据处理方法的流程示意图；
图5为另一个实施例中视频数据处理方法的流程示意图；
图6为一个具体实施例中采集的视频画面；
图7(1)为一个实施例中感兴趣区域位置的示意图；
图7(2)为另一个实施例中感兴趣区域位置的示意图；
图8为一个实施例中视频数据处理装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的视频数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与终端104进行通信。终端102在检测到视频数据调整指令时，获取原视频画面中感兴趣区域位置、感兴趣区域对应所需的目标清晰度，以及目标码率，并结合目标清晰度和目标码率确定感兴趣区域的第一目标量化参数，然后结合第一目标量化参数、感兴趣区域的位置对原视频画面进行调整，得到调整后视频画面；该调整后视频画面传输是针对104显示时，感兴趣区域的清晰度高于非感兴趣区域的清晰度。其中，终端102、终端104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备.
在一个实施例中，如图2所示，提供了一种视频数据处理方法，以该方法应用于图1中的终端102为例进行说明，包括步骤S210至步骤S230。
步骤S210，响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率。
视频数据调整指令为用户在界面中通过设置视频数据调整选项时发起的，用于对视频数据进行一定的调整；在一个实施例中，视频数据调整指令用于对视频画面中的局部画面的画面质量进行调整。在用户使用时，通常对于视频中某些特定的画面会更加关注，而对于其他画面的关注度较小，此时可通过将视频画面中用户更关注的部分区域画面的清晰度调整为更高，而用户关注度较小的部分区域画面的清晰度稍微调低一点，从而在同样的码率下，给用户更好的体验。上述方法可以应用于如视频通话或者观看视频直播的应用场景中，该类应用场景中通常发生了视频画面的实时传输。
在一个实施例中，用户在本设备发起视频数据调整指令，使得传输至与本设备进行交互的设备中显示的视频画面中的部分区域画面的清晰度更高；例如在直播应用场景中，主播(直播发起者)在本设备端发起视频数据调整指令，在观看该直播的观众设备端所观看到的视频画面中部分区域画面的清晰度更高；又如在视频通话的应用场景中，视频通话的发送方在设备端发起视频数据调整指令，在视频通话的接收方的设备端所观看到的视频画面中部分区域画面的清晰度更高；可以理解地，在部分视频通话的应用场景中，视频通话的所有接收方均可同时为视频通话发起方和接收方。
进一步地，在一个具体实施例中，通过设置界面中显示局部画面增强开关，用户可通过该局部画面增强开关发起视频数据调整指令之后；在另一个具体实施例中，局部画面增强开关也可以和视频画面在同一界面中显示。
感兴趣区域(ROI,region of interest)，在图像处理领域，感兴趣区域(ROI)是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定想读的目标，可以减少处理时间，增加精度。ROI智能视频编码技术科包括：固定区域和动态跟踪这两类；固定区域智能编码：在视频画面中选择多个固定位置的ROI感兴趣区域进行智能编码；动态跟踪智能编码：采用一定技术从视频的视频帧中识别出所关注的目标物体，作为感兴趣区域，并在视频的各视频帧进行动态跟踪，例如人脸识别和动态跟踪。
在一个实施例中，原视频画面中感兴趣区域的位置包括：原视频画面中的目标物体区域，和/或，原视频画面中预设位置对应的区域。
其中，目标物体可根据实际情况设定。在一个实施例中目标物体包括人脸、人身、游戏画面中的人物角色、游戏道具、视频画面中的文字等等；其中，对目标物体进行识别可采用任意一种可实现的方式进行；例如对人脸、人身的识别可采用AEKit技术实现，AEKit技术可用于人脸识别，磨皮，美白，挂件等用途；又如对人物角色、游戏道具等的识别可采用经训练确定的目标识别的神经网络实现。在本实施例中，直接获取对目标物体的识别结果，并把这些识别结果“复用”地输入编码器模块，并不需要引入额外的消耗，所以效率更高，准确度也更有保障。
上述步骤中的预设位置也可根据实际情况进行设置。在一个实施例中，预设位置对应包括游戏画面中的战绩信息、新闻直播画面中的新闻标题信息、直播销售商品的画面中商品的详细信息、进度条或者文字区域等等，这类信息通常在画面中是固定在同一位置的，因此可直接根据该类信息在屏幕中对应显示的位置确定在视频画面中的位置。
清晰度指影像上各细部影纹及其边界的清晰程度。在本实施例中，感兴趣区域的目标清晰度表示用户开启视频数据调整开关之后，所期望视频中感兴趣区域所对应的清晰度；进一步地，在一个具体实施例中，视频画面的目标清晰度也可根据实际情况进行设定；或者也可以由用户在发起视频数据调整指令的同时设定。在一个实施例中，获取感兴趣区域对应的清晰度实际上获取的是感兴趣区域的目标清晰度变化值，即期望感兴趣区域提高多少清晰度。
视频码率就是数据传输时单位时间传送的数据位数，一般所用的单位是kbps即千位每秒。通俗一点的理解就是取样率，单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件。在本实施例中，通过设定目标码率，可限制视频画面的编码时不得超过该目标码率，视频的清晰度和视频文件大小均受到目标码率的限制。
步骤S220，根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数。
量化参数QP(Quantizer parameter)是量化步长Qstep的序号，一般的说，QP越大，则压缩比越高，清晰度越低，反之亦然，当QP＝0时，则为无损压缩模式。
在本实施例中，在获取原视频画面中感兴趣区域对应的目标清晰度和目标码率之后，可通过一定的方式计算出感兴趣区域中所对应的较为合理的量化参数，本实施例中记为第一目标量化参数。
在一个实施例中，对于视频的清晰度、量化参数和码率之间的关系，可调用历史视频画面的相关参数进行计算，得到量化参数与码率之间的转换关系，进而结合量化参数与码率之间的转换关系，可根据清晰度和目标码率的要求确定感兴趣区域的第一目标量化参数。在一个实施例中，对于视频画面中的感兴趣区域的清晰度需要提高，因此，感兴趣区域对应的第一目标量化参数小于调整之前原视频该区域的量化参数。
在另一个实施例中，可用量化参数偏移值表示感兴趣区域的量化参数，量化参数偏移值表示第一目标量化参数与感兴趣区域的原始量化参数的差值。
步骤S230，基于感兴趣区域的位置信息、第一目标量化参数对原视频画面进行调整，得到调整后视频画面；调整后视频画面中的感兴趣区域的清晰度高于非感兴趣区域的清晰度。
根据感兴趣区域的位置信息，可在原视频画面中确定感兴趣区域的范围，进而在编码时，针对感兴趣区域的画面，基于第一目标量化参数进行编码方式的调整，得到调整后视频画面。感兴趣区域对应的第一目标量化参数小于调整之前原视频该区域的量化参数，可知调整后视频画面中的感兴趣区域的清晰度较高。
上述视频数据处理方法，在检测到视频数据调整指令时，获取原视频画面中感兴趣区域位置、感兴趣区域对应所需的目标清晰度，以及目标码率，并结合目标清晰度和目标码率确定感兴趣区域的第一目标量化参数，然后结合第一目标量化参数、感兴趣区域的位置对原视频画面进行调整，得到调整后视频画面。上述方法对视频画面中的感兴趣区域的量化参数进行调整，具体结合期望的目标清晰度确定感兴趣区域的量化参数可控制码率，实现感兴趣区域画面质量更清晰，同时由于较好的结合了码率控制，编码后的视频文件避免出现过度的码率分布不均的情况。
在一个实施例中，感兴趣区域包括至少两个层次；在本实施例中，根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数，包括：根据目标清晰度和目标码率确定各层次的感兴趣区域对应的第一目标量化参数；基于感兴趣区域的位置信息、第一目标量化参数对原视频画面进行调整，得到调整后视频画面，包括：基于感兴趣区域的位置信息、感兴趣区域所在层次对应的第一目标量化参数，对原视频画面进行调整，得到调整后视频画面。
其中，感兴趣区域的不同层次可以表示不同目标物体对应的感兴趣区域，例如视频画面中的人身、目标物体、固定位置如战绩的显示区域，可划分为不同层次的感兴趣区域。在另一个实施例中，感兴趣区域的不同层次也可以表示不同关注度对应划分的层级，例如人身可能是用户的关注区域之一，但是对于人身中的人脸、不包含人脸在内的人身(可体现出穿着等)，人脸可能是用户的关注度更高，因此可将视频画面中的人脸作为一个层次的感兴趣区域、不包含人脸在内的人身作为另一个层次，同时将固定位置如战绩的显示区域作为第三个层次的感兴趣区域，等等。进一步地，对于不同层次的感兴趣区域可设置为不同的清晰度，即对于不同的目标量化参数，也可以设置为相同的清晰度即相同的目标量化参数。
若对于不同层次的感兴趣区域预先设置的目标清晰度不同，则需分别获取各感兴趣区域对应的目标清晰度，从而结合目标码率可确定各感兴趣区域对应的目标量化参数。
本实施例中，对于视频画面中的感兴趣区域划分了不同层次，对于不同层次的感兴趣区域分别设置对应的目标清晰度，可在同样的目标码率下更好的呈现视频画面，其中对于感兴趣区域的层次对应等级更高，显示清晰度更高，而非感兴趣区域的显示清晰度相对较低，显示效果好，对于用户而言，观看视频的体验更好。
在一个实施例中，如图3所示，根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数，包括步骤S221至步骤S223。
步骤S221，对原视频画面确定对应的画面复杂等级和宏块树，根据预设码率转换关系、画面复杂等级和宏块树确定原视频画面的码率估算值。
其中，画面复杂度可根据视频画面内容确定；在一个实施例中，对于视频画面根据显示内容预先划分了多种不同的预设画面复杂度等级，在检测到视频数据调整指令时，识别原视频画面中的显示内容，根据显示内容确定原视频画面对应的预设画面复杂度等级。在一个具体实施例中，根据原视频的显示内容确定对应的画面复杂度等级，包括视频画面的显示内容为新闻直播间的显示画面，各视频帧之间的显示内容变化较小，则可将该原视频的画面复杂度确定为低等级；而在视频画面的显示内容为游戏直播的显示画面，各视频帧之间的显示内容变化较大，则可将该原视频的画面复杂度确定为高等级，等等。在其它实施例中，也可以根据其它方式确定原视频的画面复杂等级。
宏块树(Macroblock Tree,MB tree)，是一个基于macroblock的QP控制方法。MBTree的处理对象是每个MB进行处理。MB tree的工作过程简单来说，是对于每个MB，向前预测一定数量的帧(该数量由rc-lookahead和keyint的较小值决定)中该MB被参考的情况，根据引用次数的多寡，决定对该MB使用何种大小的量化参数进行量化(quantization)。其中，宏块(MBMacro Block)，是H.264编码的基本单位，一个编码图像首先要划分成多个块(4x4像素)才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。宏块分为I、P、B宏块：I宏块只能利用当前片中已解码的像素作为参考进行帧内预测，P宏块可以利用前面已解码的图像作为参考图像进行帧内预测，B宏块则是利用前后向的参考图形进行帧内预测。在一个实施例中，对原视频画面确定对应的画面复杂等级和宏块树可通过任意一种方式实现。
预设码率转换关系表示的是预先设定的量化参数与码率的转换关系，在实际情况中可根据历史数据进行确定。在一个实施例中，预设码率转换关系与画面复杂等级对应，即不同的画面复杂等级可能对应不相同的预设码率转换关系。
码率估算值表示在编码时该原视频画面对应的一个较为合理的码率值，可根据视频画面复杂度和宏块树计算得到。在一个实施例中，根据预设码率转换关系、画面复杂等级和宏块树确定原视频画面的码率估算值可通过任意一种方式实现。
步骤S222，根据目标清晰度和码率估算值确定感兴趣区域对应的第一目标数据量。
目标清晰度对应的感兴趣区域待显示的清晰度，因此在本实施例中，利用码率估算值可确定感兴趣区域对应所需占用的数据量，本实施例中记为第一目标数据量。由于清晰度与码率之间成正比，当需要提高感兴趣区域的清晰度时，对应感兴趣区域所占用的数据量也需提高。在一个具体实施例中，根据目标清晰度和码率估算值确定感兴趣区域对应的第一目标数据量，包括：计算目标清晰度与感兴趣区域的原清晰度的清晰度比例，将码率估算值与清晰度比例的乘积确定为感兴趣区域的第一目标数据量的数值。
步骤S223，基于预设量化参数转换关系，将第一目标数据量转换为第一目标量化参数。
预设量化参数转换关系表示的是预先设定的码率与量化参数的转换关系，在实际情况中可根据历史数据进行确定。在一个实施例中，预设量化参数转换关系与画面复杂等级对应，即不同的画面复杂等级可能对应不相同的预设量化参数转换关系。
在一个实施例中，基于预设量化参数转换关系，将第一目标数据量转换为第一目标量化参数，包括：将预设量化参数转换关系与第一目标数据量的乘积确定为第一目标量化参数。
进一步地，在一个实施例中，如图4所示，在根据目标清晰度和码率估算值确定感兴趣区域对应的第一目标数据量之后，还包括步骤S410和步骤S420。
步骤S410，根据码率估算值、第一目标数据量确定非感兴趣区域的第二目标数据量。
在一个实施例中，根据码率估算值、第一目标数据量确定非感兴趣区域的第二目标数据量，包括：根据码率估算值确定原视频画面中各视频帧对应的数据量，将视频帧对应的数据量与感兴趣区域的差值，确定为非感兴趣区域的目标数据量，在本实施例中记为第二目标数据量。
步骤S420，基于预设量化参数转换关系，将第二目标数据量转换为非感兴趣区域对应的第二量化参数。
在一个实施例中，基于预设量化参数转换关系，将第二目标数据量转换为非感兴趣区域对应的第二量化参数，包括：将预设量化参数转换关系与第二目标数据量的乘积确定为第二目标量化参数。
对于原视频画面中的感兴趣区域提高清晰度，而原视频画面中的非感兴趣区域可降低清晰度；因此在本实施例中，在对视频画面的感兴趣区域的量化参数进行调整之后，对于非感兴趣区域的量化参数同样进行调整。具体可结合对于感兴趣区域的调整比例，对非感兴趣区域的相对应的调整。在本实施例中，根据感兴趣区域调整后对于的第一目标数据量，以及目标码率确定非感兴趣区域的第二目标数据量，可使同一视频帧中的数据量维持稳定，进而避免编码后的视频中发生码率分布过度不均匀的情况。在其它实施例中，也可以通过其它方式确定非感兴趣区域的目标数据量。
本实施例中，首先根据原视频画面确定对应的画面复杂等级和宏块树确定原视频画面的码率估算值，进而结合感兴趣区域的目标清晰度和预设码率转换关系确定感兴趣区域的对应的目标数据量，进而根据预设量化参数转换关系得到感兴趣区域的目标量化参数。结合预设的转换关系动态确定感兴趣区域的目标量化参数，可避免编码后的视频文件出现过度的码率分布不均的情况。
在一个实施例中，如图5所示，在响应于视频数据调整指令之前，还包括：步骤S510，响应于视频采集指令，通过视频采集模块获取视频画面；步骤S520，对获取的视频画面按照目标码率进行编码，得到原视频画面。
其中，视频采集指令为用户发起的用于采集视频的指令；在一个具体实施例中，在直播的应用场景中，可以是主播在点击“开播”即判定为检测到视频采集指令；在另一个具体实施例中，在视频通话的应用场景中，可以是用户点击发起视频通话之后判定为检测到视频采集指令。
在一个实施例中，终端可在检测到视频采集指令时，调用采集装置开始采集视频数据，并将采集的视频数据展示在界面中。其中，采集装置可以是任何具有视频拍摄功能的模块或者装置，例如摄像头或者具有摄像装置的移动设备等。
本实施例中，响应于视频采集指令时开始采集视频数据，按照原始清晰度码率对采集的视频画面进行编码得到原视频画面；而响应于视频数据调整指令时，对视频画面中的感兴趣区域进行量化参数的调整，使在相同码率下，调整后视频画面的感兴趣区域的清晰度高于非感兴趣区域，提高显示效果，同时避免码率分布过度不均匀的情况。
本申请还提供一种应用场景，该应用场景应用上述的视频数据处理方法。具体地，本实施例中以将该视频数据处理方法应用于游戏主播直播游戏的场景为例，在该应用场景的应用如下：
主播在界面中打开视频采集装置(如摄像头)，即向终端发起视频采集指令；终端响应于该视频采集指令，采集视频数据，并对其进行编码后得到的原视频画面传输至观看直播的观众的设备。在一个实施例中，在主播的设备的显示界面显示视频采集装置直接采集的视频数据。如图6所示为一个具体实施例中采集的视频画面。
主播在界面中显示的画质设置区域开启视频局部增强的功能，即向终端发起视频数据调整指令。在一个实施例中，画质设置区域可与视频数据在同一个界面显示，也可以单独在设置界面中进行显示。
终端响应于该视频数据调整指令，获取原视频画面中的感兴趣区域位置、感兴趣区域对应的目标清晰度，以及视频的目标码率；其中，感兴趣区域位置包括固定位置的战绩显示区域位置(如图7(1)所示的实线框所示)和识别出的人像区域位置(如图7(1)所示的虚线框所示)。
在同样的目标码率下，图像越复杂，则清晰度越低。例如同样是1000Kpbs的码率，一个剧烈变化的画面，和一个基本静止的画面，前者编码后会比后者模糊，其QP值会比后者大。根据这个特性，准备了一批不同场景的视频，经过多次编码和统计，得到两个“经验值”公式，即qp2bitrate和bitrate2qp。
终端在编码时，先根据画面复杂度和mb-tree等计算出一个QP值Q1，再结合qp2bitrate计算得到一个较为准确的码率估算值A，但识别出ROI区域时，例如目标是提升ROI区域40％的清晰度，那么该ROI区域将需要增加码率为A*(1+0.4)，在代入公式bitrate2qp得到Q2，则Q2-Q1即为该区域的QP偏移值qp_offset1，为了避免码率的抖动，ROI区域减少了QP(则增加了码率),那么其他非ROI区域则需要增加QP(于是就减少了码率)。类似地，利用以上公式，就可以得到非ROI区域的qp_offset2，基于qp_offset1和qp_offset2对视频画面的感兴趣区域和非感兴趣区域进行编码。
进一步地，对于如图7(1)所示的虚线框对应的人身感兴趣区域，还可以区分为关注度更高的人脸区域和不包含人脸的人身区域，如图7(2)所示，对于该两部分区域，可分别确定对应的目标清晰度，进而分别确定对应的量化参数QP，进行编码；可将关注度更高的人脸区域的目标清晰度设置为更高。
在一个实施例中，上述方法支持ABR模式(均匀码率)和CBR(固定码率)，均可实现ROI区域画质的增强，同时由于较好的结合了码率控制算法，所以编码后的视频文件没有出现过度的码率分布不均的情况。
上述方法在码率不变的情况下，提高了人眼感兴趣区域的清晰度，降低了人眼不感兴趣的区域的清晰度，对于用户来说，可以感觉到画面明显清晰，但消耗的带宽却不变。可以给直播产品带来较好的用户体验。
应该理解的是，虽然上述实施例中所涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例中所涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种视频数据处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块810、量化参数确定模块820和数据调整模块830，其中：
获取模块810，用于响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率。
量化参数确定模块820，用于根据目标清晰度和目标码率确定感兴趣区域对应的第一目标量化参数。
数据调整模块830，用于基于感兴趣区域的位置信息、第一目标量化参数对原视频画面进行调整，得到调整后视频画面；调整后视频画面中的感兴趣区域的清晰度高于非感兴趣区域的清晰度。
上述视频数据处理装置，在检测到视频数据调整指令时，获取原视频画面中感兴趣区域位置、感兴趣区域对应所需的目标清晰度，以及目标码率，并结合目标清晰度和目标码率确定感兴趣区域的第一目标量化参数，然后结合第一目标量化参数、感兴趣区域的位置对原视频画面进行调整，得到调整后视频画面。上述装置对视频画面中的感兴趣区域的量化参数进行调整，具体结合期望的目标清晰度确定感兴趣区域的量化参数可控制码率，实现感兴趣区域画面质量更清晰，同时由于较好的结合了码率控制，编码后的视频文件避免出现过度的码率分布不均的情况。
在一个实施例中，感兴趣区域包括至少两个层次；在本实施例中，上述量化参数确定模块820具体用于：根据目标清晰度和目标码率确定各层次的感兴趣区域对应的第一目标量化参数；数据调整模块830具体用于：基于感兴趣区域的位置信息、感兴趣区域所在层次对应的第一目标量化参数，对原视频画面进行调整，得到调整后视频画面。
在一个实施例中，上述装置的量化参数确定模块820包括：码率估算单元，用于对原视频画面确定对应的画面复杂等级和宏块树，根据预设码率转换关系、画面复杂等级和宏块树确定原视频画面的码率估算值；目标数据量确定单元，用于根据目标清晰度和码率估算值确定感兴趣区域对应的第一目标数据量；转换单元，用于基于预设量化参数转换关系，将第一目标数据量转换为第一目标量化参数。
进一步地，在一个实施例中，上述装置的目标数据量确定单元，还用于根据码率估算值、第一目标数据量确定非感兴趣区域的第二目标数据量；上述转换单元，还用于基于预设量化参数转换关系，将第二目标数据量转换为非感兴趣区域对应的第二量化参数。
在一个实施例中，原视频画面中感兴趣区域的位置包括：原视频画面中的目标物体区域，和/或，原视频画面中预设位置对应的区域。
在一个实施例中，上述装置还包括：视频采集模块，用于响应于视频采集指令，通过视频采集模块获取视频画面；编码模块，用于对获取的视频画面按照目标码率进行编码，得到原视频画面。
关于视频数据处理装置的具体限定可以参见上文中对于视频数据处理方法的限定，在此不再赘述。上述视频数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种视频数据处理方法，其特征在于，所述方法包括：
响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
2.根据权利要求1所述的方法，其特征在于，所述感兴趣区域包括至少两个层次；
根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数，包括：根据目标清晰度和目标码率确定各层次的所述感兴趣区域对应的第一目标量化参数；
基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面，包括：基于所述感兴趣区域的位置信息、所述感兴趣区域所在层次对应的第一目标量化参数，对所述原视频画面进行调整，得到调整后视频画面。
3.根据权利要求1或2所述的方法，其特征在于，所述根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数，包括：
对所述原视频画面确定对应的画面复杂等级和宏块树，根据预设码率转换关系、所述画面复杂等级和宏块树确定原视频画面的码率估算值；
根据所述目标清晰度和所述码率估算值确定所述感兴趣区域对应的第一目标数据量；
基于预设量化参数转换关系，将所述第一目标数据量转换为第一目标量化参数。
4.根据权利要求3所述的方法，其特征在于，在根据所述目标清晰度和所述码率估算值确定所述感兴趣区域对应的第一目标数据量之后，还包括：
根据所述码率估算值、第一目标数据量确定所述非感兴趣区域的第二目标数据量；
基于所述预设量化参数转换关系，将所述第二目标数据量转换为所述非感兴趣区域对应的第二量化参数。
5.根据权利要求1所述的方法，其特征在于，所述原视频画面中感兴趣区域的位置包括：所述原视频画面中的目标物体区域，和/或，所述原视频画面中预设位置对应的区域。
6.根据权利要求1或2所述的方法，其特征在于，在所述响应于视频数据调整指令之前，还包括：
响应于视频采集指令，通过视频采集模块获取视频画面；
对获取的所述视频画面按照目标码率进行编码，得到原视频画面。
7.一种视频数据处理装置，其特征在于，所述装置包括：
获取模块，用于响应于视频数据调整指令，获取原视频画面中感兴趣区域的位置、感兴趣区域的目标清晰度以及目标码率；
量化参数确定模块，用于根据目标清晰度和目标码率确定所述感兴趣区域对应的第一目标量化参数；
数据调整模块，用于基于所述感兴趣区域的位置信息、第一目标量化参数对所述原视频画面进行调整，得到调整后视频画面；所述调整后视频画面中的所述感兴趣区域的清晰度高于非感兴趣区域的清晰度。
8.根据权利要求7所述的视频数据处理装置，其特征在于，所述量化参数确定模块包括：
码率估算单元，用于对所述原视频画面确定对应的画面复杂等级和宏块树，根据预设码率转换关系、所述画面复杂等级和宏块树确定原视频画面的码率估算值；
目标数据量确定单元，用于根据所述目标清晰度和所述码率估算值确定所述感兴趣区域对应的第一目标数据量；
转换单元，用于基于预设量化参数转换关系，将所述第一目标数据量转换为第一目标量化参数。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011208510.XA CN114531615B (zh) | 2020-11-03 | 2020-11-03 | 视频数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011208510.XA CN114531615B (zh) | 2020-11-03 | 2020-11-03 | 视频数据处理方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114531615A true CN114531615A (zh) | 2022-05-24 |
| CN114531615B CN114531615B (zh) | 2023-10-27 |
Family
ID=81618722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011208510.XA Active CN114531615B (zh) | 2020-11-03 | 2020-11-03 | 视频数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114531615B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115514887A (zh) * | 2022-09-07 | 2022-12-23 | 影石创新科技股份有限公司 | 视频采集的控制方法、装置、计算机设备和存储介质 |
| WO2024040535A1 (zh) * | 2022-08-25 | 2024-02-29 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、设备和计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931800A (zh) * | 2009-06-24 | 2010-12-29 | 财团法人工业技术研究院 | 利用有限可变比特率控制的感兴趣区域编码方法与*** |
| CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
| US20180027241A1 (en) * | 2016-07-20 | 2018-01-25 | Mediatek Inc. | Method and Apparatus for Multi-Level Region-of-Interest Video Coding |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| WO2020207030A1 (zh) * | 2019-04-12 | 2020-10-15 | 深圳壹账通智能科技有限公司 | 视频编码方法、***、设备及计算机可读存储介质 |
-
2020
- 2020-11-03 CN CN202011208510.XA patent/CN114531615B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101931800A (zh) * | 2009-06-24 | 2010-12-29 | 财团法人工业技术研究院 | 利用有限可变比特率控制的感兴趣区域编码方法与*** |
| US20180027241A1 (en) * | 2016-07-20 | 2018-01-25 | Mediatek Inc. | Method and Apparatus for Multi-Level Region-of-Interest Video Coding |
| CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
| WO2020207030A1 (zh) * | 2019-04-12 | 2020-10-15 | 深圳壹账通智能科技有限公司 | 视频编码方法、***、设备及计算机可读存储介质 |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024040535A1 (zh) * | 2022-08-25 | 2024-02-29 | 深圳市大疆创新科技有限公司 | 视频处理方法、装置、设备和计算机存储介质 |
| CN115514887A (zh) * | 2022-09-07 | 2022-12-23 | 影石创新科技股份有限公司 | 视频采集的控制方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114531615B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021244341A1 (zh) | 图像编码方法及装置、电子设备及计算机可读存储介质 | |
| EP3171596B1 (en) | Image compression with adaptive quantization of regions of interest (roi) | |
| KR101737290B1 (ko) | 열 및 전력 관리 | |
| CN110876060B (zh) | 一种编码过程中的码率调整方法及装置 | |
| Li et al. | Weight-based R-λ rate control for perceptual HEVC coding on conversational videos | |
| US11431993B2 (en) | Method and apparatus for processing encoded data, computer device, and storage medium | |
| EP4007289A1 (en) | Video uploading method and apparatus, electronic device, and storage medium | |
| CN114531615B (zh) | 视频数据处理方法、装置、计算机设备和存储介质 | |
| CN107027030B (zh) | 一种码率分配方法及其设备 | |
| EP3993413A1 (en) | Method and device for determining video bitrate, computer apparatus, and storage medium | |
| CN111182303A (zh) | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 | |
| US9984504B2 (en) | System and method for improving video encoding using content information | |
| CN110365983B (zh) | 一种基于人眼视觉***的宏块级码率控制方法及装置 | |
| CN114466189B (zh) | 码率控制方法、电子设备及存储介质 | |
| CN113301342B (zh) | 视频编码方法、网络直播方法、装置和终端设备 | |
| CN106331750B (zh) | 一种基于感兴趣区域的云游戏平台自适应带宽优化方法 | |
| CN112738516A (zh) | 编码方法、装置、存储介质及电子设备 | |
| CN106921840B (zh) | 一种即时视频中的人脸美化方法、设备及*** | |
| CN109246431B (zh) | 一种基于量化参数配置的视频编码方法、装置和电子设备 | |
| CN107004018B (zh) | 数据处理方法及装置 | |
| CN113852816A (zh) | 视频帧处理方法、装置、计算机设备和可读存储介质 | |
| CN115442615A (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
| CN112183227A (zh) | 一种智能泛人脸区域的编码方法和设备 | |
| WO2007110242A2 (en) | Method and apparatus for video encoding | |
| CN112118457A (zh) | 直播数据处理方法、装置、可读存储介质和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |