CN116402695A - 视频数据的处理方法、装置及存储介质 - Google Patents
视频数据的处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN116402695A CN116402695A CN202210784516.4A CN202210784516A CN116402695A CN 116402695 A CN116402695 A CN 116402695A CN 202210784516 A CN202210784516 A CN 202210784516A CN 116402695 A CN116402695 A CN 116402695A
- Authority
- CN
- China
- Prior art keywords
- data frame
- frame
- current
- fusion
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 55
- 230000004927 fusion Effects 0.000 claims abstract description 193
- 230000009467 reduction Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims description 51
- 238000007499 fusion processing Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009924 canning Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种视频数据的处理方法、装置及存储介质。所述处理方法包括：在预设场景下，获取当前数据帧；获取参考数据帧；根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧；将所述当前帧融合数据帧进行降噪处理，形成目标视频数据帧。基于该处理方法对所采集的视频数据进行处理，能够提高画质水平，提高用户体验。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及视频数据的处理方法、装置及存储介质。
背景技术
相关技术中，在低光场景下进行视频预览或录制时，会因噪音过重导致画面整体偏暗，视频所呈现的画质水平较差，需对原始视频数据进行降噪处理。在对原始视频数据进行降噪处理过程中，如果处理不当，例如降噪过重，会导致其画面丢失等情况产生，严重影响用户使用体验。
发明内容
为克服相关技术中存在的问题，本公开提供一种视频数据的处理方法、装置及存储介质。
根据本公开实施例的第一方面，提供一种视频数据的处理方法，所述处理方法包括：
在预设场景下，获取当前数据帧；
获取参考数据帧；
根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧；
将所述当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
在一些示例性实施例中，当所述处理方法应用于预览阶段时，所述处理方法还包括：
将前一帧融合数据帧作为参考数据帧，其中所述前一帧融合数据帧包括由前一帧数据帧与所述前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。
在一些示例性实施例中，所述处理方法还包括：
将所述当前数据帧的尺寸下采样至预设尺寸的当前数据帧；
根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧，包括：
根据下采样后的当前数据帧和所述参考数据帧，确定所述当前帧融合数据帧。
在一些示例性实施例中，所述预设尺寸为所述当前数据帧的原尺寸的1/2。
在一些示例性实施例中，所述根据下采样后的当前数据帧和所述参考数据帧，确定所述当前帧融合数据帧，包括：
确定第一融合参数；
根据所述下采样后的当前数据帧、所述参考数据帧和所述第一融合参数，确定当前帧融合数据帧。在一示例性实施例中，
当所述处理方法应用于视频录制阶段时，所述根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧，包括：
按照预设规则，将所述参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧；
根据所述当前数据帧和所述对齐后的参考数据帧，确定当前帧融合数据帧。在一示例性实施例中，所述按照预设规则，将所述参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧，包括：
在相同的坐标系下，将所述参考数据帧中的目标对象与所述当前数据帧中对应的目标对象对齐，形成所述对齐后的参考数据帧。
在一些示例性实施例中，所述根据所述当前数据帧和所述对齐后的参考数据帧，确定当前帧融合数据帧，包括：
确定第二融合参数；
根据所述当前数据帧、所述对齐后的参考数据帧和所述第二融合参数，确定当前帧融合数据帧。
在一些示例性实施例中，当所述当前数据帧为第一帧数据帧时，所述参考数据帧包括：
空白帧或者所述当前数据帧。
在一些示例性实施例中，所述处理方法还包括：
当所述当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。
根据本公开实施例的第二方面，提供一种视频数据的处理装置，所述处理装置包括：
第一获取模块，被配置为在预设场景下，获取当前数据帧；
第二获取模块，被配置为获取参考数据帧；
确定模块，被配置为根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧；
形成模块，被配置为将所述当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
在一些示例性实施例中，所述第二获取模块还被配置为当所述处理方法应用于预览阶段时，将前一帧融合数据帧作为参考数据帧，其中所述前一帧融合数据帧包括由前一帧数据帧与所述前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。
在一些示例性实施例中，所述处理装置还包括：
下采样模块，所述下采样模块被配置为将所述当前数据帧的尺寸下采样至预设尺寸的当前数据帧；
所述确定模块被配置为根据下采样后的当前数据帧和所述参考数据帧，确定所述当前帧融合数据帧。
在一些示例性实施例中，所述预设尺寸为所述当前数据帧的原尺寸的1/2。
在一些示例性实施例中，所述确定模块被配置为：
确定第一融合参数；
根据所述下采样后的当前数据帧、所述参考数据帧和所述第一融合参数，确定当前帧融合数据帧。
在一些示例性实施例中，所述处理装置还包括：
对齐模块，所述对齐模块被配置为：当所述处理方法应用于视频录制阶段时，按照预设规则，将所述参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧；
所述确定模块被配置为：根据所述当前数据帧和所述对齐后的参考数据帧，确定当前帧融合数据帧。
在一些示例性实施例中，所述对齐模块被配置为：
在相同的坐标系下，将所述参考数据帧中的目标对象与所述当前数据帧中对应的目标对象对齐，形成所述对齐后的参考数据帧。
在一些示例性实施例中，所述确定模块被配置为：
确定第二融合参数；
根据所述当前数据帧、所述对齐后的参考数据帧和所述第二融合参数，确定当前帧融合数据帧。
在一些示例性实施例中，所述第二获取模块被配置为：当所述当前数据帧为第一帧数据帧时，获取空白帧或者所述当前数据帧作为所述参考数据帧。
在一些示例性实施例中，所述处理装置还包括：
场景确定模块，所述场景确定模块被配置为当所述当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。
根据本公开实施例的第三方面，提供一种视频数据的处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行本公开示例性的实施例所提供的视频数据的处理方法。
根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理装置的处理器执行时，使得处理装置能够执行本公开示例性的实施例所提供的视频数据的处理方法。
根据本公开实施例的第五方面，提供一种芯片，所述芯片包括：
一个或多个接口电路和一个或多个处理器；所述接口电路用于从处理装置的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，使得所述处理装置执行本公开示例性的实施例所提供的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性的实施例示出的一种视频数据的处理方法的流程图；
图2是根据一示例性的实施例示出的一种视频数据的处理方法的流程图；
图3是根据一示例性的实施例示出的一种在预览阶段的视频数据的处理方法示意图；
图4是根据一示例性的实施例示出的一种视频数据的处理方法的流程图；
图5是根据一示例性的实施例示出的一种视频数据的处理方法的流程图；
图6是根据一示例性的实施例示出的一种在录制阶段的视频数据的处理方法示意图；
图7是根据一示例性的实施例示出的一种视频数据的处理装置示意图；
图8是根据一示例性的实施例示出的一种视频数据的处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在相关技术中，一些视频设备，例如手机，具有视频录制功能，但是拍摄环境的光线强度会影响拍摄质量，如在低光场景，例如夜景，会存在噪声过重的问题，导致画质整体偏暗的情况，因此，其原始视频数据往往通过降噪等处理手段进行去噪处理，从而实现画质提升。但是，降噪过低时无法保证降噪效果，降噪过强又可能会导致其画面丢失等情况产生。
本公开示例性的实施例提供了一种视频数据的处理方法，该处理方法通过卷积神经网络模型执行，其中卷积神经网络模型包括融合模块和降噪模块。该处理方法可应用于预览阶段，该处理方法采用卷积神经网络模型可对视频数据进行raw(图像文件)域降噪，最终可实现预览阶段画质的提升。
如图1所示，图1是根据一示例性的实施例示出的一种视频数据的处理方法的流程图：
步骤S101，在预设场景下，获取当前数据帧；
步骤S102，获取参考数据帧；
步骤S103，根据当前数据帧和参考数据帧，确定当前帧融合数据帧；
步骤S104，将当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
在该示例性的实施例中，考虑到视频设备在光线较差的环境下进行预览时，受环境影响会产生较重噪音，噪音过重又会导致画质较暗，并且采用在降噪处理过程中也可能会导致画面细节丢失。该处理方法在预设场景下，采用的是分别获取当前数据帧与参考数据帧，并将当前数据帧与参考数据帧进行融合处理，如，输入融合模块中进行融合处理。基于融合处理后形成当前帧融合数据帧，对当前帧融合数据帧进行降噪处理，如，输入降噪模块进行处理。由此便形成目标视频数据帧。该处理方法可依托于卷积神经网络来执行，即在卷积神经网络模型中配备有融合模块和降噪模块，经融合模块对视频数据进行融合处理，并经降噪模块对视频数据进行降噪处理后，便能使视频画质得到提升。本公开示例性的实施例所提供的视频数据的处理方法可以应用于视频设备。视频设备可以为任意可以录制视频的设备，例如终端。卷积神经网络模型安装于视频设备中。
预设场景可以为低光场景，例如夜景。可以根据视频预览阶段所获取的当前数据帧的光强，确定当前场景是否为预设场景。例如在夜景中，当前数据帧对应的光强相对较小，当当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。例如，基于该视频数据的处理方法，可在相应的视频设备中设置夜景模式。如，视频设备需在光线较差环境工作时，视频设备确定所获取的当前数据帧小于预设阈值后，可开启夜景模式，此时该设备便可对所采集的视频数据按照上述过程进行处理，使得该视频设备在夜景模式下能够呈现出较佳的画质，提高用户体验。
在本公开示例性的实施例中，当该视频数据的处理方法应用于预览阶段时，其处理方法还包括：将前一帧融合数据帧作为参考数据帧，其中前一帧融合数据帧包括由前一帧数据帧与前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。在本公开示例性的实施例中，该处理方法还包括：将当前数据帧的尺寸下采样至预设尺寸的当前数据帧。在本实施例中，根据当前数据帧和参考数据帧，确定当前帧融合数据帧，包括：根据下采样后的当前数据帧和参考数据帧，确定当前帧融合数据帧。在本公开示例性的实施例中，对当前帧数据进行下采样可以降低对卷积神经网络模型的算力需求，减少后面整个神经网络的计算量，从而降低硬件的功耗，提升硬件的处理速度，处理效率更高。当将该视频数据的处理方法应用于预览阶段时，考虑到当前数据帧直接下采样得到预设尺寸的当前数据帧会降低预览阶段的预览画面细节，该处理方法在对当前数据帧进行下采样后，还需将预设尺寸的当前数据帧与参考数据帧进行融合降噪。该处理方法在进行视频数据处理过程中：获取视频预览阶段的当前数据帧，将当前数据帧的尺寸下采样至预设尺寸的当前数据帧；获取经由融合模块处理后的参考数据帧；将下采样后的当前数据帧和参考数据帧输入至融合模块；利用融合模块将当前数据帧和参考数据帧融合，形成当前帧融合数据帧；将当前帧融合数据帧输入至降噪模块进行降噪处理，便可形成用以预览的视频数据帧。
该处理方法在获取当前数据帧后，并未直接与参考数据帧进行融合处理，而是对当前数据帧进行下采样处理，得到预设尺寸的当前数据帧后与参考数据帧进行融合处理。在该视频数据的处理方法中，对当前数据帧进行下采样处理会使预览阶段的视频画面细节下降，利用卷积神经网络模型的融合模块将预设尺寸的当前数据帧与参考数据帧进行融合处理，通过卷积神经网络模型的降噪模块将融合后得到的当前帧融合数据帧进行降噪处理，使得在预览阶段中的预览画质得到提升。
在本公开示例性的实施例中，预设尺寸为当前数据帧的原尺寸的1/2。如，当前数据帧的原尺寸为4000*3000，对该当前数据帧进行1/2的下采样，下采样后可得到预设尺寸2000*1500的当前数据帧。
在预览阶段，视频设备通过摄像模组获取一帧尺寸为4000*3000的当前数据帧，然后下采样可以采用，例如采用binning(一种图像读出模式)方式进行下采样。下采样的比例可以根据需要设定，例如按照1/2的方式下采样，将当前数据帧的原尺寸4000*3000下采样到2000*1500。此时，尺寸为2000*1500的当前数据帧与融合模块所输出的参考数据帧输入融合模块。由于前一帧视频数据在进入融合模块前，也被进行下采样处理，通过融合模块处理后得到的参考数据帧的尺寸也为2000*1500。利用融合模块将尺寸为2000*1500的当前数据帧与融合模块所输出的参考数据帧进行融合。在经融合模块完成融合处理后，融合模块输出当前帧融合数据帧到降噪模块，然后降噪模块输出一帧用以预览的视频数据帧进入到预览阶段的相关模块进行处理。针对采集到的视频数据，采用该处理方法进行处理后，最终可实现预览阶段画质的提升。需要说明的是，在针对当前数据帧进行下采样时，其下采样倍率可根据实际需要而定，即：在采样时，其下采样倍率不限于2x倍率，还可以是4x倍率、8x倍率等。
在本公开示例性的实施例中，当当前数据帧为第一帧数据帧时，参考数据帧可以包括空白帧和当前数据帧。在实际处理过程中，可以
按照下述方式将当前数据帧输入至所述融合模块：复制当前数据帧，将当前数据帧和所复制后得到的当前数据帧输入至融合模块；或，将当前数据帧和空白帧输入至融合模块；或，放弃第一帧数据帧，即：当前数据帧作为一帧进入融合模块时，另一帧输入为0。
当前数据帧为第一帧数据帧，采用将当前数据帧和所复制后得到的当前数据帧输入至融合模块的方式时：复制当前数据帧，将当前数据帧与所复制后得到的当前数据帧输入至融合模块后，融合模块输出当前帧融合数据帧，该当前帧融合数据帧第一次输出至降噪模块进行降噪处理；相应的，在下一轮融合处理过程中，当前帧融合数据帧则顺次成为参考数据帧，在下一轮融合处理过程中，读取参考数据帧，并与下一轮的当前数据帧在融合模块中进行融合处理，即：融合模块进行第二轮融合处理过程。需要说明的是，当对当前数据帧进行下采样处理时，其复制的当前数据帧也为下采样处理后所得到的预设尺寸的复制的当前数据帧。
当前数据帧为第一帧数据帧，采用将当前数据帧和空白帧输入至融合模块时：在将当前数据帧与空白帧输入至融合模块后，融合模块输出当前帧融合数据帧，该当前帧融合数据帧第一次输出至降噪模块进行降噪处理；相应的，在下一轮融合处理过程中，当前帧融合数据帧顺次为参考数据帧，在下一轮轮融合处理过程中，读取前一帧帧融合数据帧，并与下一轮的当前帧融合数据帧在融合模块中进行融合处理，即：融合模块进行第二轮融合处理过程。需要说明的是，当采用对当前数据帧进行下采样处理时，空白帧也为下采样处理后所得到的预设尺寸的空白帧。
当前数据帧为第一帧数据帧，还可以采用放弃第一帧数据帧的方式：当前数据帧作不作为输入至融合模块的数据帧，而是在获取了第二帧数据帧后，将第一帧数据帧与第二帧数据帧，输入至融合模块经融合模块处理得到当前帧融合数据帧后，输出至降噪模块。需要说明的是，当采用对第二帧数据帧进行下采样处理时，第一帧数据帧也为下采样处理后所得到的预设尺寸的第一帧数据帧。
在本公开示例性的实施例中，如图2所示，图2是根据一示例性的实施例示出的一种视频数据的处理方法的流程图，根据下采样后的当前数据帧和参考数据帧，确定当前帧融合数据帧，包括：
步骤S201，确定第一融合参数；
步骤S202，根据下采样后的当前数据帧、参考数据帧和第一融合参数，确定当前帧融合数据帧。
在本示例性实施例中，为确定当前帧融合数据帧，可以按照下述公式得出当前帧融合数据帧：
y1＝beta1*x1_current+(1.0–beta1)*x1_previous
其中，y1表示输出的当前帧融合数据帧；x1_previous表示参考数据帧；x1_current表示当前数据帧；beta1表示第一融合参数，例如浮点小数。
在本公开示例性的实施例中，将当前帧融合数据帧输入至降噪模块进行降噪处理，形成用以预览的视频数据帧包括：
按照下述公式得出用以预览的视频数据帧：
y1＝x1–n1，
其中x1表示输入当前帧融合数据帧；y1表示输出用以预览的视频数据帧；n1表示图像噪声。
在本公开示例性的实施例中，图3示例性地示出了本公开实施例所提供的在预览阶段的视频数据的处理方法示意图。在图3中，对当前数据帧进行下采样，得到预设尺寸的当前数据帧，结合获取到的参考数据帧，一同输入融合模块301中，从而得到当前帧融合数据帧，将当前帧融合数据帧输入降噪模块302内进行降噪处理后得到目标视频数据帧。其中，该参考数据帧为前一帧融合数据帧，前一帧融合数据帧包括由前一帧数据帧与前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。若当前数据帧为第一帧数据帧，则参考数据帧可以包括空白帧和当前数据帧。
在本公开示例性的实施例中，该处理方法还包括：输出所形成的用以预览的视频数据帧。当当前数据帧通过与参考数据帧融合形成当前帧融合数据帧后，被输入至降噪模块进行降噪得到用以预览的视频数据帧，并将该用以预览的视频数据帧输出，例如输出至预览阶段的相关模块进行处理后，并在视频设备的显示屏上予以显示。
该处理方法采用卷积神经网络模型，先融合后降噪的处理方式，既实现噪声的去除，又避免了过度降噪造成的画质降低的问题。
本公开示例性的实施例提供了一种视频数据的处理方法，该处理方法通过卷积神经网络模型执行，其中卷积神经网络模型包括融合模块和降噪模块。该处理方法应用于视频录制阶段，该处理方法采用设计的卷积神经网络模型可对视频数据进行raw(图像文件)域降噪，最终可实现录制阶段画质的提升。
如图4所示，图4是根据一示例性实施例示出的一种视频数据的处理方法的流程图。当处理方法应用于视频录制阶段时，根据当前数据帧和参考数据帧，确定当前帧融合数据帧，包括：
步骤S401：按照预设规则，将参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧；
步骤S402：根据当前数据帧和对齐后的参考数据帧，确定当前帧融合数据帧。在该示例性的实施例中，考虑到视频设备在光线较差的环境下进行录制时，受环境影响会产生较重噪音，为保证录制视频的画质，需对视频数据进行降噪处理。该处理方法采用的是分别获取当前数据帧与参考数据帧，并按照预设规则将参考数据帧与当前数据帧对齐以得到对齐后的参考数据帧；将当前数据帧与对齐后的参考数据帧进行融合处理，如输入融合模块中进行融合处理，便可得到当前帧融合数据帧，利用降噪模块进行降噪处理，由此便形成能够用以录制的视频数据帧。
该处理方法在获取当前数据帧后，并未直接与参考数据帧进行融合处理，而是将参考数据帧与当前数据帧进行对齐处理，再将对齐后的参考数据帧与当前数据帧进行融合处理。该处理方法通过卷积神经网络模型来实现，使得在录制阶段中的录制画质得到提升。
该处理方法可依托于卷积神经网络来执行，即在卷积神经网络模型中配备有融合模块和降噪模块。在将参考数据帧与当前数据帧进行对齐处理后，将对齐后的参考数据帧与当前数据帧进行融合处理，并经降噪模块对视频数据进行降噪处理后，便能使视频录制阶段的画质得到提升。本公开示例性的实施例所提供的视频数据的处理方法可以应用于视频设备。视频设备可以为任意可以录制视频的设备，例如终端。卷积神经网络模型安装于视频设备中。
预设场景可以为低光场景，例如夜景。可以根据视频录制阶段所获取的当前数据帧的光强，确定当前场景是否为预设场景。例如在夜景中，所获取的视频数据帧对应的光强较小，当当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。例如，基于该视频数据的处理方法，可在相应的视频设备中设置夜景模式。如，视频设备需在光线较差环境工作时，视频设备确定所获取的视频数据帧小于预设阈值后，可开启夜景模式进行视频录制，此时该设备便可对视频录制阶段所采集的视频数据按照上述过程进行处理，使得该视频设备在夜景模式下能够呈现出较佳的画质，提高用户体验。
在本公开示例性的实施例中，按照预设规则，将参考数据帧与当前数据帧对齐，形成对齐后的参考数据帧，包括：
在相同的坐标系下，将参考数据帧中的目标对象与当前数据帧中对应的目标对象对齐，形成对齐后的参考数据帧。
在录制视频时，基于卷积神经网络模型实现对视频数据的处理，包括：获取视频预览阶段的当前数据帧；获取经由融合模块处理后的参考数据帧；在相同的坐标系下，将参考数据帧中的目标对象与当前数据帧中对应的目标对象对齐，形成对齐后的参考数据帧；将当前数据帧和对齐后的参考数据帧输入至融合模块；融合模块将当前数据帧和对齐后的参考数据帧融合，形成当前帧融合数据帧；将当前帧融合数据帧输入至降噪模块进行降噪处理，形成用以录制的视频数据帧。该视频数据的处理方法，基于卷积神经网络模型对当前帧的降噪处理，从而实现噪声的去除和细节的保留。
在本公开示例性的实施例中，当当前数据帧为第一帧数据帧时，，参考数据帧可以包括空白帧和当前数据帧。在实际处理过程中，可以按照下述方式将当前数据帧输入至融合模块：复制当前数据帧，将当前数据帧和所复制后得到的当前数据帧输入至融合模块；或，将当前数据帧和空白帧输入至融合模块。
当前数据帧为第一帧数据帧，采用将当前数据帧和所复制后得到的当前数据帧输入至融合模块的方式时：复制当前数据帧，由于两帧数据帧内容相同，不需要对齐。可以将当前数据帧与所复制后得到的当前数据帧输入至融合模块后，融合模块输出当前帧融合数据帧，该当前帧融合数据帧第一次输出至降噪模块进行降噪处理；相应的，在下一轮融合处理过程中，当前帧融合数据帧则顺次成为参考数据帧，在下一轮融合处理过程中，读取参考数据帧，并与下一轮的当前帧融合数据帧在融合模块中进行融合处理，即：融合模块进行第二轮融合处理过程。
当前数据帧为第一帧数据帧，采用将当前数据帧和空白帧输入至融合模块时：由于是空白帧与当前数据帧融合，空白帧没有内容，则不需要将空白帧与当前数据帧对齐。可以在将当前数据帧与空白帧输入至融合模块后，融合模块输出当前帧融合数据帧，该当前帧融合数据帧第一次输出至降噪模块进行降噪处理；相应的，在下一轮融合处理过程中，当前帧融合数据帧则顺次成为参考数据帧，在下一轮融合处理过程中，读取参考数据帧，并与下一轮的当前帧融合数据帧在融合模块中进行融合处理，即：融合模块进行第二轮融合处理过程。
当前数据帧为第一帧数据帧，还可以采用放弃第一帧数据帧的方式：当前数据帧作不作为输入至融合模块的数据帧，而是在获取了第二帧数据帧后，将第一帧数据帧与第二帧数据帧对齐后，输入至融合模块经融合模块处理得到当前帧融合数据帧后，输出至降噪模块。
在本公开示例性的实施例中，如图5所示，图5是根据一示例性的实施例示出的一种视频数据的处理方法的流程图，根据当前数据帧和对齐后的参考数据帧，确定当前帧融合数据帧，包括：
步骤S501，确定第二融合参数；
步骤S502，根据当前数据帧、对齐后的参考数据帧和第二融合参数，确定当前帧融合数据帧。
在本实施例中，为确定当前帧融合数据帧，可以按照下述公式得出当前帧融合数据帧：
y2＝beta2*x2_current+(1.0–beta2)*x2_previous
其中，y2表示输出的当前帧融合数据帧；x2_previous表示参考数据帧；x2_current表示当前数据帧；beta2表示第二融合参数，例如浮点小数。
在本公开示例性的实施例中，将当前帧融合数据帧输入至降噪模块进行降噪处理，形成用以录制的视频数据帧包括：
按照下述公式得出用以录制的视频数据帧：
y2＝x2–n2，
其中x2表示输入当前帧融合数据帧，y2表示输出用以录制的视频数据帧，n2表示图像噪声。
在本公开示例性的实施例中，该处理方法还包括：输出所形成的用以录制的视频数据帧。当当前数据帧通过与参考数据帧对齐，并通过融合模块融合形成当前帧融合数据帧后，被输入至降噪模块进行降噪得到用以录制的视频数据帧，并将该用以录制的视频数据帧输出，例如输出至录制阶段的相关模块进行处理后，并在视频设备完成录制。
该处理方法采用卷积神经网络模型，先融合后降噪的处理方式，既实现噪声的去除，又避免了过度降噪造成的画质降低的问题。
在本公开示例性的实施例中，处理方法还包括：输出所形成的用以录制的视频数据帧。
在本公开示例性的实施例中，图6示例性地示出了本公开实施例所提供的在录制阶段的视频数据的处理方法示意图。在图6中，按照预设规则，将参考数据帧与当前数据帧对齐，即：基于当前数据帧，利用对齐模块603对参考数据帧进行对齐处理，获得对齐后的参考数据帧，再与当前数据帧一同输入融合模块601中，从而得到当前帧融合数据帧，将当前帧融合数据帧输入降噪模块602内进行降噪处理后得到目标视频数据帧。其中，该参考数据帧为前一帧融合数据帧，前一帧融合数据帧包括由前一帧数据帧与前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。若当前数据帧为第一帧数据帧，则参考数据帧可以包括空白帧和当前数据帧。
本公开示例性的实施例提供了一种视频数据的处理装置，该处理装置通过卷积神经网络模型执行视频数据的处理方法，其中卷积神经网络模型包括融合模块和降噪模块。
如图7所示，图7是根据一示例性实施例示出的一种视频数据的处理装置示意图。该处理装置应用于预览阶段，处理装置700包括：
第一获取模块701，被配置为在预设场景下，获取当前数据帧；
第二获取模块702，被配置为获取参考数据帧；
确定模块703，被配置为根据当前数据帧和参考数据帧，确定当前帧融合数据帧；
形成模块704，被配置为将当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
在一些示例性实施例中，第二获取模块还被配置为当处理方法应用于预览阶段时，将前一帧融合数据帧作为参考数据帧，其中前一帧融合数据帧包括由前一帧数据帧与前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。
在一些示例性实施例中，处理装置还包括：
下采样模块，下采样模块被配置为将当前数据帧的尺寸下采样至预设尺寸的当前数据帧；
确定模块被配置为根据下采样后的当前数据帧和参考数据帧，确定当前帧融合数据帧。
在一些示例性实施例中，预设尺寸为当前数据帧的原尺寸的1/2。
在一些示例性实施例中，确定模块被配置为：
确定第一融合参数；
根据下采样后的当前数据帧、参考数据帧和第一融合参数，确定当前帧融合数据帧。
在一些示例性实施例中，处理装置还包括：
对齐模块，对齐模块被配置为：当处理方法应用于视频录制阶段时，按照预设规则，将参考数据帧与当前数据帧对齐，形成对齐后的参考数据帧；
确定模块被配置为：根据当前数据帧和对齐后的参考数据帧，确定当前帧融合数据帧。
在一些示例性实施例中，对齐模块被配置为：
在相同的坐标系下，将参考数据帧中的目标对象与当前数据帧中对应的目标对象对齐，形成对齐后的参考数据帧。
在一些示例性实施例中，确定模块被配置为：
确定第二融合参数；
根据当前数据帧、对齐后的参考数据帧和第二融合参数，确定当前帧融合数据帧。
在一些示例性实施例中，第二获取模块被配置为：当当前数据帧为第一帧数据帧时，获取空白帧或者当前数据帧作为参考数据帧。
在一些示例性实施例中，处理装置还包括：
场景确定模块，场景确定模块被配置为当当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开示例性的实施例提供了一种芯片，该芯片包括：
一个或多个接口电路和一个或多个处理器；接口电路用于从处理装置的存储器接收信号，并向处理器发送所述信号，信号包括存储器中存储的计算机指令；当处理器执行计算机指令时，使得处理装置执行本公开示例性的实施例所提供的方法。
图8是根据一示例性实施例示出的一种视频数据的处理装置的框图。例如，装置1000可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图8，装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电力组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在设备1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件1006为装置1000的各种组件提供电力。电力组件1006可以包括电源管理***，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当设备1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到设备1000的打开/关闭状态，组件的相对定位，例如所述组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种视频数据的处理装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，该处理器被配置为执行根据本公开上述实施例所提供的视频数据的处理方法
一种非临时性计算机可读存储介质，当存储介质中的指令由视频数据的处理装置的处理器执行时，使得视频数据的处理装置能够执行本公开示例性的实施例所提供的视频数据的处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (14)
1.一种视频数据的处理方法，其特征在于，所述处理方法包括：
在预设场景下，获取当前数据帧；
获取参考数据帧；
根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧；
将所述当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
2.根据权利要求1所述的视频数据的处理方法，其特征在于，当所述处理方法应用于预览阶段时，所述处理方法还包括：
将前一帧融合数据帧作为参考数据帧，其中所述前一帧融合数据帧包括由前一帧数据帧与所述前一帧数据帧对应的参考数据帧进行融合所获得的融合数据帧。
3.根据权利要求2所述的视频数据的处理方法，其特征在于，所述处理方法还包括：
将所述当前数据帧的尺寸下采样至预设尺寸的当前数据帧；
根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧，包括：
根据下采样后的当前数据帧和所述参考数据帧，确定所述当前帧融合数据帧。
4.根据权利要求3所述的视频数据的处理方法，其特征在于，所述预设尺寸为所述当前数据帧的原尺寸的1/2。
5.根据权利要求3所述的视频数据的处理方法，其特征在于，所述根据下采样后的当前数据帧和所述参考数据帧，确定所述当前帧融合数据帧，包括：
确定第一融合参数；
根据所述下采样后的当前数据帧、所述参考数据帧和所述第一融合参数，确定当前帧融合数据帧。
6.根据权利要求1所述的视频数据的处理方法，其特征在于，当所述处理方法应用于视频录制阶段时，所述根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧，包括：
按照预设规则，将所述参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧；
根据所述当前数据帧和所述对齐后的参考数据帧，确定当前帧融合数据帧。
7.根据权利要求6所述的视频数据的处理方法，其特征在于，所述按照预设规则，将所述参考数据帧与所述当前数据帧对齐，形成对齐后的参考数据帧，包括：
在相同的坐标系下，将所述参考数据帧中的目标对象与所述当前数据帧中对应的目标对象对齐，形成所述对齐后的参考数据帧。
8.根据权利要求6所述的视频数据的处理方法，其特征在于，所述根据所述当前数据帧和所述对齐后的参考数据帧，确定当前帧融合数据帧，包括：
确定第二融合参数；
根据所述当前数据帧、所述对齐后的参考数据帧和所述第二融合参数，确定当前帧融合数据帧。
9.根据权利要求1所述的视频数据的处理方法，其特征在于，当所述当前数据帧为第一帧数据帧时，所述参考数据帧包括：
空白帧或者所述当前数据帧。
10.根据权利要求1所述的视频数据的处理方法，其特征在于，所述处理方法还包括：
当所述当前数据帧的光强小于预设阈值时，确定当前场景为预设场景。
11.一种视频数据的处理装置，其特征在于，所述处理装置包括：
第一获取模块，被配置为在预设场景下，获取当前数据帧；
第二获取模块，被配置为获取参考数据帧；
确定模块，被配置为根据所述当前数据帧和所述参考数据帧，确定当前帧融合数据帧；
形成模块，被配置为将所述当前帧融合数据帧进行降噪处理，形成目标视频数据帧。
12.一种视频数据的处理装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-10任一所述的视频数据的处理方法。
13.一种非临时性计算机可读存储介质，其特征在于，当所述存储介质中的指令由处理装置的处理器执行时，使得处理装置能够执行权利要求1-10任一所述的视频数据的处理方法。
14.一种芯片，其特征在于，所述芯片包括：
一个或多个接口电路和一个或多个处理器；所述接口电路用于从处理装置的存储器接收信号，并向所述处理器发送所述信号，所述信号包括存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，使得所述处理装置执行权利要求1至10任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210784516.4A CN116402695A (zh) | 2022-06-28 | 2022-06-28 | 视频数据的处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210784516.4A CN116402695A (zh) | 2022-06-28 | 2022-06-28 | 视频数据的处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116402695A true CN116402695A (zh) | 2023-07-07 |
Family
ID=87012855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210784516.4A Pending CN116402695A (zh) | 2022-06-28 | 2022-06-28 | 视频数据的处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402695A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109246332A (zh) * | 2018-08-31 | 2019-01-18 | 北京达佳互联信息技术有限公司 | 视频流降噪方法和装置、电子设备及存储介质 |
| CN110121882A (zh) * | 2017-10-13 | 2019-08-13 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN113315884A (zh) * | 2020-02-26 | 2021-08-27 | 华为技术有限公司 | 一种实时视频降噪方法、装置、终端及存储介质 |
| CN114373472A (zh) * | 2020-10-14 | 2022-04-19 | 阿里巴巴集团控股有限公司 | 一种音频降噪方法、设备、***及存储介质 |
-
2022
- 2022-06-28 CN CN202210784516.4A patent/CN116402695A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110121882A (zh) * | 2017-10-13 | 2019-08-13 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN109246332A (zh) * | 2018-08-31 | 2019-01-18 | 北京达佳互联信息技术有限公司 | 视频流降噪方法和装置、电子设备及存储介质 |
| CN113315884A (zh) * | 2020-02-26 | 2021-08-27 | 华为技术有限公司 | 一种实时视频降噪方法、装置、终端及存储介质 |
| CN114373472A (zh) * | 2020-10-14 | 2022-04-19 | 阿里巴巴集团控股有限公司 | 一种音频降噪方法、设备、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108419016B (zh) | 拍摄方法、装置及终端 | |
| CN106657780B (zh) | 图像预览方法和装置 | |
| CN110557547B (zh) | 镜头位置调整方法及装置 | |
| JP2017526316A (ja) | 動画ファイルの識別子を処理する方法、装置、プログラム及び記録媒体 | |
| CN104869314A (zh) | 拍照方法及装置 | |
| CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
| CN105208284A (zh) | 拍摄提醒方法及装置 | |
| CN110876014B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
| CN112188096A (zh) | 拍照方法及装置、终端及存储介质 | |
| CN111461950B (zh) | 图像处理方法及装置 | |
| CN110874829B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN116402695A (zh) | 视频数据的处理方法、装置及存储介质 | |
| CN107707819B (zh) | 图像拍摄方法、装置及存储介质 | |
| CN107682623B (zh) | 拍照方法及装置 | |
| CN114418865A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN114339018B (zh) | 镜头切换的方法、装置及存储介质 | |
| CN114339017B (zh) | 远景对焦方法、装置及存储介质 | |
| CN110876013B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| CN110876015B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 | |
| CN112188095B (zh) | 拍照方法、拍照装置及存储介质 | |
| CN106959875B (zh) | 前置摄像头的打开方法、装置及设备 | |
| CN117956268A (zh) | 预览帧率控制方法及其装置 | |
| CN116489498A (zh) | 图像预览方法、图像预览装置、电子设备及存储介质 | |
| CN116546314A (zh) | 功耗控制方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |