CN114401405A

CN114401405A - 一种视频编码方法、介质及电子设备

Info

Publication number: CN114401405A
Application number: CN202210042341.XA
Authority: CN
Inventors: 郑晓明; 谭贤波; 罗昭; 门硕
Original assignee: ARM Technology China Co Ltd
Current assignee: ARM Technology China Co Ltd
Priority date: 2022-01-14
Filing date: 2022-01-14
Publication date: 2022-04-26

Abstract

本申请涉及视频编码技术领域，特别涉及一种视频编码方法、介质及电子设备。该方法包括：图像信号处理器获取第一视频数据；图像信号处理器对第一视频数据中的各帧图像进行图像处理得到第二视频数据，并将图像处理过程中得到的中间参数存储于存储器中；视频处理单元从图像信号处理器获取第二视频数据，从存储器获取中间参数，并基于获取的中间参数对第二视频数据进编码。如此，视频处理单元可以直接从存储器中获取中间参数，减少了视频处理单元重新计算运动矢量这种在图像信号处理器中图像信号处理器已经计算过的中间参数，降低了视频编码时长，提高了视频编码效率。

Description

一种视频编码方法、介质及电子设备

技术领域

本申请涉及视频编码技术领域，特别涉及一种视频编码方法、介质及电子设备。

背景技术

随着互联网技术的不断发展与普及，人们的生活中越来越多的涉及到跨设备的视频播放功能，例如将本地设备拍摄的视频发送给另一电子设备进行播放。

通常，如果视频数据未经编码压缩就直接进行跨设备传输，数据量很大，容易造成较长的传输时延。因此，为了降低视频传输过程中的数据量，避免较长的传输时延，电子设备在发送视频之前，需要通过视频编码压缩技术对视频进行编码。

发明内容

本申请实施例提供了一种视频编码方法、介质及电子设备。

第一方面，本申请实施例提供了一种视频编码方法，所述方法应用于电子设备，所述电子设备包括图像信号处理器、视频处理单元和存储器，所述方法包括：

所述图像信号处理器获取第一视频数据；

所述图像信号处理器对所述第一视频数据中的各帧图像进行图像处理得到第二视频数据，并将所述图像处理过程中得到的中间参数存储于所述存储器中；

所述视频处理单元从所述图像信号处理器获取所述第二视频数据，并对所述第二视频数据进行编码，得到编码视频数据，其中，

所述视频处理单元对所述第二视频数据进行编码包括：

从所述存储器获取所述中间参数，并基于获取的所述中间参数对所述第二视频数据进编码。

如此，视频处理单元可以直接从存储器中获取中间参数，减少了视频处理单元重新计算运动矢量这种在图像信号处理器中图像信号处理器已经计算过的中间参数，降低了视频编码时长，提高了视频编码效率。

在上述第一方面的一种可能的实现中，所述中间参数包括运动矢量。

在上述第一方面的一种可能的实现中，所述从所述存储器获取所述运动矢量，并基于获取的所述运动矢量对所述第二视频数据进编码，包括：

所述视频处理单元基于所述运动矢量从所述第二视频数据中各相邻两帧图像中的各当前块搜索到各参考块；

对所述第二视频数据进行处理得到各相邻两帧图像的差值信息，其中，所述差值信息包括所述第二视频数据中各相邻两帧图像中所有当前块与参考块的像素差值和运动矢量；

所述视频处理单元对所述第二视频数据中的I帧图像、I帧图像中各参考块的坐标以及各相邻两帧的差值信息进行编码。

在上述第一方面的一种可能的实现中，所述视频处理单元基于所述运动矢量从各相邻两帧图像中各当前块找到各参考块，包括：

所述视频处理单元基于所述运动矢量对所述第二视频数据进行整数像素运动估计，从各相邻两帧图像中各当前块找到与之匹配的各第一参考块；

所述视频处理单元对各所述第一参考块进行小数像素运动估计，从各相邻两帧图像中各当前块找到与之匹配的各第二参考块。

在上述第一方面的一种可能的实现中，所述小数像素运动估计包括1/4像素运动估计和/或1/2像素运动估计。

在上述第一方面的一种可能的实现中，所述电子设备包括以下任意一种：

膝上型计算机、台式计算机、平板、手机、服务器、可穿戴设备、便携式游戏机和电视机。

在上述第一方面的一种可能的实现中，所述图像处理包括图像降噪处理。

在上述第一方面的一种可能的实现中，所述图像降噪处理包括3D降噪处理。

第二方面，本申请实施例提供了一种可读介质，所述可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行第一方面中任一项所述的视频编码方法。

第三方面，本申请实施例提供了一种电子设备，包括：

存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及

处理器，是电子设备的处理器之一，用于执行第一方面中任一项所述的视频编码方法。

附图说明

图1根据本申请的一些实施例，示出了一种运动矢量计算的过程示意图；

图2根据本申请的一些实施例，示出了一种视频数据编码方法的应用场景示意图；

图3根据本申请的一些实施例，示出了一种适应于本申请提供的视频编码方法的手机100的结构示意图；

图4根据本申请的一些实施例，示出了手机100采用本申请提供的视频编码方法，对获取的视频数据进行编码的流程示意图；

图5根据本申请的一些实施例，示出了一种ISP102的结构示意图；

图6示出了一种通用功能模块对图像数据进行处理的过程示意图；

图7根据本申请的一些实施例，示出了一种适应于本申请视频编码方法的手机100的结构示意图。

具体实施方式

本申请的说明性实施例包括但不限于一种视频编码方法、介质及电子设备。

为了更好地说明本申请实施例的方案，下面先对本申请实施例涉及的术语“运动矢量”、“运动估计”和“视频编码”进行介绍。

(a)运动矢量(MotionVector,MV)，运动矢量是视频编码压缩中的重要参数，运动矢量包括相邻两帧图像中当前图像中当前块与其参考图像中的参考块之间的相对位移，其中，当前块和参考块是相邻两帧图像中同一目标物体的同一区域，但由于在一段视频中目标物体是有可能处于运动状态，因此当前块中的目标物体和参考块中的目标物体有可能存在像素差异。

例如，图1根据本申请的一些实施例，示出了一种运动矢量计算的过程示意图，如图1所示，第K-1帧参考帧图像和第K帧当前帧图像为视频中相邻两帧图像，第K-1帧参考图像中有表示用户1头部的像素块1’，像素块1’为参考块，像素块1’左上角A’的坐标为(i,j)。第K帧当前帧图像中有表示用户1头部的像素块1，像素块1为当前块，像素块1左上角A的坐标为(x,y)，则MV包括坐标为(i,j)与坐标为(x,y)之间的差值(i-x,j-y)。其中，像素块1’和像素块1 的尺寸为NxN，N为像素的数量。

其中，上述参考块一般可以通过块匹配算法(BloekMatehingA gorithm,简称BMA)得到,其主要思想是将一帧图象划分为NxN大小的像素块,然后每个块按照一定的匹配准则在前一帧的搜索范围内从多个像素块中查找到满足匹配条件的参考块。此外，可以理解的是，在其他一些实施例中，上述参考块还可以通过其他算法得到。

(b)运动估计(motion estimation,ME)，得到运动矢量的过程被称为运动估计。运动估计的基本思想是将视频(图像序列)的每一帧图像分成许多互不重叠的像素块，并认为像素块内所有像素的位移量都相同，然后对每个像素块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块满足匹配条件的块，即参考块，参考块与当前块的相对位移即为运动矢量。

(c)I帧

I帧是一种自带一帧图像的全部信息的独立帧。I帧的编码和解码过程不依赖I帧以外的其他图像，可以独立编码、解码，解码时仅用I帧的数据就可重构完整图像。由于I帧携带有一帧图像的全部信息，因此I帧的数据量一般比较大，接近一幅静态图像的压缩图片大小，I帧的传输时间较长。一般情况下，视频中的首帧即为I帧。

(d)P帧

P帧的编码需要依赖P帧之前的P帧或I帧，对P帧进行编码是对P帧对应的一帧图像和前一帧图像的差值信息进行压缩编码，其中，一帧图像包含多个当前块，差值信息包括视频数据中各相邻两帧图像中所有当前块与参考块的像素差值和运动矢量。

可以理解，P帧不能独立解码，需要依赖该P帧前一帧的P帧或I帧进行解码。P帧解码时必须将前一帧图像和差值信息求和后才能重构完整的P帧图像。由于P帧编码的是差值信息，因此P帧的数据量一般比较小，可以在一帧时间内传输完。

(e)视频编码，本申请实施例中，在编码阶段，电子设备中的视频编解码器对I帧图像、I帧图像中各参考块的坐标以及相邻两帧的差值信息进行编码。在解码阶段，电子设备中的视频编解码器便可以对I帧图像、I帧图像中各参考块的坐标以及相邻两帧的差值信息进行求和后构建完整的各帧图像。可以理解的是，由于在对视频编码时，是按照时间顺序依次对各帧图像进行编码的，同样地，在对视频进行编码时，也是按照时间顺序依次对各帧图像进行解码的。因此，可以根据I帧图像、I帧图像中各参考块的坐标和视频中每相邻的两帧图像之间的差值信息，解码得到视频中的各帧图像。

本申请采用的视频编码方法可以应用到任意一种涉及视频数据传输的应用场景，包括视频通话、实时视频会议、固定或移动的可视电话、视频监控、流媒体等应用场景，但不限于此。

可以理解，本申请提供的视频编码方法适用于任意一种具有视频拍摄及视频处理功能的电子设备，电子设备可以包括但不限于：膝上型计算机、台式计算机、平板、手机、服务器、可穿戴设备、便携式游戏机、电视机等。下面将以手机为例对本申请的实施例作进一步地详细介绍。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施例作进一步地详细介绍。

为了便于说明本申请的技术方案，下面以视频通话的应用场景为例进行说明，但是可以理解，本申请的技术方案还适用于其他应用场景中，不限于此。

一种视频通话应用场景下的视频编码方案如下：

图2根据本申请的一些实施例，示出了一种视频数据编码方法的应用场景示意图。如图2所示，用户1和用户2分别利用手机100和手机200进行视频通话，在该视频通话过程中，手机100需要对采集的包括用户1的视频数据中I帧图像、 I帧图像中各参考块的坐标以及各相邻两帧的差值信息进行编码，发送给手机 200；同样地，手机200需要对采集的包括用户2的视频数据中I帧图像、I帧图像中各参考块的坐标以及各相邻两帧的差值信息进行编码发送给手机100。下面将以手机100从采集视频到对视频进行编码为例，介绍本申请的技术方案。

图3根据本申请的一些实施例，示出了一种适应于本申请提供的视频编码方法的手机100的结构示意图。手机100从采集视频到对视频进行编码的具体方案将结合图3所述的手机100的结构说明。

手机100包括摄像头101、图像信号处理器(Image Signal Processing， ISP)102、视频处理单元(Video Processing Unit，VPU)103、显示屏104、存储器105。

下面结合图3所示的手机100的结构图，对手机100从采集视频到对视频进行编码的一种过程进行大致介绍，具体内容如下：

如图3所示，摄像头101采集视频数据，将视频数据传输到图像信号处理器 (ImageSignal Processing，ISP)102进行优化处理，优化处理可以包括但不限于以下任意一种或多种：降噪(Denoise)、坏点矫正(bad pixel correction， BPC)、黑电平补偿(black levelcorrection，BLC)、自动白平衡(automatic white balance，AWB)、伽马矫正(GammaCorrection)、颜色矫正(Color Correction)、边缘增强、亮度、对比度、色度调整等处理。ISP102将优化处理后的视频数据发送至视频处理单元(Video Processing Unit，VPU)103这一视频编解码器进行编码，视频处理单元103便可以将编码后的视频数据发送至手机200，如此，手机200对编码后的视频数据进行解码后，将包含用户1的视频显示在手机200的界面上。

需要说明的是，在图2所示的应用场景中，ISP102对视频数据进行优化处理过程(例如3D去噪)中的中间结果有运动矢量，而由于优化和编码是两个相对独立的过程，该运动矢量一般情况下不随着优化后的视频数据发送至VPU103, 而是ISP102直接将优化处理后的视频数据发送至VPU103。

然后，VPU103对从ISP102中接收到的优化后的视频数据进行编码的过程中，需要先对优化后的视频数据进行处理得到I帧图像、I帧图像中各参考块的坐标以及各相邻两帧的差值信息，其中，差值信息包括优化后的视频数据种各相邻两帧图像中所有当前块与参考块的像素差值和运动矢量，再对I帧图像、I帧图像中各参考块的坐标以及各相邻两帧的差值信息进行编码。

基于上述视频编码方案，VPU103在视频编码的视频数据处理阶段，需要利用大量算法再次重新对优化后的视频数据进行处理，从各相邻两帧图像中各当前块找到各参考块，即需要重新计算运动矢量这种在ISP102中ISP102已经计算过的参数。然后对优化后的视频数据中各相邻两帧图像进行处理得到前述差值信息，视频编码耗费较多时长，视频编码效率较低。

为了解决前述技术问题，本申请实施例提出了一种相较于上述实施例较快速的视频编码方法，本申请实施例提供的视频编码方法为:图像信号处理器将视频数据优化处理过程中的运动矢量这一中间结果存储至存储器中，视频处理单元将图像信号处理单元发送的优化后的视频数据进行编码处理的过程中，直接从存储器中获取运动矢量这一中间结果，基于该运动矢量快速找到各相邻两帧图像中与各当前块相匹配的各参考块，然后再对优化后的视频数据进行处理得到各相邻两帧图像中各当前块和各参考块之间的像素差值，然后对I帧图像、I帧图像中各参考块的坐标、各相邻两帧图像中各当前块和各参考块之间的像素差值以及直接得到的各相邻两帧的运动矢量进行编码。

如此，VPU103对优化后的视频数据进行处理得到各相邻两帧图像中各当前块和各参考块之间的像素差值的过程中，可以直接用到从存储器105中获取的运动矢量快速搜索到与当前块对应的参考块，减少了搜索计算量，省去了搜索时间，降低了视频编码时长，提高了视频编码效率。

例如，对应于图2所示的应用场景，如图3所示，摄像头101采集视频数据，将视频数据传输到ISP102进行优化处理，ISP102将视频数据优化处理过程中的运动矢量这一中间结果存储至存储器105中，VPU103将ISP102发送的优化后的视频数据进行编码处理的过程中，直接从存储器105中获取运动矢量这一中间结果，基于该运动矢量快速找到各相邻两帧图像中与各当前块相匹配的各参考块，然后再对优化后的视频数据进行处理得到各相邻两帧图像中各当前块和各参考块之间的像素差值，然后对I帧图像、I帧图像中各参考块的坐标、各相邻两帧图像中各当前块和各参考块之间的像素差值以及直接得到的各相邻两帧的运动矢量进行编码。

可以理解，在其他一些实施例中，除了运动矢量外，存储器105还可以存储 ISP102和VPU103均需要的其他中间参数。如此，VPU103便可以在编码过程中直接调用该中间参数。降低了视频编码时长，提高了视频编码效率。

对应于图2的应用场景以及图3的结构，图4根据本申请的一些实施例，示出了手机100采用本申请提供的视频编码方法，对获取的视频数据进行编码的流程示意图。具体地，如图4所示，该流程包括如下步骤：

401：ISP102获取视频数据。

可以理解，视频是动态的，是由多帧连续图像组成的运动图像序列，视频数据包括运动图像序列数据。

可以理解，在图1所示的视频通话场景中，手机100利用摄像头101拍摄用户1的视频，并将该视频对应的视频数据发送至ISP102中，ISP102便获取到视频数据。

402：ISP102对视频数据进行优化处理，得到优化处理后的视频数据和运动矢量。

可以理解，摄像头101中图像传感器用于将通过摄像头101收集的景物反射的光信号转换为电信号，生成原始图像(RAW)数据，多帧连读的图像数据组成待优化处理的视频数据。

优化处理可以包括但不限于以下任意一种或多种：降噪(Denoise)、坏点矫正(badpixel correction，BPC)、黑电平补偿(black level correction， BLC)、自动白平衡(automatic white balance，AWB)、伽马矫正(Gamma Correction)、颜色矫正(ColorCorrection)、边缘增强、亮度、对比度、色度调整等处理。当图像传感器将RAW格式的图像数据传递给图像信号处理器1020 时，先通过上述优化处理。

可以理解，图像传感器可以是电荷耦合器件(charge coupled device，CCD) 或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS) 光电晶体管通成。CCD和CMOS感光元件都存在有热稳定性(hot pixel)的问题，成像的质量与温度有关，如果摄像头101的温度升高，噪音信号过强，会在画面上不应该有的地方形成杂色的斑点，这些斑点即噪点，由于图像，噪音信号的出现是随机的，因此每一帧图像出现的，噪音信号是不相同的。3D降噪(3D DNR) 通过对比相邻的几帧图像，将不重叠的信息(即噪音信号)自动滤出，减少图像噪点，使得图像更透彻，从而显示出比较纯净细腻的画面。

ISP102对从摄像头101接收到的视频数据进行视频降噪过程中需要使用运动估计，ISP102对视频数据进行运动估计处理，得到运动矢量。

例如，如图1所示，第K-1帧参考帧图像和第K帧当前帧图像为视频中相邻两帧图像，第K-1帧参考图像中有表示用户1头部的像素块1’，像素块1’为参考块，像素块1’左上角A’的坐标为(i,j)。第K帧当前帧图像中有表示用户 1头部的像素块1，像素块1为当前块，像素块1左上角A的坐标为(x,y)，则 MV为坐标为(i,j)与坐标为(x,y)之间的差值(i-x,j-y)。其中，像素块1’和像素块1的尺寸为NxN，N为像素的数量。

可以理解，在应用块匹配运动算法时，首先需要在当前帧中选取一个n*n 大小的像素块(当前块)。然后在当前帧的前一帧图像中选取N*N的搜索窗口，并且需要保证该搜索窗口与当前帧中n*n的像素块中在空间坐标上重合，然后按照一定的匹配规则，以一定的步长在当前帧的前一帧图像中移动搜索窗口，寻找符合匹配条件的像素块，该符合匹配条件的像素块即参考块。

例如，如图1所示，在应用块匹配运动算法时，首先需要在第K帧图像(当前帧图像)中选取表示用户1头部的像素块1，像素块1的尺寸为n*n。然后在第K-1帧图像(参考帧图像))中选取N*N的搜索窗口s，并且需要保证该搜索窗口与n*n大小的像素块1在空间坐标上重合，然后按照一定的匹配规则，以一定的步长在第K-1帧图像中移动搜索窗口，寻找同样表示用户1头部的像素块 1’，该像素块1’即参考块。

可以理解，在块匹配运动估计算法中常用的匹配规则一般可分为两类：最小均方误差(Minimum Mean Square Deviation,MMS)匹配和最小绝对误差(Minimum AbsoluteDaviation,MAD)匹配。

403：ISP102向存储器105发送运动矢量。

也即ISP102将运动矢量数据写入存储器105。

404：存储器105存储运动矢量。

可以理解，ISP102对视频数据进行视频降噪处理的过程中会使用运动估计，以及VPU103视频编码中也会使用运动估计技术，摄像头101从采集视频数据到 VPU103对从ISP102接收到的视频数据进行编码的过程中，ISP102和VPU1023 各自独立应用了运动估计算法，而运动估计计算量大，耗时长，占用了VPU1023 整体编码时间的大约40％。

本申请实施例提供的视频编码方案中，为了节省VPU103视频编码中使用运动估计技术得到运动矢量的编码时间，ISP102利用运动估计计算视频中每帧图像的运动矢量数据，然后将运动矢量数据写入存储器105中，当VPU103对采集到的视频帧编码时，可以直接从存储器105中读取运动矢量数据并使用。

可以理解，在一些实施例中，为保护数据安全，此处的存储器105空间应设计为对ISP102组件的访问权限为可读写，对VPU103的访问权限为只读，其他组件没有访问存储器105的权限。

405：VPU103从ISP102获取处理后的视频数据。

也即VPU103从ISP102中读取处理后的视频数据。

406：VPU103从存储器105获取运动矢量数据。

也即VPU103从存储器105读取运动矢量数据。

407：VPU103基于运动矢量数据和优化处理后的视频数据得到各相邻两帧图像中当前块和参考块之间的像素差值。

VPU103在编码过程将运动估计(Motion Estimation，ME)分成两级，第一级为粗运动估计(Rough motion Estimation,RME)，即整数像素的运动估计。例如，以单位像素为搜索步长移动搜索窗口，逐点计算当前帧的像素块与参考帧中的像素块的相似度，满足相似度的即为参考块。

第二级为细运动估计(Fine motion Estimation，FME)，即小数像素的运动估计。RME对当前帧中的当前块进行整数像素的运动估计找出符合匹配条件的参考块，该参考块输出到第二级细运动估计(Fine motion Estimation，FME)进行小数像素的匹配搜索。

例如，以小数像素为搜索步长移动搜索窗口，逐点计算当前帧的像素块与参考帧中的像素块的相似度，满足相似度的即为参考块。小数像素可以为1/2像素、 1/4像素等。

可以理解，本申请实施例可以将ISP102在3D降噪(3D DNR)过程中得到的 MV作为VPU103的输入，为RME额外提供一个可信度比较高的候选MV，RME可以根据该MV决定在搜索区域内哪个方向和范围需要利用更多的计算资源来进行运动估计。如此，VPU103对优化后的视频数据进行处理得到各相邻两帧图像中各当前块和各参考块之间的像素差值的过程中，可以直接用到从存储器105中获取的运动矢量快速搜索到与当前块对应的参考块，减少了搜索计算量，省去了搜索时间，降低了视频编码时长，提高了视频编码效率。

应理解，本申请实施例不限定步骤407必须在步骤406之后执行。步骤407 也可以在步骤406之前或者与步骤406同时执行，步骤407只要在步骤408之前执行完成即可。

408：VPU103对I帧图像、I帧图像中各参考块的坐标、相邻两帧图像中当前块和参考块之间的像素差值以及直接得到的运动矢量进行编码。

可以理解，VPU103将ISP102发送的优化后的视频数据进行编码处理的过程中，直接从存储器105中获取运动矢量这一中间结果，只需要对优化后的视频数据进行处理得到各相邻两帧图像中当前块和参考块之间的像素差值，然后对I 帧图像、I帧图像中各参考块的坐标、各相邻两帧图像中当前块和参考块之间的像素差值以及直接得到的运动矢量进行编码。

如此，省去了VPU103对视频数据再进行处理得到运动矢量的时间，在一定程度上提高了视频编码效率。

图5根据本申请的一些实施例，示出了一种ISP102的结构示意图。如图5 所示，ISP102是用于图像数据处理的专用集成电路(application-specific integratedcircuit，ASIC)，用于对图像传感器102形成的图像数据进行进一步处理，以获得更好的图像质量。

ISP102包括处理器1021、图像传输接口1022、通用***设备1023、填充模块1024和通用功能模块1025。

其中，处理器1021用于ISP102中的逻辑控制和调度。

图像传输接口1022用于图像数据的传输。

通用***设备1023包括但不限于：用于耦接ISP102的各个模块的总线及其控制器，用于与其他设备耦接的总线，例如高级高性能总线(advanced high-performance bus，AHB)，可以使ISP与其他设备(如DSP、CPU等)进行高性能通信；用于监控ISP工作状态的看门狗单元(WATCHDOG)。

填充模块1024，用于根据NPU中图像处理模型，例如深度学习模型，对输入数据的要求，对图像数据进行填充运算。

通用功能模块1025用于对输入ISP102的图像进行处理，包括但不限于：坏点矫正(bad pixel correction，BPC)、黑电平补偿(black level correction， BLC)、自动白平衡(automatic white balance，AWB)、伽马矫正(Gamma Correction)、颜色矫正(ColorCorrection)、降噪(Denoise)、边缘增强、亮度、对比度、色度调整等。当图像传感器将RAW格式的图像数据传递给图像信号处理器1020时，先由通过功能模块进行处理。通用功能模块1025对图像数据进行处理的过程将在下文结合图7进行详细介绍，这里不再展开描述。

可以理解，图5所示的ISP102的结构只是一种示例，本领域的技术人员应当理解，其可以包含更多或更少的模块，也可以组合或者拆分部分模块，本申请实施例不作限定。

通用功能模块可以包括RAW域处理模块1025a、YUV域处理模块1025b和RGB 域处理模块1025c，图6示出了一种通用功能模块对图像数据进行处理的过程示意图，处理过程如下：

RAW域处理模块1025a对图像数据进行坏点矫正、黑电平矫正和自动白平衡。

经过RAW域处理后的图像数据经过RGB插值后得到RGB域的图像数据，再由 RGB域处理模块1025c对RGB域的图像数据进行伽马矫正和颜色校正。

经过RGB域处理的图像数据经过色域转换得到YUV域的图像数据，再由YUV 域处理模块1025b对YUV域的图像数据进行降噪、边缘增加、亮度/对比度/色度调整。本申请实施例中，对YUV域的图像数据进行降噪可以采用本申请实施例提供的图像降噪方法。

可以理解，图6所示的ISP103的结构只是一种示例，本领域的技术人员应当理解，其可以包含更多或更少的模块，也可以组合或者拆分部分模块，本申请实施例不作限定。

图7根据本申请的一些实施例，示出了一种适应于本申请视频编码方法的手机100的结构示意图。如图7所示，手机100可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块 150、摄像头170、接口模块160、按键101以及显示屏102等。

可以理解的是，本发明实施例示意的结构并不构成对手机100的具体限定。在本申请另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器(CentralProcessing Unit，CPU)、图像信号处理(Image Signal Processing， ISP)、视频处理单元(Video Processing Unit，VPU)、图像处理器(Graphics Processing Unit，GPU)、数字信号处理器DSP、微处理器MCU(Micro-programmed Control Unit)、AI(ArtificialIntelligence，人工智能)处理器或可编程逻辑器件FPGA(Field Programmable GateArray)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器 110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110 中的存储单元为高速缓冲存储器。ISP、VPU和存储器180可以通过总线耦接构成片上***(system on chip，SOC)，在另一些实施例中，ISP、VPU和存储器 180也可以是独立的器件。

存储器180可用于存储数据、软件程序以及模块，可以是易失性存储器 (VolatileMemory)，例如随机存取存储器(Random-Access Memory，RAM)，双倍数据率同步动态随机存取存储器(Double Data Rate Synchronous Dynamic Random Access Memory，DDRSDRAM)。

电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。

移动通信模块130可以包括但不限于天线、功率放大器、滤波器、LNA(Low noiseamplify，低噪声放大器)等。移动通信模块130可以提供应用在手机100 上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块130可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块130还可以对经调制解调处理器调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，移动通信模块130的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块130至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。无线通信技术可以包括全球移动通讯***(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivisionmultiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，蓝牙 (bluetooth，BT)，全球导航卫星***(global navigation satellite system， GNSS)，无线局域网(wireless local areanetworks，WLAN)，近距离无线通信技术(near field communication，NFC)，调频(frequency modulation， FM)和/或field communication，NFC)，红外技术(infrared，IR)技术等。所述GNSS可以包括全球卫星定位***(global positioning system，GPS)，全球导航卫星***(globalnavigation satellite system，GLONASS)，北斗卫星导航***(beidounavigationsatellite system，BDS)，准天顶卫星*** (quasi-zenith satellitesystem，QZSS)和/或星基增强***(satellite based augmentation systems，SBAS)。

无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在手机100上的包括无线局域网(wireless localarea networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙 (bluetooth，BT)，全球导航卫星***(global navigation satellite system， GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。手机 100可以通过无线通信技术与网络以及其他设备进行通信。

在一些实施例中，手机100的移动通信模块130和无线通信模块120也可以位于同一模块中。

显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的， AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，Miniled， MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes， QLED)等。

传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150 的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。

摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给ISP(Image SignalProcessing，图像信号处理)转换成数字图像信号。手机100可以通过 ISP，摄像头170，VPU，GPU(Graphic Processing Unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。摄像头170可以是定焦镜头、变焦镜头、鱼眼镜头、全景镜头等。

接口模块160包括外部存储器接口、通用串行总线(universal serial bus， USB)接口及用户标识模块(subscriber identification module，SIM)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于手机100和其他电子设备进行通信。用户标识模块卡接口用于与安装至手机100的SIM卡进行通信，例如读取SIM卡中存储的电话号码，或将电话号码写入SIM卡中。

在一些实施例中，手机100还包括按键101、马达以及指示器等。其中，按键101可以包括音量键、开/关机键等。马达用于使手机100产生振动效果，例如在用户的手机100被呼叫的时候产生振动，以提示用户接听手机100来电。指示器可以包括激光指示器、射频指示器、LED指示器等。

本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程***上执行的计算机程序或程序代码，该可编程***包括至少一个处理器、存储***(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理***包括具有诸如例如数字信号处理器(Digital Signal Processor，DSP)、微控制器、专用集成电路(Application Specific Integrated Circuit，ASIC) 或微处理器之类的处理器的任何***。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理***通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(CD-ROMs)、磁光盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、可擦除可编程只读存储器(Erasable Programmable Read OnlyMemory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，EEPROM)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器 (例如计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。

在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。

需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/ 模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。

需要说明的是，在本专利的示例和说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims

1.一种视频编码方法，其特征在于，所述方法应用于电子设备，所述电子设备包括图像信号处理器、视频处理单元和存储器，所述方法包括：

所述图像信号处理器获取第一视频数据；

所述视频处理单元对所述第二视频数据进行编码包括：

2.根据权利要求1所述的方法，其特征在于，所述中间参数包括运动矢量。

3.根据权利要求2所述的方法，其特征在于，所述从所述存储器获取所述运动矢量，并基于获取的所述运动矢量对所述第二视频数据进编码，包括：

4.根据权利要求3所述的方法，其特征在于，所述视频处理单元基于所述运动矢量从各相邻两帧图像中各当前块找到各参考块，包括：

5.根据权利要求4所述的方法，其特征在于，所述小数像素运动估计包括1/4像素运动估计和/或1/2像素运动估计。

6.根据权利要求1所述的方法，其特征在于，所述电子设备包括以下任意一种：

7.根据权利要求1所述的方法，其特征在于，所述图像处理包括图像降噪处理。

8.根据权利要求1所述的方法，其特征在于，所述图像降噪处理包括3D降噪处理。

9.一种可读介质，其特征在于，所述可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行权利要求1至8中任一项所述的视频编码方法。

10.一种电子设备，包括：

处理器，是电子设备的处理器之一，用于执行权利要求1至8中任一项所述的视频编码方法。