CN113709504A - 图像处理方法、智能终端及可读存储介质 - Google Patents

图像处理方法、智能终端及可读存储介质 Download PDF

Info

Publication number
CN113709504A
CN113709504A CN202111253333.1A CN202111253333A CN113709504A CN 113709504 A CN113709504 A CN 113709504A CN 202111253333 A CN202111253333 A CN 202111253333A CN 113709504 A CN113709504 A CN 113709504A
Authority
CN
China
Prior art keywords
image block
filtering
image
target
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111253333.1A
Other languages
English (en)
Other versions
CN113709504B (zh
Inventor
陈泳
黄河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Transsion Holdings Co Ltd
Original Assignee
Shenzhen Transsion Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Transsion Holdings Co Ltd filed Critical Shenzhen Transsion Holdings Co Ltd
Priority to CN202111253333.1A priority Critical patent/CN113709504B/zh
Publication of CN113709504A publication Critical patent/CN113709504A/zh
Application granted granted Critical
Publication of CN113709504B publication Critical patent/CN113709504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提出了一种图像处理方法、智能终端及可读存储介质，该图像处理方法可以包括以下步骤：获取至少一个图像块；根据所述至少一个图像块确定或生成至少一中间结果；对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。采用本申请提供的图像处理方案，可以充分利用不同图像块之间的关联性，有效减少图像失真。

Description

图像处理方法、智能终端及可读存储介质
技术领域
本申请涉及智能终端技术领域，具体涉及一种图像处理方法、智能终端及可读存储介质。
背景技术
随着各种电子设备和互联网技术的发展，人们对于视频画面的清晰度追求越来越高，在构思及实现本申请过程中，发明人发现至少存在如下问题：在传统的视频编码技术中，环路滤波处理会使得块边界像素不连续以及产生丢失高频信息的情况，从而产生伪影和失真。因此，有必要提出一种创新的图像处理方法，来提高环路滤波处理的性能，减少重建图像或解码图像的失真。
前面的叙述在于提供一般的背景信息，并不一定构成现有技术。
发明内容
针对上述技术问题，本申请提供一种图像处理方法、智能终端及可读存储介质，可以充分利用图像块之间的关联性，有效减少图像失真。
为解决上述技术问题，本申请提供一种图像处理方法，可选地，可应用于智能终端，包括：
获取至少一个图像块；
根据所述至少一个图像块确定或生成至少一中间结果；
对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。可选地，所述至少一个图像块包括第一图像块和第二图像块；以及所述第一图像块包括未经基于神经网络滤波处理的图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；
可选地，所述根据所述至少一个图像块确定或生成至少一中间结果，包括：根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
可选地，至少一个图像块包括第一图像块，所述第一图像块包括未经基于神经网络滤波处理的图像块；
所述根据所述至少一个图像块确定或生成至少一中间结果，包括：获取所述第一图像块对应的第二图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
可选地，所述第一图像块和所述第二图像块属于不同类型的图像块；所述第二图像块所在的图像和所述第一图像块所在的图像属于同一图像组；所述第二图像块所在的图像与所述第一图像块所在的图像依次被编码或解码。
可选地，所述获取至少一个图像块，包括：获取第一图像块；根据所述第一图像块的属性信息获取第二图像块。
可选地，所述根据所述第一图像块的属性信息获取第二图像块，包括：根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，所述第二图像块包括滤波处理后的图像块。
可选地，所述根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，包括以下至少一种：若所述第一图像块的属性信息指示所述第一图像块为色度图像块或亮度图像块，则从滤波结果缓存单元中获取第二图像块，所述第二图像块对应为滤波处理后的亮度图像块或滤波处理后的色度图像块；若所述第一图像块的属性信息指示所述第一图像块为差别帧图像块，则从滤波结果缓存单元或图像缓冲器中获取第二图像块，所述第二图像块为滤波处理后的关键帧图像块。
可选地，所述根据所述第一图像块和所述第二图像块确定或生成至少一中间结果，包括：获取所述第一图像块的图像特征和所述第二图像块的图像特征；根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果。
可选地，所述图像特征包括边缘特征，所述根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果，包括：若所述第一图像块为亮度图像块或色度图像块，则获取所述第一图像块的边缘特征和所述第二图像块的边缘特征；将所述第一图像块的边缘特征和所述第二图像块的边缘特征进行融合，得到边缘融合图像块；根据所述边缘融合图像块确定或生成至少一中间结果。
可选地，所述图像特征包括亮度特征和/或色度特征，所述根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果，包括：若所述第一图像块为差别帧图像块或关键帧图像块，则获取所述第一图像块的亮度特征和/或色度特征，以及获取所述第二图像块的亮度特征和/或色度特征；将所述第一图像块的亮度特征和所述第二图像块的亮度特征进行融合，得到亮度融合图像块，和/或，将所述第二图像块的色度特征和所述第一图像块的色度特征进行融合，得到色度融合图像块；根据所述亮度融合图像块和/或所述色度融合图像块确定或生成至少一中间结果。
可选地，所述根据所述第一图像块和所述第二图像块确定或生成至少一中间结果，包括：将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块；根据所述目标融合图像块确定或生成至少一中间结果。
可选地，所述将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块，包括：对所述第一图像块和/或第二图像块进行缩放处理，得到尺寸调整的第一图像块和/或第二图像块；将所述第一图像块和所述尺寸调整的第一图像块中的任一个，和所述第二图像块和所述尺寸调整的第二图像块中的任一个进行融合处理，得到目标融合图像块。
可选地，所述至少一中间结果包括至少一个融合图像块；所述对所述至少一中间结果进行滤波处理，以得到目标滤波结果，包括：利用所述第二图像块采用的滤波处理方式对所述至少一个融合图像块进行滤波处理，以得到目标滤波结果。
可选地，所述目标滤波结果包括滤波处理后的第一图像块，所述滤波处理后的第一图像块和所述第二图像块采用的滤波处理方式所对应的滤波处理模型结构和/或参数不同。
可选地，所述第一图像块的分辨率小于所述第二图像块的分辨率，和/或，所述滤波处理后的第一图像块的分辨率大于所述第一图像块的分辨率。
本申请还提供一种图像处理方法，可选地，可应用于智能终端，包括：
获取待处理图像块；
根据所述待处理图像块的属性信息确定或生成目标滤波方式；
根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果。
可选地，所述目标滤波方式包括第一目标滤波方式和/或第二目标滤波方式；所述根据所述待处理图像块的属性信息确定或生成目标滤波方式，包括：若所述待处理图像块的属性信息指示所述待处理图像块为第一图像块，则确定或生成所述第一目标滤波方式；和/或，若所述待处理图像块的属性信息指示所述待处理图像块为第二图像块，则确定或生成所述第二目标滤波方式。
可选地，所述第一目标滤波方式和所述第二目标滤波方式为相同类型的滤波方式，并且所述第一目标滤波方式和所述第二目标滤波方式对应的滤波处理模型的结构和/或参数不同。
可选地，所述方法还包括以下至少一种：所述第一目标滤波方式和所述第二目标滤波方式对应不同的滤波单元，所述滤波单元对应的滤波处理模型和量化参数存在映射关系；所述滤波单元对应的滤波处理模型根据目标编码代价对应的量化参数确定或生成。
可选地，所述根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果，包括以下至少一种：若所述待处理图像块为第一图像块，则获取参考图像块，并根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果；和/或，若所述待处理图像块为第二图像块，则根据所述目标滤波方式对所述第二图像块进行滤波处理，以得到目标滤波结果。
可选地，包括以下至少一种：所述参考图像块为滤波处理后的图像块；可选地，所述参考图像块和所述目标滤波结果经过相同类型的滤波处理；所述第一图像块包括差别帧图像块、色度图像块以及亮度图像块中的任一种；所述第二图像块包括关键帧图像块。
可选地，所述根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果，包括：对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象；根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
可选地，所述对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象，包括以下至少一种：
对所述参考图像块和所述第一图像块进行融合处理，得到第一融合图像块，将所述第一融合图像块确定为滤波处理对象；
对所述参考图像块和/或所述第一图像块进行缩放处理，得到尺寸调整的参考图像块和/或尺寸调整的第一图像块，将所述参考图像块和所述尺寸调整的参考图像块中的任一个，以及所述第一图像块和所述尺寸调整的第一图像块中的任一个进行融合处理，得到第二融合图像块，将所述第二融合图像块确定为所述滤波处理对象；
根据变换系数阈值对所述第一图像块包括的部分变换系数进行置零处理，得到处理后的第一图像块，将所述处理后的第一图像块和所述参考图像块进行融合处理，得到第三融合图像块，将所述第三融合图像块确定为所述滤波处理对象。
可选地，所述根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果，包括以下至少一种：
若所述滤波处理对象为所述第一融合图像块或所述第三融合图像块，则根据第一类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果；
若所述滤波处理对象为所述第二融合图像块或所述第二图像块，则根据所述第一类型的目标滤波方式或第二类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
本申请还提供一种图像处理装置，包括：
获取模块，用于获取至少一个图像块；
确定模块，用于根据所述至少一个图像块确定或生成至少一中间结果；
滤波模块，用于对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。
本申请还提供另一种图像处理装置，包括：
获取模块，用于获取待处理图像块；
确定模块，用于根据所述待处理图像块的属性信息确定或生成目标滤波方式；
滤波模块，用于根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果。
本申请还提供一种智能终端，包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如上任一所述方法的步骤。
本申请还提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
如上所述，本申请的图像处理方法，包括步骤：获取至少一个图像块；根据至少一个图像块确定或生成至少一中间结果；对至少一中间结果进行滤波处理，以得到目标滤波结果，目标滤波结果用于确定或生成与至少一个图像块对应的重建图像或者解码图像。通过上述技术方案，可以实现利用一个或多个存在关联的图像块生成的中间结果得到目标滤波结果，进而生成重建图像或解码图像的功能，解决了视频编码或解码中输出的重建图像或解码图像失真较大的问题，进而提升了用户体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为实现本申请各个实施例的一种智能终端的硬件结构示意图；
图2为本申请实施例提供的一种通信网络***架构图；
图3为本申请实施例提供的一种通用视频编码在编码端的处理功能示意图；
图4为本申请实施例提供的一种通用视频编码在解码端的处理功能示意图；
图5是根据第一实施例示出的一种图像处理方法的流程示意图；
图6是根据第二实施例示出的一种图像处理方法的流程示意图；
图7a是根据第二实施例示出的一种基于神经网络的环路滤波器的结构示意图一；
图7b是根据第二实施例示出的一种基于神经网络的环路滤波器的结构示意图二；
图7c是根据第二实施例示出的一种滤波处理模型的结构示意图一；
图8a是根据第二实施例示出的一种基于神经网络的环路滤波器的结构示意图三；
图8b是根据第二实施例示出的一种滤波处理模型的结构示意图二；
图9是根据第二实施例示出的一种基于神经网络的环路滤波器的结构示意图四；
图10是根据第二实施例示出的一种解码器的处理功能示意图；
图11a是根据第二实施例示出的一种基于超分辨率神经网络的后处理滤波器的结构示意图一；
图11b是根据第二实施例示出的一种基于超分辨率神经网络的后处理滤波器的结构示意图二；
图11c是根据第二实施例示出的一种滤波处理模型的结构示意图三；
图12a是根据第二实施例示出的一种基于超分辨率神经网络的后处理滤波器的结构示意图三；
图12b是根据第三实施例示出的一种基于超分辨率神经网络的后处理滤波器的结构示意图四；
图13a是根据第二实施例示出的一种编码器的处理功能示意图；
图13b是根据第二实施例示出的另一种解码器的处理功能示意图；
图14是根据第二实施例示出的一种基于神经网络的环路滤波器的结构示意图五；
图15a是根据第二实施例示出的另一种编码器的处理功能示意图；
图15b是根据第二实施例示出的又一种解码器的处理功能示意图；
图16是根据第二实施例示出的一种基于超分辨率神经网络的环路滤波器的结构示意图；
图17是根据第三实施例示出的一种图像处理方法的流程示意图；
图18是根据第四实施例示出的一种图像处理方法的流程示意图；
图19是根据第五实施例示出的一种图像处理装置的结构示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：A、B、C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”，再如，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
应该理解的是，虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
需要说明的是，在本文中，采用了诸如S501、S502等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行S502后执行S501等，但这些均应在本申请的保护范围之内。
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。
智能终端可以以各种形式来实施。例如，本申请中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、便捷式媒体播放器（Portable Media Player，PMP）、导航装置、可穿戴设备、智能手环、计步器等智能终端，以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图1，其为实现本申请各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF（Radio Frequency，射频）单元101、WiFi模块102、音频输出单元103、A/V（音频/视频）输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍：
射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM （Global System of Mobile communication，全球移动通讯***）、GPRS（General Packet Radio Service，通用分组无线服务）、CDMA2000（CodeDivision Multiple Access 2000，码分多址2000）、WCDMA（Wideband Code DivisionMultiple Access, 宽带码分多址）、TD-SCDMA（Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址）、FDD-LTE（Frequency DivisionDuplexing- Long Term Evolution，频分双工长期演进）、TDD-LTE (Time DivisionDuplexing- Long Term Evolution，分时双工长期演进)和5G等。
WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器（Graphics Processing Unit，GPU）1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置（如摄像头）获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109（或其它存储介质）中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音（音频数据），并且能够将这样的声音处理为音频数据。处理后的音频（语音）数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器（Liquid Crystal Display，LCD）、有机发光二极管（Organic Light-Emitting Diode, OLED）等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作），并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。
可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作***、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。
移动终端100还可以包括给各个部件供电的电源111（比如电池），优选的，电源111可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。
为了便于理解本申请实施例，下面对本申请的移动终端所基于的通信网络***进行描述。
请参阅图2，图2为本申请实施例提供的一种通信网络***架构图，该通信网络***为通用移动通信技术的LTE***，该LTE***包括依次通讯连接的UE（User Equipment，用户设备）201， E-UTRAN（Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网）202，EPC（Evolved Packet Core，演进式分组核心网）203和运营商的IP业务204。
可选地，UE201可以是上述移动终端100，此处不再赘述。
E-UTRAN202包括eNodeB2021和其它eNodeB2022等。可选地，eNodeB2021可以通过回程（backhaul）（例如X2接口）与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。
EPC203可以包括MME（Mobility Management Entity，移动性管理实体）2031， HSS（Home Subscriber Server，归属用户服务器）2032，其它MME2033， SGW（Serving GateWay，服务网关）2034，PGW（PDN Gate Way，分组数据网络网关）2035和PCRF（Policy andCharging Rules Function，政策和资费功能实体）2036等。可选地，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器（图中未示）之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元（图中未示）选择及提供可用的策略和计费控制决策。
IP业务204可以包括因特网、内联网、IMS（IP Multimedia Subsystem，IP多媒体子***）或其它IP业务等。
虽然上述以LTE***为例进行了介绍，但本领域技术人员应当知晓，本申请不仅仅适用于LTE***，也可以适用于其他无线通信***，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络***（如5G）等，此处不做限定。
基于上述移动终端硬件结构以及通信网络***，提出本申请各个实施例。
为了便于理解下述实施例的内容，先对本方案可能涉及的专业术语进行如下解释说明。
YUV：视频、图片、相机等应用中常常使用的一类图像格式，和RGB不同，YUV格式用一个称为Y（相当于灰度）的“亮度”分量和两个“色度”分量表示，分别称为U（蓝色投影）和V（红色投影）。
I帧：帧内编码帧，是一种自带全部信息的独立帧，无需参考其他图像便可独立进行解码，可以简单理解为一张静态画面。视频序列中的第一个帧始终都是I帧，因为它是关键帧。
P帧：帧间预测编码帧，需要参考播放顺序前面的帧才能进行编码。表示的是当前帧画面与前一帧（前一帧可能是I帧也可能是P帧）的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。
B帧：双向预测编码帧，也就是B帧记录的是本帧与前后帧的差别。也就是说要解码B帧，不仅要取得播放顺序之前的缓存画面，还要解码播放顺序之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是对解码性能要求较高。
率失真优化：Rate-Distortion Optimization，简称RDO，用于视频压缩时改进视频质量，目标是在不超过最大码率的情况下，使失真最小。主要思想是在码率和失真度两个方面因素的制约下，通过代价函数计算最小值（代价函数对应的值即率失真代价），在保证低失真度保证低码率。可以用于各种模式选择，如帧内预测模式或帧间预测模式、编码树单元或编码单元的划分模式判决等。
可选地，术语“重建”和“解码”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常但并非必须，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。
请参见图3，图3是本申请实施例提供的一种通用视频编码在编码端的处理功能示意图。在编码端300中输入的视频帧通常会被分割为多个图像块来处理，每一个图像块与预测器（包括帧间预测和帧内预测）得到的预测块相减，得到残差块，之后，残差块经过变换和量化处理，再由熵编码器进行编码，形成已编码的比特流。此外，已变换已量化的残差块经过反变换反量化之后会和预测器输入的图像块对应的预测块进行相加，得到重建块，但是由于变换和量化的原因，重建块与输入的视频帧中的图像块之间存在失真，导致最终重建的视频帧还原度可能不够高，因此，需要对重建块进行环路滤波处理降低图像失真，尽可能减小环路滤波处理之后得到的重构图像（即重构帧）与输入的原始图像之间的差距。如图3所示的环路滤波处理中有多种滤波器的处理，包括去块效应滤波器（De Blocking Filter，DBF）、采样适应偏移滤波器（Sample-Adaptive Offset，SAO）、自适应环路滤波器（AdaptiveLoop Filter，ALF）。可选地，滤波器控制数据表示是否应用基于神经网络的环路滤波操作，该指示数据用于统一解码端和编码端之间使用的环路滤波处理。
在一实施例中，环路滤波处理也可以仅包括上述的一种或数种滤波器。可选地，通过增加基于神经网络的环路滤波器，例如，基于密集残差卷积神经网络的环路滤波器（Dense Residual Convolutional Neural Network based In-Loop Filter，DRNLF），或者基于超分辨率神经网络（Super-Resolution CNN，SRCNN）的环路滤波器来对重建块进行环路滤波操作，可以进一步降低失真。
相应地，不仅在视频编码端可以应用环路滤波处理，在视频解码端也可以应用环路滤波处理。请参见图4，图4是本申请实施例提供的一种通用视频编码的在解码端的处理功能示意图。视频解码端400通过对接收到的比特流进行熵解码，得到预测数据、编码端指示的滤波器控制数据以及残差块，可选地，残差块经过逆量化逆变换（即反量化反变换）之后和预测数据经过预测器输出的预测块求和，再根据滤波器控制数据指示的环路滤波处理中决定对当前正在解码的图像块是否应用基于神经网络的环路滤波器，最终滤波后输出解码的视频数据，将数据缓存到解码图像缓冲器，以便应用到需要帧间预测的图像块中。在另一实施方式中，滤波器控制数据可以包括控制其他滤波器对应的滤波过程的其他数据。
针对不同视频压缩标准下的编解码过程以及下述方案中涉及的编码器或解码器，可能针对某些改进点和细化有相应的调整，但大致的处理框架为图3和图4中所示出内容，后续方案中涉及的图像块可以对应图3或图4中的重建块，滤波处理则可以对应其中的环路滤波中的一个或多个滤波器的处理。
第一实施例
请参见图5，图5是根据第一实施例示出的一种图像处理方法的流程示意图，该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群，该计算机设备可以是终端设备（如前述移动终端100），也可以是服务器，此处，以本实施例中的执行主体为终端设备为例进行说明。
S501，获取至少一个图像块。
在一实施例中，至少一个图像块包括一个或多个图像块，针对任一个图像块，可以是即将输入去块滤波器处理的重建图像块，或者经过去块滤波处理的重建图像块，也可以是经过基于神经网络的环路滤波处理之后的图像块，还可以是编码图像缓冲器或解码图像缓冲器中缓存图像中的图像块。如图3所示的编码端，重建图像块是由输入图像块对应的残差块经过反变换反量化之后，和预测器输出的预测块相加得到的。
在一实施例中，获取至少一个图像块的实现方式可以是：获取第一图像块，根据第一图像块的属性信息获取第二图像块。可选地，图像块的属性信息可以是一个标识，用于指示第一图像块属于何种类型的图像块。从所属的图像帧划分，图像块的类型可以包括I帧图像块、P帧图像块、B帧图像块，是属于不同帧图像中的图像块；从所属的特征类型划分，图像块的类型还可以包括同一帧图像中的色度图像块（简称色度块）和亮度图像块（简称亮度块）。可选地，亮度块和色度块可以认为是图像中两种不同特征的分量，即亮度分量和色度分量，亮度分量拥有大量的细节信息，色度分量携带的信息比较少，纹理比较平滑。以上述分类标准为例，若第一图像块是P帧图像块或B帧图像块，则获取的第二图像块是I帧图像块，若第一图像块是色度图像块（或亮度图像块），则获取的第二图像块是亮度图像块（或色度图像块）。后续在处理这两种类型的图像块中的任一种图像块（第一图像块）时，可以借鉴另一种图像块（第二图像块）的图像信息，对图像信息进行较为全面地表达，这样在对图像块进行滤波时，可以提高图像块滤波的效果。需要说明的是，当第一图像块的属性信息指示第一图像块为I帧图像块时，获取的第二图像块为空，即I帧图像块无需参考其他图像块的信息，这是由I帧自带图像的全部信息决定的。
可选地，根据第一图像块的属性信息获取第二图像块的方式可以为：根据第一图像块的属性信息确定从滤波结果缓存单元或者图像缓冲器中获取第二图像块，第二图像块包括滤波处理后的图像块。可选地，滤波结果缓存单元可以是滤波器自带的缓存单元或者独立于滤波器的缓存单元，该滤波器可以是基于神经网络的环路滤波器或者基于超分辨率神经网络的后处理滤波器，可选地，神经网络可以是深度可分离卷积神经网络，也可以是超分辨率神经网络等，在此不做限制。图像缓冲器可以是指编码端的编码图像缓冲器或解码端的解码图像缓冲器（可分别参见图3和图4中所示的内容），编码图像缓冲器用于存储重建图像，解码图像缓冲器用于存储解码图像，通常在视频编解码过程中，图像缓冲器中存储的图像均用于帧间预测。需要说明的是，无论是从滤波结果缓存单元还是从图像缓冲器中获取第二图像块，第二图像块均是滤波处理后的图像块，不同之处在于不同存储地址中的图像块所经过的滤波处理包括的类型有所区别，例如编码图像缓冲器存储的图像中的图像块，是经过环路滤波处理（包括多个滤波器）的图像块，如图3所示的编码器中包括的自适应环路滤波器处理之后存储到编码图像缓冲器的图像中的图像块；而滤波结果缓存单元中缓存的图像块，可以是经过基于神经网络的环路滤波器处理之后的图像块。
可选地，根据第一图像块的属性信息，确定从滤波结果缓存单元或图像缓冲器中获取第二图像块，可以包括以下至少一种：
若第一图像块的属性信息指示第一图像块为色度图像块或亮度图像块，则从滤波结果缓存单元中获取第二图像块，第二图像块对应为滤波处理后的亮度图像块或滤波处理后的色度图像块；
若第一图像块的属性信息指示第一图像块为差别帧图像块，则从滤波结果缓存单元或图像缓冲器中获取第二图像块，第二图像块为滤波处理后的关键帧图像块。也就是说，第一图像块的属性信息指示第一图像块所属的类型不同，参考的第二图像块的来源也会有所不同。关键帧图像块可以为I帧图像块，差别帧图像块可以为P帧、B帧图像块。
假设第一图像块为色度图像块，获取的第二图像块是滤波结果缓存单元中存储的滤波处理后的亮度图像块，或者第一图像块为亮度图像块，获取的第二图像块是滤波结果缓存单元中存储的滤波处理后的色度图像块，后续第一图像块会和该滤波结果缓存单元存储的第二图像块经过相同类型的滤波处理，例如该滤波结果缓存单元存储的第二图像块为基于神经网络的环路滤波器滤波处理的图像块，并且第一图像块后续会经过基于神经网络的环路滤波处理，可选地，执行滤波处理的可以是同一个滤波器中的不同滤波单元，也可以是两个滤波器中各自的滤波单元，这里两个滤波器对图像块所执行的滤波处理为同一类型的滤波处理，例如均为基于超分辨率神经网络的环路滤波处理。
假设第一图像块为差别帧图像块，包括前向预测编码图像帧中的图像块（简称P帧图像块）和双向预测编码图像帧中的图像块（简称B帧图像块），那么参考的第二图像块即是从图像缓冲器中获取到的帧内编码图像帧中的图像块（简称I帧图像块）。上述根据第一图像块的属性信息从特定的存储空间获取对应的第二图像块，可以快速精准地获取第二图像块，从而提高滤波处理效率。
需要说明的是，无论是从滤波结果缓存单元还是从图像缓冲器中获取第二图像块，第二图像块均是滤波处理后的图像块，不同之处在于不同存储地址中的图像块所经过的滤波处理包括的类型有所区别，例如编码图像缓冲器存储的图像中的图像块，是经过环路滤波处理（包括多个滤波器）的图像块，如图3所示的编码器中包括的自适应环路滤波器处理之后存储到编码图像缓冲器的图像中的图像块；而滤波结果缓存单元中缓存的图像块，可以是经过基于神经网络的环路滤波器处理之后的图像块。
S502，根据至少一个图像块确定或生成至少一中间结果。
在一实施例中，至少一中间结果包括一个或多个中间结果，任一中间结果可以是对至少一个图像块处理得到的图像块。可选地，至少一个图像块包括第一图像块和第二图像块时，可以根据所述第一图像块和所述第二图像块确定或生成至少一中间结果，例如可以将第一图像块和第二图像块直接融合，得到一中间结果，或者对其中一个图像块进行缩放处理之后与另一图像块融合，得到一中间结果。可选地，确定或生成中间结果更详细的实施方式可以参见第二实施例的内容，在此先不做详述。
S503，对至少一中间结果进行滤波处理，以得到目标滤波结果。
在本申请实施例中，目标滤波结果用于确定或生成与至少一个图像块对应的重建图像或者解码图像。这里的重建图像和解码图像分别是在视频编码端和解码端处理恢复的图像，该恢复的图像是对输入视频编码端的原始图像的还原。通常由于在还原过程中的一些处理，最终恢复的图像可能与原始图像相比可能存在一定的失真。但在本申请提供的方案中，可采用一定的措施减小恢复的图像的失真程度，例如在解码图像输出之前加入基于超分辨率神经网络的后处理滤波器，增加解码图像的分辨率，进而产生高质量的解码图像。
在一实施例中，对至少一中间结果的滤波处理可以是指如图3（或图4）中基于神经网络的环路滤波器的滤波处理，也可以是指如图3（或图4）中一种或数种滤波器（包括自适应环路滤波器、采样自适应偏移滤波器、基于神经网络的环路滤波器）的环路滤波处理。对应地，目标滤波结果可以是指至少一中间结果输入基于神经网络的环路滤波器中，对其进行滤波处理之后得到的滤波结果，此时利用目标滤波结果确定或生成重建图像或解码图像，目标滤波结果还需要依次经过采样自适应偏移滤波器以及自适应环路滤波器的滤波处理。目标滤波结果也可以是至少一中间结果经过环路滤波处理输出的滤波结果，即依次由基于神经网络的环路滤波器、采样自适应偏移滤波器、自适应环路滤波器滤波处理后得到的滤波结果，此时可以直接将目标滤波结果作为重构图像或解码图像中的一图像块，依次根据输入图像的图像块对应的目标滤波结果，得到重构图像或解码图像。
需要说明的是，在重构图像和解码图像时，利用的是同一个编码器或解码器对获取到的不同类型的图像块进行编解码操作，可以有效节省***软硬件资源。本实施例提供的图像处理方案可以应用于视频编码端，也可应用于视频解码端。若此方案是应用在编码端，上述各个图像块对应的则是编码端中的数据，例如编码图像缓冲器中存储的I帧图像块，滤波处理可以是编码端中的环路滤波处理；若此方案是应用在解码端，上述各个图像块对应的则是解码端中的数据，例如解码图像缓冲器中存储的I帧图像块，以及相应的滤波处理对应的是解码端的环路滤波处理。
综上所述，本申请实施例至少具有以下优点：
通过获取到的至少一个图像块确定或生成中间结果，由于图像块之间的关联性，例如色度图像块和亮度图像块之间是关联的，确定或生成的中间结果可以包括多个图像块的图像信息，进而利用该中间结果提高目标滤波结果的准确度；至少一个图像块中包括第一图像块和第二图像块时，第一图像块与第二图像块对应，该第二图像块中的信息可以作为第一图像块还原图像信息的参考，也即在滤波时第一图像块还可以依据第二图像块的信息，进而可以利用滤波之后的第一图像块降低重构图像的失真程度。
第二实施例
请参见图6，图6是根据第二实施例示出的一种图像处理方法的流程示意图，该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群，该计算机设备可以是终端设备（如前述移动终端100），也可以是服务器，此处，以本实施例中的执行主体为终端设备为例进行说明。
S601，获取至少一个图像块。
在一实施例中，至少一个图像块包括第一图像块和第二图像块；可选地，第一图像块包括未经基于神经网络滤波处理的图像块，第二图像块包括基于神经网络滤波处理后的图像块。第一图像块和第二图像块的获取方式可以采用前述图5对应实施例中获取至少一个图像块的实现方式，在此不做赘述。第二图像块和下述目标滤波结果可以都是经过基于神经网络滤波处理的图像块，上述提及的神经网络可以为超分辨率神经网络或深度可分离卷积神经网络。
在另一实施例中，至少一个图像块包括第一图像块，第一图像块包括未经基于神经网络滤波处理的图像块。在执行步骤S602之前，还需要执行以下步骤：获取第一图像块对应的第二图像块。可选地，第二图像块包括基于神经网络滤波处理后的图像块。第二图像块也可以是根据第一图像块对应的属性信息获取得到的，对应内容可参见图5对应实施例中的内容，在此不做赘述。
可选地，对于第一图像块和第二图像块之间的关联或区别，可以包括一下至少一种：
1）第一图像块和第二图像块属于不同类型的图像块；
2）第二图像块所在的图像和第一图像块所在的图像为不同图像，但属于同一图像组；
3）第二图像块所在的图像与第一图像块所在的图像依次被编码或解码。
可选地，不同类型的图像块可以是指第一图像块为B帧图像块或P帧图像块时，第二图像块为I帧图像块，第一图像块为色度图像块（或亮度图像块）时，第二图像块为亮度图像块（或色度图像块）；针对图像块所在图像为相同图像组，适用于在第一图像块为B帧图像块或P帧图像块时，获取的第二图像块为I帧图像块的情况，这是因为在视频编码序列中，图像组（Group of picture，GOP）是两个I帧之间形成的一组图片；在第二图像块所在的图像为图像缓冲器中用于帧间预测的参考帧时，该参考帧是已编码或解码的图像，即在第一图像块所在的图像之前被编码或解码。
S602，根据第一图像块和第二图像块确定或生成至少一中间结果。
在一实施例中，此步骤的实现方式可以是：获取第一图像块的图像特征和第二图像块的图像特征；根据第一图像块的图像特征和第二图像块的图像特征确定或生成至少一中间结果。可选地，图像特征可以包括边缘特征、亮度特征、色度特征等，这里的中间结果是利用图像本身具有的特性得到的。
可选地，当图像特征包括边缘特征时，确定或生成至少一中间结果的方式可以是：若第一图像块为亮度图像块或色度图像块，则获取第一图像块的边缘特征和第二图像块的边缘特征；将第一图像块的边缘特征和第二图像块的边缘特征进行融合，得到边缘融合图像块，根据边缘融合图像块确定或生成至少一中间结果。也就是说，当第一图像块为亮度图像块或色度图像块时，由于第一图像块更多表征的是图像的亮度信息或色度信息，对于图像边缘结构的表征存在欠缺，因此可以获取亮度图像块和色度图像块的边缘特征，融合两种图像块的边缘特征，得到边缘融合图像块，这样可以将图像块的轮廓边缘、细节等部分进行增强，抑制图像块细节部分的损失。可选地，可以将边缘融合图像块作为中间结果，也可以将边缘融合图像块结合其他图像块，例如进一步融合亮度图像块或色度图像块，确定或生成中间结果。
可选地，当图像特征包括亮度特征和/或色度特征时，确定或生成至少一中间结果的方式可以是：
若第一图像块为差别帧图像块或关键帧图像块，则获取第一图像块的亮度特征和/或色度特征，以及获取第二图像块的亮度特征和/或色度特征；
将第一图像块的亮度特征和第二图像块的亮度特征进行融合，得到亮度融合图像块，和/或，将第二图像块的色度特征和第一图像块的色度特征进行融合，得到色度融合图像块；
根据亮度融合图像块和/或色度融合图像块确定或生成至少一中间结果。
也即在第一图像块为B帧图像块或者P帧图像块时，可以对第一图像块和第二图像块的色度特征或亮度特征进行提取，并将第一图像块和第二图像块的各自的特征进行融合，得到亮度融合图像块或色度融合图像块中的一种或两种。通过获取B帧图像块或P帧图像块的色度特征和亮度特征，可以利用不同维度的图像信息获取中间结果，例如色度特征中携带的大量细节信息。可选地，可以将亮度融合图像块和/或色度融合图像块直接作为中间结果。从人眼对于图像中的亮度分量（明暗）最敏感，对于图像中的色度（颜色）分量相对来讲敏感度较差来看，也可以仅将亮度融合图像块作为中间图像块。
在另一实施例中，可以利用图像与图像之间的关联性来获取至少一中间结果，此步骤的实现方式为：将第一图像块和第二图像块进行融合，得到目标融合图像块；根据目标融合图像块确定或生成至少一中间结果。可以利用时间相关性和空间相关性，对不同图像中的图像块（例如I帧图像块和P帧图像块）进行融合处理，或者同一图像中的图像块（例如亮度图像块和色度图像块）进行融合处理，这里的时间相关性是指一幅图像中的大部分元素都同样存在于其相邻的图像（前后）之中，空间相关性是指一幅图像中相邻像素之间具有相关性。利用图像或图像块之间的相关性，融合第一图像块和第二图像块，并将得到的目标融合图像块作为中间结果，可以更加准确全面地刻画图像所包括的信息，这样在后续滤波处理时，中间结果可以视为第二图像块可以对第一图像块所缺少的信息进行补偿，也就是在重建图像时可以依据其他图像信息，进而可以有效提高与第一图像块有关的重建图像或者解码图像的还原度。
可选地，融合第一图像块和第二图像块的方式可以是：对第一图像块和/或第二图像块进行缩放处理，得到尺寸调整的第一图像块和/或第二图像块；将第一图像块和尺寸调整的第一图像块中的任一个，和第二图像块和尺寸调整的第二图像块中的任一个进行融合处理，得到目标融合图像块。可选地，缩放处理可以是下采样处理或者上采样处理，采用何种视具体情况而定，对于下采样处理，尺寸调整的图像块是指尺寸缩小的图像块，对于上采样处理，尺寸调整的图像块是指尺寸放大的图像块。这里的尺寸可以理解为分辨率大小，可以通过图像的像素体现，图像的像素越小，像素密度越大，图像清晰度越高，包含的信息量也就越多。以下采样为例，对于一幅图像I尺寸为M×N，对其进行s倍下采样，即得到(M/s)×(N/s)尺寸的分辨率图像，若是矩阵形式的图像，下采样是将原始图像s×s窗口内的图像变成一个像素，该像素点的值是窗口内所有像素的平均值。
采用上述方式处理第一图像块和第二图像块，进而可以根据不同的组合方式融合，得到目标融合图像块。可选地，组合方式包括以下四种，对应于不同编码器或解码器结构下的融合处理：
1）将第一图像块和第二图像块进行融合处理，得到目标融合图像块。可选地，第二图像块可以是从滤波结果缓存单元或者图像缓冲器中获取的。第一图像块和第二图像块具体是何种类型的图像块可以采用前述提及的内容，在此不做限制。例如可以将亮度图像块和色度图像块直接融合，得到目标融合图像块，也可以将重建的B/P帧图像块和经过环路滤波处理的I 帧图像块直接融合，得到目标融合图像块。
2）将第一图像块和尺寸调整的第二图像块进行融合处理，得到目标融合图像块。可选地，当第二图像块是经过超分辨率神经网络进行滤波处理的图像块时，第二图像块的尺寸（或者说分辨率）是大于第一图像块的，为了方便融合处理，第二图像块的尺寸与第一图像块的尺寸保持一致，在此尺寸调整可以采用下采样处理，将第二图像块的尺寸缩小到和第一图像块的尺寸一致，进而和第一图像块融合，得到融合图像块。执行超分辨率神经网络的滤波处理可以是基于超分辨率神经网络的环路滤波器，也可以是基于超分辨率神经网络的后处理滤波器。
3）将尺寸调整的第一图像块和第二图像块进行融合处理，得到目标融合图像块。为了进一步节约传输的数据量并减少图像的失真程度，可以对第一图像块所在的图像在输入端（例如，进行视频编码处理之前或者在变换处理之前）进行下采样处理，得到第一图像块是尺寸缩小之后的图像块，该第一图像块所在的图像可以是输入视频数据的B帧或P帧，第一图像块即为B帧图像块或P帧图像块，第二图像块可以为经过环路滤波处理的I帧图像块，也即重建帧（I帧）中的图像块，I帧图像块没有执行下采样处理。由于重建的P帧/B帧图像在输入端经过下采样处理，但是I帧图像没有经过任何缩放处理，第一图像块和第二图像块的尺寸不同，为便于融合处理以及后续的滤波处理，可以对第一图像块进行上采样处理，将第一图像块的尺寸放大到和第二图像块的尺寸一致，进而和第二图像块融合，得到目标融合图像块，这种方式利用I帧在一定程度上可以复原B帧和P帧由于下采样带来的信息的损失。
4）将尺寸调整的第一图像块和尺寸调整的第二图像块进行融合处理，得到目标融合图像块。这一实现方式在本申请实施例中可以是为了减少进一步降低传输码率，对第一图像块和第二图像块都进行下采样处理，得到尺寸缩小的第一图像块和第二图像块，再融合得到目标融合图像块，这样在处理融合图像块时可以减少计算量，实现快速地编解码处理。
需要说明的是，本申请实施例重点对前三种融合方式得到的目标融合图像块的处理进行说明，对于4）示出的方式得到的目标融合图像块以及后续的处理在此不做详述。上述尺寸调整所涉及的缩放处理可以是通过在如图3和图4所示的视频编码器和视频解码器中加入缩放模块来实现，也可以是滤波处理器中的缩放模块，或者独立于滤波处理器的缩放模块，具体可以参见步骤S603中示出的视频编解码所使用的各种结构示意图，在此不做详述。
S603，对至少一中间结果进行滤波处理，以得到目标滤波结果。
在一实施例中，经过上述步骤处理得到的至少一中间结果包括至少一个融合图像块，此步骤的实现方式可以是：利用第二图像块采用的滤波处理方式对至少一个融合图像块进行滤波处理，以得到目标滤波结果。也就是说，目标滤波结果和第二图像块经过相同类型的滤波处理或者采用相同的滤波方式进行滤波处理。所谓相同类型的滤波处理是指滤波处理的基本原理是相同的，但是滤波处理涉及的具体滤波处理模型，例如神经网络的结构和参数有所不同。举例来说，第二图像块和目标滤波结果均经过基于超分辨率神经网络的环路滤波器的滤波处理，但是处理第二图像块和处理目标滤波结果的滤波单元不同，该滤波单元所包括的滤波处理模型也不同。
可选地，目标滤波结果包括滤波处理后的第一图像块，滤波处理后的第一图像块和第二图像块采用的滤波处理方式所对应的滤波处理模型结构和/或参数不同。这里的滤波处理模型为滤波单元中所采用的软件实现方式，具体介绍可以参见下述内容，在此先不做详述。可选地，当滤波处理是基于超分辨率神经网络的滤波处理时，包括基于超分辨率神经网络的环路滤波处理或者基于超分辨率神经网络的后处理滤波，对图像块进行滤波处理后会增加分辨率，即存在以下至少一种情况：第一图像块的分辨率小于第二图像块的分辨率，和/或，滤波处理后的第一图像块的分辨率大于第一图像块的分辨率。在第一图像块和第二图像块为同一图像组的不同图像的图像块时，使用一个编码器产生不同尺寸的I帧、B帧、P帧，可以有效减少***资源浪费，利用不同类型的帧之间的相关性，可以产生高质量的重建帧。
在一实施例中，对应前述根据目标融合图像块确定或生成的中间结果，分别对应有以下编码器、解码器、滤波器的结构和基本原理：
1）直接融合第一图像块和第二图像块，以得到融合图像块，进而确定或生成中间结果。对应的编码器和解码器结构可以采用如图3和图4示出的结构示意图，编码器或解码器中所使用的基于神经网络的环路滤波器的结构可以如图7a或图7b所示，分别为基于神经网络的环路滤波器的结构示意图一和结构示意图二，包括基于神经网络的环路滤波单元Af1和基于神经网络的环路滤波单元Bf1（为方便描述，下述简称为滤波单元）。可选地，滤波单元Af1和滤波单元Bf1可以分别设置于两个不同的基于神经网络的环路滤波器中，也可以设置于同一个基于神经网络的环路滤波器中，输入的重建数据A和重建数据B是不同的重建块，对应第一图像块和第二图像块，可以分别为色度图像块或亮度图像块。如图7a所示，基于神经网络的环路滤波单元Af1接收重建数据A和自基于神经网络的滤波单元Bf1输出的滤波后的重建数据B之后，根据重建数据A和滤波后的重建数据B产生的中间结果进行基于神经网络的环路滤波处理，输出滤波后的重建数据A。并且，基于神经网络的环路滤波单元Bf1接收重建数据B和自基于神经网络的滤波单元Af1输出的滤波后的重建数据A之后，根据重建数据B和滤波后的重建数据A产生的中间结果进行基于神经网络的环路滤波处理，输出滤波后的重建数据B。
在一实施例中，在t0时刻，基于神经网络的环路滤波单元Af1接收重建数据A，并对重建数据A进行基于神经网络的滤波处理，输出滤波后的重建数据At0。在t1时刻，基于神经网络的环路滤波单元Bf1接收重建数据B和滤波后的重建数据At0，并对重建数据B和滤波后的重建数据At0进行融合和基于神经网络的滤波处理，输出的滤波后的重建数据Bt1；在t2时刻，基于神经网络的环路滤波单元Af1接收滤波后的重建数据Bt1，并对重建数据A和滤波后的重建数据Bt1进行融合和基于神经网络的滤波处理，输出滤波后的重建数据At2。最后，将基于神经网络的环路滤波单元Af1输出的滤波后的重建数据At2和基于神经网络的环路滤波单元Bf1输出的滤波后的重建数据Bt1作为基于神经网络的环路滤波处理器的此次处理的最终结果而输出。在另一实施例中，在t0时刻，基于神经网络的环路滤波单元Af1接收重建数据A，并对重建数据A进行基于神经网络的滤波处理，输出滤波后的重建数据At0；基于神经网络的环路滤波单元Bf1接收重建数据B，并对重建数据B进行基于神经网络的滤波处理，输出滤波后的重建数据Bt0。在t1时刻，基于神经网络的环路滤波单元Af1接收滤波后的重建数据Bt0，并对重建数据A和滤波后的重建数据Bt0进行融合和基于神经网络的滤波处理，输出的滤波后的重建数据At1；基于神经网络的环路滤波单元Bf1接收滤波后的重建数据At0，并对重建数据B和滤波后的重建数据At0进行融合和基于神经网络的滤波处理，输出的滤波后的重建数据Bt1。最后，将滤波后的重建数据At1和滤波后的重建数据Bt1作为基于神经网络的环路滤波处理器此次处理的最终结果而输出。
图7b所示的基于神经网络的环路滤波器和图7a所示的基于神经网络的环路滤波器的结构基本相同。不同之处在于，每个滤波单元后可以接一存储单元，该存储单元用来存储滤波处理后的重建数据，是独立于滤波单元的功能模块，可选地，存储单元也可以是滤波单元中的一个子模块。该存储单元的功能和前述滤波结果缓存单元是相同的。若第一图像块为重建数据B（或重建数据A），那么第二图像块可以是来自存储单元As1（或存储单元Bs1）缓存的滤波结果，该滤波结果是重建数据A（或重建数据B）经过滤波单元Af1（或滤波单元Bf1）处理的图像块。
可选地，各个滤波单元对应的滤波处理模型可以是基于神经网络的模型结构。神经网络一般包含有称为层的组所组织的神经元，神经网络中有输入层、输出层和隐藏层，一般情形下，深度神经网络具有两个或更多个隐藏层。请参见图7c，图7c是本申请实施例提供的一种滤波处理模型结构示意图。在该模型结构示意图中，融合模块Ac1可以用于将重建数据A和滤波处理后的重建数据B融合，将得到的融合数据中间结果。融合模块可以利用连接（concatenate）操作来实现。如图7c所示，还包括两个卷积层和至少一个残差单元（或残差网络）。在一实施例中，基于神经网络的环路滤波器采用滤波处理模型的基本原理为：重建数据A或者重建数据A和滤波后的重建数据B进行融合之后的中间数据被馈入卷积层C1，经过N个残差单元，以及一个卷积层C2之后，输出滤波后的重建数据A。例如，经过N个残差单元产生的残差数据和重建数据A在卷积层C2处进行对应关系的映射和合成，得到滤波后的重建数据A。需要说明的是，卷积层C1、残差单元对应于特征提取、特征增强。卷积层C2对应于映射和合成。同理，重建数据B或者重建数据B和滤波后的重建数据A通过融合模块Bc1进行融合之后的中间数据被馈入卷积层D1，经过N个残差单元，以及一个卷积层D2之后，输出滤波后的重建数据B，这里滤波后的重建数据即目标滤波结果。例如，经过N个残差单元产生的残差数据和重建数据B在卷积层D2处进行处理，得到滤波后的重建数据B。在一个实施例中，融合模块，卷积层、残差单元可以分别包括至少一个分支，针对不同类型的重建数据选择最佳的分支组合。可选地，重建数据A可以是（亮度图像块。例如，CTB），重建数据B可以（色度图像块。例如，CTB）。在t0至t1时刻，重建数据A经过基于神经网络的环路滤波单元Af1之后，生成滤波后的重建数据At01（存储于存储单元As1中）。在t1至t2时刻，重建数据B和滤波后的重建数据At01，经过基于神经网络的环路滤波单元Bf1之后，生成滤波后的重建数据Bt12（存储于存储单元Bs1中）。在t2至t3时刻，滤波后的重建数据Bt12和重建数据A，经过基于神经网络的环路滤波单元Af1之后，生成滤波后的重建数据At23（存储于存储单元As1中）。最后，将滤波后的重建数据At23和滤波后的重建数据Bt12作为最终的滤波数据输出。
滤波处理模型可以表示为：
Zconcat=gz(Wz1*X+Bz1,Wz2*Y+Bz2)
F1(Zconcat)=g1(W1*Zconcat+B1)
Fi(Zconcat)=gi(Wi*Fi-1(Zconcat)+Bi), i={2,...,M1-1}
FM(Zconcat)=gM(WM*FM-1(Zconcat)+BM)+X
Z’concat=gz(W’z1*X’+B’z1,W’z2*Y’+B’z2)
F’1(Z’concat)=g’1(W’1*Z’concat+B’1)
F’i(Z’concat)=g’i(W’i*Fi-1(Z’concat)+B’i), i={2,...,M2-1}
F’M(Z’concat)=g’M(W’M*FM-1(Z’concat)+B’M)+X’
其中，Zconcat，Z’concat分别为融合模块Ac1和融合模块Bc1的输出。X，Y为融合模块Ac1的输入。X’，Y’为融合模块Bc1的输入。Wz1，Wz2，W’z1，W’z2，W1~WM，W’1~W’M为各层的权重,Bz1，Bz2，B’z1，B’z2，B1~BM，B’1~B’M为各层的偏置参数。gz(), g1(), gi(), gM(), g’z(),g’1(), g’i()和g’M()为激活函数，*为卷积运算，M1, M2为整数。F1(), Fi(),FM(),F’1(),F’i(),F’M()可以为卷积层，残差单元，或者混洗单元的网络表示。
在t0至t1时刻，X为重建数据A，Y为0，X’为重建数据0，Y’为0，输出为FM1(Zconcat)和0；在t1至t2时刻，X为重建数据A，Y为0；X’为重建数据B，Y’为FMt1(Zconcat)，输出为FM1(Zconcat)和F’M1(Z’concat)。在t2至t3时刻，X为重建数据A，Y为F’M1(Z’concat)；X’为重建数据B，Y’为FMt1(Zconcat)，输出为FM2(Zconcat)和F’M1(Z’concat)。最后，将FM2(Zconcat)和F’M1(Z’concat)分别作为滤波后的重建数据At23和滤波后的重建数据Bt12而输出。此时，FM2(Zconcat)和F’M1(Z’concat)为最终的滤波数据输出。
在另一个实施例中，在t0至t1时刻，重建数据A经过基于神经网络的环路滤波单元Af1之后，生成滤波后的重建数据At01（存储于存储单元As1中）；重建数据B经过基于神经网络的环路滤波单元Bf1之后，生成滤波后的重建数据Bt01（存储于存储单元Bs1中）。在t1至t2时刻，滤波后的重建数据Bt01和重建数据A，经过基于神经网络的环路滤波单元Af1之后，生成滤波后的重建数据At12（存储于存储单元As1中）；滤波后的重建数据At01和重建数据B，经过基于神经网络的环路滤波单元Bf1之后，生成滤波后的重建数据Bt12（存储于存储单元Bs1中）。最后，将滤波后的重建数据At12和滤波后的重建数据Bt12作为最终的滤波数据输出。
滤波处理模型可以表示为：
Zconcat=g(Wz1*X+Bz1,Wz2*Y+Bz2)
F1(Zconcat)=g(W1*Zconcat+B1)
Fi(Zconcat)=g(Wi*Fi-1(Zconcat)+Bi), i={2,...,M1-1}
FM(Zconcat)=g(WM*FM-1(Zconcat)+BM)+X
Z’concat=g(W’z1*X’+B’z1,W’z2*Y’+B’z2)
F’1(Z’concat)=g’(W’1*Z’concat+B’1)
F’i(Z’concat)=g’(W’i*Fi-1(Z’concat)+B’i), i={2,...,M2-1}
F’M(Z’concat)=g’(W’M*FM-1(Z’concat)+B’M)+X’
其中，Zconcat，Z’concat分别为融合模块Ac1和融合模块Bc1的输出。X，Y为融合模块Ac1的输入。X’，Y’为融合模块Bc1的输入。Wz1，Wz2，W’z1，W’z2，W1~WM，W’1~W’M为各层的权重，Bz1，Bz2，B’z1，B’z2，B1~BM，B’1~B’M为各层的偏置参数。g’()和g()为激活函数，*为卷积运算，M1，M2为整数。F1(), Fi(),FM(),F’1(), F’i(),F’M()可以为卷积层，残差单元，或者混洗单元的网络表示。
在t0至t1时刻，X为重建数据A，Y为0，X’为重建数据B，Y’为0，输出为FMt1(Zconcat)和F’Mt1(Z’concat)；在t1至t2时刻，X为重建数据A，Y为F’Mt1(Z’concat)；X’为重建数据B，Y’为FMt1(Zconcat)，输出为FMt2(Zconcat)和F’Mt2(Z’concat)。在t2时刻之后，将FMt2(Zconcat)和F’Mt2(Z’concat)分别作为滤波后的重建数据At12和滤波后的重建数据Bt12而输出。此时，FMt2(Zconcat)和F’Mt2(Z’concat)为最终的滤波数据输出。与上一实施例中的滤波处理模型相比，该滤波处理模型的输出的运算时间较短。
通过最小化损失函数，可以从K组训练样本{X,Y} ,k＝{1 ,… ,K}中训练参数集θ，包括Wz1,Wz2 ,Wi, Bi, W’z1,W’z2 ,W’i, B’i, i＝{1 ,… ,M}。该损失函数基于为经过基于神经网络环路滤波的图像和原始图像之间的误差。在一可行的实施例中，当第一图像块为P帧图像块或B帧图像块，第二图像块为环路滤波处理后的I帧图像块时，可参见图8a，是一种基于神经网络的环路滤波器的结构示意图三，这里的基于神经网络的环路滤波单元和图7a或图7b中示出的滤波单元对应的滤波处理模型不同，可参见下述图8b。针对I帧图像块，由于该图像块所在的关键帧是一帧画面的完整保留，采用帧内编码的方式即可还原图像，因此在环路滤波处理时可以不用参考其他图像块；针对重建的P帧图像块或B帧图像块（简称P/B帧图像块），由于没有完整的画面数据，需要参考I帧图像块才能够更好地还原输入图像，I帧图像块可以从编码图像缓冲器中获取。也就是说图8a示出的是一种利用经过环路滤波处理的I帧图像块来生成滤波后的P/B帧图像块的滤波方式，滤波后的P/B帧图像块即目标滤波结果。
示例性地，在I帧图像块经过环路滤波处理（例如，去块滤波，基于神经网络的环路滤波，采样自适应偏移，以及自适应环路滤波中的至少一个）之后，经过环路滤波处理的I帧图像块被存储于解码图像缓冲器中。当对在一个GOP（图像组）中的P/B帧图像块进行基于神经网络的环路滤波处理时，可以从解码图像缓冲器中读取对应位置的I帧图像块，并将其作为P/B帧图像块的参考图像块。接着，基于神经网络的环路滤波单元接收从解码图像缓冲器中读取的对应位置的I帧图像块，以及重建的P/B帧图像块，产生滤波后的P/B帧图像块。对于如图8a的滤波单元对应的滤波处理模型的结构示意图，可以参见图8b，和图7c示出的结构类似，包括一个融合模块、至少一个残差单元和两个卷积层，重建的P/B帧图像块和经过环路滤波处理的I帧图像块通过融合模块融合之后，依次经过卷积层、至少一个残差单元、卷积层产生滤波后的P/B帧图像块，例如，经过N个残差单元产生的残差数据和重建的P/B帧图像块在卷积层进行对应关系的映射和合成，得到滤波后的P/B帧图像块。但是此滤波单元对应的滤波处理模型所包括的残差单元的个数以及卷积层设置的参数等可以和图7c完全不同。
在一可行的实施例中，滤波单元对应的滤波处理模型可以根据量化参数来确定，该量化参数是基于量化参数图得到的，该量化参数图是填充有至少一个量化参数值的矩阵。每一个基于神经网络的环路滤波单元可以具有至少一个候选模型，该候选模型可以在不同量化参数下对神经网络进行训练得到的最佳模型，也即每个候选模型对应于不同的量化参数，可选地，可以基于编码侧的率失真代价来选择合适的量化参数和自至少一个候选模型中选择合适的候选模型。如图9所示，是一种基于神经网络的环路滤波器的结构示意图四，输入端的量化参数和重建数据一同输入滤波单元中，进而可以根据量化参数Aq1可以决定滤波单元Af1最佳的滤波处理模型，根据量化参数Bq1可以决定滤波单元Bf1最佳的滤波处理模型。再对重建数据进行进一步地处理，此结构适用于重建数据为色度图像块和亮度图像块的情况。同样地，针对重建的P/B帧图像块和滤波处理后的I帧图像块，也可以输入量化参数来决定滤波单元对应的滤波处理模型的具体结构或参数。
在一可行的实施例中，仍旧采用图3示出的编码器的结构以及图4示出的解码器的基本结构，利用基于神经网络的环路滤波器对重建数据可以进行以下处理：针对P/B帧图像块，在变换处理之后，可以丢掉一部分高频信息，而针对I帧图像块，则可以选择保留比P/B帧图像块稍多的高频信息。例如，根据四叉树结构(如CU的编码树)，将CU分割成变换单元(TU)。在变换处理过程中，对变换单元进行变换处理（DCT变换），之后得到DCT系数。对于P帧/B帧，可以设定一阈值，该阈值指示保留的DCT系数的数目。也即依据该阈值舍弃部分高频系数（也称AC系数），例如将大于该阈值的AC系数置为零值。对于I帧，则保留比P帧/B帧数目更多的高频系数。由于对于P帧/B帧来说，基于神经网络的环路滤波处理过程中会从编码图像缓冲器（在解码端即为解码图像缓冲器）中读取对应位置的I帧图像块，并且由于I帧包含更多的高频信息，将I帧图像块和P帧/B帧图像块进行融合，从而通过神经网络的环路滤波处理过程P帧/B帧可以还原部分高频信息。可选地，基于神经网络的环路滤波器的结构示意图也可以采用如图8a示出的内容，更详细地滤波处理模型可以使用如图8b示出的滤波处理模型的结构示意图二。
2）融合第一图像块和尺寸调整的第二图像块，以得到融合图像块，进而确定或生成中间结果。所使用的编码器的结构可以采用图3所示的结构，解码器则是添加有基于超分辨率神经网络的后滤波器，请参见图10，图10 示出了一种解码器的处理功能示意图，该解码器500中，在经过环路滤波处理之后输出的图像块，再经过超分辨率神经网络的后处理滤波器，可以有效提高图像块的分辨率，大大地减少解码图像的失真度。可选地，在环路滤波处理中可以包括基于神经网络的环路滤波器，该基于神经网络的环路滤波器可以和超分辨率神经网络的后处理滤波器共同使用，形成减小图像失真度的双重保障，也可以不使用，即重建图像块依次经过去块滤波、采样自适应偏移、自适应环路滤波处理后，直接输出至基于超分辨率神经网络的后处理滤波器处理。
在对环路滤波输出的第一图像块处理时，基于超分辨率神经网络的后处理滤波器的结构示意图一和结构示意图二可以如图11a或图11b所示，输入端的重建数据A和B是环路滤波处理后的数据，即自适应环路滤波输出的图像块，结构类似于前述图7a和图7b，在此不做赘述，可选地，可参见图11c，是本实施例示出的一种滤波处理模型结构示意图三，可应用于基于超分辨神经网络的后处理滤波器的滤波单元，和前述基于神经网络的环路滤波器中的滤波单元对应的滤波处理模型有所不同：基于超分辨率神经网络的后处理滤波器包括的滤波单元中多了混洗层，可以用于提升图像块的分辨率。对于超分辨率神经网络的后处理滤波器处理的基本原理如下：重建数据A或者重建数据A和滤波后的重建数据B进行融合之后的中间数据被馈入卷积层，经过N个残差单元，以及一个卷积层之后，由混洗层M1自卷积层的输出产生具有滤波后的重建数据A，例如，经过N个残差单元产生的残差数据和重建数据A在卷积层进行对应关系的映射和合成，再经过混洗层M1得到滤波后的重建数据A；经过N个残差单元产生的残差数据和重建数据B在卷积层进行对应关系的映射和合成，再经过混洗层M2得到滤波后的重建数据B。可选地，滤波后的重建数据A的空间分辨率比重建数据A高，重建数据B同理，在此不做赘述。可选地，第一图像块可以是重建数据A，例如亮度图像块（色度图像块），第二图像块即滤波后的重建数据B，即滤波后的色度图像块（或滤波后的色度图像块）。
重建数据还可以是I帧图像块，或P/B帧图像块。对于I帧图像块，统一都不参考其他图像块滤波。因此第一图像块为I帧图像块时，不需要获取其他图像块的信息来重建图像。请参见图12a，图12a是本申请实施例提供的一种基于超分辨率神经网络的后处理滤波器的处理示意图，对应更详细地滤波结构示意图可以参见图12b。图12b中的重建数据A为I帧图像块，重建数据B为P/B帧图像块，存储单元As2和滤波结果缓存单元具有相同的功能。
3）针对融合尺寸调整的第一图像块和第二图像块，得到融合图像块，进而得到中间结果这一方式，对应的编码器和解码器是在如图3或图4所示的视频编解码器的结构基础上，添加了缩放模块的编码器和解码器，如图13a和图13b所示，在编码器600中，将输入的视频数据传输至缩放模块，可以对输入的第一图像块（例如P/B帧图像块）进行缩放处理，以及在编码图像缓冲器和帧间预测之间添加缩放模块，用于在帧间预测时提高编码效率。可选地，对输入的第一图像块（例如P/B帧图像块）进行的缩放处理可以是在变换和量化处理之前进行的。在解码器700中，仅在解码图像缓冲器和帧间预测之间添加缩放模块，上述编码器或解码器中的缩放模块执行的缩放处理均为下采样处理，用于缩小图像块的尺寸，减小传输的数据量。如图13a或图13b的缩放模块作用如下：输入的比特流中，若当前帧是I帧，则缩放模块不对其进行缩放，该缩放操作为下采样操作。若当前帧是B帧，或P帧，则缩放模块对其进行缩放（下采样）。此外，对于编码图像缓冲器中读取的用于做帧间预测的参考帧，需要先进行缩放处理（下采样）之后，再馈入帧间预测模块。因此在环路滤波器处理P/B帧图像块时，P/B帧图像块是下采样处理之后的图像块，I帧没有经过下采样处理。可选地，在滤波单元（例如，基于神经网络的环路滤波器）中可以包括缩放模块。该缩放模块的缩放处理为上采样处理，用于还原图像块尺寸，将处理之后的图像块融合，执行环路滤波处理，这样可以节约传输B帧和P帧的数据量，并且参考I帧图像块可以减少B帧和P帧图像的失真程度，进而实现更加高效的视频编解码。
基于神经网络的环路滤波器的结构还可以如图14所示，缩放后的重建的P/B帧图像块通过融合模块和经过环路滤波处理的I帧图像块融合，再依次经过卷积层、至少一个残差单元、卷积层输出滤波后的P/B帧图像块。例如，经过N个残差单元产生的残差数据和缩放后的重建的P/B帧图像块在卷积层进行对应关系的映射和合成，得到滤波后的P/B帧图像块。输入数据和输出数据和前述图8b类似，输入数据都是重建的P/B帧图像块和经过环路滤波处理的I帧图像块，输出经过滤波后的P/B帧图像块，不同的是：相对于P/B帧来说，I帧是没有经过缩放处理（下采样）的帧，因此，利用没有经过缩放处理的I帧能够在一定程度上复原B帧P帧由于缩放处理（下采样）带来的信息的损失。在基于神经网络的环路滤波器的滤波单元中，需要对重建的P/B帧图像块做上采样处理。对于具体的上采样处理方式可以包括：近邻以复制的方式、其他位置用0填充、转置卷积等，在此不做限制。需要说明到是，其中缩放和融合也可以视为独立于滤波单元的功能模块，即在真正执行滤波处理之前的预处理操作。
在一可行的实施例中，对中间结果的滤波处理还可以是基于超分辨率神经网络的环路滤波器的滤波处理，由于基于超分辨神经网络的环路滤波器处理得到的图像块是高分辨率的图像块，因此在经过采样自适应偏移、自适应环路滤波处理之后，存储在编码图像缓冲器中的图像在帧间预测时，需要进行缩放处理，例如下采样处理将图像块的尺寸（或者说分辨率）和其他图像块统一。可以在编码图像缓冲器和帧间预测之间可以设置一缩放模块，如图15a和图15b所示，分别是编码器800和解码器900。可选地，基于超分辨率神经网络的环路滤波器的结构可以如图16所示，也可以采用如图11c所示的结构示意图，分别对应的是不同重建数据下的滤波单元的结构示意图。
采用如图11c所示的结构，在处理重建数据A（或重建数据B）时，将另一滤波单元处理之后的重建数据B（或重建数据A）经过缩放处理之后融合，再进一步经过超分辨率神经网络（由卷积层、残差单元和混洗层构成）进行处理，得到滤波后的重建数据A（或重建数据B）。在图11c所示的结构中适用于重建数据为亮度图像块或色度图像块的情况。
如图16所示，重建的P/B帧图像块通过融合模块和缩放后的经过环路滤波处理的I帧图像块融合，再依次经过卷积层、残差单元、卷积层输出滤波后的P/B帧图像块。例如，经过N个残差单元产生的残差数据和重建的P/B帧图像块在卷积层进行对应关系的映射和合成，得到滤波后的P/B帧图像块。至少一中间结果可以是经过环路滤波处理的I帧图像块和重建的P/B帧图像块融合得到的目标融合图像块，对目标融合图像块进行滤波处理的滤波单元可以和基于超分辨率神经网络的后处理滤波器中的滤波单元相同，如图12a和图12b所示，区别在于：输入的重建数据不同，本实施例中基于超分辨率神经网络的环路滤波器处理的重建的P/B帧图像块没有经过自适应环路滤波处理，可以从滤波器自带的滤波结果缓存单元中获取。对于具体的处理原理在此不做详述。相比于使用基于超分辨率的神经网络的后处理器（即后处理滤波器），基于超分辨率神经网络的环路滤波可以直接输出高分辨率的比特流，不需要基于超分辨率神经网络的后处理器，在环路滤波环节就可以得到高分辨率图像，从而高效地生成高分辨率比特流以及解码视频流。
综上所述，本申请实施例至少具有以下优点：
通过获取不同类型的图像块，利用图像块的各个维度的图像信息，例如边缘特征、亮度特征、色度特征来融合得到融合图像块，进而利用融合图像块确定或生成中间结果，可以使得中间结果包括的图像信息更加丰富，再对其进行滤波处理后能够得到更加准确的滤波结果，进而提高与图像块相关的解码图像或重建图像的质量。此外，针对不同类型的图像块在不同的情况下进行缩放处理，以适应不同的滤波处理，并且利用滤波处理得到的滤波结果，可以降低确定至少一个图像块相关的重建图像或解码图像的失真度，提高视频编解码的质量。
第三实施例
请参见图17，图17是根据第三实施例示出的一种图像处理方法的流程示意图，该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群，该计算机设备可以是终端设备（如前述移动终端100），也可以是服务器，此处，以本实施例中的执行主体为终端设备为例进行说明。
S1701，获取待处理图像块。
在一实施例中，待处理图像块可以是指未经过基于神经网络的滤波处理的重建数据，例如待处理图像块可以是图3所示的编码器中去块滤波器输出的重建图像块。可选地，根据第二实施例示出的各种编解码结构，基于神经网络的滤波处理包括基于神经网络的环路滤波处理、基于超分辨率神经网络的环路滤波处理、基于超分辨率神经网络的后处理滤波中的任一种。
S1702，根据待处理图像块的属性信息确定或生成目标滤波方式。
在一实施例中，目标滤波方式包括第一目标滤波方式和/或第二目标滤波方式；可选地，第一目标滤波方式和第二目标滤波方式为相同类型的滤波方式，并且第一目标滤波方式和第二目标滤波方式对应的滤波处理模型的结构和/或参数不同。例如第一目标滤波方式和第二目标滤波方式都是基于神经网络的环路滤波器的滤波方式，滤波处理模型则是指基于神经网络的环路滤波器中所使用的神经网络模型，对于不同的处理对象（如第一图像块和第二图像块），目标滤波方式的滤波处理模型不同，例如滤波处理模型为神经网络模型时，其结构和/或参数会适应性调整。
此步骤的实现方式可以为：若待处理图像块的属性信息指示待处理图像块为第一图像块，则确定或生成第一目标滤波方式；和/或，若待处理图像块的属性信息指示待处理图像块为第二图像块，则确定或生成第二目标滤波方式。属性信息可以为一个属性标识，用于指示待处理图像块所属的类型，即用于指示和待处理图像块的类型存在的映射关系，第一图像块和第二图像块是同一维度下不同类型的图像块，例如第一图像块可以为亮度图像块，第二图像块可以为色度图像块，两者可以属于同一帧图像的不同分量信息，再例如第一图像块为I帧图像块，第二图像块为P帧图像块或B帧图像块，两者所在的图像可以都属于同一图像组。针对不同类型的图像块，确定或生成的目标滤波方式也不同。需要说明的是，本实施例中的第二图像块是没有经过滤波处理的图像块，与第一实施例和第二实施例中的第二图像块（经过滤波处理之后的图像块）所表达的含义不同。
可选地，针对目标滤波方式相应条件还包括以下至少一种：
第一目标滤波方式和第二目标滤波方式对应不同的滤波单元，滤波单元对应的滤波处理模型和量化参数存在映射关系；
滤波单元对应的滤波处理模型根据目标编码代价对应的量化参数确定或生成。
滤波单元可以作为对图像块进行滤波处理的基本单元，每个滤波单元都有与之对应的滤波处理模型，该滤波处理模型可以是各种类型的神经网络，例如深度可分离卷积神经网络、超分辨率神经网络等等。对于每一个滤波单元来说，可以有至少一个候选模型，每个候选模型对应于不同的量化参数，且每个候选模型都是在特定量化参数的参与下训练神经网络得到的最佳模型，这样候选模型和量化参数之间存在映射关系。滤波单元对应的滤波处理模型可以根据目标编码代价对应的量化参数从这至少一个候选模型中确定或生成，例如基于编码侧的率失真代价来选择合适的量化参数，进而自至少一个候选模型中确定合适的候选模型，将其作为滤波处理模型。
可选地，利用目标编码代价获取滤波处理模型的步骤可以是：获取量化参数矩阵；根据量化参数矩阵包括的量化参数确定或生成目标编码代价；根据目标编码代价对应的量化参数确定或生成滤波处理模型。量化参数矩阵即量化参数图（QP map），是填充有至少一个量化参数值的矩阵，对于其中包括的每一个量化参数，都可以反映空间细节压缩情况，并且都有与之对应的候选模型，在不同的量化参数下，候选模型的不同会带来编码代价的差异，可选地，编码代价可以使用率失真代价来表示，因此每一个量化参数对应的编码代价可能不同，可以将编码代价最小的确定为目标编码代价，由于编码代价和量化参数、以及量化参数和候选模型之间的映射关系，根据目标编码代价可以确定量化参数，进而可以确定最匹配的候选模型，可以将该候选模型作为滤波处理模型。
S1703，根据目标滤波方式对待处理图像块进行滤波处理，以得到目标滤波结果。
在一实施例中，根据步骤S1702中针对待处理图像块的不同类型确定出来的目标滤波方式，可以利用第一目标滤波方式处理第一图像块，利用第二目标滤波方式处理第二图像块，在滤波处理的过程中，可能还需要其他图像块信息加以辅助，可以参见第四实施例中对应的内容，在此先不做详述。滤波处理得到的目标滤波结果可以是滤波后的第一图像块或滤波后的第二图像块，该目标滤波结果可以用于在编码端确定或生成待处理图像块所在的重建图像，或者在解码端确定或生成待处理图像块所在的解码图像。
综上所述，本申请实施例至少具有以下优点：
针对不同类型的图像块，采用不同的目标滤波方式处理，具体是采用相同类型的滤波方式所对应的不同滤波单元，例如不同的滤波单元所包括的神经网络模型对各个图像块进行适应性地处理，这样能够使得图像块的滤波处理更加合理且高效。此外，滤波单元所对应的滤波处理模型的选择可以基于最小编码代价对应的量化参数来确定或生成，采用此方式可以有效提升不同滤波单元匹配滤波处理模型的准确性，以及高效地利用计算机资源来提升视频编解码性能。
第四实施例
请参见图18，图18是根据第四实施例示出的一种图像处理方法的流程示意图，该实施例中的执行主体可以是一个计算机设备或者是多个计算机设备构成的集群，该计算机设备可以是终端设备（如前述移动终端100），也可以是服务器，此处，以本实施例中的执行主体为终端设备为例进行说明。
S1801，获取待处理图像块。
S1802，根据待处理图像块的属性信息确定或生成目标滤波方式。
步骤S1801至S1802可以参见第三实施例中的步骤S1701至S1702，在此不做赘述。
S1803，若待处理图像块为第一图像块，则获取参考图像块，并根据目标滤波方式对参考图像块和第一图像块进行滤波处理，以得到目标滤波结果。
在一实施例中，第一图像块包括差别帧图像块、色度图像块以及亮度图像块中的任一种，参考图像块为滤波处理后的图像块。根据第一图像块的不同，参考图像块所对应的也不同，参考图像块可以包括滤波处理后的关键帧图像块、滤波处理后的亮度图像块以及滤波处理后的色度图像块中的任一种，这里的差别帧图像块包括P帧图像块和B帧图像块，关键帧图像块为I帧图像块。可选地，参考图像块和目标滤波结果经过相同类型的滤波处理。举例来说，第一图像块为差别帧图像块，则获取的参考图像块为经过基于神经网络的环路滤波处理后的关键帧图像块，对应的目标滤波结果也是经过基于神经网络的环路滤波处理后得到的。需要说明的是，针对第一图像块和参考图像块的处理，目标滤波方式是指第一目标滤波方式。
在一实施例中，根据目标滤波方式对参考图像块和第一图像块进行滤波处理，以得到目标滤波结果，可以包括：对参考图像块和第一图像块进行预处理，得到滤波处理对象；根据目标滤波方式对滤波处理对象进行滤波处理，以得到目标滤波结果。这里的预处理可以包括缩放处理、融合处理或者不做任何处理。滤波处理对象可以根据预处理后的参考图像块和预处理后的第一图像块融合得到，该滤波处理对象也是图像块，对于滤波处理对象的具体确定方式可以参见下述内容。
可选地，对参考图像块和第一图像块进行预处理，得到滤波处理对象，包括以下至少一种：
①对参考图像块和第一图像块进行融合处理，得到第一融合图像块，将第一融合图像块确定为滤波处理对象；
②对参考图像块和/或第一图像块进行缩放处理，得到尺寸调整的参考图像块和/或尺寸调整的第一图像块，将参考图像块和尺寸调整的参考图像块中的任一个，以及第一图像块和尺寸调整的第一图像块中的任一个进行融合处理，得到第二融合图像块，将第二融合图像块确定为滤波处理对象；
③根据变换系数阈值对第一图像块包括的部分变换系数进行置零处理，得到处理后的第一图像块，将处理后的第一图像块和参考图像块进行融合处理，得到第三融合图像块，将第三融合图像块确定为滤波处理对象。
针对上述三种预处理方式得到滤波处理对象，进行以下详细说明。
1）直接将获取到的第一图像块和参考图像块融合，得到的第一融合图像块即可作为滤波处理对象，在滤波处理对象滤波时可以使得原本对第一图像块的滤波处理变为带有参考图像块的滤波处理，这样能够利用参考图像块的图像信息辅助第一图像块滤波，通过补偿第一图像块的信息缺失来减小滤波处理后的第一图像块失真度，进而保证重建图像以及最终解码输出的图像的质量。
2）这一方式对应了多种组合的可能性，根据不同的组合方式可以生成或确定不同的第二融合图像块，进而得到滤波处理对象。参考图像块和第一图像块的缩放处理在不同情况下有不同的处理，可以仅对其中一个进行缩放，然后由另一个没有进行缩放处理的进行融合，得到第二融合图像块，例如参考图像块和尺寸调整的第一图像块融合作为第二融合图像块；也可以对两个都进行缩放处理，将两个缩放处理后的图像块进行融合，得到第二融合图像块。缩放处理包括下采样处理或上采样处理，可以视具体情况而定，尺寸调整可以是尺寸缩小或尺寸放大。对滤波处理对象的获取方式更进一步地介绍，可以参见第二实施例中根据目标融合图像块确定或生成的中间结果的实现方式，该实施例中的第二图像块替换为这里的参考图像块，即可以实现相同的处理，在此不做赘述。需要说明的是，第二实施例中的第二图像块和本实施例中的第二图像块不同，前者是经过滤波处理之后的图像块，后者是没有经过滤波处理的图像块，本实施例中的参考图像块可以与第一实施例或第二实施例中的第二图像块对应。
3）此方式通过设置变换系数阈值丢弃第一图像块的高频信息，然后利用参考图像块的高频信息来还原第一图像块，第三融合图像块即是包括补偿了高频信息的图像块。可选地，上述变换系数阈值可以是根据人工经验值设定，也可以是采用其他方式设定的。第一图像块包括的变换系数是指高频系数（也称AC系数），是第一图像块经过变换处理之后的DCT系数中的一部分（DCT系数包括低频系数和高频系数）。可以将第一图像块中大于该变换系数阈值的变换系数置零，从而实现高频信息丢弃的处理，这样第一图像块中更多保留的是低频信息，而参考图像块中由于保留了更多的高频信息，将二者融合可以实现高频信息的还原。可选地，第一图像块是指P帧图像块或B帧图像块，参考图像块是从图像缓冲器（例如编码图像缓冲器或解码图像缓冲器）中读取对应位置的I帧图像块。对于P帧图像块或B帧图像块来说，基于神经网络的环路滤波处理过程可以从图像缓冲器中获取包含更多高频信息的I帧，从而通过基于神经网络的环路滤波处理过程还原P帧图像块或B帧图像块的部分高频信息。采用这种方式，可以在变换处理之后的过程中，包括量化、逆量化、逆变换等过程对第一图像块实现快速地处理，而在后续的处理过程中也能够保证视频编解码的质量。
在一可行的实施例中，根据目标滤波方式对滤波处理对象进行滤波处理，以得到目标滤波结果，可以包括：若滤波处理对象为第一融合图像块或第三融合图像块，则根据第一类型的目标滤波方式对滤波处理对象进行滤波处理，以得到目标滤波结果；和/或，若滤波处理对象为第二融合图像块或第二图像块，则根据第一类型的目标滤波方式或第二类型的目标滤波方式对滤波处理对象进行滤波处理，以得到目标滤波结果。
换而言之，在滤波处理对象不同时，所采用的目标滤波方式的类型也存在不同。此时，两种类型的目标滤波方式对应的滤波单元、所包括的滤波处理模型是完全不同的。可选地，第一融合图像块和第三融合图像块所采用的第一类型的目标滤波方式可以是基于神经网络的环路滤波处理，该第三融合图像块是利用参考图像块的高频信息还原第一图像块的高频信息的图像块，不涉及缩放处理，第一融合图像块是直接融合两种图像块得到的，同样也不涉及缩放处理，缩放处理是第二类型的目标滤波方式所需的一种预处理方式，能够使得图像块的尺寸统一或者是减小计算量或传输数据量。
第二融合图像块和第二图像块的滤波处理对应有两种类型的滤波处理方式，即可以采用前述的第一类型的目标滤波方式，例如基于神经网络的环路滤波处理，也可以采用第二类型的目标滤波方式，例如基于超分辨率神经网络的环路滤波处理，或者基于超分辨率神经网络的后处理滤波。在一些情况下，第二融合图像块和第二图像块所采用的目标滤波方式可以均是第一类型的目标滤波方式，这样第二融合图像块中所涉及的缩放处理主要是为了降低图像块传输的数据量，进而节省资源。第二融合图像块和第二图像块所采用的目标滤波方式也可以均是第二类型的目标滤波方式，在此方式下，获取第二融合图像块的过程中的尺寸调整是为了统一尺寸，快速得到融合图像块。可选地，第二融合图像块和第二图像块所采用的目标滤波方式还可以分别是第一类型的目标滤波方式和第二类型的目标滤波方式。针对不同类型的滤波方式得到的目标滤波结果可以用于确定或生成与待处理图像块对应的重建图像或解码图像。
S1804，若待处理图像块为第二图像块，则根据目标滤波方式对第二图像块进行滤波处理，以得到目标滤波结果。
在一实施例中，第二图像块包括关键帧图像块，即I帧图像块；目标滤波方式在此是指第二目标滤波方式，即和第一图像块进行滤波处理的同类型滤波方式的不同滤波单元（或者说不同滤波处理模型）的滤波方式。由于第二图像块包括的图像信息是完整的，因此可以不需要其他图像块来融合进行滤波处理，得到的目标滤波结果即滤波处理后的第二图像块，此时目标滤波结果可以作为第一图像块为差别帧图像块时的参考图像块。
综上所述，本申请实施例至少具有以下优点：
针对不同类型的待处理图像块，使用不同的滤波方式对图像块进行针对性地滤波处理；待处理图像块为第一图像块或第二图像块时，可以选择直接滤波处理，或者获取相应的参考图像块，预处理后再进行滤波处理，对参考图像块和待处理图像块的预处理包括缩放处理和融合处理，缩放处理可以减小图像数据的处理量，还可以节约传输所需的数据资源，融合处理可以保证具有相关性的图像块之间的信息融合，提高图像块滤波效果，进而减少图像的失真。
第五实施例
请参见图19，图19是根据第五实施例示出的一种图像处理装置的结构示意图，该图像处理装置可以是运行于服务器中的一个计算机程序（包括程序代码），例如图像处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。该图像处理装置包括：获取模块1901、确定模块1902、处理模块1903。
获取模块1901，用于获取至少一个图像块；
确定模块1902，用于根据所述至少一个图像块确定或生成至少一中间结果；
处理模块1903，用于对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。
在一实施例中，所述至少一个图像块包括第一图像块和第二图像块；以及所述第一图像块包括未经基于神经网络滤波处理的图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；确定模块1902，具体用于：根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
在一实施例中，所述至少一个图像块包括第一图像块，所述第一图像块包括未经基于神经网络滤波处理的图像块；确定模块1902，具体用于：获取所述第一图像块对应的第二图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
可选的，包括以下至少一种：所述第一图像块和所述第二图像块属于不同类型的图像块；所述第二图像块所在的图像和所述第一图像块所在的图像属于同一图像组；所述第二图像块所在的图像与所述第一图像块所在的图像依次被编码或解码。
在一实施例中，获取模块1901，具体用于：获取第一图像块；根据所述第一图像块的属性信息获取第二图像块。
在一实施例中，获取模块1901，具体用于：根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，所述第二图像块包括滤波处理后的图像块。
在一实施例中，确定模块1902，具体还用于：若所述第一图像块的属性信息指示所述第一图像块为色度图像块或亮度图像块，则从滤波结果缓存单元中获取第二图像块，所述第二图像块对应为滤波处理后的亮度图像块或滤波处理后的色度图像块；若所述第一图像块的属性信息指示所述第一图像块为差别帧图像块，则从滤波结果缓存单元或图像缓冲器中获取第二图像块，所述第二图像块为滤波处理后的关键帧图像块。
在一实施例中，确定模块1902，具体用于：获取所述第一图像块的图像特征和所述第二图像块的图像特征；根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果。
在一实施例中，所述图像特征包括边缘特征，确定模块1902，具体用于：若所述第一图像块为亮度图像块或色度图像块，则获取所述第一图像块的边缘特征和所述第二图像块的边缘特征；将所述第一图像块的边缘特征和所述第二图像块的边缘特征进行融合，得到边缘融合图像块；根据所述边缘融合图像块确定或生成至少一中间结果。
在一实施例中，所述图像特征包括亮度特征和/或色度特征，确定模块1902，具体用于：若所述第一图像块为差别帧图像块或关键帧图像块，则获取所述第一图像块的亮度特征和/或色度特征，以及获取所述第二图像块的亮度特征和/或色度特征；将所述第一图像块的亮度特征和所述第二图像块的亮度特征进行融合，得到亮度融合图像块，和/或，将所述第二图像块的色度特征和所述第一图像块的色度特征进行融合，得到色度融合图像块；根据所述亮度融合图像块和/或所述色度融合图像块确定或生成至少一中间结果。
在一实施例中，确定模块1902，具体用于：将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块；根据所述目标融合图像块确定或生成至少一中间结果。
在一实施例中，确定模块1902，具体用于：对所述第一图像块和/或第二图像块进行缩放处理，得到尺寸调整的第一图像块和/或第二图像块；将所述第一图像块和所述尺寸调整的第一图像块中的任一个，和所述第二图像块和所述尺寸调整的第二图像块中的任一个进行融合处理，得到目标融合图像块。
在一实施例中，所述至少一中间结果包括至少一个融合图像块；处理模块1903，具体用于：利用所述第二图像块采用的滤波处理方式对所述至少一个融合图像块进行滤波处理，以得到目标滤波结果。
可选地，所述目标滤波结果包括滤波处理后的第一图像块，所述滤波处理后的第一图像块和所述第二图像块采用的滤波处理方式所对应的滤波处理模型结构和/或参数不同。
可选地，所述第一图像块的分辨率小于所述第二图像块的分辨率，和/或，所述滤波处理后的第一图像块的分辨率大于所述第一图像块的分辨率。
在另一实施例中，上述如图19示出的图像处理装置还可以应用于以下图像处理方法，其中：
获取模块1901，用于获取待处理图像块；
确定模块1902，用于根据所述待处理图像块的属性信息确定或生成目标滤波方式；
处理模块1903，用于根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果。
在一实施例中，所述目标滤波方式包括第一目标滤波方式和/或第二目标滤波方式；确定模块1902，具体用于：若所述待处理图像块的属性信息指示所述待处理图像块为第一图像块，则确定或生成所述第一目标滤波方式；和/或，若所述待处理图像块的属性信息指示所述待处理图像块为第二图像块，则确定或生成所述第二目标滤波方式。
可选地，所述第一目标滤波方式和所述第二目标滤波方式为相同类型的滤波方式，并且所述第一目标滤波方式和所述第二目标滤波方式对应的滤波处理模型的结构和/或参数不同。
可选地，包括以下至少一种：所述第一目标滤波方式和所述第二目标滤波方式对应不同的滤波单元，所述滤波单元对应的滤波处理模型和量化参数存在映射关系；所述滤波单元对应的滤波处理模型根据目标编码代价对应的量化参数确定或生成。
在一实施例中，处理模块1903，具体还用于以下至少一种：若所述待处理图像块为第一图像块，则获取参考图像块，并根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果；和/或，若所述待处理图像块为第二图像块，则根据所述目标滤波方式对所述第二图像块进行滤波处理，以得到目标滤波结果。
可选地，包括以下至少一种：所述参考图像块为滤波处理后的图像块；可选地，所述参考图像块和所述目标滤波结果经过相同类型的滤波处理；所述第一图像块包括差别帧图像块、色度图像块以及亮度图像块中的任一种；所述第二图像块包括关键帧图像块。
在一实施例中，处理模块1903，具体用于：对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象；根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
在一实施例中，处理模块1903，具体用于以下至少一种：对所述参考图像块和所述第一图像块进行融合处理，得到第一融合图像块，将所述第一融合图像块确定为滤波处理对象；对所述参考图像块和/或所述第一图像块进行缩放处理，得到尺寸调整的参考图像块和/或尺寸调整的第一图像块，将所述参考图像块和所述尺寸调整的参考图像块中的任一个，以及所述第一图像块和所述尺寸调整的第一图像块中的任一个进行融合处理，得到第二融合图像块，将所述第二融合图像块确定为所述滤波处理对象；根据变换系数阈值对所述第一图像块包括的部分变换系数进行置零处理，得到处理后的第一图像块，将所述处理后的第一图像块和所述参考图像块进行融合处理，得到第三融合图像块，将所述第三融合图像块确定为所述滤波处理对象。
在一实施例中，处理模块1903，具体用于以下至少一种：若所述滤波处理对象为所述第一融合图像块或所述第三融合图像块，则根据第一类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果；若所述滤波处理对象为所述第二融合图像块或所述第二图像块，则根据所述第一类型的目标滤波方式或第二类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
可以理解的是，本申请实施例所描述的图像处理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
本申请实施例还提供一种智能终端，智能终端包括存储器、处理器，存储器上存储有图像处理程序，该图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。该智能终端可以是如图1所示的移动终端100。
可选地，如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序，以执行如下操作：
获取至少一个图像块；
根据所述至少一个图像块确定或生成至少一中间结果；
对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。
在一实施例中，所述至少一个图像块包括第一图像块和第二图像块；以及所述第一图像块包括未经基于神经网络滤波处理的图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；处理器110具体用于：根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
在一实施例中，所述至少一个图像块包括第一图像块，所述第一图像块包括未经基于神经网络滤波处理的图像块；处理器110具体用于：获取所述第一图像块对应的第二图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
可选地，包括以下至少一种：所述第一图像块和所述第二图像块属于不同类型的图像块；所述第二图像块所在的图像和所述第一图像块所在的图像属于同一图像组；所述第二图像块所在的图像与所述第一图像块所在的图像依次被编码或解码。
在一实施例中，处理器110具体用于：获取第一图像块；根据所述第一图像块的属性信息获取第二图像块。
在一实施例中，处理器110具体用于：根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，所述第二图像块包括滤波处理后的图像块。
在一实施例中，处理器110具体用于以下至少一种：若所述第一图像块的属性信息指示所述第一图像块为色度图像块或亮度图像块，则从滤波结果缓存单元中获取第二图像块，所述第二图像块对应为滤波处理后的亮度图像块或滤波处理后的色度图像块；若所述第一图像块的属性信息指示所述第一图像块为差别帧图像块，则从滤波结果缓存单元或图像缓冲器中获取第二图像块，所述第二图像块为滤波处理后的关键帧图像块。
在一实施例中，处理器110具体用于：获取所述第一图像块的图像特征和所述第二图像块的图像特征；根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果。
在一实施例中，所述图像特征包括边缘特征，处理器110具体用于：若所述第一图像块为亮度图像块或色度图像块，则获取所述第一图像块的边缘特征和所述第二图像块的边缘特征；将所述第一图像块的边缘特征和所述第二图像块的边缘特征进行融合，得到边缘融合图像块；根据所述边缘融合图像块确定或生成至少一中间结果。
在一实施例中，所述图像特征包括亮度特征和/或色度特征，处理器110具体用于：若所述第一图像块为差别帧图像块或关键帧图像块，则获取所述第一图像块的亮度特征和/或色度特征，以及获取所述第二图像块的亮度特征和/或色度特征；将所述第一图像块的亮度特征和所述第二图像块的亮度特征进行融合，得到亮度融合图像块，和/或，将所述第二图像块的色度特征和所述第一图像块的色度特征进行融合，得到色度融合图像块；根据所述亮度融合图像块和/或所述色度融合图像块确定或生成至少一中间结果。
在一实施例中，处理器110具体用于：将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块；根据所述目标融合图像块确定或生成至少一中间结果。
在一实施例中，处理器110具体用于：对所述第一图像块和/或第二图像块进行缩放处理，得到尺寸调整的第一图像块和/或第二图像块；将所述第一图像块和所述尺寸调整的第一图像块中的任一个，和所述第二图像块和所述尺寸调整的第二图像块中的任一个进行融合处理，得到目标融合图像块。
在一实施例中，所述至少一中间结果包括至少一个融合图像块；处理器110具体用于：利用所述第二图像块采用的滤波处理方式对所述至少一个融合图像块进行滤波处理，以得到目标滤波结果。
可选地，所述目标滤波结果包括滤波处理后的第一图像块，所述滤波处理后的第一图像块和所述第二图像块采用的滤波处理方式所对应的滤波处理模型结构和/或参数不同。
可选地，所述第一图像块的分辨率小于所述第二图像块的分辨率，和/或，所述滤波处理后的第一图像块的分辨率大于所述第一图像块的分辨率。
在一可能的实施例中，如图1所示的移动终端100的处理器110可以用于调用存储器109中存储的图像处理程序，以执行如下操作：
获取待处理图像块；
根据所述待处理图像块的属性信息确定或生成目标滤波方式；
根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果。
在一实施例中，所述目标滤波方式包括第一目标滤波方式和/或第二目标滤波方式；处理器110具体用于：若所述待处理图像块的属性信息指示所述待处理图像块为第一图像块，则确定或生成所述第一目标滤波方式；和/或，若所述待处理图像块的属性信息指示所述待处理图像块为第二图像块，则确定或生成所述第二目标滤波方式。
可选地，所述第一目标滤波方式和所述第二目标滤波方式为相同类型的滤波方式，并且所述第一目标滤波方式和所述第二目标滤波方式对应的滤波处理模型的结构和/或参数不同。
可选地，包括以下至少一种：所述第一目标滤波方式和所述第二目标滤波方式对应不同的滤波单元，所述滤波单元对应的滤波处理模型和量化参数存在映射关系；所述滤波单元对应的滤波处理模型根据目标编码代价对应的量化参数确定或生成。
在一实施例中，处理器110具体用于以下至少一种：若所述待处理图像块为第一图像块，则获取参考图像块，并根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果；和/或，若所述待处理图像块为第二图像块，则根据所述目标滤波方式对所述第二图像块进行滤波处理，以得到目标滤波结果。
可选地，包括以下至少一种：所述参考图像块为滤波处理后的图像块；可选地，所述参考图像块和所述目标滤波结果均已经经过了相同类型的滤波处理；所述第一图像块包括差别帧图像块、色度图像块以及亮度图像块中的任一种；所述第二图像块包括关键帧图像块。
在一实施例中，处理器110具体用于：对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象；根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
在一实施例中，处理器110具体用于以下至少一种：对所述参考图像块和所述第一图像块进行融合处理，得到第一融合图像块，将所述第一融合图像块确定为滤波处理对象；对所述参考图像块和/或所述第一图像块进行缩放处理，得到尺寸调整的参考图像块和/或尺寸调整的第一图像块，将所述参考图像块和所述尺寸调整的参考图像块中的任一个，以及所述第一图像块和所述尺寸调整的第一图像块中的任一个进行融合处理，得到第二融合图像块，将所述第二融合图像块确定为所述滤波处理对象；根据变换系数阈值对所述第一图像块包括的部分变换系数进行置零处理，得到处理后的第一图像块，将所述处理后的第一图像块和所述参考图像块进行融合处理，得到第三融合图像块，将所述第三融合图像块确定为所述滤波处理对象。
在一实施例中，处理器110具体用于以下至少一种：若所述滤波处理对象为所述第一融合图像块或所述第三融合图像块，则根据第一类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果；若所述滤波处理对象为所述第二融合图像块或所述第二图像块，则根据所述第一类型的目标滤波方式或第二类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
应当理解，本申请实施例中所描述的移动终端可执行前文任一实施例的方法描述，也可执行前文所对应实施例中对该图像处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有图像处理程序，图像处理程序被处理器执行时实现上述任一实施例中的图像处理方法的步骤。
在本申请提供的智能终端和计算机可读存储介质的实施例中，可以包含任一上述图像处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不再做赘述。
本申请实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着***架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本申请技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。
在本申请中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本申请记载的范围。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，（例如，软盘、存储盘、磁带）、光介质（例如，DVD），或者半导体介质（例如固态存储盘Solid State Disk (SSD)）等。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (26)

1.一种图像处理方法，其特征在于，所述方法包括：
获取至少一个图像块；
根据所述至少一个图像块确定或生成至少一中间结果；
对所述至少一中间结果进行滤波处理，以得到目标滤波结果，所述目标滤波结果用于确定或生成与所述至少一个图像块对应的重建图像或者解码图像。
2.如权利要求1所述的方法，其特征在于，所述至少一个图像块包括第一图像块和第二图像块；以及所述第一图像块包括未经基于神经网络滤波处理的图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；
其中，所述根据所述至少一个图像块确定或生成至少一中间结果，包括：
根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
3.如权利要求1所述的方法，其特征在于，所述至少一个图像块包括第一图像块，所述第一图像块包括未经基于神经网络滤波处理的图像块；以及所述根据所述至少一个图像块确定或生成至少一中间结果，包括：
获取所述第一图像块对应的第二图像块，所述第二图像块包括基于神经网络滤波处理后的图像块；或者所述第二图像块和所述目标滤波结果经过相同类型的滤波处理；
根据所述第一图像块和所述第二图像块确定或生成至少一中间结果。
4.如权利要求2或3所述的方法，其特征在于，包括以下至少一种：
所述第一图像块和所述第二图像块属于不同类型的图像块；
所述第二图像块所在的图像和所述第一图像块所在的图像属于同一图像组；
所述第二图像块所在的图像与所述第一图像块所在的图像依次被编码或解码。
5.如权利要求1或2所述的方法，其特征在于，所述获取至少一个图像块，包括：
获取第一图像块；
根据所述第一图像块的属性信息获取第二图像块。
6.如权利要求5所述的方法，其特征在于，所述根据所述第一图像块的属性信息获取第二图像块，包括：
根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，所述第二图像块包括滤波处理后的图像块。
7.如权利要求6所述的方法，其特征在于，所述根据所述第一图像块的属性信息，从滤波结果缓存单元或者图像缓冲器中获取第二图像块，包括以下至少一种：
若所述第一图像块的属性信息指示所述第一图像块为色度图像块或亮度图像块，则从滤波结果缓存单元中获取第二图像块，所述第二图像块对应为滤波处理后的亮度图像块或滤波处理后的色度图像块；
若所述第一图像块的属性信息指示所述第一图像块为差别帧图像块，则从滤波结果缓存单元或图像缓冲器中获取第二图像块，所述第二图像块为滤波处理后的关键帧图像块。
8.如权利要求2或3所述的方法，其特征在于，所述根据所述第一图像块和所述第二图像块确定或生成至少一中间结果，包括：
获取所述第一图像块的图像特征和所述第二图像块的图像特征；
根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果。
9.如权利要求8所述的方法，其特征在于，所述图像特征包括边缘特征，所述根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果，包括：
若所述第一图像块为亮度图像块或色度图像块，则获取所述第一图像块的边缘特征和所述第二图像块的边缘特征；
将所述第一图像块的边缘特征和所述第二图像块的边缘特征进行融合，得到边缘融合图像块；
根据所述边缘融合图像块确定或生成至少一中间结果。
10.如权利要求8所述的方法，其特征在于，所述图像特征包括亮度特征和/或色度特征，所述根据所述第一图像块的图像特征和所述第二图像块的图像特征确定或生成至少一中间结果，包括：
若所述第一图像块为差别帧图像块或关键帧图像块，则获取所述第一图像块的亮度特征和/或色度特征，以及获取所述第二图像块的亮度特征和/或色度特征；
将所述第一图像块的亮度特征和所述第二图像块的亮度特征进行融合，得到亮度融合图像块，和/或，将所述第二图像块的色度特征和所述第一图像块的色度特征进行融合，得到色度融合图像块；
根据所述亮度融合图像块和/或所述色度融合图像块确定或生成至少一中间结果。
11.如权利要求2或3所述的方法，其特征在于，所述根据所述第一图像块和所述第二图像块确定或生成至少一中间结果，包括：
将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块；
根据所述目标融合图像块确定或生成至少一中间结果。
12.如权利要求11所述的方法，其特征在于，所述将所述第一图像块和所述第二图像块进行融合，得到目标融合图像块，包括：
对所述第一图像块和/或第二图像块进行缩放处理，得到尺寸调整的第一图像块和/或第二图像块；
将所述第一图像块和所述尺寸调整的第一图像块中的任一个，和所述第二图像块和所述尺寸调整的第二图像块中的任一个进行融合处理，得到目标融合图像块。
13.如权利要求12所述的方法，其特征在于，所述至少一中间结果包括至少一个融合图像块；所述对所述至少一中间结果进行滤波处理，以得到目标滤波结果，包括：
利用所述第二图像块采用的滤波处理方式对所述至少一个融合图像块进行滤波处理，以得到目标滤波结果。
14.如权利要求13所述的方法，其特征在于，所述目标滤波结果包括滤波处理后的第一图像块，所述滤波处理后的第一图像块和所述第二图像块采用的滤波处理方式所对应的滤波处理模型结构和/或参数不同。
15.如权利要求14所述的方法，其特征在于，所述第一图像块的分辨率小于所述第二图像块的分辨率，和/或，所述滤波处理后的第一图像块的分辨率大于所述第一图像块的分辨率。
16.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像块；
根据所述待处理图像块的属性信息确定或生成目标滤波方式；
根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果。
17.如权利要求16所述的方法，其特征在于，所述目标滤波方式包括第一目标滤波方式和/或第二目标滤波方式；
所述根据所述待处理图像块的属性信息确定或生成目标滤波方式，包括：
若所述待处理图像块的属性信息指示所述待处理图像块为第一图像块，则确定或生成所述第一目标滤波方式；和/或，
若所述待处理图像块的属性信息指示所述待处理图像块为第二图像块，则确定或生成所述第二目标滤波方式。
18.如权利要求17所述的方法，其特征在于，所述第一目标滤波方式和所述第二目标滤波方式为相同类型的滤波方式，并且所述第一目标滤波方式和所述第二目标滤波方式对应的滤波处理模型的结构和/或参数不同。
19.如权利要求18所述的方法，其特征在于，包括以下至少一种：
所述第一目标滤波方式和所述第二目标滤波方式对应不同的滤波单元，所述滤波单元对应的滤波处理模型和量化参数存在映射关系；
所述滤波单元对应的滤波处理模型根据目标编码代价对应的量化参数确定或生成。
20.如权利要求17至19中任一项所述的方法，其特征在于，所述根据所述目标滤波方式对所述待处理图像块进行滤波处理，以得到目标滤波结果，包括以下至少一种：
若所述待处理图像块为第一图像块，则获取参考图像块，并根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果；
若所述待处理图像块为第二图像块，则根据所述目标滤波方式对所述第二图像块进行滤波处理，以得到目标滤波结果。
21.如权利要求20所述的方法，其特征在于，包括以下至少一种：
所述参考图像块为滤波处理后的图像块；
所述第一图像块包括差别帧图像块、色度图像块以及亮度图像块中的任一种；
所述第二图像块包括关键帧图像块。
22.如权利要求20所述的方法，其特征在于，所述根据所述目标滤波方式对所述参考图像块和所述第一图像块进行滤波处理，以得到目标滤波结果，包括：
对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象；
根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
23.如权利要求22所述的方法，其特征在于，所述对所述参考图像块和所述第一图像块进行预处理，得到滤波处理对象，包括以下至少一种：
对所述参考图像块和所述第一图像块进行融合处理，得到第一融合图像块，将所述第一融合图像块确定为滤波处理对象；
对所述参考图像块和/或所述第一图像块进行缩放处理，得到尺寸调整的参考图像块和/或尺寸调整的第一图像块，将所述参考图像块和所述尺寸调整的参考图像块中的任一个，以及所述第一图像块和所述尺寸调整的第一图像块中的任一个进行融合处理，得到第二融合图像块，将所述第二融合图像块确定为所述滤波处理对象；
根据变换系数阈值对所述第一图像块包括的部分变换系数进行置零处理，得到处理后的第一图像块，将所述处理后的第一图像块和所述参考图像块进行融合处理，得到第三融合图像块，将所述第三融合图像块确定为所述滤波处理对象。
24.如权利要求23所述的方法，其特征在于，所述根据所述目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果，包括以下至少一种：
若所述滤波处理对象为所述第一融合图像块或所述第三融合图像块，则根据第一类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果；
若所述滤波处理对象为所述第二融合图像块或所述第二图像块，则根据所述第一类型的目标滤波方式或第二类型的目标滤波方式对所述滤波处理对象进行滤波处理，以得到目标滤波结果。
25.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行时实现如权利要求1至24中任一项所述的图像处理方法的步骤。
26.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至24中任一项所述的图像处理方法的步骤。
CN202111253333.1A 2021-10-27 2021-10-27 图像处理方法、智能终端及可读存储介质 Active CN113709504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111253333.1A CN113709504B (zh) 2021-10-27 2021-10-27 图像处理方法、智能终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253333.1A CN113709504B (zh) 2021-10-27 2021-10-27 图像处理方法、智能终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN113709504A true CN113709504A (zh) 2021-11-26
CN113709504B CN113709504B (zh) 2022-02-15

Family

ID=78647056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253333.1A Active CN113709504B (zh) 2021-10-27 2021-10-27 图像处理方法、智能终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN113709504B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023134482A1 (zh) * 2022-01-12 2023-07-20 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
WO2024060791A1 (zh) * 2022-09-19 2024-03-28 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备、存储介质及程序产品

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136303A1 (en) * 2001-03-26 2002-09-26 Shijun Sun Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US20030053541A1 (en) * 2001-09-14 2003-03-20 Shijun Sun Adaptive filtering based upon boundary strength
US20050117640A1 (en) * 2003-12-01 2005-06-02 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
WO2006043755A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
US20100021071A1 (en) * 2007-01-09 2010-01-28 Steffen Wittmann Image coding apparatus and image decoding apparatus
CN106941608A (zh) * 2011-06-30 2017-07-11 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2019105120A1 (zh) * 2017-11-29 2019-06-06 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
CN110740319A (zh) * 2019-10-30 2020-01-31 腾讯科技（深圳）有限公司 视频编解码方法、装置、电子设备及存储介质
WO2020177133A1 (zh) * 2019-03-07 2020-09-10 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
CN111652818A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 一种基于金字塔的图像滤波方法、装置及存储介质
CN112070158A (zh) * 2020-09-08 2020-12-11 哈尔滨工业大学（威海） 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
WO2021164176A1 (zh) * 2020-02-20 2021-08-26 北京大学 基于深度学习的端到端视频压缩方法、***及存储介质
WO2021196234A1 (zh) * 2020-04-03 2021-10-07 北京大学 一种视频编码、解码方法、设备及存储介质
CN113542739A (zh) * 2021-07-15 2021-10-22 Oppo广东移动通信有限公司 图像编码方法及装置、图像解码方法及装置、介质、设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020136303A1 (en) * 2001-03-26 2002-09-26 Shijun Sun Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US20030053541A1 (en) * 2001-09-14 2003-03-20 Shijun Sun Adaptive filtering based upon boundary strength
US20050117640A1 (en) * 2003-12-01 2005-06-02 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding and decoding
WO2006043755A1 (en) * 2004-10-18 2006-04-27 Samsung Electronics Co., Ltd. Video coding and decoding methods using interlayer filtering and video encoder and decoder using the same
US20100021071A1 (en) * 2007-01-09 2010-01-28 Steffen Wittmann Image coding apparatus and image decoding apparatus
CN106941608A (zh) * 2011-06-30 2017-07-11 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2019105120A1 (zh) * 2017-11-29 2019-06-06 北京大学深圳研究生院 一种用于帧内和帧间预测的滤波方法
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
WO2020177133A1 (zh) * 2019-03-07 2020-09-10 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
CN110740319A (zh) * 2019-10-30 2020-01-31 腾讯科技（深圳）有限公司 视频编解码方法、装置、电子设备及存储介质
WO2021164176A1 (zh) * 2020-02-20 2021-08-26 北京大学 基于深度学习的端到端视频压缩方法、***及存储介质
WO2021196234A1 (zh) * 2020-04-03 2021-10-07 北京大学 一种视频编码、解码方法、设备及存储介质
CN111652818A (zh) * 2020-05-29 2020-09-11 浙江大华技术股份有限公司 一种基于金字塔的图像滤波方法、装置及存储介质
CN112070158A (zh) * 2020-09-08 2020-12-11 哈尔滨工业大学（威海） 一种基于卷积神经网络和双边滤波的面部瑕疵检测方法
CN113542739A (zh) * 2021-07-15 2021-10-22 Oppo广东移动通信有限公司 图像编码方法及装置、图像解码方法及装置、介质、设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JACK ENHORN等: "A Temporal Pre-Filter For Video Coding Based On Bilateral Filtering", 《 2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
曾文权等: "运动补偿时间滤波技术研究", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023134482A1 (zh) * 2022-01-12 2023-07-20 深圳传音控股股份有限公司 图像处理方法、智能终端及存储介质
WO2024060791A1 (zh) * 2022-09-19 2024-03-28 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN113709504B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
WO2018001207A1 (zh) 编解码的方法及装置
WO2019134557A1 (zh) 视频图像的处理方法及装置
US9414086B2 (en) Partial frame utilization in video codecs
CN113709504B (zh) 图像处理方法、智能终端及可读存储介质
KR20210114055A (ko) 교차-컴포넌트 필터링을 위한 방법 및 장치
CN114079779B (zh) 图像处理方法、智能终端及存储介质
US9129409B2 (en) System and method of compressing video content
US11659193B2 (en) Framework for video conferencing based on face restoration
JP2008533850A (ja) 二層符号化及び単層復号化による階層的ビデオ符号化
US20230353790A1 (en) System and method for video coding
CN115834897B (zh) 处理方法、处理设备及存储介质
US20230115058A1 (en) System and method for video coding
CN114339260A (zh) 图像处理方法及装置
WO2019128716A1 (zh) 图像的预测方法、装置及编解码器
JP2021518093A (ja) サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム
CN115379214B (zh) 图像处理方法、智能终端及存储介质
CN115151941A (zh) 用于视频编码的方法和设备
CN116456102B (zh) 图像处理方法、处理设备及存储介质
CN115834904A (zh) 一种帧间预测的方法及装置
WO2019062476A1 (zh) 进行运动估计的方法、装置、设备及存储介质
US11259022B2 (en) Encoder, decoder, encoding method, and decoding method
CN116847088B (zh) 图像处理方法、处理设备及存储介质
CN115955565B (zh) 处理方法、处理设备及存储介质
WO2023019567A1 (zh) 图像处理方法、移动终端及存储介质
RU2810126C2 (ru) Способ и устройство прогнозирования изображений и считываемый компьютером носитель данных

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant