CN109257605B - 图像处理方法、设备及*** - Google Patents

图像处理方法、设备及*** Download PDF

Info

Publication number
CN109257605B
CN109257605B CN201710571640.1A CN201710571640A CN109257605B CN 109257605 B CN109257605 B CN 109257605B CN 201710571640 A CN201710571640 A CN 201710571640A CN 109257605 B CN109257605 B CN 109257605B
Authority
CN
China
Prior art keywords
image block
reconstructed image
current
filter
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710571640.1A
Other languages
English (en)
Other versions
CN109257605A (zh
Inventor
高山
张红
杨海涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710571640.1A priority Critical patent/CN109257605B/zh
Priority to PCT/CN2018/085537 priority patent/WO2019011046A1/zh
Priority to TW107116752A priority patent/TWI681672B/zh
Publication of CN109257605A publication Critical patent/CN109257605A/zh
Application granted granted Critical
Publication of CN109257605B publication Critical patent/CN109257605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像处理方法、设备及***，包括：生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，以得到当前重建图像块；若当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，并通过第一滤波器对当前重建图像块进行上采样处理。相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。

Description

图像处理方法、设备及***
技术领域
本申请涉及图像处理技术，尤其涉及一种图像处理方法、设备及***。
背景技术
数字视频是以数字形式记录的视频。图1为本申请提供的数字视频的示意图，如图1所示，数字视频由多帧数字图像组成。图2为本申请提供的数字图像的示意图，如图2所示，图像由12*16个像素组成，其中，每个像素被称为一个像素，12*16表示图像分辨率。例如2K视频的图像分辨率是1920*1080，4K视频的图像分辨率是3840*2160。通常原始视频包括的数据量较大，不适合存储和传输，需要利用高效的视频压缩编码技术来压缩原始数据。
具体地，图3为本申请提供的编码端的编码示意图，如图3所示，编码端的编码流程包括：编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成多个待编码图像块。对于当前待编码图像块，首先通过参考重建图像块(该参考重建图像块用于提供当前待编码图像块所需的参考像素，该参考像素用于对当前待编码图像块进行预测)对当前待编码图像块进行预测，得到当前待编码图像块的预测信号；用当前待编码图像块的原始信号减去预测信号，得到残差信号。经过预测后，残差信号的幅值远小于原始信号。将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，再通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，编码端需要对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的残差信号，将重建的残差信号与当前待编码图像块对应的预测信号相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。其中，该重建图像块可以对后续待编码图像块进行预测。可选地，残差信号经过变换后得到变换系数，变换系数通过量化后会有信息损失，该信息损失不可逆。即经过反量化后的变换系数会有失真，从而使得重建信号与原始信号不一致，这种压缩方式为有损压缩。因此，对于有损压缩，在得到重建图像块后，需要对该重建图像块进行滤波，从而去除有损压缩引入的一些失真，例如块效应，振铃效应等。为了去除块效应，可以使用H.264、H.265标准中的DBK滤波器。为了去除振铃效应，可以使用H.265中的SAO滤波器，以及下一代标准中的ALF滤波器等。也有无损压缩方法，即残差信号使用无损的变换操作得到变换系数，不进行量化操作，将变换系数进行熵编。对于无损压缩，一般不再进行滤波操作。进一步地，当前图像的各个图像块都完成重建之后，得到重建图像，其中，该重建图像可以对后续其他帧图像进行预测。
图4为本申请提供的解码端的解码示意图，如图4所示，解码端获取到码流之后，首先对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过它的参考重建图像块对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像块，其中，该当前重建图像块可以对后续其他待重建图像块进行预测。类似于上述编码端的情况，可选地，在解码端需要对当前重建图像块进行滤波。进一步地，当前图像的各个图像块都完成重建之后，得到重建图像，其中，该重建图像可以对后续其他帧图像进行预测。
为了降低编解码复杂度，编码端对每帧图像先进行下采样处理，图5为本申请提供的编码端的编码示意图，如图5所示，编码端对整幅图像采用下采样处理，然后对经过下采样处理后的图像中的每个待编码图像块进行编码，得到码流。其中，每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的，解码端解析码流，每个待重建图像块的分辨率均为下采样分辨率，得到对应的重建图像块的分辨率也为下采样分辨率，解码端需要对重建图像块采用上采样处理，以得到原始分辨率的重建图像块。
现有技术中，编码端或者解码端对于整幅图像中每个重建图像块均采用相同的滤波器进行上采样处理，然而，各个重建图像块的特性可能不同，例如，有些重建图像块可能较为平坦；有些重建图像块可能细节比较多，现有技术势必导致有些经过上采样处理之后的重建图像块比较模糊，存在显示效果不佳的问题。
发明内容
本申请提供图像处理方法、设备及***，从而解决有些经过上采样处理之后的重建图像块显示效果不佳的问题。
第一方面，本申请提供一种图像处理方法，包括：生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，以得到当前重建图像块；若当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，并通过第一滤波器对当前重建图像块进行上采样处理。
本申请的有益效果为：相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，具体包括：根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器。
可选地，根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器，包括：根据预设映射关系和所述当前重建图像块的纹理特征选择第一滤波器，预设映射关系是包括当前重建图像块的纹理特征的预设纹理特征和包括第一滤波器的至少两个候选滤波器之间的映射关系。
通过根据当前重建图像块的纹理特征为当前重建图像块选择第一滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，具体包括：确定当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块与当前重建图像块的相似度，其中，至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，至少两个候选滤波器包括至少两个第二滤波器；从至少两个第二滤波器中选择与当前重建图像块相似度最高的相邻重建图像块对应的第二滤波器作为第一滤波器。
通过根据当前重建图像块的相邻重建图像块选择第一滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器包括，包括：通过至少两个候选滤波器分别对所述当前重建图像块进行上采样处理，得到至少两个候选滤波器分别对应的上采样图像块；分别计算至少两个候选滤波器对应的上采样图像块与所述当前重建图像块对应的原始图像块的误差；将最小误差对应的候选滤波器作为第一滤波器。通过该方法可以更加精确的选择第一滤波器。
可选地，通过第一滤波器对所述当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对所述当前重建图像块进行一次上采样处理；相应的，方法还包括：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，所述方法还包括：若当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
本申请这两种可选方法可以避免当前重建图像块边界不连续的问题。
可选地，第三滤波器为所述第一滤波器。
可选地，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理之前，还包括：根据另一部分相邻重建图像块和当前重建图像块的部分边界判断是否对部分边界进行二次上采样处理；若确定对第一重建图像块的部分边界进行二次上采样处理，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
当确定不对当前重建图像块进行二次上采样处理时，可以降低解码端的开销，当确定需要对当前重建图像块进行二次上采样处理时，可以解决当前重建图像块的边界不连续问题。
可选地，还包括：生成码流，该码流包括：第一滤波器的标识信息。
可选地，码流还包括第一指示信息，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器。
可选地，生成码流，码流包括：第二指示信息，其中，第二指示信息用于指示解码端是否需要对当前重建图像块进行二次上采样处理。
下面将介绍解码端的图像处理方法，其效果与编码端对应效果类似，下面不再赘述。
第二方面，本申请提供一种图像处理方法，包括：解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；根据当前待重建图像块的编码信息生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块；若当前待重建图像块的编码方式为下采样编码方式，则根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；通过第一滤波器对当前重建图像块进行上采样处理。
可选地，第一指示信息用于指示根据当前重建图像块的纹理特征选择滤波器从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；根据从所述码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，包括：根据第一指示信息确定当前重建图像块的纹理特征；根据预设映射关系和当前重建图像块的纹理特征选择第一滤波器，预设映射关系是包括当前重建图像块的纹理特征的预设纹理特征和包括第一滤波器的所述至少两个候选滤波器之间的映射关系。
可选地，第一指示信息用于指示根据当前重建图像块的相邻重建图像块从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，包括：确定至少两个相邻重建图像块中每个相邻重建图像块与当前重建图像块的相似度，至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，至少两个候选滤波器包括至少两个第二滤波器；从至少两个第二滤波器中选择相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，方法还包括：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的所述部分边界与另一部分相邻重建图像块邻接。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，方法还包括：若当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，所述第三滤波器为所述第一滤波器。
可选地，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理之前，还包括：根据另一部分相邻重建图像块和当前重建图像块的部分边界判断是否对部分边界进行二次上采样处理；若确定对第一重建图像块的部分边界进行二次上采样处理，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
可选地，码流还包括：第二指示信息；相应的，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，包括：若第二指示信息指示需要对当前重建图像块进行二次上采样处理，则通过第三滤波器，根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
第三方面，本申请提供一种图像处理方法，包括：解析码流，以获取当前待重建图像块的编码信息和当前待重建图像块的编码方式；根据编码信息生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块；若当前待重建图像块的编码方式为下采样编码方式，则从码流获取第一滤波器的标识信息，并通过标识信息标识的第一滤波器对当前重建图像块进行上采样处理。
下面对图像处理设备及***进行介绍，其实现原理和技术效果与上述原理和技术效果类似，此处不再赘述。
第四方面，本申请提供一种图像处理设备，包括：生成模块，用于生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，以得到当前重建图像块；选择模块，用于若当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器；处理模块，用于通过第一滤波器对所述当前重建图像块进行上采样处理。
第五方面，本申请提供一种图像处理设备，包括：解析模块，用于解析码流，以获取当前待重建图像块的编码信息和当前待重建图像块的编码方式；生成模块，用于根据当前待重建图像块的编码信息生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块；选择模块，用于若当前待重建图像块的编码方式为下采样编码方式，则根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；处理模块，用于通过第一滤波器对当前重建图像块进行上采样处理。
第六方面，本申请提供一种图像处理设备，包括：解析模块，用于解析码流，以获取当前待重建图像块的编码信息和当前待重建图像块的编码方式；生成模块，用于根据编码信息生成当前待重建图像块的重建信号，并根据重建信号重建所述当前待重建图像块，得到当前重建图像块；解析模块，还用于若当前待重建图像块的编码方式为下采样编码方式，则从码流获取第一滤波器的标识信息；处理模块，用于通过标识信息标识的第一滤波器对所述当前重建图像块进行上采样处理。
第七方面，本申请提供一种图像处理***，包括：如第四方面以及第四方面的可选方式所述的图像处理设备，以及如第五方面以及第五方面的可选方式所述的图像处理设备。
第八方面，本申请提供一种图像处理***，包括：如第四方面以及第四方面的可选方式所述的图像处理设备，以及如第六方面以及第六方面的可选方式所述的图像处理设备。
第九方面，本申请提供一种图像处理设备，该设备包括经配置以进行以下操作的编码器：
生成当前待编码图像块的重建信号，并根据重建信号重建所述当前待编码图像块，以得到当前重建图像块；若当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，并通过第一滤波器对当前重建图像块进行上采样处理。
第十方面，本申请提供一种图像处理设备，该设备包括经配置以进行以下操作的解码器：
解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；根据当前待重建图像块的编码信息生成当前待重建图像块的重建信号；根据重建信号重建当前待重建图像块，得到当前重建图像块；若当前待重建图像块的编码方式为下采样编码方式，则根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；通过第一滤波器对当前重建图像块进行上采样处理。
第十一方面，本申请提供一种图像处理设备，该设备包括经配置以进行以下操作的解码器：
解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；根据编码信息生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块；若当前待重建图像块的编码方式为下采样编码方式，则从码流获取第一滤波器的标识信息，并通过标识信息标识的第一滤波器对当前重建图像块进行上采样处理。
第十二方面，本申请提供一种计算机存储介质，用于储存为上述第四方面或者第九方面涉及的图像处理设备所用的计算机软件指令，其包含用于执行上述第四方面或者第九方面所设计的程序。
第十三方面，本申请提供一种计算机程序产品，其包含指令，当所述计算机程序被计算机所执行时，该指令使得计算机执行第四方面或者第九方面中图像处理设备所执行的功能。
第十四方面，本申请提供一种计算机存储介质，用于储存为上述第五方面或者第十方面涉及的图像处理设备所用的计算机软件指令，其包含用于执行上述第五方面或者第十方面所设计的程序。
第十五方面，本申请提供一种计算机程序产品，其包含指令，当所述计算机程序被计算机所执行时，该指令使得计算机执行第五方面或者第十方面中图像处理设备所执行的功能。
第十六方面，本申请提供一种计算机存储介质，用于储存为上述第六方面或者第十一方面涉及的图像处理设备所用的计算机软件指令，其包含用于执行上述第五方面或者第十方面所设计的程序。
第十七方面，本申请提供一种计算机程序产品，其包含指令，当所述计算机程序被计算机所执行时，该指令使得计算机执行第六方面或者第十一方面中图像处理设备所执行的功能。
本申请提供一种图像处理方法、设备及***，相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
附图说明
图1为本申请提供的数字视频的示意图；
图2为本申请提供的数字图像的示意图；
图3为本申请提供的编码端的编码示意图；
图4为本申请提供的解码端的解码示意图；
图5为本申请提供的编码端的编码示意图；
图6为本申请一实施例提供的正在编码的图像的示意图；
图7为本申请一实施例提供的参考像素模板的示意图；
图8A和图8B为本申请一实施例提供的Planar模式的示意图；
图9为本申请一实施例提供的33种角度预测模式的具体方向示意图；
图10为本申请一实施例提供的图像下采样示意图；
图11为本申请一实施例提供的图像上采样示意图；
图12为本申请一实施例提供的图像上采样示意图；
图13为本申请一实施例提供的上采样图像示意图；
图14为本申请一实施例提供的一种图像处理方法的流程图；
图15为本申请一实施例提供的4邻域像素的示意图；
图16为本申请一实施例提供的8邻域像素的示意图；
图17为本申请一实施例提供的图像上采样示意图；
图18为本申请另一实施例提供的图像上采样示意图；
图19为本申请一实施例提供的图像上采样示意图；
图20为本申请另一实施例提供的图像上采样示意图；
图21为本申请一实施例提供的当前重建图像块和相邻重建图像块的示意图；
图22为本申请一实施例提供的当前重建图像块的示意图；
图23为本申请一实施例提供的右边界和右边界的邻接边界的示意图；
图24为本申请另一实施例提供的一种图像处理方法的流程图；
图25为本申请再一实施例提供的一种图像处理方法的流程图；
图26为本申请一实施例提供的一种图像处理设备的结构示意图；
图27为本申请另一实施例提供的一种图像处理设备的结构示意图；
图28为本申请再一实施例提供的一种图像处理设备的结构示意图；
图29为本申请提供的一种图像处理***的结构示意图；
图30为本申请提供的一种图像处理***的结构示意图。
具体实施方式
以下，对本申请中的部分专业用语进行解释说明，以便于本领域技术人员理解。
数字视频是以数字形式记录的视频。数字视频由多帧数字图像组成。通常原始视频包括的数据量较大，不适合存储和传输，需要利用高效的视频压缩编码技术来压缩原始数据。
视频压缩技术是通过消除视频冗余来达到压缩的目的。视频冗余主要包括如下几项：空间冗余，时间冗余，视觉冗余和信息熵冗余。
空间冗余：它是静态图像存在的最主要的数据冗余。它是指在一幅图像中，相邻的像素的幅值都比较相近，这种空间连贯性被称为空间相关或空间冗余。空间冗余主要是通过帧内预测方法来消除，帧内预测方法是指利用视频空间域的相关性，使用参考重建图像块的像素预测当前重建图像块的像素，以达到去除视频空间冗余的目的。
时间冗余：它是视频序列中经常包含的冗余，由于视频的相邻图像往往包含相同或类似的背景和运动物体，只是运动物体所在的空间位置略有不同，这种相邻图像间的数据的高度相关性就称为时间冗余。时间冗余主要是通过帧间预测技术来消除，帧间预测技术是指利用时间上相邻图像的像素来预测当前像素。
视觉冗余：人眼视觉***对图像细节的变化不敏感，这些细微变化信息即使丢失，人眼也感受不到。而在记录原始视频数据时，通常假定视觉***是对各种内容的敏感度是一致的，这样就产生了比理想编码更多的数据，称为视觉冗余。视觉冗余主要是通过变换，量化技术来消除，该变换技术是指将图像信号变换到频率域进行处理，根据不同频率信号对视觉质量的贡献大小进行数据表达和比特再分配，这样可以纠正空间域上均匀采样的不合理表达。同时在比特再分配过程中融合考虑去除视觉冗余的需要，通过量化操作，省略过分精细的高频分量表达，实现有效压缩。
信息熵冗余：由信息论可知，为表示图像数据的一个像素，只要按其信息熵的大小分配相应比特数即可，而对于图像数据的每个像素，在图像获取时很难得到它的信息熵，因此一般是对每个像素采用相同的比特数来表示，这样必然存在冗余。信息熵冗余主要是通过熵编码技术来消除熵编码技术是通过统计系数的信息熵分布，为具有不同信息熵的数据分配不同的比特数。
当前主流的视频压缩编码架构是混合编码架构，针对上述冗余，采取不同的技术来消除冗余，并将这些技术结合在一起，形成了视频编码的混合架构。如图3所示，编码端接收到视频之后，对于构成视频的每帧图像，将该图像划分成待编码图像块。对于当前待编码图像块，首先通过参考重建图像块对当前待编码图像块进行预测，得到当前待编码图像块的预测信号；用当前待编码图像块的原始信号减去预测信号，得到残差信号。经过预测后，残差信号的幅值远小于原始信号。将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，再通过熵编码技术编码量化系数以及编码中的其他指示信息，得到码流。进一步地，编码端还需要重建当前待编码图像块，以实现对后续待编码图像块的编码提供参考像素。具体地，在得到当前待编码图像块的变换量化系数之后，编码端需要对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建的残差信号，将重建的残差信号与当前待编码图像块对应的预测信号相加，得到当前待编码图像块的重建信号，根据该重建信号得到重建图像块。
如图4所示，解码端获取到码流之后，首先对码流进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过参考重建图像块对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号，然后根据该重建信号得到当前待重建图像块对应的当前重建图像块。
为了降低编解码复杂度，编码端对每帧图像先进行下采样处理，如图5所示，编码端对整幅图像采用下采样处理，然后对经过下采样处理后的图像中的每个待编码图像块进行编码，得到码流。其中，每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的，解码端解析码流，每个待重建图像块的分辨率均为下采样分辨率，得到对应的重建图像块的分辨率也为下采样分辨率，解码端需要对重建图像块采用上采样处理，以得到原始分辨率的重建图像块。
其中，在编码端和解码端均涉及通过参考重建图像块对当前重建图像块(当前待编码图像块或者当前待重建图像块)进行预测，得到当前重建图像块的预测信号。在本申请中，对当前重建图像块的预测模式(主要是帧内预测方法)可以采用现有技术，具体如下：
例如：图6为本申请一实施例提供的正在编码的图像的示意图，如图6所示，该图像包括多个图像块，其中，该图像的编码顺序是：从上到下，从左到右。在图6中，图像块C、B、D、E和A表示已经完成重建的重建图像块，图像块F为当前待编码图像块，该图像中的其他区域为未编码的图像区域。
这里以H.265标准来说明帧内预测方法的具体过程，H.265支持将当前待编码图像块划分成更小的子图像块进行预测操作。子图像块的划分结构为四叉树结构，即一个图像块可以划分成四个子图像块，每个子图像块可以继续划分成四个子图像块。如图6所示，假设当前待编码图像块被划分成7个子图像块进行预测操作，当前待编码图像块也可以划分成更多的子图像块进行预测操作。对于每个子图像块，先进行预测操作，获得预测信号，然后根据预测信号获得子图像块的残差信号，进一步对残差信号进行变换、量化和熵编码。对于预测操作，每个子图像块可选的帧内预测方法有35种，包括Planar模式、DC模式以及33种角度预测模式。所有预测模式都使用相同的参考像素模板(由多个参考像素构成)，图7为本申请一实施例提供的参考像素模板的示意图，如图7所示，P1，1，P2，1……PN，1……P1，N，P2，N……PN，N这些像素构成待编码的子图像块，例如：该待编码的子图像块可以是图6中的子图像块1。如图7所示，除了待编码的子图像块，其他参考像素R0，0，R1，0……R2N+1，0……R0，2N构成参考像素模板，假设该待编码的子图像块是图6中的子图像块1，这种情况下，这些参考像素中的一部分像素为参考重建图像块B的最后一行的像素，另一部分像素为参考重建图像块A的最右侧一列的像素。对于其他标准，这些参考像素中的一部分像素为参考重建图像块B包括的下方多行的像素，另一部分像素为参考重建图像块A包括的右侧多列的像素。即本申请对参考像素模板不做限制。
Planar模式
Planar模式适用于像素值缓慢变化的区域，图8A和图8B为本申请一实施例提供的Planar模式的示意图，如图8所示，使用水平和竖直方向的两个线性滤波器，分别得到两个预测值
Figure BDA0001349826420000091
和
Figure BDA0001349826420000092
并将
Figure BDA0001349826420000093
和
Figure BDA0001349826420000094
的平均值作为像素(x,y)的预测信号。
DC模式
DC模式适用于大面积平坦区域，当前待编码的子图像块的预测信号可由其左侧和上方的参考像素的平均值得到，如图7所示，待编码的子图像块中各个像素的预测信号可以通过R0,1,…,R0,N,R1,0,…,RN,0的平均值得到。
角度模式
H.265/HEVC规定了33种角度预测模式，以更好地适应视频内容中不同方向的纹理。图9为本申请一实施例提供的33种角度预测模式的具体方向示意图，如图9所示，33种角度预测模式分为水平类模式(2～17)和竖直类模式(18～34)。其中V0(模式26)和H0(模式10)分别表示竖直和水平方向，其余角度预测模式的预测方向都可以看作是在竖直或水平方向上做一个角度偏移。这里以竖直方向V0(26)为例说明角度预测过程，竖直方向预测是使用当前待编码的子图像块上方相邻的一行参考像素来预测当前待编码的子图像块，当前待编码的子图像块内每个像素的预测信号等于该像素所在列对应的参考像素的像素值，即Px,y＝Ry,0。对于其他角度预测模式，会与水平或竖直方向有一个角度偏移，根据这个角度偏移可以计算参考像素的位置。该参考像素的位置可能是两个相邻参考像素之间的位置，若是这种情况，则需要在两个参考像素之间根据计算出来的位置插值得到一个参考像素。通过得到的参考像素生成预测信号。
需要说明的是，上述帧内预测方法同样适用于解码端，本申请在此不再赘述。
本申请还涉及到图像下采样处理和图像上采样处理。
其中，图像下采样处理涉及三个方面的信息：1、下采样比例；2、下采样位置；3、下采样所使用的滤波器。
下采样比例是指原图像与下采样后的图像的比例，可以分别在水平方向和竖直方向来描述。例如可以对图像信号进行水平方向2:1下采样，竖直方向4:1下采样；或者水平方向不下采样，竖直方向2:1下采样；或者水平和竖直方向都进行2:1下采样等。
下采样位置是指下采样点与原采样点的位置关系，例如，下采样点的位置可以与部分原采样点位置一样，或者下采样点落在几个原采样点之间。
下采样滤波器可以是3-lobe Lanczos滤波器，Bilinear滤波器，Bicubic，Gauss滤波器等。
下面以分辨率为16*16的图像块(实际的图像会比这大很多，例如1920*1080)为例来说明下采样过程。图10为本申请一实施例提供的图像下采样示意图，假设水平方向和竖直方向的采样比例均为2:1，水平方向上，下采样点的位置落在两个原采样点的左侧原采样点位置，竖直方向上，下采样点落在两个原采样点的上方原采样点位置。如图10所示，框出来的圆圈表示下采样点的位置，下采样的滤波器如下：
Figure BDA0001349826420000101
该滤波器是简单的低通滤波器，该低通滤波器可以被看作是一个二维滤波器，也可以被看作是两个一维滤波器。如果当作一个二维滤波器，可以在一次滤波操作中同时完成水平和竖直方向上的下采样。如图10所示，对下采样点A进行下采样时，用到了邻近的8个原采样点(用三角形框起的圆圈)，根据上面滤波器计算出该下采样点A的像素值。如果当作是两个一维滤波器，需要先完成水平或者竖直方向的下采样，再对已完成水平或者竖直方向下采样的结果进行竖直或水平方向下采样。如图10所示，对下采样点A进行下采样时，先利用下采样点A左右各一个原采样点进行水平下采样，然后对下采样后的结果利用下采样点A上下各一个原采样点进行竖直方向上的下采样，根据上述滤波器计算出下采样点A的像素值。采用相同的方法，对整个16*16的图像块进行下采样处理，最终下采样的结果如图10所示，各个下采样点的位置如框出来的圆圈所示，下采样点的像素值为通过滤波器操作后的数值。如图10所示，下采样后的图像块的分辨率为8*8。
通常编码端或者解码端需要对经过下采样后的图像进行上采样处理，目的是为了得到原分辨率的图像。上采样处理涉及三个方面的信息：1、上采样比例；2、上采样位置；3上采样所使用的滤波器。
上采样比例是指上采样前的图像与上采样后的图像的比例，可以分别在水平方向和竖直方向来描述。例如可以对上采样才的图像信号进行水平方向1:2上采样，竖直方向1:4上采样；或者水平方向不上采样，竖直方向1:2上采样；或者水平和竖直方向都进行1:2上采样等。
上采样位置是指上采样后的采样点与上采样前的采样点的位置关系，例如，图11为本申请一实施例提供的图像上采样示意图，如图11所示，在第一行，采用水平1:2上采样比例，上采样后的采样点的位置可以在上采样前的采样点的右侧，其中×表示上采样后的采样点位置，圆圈表示上采样前的采样点位置。在第二行，采用水平1:2上采样比例，上采样后的采样点的位置可以在上采样前的采样点的左侧，其中×表示上采样后的采样点位置，圆圈表示上采样前的采样点位置。需要说明的是，上采样后的采样点的位置应与上述下采样点的位置选取相对应，例如：在进行下采样时，选择下采样点的位置为它的左侧原采样点的位置，那么在进行上采样时，选择上采样后的采样点的位置为它的右侧上采样前的采样点(下采样点)的位置。
上采样滤波器可以是DCTIF滤波器，双线性插值滤波器，sinc滤波器等。下面以分辨率为8*8的图像块(即上述下采样后的图像块)为例来说明上采样过程。假设水平方向和竖直方向的上采样比例均为1:2，在水平方向上，上采样后的采样点的位置为右侧上采样前的采样点的位置，在竖直方向上，上采样后的采样点的位置为下方上采样前的采样点的位置，这里以水平方向和竖直方向分别上采样为例，以及以DCTIF滤波器为例来说明上采样处理过程。DCTIF滤波器为(-1,4,-11,40,40,-11,4,-1)，假设当前要进行水平方向上采样，在图11中，假设需要***B3采样点，则采用如下公式确定B3的像素值：
B3＝(-A0+4*A1-11*A2+40*A3+40*A4-11*A5+4*A6-A7)＞＞6
对于其他位置的插值采样点，例如B7，需要用到B7右边的四个像素，这些像素目前不可得，实际中一般会将A7重复4次，以用于计算B7的像素值。在竖直方向上的上采样与在水平方向上的上采样类似，在此不再赘述。也可以先进行竖直方向上的上采样，再进行水平方向上的上采样。图12为本申请一实施例提供的图像上采样示意图，如图12所示，×表示上采样后的采样点，圆圈表示上采样前的采样点。
上采样滤波器还可以是6抽头的维纳Wiener滤波器，通过滤波器对图像进行上采样处理的过程如下：图13为本申请一实施例提供的上采样图像示意图，如图13所示，图中没有标号的方框表示整数像素，aa，bb，cc，dd，ee，ff，gg，hh和b，h，s，m，j均是1/2位置像素，其他都是1/4位置像素。计算过程是先用(1，-5，20，20，-5，1)的六抽头滤波器进行1/2位置像素的插值，然后再通过临近像素插值的方法计算1/4位置像素的插值，从而获得最终上采样图像。像素有三种类型：水平像素、竖直像素和对角线像素。具体如下：
水平1/2位置像素：如b＝(E-5F+20G+20H-5I+J)，b＝Clip1((b+16)>>5)；Clip1的作用是限制结果在0～255，右移5相当于除以32，加16是为了结果的四舍五入。
竖直1/2位置像素：如h＝(A-5C+20G+20M-5R+T)，h＝Clip1((h+16)>>5)；
对角1/2位置像素：如j＝(cc-5dd+20h+20m-5ee+ff)＝(aa-5bb+20b+20q-5gg+hh)，j＝Clip1((j+16)>>5)；
水平1/4位置像素：如a＝(G+b+1)>>1；i＝(h+j+1)>>1；
竖直1/4位置像素：如d＝(G+h+1)>>1；f＝(b+j+1)>>1；
对角1/4位置像素：如e＝(h+b+1)>>1；g＝(b+m+1)>>1；p＝(h+s+1)>>1；r＝(s+m+1)>>1。
现有技术中，编码端或者解码端对于整幅图像中每个重建图像块均采用相同的滤波器进行上采样处理，然而，各个重建图像块的特性可能不同，例如，有些重建图像块可能较为平坦；有些重建图像块可能细节比较多，现有技术势必导致有些经过上采样处理之后的重建图像块比较模糊，存在显示效果不佳的问题。
为了解决上述技术问题，本申请提供一种图像处理方法、设备及***，本申请可以基于如图3和图5的编码示意图，如图3和图5所示，一幅图像包括的待编码图像块的编码方式可以是如图3所示的原分辨率编码方式或者是如图5所示的下采样编码方式。其中，原分辨率编码方式是指对当前待编码图像块直接进行编码操作。下采样编码方式是指对当前待编码图像块先进行下采样处理，然后对下采样后的当前待编码图像块进行编码操作。一般情况下，纹理图像块采用原分辨率编码方式，平滑图像块采用下采样编码方式。本申请的主旨思想在于：若当前重建图像块的编码方式为下采样编码方式，则为当前重建图像块选择滤波器，并通过该滤波器对当前重建图像块进行上采样处理，即针对不同的重建图像块，都要选择滤波器，以进行上采样处理。
具体地，图14为本申请一实施例提供的一种图像处理方法的流程图，如图14所示，该方法包括：
步骤S1401：生成当前待编码图像块的重建信号，并根据重建信号重建当前待编码图像块，以得到当前重建图像块；
步骤S1402：若当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，并通过第一滤波器对当前重建图像块进行上采样处理。
具体地，在步骤S1401中：编码端可以获取当前图像的当前待编码图像块的编码方式和每个参考重建图像块中的像素；根据当前待编码图像块的编码方式和M个参考重建图像块中的像素，确定当前待编码图像块的多个参考像素；根据多个参考像素生成当前待编码图像块的预测信号；获取当前待编码图像块的编码信号，其中，当当前待编码图像块的编码方式是原分辨率编码方式时，编码信号为当前待编码图像块的原始信号，当当前待编码图像块的编码方式是下采样编码方式时，编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号；根据预测信号和编码信号生成当前待编码图像块的残差信号；将残差信号进行变换和量化操作。经过变换量化后，得到变换量化系数，编码端对当前待编码图像块的变换量化系数进行反量化和反变换，得到重建残差信号，将重建残差信号与当前待编码图像块对应的预测信号相加，得到当前待编码图像块的重建信号，根据该重建信号得到当前重建图像。
其中，当前待重建图像块对应M个参考重建图像块，M为大于或者等于1的正整数。参考重建图像块用于确定待重建图像块的多个参考像素，其中，多个参考像素用于生成当前重建图像块的预测信号。实际上，参考重建图像块具体是哪个重建图像块和解码端采用的预测模式有关。当采用上述35中预测模式中的任一种时，可以参考如图7所示的参考像素模板。
实际上，参考重建图像块具体是哪个重建图像块和解码端采用的预测模式有关。当采用上述35中预测模式中的任一种时，可以参考如图7所示的参考像素模板。根据多个参考像素生成当前待重建图像块的预测信号，可以采用上述35中预测模式中的任一种预测模式，当然也可以采用现有技术中其他的预测模式，本申请对此不做限制。
若参考重建图像块与当前待重建图像块的分辨率相同，则直接在该参考重建图像块中确定至少一个参考像素；若当前待重建图像块是原分辨率，参考重建图像块的分辨率为下采样分辨率，则从该参考重建图像块中获取对当前重建图像块进行重建时所需的至少一个像素，并对当前重建图像块进行重建时所需的至少一个像素进行上采样处理，以得到当前待重建图像块的至少一个参考像素；若当前待重建图像块是下采样分辨率，参考重建图像块的分辨率为原分辨率，则从该参考重建图像块中获取对所述当前图像块进行重建时所需的至少一个像素，对这些像素进行下采样处理，以得到当前待重建图像块的至少一个参考像素。
进一步地，编码端对当前重建图像块进行的上采样处理是基于当前重建图像块所需的相邻重建图像块的像素进行的。需要说明的是，所需的相邻重建图像块的像素主要用于对当前重建图像块的部分边界进行上采样处理，对于当前重建图像块中除上述部分边界之外的部分，均采用自己的像素进行上采样处理。假设第一滤波器是基于离散余弦变换的插值滤波器(Discrete Cosine Transform-Based Interpolation Filter，DCTIF)，这种情况下，当前重建图像块所需的相邻重建图像块具体如下：图15为本申请一实施例提供的4邻域像素的示意图，如图15所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块和右边图像块。假设第一滤波器是卷积神经网络(Convolutional Neural Network，CNN)滤波器。这种情况下，当前重建图像块所需的相邻重建图像块具体如下：图16为本申请一实施例提供的8邻域像素的示意图，如图16所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块、右边图像块、左上图像块、左下图像块、右上图像块和右下图像块。按照目前的编码顺序(从上至下，从左至右的编码顺序)，目前当前重建图像块的下边图像块、右边图像块、左下图像块和右下图像块都还没有完成重建，现有技术是通过复制当前重建图像块自己的像素以实现上采样处理，但是这种方式将导致经过上采样处理后的当前重建图像块存在右边界和下边界不连续的问题。为了解决这一问题，本申请提供如下四种可选方式：
方式一、上采样处理是在当前重建图像块进行上采样处理时所需的所有相邻重建图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
方式二、上采样处理是在当前图像的所有图像块都重建完成后进行的；相应的，码流包括：M个参考重建图像块中的每个参考重建图像块的编码方式；根据当前待重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素，包括：根据当前待重建图像块的编码方式、M个参考重建图像块的编码方式和M个参考重建图像块中的像素，确定当前待重建图像块的多个参考像素。
方式三、根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
方式四、对当前重建图像块进行上采样处理包括：根据所需的相邻重建图像块中的当前当前重建图像块所处的已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理；若当前图像的所有图像块均已完成重建，则根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
其中，所述当前重建图像块的部分边界满足条件：在对当前重建图像块进行的第一次上采样处理中，该部分边界所需的另一部分相邻重建图像块未完成重建。
可选地，当前重建图像块的部分边界为当前重建图像块的右边界和下边界。
可选地，所述一部分相邻重建图像块为所述当前重建图像块的上边图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的下边图像块和右边图像块。
或者，
所述一部分相邻重建图像块为所述当前重建图像块的左上图像块，上边图像块，右上图像块和左边图像块，所述另一部分相邻重建图像块为所述当前重建图像块的右边图像块，左下图像块，下边图像块和右下图像块。
针对方式三和方式四，步骤S1402中通过第一滤波器对当前重建图像块进行上采样处理，特指对当前重建图像块进行的第一次上采样处理。
针对方式一进行详细说明：
具体地，针对不同的滤波器，当前重建图像块所需的相邻重建图像块也不同。例如：如图15所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块和右边图像块。如图16所示，当前重建图像块所需的相邻重建图像块包括：当前重建图像块的上边图像块、下边图像块、左边图像块、右边图像块、左上图像块、左下图像块、右上图像块和右下图像块。
其中，可以采用现有技术的上采样处理方法对当前重建图像块进行处理。例如：图17为本申请一实施例提供的图像上采样示意图，如图17所示，当前重建图像块B所需的相邻重建图像块1、相邻重建图像块2、相邻重建图像块3和相邻重建图像块4均已完成重建。基于此，对当前重建图像块B进行上采样处理，如图17所示，其中B中的圆圈表示上采样前的采样点，×表示上采样后的采样点。对B进行上采样处理时，可以先对B进行水平方向上的上采样，再对上采样后的信号进行竖直方向上的上采样；或者，可以先对B进行竖直方向上的上采样，再对上采样后的信号进行水平方向上的上采样。
特别的，若当前重建图像块本身是一幅图像的边界图像块，这种情况下，即使所需的相邻重建图像块都重建完成，在进行上采样处理时，还是需要复制当前重建图像的像素。例如：如图15所示，当当前重建图像块是一幅图像的最右侧的一个图像块时，它的右边图像块是不存在的，因此可以对当前重建图像块包括的最右侧一列的像素进行复制，以实现上采样处理。当然，也可以采用其他方法进行上采样处理，本申请对此不做限制。
进一步地，由于当前重建图像块所需的各个相邻重建图像块的编码方式可以是下采样编码方式，也可以是原分辨率编码方式，因此在对当前重建图像块进行上采样处理时，具体分为以下两种情况：
1、若某相邻重建图像块的编码方式为下采样编码方式，则可以直接根据该相邻重建图像块中的像素对当前重建图像块进行上采样处理。
2、若某相邻重建图像块的编码方式为原分辨率编码方式，则可以获取该相邻重建图像块的像素中上采样处理所需的至少一个像素，对这些像素进行下采样处理，并根据下采样处理后的至少一个像素对当前重建图像块进行上采样处理。
具体地，相邻重建图像块主要用于对当前重建图像块的部分边界进行上采样处理(该部分边界根据滤波器的不同而不同)，例如：如图17所示，相邻重建图像块3采用下采样编码方式，这种情况下，可以直接利用相邻重建图像块3包括的像素对当前重建图像块B的右边界进行上采样处理。而相邻重建图像块4采用原分辨率编码方式，则需要对相邻重建图像块4包括的上采样处理所需的像素进行下采样处理，或者对相邻重建图像块4采用下采样处理，并根据下采样处理后的像素对当前重建图像块B的下边界进行上采样处理。其中，对相邻重建图像块4采用下采样处理，具体可以是直接取图16中被框圈出的像素作为下采样后的采样点。或者是对相邻重建图像块4进行竖直方向上的下采样处理。图18为本申请另一实施例提供的图像上采样示意图，如图18所示，这种是8邻域像素的情况，解码端对当前重建图像块C采样的上采样处理方法与4邻域像素情况下的方法类似，在此不再赘述。
需要说明的是，为了避免对当前重建图像块的重复上采样处理，可以对当前重建图像块进行上采样处理后，标识当前重建图像块已完成上采样处理。或者，按照一定的规则对当前重建图像块进行上采样处理。当上采样处理是基于4邻域像素的情况时，当前重建图像块的下边图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。当上采样处理是基于8邻域像素的情况时，当前重建图像块的右下图像块一旦完成重建，则可以对当前重建图像块进行上采样处理。
针对方式二进行详细说明：
当当前图像的所有图像块都已经完成重建之后，则对于每个重建图像块来讲，它所需的相邻重建图像块都已经完成重建，基于此，对任一采用下采样编码的重建图像块都可以进行上采样处理。具体上采样处理过程类似于上述方式一的方式，本申请在此不再赘述。
针对方式三进行详细说明：
在方式三中，对当前重建图像块进行的上采样处理包括两次上采样处理过程。第一次上采样处理过程为：根据所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，对当前重建图像块进行一次上采样处理。第二次上采样处理过程为：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的所述部分边界与另一部分相邻重建图像块邻接。
可选地，在对当前重建图像块进行第一次上采样处理之前，保存下采样编码方式的当前重建图像块，为后续对其他待重建图像块进行预测时提供参考像素。
具体地，假设采用从上至下、从左至右的编码顺序，对于基于4邻域像素或者8邻域像素进行上采样处理的情况，在对当前重建图像块进行第一次上采样处理时，它的右边图像块、下边图像块、左下图像块和右下图像块都还没有完成重建。这种情况下，解码端可以复制当前重建图像块包括的最右侧一列或者多列的像素，得到插值像素。通过这些插值像素对当前重建图像块包括的右边界进行上采样处理。解码端还可以复制当前重建图像块包括的最下方一行或者多行的像素，得到插值像素。通过这些插值像素对当前重建图像块包括的下边界进行上采样处理。
图19为本申请一实施例提供的图像上采样示意图，如图19所示，假设当前重建图像块为图像块A，在对当前重建图像块A进行第二次上采样处理时，假设目前采用DCTIF滤波器进行上采样处理，当前重建图像块A已完成第一次上采样处理，如上面所述使用DCTIF滤波器进行上采样处理时，需要用到左右各四个像素，那么在第一次上采样处理时，当前重建图像块A的右边四列×(×表示第一次上采样处理后的采样点)所需的四个参考像素均是不全的。例如，对于最右侧的一列×，每个×所需要的右边四个参考像素都不存在。若相邻重建图像块C完成了重建，则根据相邻重建图像块C对当前重建图像块的右边界进行第二次上采样处理。这里的上采样处理方法与上述上采样处理方法相同，在此不再赘述。
同样地，假设当前重建图像块为图像块B，在对当前重建图像块B进行第二次上采样处理时，假设目前采用DCTIF滤波器进行上采样处理，当前重建图像块B已完成第一次上采样处理，如上面所述使用DCTIF滤波器进行上采样处理时，需要用到上下各四个像素，那么在第一次上采样处理时，当前重建图像块B的下方四行×(×表示第一次上采样处理后的采样点)所需的四个参考像素均是不全的。例如，对于最下方的一行×，每个×所需要的下方四个参考像素都不存在。若相邻重建图像块C完成了重建，则根据相邻重建图像块C对当前重建图像块的下边界进行第二次上采样处理。这里的上采样处理方法与上述上采样处理方法相同，在此不再赘述。
图20为本申请另一实施例提供的图像上采样示意图，如图20所示，这种是8邻域像素的情况，解码端对当前重建图像块A的右边界以及当前重建图像块B的下边界采用的上采样处理方法与4邻域像素情况下的方法类似，在此不再赘述。
需要说明的是，为了避免对当前重建图像块的重复上采样处理，可以对当前重建图像块完成第二次上采样处理后，标识当前重建图像块已完成上采样处理。或者，按照一定的规则对当前重建图像块进行上采样处理。当上采样处理是基于4邻域像素的情况时，当前重建图像块的下边图像块一旦完成重建，则可以对当前重建图像块进行第二次上采样处理。当上采样处理是基于8邻域像素的情况时，当前重建图像块的右下图像块一旦完成重建，则可以对当前重建图像块进行第二次上采样处理。
针对方式四进行详细说明：
当当前图像的所有图像块都已经完成重建之后，则对于每个重建图像块来讲，它所需的相邻重建图像块都已经完成重建，基于此，对任一已完成第一次上采样处理后的重建图像块都可以进行第二次上采样处理。具体上采样处理过程类似于上述方式三的方式，本申请在此不再赘述。
可选地，在对当前重建图像块进行第一次上采样处理之前，保存下采样编码方式的当前重建图像块，为后续对其他待重建图像块进行预测时提供参考像素。
通过上述四种方式对当前重建图像块进行上采样处理时，当前重建图像块的部分边界都是通过所需的相邻重建图像块进行上采样处理的，而现有技术中，当前重建图像块的部分边界都是通过复制当前重建图像块的像素进行上采样处理的，因此，本申请提供的方法可以避免当前重建图像块边界不连续的问题。
综上，相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，可以通过如下几种情况选择用于对当前重建图像块进行上采样处理的第一滤波器：
具体地，情况一：从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器具体包括：当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块与当前重建图像块的相似度，其中，至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，至少两个候选滤波器包括至少两个第二滤波器；从至少两个第二滤波器中选择与当前重建图像块相似度最高的相邻重建图像块对应的第二滤波器作为第一滤波器。
其中，将第二滤波器作为第一滤波器不仅仅表示为一种赋值关系，还表示直接选择第二滤波器对当前重建图像块进行上采样处理。
针对上述方式一和方式二，相邻重建图像块是指：在当前重建图像块的所有相邻重建图像块中，已经完成上采样处理的重建图像块。针对上述方式三和方式四，相邻重建图像块是指：在当前重建图像块的所有相邻重建图像块中，已经完成第一次上采样处理或者第二次上采样处理的重建图像块。针对方式三和方式四，第二滤波器用于对相邻重建图像块进行的第一次上采样处理，或者，第二滤波器用于对相邻重建图像块进行的第二次上采样处理，本申请对此不做限制。
计算为当前重建图像块与相邻重建图像块的相似度的方法可以是：若当前重建图像块与相邻重建图像块的分辨率相同，则对当前重建图像块的每个像素与相邻重建图像块中对应的像素求差，得到对应差值，对当前重建图像块的所有差值求加权平均值，最终得到当前重建图像块与相邻重建图像块的误差，该误差越小，则表示相似度越高。若当前重建图像块与相邻重建图像块的分辨率不同，则先对相邻重建图像块进行采样处理，使得采样处理后的相邻重建图像块的分辨率与当前重建图像块的分辨率相同，然后对当前重建图像块的每个像素与采样处理后的相邻重建图像块中对应的像素求差，得到对应差值，对当前重建图像块的所有差值求加权平均值，最终得到当前重建图像块与相邻重建图像块的误差，该误差越小，则表示相似度越高。
需要说明的是，本申请对确定当前重建图像块与相邻重建图像块的相似度不限于此。
进一步地，若当前重建图像块不存在上述相邻重建图像块，即针对上述方式一和方式二，在当前重建图像块的所有相邻重建图像块中，不存在已经完成上采样处理的重建图像块。或者，针对上述方式三和方式四，在当前重建图像块的所有相邻重建图像块中，不存在已经完成第一次上采样处理和第二次上采样处理的重建图像块。则可以计算这些相邻重建图像块的相邻重建图像块与当前重建图像块的相似度。相邻重建图像块的相邻重建图像块进行上采样处理时对应至少两个滤波器；从至少两个滤波器中选择与当前重建图像块相似度最高的相邻重建图像块的相邻重建图像块对应的滤波器作为第一滤波器。本申请对此不做限制。
可选地，本申请还可以将当前重建图像块的任一个相邻重建图像块进行上采样处理时对应的第二滤波器作为第一滤波器。若当前重建图像块不存在上述相邻重建图像块，即针对上述方式一和方式二，在当前重建图像块的所有相邻重建图像块中，不存在已经完成上采样处理的重建图像块。或者，针对上述方式三和方式四，在当前重建图像块的所有相邻重建图像块中，不存在已经完成第一次上采样处理和第二次上采样处理的重建图像块。则可以选择这些相邻重建图像块的所有相邻重建图像块中需要进行上采样处理的相邻重建图像块。最后，将选择的相邻重建图像块进行上采样处理时对应的滤波器作为第一滤波器本申请对此不做限制。
情况二、从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器包括：确定对当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块进行上采样处理时使用的至少两个第二滤波器；至少两个候选滤波器包括所述至少两个第二滤波器，按照各个相邻重建图像块的编号顺序从至少两个第二滤波器中选择第一个相邻重建图像块对应的第二滤波器，作为第一滤波器。
例如：图21为本申请一实施例提供的当前重建图像块和相邻重建图像块的示意图，如图21所示，判断相邻重建图像块A0、A1、B0、B1、B2中已经完成上采样处理的相邻重建图像块，假设A0、A1、B0、B1、B2都是相邻重建图像块，并且它们的编码顺序是：B1，A1，B2，B0，A0，按照编码顺序，则选择B1对应的第二滤波器作为当前重建图像块的第一滤波器。
情况三、从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器包括：确定对当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块进行上采样处理时使用的至少两个第二滤波器；至少两个候选滤波器包括所述至少两个第二滤波器，选择使用概率最高的第二滤波器作为第一滤波器。
情况四、从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器包括：根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器。其中，根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器，包括：根据预设映射关系和当前重建图像块的纹理特征选择第一滤波器，预设映射关系是包括当前重建图像块的纹理特征的预设纹理特征和包括第一滤波器的所述至少两个候选滤波器之间的映射关系。
具体地，检测当前重建图像块的纹理特征包括：边缘检测方式或者在频域中判断纹理特征的方式等。下面以第二种方式为例：
图22为本申请一实施例提供的当前重建图像块的示意图，如图22所示，该当前重建图像块是一个分辨率为8*8的图像块。当对当前重建图像块经过离散余弦变换(DiscreteCosine Transform，DCT)变换之后，会生成如图22所示的0～63个系数，横向用i表示，i＝0～7；纵向用j表示，j＝0～7。
当当前重建图像块在频域上满足公式∑AC2＜a*DC2，则表示该当前重建图像块的纹理特征为平坦，否则，则表示该当前重建图像块的纹理特征为纹理。
其中，上述公式左侧表示当前重建图像块中所有像素的交流电流(AlternatingCurrent，AC)的平方和，右侧为当前重建图像块中所有像素的直流电流(Direct Currentt，DC)的平方和与系数a之积，其中，a大于0且小于等于1。例如：a可以取经验值0.02。
进一步地，纹理特征和滤波器之间的预设映射关系可以是表1所示的映射关系，本申请对预设映射关系不做限制。
表1
纹理特征 滤波器
平坦 DCTIF滤波器
纹理 CNN滤波器
最后，可以根据上述预设映射关系和当前重建图像块的纹理特征选择第一滤波器。假设当前重建图像块的纹理特征是平台，预设映射关系如表1，则选择的第一滤波器为DCTIF滤波器。
情况五、从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器包括：根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器。其中，根据当前重建图像块的纹理特征从至少两个候选滤波器中选择第一滤波器，包括：在所有相邻重建图像块中确定与当前重建图像块纹理特征相同的至少两个相邻重建图像块，至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，至少两个候选滤波器包括至少两个第二滤波器，从所述至少两个第二滤波器中选择与当前重建图像块纹理特征相同的相邻重建图像块对应的第二滤波器作为第一滤波器。
其中，相邻重建图像块的纹理特征与第二滤波器的映射关系可以参考上述表1中的预设映射关系。本申请对此不做限制。
情况六、从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器，包括：通过至少两个候选滤波器分别对当前重建图像块进行上采样处理，得到至少两个候选滤波器分别对应的上采样图像块；分别计算至少两个候选滤波器对应的上采样图像块与当前重建图像块对应的原始图像块的误差；将最小误差对应的候选滤波器作为第一滤波器。
其中，通过滤波器对当前重建图像块进行上采样处理的方法可以参考上述上采样过程，在此不再赘述。计算上采样图像块与原始图像块的误差，包括：对上采样图像块的每个像素与原始图像块中对应的像素求差，得到对应差值，对所有差值求加权平均值，最终得到上采样图像块与原始图像块的误差。其中，上采样图像块与原始图像块的误差越小，表示上采样图像块对应滤波器的上采样处理效果越好。相反，上采样图像块与原始图像块的误差越大，表示上采样图像块对应滤波器的上采样处理效果越差。
需要说明的是，本申请中还可以根据亮度分量和色度分量选择滤波器。
综上，本申请可以根据上述六种情况为当前重建图像块选择第一滤波器。相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，从而可以得到显示效果更佳的重建图像块。
当对当前重建图像块采用上述方式三或者方式四进行上采样处理时，由于存在第二次上采样处理，因此，需要通过第三滤波器对当前重建图像块进行第二次上采样处理。
本申请提供一种图像处理方法，其中第三滤波器可以是上述的第一滤波器，或者可以参照上述选择第一滤波器的方式选择第三滤波器，需要强调的是，该第三滤波器是针对当前重建图像块的部分边界进行上采样处理的。
可选地，通过第三滤波器，根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理之前，还包括：根据另一部分相邻重建图像块和当前重建图像块的部分边界判断是否对部分边界进行二次上采样处理，若确定对第一重建图像块的部分边界进行二次上采样处理，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
具体地，若当前重建图像块的部分边界包括：它的右边界和下边界。则在另一部分第二相邻重建图像块中确定与右边界邻接的一列或者多列像素。根据经过第一次上采样处理后的右边界与该一列或者多列的像素(构成右边界的邻接边界)确定是否对右边界进行二次上采样处理，当确定对右边界进行二次上采样处理时，也认为对下边界进行二次上采样处理。
或者，
若当前重建图像块的部分边界包括：它的右边界和下边界。则在另一部分第二相邻重建图像块中确定与下边界邻接的一行或者多行像素。根据经过第一次上采样处理后的下边界与该一行或者多行的像素(构成下边界的邻接边界)确定是否对下边界进行二次上采样处理，当确定对下边界进行二次上采样处理时，也认为对右边界进行二次上采样处理。
其中，根据经过第一次上采样处理后的右边界与该一列或者多列的像素确定是否对右边界进行二次上采样处理，具体如下：
图23为本申请一实施例提供的右边界和右边界的邻接边界的示意图，如图23所示，
如果满足下面所有条件时，则确定对右边界进行二次上采样处理，否则，不对右边界进行二次上采样处理。
|p0–q0|<TH1
|p1–p0|<TH2
|q1–q0|<TH3
其中，p0至p3表示右边界的各个像素的像素值，q0至q3表示右边界的邻接边界的各个像素的像素值。TH1、TH2、TH3分别是预设阈值，它们可以相同，也可以不同。
通过上述方法可以有效确定是否对部分边界进行二次上采样处理。
可选地，上述方法还包括：生成码流，该码流包括：第一滤波器的标识信息。
其中，可以实现上采样处理的滤波器一般为一个或多个，它们可以是不同类型，不同抽头数的滤波器。也可以是相同类型，不同抽头数的滤波器。又或者是相同类型，相同抽头数，不同系数的滤波器。其中，每个滤波器都具有对应的标识信息。具体见表2、表3和表4。
表2：
标识信息 滤波器
0 DCTIF滤波器
1 神经网络卷积(CNN)滤波器
2 维纳Wiener滤波器
3 双线性插值滤波器
表3：
标识信息 滤波器
0 [-1 0 9 16 9 0-1]/16
1 [1 -5 20 20 -5 1]/32
2 [l -1 -4 9 22 9 -4 -1 1]/32
3 [-8 1 72 126 72 1 -8]/128
表4：
标识信息 滤波器
0 [-1 0 9 16 9 0 -1]/16
1 [1 -5 20 20 -5 1]/32
2 [l -1 -4 9 22 9 -4 -1 1]/32
3 [-5 0 21 32 21 0 -5]/32
通过携带第一滤波器的标识信息的方式，使得解码端可以通过第一滤波器对当前重建图像块进行上采样处理。
可选地，生成码流，该码流包括：第一指示信息，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器。
可选地，对滤波器的选择方式包括：方式一、根据当前重建图像块的纹理特征从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；方式二、根据当前重建图像块的相邻重建图像块从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器。
可选地，生成码流，该码流包括：第二指示信息，其中，第二指示信息用于指示解码端是否需要对当前重建图像块进行二次上采样处理。
需要说明的是，上述码流可以包括以下至少一项：第一滤波器的标识信息、第一指示信息、第二指示信息等，可选地，该码流还包括：当前待编码图像块的编码信息等，解码端可以通过对该编码信息进行熵解码得到当前待编码图像块的变换量化系数，还可以通过该编码信息得到预测信号等。该码流还可以包括：当前待编码图像块的编码方式等。
上面主要介绍了编码端的图像处理方法，下面将介绍解码端的图像处理方法。
具体地，图24为本申请另一实施例提供的一种图像处理方法的流程图，如图24所示，该方法包括：
步骤S2401：解析码流，以获取当前待重建图像块的编码信息和当前待重建图像块的编码方式；
步骤S2402：根据当前待重建图像块的编码信息生成当前待重建图像块的重建信号；
步骤S2403：根据重建信号重建当前待重建图像块，得到当前重建图像块；
步骤S2404：若当前待重建图像块的编码方式为下采样编码方式，则根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器；
步骤S2405：通过第一滤波器对当前重建图像块进行上采样处理。
其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器。
该码流还包括：当前待重建图像块的编码方式、当前待重建图像块所述的当前图像中已完成重建的重建图像块的编码方式。或者，该码流包括一些编码参数，通过这些编码参数可以确定当前待重建图像块的编码方式、当前待重建图像块所述的当前图像中已完成重建的重建图像块的编码方式等。
该编码信息用于生成待重建图像块的重建信号，比如：解码端通过对编码信息进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过它的参考重建图像块(参考重建图像块的信息属于编码信息)对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号。该码流还包括现有技术涉及的更多的编码信息，本申请对此不做限制。
可选地，对滤波器的选择方式包括：方式一、根据所述当前重建图像块的纹理特征从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；方式二、根据当前重建图像块的相邻重建图像块从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器。
最后，若当前重建图像块的编码方式为下采样编码方式，则根据第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，通过第一滤波器对当前重建图像块进行上采样处理。
需要说明的是，解码端和编码端涉及的重建当前待重建图像块方法类似，并且解码端和编码端涉及的对当前重建图像块进行上采样处理地方法也类似。在此不再赘述这两个方法。
综上，相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，第一指示信息用于指示根据当前重建图像块的纹理特征从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；根据从码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，包括：根据预设映射关系和当前重建图像块的纹理特征选择第一滤波器，预设映射关系是包括当前重建图像块的纹理特征的预设纹理特征和包括第一滤波器的至少两个候选滤波器之间的映射关系。
可选地，第一指示信息用于指示根据当前重建图像块的相邻重建图像块从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，包括：确定至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，至少两个候选滤波器包括至少两个第二滤波器；从至少两个第二滤波器中选择相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，所述方法还包括：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，方法还包括：若当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选的，其中第三滤波器可以是上述的第一滤波器，或者可以参照上述选择第一滤波器的方式选择第三滤波器，需要强调的是，该第三滤波器是针对当前重建图像块的部分边界进行上采样处理的。
可选地，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理之前，还包括：根据另一部分相邻重建图像块和当前重建图像块的部分边界判断是否对部分边界进行二次上采样处理；若确定对第一重建图像块的部分边界进行二次上采样处理，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
其中，上述方法与编码端的对应方法相同，对应内容和效果在此不再赘述。
可选地，所述码流还包括：第二指示信息；相应的，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，包括：若第二指示信息指示需要对当前重建图像块进行二次上采样处理，则通过第三滤波器，根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理
通过这两种可选方式可以判断是否对当前重建图像块进行二次上采样处理。当确定不对当前重建图像块进行二次上采样处理时，可以降低解码端的开销，当确定需要对当前重建图像块进行二次上采样处理时，可以解决当前重建图像块的边界不连续问题。
图25为本申请再一实施例提供的一种图像处理方法的流程图，如图25所示，该方法包括：
步骤S2501：解析码流，以获取当前待重建图像块的编码信息和当前待重建图像块的编码方式；
步骤S2502：根据编码信息生成当前待重建图像块的重建信号，并根据重建信号重建当前待重建图像块，得到当前重建图像块；
步骤S2503：若当前待重建图像块的编码方式为下采样编码方式，则从码流获取第一滤波器的标识信息，并通过标识信息标识的第一滤波器对当前重建图像块进行上采样处理。
其中，该码流还包括：当前待重建图像块的编码方式、当前待重建图像块所述的当前图像中已完成重建的重建图像块的编码方式。该编码信息用于生成待重建图像块的重建信号，比如：解码端通过对编码信息进行熵解码，得到当前待重建图像块的变换量化系数，然后对变换量化系数进行反量化和反变换，得到当前待重建图像块的重建的残差信号。通过它的参考重建图像块(参考重建图像块的信息属于编码信息)对当前待重建图像块进行预测，得到当前待重建图像块的预测信号，然后将预测信号和上述重建的残差信号相加，得到当前待重建图像块的重建信号。该码流还包括现有技术涉及的更多的编码信息，本申请对此不做限制。
最后，若当前重建图像块的编码方式为下采样编码方式，则通过第一滤波器对当前重建图像块进行上采样处理。
需要说明的是，解码端和编码端涉及的重建当前待重建图像块方法类似，并且解码端和编码端涉及的对当前重建图像块进行上采样处理地方法也类似。在此不再赘述这两个方法。
综上，相对于现有技术中对整幅图像中的重建图像块都采用相同的滤波器，本申请针对每个重建图像块都要选择对应的滤波器，即本申请采用具有针对性的选择方式来选择滤波器，通过选择的滤波器对重建图像块进行上采样处理，从而可以得到显示效果更佳的重建图像块。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，所述方法还包括：若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，通过第一滤波器对当前重建图像块进行上采样处理，包括：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过第一滤波器对当前重建图像块进行一次上采样处理；相应的，方法还包括：若当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理，其中，另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；当前重建图像块的部分边界与另一部分相邻重建图像块邻接。
可选地，通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理之前，还包括：根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；若确定对第一重建图像块的部分边界进行二次上采样处理，则通过第三滤波器，根据另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
其中，上述方法与编码端的对应方法相同，对应内容和效果在此不再赘述。
可选地，所述码流还包括：第二指示信息；相应的，通过第三滤波器，根据所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，包括：若第二指示信息指示需要对当前重建图像块进行二次上采样处理，则通过第三滤波器，根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
通过这两种可选方式可以判断是否对当前重建图像块进行二次上采样处理。当确定不对当前重建图像块进行二次上采样处理时，可以降低解码端的开销，当确定需要对当前重建图像块进行二次上采样处理时，可以解决当前重建图像块的边界不连续问题。
需要说明的是，本申请编码端和解码端还可以通过预先已协商的滤波器对当前重建图像块进行上采样处理。
图26为本申请一实施例提供的一种图像处理设备的结构示意图，如图26所示，该设备包括：生成模块2601，用于生成当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，以得到当前重建图像块；选择模块2602，用于若所述当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对当前重建图像块进行上采样处理的第一滤波器；处理模块2603，用于通过所述第一滤波器对所述当前重建图像块进行上采样处理。
可选地，选择模块2602，具体用于根据所述当前重建图像块的纹理特征从至少两个候选滤波器中选择所述第一滤波器。
可选地，选择模块2602具体用于：具体用于根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
可选地，选择模块2602，具体用于确定当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，其中，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；从所述至少两个第二滤波器中选择与所述当前重建图像块相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
可选地，所述选择模块2602具体用于：通过所述至少两个候选滤波器分别对所述当前重建图像块进行上采样处理，得到所述至少两个候选滤波器分别对应的上采样图像块；分别计算所述至少两个候选滤波器对应的上采样图像块与所述当前重建图像块对应的原始图像块的误差；将最小误差对应的候选滤波器作为所述第一滤波器。
可选地，所述处理模块2603具体用于：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；所述处理模块2603，还用于若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
可选地，所述处理模块2603具体用于：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理，其中，所述所需的相邻重建图像块为所述当前重建图像块进行上采样处理时所需的相邻重建图像块；所述处理模块2603，若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
可选地，所述第三滤波器为所述第一滤波器。
可选地，还包括：判断模块2604，用于根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；所述选择模块2602，具体用于若所述判断模块2604确定对所述第一重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
可选地，所述生成模块2601，还用于生成码流，所述码流包括：所述第一滤波器的标识信息。
可选地，所述生成模块2601，还用于生成码流，所述码流包括：第一指示信息，第一指示信息用于指示如何从至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器。
可选地，所述生成模块2601，还用于生成码流，所述码流包括：第二指示信息，其中，所述第二指示信息用于指示所述解码端是否需要对所述当前重建图像块进行二次上采样处理。
本申请提供的图像处理设备可以执行上述图14对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
图27为本申请另一实施例提供的一种图像处理设备的结构示意图，如图27所示，该设备包括：解析模块2701，用于解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；生成模块2702，用于根据所述当前待重建图像块的编码信息生成当前待重建图像块的重建信号，并根据所述重建信号重建当前待重建图像块，得到当前重建图像块；选择模块2703，用于若当前待重建图像块的编码方式为下采样编码方式，则根据从码流获取的第一指示信息选择用于对当前重建图像块进行上采样处理的第一滤波器，其中，第一指示信息用于指示如何从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；处理模块2704，用于通过第一滤波器对当前重建图像块进行上采样处理。
可选地，第一指示信息用于指示根据当前重建图像块的纹理特征从至少两个候选滤波器选择对当前重建图像块进行上采样处理时使用的滤波器；选择模块2703具体用于：根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
可选地，第一指示信息用于指示根据当前重建图像块的相邻重建图像块从所述至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；选择模块2703具体用于：确定至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；从所述至少两个第二滤波器中选择相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
可选地，所述处理模块2704具体用于：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理、处理模块2704，还用于若所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，当前重建图像块的所述部分边界与另一部分相邻重建图像块邻接。
可选地，所述处理模块2704具体用于：根据当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；所述处理模块2704，还用于若当前重建图像块所处的所述当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
可选地，所述第三滤波器为所述第一滤波器。
可选地，还包括：判断模块2705，用于根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；所述处理模块2704，具体用于若所述判断模块2705确定对所述第一重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
可选地，所述码流还包括：第二指示信息；相应的，所述处理模块2704，具体用于若第二指示信息指示需要对当前重建图像块进行二次上采样处理，则通过第三滤波器，根据在所需的相邻重建图像块中的另一部分相邻重建图像块对当前重建图像块的部分边界进行二次上采样处理。
本申请提供的图像处理设备可以执行上述图24对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
图28为本申请再一实施例提供的一种图像处理设备的结构示意图，如图28所示，该设备包括：解析模块2801，用于解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；生成模块2802，用于根据所述编码信息生成当前待重建图像块的重建信号，并根据所述重建信号重建所述当前待重建图像块，得到当前重建图像块；解析模块2801，还用于若所述当前待重建图像块的编码方式为下采样编码方式，则从所述码流获取第一滤波器的标识信息；处理模块2803，用于通过所述标识信息标识的第一滤波器对所述当前重建图像块进行上采样处理。
本申请提供的图像处理设备可以执行上述图25对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
本申请提供一种图像处理设备，该设备包括：处理器和用于存储所述处理器的可执行指令的存储器；其中该处理器可以执行图14对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似，此处不再赘述。
本申请提供一种图像处理设备，该设备包括：处理器和用于存储所述处理器的可执行指令的存储器；其中该处理器可以执行图24对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似，此处不再赘述。
本申请提供一种图像处理设备，该设备包括：处理器和用于存储所述处理器的可执行指令的存储器；其中该处理器可以执行图25对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似，此处不再赘述。
图29为本申请提供的一种图像处理***的结构示意图，如图29所示，该***包括：上述解码端的图像处理设备2901，以及编码端的图像处理设备2902。
本申请提供的图像处理***包括的解码端的图像处理设备可以执行上述图14对应的图像处理方法以及该方法的可选方式，包括的编码端的图像处理设备可以执行上述图24对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。
图30为本申请提供的一种图像处理***的结构示意图，如图30所示，该***包括：上述解码端的图像处理设备3001，以及编码端的图像处理设备3002。
本申请提供的图像处理***包括的解码端的图像处理设备可以执行上述图14对应的图像处理方法以及该方法的可选方式，包括的编码端的图像处理设备可以执行上述图25对应的图像处理方法以及该方法的可选方式，其实现原理和技术效果类似，此处不再赘述。

Claims (36)

1.一种图像处理方法，其特征在于，包括：
生成当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，以得到当前重建图像块；
若所述当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器，并通过所述第一滤波器对所述当前重建图像块进行上采样处理；
所述通过所述第一滤波器对所述当前重建图像块进行上采样处理，包括：
根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述方法还包括：若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
2.根据权利要求1所述的方法，其特征在于，所述从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器，具体包括：
根据所述当前重建图像块的纹理特征从至少两个候选滤波器中选择所述第一滤波器。
3.根据权利要求2所述的方法，其特征在于，所述根据所述当前重建图像块的纹理特征从至少两个候选滤波器中选择所述第一滤波器，包括：
根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
4.根据权利要求1所述的方法，其特征在于，所述从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器，具体包括：
确定所述当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，其中，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；
从所述至少两个第二滤波器中选择与所述当前重建图像块相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
5.根据权利要求1所述的方法，其特征在于，所述从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器包括：
通过所述至少两个候选滤波器分别对所述当前重建图像块进行上采样处理，得到所述至少两个候选滤波器分别对应的上采样图像块；
分别计算所述至少两个候选滤波器对应的上采样图像块与所述当前重建图像块对应的原始图像块的误差；
将最小误差对应的候选滤波器作为所述第一滤波器。
6.根据权利要求1所述的方法，其特征在于，所述第三滤波器为所述第一滤波器。
7.根据权利要求1或6所述的方法，其特征在于，所述通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理之前，还包括：
根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；
若确定对所述当前重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
8.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
生成码流，所述码流包括：所述第一滤波器的标识信息。
9.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
生成码流，所述码流包括：第一指示信息，所述第一指示信息用于指示如何从至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器。
10.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
生成码流，所述码流包括：第二指示信息，其中，所述第二指示信息用于指示解码端是否需要对所述当前重建图像块进行二次上采样处理。
11.一种图像处理方法，其特征在于，包括：
解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；
根据所述当前待重建图像块的编码信息生成当前待重建图像块的重建信号；
根据所述重建信号重建当前待重建图像块，得到当前重建图像块；
若所述当前待重建图像块的编码方式为下采样编码方式，则根据从所述码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，其中，所述第一指示信息用于指示如何从至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
通过所述第一滤波器对所述当前重建图像块进行上采样处理；
所述通过所述第一滤波器对所述当前重建图像块进行上采样处理，包括：
根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述方法还包括：若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
12.根据权利要求11所述的方法，其特征在于，所述第一指示信息用于指示根据当前重建图像块的纹理特征从所述至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
所述根据从所述码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，包括：
根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
13.根据权利要求11所述的方法，其特征在于，所述第一指示信息用于指示根据当前重建图像块的相邻重建图像块从所述至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
所述根据从所述码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，包括：
确定至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；
从所述至少两个第二滤波器中选择相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
14.根据权利要求11所述的方法，其特征在于，所述第三滤波器为所述第一滤波器。
15.根据权利要求11或14所述的方法，其特征在于，所述通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理之前，还包括：
根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；
若确定对所述当前重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
16.根据权利要求11或14所述的方法，其特征在于，所述码流还包括：第二指示信息；
相应的，所述通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，包括：
若所述第二指示信息指示需要对所述当前重建图像块进行二次上采样处理，则通过所述第三滤波器，根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
17.一种图像处理方法，其特征在于，包括：
解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；
根据所述编码信息生成当前待重建图像块的重建信号，并根据所述重建信号重建所述当前待重建图像块，得到当前重建图像块；
若所述当前待重建图像块的编码方式为下采样编码方式，则从所述码流获取第一滤波器的标识信息，并通过所述标识信息标识的所述第一滤波器对所述当前重建图像块进行上采样处理；
所述通过所述标识信息标识的所述第一滤波器对所述当前重建图像块进行上采样处理，包括：
根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述标识信息标识的所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述方法还包括：若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
18.一种图像处理设备，其特征在于，包括：
生成模块，用于生成当前待编码图像块的重建信号，并根据所述重建信号重建所述当前待编码图像块，以得到当前重建图像块；
选择模块，用于若所述当前重建图像块的编码方式为下采样编码方式，则从至少两个候选滤波器中选择用于对所述当前重建图像块进行上采样处理的第一滤波器；
处理模块，用于通过所述第一滤波器对所述当前重建图像块进行上采样处理；
所述处理模块，具体用于根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述处理模块，还用于若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
所述处理模块，还用于若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
19.根据权利要求18所述的设备，其特征在于，
所述选择模块，具体用于根据所述当前重建图像块的纹理特征从至少两个候选滤波器中选择所述第一滤波器。
20.根据权利要求19所述的设备，其特征在于，
所述选择模块，具体用于根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
21.根据权利要求18所述的设备，其特征在于，所述选择模块具体用于：
确定所述当前重建图像块的至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，其中，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；
从所述至少两个第二滤波器中选择与所述当前重建图像块相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
22.根据权利要求18所述的设备，其特征在于，所述选择模块具体用于：
通过所述至少两个候选滤波器分别对所述当前重建图像块进行上采样处理，得到所述至少两个候选滤波器分别对应的上采样图像块；
分别计算所述至少两个候选滤波器对应的上采样图像块与所述当前重建图像块对应的原始图像块的误差；
将最小误差对应的候选滤波器作为所述第一滤波器。
23.根据权利要求18所述的设备，其特征在于，所述第三滤波器为所述第一滤波器。
24.根据权利要求18或23所述的设备，其特征在于，还包括：
判断模块，用于根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；
所述选择模块，具体用于若所述判断模块确定对所述当前重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
25.根据权利要求18-23任一项所述的设备，其特征在于，
所述生成模块，还用于生成码流，所述码流包括：所述第一滤波器的标识信息。
26.根据权利要求18-23任一项所述的设备，其特征在于，
所述生成模块，还用于生成码流，所述码流包括：第一指示信息，所述第一指示信息用于指示如何从至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器。
27.根据权利要求18-23任一项所述的设备，其特征在于，
所述生成模块，还用于生成码流，所述码流包括：第二指示信息，其中，所述第二指示信息用于指示解码端是否需要对所述当前重建图像块进行二次上采样处理。
28.一种图像处理设备，其特征在于，包括：
解析模块，用于解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；
生成模块，用于根据所述当前待重建图像块的编码信息生成当前待重建图像块的重建信号，并根据所述重建信号重建当前待重建图像块，得到当前重建图像块；
选择模块，用于若所述当前待重建图像块的编码方式为下采样编码方式，则根据从所述码流获取的第一指示信息选择用于对所述当前重建图像块进行上采样处理的第一滤波器，其中，所述第一指示信息用于指示如何从至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
处理模块，用于通过所述第一滤波器对所述当前重建图像块进行上采样处理；
所述处理模块，具体用于根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述处理模块，还用于若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
所述处理模块，还用于若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
29.根据权利要求28所述的设备，其特征在于，所述第一指示信息用于指示根据当前重建图像块的纹理特征从所述至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
所述选择模块，具体用于根据预设映射关系和所述当前重建图像块的纹理特征选择所述第一滤波器，所述预设映射关系是包括所述当前重建图像块的纹理特征的预设纹理特征和包括所述第一滤波器的所述至少两个候选滤波器之间的映射关系。
30.根据权利要求28所述的设备，其特征在于，所述第一指示信息用于指示根据当前重建图像块的相邻重建图像块从所述至少两个候选滤波器选择对所述当前重建图像块进行上采样处理时使用的滤波器；
所述选择模块具体用于：
确定至少两个相邻重建图像块中每个相邻重建图像块与所述当前重建图像块的相似度，所述至少两个相邻重建图像块进行上采样处理时对应至少两个第二滤波器，所述至少两个候选滤波器包括所述至少两个第二滤波器；
从所述至少两个第二滤波器中选择相似度最高的相邻重建图像块对应的第二滤波器作为所述第一滤波器。
31.根据权利要求28所述的设备，其特征在于，所述第三滤波器为所述第一滤波器。
32.根据权利要求28或31所述的设备，其特征在于，还包括：
判断模块，用于根据所述另一部分相邻重建图像块和所述当前重建图像块的部分边界判断是否对所述部分边界进行二次上采样处理；
所述处理模块，具体用于若所述判断模块确定对所述当前重建图像块的部分边界进行二次上采样处理，则通过所述第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
33.根据权利要求28或31所述的设备，其特征在于，所述码流还包括：第二指示信息；
所述处理模块，具体用于若所述第二指示信息指示需要对所述当前重建图像块进行二次上采样处理，则通过所述第三滤波器，根据在所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理。
34.一种图像处理设备，其特征在于，包括：
解析模块，用于解析码流，以获取当前待重建图像块的编码信息和所述当前待重建图像块的编码方式；
生成模块，用于根据所述编码信息生成当前待重建图像块的重建信号，并根据所述重建信号重建所述当前待重建图像块，得到当前重建图像块；
所述解析模块，还用于若所述当前待重建图像块的编码方式为下采样编码方式，则从所述码流获取第一滤波器的标识信息；
处理模块，用于通过所述标识信息标识的所述第一滤波器对所述当前重建图像块进行上采样处理；
所述处理模块，具体用于根据所述当前重建图像块进行上采样处理时所需的相邻重建图像块中的当前已完成重建的一部分相邻重建图像块的像素，通过所述标识信息标识的所述第一滤波器对所述当前重建图像块进行一次上采样处理；
所述处理模块，还用于若所述所需的相邻重建图像块中的当前未完成重建的另一部分相邻重建图像块已完成重建，则通过第三滤波器，根据所述另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接；
所述处理模块，还用于若所述当前重建图像块所处的当前图像的所有图像块均已完成重建，则通过第三滤波器，根据所述所需的相邻重建图像块中的另一部分相邻重建图像块对所述当前重建图像块的部分边界进行二次上采样处理，其中，所述另一部分相邻重建图像块是在对所述当前重建图像块进行第一次上采样处理时未完成重建的图像块；所述当前重建图像块的所述部分边界与所述另一部分相邻重建图像块邻接。
35.一种图像处理***，其特征在于，包括：如权利要求18至27任一项所述的图像处理设备，以及如权利要求28至33任一项所述的图像处理设备。
36.一种图像处理***，其特征在于，包括：如权利要求18至27任一项所述的图像处理设备，以及如权利要求34所述的图像处理设备。
CN201710571640.1A 2017-07-13 2017-07-13 图像处理方法、设备及*** Active CN109257605B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710571640.1A CN109257605B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及***
PCT/CN2018/085537 WO2019011046A1 (zh) 2017-07-13 2018-05-04 图像处理方法、设备及***
TW107116752A TWI681672B (zh) 2017-07-13 2018-05-17 圖像處理方法、設備及系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710571640.1A CN109257605B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及***

Publications (2)

Publication Number Publication Date
CN109257605A CN109257605A (zh) 2019-01-22
CN109257605B true CN109257605B (zh) 2021-11-19

Family

ID=65001554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710571640.1A Active CN109257605B (zh) 2017-07-13 2017-07-13 图像处理方法、设备及***

Country Status (3)

Country Link
CN (1) CN109257605B (zh)
TW (1) TWI681672B (zh)
WO (1) WO2019011046A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2021010130A (es) * 2019-02-22 2021-11-12 Huawei Tech Co Ltd Método y aparato para intra predicción utilizando modelo lineal.
CN111369438B (zh) * 2020-02-28 2022-07-26 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN117426094A (zh) * 2021-05-14 2024-01-19 抖音视界有限公司 用于视频处理的方法、设备和介质
CN117597930A (zh) * 2021-08-20 2024-02-23 深圳传音控股股份有限公司 图像处理方法、移动终端及存储介质
CN113822815B (zh) * 2021-09-24 2024-02-06 广州光锥元信息科技有限公司 使用gpu渲染进行高性能图片杂物消除的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1939066A (zh) * 2004-04-02 2007-03-28 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
CN102387366A (zh) * 2005-03-18 2012-03-21 夏普株式会社 用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和***
CN103716622A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 用于图像处理的方法和装置
CN105191313A (zh) * 2013-01-04 2015-12-23 三星电子株式会社 使用考虑相移的上采样的可伸缩视频编码方法和设备以及可伸缩视频解码方法和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742321B (zh) * 2010-01-12 2011-07-27 浙江大学 基于图层分解的视频编、解码方法及装置
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
CN103916676B (zh) * 2012-12-31 2017-09-29 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
US10455249B2 (en) * 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1939066A (zh) * 2004-04-02 2007-03-28 汤姆森许可贸易公司 用于复杂度可伸缩视频解码器的方法和设备
CN102387366A (zh) * 2005-03-18 2012-03-21 夏普株式会社 用于空间可缩放视频编码的具有降低的复杂度的减少块伪像的方法和***
CN103716622A (zh) * 2012-09-29 2014-04-09 华为技术有限公司 用于图像处理的方法和装置
CN105191313A (zh) * 2013-01-04 2015-12-23 三星电子株式会社 使用考虑相移的上采样的可伸缩视频编码方法和设备以及可伸缩视频解码方法和设备

Also Published As

Publication number Publication date
TW201909643A (zh) 2019-03-01
WO2019011046A1 (zh) 2019-01-17
CN109257605A (zh) 2019-01-22
TWI681672B (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
CN109257605B (zh) 图像处理方法、设备及***
CN109302608B (zh) 图像处理方法、设备及***
KR102185954B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
CN109314789B (zh) 用于基于帧内预测的视频信号处理的方法及装置
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
JP2020508010A (ja) 画像処理およびビデオ圧縮方法
JP2017536033A (ja) 最適化関数を用いてグラフベース予測を実行する方法及び装置
CN109257608B (zh) 图像处理方法、设备及***
US11202082B2 (en) Image processing apparatus and method
Drynkin et al. Video images compression and restoration methods based on optimal sampling
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
Moses et al. A survey on adaptive image interpolation based on quantitative measures
CN115731133A (zh) 一种图像滤波方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant