CN109302608B - 图像处理方法、设备及*** - Google Patents

图像处理方法、设备及*** Download PDF

Info

Publication number
CN109302608B
CN109302608B CN201710614141.6A CN201710614141A CN109302608B CN 109302608 B CN109302608 B CN 109302608B CN 201710614141 A CN201710614141 A CN 201710614141A CN 109302608 B CN109302608 B CN 109302608B
Authority
CN
China
Prior art keywords
image block
quantization parameter
reconstructed
current image
coding mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710614141.6A
Other languages
English (en)
Other versions
CN109302608A (zh
Inventor
张红
杨海涛
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201710614141.6A priority Critical patent/CN109302608B/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2018/081661 priority patent/WO2019019690A1/zh
Priority to EP18838975.3A priority patent/EP3648462B1/en
Priority to KR1020207004379A priority patent/KR20200026998A/ko
Priority to JP2020503884A priority patent/JP6910532B2/ja
Priority to TW107116648A priority patent/TWI681670B/zh
Publication of CN109302608A publication Critical patent/CN109302608A/zh
Priority to US16/752,259 priority patent/US11259031B2/en
Application granted granted Critical
Publication of CN109302608B publication Critical patent/CN109302608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供一种图像处理方法、设备及***,包括:解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待重建图像块的编码方式、当前待重建图像块的量化系数和当前待重建图像块的预测信号,其中,当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,当前待重建图像块为当前图像区域的一部分;根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数;根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。从而使得解码端得到的重建图像块效果更佳。

Description

图像处理方法、设备及***
技术领域
本申请涉及图像处理技术,尤其涉及一种图像处理方法、设备及***。
背景技术
数字视频是以数字形式记录的视频。图1为本申请提供的数字视频的示意图,如图1所示,数字视频由多帧数字图像组成。图2为本申请提供的数字图像的示意图,如图2所示,图像由12*16个像素组成,其中,每个像素被称为一个像素,12*16表示图像分辨率。例如2K视频的图像分辨率是1920*1080,4K视频的图像分辨率是3840*2160。通常原始视频包括的数据量较大,不适合存储和传输,需要利用高效的视频压缩编码技术来压缩原始数据。
具体地,图3为本申请提供的编码端的编码示意图,如图3所示,编码端的编码流程包括:编码端接收到视频之后,对于构成视频的每帧图像,将该图像划分成多个待编码图像块。对于当前待编码图像块,首先通过参考重建图像块(该参考重建图像块用于提供当前待编码图像块所需的参考像素,该参考像素用于对当前待编码图像块进行预测)对当前待编码图像块进行预测,得到当前待编码图像块的预测信号;用当前待编码图像块的原始信号减去预测信号,得到残差信号。经过预测后,残差信号的幅值远小于原始信号。将残差信号进行变换(变换操作为可选操作)和量化操作。经过变换量化后,得到量化系数,再通过熵编码技术编码量化系数以及编码中的其他指示信息,得到码流。进一步地,编码端还需要重建当前待编码图像块,以实现对后续待编码图像块的编码提供参考像素。具体地,在得到当前待编码图像块的量化系数之后,编码端需要对当前待编码图像块的量化系数进行反量化和反变换,得到重建的残差信号,将重建的残差信号与当前待编码图像块对应的预测信号相加,得到当前待编码图像块的重建信号,根据该重建信号得到重建图像块。其中,该重建图像块可以对后续待编码图像块进行预测。可选地,残差信号经过变换后得到变换系数,变换系数通过量化后会有信息损失,该信息损失不可逆。即经过反量化后的变换系数会有失真,从而使得重建信号与原始信号不一致,这种压缩方式为有损压缩。因此,对于有损压缩,在得到重建图像块后,需要对该重建图像块进行滤波,从而去除有损压缩引入的一些失真,例如块效应,振铃效应等。为了去除块效应,可以使用H.264、H.265标准中的DBK滤波器。为了去除振铃效应,可以使用H.265中的SAO滤波器,以及下一代标准中的ALF滤波器等。也有无损压缩方法,即残差信号使用无损的变换操作得到变换系数,不进行量化操作,将变换系数进行熵编。对于无损压缩,一般不再进行滤波操作。进一步地,当前图像的各个图像块都完成重建之后,得到重建图像,其中,该重建图像可以对后续其他帧图像进行预测。
图4为本申请提供的解码端的解码示意图,如图4所示,解码端获取到码流之后,首先对码流进行熵解码,得到当前待重建图像块的量化系数,然后对量化系数进行反量化和反变换,得到当前待重建图像块的重建的残差信号。通过它的参考重建图像块对当前待重建图像块进行预测,得到当前待重建图像块的预测信号,然后将预测信号和上述重建的残差信号相加,得到当前待重建图像块的重建信号,然后根据该重建信号得到当前待重建图像块对应的当前重建图像块,其中,该当前重建图像块可以对后续其他待重建图像块进行预测。类似于上述编码端的情况,可选地,在解码端需要对当前重建图像块进行滤波。进一步地,当前图像的各个图像块都完成重建之后,得到重建图像,其中,该重建图像可以对后续其他帧图像进行预测。
为了降低编解码复杂度,编码端对每帧图像先进行下采样处理,图5为本申请提供的编码端的编码示意图,如图5所示,编码端对整幅图像采用下采样处理,然后对经过下采样处理后的图像中的每个待编码图像块进行编码,得到码流。其中,每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的,解码端解析码流,每个待重建图像块的分辨率均为下采样分辨率,得到对应的重建图像块的分辨率也为下采样分辨率,解码端需要对重建图像块采用上采样处理,以得到原始分辨率的重建图像块。
现有技术中,编码端对整幅图像都采用下采样处理,然而,整幅图像包括的各个图像块的特性可能不同,例如,有些图像块可能较为平坦,编码端适合对其采用下采样处理;有些图像块可能细节比较多,这种情况下,下采样处理会损失掉这些细节。这将导致编码端的编码效果不佳。相应的,这将导致解码端得到的有些重建图像块比较模糊,即解码端得到的重建图像块效果不佳。
发明内容
本申请提供一种图像处理方法、设备及***,从而使得解码端得到的重建图像块效果更佳,同时编码端的编码效果更好。
第一方面,本申请提供一种图像处理方法,包括:解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待重建图像块的编码方式、当前待重建图像块的量化系数和当前待重建图像块的预测信号,其中,当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,当前待重建图像块为当前图像区域的一部分;根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
本申请的有益效果是:考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,解码端可以根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,即该量化参数具有针对性,以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
可选地,码流包括:第一量化参数和第二量化参数;
或者,码流包括:第一量化参数,和,当前图像区域的量化参数预测差值,相应的,获取当前图像区域在下采样编码方式下的第二量化参数,包括:根据第一量化参数和量化参数预测差值计算第二量化参数。
本申请的有益效果是:由于量化参数预测差值的长度小于第二量化参数。因此,通过这种方式可以降低编码端的比特开销。
可选地,根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,包括:若当前待重建图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待重建图像块的量化参数;或者,若当前待重建图像块的编码方式为下采样编码方式,则将第二量化参数作为当前待重建图像块的量化参数。
第二方面,本申请提供一种图像处理方法,包括:解析码流,以获取当前待重建图像块的量化参数预测差值、当前待重建图像块的量化系数、当前待重建图像块的编码方式和当前待重建图像块的预测信号,其中,编码方式为原分辨率编码方式或者下采样编码方式;根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值;根据当前待重建图像块的量化参数预测值和量化参数预测差值确定当前待重建图像块的量化参数;根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
本申请的有益效果是:考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,解码端可以根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值;根据当前待重建图像块的量化参数预测值和量化参数预测差值确定当前待重建图像块的量化参数,即该量化参数具有针对性,以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
可选地,根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:根据预设规则选择M个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,其中,M个重建图像块与当前待重建图像块属于同一个当前图像区域,M为正整数;根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值。
其中,该预设规则可以是按照解码顺序,选择当前待重建图像块的前一个重建图像块。或者,选择当前待重建图像块的上边重建图像块和左边重建图像块。或者,按照解码顺序,在预定范围内的重建图像块中选择与当前待重建图像块编码方式相同,且最接近的一个重建图像块。需要说明的是,本申请对预设规则不限于此。
本申请的有益效果是:通过该方法可以有效准确的确定当前待重建图像块的量化参数预测值。
可选地,M个重建图像块为一个重建图像块,则根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若一个重建图像块的编码方式和当前待重建图像块的编码方式相同,则确定一个重建图像块的量化参数为当前待重建图像块的量化参数预测值;或者,若一个重建图像块的编码方式和当前待重建图像块的编码方式不相同,则根据一个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
可选地,根据一个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定当前待重建图像块的量化参数预测值,包括:若一个重建图像块的编码方式为下采样编码方式,且当前待重建图像块的编码方式为原分辨率编码方式,令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之和,得到量化参数预测值;或者,若一个重建图像块的编码方式为原分辨率编码方式,且当前待重建图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之差,得到量化参数预测值。
可选地,一个重建图像块为按照解码顺序,所述当前待重建图像块的前一个重建图像块。
可选地,M大于1,根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若M个重建图像块的编码方式和当前待重建图像块的编码方式相同,则确定M个重建图像块的量化参数的平均值为当前待重建图像块的量化参数预测值;或者,若一个重建图像块的编码方式和当前待重建图像块的编码方式不相同,则根据M个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
可选地,根据M个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值,包括:若M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且当前待重建图像块的编码方式为原分辨率编码方式,根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定M个重建图像块的量化参数的平均值,平均值为当前待重建图像块的量化参数预测值;或者,若M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且当前待重建图像块的编码方式为下采样编码方式,根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定M个重建图像块的量化参数的平均值,平均值为当前待重建图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。
本申请的有益效果是:通过该方法可以有效准确的计算编码方式为下采样编码方式的重建图像块的修正后的量化参数。
可选地,根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
本申请的有益效果是:通过该方法可以有效准确的计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
可选地,M个重建图像块包括当前待重建图像块的上边重建图像块和左边重建图像块。
可选地,M个重建图像块为一个重建图像块;获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,包括:在预定范围内的重建图像块中查找与当前待重建图像块的编码方式相同的一个重建图像块;获取一个重建图像块的量化参数;相应的,根据当前待重建图像块的编码方式、M个重建图像块的量化参数和编码方式确定当前待重建图像块的量化参数预测值,包括:将一个重建图像块的量化参数作为当前待重建图像块的量化参数预测值。
可选地,一个重建图像块为按照解码顺序,预定范围内的重建图像块中与当前待重建图像块最接近的一个重建图像块。
可选地,根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若当前待重建图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待重建图像块的量化参数预测值;若当前待重建图像块的编码方式为下采样编码方式,则将第二量化参数作为当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
可选地,根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若当前待重建图像块的编码方式为原分辨率编码方式,则根据量化参数预测差值对第一量化参数进行修正,以获取当前待重建图像块的量化参数预测值;或者,若当前待重建图像块的编码方式为下采样编码方式,则根据量化参数预测差值对第二量化参数进行修正,以获取当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
第三方面,本申请提供一种图像处理方法,包括:获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待编码图像块的编码方式、当前待编码图像块的编码信号和当前待编码图像块的预测信号;其中,当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当当前待编码图像块的编码方式是原分辨率编码方式时,编码信号为当前待编码图像块的原始信号,当当前待编码图像块的编码方式是所述下采样编码方式时,编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号;根据当前待重建图像块的编码方式确定当前待编码图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;或者,当前待重建图像块的量化参数为对第一量化参数进行修正后的量化参数或对第二量化参数进行修正后的量化参数;根据预测信号和编码信号生成当前待编码图像块的残差信号;根据当前待重建图像块的量化参数对残差信号进行编码。
本申请的有益效果是:考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,基于此,编码端可以根据当前待重建图像块的编码方式确定当前待编码图像块的量化参数,即该量化参数具有针对性,以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
可选地,获取当前图像区域在下采样编码方式下的第二量化参数,包括:获取当前图像区域的量化参数预测差值;根据第一量化参数和量化参数预测差值计算第二量化参数。
可选地,获取当前待编码图像块的编码方式,包括:根据第一量化参数确定当前待编码图像块采用原分辨率编码方式时的第一编码代价;根据第二量化参数确定当前待编码图像块采用下采样编码方式时的第二编码代价;将第一编码代价和第二编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
本申请的有益效果是:通过该方法可以选择编码代价最小的编码方式,从而降低编码复杂度。
可选地,根据当前待编码图像块的编码方式确定当前待编码图像块的量化参数,包括:若当前待编码图像块的编码方式为原分辨率编码方式,则确定当前待编码图像块的量化参数为第一量化参数;若当前待编码图像块的编码方式为下采样编码方式,则确定当前待编码图像块的量化参数为第二量化参数。
可选地,还包括:生成码流,码流包括:第一量化参数、第二量化参数和当前待重建图像块的编码方式;或者,码流包括:第一量化参数、当前图像区域的量化参数预测差值和当前待重建图像块的编码方式。
本申请的有益效果是:由于量化参数预测差值的长度小于第二量化参数。因此,通过这种方式可以降低编码端的比特开销。
可选地,获取当前待编码图像块的编码方式,包括:对第一量化参数进行至少一次修正,得到至少一个第三量化参数;并对第二量化参数进行至少一次修正,得到至少一个第四量化参数;根据每个第三量化参数确定当前待编码图像块采用原分辨率编码方式时的第三编码代价;并根据每个第四量化参数确定当前待编码图像块采用下采样编码方式时的第四编码代价;将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
本申请的有益效果是:通过该方法可以选择编码代价最小的编码方式,从而降低编码复杂度。
可选地,根据当前待编码图像块的编码方式确定所述当前待编码图像块的量化参数,包括:若当前待编码图像块的编码方式为原分辨率编码方式,则在至少一个第三量化参数中确定编码代价最小的一个第三量化参数为当前待编码图像块的量化参数;若当前待编码图像块的编码方式为下采样编码方式,则在所述至少一个第四量化参数中确定编码代价最小的一个第四量化参数为当前待编码图像块的量化参数。
可选地,还包括:获取当前待编码图像块的量化参数预测值;根据量化参数预测值和当前待编码图像块的量化参数计算当前待编码图像块的量化参数预测差值;生成码流,其中,码流包括:当前待编码图像块的编码方式和当前待编码图像块的量化参数预测差值。
本申请的有益效果是:由于量化参数预测差值的长度小于量化参数。因此,通过这种方式可以降低编码端的比特开销。
可选地,获取当前待编码图像块的量化参数预测值,包括:根据预设规则选择M个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,其中,M个重建图像块与当前待编码图像块属于同一个当前图像区域,M为正整数;根据当前待编码图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待编码图像块的量化参数预测值。
本申请的有益效果是:通过该方法可以有效准确的确定当前待编码图像块的量化参数预测值。
可选地,M个重建图像块为一个重建图像块,则所述根据当前待编码图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待编码图像块的量化参数预测值,包括:若一个重建图像块的编码方式和当前待编码图像块的编码方式相同,则确定一个重建图像块的量化参数为当前待编码图像块的量化参数预测值;或者,若一个重建图像块的编码方式和当前待编码图像块的编码方式不相同,则根据一个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定当前待编码图像块的量化参数预测值。
可选地,根据一个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定所述当前待编码图像块的量化参数预测值,包括:若一个重建图像块的编码方式为下采样编码方式,且当前待编码图像块的编码方式为原分辨率编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之和,得到量化参数预测值;或者,若一个重建图像块的编码方式为原分辨率编码方式,且当前待编码图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到量化参数预测值。
可选地,一个重建图像块为按照编码顺序,当前待编码图像块的前一个重建图像块。
可选地,M大于1,根据当前待编码图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待编码图像块的量化参数预测值,包括:若M个重建图像块的编码方式和当前待编码图像块的编码方式相同,则确定M个重建图像块的量化参数的平均值为当前待编码图像块的量化参数预测值;或者,若一个重建图像块的编码方式和当前待编码图像块的编码方式不相同,则根据M个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定当前待编码图像块的量化参数预测值。
可选地,根据M个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定所述当前待编码图像块的量化参数预测值,包括:若M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且当前待编码图像块的编码方式为原分辨率编码方式,则根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定M个重建图像块的量化参数的平均值,平均值为当前待编码图像块的量化参数预测值;或者,若M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且当前待编码图像块的编码方式为下采样编码方式,则根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定M个重建图像块的量化参数的平均值,平均值为当前待编码图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为下采样编码方式的重建图像块的量化参数与量化差值之和,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。
本申请的有益效果是:通过该方法可以有效准确的计算编码方式为下采样编码方式的重建图像块的修正后的量化参数。
可选地,根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
本申请的有益效果是:通过该方法可以有效准确的计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
可选地,M个重建图像块包括当前待编码图像块的上边重建图像块和左边重建图像块。
可选地,M个重建图像块为一个重建图像块;获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,包括:在预定范围内的重建图像块中查找与当前待编码图像块的编码方式相同的一个重建图像块;获取一个重建图像块的量化参数和一个重建图像块的编码方式;相应的,根据所述当前待重建图像块的编码方式、M个重建图像块的量化参数和编码方式确定当前待编码图像块的量化参数预测值,包括:将一个重建图像块的量化参数作为当前待编码图像块的量化参数预测值。
可选地,一个重建图像块为按照编码顺序,预定范围内的重建图像块中与当前待重建图像块最接近的一个重建图像块。
可选地,获取当前图像区域的量化参数预测值,包括:获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数;若当前待编码图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待编码图像块的量化参数预测值;若当前待编码图像块的编码方式为所述下采样编码方式,则将第二量化参数作为当前待编码图像块的量化参数预测值。
下面对图像处理设备及***进行介绍,其实现原理和技术效果与上述原理和技术效果类似,此处不再赘述。
第四方面,本申请提供一种图像处理设备,包括:解析模块,用于解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待重建图像块的编码方式、当前待重建图像块的量化系数和当前待重建图像块的预测信号,其中,当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,当前待重建图像块为当前图像区域的一部分;确定模块,用于根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;重建模块,用于根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
第五方面,本申请提供一种图像处理设备,包括:解析模块,用于解析码流,以获取当前待重建图像块的量化参数预测差值、当前待重建图像块的量化系数、当前待重建图像块的编码方式和当前待重建图像块的预测信号,其中,编码方式为原分辨率编码方式或者下采样编码方式;第一确定模块,用于根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值;第二确定模块,用于根据当前待重建图像块的量化参数预测值和量化参数预测差值确定当前待重建图像块的量化参数;重建模块,用于根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
第六方面,本申请提供一种图像处理设备,包括:第一获取模块,用于获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待编码图像块的编码方式、当前待编码图像块的编码信号和当前待编码图像块的预测信号;其中,当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当当前待编码图像块的编码方式是所述原分辨率编码方式时,编码信号为当前待编码图像块的原始信号,当当前待编码图像块的编码方式是下采样编码方式时,编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号;确定模块,用于根据当前待重建图像块的编码方式确定所述当前待编码图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或所述第二量化参数;或者,当前待重建图像块的量化参数为对第一量化参数进行修正后的量化参数或对第二量化参数进行修正后的量化参数;生成模块,用于根据预测信号和编码信号生成当前待编码图像块的残差信号;编码模块,用于根据当前待重建图像块的量化参数对残差信号进行编码。
第七方面,本申请提供一种图像处理***,包括:如第四方面所述的图像处理设备,以及如第六方面所述的图像处理设备。
第八方面,本申请提供一种图像处理***,包括:如第五方面所述的图像处理设备,以及如第六方面所述的图像处理设备。
第九方面,本申请提供一种图像处理设备,该设备包括经配置以进行以下操作的解码器:
解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待重建图像块的编码方式、当前待重建图像块的量化系数和当前待重建图像块的预测信号,其中,当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,当前待重建图像块为当前图像区域的一部分;根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
第十方面,本申请提供一种图像处理设备,该设备包括经配置以进行以下操作的解码器:
解析码流,以获取当前待重建图像块的量化参数预测差值、当前待重建图像块的量化系数、当前待重建图像块的编码方式和当前待重建图像块的预测信号,其中,编码方式为原分辨率编码方式或者下采样编码方式;根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值;根据当前待重建图像块的量化参数预测值和量化参数预测差值确定当前待重建图像块的量化参数;根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
第十一方面,本申请提供一种图像处理设备,该设备包括经配置以进行以下操作的编码器:
获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待编码图像块的编码方式、当前待编码图像块的编码信号和当前待编码图像块的预测信号;其中,当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当当前待编码图像块的编码方式是原分辨率编码方式时,编码信号为当前待编码图像块的原始信号,当当前待编码图像块的编码方式是所述下采样编码方式时,编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号;根据当前待重建图像块的编码方式确定当前待编码图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;或者,当前待重建图像块的量化参数为对第一量化参数进行修正后的量化参数或对第二量化参数进行修正后的量化参数;根据预测信号和编码信号生成当前待编码图像块的残差信号;根据当前待重建图像块的量化参数对残差信号进行编码。
第十二方面,本申请提供一种计算机存储介质,用于储存为上述第四方面或者第九方面涉及的图像处理设备所用的计算机软件指令,其包含用于执行上述第四方面或者第九方面所设计的程序。
第十三方面,本申请提供一种计算机程序产品,其包含指令,当所述计算机程序被计算机所执行时,该指令使得计算机执行第四方面或者第九方面中图像处理设备所执行的功能。
第十四方面,本申请提供一种计算机存储介质,用于储存为上述第五方面或者第十方面涉及的图像处理设备所用的计算机软件指令,其包含用于执行上述第五方面或者第十方面所设计的程序。
第十五方面,本申请提供一种计算机程序产品,其包含指令,当所述计算机程序被计算机所执行时,该指令使得计算机执行第五方面或者第十方面中图像处理设备所执行的功能。
第十六方面,本申请提供一种计算机存储介质,用于储存为上述第六方面或者第十一方面涉及的图像处理设备所用的计算机软件指令,其包含用于执行上述第六方面或者第十一方面所设计的程序。
第十七方面,本申请提供一种计算机程序产品,其包含指令,当所述计算机程序被计算机所执行时,该指令使得计算机执行第六方面或者第十一方面中图像处理设备所执行的功能。
综上,本申请提供一种图像处理方法、设备及***,考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,解码端可以根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,即该量化参数具有针对性,以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。并且编码端可以根据当前待重建图像块的编码方式确定当前待编码图像块的量化参数,即该量化参数具有针对性,以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
附图说明
图1为本申请提供的数字视频的示意图;
图2为本申请提供的数字图像的示意图;
图3为本申请提供的编码端的编码示意图;
图4为本申请提供的解码端的解码示意图;
图5为本申请提供的编码端的编码示意图;
图6为本申请一实施例提供的正在编码的图像的示意图;
图7为本申请一实施例提供的参考像素模板的示意图;
图8A和图8B为本申请一实施例提供的Planar模式的示意图;
图9为本申请一实施例提供的33种角度预测模式的具体方向示意图;
图10为本申请一实施例提供的图像下采样示意图;
图11为本申请一实施例提供的图像上采样示意图;
图12为本申请一实施例提供的图像上采样示意图;
图13为本申请一实施例提供的一种图像处理方法的流程图;
图14为本申请另一实施例提供的一种图像处理方法的流程图;
图15为本申请再一实施例提供的一种图像处理方法的流程图;
图16为本申请一实施例提供的一种图像处理设备的结构示意图;
图17为本申请另一实施例提供的一种图像处理设备的结构示意图;
图18为本申请再一实施例提供的一种图像处理设备的结构示意图;
图19为本申请提供的一种图像处理***的结构示意图;
图20为本申请提供的一种图像处理***的结构示意图。
具体实施方式
以下,对本申请中的部分专业用语进行解释说明,以便于本领域技术人员理解。
数字视频是以数字形式记录的视频。数字视频由多帧数字图像组成。通常原始视频包括的数据量较大,不适合存储和传输,需要利用高效的视频压缩编码技术来压缩原始数据。
视频压缩技术是通过消除视频冗余来达到压缩的目的。视频冗余主要包括如下几项:空间冗余,时间冗余,视觉冗余和信息熵冗余。
空间冗余:它是静态图像存在的最主要的数据冗余。它是指在一幅图像中,相邻的像素的幅值都比较相近,这种空间连贯性被称为空间相关或空间冗余。空间冗余主要是通过帧内预测方法来消除,帧内预测方法是指利用视频空间域的相关性,使用参考重建图像块的像素预测当前重建图像块的像素,以达到去除视频空间冗余的目的。
时间冗余:它是视频序列中经常包含的冗余,由于视频的相邻图像往往包含相同或类似的背景和运动物体,只是运动物体所在的空间位置略有不同,这种相邻图像间的数据的高度相关性就称为时间冗余。时间冗余主要是通过帧间预测技术来消除,帧间预测技术是指利用时间上相邻图像的像素来预测当前像素。
视觉冗余:人眼视觉***对图像细节的变化不敏感,这些细微变化信息即使丢失,人眼也感受不到。而在记录原始视频数据时,通常假定视觉***是对各种内容的敏感度是一致的,这样就产生了比理想编码更多的数据,称为视觉冗余。视觉冗余主要是通过变换,量化技术来消除,该变换技术是指将图像信号变换到频率域进行处理,根据不同频率信号对视觉质量的贡献大小进行数据表达和比特再分配,这样可以纠正空间域上均匀采样的不合理表达。同时在比特再分配过程中融合考虑去除视觉冗余的需要,通过量化操作,省略过分精细的高频分量表达,实现有效压缩。
信息熵冗余:由信息论可知,为表示图像数据的一个像素,只要按其信息熵的大小分配相应比特数即可,而对于图像数据的每个像素,在图像获取时很难得到它的信息熵,因此一般是对每个像素采用相同的比特数来表示,这样必然存在冗余。信息熵冗余主要是通过熵编码技术来消除熵编码技术是通过统计系数的信息熵分布,为具有不同信息熵的数据分配不同的比特数。
当前主流的视频压缩编码架构是混合编码架构,针对上述冗余,采取不同的技术来消除冗余,并将这些技术结合在一起,形成了视频编码的混合架构。如图3所示,编码端接收到视频之后,对于构成视频的每帧图像,将该图像划分成待编码图像块,按照待编码图像块的顺序进行编码。对于当前待编码图像块,首先通过参考重建图像块对当前待编码图像块进行预测,得到当前待编码图像块的预测信号;用当前待编码图像块的原始信号减去预测信号,得到残差信号。经过预测后,残差信号的幅值远小于原始信号。将残差信号进行变换(可选操作)和量化操作。经过变换量化后,得到量化系数,再通过变长编码、二进制编码等熵编码技术对量化系数做熵编码操作,得到码流。该码流通常包括:待编码图像块的划分信息以及图像经过熵编码后得到的信息等。进一步地,编码端还需要重建当前待编码图像块,以实现对后续待编码图像块的编码提供参考像素。具体地,在得到当前待编码图像块的量化系数之后,编码端需要对当前待编码图像块的量化系数进行反量化和反变换,得到重建的残差信号,将重建的残差信号与当前待编码图像块对应的预测信号相加,得到当前待编码图像块的重建信号,根据该重建信号得到重建图像块。
如图4所示,解码端获取到码流之后,首先对码流进行熵解码,得到当前待重建图像块的量化系数,然后对量化系数进行反量化和反变换,得到当前待重建图像块的重建的残差信号。通过参考重建图像块对当前待重建图像块进行预测,得到当前待重建图像块的预测信号,然后将预测信号和上述重建的残差信号相加,得到当前待重建图像块的重建信号,然后根据该重建信号得到当前待重建图像块对应的当前重建图像块。
为了降低编解码复杂度,编码端对每帧图像先进行下采样处理,如图5所示,编码端对整幅图像采用下采样处理,然后对经过下采样处理后的图像中的每个待编码图像块进行编码,得到码流。其中,每个待编码图像块对应的重建图像块的分辨率为下采样分辨率。相应的,解码端解析码流,每个待重建图像块的分辨率均为下采样分辨率,得到对应的重建图像块的分辨率也为下采样分辨率,解码端需要对重建图像块采用上采样处理,以得到原始分辨率的重建图像块。
在编码端和解码端均涉及通过参考重建图像块对当前重建图像块(当前待编码图像块或者当前待重建图像块)进行预测,得到当前重建图像块的预测信号。在本申请中,对当前重建图像块的预测模式(主要是帧内预测方法)可以采用现有技术,具体如下:
例如:图6为本申请一实施例提供的正在编码的图像的示意图,如图6所示,该图像包括多个图像块,其中,该图像的编码顺序是:从上到下,从左到右。在图6中,图像块C、B、D、E和A表示已经完成重建的重建图像块,图像块F为当前待编码图像块,该图像中的其他区域为未编码的图像区域。
这里以H.265标准来说明帧内预测方法的具体过程,H.265支持将当前待编码图像块划分成更小的子图像块进行预测操作。子图像块的划分结构为四叉树结构,即一个图像块可以划分成四个子图像块,每个子图像块可以继续划分成四个子图像块。如图6所示,假设当前待编码图像块被划分成7个子图像块进行预测操作,当前待编码图像块也可以划分成更多的子图像块进行预测操作。对于每个子图像块,先进行预测操作,获得预测信号,然后根据预测信号获得子图像块的残差信号,进一步对残差信号进行变换、量化和熵编码。对于预测操作,每个子图像块可选的帧内预测方法有35种,包括Planar模式、DC模式以及33种角度预测模式。所有预测模式都使用相同的参考像素模板(由多个参考像素构成),图7为本申请一实施例提供的参考像素模板的示意图,如图7所示,P1,1,P2,1……PN,1……P1,N,P2,N……PN,N这些像素构成待编码的子图像块,例如:该待编码的子图像块可以是图6中的子图像块1。如图7所示,除了待编码的子图像块,其他参考像素R0,0,R1,0……R2N+1,0……R0,2N构成参考像素模板,假设该待编码的子图像块是图6中的子图像块1,这种情况下,这些参考像素中的一部分像素为参考重建图像块B的最后一行的像素,另一部分像素为参考重建图像块A的最右侧一列的像素。对于其他标准,这些参考像素中的一部分像素为参考重建图像块B包括的下方多行的像素,另一部分像素为参考重建图像块A包括的右侧多列的像素。即本申请对参考像素模板不做限制。
Planar模式
Planar模式适用于像素值缓慢变化的区域,图8A和图8B为本申请一实施例提供的Planar模式的示意图,如图8所示,使用水平和竖直方向的两个线性滤波器,分别得到两个预测值
Figure BDA0001360198780000111
Figure BDA0001360198780000112
并将
Figure BDA0001360198780000113
Figure BDA0001360198780000114
的平均值作为像素(x,y)的预测信号。
DC模式
DC模式适用于大面积平坦区域,当前待编码的子图像块的预测信号可由其左侧和上方的参考像素的平均值得到,如图7所示,待编码的子图像块中各个像素的预测信号可以通过R0,1,…,R0,N,R1,0,…,RN,0的平均值得到。
角度模式
H.265/HEVC规定了33种角度预测模式,以更好地适应视频内容中不同方向的纹理。图9为本申请一实施例提供的33种角度预测模式的具体方向示意图,如图9所示,33种角度预测模式分为水平类模式(2~17)和竖直类模式(18~34)。其中V0(模式26)和H0(模式10)分别表示竖直和水平方向,其余角度预测模式的预测方向都可以看作是在竖直或水平方向上做一个角度偏移。这里以竖直方向V0(26)为例说明角度预测过程,竖直方向预测是使用当前待编码的子图像块上方相邻的一行参考像素来预测当前待编码的子图像块,当前待编码的子图像块内每个像素的预测信号等于该像素所在列对应的参考像素的像素值,即Px,y=Ry,0。对于其他角度预测模式,会与水平或竖直方向有一个角度偏移,根据这个角度偏移可以计算参考像素的位置。该参考像素的位置可能是两个相邻参考像素之间的位置,若是这种情况,则需要在两个参考像素之间根据计算出来的位置插值得到一个参考像素。通过得到的参考像素生成预测信号。
需要说明的是,上述帧内预测方法同样适用于解码端,本申请在此不再赘述。
进一步地,本申请还涉及量化过程和反量化过程。
具体地,编码端涉及上述量化过程。其中,量化过程是指将信号的连续取值或者大量可能的离散取值映射为有限多个离散幅值的过程。在视频编码中,残差信号经过变换后的系数得到变换系数,该变换系数往往具有较大的动态范围,对变换系数进行量化可以有效地减小信号取值空间,进而获得更好的压缩效果。视频标准中常用的量化方法是标量量化,它将输入值域划分成等间距的区间,每个区间对应的输出值(即重建值)为该区间的中点,区间的长度称为量化步长。具体的量化过程是使用量化步长除以变换系数,然后相除得到的结果进行取整操作,得到量化系数。
解码端涉及上述反量化过程。其中,反量化过程是对量化系数乘以量化步长,得到重建的变换系数。在H.264,H.265标准中用量化参数(Quantization Parameter,QP)来决定量化步长,量化参数的取值范围是0到51,且量化参数每增加1,量化步长大约增大12.25%。
进一步地,本申请还涉及到图像下采样处理和图像上采样处理。
其中,图像下采样处理涉及三个方面的信息:1、下采样比例;2、下采样位置;3、下采样所使用的滤波器。
下采样比例是指原图像与下采样后的图像的比例,可以分别在水平方向和竖直方向来描述。例如可以对图像信号进行水平方向2:1下采样,竖直方向4:1下采样;或者水平方向不下采样,竖直方向2:1下采样;或者水平和竖直方向都进行2:1下采样等。
下采样位置是指下采样点与原采样点的位置关系,例如,下采样点的位置可以与部分原采样点位置一样,或者下采样点落在几个原采样点之间。
下采样滤波器可以是3-lobe Lanczos滤波器,Bilinear滤波器,Bicubic,Gauss滤波器等。
下面以分辨率为16*16的图像块(实际的图像会比这大很多,例如1920*1080)为例来说明下采样过程。图10为本申请一实施例提供的图像下采样示意图,假设水平方向和竖直方向的采样比例均为2:1,水平方向上,下采样点的位置落在两个原采样点的左侧原采样点位置,竖直方向上,下采样点落在两个原采样点的上方原采样点位置。如图10所示,框出来的圆圈表示下采样点的位置,下采样的滤波器如下:
Figure BDA0001360198780000121
该滤波器是简单的低通滤波器,该低通滤波器可以被看作是一个二维滤波器,也可以被看作是两个一维滤波器。如果当作一个二维滤波器,可以在一次滤波操作中同时完成水平和竖直方向上的下采样。如图10所示,对下采样点A进行下采样时,用到了邻近的8个原采样点(用三角形框起的圆圈),根据上面滤波器计算出该下采样点A的像素值。如果当作是两个一维滤波器,需要先完成水平或者竖直方向的下采样,再对已完成水平或者竖直方向下采样的结果进行竖直或水平方向下采样。如图10所示,对下采样点A进行下采样时,先利用下采样点A左右各一个原采样点进行水平下采样,然后对下采样后的结果利用下采样点A上下各一个原采样点进行竖直方向上的下采样,根据上述滤波器计算出下采样点A的像素值。采用相同的方法,对整个16*16的图像块进行下采样处理,最终下采样的结果如图10所示,各个下采样点的位置如框出来的圆圈所示,下采样点的像素值为通过滤波器操作后的数值。如图10所示,下采样后的图像块的分辨率为8*8。
通常编码端或者解码端需要对经过下采样后的图像进行上采样处理,目的是为了得到原分辨率的图像。上采样处理涉及三个方面的信息:1、上采样比例;2、上采样位置;3上采样所使用的滤波器。
上采样比例是指上采样前的图像与上采样后的图像的比例,可以分别在水平方向和竖直方向来描述。例如可以对上采样才的图像信号进行水平方向1:2上采样,竖直方向1:4上采样;或者水平方向不上采样,竖直方向1:2上采样;或者水平和竖直方向都进行1:2上采样等。
上采样位置是指上采样后的采样点与上采样前的采样点的位置关系,例如,图11为本申请一实施例提供的图像上采样示意图,如图11所示,在第一行,采用水平1:2上采样比例,上采样后的采样点的位置可以在上采样前的采样点的右侧,其中×表示上采样后的采样点位置,圆圈表示上采样前的采样点位置。在第二行,采用水平1:2上采样比例,上采样后的采样点的位置可以在上采样前的采样点的左侧,其中×表示上采样后的采样点位置,圆圈表示上采样前的采样点位置。需要说明的是,上采样后的采样点的位置应与上述下采样点的位置选取相对应,例如:在进行下采样时,选择下采样点的位置为它的左侧原采样点的位置,那么在进行上采样时,选择上采样后的采样点的位置为它的右侧上采样前的采样点(下采样点)的位置。
上采样滤波器可以是DCTIF滤波器,双线性插值滤波器,sinc滤波器等。下面以分辨率为8*8的图像块(即上述下采样后的图像块)为例来说明上采样过程。假设水平方向和竖直方向的上采样比例均为1:2,在水平方向上,上采样后的采样点的位置为右侧上采样前的采样点的位置,在竖直方向上,上采样后的采样点的位置为下方上采样前的采样点的位置,这里以水平方向和竖直方向分别上采样为例,以及以DCTIF滤波器为例来说明上采样处理过程。DCTIF滤波器为(-1,4,-11,40,40,-11,4,-1),假设当前要进行水平方向上采样,在图11中,假设需要***B3采样点,则采用如下公式确定B3的像素值:
B3=(-A0+4*A1-11*A2+40*A3+40*A4-11*A5+4*A6-A7)>>6
对于其他位置的插值采样点,例如B7,需要用到B7右边的四个像素,这些像素目前不可得,实际中一般会将A7重复4次,以用于计算B7的像素值。在竖直方向上的上采样与在水平方向上的上采样类似,在此不再赘述。也可以先进行竖直方向上的上采样,再进行水平方向上的上采样。图12为本申请一实施例提供的图像上采样示意图,如图12所示,×表示上采样后的采样点,圆圈表示上采样前的采样点。
现有技术中,编码端对整幅图像都采用下采样处理,然而,整幅图像包括的各个图像块的特性可能不同,例如,有些图像块可能较为平坦,编码端适合对其采用下采样处理;有些图像块可能细节比较多,这种情况下,下采样处理会损失掉这些细节。这将导致编码端的编码效果不佳。相应的,这将导致解码端得到的有些重建图像块比较模糊,即解码端得到的重建图像块效果不佳。
为了解决上述技术问题,本申请提供一种图像处理方法、设备及***。本申请基于图3和图5的编码示意图,如图3和图5所示,一幅图像包括的待编码图像块的编码方式可以是如图3所示的原分辨率编码方式或者是如图5所示的下采样编码方式。其中,原分辨率编码方式是指对当前待编码图像块直接进行编码操作。下采样编码方式是指对当前待编码图像块先进行下采样处理,然后对下采样后的当前待编码图像块进行编码操作。一般情况下,纹理图像块采用原分辨率编码方式,平滑图像块采用下采样编码方式。编码端需要标记每个待编码图像块使用的编码方式,并将该标记写入码流中。使得解码端,根据该标记对待重建图像块进行相应的操作。本申请的主旨思想在于:在解码端,待重建图像块的编码方式可以是原分辨率编码方式或者是下采样编码方式;根据待重建图像块的编码方式确定待重建图像块的QP,根据该QP重建待重建图像块。相应的,在编码端,待编码图像块的编码方式可以是原分辨率编码方式或者是下采样编码方式;根据待编码图像块的编码方式确定待编码图像块的QP,根据该QP进行编码。
图13为本申请一实施例提供的一种图像处理方法的流程图,如图13所示,该方法包括如下流程:
步骤S1301:解析码流,以获取当前区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待重建图像块的编码方式、当前待重建图像块的量化系数和当前待重建图像块的预测信号,其中,当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,当前待重建图像块为当前图像区域的一部分;
步骤S1302:根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,当前待重建图像块的量化参数为第一量化参数或第二量化参数;
步骤S1303:根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
针对步骤S1301进行详细说明:具体地,第一量化参数可以是在原分辨率编码方式下,视频级别的(序列级别的)、图像级别的或者图像片(Slice)级别的量化参数,其中,本发明实施例中的图像区域可以是图像也可以是图像片。以视频级别为例,同一视频中的各帧图像、以及各帧图像中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。以图像级别为例,同一图像中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。以图像片(Slice)级别为例,同一图像片(Slice)中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。同样的,第二量化参数可以是在下采样编码方式下,视频级别的(序列级别的)、图像级别的或者图像片(Slice)级别的量化参数。
可选地,若第一量化参数为视频级别的量化参数,则第二量化参数也为视频级别的量化参数。同样的,若第一量化参数为图像级别的量化参数,则第二量化参数也为图像级别的量化参数。若第一量化参数为图像片级别的量化参数,则第二量化参数也为图像片级别的量化参数。
其中,第一量化参数的取值范围可参考现有标准,例如在H.265中第一量化参数的取值范围是0~51。而第二量化参数一般小于第一量化参数。
第一量化参数和第二量化参数可以直接携带在编码端生成的码流中。
或者,
该码流包括:第一量化参数和当前图像区域的量化参数预测差值,可选地,该量化参数预测差值为编码端计算第一量化参数减去第二量化参数得到的差值;相应的,获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之差,得到第二量化参数。或者,该量化参数预测差值为编码端计算第二量化参数减去第一量化参数得到的差值;相应的,获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之和,得到第二量化参数。或者,该量化参数预测差值为直接从编码端的配置文件中获取到的量化参数预测差值。这种情况,解码端可以获取量化参数预测差值表示的意义,例如:量化参数预测差值表示的意义可以是第一量化参数减去第二量化参数得到的差值,则获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之差,得到第二量化参数。量化参数预测差值表示的意义可以是第二量化参数减去第一量化参数得到的差值,则获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之和,得到第二量化参数。由于量化参数预测差值的长度小于第二量化参数。因此,通过这种方式可以降低编码端的比特开销。
或者,该码流包括:第二量化参数和上述量化参数预测差值,通过第二量化参数和上述量化参数预测差值可以确定第一量化参数。其中,确定第一量化参数的方法与上述第二量化参数的方法类似,在此不再赘述。
当前待重建图像块的编码方式可以直接携带在码流中,其中,可以用某一个或者几个比特位表示当前待重建图像块的编码方式。例如:当用一个比特位表示当前待重建图像块的编码方式时,可以用0表示当前待重建图像块的编码方式为原分辨率编码方式,可以用1表示当前待重建图像块的编码方式为下采样编码方式。或者,可以用1表示当前待重建图像块的编码方式为原分辨率编码方式,可以用0表示当前待重建图像块的编码方式为下采样编码方式。
或者,可以通过码流中的其他参数信息推导得到当前待重建图像块的编码方式。
可选地,解码端通过当前待重建图像块的M个参考重建图像块对当前待重建图像块进行预测,得到当前待重建图像块的预测信号,M为大于或者等于1的正整数。例如:若当前待重建图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素;若当前待重建图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则从编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素,并对所述当前待重建图像块进行重建时所需的像素进行上采样处理,以得到当前待重建图像块的参考像素;若当前待重建图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素;若当前待重建图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素,对当前待重建图像块进行重建时所需的像素进行下采样处理,以得到当前待重建图像块的参考像素。最后,采用上述帧内预测方法通过当前待重建图像块的参考像素得到当前待重建图像块的预测信号。本申请对如何得到当前待重建图像块的预测信号不做限制。
针对步骤S1302进行详细说明:一种可选方式,若当前待重建图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待重建图像块的量化参数;若当前待重建图像块的编码方式为下采样编码方式,则将第二量化参数作为当前待重建图像块的量化参数。
另一种可选方式,若当前待重建图像块的编码方式为原分辨率编码方式,则对第一量化参数进行至少一次修正,将得到的修正结果作为当前待重建图像块的量化参数;若当前待重建图像块的编码方式为下采样编码方式,则对第二量化参数进行至少一次修正,将得到的修正结果作为当前待重建图像块的量化参数。
例如:计算第一量化参数与一个修正因子之差,将得到的修正结果作为当前待重建图像块的量化参数。该修正因子可以根据实际需要设置,例如可以是3。或者,计算第一量化参数与一个修正因子之积,将得到的修正结果作为当前待重建图像块的量化参数。该修正因子可以根据实际需要设置,例如可以是0.2。同样的,对于第二量化参数也可以参数相同的方法进行修正。
例如:预设固定缩放因子,解码端可以直接根据第一量化参数以及缩放因子确定第二量化参数。该缩放因子的取值范围是0至1,例如当水平和竖直方向都进行2:1下采样时,根据经验,该缩放因子在0.8左右,即第二量化参数是第一量化参数的0.8倍。若下采样缩放比例增大,例如水平方向进行2:1下采样,竖直方向不进行下采样,则缩放因子也随之增加,例如缩放因子可以是0.9。若下采样缩放比例减小,例如水平竖直方向都进行4:1下采样,则量化参数也随之减小,例如该缩放因子可以是0.6。
针对步骤S1303进行详细说明:可选地,可以对码流进行熵解码,得到当前待重建图像块的量化系数,采用现有技术的多种方法根据量化参数得到量化步长。对量化系数乘以量化步长,得到重建的变换系数。对该变换系数采用反变换方法,得到当前待重建图像块重建的残差信号。然后,将预测信号和上述重建的残差信号相加,得到当前待重建图像块的重建信号,最后,根据该重建信号得到当前待重建图像块对应的当前重建图像块。
需要说明的是,在本申请实施例中,都是以编码端包括变换操作,解码端包括反变换操作为例。实际上,编码端也可以不包括变换操作,相应的,解码端也不包括反变换操作。下面对此不再赘述。
可选地,若当前重建图像块的编码方式为下采样编码方式,则该方法还包括:基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素,对当前重建图像块进行上采样处理。具体可以参照上述的上采样处理方法,该基于当前重建图像块进行上采样处理时所需的相邻重建图像块和解码端进行上采样处理所使用的滤波器有关,例如,所需的相邻重建图像块可以是上边图像块,下边图像块,左边图像块和右边图像块;或者,所需的相邻重建图像块包括当前重建图像块的上边图像块,下边图像块,左边图像块,右边图像块,左上图像块,左下图像块,右上图像块和右下图像块。本申请对上采样处理过程不做限制。
综上,本申请考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,解码端可以根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,即该量化参数具有针对性,以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
图14为本申请另一实施例提供的一种图像处理方法的流程图,如图14所示,该方法包括如下流程:
步骤S1401:解析码流,以获取当前待重建图像块的量化参数预测差值、当前待重建图像块的量化系数、当前待重建图像块的编码方式和当前待重建图像块的预测信号,其中,编码方式为原分辨率编码方式或者下采样编码方式;
步骤S1402:根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值;
步骤S1403:根据当前待重建图像块的量化参数预测值和量化参数预测差值确定当前待重建图像块的量化参数;
步骤S1404:根据当前待重建图像块的量化参数、量化系数和预测信号重建当前待重建图像块,以得到当前重建图像块。
针对步骤S1401进行详细说明:具体地,其中量化参数预测差值可以是编码端根据当前待重建图像块对应的量化参数预测值与当前待重建图像块的量化参数得到的。例如:编码端计算当前待重建图像块的量化参数减去当前待重建图像块对应的量化参数预测值,得到量化参数预测差值。或者,编码端计算当前待重建图像块的量化参数减去当前待重建图像块对应的量化参数预测值,再对求差结果进行调整,最后得到量化参数预测差值。并将该量化参数预测差值携带至码流中。或者,编码端计算当前待重建图像块对应的量化参数预测值减去当前待重建图像块的量化参数,得到量化参数预测差值。或者,编码端计算当前待重建图像块对应的量化参数预测值减去当前待重建图像块的量化参数,再对求差结果进行调整,最后得到量化参数预测差值。并将该量化参数预测差值携带至码流中。或者,量化参数预测差值为直接从编码端的配置文件中获取到的量化参数预测差值。
需要强调的是,在上一实施例中,量化参数预测差值是当前图像区域对应的量化参数预测差值。而在本实施例中,量化参数预测差值是当前待重建图像块对应的量化参数预测差值。
当前待重建图像块的编码方式可以直接携带在码流中,其中,可以用某一个或者几个比特位表示当前待重建图像块的编码方式。例如:当用一个比特位表示当前待重建图像块的编码方式时,可以用0表示当前待重建图像块的编码方式为原分辨率编码方式,可以用1表示当前待重建图像块的编码方式为下采样编码方式。或者,可以用1表示当前待重建图像块的编码方式为原分辨率编码方式,可以用0表示当前待重建图像块的编码方式为下采样编码方式。
或者,可以通过码流中的其他参数信息推导得到当前待重建图像块的编码方式。
解码端通过当前待重建图像块的M个参考重建图像块对当前待重建图像块进行预测,得到当前待重建图像块的预测信号,M为大于或者等于1的正整数。例如:若当前待重建图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素;若当前待重建图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则从编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前待重建图像块进行重建时所需的像素,并对所述当前待重建图像块进行重建时所需的像素进行上采样处理,以得到当前待重建图像块的参考像素;若当前待重建图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待重建图像块的参考像素;若当前待重建图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待重建图像块进行重建时所需的像素,对当前待重建图像块进行重建时所需的像素进行下采样处理,以得到当前待重建图像块的参考像素。最后,采用上述帧内预测方法通过当前待重建图像块的参考像素得到当前待重建图像块的预测信号。本申请对如何得到当前待重建图像块的预测信号不做限制。
针对步骤S1402进行详细说明:可选方式一、直接根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数预测值。例如:若当前待重建图像块的编码方式为原分辨率编码方式,则确定当前待重建图像块的量化参数预测值为量化参数A。若当前待重建图像块的编码方式为下采样编码方式,则确定当前待重建图像块的量化参数预测值为量化参数B。
可选方式二、根据预设规则选择M个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,其中,M个重建图像块与当前待重建图像块属于同一个当前图像区域,M为正整数;根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值。
其中,该预设规则可以是按照解码顺序,选择当前待重建图像块的前一个重建图像块。或者,选择当前待重建图像块的上边重建图像块和左边重建图像块。或者,按照解码顺序,在预定范围内的重建图像块中选择与当前待重建图像块编码方式相同,且最接近的一个重建图像块。需要说明的是,本申请对预设规则不限于此。
特殊的,按照解码顺序,若当前待重建图像块为当前图像中的第一个图像块,即当前图像中不存在M个重建图像块,则当当前待重建图像块的编码方式为原分辨率编码方式时,获取当前图像区域在原分辨率编码方式下的第一量化参数,将第一量化参数作为当前待重建图像块的量化参数预测值。当当前待重建图像块的编码方式为下采样编码方式时,获取当前图像区域在下采样编码方式下的第二量化参数,将第二量化参数作为当前待重建图像块的量化参数预测值。
可选方式三、若当前待重建图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待重建图像块的量化参数预测值;若当前待重建图像块的编码方式为下采样编码方式,则将第二量化参数作为当前待重建图像块的量化参数预测值。其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为所述当前图像区域的一部分。
可选方式四、若当前待重建图像块的编码方式为原分辨率编码方式,则根据量化参数预测差值对第一量化参数进行修正,以获取当前待重建图像块的量化参数预测值;或者,若当前待重建图像块的编码方式为下采样编码方式,则根据量化参数预测差值对第二量化参数进行修正,以获取当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
针对方式二进行详细说明:
情况1:M个重建图像块为一个重建图像块,则根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若一个重建图像块的编码方式和当前待重建图像块的编码方式相同,则确定一个重建图像块的量化参数为当前待重建图像块的量化参数预测值;若一个重建图像块的编码方式和当前待重建图像块的编码方式不相同,则根据一个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
可选地,若所述一个重建图像块的编码方式为下采样编码方式,且当前待重建图像块的编码方式为原分辨率编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之和,得到量化参数预测值;若一个重建图像块的编码方式为原分辨率编码方式,且当前待重建图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之差,得到量化参数预测值。
或者,
若M个重建图像块的编码方式为下采样编码方式,且当前待重建图像块的编码方式为原分辨率编码方式,则令第一量化参数减去第二量化参数得到量化差值,再修正该量化差值,如给量化差值乘以调整因子等,计算一个重建图像块的量化参数与修正后的量化差值之和,得到量化参数预测值;若一个重建图像块的编码方式为原分辨率编码方式,且当前待重建图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,再修正该量化差值,计算一个重建图像块的量化参数与修正后的量化差值之差,得到量化参数预测值。
具体地,若一个重建图像块的编码方式和当前待重建图像块的编码方式相同,则表示可以直接使用一个重建图像块的量化参数作为所述量化参数预测值。若一个重建图像块的编码方式为下采样编码方式,且当前待重建图像块的编码方式为原分辨率编码方式,则表示需要在一个重建图像块的量化参数的基础上增加一个数值,以得到所述量化参数预测值。若一个重建图像块的编码方式为原分辨率编码方式,且当前待重建图像块的编码方式为下采样编码方式,则表示需要在一个重建图像块的量化参数的基础上减去一个数值,以得到所述量化参数预测值。
可选地,所述一个重建图像块为按照解码顺序,当前待重建图像块的前一个重建图像块。例如:在H.265标准中,假设解码顺序为从上至下,从左至右,并且当前待重建图像块为非左边界图像块,则当前待重建图像块的前一个重建图像块位于当前待重建图像块的左侧,且与当前待重建图像块相邻。假设解码顺序为从上至下,从左至右,并且当前待重建图像块为左边界图像块,则当前待重建图像块的前一个重建图像块为当前待重建图像块的上一行中最右侧的重建图像块。
情况2:M大于1,根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:若M个重建图像块的编码方式和当前待重建图像块的编码方式相同,则确定M个重建图像块的量化参数的平均值为当前待重建图像块的量化参数预测值;若一个重建图像块的编码方式和当前待重建图像块的编码方式不相同,则根据M个重建图像块的编码方式、当前待重建图像块的编码方式、第一量化参数和第二量化参数确定当前待重建图像块的量化参数预测值;其中,第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;第二量化参数是通过解析码流所获取到的当前图像区域在下采样编码方式下的量化参数;当前待重建图像块为当前图像区域的一部分。
可选地,若M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且当前待重建图像块的编码方式为原分辨率编码方式,则根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,该平均值为当前待重建图像块的量化参数预测值。若M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且当前待重建图像块的编码方式为下采样编码方式,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,则根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,平均值为当前待重建图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。或者,令第二量化参数减去第一量化参数得到量化差值,计算编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。
基于此,可选地,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值包括:确定M个重建图像块中所有(或者部分)编码方式为原分辨率编码方式的重建图像块的修正后的量化参数和M个重建图像块中所有(或者部分)编码方式为下采样编码方式的重建图像块的量化参数的平均值为当前待重建图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。或者,令第二量化参数减去第一量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之和,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
基于此,可选地,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,包括:确定M个重建图像块中所有(或者部分)编码方式为下采样编码方式的重建图像块的修正后的量化参数和M个重建图像块中所有(或者部分)编码方式为原分辨率编码方式的重建图像块的量化参数的平均值为当前待重建图像块的量化参数预测值。
可选地,M个重建图像块包括当前待重建图像块的上边重建图像块和左边重建图像块。
具体地,假设M等于2,M个重建图像块为当前待重建图像块的上边重建图像块和左边重建图像块,并且当前待重建图像块的编码方式和所述上边重建图像块、所述左边重建图像块的编码方式都是原分辨率编码方式或者下采样编码方式,则计算所述上边重建图像块的量化参数和所述左边重建图像块的量化参数的平均值,得到当前待重建图像块的量化参数预测值。假设当前待重建图像块和所述上边重建图像块的编码方式均为原分辨率编码方式,所述左边重建图像块的编码方式是下采样编码方式,则计算第一量化参数和第二量化参数的量化差值,计算左边重建图像块的量化参数与量化差值之和,得到左边重建图像块的修正后的量化参数,接着计算上边重建图像块的量化参数和左边重建图像块的修正后的量化参数的平均值,得到当前待重建图像块的量化参数预测值。假设当前待重建图像块和所述上边重建图像块的编码方式均为下采样编码方式,所述左边重建图像块的编码方式是原分辨率编码方式,则计算第一量化参数和第二量化参数的量化差值,计算左边重建图像块的量化参数与量化差值之差,得到左边重建图像块的修正后的量化参数,接着计算上边重建图像块的量化参数和左边重建图像块的修正后的量化参数的平均值,得到当前待重建图像块的量化参数预测值。
需要说明的是,通常采用情况2的方式确定当前待重建图像块的量化参数预测值,当当前待重建图像块不存在左边重建图像块或者上边重建图像块时,可以采用情况1的方式确定当前待重建图像块的量化参数预测值。
情况3:M个重建图像块为一个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,包括:在预定范围内的重建图像块中查找与当前待重建图像块的编码方式相同的一个重建图像块;其中,该预定范围是当前图像区域中的一个预定范围,可选地,预定范围可以限定在当前待重建图像块前的多少个重建图像块中选定一个重建图像块;或者,预定范围可以限定在slice中选定一个重建图像块。查找到重建图像块之后,获取一个重建图像块的量化参数;相应的,根据当前待重建图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待重建图像块的量化参数预测值,包括:将所述一个重建图像块的量化参数作为当前待重建图像块的量化参数预测值。
可选地,一个重建图像块为按照解码顺序,所述预定范围内的重建图像块中与当前待重建图像块最接近的一个重建图像块。
其中,在当前图像区域包括的预定范围内的重建图像块中查找与当前待重建图像块的编码方式相同的一个重建图像块,包括如下两种可选方式:
方式一,按照解码顺序,确定当前待重建图像块的前一个重建图像块的编码方式,若当前待重建图像块的编码方式与所述前一个重建图像块的编码方式相同,则将前一个重建图像块的量化参数作为当前待重建图像块的量化参数预测值。若当前待重建图像块的编码方式与所述前一个重建图像块的编码方式不相同,则确定所述前一个重建图像块的前一个重建图像块的编码方式,若当前待重建图像块的编码方式与所述前一个重建图像块的前一个重建图像块的编码方式相同,则将所述前一个重建图像块的前一个重建图像块的量化参数作为当前待重建图像块的量化参数预测值。否则,继续按照前述方法,直到查找到与当前待重建图像块的编码方式相同的重建图像块,将该重建图像块的量化参数作为当前待重建图像块的量化参数预测值。其中,在查找与当前待重建图像块的编码方式相同的一个重建图像块时,一般不跨slice进行查找,即在当前待重建图像块所处的slice内进行查找。
方式二,给变量
Figure BDA0001360198780000191
赋最新的下采样编码方式的重建图像块的量化参数,给
Figure BDA0001360198780000192
赋最新的原分辨率编码方式的重建图像块的量化参数。例如:按照解码顺序,第一个重建图像块的编码方式为原分辨率编码方式,则将第一个重建图像块的量化参数赋值给
Figure BDA0001360198780000201
第二个重建图像块的编码方式为下采样编码方式,则将第二个重建图像块的量化参数赋值给
Figure BDA0001360198780000202
第三个重建图像块的编码方式为原分辨率编码方式,则将第三个重建图像块的量化参数赋值给
Figure BDA0001360198780000203
以此类推,使得变量
Figure BDA0001360198780000204
的赋值是最新的下采样编码方式的重建图像块的量化参数,
Figure BDA0001360198780000205
的赋值是最新的原分辨率编码方式的重建图像块的量化参数。若当前待重建图像块的编码方式为原分辨率编码方式,则
Figure BDA0001360198780000206
对应的量化参数作为当前待重建图像块的量化参数预测值。若当前待重建图像块的编码方式为下采样编码方式,则
Figure BDA0001360198780000207
对应的量化参数作为当前待重建图像块的量化参数预测值。
针对上述可选方式四进行详细说明:其中,根据量化参数预测差值对第一量化参数进行修正,以获取当前待重建图像块的量化参数预测值,包括:令第一量化参数减去量化参数预测差值得到当前待重建图像块的量化参数预测值。或者,令第一量化参数减去量化参数预测差值,再对求差结果进行修正得到当前待重建图像块的量化参数预测值。同样的,根据量化参数预测差值对第二量化参数进行修正,以获取当前待重建图像块的量化参数预测值,包括:令第二量化参数减去量化参数预测差值得到当前待重建图像块的量化参数预测值。或者,令第二量化参数减去量化参数预测差值,再对求差结果进行修正得到当前待重建图像块的量化参数预测值。
针对步骤S1403进行详细说明:可选地,解码端预先和编码端协商计算量化参数预测值的方法,基于此,解码端可以根据量化参数预测值的方法,来反算当前待重建图像块的量化参数。例如:若编码端计算当前待重建图像块的量化参数与当前待重建图像块对应的量化参数预测值之差,得到量化参数预测差值。则解码端可以将当前待重建图像块的量化参数预测值和量化参数预测差值求和得到当前待重建图像块的量化参数。若编码端计算当前待重建图像块的量化参数与当前待重建图像块对应的量化参数预测值之差,再对求差结果和一个调整因子相乘,最后得到量化参数预测差值。则解码端可以先计算量化参数预测差值与调整因子的商,得到求商结果。然后可以将当前待重建图像块的量化参数预测值和求商结果求和得到当前待重建图像块的量化参数。
可选地,解码端也可以不预先和编码端协商计算量化参数预测值的方法,而是将该方法携带在码流中,或者是编码端先解码端发送消息,该消息携带该方法。
其中,步骤S1404和步骤S1303相同,对应内容和效果在此不再赘述。
可选地,步骤S1404之后还包括:生成当前待编码图像块的重建信号,并根据重建信号重建所述当前待编码图像块,得到当前重建图像块;若当前重建图像块的编码方式为下采样编码方式,则基于当前重建图像块进行上采样处理时所需的相邻重建图像块的像素,对当前重建图像块进行上采样处理。对当前重建图像块进行上采样处理。具体可以参照上述的上采样处理方法,该基于当前重建图像块进行上采样处理时所需的相邻重建图像块和解码端进行上采样处理所使用的滤波器有关,例如,所需的相邻重建图像块可以是上边图像块,下边图像块,左边图像块和右边图像块;或者,所需的相邻重建图像块包括当前重建图像块的上边图像块,下边图像块,左边图像块,右边图像块,左上图像块,左下图像块,右上图像块和右下图像块。本申请对上采样处理过程不做限制。
综上,本申请考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,解码端可以根据当前待重建图像块的编码方式确定当前待重建图像块的量化参数,即该量化参数具有针对性,以重建当前待重建图像块。从而使得解码端得到的重建图像块效果更佳。
图15为本申请再一实施例提供的一种图像处理方法的流程图,如图15所示,该方法包括如下流程:
步骤S1501:获取当前图像区域在原分辨率编码方式下的第一量化参数、当前图像区域在下采样编码方式下的第二量化参数、当前图像区域的当前待编码图像块的编码方式、当前待编码图像块的编码信号和当前待编码图像块的预测信号;
步骤S1502:根据当前待编码图像块的编码方式确定当前待编码图像块的量化参数;当前待重建图像块的量化参数为第一量化参数或第二量化参数;或者,当前待重建图像块的量化参数为对第一量化参数进行修正后的量化参数或对第二量化参数进行修正后的量化参数。
步骤S1503:根据预测信号和编码信号生成当前待编码图像块的残差信号;
步骤S1504:根据当前待重建图像块的量化参数对残差信号进行编码。
针对步骤S1501进行详细说明:具体地,第一量化参数可以是在原分辨率编码方式下,视频级别的(序列级别的)、图像级别的或者图像片(Slice)级别的量化参数,其中,本发明实施例中的图像区域可以是图像也可以是图像片。以视频级别为例,同一视频中的各帧图像、以及各帧图像中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。以图像级别为例,同一图像中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。以图像片(Slice)级别为例,同一图像片(Slice)中的各个图像块只要采用原分辨率编码方式,则都可以使用第一量化参数。同样的,第二量化参数可以是在下采样编码方式下,视频级别的(序列级别的)、图像级别的或者图像片(Slice)级别的量化参数。
可选地,若第一量化参数为视频级别的量化参数,则第二量化参数也为视频级别的量化参数。同样的,若第一量化参数为图像级别的量化参数,则第二量化参数也为图像级别的量化参数。若第一量化参数为图像片级别的量化参数,则第二量化参数也为图像片级别的量化参数。
其中,第一量化参数的取值范围可参考现有标准,例如在H.265中第一量化参数的取值范围是0~51。而第二量化参数一般小于第一量化参数。
可选地,获取第一量化参数和第二量化参数包括:直接从编码端的配置文件中获取第一量化参数和第二量化参数。
或者,直接从编码端的配置文件中获取第一量化参数以及当前图像区域的量化参数预测差值,其中,量化参数预测差值表示的意义可以是第一量化参数减去第二量化参数得到的差值,则获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之差,得到第二量化参数。量化参数预测差值表示的意义也可以是第二量化参数减去第一量化参数得到的差值,则获取当前图像区域在下采样编码方式下的第二量化参数,包括:计算第一量化参数和量化参数预测差值之和,得到第二量化参数。
或者,直接从编码端的配置文件中获取第二量化参数以及当前图像区域的量化参数预测差值,其中,量化参数预测差值表示的意义和上述量化参数预测差值表示的意义相同,根据第二量化参数和量化参数预测差值可以确定第一量化参数,具体确定第一量化参数的方法与确定第二量化参数的方法类似,在此不再赘述。
当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当当前待编码图像块的编码方式是原分辨率编码方式时,编码信号为当前待编码图像块的原始信号,当当前待编码图像块的编码方式是下采样编码方式时,编码信号为当前待编码图像块的原始信号经过下采样处理后得到的信号。
获取当前待编码图像块的编码方式,包括如下几种可选方式:
可选方式一:直接获取当前待编码图像块的编码方式。即当前待编码图像块的编码方式已经被确定。
可选方式二:根据第一量化参数确定当前待编码图像块采用原分辨率编码方式时的第一编码代价;根据第二量化参数确定当前待编码图像块采用下采样编码方式时的第二编码代价;将第一编码代价和第二编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
可选地,编码端可以采用率失真优化(Rate Distortion Optimization,RDO)方法计算当前编码图像块的编码代价。RDO方法是一种提升视频压缩性能的最优化方法。其原理是对视频的有损(画面质量)与比特率(编码所需的数据量)同时进行最优化,以求达到一个最佳的平衡点。虽然此算法一开始是在视频压缩的编码器中被使用,但也可以用于各种多媒体编码包含视频、视频、音频等等,只要编码时会同时考虑到质量及文件大小皆可使用。
可选地,通过RDO方法计算编码代价的过程为:假设当前待编码图像块采用原分辨率编码方式,则在得到当前待编码图像块的量化系数之后,编码端需要根据第一量化参数对当前待编码图像块的量化系数进行反量化,得到变换系数,再对变换系数进行反变换,得到重建的残差信号,将重建的残差信号与当前待编码图像块对应的预测信号相加,得到当前待编码图像块的重建信号,根据该重建信号得到当前重建图像块。计算当前重建图像块与待编码图像块的误差,误差越小,则表示第一编码代价越小。其中计算当前重建图像块与待编码图像块的误差,包括:对当前重建图像块的每个像素与待编码图像块中对应的像素求差,得到对应差值,对当前重建图像块的所有差值求加权平均值,最终得到当前重建图像块与待编码图像块的误差。
假设当前待编码图像块采用下采样编码方式,则在得到当前待编码图像块的量化系数之后,编码端需要根据第二量化参数对当前待编码图像块的量化系数进行反量化,得到变换系数,再对变换系数进行反变换,得到重建的残差信号,将重建的残差信号与当前待编码图像块对应的预测信号相加,得到当前待编码图像块的重建信号,根据该重建信号得到当前重建图像块。计算当前重建图像块与待编码图像块的误差,误差越小,则表示第二编码代价越小。其中计算当前重建图像块与待编码图像块的误差,包括:对当前重建图像块的每个像素与待编码图像块中对应的像素求差,得到对应差值,对当前重建图像块的所有差值求加权平均值,最终得到当前重建图像块与待编码图像块的误差。
可选地,假设量化参数和编码代价直接具有固定的映射关系,则可以直接根据第一量化参数确定当前待编码图像块采用原分辨率编码方式时的第一编码代价;直接根据第二量化参数确定当前待编码图像块采用下采样编码方式时的第二编码代价;将第一编码代价和第二编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
基于此,本申请中,待编码图像块采用的编码方式为编码代价最小的编码方式,从而降低编码端的编码复杂度,进而提高编码端的编码效率。
可选方式三:对第一量化参数进行至少一次修正,得到至少一个第三量化参数;并对第二量化参数进行至少一次修正,得到至少一个第四量化参数;根据每个第三量化参数确定当前待编码图像块采用原分辨率编码方式时的第三编码代价;并根据每个第四量化参数确定当前待编码图像块采用下采样编码方式时的第四编码代价;将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
例如:对第一量化参数进行两次修正,包括:对第一量化参数进行第一次修正,得到的第三量化参数为第一量化参数减去3,对第一量化参数进行第二次修正,得到的第三量化参数为第一量化参数减去6。对第二量化参数进行两次修正,包括:对第二量化参数进行第一次修正,得到的第四量化参数为第二量化参数减去3,对第二量化参数进行第二次修正,得到的第四量化参数为第二量化参数减去6。然后可以采用如同上述类似的方法确定所有第三编码代价和所有第四编码代价,将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为当前待编码图像块的编码方式。
进一步地,编码端通过当前待编码图像块的M个参考重建图像块对当前待编码图像块进行预测,得到当前待编码图像块的预测信号,M为大于或者等于1的正整数。例如:若当前待编码图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则在编码方式为原分辨率编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素;若当前待编码图像块的编码方式为原分辨率编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则从编码方式为下采样编码方式的参考重建图像块的像素中获取对所述当前待编码图像块进行重建时所需的像素,并对所述当前待编码图像块进行重建时所需的像素进行上采样处理,以得到当前待编码图像块的参考像素;若当前待编码图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为下采样编码方式的参考重建图像块,则在编码方式为下采样编码方式的参考重建图像块的像素中确定当前待编码图像块的参考像素;若当前待编码图像块的编码方式为下采样编码方式,且M个参考重建图像块包括编码方式为原分辨率编码方式的参考重建图像块,则从编码方式为原分辨率编码方式的参考重建图像块的像素中获取对当前待编码图像块进行重建时所需的像素,对当前待编码图像块进行重建时所需的像素进行下采样处理,以得到当前待编码图像块的参考像素。最后,采用上述帧内预测方法通过当前待编码图像块的参考像素得到当前待编码图像块的预测信号。本申请对如何得到当前待编码图像块的预测信号不做限制。
针对步骤S1503进行详细说明:计算当前待编码图像块的编码信号和预测信号之差得到当前待编码图像块的残差信号。本申请对如何计算当前待编码图像块的残差信号不做限制。
针对步骤S1504进行详细说明:对残差信号进行变换和量化操作。经过变换量化后,得到量化系数。本申请对如何对残差信号进行编码不做限制。其中,在一些实施例中,也可以是对残差信号直接进行量化操作,从而得到量化系数,也就是说不对残差信号进行变换操作,例如在变换跳过模式(Transform skip mode)下就不需要对残差信号进行变换操作。
基于上述获取编码方式的第二种可选方式,针对步骤S1502进行详细说明:若当前待编码图像块的编码方式为原分辨率编码方式,则确定当前待编码图像块的量化参数为第一量化参数;若当前待编码图像块的编码方式为所述下采样编码方式,则确定当前待编码图像块的量化参数为第二量化参数。
进一步地,图像处理方法还包括:生成码流,该码流包括:第一量化参数、第二量化参数和当前待重建图像块的编码方式;或者,码流包括:第一量化参数、当前图像区域的量化参数预测差值,和,当前待重建图像块的编码方式;其中,对当前待编码图像块的量化系数采用熵编码技术得到所述码流。
基于上述获取编码方式的第三种可选方式,针对步骤S1502进行详细说明:若当前待编码图像块的编码方式为原分辨率编码方式,则确定至少一个第三量化参数中的一个为当前待编码图像块的量化参数;当前待编码图像块的编码方式为所述下采样编码方式,则确定至少一个第四量化参数中的一个为当前待编码图像块的量化参数。
可选地,若当前待编码图像块的编码方式为原分辨率编码方式,则在所有第三编码代价中选择最小的第三编码代价对应的第三量化参数作为当前待编码图像块的量化参数。若当前待编码图像块的编码方式为下采样编码方式,则在所有第四编码代价中选择最小的第四编码代价对应的第四量化参数作为当前待编码图像块的量化参数。
进一步地,图像处理方法还包括:获取当前待编码图像块的量化参数预测值;根据量化参数预测值和当前待编码图像块的量化参数计算当前待编码图像块的量化参数预测差值;生成码流,其中,码流包括:当前待编码图像块的编码方式和当前待编码图像块的量化参数预测差值。
其中,编码端计算当前待重建图像块的量化参数减去当前待重建图像块对应的量化参数预测值,得到量化参数预测差值。或者,编码端计算当前待重建图像块的量化参数减去当前待重建图像块对应的量化参数预测值,再对求差结果进行调整,最后得到量化参数预测差值。并将该量化参数预测差值携带至码流中。或者,编码端计算当前待重建图像块对应的量化参数预测值减去当前待重建图像块的量化参数,得到量化参数预测差值。或者,编码端计算当前待重建图像块对应的量化参数预测值减去当前待重建图像块的量化参数,再对求差结果进行调整,最后得到量化参数预测差值。或者,量化参数预测差值为直接从编码端的配置文件中获取到的量化参数预测差值。
其中,获取当前待编码图像块的量化参数预测值,包括如下几种可选方式:
一种可选方式,直接根据当前待编码图像块的编码方式确定当前待编码图像块的量化参数预测值。例如:若当前待编码图像块的编码方式为原分辨率编码方式,则确定当前待编码图像块的量化参数预测值为量化参数A。若当前待编码图像块的编码方式为下采样编码方式,则确定当前待编码图像块的量化参数预测值为量化参数B。
可选方式二、根据预设规则选择M个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,其中,M个重建图像块与当前待编码图像块属于同一个当前图像区域,M为正整数;根据当前待编码图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待编码图像块的量化参数预测值。
其中,该预设规则可以是按照编码顺序,选择当前待编码图像块的前一个重建图像块。或者,选择当前待编码图像块的上边重建图像块和左边重建图像块。或者,按照编码顺序,在预定范围内的重建图像块中选择与当前待编码图像块编码方式相同,且最接近的一个重建图像块。需要说明的是,本申请对预设规则不限于此。
特殊的,按照编码顺序,若当前待编码图像块为当前图像中的第一个图像块,即当前图像中不存在M个重建图像块,则当当前待编码图像块的编码方式为原分辨率编码方式时,获取当前图像区域在原分辨率编码方式下的第一量化参数,将第一量化参数作为当前待编码图像块的量化参数预测值。当当前待编码图像块的编码方式为下采样编码方式时,获取当前图像区域在下采样编码方式下的第二量化参数,将第二量化参数作为当前待编码图像块的量化参数预测值。
可选方式三,若当前待编码图像块的编码方式为原分辨率编码方式,则将第一量化参数作为当前待编码图像块的量化参数预测值;若当前待编码图像块的编码方式为下采样编码方式,则将第二量化参数作为当前待编码图像块的量化参数预测值。
针对方式二进行详细说明:
情况1:M个重建图像块为一个重建图像块,则根据当前待编码图像块的编码方式、M个重建图像块的量化参数和编码方式确定当前待编码图像块的量化参数预测值,包括:若一个重建图像块的编码方式和当前待编码图像块的编码方式相同,则确定一个重建图像块的量化参数为当前待编码图像块的量化参数预测值;若一个重建图像块的编码方式和当前待编码图像块的编码方式不相同,则根据一个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定当前待编码图像块的量化参数预测值。
可选地,若一个重建图像块的编码方式为下采样编码方式,且当前待编码图像块的编码方式为原分辨率编码方式,则令第一量化参数减去所述第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之和,得到量化参数预测值;若一个重建图像块的编码方式为原分辨率编码方式,且当前待编码图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,计算一个重建图像块的量化参数与量化差值之差,得到量化参数预测值。
或者,
若M个重建图像块的编码方式为下采样编码方式,且当前待编码图像块的编码方式为原分辨率编码方式,则令第一量化参数减去第二量化参数得到量化差值,再修正该量化差值,如给量化差值乘以调整因子等,计算一个重建图像块的量化参数与修正后的量化差值之和,得到量化参数预测值;若一个重建图像块的编码方式为原分辨率编码方式,且当前待编码图像块的编码方式为下采样编码方式,则令第一量化参数减去第二量化参数得到量化差值,再修正该量化差值,计算一个重建图像块的量化参数与修正后的量化差值之差,得到量化参数预测值。
具体地,若一个重建图像块的编码方式和当前待编码图像块的编码方式相同,则表示可以直接使用一个重建图像块的量化参数作为量化参数预测值。若一个重建图像块的编码方式为下采样编码方式,且当前待编码图像块的编码方式为原分辨率编码方式,则表示需要在一个重建图像块的量化参数的基础上增加一个数值,以得到所述量化参数预测值。若一个重建图像块的编码方式为原分辨率编码方式,且当前待编码图像块的编码方式为下采样编码方式,则表示需要在一个重建图像块的量化参数的基础上减去一个数值,以得到所述量化参数预测值。
可选地,一个重建图像块为按照编码顺序,当前待编码图像块的前一个重建图像块。例如:在H.265标准中,假设编码顺序为从上至下,从左至右,并且当前待编码图像块为非左边界图像块,则当前待编码图像块的前一个重建图像块位于当前待编码图像块的左侧,且与当前待编码图像块相邻。假设编码顺序为从上至下,从左至右,并且当前待编码图像块为左边界图像块,则当前待编码图像块的前一个重建图像块为当前待编码图像块的上一行中最右侧的重建图像块。
情况2:M大于1,根据当前待编码图像块的编码方式、M个重建图像块的量化参数和M个重建图像块的编码方式确定当前待编码图像块的量化参数预测值,包括:若M个重建图像块的编码方式和当前待编码图像块的编码方式相同,则确定M个重建图像块的量化参数的平均值为当前待编码图像块的量化参数预测值;若一个重建图像块的编码方式和当前待重建图像块的编码方式不相同,则根据M个重建图像块的编码方式、当前待编码图像块的编码方式、第一量化参数和第二量化参数确定当前待编码图像块的量化参数预测值。
可选地,若M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且当前待编码图像块的编码方式为原分辨率编码方式,则根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,该平均值为当前待编码图像块的量化参数预测值。若M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且当前待编码图像块的编码方式为下采样编码方式,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,则根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,平均值为当前待编码图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和编码方式为下采样编码方式的重建图像块的量化参数,计算编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为下采样编码编码方式的重建图像块的量化参数与所述量化差值之和,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。或者,令第二量化参数减去第一量化参数得到量化差值,计算编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为下采样编码方式的重建图像块的修正后的量化参数。
基于此,可选地,根据编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值包括:确定M个重建图像块中所有(或者部分)编码方式为原分辨率编码方式的重建图像块的修正后的量化参数和M个重建图像块中所有(或者部分)编码方式为下采样编码方式的重建图像块的量化参数的平均值为当前待编码图像块的量化参数预测值。
可选地,根据第一量化参数、第二量化参数和编码方式为原分辨率编码方式的重建图像块的量化参数,计算编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:令第一量化参数减去第二量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。或者,令第二量化参数减去第一量化参数得到量化差值,计算编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之和,以得到编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
基于此,可选地,根据编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定M个重建图像块的量化参数的平均值,包括:确定M个重建图像块中所有(或者部分)编码方式为下采样编码方式的重建图像块的修正后的量化参数和M个重建图像块中所有(或者部分)编码方式为原分辨率编码方式的重建图像块的量化参数的平均值为当前待编码图像块的量化参数预测值。
可选地,M个重建图像块包括当前待编码图像块的上边重建图像块和左边重建图像块。
具体地,假设M等于2,M个重建图像块为当前待编码图像块的上边重建图像块和左边重建图像块,并且当前待编码图像块的编码方式和所述上边重建图像块、所述左边重建图像块的编码方式都是原分辨率编码方式或者下采样编码方式,则计算所述上边重建图像块的量化参数和所述左边重建图像块的量化参数的平均值,得到当前待编码图像块的量化参数预测值。假设当前待编码图像块和所述上边重建图像块的编码方式均为原分辨率编码方式,所述左边重建图像块的编码方式是下采样编码方式,则计算第一量化参数和第二量化参数的量化差值,计算左边重建图像块的量化参数与量化差值之和,得到左边重建图像块的修正后的量化参数,接着计算上边重建图像块的量化参数和左边重建图像块的修正后的量化参数的平均值,得到当前待编码图像块的量化参数预测值。假设当前待编码图像块和所述上边重建图像块的编码方式均为下采样编码方式,所述左边重建图像块的编码方式是原分辨率编码方式,则计算第一量化参数和第二量化参数的量化差值,计算左边重建图像块的量化参数与量化差值之差,得到左边重建图像块的修正后的量化参数,接着计算上边重建图像块的量化参数和左边重建图像块的修正后的量化参数的平均值,得到当前待编码图像块的量化参数预测值。
需要说明的是,通常采用情况2的方式确定当前待编码图像块的量化参数预测值,当当前待编码图像块不存在左边重建图像块或者上边重建图像块时,可以采用情况1的方式确定当前待编码图像块的量化参数预测值。
情况3:M个重建图像块为一个重建图像块,获取M个重建图像块中每个重建图像块的量化参数和M个重建图像块的编码方式,包括:在预定范围内的重建图像块中查找与当前待编码图像块的编码方式相同的一个重建图像块;其中,该预定范围是当前图像区域中的一个预定范围,可选地,预定范围可以限定在当前待编码图像块前的多少个重建图像块中选定一个重建图像块;或者,预定范围可以限定在slice中选定一个重建图像块。查找到重建图像块之后,获取一个重建图像块的量化参数;相应的,根据当前待重建图像块的编码方式、M个重建图像块的量化参数和编码方式确定当前待编码图像块的量化参数预测值,包括:将一个重建图像块的量化参数作为当前待编码图像块的量化参数预测值。
可选地,所述一个重建图像块为按照编码顺序,预定范围内的重建图像块中与当前待重建图像块最接近的一个重建图像块。
具体地,按照编码顺序,确定当前待编码图像块的前一个重建图像块的编码方式,若当前待编码图像块的编码方式与所述前一个重建图像块的编码方式相同,则将前一个重建图像块的量化参数作为当前待编码图像块的量化参数预测值。若当前待编码图像块的编码方式与所述前一个重建图像块的编码方式不相同,则确定所述前一个重建图像块的前一个重建图像块的编码方式,若当前待编码图像块的编码方式与所述前一个重建图像块的前一个重建图像块的编码方式相同,则将所述前一个重建图像块的前一个重建图像块的量化参数作为当前待编码图像块的量化参数预测值。否则,继续按照前述方法,直到查找到与当前待编码图像块的编码方式相同的重建图像块,将该重建图像块的量化参数作为当前待编码图像块的量化参数预测值。其中,在查找与当前待编码图像块的编码方式相同的一个重建图像块时,一般不跨slice进行查找,即在当前待编码图像块所处的slice内进行查找。
或者,给变量
Figure BDA0001360198780000261
赋最新的下采样编码方式的重建图像块的量化参数,给
Figure BDA0001360198780000262
赋最新的原分辨率编码方式的重建图像块的量化参数。例如:按照解码顺序,第一个重建图像块的编码方式为原分辨率编码方式,则将第一个重建图像块的量化参数赋值给
Figure BDA0001360198780000263
第二个重建图像块的编码方式为下采样编码方式,则将第二个重建图像块的量化参数赋值给
Figure BDA0001360198780000264
第三个重建图像块的编码方式为原分辨率编码方式,则将第三个重建图像块的量化参数赋值给
Figure BDA0001360198780000265
以此类推,使得变量
Figure BDA0001360198780000266
的赋值是最新的下采样编码方式的重建图像块的量化参数,
Figure BDA0001360198780000267
的赋值是最新的原分辨率编码方式的重建图像块的量化参数。若当前待重建图像块的编码方式为原分辨率编码方式,则
Figure BDA0001360198780000271
对应的量化参数作为当前待编码图像块的量化参数预测值。若当前待重建图像块的编码方式为下采样编码方式,则
Figure BDA0001360198780000272
对应的量化参数作为当前待编码图像块的量化参数预测值。
综上,本申请考虑到图像块具有各自的特性,编码端对它们所采用的编码方式也不尽相同,基于此,基于此,编码端可以根据当前待重建图像块的编码方式确定当前待编码图像块的量化参数,即该量化参数具有针对性,以对当前待编码图像块进行编码。从而使得编码端的编码效果更佳。
图16为本申请一实施例提供的一种图像处理设备的结构示意图,如图16所示,该设备包括:解析模块1601,用于解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待重建图像块的编码方式、所述当前待重建图像块的量化系数和所述当前待重建图像块的预测信号,其中,所述当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,所述当前待重建图像块为所述当前图像区域的一部分。
确定模块1602,用于根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数,所述当前待重建图像块的量化参数为所述第一量化参数或所述第二量化参数。
重建模块1603,用于根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块。
可选地,码流包括:所述第一量化参数和所述第二量化参数;或者,所述码流包括:所述第一量化参数,和,所述当前图像区域的量化参数预测差值,相应的,所述解析模块1601具体用于:根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
可选地,确定模块1602具体用于:若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将所述第一量化参数作为所述当前待重建图像块的量化参数;或者,若所述当前待重建图像块的编码方式为所述下采样编码方式,则将所述第二量化参数作为所述当前待重建图像块的量化参数。
本申请提供的图像处理设备可以执行上述图13对应的图像处理方法以及该方法的可选方式,其实现原理和技术效果类似,此处不再赘述。
图17为本申请另一实施例提供的一种图像处理设备的结构示意图,如图17所示,该设备包括:解析模块1701,用于解析码流,以获取当前待重建图像块的量化参数预测差值、所述当前待重建图像块的量化系数、所述当前待重建图像块的编码方式和所述当前待重建图像块的预测信号,其中,所述编码方式为原分辨率编码方式或者下采样编码方式.
第一确定模块1702,用于根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值。
第二确定模块1703,用于根据所述当前待重建图像块的所述量化参数预测值和所述量化参数预测差值确定所述当前待重建图像块的量化参数。
重建模块1704,用于根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块。
可选地,第一确定模块1702具体用于:根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待重建图像块属于同一个当前图像区域,所述M为正整数;根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值。
可选地,M个重建图像块为一个重建图像块,则所述第一确定模块1702具体用于:若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待重建图像块的量化参数预测值;或者,若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
可选地,第一确定模块1702具体用于:若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待重建图像块的编码方式为原分辨率编码方式,令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待重建图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
可选地,一个重建图像块为按照解码顺序,所述当前待重建图像块的前一个重建图像块。
可选地,M大于1,所述第一确定模块1702具体用于:若所述M个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待重建图像块的量化参数预测值;或者,若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
可选地,所述第一确定模块1702具体用于:若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待重建图像块的编码方式为原分辨率编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值;或者,若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待重建图像块的编码方式为下采样编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值。
可选地,所述第一确定模块1702具体用于:令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
可选地,所述第一确定模块1702具体用于:令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
可选地,所述M个重建图像块包括所述当前待重建图像块的上边重建图像块和左边重建图像块。
可选地,所述M个重建图像块为一个重建图像块;所述第一确定模块1702具体用于:在预定范围内的重建图像块中查找与所述当前待重建图像块的编码方式相同的一个重建图像块;获取所述一个重建图像块的量化参数;将所述一个重建图像块的量化参数作为所述当前待重建图像块的量化参数预测值。
可选地,所述一个重建图像块为按照解码顺序,所述预定范围内的重建图像块中与所述当前待重建图像块最接近的一个重建图像块。
可选地,所述第一确定模块1702具体用于:若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待重建图像块的量化参数预测值;若所述当前待重建图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
可选地,所述第一确定模块1702具体用于:若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则根据所述量化参数预测差值对第一量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;或者,若所述当前待重建图像块的编码方式为所述下采样编码方式,则根据所述量化参数预测差值对第二量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
本申请提供的图像处理设备可以执行上述图14对应的图像处理方法以及该方法的可选方式,其实现原理和技术效果类似,此处不再赘述。
图18为本申请再一实施例提供的一种图像处理设备的结构示意图,如图18所示,该设备包括:第一获取模块1801,用于获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待编码图像块的编码方式、所述当前待编码图像块的编码信号和所述当前待编码图像块的预测信号;其中,所述当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当所述当前待编码图像块的编码方式是所述原分辨率编码方式时,所述编码信号为所述当前待编码图像块的原始信号,当所述当前待编码图像块的编码方式是所述下采样编码方式时,所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号。
确定模块1802,用于根据所述当前待重建图像块的编码方式确定所述当前待编码图像块的量化参数,所述当前待重建图像块的量化参数为所述第一量化参数或所述第二量化参数;或者,所述当前待重建图像块的量化参数为对所述第一量化参数进行修正后的量化参数或对所述第二量化参数进行修正后的量化参数。
生成模块1803,用于根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号。
编码模块1804,用于根据所述当前待重建图像块的量化参数对所述残差信号进行编码。
可选地,第一获取模块1801具体用于:获取所述当前图像区域的量化参数预测差值;根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
可选地,所述第一获取模块1801具体用于:根据所述第一量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第一编码代价;根据所述第二量化参数确定所述当前待编码图像块采用下采样编码方式时的第二编码代价;将所述第一编码代价和所述第二编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
可选地,确定模块1802具体用于:若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则确定所述当前待编码图像块的量化参数为所述第一量化参数;若所述当前待编码图像块的编码方式为所述下采样编码方式,则确定所述当前待编码图像块的量化参数为所述第二量化参数。
可选地,所述生成模块1803,还用于生成码流,所述码流包括:所述第一量化参数、所述第二量化参数和所述当前待重建图像块的编码方式;或者,所述码流包括:所述第一量化参数、所述当前图像区域的量化参数预测差值和所述当前待重建图像块的编码方式。
可选地,所述第一获取模块1801具体用于:对所述第一量化参数进行至少一次修正,得到至少一个第三量化参数;并对所述第二量化参数进行至少一次修正,得到至少一个第四量化参数;根据每个第三量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第三编码代价;并根据每个第四量化参数确定所述当前待编码图像块采用下采样编码方式时的第四编码代价;将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
可选地,确定模块1802具体用于:若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则在所述至少一个第三量化参数中确定编码代价最小的一个第三量化参数为所述当前待编码图像块的量化参数;若所述当前待编码图像块的编码方式为所述下采样编码方式,则在所述至少一个第四量化参数中确定编码代价最小的一个第四量化参数为当前待编码图像块的量化参数。
可选地,还包括:第二获取模块1805和计算模块1806;所述第二获取模块1805,用于获取所述当前待编码图像块的量化参数预测值;所述计算模块1806,用于根据所述量化参数预测值和所述当前待编码图像块的量化参数计算所述当前待编码图像块的量化参数预测差值;所述生成模块1803,还用于生成码流,其中,所述码流包括:所述当前待编码图像块的编码方式和所述当前待编码图像块的所述量化参数预测差值。
可选地,所述第二获取模块1805具体用于:根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待编码图像块属于同一个当前图像区域,所述M为正整数;根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待编码图像块的量化参数预测值。
可选地,所述M个重建图像块为一个重建图像块,则所述第二获取模块1805具体用于:若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待编码图像块的量化参数预测值;或者,若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
可选地,所述第二获取模块1805具体用于:若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待编码图像块的编码方式为原分辨率编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待编码图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
可选地,一个重建图像块为按照编码顺序,所述当前待编码图像块的前一个重建图像块。
可选地,M大于1,所述第二获取模块1805具体用于:若所述M个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待编码图像块的量化参数预测值;或者,若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
可选地,第二获取模块1805具体用于:若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待编码图像块的编码方式为原分辨率编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值;或者,若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待编码图像块的编码方式为下采样编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值。
可选地,所述第二获取模块1805具体用于:令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
可选地,所述第二获取模块1805具体用于:令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
可选地,所述M个重建图像块包括所述当前待编码图像块的上边重建图像块和左边重建图像块。
可选地,所述M个重建图像块为一个重建图像块;所述第二获取模块1805具体用于:在预定范围内的重建图像块中查找与所述当前待编码图像块的编码方式相同的一个重建图像块;获取所述一个重建图像块的量化参数和所述一个重建图像块的编码方式;将所述一个重建图像块的量化参数作为所述当前待编码图像块的量化参数预测值。
可选地,所述一个重建图像块为按照编码顺序,所述预定范围内的重建图像块中与所述当前待重建图像块最接近的一个重建图像块。
可选地,所述第二获取模块1805具体用于:获取所述当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数;若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待编码图像块的量化参数预测值;若所述当前待编码图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待编码图像块的量化参数预测值。
本申请提供的图像处理设备可以执行上述图15对应的图像处理方法以及该方法的可选方式,其实现原理和技术效果类似,此处不再赘述。
图19为本申请提供的一种图像处理***的结构示意图,如图19所示,该***包括:用于执行图13所示方法的图像处理设备1901,以及用于执行图15所示方法的图像处理设备1902。
图20为本申请提供的一种图像处理***的结构示意图,如图20所示,该***包括:用于执行图14所示方法的图像处理设备2001,以及用于执行图15所示方法的图像处理设备2002。
本申请提供一种图像处理设备,该设备包括:处理器和用于存储所述处理器的可执行指令的存储器;其中该处理器可以执行图13对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似,此处不再赘述。
本申请提供一种图像处理设备,该设备包括:处理器和用于存储所述处理器的可执行指令的存储器;其中该处理器可以执行图14对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似,此处不再赘述。
本申请提供一种图像处理设备,该设备包括:处理器和用于存储所述处理器的可执行指令的存储器;其中该处理器可以执行图15对应的图像处理方法以及该方法的可选方式。其实现原理和技术效果类似,此处不再赘述。

Claims (76)

1.一种图像处理方法,其特征在于,包括:
解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待重建图像块的编码方式、所述当前待重建图像块的量化系数和所述当前待重建图像块的预测信号,其中,所述当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,所述当前待重建图像块为所述当前图像区域的一部分;
根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数,所述当前待重建图像块的量化参数为所述第一量化参数或所述第二量化参数;
根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块。
2.根据权利要求1所述的方法,其特征在于,所述码流包括:所述第一量化参数和所述第二量化参数;
或者,所述码流包括:所述第一量化参数,和,所述当前图像区域的量化参数预测差值,相应的,所述获取所述当前图像区域在下采样编码方式下的第二量化参数,包括:
根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数,包括:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将所述第一量化参数作为所述当前待重建图像块的量化参数;或者,
若所述当前待重建图像块的编码方式为所述下采样编码方式,则将所述第二量化参数作为所述当前待重建图像块的量化参数。
4.一种图像处理方法,其特征在于,包括:
解析码流,以获取当前待重建图像块的量化参数预测差值、所述当前待重建图像块的量化系数、所述当前待重建图像块的编码方式和所述当前待重建图像块的预测信号,其中,所述编码方式为原分辨率编码方式或者下采样编码方式;
根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值;
根据所述当前待重建图像块的所述量化参数预测值和所述量化参数预测差值确定所述当前待重建图像块的量化参数;
根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块;
所述量化参数预测差值为基于所述当前待重建图像块对应的量化参数预测值与所述当前待重建图像块的量化参数所得。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值,包括:
根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待重建图像块属于同一个当前图像区域,所述M为正整数;
根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值。
6.根据权利要求5所述的方法,其特征在于,所述M个重建图像块为一个重建图像块,则所述根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值,包括:
若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待重建图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
7.根据权利要求6所述的方法,其特征在于,所述根据所述一个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值,包括:
若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待重建图像块的编码方式为原分辨率编码方式,令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,
若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待重建图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
8.根据权利要求6或7所述的方法,其特征在于,所述一个重建图像块为按照解码顺序,所述当前待重建图像块的前一个重建图像块。
9.根据权利要求5所述的方法,其特征在于,M大于1,所述根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值,包括:
若所述M个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待重建图像块的量化参数预测值;或者,
若一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
10.根据权利要求9所述的方法,其特征在于,所述根据所述M个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值,包括:
若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待重建图像块的编码方式为原分辨率编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值;或者,
若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待重建图像块的编码方式为下采样编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
12.根据权利要求10或11所述的方法,其特征在于,所述根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
13.根据权利要求9至11任一项所述的方法,其特征在于,所述M个重建图像块包括所述当前待重建图像块的上边重建图像块和左边重建图像块。
14.根据权利要求5所述的方法,其特征在于,所述M个重建图像块为一个重建图像块;所述获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,包括:
在预定范围内的重建图像块中查找与所述当前待重建图像块的编码方式相同的一个重建图像块;
获取所述一个重建图像块的量化参数;
相应的,所述根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和编码方式确定所述当前待重建图像块的量化参数预测值,包括:
将所述一个重建图像块的量化参数作为所述当前待重建图像块的量化参数预测值。
15.根据权利要求14所述的方法,其特征在于,所述一个重建图像块为按照解码顺序,所述预定范围内的重建图像块中与所述当前待重建图像块最接近的一个重建图像块。
16.根据权利要求4所述的方法,其特征在于,所述根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值,包括:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待重建图像块的量化参数预测值;
若所述当前待重建图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待重建图像块的量化参数预测值;
其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
17.根据权利要求4所述的方法,其特征在于,所述根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值,包括:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则根据所述量化参数预测差值对第一量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;或者,
若所述当前待重建图像块的编码方式为所述下采样编码方式,则根据所述量化参数预测差值对第二量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;
其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
18.一种图像处理方法,其特征在于,包括:
获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待编码图像块的编码方式、所述当前待编码图像块的编码信号和所述当前待编码图像块的预测信号;其中,所述当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当所述当前待编码图像块的编码方式是所述原分辨率编码方式时,所述编码信号为所述当前待编码图像块的原始信号,当所述当前待编码图像块的编码方式是所述下采样编码方式时,所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号;
根据所述当前待编码图像块的编码方式确定所述当前待编码图像块的量化参数,所述当前待编码图像块的量化参数为所述第一量化参数或所述第二量化参数;或者,所述当前待编码图像块的量化参数为对所述第一量化参数进行修正后的量化参数或对所述第二量化参数进行修正后的量化参数;
根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号;
根据所述当前待编码图像块的量化参数对所述残差信号进行编码。
19.根据权利要求18所述的方法,其特征在于,所述获取所述当前图像区域在下采样编码方式下的第二量化参数,包括:
获取所述当前图像区域的量化参数预测差值;
根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
20.根据权利要求18或19所述的方法,其特征在于,所述获取当前待编码图像块的编码方式,包括:
根据所述第一量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第一编码代价;
根据所述第二量化参数确定所述当前待编码图像块采用下采样编码方式时的第二编码代价;
将所述第一编码代价和所述第二编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
21.根据权利要求20所述的方法,其特征在于,所述根据所述当前待编码图像块的编码方式确定所述当前待编码图像块的量化参数,包括:
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则确定所述当前待编码图像块的量化参数为所述第一量化参数;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则确定所述当前待编码图像块的量化参数为所述第二量化参数。
22.根据权利要求18、19、21任一项所述的方法,其特征在于,还包括:
生成码流,所述码流包括:所述第一量化参数、所述第二量化参数和所述当前待编码图像块的编码方式;或者,
所述码流包括:所述第一量化参数、所述当前图像区域的量化参数预测差值和所述当前待编码图像块的编码方式。
23.根据权利要求18所述的方法,其特征在于,所述获取当前待编码图像块的编码方式,包括:
对所述第一量化参数进行至少一次修正,得到至少一个第三量化参数;并对所述第二量化参数进行至少一次修正,得到至少一个第四量化参数;
根据每个第三量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第三编码代价;并根据每个第四量化参数确定所述当前待编码图像块采用下采样编码方式时的第四编码代价;
将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
24.根据权利要求23所述的方法,其特征在于,所述根据所述当前待编码图像块的编码方式确定所述当前待编码图像块的量化参数,包括:
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则在所述至少一个第三量化参数中确定编码代价最小的一个第三量化参数为所述当前待编码图像块的量化参数;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则在所述至少一个第四量化参数中确定编码代价最小的一个第四量化参数为当前待编码图像块的量化参数。
25.根据权利要求24所述的方法,其特征在于,还包括:
获取所述当前待编码图像块的量化参数预测值;
根据所述量化参数预测值和所述当前待编码图像块的量化参数计算所述当前待编码图像块的量化参数预测差值;
生成码流,其中,所述码流包括:所述当前待编码图像块的编码方式和所述当前待编码图像块的所述量化参数预测差值。
26.根据权利要求25所述的方法,其特征在于,所述获取所述当前待编码图像块的量化参数预测值,包括:
根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待编码图像块属于同一个当前图像区域,所述M为正整数;
根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待编码图像块的量化参数预测值。
27.根据权利要求26所述的方法,其特征在于,所述M个重建图像块为一个重建图像块,则所述根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待编码图像块的量化参数预测值,包括:
若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待编码图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
28.根据权利要求27所述的方法,其特征在于,所述根据所述一个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值,包括:
若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待编码图像块的编码方式为原分辨率编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,
若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待编码图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
29.根据权利要求28所述的方法,其特征在于,所述一个重建图像块为按照编码顺序,所述当前待编码图像块的前一个重建图像块。
30.根据权利要求26所述的方法,其特征在于,M大于1,所述根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待编码图像块的量化参数预测值,包括:
若所述M个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待编码图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
31.根据权利要求30所述的方法,其特征在于,所述根据所述M个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值,包括:
若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待编码图像块的编码方式为原分辨率编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值;或者,
若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待编码图像块的编码方式为下采样编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值。
32.根据权利要求31所述的方法,其特征在于,所述根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,包括:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
33.根据权利要求31或32所述的方法,其特征在于,所述根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,包括:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
34.根据权利要求30至32任一项所述的方法,其特征在于,所述M个重建图像块包括所述当前待编码图像块的上边重建图像块和左边重建图像块。
35.根据权利要求26所述的方法,其特征在于,所述M个重建图像块为一个重建图像块;所述获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,包括:
在预定范围内的重建图像块中查找与所述当前待编码图像块的编码方式相同的一个重建图像块;
获取所述一个重建图像块的量化参数和所述一个重建图像块的编码方式;
相应的,所述根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和编码方式确定所述当前待编码图像块的量化参数预测值,包括:
将所述一个重建图像块的量化参数作为所述当前待编码图像块的量化参数预测值。
36.根据权利要求35所述的方法,其特征在于,所述一个重建图像块为按照编码顺序,所述预定范围内的重建图像块中与所述当前待编码图像块最接近的一个重建图像块。
37.根据权利要求25所述的方法,其特征在于,所述获取当前待编码图像块的量化参数预测值,包括:
获取所述当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数;
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待编码图像块的量化参数预测值;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待编码图像块的量化参数预测值。
38.一种图像处理设备,其特征在于,包括:
解析模块,用于解析码流,以获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待重建图像块的编码方式、所述当前待重建图像块的量化系数和所述当前待重建图像块的预测信号,其中,所述当前待重建图像块的编码方式为原分辨率编码方式或者下采样编码方式,所述当前待重建图像块为所述当前图像区域的一部分;
确定模块,用于根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数,所述当前待重建图像块的量化参数为所述第一量化参数或所述第二量化参数;
重建模块,用于根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块。
39.根据权利要求38所述的设备,其特征在于,所述码流包括:所述第一量化参数和所述第二量化参数;
或者,所述码流包括:所述第一量化参数,和,所述当前图像区域的量化参数预测差值,相应的,所述解析模块具体用于:
根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
40.根据权利要求38或39所述的设备,其特征在于,所述确定模块具体用于:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将所述第一量化参数作为所述当前待重建图像块的量化参数;或者,
若所述当前待重建图像块的编码方式为所述下采样编码方式,则将所述第二量化参数作为所述当前待重建图像块的量化参数。
41.一种图像处理设备,其特征在于,包括:
解析模块,用于解析码流,以获取当前待重建图像块的量化参数预测差值、所述当前待重建图像块的量化系数、所述当前待重建图像块的编码方式和所述当前待重建图像块的预测信号,其中,所述编码方式为原分辨率编码方式或者下采样编码方式;
第一确定模块,用于根据所述当前待重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值;
第二确定模块,用于根据所述当前待重建图像块的所述量化参数预测值和所述量化参数预测差值确定所述当前待重建图像块的量化参数;
重建模块,用于根据所述当前待重建图像块的量化参数、所述量化系数和所述预测信号重建所述当前待重建图像块,以得到当前重建图像块;
所述量化参数预测差值为基于所述当前待重建图像块对应的量化参数预测值与所述当前待重建图像块的量化参数所得。
42.根据权利要求41所述的设备,其特征在于,所述第一确定模块具体用于:
根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待重建图像块属于同一个当前图像区域,所述M为正整数;
根据所述当前待重建图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待重建图像块的量化参数预测值。
43.根据权利要求42所述的设备,其特征在于,所述M个重建图像块为一个重建图像块,则所述第一确定模块具体用于:
若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待重建图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
44.根据权利要求43所述的设备,其特征在于,所述第一确定模块具体用于:
若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待重建图像块的编码方式为原分辨率编码方式,令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,
若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待重建图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
45.根据权利要求43或44所述的设备,其特征在于,所述一个重建图像块为按照解码顺序,所述当前待重建图像块的前一个重建图像块。
46.根据权利要求42所述的设备,其特征在于,M大于1,所述第一确定模块具体用于:
若所述M个重建图像块的编码方式和所述当前待重建图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待重建图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待重建图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待重建图像块的编码方式、第一量化参数和第二量化参数确定所述当前待重建图像块的量化参数预测值;其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
47.根据权利要求46所述的设备,其特征在于,所述第一确定模块具体用于:
若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待重建图像块的编码方式为原分辨率编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值;或者,
若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待重建图像块的编码方式为下采样编码方式,根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待重建图像块的量化参数预测值。
48.根据权利要求47所述的设备,其特征在于,所述第一确定模块具体用于:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
49.根据权利要求47或48所述的设备,其特征在于,所述第一确定模块具体用于:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
50.根据权利要求47或48所述的设备,其特征在于,所述M个重建图像块包括所述当前待重建图像块的上边重建图像块和左边重建图像块。
51.根据权利要求42所述的设备,其特征在于,所述M个重建图像块为一个重建图像块;所述第一确定模块具体用于:
在预定范围内的重建图像块中查找与所述当前待重建图像块的编码方式相同的一个重建图像块;
获取所述一个重建图像块的量化参数;
将所述一个重建图像块的量化参数作为所述当前待重建图像块的量化参数预测值。
52.根据权利要求51所述的设备,其特征在于,所述一个重建图像块为按照解码顺序,所述预定范围内的重建图像块中与所述当前待重建图像块最接近的一个重建图像块。
53.根据权利要求41所述的设备,其特征在于,所述第一确定模块具体用于:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待重建图像块的量化参数预测值;
若所述当前待重建图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待重建图像块的量化参数预测值;
其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
54.根据权利要求41所述的设备,其特征在于,所述第一确定模块具体用于:
若所述当前待重建图像块的编码方式为所述原分辨率编码方式,则根据所述量化参数预测差值对第一量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;或者,
若所述当前待重建图像块的编码方式为所述下采样编码方式,则根据所述量化参数预测差值对第二量化参数进行修正,以获取所述当前待重建图像块的量化参数预测值;
其中,所述第一量化参数是通过解析码流所获取到的当前图像区域在原分辨率编码方式下的量化参数;所述第二量化参数是通过解析码流所获取到的所述当前图像区域在下采样编码方式下的量化参数;所述当前待重建图像块为所述当前图像区域的一部分。
55.一种图像处理设备,其特征在于,包括:
第一获取模块,用于获取当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数、所述当前图像区域的当前待编码图像块的编码方式、所述当前待编码图像块的编码信号和所述当前待编码图像块的预测信号;其中,所述当前待编码图像块的编码方式为原分辨率编码方式或者下采样编码方式;当所述当前待编码图像块的编码方式是所述原分辨率编码方式时,所述编码信号为所述当前待编码图像块的原始信号,当所述当前待编码图像块的编码方式是所述下采样编码方式时,所述编码信号为所述当前待编码图像块的原始信号经过下采样处理后得到的信号;
确定模块,用于根据所述当前待编码图像块的编码方式确定所述当前待编码图像块的量化参数,所述当前待编码图像块的量化参数为所述第一量化参数或所述第二量化参数;或者,所述当前待编码图像块的量化参数为对所述第一量化参数进行修正后的量化参数或对所述第二量化参数进行修正后的量化参数;
生成模块,用于根据所述预测信号和所述编码信号生成所述当前待编码图像块的残差信号;
编码模块,用于根据所述当前待编码图像块的量化参数对所述残差信号进行编码。
56.根据权利要求55所述的设备,其特征在于,所述第一获取模块具体用于:
获取所述当前图像区域的量化参数预测差值;
根据所述第一量化参数和所述量化参数预测差值计算所述第二量化参数。
57.根据权利要求55或56所述的设备,其特征在于,所述第一获取模块具体用于:
根据所述第一量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第一编码代价;
根据所述第二量化参数确定所述当前待编码图像块采用下采样编码方式时的第二编码代价;
将所述第一编码代价和所述第二编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
58.根据权利要求57所述的设备,其特征在于,所述确定模块具体用于:
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则确定所述当前待编码图像块的量化参数为所述第一量化参数;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则确定所述当前待编码图像块的量化参数为所述第二量化参数。
59.根据权利要求55、56、58任一项所述的设备,其特征在于,
所述生成模块,还用于生成码流,所述码流包括:所述第一量化参数、所述第二量化参数和所述当前待编码图像块的编码方式;或者,
所述码流包括:所述第一量化参数、所述当前图像区域的量化参数预测差值和所述当前待编码图像块的编码方式。
60.根据权利要求55所述的设备,其特征在于,所述第一获取模块具体用于:
对所述第一量化参数进行至少一次修正,得到至少一个第三量化参数;并对所述第二量化参数进行至少一次修正,得到至少一个第四量化参数;
根据每个第三量化参数确定所述当前待编码图像块采用原分辨率编码方式时的第三编码代价;并根据每个第四量化参数确定所述当前待编码图像块采用下采样编码方式时的第四编码代价;
将所有第三编码代价和所有第四编码代价中最小的编码代价对应的编码方式作为所述当前待编码图像块的编码方式。
61.根据权利要求60所述的设备,其特征在于,所述确定模块具体用于:
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则在所述至少一个第三量化参数中确定编码代价最小的一个第三量化参数为所述当前待编码图像块的量化参数;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则在所述至少一个第四量化参数中确定编码代价最小的一个第四量化参数为当前待编码图像块的量化参数。
62.根据权利要求61所述的设备,其特征在于,还包括:第二获取模块和计算模块;
所述第二获取模块,用于获取所述当前待编码图像块的量化参数预测值;
所述计算模块,用于根据所述量化参数预测值和所述当前待编码图像块的量化参数计算所述当前待编码图像块的量化参数预测差值;
所述生成模块,还用于生成码流,其中,所述码流包括:所述当前待编码图像块的编码方式和所述当前待编码图像块的所述量化参数预测差值。
63.根据权利要求62所述的设备,其特征在于,所述第二获取模块具体用于:
根据预设规则选择M个重建图像块,获取所述M个重建图像块中每个重建图像块的量化参数和所述M个重建图像块的编码方式,其中,所述M个重建图像块与所述当前待编码图像块属于同一个当前图像区域,所述M为正整数;
根据所述当前待编码图像块的编码方式、所述M个重建图像块的量化参数和所述M个重建图像块的编码方式确定所述当前待编码图像块的量化参数预测值。
64.根据权利要求63所述的设备,其特征在于,所述M个重建图像块为一个重建图像块,则所述第二获取模块具体用于:
若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述一个重建图像块的量化参数为所述当前待编码图像块的量化参数预测值;或者,
若所述一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述一个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
65.根据权利要求64所述的设备,其特征在于,所述第二获取模块具体用于:
若所述一个重建图像块的编码方式为下采样编码方式,且所述当前待编码图像块的编码方式为原分辨率编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之和,得到所述量化参数预测值;或者,
若所述一个重建图像块的编码方式为原分辨率编码方式,且所述当前待编码图像块的编码方式为下采样编码方式,则令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述一个重建图像块的量化参数与所述量化差值之差,得到所述量化参数预测值。
66.根据权利要求65所述的设备,其特征在于,所述一个重建图像块为按照编码顺序,所述当前待编码图像块的前一个重建图像块。
67.根据权利要求63所述的设备,其特征在于,M大于1,所述第二获取模块具体用于:
若所述M个重建图像块的编码方式和所述当前待编码图像块的编码方式相同,则确定所述M个重建图像块的量化参数的平均值为所述当前待编码图像块的量化参数预测值;或者,
若一个重建图像块的编码方式和所述当前待编码图像块的编码方式不相同,则根据所述M个重建图像块的编码方式、所述当前待编码图像块的编码方式、所述第一量化参数和所述第二量化参数确定所述当前待编码图像块的量化参数预测值。
68.根据权利要求67所述的设备,其特征在于,所述第二获取模块具体用于:
若所述M个重建图像块中包括编码方式为下采样编码方式的重建图像块,且所述当前待编码图像块的编码方式为原分辨率编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为下采样编码方式的重建图像块的量化参数,计算所述编码方式为下采样编码方式的重建图像块的修正后的量化参数,根据所述编码方式为下采样编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值;或者,
若所述M个重建图像块中包括编码方式为原分辨率编码方式的重建图像块,且所述当前待编码图像块的编码方式为下采样编码方式,则根据所述第一量化参数、所述第二量化参数和所述编码方式为原分辨率编码方式的重建图像块的量化参数,计算所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数,根据所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数确定所述M个重建图像块的量化参数的平均值,所述平均值为所述当前待编码图像块的量化参数预测值。
69.根据权利要求68所述的设备,其特征在于,所述第二获取模块具体用于:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为下采样编码方式的重建图像块的量化参数与所述量化差值之和,以得到所述编码方式为下采样编码方式的重建图像块的修正后的量化参数。
70.根据权利要求68或69所述的设备,其特征在于,所述第二获取模块具体用于:
令所述第一量化参数减去所述第二量化参数得到量化差值,计算所述编码方式为原分辨率编码方式的重建图像块的量化参数与所述量化差值之差,以得到所述编码方式为原分辨率编码方式的重建图像块的修正后的量化参数。
71.根据权利要求67至69任一项所述的设备,其特征在于,所述M个重建图像块包括所述当前待编码图像块的上边重建图像块和左边重建图像块。
72.根据权利要求63所述的设备,其特征在于,所述M个重建图像块为一个重建图像块;所述第二获取模块具体用于:
在预定范围内的重建图像块中查找与所述当前待编码图像块的编码方式相同的一个重建图像块;
获取所述一个重建图像块的量化参数和所述一个重建图像块的编码方式;
将所述一个重建图像块的量化参数作为所述当前待编码图像块的量化参数预测值。
73.根据权利要求72所述的设备,其特征在于,所述一个重建图像块为按照编码顺序,所述预定范围内的重建图像块中与所述当前待编码图像块最接近的一个重建图像块。
74.根据权利要求62所述的设备,其特征在于,所述第二获取模块具体用于:
获取所述当前图像区域在原分辨率编码方式下的第一量化参数、所述当前图像区域在下采样编码方式下的第二量化参数;
若所述当前待编码图像块的编码方式为所述原分辨率编码方式,则将第一量化参数作为所述当前待编码图像块的量化参数预测值;
若所述当前待编码图像块的编码方式为所述下采样编码方式,则将第二量化参数作为所述当前待编码图像块的量化参数预测值。
75.一种图像处理***,其特征在于,包括:如权利要求38至40任一项所述的图像处理设备,以及如权利要求55至74任一项所述的图像处理设备。
76.一种图像处理***,其特征在于,包括:如权利要求41至54任一项所述的图像处理设备,以及如权利要求55至74任一项所述的图像处理设备。
CN201710614141.6A 2017-07-25 2017-07-25 图像处理方法、设备及*** Active CN109302608B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201710614141.6A CN109302608B (zh) 2017-07-25 2017-07-25 图像处理方法、设备及***
EP18838975.3A EP3648462B1 (en) 2017-07-25 2018-04-03 Image processing method and device
KR1020207004379A KR20200026998A (ko) 2017-07-25 2018-04-03 이미지 처리 방법, 디바이스, 및 시스템
JP2020503884A JP6910532B2 (ja) 2017-07-25 2018-04-03 画像処理方法、デバイス、及びシステム
PCT/CN2018/081661 WO2019019690A1 (zh) 2017-07-25 2018-04-03 图像处理方法、设备及***
TW107116648A TWI681670B (zh) 2017-07-25 2018-05-16 影像處理方法、設備及系統
US16/752,259 US11259031B2 (en) 2017-07-25 2020-01-24 Image processing method, device, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710614141.6A CN109302608B (zh) 2017-07-25 2017-07-25 图像处理方法、设备及***

Publications (2)

Publication Number Publication Date
CN109302608A CN109302608A (zh) 2019-02-01
CN109302608B true CN109302608B (zh) 2021-06-22

Family

ID=65039400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710614141.6A Active CN109302608B (zh) 2017-07-25 2017-07-25 图像处理方法、设备及***

Country Status (7)

Country Link
US (1) US11259031B2 (zh)
EP (1) EP3648462B1 (zh)
JP (1) JP6910532B2 (zh)
KR (1) KR20200026998A (zh)
CN (1) CN109302608B (zh)
TW (1) TWI681670B (zh)
WO (1) WO2019019690A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665067B (zh) * 2018-05-29 2020-05-29 北京大学 用于深度神经网络频繁传输的压缩方法及***
CN113678453B (zh) 2019-04-12 2024-05-14 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文确定
WO2020211807A1 (en) 2019-04-16 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Matrix derivation in intra coding mode
CN113728647B (zh) 2019-05-01 2023-09-05 北京字节跳动网络技术有限公司 基于矩阵的帧内预测的上下文编码
JP2022531147A (ja) 2019-05-01 2022-07-06 北京字節跳動網絡技術有限公司 フィルタリングを用いた行列ベースイントラ予測
KR20220011127A (ko) * 2019-05-22 2022-01-27 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 업샘플링을 이용한 행렬 기반 인트라 예측
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
CN117768652A (zh) 2019-06-05 2024-03-26 北京字节跳动网络技术有限公司 视频处理方法、装置、介质、以及存储比特流的方法
CN112135136B (zh) * 2019-06-24 2022-09-30 无锡祥生医疗科技股份有限公司 超声远程医疗发送方法、装置和接收方法、装置及***
CN110536134B (zh) * 2019-09-27 2022-11-04 腾讯科技(深圳)有限公司 视频编码、解码方法和装置、存储介质及电子装置
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
CN111314697B (zh) * 2020-02-25 2021-10-15 中南大学 一种针对光字符识别的码率设置方法、设备及存储介质
US20220201307A1 (en) 2020-12-23 2022-06-23 Tencent America LLC Method and apparatus for video coding
WO2023184088A1 (zh) * 2022-03-28 2023-10-05 Oppo广东移动通信有限公司 图像处理方法、装置、设备、***、及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6343098B1 (en) * 1998-02-26 2002-01-29 Lucent Technologies Inc. Efficient rate control for multi-resolution video encoding
CN101222627A (zh) * 2007-01-09 2008-07-16 华为技术有限公司 一种多视点视频编解码***以及预测向量的方法和装置
CN101252687B (zh) * 2008-03-20 2010-06-02 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20110002391A1 (en) 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
US20110038416A1 (en) * 2009-08-14 2011-02-17 Apple Inc. Video coder providing improved visual quality during use of heterogeneous coding modes
US9135724B2 (en) * 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
CN103548350B (zh) * 2011-06-28 2017-03-01 日本电气株式会社 图像编码设备和图像解码设备
CN102625104B (zh) * 2012-03-26 2014-04-16 浙江大学 一种视频编码方法
CN104754361B (zh) 2013-12-28 2018-01-23 同济大学 图像编码、解码方法及装置
WO2016203981A1 (ja) * 2015-06-16 2016-12-22 シャープ株式会社 画像復号装置及び画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Convolutional Neural Network-Based Block Up-Sampling for Intra Frame Coding;Yue Li等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20170717;全文 *

Also Published As

Publication number Publication date
WO2019019690A1 (zh) 2019-01-31
TWI681670B (zh) 2020-01-01
CN109302608A (zh) 2019-02-01
TW201909638A (zh) 2019-03-01
US20200162749A1 (en) 2020-05-21
EP3648462A4 (en) 2020-06-17
EP3648462B1 (en) 2023-10-25
KR20200026998A (ko) 2020-03-11
JP6910532B2 (ja) 2021-07-28
US11259031B2 (en) 2022-02-22
JP2020528246A (ja) 2020-09-17
EP3648462A1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
CN109302608B (zh) 图像处理方法、设备及***
KR102185954B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
TWI815272B (zh) 使用具有鄰近取樣縮減的線性或仿射變換的內預測
TWI711301B (zh) 視頻解碼方法、電腦軟體、機器可讀取非暫態儲存媒體、編碼設備、視頻解碼設備以及視頻捕獲、顯示、傳輸、接收及/或儲存設備
TWI816439B (zh) 以區塊為基礎之預測技術
TWI575932B (zh) 混成視訊解碼器、混成視訊編碼器及資料串流
CN109257605B (zh) 图像处理方法、设备及***
AU2011380761B2 (en) Image encoding method, image decoding method, image encoding device and image decoding device
CN109257608B (zh) 图像处理方法、设备及***
EP3085086A1 (en) Method and apparatus for encoding and decoding video signal using adaptive sampling
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
KR20180009048A (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN113068030A (zh) 视频图像分量预测方法及装置、计算机存储介质
US11202082B2 (en) Image processing apparatus and method
CN116114246A (zh) 帧内预测平滑滤波器***及方法
US20230044603A1 (en) Apparatus and method for applying artificial intelligence-based filtering to image
WO2024026182A1 (en) Tracking sample completion in video coding
CN115804095A (zh) 视频编码中的帧内预测方法
KR20170040542A (ko) 부가 데이터를 이용한 영상 재생 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant