CN113727102B - 一种低延时有损图像编码器和解码器 - Google Patents

一种低延时有损图像编码器和解码器 Download PDF

Info

Publication number
CN113727102B
CN113727102B CN202111279358.9A CN202111279358A CN113727102B CN 113727102 B CN113727102 B CN 113727102B CN 202111279358 A CN202111279358 A CN 202111279358A CN 113727102 B CN113727102 B CN 113727102B
Authority
CN
China
Prior art keywords
decoding
encoding
coding
module
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111279358.9A
Other languages
English (en)
Other versions
CN113727102A (zh
Inventor
徐伟哲
车伟
李慧德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foundation Stone Kulian Microelectronic Technology Beijing Co ltd
Original Assignee
Foundation Stone Kulian Microelectronic Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foundation Stone Kulian Microelectronic Technology Beijing Co ltd filed Critical Foundation Stone Kulian Microelectronic Technology Beijing Co ltd
Priority to CN202111279358.9A priority Critical patent/CN113727102B/zh
Publication of CN113727102A publication Critical patent/CN113727102A/zh
Application granted granted Critical
Publication of CN113727102B publication Critical patent/CN113727102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种低延时有损图像编码器和解码器。该编码器包括编码预测模块、k阶哥伦布编码模块、编码码率控制模块和编码重构模块。本发明在满足压缩比时，对残差进行哥伦布编码，不损失任何精度，在检测到不满足目标压缩比时，开启精度损失，舍弃余数的编码，降低编码bit数，并在编码过程中自适应调节k阶哥伦布编码的编码系数，达到对于小系数用较小的编码系数，对于大系数，用于较大的编码系数，优化编码bit数的同时，降低精度损失的程度；为人眼更敏感的分量提供更多的bit数，在压缩比和图像质量之间取得平衡。在满足按照行精确控制压缩比的同时，提供了按照帧控制压缩比的选项，在满足压缩比的同时提供更高的图像质量。

Description

一种低延时有损图像编码器和解码器
技术领域
本发明涉及图像编解码技术领域，具体涉及一种低延时有损图像编码器和解码器。
背景技术
随着互联网多媒体及人工智能等信息技术的发展，图像和视频作为信息传播的载体或者处理的对象需要消耗大量的存储和传输开销。为了降低芯片中的片上存储成本，通常将图像或视频存储在片外存储器如DDR中。但频繁在芯片间读写内容却带来了巨大的带宽和功耗开销，为了降低存储空间和传输带宽消耗，需要对图像进行压缩后再存储和传输。
现在广泛应用的图像和视频压缩标准或算法（例如JPEG、JPEG200、H264和H265等）虽然压缩效率高，但是算法复杂，包括预测、变换、量化以及熵编码等过程。同时，这类标准的实现需要非常大的行buffer或者帧buffer，实现开销极高。而且由于算法的限制，导致编解码的延迟也非常可观，不适合在实时性要求较高的场景下应用。
针对显示或传输应用场景下的压缩算法（例如DSC和VDC-M等）虽然算法得到适度简化，计算及存储开销降低，但复杂的预测模式以及码率控制算法依然给芯片设计带来困难。并且以上压缩算法的码率控制均无法以行为单位控制压缩比。在某些特殊的应用场景，如视频拼接、截取等会有对内容进行局部访问的需求，连续的码率控制算法也无法满足独立访问的需求。
现有技术存在以下缺点：
1、计算复杂，延迟高：需要计算像素的失真以及压缩后码率，然而遍历所有QP并计算每种可能的失真及码率，计算量极大，计算延迟也非常可观，理论上可以计算出最优结果，但可实现性太差。因此，在实现时，均需要优化算法，降低计算量，但同时也损失了精度，无法达到最优的结果。
2、 码率控制后需要额外的量化过程对预测残差进行量化，进行精度损失。
3、 对于某些标准（例如H264和H265等）码率控制的结果，需要编码到码流中，占用了一部分压缩比。
4、码率控制算法很难按照行精确控制压缩比，并且由于码率控制的连续性，相邻两行具有相关性，无法提供单独访问某一行的能力。
发明内容
本发明的目的是针对现有技术存在的不足，提供一种低延时有损图像编码器和解码器。
为实现上述目的，在第一方面，本发明提供了一种低延时有损图像编码器，包括：
编码预测模块，用以接收由图像数据中的每行像素分组获得的若干组待预测像 素，每组待预测像素包括n个连续原始像素O，所述编码预测模块根据已重构像素对每一原 始像素O进行预测，以生成编码预测像素P´，并计算获得编码预测残差res，其中，
Figure DEST_PATH_IMAGE001
，并将所述编码预测像素P´和编码预测残差res分别发出；
k阶哥伦布编码模块，用以接收编码预测模块发送的编码预测残差res，并根据预测残差res编码生成压缩码流，同时得到重构残差R_rec´、编码bit数和重构编码系数code_value_rec´，并将所述压缩码流、重构残差R_rec´、编码bit数和重构编码系数code_value_rec´分别发出；
编码码率控制模块，用以接收k阶哥伦布编码模块发送的编码bit数和重构编码系数code_value_rec´，并根据编码bit数和重构编码系数code_value_rec´分别进行编码精度损失开关和编码参数的更新，所述编码精度损失开关每组像素更新一次，所述编码参数每个像素更新一次，所述编码码率控制模块将更新后的编码精度损失开关和编码参数分别反馈至k阶哥伦布编码模块，以使所述k阶哥伦布编码模块使用更新后的编码精度损失开关和编码参数对下一个像素进行编码；
编码重构模块，用以接收编码预测模块和k阶哥伦布编码模块分别发送的编码预 测像素P´和重构残差R_rec´，并根据编码预测像素P´和重构残差R_rec´计算得到重构像素 O_rec´，其中，
Figure 900915DEST_PATH_IMAGE002
，并将重构像素O_rec´发送至编码预测模块，以 使所述编码预测模块采用重构像素O_rec´对下一个原始像素O进行预测。
进一步的，所述编码码率控制模块根据编码bit数进行编码精度损失开关的更新方式如下：
所述编码码率控制模块将所述编码bit数与目标压缩bit数进行比较，若编码bit数超过目标压缩bit数，则打开编码精度损失开关，允许下一组像素的k阶哥伦布编码跳过对余数r的编码；否则，将编码精度损失开关关掉，正常进行k阶哥伦布编码。
进一步的，所述重构编码系数code_value_rec´的获得方式如下：
将编码预测残差res映射为非负整数的编码系数code_value，具体如下：
Figure DEST_PATH_IMAGE003
其中，abs()为绝对值函数；
计算编码系数code_value对
Figure 90982DEST_PATH_IMAGE004
的商q及余数r，具体如下：
Figure DEST_PATH_IMAGE005
Figure 146882DEST_PATH_IMAGE006
其中，k´为k阶哥伦布编码模块当前使用的编码参数，
Figure DEST_PATH_IMAGE007
为取余运算符号；
根据所述商q及余数r，并结合当前编码精度损失开关的状态计算code_value_rec´，具体如下：
Figure 701884DEST_PATH_IMAGE008
其中，remainder_loss_flag´=1表示当前编码精度损失开关为开启状态，跳过对余数r的编码，只有商q被编码输出到压缩码流中，remainder_loss_flag´=0表示余数r的编码会被保留，与商q一同编码输出到压缩码流中。
进一步的，所述编码码率控制模块根据重构编码系数code_value_rec´进行编码参数的更新的方式如下：
Figure DEST_PATH_IMAGE009
其中，k_update´为更新后的k阶哥伦布编码模块所使用的编码参数。
进一步的，所述编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff，以利用压缩比较高的行产生的bit数裕度，并将其分配给压缩比不高的行，以通过提高这类行的目标压缩bit数来提高整帧的图像压缩后的主观质量。
进一步的，所述编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff具体如下：
Figure 167369DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
Figure 827371DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
其中，gap_bits为当前帧已编码像素的目标bit数target_bits与压缩生成的bit数sum_bits的差，line_num为已编码行数量，target_line_bits为当前已编码像素的目标bit数，sum_line_bits为每行编码后的压缩bit数。
在第二方面，本发明提供了一种低延时有损图像解码器，包括：
k阶哥伦布解码模块，用以接收编码器发送的压缩码流，并对所述压缩码流解码， 以获得重构残差
Figure 429123DEST_PATH_IMAGE014
，同时得到解码消耗bit数和重构解码系数
Figure DEST_PATH_IMAGE015
，并 将所述重构残差
Figure 889447DEST_PATH_IMAGE016
、解码消耗bit数和重构解码系数
Figure 452016DEST_PATH_IMAGE015
分别发出；
解码预测模块，用以基于已解码像素重构获得的重构像素生成解码预测像素
Figure DEST_PATH_IMAGE017
， 并将所述解码预测像素
Figure 384550DEST_PATH_IMAGE018
发出；
解码重构模块，用以接收所述k阶哥伦布解码模块和解码预测模块分别发出的重 构残差
Figure DEST_PATH_IMAGE019
和解码预测像素
Figure 903125DEST_PATH_IMAGE017
，并根据所述重构残差
Figure 141208DEST_PATH_IMAGE020
和解码预测像素
Figure 990740DEST_PATH_IMAGE017
计算当 前重构像素
Figure DEST_PATH_IMAGE021
并输出，其中，
Figure 995474DEST_PATH_IMAGE022
；
解码码率控制模块，用以接收所述k阶哥伦布解码模块发送的解码消耗bit数和重 构解码系数
Figure DEST_PATH_IMAGE023
，并根据解码消耗bit数和重构解码系数
Figure 920222DEST_PATH_IMAGE024
分别进行解码精度损失开关和解码参数的更新，所述解码精度损失开关每组像素更新一 次，所述解码参数每个像素更新一次，所述解码码率控制模块并将更新后的解码精度损失 开关和解码参数分别反馈至k阶哥伦布解码模块，以使所述k阶哥伦布解码模块使用更新后 的解码精度损失开关和解码参数对压缩码流中的下一个像素进行解码。
进一步的，所述解码码率控制模块根据解码消耗bit数进行解码精度损失开关的更新方式如下：
所述解码码率控制模块将所述解码消耗bit数与目标解压bit数进行比较，若解码消耗bit数超过目标解压bit数，则打开解码精度损失开关，允许下一组像素的k阶哥伦布解码跳过对余数r的解码；否则，将解码精度损失开关关掉，正常进行k阶哥伦布解码。
进一步的，所述k阶哥伦布解码模块根据所述压缩码流中的商q及余数r，并结合当 前解码精度损失开关的状态计算
Figure DEST_PATH_IMAGE025
，具体如下：
Figure 50245DEST_PATH_IMAGE026
其中，
Figure DEST_PATH_IMAGE027
表示当前解码精度损失开关为开启状态，跳过 对余数r的解码，只有商q被解码输出，
Figure 774356DEST_PATH_IMAGE028
表示余数r的解码会被保 留，与商q一同解码输出。
进一步的，所述解码码率控制模块根据重构解码系数
Figure DEST_PATH_IMAGE029
进行解码 参数的更新的方式如下：
Figure 48693DEST_PATH_IMAGE030
其中，
Figure 354909DEST_PATH_IMAGE031
为更新后的k阶哥伦布解码模块所使用的解码参数。
有益效果：1、本发明在满足压缩比时，对残差进行哥伦布编码，不损失任何精度，在检测到不满足目标压缩比时，开启精度损失，舍弃余数部分的编码，降低编码bit数；
2、本发明在编码过程中自适应调节k阶哥伦布编码的编码系数，达到对于小系数用较小的编码系数，对于大系数，用于较大的编码系数，优化编码bit数的同时，降低精度损失的程度；
3、本发明针对不同的图像分量提供了不同的精度损失程度，可以为人眼更敏感的分量提供更多的bit数，在压缩比和图像质量之间取得平衡。在满足按照行精确控制压缩比的同时，提供了按照帧控制压缩比的选项，能够在满足压缩比的同时提供更高的图像质量；
4、本发明不需要在压缩码流中***额外的压缩数据，解码器能够完整复现编码器的码率控制行为。而且不需要额外的量化及变换模块，仅需要对哥伦布编解码模块进行简单的改造即可达到应用需要，实现开销简单；
5、由于行与行之间可以独立进行码率控制，因此能够满足按照行进行独立访问的需求。
附图说明
图1是本发明实施例的低延时有损图像编码器的原理框图；
图2是本发明实施例的低延时有损图像解码器的原理框图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，本实施例在以本发明技术方案为前提下进行实施，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
如图1所示，本发明实施例提供了一种低延时有损图像编码器，包括编码预测模块、k阶哥伦布编码模块、编码码率控制模块和编码重构模块。
其中，编码预测模块用以接收由图像数据中的每行像素分组获得的若干组待预测 像素，每组待预测像素包括n个连续原始像素O，n的大小可根据场景和应用需求进行调整， 编码预测模块根据已重构像素对每一原始像素O进行预测，以生成编码预测像素P´，并计算 获得编码预测残差res，其中，
Figure DEST_PATH_IMAGE032
，并将编码预测像素P´和编码预测残差res分 别发出。需要说明的是，由于第一个像素在预测时没有已重构像素作为参考，它是根据预设 的初始值进行预测的。
k阶哥伦布编码模块用以接收编码预测模块发送的编码预测残差res，并根据预测残差res编码生成压缩码流，同时得到重构残差R_rec´、编码bit数和重构编码系数code_value_rec´，并将压缩码流、重构残差R_rec´、编码bit数和重构编码系数code_value_rec´分别发出。
编码码率控制模块用以接收k阶哥伦布编码模块发送的编码bit数和重构编码系数code_value_rec´，并根据编码bit数和重构编码系数code_value_rec´分别进行编码精度损失开关和编码参数的更新，编码精度损失开关每组像素更新一次，即同一组待预测像素根据编码精度损失开关的状态进行编码，同一组编码参数每个像素更新一次，即每个像素独立调节编码参数进行编码，编码码率控制模块并将更新后的编码精度损失开关和编码参数分别反馈至k阶哥伦布编码模块，以使k阶哥伦布编码模块使用更新后的编码精度损失开关和编码参数对下一个像素进行编码。
编码重构模块用以接收编码预测模块和k阶哥伦布编码模块分别发送的编码预测 像素P´和重构残差R_rec´，并根据编码预测像素P´和重构残差R_rec´计算得到重构像素O_ rec´，其中，
Figure 327938DEST_PATH_IMAGE033
，并将重构像素O_rec´发送至编码预测模块，以使 编码预测模块采用重构像素O_rec´对下一个原始像素O进行预测。
编码码率控制模块根据编码bit数进行编码精度损失开关的更新方式如下：
编码码率控制模块将所述编码bit数与目标压缩bit数进行比较，若编码bit数超过目标压缩bit数，则打开编码精度损失开关，允许下一组像素的k阶哥伦布编码跳过对余数r的编码；否则，将编码精度损失开关关掉，正常进行k阶哥伦布编码。
本发明实施例的重构编码系数code_value_rec´的获得方式如下：
由于k阶哥伦布编码模块只编码非负数值，而编码预测残差res会出现负值，因此，需要先将编码预测残差res映射为非负整数的编码系数code_value，具体如下：
Figure 352395DEST_PATH_IMAGE034
其中，abs()为绝对值函数；
计算编码系数code_value对
Figure 308718DEST_PATH_IMAGE004
的商q及余数r，具体如下：
Figure 469441DEST_PATH_IMAGE035
Figure 482878DEST_PATH_IMAGE036
其中，k´为k阶哥伦布编码模块当前使用的编码参数，
Figure 994631DEST_PATH_IMAGE007
为取余运算符号；
根据上述商q及余数r，并结合当前编码精度损失开关的状态计算code_value_rec´，具体如下：
Figure DEST_PATH_IMAGE037
其中，remainder_loss_flag´=1表示当前编码精度损失开关为开启状态，跳过对余数r的编码，只有商q被编码输出到压缩码流中，remainder_loss_flag´=0表示余数r的编码会被保留，与商q一同编码输出到压缩码流中。需要说明的是，上述商q和余数r也会作为压缩码流中的一部分一同发出。
本发明实施例的编码码率控制模块根据重构编码系数code_value_rec´进行编码参数的更新的方式如下：
Figure 210105DEST_PATH_IMAGE038
其中，k_update´为更新后的k阶哥伦布编码模块所使用的编码参数。
本发明可针对不同的图像分量提供了不同的精度损失程度，以下将以Y、Cb、Cr的分量表示形式为例说明，Y、Cb和Cr3个分量的精度损失开关更新计算过程如下：
Figure DEST_PATH_IMAGE039
其中，sum_line_bits_y´、sum_line_bits_cb´和sum_line_bits_cr´分别为Y、Cb和Cr3个分量当前行已编码生成的码流总bit数，target_line_bits_y´、target_line_bits_cb´和target_line_bits_cr´分别为Y、Cb和Cr3个分量当前已编码像素的目标压缩bit数。
当
Figure 881126DEST_PATH_IMAGE040
或
Figure 802815DEST_PATH_IMAGE041
或
Figure 798934DEST_PATH_IMAGE042
的取值为1时，表示该分量在进行k阶哥伦布编码时跳过 对余数r的编码，只有商q被编码输出到码流中。当
Figure 362639DEST_PATH_IMAGE043
或
Figure 29113DEST_PATH_IMAGE041
或
Figure 124632DEST_PATH_IMAGE042
的取值为0时，余数r 的编码会被保留，输出到码流。
上述目标压缩bit数可通过以下公式计算获得：
Figure DEST_PATH_IMAGE044
其中，target_line_bits为目标压缩bit数，compression_ratio为目标压缩比，bpc为原始分量每个分量的bit数，m为已编码像素组的个数，pix_per_group为每个组包含的像素个数，即上述n，rc_comp为当前分量的目标压缩bit数调节系数，line_coeff为当前行目标压缩bit数的伸缩系数。由于人眼对亮度的敏感程度比色度高，因此在进行精度损失控制时，需要尽量保持亮度的精度而保证图像的质量，同时可以多损失色度的精度，以满足压缩比。因此，可以根据图像质量以及压缩比的需求对rc_comp根据不同的色度进行单独的配置。通常将亮度的rc_comp设置的比色度高。例如，对于Y分量，rc_comp可以设置为1.1，对于Cb或Cr分量，rc_comp可以设置为0.9。
由于在图像中，不同行的内容具有不同的内容特征，压缩后的bit数也各不相同。在某些对行压缩比要求不高的场景中，可使编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff，以利用压缩比较高的行产生的bit数裕度，并将其分配给内容复杂压缩比不高的行，以通过提高这类行的目标bit数来提高整帧的图像压缩后的主观质量。
具体的，编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff具体如下：
Figure 532349DEST_PATH_IMAGE010
Figure 103008DEST_PATH_IMAGE011
Figure 378916DEST_PATH_IMAGE012
Figure 907987DEST_PATH_IMAGE045
其中，gap_bits为当前帧已编码像素的目标bit数target_bits与压缩生成的bit数sum_bits的差，line_num为已编码行数量，target_line_bits为当前已编码像素的目标bit数，sum_line_bits为每行编码后的压缩bit数。需要说明的是，目标压缩bit数的伸缩系数line_coeff会随压缩码流一同发出，解码器在获取到目标压缩bit数的伸缩系数line_coeff后，可以采用line_coeff作为自己的目标解压bit数的伸缩系数，从而实现调节目标解压bit数。
如图2所示，本发明还提供了一种低延时有损图像解码器，包括k阶哥伦布解码模块、解码预测模块、解码重构模块和解码码率控制模块。
其中，k阶哥伦布解码模块用以接收编码器发送的压缩码流，并对压缩码流解码， 以获得重构残差
Figure DEST_PATH_IMAGE046
，同时得到解码消耗bit数和重构解码系数
Figure 6261DEST_PATH_IMAGE047
，并 将重构残差
Figure DEST_PATH_IMAGE048
、解码消耗bit数和重构解码系数
Figure 773754DEST_PATH_IMAGE047
分别发出。
解码预测模块用以基于已解码像素重构获得的重构像素生成解码预测像素
Figure 883661DEST_PATH_IMAGE017
，并 将所述解码预测像素
Figure 318053DEST_PATH_IMAGE018
发出。需要说明的是，由于第一个像素没有已解码的重构像素，它是 通过预设的初始值来生成解码预测像素
Figure 776061DEST_PATH_IMAGE018
的。
解码重构模块用以接收k阶哥伦布解码模块和解码预测模块分别发出的重构残差
Figure 954101DEST_PATH_IMAGE020
和解码预测像素
Figure 918515DEST_PATH_IMAGE049
，并根据所述重构残差
Figure 792318DEST_PATH_IMAGE046
和解码预测像素
Figure 209393DEST_PATH_IMAGE050
计算当前重构 像素
Figure DEST_PATH_IMAGE051
并输出，其中，
Figure 581337DEST_PATH_IMAGE052
。
解码码率控制模块，用以接收k阶哥伦布解码模块发送的解码消耗bit数和重构解 码系数
Figure 397328DEST_PATH_IMAGE025
，并根据解码消耗bit数和重构解码系数
Figure 173523DEST_PATH_IMAGE029
分别 进行解码精度损失开关和解码参数的更新，解码精度损失开关每组像素更新一次，即同一 组待预测像素根据解码精度损失开关的状态进行解码。解码参数每个像素更新一次，即每 个像素独立调节解码参数进行解码，所述解码码率控制模块并将更新后的解码精度损失开 关和解码参数分别反馈至k阶哥伦布解码模块，以使所述k阶哥伦布解码模块使用更新后的 解码精度损失开关和解码参数对压缩码流中的下一个像素进行解码。
本发明实施例的解码码率控制模块根据解码消耗bit数进行解码精度损失开关的更新方式如下：
解码码率控制模块将解码消耗bit数与目标解压bit数进行比较，若解码消耗bit数超过目标解压bit数，则打开解码精度损失开关，允许下一组像素的k阶哥伦布解码跳过对余数r的解码；否则，将解码精度损失开关关掉，正常进行k阶哥伦布解码。
k阶哥伦布解码模块根据压缩码流中的商q及余数r，并结合当前解码精度损失开 关的状态计算
Figure 874631DEST_PATH_IMAGE025
，具体如下：
Figure 394474DEST_PATH_IMAGE026
其中，
Figure 70831DEST_PATH_IMAGE027
表示当前解码精度损失开关为开启状态，跳过 对余数r的解码，只有商q被解码输出，
Figure DEST_PATH_IMAGE053
表示余数r的解码会被保 留，与商q一同解码输出。
本发明实施例的解码码率控制模块根据重构解码系数
Figure 876982DEST_PATH_IMAGE029
进行解 码参数的更新的方式如下：
Figure 268649DEST_PATH_IMAGE030
其中，
Figure 323674DEST_PATH_IMAGE031
为更新后的k阶哥伦布解码模块所使用的解码参数。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，其它未具体描述的部分，属于现有技术或公知常识。在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种低延时有损图像编码器，其特征在于，包括：
编码预测模块，用以接收由图像数据中的每行像素分组获得的若干组待预测像素，每 组待预测像素包括n个连续原始像素O，所述编码预测模块根据已重构像素对每一原始像素 O进行预测，以生成编码预测像素P´，并计算获得编码预测残差res，其中，
Figure 884181DEST_PATH_IMAGE001
， 并将所述编码预测像素P´和编码预测残差res分别发出；
k阶哥伦布编码模块，用以接收编码预测模块发送的编码预测残差res，并根据预测残差res编码生成压缩码流，同时得到重构残差R_rec´、编码bit数和重构编码系数code_value_rec´，并将所述压缩码流、重构残差R_rec´、编码bit数和重构编码系数code_value_rec´分别发出；
编码码率控制模块，用以接收k阶哥伦布编码模块发送的编码bit数和重构编码系数code_value_rec´，并根据编码bit数和重构编码系数code_value_rec´分别进行编码精度损失开关和编码参数的更新，所述编码精度损失开关每组像素更新一次，所述编码参数每个像素更新一次，所述编码码率控制模块将更新后的编码精度损失开关和编码参数分别反馈至k阶哥伦布编码模块，以使所述k阶哥伦布编码模块使用更新后的编码精度损失开关和编码参数对下一个像素进行编码；
编码重构模块，用以接收编码预测模块和k阶哥伦布编码模块分别发送的编码预测像 素P´和重构残差R_rec´，并根据编码预测像素P´和重构残差R_rec´计算得到重构像素O_ rec´，其中，
Figure 711192DEST_PATH_IMAGE002
，并将重构像素O_rec´发送至编码预测模块，以使 所述编码预测模块采用重构像素O_rec´对下一个原始像素O进行预测。
2.根据权利要求1所述的低延时有损图像编码器，其特征在于，所述编码码率控制模块根据编码bit数进行编码精度损失开关的更新方式如下：
所述编码码率控制模块将所述编码bit数与目标压缩bit数进行比较，若编码bit数超过目标压缩bit数，则打开编码精度损失开关，允许下一组像素的k阶哥伦布编码跳过对余数r的编码；否则，将编码精度损失开关关掉，正常进行k阶哥伦布编码。
3.根据权利要求1所述的低延时有损图像编码器，其特征在于，所述重构编码系数code_value_rec´的获得方式如下：
将编码预测残差res映射为非负整数的编码系数code_value，具体如下：
Figure 931958DEST_PATH_IMAGE003
其中，abs()为绝对值函数；
计算编码系数code_value对
Figure 768195DEST_PATH_IMAGE004
的商q及余数r，具体如下：
Figure 492438DEST_PATH_IMAGE005
Figure 487420DEST_PATH_IMAGE006
其中，k´为k阶哥伦布编码模块当前使用的编码参数，
Figure 195482DEST_PATH_IMAGE007
为取余运算符号；
根据所述商q及余数r，并结合当前编码精度损失开关的状态计算code_value_rec´，具体如下：
Figure 569831DEST_PATH_IMAGE008
其中，remainder_loss_flag´=1表示当前编码精度损失开关为开启状态，跳过对余数r的编码，只有商q被编码输出到压缩码流中，remainder_loss_flag´=0表示余数r的编码会被保留，与商q一同编码输出到压缩码流中。
4.根据权利要求3所述的低延时有损图像编码器，其特征在于，所述编码码率控制模块根据重构编码系数code_value_rec´进行编码参数的更新的方式如下：
Figure 414159DEST_PATH_IMAGE009
其中，k_update´为更新后的k阶哥伦布编码模块所使用的编码参数。
5.根据权利要求1所述的低延时有损图像编码器，其特征在于，所述编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff，以利用压缩比较高的行产生的bit数裕度，并将其分配给压缩比不高的行，以通过提高这类行的目标压缩bit数来提高整帧的图像压缩后的主观质量。
6.根据权利要求5所述的低延时有损图像编码器，其特征在于，所述编码码率控制模块动态调整当前行目标压缩bit数的伸缩系数line_coeff具体如下：
Figure 585902DEST_PATH_IMAGE010
Figure 781260DEST_PATH_IMAGE011
Figure 959301DEST_PATH_IMAGE012
Figure 658135DEST_PATH_IMAGE013
其中，gap_bits为当前帧已编码像素的目标bit数target_bits与压缩生成的bit数sum_bits的差，line_num为已编码行数量，target_line_bits为当前已编码像素的目标bit数，sum_line_bits为每行编码后的压缩bit数。
7.一种低延时有损图像解码器，其特征在于，包括：
k阶哥伦布解码模块，用以接收编码器发送的压缩码流，并对所述压缩码流解码，以获 得重构残差
Figure 260499DEST_PATH_IMAGE014
，同时得到解码消耗bit数和重构解码系数
Figure 677574DEST_PATH_IMAGE015
，并将所 述重构残差
Figure 924885DEST_PATH_IMAGE016
、解码消耗bit数和重构解码系数
Figure 743805DEST_PATH_IMAGE015
分别发出；
解码预测模块，用以基于已解码像素重构获得的重构像素生成解码预测像素
Figure 788509DEST_PATH_IMAGE017
，并将 所述解码预测像素
Figure 958459DEST_PATH_IMAGE018
发出；
解码重构模块，用以接收所述k阶哥伦布解码模块和解码预测模块分别发出的重构残 差
Figure 478302DEST_PATH_IMAGE016
和解码预测像素
Figure 886150DEST_PATH_IMAGE019
，并根据所述重构残差
Figure 95896DEST_PATH_IMAGE020
和解码预测像素
Figure 221983DEST_PATH_IMAGE019
计算当前重 构像素
Figure 545517DEST_PATH_IMAGE021
并输出，其中，
Figure 807872DEST_PATH_IMAGE022
；
解码码率控制模块，用以接收所述k阶哥伦布解码模块发送的解码消耗bit数和重构解 码系数
Figure 194378DEST_PATH_IMAGE023
，并根据解码消耗bit数和重构解码系数
Figure 807762DEST_PATH_IMAGE015
分别 进行解码精度损失开关和解码参数的更新，所述解码精度损失开关每组像素更新一次，所 述解码参数每个像素更新一次，所述解码码率控制模块将更新后的解码精度损失开关和解 码参数分别反馈至k阶哥伦布解码模块，以使所述k阶哥伦布解码模块使用更新后的解码精 度损失开关和解码参数对压缩码流中的下一个像素进行解码。
8.根据权利要求7所述的低延时有损图像解码器，其特征在于，所述解码码率控制模块根据解码消耗bit数进行解码精度损失开关的更新方式如下：
所述解码码率控制模块将所述解码消耗bit数与目标解压bit数进行比较，若解码消耗bit数超过目标解压bit数，则打开解码精度损失开关，允许下一组像素的k阶哥伦布解码跳过对余数r的解码；否则，将解码精度损失开关关掉，正常进行k阶哥伦布解码。
9.根据权利要求7所述的低延时有损图像解码器，其特征在于，所述k阶哥伦布解码模 块根据所述压缩码流中的商q及余数r，并结合当前解码精度损失开关的状态计算
Figure 403828DEST_PATH_IMAGE024
，具体如下：
Figure 317427DEST_PATH_IMAGE025
其中，
Figure 892413DEST_PATH_IMAGE026
表示当前解码精度损失开关为开启状态，跳过对余 数r的解码，只有商q被解码输出，
Figure 258672DEST_PATH_IMAGE027
表示余数r的解码会被保留， 与商q一同解码输出。
10.根据权利要求9所述的低延时有损图像解码器，其特征在于，所述解码码率控制模 块根据重构解码系数
Figure 189588DEST_PATH_IMAGE024
进行解码参数的更新的方式如下：
Figure 692113DEST_PATH_IMAGE028
其中，
Figure 154843DEST_PATH_IMAGE029
为更新后的k阶哥伦布解码模块所使用的解码参数。
CN202111279358.9A 2021-11-01 2021-11-01 一种低延时有损图像编码器和解码器 Active CN113727102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111279358.9A CN113727102B (zh) 2021-11-01 2021-11-01 一种低延时有损图像编码器和解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111279358.9A CN113727102B (zh) 2021-11-01 2021-11-01 一种低延时有损图像编码器和解码器

Publications (2)

Publication Number Publication Date
CN113727102A CN113727102A (zh) 2021-11-30
CN113727102B true CN113727102B (zh) 2022-01-04

Family

ID=78686228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111279358.9A Active CN113727102B (zh) 2021-11-01 2021-11-01 一种低延时有损图像编码器和解码器

Country Status (1)

Country Link
CN (1) CN113727102B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429944B (zh) * 2020-04-17 2023-06-02 北京百瑞互联技术有限公司 一种编解码器开发测试优化方法及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
CN107079172A (zh) * 2016-09-29 2017-08-18 深圳市大疆创新科技有限公司 图像处理方法、设备、***和存储介质
WO2017201574A1 (en) * 2016-05-23 2017-11-30 Newsouth Innovations Pty Limited A method and apparatus for image compression
CN108322740A (zh) * 2018-01-10 2018-07-24 宁波大学 一种编码复杂度可控的编码方法
CN109151482A (zh) * 2018-10-29 2019-01-04 西安电子科技大学 星载光谱图像谱段无损有损混合压缩方法
CN113498606A (zh) * 2019-01-02 2021-10-12 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103636205A (zh) * 2011-07-01 2014-03-12 三星电子株式会社 具有低延迟的用于残差编码的模式依赖变换
WO2017201574A1 (en) * 2016-05-23 2017-11-30 Newsouth Innovations Pty Limited A method and apparatus for image compression
CN107079172A (zh) * 2016-09-29 2017-08-18 深圳市大疆创新科技有限公司 图像处理方法、设备、***和存储介质
CN108322740A (zh) * 2018-01-10 2018-07-24 宁波大学 一种编码复杂度可控的编码方法
CN109151482A (zh) * 2018-10-29 2019-01-04 西安电子科技大学 星载光谱图像谱段无损有损混合压缩方法
CN113498606A (zh) * 2019-01-02 2021-10-12 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《H.264/AVC视频编码及其在IPTV中的应用》;邓立平;《电信快报》;20101231(第12期);38-41 *
《In-Loop Filter with Dense Residual Convolutional Neural Network for VVC》;CHEN, Sijia 等;《2020 IEEE Conference on Multimedia Information Processing and Retrieval (MIPR)》;20201231;149-152 *

Also Published As

Publication number Publication date
CN113727102A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
JP3749752B2 (ja) ブロック適応型差分パルスコード変調システム
JP2018078611A (ja) サンプルアダプティブオフセット制御
CN113785580B (zh) 用于视频编码器的速率控制
JP6921873B2 (ja) ディスプレイストリーム圧縮のためのサブストリーム多重化
CN114631320A (zh) 对图像执行人工智能(ai)编码和ai解码的设备和方法
US7177356B2 (en) Spatially transcoding a video stream
CN110603812A (zh) 用于显示器流压缩的子流多路复用
CN108702513B (zh) 用于在显示流压缩中量化参数的适应性计算的设备及方法
US10542265B2 (en) Self-adaptive prediction method for multi-layer codec
US20220046236A1 (en) Image encoding method, decoding method, encoder, and decoder
US20130251031A1 (en) Method for bit rate control within a scalable video coding system and system therefor
JP2023528780A (ja) ビデオコーディングにおけるニューラルネットワークベースのフィルタ
CN113647111A (zh) 环内重整形自适应重整形方向
CN113727102B (zh) 一种低延时有损图像编码器和解码器
CN116074516A (zh) 一种图像编解码方法及装置
US20230298219A1 (en) A method and an apparatus for updating a deep neural network-based image or video decoder
CN110087074B (zh) 图像处理装置和用于操作图像处理装置的方法
US8548045B2 (en) Method and apparatus for video encoding
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
KR20180032570A (ko) 디스플레이 스트림 압축에서의 변환 모드를 위한 블록 크기에 대한 수정
CN116506617B (zh) 图像浅压缩码率控制方法及装置
US11652996B2 (en) Method and apparatus for video coding
CN112004082B (zh) 一种双帧作为控制单元的码率控制的优化方法
US20060120457A1 (en) Method and apparatus for encoding and decoding video signal for preventing decoding error propagation
CN112004083B (zh) 一种利用帧间预测特性优化码率控制方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant