CN103260019B - 帧内图像预测编解码方法及视频编解码器 - Google Patents

帧内图像预测编解码方法及视频编解码器 Download PDF

Info

Publication number
CN103260019B
CN103260019B CN201210035359.3A CN201210035359A CN103260019B CN 103260019 B CN103260019 B CN 103260019B CN 201210035359 A CN201210035359 A CN 201210035359A CN 103260019 B CN103260019 B CN 103260019B
Authority
CN
China
Prior art keywords
neighboring reference
reference pixel
transform unit
current transform
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210035359.3A
Other languages
English (en)
Other versions
CN103260019A (zh
Inventor
贾杰
刘鸿彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics China Research and Development Center Co Ltd
Original Assignee
LG Electronics China Research and Development Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics China Research and Development Center Co Ltd filed Critical LG Electronics China Research and Development Center Co Ltd
Priority to CN201210035359.3A priority Critical patent/CN103260019B/zh
Publication of CN103260019A publication Critical patent/CN103260019A/zh
Application granted granted Critical
Publication of CN103260019B publication Critical patent/CN103260019B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种帧内图像预测编解码方法及视频编解码器,其中帧内图像预测编码方法包括:根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;计算相邻参考像素的重构值与原始值的残差值;对残差值进行无损压缩编码;根据相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。或者包括:根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;计算相邻参考像素的重构值与原始值的残差值;对残差值进行有损二次编码,获得相邻参考像素的重构残差值;将重构值与重构残差值相加,获得相邻参考像素的重构原始值;根据重构原始值,对当前变换单元进行帧内图像预测编码。本发明可以提高帧内图像编解码效率。

Description

帧内图像预测编解码方法及视频编解码器
技术领域
本发明涉及图像视频编解码和帧内图像预测技术领域,尤其涉及帧内图像预测编解码方法及视频编解码器。
背景技术
图像视频压缩编解码总体上分为帧间图像编解码和帧内图像编解码两种预测编解码技术。帧内图像编码利用来自当前帧已经编码图像单元的信息对当前编码图像单元进行预测编码;帧内图像解码利用来自当前帧已经解码图像单元的信息对当前解码图像单元进行预测解码。
现有的帧内图像预测编解码方法利用当前变换单元的相邻参考像素的重构值进行预测,但是,存在如下不足:帧内图像预测的准确性不高,造成帧内图像编解码效率低下。
发明内容
本发明实施例提供一种帧内图像预测编码方法,用以提高帧内图像编码效率,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
计算所述相邻参考像素的重构值与原始值的残差值;
对所述残差值进行无损压缩编码;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
本发明实施例还提供一种帧内图像预测解码方法,用以提高帧内图像解码效率,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
本发明实施例提供一种帧内图像预测编码方法,用以提高帧内图像编码效率,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
计算所述相邻参考像素的重构值与原始值的残差值;
对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
本发明实施例还提供一种帧内图像预测解码方法,用以提高帧内图像解码效率,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
本发明实施例还提供一种视频编码器,用以提高帧内图像编码效率,该视频编码器包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块,用于对所述残差值进行无损压缩编码;
帧内预测编码模块,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
本发明实施例还提供一种视频解码器,用以提高帧内图像解码效率,该视频解码器包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差解码模块,用于无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
原始值获得模块,用于将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
帧内预测解码模块,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
本发明实施例还提供一种视频编码器,用以提高帧内图像编码效率,该视频编码器包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块,用于对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
重构原始值计算模块,用于将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
帧内预测编码模块,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
本发明实施例还提供一种视频解码器,用以提高帧内图像解码效率,该视频解码器包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
重构残差解码模块,用于解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
重构原始值获得模块,用于将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
帧内预测解码模块,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
本发明实施例的帧内图像预测编解码方法及视频编解码器,是根据当前变换单元的相邻参考像素的原始值或重构原始值,对当前变换单元进行帧内图像预测编解码,与现有技术中利用当前变换单元的相邻参考像素的重构值对当前变换单元进行帧内图像预测编解码的技术方案相比,可以提高帧内图像预测的准确性,从而提高帧内图像编解码效率;实施时对相邻参考像素的重构值与原始值的残差值进行无损压缩或有损二次编解码,可以大幅度地提高重构图像质量;且根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素,从而仅对参与预测的相邻参考像素的重构值与原始值的残差值进行无损压缩编解码或有损二次编码、解码有损二次编码的数据获得参与预测的相邻参考像素的重构残差值,可以降低用于无损压缩或有损二次编解码的比特数。本发明实施例不破坏现有视频预测编解码单元结构,而是保持了现有视频预测编解码单元的结构,有利于硬件实现。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明一实施例中帧内图像预测编码方法的处理流程图;
图2为本发明另一实施例中帧内图像预测编码方法的处理流程图;
图3为本发明实施例中帧内图像预测模式的示意图;
图4为本发明实施例中根据当前变换单元的预测模式确定出用于预测当前变换单元的相邻参考像素一个具体实例的示意图;
图5为本发明一实施例中帧内图像预测解码方法的处理流程图;
图6为本发明另一实施例中帧内图像预测解码方法的处理流程图;
图7为本发明一实施例中视频编码器的结构示意图;
图8为本发明一实施例中视频解码器的结构示意图;
图9为本发明另一实施例中视频编码器的结构示意图;
图10为本发明另一实施例中视频解码器的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
如图1所示,本发明一实施例中,帧内图像预测编码方法的处理流程可以包括:
步骤101、根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
步骤102、计算所述相邻参考像素的重构值与原始值的残差值;
步骤103、对所述残差值进行无损压缩编码;
步骤104、根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
如图2所示,本发明另一实施例中,帧内图像预测编码方法的处理流程可以包括:
步骤201、根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
步骤202、计算所述相邻参考像素的重构值与原始值的残差值;
步骤203、对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
步骤204、将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
步骤205、根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
由图1和图2所示流程可以得知,本发明实施例的帧内图像预测编码方法,是根据当前变换单元的相邻参考像素的原始值或重构原始值,对当前变换单元进行帧内图像预测编码,与现有技术中利用当前变换单元的相邻参考像素的重构值对当前变换单元进行帧内图像预测编码的技术方案相比,可以提高帧内图像预测的准确性,从而提高帧内图像编码效率;实施时对相邻参考像素的重构值与原始值的残差值进行无损压缩或有损二次编码,可以大幅度地提高重构图像质量;且根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素,从而仅对参与预测的相邻参考像素的重构值与原始值的残差值进行无损压缩或有损二次编码,可以降低用于无损压缩或有损二次编码的比特数。实施时不破坏(break)现有视频预测编码单元结构,而是保持了现有视频预测编码单元的结构,有利于硬件实现。
具体实施时,根据当前变换单元的预测模式确定出用于预测当前变换单元的相邻参考像素,例如可以用像素集合A表示。实施时并非当前变换单元的所有相邻像素均用于参考,而是根据当前变换单元的预测模式确定参与预测的相邻参考像素。图3为本发明实施例中帧内图像预测模式的示意图,图3中示出了33种预测方向对应的预测模式。
图4为本发明实施例中根据当前变换单元的预测模式确定出用于预测当前变换单元的相邻参考像素一个具体实例的示意图。如图4所示,参与预测的相邻参考像素依据相对于当前变换单元的位置可以分为五类,分别标记为set1、set2、set3、set4和set5。依据当前变换单元预测模式的不同,参与预测的相邻参考像素不同。这样,在后续进行无损压缩或有损二次编码时,可仅对参与预测的相邻参考像素的重构值与原始值的残差值进行无损压缩或有损二次编码,从而降低用于无损压缩或有损二次编码的比特数。
具体实施时,在根据当前变换单元的预测模式确定用于预测当前变换单元的相邻参考像素之后,计算相邻参考像素的重构值与原始值的残差值,例如,计算前述像素集合A中所有像素的重构值与原始值的残差值,对残差值进行无损压缩或有损二次编码。实施时可以按如下公式计算相邻参考像素的重构值与原始值的残差值:
reconresidual=orig-recon
其中,reconresidual是重构值与原始值的残差值,orig是原始值,recon是重构值。
编码端在对相邻参考像素的重构值与原始值的残差值进行无损压缩编码后提供给解码端,使解码端可通过无损压缩解码得出该残差值,并根据该残差值和相邻参考像素的重构值获得相邻参考像素的原始值,从而利用相邻参考像素的原始值进行帧内图像预测解码。对相邻参考像素的重构值与原始值的残差值进行无损压缩编解码,可以大幅度地提高重构图像质量。
编码端也可以在对相邻参考像素的重构值与原始值的残差值进行有损二次编码后,获得相邻参考像素的重构残差值并提供给解码端,使解码端可通过无损压缩解码得出该重构残差值,并根据该重构残差值和相邻参考像素的重构值获得相邻参考像素的重构原始值,从而利用相邻参考像素的重构原始值进行帧内图像预测解码。对相邻参考像素的重构值与原始值的残差值进行有损二次编码,以及解码有损二次编码的数据获得相邻参考像素的重构残差值,可以大幅度地提高重构图像质量。
具体实施时,对相邻参考像素的重构值与原始值的残差值进行无损压缩编码,可以是:对当前变换单元的全部相邻参考像素的残差值进行无损压缩编码;也可以是对第一部分相邻参考像素的残差值进行无损压缩编码,其中当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成,也就是说,可以仅对当前变换单元的一部分相邻参考像素的重构值与原始值的残差值进行无损压缩编码。
类似的,对相邻参考像素的重构值与原始值的残差值进行有损二次编码,可以是:对当前变换单元的全部相邻参考像素的残差值进行有损二次编码;也可以是对第一部分相邻参考像素的残差值进行有损二次编码,其中当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成,也就是说,可以仅对当前变换单元的一部分相邻参考像素的重构值与原始值的残差值进行有损二次编码。
本发明实施例中还提供了一种帧内图像预测解码方法,如下面的实施例所述。由于帧内图像预测解码方法解决问题的原理与帧内图像预测编码方法相似,因此帧内图像预测解码方法的实施可以参见帧内图像预测编码方法的实施,重复之处不再赘述。
如图5所示,本发明一实施例中,帧内图像预测解码方法的处理流程可以包括:
步骤501、根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
步骤502、无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
步骤503、将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
步骤504、根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
如图6所示,本发明另一实施例中,帧内图像预测解码方法的处理流程可以包括:
步骤601、根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
步骤602、解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
步骤603、将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
步骤604、根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
由图5和图6所示流程可以得知,本发明实施例的帧内图像预测解码方法,是根据当前变换单元的相邻参考像素的原始值或重构原始值,对当前变换单元进行帧内图像预测解码,与现有技术中利用当前变换单元的相邻参考像素的重构值对当前变换单元进行帧内图像预测解码的技术方案相比,可以提高帧内图像预测的准确性,从而提高帧内图像解码效率;实施时对相邻参考像素的重构值与原始值的残差值进行无损压缩解码或解码有损二次编码的数据获得相邻参考像素的重构残差值,可以大幅度地提高重构图像质量;且根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素,从而仅对参与预测的相邻参考像素的重构值与原始值的残差值进行无损压缩解码或解码有损二次编码的数据获得参与预测的相邻参考像素的重构残差值,可以降低用于无损压缩解码或解码有损二次编码的数据的比特数。实施时不破坏现有视频预测解码单元结构,而是保持了现有视频预测解码单元的结构,有利于硬件实现。
具体实施时,可以按如下公式将残差值与相邻参考像素的重构值相加,获得相邻参考像素的原始值:
orig=reconresidual+recon
其中,reconresidual是重构值与原始值的残差值,orig是原始值,recon是重构值。
具体实施时,无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值,可以是:无损压缩解码获得当前变换单元的全部相邻参考像素的所述残差值;将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值,可以是:将当前变换单元的全部相邻参考像素的所述残差值与重构值相加,获得当前变换单元的全部相邻参考像素的原始值;根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码,可以是:根据当前变换单元的全部相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
具体实施时,解码有损二次编码的数据获得所述相邻参考像素的重构残差值,可以是:解码有损二次编码的数据获得当前变换单元的全部相邻参考像素的重构残差值;将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值,可以是:将当前变换单元的全部相邻参考像素的所述重构残差值与重构值相加,获得当前变换单元的全部相邻参考像素的重构原始值;根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码,可以是:根据当前变换单元的全部相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
具体实施时,无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值,可以是:无损压缩解码获得第一部分相邻参考像素的所述残差值;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值,可以是:将第一部分相邻参考像素的所述残差值与重构值相加,获得第一部分相邻参考像素的原始值;根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码,可以是:根据第一部分相邻参考像素的原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码。
具体实施时,解码有损二次编码的数据获得所述相邻参考像素的重构残差值,可以是:解码有损二次编码的数据获得第一部分相邻参考像素的重构残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值,可以是:将第一部分相邻参考像素的所述重构残差值与重构值相加,获得第一部分相邻参考像素的重构原始值;根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码,可以是:根据第一部分相邻参考像素的重构原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码。
在编码端对当前变换单元的全部相邻参考像素的残差值进行无损压缩编码时,解码端解码可获得当前变换单元的全部相邻参考像素的残差值,进而获得当前变换单元的全部相邻参考像素的原始值,根据当前变换单元的全部相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。在编码端仅对当前变换单元的一部分相邻参考像素的残差值进行无损压缩编码时,解码端解码可获得当前变换单元的该部分相邻参考像素的残差值,进而获得当前变换单元的该部分相邻参考像素的原始值,在当前变换单元进行帧内图像预测解码时,可根据当前变换单元的该部分相邻参考像素的原始值、以及其它部分相邻参考像素的重构值进行预测。
在编码端对当前变换单元的全部相邻参考像素的残差值进行有损二次编码时,解码端解码可获得当前变换单元的全部相邻参考像素的重构残差值,进而获得当前变换单元的全部相邻参考像素的重构原始值,根据当前变换单元的全部相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。在编码端仅对当前变换单元的一部分相邻参考像素的残差值进行有损二次编码时,解码端解码可获得当前变换单元的该部分相邻参考像素的重构残差值,进而获得当前变换单元的该部分相邻参考像素的重构原始值,在当前变换单元进行帧内图像预测解码时,可根据当前变换单元的该部分相邻参考像素的重构原始值、以及其它部分相邻参考像素的重构值进行预测。
本发明实施例的帧内图像预测编解码方法,在HEVC(High Efficiency VideoCoding,高效率视频编解码)工作草案中有相应的对变换单元(prediction unit)的语法修改(syntax modification),具体修改如表一所示,表一中标记出了修改处。
表一
表一中intra_lossless_luma_rec_resi(x0,y0,PUSize)是用于表示无损压缩或有损二次编解码数据的内容,具体可以如表二所示。
表二
其中:
PredMode可以根据pred_type的值查HEVC工作草案表7-12得到。IntraPredMode通过执行HEVC工作草案8.3.1节得到。对于位于(xB,yB)的PU,predict_from_top_row_only如下得到:
如果IntraPredMode[xB][yB]等于0,5,6,12,13,22,23,24或25;
predict_from_top_row_only=true;
否则,predict_from_top_row_only=false。
对于位于(xB,yB)的PU,predict_from_left_column_only如下得到:
如果IntraPredMode[xB][yB]等于1,8,9,16,17,30,31,32或33;
predict_from_left_column_only=true;
否则,predict_from_left_column_only=false。
lossless_luma_rec_resi_sign[x0][y0]:代表origSamplesL[x0][y0]–recSamplesL[x0][y0]的符号,其中origSamplesL[x0][y0]和recSamplesL[x0][y0]分别表示位置(x0,y0)的原始亮度值和用HM4.0方法重构的亮度值。为了计算recSamplesL[x0][y0],需要执行HEVC工作草案8.3.3小节。
如果origSamples[x0][y0]–recSamples[x0][y0]>=0;
lossless_luma_rec_resi_sign[x0][y0]=0;
否则,lossless_luma_rec_resi_sign[x0][y0]=1。
lossless_luma_rec_resi_abs_level[x0][y0]:代表origSamplesL[x0][y0]–recSamplesL[x0][y0]的绝对值,其中origSamplesL[x0][y0]和recSamplesL[x0][y0]分别表示位置(x0,y0)的原始亮度值和用HM4.0方法重构的亮度值。为了计算recSamplesL[x0][y0],需要执行HEVC工作草案8.3.3小节。
isLeftPUavailable如下得到:如果当前PU左侧PU可用,isLeftPUavailable=true;否则,isLeftPUavailable=false。
isBelowLeftPUavailable如下得到:如果当前PU左下侧PU可用,isBelowLeftPUavailable=true;否则,isBelowLeftPUavailable=false。
isAbovePUavailable如下得到:如果当前PU上侧PU可用,isAbovePUavailable=true;否则isAbovePUavailable=false。
isAboveRightPUavailable如下得到:如果当前PU右上侧PU可用,isAboveRightPUavailable=true;否则,isAboveRightPUavailable=false。
本发明实施例中还提供了一种视频编码器和视频解码器,如下面的实施例所述。由于视频编码器和视频解码器解决问题的原理与帧内图像预测编码和解码方法相似,因此视频编码器和视频解码器的实施可以参见帧内图像预测编码和解码方法的实施,重复之处不再赘述。
如图7所示,本发明一实施例中的视频编码器可以包括:
参考像素确定模块701,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块702,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块703,用于对所述残差值进行无损压缩编码;
帧内预测编码模块704,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
一个实施例中,残差编码模块703具体可以用于:
对当前变换单元的全部相邻参考像素的所述残差值进行无损压缩编码;
或,对第一部分相邻参考像素的所述残差值进行无损压缩编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成。
如图8所示,本发明一实施例中的视频解码器可以包括:
参考像素确定模块801,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差解码模块802,用于无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
原始值获得模块803,用于将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
帧内预测解码模块804,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
一个实施例中,残差解码模块802具体可以用于:无损压缩解码获得当前变换单元的全部相邻参考像素的所述残差值;
原始值获得模块803具体可以用于:将当前变换单元的全部相邻参考像素的所述残差值与重构值相加,获得当前变换单元的全部相邻参考像素的原始值;
帧内预测解码模块804具体可以用于:根据当前变换单元的全部相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
一个实施例中,残差解码模块802具体可以用于:无损压缩解码获得第一部分相邻参考像素的所述残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
原始值获得模块803具体可以用于:将第一部分相邻参考像素的所述残差值与重构值相加,获得第一部分相邻参考像素的原始值;
帧内预测解码模块804具体可以用于:根据第一部分相邻参考像素的原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码。
如图9所示,本发明另一实施例中的视频编码器可以包括:
参考像素确定模块901,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块902,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块903,用于对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
重构原始值计算模块904,用于将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
帧内预测编码模块905,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
一个实施例中,所述残差编码模块903具体可以用于:
对当前变换单元的全部相邻参考像素的所述残差值进行有损二次编码;
或,对第一部分相邻参考像素的所述残差值进行有损二次编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成。
如图10所示,本发明另一实施例中的视频解码器可以包括:
参考像素确定模块1001,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
重构残差解码模块1002,用于解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
重构原始值获得模块1003,用于将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
帧内预测解码模块1004,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
一个实施例中,所述重构残差解码模块1002具体可以用于:解码有损二次编码的数据获得当前变换单元的全部相邻参考像素的重构残差值;
所述重构原始值获得模块1003具体可以用于:将当前变换单元的全部相邻参考像素的所述重构残差值与重构值相加,获得当前变换单元的全部相邻参考像素的重构原始值;
所述帧内预测解码模块1004具体可以用于:根据当前变换单元的全部相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
一个实施例中,所述重构残差解码模块1002具体可以用于:解码有损二次编码的数据获得第一部分相邻参考像素的重构残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述重构原始值获得模块1003具体可以用于:将第一部分相邻参考像素的所述重构残差值与重构值相加,获得第一部分相邻参考像素的重构原始值;
所述帧内预测解码模块1004具体可以用于:根据第一部分相邻参考像素的重构原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码。
综上所述,本发明实施例的帧内图像预测编解码方法及视频编解码器,是根据当前变换单元的相邻参考像素的原始值或重构原始值,对当前变换单元进行帧内图像预测编解码,与现有技术中利用当前变换单元的相邻参考像素的重构值对当前变换单元进行帧内图像预测编解码的技术方案相比,可以提高帧内图像预测的准确性,从而提高帧内图像编解码效率;实施时对相邻参考像素的重构值与原始值的残差值进行无损压缩或有损二次编解码,可以大幅度地提高重构图像质量;且根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素,从而仅对参与预测的相邻参考像素的重构值与原始值的残差值进行无损压缩编解码或有损二次编码、解码有损二次编码的数据获得参与预测的相邻参考像素的重构残差值,可以降低用于无损压缩或有损二次编解码的比特数。本发明实施例不破坏现有视频预测编解码单元结构,而是保持了现有视频预测编解码单元的结构,在不破坏现有图像编解码单元结构的前提下,提高视频压缩编解码效率,有利于硬件实现。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种帧内图像预测编码方法,其特征在于,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
计算所述相邻参考像素的重构值与原始值的残差值;
对所述残差值进行无损压缩编码;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
2.如权利要求1所述的方法,其特征在于,对所述残差值进行无损压缩编码,包括:
对当前变换单元的全部相邻参考像素的所述残差值进行无损压缩编码;
或,对第一部分相邻参考像素的所述残差值进行无损压缩编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
3.一种帧内图像预测解码方法,其特征在于,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
4.如权利要求3所述的方法,其特征在于,无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值,包括:无损压缩解码获得当前变换单元的全部相邻参考像素的所述残差值;
将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值,包括:将当前变换单元的全部相邻参考像素的所述残差值与重构值相加,获得当前变换单元的全部相邻参考像素的原始值;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码,包括:根据当前变换单元的全部相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
5.如权利要求3所述的方法,其特征在于,无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值,包括:无损压缩解码获得第一部分相邻参考像素的所述残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值,包括:将第一部分相邻参考像素的所述残差值与重构值相加,获得第一部分相邻参考像素的原始值;
根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码,包括:根据第一部分相邻参考像素的原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
6.一种帧内图像预测编码方法,其特征在于,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
计算所述相邻参考像素的重构值与原始值的残差值;
对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
7.如权利要求6所述的方法,其特征在于,对所述残差值进行有损二次编码,包括:
对当前变换单元的全部相邻参考像素的所述残差值进行有损二次编码;
或,对第一部分相邻参考像素的所述残差值进行有损二次编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
8.一种帧内图像预测解码方法,其特征在于,该方法包括:
根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
9.如权利要求8所述的方法,其特征在于,解码有损二次编码的数据获得所述相邻参考像素的重构残差值,包括:解码有损二次编码的数据获得当前变换单元的全部相邻参考像素的重构残差值;
将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值,包括:将当前变换单元的全部相邻参考像素的所述重构残差值与重构值相加,获得当前变换单元的全部相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码,包括:根据当前变换单元的全部相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
10.如权利要求8所述的方法,其特征在于,解码有损二次编码的数据获得所述相邻参考像素的重构残差值,包括:解码有损二次编码的数据获得第一部分相邻参考像素的重构残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值,包括:将第一部分相邻参考像素的所述重构残差值与重构值相加,获得第一部分相邻参考像素的重构原始值;
根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码,包括:根据第一部分相邻参考像素的重构原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
11.一种视频编码器,其特征在于,包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块,用于对所述残差值进行无损压缩编码;
帧内预测编码模块,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测编码。
12.如权利要求11所述的视频编码器,其特征在于,所述残差编码模块具体用于:
对当前变换单元的全部相邻参考像素的所述残差值进行无损压缩编码;
或,对第一部分相邻参考像素的所述残差值进行无损压缩编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
13.一种视频解码器,其特征在于,包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差解码模块,用于无损压缩解码获得所述相邻参考像素的重构值与原始值的残差值;
原始值获得模块,用于将所述残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的原始值;
帧内预测解码模块,用于根据所述相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
14.如权利要求13所述的视频解码器,其特征在于,所述残差解码模块具体用于:无损压缩解码获得当前变换单元的全部相邻参考像素的所述残差值;
所述原始值获得模块具体用于:将当前变换单元的全部相邻参考像素的所述残差值与重构值相加,获得当前变换单元的全部相邻参考像素的原始值;
所述帧内预测解码模块具体用于:根据当前变换单元的全部相邻参考像素的原始值,对当前变换单元进行帧内图像预测解码。
15.如权利要求13所述的视频解码器,其特征在于,所述残差解码模块具体用于:无损压缩解码获得第一部分相邻参考像素的所述残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述原始值获得模块具体用于:将第一部分相邻参考像素的所述残差值与重构值相加,获得第一部分相邻参考像素的原始值;
所述帧内预测解码模块具体用于:根据第一部分相邻参考像素的原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
16.一种视频编码器,其特征在于,包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
残差计算模块,用于计算所述相邻参考像素的重构值与原始值的残差值;
残差编码模块,用于对所述残差值进行有损二次编码,获得所述相邻参考像素的重构残差值;
重构原始值计算模块,用于将所述重构值与所述重构残差值相加,获得所述相邻参考像素的重构原始值;
帧内预测编码模块,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测编码。
17.如权利要求16所述的视频编码器,其特征在于,所述残差编码模块具体用于:
对当前变换单元的全部相邻参考像素的所述残差值进行有损二次编码;
或,对第一部分相邻参考像素的所述残差值进行有损二次编码;其中,当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
18.一种视频解码器,其特征在于,包括:
参考像素确定模块,用于根据当前变换单元的预测模式,确定用于预测当前变换单元的相邻参考像素;
重构残差解码模块,用于解码有损二次编码的数据获得所述相邻参考像素的重构残差值;
重构原始值获得模块,用于将所述重构残差值与所述相邻参考像素的重构值相加,获得所述相邻参考像素的重构原始值;
帧内预测解码模块,用于根据所述相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
19.如权利要求18所述的视频解码器,其特征在于,所述重构残差解码模块具体用于:解码有损二次编码的数据获得当前变换单元的全部相邻参考像素的重构残差值;
所述重构原始值获得模块具体用于:将当前变换单元的全部相邻参考像素的所述重构残差值与重构值相加,获得当前变换单元的全部相邻参考像素的重构原始值;
所述帧内预测解码模块具体用于:根据当前变换单元的全部相邻参考像素的重构原始值,对当前变换单元进行帧内图像预测解码。
20.如权利要求18所述的视频解码器,其特征在于,所述重构残差解码模块具体用于:解码有损二次编码的数据获得第一部分相邻参考像素的重构残差值;当前变换单元的相邻参考像素由第一部分相邻参考像素和第二部分相邻参考像素组成;
所述重构原始值获得模块具体用于:将第一部分相邻参考像素的所述重构残差值与重构值相加,获得第一部分相邻参考像素的重构原始值;
所述帧内预测解码模块具体用于:根据第一部分相邻参考像素的重构原始值和第二部分相邻参考像素的重构值,对当前变换单元进行帧内图像预测解码;
所述第一部分相邻参考像素是根据当前变换单元的预测模式而确定出的用于参与预测当前变换单元的相邻参考像素;
所述第二部分相邻参考像素是全部相邻参考像素中除去所述第一部分相邻参考像素之后剩余的不参与预测当前变换单元的相邻参考像素。
CN201210035359.3A 2012-02-16 2012-02-16 帧内图像预测编解码方法及视频编解码器 Expired - Fee Related CN103260019B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210035359.3A CN103260019B (zh) 2012-02-16 2012-02-16 帧内图像预测编解码方法及视频编解码器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210035359.3A CN103260019B (zh) 2012-02-16 2012-02-16 帧内图像预测编解码方法及视频编解码器

Publications (2)

Publication Number Publication Date
CN103260019A CN103260019A (zh) 2013-08-21
CN103260019B true CN103260019B (zh) 2018-09-07

Family

ID=48963685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210035359.3A Expired - Fee Related CN103260019B (zh) 2012-02-16 2012-02-16 帧内图像预测编解码方法及视频编解码器

Country Status (1)

Country Link
CN (1) CN103260019B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104918050B (zh) * 2014-03-16 2019-11-08 上海天荷电子信息有限公司 使用动态排列重组的参考像素样值集的图像编解码方法
WO2020258053A1 (zh) * 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 图像分量预测方法、装置及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101389032A (zh) * 2008-10-24 2009-03-18 北京工商大学 一种基于图像插值的帧内预测编码方法
CN101783957A (zh) * 2010-03-12 2010-07-21 清华大学 一种视频预测编码方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101458471B1 (ko) * 2008-10-01 2014-11-10 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228797A (zh) * 2005-07-21 2008-07-23 三星电子株式会社 通过扩展方向帧内预测的应用对视频信号编码和解码的方法和设备
CN101389032A (zh) * 2008-10-24 2009-03-18 北京工商大学 一种基于图像插值的帧内预测编码方法
CN101783957A (zh) * 2010-03-12 2010-07-21 清华大学 一种视频预测编码方法和装置

Also Published As

Publication number Publication date
CN103260019A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
KR100725407B1 (ko) 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
EP3331242B1 (en) Image prediction method and device
TWI690201B (zh) 全方位視訊之解碼方法、編碼方法及電子設備
CN103797800B (zh) 推导参考模式值以及编码和解码表示预测模式的信息
CN104041035B (zh) 用于复合视频的无损编码及相关信号表示方法
JP6037341B2 (ja) 映像をデコーディングするための方法
WO2020253831A1 (zh) 一种编解码方法、装置及存储介质
TW201813383A (zh) 視訊編碼方法和設備和相關的視訊解碼方法和設備
CN103067716B (zh) 深度图像的编解码方法和编解码装置
CN103260018B (zh) 帧内图像预测编解码方法及视频编解码器
CN110024398A (zh) 针对屏幕远程处理场景的局部的基于散列的运动估计
CN105917650A (zh) 视频和图像编码/解码中的块向量预测
CN104718758A (zh) 变换域帧内预测
CN104704826B (zh) 两步量化和编码方法和装置
CN107888929A (zh) 视频编码解码方法、设备以及生成和存储比特流的方法
CN110225354A (zh) 用于高性能视频编码中的无损编码模式的环内滤波的装置
US20180199058A1 (en) Video encoding and decoding method and device
CN103975599A (zh) 图像编码以及解码方法、装置、程序
CN102696226B (zh) 复用码流信息的h264转码方法
CN109964483A (zh) 动态图像编码装置、动态图像解码装置以及程序
CN109246430B (zh) 虚拟现实360度视频快速帧内预测和cu划分提前决策
CN106341622A (zh) 一种多路视频流的编码方法及装置
CN105245896A (zh) Hevc并行运动补偿方法及装置
CN103260019B (zh) 帧内图像预测编解码方法及视频编解码器
CN102984524A (zh) 一种基于图层分解的视频编解码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180907

Termination date: 20220216