CN105681808B - 一种scc帧间编码单元模式的快速决策方法 - Google Patents

一种scc帧间编码单元模式的快速决策方法 Download PDF

Info

Publication number
CN105681808B
CN105681808B CN201610148037.8A CN201610148037A CN105681808B CN 105681808 B CN105681808 B CN 105681808B CN 201610148037 A CN201610148037 A CN 201610148037A CN 105681808 B CN105681808 B CN 105681808B
Authority
CN
China
Prior art keywords
depth
interframe
skip
rdo
criterions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610148037.8A
Other languages
English (en)
Other versions
CN105681808A (zh
Inventor
张冬冬
王菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201610148037.8A priority Critical patent/CN105681808B/zh
Publication of CN105681808A publication Critical patent/CN105681808A/zh
Application granted granted Critical
Publication of CN105681808B publication Critical patent/CN105681808B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种SCC帧间编码单元模式的快速决策方法。本发明利用了SCC编码单元Hash帧间搜索模式的信息和编码单元的空间一致性,对不同深度的编码单元模式分布进行统计分析,并采取不同预测方式缩减预测模式范围以保证预测的准确率。在不同深度,利用基于Hash的帧间搜索的结果以及相邻CU的信息,减少编码单元预测模式候选范围,从而避免没有必要的模式搜索过程。对于深度为0的编码单元,预测是否跳过Inter2Nx2N、Skip、帧间分割预测模式以及帧内预测模式模式;对于深度为1的编码单元,预测是否跳过Inter2Nx2N、帧间分割预测模式以及帧内预测模式。该方法可以有效地减少编码单元的模式搜索范围,从而有效减少SCC帧间编码的复杂度。

Description

一种SCC帧间编码单元模式的快速决策方法
技术领域
本发明涉及屏幕内容编码(Screen Content Coding,SCC)领域,特别涉及SCC帧间编码中编码单元模式的决策技术。
背景技术
随着视频会议、远程桌面控制等应用越来越广泛,人们对于像动画、带有文字图表的图像等屏幕视频的需求越来越大,目前基于HEVC(High Efficiency Video Coding)视频压缩编码标准的SCC的标准仍在完善中,SCC沿用了HEVC编码标准所采用的四叉树结构的编码单元划分方式,编码单元(Coding Unit,CU)的大小为64x64、32x32、16x16和8x8,分别对应CU的深度层次为0、1、2、3。其中深度为0的CU记为LCU(Largest Coding Unit),深度为3的CU记为SCU(Smallest Coding Unit)。考虑到屏幕视频序列不同于自然视频的特点,SCC为了提高编码效率,在沿用原有技术的基础上添加了调色板模式(Palette Mode)、帧内块复制(Intra Block Copy,IntraBC)、自适应颜色变换、基于Hash的帧间搜索、自适应运动矢量分辨率决定等技术,具体参见文献1(JCTVC-U1014,R.Joshi,S.Liu,J.Xu,Y.Ye,"Screencontent coding test model 5,"Warsaw,Poland,June 2015.)。
基于Hash的帧间搜索能够有效地提升SCC编码器效率,具体参见文献2(Li B,XuJ,Wu F.A unified framework of hash-based matching for screen content coding[C]//Visual Communications and Image Processing Conference,2014IEEE.IEEE,2014:530-533.),但其他编码模式的引入增加了编码器的复杂度,因此SCC编码器仍然有较高的复杂度,亟待进一步优化。目前研究人员已经对SCC帧内编码的复杂度进行了优化,并取得了良好的效果,如文献3利用平均像素代价来提前决定SCC帧内编码CU的尺寸(SaurtyK,Catherine P C,Soyjaudah K M.Early CU size determination in HEVC intraprediction using Average Pixel Cost[C]//Digital Information and CommunicationTechnology and it's Applications(DICTAP),2014Fourth International Conferenceon.IEEE,2014:247-252.)。文献4则提出了一种基于熵和编码比特数的快速帧内编码树单元深度决策算法(Zhang M,Guo Y,Bai H.Fast intra partition algorithm for HEVCscreen content coding[C]//Visual Communications and Image ProcessingConference,2014IEEE.IEEE,2014:390-393.)。
发明内容
本发明的目的在于提供一种SCC帧间CU模式的快速决策方法。
目前较少研究涉及SCC帧间编码复杂度优化,而本发明正是针对SCC帧间模式选择过程进行优化,具体对深度为0、1的CU及预测单元(Prediction Unit,PU)进行模式缩减,从而减少CU在模式选择过程中所带来的不必要的计算复杂度。
本发明技术方案,可概括为:利用了SCC编码单元Hash帧间搜索模式的信息和编码单元的空间一致性,对不同深度的编码单元模式分布进行统计分析,并采取不同预测方式缩减预测模式范围以保证预测的准确率。在不同深度,利用基于Hash的帧间搜索的结果以及相邻CU的信息,减少编码单元预测模式候选范围,从而避免没有必要的模式搜索过程。对于深度为0的编码单元,预测是否跳过Inter2Nx2N、Skip、帧间分割预测模式(包括Inter2NxN、InterNx2N、Inter2NxnU、Inter2NxnD、InternRx2N、InternLx2N模式)以及帧内预测模式(包括IntraBC、Intra、IntraCSC、IntraBCMerge、Palette模式);对于深度为1的编码单元,预测是否跳过Inter2Nx2N、帧间分割预测模式以及帧内预测模式。该方法可以有效地减少编码单元的模式搜索范围,从而有效减少SCC帧间编码的复杂度。
本发明技术方案,一种SCC帧间CU模式的快速决策方法,其特征在于,包括以下步骤:
对于深度为2和3的CU,按照SCM5.4标准流程进行搜索;对于深度0和深度1的CU,得到使用基于Hash的帧间搜索算法的匹配结果,如果匹配成功,则利用率失真优化(RateDistortion Optimization,RDO)检测其他模式;如果匹配失败,获取当前CU的相邻CU的深度,并将左边CU的深度标记为LeftCUDepth,上边CU的深度标记为AboveCUDepth
a)对于深度为0的CU,首先使用基于Hash的帧间搜索算法进行匹配,如果匹配成功,则检测Skip模式,并用RDO准则确定最优模式,然后结束当前LCU的编码;如果匹配失败,则获取相邻CU的深度值LeftCUDepth和AboveCUDepth,将相邻CU深度的比较结果记为Flag0,并按照公式(1)计算Flag0。如果满足Flag0为1,则跳过当前层其他模式的预测,并用RDO准则确定最优模式,然后直接编码下一层的CU;否则检测其他模式,并用RDO准则确定最优模式,然后编码下一层的CU。
b)对于深度为1的CU,首先使用基于Hash的帧间搜索算法进行匹配,如果匹配成功,则检测其他模式;如果匹配失败,则获取相邻CU深度LeftCUDepth和AboveCUDepth,将相邻CU深度的比较结果记为Flag1,并按照公式(2)判断Flag1,如果满足Flag1为1,则只进行Skip模式预测,然后跳过当前层其他模式的预测,并用RDO准则确定最优模式,直接编码下一层的CU;否则检测其他模式,并用RDO准则确定最优模式,然后编码下一层的CU。
c)对于深度为2、3的CU,检测所有模式,并用RDO准则确定最优模式,如果CU的深度为2,则编码下一层CU。
d)用递归的方式,选出最优模式和最优深度,然后结束当前LCU的编码,编码下一个LCU。
采用上述方案,本发明的有益效果是:
1.本发明首先利用了CU的基于Hash帧间搜索模式的信息和CU空间一致性的特点,对不同深度的CU模式进行统计分析,并采取不同的预测方式缩减预测模式范围,并保证预测的正确率。
2.本发明综合考虑了SCC视频序列的特性,可以有效地缩减预测CU的候选模式,从而可以在几乎不损失编码质量的情况下,显著提高SCC帧间编码效率。
附图说明
图1是在不同QP下CU当前深度为0和1时,SCM5.4使用基于Hash的帧间搜索匹配不成功时,CU继续向下划分的百分比。
图2是在不同QP下CU当前深度为0和1时,使用本发明模式预测正确的百分比。
图3是基于Hash帧间搜索结果所制定的当CU深度为0和1时SCC帧间模式决策的流程图。
图4是本发明的实验结果。
具体实施方式
本发明首先统计了SCC参考软件平台(SCM5.4)中,不同量化参数(QuantizationParameter,QP)下多个序列在CU深度为0和1时,使用基于Hash的帧间搜索匹配不成功的所有CU中,被向下划分的CU所占比例,具体统计结果参见图1。统计结果显示平均约百分之八十的块在使用基于Hash的帧间搜索匹配不成功时是向下划分的,同时,本发明同时采用CU的相邻CU深度信息提高预测模式的准确率。综合上述信息,本发明利用SCC视频序列的空间一致性的特点以及基于Hash的帧间搜索匹配结果,进一步缩减CU深度为0和1的预测模式范围。为达到上述目的,本发明的解决方案是,根据基于Hash的帧间搜索的匹配结果以及相邻CU(当前正在编码的CU左边和上面的CU)深度信息决定缩减范围,同时,由于CU的预测模式在不同深度有不同的候选范围,所以本发明针对不同深度设计了不同方案。即对于深度为0的CU,如果基于Hash的帧间搜索算法没有匹配成功,且相邻CU的深度至少有一个大于0,则跳过Inter2Nx2N、Skip、帧间分割预测模式和帧内预测模式;对于深度为1的块,如果基于Hash的帧间搜索算法没有匹配成功,且相邻CU的深度同时大于1,则检测Skip模式,跳过Inter2Nx2N、帧间分割预测模式和帧内模预测式。图2所示为在不同QP下CU当前深度为0和1时,使用本发明模式预测正确的百分比。
以下结合附图3所示流程图对本发明作进一步的说明。
步骤1:基于SCC通用的测试平台SCM5.4,对于一个编码单元,首先进行Hash的匹配搜索,然后判断其深度。如果CU的深度为0,转步骤2。如果CU的深度为1,转步骤3。如果CU的深度为2或3,转步骤4。
步骤2:对于深度为0的CU,首先对基于Hash帧间搜索的匹配结果进行判断,如果匹配成功,则只检测Skip模式,并用RDO准则确定最优模式,转步骤6。如果没有匹配成功,则获取当前CU相邻的CU的深度AboveCUDepth和LeftCUDepth,使用公式(1)计算Flag0,如果Flag0为1,则跳过当前层其他所有模式的搜索,并用RDO准则确定最优模式,然后转步骤5。如果Flag0为0,按照SCM5.4标准流程检测其他模式,并用RDO准则确定最优模式,然后转步骤5。
步骤3:对于深度为1的CU,首先对基于Hash帧间搜索的匹配结果进行判断,如果匹配成功,按照SCM5.4标准流程检测其他模式,并用RDO准则确定最优模式,转步骤5;否则,获取当前CU的相邻CU的深度AboveCUDepth和LeftCUDepth,使用公式(2)计算Flag1,如果Flag1为1,则只检测Skip模式,并用RDO准则确定最优模式,转步骤5,如果Flag1为0,按照SCM5.4标准流程检测其他模式,并用RDO准则确定最优模式,然后转步骤5。
步骤4:对于深度为2和3的CU,按照SCM5.4标准流程检测其他模式,并用RDO准则确定最优模式,如果CU深度为2,转步骤5;如果CU的深度为3,转步骤6。
步骤5:编码下一层CU。
步骤6:用递归的方式选取最优深度和最优模式,当前LCU编码结束。

Claims (1)

1.一种SCC帧间CU模式的快速决策方法,其特征在于,包括以下步骤:
对于深度为2和3的CU,按照SCM5.4标准流程进行搜索;对于深度0和深度1的CU,得到使用基于Hash的帧间搜索模式算法的匹配结果,如果匹配成功,对于深度为0的CU则进一步检测Skip模式,并利用率失真优化(Rate Distortion Optimization,RDO)准则确定最优模式;对于深度为1的CU按照SCM5.4标准流程检测Inter2Nx2N、Skip、帧间分割预测模式以及帧内预测模式,并用RDO准则确定最优模式;
如果匹配失败,获取当前CU的相邻CU的深度,并将左边CU的深度标记为LeftCUDepth,上边CU的深度标记为AboveCUDepth
a)对于深度为0的CU,首先使用基于Hash的帧间搜索算法进行匹配,如果匹配成功,则检测Skip模式,并用RDO准则确定最优模式,然后结束当前LCU的编码;如果匹配失败,则获取相邻CU的深度值LeftCUDepth和AboveCUDepth,将相邻CU深度的比较结果记为Flag0,并按照公式(1)计算Flag0;如果满足Flag0为1,则跳过当前层其他模式的预测,并用RDO准则确定最优模式,然后直接编码下一层的CU;否则按照SCM5.4标准流程检测Inter2Nx2N、Skip、帧间分割预测模式以及帧内预测模式,并用RDO准则确定最优模式,然后编码下一层的CU;
b)对于深度为1的CU,首先使用基于Hash的帧间搜索算法进行匹配,如果匹配成功,则按照SCM5.4标准流程检测Inter2Nx2N、Skip、帧间分割预测模式以及帧内预测模式,并用RDO准则确定最优模式;如果匹配失败,则获取相邻CU深度LeftCUDepth和AboveCUDepth,将相邻CU深度的比较结果记为Flag1,并按照公式(2)判断Flag1,如果满足Flag1为1,则只进行Skip模式预测,然后跳过当前层其他模式的预测,并用RDO准则确定最优模式,直接编码下一层的CU;否则按照SCM5.4标准流程检测Inter2Nx2N、Skip、帧间分割预测模式以及帧内预测模式,并用RDO准则确定最优模式,然后编码下一层的CU;
c)对于深度为2、3的CU,检测所有模式,并用RDO准则确定最优模式,如果CU的深度为2,则编码下一层CU;
d)用递归的方式,选出最优模式和最优深度,然后结束当前LCU的编码,编码下一个LCU。
CN201610148037.8A 2016-03-16 2016-03-16 一种scc帧间编码单元模式的快速决策方法 Expired - Fee Related CN105681808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610148037.8A CN105681808B (zh) 2016-03-16 2016-03-16 一种scc帧间编码单元模式的快速决策方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610148037.8A CN105681808B (zh) 2016-03-16 2016-03-16 一种scc帧间编码单元模式的快速决策方法

Publications (2)

Publication Number Publication Date
CN105681808A CN105681808A (zh) 2016-06-15
CN105681808B true CN105681808B (zh) 2017-10-31

Family

ID=56310555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610148037.8A Expired - Fee Related CN105681808B (zh) 2016-03-16 2016-03-16 一种scc帧间编码单元模式的快速决策方法

Country Status (1)

Country Link
CN (1) CN105681808B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107396112B (zh) * 2017-08-01 2021-03-09 深信服科技股份有限公司 一种编码方法及装置、计算机装置、可读存储介质
CN107623850B (zh) * 2017-09-26 2019-11-22 杭州电子科技大学 一种基于时空相关性的快速屏幕内容编码方法
SG11202005658VA (en) * 2017-12-14 2020-07-29 Beijing Kingsoft Cloud Network Technology Co Ltd Coding unit division decision method and device, encoder, and storage medium
CN109151467B (zh) * 2018-09-10 2021-07-13 重庆邮电大学 基于图像块活动性的屏幕内容编码帧间模式快速选择方法
CN111246220B (zh) * 2020-01-20 2021-10-15 中南大学 一种基于vvc帧内编码的深度预测方法、设备及存储介质
CN113079373A (zh) * 2021-04-01 2021-07-06 北京允博瑞捷信息科技有限公司 一种基于hevc-scc的视频编码方法
CN113613018A (zh) * 2021-08-18 2021-11-05 广州佰锐网络科技有限公司 Scc帧内编码单元候选预测模式缩减方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
CN103702122A (zh) * 2013-12-18 2014-04-02 华为技术有限公司 编码模式选择方法、装置及编码器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206346B2 (en) * 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
CN103024395B (zh) * 2012-12-31 2015-08-12 清华大学 多视点视频编码模式选择方法及装置
CN103813178B (zh) * 2014-01-28 2017-01-25 浙江大学 一种基于编码单元深度时空相关性的快速hevc编码方法
CN105491390B (zh) * 2015-11-30 2018-09-11 哈尔滨工业大学 混合视频编码标准中帧内预测方法
CN105430407B (zh) * 2015-12-03 2018-06-05 同济大学 应用于h.264到hevc转码的快速帧间模式决策方法
CN105721865A (zh) * 2016-02-01 2016-06-29 同济大学 一种hevc帧间编码单元划分的快速决策算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984521A (zh) * 2012-12-12 2013-03-20 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
CN103702122A (zh) * 2013-12-18 2014-04-02 华为技术有限公司 编码模式选择方法、装置及编码器

Also Published As

Publication number Publication date
CN105681808A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105681808B (zh) 一种scc帧间编码单元模式的快速决策方法
CN104954790B (zh) 产生量化块的方法
CN106067977B (zh) 用于对图像进行编码的装置
Tsai et al. Intensity gradient technique for efficient intra-prediction in H. 264/AVC
CN103096067B (zh) 产生重构块的方法
CN104967847B (zh) 视频数据的解码方法
CN103096072A (zh) 视频数据的解码方法
CN108347610A (zh) 合并模式下的图像解码方法
CN107426568A (zh) 用于对色度图像解码的方法
CN108495133A (zh) 推导量化参数的方法
Ting et al. Gradient-based PU size selection for HEVC intra prediction
CN104954787A (zh) Hevc帧间预测模式选择方法及装置
CN105812796B (zh) 一种scc帧间编码单元备选预测模式缩减方法
EP2908524A1 (en) An apparatus for encoding an ultra-high definition video sequence
Liu et al. Fast intra-mode decision algorithm for HEVC based on texture direction
Jia et al. An efficient coding of intra picture prediction modes for H. 264/AVC
Wu et al. A comparative study of H. 264 and AVS-M fast intra mode decision
KR20130019737A (ko) Sdip 모드의 색차성분 부호화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171031

Termination date: 20200316

CF01 Termination of patent right due to non-payment of annual fee