CN111629282B - 一种实时的纠删码编码冗余度动态调节方法 - Google Patents

一种实时的纠删码编码冗余度动态调节方法 Download PDF

Info

Publication number
CN111629282B
CN111629282B CN202010288207.9A CN202010288207A CN111629282B CN 111629282 B CN111629282 B CN 111629282B CN 202010288207 A CN202010288207 A CN 202010288207A CN 111629282 B CN111629282 B CN 111629282B
Authority
CN
China
Prior art keywords
time
rtt
data packet
packet
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010288207.9A
Other languages
English (en)
Other versions
CN111629282A (zh
Inventor
高一凡
曹瑞娟
刘正
曾雷
王乐
曹志辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dengli Technology Co ltd
Original Assignee
Beijing Chuangxiangyuan Science And Technology Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chuangxiangyuan Science And Technology Culture Co ltd filed Critical Beijing Chuangxiangyuan Science And Technology Culture Co ltd
Priority to CN202010288207.9A priority Critical patent/CN111629282B/zh
Publication of CN111629282A publication Critical patent/CN111629282A/zh
Application granted granted Critical
Publication of CN111629282B publication Critical patent/CN111629282B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784Data processing by the network
    • H04N21/64792Controlling the complexity of the content stream, e.g. by dropping packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738Monitoring network characteristics, e.g. bandwidth, congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种实时的纠删码编码冗余度动态调节方法,采用基于发送端的实时连续统计对网络状况做出准确判断并对短期内网络状况进行预测,并以此作为动态调节纠删码冗余度的依据。最终实现***对网络丢包现象解耦的同时,减少冗余包对网络带宽的消耗,达到提高网络利用率和发送效率的目的。

Description

一种实时的纠删码编码冗余度动态调节方法
技术领域
本发明属于视频传输技术领域,具体涉及一种实时的纠删码编码冗余度动态调节方法。
背景技术
实时流媒体视频传输中的前向纠错技术往往使用固定的编码冗余度,这使得进入网络的数据包数目成比例地大量增加。一些研究从H264编码的一组视频帧(GOP)的角度对视频数据进行纠删码编码。这种编码方案中纠删码冗余度一般是固定不变的,其中视频压缩编码属于帧间编码,进行纠删码编码时,位于同一组的编码帧会被重复编码,并且一组纠删码数据包中不会含有后续的视频帧数据,进而实现视频帧级别的编码,最终降低接收端组包过程产生的延迟。
一些文献中参与纠删码编码的每组视频数据包包含当前帧和同一组相关的视频帧(GOP)中的所有之前的帧,按照固定的冗余度进行编码。一方面,同一组纠删码数据包中不会包含后续的视频帧,并且没有视频帧拆组包过程,因此不会因为等待后续数据包而产生延迟;另一方面,若因为数据包丢失导致某一组的视频帧不能被解码,能够通过下一组中相关的视频帧数据进行恢复。因为出现突发丢包时相邻数据包的丢失概率存在一定的关系,部分文献在前面工作的基础上,将冗余包的位置调整到每组数据包的中间,使得出现突发丢包时,被丢弃的包是冗余包的概率增加,从而使传输过程更加顺利。
某些文献采取了措施:基于接收端反馈采用固定冗余度产生冗余包对纠删码数据包实际输出个数进行动态调整,但是存在缺点是由于网络状况的随机性接收端反馈延时会带来调整误差;另一些文献采取了措施:基于多接收端反馈采用固定冗余度产生冗余包,但缺点是计算复杂、编码过程耗费大量时间;还有一些文献采取了以下措施:基于接收端反馈依据量化参数调整冗余度方法,数据包个数固定,而缺点是依赖接收端的周期性反馈。
发明内容
针对上述提到的现有技术中的问题,提出一种实时的纠删码编码冗余度动态调节方法,其特征在于,包括:
步骤1,生成视频序列,所述视频序列中包括多个的数据帧;
步骤2,发送端传输视频序列;
步骤3,发送端对网络传输状态进行连续实时统计,实时动态地调节纠删码冗余度;
步骤4,接收端接收发送端传输的视频序列;
步骤5,对网络传输状态进行性能分析。
本发明实现了纠删码编码冗余度的更准确调节。与现有文献不同之处在于,本发明采用基于发送端的实时连续统计对网络状况做出准确判断并对短期内网络状况进行预测,并以此作为动态调节纠删码冗余度的依据。最终实现***对网络丢包现象解耦的同时,减少冗余包对网络带宽的消耗,达到提高网络利用率和发送效率的目的。
本发明实现了基于发送端依靠对丢包情况进行统计学运算进而对网络状况进行实时估计,与现有技术通过接收端反馈网络波动的方式不同,本发明在发送端对网络丢包状况进行统计,减少了因为接收端反馈过程带来的统计过程延迟。通过发送端统计丢包率可以在一个往返时延内得到数据包的传输结果,在丢包率统计周期结束时即得到丢包统计结果,而接收端需要额外的反馈与处理过程。另外,在线统计检验过程中通过滑动窗口的方式更新用于检验的均值与标准差,使统计过程更加及时。并且,相比于以视频帧为单位和编码后每组数据包总数不同的传输方式,通过定常速率的传输方式,可以实现数据包稳定高效的传输,一方面可以保证单位时间内进入网络的数据量保持恒定,另一方面降低因数据包发送间隔的不同而产生的延迟。
对比现有方法,本发明与固定冗余度相比更加传输效率更高,并且与基于接收端反馈进行动态调节冗余度相比更灵活可靠传输更稳定。
附图说明
图1本发明方法流程图;
图2数据包往返时延统计分布图。
具体实施方式
为了更好地理解本发明,下面结合附图参考实施例的描述,对本发明的***进行进一步的说明。
为了全面理解本发明,在以下详细描述中提到了众多具体细节。但是本领域技术人员应该理解,本发明可以无需这些具体细节而实现。在实施例中,不详细描述公知的方法、过程、组件,以免不必要地使实施例繁琐。
参见图1-2所示,本发明提供了一种实时的纠删码编码冗余度动态调节方法,包括:
步骤1,生成视频序列,所述视频序列中包括多个的数据帧;
步骤2,发送端传输视频序列;
步骤3,发送端对网络传输状态进行连续实时统计,实时动态地调节纠删码冗余度;
步骤4,接收端接收发送端传输的视频序列;
步骤5,对网络传输状态进行性能分析。
优选地,其中,所述步骤3,发送端对网络传输状态进行连续实时统计,实时动态地调节纠删码冗余度,具体包括:
步骤3-1,统计一段时间内N次连续的数据包网络往返时延,得到初始化的该段时间内数据包往返时延的平均值μRTT和标准差σRTT
步骤3-2,对该段时间内连续的数据包往返时延进行统计确定时延阈值λ′RTT=μRTT+2σRTr
步骤3-3,获取发送端传输当前的单个数据包往返时延λRTT
步骤3-4,将当前的数据包往返时延λRTT与通过对该包之前连续数据包的传输时延进行统计得到的时延阈值λ′RTT进行比较;
若出现λRTT≥λ′RTT,则表示数据包往返时延过长,判定为该当前数据包在网络传输过程中丢失,记录一次丢包;
若λRTT<λ′RTT,则表示数据包往返时延正常,使用滑动窗口的方式,设置窗口大小为M,每当得到新的数据包确认信息后,去掉窗口中最早的往返时延,将新的结果加入该窗口中,实现对数据包往返时延及数据包丢失情况的实时监测;
步骤3-5,发送端根据公式(1),得到丢包率结果,其中Nsend和Nloss分别表示一个统计周期内发送的数据包总数和丢失的数据包个数,r表示丢包率;
r=(Nsend-Nloss)/Nsend (1)
步骤3-6,根据N次数据包传输丢包率的统计,得到该段时间内数据包丢包率的平均值μPLR和标准差σPLR
步骤3-7,计算纠删码编码冗余度调整的参考比率:
rate=μPLR+3σPLR (2)
步骤3-8,根据纠删码编码冗余度调整的参考比率rate,调整发送端纠删码编码冗余度,更新数据包个数与冗余包个数;
步骤3-9,使用滑动窗口的方式,设置窗口大小为M,每当得到新的丢包率后,去掉窗口中最早的丢包率数据,将新的结果加入该窗口中,实现对网络状况的实时监测。
优选地,其中,N=10。
优选地,其中,窗口大小为M=10
优选地,其中,统计周期为300ms。
优选地,其中,所述步骤2,采用发送端采用定常速率输出传输所述视频序列。
优选地,其中,所述采用发送端采用定常速率输出传输所述视频序列,具体包括:
步骤2-1,预设标准包长为m;
步骤2-2,获取一帧视频数据后,确定该视频帧的长度L;
步骤2-3,判断视频帧的长度,若该视频帧的长度L大于标准包长m,则将该视频数据拆分为L/m份长度不超过L的视频数据包,并在视频数据包的包头中添加相应的拆组包控制信息;若该视频帧的长度L不大于标准包长m,则不进行拆分,使用一个视频数据包发送这些数据;
步骤2-4,根据当前的网络可用带宽和视频码率,为视频数据包编码相应冗余度的冗余包;
步骤2-1,将数据包进行发送,所述数据包包括视频数据包和冗余包。
优选地,其中,所述步骤4,接收端接收发送端传输的视频序列,具体包括:
步骤4-1,数据包达到接收端后,接收端通过包头信息将数据包放到视频帧的组包缓冲区中对应的位置;
步骤4-2,当数据包中的数据被组合成一帧完整的数据后,视频帧被放置到播放缓冲区中。
优选地,其中,所述步骤4-2,当数据包中的数据被组合成一帧完整的数据后,视频帧被放置到播放缓冲区中,具体包括:
步骤4-2-1,将接收端处的播放缓冲区划分为三种不同的区域A、B、c,其中,B区域是实际存在的帧缓冲区,表示等待播放的帧缓冲区,A区域表示已经播放结束的视频的缓冲区,c区域表示后续的视频帧的缓冲区。
步骤4-2-2,判断当前收到的数据包中的帧号位于的区域,如果当前收到的数据包中的帧号位于A区域,说明已被解码的视频帧数据到达,则直接将该包丢弃;如果当前收到的数据包中的帧号位于B区域,则直接按照包号将其中的视频数据放到对应的缓冲区位置;如果当前收到的数据包中的帧号位于c区域,则表示后续的视频帧已经到达,这时若B区域仍然含有尚未播放的不完整视频帧,为了不影响播放过程的时延,则直接播放当前收到的后续的视频帧。
本发明实现了纠删码编码冗余度的更准确调节。与现有文献不同之处在于,本发明采用基于发送端的实时连续统计对网络状况做出准确判断并对短期内网络状况进行预测,并以此作为动态调节纠删码冗余度的依据。最终实现***对网络丢包现象解耦的同时,减少冗余包对网络带宽的消耗,达到提高网络利用率和发送效率的目的。
本发明实现了基于发送端依靠对丢包情况进行统计学运算进而对网络状况进行实时估计,与现有技术通过接收端反馈网络波动的方式不同,本发明在发送端对网络丢包状况进行统计,减少了因为接收端反馈过程带来的统计过程延迟。通过发送端统计丢包率可以在一个往返时延内得到数据包的传输结果,在丢包率统计周期结束时即得到丢包统计结果,而接收端需要额外的反馈与处理过程。另外,在线统计检验过程中通过滑动窗口的方式更新用于检验的均值与标准差,使统计过程更加及时。并且,相比于以视频帧为单位和编码后每组数据包总数不同的传输方式,通过定常速率的传输方式,可以实现数据包稳定高效的传输,一方面可以保证单位时间内进入网络的数据量保持恒定,另一方面降低因数据包发送间隔的不同而产生的延迟。
对比现有方法,本发明与固定冗余度相比更加传输效率更高,并且与基于接收端反馈进行动态调节冗余度相比更灵活可靠传输更稳定。
这里只说明了本发明的优选实施例,但其意并非限制本发明的范围、适用性和配置。相反,对实施例的详细说明可使本领域技术人员得以实施。应能理解,在不偏离所附权利要求书确定的本发明精神和范围情况下,可对一些细节做适当变更和修改。

Claims (5)

1.一种实时的纠删码编码冗余度动态调节方法,其特征在于,包括:
步骤1,生成视频序列,所述视频序列中包括多个的数据帧;
步骤2,发送端传输视频序列;
步骤3,发送端对网络传输状态进行连续实时统计,实时动态地调节纠删码冗余度;
步骤4,接收端接收发送端传输的视频序列;
步骤5,对网络传输状态进行性能分析;
所述步骤3,发送端对网络传输状态进行连续实时统计,实时动态地调节纠删码冗余度,具体包括:
步骤3-1,统计一段时间内N次连续的数据包网络往返时延,得到初始化的该段时间内数据包往返时延的平均值μRTT和标准差σRTT
步骤3-2,对该段时间内连续的数据包往返时延进行统计确定时延阈值λ′RTT=μRTT+2σRTT
步骤3-3,获取发送端传输当前的单个数据包往返时延λRTT
步骤3-4,将当前的数据包往返时延λRTT与通过对该包之前连续数据包的传输时延进行统计得到的时延阈值λ′RTT进行比较;
若出现λRTT≥λ′RTT,则表示数据包往返时延过长,判定为该当前数据包在网络传输过程中丢失,记录一次丢包;
若λRTT<λ′RTT,则表示数据包往返时延正常,使用滑动窗口的方式,设置窗口大小为M,每当得到新的数据包确认信息后,去掉窗口中最早的往返时延,将新的结果加入该窗口中,实现对数据包往返时延及数据包丢失情况的实时监测;
步骤3-5,发送端根据公式(1),得到丢包率结果,其中Nsend和Nloss分别表示一个统计周期内发送的数据包总数和丢失的数据包个数,r表示丢包率;
r=(Nsend-Nloss)/Nsend (1)
步骤3-6,根据N次数据包传输丢包率的统计,得到该段时间内数据包丢包率的平均值μPLR和标准差σPLR
步骤3-7,计算纠删码编码冗余度调整的参考比率:
rate=μPLR+3σPLR (2)
步骤3-8,根据纠删码编码冗余度调整的参考比率rate,调整发送端纠删码编码冗余度,更新数据包个数与冗余包个数;
步骤3-9,使用滑动窗口的方式,设置窗口大小为M,每当得到新的丢包率后,去掉窗口中最早的丢包率数据,将新的结果加入该窗口中,实现对网络状况的实时监测。
2.根据权利要求1所述的方法,其中,N=10。
3.根据权利要求1所述的方法,其中,窗口大小为M=10。
4.根据权利要求1所述的方法,其中,统计周期为300ms。
5.根据权利要求1所述的方法,其中,所述步骤2,采用发送端采用定常速率输出传输所述视频序列。
CN202010288207.9A 2020-04-13 2020-04-13 一种实时的纠删码编码冗余度动态调节方法 Expired - Fee Related CN111629282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010288207.9A CN111629282B (zh) 2020-04-13 2020-04-13 一种实时的纠删码编码冗余度动态调节方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010288207.9A CN111629282B (zh) 2020-04-13 2020-04-13 一种实时的纠删码编码冗余度动态调节方法

Publications (2)

Publication Number Publication Date
CN111629282A CN111629282A (zh) 2020-09-04
CN111629282B true CN111629282B (zh) 2021-02-09

Family

ID=72272933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010288207.9A Expired - Fee Related CN111629282B (zh) 2020-04-13 2020-04-13 一种实时的纠删码编码冗余度动态调节方法

Country Status (1)

Country Link
CN (1) CN111629282B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114710238B (zh) * 2022-03-30 2023-11-17 蚂蚁区块链科技(上海)有限公司 纠删码算法冗余度确定方法及区块链节点
CN115225209A (zh) * 2022-09-20 2022-10-21 江苏为是科技有限公司 数据发送、传输方法、发送装置、传输***和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834700A (zh) * 2010-05-12 2010-09-15 北京邮电大学 一种基于数据包的单向可靠传输方法及收发装置
CN102624492A (zh) * 2012-04-19 2012-08-01 哈尔滨工业大学深圳研究生院 一种应用于高频段的自适应纠删编码技术
CN104159166A (zh) * 2014-08-07 2014-11-19 西安交通大学 基于移动网络丢包状态的直播视频数据传输差错控制方法
US9280416B1 (en) * 2011-12-30 2016-03-08 Emc Corporation Selection of erasure code parameters for no data repair
CN105824721A (zh) * 2016-03-14 2016-08-03 浙江宇视科技有限公司 一种数据存储***及其存储纠删方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1328092A1 (en) * 2002-01-11 2003-07-16 Alcatel Method for treating packets of data transmitted with variable delays
CN1845611A (zh) * 2005-04-08 2006-10-11 华为技术有限公司 基于h.264的视频传输保护方法
CN100466725C (zh) * 2005-11-03 2009-03-04 华为技术有限公司 多媒体通信方法及其终端
BR112015009944A2 (pt) * 2012-11-08 2017-10-03 Q Factor Communications Corp Aparelhos de transmissão de pacotes, sistema de comunicação para transmitir ou receber pacote, métodos para transferir confiavelmente dados de fonte de dados a receptor de dados, algoritmo e método para transmitir blocos de dados.
US9344120B2 (en) * 2014-02-13 2016-05-17 Quantum Corporation Adjusting redundancy in an erasure code object store to account for varying data value
CN104393960B (zh) * 2014-12-09 2017-08-11 南京邮电大学 一种基于纠删码的卫星网络星地多路径可靠传输方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834700A (zh) * 2010-05-12 2010-09-15 北京邮电大学 一种基于数据包的单向可靠传输方法及收发装置
US9280416B1 (en) * 2011-12-30 2016-03-08 Emc Corporation Selection of erasure code parameters for no data repair
CN102624492A (zh) * 2012-04-19 2012-08-01 哈尔滨工业大学深圳研究生院 一种应用于高频段的自适应纠删编码技术
CN104159166A (zh) * 2014-08-07 2014-11-19 西安交通大学 基于移动网络丢包状态的直播视频数据传输差错控制方法
CN105824721A (zh) * 2016-03-14 2016-08-03 浙江宇视科技有限公司 一种数据存储***及其存储纠删方法

Also Published As

Publication number Publication date
CN111629282A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN101061659B (zh) 自适应前向纠错的方法和设备
RU2497304C2 (ru) Динамическая модификация свойств видео
US8135856B2 (en) Data streaming through time-varying transport media
CN102325274B (zh) 一种自适应网络带宽的视频流传输控制方法
US9112947B2 (en) Flow-rate adaptation for a connection of time-varying capacity
CN111629282B (zh) 一种实时的纠删码编码冗余度动态调节方法
JP5768292B2 (ja) 経時変化するトランスポートメディアによるデータのストリーミング
Ray et al. Vantage: optimizing video upload for time-shifted viewing of social live streams
CN110113662B (zh) 一种适应多种网络状况的视频监控客户端***
WO2010003338A1 (zh) 一种视频码流的质量评估方法、装置及***
US7072291B1 (en) Devices, softwares and methods for redundantly encoding a data stream for network transmission with adjustable redundant-coding delay
JP4327674B2 (ja) 映像品質管理方法および映像品質管理システム
CN111886875B (zh) 一种通过网络传送媒体内容的方法及服务器
CN111629232A (zh) 一种基于深度学习的实时视频传输自适应前向纠错方法和***
EP2256991A1 (en) Method and device for determining types of packet loss in a communication network
Kuo et al. Modeling and analysis of frame-level forward error correction for MPEG video over burst-loss channels
CN111629279B (zh) 一种基于定长格式的视频数据传输方法
CN109348222B (zh) 一种参考帧的选取方法
EP2227023A1 (en) Video streaming
Sohn et al. Adaptive packet-level FEC algorithm for improving the video quality over IEEE 802.11 networks
KR100937099B1 (ko) 영상 전송시 소스-채널 결합 부호화의 부호율 결정 방법및 이를 이용한 영상 전송 시스템
CN111629281B (zh) 一种视频传输中基于网络丢包率分布的在线连续检验方法
JP4354962B2 (ja) 映像品質推定装置および映像品質推定方法
CN111601177B (zh) 一种基于数据包往返时延分布的在线连续检验方法
CN202261655U (zh) 受限带宽下的多路视频自适应编码传输***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210706

Address after: 230094 1102-b098, 11th floor, Zhongxin Wangan building, intersection of Chuangxin Avenue and Wangjiang West Road, high tech Zone, Hefei City, Anhui Province

Patentee after: Hefei Dengli Technology Co.,Ltd.

Address before: 100024 1606, block B, Rongfu center, Aocheng, Chaoyang District, Beijing

Patentee before: Beijing chuangxiangyuan science and technology culture Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210209

CF01 Termination of patent right due to non-payment of annual fee