CN103888766A - 产生随机运动图像视频源的*** - Google Patents

产生随机运动图像视频源的*** Download PDF

Info

Publication number
CN103888766A
CN103888766A CN201410090283.3A CN201410090283A CN103888766A CN 103888766 A CN103888766 A CN 103888766A CN 201410090283 A CN201410090283 A CN 201410090283A CN 103888766 A CN103888766 A CN 103888766A
Authority
CN
China
Prior art keywords
random motion
motion image
image
original position
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410090283.3A
Other languages
English (en)
Other versions
CN103888766B (zh
Inventor
罗虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vtron Group Co Ltd
Original Assignee
Vtron Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vtron Technologies Ltd filed Critical Vtron Technologies Ltd
Priority to CN201410090283.3A priority Critical patent/CN103888766B/zh
Publication of CN103888766A publication Critical patent/CN103888766A/zh
Application granted granted Critical
Publication of CN103888766B publication Critical patent/CN103888766B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种产生随机运动图像视频源的***,包括FPGA和微控制器;FPGA中实现总线控制模块、存储模块、存储模块控制器,测试图产生模块、显示时序控制模块和图像输出模块;存储模块用于存储预设的随机运动图像,微控制器用于在预设的时间间隔根据预设的随机函数产生随机运动图像显示的位置信息,并将位置信息传输给总线控制模块;显示时序控制模块用于根据预设的图像显示参数输出图像显示时序,存储模块控制器用于读取随机运动图像;测试图产生模块用于生成背景图、根据背景图、图像显示时序、随机运动图像以及位置信息产生随机运动图像视频流,所述图像输出模块用于锁存输出随机运动图像视频流。本发明资源消耗低、运行速度快,不需要依赖计算机。

Description

产生随机运动图像视频源的***
技术领域
本发明涉及视频编解码设备测试技术领域,特别是涉及一种产生随机运动图像视频源的***。 
背景技术
在视频编解码设备测试中,常需要随机运动的图像视频源。当随机运动图像分辨率较大时,例如分辨率为1920x1080,图像的帧率至少为20帧每秒才能让人感觉图像的运动效果。采用硬件实现这样的效果的视频源,主要通过读、写大的存储单元实现,需要做两个操作:1)将图像写入到存储单元中。2)将图像从存储单元中读取出来,读、写操作需要比较长的时间,需要的存储资源大于等于1920*1080*20*24bit=995,328,000bit,为1.2GB左右。因为存储的图像数量有限,因此该方案产生的随机运动的“随机性”是有限的。采用软件制作这样的随机运动视频源,需要在计算机上处理,产生该视频源脱离不了计算机。 
目前现有的硬件实现方案是通过读、写大的存储单元实现的,其缺点是需要大量的存储单元,而且处理的时间长。而采用软件实现方案,则需要在计算机上处理,脱离不了计算机; 
综上,传统技术存在资源消耗多、运行时间长,软件实现方案依赖计算机等缺陷。 
发明内容
基于此,本发明提供一种产生随机运动图像视频源的***,该***资源消耗低、运行速度快,不需要依赖计算机。 
一种产生随机运动图像视频源的***,包括FPGA(Field-Programmable Gate Array,现场可编程逻辑阵列)和微控制器; 
所述FPGA中设置有总线控制模块、存储模块、存储模块控制器,测试图 产生模块、显示时序控制模块、图像输出模块; 
所述FPGA中实现有总线控制模块、存储模块、存储模块控制器,测试图产生模块、显示时序控制模块和图像输出模块; 
所述存储模块用于存储预设的随机运动图像; 
所述微控制器用于在预设的时间间隔根据预设的随机函数产生所述随机运动图像显示的位置信息,并将所述位置信息通过控制总线传输给所述总线控制模块; 
所述存储模块控制器用于读取所述存储模块中的随机运动图像; 
所述显示时序控制模块用于根据预设的图像显示参数输出图像显示时序; 
所述测试图产生模块用于生成背景图,以及根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流; 
所述图像输出模块用于锁存输出随机运动图像视频流。 
上述产生随机运动图像视频源的***,通过MCU配置随机运动图像在背景图中的显示位置,该显示位置采用随机函数生成,具有随机性;FPGA中实现多个模块,存储模块中存储随机运动图像,测试图产生模块产生背景图,显示时序控制模块则产生图像显示参数,存储模块控制器从存储模块(ROM、RAM)中读取固定大小的图像,最后通过图像输出模块锁存输出所述随机运动图像视频流;本发明不需要采用容量巨大的存储模块,FPGA中只需存储随机运动图像即可,其资源占用非常少;本发明不需要依赖计算机,解决了传统硬件实现方案所存在的资源消耗多、运行时间长的缺陷。 
附图说明
图1为本发明产生随机运动图像视频源的***在一实施例中的结构示意图。 
图2为本发明产生随机运动图像视频源的***在另一实施例中的结构示意图。 
图3为随机运动图像在背景图上的运动示意图。 
具体实施方式
下面结合实施例及附图对本发明作进一步详细说明,但本发明的实施方式不限于此。 
在本发明实施例中,随机运动图像视频源采用FPGA11和微处理器12(MCU,Micro Control Unit)生成,如图1所示,是本发明产生随机运动图像视频源的***的结构示意图,包括FPGA11和MCU12,FPGA11实现有总线控制模块111、存储模块112、存储模块控制器113,测试图产生模块114、显示时序控制模块115和图像输出模块116; 
所述存储模块112用于存储预设的随机运动图像; 
所述微控制器12用于在预设的时间间隔根据预设的随机函数产生所述随机运动图像显示的位置信息,并将所述位置信息通过控制总线传输给所述总线控制模块111; 
所述存储模块控制器113用于读取所述存储模块112中的随机运动图像; 
所述显示时序控制模块115用于根据预设的图像参数输出图像显示时序; 
所述测试图产生模块114用于生成背景图、以及根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流; 
所述图像输出模块116用于锁存输出所述随机运动图像视频流。 
在本实施例中,硬件上只需采用FPGA11和微控制器12,微控制器12通过随机函数产生图像在背景图上显示的位置信息,MCU12根据预设的时间间隔持续更新位置信息(时间间隔设置为人眼可流畅观看随机运动图像的时间即可),MCU12利用产生的位置信息,每隔一定时间(数帧)通过控制总线配置FPGA中存储的随机运动图像一个新的显示位置; 
在FPGA中,存储模块112中存储随机运动图像,存储模块控制器113从存储模块112(ROM、RAM)中读取固定大小的图像,显示时序控制模块115则根据图像显示参数产生图像显示时序;测试图产生模块114产生背景图,并根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流,最后通过图像输出模块116锁存输出所述随机运动图像视频流;因此最后产生的视频源图像中的图像运动是随机的,满足视频编解码设备测试的需求;FPGA中只需存储模块存储一随机运动图像,因此该***占用资源非常 小,运行速度快。 
上述的显示时序参数可包括行频、场频、行消影数据区、场消影数据区、有效数据区等预设的参数,具体可根据使用场景等要求而设置,比如可根据上述图像在什么位置显示、显示多大、隔多长时间显示一幅图像而确定。 
在一较佳实施例中,所述随机运动图像显示的位置信息包括随机运动图像在所述背景图上显示的水平起始位置和垂直起始位置;由于是随机运动图像在背景图上随机运动,因此只需要产生随机运动图像显示的水平起始位置、垂直起始位置两个位置信息。 
在一较佳实施例中,所述存储模块包括ROM存储模块,所述ROM存储模块用于存储所述随机运动图像;ROM存储模块为只读存储器,适用于不更新随机运动图像的情况; 
所述存储模块也可包括RAM存储模块,所述RAM存储模块用于存储所述随机运动图像,所述微控制器还可用于通过控制总线更新所述RAM存储模块中存储的随机运动图像;本实施例针对的是更新随机运动图像的情况,RAM存储模块为可读可写存储器,在利用上述***产生随机运动图像视频源时,可由MCU更新RAM存储模块中的随机运动图像。 
本实施例产生随机运动图像视频源的***所述产生的运动图像具有随机性,但是随机运动图像显示在背景图上,而背景图的大小有限,MCU通过控制总线输入的图像显示起始位置又是随机的,因此该固定大小的图像显示起始位置需要限定,否则可能会出现随机运动图像越过背景图边界导致随机运动图像无法显示的情况; 
因此,所述MCU还可用于:根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度和图像宽度,判断随机运动图像是否超出所述背景图的显示范围;若是,则将水平起始位置、垂直起始位置修改为预设的水平起始位置、垂直起始位置; 
或者,所述FPGA还可包括位置检查模块,用于:根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度和图像宽度,判断随机运动图像是否超出所述背景图的显示范围;若是,则将水平起始位置、垂直起始位置修改 为预设的水平起始位置、垂直起始位置。 
本实施例中,由于背景图具有固定的显示范围,在获得所述随机运动图像的水平起始位置、垂直起始位置后,再读取随机运动图像的图像长度和图像宽度,则可判断在当前的位置信息下,所述随机运动图像是否会超过背景图的显示范围;若是,则将当前的水平起始位置、垂直起始位置修改为预设的水平起始位置、垂直起始位置,保证随机运动图像在背景图的显示范围内;上述的处理判断过程可由MCU处理,也可在FPGA中设置一位置检查模块进行处理。 
上述过程也可采用其他方式处理,所述MCU还用于根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度、图像宽度和背景图,获得所述随机运动图像的位置信息范围,根据所述位置信息范围限定所述随机函数的输出值; 
假设:随机运动图像的水平起始位置为x,垂直起始位置为y,图像长度为len,宽度为width,背景图的宽度为X、长度为Y;随机函数为x=f(n),y=f(m),则可限定随机函数的输出值为0=<x+len<X并且0<=y+width<Y。 
在本实施例中,MCU先根据背景图的大小,以及随机运动图像的大小,在背景图中计算出随机运动图像位置信息的范围,通过这种方式限定随机函数,则可保证随机函数产生的位置信息不会使随机运动图像超出背景图的显示范围。 
在一较佳实施例中,如图2所示,所述图像输出模块还用于将所述图像显示参数、背景图、随机运动图像以及所述位置信息通过TMDS(Transition Minimized Differential Signaling,最小化传输差分信号)发送器21发送到显示设备31显示; 
或者还用于将所述图像显示参数、背景图、随机运动图像以及所述位置信息通过所述MCU和TMDS发送器21发送到显示设备31显示;可先由MCU进行图像预处理后再输出视频流,如图像叠加、叠加字幕等图像预处理。 
接下来再通过两个实施例阐述下本***的运行过程。 
(1)随机运动图像的内容固定 
此方式的实现如下: 
前提条件: 
MCU通过I2C总线配置随机运动图像显示的位置,该位置包括:水平起始位置、垂直起始位置,该位置具有随机性,由MCU中随机函数产生。 
FPGA中实现一个ROM及其控制器,在FPGA设计时可编辑ROM中的内容,ROM的大小根据图像的大小定制。 
FPGA中的测试图产生模块产生一个背景图、根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流,根据显示时序控制模块产生的时序信息,在图像开始显示时,MCU通过I2C配置随机运动图像显示的起始位置,然后ROM控制模块从ROM中读取存储在其中的固定大小的图像。由于每隔一定时间(数帧)MCU都会通过I2C配置固定大小的图像一个新的显示起始位置,并且该位置具有随机性,因此最后产生的视频源图像中的固定大小的图像运动是随机的,图像随机运动如图3所示。 
(2)随机运动图像的内容可更新 
前提条件: 
MCU通过SPI总线配置随机运动图像的位置,该位置包括:水平起始位置、垂直起始位置,该位置具有随机性,由MCU中随机函数产生,同时MCU通过SPI可以更新RAM中存储的图像的内容。 
FPGA中实现一个RAM及其控制器,通过SPI更新RAM中的图像内容。RAM的大小根据图像的大小定制。 
FPGA中的测试图产生模块产生一个背景图、根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流,MCU通过SPI更新FPGA中RAM存储的图像内容信息,并且在一帧图像开始显示前,MCU通过SPI配置随机运动图像的起始位置,然后RAM控制模块从RAM中读取存储在其中的固定大小的图像。由于每隔一定时间(数帧)MCU都会通过SPI配置图像一个新的显示起始位置,并且该位置具有随机性,因此最后产生的视频源图像中的固定大小的图像运动是随机的,图像随机运动如图3所示。 
本发明产生随机运动图像视频源的***,通过MCU配置随机运动图像在背景图中的显示位置,该显示位置采用随机函数生成,具有随机性;FPGA中实现 多个模块,存储模块中存储随机运动图像,测试图产生模块产生背景图,显示时序控制模块则产生图像显示参数,存储模块控制器从存储模块(ROM、RAM)中读取固定大小的图像,最后通过图像输出模块锁存输出所述随机运动图像视频流。本发明不需要设置容量巨大的存储器,FPGA中只需存储随机运动图像即可,其资源占用非常少;本发明不需要依赖计算机,解决了传统硬件实现方案所存在的资源消耗多、运行时间长的缺陷。 
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准 。

Claims (8)

1.一种产生随机运动图像视频源的***,其特征在于,包括FPGA和微控制器;
所述FPGA中实现有总线控制模块、存储模块、存储模块控制器,测试图产生模块、显示时序控制模块和图像输出模块;
所述存储模块用于存储预设的随机运动图像;
所述微控制器用于在预设的时间间隔根据预设的随机函数产生所述随机运动图像显示的位置信息,并将所述位置信息通过控制总线传输给所述总线控制模块;
所述存储模块控制器用于读取所述存储模块中的随机运动图像;
所述显示时序控制模块用于根据预设的图像显示参数输出图像显示时序;
所述测试图产生模块用于生成背景图,以及根据所述背景图、图像显示时序、随机运动图像以及所述位置信息产生随机运动图像视频流;
所述图像输出模块用于锁存输出所述随机运动图像视频流。
2.根据权利要求1所述的产生随机运动图像视频源的***,其特征在于,所述随机运动图像显示的位置信息包括随机运动图像在所述背景图上显示的水平起始位置和垂直起始位置。
3.根据权利要求1所述的产生随机运动图像视频源的***,其特征在于,所述存储模块包括ROM存储模块,所述ROM存储模块用于存储所述随机运动图像。
4.根据权利要求1所述的产生随机运动图像视频源的***,其特征在于,所述存储模块包括RAM存储模块,所述RAM存储模块用于存储所述随机运动图像,所述微控制器还用于通过控制总线更新所述RAM存储模块中存储的随机运动图像。
5.根据权利要求2所述的产生随机运动图像视频源的***,其特征在于,所述MCU还用于:根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度和图像宽度,判断随机运动图像是否超出所述背景图的显示范围;若是,则将水平起始位置、垂直起始位置修改为预设的水平起始位置、垂直起始位置;
或者,所述FPGA还包括位置检查模块,用于:根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度和图像宽度,判断随机运动图像是否超出所述背景图的显示范围;若是,则将水平起始位置、垂直起始位置修改为预设的水平起始位置、垂直起始位置。
6.根据权利要求2所述的产生随机运动图像视频源的***,其特征在于,所述MCU还用于:根据所述随机运动图像的水平起始位置、垂直起始位置、图像长度、图像宽度和背景图,获得所述随机运动图像的位置信息范围,根据所述位置信息范围限定所述随机函数的输出值。
7.根据权利要求1所述的产生随机运动图像视频源的***,其特征在于,所述图像输出模块还用于将随机运动图像视频流通过TMDS发送器发送到显示设备显示;
或者还用于将所述随机运动图像视频流通过所述微控制器和TMDS发送器发送到显示设备显示。
8.根据权利要求1所述的产生随机运动图像视频源的***,其特征在于,所述控制总线包括I2C控制总线或SPI控制总线。
CN201410090283.3A 2014-03-12 2014-03-12 产生随机运动图像视频源的*** Expired - Fee Related CN103888766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410090283.3A CN103888766B (zh) 2014-03-12 2014-03-12 产生随机运动图像视频源的***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410090283.3A CN103888766B (zh) 2014-03-12 2014-03-12 产生随机运动图像视频源的***

Publications (2)

Publication Number Publication Date
CN103888766A true CN103888766A (zh) 2014-06-25
CN103888766B CN103888766B (zh) 2017-04-05

Family

ID=50957456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410090283.3A Expired - Fee Related CN103888766B (zh) 2014-03-12 2014-03-12 产生随机运动图像视频源的***

Country Status (1)

Country Link
CN (1) CN103888766B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334648A (zh) * 2015-11-30 2016-02-17 武汉精测电子技术股份有限公司 基于fpga产生移动图形信号的装置及方法
CN105427774A (zh) * 2015-11-30 2016-03-23 武汉精测电子技术股份有限公司 基于fpga产生水平移动图形信号的装置及方法
CN105469730A (zh) * 2015-11-30 2016-04-06 武汉精测电子技术股份有限公司 基于fpga产生斜线移动图形信号的装置及方法
CN105489145A (zh) * 2015-11-30 2016-04-13 武汉精测电子技术股份有限公司 基于fpga产生垂直移动图形信号的装置及方法
CN106341575A (zh) * 2015-12-16 2017-01-18 深圳艾科创新微电子有限公司 一种视频信号实时输出处理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044760A (zh) * 2004-12-06 2007-09-26 三菱电机株式会社 安全处理一系列输入图像的方法和***
CN102096936A (zh) * 2009-12-14 2011-06-15 北京中星微电子有限公司 一种图像生成方法及装置
CN102215422A (zh) * 2010-04-01 2011-10-12 炬力集成电路设计有限公司 一种视频处理集成电路验证码流产生方法、装置及***
US20110271304A1 (en) * 2010-04-30 2011-11-03 Comcast Interactive Media, Llc Content navigation guide

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101044760A (zh) * 2004-12-06 2007-09-26 三菱电机株式会社 安全处理一系列输入图像的方法和***
CN102096936A (zh) * 2009-12-14 2011-06-15 北京中星微电子有限公司 一种图像生成方法及装置
CN102215422A (zh) * 2010-04-01 2011-10-12 炬力集成电路设计有限公司 一种视频处理集成电路验证码流产生方法、装置及***
US20110271304A1 (en) * 2010-04-30 2011-11-03 Comcast Interactive Media, Llc Content navigation guide

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105334648A (zh) * 2015-11-30 2016-02-17 武汉精测电子技术股份有限公司 基于fpga产生移动图形信号的装置及方法
CN105427774A (zh) * 2015-11-30 2016-03-23 武汉精测电子技术股份有限公司 基于fpga产生水平移动图形信号的装置及方法
CN105469730A (zh) * 2015-11-30 2016-04-06 武汉精测电子技术股份有限公司 基于fpga产生斜线移动图形信号的装置及方法
CN105489145A (zh) * 2015-11-30 2016-04-13 武汉精测电子技术股份有限公司 基于fpga产生垂直移动图形信号的装置及方法
CN105469730B (zh) * 2015-11-30 2018-01-30 武汉精测电子技术股份有限公司 基于fpga产生斜线移动图形信号的装置及方法
CN105427774B (zh) * 2015-11-30 2018-03-13 武汉精测电子技术股份有限公司 基于fpga产生水平移动图形信号的装置及方法
CN105489145B (zh) * 2015-11-30 2018-03-13 武汉精测电子集团股份有限公司 基于fpga产生垂直移动图形信号的装置及方法
CN105334648B (zh) * 2015-11-30 2019-04-02 武汉精测电子集团股份有限公司 基于fpga产生移动图形信号的装置及方法
CN106341575A (zh) * 2015-12-16 2017-01-18 深圳艾科创新微电子有限公司 一种视频信号实时输出处理***
CN106341575B (zh) * 2015-12-16 2019-03-29 深圳开阳电子股份有限公司 一种视频信号实时输出处理***

Also Published As

Publication number Publication date
CN103888766B (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN103888766A (zh) 产生随机运动图像视频源的***
CN108010112B (zh) 动画处理方法、装置及存储介质
CN103021378B (zh) 一种多屏拼接显示装置和方法
US9899002B2 (en) Information processing methods for displaying parts of an object on multiple electronic devices
US20130141456A1 (en) Automatic modification of image content for display on a different device
CN104935840A (zh) 一种拼接显示屏的字幕滚动显示方法及***
CN104104888A (zh) 一种并行多核fpga数字图像实时缩放处理方法和装置
DE102014010217A1 (de) Dynamische Informationsanpassung für ein Computergerät mit mehreren Leistungsmodi
CN107943363B (zh) 背景图像的配置方法及装置、交互智能平板及存储介质
CN102455909B (zh) 一种演示文稿文档异步加载的方法
CN109714621A (zh) 一种时序可配置的多路动态视频模拟方法及其处理***
US20150138211A1 (en) Method and Device for Loading and Unloading Object Hierarchically in Three-Dimensional Virtual Reality Scene
CN105718420A (zh) 数据处理装置及其操作方法
CN103051782B (zh) 一种移动终端投影调整方法及装置
CN104012059A (zh) 协处理器之间的直接链路同步通信
CN105245759A (zh) 一种实现图像同步显示的方法及装置
CN105554416A (zh) 一种基于fpga的高清视频淡入淡出处理***及方法
CN103971586A (zh) 电子地图生成方法及装置
CN108932141A (zh) 临摹绘图实现方法及装置、电子设备、存储介质
CN203787060U (zh) 一种具有多vga输出接口的显示屏测试装置
CN106101712A (zh) 一种视频流数据的处理方法及装置
CN101127847A (zh) 一种在屏显示的合成方法及合成装置
CN110456900A (zh) 一种接口电路、显示驱动器、终端设备和显示控制方法
CN105830460A (zh) 多视图记录
CN112040284A (zh) 多显示屏的同步显示控制方法、装置及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670

Patentee after: VTRON GROUP Co.,Ltd.

Address before: 510670 Guangdong city of Guangzhou province Kezhu Guangzhou high tech Industrial Development Zone, Road No. 233

Patentee before: VTRON TECHNOLOGIES Ltd.

CP03 Change of name, title or address
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170405

CF01 Termination of patent right due to non-payment of annual fee