CN109257593B - 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 - Google Patents

基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 Download PDF

Info

Publication number
CN109257593B
CN109257593B CN201811190365.XA CN201811190365A CN109257593B CN 109257593 B CN109257593 B CN 109257593B CN 201811190365 A CN201811190365 A CN 201811190365A CN 109257593 B CN109257593 B CN 109257593B
Authority
CN
China
Prior art keywords
virtual reality
map
dimensional
frame
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811190365.XA
Other languages
English (en)
Other versions
CN109257593A (zh
Inventor
姜斌
杨嘉琛
刘天麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811190365.XA priority Critical patent/CN109257593B/zh
Publication of CN109257593A publication Critical patent/CN109257593A/zh
Application granted granted Critical
Publication of CN109257593B publication Critical patent/CN109257593B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法，包括：将失真虚拟现实数据进行随机抽帧，并对所抽取的失真VR图的左帧Vl与右帧Vr分别进行自然统计特征计算，采用均衡化高斯分布拟合方法提取特征向量；面向虚拟现实的舒适度分析，计算参考VR视差图和失真VR视差图，计算全局相关系数和均方误差MSE，产生面向舒适度的特征向量；面向虚拟现实场景的沉浸感分析，对随机抽帧的左右视点数据进行深度图融合计算，在多尺度背景下的结构相似度图SC‑SSIM，在其基础上得到梯度图；使用物理失真和舒适度来评价虚拟现实中的视觉接受体验质量；使用物理失真和沉浸感来评价虚拟现实中的视觉信息感知体验质量，得到最终的评价结果。

Description

基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法
技术领域
本发明属视频类多媒体处理领域，涉及沉浸式虚拟现实质量评价方法。
背景技术
虚拟现实是一门新兴的技术。通过全景视频的播放，体验者能够在其中获取强烈的沉浸感。然而，很多的虚拟现实应用都对数据质量有着很高的要求。在数据采集与传输的过程中，失真是不可避免的问题。所以，如何构建高质量的虚拟现实数据场景将会是一个具有挑战性的课题。基于这样的考虑，虚拟现实质量的评价方法也需要被建立，来建立新的技术标准，并推广虚拟现实产业的发展。
和传统的图像与视频质量评价一样，沉浸式虚拟现实质量的评价也可以被分为两个类型：主观式评价方法和客观式评价方法。具体来说，主观式评价方法基于实际的观测结果，而这需要大量的人力物力成本。所以，本发明充分考虑这一问题，并致力于解决沉浸式虚拟现实质量客观评价问题。
目前，虚拟现实质量客观评价仍然沿袭传统的图像/视频质量评价方法，面临着一些基本问题。首先，物理失真对虚拟现实数据的影响不可忽略，这也是最基本的评价方向。其次，虚拟现实体验中的立体特征会对舒适度有一定的要求，而之前的研究多忽略此内容。更为重要的是，此类多媒体形式所独有的沉浸感对其体验质量有着非常大的影响，故客观评价过程还需考虑此问题。
[1]Miaolong Yuan,Ishtiaq Rasool Khan,Farzam Farbiz,SusuYao,ArthurNiswar,and Min Hui Foo.A mixed reality virtual clothes try-on system.IEEETransactions on Multimedia,15(8):1958–1968,2013.
[2]E.D.Ragan,S Scerbo,F Bacim,and D.A.Bowman.Amplified head rotationin virtual reality and the effects on 3d search,training transfer,and spatialorientation.IEEE Trans Vis Comput Graph,23(8):1880–1895,2016.
[7]Jiarun Song,Fuzheng Yang,Yicong Zhou,Shuai Wan,and Hong Ren Wu.Qoeevaluation of multimedia services based on audiovisual quality and userinterest.IEEE Transactions on Multimedia,18(3):444–457,2016.
发明内容
本发明提出一种基于人眼立体视觉***的沉浸式虚拟现实质量评价方法。本发明充分考虑虚拟现实数据物理失真、舒适度和沉浸感三个方面对于体验质量的影响，从以上三个角度进行特征提取，并采用机器学习的方式进行数据训练和测试，最终得到符合人类生理视觉特征的沉浸式虚拟现实质量评价体系。与此同时，本发明的整体框架易于实现，误差较小。具体的技术方案如下：
一种基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法，包括以下步骤：
第一步，将失真虚拟现实数据进行随机抽帧，并对所抽取的失真VR图的左帧Vl与右帧Vr分别按照公式(1)进行自然统计特征计算，以I(i,j)为输入代表左帧Vl或右帧Vr：
Figure BDA0001827358380000021
其中μ(i,j)为I(i,j)高斯滤波后的结果，σ(i,j)为I(i,j)的标准差，C为非零值，经过计算，所得结果
Figure BDA0001827358380000022
可以被定义为均衡系数矩阵，以此为基础，采用均衡化高斯分布(GGD)拟合方法从而对左、右帧各得2维特征，共计4维，采用5次抽帧进行操作，从而得到20维特征向量；
第二步：面向虚拟现实的舒适度分析，在第一步的随机抽帧的基础上对失真VR图及所相应的参考VR图和做视差图计算，得到参考VR视差图
Figure BDA0001827358380000023
和失真VR视差图
Figure BDA0001827358380000024
计算以下两个指标：全局相关系数ρ的计算方式如公式(2)，均方误差MSE的计算方式如公式(3)；
Figure BDA0001827358380000025
Figure BDA0001827358380000026
为二者的协方差，
Figure BDA0001827358380000027
和
Figure BDA0001827358380000028
分别为对应图的方差，
Figure BDA0001827358380000029
其中n为参与计算的(x,y)像素总数；
采用16次抽帧进行操作，每对左右帧数据提取一个全局相关系数特征和一个均方误差特征，故共产生32维面向舒适度的特征向量；
第三步：面向虚拟现实场景的沉浸感分析，本发明对随机抽帧的左右视点数据进行深度图融合计算；对于参考VR图的深度图
Figure BDA00018273583800000210
和失真VR图的深度图
Figure BDA00018273583800000211
计算两者在多尺度背景下的结构相似度图SC-SSIM，在其基础上得到梯度图，计算过程如公式(4)所示；
Figure BDA00018273583800000212
其中hx和hy分别为横纵向梯度算子，以两个尺度背景下的梯度图为统计对象，对于GI，每帧计算16维的AGGD拟合与2维GGD拟合，同时计算幅值、方差和熵作为补充特征，即每帧21维特征值，采用随机抽取三帧的计算方法，共计63维；
第四步：基于以上三个方向的特征提取，共从虚拟现实数据中获取20维物理失真特征、32维舒适度特征以及63维沉浸感特征；在此步骤中，以上特征被合理组合为两个部分；一方面，使用物理失真和舒适度来评价虚拟现实中的视觉接受体验质量，即52维特征，基于此，训练第一SVM模型，并且在测试过程中所得到的评价分数被定义为Q1；另一方面，使用物理失真和沉浸感来评价虚拟现实中的视觉信息感知体验质量，即95维特征，基于此，训练第二SVM模型，并且在测试过程中所得到的评价分数被定义为Q2，通过公式(7)的计算，得到最终的评价结果；
Q＝(Q1)α(Q2)1-α (7)
其中，α＝0.37。
本发明所提出的沉浸式虚拟现实客观质量评价方法利用人眼视觉***对立体视频的接受方式，符合人对虚拟现实体验过程的生理过程。具体来说，它充分考虑虚拟现实数据的物理变化，舒适性能和以深度信息为基础的沉浸感。本发明所涉及的客观评价方法从本质上模拟人眼视觉通路在以上三个方面的数据传输流程，根本性地体现了体验者对沉浸式虚拟现实质量的真实反馈。本发明所采用的具体实施方法简单有效，具有很强的实用性能，易于操作。从评价指标上来看，本方法所得到的沉浸式虚拟现实质量客观评价方法在测试库上的评价结果能够与主观评价结果保持一致，准确反应其真实体验质量。
附图说明
图1本发明整体框架图
图2面向物理失真的数据统计
图3面向舒适度评价的虚拟现实视差图例
图4面向沉浸感评价的虚拟现实深度图例
图5主客观分数关系散点图，(a)对称库主客观分数关系散点图(b)非对称库主客观分数关系散点图(c)JPEG2000失真类型主客观分数关系散点图(d)H.264失真类型主客观分数关系散点图
具体实施方式
本发明提出一种基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法，以特征提取为基础，并使用机器学习的方法进行最终的质量判定，其整体框架如图1所示。具体评价方法包括以下步骤：
第一步：针对虚拟现实数据的物理失真分析，本发明采用自然统计作为量化方式。首先将失真虚拟现实视频进行抽帧，并对所抽取的左帧Vl与右帧Vr按照公式(1)进行自然统计特征计算：
Figure BDA0001827358380000041
经过计算，所得结果可以被定义为均衡系数(MSCN)。以此为基础，均衡化高斯分布(GGD)拟合的方式能够被使用在上述结果图中。其中GGD拟合过程遵循如公式(2)。
Figure BDA0001827358380000042
从而对左、右帧各得2维特征，共计4维。为了更全面的统计VR整体质量，本发明采用5次抽帧进行操作，从而得到20维特征向量。
第二步：面向虚拟现实的舒适度分析，本发明首先在随机抽帧的基础上对参考VR图和失真VR图做视差图计算，得到参考VR视差图
Figure BDA0001827358380000043
和失真VR视差图
Figure BDA0001827358380000044
以此为基础，本发明计算以下两个指标：全局相关系数的计算方式如公式(3)，均方误差的计算方式如公式(4)。
Figure BDA0001827358380000045
Figure BDA0001827358380000046
为二者的协方差，
Figure BDA0001827358380000047
和
Figure BDA0001827358380000048
分别为对应图的方差。
Figure BDA0001827358380000049
其中n为参与计算的(x,y)像素总数。
为了更全面的统计VR整体质量，本发明采用16次抽帧进行操作，每对左右帧数据提取一个全局相关系数特征和一个均方误差特征，故共产生32维面向舒适度的特征向量。
第三步：面向虚拟现实场景的沉浸感分析，本发明对左右视点数据进行深度图融合计算。对于参考数据的深度图
Figure BDA00018273583800000410
和失真数据的深度图
Figure BDA00018273583800000411
本发明计算其多尺度背景下的结构相似度图(SC-SSIM)。在得到S图后，在其基础上得到梯度图，计算过程如公式(5)和(6)所示。
Figure BDA00018273583800000412
Figure BDA0001827358380000051
本发明以三次抽帧的背景下的梯度图为统计对象。每对左右帧计算16维的AGGD拟合与2维GGD拟合，同时计算幅值、方差和熵作为补充特征。即每帧21维特征值，共计63维。
第四步：得到最终的评价结果。基于以上三个方向的特征提取，本发明共从虚拟现实数据中获取20维物理失真特征、32维舒适度特征以及63维沉浸感特征。在此步骤中，以上特征被合理组合为两个部分。一方面，使用物理失真和舒适度来评价虚拟现实中的视觉接受体验质量，即52维特征。基于此，SVM1模型被训练，并且在测试过程中所得到的评价分数被定义为Q1；另一方面，使用物理失真和沉浸感来评价虚拟现实中的视觉信息感知体验质量，即95维特征。基于此，SVM2模型被训练，并且在测试过程中所得到的评价分数被定义为Q2。通过公式(7)的计算，本发明能够得到最终的评价结果。
Q＝(Q1)α(Q2)1-α (7)
其中，α＝0.37。
第五步：数据库的选择。由于本领域的研究正处在起步阶段，故较少有权威数据库用以提供验证本发明方法的实用性能。本发明选择VRQ-TJU数据库进行最终的测试实验。在该数据库中，13个原始的虚拟现实数据和以此为基础所产生的364个失真虚拟现实数据被包涵。其中，既有JPEG2000失真，也有H.264失真；既有对称失真，也有非对称失真。
除数据库的选择外，如何衡量算法性能也需要被说明。根据传统的多媒体质量评价体系，四中常见的指标被使用来评估本发明方法的相关性能。这其中包括皮尔森线性相关系数(PLCC)、斯皮尔曼排序相关系数(SRCC)和肯德尔秩次相关系数(KROCC)，以上三个系数处于0和1之间，其值越接近1，则说明客观质量评价方法与主观评价结果保持一致。除此之外，均方根误差(RMSE)也可以被使用，其值越小，则说明客观质量评价方法性能越强。
第六步：分析和比较算法性能。为了明确本方法的有效性，在此列举其他六种可以被用于虚拟现实质量评价标准的相关方法，分别为PSNR方法，SSIM方法，文献[1]方法，文献[2]方法，文献[3]方法和文献[4]方法。其所的的实验结果如表1所示。由此可见，本发明方法所得到的PLCC、SRCC和KROCC值均为最大，而RMSE为最小，故可以判断本发明所提出的虚拟现实质量评价方法是可行有效的。
表1综合数据指标
Figure BDA0001827358380000061
[1]A.Liu,W.Lin,and M Narwaria.Image quality assessment based ongradient similarity.IEEE Transactions on Image Processing A Publication ofthe IEEE Signal Processing Society,21(4):1500,2012.
[2]Alexandre Benoit,Patrick Le Callet,Patrizio Campisi,and RomainCousseau.Using disparity for quality assessment of stereoscopic images.InIEEE International Conference on Image Processing,pages 389–392,2008.
[3]Kalpana Seshadrinathan,Rajiv Soundararajan,Alan Conrad Bovik,andLawrence K Cormack.Study of subjective and objective quality assessment ofvideo.IEEE Transactions on Image Processing,19(6):1427–1441,2010.
[4]Nukhet Ozbek and A.Murat Tekalp.Unequal inter-view rate allocationusing scalable stereo video coding and an objective stereo video qualitymeasure.In IEEE International Conference on Multimedia&Expo.

Claims (1)

1.一种基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法，包括以下步骤：
第一步，将失真虚拟现实数据进行随机抽帧，并对所抽取的失真VR图的左帧Vl与右帧Vr分别按照公式(1)进行自然统计特征计算，以I(i,j)为输入代表左帧Vl或右帧Vr：
Figure FDA0002400206480000011
其中μ(i,j)为I(i,j)高斯滤波后的结果，σ(i,j)为I(i,j)的标准差，C为非零值，经过计算，所得结果
Figure FDA0002400206480000012
可以被定义为均衡系数矩阵，以此为基础，采用均衡化高斯分布(GGD)拟合方法从而对左、右帧各得2维特征，共计4维，采用5次抽帧进行操作，从而得到20维特征向量；
第二步：面向虚拟现实的舒适度分析，在第一步的随机抽帧的基础上对失真VR图及所相应的参考VR图分别做视差图计算，得到参考VR视差图
Figure FDA0002400206480000013
和失真VR视差图
Figure FDA0002400206480000014
计算以下两个指标：全局相关系数ρ的计算方式如公式(2)，均方误差MSE的计算方式如公式(3)；
Figure FDA0002400206480000015
Figure FDA0002400206480000016
为二者的协方差，
Figure FDA0002400206480000017
和
Figure FDA0002400206480000018
分别为对应图的方差，
Figure FDA0002400206480000019
其中n为参与计算的(i,j)像素总数；
采用16次抽帧进行操作，每对左右帧数据提取一个全局相关系数特征和一个均方误差特征，故共产生32维面向舒适度的特征向量；
第三步：面向虚拟现实场景的沉浸感分析，对随机抽帧的左右视点数据进行深度图融合计算；对于参考VR图的深度图
Figure FDA00024002064800000110
和失真VR图的深度图
Figure FDA00024002064800000111
计算两者在多尺度背景下的结构相似度图SC-SSIM，在其基础上得到梯度图，计算过程如公式(4)所示；
Figure FDA00024002064800000112
其中hx和hy分别为横纵向梯度算子，以两个尺度背景下的梯度图为统计对象，对于GI，每帧计算16维的AGGD拟合与2维GGD拟合，同时计算幅值、方差和熵作为补充特征，即每帧21维特征值，采用随机抽取三帧的计算方法，共计63维；
第四步：基于以上三个方向的特征提取，共从虚拟现实数据中获取20维物理失真特征、32维舒适度特征以及63维沉浸感特征；在此步骤中，以上特征被合理组合为两个部分；一方面，使用物理失真和舒适度来评价虚拟现实中的视觉接受体验质量，即52维特征，基于此，训练第一SVM模型，并且在测试过程中所得到的评价分数被定义为Q1；另一方面，使用物理失真和沉浸感来评价虚拟现实中的视觉信息感知体验质量，即83维特征，基于此，训练第二SVM模型，并且在测试过程中所得到的评价分数被定义为Q2，通过公式(7)的计算，得到最终的评价结果；
Q＝(Q1)α(Q2)1-α (7)
其中，α＝0.37。
CN201811190365.XA 2018-10-12 2018-10-12 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法 Expired - Fee Related CN109257593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811190365.XA CN109257593B (zh) 2018-10-12 2018-10-12 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811190365.XA CN109257593B (zh) 2018-10-12 2018-10-12 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法

Publications (2)

Publication Number Publication Date
CN109257593A CN109257593A (zh) 2019-01-22
CN109257593B true CN109257593B (zh) 2020-08-18

Family

ID=65045291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811190365.XA Expired - Fee Related CN109257593B (zh) 2018-10-12 2018-10-12 基于人眼视觉感知过程的沉浸式虚拟现实质量评价方法

Country Status (1)

Country Link
CN (1) CN109257593B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955333A (zh) * 2019-11-28 2020-04-03 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 一种头戴式虚拟现实设备舒适度的测试方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN105407349A (zh) * 2015-11-30 2016-03-16 宁波大学 基于双目视觉感知的无参考立体图像质量客观评价方法
CN107396095A (zh) * 2017-08-28 2017-11-24 方玉明 一种无参考三维图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN108259891A (zh) * 2018-03-02 2018-07-06 上海大学 基于双目时空内在推理机制的3d视频质量盲评估方法
CN108449595A (zh) * 2018-03-22 2018-08-24 天津大学 基于卷积神经网络的全参考虚拟现实视频质量评价方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750695A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于机器学习的立体图像质量客观评价方法
CN103581661A (zh) * 2013-10-28 2014-02-12 宁波大学 一种立体图像视觉舒适度评价方法
CN105407349A (zh) * 2015-11-30 2016-03-16 宁波大学 基于双目视觉感知的无参考立体图像质量客观评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN107396095A (zh) * 2017-08-28 2017-11-24 方玉明 一种无参考三维图像质量评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN108259891A (zh) * 2018-03-02 2018-07-06 上海大学 基于双目时空内在推理机制的3d视频质量盲评估方法
CN108449595A (zh) * 2018-03-22 2018-08-24 天津大学 基于卷积神经网络的全参考虚拟现实视频质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Image quality assessment based on gradient similarity;Anmin Liu eta.;《IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society 》;20121230;第4卷(第21期);第1500-1511页 *

Also Published As

Publication number Publication date
CN109257593A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105338343B (zh) 一种基于双目感知的无参考立体图像质量评价方法
CN107396095B (zh) 一种无参考三维图像质量评价方法
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN104811691B (zh) 一种基于小波变换的立体视频质量客观评价方法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN102209257A (zh) 一种立体图像质量客观评价方法
CN102333233A (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN105407349A (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN103152600A (zh) 一种立体视频质量评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN104867138A (zh) 基于pca和ga-elm的立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN102547368A (zh) 一种立体图像质量客观评价方法
Yan et al. Blind stereoscopic image quality assessment by deep neural network of multi-level feature fusion
CN107330873B (zh) 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN104866864A (zh) 一种用于立体图像质量客观评价的极端学习机
CN104144339B (zh) 一种基于人眼感知的质降参考立体图像质量客观评价方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN109257592B (zh) 基于深度学习的立体视频质量客观评价方法
CN114332088B (zh) 一种基于运动估计的全参考视频质量评估方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200818

Termination date: 20211012