CN110378860B - 修复视频的方法、装置、计算机设备和存储介质 - Google Patents
修复视频的方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110378860B CN110378860B CN201910692753.6A CN201910692753A CN110378860B CN 110378860 B CN110378860 B CN 110378860B CN 201910692753 A CN201910692753 A CN 201910692753A CN 110378860 B CN110378860 B CN 110378860B
- Authority
- CN
- China
- Prior art keywords
- repaired
- video frame
- preset
- algorithm
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 122
- 230000006378 damage Effects 0.000 claims abstract description 111
- 230000008439 repair process Effects 0.000 claims abstract description 106
- 230000008832 photodamage Effects 0.000 claims abstract description 7
- 230000006735 deficit Effects 0.000 claims description 40
- 230000009467 reduction Effects 0.000 claims description 32
- 230000003321 amplification Effects 0.000 claims description 27
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 30
- 230000000903 blocking effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000011946 reduction process Methods 0.000 description 4
- 230000009528 severe injury Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Picture Signal Circuits (AREA)
Abstract
本公开是关于一种修复视频的方法、装置、计算机设备和存储介质,属于视频处理技术领域。所述方法包括:获取待修复视频帧;确定待修复视频帧的画质受损度;如果待修复视频帧的画质受损度大于或者等于预设受损度阈值,则按照严重受损修复顺序,通过至少一种修复算法对待修复视频帧进行第一修复处理;如果待修复视频帧的画质受损度小于预设受损度阈值,则按照轻度受损修复顺序,通过至少一种修复算法对待修复视频帧进行第二修复处理。采用本公开,在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
Description
技术领域
本公开是关于视频处理技术领域,尤其是关于一种修复视频的方法、装置、计算机设备和存储介质。
背景技术
在对原始视频进行编码、传输编码视频的过程中,都会不可避免地出于不同因素对原始视频的画质造成损伤。这些因素主要包括块效应、边缘信息的丢失、细节信息的丢失、非人工噪声的掺入等。在对编码视频进行解码之后,解码视频的画质相对于原始视频的画质较差。
发明内容
为了克服相关技术中存在的问题,本公开提供了以下技术方案:
根据本公开实施例的第一方面,提供一种修复视频的方法,所述方法包括:
获取待修复视频帧;
确定所述待修复视频帧的画质受损度;
如果所述待修复视频帧的画质受损度大于或者等于预设受损度阈值,则按照严重受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第一修复处理;
如果所述待修复视频帧的画质受损度小于所述预设受损度阈值,则按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理。
可选地,所述确定所述待修复视频帧的画质受损度,包括:
确定至少一种画质受损度算法;
通过各画质受损度算法分别计算所述待修复视频帧的画质受损度,得到所述各画质受损度算法分别对应的子画质受损度;
对各子画质受损度进行加权求和,得到所述待修复视频帧的画质受损度。
可选地,所述按照严重受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第一修复处理,包括:
通过预设的去块效应算法,对所述待修复视频帧进行去块效应处理;
在对所述待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理;
在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理;
在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理,包括:
通过预设的超分辨率算法,对所述待修复视频帧按照第二预设放大倍数进行放大处理;
在对所述待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理;
在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理;
在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述待修复视频帧所属视频的视频格式为YUV格式。
根据本公开实施例的第二方面,提供一种修复视频的装置,所述装置包括:
获取模块,用于获取待修复视频帧;
确定模块,用于确定所述待修复视频帧的画质受损度;
修复模块,用于当所述待修复视频帧的画质受损度大于或者等于预设受损度阈值时,按照严重受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第一修复处理;当所述待修复视频帧的画质受损度小于所述预设受损度阈值时,按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理。
可选地,所述确定模块,用于:
确定至少一种画质受损度算法;
通过各画质受损度算法分别计算所述待修复视频帧的画质受损度,得到所述各画质受损度算法分别对应的子画质受损度;
对各子画质受损度进行加权求和,得到所述待修复视频帧的画质受损度。
可选地,所述修复模块,用于:
通过预设的去块效应算法,对所述待修复视频帧进行去块效应处理;
在对所述待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理;
在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理;
在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述修复模块,用于:
通过预设的超分辨率算法,对所述待修复视频帧按照第二预设放大倍数进行放大处理;
在对所述待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理;
在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理;
在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述待修复视频帧所属视频的视频格式为YUV格式。
根据本公开实施例的第三方面,提供一种计算机设备,所述计算机设备包括处理器、通信接口、存储器和通信总线,其中:
所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,以实现上述修复视频的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述修复视频的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
在本公开实施例中,可以对任一待修复视频帧进行修复处理,已修复的视频帧的画质较修复前的视频帧的画质有所提高。同时,本公开实施例还可以基于不同待修复视频帧的画质受损度,对待修复视频帧进行区分,如果画质受损度较高,则待修复视频帧为严重受损的视频帧,如果画质受损度较低,则待修复视频帧为轻度受损的视频帧。在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。在附图中:
图1是根据一示例性实施例示出的一种修复视频的***的结构示意图;
图2是根据一示例性实施例示出的一种修复视频的装置的结构示意图;
图3是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图4是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图5是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图6是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图7是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图8是根据一示例性实施例示出的一种修复视频的方法的流程示意图;
图9是根据一示例性实施例示出的一种修复视频的装置的结构示意图;
图10是根据一示例性实施例示出的一种计算机设备的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供了一种修复视频的方法,该方法可以由计算机设备实现。在一种可能的实现方式中,在一种修复视频的***中,如图1所示,可以设置有视频服务器、修复视频服务器和终端,视频服务器、修复视频服务器、终端的数目都可以是多个,在本公开实施例中以一个视频服务器、一个修复视频服务器和一个终端为例进行说明。在视频服务器中,可以存储有大量的视频,这些视频可能会出于不同因素存在或轻或重的画质受损的情况。如果直接将存在画质受损情况的视频直接分享到终端供用户欣赏,会降低用户体验、影响观看效果,因此在将存在画质受损情况的视频分享到终端之前,视频服务器可以将任一待修复视频发送至修复视频服务器,修复视频服务器可以对任一待修复视频进行修复处理。在修复视频服务器对任一待修复视频进行修复处理之后,修复视频服务器可以将进行修复处理后的已修复视频分享到终端供用户欣赏,这样可以提高用户体验、提高观看质量。
在修复视频服务器中,可以设置有视频修复处理框架。如图2所示,视频修复处理框架可以包括视频输入模块、解码模块、源分析模块、前处理模块、编码模块、视频输出模块。本公开实施例提供的修复视频的方法,可以在上述前处理模块中执行。
解码模块可以用于对编码视频进行解码,得到YUV(一种颜色编码方法,“Y”表示明亮度Luminance,“U”和“V”表示色度Chrominance)格式的解码视频。源分析模块可以用于对视频的基本属性、高级语义和高位特征进行分析,以更好地确定视频本身的特性,进而可以协助其他模块发挥其他模块最大的效用。前处理模块可以用于通过图像或视频处理技术对YUV格式的视频进行数据加工,使加工后的视频的主观视觉效果朝着人眼可感知的方向、画质得到改善的方向、以及画质增强的方向前进。编码模块可以用于对YUV格式的视频进行压缩,得到编码视频,使得编码视频的数据量远远小于原始视频的数据量,这样在传输编码视频的过程中,可以节省带宽消耗,便于网络传输。视频输出模块通常可以用于输出分辨率和原始视频的分辨率相同的视频,但是在本公开实施例中,视频输出模块可以用于输出分辨率大于原始视频的分辨率的视频,这样可以解决视频中细节丢失的问题,通过引入超分辨率子模块,对原始视频的分辨率进行提高,具体视频最终分辨率取决于超分辨率子模块中设置的放大倍数。
本公开一示例性实施例提供了一种修复视频的方法,如图3所示,该方法的处理流程可以包括如下的步骤:
步骤S301,获取待修复视频帧。
在实施中,计算机设备可以获取待修复视频帧,待修复视频帧可以是待修复视频中的一个视频帧,每个待修复视频都可以包括多个视频帧。可选地,待修复视频帧所属视频的视频格式可以为YUV格式。
步骤S302,确定待修复视频帧的画质受损度。
在实施中,计算机设备可以计算待修复视频帧的画质受损度。修复视频帧的画质受损度可以反应出待修复视频帧的块效应的严重程度。可以通过F(I)=Score_block表达式表示待修复视频帧的画质受损度,其中,Score_block为待修复视频帧的画质受损度,函数F可以表示一种或者多种画质受损度算法。实际应用中,不同画质受损度算法可以从不同参考角度对视频帧的画质受损度进行评价,评价效果不一,可以选取一种画质受损度算法,计算待修复视频帧的画质受损度,可以选取多种画质受损度算法,共同计算待修复视频帧的画质受损度。
可选地,步骤S302可以包括:确定至少一种画质受损度算法;通过各画质受损度算法分别计算待修复视频帧的画质受损度,得到各画质受损度算法分别对应的子画质受损度;对各子画质受损度进行加权求和,得到待修复视频帧的画质受损度。
在实施中,通过选取多种画质受损度算法共同计算待修复视频帧的画质受损度,可以从多个参考角度对视频帧的画质受损度进行评价,这样可以综合不同评价方式的效果。计算机设备可以确定至少一种画质受损度算法,通过各画质受损度算法分别计算待修复视频帧的画质受损度,得到各画质受损度算法分别对应的子画质受损度,对各子画质受损度进行加权求和,得到待修复视频帧的画质受损度。其中,不同画质受损度算法对应的权重,可以根据需求进行设定。
步骤S303,基于待修复视频帧的画质受损度,判断待修复视频帧是严重受损或者是轻度受损。
在实施中,如图4所示,计算机设备中可以设置有画质分析模块,画质分析模块可以基于待修复视频帧的画质受损度,判断待修复视频帧是严重受损或者是轻度受损。如果待修复视频帧是严重受损,则将待修复视频帧输入到严重受损修复模块中进行修复处理,如果待修复视频帧是轻度受损,则将待修复视频帧输入到轻度受损修复模块中进行修复处理。
步骤S304,如果待修复视频帧的画质受损度大于或者等于预设受损度阈值,则待修复视频帧是严重受损,按照严重受损修复顺序,通过至少一种修复算法对待修复视频帧进行第一修复处理。
步骤S305,如果待修复视频帧的画质受损度小于预设受损度阈值,则待修复视频帧是轻度受损,按照轻度受损修复顺序,通过至少一种修复算法对待修复视频帧进行第二修复处理。
在实施中,待修复视频帧是严重受损或者是轻度受损时,对应使用的至少一种修复算法可以相同也可以不同,但是在使用至少一种修复算法对待修复视频帧进行修复处理的过程中,使用修复算法进行修复处理的顺序不同,后面的实施例会详细介绍不同受损程度的待修复视频帧的不同修复处理的顺序。
在本公开实施例中,可以对任一待修复视频帧进行修复处理,已修复的视频帧的画质较修复前的视频帧的画质有所提高。同时,本公开实施例还可以基于不同待修复视频帧的画质受损度,对待修复视频帧进行区分,如果画质受损度较高,则待修复视频帧为严重受损的视频帧,如果画质受损度较低,则待修复视频帧为轻度受损的视频帧。在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
基于相同的发明构思,本公开一示例性实施例提供了一种修复视频的方法,如图5所示,该方法的处理流程可以包括如下的步骤:
步骤S501,获取待修复视频帧。
在实施中,计算机设备可以获取待修复视频帧,待修复视频帧可以是待修复视频中的一个视频帧,每个待修复视频都可以包括多个视频帧。可选地,待修复视频帧所属视频的视频格式可以为YUV格式。
步骤S502,确定待修复视频帧的画质受损度。
在实施中,计算机设备可以计算待修复视频帧的画质受损度。修复视频帧的画质受损度可以反应出待修复视频帧的块效应的严重程度。可以通过F(I)=Score_block表达式表示待修复视频帧的画质受损度,其中,Score_block为待修复视频帧的画质受损度,函数F可以表示一种或者多种画质受损度算法。实际应用中,不同画质受损度算法可以从不同参考角度对视频帧的画质受损度进行评价,评价效果不一,可以选取一种画质受损度算法,计算待修复视频帧的画质受损度,可以选取多种画质受损度算法,共同计算待修复视频帧的画质受损度。
步骤S503,如果待修复视频帧的画质受损度大于或者等于预设受损度阈值,则确定待修复视频帧是严重受损。
在实施中,如果确定待修复视频帧是严重受损,可以通过至少一种修复算法对待修复视频帧进行第一修复处理,其中,至少一种修复算法可以包括去块效应算法、超分辨率算法、锐化算法、降噪算法,它们依次对应的算法可以记为AR算法、SR算法、MS算法、DE算法。
步骤S504,通过预设的去块效应算法,对待修复视频帧进行去块效应处理。
在实施中,如图6所示,计算机设备可以获取YUV格式的视频包括的待修复视频帧A,可以采用AR算法去除待修复视频帧A中的块效应,得到待修复视频帧B。
步骤S505,在对待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理。
在实施中,可以采用SR算法,对待修复视频帧B进行放大处理,得到待修复视频帧C。放大倍数可以是scale,scale可以设置为1,也可以设置为大于1的数值。如果scale设置为1,则可以不进行放大处理,待修复视频帧C为待修复视频帧B。如果需要对待修复视频帧B进行放大处理,则可以将scale设置为2、3等数值。
步骤S506,在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理。
在实施中,可以采用MS算法,对待修复视频帧C进行锐化处理,得到待修复视频帧D。首先,可以判断待修复视频帧C的锐化度,如果待修复视频帧C的锐化度大于或者等于预设锐化度阈值thr_sharp,则可以不进行锐化处理,待修复视频帧D为待修复视频帧C。如果待修复视频帧C的锐化度小于thr_sharp,则可以采用MS算法,对待修复视频帧C进行锐化处理。锐化度可以通过G(I)=Score_sharp表达式表示,其中,Score_sharp为待修复视频帧C的锐化度。
步骤S507,在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
在实施中,可以采用DE算法,对待修复视频帧D进行降噪处理,得到待修复视频帧E。首先,可以判断待修复视频帧E的噪声值,如果待修复视频帧E的噪声值小于或者等于预设噪声阈值thr_noise,则可以不进行锐化处理,待修复视频帧E为待修复视频帧D。如果待修复视频帧D的噪声值大于thr_noise,则可以采用DE算法,对待修复视频帧D进行降噪处理。噪声值可以通过N(I)=Score_noise表达式表示,其中,Score_noise为待修复视频帧D的噪音值。
在上述过程中,去块效应算法会将原本视频帧中的一些细节抹去,超分辨率算法可以在视频帧中补充细节,将视频帧进行放大,但是同时噪声也会被放大。对于重度受损的待修复视频帧,即存在的块效应比较大的视频帧,它们从视觉上看起来可以是有明显的马赛克或者马赛克的数量比较多。对于这种待修复视频帧,可以先通过去块效应算法,把待修复视频帧中的块效应降低,例如可以减少马赛克的数量或者消除马赛克,然后再通过超分辨率算法在进行去块效应处理后的待修复视频帧中补充细节。否则,如果先进行超分辨率处理,近似于对待修复视频帧进行放大处理,则待修复视频帧中原本严重的块效应会随着放大,进行超分辨率处理后的待修复视频帧中的块效应会更加明显,具体表现可以是马赛克更为严重。后续则需要通过去块效应算法,去除进行超分辨率处理后的待修复视频帧中更严重的块效应,此时通过去块效应算法难以将块效应去的比较干净。此外,如果待修复视频帧原本的块效应比较大,对于同一去块效应算法来说,去除尺寸比较小的视频帧中的块效应的效果要比去除尺寸比较大的视频帧中的块效应的效果更好,因此尽量去除在进行超分辨率处理之前的待修复视频帧的效果会更好一些。
另外,通过锐化处理,可以将待修复视频帧的边缘修复的更加锐利、更加清晰、轮廓线条更加明显一些,但是,在对边缘进行锐化的同时,噪声也会被锐化,因此在本公开实施例中可以先进行锐化,再进行降噪,在降噪处理过程中,不可避免地会去除视频帧中的一些细节。
以衣服上的纹理为例,衣服的纹理可以视为是一种边缘信息,如果先对衣服的纹理进行降噪处理,则会或多或少的去除掉衣服的纹理,后面即使再对衣服的纹理进行锐化,去除掉的衣服的纹理也补不回来了。如果衣服的纹理都被去除掉了,则也没有可以进行锐化处理的对象了。但是,如果先对衣服的纹理进行锐化处理,则可以保留并加强衣服的纹理。此时虽然噪声也被锐化了,但是后续还可以通过降噪处理去除锐化前的和锐化后的噪声。
在本公开实施例中,可以对任一待修复视频帧进行修复处理,已修复的视频帧的画质较修复前的视频帧的画质有所提高。同时,本公开实施例还可以基于不同待修复视频帧的画质受损度,对待修复视频帧进行区分,如果画质受损度较高,则待修复视频帧为严重受损的视频帧,如果画质受损度较低,则待修复视频帧为轻度受损的视频帧。在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
基于相同的发明构思,本公开一示例性实施例提供了一种修复视频的方法,如图7所示,该方法的处理流程可以包括如下的步骤:
步骤S701,获取待修复视频帧。
在实施中,计算机设备可以获取待修复视频帧,待修复视频帧可以是待修复视频中的一个视频帧,每个待修复视频都可以包括多个视频帧。可选地,待修复视频帧所属视频的视频格式可以为YUV格式。
步骤S702,确定待修复视频帧的画质受损度。
在实施中,计算机设备可以计算待修复视频帧的画质受损度。修复视频帧的画质受损度可以反应出待修复视频帧的块效应的严重程度。可以通过F(I)=Score_block表达式表示待修复视频帧的画质受损度,其中,Score_block为待修复视频帧的画质受损度,函数F可以表示一种或者多种画质受损度算法。实际应用中,不同画质受损度算法可以从不同参考角度对视频帧的画质受损度进行评价,评价效果不一,可以选取一种画质受损度算法,计算待修复视频帧的画质受损度,可以选取多种画质受损度算法,共同计算待修复视频帧的画质受损度。
步骤S703,如果待修复视频帧的画质受损度小于预设受损度阈值,则确定待修复视频帧是轻度受损。
在实施中,如果确定待修复视频帧是轻度受损,可以通过至少一种修复算法对待修复视频帧进行第二修复处理,其中,至少一种修复算法可以包括去块效应算法、超分辨率算法、锐化算法、降噪算法,它们依次对应的算法可以记为AR算法、SR算法、MS算法、DE算法。
步骤S704,通过预设的超分辨率算法,对待修复视频帧按照第二预设放大倍数进行放大处理。
在实施中,如图8所示,计算机设备可以获取YUV格式的视频包括的待修复视频帧A,可以采用SR算法,对待修复视频帧A进行放大处理,得到待修复视频帧B。放大倍数可以是scale,scale可以设置为1,也可以设置为大于1的数值。如果scale设置为1,则可以不进行放大处理,待修复视频帧B为待修复视频帧A。如果需要对待修复视频帧A进行放大处理,则可以将scale设置为2、3等数值。
步骤S705,在对待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理。
在实施中,可以采用AR算法去除待修复视频帧B中的块效应,得到待修复视频帧C。
步骤S706,在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理。
在实施中,可以采用MS算法,对待修复视频帧C进行锐化处理,得到待修复视频帧D。首先,可以判断待修复视频帧C的锐化度,如果待修复视频帧C的锐化度大于或者等于预设锐化度阈值thr_sharp,则可以不进行锐化处理,待修复视频帧D为待修复视频帧C。如果待修复视频帧C的锐化度小于thr_sharp,则可以采用MS算法,对待修复视频帧C进行锐化处理。锐化度可以通过G(I)=Score_sharp表达式表示,其中,Score_sharp为待修复视频帧C的锐化度。
步骤S707,在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
在实施中,可以采用DE算法,对待修复视频帧D进行降噪处理,得到待修复视频帧E。首先,可以判断待修复视频帧E的噪声值,如果待修复视频帧E的噪声值小于或者等于预设噪声阈值thr_noise,则可以不进行锐化处理,待修复视频帧E为待修复视频帧D。如果待修复视频帧D的噪声值大于thr_noise,则可以采用DE算法,对待修复视频帧D进行降噪处理。噪声值可以通过N(I)=Score_noise表达式表示,其中,Score_noise为待修复视频帧D的噪音值。
在上述过程中,去块效应算法会将原本视频帧中的一些细节抹去,超分辨率算法可以在视频帧中补充细节,将视频帧进行放大,但是同时噪声也会被放大。对于轻度受损的待修复视频帧,即存在的块效应比较小的视频帧,可以先进行超分辨率处理,由于待修复视频帧中原本的块效应较小,因此即使先对先进行超分辨率处理,也不会明显加重待修复视频帧中的块效应。在对待修复视频帧进行超分辨处理之后,可以达到在待修复视频帧中补充细节的效果。随后,可以通过去块效应算法,对进行超分辨处理后的待修复视频帧进行去块效应处理。虽然去块效应算法会将原本视频帧中的一些细节抹去,但是由于预先通过超分辨率处理已经在待修复视频帧中补充了大量细节,所以即使在去块效应处理过程中,去除掉一些进行超分辨处理后的待修复视频帧中的细节,最终能够得以保留下来的细节较进行修复处理前的视频帧还是很多的。
反之,对于轻度受损的待修复视频帧,它们的画质相对较好、细节相对丰富。如果先进行去块效应处理,再进行超分辨率处理,去块效应处理则会将轻度受损的待修复视频帧中原本丰富的细节抹的平滑,这样会增加超分辨率处理过程中恢复视频帧的细节的难度。即对于轻度受损的待修复视频帧,先做减法,再做加法,所得效果不理想。因为画质较好的视频帧,在修复处理过程中更关注的是细节的增加。而本身画质较好的视频帧的块效应本来就小,观众对块效应的视觉感知就不会太明显。
另外,通过锐化处理,可以将待修复视频帧的边缘修复的更加锐利、更加清晰、轮廓线条更加明显一些,但是,在对边缘进行锐化的同时,噪声也会被锐化,因此在本公开实施例中可以先进行锐化,再进行降噪,在降噪处理过程中,不可避免地会去除视频帧中的一些细节。
以衣服上的纹理为例,衣服的纹理可以视为是一种边缘信息,如果先对衣服的纹理进行降噪处理,则会或多或少的去除掉衣服的纹理,后面即使再对衣服的纹理进行锐化,去除掉的衣服的纹理也补不回来了。如果衣服的纹理都被去除掉了,则也没有可以进行锐化处理的对象了。但是,如果先对衣服的纹理进行锐化处理,则可以保留并加强衣服的纹理。此时虽然噪声也被锐化了,但是后续还可以通过降噪处理去除锐化前的和锐化后的噪声。
在本公开实施例中,可以对任一待修复视频帧进行修复处理,已修复的视频帧的画质较修复前的视频帧的画质有所提高。同时,本公开实施例还可以基于不同待修复视频帧的画质受损度,对待修复视频帧进行区分,如果画质受损度较高,则待修复视频帧为严重受损的视频帧,如果画质受损度较低,则待修复视频帧为轻度受损的视频帧。在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
本公开又一示例性实施例提供了一种修复视频的装置,如图9所示,该装置包括:
获取模块910,用于获取待修复视频帧;
确定模块920,用于确定所述待修复视频帧的画质受损度;
修复模块930,用于当所述待修复视频帧的画质受损度大于或者等于预设受损度阈值时,按照严重受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第一修复处理;当所述待修复视频帧的画质受损度小于所述预设受损度阈值时,按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理。
可选地,所述确定模块920,用于:
确定至少一种画质受损度算法;
通过各画质受损度算法分别计算所述待修复视频帧的画质受损度,得到所述各画质受损度算法分别对应的子画质受损度;
对各子画质受损度进行加权求和,得到所述待修复视频帧的画质受损度。
可选地,所述修复模块930,用于:
通过预设的去块效应算法,对所述待修复视频帧进行去块效应处理;
在对所述待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理;
在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理;
在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述修复模块930,用于:
通过预设的超分辨率算法,对所述待修复视频帧按照第二预设放大倍数进行放大处理;
在对所述待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理;
在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理;
在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
可选地,所述待修复视频帧所属视频的视频格式为YUV格式。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在本公开实施例中,可以对任一待修复视频帧进行修复处理,已修复的视频帧的画质较修复前的视频帧的画质有所提高。同时,本公开实施例还可以基于不同待修复视频帧的画质受损度,对待修复视频帧进行区分,如果画质受损度较高,则待修复视频帧为严重受损的视频帧,如果画质受损度较低,则待修复视频帧为轻度受损的视频帧。在对待修复视频帧进行区分之后,可以按照不同的修复顺序,通过至少一种修复算法对待修复视频帧进行修复处理,修复处理比较有针对性,得到的已修复的视频帧的画质较高。
需要说明的是:上述实施例提供的修复视频的装置在修复视频时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的修复视频的装置与修复视频的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10示出了本公开一个示例性实施例提供的计算机设备1900的结构示意图。该计算机设备1900可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1910和一个或一个以上的存储器1920。其中,所述存储器1920中存储有至少一条指令,所述至少一条指令由所述处理器1910加载并执行以实现上述实施例所述的修复视频的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种修复视频的方法,其特征在于,所述方法包括:
获取待修复视频帧;
确定所述待修复视频帧的画质受损度;
如果所述待修复视频帧的画质受损度大于或者等于预设受损度阈值,则通过预设的去块效应算法,对所述待修复视频帧进行去块效应处理;
在对所述待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理;
在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理;
在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理;
如果所述待修复视频帧的画质受损度小于所述预设受损度阈值,则按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理。
2.根据权利要求1所述的方法,其特征在于,所述确定所述待修复视频帧的画质受损度,包括:
确定至少一种画质受损度算法;
通过各画质受损度算法分别计算所述待修复视频帧的画质受损度,得到所述各画质受损度算法分别对应的子画质受损度;
对各子画质受损度进行加权求和,得到所述待修复视频帧的画质受损度。
3.根据权利要求1所述的方法,其特征在于,所述按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理,包括:
通过预设的超分辨率算法,对所述待修复视频帧按照第二预设放大倍数进行放大处理;
在对所述待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理;
在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理;
在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述待修复视频帧所属视频的视频格式为YUV格式。
5.一种修复视频的装置,其特征在于,所述装置包括:
获取模块,用于获取待修复视频帧;
确定模块,用于确定所述待修复视频帧的画质受损度;
修复模块,用于当所述待修复视频帧的画质受损度大于或者等于预设受损度阈值时,通过预设的去块效应算法,对所述待修复视频帧进行去块效应处理;在对所述待修复视频帧进行去块效应处理之后,通过预设的超分辨率算法,对进行去块效应处理后的待修复视频帧按照第一预设放大倍数进行放大处理;在对进行去块效应处理后的待修复视频帧进行放大处理之后,如果进行放大处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行放大处理后的待修复视频帧进行锐化处理;在对进行放大处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理;当所述待修复视频帧的画质受损度小于所述预设受损度阈值时,按照轻度受损修复顺序,通过至少一种修复算法对所述待修复视频帧进行第二修复处理。
6.根据权利要求5所述的装置,其特征在于,所述确定模块,用于:
确定至少一种画质受损度算法;
通过各画质受损度算法分别计算所述待修复视频帧的画质受损度,得到所述各画质受损度算法分别对应的子画质受损度;
对各子画质受损度进行加权求和,得到所述待修复视频帧的画质受损度。
7.根据权利要求5所述的装置,其特征在于,所述修复模块,用于:
通过预设的超分辨率算法,对所述待修复视频帧按照第二预设放大倍数进行放大处理;
在对所述待修复视频帧进行放大处理之后,通过预设的去块效应算法,对进行放大处理后的待修复视频帧进行去块效应处理;
在对进行放大处理后的待修复视频帧进行去块效应处理之后,如果进行去块效应处理后的待修复视频帧的锐化度小于预设锐化度阈值,则通过预设的锐化算法,对进行去块效应处理后的待修复视频帧进行锐化处理;
在对进行去块效应处理后的待修复视频帧进行锐化处理之后,如果进行锐化处理后的待修复视频帧中的噪声值大于预设噪声阈值,则通过预设的降噪算法,对进行锐化处理后的待修复视频帧进行降噪处理。
8.根据权利要求5-7中任一项所述的装置,其特征在于,所述待修复视频帧所属视频的视频格式为YUV格式。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、通信接口、存储器和通信总线,其中:
所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序,以实现权利要求1-4任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910692753.6A CN110378860B (zh) | 2019-07-30 | 2019-07-30 | 修复视频的方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910692753.6A CN110378860B (zh) | 2019-07-30 | 2019-07-30 | 修复视频的方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110378860A CN110378860A (zh) | 2019-10-25 |
CN110378860B true CN110378860B (zh) | 2023-08-18 |
Family
ID=68256921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910692753.6A Active CN110378860B (zh) | 2019-07-30 | 2019-07-30 | 修复视频的方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110378860B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113507625B (zh) * | 2021-06-22 | 2022-08-19 | 西安理工大学 | 一种自适应视频修复方法 |
CN114501139A (zh) * | 2022-03-31 | 2022-05-13 | 深圳思谋信息科技有限公司 | 一种视频处理方法、装置、计算机设备和存储介质 |
CN115082357B (zh) * | 2022-07-20 | 2022-11-25 | 深圳思谋信息科技有限公司 | 视频去噪数据集生成方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102231790A (zh) * | 2011-06-23 | 2011-11-02 | 上海大学 | 视频序列中条带损伤的修复方法 |
EP2482558A1 (en) * | 2009-11-03 | 2012-08-01 | Huawei Technologies Co., Ltd. | Method, apparatus and system for evaluation of video quality |
CN105809639A (zh) * | 2016-03-03 | 2016-07-27 | 上海大学 | 一种老电影褪色闪烁的修复方法 |
CN206249426U (zh) * | 2016-09-30 | 2017-06-13 | 宁波市东望智能***工程有限公司 | 一种图像复原*** |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN109887515A (zh) * | 2019-01-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 音频处理方法及装置、电子设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI488143B (zh) * | 2009-12-02 | 2015-06-11 | Acer Inc | 影像修復方法 |
-
2019
- 2019-07-30 CN CN201910692753.6A patent/CN110378860B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2482558A1 (en) * | 2009-11-03 | 2012-08-01 | Huawei Technologies Co., Ltd. | Method, apparatus and system for evaluation of video quality |
CN102231790A (zh) * | 2011-06-23 | 2011-11-02 | 上海大学 | 视频序列中条带损伤的修复方法 |
CN105809639A (zh) * | 2016-03-03 | 2016-07-27 | 上海大学 | 一种老电影褪色闪烁的修复方法 |
CN206249426U (zh) * | 2016-09-30 | 2017-06-13 | 宁波市东望智能***工程有限公司 | 一种图像复原*** |
CN108961186A (zh) * | 2018-06-29 | 2018-12-07 | 赵岩 | 一种基于深度学习的老旧影片修复重制方法 |
CN109660821A (zh) * | 2018-11-27 | 2019-04-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN109887515A (zh) * | 2019-01-29 | 2019-06-14 | 北京市商汤科技开发有限公司 | 音频处理方法及装置、电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
数字图像修复技术在缺损照片处理中的应用探讨;丁丰;;科技创新与应用(32);107页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110378860A (zh) | 2019-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378860B (zh) | 修复视频的方法、装置、计算机设备和存储介质 | |
WO2016206087A1 (zh) | 一种低照度图像处理方法和装置 | |
CN109743473A (zh) | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 | |
CN113450290B (zh) | 基于图像修补技术的低照度图像增强方法及*** | |
KR102182697B1 (ko) | 영상 처리 장치 및 방법 | |
Soh et al. | Reduction of video compression artifacts based on deep temporal networks | |
CN113099067B (zh) | 基于像素值排序预测与菱形预测的可逆信息隐藏方法及*** | |
CN111445424A (zh) | 图像处理和移动终端视频处理方法、装置、设备和介质 | |
CN111429357A (zh) | 训练数据确定方法、视频处理方法、装置、设备及介质 | |
CN107301662A (zh) | 深度图像的压缩恢复方法、装置、设备及存储介质 | |
CN109949234A (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
CN113612996A (zh) | 一种基于时域滤波的视频降噪的方法及装置 | |
CN113012061A (zh) | 降噪处理方法、装置及电子设备 | |
US11948278B2 (en) | Image quality improvement method and image processing apparatus using the same | |
CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
CN114119383A (zh) | 一种基于多特征融合的水下图像复原方法 | |
US11501404B2 (en) | Method and system for data processing | |
CN117333398A (zh) | 一种基于自监督的多尺度图像去噪方法及装置 | |
CN114584831B (zh) | 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 | |
Jiang et al. | Haze relevant feature attention network for single image dehazing | |
CN107509074B (zh) | 基于压缩感知的自适应3d视频压缩编解码方法 | |
EP3070669A1 (en) | Method and apparatus for color smoothing in an alpha matting process | |
CN112533024A (zh) | 一种人脸视频处理方法、装置及存储介质 | |
Kumari et al. | Improved single image and video dehazing using morphological operation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |