CN116760988A - 基于人类视觉***的视频编码方法和装置 - Google Patents
基于人类视觉***的视频编码方法和装置 Download PDFInfo
- Publication number
- CN116760988A CN116760988A CN202311040723.XA CN202311040723A CN116760988A CN 116760988 A CN116760988 A CN 116760988A CN 202311040723 A CN202311040723 A CN 202311040723A CN 116760988 A CN116760988 A CN 116760988A
- Authority
- CN
- China
- Prior art keywords
- quantization parameter
- parameter value
- frame
- video frame
- target video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000000007 visual effect Effects 0.000 title claims abstract description 33
- 238000013139 quantization Methods 0.000 claims abstract description 152
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于人类视觉***的视频编码方法和装置。其中，该方法包括根据编码器的码控算法获得目标视频帧的帧级量化参数值，以及根据感兴趣区域识别与帧级量化参数值获得内块级量化参数值；根据目标视频帧的原始数据以及编码器的类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；然后将感兴趣区域识别模块给出的编码方案与饱和质量模块给出的编码方案进行比较以获得目标编码量化参数值，采用目标编码量化参数值对目标视频帧进行视频编码并输出码流。本发明所提供的技术方案能够判断视频主观质量达到饱和时的最低量化参数值，从而对量化参数值的调整进行限制，从而避免码率浪费并提升整体的视频质量。
Description
技术领域
本发明涉及视频编码技术领域，尤其涉及一种基于人类视觉***的视频编码方法和装置。
背景技术
基于主观感兴趣区域（Region of interest，ROI）编码是一种被广泛使用的提升视频主观质量的编码方案。这种编码方案能够利用人眼主观存在感兴趣区域和非感兴趣区域的特点，对两类区域的码率分配做一定的修正。具体而言，对图像中人眼感兴趣的区域减少量化参数值（Quantization Parameter，QP），分配更多码率以提升画面质量；对人眼不感兴趣的区域增加量化参数值，分配更少码率。基于ROI的视频编码能够在不增加带宽和存储空间的前提下，整体上提升视频的主观质量。
在实现上，基于感兴趣区域的视频编码通常分为感兴趣区域识别提取主观感兴趣区域与基于主观感兴趣区域进行视频编码两个步骤。
提取主观感兴趣区域可以通过眼动仪收集实际用户的眼动数据，或者使用基于人工智能的网络模型来判断图像各个区域的重要程度。基于主观感兴趣区域进行视频编码则是通过编码器的自适应量化（Adaptive Quantization，AQ）功能调整各个区域的量化参数值来实现。即，对不同的主观感兴趣区域和非感兴趣区域做不同的量化参数值调整，量化参数值越小，则质量越好，码率也会越高；而量化参数值越大，则宏块得到的码率越小，画质也越差。通过上述调整，能够实现感兴趣区域的权重调整。
然而，现有技术基于感兴趣区域的视频编码方案中，感兴趣区域识别与视频编码是相互独立的两个过程。感兴趣区域识别仅能够对原始图像进行分析，无法考虑后续编码过程对最终主观质量的影响；而视频编码也仅是简单依据感兴趣区域识别的结果，简单地来提升感兴趣区域质量并降低非感兴趣区域的质量。这就导致，当量化参数值足够低（即视频质量足够高）时，继续降低量化参数值（即提升编码质量）虽然会提升码率但对主观质量的改善十分有限，从而在感兴趣区域浪费了过多码率。
发明内容
鉴于此，本发明提供了一种基于人类视觉***的视频编码方法和装置，以用于解决现有技术中的上述技术问题。
根据本发明的一个方面，提供了一种基于人类视觉***的视频编码方法，该方法包括将输入视频中的每一帧作为目标视频帧，目标视频帧包括多个预设编码块，依次执行以下步骤：
S1：根据编码器的码控算法获得目标视频帧的帧级量化参数值；
S2: 根据感兴趣区域识别以及帧级量化参数值获得目标视频帧的内块级量化参数值；
S3：根据目标视频帧的原始数据以及编码器类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；
S4：采用目标编码量化参数值对目标视频帧进行视频编码并输出码流，其中目标视频帧中每一预设编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
根据本发明的另一个方面，提供了一种基于人类视觉***的视频编码装置，该装置包括将输入视频中的每一帧作为目标视频帧，目标视频帧包括多个预设编码块，依次执行以下模块：
编码器码率控制模块，被配置为根据编码器的码控算法获得目标视频帧的帧级量化参数值；
感兴趣区域识别模块，被配置为根据感兴趣区域识别以及帧级量化参数值获得目标视频帧的内块级量化参数值；
饱和质量模块，被配置为根据目标视频帧的原始数据以及编码器类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；
视频编码模块，被配置为采用目标编码量化参数值对目标视频帧进行视频编码并输出码流，其中目标视频帧中每一编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
根据本发明的另一个方面，提供了一种基于人类视觉***的视频编码装置，该装置包括将输入视频中的每一帧作为目标视频帧，目标视频帧包括多个预设编码块，依次执行以下模块：
编码器码率控制模块，被配置为根据编码器的码控算法获得目标视频帧的帧级量化参数值；
感兴趣区域识别模块，被配置为根据感兴趣区域识别以及帧级量化参数值获得目标视频帧的内块级量化参数值；
饱和质量模块，被配置为根据目标视频帧的原始数据以及编码器类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；
视频编码模块，被配置为采用目标编码量化参数值对目标视频帧进行视频编码并输出码流，其中目标视频帧中每一编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
根据本发明的再另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使处理器执行上述的方法。
从以上技术方案可以看出，本发明所提供的技术方案至少存在以下优点：
本发明所提供的技术方案能够根据给定的输入视频帧和编码器类型（例如H264/H265/AV1等），判断视频主观质量达到饱和时的最低量化参数值，从而对感兴趣区域量化参数值的调整进行限制，避免了因分配额外码率到主观质量已经接近饱和的区域而导致的码率浪费，也提升了整体的视频质量。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，但并不构成对本发明技术方案的限制。
图1示出了本发明示例性实施例所提供的方法的流程图；
图2示出了本发明示例性实施例所提供的装置的结构框图；
图3示出了本发明示例性实施例所提供的方法中采用的基于人工智能网络的人类视觉***模型；
图4示出了本发明示例性实施例所提供的另一装置的结构框图；
图5示出了本发明示例性实施例所提供的的电子设备的结构框图。
具体实施方式
下面将参照附图来详细描述本发明的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本发明及其应用或使用的任何限制。本发明可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本发明透彻且完整，并且向本领域技术人员充分表达本发明的范围。
除非上下文明确表明，如果未特意限定要素的数量，则该要素可以是一个或多个。如本说明书使用的，术语“多个/若干/这些”意指两个或更多，术语“基于/根据”应解释为“至少部分地基于/根据”。此外，术语“和/或”以及“…中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。
请参考图1，其示出了本发明示例性实施例所提供的方法的流程图。
本发明的一个方面提供了一种基于人类视觉***的视频编码方法，其中，该方法包括将输入视频中的每一帧作为目标视频帧，其中目标视频帧包括多个预设编码块，依次执行以下步骤：
S1：根据编码器的码控算法获得目标视频帧的帧级量化参数值；
S2: 根据感兴趣区域识别以及帧级量化参数值获得目标视频帧的内块级量化参数值；
S3：根据目标视频帧的原始数据以及编码器的类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；
S4：采用目标编码量化参数值对目标视频帧进行视频编码并输出码流，其中目标视频帧中每一预设编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
由于人眼对具有不同复杂度、亮度、对比度的区域的敏感程度不同，所以在观看视频时，对其中每一目标视频帧中的不同区域的主观质量饱和阈值也不同。本发明所提供的技术方案在传统感兴趣区域编码方案的基础上引入了块级主观质量饱和最小量化参数值，从而能够调整感兴趣区域量化参数权重，在整体上优化主观视频质量并避免了过多浪费码率的问题。
块级主观质量饱和最小量化参数值（HVS_min_QP）是指，在这个最小量化参数值以上的量化参数值改变会导致人眼主观上感知到明显的视频质量变化，而在这个最小量化参数值以下的量化参数值改变化并不会、或者很难使得人眼主观上感知到视频质量的提升。块级主观质量饱和最小量化参数值通过预先训练好的以包括目标视频帧的视频帧原始数据（即视频帧raw数据，视频帧未经处理的原始的图像数据）、编码器类型（包括但不限于H.264视频编码器、H.265视频编码器、AV1视频编码器）作为输入参数的基于人工智能网络的人类视觉***模型的训练数据集生成。
量化参数值可以在各种级别（例如帧级别、片级别或块级别）上变化。帧级量化参数值（frame_QP）是每一目标视频帧的量化参数值，目标视频帧的帧级量化参数值可以基于目标码率以及目标视频帧的复杂程度获得。
在正常的视频编码流程中，主要是码率控制算法根据目标视频帧中内容的易压缩程度来自适应地选择量化参数值以达到目标码率。当量化参数值在块级别上变化时，对于每个预设编码块，其内块级量化参数值（ROI_delta_QP）为基于感兴趣区域算法结果推算出来的内块级量化参数的调整幅度。
基于感兴趣区域算法基于人类视觉***的特性，通过在人眼敏感区域采用较高的量化精度，而在人眼不敏感区域采用较低的量化精度的方式，能够达到在相同目标码率的情况下提升主观视觉质量的目的。即，当感兴趣区域算法识别为重要的区域时，其内块级量化参数值为负值，以提升质量，当感兴趣区域算法识别为不重要的区域时，其内块级量化参数值为正值，以降低质量。内块级量化参数值是一个相对调整量，最终编码时采用的量化值为帧级量化参数值与内块级量化参数值之和。
用于获得块级主观质量饱和最小量化参数值的训练数据集通过以下方式获得：
S30：获得视频帧原始数据以及编码器类型；
S31：将目标视频帧划分为多个预设编码块，分别获得多个预设编码块中的每一个所对应的预设编码块原始数据，并针对多个预设编码块中的每一个分别执行以下步骤：
S310：在编码器类型下，使用不同的固定量化参数值进行编码，以获得与不同的固定量化参数值相对应的多个固定编码结果；
S320：对多个固定编码结果进行画质比较，找出其中画质不低于人眼主观质量饱和程度时所对应的最小固定量化参数值，并将最小固定量化参数值作为块级主观质量饱和最小量化参数值；
S330：获得多组包括视频帧原始数据、预设编码块原始数据、编码器类型和块级主观质量饱和最小量化参数值的数据集，作为训练数据集。
本发明S320中画质比较的方式包括人眼主观对比方式和/或客观指标对比方式。即，通过人工对比评估或借助例如、但不限于最小可觉差（Just Noticeable Distortion，JND）等客观计算指标，能够判断并确定人眼主观质量饱和程度。其中，人眼主观对比方式即测试人员依次观看采用不同量化参数值编码后的结果，并找出当人眼无法分辨相邻量化参数值编码质量区别时的量化参数值。客观计算指标对比即比较相量化参数值编码后的结果并找到满足客观计算指标所定义的主观饱和质量的量化参数值。
举例而言，客观计算指标对比可使用常用的ITU PEVQ（Perceptual Evaluationof Video Quality）标准。PEVQ对视频画质的打分分数范围为1至5，其中1表示画质最差，5表示画质无损或人眼无法识别损坏的区别。在本发明中，可以从高到低计算相邻量化参数值对（QP_n, QP_n-1）的输出结果之间的PEVQ分数。如果PEVQ分数小于5，则继续计算相邻更小量化参数值对(QP_n-1, QP_n-2)结果的PEVQ分数。如果PEVQ的分数为5，那么QP_n-1就是我们需要找的最小量化参数值。
以下部分将以基于H.265视频编码器的感兴趣区域视频编码对本发明所提供的技术方案进行说明。然而以下说明仅是示例性的，本发明并不限于此。H.265编码标准下进行量化参数值调整的编码块尺寸包括8×8、16×16、32×32、64×64等，其中8×8为进行量化参数值调整的最小编码块。并且本领域技术人员知晓，编码块尺寸越小，则画质调整越精细。以下部分将采用8×8的编码块划分为例进行说明。
首先，根据编码器的码控算法计算出目标视频帧的帧级量化参数值frame_QP。
然后，使用感兴趣区域检测算法（包括但不限于借助基于布尔图的显著性检测模型、基于四元傅里叶图像变化检测视觉显著性等）计算出目标视频帧中各个8×8区域的重要性权重，并将权重值转换为各个8×8编码块的内块级量化参数值（量化参数值偏移值）。重要性越高的编码块其量化参数值偏移值越小，重要性越低的编码块其量化参数值偏移值越大。
接着，将目标视频帧输入本发明所提供的基于人工智能网络的人类视觉***模型，根据目标视频帧的原始数据以及编码器类型，则能够获得目标视频帧中每个8×8编码块的块级主观质量饱和最小量化参数值HVS_min_QP。
然后，在对目标视频帧进行实际编码的过程中，针对目标视频帧中每个8×8编码块分别通过block_QP = max(frame_QP+ROI_delta_QP, HVS_min_QP)获得目标编码量化参数值并对每个8×8编码块进行编码，即目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。然后，输出编码后的视频码流。
上述步骤S3中所用到的基于人工智能网络的人类视觉***模型可以通过下列步骤来训练生成：
针对某一目标视频帧，使用不同的固定量化参数值进行H.265编码，优选地可以使用所有可能的量化参数值；
针对目标视频帧中的每一个编码块，对比使用不同量化参数值编码获得的结果，找出主观质量达到饱和时的最小量化参数值；
在足够多的视频源收集包括[视频帧原始数据、预设编码块原始数据、编码器类型和块级主观质量饱和最小量化参数值]的组合的数据集，即可利用该数据集来训练针对H.265编码标准的基于人工智能网络的人类视觉***模型。
其中，“足够多的视频源”是指利用多种不同类型的视频编码器，对于每一种编码器类型分别用不同量化参数值依次训练多个不同视频源中的一个，然后获得多种编码器类型针对多个不同视频源各自的结果。
请参考图2至图3，其分别示出了本发明示例性实施例所提供的装置的结构框图以及所采用的基于人工智能网络的人类视觉***模型。
本发明的另一个方面提供了一种基于人类视觉***的视频编码装置，该装置包括将输入视频中的每一帧作为目标视频帧，目标视频帧包括多个预设编码块，依次执行以下模块：
编码器码率控制模块，被配置为根据编码器的码控算法获得目标视频帧的帧级量化参数值；
感兴趣区域识别模块，被配置为根据感兴趣区域识别以及帧级量化参数值获得目标视频帧的内块级量化参数值；
饱和质量模块，被配置为根据目标视频帧的原始数据以及编码器类型，获得与目标视频帧对应的块级主观质量饱和最小量化参数值；
视频编码模块，被配置为采用目标编码量化参数值对目标视频帧进行视频编码并输出码流，其中目标视频帧中每一预设编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
如图3所示，本发明所提供的基于人工智能网络的人类视觉***模型左侧输入端的输入参数包括目标视频帧的视频帧原始数据以及编码器类型，右侧输出端的输出参数即为块级主观质量饱和最小量化参数值。当装置运行时，饱和质量模块将从人类视觉***模型左侧收到的有关目标视频帧的参数输入这个预先训练好的模型，则能够从右侧得出相对应的最小量化参数值并进行传递给视频编码模块以进行后续视频编码。
应当理解，图2中所示的装置可以与本说明书前文描述图1中的方法相对应。由此，上面针对方法描述的操作、特征和优点同样适用于该装置及其包括的模块；上面针对装置及其包括的模块描述的操作、特征和优点同样适用于该方法。为简洁起见，实质相同/相似的操作、特征和优点在此不再赘述。
此外如图4所示的本发明另一优选实施例中采用装置的结构框图，由于视频内容的运动大小也对人眼主观质量感受存在较大影响，所以本发明所提供的技术方案还可以将时域帧间变化信息加入到基于人工智能网络的人类视觉***模型中，即，在模型中不仅考虑目标帧的特性，也考虑到目标帧与其前一帧之间的变化，从而可以进一步提升模型预测的准确度以及提升视频主观质量。
帧间变化信息主要是用到当前的目标编码帧和前一帧之间的运动信息，所以不会引入额外的编码延迟。由于在对当前的目标编码帧进行编码时已经执行过运动估计，因此考虑帧间变化信息时可以直接复用已有的运动向量信息（motion vectors）。此时，最小量化参数值HVS_min_QP的计算过程与前述实施例中类似，仍然基于人工智能网络的人类视觉***模型进行预测，区别仅是在前述人工智能网络的人类视觉***模型的输入端增加了运动向量信息的输入，其他实质相同的步骤在此不再赘述。
具体而言，如图4所示，在该优选实施例中，视频编码装置包括感兴趣区域识别模块、饱和质量模块以及运动估计模块。其中，运动估计模块可以根据运动向量信息进行目标视频帧与其前一帧之间的帧间运动估计，从而获得前一帧上与目标视频帧之间的相对位移，即运动矢量。运动估计模块得出的运动矢量数据集将输出给视频编码模块，以用于确定块级主观质量饱和最小量化参数值。
虽然上面参考特定模块讨论了特定功能，但是应当注意，本发明技术方案中各个模块的功能也可以分为多个模块进行实现，和/或多个模块的至少一些功能可以组合成单个模块进行实现。本发明技术方案中特定模块执行动作的方式包括，该特定模块本身执行动作，或者由该特定模块调用或以其他方式访问执行动作（或结合该特定模块一起执行动作）。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
除上述技术方案外，本发明还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。在本说明书的以下部分，将结合图5来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
图5示出了本发明示例性实施例所提供的的电子设备的结构框图。本发明技术方案所提供的装置也可以全部或至少部分地由电子设备300或类似设备或装置实现。
电子设备300可以是各种不同类型的设备。电子设备300的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机等。电子设备300可以包括能够诸如通过***总线311或其他适当的连接彼此通信的至少一个处理器302、存储器304、（多个）通信接口309、显示设备301、其他输入/输出（I/O）设备310以及一个或更多大容量存储设备303。
处理器302可以是单个或多个处理单元，所有处理单元可以包括单个或多个计算单元或多个核心。处理器302可以被实施成一个或多个微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器302可以被配置成获取并且执行存储在存储器304、大容量存储设备303或其他计算机可读介质中的计算机可读指令，如操作***305、应用程序306、其他程序307的程序代码等。
存储器304和大容量存储设备303是用于存储指令的计算机可读存储介质的示例，指令由处理器302执行来实施前面所描述的各种功能。举例来说，存储器304一般可以包括易失性存储器和非易失性存储器。此外，大容量存储设备303一般可以包括硬盘驱动器、固态驱动器、可移除介质等。存储器304和大容量存储设备303在本发明中都可被统称为存储器或计算机可读存储介质，并且可以是能将计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可由处理器302作为被配置成实施本发明示例中所描述的操作和功能的特定机器来执行。
多个程序可以存储在大容量存储设备303上。这些程序包括操作***305、一个或多个应用程序306、其他程序307和程序数据308，并且它们可以被加载至存储器304以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本申请所提供的方法（包括该方法的任何合适的步骤）和/或本申请描述的另外的实施例。
虽然在图5中被图示成存储在电子设备300的存储器304中，但是操作***305、一个或多个应用程序306、其他程序307和程序数据308或其部分可以使用可由电子设备300访问的任何形式的计算机可读介质来实施。计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质，以及能传播能量波的无线介质。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质中的已调制数据信号。调制可以是模拟的、数字的或混合调制技术。
计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器、非易失性存储器；、磁性和光学存储设备；或其它已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。
一个或更多个通信接口309用于通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口、有线或无线接口、Wi-MAX接口、以太网接口、通用串行总线接口、蜂窝网络接口、Bluetooth接口、NFC接口等。通信接口309可以促进在多种网络和协议类型内的通信，其中包括有线网络和无线网络、因特网等。通信接口309还可提供与存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。
在一些示例中，可以包括如监视器之类的显示设备301，以用于向用户显示信息和图像。其他I/O设备310可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。本发明描述的技术方案可以由电子设备300的这些各种配置来支持，并且不限于本发明所描述的技术方案的具体示例。
虽然在附图和前面的描述中已经详细地说明和描述了本发明，但这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，本发明所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本发明的保护范围内。
Claims (12)
1.一种基于人类视觉***的视频编码方法，其特征在于，所述方法包括将输入视频中的每一帧作为目标视频帧，所述目标视频帧包括多个预设编码块，依次执行以下步骤：
S1：根据编码器的码控算法获得所述目标视频帧的帧级量化参数值；
S2: 根据感兴趣区域识别以及所述帧级量化参数值获得所述目标视频帧的内块级量化参数值；
S3：根据所述目标视频帧的原始数据以及所述编码器的类型，获得与所述目标视频帧对应的块级主观质量饱和最小量化参数值；
S4：采用目标编码量化参数值对所述目标视频帧进行视频编码并输出码流，其中所述目标视频帧中每一预设编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、 块级主观质量饱和最小量化参数值。
2.根据权利要求1所述的基于人类视觉***的视频编码方法，其特征在于，所述块级主观质量饱和最小量化参数值通过预先训练好的以包括所述目标视频帧的视频帧原始数据、编码器的类型作为输入参数的基于人工智能网络的人类视觉***模型的训练数据集生成。
3.根据权利要求2所述的基于人类视觉***的视频编码方法，其特征在于，所述训练数据集通过以下方式获得：
S30：获得视频帧原始数据以及编码器类型；
S31：分别获得所述多个预设编码块中的每一个所对应的预设编码块原始数据，并针对所述多个预设编码块中的每一个分别执行以下步骤：
S310：在所述编码器类型下，使用不同的固定量化参数值进行编码，以获得与所述不同的固定量化参数值相对应的多个固定编码结果；
S320：对所述多个固定编码结果进行画质比较，找出其中画质不低于人眼主观质量饱和程度时所对应的最小固定量化参数值，并将所述最小固定量化参数值作为块级主观质量饱和最小量化参数值；
S330：获得多组包括视频帧原始数据、预设编码块原始数据、编码器类型和块级主观质量饱和最小量化参数值的数据集，作为所述训练数据集。
4.根据权利要求3所述的基于人类视觉***的视频编码方法，其特征在于，S320中所述画质比较的方式包括人眼主观对比方式和/或客观指标对比方式。
5.根据权利要求4所述的基于人类视觉***的视频编码方法，其特征在于，所述内块级量化参数值为根据感兴趣区域识别获得的调整值。
6.根据权利要求5所述的基于人类视觉***的视频编码方法，其特征在于，所述训练数据集的输入参数还包括帧间变化信息，所述帧间变化信息包括所述目标视频帧与其前一帧之间的相对位移。
7.一种基于人类视觉***的视频编码装置，其特征在于，所述装置包括将输入视频中的每一帧作为目标视频帧，所述目标视频帧包括多个预设编码块，依次执行以下模块：
编码器码率控制模块，被配置为根据编码器的码控算法获得所述目标视频帧的帧级量化参数值；
感兴趣区域识别模块，被配置为根据感兴趣区域识别以及所述帧级量化参数值获得所述目标视频帧的内块级量化参数值；
饱和质量模块，被配置为根据所述目标视频帧的原始数据以及所述编码器的类型，获得与所述目标视频帧对应的块级主观质量饱和最小量化参数值；
视频编码模块，被配置为采用目标编码量化参数值对所述目标视频帧进行视频编码并输出码流，其中所述目标视频帧中每一预设编码块的目标编码量化参数值为以下两个数值中的最大值：帧级量化参数值与内块级量化参数值之和、块级主观质量饱和最小量化参数值。
8.根据权利要求7所述的基于人类视觉***的视频编码装置，其特征在于，所述块级主观质量饱和最小量化参数值通过预先训练好的以包括所述目标视频帧的视频帧原始数据、编码器的类型作为输入参数的基于人工智能网络的人类视觉***模型的训练数据集生成。
9.根据权利要求8所述的基于人类视觉***的视频编码装置，其特征在于，所述装置还包括运动估计模块，所述运动估计模块被配置为获得所述目标视频帧与其前一帧之间的帧间变化信息，所述帧间变化信息包括所述目标视频帧与其前一帧之间的相对位移。
10.根据权利要求9所述的基于人类视觉***的视频编码装置，其特征在于，所述相对位移被输入所述视频编码模块。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，其用于存储可执行指令；
所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至6中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311040723.XA CN116760988B (zh) | 2023-08-18 | 2023-08-18 | 基于人类视觉***的视频编码方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311040723.XA CN116760988B (zh) | 2023-08-18 | 2023-08-18 | 基于人类视觉***的视频编码方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116760988A true CN116760988A (zh) | 2023-09-15 |
| CN116760988B CN116760988B (zh) | 2023-11-10 |
Family
ID=87948263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311040723.XA Active CN116760988B (zh) | 2023-08-18 | 2023-08-18 | 基于人类视觉***的视频编码方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116760988B (zh) |
Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2063972A1 (en) * | 1991-04-18 | 1992-10-19 | John Watney | Method and apparatus for determining a quantizing factor for multi-generation data compression/decompression processes |
| CN1207633A (zh) * | 1997-06-09 | 1999-02-10 | 株式会社日立制作所 | 图象序列编码方法和解码方法 |
| CN1276679A (zh) * | 1999-06-08 | 2000-12-13 | 松下电器产业株式会社 | 图象信号混洗、编码、译码装置及其程序记录媒体 |
| CA2345878A1 (en) * | 2001-05-01 | 2002-11-01 | Destiny Software Productions Inc. | Multi media distribution method and system |
| US20050140781A1 (en) * | 2003-12-29 | 2005-06-30 | Ming-Chieh Chi | Video coding method and apparatus thereof |
| CN101039421A (zh) * | 2006-03-16 | 2007-09-19 | 华为技术有限公司 | 在编解码中的实现量化的方法和装置 |
| CN101164341A (zh) * | 2005-03-01 | 2008-04-16 | 高通股份有限公司 | 用于视频电话的质量度量偏移的关注区编码 |
| CN101252687A (zh) * | 2008-03-20 | 2008-08-27 | 上海交通大学 | 实现多通道联合的感兴趣区域视频编码及传输的方法 |
| US20090237519A1 (en) * | 2008-03-18 | 2009-09-24 | Canon Kabushiki Kaisha | Imaging apparatus |
| US20110274162A1 (en) * | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
| CN103051901A (zh) * | 2013-01-14 | 2013-04-17 | 北京华兴宏视技术发展有限公司 | 视频数据编码装置和视频数据编码方法 |
| CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
| US20140376616A1 (en) * | 2013-06-25 | 2014-12-25 | Vixs Systems Inc. | Quantization parameter adjustment based on sum of variance and estimated picture encoding cost |
| CN105379269A (zh) * | 2013-07-10 | 2016-03-02 | 微软技术许可有限责任公司 | 兴趣区域感知的视频编码 |
| US20160073111A1 (en) * | 2014-03-10 | 2016-03-10 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US20160088298A1 (en) * | 2014-09-22 | 2016-03-24 | Ximin Zhang | Video coding rate control including target bitrate and quality control |
| CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
| DE102016120173A1 (de) * | 2015-11-16 | 2017-05-18 | Samsung Electronics Co., Ltd. | Verfahren zum Codieren von Videodaten, Videocodierer, welcher dasselbe durchführt und elektronisches System mit demselben |
| WO2019140952A1 (zh) * | 2018-01-16 | 2019-07-25 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备及存储介质 |
| CN111314698A (zh) * | 2020-02-27 | 2020-06-19 | 浙江大华技术股份有限公司 | 一种图像编码处理方法及装置 |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| US20200267396A1 (en) * | 2020-05-07 | 2020-08-20 | Intel Corporation | Human visual system adaptive video coding |
| US20200296373A1 (en) * | 2019-03-17 | 2020-09-17 | International Business Machines Corporation | Low delay content disarm and reconstruction (cdr) of live streaming video |
| CN111918066A (zh) * | 2020-09-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、设备及存储介质 |
| WO2022096503A1 (en) * | 2020-11-03 | 2022-05-12 | Deepmind Technologies Limited | Rate control machine learning models with feedback control for video encoding |
| CN115914629A (zh) * | 2021-08-19 | 2023-04-04 | 北京金山云网络技术有限公司 | 视频编码方法、装置及电子设备 |
| CN116074517A (zh) * | 2023-02-07 | 2023-05-05 | 瀚博创芯科技(深圳)有限公司 | 基于运动向量的目标检测方法和装置 |
| CN116506622A (zh) * | 2023-06-26 | 2023-07-28 | 瀚博半导体(上海)有限公司 | 模型训练方法及视频编码参数优化方法和装置 |
-
2023
- 2023-08-18 CN CN202311040723.XA patent/CN116760988B/zh active Active
Patent Citations (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2063972A1 (en) * | 1991-04-18 | 1992-10-19 | John Watney | Method and apparatus for determining a quantizing factor for multi-generation data compression/decompression processes |
| CN1207633A (zh) * | 1997-06-09 | 1999-02-10 | 株式会社日立制作所 | 图象序列编码方法和解码方法 |
| CN1276679A (zh) * | 1999-06-08 | 2000-12-13 | 松下电器产业株式会社 | 图象信号混洗、编码、译码装置及其程序记录媒体 |
| CA2345878A1 (en) * | 2001-05-01 | 2002-11-01 | Destiny Software Productions Inc. | Multi media distribution method and system |
| US20050140781A1 (en) * | 2003-12-29 | 2005-06-30 | Ming-Chieh Chi | Video coding method and apparatus thereof |
| CN101164341A (zh) * | 2005-03-01 | 2008-04-16 | 高通股份有限公司 | 用于视频电话的质量度量偏移的关注区编码 |
| CN101039421A (zh) * | 2006-03-16 | 2007-09-19 | 华为技术有限公司 | 在编解码中的实现量化的方法和装置 |
| US20090237519A1 (en) * | 2008-03-18 | 2009-09-24 | Canon Kabushiki Kaisha | Imaging apparatus |
| CN101252687A (zh) * | 2008-03-20 | 2008-08-27 | 上海交通大学 | 实现多通道联合的感兴趣区域视频编码及传输的方法 |
| US20110274162A1 (en) * | 2010-05-04 | 2011-11-10 | Minhua Zhou | Coding Unit Quantization Parameters in Video Coding |
| CN103051901A (zh) * | 2013-01-14 | 2013-04-17 | 北京华兴宏视技术发展有限公司 | 视频数据编码装置和视频数据编码方法 |
| CN103974071A (zh) * | 2013-01-29 | 2014-08-06 | 富士通株式会社 | 基于感兴趣区域的视频编码方法和设备 |
| US20140376616A1 (en) * | 2013-06-25 | 2014-12-25 | Vixs Systems Inc. | Quantization parameter adjustment based on sum of variance and estimated picture encoding cost |
| CN105379269A (zh) * | 2013-07-10 | 2016-03-02 | 微软技术许可有限责任公司 | 兴趣区域感知的视频编码 |
| US20160073111A1 (en) * | 2014-03-10 | 2016-03-10 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US20160088298A1 (en) * | 2014-09-22 | 2016-03-24 | Ximin Zhang | Video coding rate control including target bitrate and quality control |
| DE102016120173A1 (de) * | 2015-11-16 | 2017-05-18 | Samsung Electronics Co., Ltd. | Verfahren zum Codieren von Videodaten, Videocodierer, welcher dasselbe durchführt und elektronisches System mit demselben |
| CN106604031A (zh) * | 2016-11-22 | 2017-04-26 | 金华就约我吧网络科技有限公司 | 一种基于兴趣区域的h.265视频质量提升方法 |
| WO2019140952A1 (zh) * | 2018-01-16 | 2019-07-25 | 腾讯科技（深圳）有限公司 | 视频编码方法、装置、设备及存储介质 |
| US20200296373A1 (en) * | 2019-03-17 | 2020-09-17 | International Business Machines Corporation | Low delay content disarm and reconstruction (cdr) of live streaming video |
| CN111314698A (zh) * | 2020-02-27 | 2020-06-19 | 浙江大华技术股份有限公司 | 一种图像编码处理方法及装置 |
| US20200267396A1 (en) * | 2020-05-07 | 2020-08-20 | Intel Corporation | Human visual system adaptive video coding |
| CN111479112A (zh) * | 2020-06-23 | 2020-07-31 | 腾讯科技（深圳）有限公司 | 一种视频编码方法、装置、设备和存储介质 |
| CN111918066A (zh) * | 2020-09-08 | 2020-11-10 | 北京字节跳动网络技术有限公司 | 视频编码方法、装置、设备及存储介质 |
| WO2022096503A1 (en) * | 2020-11-03 | 2022-05-12 | Deepmind Technologies Limited | Rate control machine learning models with feedback control for video encoding |
| CN115914629A (zh) * | 2021-08-19 | 2023-04-04 | 北京金山云网络技术有限公司 | 视频编码方法、装置及电子设备 |
| CN116074517A (zh) * | 2023-02-07 | 2023-05-05 | 瀚博创芯科技(深圳)有限公司 | 基于运动向量的目标检测方法和装置 |
| CN116506622A (zh) * | 2023-06-26 | 2023-07-28 | 瀚博半导体(上海)有限公司 | 模型训练方法及视频编码参数优化方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| KARCZEWICZ, ETAL: "JVET AHG report: Enhanced compression beyond VVC capability (AHG12)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29 28TH MEETING, MAINZ, DE, 20–28 OCTOBER 2022 * |
| STEVE ETAL: "Non-CE3: Analysis of Matrix-based Intra Prediction (Informative)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE, 3–12 JULY 2019 * |
| XINWEI LI: "EE2-related: CCLM with non-linear term", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116760988B (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108780499B (zh) | 基于量化参数的视频处理的***和方法 | |
| US8804815B2 (en) | Support vector regression based video quality prediction | |
| US8737464B1 (en) | Adaptive quantization for perceptual video coding | |
| WO2023274074A1 (en) | Systems and methods for image filtering | |
| WO2023134523A1 (zh) | 内容自适应视频编码方法、装置、设备和存储介质 | |
| CN111182300B (zh) | 编码参数的确定方法、装置、设备及存储介质 | |
| CN103313047B (zh) | 一种视频编码方法及装置 | |
| WO2017178782A1 (en) | Motion compensation using temporal picture interpolation | |
| US11197021B2 (en) | Coding resolution control method and terminal | |
| CN114071189A (zh) | 视频处理装置及视频串流的处理方法 | |
| WO2023207801A1 (zh) | 视频流帧率调整方法及其装置、设备、介质、产品 | |
| WO2021129007A1 (zh) | 视频码率的确定方法、装置、计算机设备及存储介质 | |
| CN116440501B (zh) | 自适应云游戏视频画面渲染方法和*** | |
| CN109997360A (zh) | 基于感知度量分类对视频进行编码和解码的方法和装置 | |
| CN111556318B (zh) | 数据传输方法及装置 | |
| WO2016033725A1 (zh) | 视频编码中的块分割方式处理方法和相关装置 | |
| CN110365981B (zh) | 一种视频编码方法、装置、电子设备及存储介质 | |
| CN110913221A (zh) | 一种视频码率预测方法及装置 | |
| CN116760988B (zh) | 基于人类视觉***的视频编码方法和装置 | |
| CN117459733A (zh) | 视频编码方法、装置、设备、可读存储介质及程序产品 | |
| CN109219960B (zh) | 视频编码质量平滑度的优化方法、装置、设备及存储介质 | |
| CN116055723A (zh) | 视频编码方法及装置、电子设备和存储介质 | |
| CN102948147A (zh) | 基于变换系数直方图的视频速率控制 | |
| Fathima et al. | A neural video codec with spatial rate-distortion control | |
| KR20110087859A (ko) | 양자화 계수 조절 방법, 장치 및 컴퓨터 판독가능 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |