CN104105006A - 一种视频图像处理方法和*** - Google Patents
一种视频图像处理方法和*** Download PDFInfo
- Publication number
- CN104105006A CN104105006A CN201410352578.3A CN201410352578A CN104105006A CN 104105006 A CN104105006 A CN 104105006A CN 201410352578 A CN201410352578 A CN 201410352578A CN 104105006 A CN104105006 A CN 104105006A
- Authority
- CN
- China
- Prior art keywords
- roi
- quality control
- control strategy
- server
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频图像处理方法和***。该方法包括：ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI；ROI计算服务器将所述视频图像数据，以及视频图像数据的ROI划分方案，提供给至少一个编码服务器；编码服务器获取编码需求和ROI质量控制策略，并根据编码需求选择ROI划分方案和ROI质量控制策略；根据选择的所述ROI划分方案和ROI质量控制策略对视频图像数据进行编码处理。本发明提供了一种将ROI计算与视频编码分开运行的架构模式。可以灵活组装ROI划分方案和ROI质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了ROI计算资源，提高运算效率，保证实时性传输视频节目。
Description
技术领域
本发明实施例涉及视频处理技术，尤其涉及一种视频图像处理方法和***。
背景技术
随着视频技术和媒体传播技术的发展，视频图像数据的传播分享已成为人们工作和生活中不可或缺的信息分享手段。
面对海量的视频图像数据，为了能够降低传输码率，通常需要在数据源对视频图像进行压缩编码等处理。压缩会对视频图像的质量造成一定的损失，难以兼顾传输码率与视频质量之间的关系。同时，对于同一数据源提供的同一视频图像数据，不同的接收者也会有不同的质量需求和传输能力限制，这也为视频图像数据的处理过程提出了更高的要求。
所以，如果能够很好的兼顾视频质量、传输码率以及不同接收者的灵活需求，成为视频图像处理技术中需要解决的问题之一。
发明内容
本发明提供一种视频图像处理方法和***，以优化视频图像处理技术，提高其灵活性。
第一方面，本发明实施例提供了一种视频图像处理方法，包括：
感兴趣区域ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI；
所述ROI计算服务器将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；
所述编码服务器获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略；
所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
第二方面，本发明实施例还提供了一种视频图像处理***，包括感兴趣区域ROI计算服务器和至少一个编码服务器，其中：
所述ROI计算服务器包括ROI确定模块和数据提供模块，所述ROI确定模块用于基于设定规则确定视频图像数据中图像的ROI和非ROI，所述数据提供模块用于将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；
每个所述编码服务器，与所述ROI计算服务器相交互，包括策略选择模块和图像编码模块，所述策略选择模块用于获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略，所述图像编码模块用于根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
本发明实施例提供了一种将ROI计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装ROI划分方案和ROI质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了ROI计算资源，提高运算效率，保证实时性传输视频节目。
附图说明
图1为本发明实施例一提供的一种视频图像处理方法的流程图；
图2为本发明实施例所适用的视频图像处理***的架构示意图；
图3为本发明实施例二提供的一种视频图像处理***的架构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种视频图像处理方法的流程图，本实施例可适用于对数据源提供的视频图像数据进行感兴趣区域(Region ofInteresting，简称ROI)计算和编码处理的情况，该方法由视频图像处理***来执行，该***如图2所示，包括ROI计算服务器210和至少一个编码服务器220，两种服务器优选是物理上独立设置，但也可以物理上集成于一台服务器之中，分别实现两种服务器的逻辑功能。
该方法具体包括如下步骤：
步骤110、ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI；
上述步骤用于确定视频图像数据中图像的ROI和非ROI，可以是对视频中的全部或部分帧图像，按帧进行确定，也可以是对多帧图像进行批量确定，最终形成视频图像数据中图像的ROI划分方案。设定规则可以有多种实现形式，例如，可以由用户通过人机交互的方式手工标记图像中的ROI。或者，基于视觉注意机制，通过建立视觉注意模型计算图像中特征的显著度，继而提取图像中显著性较高特征所在的区域，作为ROI。该显著度是图像中像素的某个特征与其周围环境中其它像素对应特征的对比效果。
作为优选，本发明实施例中还提供了一种确定方法更为简洁，且计算量小的ROI确定规则，即所述ROI计算服务器，在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区域识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。上述技术方案在确定ROI时，采用了固定ROI区域与浮动ROI区域相结合的方式。可以设置中间区域作为固定的ROI区域，每帧中均可将固定的中间区域作为ROI区域。还设置人脸区域、字幕区域作为浮动ROI区域，即在各帧中进行人脸和字幕的有针对性识别，确定浮动变化的ROI区域。该操作方案中，将三类区域确定为ROI区域，既无需人工交互来指定，所以确定方式简洁，同时三类区域已经基本覆盖了人重点关注的位置，所以ROI的确定较为准确，对区域识别的计算量也较小。当然，目标区域可以不限于上述三类，也可以根据需求确定其他有针对性特征的目标区域。例如，还可以将移动物体所在区域作为浮动的ROI区域，动漫人物的脸也可以作为人脸来进行识别，例如冰河世纪中的长毛象等。移动物体的识别可以关联前后几帧的图像来确定。
步骤120、所述ROI计算服务器将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；
ROI划分方案可以由多种方式来表示，例如用区域坐标、像素坐标等方式向编码服务器告知图像中的ROI和非ROI划分情况。具体可以提供视频图像数据的标识，例如节目号，来代表视频图像数据，再提供帧号和对应的ROI划分方案，来确定各帧图像的ROI划分情况。当设定规则不同时，对同一图像，有可能产生一个或多个ROI划分方案。
步骤130、所述编码服务器获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略；
对于任意一个编码服务器而已，其可以根据自身的情况或视频图像接收者的情况来确定编码需求。例如，该编码服务器可能需要提供高清、标清或流畅画面，或者可能其传输带宽发生变化需要调整编码率等。由上述因素可以确定编码方案。ROI质量控制策略是用于在ROI划分方案基础上确定对ROI和非ROI怎样进行区别的质量处理的策略。该控制策略为一个或多个，由第三方控制者指定，或者在编码服务器预先配置多种，也可以由ROI计算服务器指定。编码服务器可以根据编码需求，选择ROI划分方案和对应的ROI质量控制策略。
步骤140、所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
优选是，所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。通常，ROI为人们重点会关注的区域，所以可控制ROI的图像质量高于非ROI的图像质量，例如，使得ROI的清晰度高，而非ROI较为模糊等。该图像质量的控制典型的体现在压缩质量上，即所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理的操作，具体可以为：所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。例如可以用QP(可打印字符引用编码，Quoted-printable)方法进行压缩编码，且控制此有损压缩算法中的有损参数，来实现不同的图像质量，则ROI质量控制策略即为QP差值策略。
本发明实施例提供了一种将ROI计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装ROI划分方案和ROI质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了ROI计算资源，提高运算效率，保证实时性传输视频节目。实际应用中，该方案可以实现在1路38M的数字带宽中实时传输70路节目。
实施例二
图3为本发明实施例二提供的一种视频图像处理***的架构示意图，该***包括ROI计算服务器210和至少一个编码服务器220，图3所示为包括一个编码服务器220的情况，图2所示为包括多个编码服务器220的情况。所述ROI计算服务器210和所述编码服务器220物理上独立设置，通过有线或无线方式进行数据交互。
该***的架构模式并不限于图2和图3所示，还可以有多种实现方式，例如，ROI计算服务器和所述编码服务器也可以物理上集成设置在一台服务器中，分别实现其逻辑功能。ROI计算服务器的数量可以为多个，与各编码服务器呈多多的交互连接关系，从而可以将ROI计算进行分布式处理。
所述ROI计算服务器210包括ROI确定模块211和数据提供模块212，所述ROI确定模块211用于基于设定规则确定视频图像数据中图像的ROI和非ROI，所述数据提供模块212用于将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器220；
每个所述编码服务器220，与所述ROI计算服务器210相交互，包括策略选择模块221和图像编码模块222，所述策略选择模块221用于获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略，所述图像编码模块222用于根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
在上述方案基础上，优选的所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。
所述策略选择模块221具体可用于根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。
所述ROI确定模块211具体可用于在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本发明实施例提供了一种将ROI计算与视频编码分开运行的架构模式。利用该模式，操控各编码服务器的运营商可以灵活组装ROI划分方案和ROI质量控制策略，能更好的应对不同的编码需求。将ROI的计算和编码分开运行，使得视频图像数据ROI划分方案不必重复计算，节省了ROI计算资源，提高运算效率，保证实时性传输视频节目。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种视频图像处理方法，其特征在于，包括：
感兴趣区域ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI；
所述ROI计算服务器将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；
所述编码服务器获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略；
所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
2.根据权利要求1所述的方法，其特征在于：所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。
3.根据权利要求2所述的方法，其特征在于，所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理包括：
所述编码服务器根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。
4.根据权利要求1-3任一所述的方法，其特征在于，所述ROI计算服务器基于设定规则确定视频图像数据中图像的ROI和非ROI包括：
所述ROI计算服务器，在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。
5.一种视频图像处理***，其特征在于，包括感兴趣区域ROI计算服务器和至少一个编码服务器，其中：
所述ROI计算服务器包括ROI确定模块和数据提供模块，所述ROI确定模块用于基于设定规则确定视频图像数据中图像的ROI和非ROI，所述数据提供模块用于将所述视频图像数据，以及所述视频图像数据的ROI划分方案，提供给至少一个编码服务器；
每个所述编码服务器，与所述ROI计算服务器相交互，包括策略选择模块和图像编码模块，所述策略选择模块用于获取编码需求和ROI质量控制策略，并根据所述编码需求选择所述ROI划分方案和ROI质量控制策略，所述图像编码模块用于根据选择的所述ROI划分方案和ROI质量控制策略对所述视频图像数据进行编码处理。
6.根据权利要求5所述的***，其特征在于，所述ROI质量控制策略中，所述ROI的处理后图像质量高于所述非ROI的处理后图像质量。
7.根据权利要求6所述的***，其特征在于，所述策略选择模块具体用于根据选择的所述ROI划分方案和ROI质量控制策略，对所述ROI采用第一压缩算法进行压缩，对所述非ROI采用第二压缩算法进行压缩，其中，所述第一压缩算法的图像损失率低于所述第二压缩算法的图像损失率。
8.根据权利要求5-7任一所述的***，其特征在于，所述ROI确定模块具体用于在所述视频图像数据中针对图像进行中间区域、人脸区域和/或字幕区识别，将识别到的区域作为所述ROI，剩余区域作为非ROI。
9.根据权利要求6所述的***，其特征在于，所述ROI计算服务器和所述编码服务器物理上独立设置，通过有线或无线方式进行数据交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410352578.3A CN104105006B (zh) | 2014-07-23 | 2014-07-23 | 一种视频图像处理方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410352578.3A CN104105006B (zh) | 2014-07-23 | 2014-07-23 | 一种视频图像处理方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104105006A true CN104105006A (zh) | 2014-10-15 |
| CN104105006B CN104105006B (zh) | 2017-12-26 |
Family
ID=51672758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410352578.3A Active CN104105006B (zh) | 2014-07-23 | 2014-07-23 | 一种视频图像处理方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104105006B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
| CN106550240A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法和*** |
| CN106572350A (zh) * | 2015-10-08 | 2017-04-19 | 三星电子株式会社 | 根据显示器形状非均匀地编码/解码图像数据的电子装置 |
| CN108076113A (zh) * | 2016-11-15 | 2018-05-25 | 同方威视技术股份有限公司 | 用于对安检数据进行操作的方法、服务器和*** |
| CN108700988A (zh) * | 2016-02-15 | 2018-10-23 | 电子湾有限公司 | 数字图像呈现 |
| WO2021057689A1 (zh) * | 2019-09-27 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 |
| CN112954355A (zh) * | 2017-06-21 | 2021-06-11 | 西安万像电子科技有限公司 | 图像帧的处理方法及装置 |
| CN112995488A (zh) * | 2019-12-12 | 2021-06-18 | 深圳富泰宏精密工业有限公司 | 高解析度视频图像处理方法、装置及电子设备 |
| US12008034B2 (en) | 2016-02-15 | 2024-06-11 | Ebay Inc. | Digital image presentation |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101001372A (zh) * | 2006-01-09 | 2007-07-18 | 三星电子株式会社 | 基于感兴趣区域对图像编码/解码的方法和设备 |
| US20100172404A1 (en) * | 2009-01-08 | 2010-07-08 | Michael Anthony Isnardi | Method and System for Providing Region-of-Interest Video Compression |
| CN103442225A (zh) * | 2013-07-26 | 2013-12-11 | 清华大学 | 基于数据库在线学习更新的有限速率下遥感图像传输*** |
-
2014
- 2014-07-23 CN CN201410352578.3A patent/CN104105006B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101001372A (zh) * | 2006-01-09 | 2007-07-18 | 三星电子株式会社 | 基于感兴趣区域对图像编码/解码的方法和设备 |
| US20100172404A1 (en) * | 2009-01-08 | 2010-07-08 | Michael Anthony Isnardi | Method and System for Providing Region-of-Interest Video Compression |
| CN103442225A (zh) * | 2013-07-26 | 2013-12-11 | 清华大学 | 基于数据库在线学习更新的有限速率下遥感图像传输*** |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106572350A (zh) * | 2015-10-08 | 2017-04-19 | 三星电子株式会社 | 根据显示器形状非均匀地编码/解码图像数据的电子装置 |
| CN108700988A (zh) * | 2016-02-15 | 2018-10-23 | 电子湾有限公司 | 数字图像呈现 |
| US12008034B2 (en) | 2016-02-15 | 2024-06-11 | Ebay Inc. | Digital image presentation |
| CN108700988B (zh) * | 2016-02-15 | 2021-05-25 | 电子湾有限公司 | 数字图像呈现 |
| US11681745B2 (en) | 2016-02-15 | 2023-06-20 | Ebay Inc. | Digital image presentation |
| CN106412563A (zh) * | 2016-09-30 | 2017-02-15 | 珠海市魅族科技有限公司 | 一种图像显示方法以及装置 |
| CN108076113A (zh) * | 2016-11-15 | 2018-05-25 | 同方威视技术股份有限公司 | 用于对安检数据进行操作的方法、服务器和*** |
| WO2018103243A1 (zh) * | 2016-12-09 | 2018-06-14 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法、***、直播终端及可读取存储介质 |
| CN106550240A (zh) * | 2016-12-09 | 2017-03-29 | 武汉斗鱼网络科技有限公司 | 一种带宽节省方法和*** |
| CN112954355A (zh) * | 2017-06-21 | 2021-06-11 | 西安万像电子科技有限公司 | 图像帧的处理方法及装置 |
| CN113163202A (zh) * | 2017-06-21 | 2021-07-23 | 西安万像电子科技有限公司 | 图像帧的压缩方法及装置 |
| CN113163202B (zh) * | 2017-06-21 | 2022-10-18 | 西安万像电子科技有限公司 | 图像帧的压缩方法及装置 |
| CN112954355B (zh) * | 2017-06-21 | 2022-12-09 | 西安万像电子科技有限公司 | 图像帧的处理方法及装置 |
| WO2021057689A1 (zh) * | 2019-09-27 | 2021-04-01 | 腾讯科技（深圳）有限公司 | 视频解码方法及装置、视频编码方法及装置、存储介质和电子装置 |
| CN112995488A (zh) * | 2019-12-12 | 2021-06-18 | 深圳富泰宏精密工业有限公司 | 高解析度视频图像处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104105006B (zh) | 2017-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104105006A (zh) | 一种视频图像处理方法和*** | |
| US11153604B2 (en) | Image compression for digital reality | |
| EP3316589B1 (en) | Video synchronization device and video synchronization method | |
| CN105391972B (zh) | 图像通信设备、图像发送设备和图像接收设备 | |
| KR102472971B1 (ko) | 인공지능 모델을 이용한 동영상 인코딩 최적화 방법, 시스템, 및 컴퓨터 프로그램 | |
| CN103313047B (zh) | 一种视频编码方法及装置 | |
| CN109698957A (zh) | 图像编码方法、装置、计算设备及存储介质 | |
| CN110166796A (zh) | 视频帧的处理方法、装置、计算机可读介质及电子设备 | |
| JP5950605B2 (ja) | 画像処理システム、及び、画像処理方法 | |
| US11006184B2 (en) | Enhanced distribution image system | |
| CN110418142A (zh) | 一种基于视频感兴趣区域的编码方法、装置、存储介质 | |
| EP3515082B1 (en) | Server device for streaming video content and client device for receiving and rendering video content | |
| CN112862842B (zh) | 图像数据的处理方法和装置、存储介质及电子装置 | |
| JP2006332882A (ja) | 動画像符号化装置 | |
| CN106921840B (zh) | 一种即时视频中的人脸美化方法、设备及*** | |
| US20230108722A1 (en) | Allocating bit rate between video streams using machine learning | |
| CN115567712A (zh) | 基于人眼恰可察觉失真的屏幕内容视频编码感知码率控制方法及装置 | |
| CN100385453C (zh) | 处理图像数据的方法 | |
| CN115278250A (zh) | 一种低带宽视频传输方法及会议*** | |
| US11350134B2 (en) | Encoding apparatus, image interpolating apparatus and encoding program | |
| CN116601958A (zh) | 虚拟视点绘制、渲染、解码方法及装置、设备、存储介质 | |
| CN102800110B (zh) | 一种确定图像的感知量及图像编码的方法及装置 | |
| CN110855989A (zh) | 一种网络视频图像编码方法和装置 | |
| CN113678431A (zh) | 图像发送/接收***、图像发送装置、图像接收装置、图像发送/接收方法和程序 | |
| Shan et al. | [Retracted] Intraprediction Complexity Control Algorithm Based on Visual Saliency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |