CN108629318B - 一种基于图像识别技术的货架陈列识别方法、装置和*** - Google Patents
一种基于图像识别技术的货架陈列识别方法、装置和*** Download PDFInfo
- Publication number
- CN108629318B CN108629318B CN201810435690.1A CN201810435690A CN108629318B CN 108629318 B CN108629318 B CN 108629318B CN 201810435690 A CN201810435690 A CN 201810435690A CN 108629318 B CN108629318 B CN 108629318B
- Authority
- CN
- China
- Prior art keywords
- display
- shelf
- rectangular area
- classification
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图像识别技术的货架陈列识别方法、装置和***,获取货架的标准陈列图的标准库存量单元、标准库存量单元所在矩形区域及其所属分类;获取货架的当前陈列图进行检测,得到多个矩形区域分别与标准库存量单元所在的矩形区域进行对比,若同一分类则将货架的当前陈列图中该矩形区域的图像输入识别模型,得到货架陈列的识别结果。本发明将图像分为多个矩形区域进行识别,通过识别分析库存量单元所属分类得到货架陈列的识别结果,放宽对摄像头的位置和清晰度的适配要求,对货架陈列情况的识别速度快、准确率高,利于数据统计分析和决策。本发明作为一种基于图像识别技术的货架陈列识别方法、装置和***可广泛应用于图像识别领域。
Description
技术领域
本发明涉及图像识别领域,尤其是一种基于图像识别技术的货架陈列识别方法、装置和***。
背景技术
商品陈列指以产品为主体,运用一定艺术方法和技巧,借助一定的道具,将产品按销售者的经营思想及要求,有规律地摆设、展示、以方便顾客购买,提高销售效率的重要的宣传手段,是销售产业广告的主要形式。合理地陈列商品可以起到展示商品、刺激销售、方便购买、节约空间、美化购物环境等各种重要作用,直接影响到企业形象、销售业绩、顾客满意度、毛利能力等各个方面,对零售企业极其重要。
但是,事实上企业对陈列管理的重视程度不足,目前很多企业都没有专门的部门或者专门的岗位来做这项工作,只是简单的将这些工作放在了商品部或者营运部。
现有技术中也有采用本地部署服务器订制开发的应用程序,由外置摄像头对特定的货架拍照及上传,完成相关数据分析,但是货架前需要有合适的位置来摆放摄像头,对图像清晰度要求高,且遇到人员或物体遮挡时难以识别货架的真实情况。例如一种基于图像识别技术的货架识别方法(CN107045641A),虽然其技术方案中实现了对货架上商品的识别,但是需要有合适的位置来摆放摄像头,且需要提供高清晰度的图像进行识别。
发明内容
为了解决上述技术问题,本发明的目的是:提供一种基于图像识别技术的分区域检测实现高准确率识别的货架陈列识别方法。
为了解决上述技术问题,本发明的另一目的是:提供一种基于图像识别技术的分区域检测实现高准确率识别的货架陈列识别装置。
为了解决上述技术问题,本发明的另一目的是:提供一种基于图像识别技术的分区域检测实现高准确率识别的货架陈列识别***。
本发明所采用的技术方案是:一种基于图像识别技术的货架陈列识别方法,包括有以下步骤:
获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元所在矩形区域及其所属分类;
获取货架的当前陈列图;
对获取到的货架的当前陈列图进行检测,得到多个矩形区域;
将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
若为同一分类,则将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果。
进一步,所述将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类这一步骤,具体为:
计算上述矩形区域与标准库存量单元所在的矩形区域的交并比;
若交并比超过设定阈值,则上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
进一步,所述得到货架陈列的识别结果的具体步骤为:
若当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同,则陈列正常,否则陈列异常。
进一步,还包括有以下步骤:根据货架陈列的识别结果,在显示模块中显示货架陈列信息以及陈列异常的信息。
本发明所采用的另一技术方案是:一种基于图像识别技术的货架陈列识别装置,包括有:
标准陈列信息获取模块,用于获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元所在矩形区域及其所属分类;
图像采集模块,用于获取货架的当前陈列图;
图像分区模块,用于对获取到的货架的当前陈列图进行检测,得到多个矩形区域;
分类判断模块,用于将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
识别模块,用于在分类判断模块判断结果为同一分类时,将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果。
进一步,所述分类判断模块包括有
交并比计算子模块,用于计算上述矩形区域与标准库存量单元所在的矩形区域的交并比;
判断子模块,用于在交并比计算子模块得到的交并比超过设定阈值时,判断上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
进一步,所述识别模块包括有状态判断子模块,用于在当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同时,判断状态为陈列正常,否则陈列异常。
进一步,还包括有显示模块,用于根据货架陈列的识别结果,显示货架陈列信息以及陈列异常的信息。
本发明所采用的另一技术方案是:一种基于图像识别技术的货架陈列识别***,包括有:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上述的一种基于图像识别技术的货架陈列识别方法。
本发明的有益效果为:本发明中将标准陈列图分为多个矩形区域,同时在采集当前陈列图后,将当前陈列图同样分为多个矩形区域,然后对其分别进行识别,通过识别分析库存量单元所属分类从而得到货架陈列的识别结果,放宽对摄像头的位置和清晰度的适配要求,对货架陈列情况的识别速度快、准确率高,利于数据统计分析和决策。
附图说明
图1为本发明方法的步骤流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明:
参照图1,一种基于图像识别技术的货架陈列识别方法,包括有以下步骤:
获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元(Stock Keeping Unit,SKU)所在矩形区域及其所属分类;
获取货架的当前陈列图;
对获取到的货架的当前陈列图进行检测,得到多个矩形区域;其中对货架的当前陈列图进行检测过程中使用基于深度学习的识别方法,采用了BOX训练模型、Others训练模型、SKU训练模型、标注***、货架伪造、图片增广和图片拼接技术;
将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
若为同一分类,则将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果;
本发明上述货架陈列识别方法步骤中将标准陈列图分为多个矩形区域,同时在采集当前陈列图后,将当前陈列图同样分为多个矩形区域,然后对其分别进行识别,通过识别分析库存量单元所属分类从而得到货架陈列的识别结果,放宽对摄像头的位置和清晰度的适配要求,对货架陈列情况的识别速度快、准确率高,利于数据统计分析和决策。。
进一步作为优选的实施方式,所述将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类这一步骤,具体为:
计算上述矩形区域与标准库存量单元所在的矩形区域的交并比(Intersection-over-Union,IoU);
若交并比超过设定阈值,则上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
例如本发明具体实施例中设定阈值为30%,若上述矩形区域与标准库存量单元所在的矩形区域的交并比超过30%,则认为这两个区域所包含的库存量单元属于同一分类;然后在对陈列状态进行进一步的识别。
进一步作为优选的实施方式,所述得到货架陈列的识别结果的具体步骤为:
若当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同,则陈列正常,否则陈列异常。
若实际货架整个货架的库存量单元各分类总数与标注货架的库存量单元的对应分类总数不相同,且一个或多个在标注过的标准货架上的区域在实际货架上的对应区域没有检测到有与其相交的矩形区域或检测到有相交的矩形区域,但识别结果与标准货架上所有库存量单元的分类都不同,则说明该货架缺少这个或这些区域的库存量单元,并在显示屏上高亮缺少库存量单元的区域。
若有多个区域库存量单元对应错误时:
(1)若实际货架整个货架的库存量单元各分类总数与标注货架的库存量单元的对应分类总数都相同,则说明库存量单元陈列错误,可以在后续步骤中通过显示模块高亮显示错序的库存量单元。
(2)若实际货架整个货架的库存量单元各分类总数与标注货架的库存量单元的对应分类总数不相同,则说明同时存在缺货和乱序的情况。服务器根据库存量单元各分类总数与标注货架的库存量单元的对应分类总数之差,计算出缺少的库存量单元,再根据缺少的库存量单元,计算出错序的库存量单元,可以在后续步骤中通过显示模块高亮显示缺少的库存量单元及其位置和错序的库存量单元及其位置。
进一步作为优选的实施方式,还包括有以下步骤:根据货架陈列的识别结果,在显示模块中显示货架陈列信息以及陈列异常的信息。
对应上述一种基于图像识别技术的货架陈列识别方法,本发明还提供一种基于图像识别技术的货架陈列识别装置,包括有:
标准陈列信息获取模块,用于获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元所在矩形区域及其所属分类;
图像采集模块,用于获取货架的当前陈列图;
图像分区模块,用于对获取到的货架的当前陈列图进行检测,得到多个矩形区域;
分类判断模块,用于将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
识别模块,用于在分类判断模块判断结果为同一分类时,将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果。
进一步作为优选的实施方式,所述分类判断模块包括有
交并比计算子模块,用于计算上述矩形区域与标准库存量单元所在的矩形区域的交并比;
判断子模块,用于在交并比计算子模块得到的交并比超过设定阈值时,判断上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
进一步作为优选的实施方式,所述识别模块包括有状态判断子模块,用于在当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同时,判断状态为陈列正常,否则陈列异常。
进一步作为优选的实施方式,还包括有显示模块,用于根据货架陈列的识别结果,显示货架陈列信息以及陈列异常的信息,对于异常部分可利用显示屏进行动态显示,利于工作人员的核查、调整等操作。
对应上述一种基于图像识别技术的货架陈列识别方法,本发明还提供一种基于图像识别技术的货架陈列识别***,包括有:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如上述的一种基于图像识别技术的货架陈列识别方法。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可以作出种种的等同变换或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (7)
1.一种基于图像识别技术的货架陈列识别方法,其特征在于,包括有以下步骤:获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元所在矩形区域及其所属分类;
获取货架的当前陈列图;
对获取到的货架的当前陈列图进行检测,得到多个矩形区域;
将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
若为同一分类,则将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果;
所述将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类这一步骤,具体为:
计算上述矩形区域与标准库存量单元所在的矩形区域的交并比;
若交并比超过设定阈值,则上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
2.根据权利要求1所述的一种基于图像识别技术的货架陈列识别方法,其特征在于,所述得到货架陈列的识别结果的具体步骤为:
若当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同,则陈列正常,否则陈列异常。
3.根据权利要求1所述的一种基于图像识别技术的货架陈列识别方法,其特征在于,还包括有以下步骤:根据货架陈列的识别结果,在显示模块中显示货架陈列信息以及陈列异常的信息。
4.一种基于图像识别技术的货架陈列识别装置,其特征在于:包括有
标准陈列信息获取模块,用于获取货架的标准陈列图的标记信息,所述标记信息包括有标准库存量单元、标准库存量单元所在矩形区域及其所属分类;
图像采集模块,用于获取货架的当前陈列图;
图像分区模块,用于对获取到的货架的当前陈列图进行检测,得到多个矩形区域;
分类判断模块,用于将上述多个矩形区域的每个矩形区域分别与标准库存量单元所在的矩形区域进行对比,判断是否为同一分类;
识别模块,用于在分类判断模块判断结果为同一分类时,将货架的当前陈列图中该矩形区域的图像输入识别模型,得到当前陈列图中该矩形区域的库存量单元所属分类,并与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类进行对比,从而得到货架陈列的识别结果;
所述分类判断模块包括有
交并比计算子模块,用于计算上述矩形区域与标准库存量单元所在的矩形区域的交并比;
判断子模块,用于在交并比计算子模块得到的交并比超过设定阈值时,判断上述矩形区域与标准库存量单元所在的矩形区域属于同一分类。
5.根据权利要求4所述的一种基于图像识别技术的货架陈列识别装置,其特征在于:所述识别模块包括有状态判断子模块,用于在当前陈列图中该矩形区域的库存量单元所属分类与其对应的标准库存量单元所在的矩形区域的库存量单元所属分类相同时,判断状态为陈列正常,否则陈列异常。
6.根据权利要求4所述的一种基于图像识别技术的货架陈列识别装置,其特征在于:还包括有显示模块,用于根据货架陈列的识别结果,显示货架陈列信息以及陈列异常的信息。
7.一种基于图像识别技术的货架陈列识别***,其特征在于,包括有:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当所述至少一个程序被所述至少一个处理器执行,使得所述至少一个处理器实现如权利要求1-3中任一权利要求所述的一种基于图像识别技术的货架陈列识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435690.1A CN108629318B (zh) | 2018-05-04 | 2018-05-04 | 一种基于图像识别技术的货架陈列识别方法、装置和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810435690.1A CN108629318B (zh) | 2018-05-04 | 2018-05-04 | 一种基于图像识别技术的货架陈列识别方法、装置和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108629318A CN108629318A (zh) | 2018-10-09 |
CN108629318B true CN108629318B (zh) | 2021-03-16 |
Family
ID=63692256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810435690.1A Active CN108629318B (zh) | 2018-05-04 | 2018-05-04 | 一种基于图像识别技术的货架陈列识别方法、装置和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108629318B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110309702B (zh) * | 2019-04-18 | 2021-07-06 | 成都数之联科技有限公司 | 一种门店货柜视频监控管理*** |
CN110287928B (zh) * | 2019-07-01 | 2021-09-14 | 创优数字科技(广东)有限公司 | 商品缺货检测方法及装置 |
CN113643083A (zh) * | 2020-04-27 | 2021-11-12 | 京东方科技集团股份有限公司 | 一种商品标记及展示方法、服务器、终端及商品展示*** |
CN111428698A (zh) * | 2020-06-10 | 2020-07-17 | 北京云迹科技有限公司 | 一种模型样本采集方法、更新方法、电子设备及存储介质 |
CN111860462B (zh) * | 2020-08-07 | 2024-02-20 | 多点(深圳)数字科技有限公司 | 货架陈列反馈方法和装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7598865B2 (en) * | 2005-07-25 | 2009-10-06 | Zhang Kaicheng | Method for precise in-house positioning |
CN102982332A (zh) * | 2012-09-29 | 2013-03-20 | 顾坚敏 | 基于云处理方式的零售终端货架影像智能分析*** |
CN202976125U (zh) * | 2012-09-29 | 2013-06-05 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析*** |
CN107045641A (zh) * | 2017-04-26 | 2017-08-15 | 广州图匠数据科技有限公司 | 一种基于图像识别技术的货架识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9706105B2 (en) * | 2014-10-20 | 2017-07-11 | Symbol Technologies, Llc | Apparatus and method for specifying and aiming cameras at shelves |
-
2018
- 2018-05-04 CN CN201810435690.1A patent/CN108629318B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7598865B2 (en) * | 2005-07-25 | 2009-10-06 | Zhang Kaicheng | Method for precise in-house positioning |
CN102982332A (zh) * | 2012-09-29 | 2013-03-20 | 顾坚敏 | 基于云处理方式的零售终端货架影像智能分析*** |
CN202976125U (zh) * | 2012-09-29 | 2013-06-05 | 李炳华 | 基于图像识别技术的商品陈列信息采集分析*** |
CN107045641A (zh) * | 2017-04-26 | 2017-08-15 | 广州图匠数据科技有限公司 | 一种基于图像识别技术的货架识别方法 |
Non-Patent Citations (1)
Title |
---|
孙海峡;超商货架商品分割与识别方法研究;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615;第2014年卷(第06期);I138-1019页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108629318A (zh) | 2018-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108629318B (zh) | 一种基于图像识别技术的货架陈列识别方法、装置和*** | |
CN109446883B (zh) | 商品状态识别方法、装置、电子设备及可读存储介质 | |
CN108416403B (zh) | 商品与标签的自动关联方法、***、设备及存储介质 | |
CN109726759B (zh) | 无人售货方法、装置、***、电子设备及计算机可读介质 | |
RU2452021C1 (ru) | Анализатор цифровой торговой точки | |
CN110489457B (zh) | 基于图像识别的商品信息分析方法、***及存储介质 | |
WO2017163277A1 (ja) | 情報処理システム、情報処理方法および情報処理プログラム | |
CN111222389B (zh) | 商超货架上商品的分析方法和*** | |
US10372998B2 (en) | Object recognition for bottom of basket detection | |
KR20190007681A (ko) | 매장 분석 장치 및 방법 | |
CN111881894A (zh) | 采集货柜商品售卖信息的方法、***、设备和存储介质 | |
CN111523620B (zh) | 商品识别模型的动态调整方法及商品校验方法 | |
US20190244282A1 (en) | Computerized exchange network | |
US11748787B2 (en) | Analysis method and system for the item on the supermarket shelf | |
JPWO2016063483A1 (ja) | 自動販売機認識装置、商品棚認識装置、自動販売機認識方法、プログラムおよび画像処理装置 | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
CN114078299A (zh) | 一种商品结算方法、装置、电子设备及介质 | |
CN116611796B (zh) | 一种店铺交易数据的异常检测方法及装置 | |
CN111352624A (zh) | 界面展示方法、信息处理方法及装置 | |
KR20200045862A (ko) | 영상 분석 기반 상품 관리 시스템 및 방법 | |
US20190073620A1 (en) | System, method and computer program product for data analysis | |
EP4028971A1 (en) | Scale and method for the automatic recognition of a product | |
WO2019064926A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN108596673B (zh) | 基于视觉识别技术的商品销售辅助*** | |
CN112150230A (zh) | 一种实体商店信息交互***和信息推送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |