CN108388822B - 一种检测二维码图像的方法和装置 - Google Patents
一种检测二维码图像的方法和装置 Download PDFInfo
- Publication number
- CN108388822B CN108388822B CN201810071961.XA CN201810071961A CN108388822B CN 108388822 B CN108388822 B CN 108388822B CN 201810071961 A CN201810071961 A CN 201810071961A CN 108388822 B CN108388822 B CN 108388822B
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional code
- detected
- rectangular
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种检测二维码图像的方法和装置,该方法包括:选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值;通过第一预定算法训练级联分类器;获取多个符合二维码图像标准的二维码模板图像,确定各个正样本的二维码矩形区域,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,训练逻辑回归分类器;通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;若存在,判断所述待检测图像中是否存在二维码图像。通过本发明实现了有效地识别二维码图像。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种检测二维码图像的方法和装置。
背景技术
互联网技术飞速发展,二维码应用铺天盖地。二维码给生活带来便利的同时,也埋下了一些隐患。存在部分网络用户进行有目的的二维码营销,如通过对二维码图像的传播,推广相关产品资讯、商家活动等,以刺激消费者消费购买。这种隐形广告极大地污染了互联网网络环境,影响了网络用户的使用体验,有些非法组织甚至通过二维码图像进行组织宣传,传播有害信息,造成不良社会影响,冲击社会稳定,这些网络用户为了使平台方难以发现其有害行为,故意将恶意二维码的背景图案变得复杂,并进行尺度扭曲,在不影响手机扫描成功率的情况下,给传统的二维码图像检测带来一定的计算和人工成本。目前大部分算法都是检测标准的二维码,即成像清晰且占总图40%-100%之间的二维码。如二维码开源库Zbar算法,图像处理开源库Zxing等。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:Zbar和Zxing等现有算法,很难对具有复杂背景、尺寸扭曲、局部受损甚至模糊的二维码进行解码,因此不能有效识别此类二维码。
发明内容
本发明实施例提供一种检测二维码图像的方法和装置,实现了有效地识别复杂的二维码图像。
一方面,本发明实施例提供了检测二维码图像的方法,包括:
选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像。
另一方面,本发明实施例提供了一种检测二维码图像的装置,包括:
提取单元,用于选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
第一训练单元,用于根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
第二训练单元,用于获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
第一判断单元,用于提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
第二判断单元,用于若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像。
上述技术方案具有如下有益效果:通过本实施例,极大地提高了检测结果的准确率,通过特征提取与匹配,进一步地提高了检测结果的准确率;实现了快速、准确地检测二维码图像,极大地节省了计算资源和检测时间;提高了二维码检测的能力,避免了无法检测背景图案复制、尺寸扭曲变小等二维码图像的情况发生,同时,提高了用户的使用体验,进一步地,对复杂形态的图像识别也具有一定的指导意义。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例中一种检测二维码图像的方法流程图;
图2为本发明另一实施例中一种检测二维码图像的装置结构示意图;
图3为本发明一优选实施例中训练级联分类器的流程示意图;
图4为本发明另一优选实施例中训练LR分类器的流程示意图;
图5为本发明又另一优选实施例中二维码图像检测流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明一实施例中一种检测二维码图像的方法流程图,包括:
101、选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
102、根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
103、获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
104、提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
105、若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像。
优选地,所述选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,具体包括:
将各个正样本和各个负样本归一化为预定图像大小的灰度图,通过预定滤波算法对各个灰度图进行平滑处理;
分别提取平滑处理后的每一个正样本和每一个负样本的矩形特征值。
优选地,所述根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器,包括:
基于预定的图像扫描方式,扫描平滑处理后的各个正样本和各个负样本;
基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法训练弱分类器,所述弱分类器用于使得扫描到的每一个正样本和每一个负样本的分类错误接近零;
串接训练后的各个弱分类器,得到级联分类器;
其中,所述第一预定算法包括分类算法Adaboost。
优选地,所述第二预定算法包括特征描述子算法BRISK;
其中,所述获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器,包括:
通过所述BRISK算法进行特征点检测时,基于预定角点检测算法提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点;
确定各个特征点预定范围内的采样点灰度值,对比各个特征点和各个特征点各自对应的采样点的灰度值,生成各个BRISK二进制描述子;
采用汉明Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配,得到若干组特征点对;
通过随机抽样一致性RANSAC算法消除匹配出的特征点对中的错误匹配,得到正确匹配的特征点对;
基于预定编码方式对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,所述图像类别标签包括二维码图像标签和非二维码图像标签。
优选地,所述提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案,具体包括:
将待检测图像归一化为所述预定图像大小的灰度图,并通过预定滤波算法对所述灰度图进行平滑处理;
确定用于训练的多个矩形特征值,并根据所述多个矩形特征值,计算平滑处理后的待检测图像的矩形特征值,得到矩形特征值向量;
将计算得到的矩形特征值向量输入所述级联分类器,通过所述级联分类器判断所述待检测图像中是否存在二维码定位图案。
优选地,所述若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像,包括:
通过BRISK算法提取所述待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;
通过Hamming距离对各个二维码模板图像和提取到的所述图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的预定编码方式的编码;
将所述编码输入所述逻辑回归分类器,通过所述逻辑回归分类器检测得到所述待检测图像中的图像类别标签;
基于所述待检测图像中的图像类别标签判断所述待检测图像中是否存在二维码图像。
如图2所示,为本发明另一实施例中一种检测二维码图像的装置结构示意图,包括:
提取单元21,用于选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
第一训练单元22,用于根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
第二训练单元23,用于获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
第一判断单元24,用于提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
第二判断单元25,用于若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像。
优选地,所述提取单元21,具体用于
将各个正样本和各个负样本归一化为预定的图像大小的灰度图,通过预定滤波算法对各个灰度图进行平滑处理;
分别提取平滑处理后的每一个正样本和每一个负样本的矩形特征值。
优选地,所述第一训练单元22,包括:
扫描模块,用于基于预定的图像扫描方式,扫描平滑处理后的各个正样本和各个负样本;
第一训练模块,用于基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法训练弱分类器,所述弱分类器用于使得扫描到的每一个正样本和每一个负样本的分类错误接近零;
串接模块,用于串接训练后的各个弱分类器,得到级联分类器;
其中,所述第一预定算法包括分类算法Adaboost。
优选地,所述第二预定算法包括特征描述子算法BRISK;
其中,所述第二训练单元23,包括:
获取及提取模块,用于通过所述BRISK算法进行特征点检测时,基于预定角点检测算法提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点;
生成模块,用于确定各个特征点预定范围内的采样点灰度值,对比各个特征点和各个特征点各自对应的采样点的灰度值,生成各个BRISK二进制描述子;
匹配模块,用于采用汉明Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配,得到若干组特征点对;
消除模块,用于通过随机抽样一致性RANSAC算法消除匹配出的特征点对中的错误匹配,得到正确匹配的特征点对;
第二训练模块,用于基于预定编码方式对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,所述图像类别标签包括二维码图像标签和非二维码图像标签。
优选地,所述第一判断单元24,具体用于
将待检测图像归一化为所述预定图像大小的灰度图,并通过预定滤波算法对所述灰度图进行平滑处理;
确定用于训练的多个矩形特征值,并根据所述多个矩形特征值,计算平滑处理后的待检测图像的矩形特征值,得到矩形特征值向量;
将计算得到的矩形特征值向量输入所述级联分类器,通过所述级联分类器判断所述待检测图像中是否存在二维码定位图案。
优选地,所述第二判断单元25,具体用于
通过BRISK算法提取所述待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;
通过Hamming距离对各个二维码模板图像和提取到的所述图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的预定编码方式的编码;
将所述编码输入所述逻辑回归分类器,通过所述逻辑回归分类器检测得到所述待检测图像中的图像类别标签;
基于所述待检测图像中的图像类别标签判断所述待检测图像中是否存在二维码图像。
本发明实施例上述技术方案具有如下有益效果:通过本实施例,极大地提高了检测结果的准确率,通过特征提取与匹配,进一步地提高了检测结果的准确率;实现了快速、准确地检测二维码图像,极大地节省了计算资源和检测时间;提高了二维码检测的能力,避免了无法检测背景图案复制、尺寸扭曲变小等二维码图像的情况发生,同时,提高了用户的使用体验,进一步地,对复杂形态的图像识别也具有一定的指导意义。
以下结合应用实例对本发明实施例上述技术方案进行详细说明:
本发明应用实例旨在实现有效地识别复杂的二维码图像。
在一优选实施例中,步骤101所述选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,包括:将各个正样本和各个负样本归一化为预定的图像大小的灰度图,通过预定滤波算法对各个灰度图进行平滑处理;分别提取平滑处理后的每一个正样本和每一个负样本的矩形特征值。
例如,在二维码识别过程中,首先选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并将各个正样本和各个负样本归一化为预定的图像大小,如24px*24px,的灰度图,通过预定滤波算法,如高斯滤波算法,对各个灰度图进行平滑处理,随后提取平滑处理后的每一个正样本和每一个负样本的矩形特征值,如Haar特征值。需要说明的是,Haar特征是一种反映图像的灰度变化的,像素分模块求差值的一种特征,扩展的类Haar特征是一种矩形特征,其定义为图像中相邻区域内像素灰度值总和的差,矩形特征能够反映检测对象局部特征的灰度变化,提取不同角度二维码定位图案及非二维码图像的矩形特征,共十五种特征,采用积分图方法计算样本图像的十五种不同尺寸的矩形特征,24px*24px的检测窗口总共可以得到十六万左右的矩形特征。
在一优选实施例中,步骤102中根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器的步骤,包括:基于预定的图像扫描方式,扫描平滑处理后的各个正样本和各个负样本;基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法训练弱分类器,所述弱分类器用于使得扫描到的每一个正样本和每一个负样本的分类错误接近零;串接训练后的各个弱分类器,得到级联分类器。
其中,所述第一预定算法包括分类算法Adaboost。
例如,在二维码识别过程中,提取平滑处理后的每一个正样本和每一个负样本的矩形特征值,如Haar特征值,之后,基于预定的图像扫描方式,如以滑动窗口全图扫描自上而下的方式,扫描平滑处理后的各个正样本和各个负样本,基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法,如分类算法Adaboost,训练弱分类器;串接训练后的各个弱分类器,得到Adaboost级联分类器,以用于检测二维码定位图案。训练级联分类器的流程图如图3所示。
需要说明的是,可通过Adaboost算法选取关键特征,Adaboost算法是一种自适应的机器学习算法Boost,其主要原理是初始化训练数据为等权值,训练弱分类器,正确分类的样本点,其权重被降低,没有被正确分类的样本,权重提高;权重更新后用于训练下一个分类器,反复进行迭代训练,可以使分类错误接近零,加大分类误差率小的弱分类器的权重,降低分类误差率大的弱分类器的权重,最后将各个弱分类器组合成强分类器。
其中,Adaboost算法步骤如下:
步骤1.初始化样本数据的权值分布,将权值初始化为相等值。
其中D1表示初始样本权值向量,w1i表示初始第i个样本的权值,N表示样本个数,i表示第i个样本。
步骤2.进行多次迭代,m=1,2,…,M表示迭代的次数,其中M为分类误差率等于零的取值或者指定的弱分类器的数目。
使用具有权值分布Dm的样本数据集学习,得到基本分类器Gm(x):χ→{-1,+1};
更新样本数据集的权值分布,用于下一次迭代:
在一优选实施例中,所述第二预定算法包括特征描述子算法BRISK。
其中,步骤103获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器,包括:通过所述BRISK算法进行特征点检测时,基于预定角点检测算法提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点;确定各个特征点预定范围内的采样点灰度值,对比各个特征点和各个特征点各自对应的采样点的灰度值,生成各个BRISK二进制描述子;采用汉明Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配,得到若干组特征点对;通过随机抽样一致性RANSAC算法消除匹配出的特征点对中的错误匹配,得到正确匹配的特征点对;基于预定编码方式对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,所述图像类别标签包括二维码图像标签和非二维码图像标签。
例如,在二维码识别过程中,第二预定算法包括特征描述子算法BRISK,BRISK算法是一种特征点检测和描述算子。特征点检测算法是在AGAST角点检测算法基础上发展而来的,检测以待提取点为圆心的Bresenham圆周上各点的像素值,若待提取点的像素值比周围若干个点的像素值大或者小,则认为该待提取点为一特征点。通过所述BRISK算法进行特征点检测时,基于预定角点检测算法,如AGAST角点检测算法,提取各个二维码模板图像和所述各个正样本的二维码矩形区域的特征点;随后,确定各个特征点预定范围内的采样点灰度值,对比各个特征点和各个特征点各自预定范围内的采样点的灰度值,生成各个BRISK二进制描述子;随后,采用Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配;利用RANSAC(Random Sample Consensus)算法消除匹配出的特征点中的错误匹配,得到正确匹配的特征点对;基于预定编码方式,如One-Hot(One-HotEncoding,独热编码)编码方式,对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,如LR分类器,其中,图像类别标签包括二维码图像标签和非二维码图像标签,图像类别标签可以采用数值形式,例如“1”或者“-1”,“1”表示二维码图像标签,“-1”表示非二维码图像标签;图像类别标签也可以采用文字形式,如“是”或者“否”,“是”表示二维码图像标签,“否”表示非二维码图像标签。训练LR分类器的流程图如图4所示。
在一优选实施例中,步骤104提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案,具体包括:将待检测图像归一化为所述预定图像大小的灰度图,并通过预定滤波算法对所述灰度图进行平滑处理;确定用于训练的多个矩形特征值,并根据所述多个矩形特征值,计算平滑处理后的待检测图像的矩形特征值,得到矩形特征值向量;将计算得到的矩形特征值向量输入所述级联分类器,通过所述级联分类器判断所述待检测图像中是否存在二维码定位图案。
例如,接上例,将待检测图像归一化为所述预定的图像大小,如24px*24px,的灰度图,并通过高斯滤波算法对该灰度图进行平滑处理;确定用于训练的多个Haar特征值,并根据该多个矩形特征值,计算平滑处理后的待检测图像的Haar特征值,得到矩形特征值向量;将计算得到的Haar矩形特征值向量输入Adaboost级联分类器,通过Adaboost级联分类器判断待检测图像是否存在二维码定位图案。检测过程参考图5。
在一优选实施例中,步骤105若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像,包括:通过BRISK算法提取所述待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;通过Hamming距离对各个二维码模板图像和提取到的所述图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的预定编码方式的编码;将所述编码输入所述逻辑回归分类器,通过所述逻辑回归分类器检测得到所述待检测图像中的图像类别标签;基于所述待检测图像中的图像类别标签判断所述待检测图像中是否存在二维码图像。
例如,接上例,通过BRISK算法提取该待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;通过Hamming距离对各个二维码模板图像和提取到的二维码定位图案的图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的One-Hot编码,随后将该One-Hot编码输入LR分类器,通过LR分类器检测得到该待检测图像中的图像类别标签,如为数字形式的二维码图像标签“1”;基于该待检测图像中的图像类别标签为数字形式的二维码图像标签“1”,判断该待检测图像中存在二维码图像。检测过程参考图5。
本发明实施例提供了一种检测二维码图像的装置,可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
应该明白,公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好,应该理解,过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素,并且不是要限于所述的特定顺序或层次。
在上述的详细描述中,各种特征一起组合在单个的实施方案中,以简化本公开。不应该将这种公开方法解释为反映了这样的意图,即,所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反,如所附的权利要求书所反映的那样,本发明处于比所公开的单个实施方案的全部特征少的状态。因此,所附的权利要求书特此清楚地被并入详细描述中,其中每项权利要求独自作为本发明单独的优选实施方案。
为使本领域内的任何技术人员能够实现或者使用本发明,上面对所公开实施例进行了描述。对于本领域技术人员来说;这些实施例的各种修改方式都是显而易见的,并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此,本公开并不限于本文给出的实施例,而是与本申请公开的原理和新颖性特征的最广范围相一致。
上文的描述包括一个或多个实施例的举例。当然,为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的,但是本领域普通技术人员应该认识到,各个实施例可以做进一步的组合和排列。因此,本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外,就说明书或权利要求书中使用的术语“包含”,该词的涵盖方式类似于术语“包括”,就如同“包括,”在权利要求中用作衔接词所解释的那样。此外,使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个***的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
本发明实施例中所描述的各种说明性的逻辑块,或单元都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种检测二维码图像的方法,其特征在于,包括:
选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像;
其中,所述第一预定算法包括分类算法Adaboost;
所述第二预定算法包括特征描述子算法BRISK;
其中,基于第二预定算法,提取各个符合二维码图像标准的二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器,包括:
通过所述BRISK算法进行特征点检测时,基于预定角点检测算法提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点;
确定各个特征点在预定范围内的采样点灰度值,对比各个特征点和各个特征点各自对应的采样点灰度值,生成各个BRISK二进制描述子;
采用汉明Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配,得到若干组特征点对;
通过随机抽样一致性RANSAC算法消除匹配出的特征点对中的错误匹配,得到正确匹配的特征点对;
基于预定编码方式对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,所述图像类别标签包括二维码图像标签和非二维码图像标签。
2.根据权利要求1所述的方法,其特征在于,所述提取各个正样本和各个负样本的矩形特征值,具体包括:
将各个正样本和各个负样本归一化为预定图像大小的灰度图,并通过预定滤波算法对各个灰度图进行平滑处理;
分别提取平滑处理后的每一个正样本和每一个负样本的矩形特征值。
3.根据权利要求2所述的方法,其特征在于,所述根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器,包括:
基于预定的图像扫描方式,扫描平滑处理后的各个正样本和各个负样本;
基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法训练弱分类器;
串接训练后的各个弱分类器,得到级联分类器。
4.根据权利要求3所述的方法,其特征在于,所述提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案,具体包括:
将待检测图像归一化为所述预定图像大小的灰度图,并通过预定滤波算法对所述灰度图进行平滑处理;
确定用于训练的多个矩形特征值,并根据所述多个矩形特征值,计算平滑处理后的待检测图像的矩形特征值,得到矩形特征值向量;
将计算得到的矩形特征值向量输入所述级联分类器,通过所述级联分类器判断所述待检测图像中是否存在二维码定位图案。
5.根据权利要求4所述的方法,其特征在于,所述若存在,通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像,具体包括:
通过BRISK算法提取所述待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;
通过Hamming距离对各个二维码模板图像和提取到的所述图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的预定编码方式的编码;
将所述编码输入所述逻辑回归分类器,通过所述逻辑回归分类器检测得到所述待检测图像中的图像类别标签;
基于所述待检测图像中的图像类别标签判断所述待检测图像中是否存在二维码图像。
6.一种检测二维码图像的装置,其特征在于,包括:
提取单元,用于选取多个不同角度的二维码定位图案作为训练级联分类器的正样本,选取多个非二维码图像作为训练级联分类器的负样本,并提取各个正样本和各个负样本的矩形特征值,其中,所述二维码定位图案用于标记二维码图像中二维码矩形区域的大小;
第一训练单元,用于根据提取到的各个正样本和各个负样本的矩形特征值,通过第一预定算法训练级联分类器;
第二训练单元,用于获取多个符合二维码图像标准的二维码模板图像,并根据提取到的各个正样本的矩形特征值,确定各个正样本的二维码矩形区域,基于第二预定算法,提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点,根据提取到的各个特征点,训练逻辑回归分类器;
第一判断单元,用于提取待检测图像的矩形特征值,通过所述级联分类器对所述待检测图像的矩形特征值进行检测,判断所述待检测图像中是否存在二维码定位图案;
第二判断单元,用于若存在,进一步通过所述逻辑回归分类器判断所述待检测图像中是否存在二维码图像;
其中,所述第一预定算法包括分类算法Adaboost;
所述第二预定算法包括特征描述子算法BRISK;
其中,所述第二训练单元,包括:
获取及提取模块,用于通过所述BRISK算法进行特征点检测时,基于预定角点检测算法提取各个二维码模板图像和各个正样本的二维码矩形区域的特征点;
生成模块,用于确定各个特征点预定范围内的采样点灰度值,对比各个特征点和各个特征点各自对应的采样点的灰度值,生成各个BRISK二进制描述子;
匹配模块,用于采用汉明Hamming距离对各个二维码模板图像和各个正样本的二维码矩形区域的特征点进行匹配,得到若干组特征点对;
消除模块,用于通过随机抽样一致性RANSAC算法消除匹配出的特征点对中的错误匹配,得到正确匹配的特征点对;
第二训练模块,用于基于预定编码方式对正确匹配的特征点对进行编码,将编码后的特征点对作为训练样本训练用于检测待检测图像中的图像类别标签的逻辑回归分类器,所述图像类别标签包括二维码图像标签和非二维码图像标签。
7.根据权利要求6所述的装置,其特征在于,所述提取单元,具体用于
将各个正样本和各个负样本归一化为预定图像大小的灰度图,通过预定滤波算法对各个灰度图进行平滑处理;
分别提取平滑处理后的每一个正样本和每一个负样本的矩形特征值。
8.根据权利要求7所述的装置,其特征在于,所述第一训练单元,包括:
扫描模块,用于基于预定的图像扫描方式,扫描平滑处理后的各个正样本和各个负样本;
第一训练模块,用于基于提取到的各个正样本和各个负样本的矩形特征值,针对扫描到的每一个正样本和每一个负样本通过第一预定算法训练弱分类器;
串接模块,用于串接训练后的各个弱分类器,得到级联分类器。
9.根据权利要求8所述的装置,其特征在于,所述第一判断单元,具体用于
将待检测图像归一化为所述预定图像大小的灰度图,并通过预定滤波算法对所述灰度图进行平滑处理;
确定用于训练的多个矩形特征值,并根据所述多个矩形特征值,计算平滑处理后的待检测图像的矩形特征值,得到矩形特征值向量;
将计算得到的矩形特征值向量输入所述级联分类器,通过所述级联分类器判断所述待检测图像中是否存在二维码定位图案。
10.根据权利要求9所述的装置,其特征在于,所述第二判断单元,具体用于
通过BRISK算法提取所述待检测图像中二维码定位图案的图像区域的各个特征点,生成各个BRISK二进制描述子;
通过Hamming距离对各个二维码模板图像和提取到的所述图像区域的特征点进行匹配,并通过RANSAC算法消除匹配出的各组特征点对中的错误匹配,得到正确匹配的特征点对的预定编码方式的编码;
将所述编码输入所述逻辑回归分类器,通过所述逻辑回归分类器检测得到所述待检测图像中的图像类别标签;
基于所述待检测图像中的图像类别标签判断所述待检测图像中是否存在二维码图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810071961.XA CN108388822B (zh) | 2018-01-25 | 2018-01-25 | 一种检测二维码图像的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810071961.XA CN108388822B (zh) | 2018-01-25 | 2018-01-25 | 一种检测二维码图像的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108388822A CN108388822A (zh) | 2018-08-10 |
CN108388822B true CN108388822B (zh) | 2021-03-23 |
Family
ID=63077428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810071961.XA Active CN108388822B (zh) | 2018-01-25 | 2018-01-25 | 一种检测二维码图像的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108388822B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109389000B (zh) * | 2018-10-18 | 2020-04-07 | 龙马智芯(珠海横琴)科技有限公司 | 一种条形码识别方法及应用该方法的计算机 |
CN111091668A (zh) * | 2018-10-24 | 2020-05-01 | 北京意锐新创科技有限公司 | 基于二维码识读装置的零距离收银方法和装置 |
CN111144156B (zh) * | 2018-11-06 | 2022-03-04 | 腾讯科技(深圳)有限公司 | 一种图像数据处理方法和相关装置 |
CN109740637B (zh) * | 2018-12-12 | 2023-08-15 | 天津津航技术物理研究所 | 训练adaboost级联分类器的优化方法 |
CN109934249A (zh) * | 2018-12-14 | 2019-06-25 | 网易(杭州)网络有限公司 | 数据处理方法、装置、介质和计算设备 |
CN109886059B (zh) * | 2019-01-25 | 2022-08-05 | 佛山市顺德区中山大学研究院 | 一种基于宽度学习的qr码图像检测方法 |
CN109858250B (zh) * | 2019-02-20 | 2023-01-03 | 哈尔滨工程大学 | 一种基于级联分类器的安卓恶意代码检测模型方法 |
CN110110805A (zh) * | 2019-05-15 | 2019-08-09 | 南京大学 | 一种基于机器学习的动态二维码识别方法和设备 |
CN110288069B (zh) * | 2019-06-26 | 2023-05-02 | 百度在线网络技术(北京)有限公司 | 二维码生成和解析的方法、装置、设备及可读存储介质 |
CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
CN111160501A (zh) * | 2019-12-25 | 2020-05-15 | 北京亮亮视野科技有限公司 | 一种二维码训练数据集的构建方法及装置 |
CN111401499A (zh) * | 2020-02-11 | 2020-07-10 | 王娅雯 | 一种基于ai条形码防伪的方法 |
CN112669276A (zh) * | 2020-12-24 | 2021-04-16 | 苏州华兴源创科技股份有限公司 | 屏幕检测定位方法、装置、电子设备和存储介质 |
CN114414585A (zh) * | 2021-12-29 | 2022-04-29 | 武汉小安科技有限公司 | 二维码污损自动识别方法、装置及共享车辆 |
CN116188449B (zh) * | 2023-03-13 | 2023-08-08 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车缓解阀拉杆开口销丢失故障识别方法及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400388A (zh) * | 2013-08-06 | 2013-11-20 | 中国科学院光电技术研究所 | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 |
CN104268498A (zh) * | 2014-09-29 | 2015-01-07 | 杭州华为数字技术有限公司 | 一种二维码的识别方法及终端 |
CN104751093A (zh) * | 2013-12-31 | 2015-07-01 | 阿里巴巴集团控股有限公司 | 用于获取宿主设备显示的图像识别码的方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9355293B2 (en) * | 2008-12-22 | 2016-05-31 | Canon Kabushiki Kaisha | Code detection and decoding system |
-
2018
- 2018-01-25 CN CN201810071961.XA patent/CN108388822B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103400388A (zh) * | 2013-08-06 | 2013-11-20 | 中国科学院光电技术研究所 | 一种利用RANSAC消除Brisk关键点错误匹配点对的方法 |
CN104751093A (zh) * | 2013-12-31 | 2015-07-01 | 阿里巴巴集团控股有限公司 | 用于获取宿主设备显示的图像识别码的方法和装置 |
CN104268498A (zh) * | 2014-09-29 | 2015-01-07 | 杭州华为数字技术有限公司 | 一种二维码的识别方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
CN108388822A (zh) | 2018-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108388822B (zh) | 一种检测二维码图像的方法和装置 | |
US8744196B2 (en) | Automatic recognition of images | |
US10635946B2 (en) | Eyeglass positioning method, apparatus and storage medium | |
Shanker et al. | Off-line signature verification using DTW | |
CN108229499A (zh) | 证件识别方法及装置、电子设备和存储介质 | |
Debiasi et al. | PRNU variance analysis for morphed face image detection | |
Escalera et al. | Circular blurred shape model for multiclass symbol recognition | |
CN106372624B (zh) | 人脸识别方法及*** | |
US10025976B1 (en) | Data normalization for handwriting recognition | |
CN111340035A (zh) | 一种火车票识别方法、***、设备以及介质 | |
Yamauchi et al. | Relational HOG feature with wild-card for object detection | |
CN111353514A (zh) | 模型训练方法、图像识别方法、装置及终端设备 | |
CN108268641A (zh) | ***信息识别方法及***信息识别装置、设备和存储介质 | |
CN113111880A (zh) | 证件图像校正方法、装置、电子设备及存储介质 | |
CN110414622B (zh) | 基于半监督学习的分类器训练方法及装置 | |
Zamberletti et al. | Neural 1D barcode detection using the Hough transform | |
Lin et al. | Low‐complexity face recognition using contour‐based binary descriptor | |
Wicht et al. | Camera-based sudoku recognition with deep belief network | |
Lopez-Rincon et al. | Binary Large Object‐Based Approach for QR Code Detection in Uncontrolled Environments | |
CN114448664A (zh) | 钓鱼网页的识别方法、装置、计算机设备及存储介质 | |
Mahdi et al. | Detection of Copy-Move Forgery in Digital Image Based on SIFT Features and Automatic Matching Thresholds | |
CN111199240A (zh) | 银行卡识别模型的训练方法、银行卡识别方法以及装置 | |
KR100726473B1 (ko) | 이미지 분별 장치 및 그 방법 | |
Okawa | KAZE features via Fisher vector encoding for offline signature verification | |
Tong et al. | QR code detection based on local features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |