CN115630663A - 一种二维码识别方法、装置及电子设备 - Google Patents

一种二维码识别方法、装置及电子设备 Download PDF

Info

Publication number
CN115630663A
CN115630663A CN202211629168.XA CN202211629168A CN115630663A CN 115630663 A CN115630663 A CN 115630663A CN 202211629168 A CN202211629168 A CN 202211629168A CN 115630663 A CN115630663 A CN 115630663A
Authority
CN
China
Prior art keywords
dimensional code
target
image
recognized
boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211629168.XA
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Aich Technology Co Ltd
Original Assignee
Chengdu Aich Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Aich Technology Co Ltd filed Critical Chengdu Aich Technology Co Ltd
Priority to CN202211629168.XA priority Critical patent/CN115630663A/zh
Publication of CN115630663A publication Critical patent/CN115630663A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14172D bar codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1439Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开一种二维码识别方法、装置及电子设备,涉及图像处理技术领域。方法包括:获取待识别二维码图像;在将待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将目标二维码输入至语义分割模型确定目标二维码边界信息;基于目标二维码边界信息确定目标二维码区域四个边界角点信息;基于目标二维码区域四个边界角点信息建立理想边界角点图;基于理想边界角点图对待识别二维码图像进行校正,确定最终待识别二维码图像;识别最终待识别二维码图像输出识别结果,可以滤除无效图像,节省识别无效二维码产生的消耗,提升二维码识别效率,当待识别二维码为存在一定角度的待识别二维码图像时,可以对其进行校正,提升识别成功率。

Description

一种二维码识别方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域,尤其涉及一种二维码识别方法、装置及电子设备。
背景技术
随着电子设备的不断发展,以及二维码本身具有高密度编码、信息容量大、译码可靠性高、生产成本低和可持久使用等优点,使得二维码在防伪、支付以及个体标识等领域应用广泛。
但是,在二维码识别时,若二维码与采样检测装置存在倾斜角度,主要表现为采样图像相对理想图像存在二维码四点的拉伸问题,会极大的增加二维码检测和识别的难度,导致二维码识别时间延长,无法快速准确的识别二维码,尤其针对一些流水线式的场景,这种情形会极大的耽误时间。因此,亟需一种提高二维码识别率的方法。
发明内容
本申请的目的在于提供一种二维码识别方法、装置及电子设备,以解决现有二维码识别时间延长,无法快速准确的识别二维码,尤其针对一些流水线式的场景,这种情形会极大的耽误时间的问题。
第一方面,本申请提供一种二维码识别方法,所述方法包括:
获取待识别二维码图像;
在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;
基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;
基于所述目标二维码区域四个边界角点信息建立理想边界角点图;
基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;
识别所述最终待识别二维码图像,输出识别结果。
采用上述技术方案的情况下,本申请实施例提供的二维码识别方法,获取待识别二维码图像;在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;基于所述目标二维码区域四个边界角点信息建立理想边界角点图;基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;识别所述最终待识别二维码图像,输出识别结果,可以滤除无效图像,节省识别无效二维码产生的消耗,提升二维码识别效率,当待识别二维码为存在一定角度的待识别二维码图像时,可以对其进行校正,提升识别成功率。
在一种可能的实现方式中,在所述获取待识别二维码图像之后,所述方法还包括:
在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像。
在一种可能的实现方式中,在所述获取待识别二维码图像之前,所述方法还包括:
基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型。
在一种可能的实现方式中,所述基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型,包括:
获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像;
对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件;
基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型;
基于所述训练模型建立所述二维码目标检测模型。
在一种可能的实现方式中,在所述获取待识别二维码图像之前,所述方法还包括:
获取多张历史二维码图像;
对多张所述历史二维码图像进行二维码区域标注处理;
按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型。
在一种可能的实现方式中,所述在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息,包括:
将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别图像中所述目标二维码的置信度;
在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码;
将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息。
在一种可能的实现方式中,所述基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像,包括:
基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系;
基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
第二方面,本申请还提供一种二维码识别装置,用于实现第一方面任一所述的二维码识别方法,所述装置包括:
第一获取模块,用于获取待识别二维码图像;
第一确定模块,用于在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;
第二确定模块,用于基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;
第一建立模块,用于基于所述目标二维码区域四个边界角点信息建立理想边界角点图;
第三确定模块,用于基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;
输出模块,用于识别所述最终待识别二维码图像,输出识别结果。
在一种可能的实现方式中,所述装置还包括:
返回模块,用于在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像;
第二建立模块,用于基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型。
所述第二建立模块包括:
获取子模块,用于获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像;
标注子模块,用于对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件;
生成子模块,用于基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型;
建立子模块,用于基于所述训练模型建立所述二维码目标检测模型;
所述装置还包括:
第二获取模块,用于获取多张所述历史二维码图像;
标准模块,用于对多张所述历史二维码图像进行二维码区域标注处理;
第三建立模块,用于按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型;
所述第一确定模块包括:
第一确定子模块,用于将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别图像中所述目标二维码的置信度;
第二确定子模块,用于在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码;
第三确定子模块,用于将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息;
所述第三确定模块包括:
形成子模块,用于基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系;
第四确定子模块,用于基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
第二方面提供的二维码识别装置的有益效果与第一方面或第一方面任一可能的实现方式描述的二维码识别方法的有益效果相同,此处不做赘述。
第三方面,本申请还提供一种电子设备,包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述装置执行第一方面任一可能的实现方式描述的二维码识别方法。
第三方面提供的电子设备的有益效果与第一方面或第一方面任一可能的实现方式描述的二维码识别方法的有益效果相同,此处不做赘述。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种二维码识别方法的流程示意图;
图2示出了本申请实施例提供的另一种二维码识别方法的流程示意图;
图3示出了本申请实施例提供的一种二维码识别装置的结构示意图;
图4为本申请实施例提供的一种电子设备的硬件结构示意图;
图5为本申请实施例提供的芯片的结构示意图。
附图标记:
400-电子设备;410-处理器;420-通信接口;430-存储器;440-通信线路;500-芯片;540-总线***。
具体实施方式
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如,第一阈值和第二阈值仅仅是为了区分不同的阈值,并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,a和b的结合,a和c的结合,b和c的结合,或a、b和c的结合,其中a,b,c可以是单个,也可以是多个。
图1示出了本申请实施例提供的一种二维码识别方法的流程示意图,如图1所示,所述方法包括:
步骤101:获取待识别二维码图像。
在本申请中,终端设备可以采集待识别二维码图像。
步骤102:在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息。
在本申请中,可以将待识别二维码图像输入至二维码目标检测模型进行识别,在所述二维码目标检测模型识别到目标二维码时,可以将目标二维码输入至语义分割模型,以供所述语义分割模型确定出目标二维码边界信息。
其中,所述目标二维码边界信息包括二维码精准位置信息。
步骤103:基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息。
其中,所述目标二维码区域四个边界角点信息,以平面中顺时针命名四个角点分为别P1、P2、P3、P4。
步骤104:基于所述目标二维码区域四个边界角点信息建立理想边界角点图。
在本申请中,可以基于目标二维码边界信息,确定目标二维码边界信息中对应的二维码四个角点信息两两之间的长度值,也即是分别计算P1P2,P2P3,P3P4,P4P1的长度为a、b、c、d,再以四线中最短线为基线,将理想图像四个角点映射为P1’、P2’、P3’、P4’,其中,基线上的两点坐标与原点相同,另外两点与基线连接后可还原为正方形。
步骤105:基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像。
在本申请中,可以根据理想边界角点图对待识别二维码图像对应的四个角点的角点图形成映射关系,使用仿射变换进行校正,得到最终待识别二维码图像。
步骤106:识别所述最终待识别二维码图像,输出识别结果。
在本申请中,可以使用python中的pyzbar库进行识别,本申请实施例对此不作具体限定,可以根据实际应用场景做标记调整。
综上所述,本申请实施例提供的二维码识别方法,获取待识别二维码图像;
在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;基于所述目标二维码区域四个边界角点信息建立理想边界角点图;基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;识别所述最终待识别二维码图像,输出识别结果,可以滤除无效图像,节省识别无效二维码产生的消耗,提升二维码识别效率,当待识别二维码为存在一定角度的待识别二维码图像时,可以对其进行校正,提升识别成功率。
图2示出了本申请实施例提供的另一种二维码识别方法的流程示意图,如图2所示,所述方法包括:
步骤201:基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型。
在本申请中,上述步骤201的具体实现过程可以包括以下子步骤:
子步骤A1:获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像。
具体的,图像采集工作可以通过终端设备进行拍摄,样本也即是历史二维码图像存在两种情况,一种是终端设备正面面对二维码,一种是终端设备与二维码之间呈现一定的倾斜角度,该倾斜角度小于等于45°,但是二维码较为完整。
子步骤A2:对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件。
其中,预设比例可以是以训练样本和验证样本数量为7:3的比例,本申请实施例对此不作具体限定,可以根据实际应用场景做调整。
需要说明的是,可以将训练文件和验证文件可以是TFrecords格式的文件,本申请实施例对此不作具体限定。
在本申请中,可以使用ImgLabel对训练样本进行标注。
子步骤A3:基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型。
在本申请中,初步检测二维码区域的网络为SSD-MobileNetV3,卷积层conv1、conv3、conv6、conv11步长为2,其余卷积层步长为1。其中,卷积层为反残差深度可分离卷积,目标检测算法生成训练模型,也即是可以基于所述训练文件和所述验证文件,结合目标检测算法生成训练模型。
子步骤A4:基于所述训练模型建立所述二维码目标检测模型。
在本申请中,可以基于训练模型建立二维码目标检测深度学习模型。
具体的,在对卷积网络进行训练时,每批次设置为64张样本,初始学习率设置为2×10-3,迭代80000步后设置为10-4,总计训练150000步后,停止模型训练。
步骤202:获取待识别二维码图像。
在本申请中,终端设备可以采集待识别二维码图像。
步骤203:在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息。
在本申请中,还包括建立语义分割模型,其具体过程可以包括:
子步骤B1:获取多张历史二维码图像。
子步骤B2:对多张所述历史二维码图像进行二维码区域标注处理。
具体的,可以使用labelme工具标注二维码区域,其中,标注结果保存为json 格式。
子步骤B3:按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型。
其中,预设比例可以是以训练样本和验证样本数量为7:3的比例,本申请实施例对此不作具体限定,可以根据实际应用场景做调整。
在本申请中,精准分割二维码区域的语义分割网络为U-net,整个网络共23个卷积层,下采样采用3×3的卷积核、ReLU6及最大赤化,上采样采用反卷积;建立二维码语义分割深度学习模型。
具体的,对U-net的参数初始化方法使用MSRA,初始学习率为10-3,批次训练样本为32,共设置120000步训练总步数。
在本申请中,上述步骤203的实现过程可以包括以下子步骤:
子步骤C1:将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别图像中所述目标二维码的置信度。
子步骤C2:在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码。
在本申请中,预设置信度阈值可以为0.95,还可以为其他数值,本申请实施例对此不作具体限定,可以根据实际应用场景做调整。
在置信度大于0.95的情况下,确定存在二维码。
子步骤C3:将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息。
其中,所述目标二维码边界信息包括二维码精准位置信息。
步骤204:在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像。
具体的,在待识别二维码图像输入至二维码目标检测模型中时,其检测到的二维码置信度小于所述预设置信度阈值时,说明不存在目标二维码,则需要返回步骤202。
步骤205:基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息。
其中,所述目标二维码区域四个边界角点信息,以平面中顺时针命名四个角点分为别P1、P2、P3、P4。
步骤206:基于所述目标二维码区域四个边界角点信息建立理想边界角点图。
在本申请中,可以基于目标二维码边界信息,确定目标二维码边界信息中对应的二维码四个角点信息两两之间的长度值,也即是分别计算P1P2,P2P3,P3P4,P4P1的长度为a、b、c、d,再以四线中最短线为基线,将理想图像四个角点映射为P1’、P2’、P3’、P4’,其中,基线上的两点坐标与原点相同,另外两点与基线连接后可还原为正方形。
步骤207:基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像。
在本申请中,上述步骤207的具体实现过程可以包括以下子步骤:
子步骤D1:基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系。
子步骤D2:基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
步骤208:识别所述最终待识别二维码图像,输出识别结果。
在本申请中,可以使用python中的pyzbar库进行识别,本申请实施例对此不作具体限定,可以根据实际应用场景做标记调整。
综上所述,本申请实施例提供的二维码识别方法,获取待识别二维码图像;在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;基于所述目标二维码区域四个边界角点信息建立理想边界角点图;基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;识别所述最终待识别二维码图像,输出识别结果,可以滤除无效图像,节省识别无效二维码产生的消耗,提升二维码识别效率,当待识别二维码为存在一定角度的待识别二维码图像时,可以对其进行校正,提升识别成功率。
图3示出了本申请实施例提供的一种二维码识别装置的结构示意图,如图3所示,所述二维码识别装置300包括:
第一获取模块301,用于获取待识别二维码图像;
第一确定模块302,用于在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;
第二确定模块303,用于基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;
第一建立模块304,用于基于所述目标二维码区域四个边界角点信息建立理想边界角点图;
第三确定模块305,用于基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;
输出模块306,用于识别所述最终待识别二维码图像,输出识别结果。
可选的,所述装置还包括:
返回模块,用于在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像;
第二建立模块,用于基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型。
所述第二建立模块包括:
获取子模块,用于获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像;
标注子模块,用于对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件;
生成子模块,用于基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型;
建立子模块,用于基于所述训练模型建立所述二维码目标检测模型;
所述装置还包括:
第二获取模块,用于获取多张所述历史二维码图像;
标准模块,用于对多张所述历史二维码图像进行二维码区域标注处理;
第三建立模块,用于按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型;
所述第一确定模块包括:
第一确定子模块,用于将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别图像中所述目标二维码的置信度;
第二确定子模块,用于在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码;
第三确定子模块,用于将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息;
所述第三确定模块包括:
形成子模块,用于基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系;
第四确定子模块,用于基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
综上所述,本申请实施例提供的二维码识别装置,可以获取待识别二维码图像;在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;基于所述目标二维码区域四个边界角点信息建立理想边界角点图;基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;识别所述最终待识别二维码图像,输出识别结果,可以滤除无效图像,节省识别无效二维码产生的消耗,提升二维码识别效率,当待识别二维码为存在一定角度的待识别二维码图像时,可以对其进行校正,提升识别成功率。
本申请提供的一种二维码识别装置,可以实现如图1-2任一所示的二维码识别方法,为避免重复,这里不再赘述。
本申请实施例中的电子设备可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkATTached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的电子设备可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为ios操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
图4示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图4所示,该电子设备400包括处理器410。
如图4所示,上述处理器410可以是一个通用中央处理器(central processingunit,CPU),微处理器,专用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
如图4所示,上述电子设备400还可以包括通信线路440。通信线路440可包括一通路,在上述组件之间传送信息。
可选的,如图4所示,上述电子设备还可以包括通信接口420。通信接口420可以为一个或多个。通信接口420可使用任何收发器一类的装置,用于与其他设备或通信网络通信。
可选的,如图4所示,该电子设备还可以包括存储器430。存储器430用于存储执行本申请方案的计算机执行指令,并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令,从而实现本申请实施例提供的方法。
如图4所示,存储器430可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器430可以是独立存在,通过通信线路440与处理器410相连接。存储器430也可以和处理器410集成在一起。
可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
在具体实现中,作为一种实施例,如图4所示,处理器410可以包括一个或多个CPU,如图4中的CPU0和CPU1。
在具体实现中,作为一种实施例,如图4所示,终端设备可以包括多个处理器,如图4中的处理器。这些处理器中的每一个可以是一个单核处理器,也可以是一个多核处理器。
图5是本申请实施例提供的芯片的结构示意图。如图5所示,该芯片500包括一个或两个以上(包括两个)处理器410。
可选的,如图5所示,该芯片还包括通信接口420和存储器430,存储器430可以包括只读存储器和随机存取存储器,并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory,NVRAM)。
在一些实施方式中,如图5所示,存储器430存储了如下的元素,执行模块或者数据结构,或者他们的子集,或者他们的扩展集。
在本申请实施例中,如图5所示,通过调用存储器存储的操作指令(该操作指令可存储在操作***中),执行相应的操作。
如图5所示,处理器410控制终端设备中任一个的处理操作,处理器410还可以称为中央处理单元(central processing unit,CPU)。
如图5所示,存储器430可以包括只读存储器和随机存取存储器,并向处理器提供指令和数据。存储器430的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线***耦合在一起,其中总线***除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图5中将各种总线都标为总线***540。
如图5所示,上述本申请实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processing,DSP)、ASIC、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
一方面,提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令被运行时,实现上述实施例中由终端设备执行的功能。
一方面,提供一种芯片,该芯片应用于终端设备中,芯片包括至少一个处理器和通信接口,通信接口和至少一个处理器耦合,处理器用于运行指令,以实现上述实施例中由二维码识别方法执行的功能。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时,全部或部分地执行本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,例如,软盘、硬盘、磁带;也可以是光介质,例如,数字视频光盘(digital video disc,DVD);还可以是半导体介质,例如,固态硬盘(solid state drive,SSD)。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包括这些改动和变型在内。

Claims (10)

1.一种二维码识别方法,其特征在于,所述方法包括:
获取待识别二维码图像;
在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;
基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;
基于所述目标二维码区域四个边界角点信息建立理想边界角点图;
基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;
识别所述最终待识别二维码图像,输出识别结果。
2.根据权利要求1所述的二维码识别方法,其特征在于,在所述获取待识别二维码图像之后,所述方法还包括:
在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像。
3.根据权利要求1所述的二维码识别方法,其特征在于,在所述获取待识别二维码图像之前,所述方法还包括:
基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型。
4.根据权利要求3所述的二维码识别方法,其特征在于,所述基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型,包括:
获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像;
对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件;
基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型;
基于所述训练模型建立所述二维码目标检测模型。
5.根据权利要求1所述的二维码识别方法,其特征在于,在所述获取待识别二维码图像之前,所述方法还包括:
获取多张历史二维码图像;
对多张所述历史二维码图像进行二维码区域标注处理;
按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型。
6.根据权利要求1所述的二维码识别方法,其特征在于,所述在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息,包括:
将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别二维码图像中所述目标二维码的置信度;
在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码;
将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息。
7.根据权利要求1所述的二维码识别方法,其特征在于,所述基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像,包括:
基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系;
基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
8.一种二维码识别装置,其特征在于,用于实现权利要求1至7任一所述的二维码识别方法,所述装置包括:
第一获取模块,用于获取待识别二维码图像;
第一确定模块,用于在将所述待识别二维码图像输入至二维码目标检测模型识别到目标二维码的情况下,将所述目标二维码输入至语义分割模型确定目标二维码边界信息;
第二确定模块,用于基于所述目标二维码边界信息确定目标二维码区域四个边界角点信息;
第一建立模块,用于基于所述目标二维码区域四个边界角点信息建立理想边界角点图;
第三确定模块,用于基于所述理想边界角点图对所述待识别二维码图像进行校正,确定最终待识别二维码图像;
输出模块,用于识别所述最终待识别二维码图像,输出识别结果。
9.根据权利要求8所述的二维码识别装置,其特征在于,所述装置还包括:
返回模块,用于在将所述待识别二维码图像输入至所述二维码目标检测模型未识别到所述目标二维码的情况下,返回再次获取所述待识别二维码图像;
第二建立模块,用于基于目标检测算法建立针对无倾斜角度和存在一定倾斜角度的所述二维码目标检测模型;
所述第二建立模块包括:
获取子模块,用于获取多张历史二维码图像作为训练样本;多张所述历史二维码图像包括无倾斜角度图像和存在一定倾斜角度图像;
标注子模块,用于对所述训练样本进行标注,以训练样本和验证样本数量按照预设比例分别生成需要训练文件和验证文件;
生成子模块,用于基于所述训练文件和所述验证文件,结合所述目标检测算法生成训练模型;
建立子模块,用于基于所述训练模型建立所述二维码目标检测模型;
所述装置还包括:
第二获取模块,用于获取多张所述历史二维码图像;
标准模块,用于对多张所述历史二维码图像进行二维码区域标注处理;
第三建立模块,用于按照训练样本和验证样本数量按照预设比例训练,建立用于精准分割二维码区域的所述语义分割模型;
所述第一确定模块包括:
第一确定子模块,用于将所述待识别二维码图像输入至所述二维码目标检测模型进行检测识别,确定所述待识别二维码图像中所述目标二维码的置信度;
第二确定子模块,用于在所述置信度大于预设置信度阈值的情况下,确定识别到所述目标二维码;
第三确定子模块,用于将所述目标二维码输入至所述语义分割模型确定所述目标二维码边界信息;
所述第三确定模块包括:
形成子模块,用于基于所述理想边界角点图和所述待识别二维码图像对应的真实边界交点图形成图像映射关系;
第四确定子模块,用于基于所述图像映射关系,通过仿射变换对所述待识别二维码图像进行校正,确定所述最终待识别二维码图像。
10.一种电子设备,其特征在于,包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得执行权利要求1至7任一所述的二维码识别方法。
CN202211629168.XA 2022-12-19 2022-12-19 一种二维码识别方法、装置及电子设备 Pending CN115630663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211629168.XA CN115630663A (zh) 2022-12-19 2022-12-19 一种二维码识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211629168.XA CN115630663A (zh) 2022-12-19 2022-12-19 一种二维码识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115630663A true CN115630663A (zh) 2023-01-20

Family

ID=84910300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211629168.XA Pending CN115630663A (zh) 2022-12-19 2022-12-19 一种二维码识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115630663A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542926A (zh) * 2023-05-04 2023-08-04 上海感图网络科技有限公司 电池的二维码缺陷识别方法、装置、设备及存储介质
CN116597536A (zh) * 2023-05-26 2023-08-15 广东云下汇金科技有限公司 一种数据中心工程建设智能安全巡检方法及***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093544A (zh) * 2007-06-14 2007-12-26 中兴通讯股份有限公司 一种透视快速响应矩阵二维码图案校正的方法及***
JP2014164622A (ja) * 2013-02-26 2014-09-08 Kddi Corp 情報システム及びサーバー
CN104424457A (zh) * 2013-08-20 2015-03-18 复旦大学 一种非线性扭曲情况下的二维码识别方法
CN104766037A (zh) * 2015-03-20 2015-07-08 中国联合网络通信集团有限公司 一种二维码的识别方法及设备
CN107944321A (zh) * 2017-11-28 2018-04-20 努比亚技术有限公司 一种图像识别方法、终端和计算机可读存储介质
US20190156092A1 (en) * 2016-07-22 2019-05-23 Alibaba Group Holding Limited Method and system for recognizing location information in two-dimensional code
CN109993019A (zh) * 2019-04-15 2019-07-09 苏州国芯科技股份有限公司 基于连通域分析的二维码识别方法、***及设备和介质
CN111860489A (zh) * 2019-12-09 2020-10-30 北京嘀嘀无限科技发展有限公司 一种证件图像校正方法、装置、设备及存储介质
CN111950318A (zh) * 2020-08-12 2020-11-17 上海连尚网络科技有限公司 一种二维码图像的识别方法、设备及存储介质
US20200380227A1 (en) * 2019-05-31 2020-12-03 Alibaba Group Holding Limited Two-dimensional code identification and positioning
CN112417918A (zh) * 2020-11-13 2021-02-26 珠海格力电器股份有限公司 二维码识别方法、装置、存储介质及电子设备
CN113723136A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 条码矫正方法、装置、设备及存储介质
CN115457254A (zh) * 2022-08-31 2022-12-09 上海致景信息科技有限公司 一种基于深度学习的二维码定位正畸方法、介质及处理器

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093544A (zh) * 2007-06-14 2007-12-26 中兴通讯股份有限公司 一种透视快速响应矩阵二维码图案校正的方法及***
JP2014164622A (ja) * 2013-02-26 2014-09-08 Kddi Corp 情報システム及びサーバー
CN104424457A (zh) * 2013-08-20 2015-03-18 复旦大学 一种非线性扭曲情况下的二维码识别方法
CN104766037A (zh) * 2015-03-20 2015-07-08 中国联合网络通信集团有限公司 一种二维码的识别方法及设备
US20190156092A1 (en) * 2016-07-22 2019-05-23 Alibaba Group Holding Limited Method and system for recognizing location information in two-dimensional code
CN107944321A (zh) * 2017-11-28 2018-04-20 努比亚技术有限公司 一种图像识别方法、终端和计算机可读存储介质
CN109993019A (zh) * 2019-04-15 2019-07-09 苏州国芯科技股份有限公司 基于连通域分析的二维码识别方法、***及设备和介质
US20200380227A1 (en) * 2019-05-31 2020-12-03 Alibaba Group Holding Limited Two-dimensional code identification and positioning
CN111860489A (zh) * 2019-12-09 2020-10-30 北京嘀嘀无限科技发展有限公司 一种证件图像校正方法、装置、设备及存储介质
CN111950318A (zh) * 2020-08-12 2020-11-17 上海连尚网络科技有限公司 一种二维码图像的识别方法、设备及存储介质
CN112417918A (zh) * 2020-11-13 2021-02-26 珠海格力电器股份有限公司 二维码识别方法、装置、存储介质及电子设备
CN113723136A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 条码矫正方法、装置、设备及存储介质
CN115457254A (zh) * 2022-08-31 2022-12-09 上海致景信息科技有限公司 一种基于深度学习的二维码定位正畸方法、介质及处理器

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542926A (zh) * 2023-05-04 2023-08-04 上海感图网络科技有限公司 电池的二维码缺陷识别方法、装置、设备及存储介质
CN116597536A (zh) * 2023-05-26 2023-08-15 广东云下汇金科技有限公司 一种数据中心工程建设智能安全巡检方法及***
CN116597536B (zh) * 2023-05-26 2024-04-16 广东云下汇金科技有限公司 一种数据中心工程建设智能安全巡检方法及***

Similar Documents

Publication Publication Date Title
TWI726422B (zh) 二維碼識別方法、裝置及設備
US20210063577A1 (en) Robot relocalization method and apparatus and robot using the same
CN115630663A (zh) 一种二维码识别方法、装置及电子设备
CN110008997B (zh) 图像纹理相似度识别方法、装置及计算机可读存储介质
CN112991180B (zh) 图像拼接方法、装置、设备以及存储介质
CN111767965B (zh) 图像匹配方法、装置、电子设备及存储介质
CN111860489A (zh) 一种证件图像校正方法、装置、设备及存储介质
US11354883B2 (en) Image processing method and apparatus, and electronic device
CN112926531A (zh) 特征信息提取方法、模型训练方法、装置及电子设备
CN111080692B (zh) 基于无序点集的处理方法、处理装置及电子设备
JP7121132B2 (ja) 画像処理方法、装置及び電子機器
CN109685058B (zh) 一种图像目标识别方法、装置及计算机设备
CN111047496A (zh) 阈值确定方法、水印检测方法、装置和电子设备
CN110969640A (zh) 视频图像的分割方法、终端设备以及计算机可读存储介质
CN108629219B (zh) 一种识别一维码的方法及装置
CN110490020A (zh) 条码识别方法、装置、计算机设备和存储介质
US10832076B2 (en) Method and image processing entity for applying a convolutional neural network to an image
CN113850208A (zh) 一种图片信息结构化方法、装置、设备及介质
CN113822146A (zh) 目标检测方法、终端设备及计算机存储介质
CN113496134A (zh) 二维码定位方法、装置、设备及存储介质
CN112348121A (zh) 一种目标检测方法、设备及计算机存储介质
CN111401366A (zh) 字符识别方法、装置、计算机设备和存储介质
CN107766863B (zh) 图像表征方法和服务器
CN113761961B (zh) 一种二维码识别方法和装置
CN115601436A (zh) 一种目标姿态参数的确定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230120

RJ01 Rejection of invention patent application after publication