CN113591967B - 一种图像处理方法、装置、设备及计算机存储介质 - Google Patents
一种图像处理方法、装置、设备及计算机存储介质 Download PDFInfo
- Publication number
- CN113591967B CN113591967B CN202110852248.0A CN202110852248A CN113591967B CN 113591967 B CN113591967 B CN 113591967B CN 202110852248 A CN202110852248 A CN 202110852248A CN 113591967 B CN113591967 B CN 113591967B
- Authority
- CN
- China
- Prior art keywords
- graphic code
- coordinate information
- image
- determining
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 238000012549 training Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012216 screening Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000007639 printing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000005286 illumination Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种图像处理方法、装置、设备及计算机存储介质，涉及图像检测领域，用以在复杂场景下提高对图像中图形码定位检测的准确率。所述方法包括：获取待检测图像；将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一所述样本图形码的标签信息，标签信息包括所述样本图形码的多个角点坐标信息和中心点坐标信息；在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码；对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息。
Description
技术领域
本申请属于图像检测领域，尤其涉及一种图像处理方法、装置、设备及计算机存储介质。
背景技术
图形码作为日常生活中最为常见的一种编码形式，其被广泛应用于移动支付、信息获取等场景中。但在图形码图像中由于存在因印刷问题，如印刷条、欠印等，以及由于图形码图像占比例较小、模糊、脏污、光照不均匀、几何不均匀形变等，导致图形码成像异常，因此无法对图形码进行准确定位。
现有图形码定位识别技术中，主要定位方法是通过逐行逐列的逐点扫描算法扫描图像判断边界，根据梯度变换得到明暗宽度流寻找用于定位的图案特征，再通过横向、纵向线段集合进行筛选，由位置探测图形的黑白像素比例，以确定位置探测图形的大概位置。上述方法对于完美图形码，即印刷良好、成像无异常以及背景单一的图像能够达到较高的准确识别率，实时性也能够达到要求，但针对复杂场景下的图形码图像，其在降低泛化性能的同时，定位位置探测图形速度慢、不准确，导致图形码准确识别率低，识别速度慢，达不到要求。
发明内容
本申请实施例提供一种图像处理方法、装置、设备及计算机存储介质，用以在复杂场景下提高对图像中图形码定位检测的准确率。
第一方面，本申请实施例提供一种图像处理方法，方法包括：
获取待检测图像；
将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，其中，第一置信度表征对象为图形码的概率，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一样本图形码的标签信息，标签信息包括样本图形码的多个角点坐标信息和中心点坐标信息；
在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码；
对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，边框位置信息包括多个角点坐标信息。
第二方面，本申请实施例提供一种图像处理装置，装置包括：
获取模块，用于获取待检测图像；
处理模块，用于将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，其中，第一置信度表征对象为图形码的概率，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一样本图形码的标签信息，标签信息包括样本图形码的多个角点坐标信息和中心点坐标信息；
第一确定模块，用于在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码；
第二确定模块，用于对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，边框位置信息包括多个角点坐标信息。
第三方面，本申请实施例提供了一种图像处理设备，设备包括：
处理器，以及存储有计算机程序指令的存储器；处理器读取并执行计算机程序指令，以实现如本申请实施例第一方面所提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本申请实施例第一方面所提供的图像处理方法。
本申请实施例提供的图像处理方法，首先获取待检测图像；将上述待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，其中，第一置信度表征对象为图形码的概率，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一样本图形码的标签信息，标签信息包括样本图形码的多个角点坐标信息和中心点坐标信息；在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码；对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，边框位置信息包括多个角点坐标信息。相比于现有技术，本申请在关键点检测模型的训练样本中标注样本图形码的多个角点坐标信息，因此在图像处理过程中不受矩形边框的限制，通过多个角点坐标信息定位图形码的边框位置，因此能够更好的定位到受到脏污、光照不均匀、几何不均匀形变等异常影响的图形码，另外，对待定位图形码进行置信度和角点坐标信息的双重检测，减少图形码误识别几率的同时对图形码的位置进行精准定位，提高了图形码的识别准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是现有技术提供的一种图形码定位检测方法的流程示意图；
图2是现有技术提供的一种关键点检测模型的结构示意图；
图3是本申请实施例提供的一种图形码功能区域的结构示意图；
图4是本申请实施例提供的一种关键点检测模型的结构示意图；
图5是本申请实施例提供的一种图像处理方法的流程示意图；
图6是本申请实施例提供的一种图像处理装置的流程示意图；
图7是本申请实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
图像处理算法是计算机视觉领域的重要研究方向之一，在公共安全、道路交通、视频监控等领域均有着重要的作用。而图形码作为日常生活中最为常见的一种编码形式，其被广泛应用于移动支付、信息获取等场景中。但在图形码图像中由于存在因印刷问题，如印刷条、欠印等，以及由于图形码图像占比例较小、模糊、脏污、光照不均匀、几何不均匀形变等，导致图形码成像异常，因此无法对图像中的图形码进行准确定位。
近年来，基于深度学习的图像处理算法的发展，图像处理在准确率方面不断提高。现有技术中，通过以下两种方式来对图像中图形码进行定位：
一、传统计算机视觉算法：
在传统计算机视觉算法中，如图1所示，通过逐行逐列的逐点扫描算法扫描图像判断边界，根据梯度变换得到明暗宽度流寻找用于定位的图案特征，再通过横向、纵向线段集合进行筛选，由位置探测图形的黑白像素比例，以确定位置探测图形的大概位置。再定位位置探测图形的中心坐标。为了提高对图形码定位的精确性，还提出了使用线检测方法，如霍夫变换，通过搜索满足相互垂直要求的两组直线来定位图形码，以及形态学等方法。
二、基于Mask R-CNN的关键点检测算法：
如图2所示，掩膜区域卷积神经网络(Mask Regions with Convolutional NeuralNetwork，Mask R-CNN)是实例分割算法，是在快速区域卷积神经网络(Faster Regionswith Convolutional Neural Network，Faster R-CNN)的基础上改进而来，通过在FasterR-CNN的框架下加入了一个全卷积网络(Fully Convolutional Networks，FCN)分支用来输出一个Mask，同时提出了感兴趣区域激活层(Region of Interest Align，RoIAlign)对感兴趣区域池化层(Region of Interest Pooling，ROIPooling)进行了改进。Mask R-CNN能够实现对实例的轮廓进行定位，对每个像素进行分类，实现在像素级的精确分割。对于关键点检测任务，对关键点的位置单独建模，使用交叉熵作为损失函数，能够实现较高的关键点定位精度。
上述两种算法都是图像中对图形码进行定位检测的常用技术，其对于完美图形码，即印刷良好、成像无异常以及背景单一的图像能够达到较高的准确识别率，实时性也能够达到要求，但未考虑复杂背景下由于存在印刷条、欠印、模糊、脏污、光照不均匀、几何不均匀形变等，导致的图形码成像异常的问题，因此忽略了算法在更多复杂场景中的应用，应用范围较窄，定位位置探测图形速度慢、不准确，导致图形码的准确识别率低，识别速度慢。
基于此，本申请实施例提供一种图像处理方法，能够基于预先训练的关键点检测模型，在图像中更好的定位到受到脏污、光照不均匀、几何不均匀形变等异常影响的图形码，对待定位图形码进行置信度和角点坐标信息的双重检测，减少图形码误识别几率的同时对图形码的位置进行精准定位，适用于更多复杂场景，并提高在图像中定位图形码的准确率。
本申请实施例的主要目的是对图像中的图形码进行定位，下面首先对图形码的性质做介绍。图形码是一种矩阵二维码符号，相比于一维条码与其他的二维条码所具有的信息容量大、可靠性高、可表示多种数据类型、保密防伪性强等优点。如图3所示，图形码的各个部分都有自己的作用，基本上可以分为功能区与编码区。其中，功能区有3个位置探测图形，用于标识图形码的位置与方向，定位图5用于定位，防止图形码产生畸变，校正图形可用于对齐图案。编码区格式信息存放格式化数据，版本信息用于版本7以上，数据和纠错码字保存实际的图形码信息，纠错码字用于修正图形码损坏带来的错误。
需要说明的是，本申请实施例提供的图像处理方法中，需要利用预先训练好的关键点检测模型对图像进行识别，因此，在利用关键点检测模型进行图像处理之前，需要先训练好关键点检测模型。因此，下面首先描述本申请实施例提供的关键点检测模型的训练方法的具体实施方式。
本申请实施例提供一种关键点检测模型的训练方法，上述关键点检测模型包括第一网络和第二网络，其中第一网络包括卷积级联组合，卷积级联组合包括第一卷积层、归一化层和激活层，第二网络包括最大池化层和第二卷积层，对预设的关键点检测模型通过分类和回归检测算法进行迭代训练，直到满足训练停止条件。上述方法，可以通过以下步骤来实现：
一、获取原始图形码。
为了提高关键点检测模型的泛化性和鲁棒性，本申请实施例中通过随机生成的大量非真实图形码，模拟工业产线中可能出现的印刷不良和成像异常，将上述非真实图形码随机投影在COCO公共数据集的背景中，再通过与大量真实工业场景中图形码随机变换合成，如缩放、模糊、扭曲、噪声、脏污等随机合成，将合成后的图形码作为原始图形码，模拟现实工业中可能的变换，以用于后续样本标注。
二、对原始图形码进行标注，以生成样本训练集。
首先，对上述原始图形码进行人工标注，标注的内容为每一图形码的标签短句label与四个角点坐标信息。
其次，为了保证标注的精确性，人工标注中只标注label与四个角点坐标信息，中心点坐标信息是基于变换矩阵，根据图形码的版本信息与四个角点坐标信息生成的。其中，版本信息是由图形码的label确定的。
最后，将带有中心点坐标信息与四个角点坐标信息的图形码作为样本图形码，多张样本图形码形成样本训练集。
需要说明的是，现有技术中通过深度学习神经网络检测图形码的方案中，在对图形码进行标注以形成样本训练集时，其标注方法为：标注五个点的坐标信息，五个点分别为三个位置探测图形中心、校正图形中心以及图形码中心点。
但这种标注方式在图形码印刷不良导致成像异常的情况下，由于其标注的是位置探测图形中心，会导致训练的模型效果较差，进而通过训练好的模型进行图形码定位检测时会出现明显的坐标偏差，图形码的识别准确率较低。
三、将上述经过标注的图形码及其每一图形码对应的标注信息整合成训练样本集，训练样本集中包括多个样本图形码。
需要说明的是，由于关键点检测模型需要进行多次迭代训练，以调整其损失函数值，至损失函数值满足训练停止条件，得到训练后的关键点检测模型，而每次迭代训练中，若只输入一张样本图形码，样本量太少不利于关键点检测模型的训练调整，因此利用训练样本集中的多个样本图形码对关键点检测模型进行迭代训练。
四、利用训练样本集中的样本图形码训练预设的关键点检测模型，直至满足训练停止条件，得到训练后的关键点检测模型。
需要说明的是，如图4所示，关键点检测模型包括第一网络和第二网络，其中，第一网络包括卷积级联组合，卷积级联组合包括第一卷积层、归一化层和激活层，第二网络包括最大池化层和第二卷积层。
在通过上述第一网络实现卷积层对图像特征提取后，现有技术中卷积神经网络是接上全连接层，再使用激活函数。使用全连接层对关键点特征图feature map进行降维，参数量大，容易造成过拟合。而在本申请实施例的关键点检测模型中，使用了第二网络替换了卷积神经网络后常见的全连接层，整个模型是没有全连接层的CNN网络。第二网络是由池化层和卷积层构成，在卷积层之后，使用第二网络替代全连接层，相比之下，有以下优势：
一、全连接层需要大量训练调优的参数，替换后极大的降低了空间参数，使得模型更加健壮，抗过拟合效果更佳；
二、第二网络保留了前面各个卷积层和池化层提取到的空间信息，实际应用中效果明显提升。
具体地，关键点检测模型的训练过程可以有以下步骤：
4.1、利用预设关键点检测模型中的第一网络，提取样本图形码的多个深度特征，形成关键点特征图feature map，其中，多个深度特征的尺寸均不相同。
4.2、将上述feature map输入至预设关键点检测模型中的第二网络进行融合，确定样本图形码对应的预测信息，预测信息包括样本图形码的预测置信度与四个预测角点坐标信息。
具体地，预测置信度可以通过以下步骤得到：
将训练样本集输入至预设关键点检测模型中，确定目标样本图形码的预测中心点坐标信息，目标样本图形码为训练样本集中任一样本；
根据预测中心点坐标信息，确定目标样本图形码的预测中心点位置；
根据预测中心点位置与目标网格之间的位置关系，确定目标样本图形码的预测置信度，其中，目标网格为根据目标样本图形码标签信息中的中心点坐标信息确定的预设区域。
4.3、计算样本图形码的预测识别信息与标签信息之间的损失值。
在一个实施例中，确定预设关键点检测模型的损失函数值，可以有以下步骤：
利用交叉熵函数对预测置信度的回归损失进行计算，得到第一损失函数值；
利用均方误差函数对预测参考角点坐标信息的回归损失进行计算，得到第二损失函数值；
根据第一损失函数值与第二损失函数值，确定预设关键点检测模型的损失函数值。
具体地，采用二分类交叉损失熵(binary cross-entropy loss)计算置信度的分类损失，置信度误差计算是由图形码的置信度与不存在图形码置信度的加权平均值，其可以通过公式1来表示。
其中，λobj表示有目标的权重系数、λnoobj表示无目标的权重系数。本申请实施例中使用1：100，也可以调整，让不存在目标的置信度接近0，有目标的置信度接近1。
另外，置信度对应的激活函数使用Sigmoid函数，角点坐标信息则使用tanh函数。对有目标的物体的四个角点坐标回归损失是均方误差，均方误差表示了预测值与目标值之间的差值的平方和求平均。为了平衡两项损失函数的权重，角点坐标信息的损失函数再乘以网格的高度与宽度，其可以通过公式2来表示。
关键点检测模型的总损失函数值是由上述置信度与角点坐标信息的损失值相加确定的，其可以通过公式3来表示。
Loss＝Lossconf+Lossprexy 公式3
按照公式1-公式3所示的损失函数优化关键点检测模型，利用梯度下降算法反向更新网络参数，得到更新后的关键点检测模型，直到损失函数值小于预设值，停止优化训练，确定训练后的关键点检测模型。
需要说明，为了提高关键点检测模型的准确度，该关键点检测模型还可以在实际应用中不断地利用新的训练样本进行训练，以不断更新关键点检测模型，提高关键点检测模型的准确度，进而提高图像处理的准确率。
以上为本申请实施例提供的关键点检测模型训练方法的具体实施方式，经上述训练得到的关键点检测模型可应用于如下实施例提供的图像处理方法中。
下面结合附图5详细描述本申请提供的图像处理方法的具体实现方式。
如图5所示，本申请实施例提供一种图像处理方法，所述方法包括：
S501，获取待检测图像。
在一些实施例中，待检测图像可以通过摄像头来获取，或者对预先获取到的视频进行抽帧处理，确定待检测图像。
S502，将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，其中，第一置信度表征对象为图形码的概率，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一样本图形码的标签信息，标签信息包括样本图形码的多个角点坐标信息和中心点坐标信息。
为了提高关键点检测模型的泛化性和鲁棒性，本申请实施例中通过随机生成的大量非真实图形码，模拟工业产线中可能出现的印刷不良和成像异常，将上述非真实图形码随机投影在COCO公共数据集的背景中，再通过与大量真实工业场景中图形码随机变换合成，如缩放、模糊、扭曲、噪声、脏污等随机合成，将合成后的图形码作为原始图形码，模拟现实工业中可能的变换，以用于后续样本标注。
在获取原始图形码后，对其进行人工标注，标注的内容为每一图形码的标签短句label与四个角点坐标信息；为了保证标注的精确性，人工标注中只标注label与四个角点坐标信息，中心点坐标信息是基于变换矩阵，根据图形码的版本信息与四个角点坐标信息生成的。其中，版本信息是由图形码的label确定的；将带有中心点坐标信息与四个角点坐标信息的图形码作为样本图形码，多张样本图形码形成样本训练集。
上述S502中，关键点检测模型包括第一网络和第二网络，其中第一网络包括卷积级联组合，卷积级联组合包括第一卷积层、归一化层和激活层，第二网络包括最大池化层和第二卷积层；
上述将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，可以包括：
将待检测图像输入至第一网络，确定待检测图像的多个深度特征，多个深度特征的尺寸均不相同；
将多个深度特征输入至第二网络进行融合，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息。
本申请实施例中提供的关键点检测模型的训练样本标注方式，图像的标注上采用了多边形标注图形码的四个角点，并根据图形码的内在性质完成图形码的中心点的标注，对于整个模型的训练过程和模型检测都有很大的提升；同时，上述关键点检测模型的模型结构中并不包括全连接层，在保留了第一网络中提取的多个深度特征的基础上，基于第二网络的模型结构大大降低了空间参数，使得模型抗过拟合效果更佳，能够很好的应用于工业中图形码的精确定位。
S503，在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码。
本申请实施例中对待定位图形码进行置信度和角点坐标信息的双重检测，减少图形码误识别几率的同时对图形码的位置进行精准定位，提高了图形码的识别准确率。
S504，对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，边框位置信息包括多个角点坐标信息。
上述S504中，对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，可以包括：
采用非极大值抑制算法，得到多个参考边框的局部最大值；
根据局部最大值以及预设交并比阈值，对多个参考边框进行筛选，直到不存在重叠边框，确定待定位图形码的边框位置信息。
具体地，非极大值抑制处理使用局部最大值查找方法，在待定位图形码的多个参考边框中确定最为准确的边框。对于局部峰值极值点的查找方法可以使用窗口判断，但是窗口的大小决定着算法的好坏，对于出现连续峰值的问题窗口方法也很难应对。本申请实施例中采用形态学思想从里面扩张，将扩展原始图像，并合并相邻的局部最大值，使其小于扩展的大小。原始图像等于扩展图像的位置将作为局部最大值返回。
本申请实施例提供的图像处理方法，在关键点检测模型的训练样本中标注样本图形码的多个角点坐标信息，因此在图像处理过程中不受矩形边框的限制，通过多个角点坐标信息定位图形码的边框位置，因此能够更好的定位到受到脏污、光照不均匀、几何不均匀形变等异常影响的图形码，另外，对待定位图形码进行置信度和角点坐标信息的双重检测，减少图形码误识别几率的同时对图形码的位置进行精准定位，提高了图形码的识别准确率。
基于上述图像处理方法的相同发明构思，本申请实施例还提供一种图像处理装置。
如图6所示，本申请实施例提供一种图像处理装置，装置包括：
获取模块601，用于获取待检测图像；
处理模块602，用于将待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息，其中，第一置信度表征对象为图形码的概率，关键点检测模型根据训练样本集训练得到，训练样本集中包括多个样本图形码以及每一样本图形码的标签信息，标签信息包括样本图形码的多个角点坐标信息和中心点坐标信息；
第一确定模块603，用于在参考置信度大于预设置信度阈值的情况下，确定对象为待定位图形码；
第二确定模块604，用于对由多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，边框位置信息包括多个角点坐标信息。
在一些实施例中，第二确定模块具体可以用于：
采用非极大值抑制算法，得到多个参考边框的局部最大值；
根据局部最大值以及预设交并比阈值，对多个参考边框进行筛选，直到不存在重叠边框，确定待定位图形码的边框位置信息。
在一些实施例中，关键点检测模型包括第一网络和第二网络，其中第一网络包括卷积级联组合，卷积级联组合包括第一卷积层、归一化层和激活层，第二网络包括最大池化层和第二卷积层组成；
处理模块具体可以用于：
将待检测图像输入至第一网络，确定待检测图像的多个深度特征，多个深度特征的尺寸均不相同；
将多个深度特征输入至第二网络进行融合，确定待检测图像中的对象的参考置信度以及对象的多组参考角点坐标信息。
在一些实施例中，装置还可以包括：
第二获取模块，用于获取训练样本集，训练样本集中包括多个样本图形码以及每一样本图形码对应的标签信息，标签信息中标注有样本图形码的四个角点坐标信息以及中心点坐标信息；
训练模块，用于利用训练样本集中的样本图形码训练预设关键点检测模型，直至满足训练停止条件，得到训练后的关键点检测模型。
在一些实施例中，装置还可以包括标注模块，标注模块具体可以用于：
获取多个原始图形码；
对每一原始图形码，分别执行以下步骤：
标注待处理图形码的版本信息以及四个角点坐标信息；
根据版本信息以及四个角点坐标信息，生成原始图形码的中心点坐标信息；
将标注有四个角点坐标信息及中心点坐标信息的原始图形码，确定为样本图形码。
在一些实施例中，训练模块具体可以用于：
将训练样本集输入至预设关键点检测模型中，确定每一样本图形码的预测信息，预测信息包括样本图形码的预测置信度与四个预测角点坐标信息；
根据每一样本图形码的预测信息和标签信息，确定预设关键点检测模型的损失函数值；
在损失函数值不满足训练停止条件的情况下，调整关键点检测模型的模型参数，并利用样本图像训练参数调整后的关键点检测模型，直至损失函数值满足训练停止条件，得到训练后的关键点检测模型。
在一些实施例中，训练模块具体可以用于：
将训练样本集输入至预设关键点检测模型中，确定目标样本图形码的预测中心点坐标信息，目标样本图形码为训练样本集中任一样本；
根据预测中心点坐标信息，确定目标样本图形码的预测中心点位置；
根据预测中心点位置与目标网格之间的位置关系，确定目标样本图形码的预测置信度，其中，目标网格为根据目标样本图形码标签信息中的中心点坐标信息确定的预设区域。
在一些实施例中，训练模块具体可以用于：
利用交叉熵函数对预测置信度的回归损失进行计算，得到第一损失函数值；
利用均方误差函数对预测参考角点坐标信息的回归损失进行计算，得到第二损失函数值；
根据第一损失函数值与第二损失函数值，确定预设关键点检测模型的损失函数值。
根据本申请实施例提供的图像处理装置的其他细节与以上结合图5描述的根据本申请实施例的图像处理方法类似，在此不再赘述。
图7示出了本申请实施例提供的图像处理的硬件结构示意图。
结合图5、图6描述的根据本申请实施例提供的图像处理方法和装置可以由图像处理设备来实现。图7是示出根据发明实施例的图像处理设备的硬件结构700示意图。
在图像处理设备中可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地，上述处理器701可以包括中央处理器(Central Processing Unit，CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器702可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在一个实例中，存储器702可以包括可移除或不可移除(或固定)的介质，或者存储器702是非易失性固态存储器。存储器702可在综合网关容灾设备的内部或外部。
在一个实例中，存储器702可以是只读存储器(Read Only Memory，ROM)。在一个实例中，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器701通过读取并执行存储器702中存储的计算机程序指令，以实现图5所示实施例中的方法/步骤S501至S504，并达到图5所示实例执行其方法/步骤达到的相应技术效果，为简洁描述在此不再赘述。
在一个示例中，图像处理设备还可包括通信接口703和总线710。其中，如图7所示，处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703，主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者，将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(Accelerated Graphics Port，AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，EISA)总线、前端总线(Front Side Bus，FSB)、超传输(Hyper Transport，HT)互连、工业标准架构(Industry Standard Architecture，ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、***组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线710可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
本申请实施例提供的图像处理设备，在关键点检测模型的训练样本中标注样本图形码的多个角点坐标信息，因此在图像处理过程中不受矩形边框的限制，通过多个角点坐标信息定位图形码的边框位置，因此能够更好的定位到受到脏污、光照不均匀、几何不均匀形变等异常影响的图形码，另外，对待定位图形码进行置信度和角点坐标信息的双重检测，减少图形码误识别几率的同时对图形码的位置进行精准定位，提高了图形码的识别准确率。
另外，结合上述实施例中的图像处理方法，本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种图像处理方法。
需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency，RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或***。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。
以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入至预先训练的关键点检测模型中，确定所述待检测图像中的对象的参考置信度以及所述对象的多组参考角点坐标信息，其中，所述参考置信度表征所述对象为图形码的概率，所述关键点检测模型根据训练样本集训练得到，所述训练样本集中包括多个样本图形码以及每一所述样本图形码的标签信息，所述标签信息包括所述样本图形码的多个角点坐标信息和中心点坐标信息；
在所述参考置信度大于预设置信度阈值的情况下，确定所述对象为待定位图形码；
对由所述多组参考角点坐标信息确定的多个参考边框进行筛选，确定所述待定位图形码的边框位置信息，所述边框位置信息包括多个角点坐标信息；
所述关键点检测模型包括第一网络和第二网络，其中所述第一网络包括卷积级联组合，所述卷积级联组合包括第一卷积层、归一化层和激活层，所述第二网络包括最大池化层和第二卷积层；
所述将所述待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及所述对象的多组参考角点坐标信息，包括：
将所述待检测图像输入至所述第一网络，确定所述待检测图像的多个深度特征，所述多个深度特征的尺寸均不相同；
将所述多个深度特征输入至所述第二网络进行融合，确定所述待检测图像中的对象的参考置信度以及所述对象的多组参考角点坐标信息。
2.根据权利要求1所述的方法，其特征在于，所述对由所述多组参考角点坐标信息确定的多个参考边框进行筛选，确定待定位图形码的边框位置信息，包括：
采用非极大值抑制算法，得到所述多个参考边框的局部最大值；
根据所述局部最大值以及预设交并比阈值，对所述多个参考边框进行筛选，直到不存在重叠边框，确定所述待定位图形码的边框位置信息。
3.根据权利要求1所述的方法，其特征在于，在所述获取待检测图像之前，所述方法还包括：
获取训练样本集，所述训练样本集中包括多个所述样本图形码以及每一所述样本图形码对应的所述标签信息，所述标签信息中标注有所述样本图形码的四个角点坐标信息以及中心点坐标信息；
利用所述训练样本集中的样本图形码训练预设关键点检测模型，直至满足训练停止条件，得到训练后的关键点检测模型。
4.根据权利要求3所述的方法，其特征在于，在所述获取训练样本集之前，所述方法还包括：
获取多个原始图形码；
对每一所述原始图形码，分别执行以下步骤：
标注待处理图形码的版本信息以及四个角点坐标信息；
根据版本信息以及四个角点坐标信息，生成所述原始图形码的中心点坐标信息；
将标注有所述四个角点坐标信息及所述中心点坐标信息的原始图形码，确定为所述样本图形码。
5.根据权利要求3所述的方法，其特征在于，所述利用所述训练样本集中的样本图形码训练所述预设关键点检测模型，直至满足训练停止条件，得到训练后的关键点检测模型，包括：
将所述训练样本集输入至所述预设关键点检测模型中，确定每一所述样本图形码的预测信息，所述预测信息包括所述样本图形码的预测置信度与四个预测角点坐标信息；
根据每一所述样本图形码的所述预测信息和所述标签信息，确定所述预设关键点检测模型的损失函数值；
在所述损失函数值不满足训练停止条件的情况下，调整所述关键点检测模型的模型参数，并利用所述样本图形码训练参数调整后的关键点检测模型，直至所述损失函数值满足所述训练停止条件，得到训练后的关键点检测模型。
6.根据权利要求5所述的方法，其特征在于，所述将所述训练样本集输入至所述预设关键点检测模型中，确定每一所述样本图形码的预测信息，包括：
将所述训练样本集输入至所述预设关键点检测模型中，确定目标样本图形码的预测中心点坐标信息，所述目标样本图形码为所述训练样本集中任一样本；
根据所述预测中心点坐标信息，确定所述目标样本图形码的预测中心点位置；
根据所述预测中心点位置与目标网格之间的位置关系，确定所述目标样本图形码的预测置信度，其中，所述目标网格为根据所述目标样本图形码标签信息中的中心点坐标信息确定的预设区域。
7.根据权利要求5所述的方法，其特征在于，所述根据每一所述样本图形码的所述预测信息和所述标签信息，确定所述预设关键点检测模型的损失函数值，包括：
利用交叉熵函数对所述预测置信度的回归损失进行计算，得到第一损失函数值；
利用均方误差函数对所述预测参考角点坐标信息的回归损失进行计算，得到第二损失函数值；
根据所述第一损失函数值与所述第二损失函数值，确定所述预设关键点检测模型的损失函数值。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
处理模块，用于将所述待检测图像输入至预先训练的关键点检测模型中，确定待检测图像中的对象的参考置信度以及所述对象的多组参考角点坐标信息，其中，所述参考置信度表征所述对象为图形码的概率，所述关键点检测模型根据训练样本集训练得到，所述训练样本集中包括多个样本图形码以及每一所述样本图形码的标签信息，所述标签信息包括所述样本图形码的多个角点坐标信息和中心点坐标信息；
第一确定模块，用于在所述参考置信度大于预设置信度阈值的情况下，确定所述对象为待定位图形码；
第二确定模块，用于对由所述多组参考角点坐标信息确定的多个参考边框进行筛选，确定所述待定位图形码的边框位置信息，所述边框位置信息包括多个角点坐标信息；
所述关键点检测模型包括第一网络和第二网络，其中所述第一网络包括卷积级联组合，所述卷积级联组合包括第一卷积层、归一化层和激活层，所述第二网络包括最大池化层和第二卷积层；
所述处理模块具体用于：
将所述待检测图像输入至所述第一网络，确定所述待检测图像的多个深度特征，所述多个深度特征的尺寸均不相同；
将所述多个深度特征输入至所述第二网络进行融合，确定所述待检测图像中的对象的参考置信度以及所述对象的多组参考角点坐标信息。
9.一种图像处理设备，其特征在于，所述设备包括：处理器，以及存储有计算机程序指令的存储器；所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7任意一项所述的图像处理方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852248.0A CN113591967B (zh) | 2021-07-27 | 2021-07-27 | 一种图像处理方法、装置、设备及计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852248.0A CN113591967B (zh) | 2021-07-27 | 2021-07-27 | 一种图像处理方法、装置、设备及计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113591967A CN113591967A (zh) | 2021-11-02 |
| CN113591967B true CN113591967B (zh) | 2024-06-11 |
Family
ID=78250677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110852248.0A Active CN113591967B (zh) | 2021-07-27 | 2021-07-27 | 一种图像处理方法、装置、设备及计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113591967B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114139564B (zh) * | 2021-12-07 | 2024-05-07 | Oppo广东移动通信有限公司 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
| CN114022558B (zh) * | 2022-01-05 | 2022-08-26 | 深圳思谋信息科技有限公司 | 图像定位方法、装置、计算机设备和存储介质 |
| CN114494398B (zh) * | 2022-01-18 | 2024-05-07 | 深圳市联洲国际技术有限公司 | 倾斜目标的处理方法、装置、存储介质与处理器 |
| CN114663904A (zh) * | 2022-04-02 | 2022-06-24 | 成都卫士通信息产业股份有限公司 | 一种pdf文档布局检测方法、装置、设备及介质 |
| CN114743018B (zh) * | 2022-04-21 | 2024-05-31 | 平安科技（深圳）有限公司 | 图像描述生成方法、装置、设备及介质 |
| WO2023236008A1 (en) * | 2022-06-06 | 2023-12-14 | Intel Corporation | Methods and apparatus for small object detection in images and videos |
| CN114913232B (zh) * | 2022-06-10 | 2023-08-08 | 嘉洋智慧安全科技(北京)股份有限公司 | 图像处理方法、装置、设备、介质及产品 |
| CN115019136B (zh) * | 2022-08-05 | 2022-11-25 | 山东圣点世纪科技有限公司 | 抗边界点漂移的目标关键点检测模型训练方法及检测方法 |
| CN115577728B (zh) * | 2022-12-07 | 2023-03-14 | 深圳思谋信息科技有限公司 | 一维码定位方法、装置、计算机设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038429A (zh) * | 2017-05-03 | 2017-08-11 | 四川云图睿视科技有限公司 | 一种基于深度学习的多任务级联人脸对齐方法 |
| CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111950318A (zh) * | 2020-08-12 | 2020-11-17 | 上海连尚网络科技有限公司 | 一种二维码图像的识别方法、设备及存储介质 |
| WO2021051650A1 (zh) * | 2019-09-18 | 2021-03-25 | 北京市商汤科技开发有限公司 | 人脸和人手关联检测方法及装置、电子设备和存储介质 |
| CN112560980A (zh) * | 2020-12-24 | 2021-03-26 | 深圳市优必选科技股份有限公司 | 目标检测模型的训练方法、装置及终端设备 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
| CN113052159A (zh) * | 2021-04-14 | 2021-06-29 | ***通信集团陕西有限公司 | 一种图像识别方法、装置、设备及计算机存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10706267B2 (en) * | 2018-01-12 | 2020-07-07 | Qualcomm Incorporated | Compact models for object recognition |
-
2021
- 2021-07-27 CN CN202110852248.0A patent/CN113591967B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107038429A (zh) * | 2017-05-03 | 2017-08-11 | 四川云图睿视科技有限公司 | 一种基于深度学习的多任务级联人脸对齐方法 |
| WO2021051650A1 (zh) * | 2019-09-18 | 2021-03-25 | 北京市商汤科技开发有限公司 | 人脸和人手关联检测方法及装置、电子设备和存储介质 |
| CN110991443A (zh) * | 2019-10-29 | 2020-04-10 | 北京海益同展信息科技有限公司 | 关键点检测、图像处理方法、装置、电子设备及存储介质 |
| CN111160085A (zh) * | 2019-11-19 | 2020-05-15 | 天津中科智能识别产业技术研究院有限公司 | 一种人体图像关键点姿态估计方法 |
| CN111104813A (zh) * | 2019-12-16 | 2020-05-05 | 北京达佳互联信息技术有限公司 | 二维码图像关键点检测方法、装置、电子设备及存储介质 |
| CN111950318A (zh) * | 2020-08-12 | 2020-11-17 | 上海连尚网络科技有限公司 | 一种二维码图像的识别方法、设备及存储介质 |
| CN112560980A (zh) * | 2020-12-24 | 2021-03-26 | 深圳市优必选科技股份有限公司 | 目标检测模型的训练方法、装置及终端设备 |
| CN112966574A (zh) * | 2021-02-22 | 2021-06-15 | 厦门艾地运动科技有限公司 | 人体三维关键点预测方法、装置及电子设备 |
| CN113052159A (zh) * | 2021-04-14 | 2021-06-29 | ***通信集团陕西有限公司 | 一种图像识别方法、装置、设备及计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Vehicle re-identification optimization algorithm based on high-confidence local features;Dou Xinze et al.;《Journal of Beijing University of Aeronautics and Astronautics》;20200930;第46卷(第9期);全文 * |
| 结合多尺度特征学习与特征对齐的行人重识别;金子丰 等;《算机工程与应用》;20210422;第58卷(第20期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113591967A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113591967B (zh) | 一种图像处理方法、装置、设备及计算机存储介质 | |
| CN108388896B (zh) | 一种基于动态时序卷积神经网络的车牌识别方法 | |
| US9014432B2 (en) | License plate character segmentation using likelihood maximization | |
| CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
| CN113160192A (zh) | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 | |
| CN106651774B (zh) | 一种车牌超分辨率模型重建方法及装置 | |
| CN106815583B (zh) | 一种基于mser和swt相结合的夜间车辆车牌定位方法 | |
| CN111709416A (zh) | 车牌定位方法、装置、***及存储介质 | |
| CN112766136B (zh) | 一种基于深度学习的空间车位检测方法 | |
| CN107220962B (zh) | 一种隧道裂纹的图像检测方法和装置 | |
| CN112949338A (zh) | 深度学习与Hough变换结合的二维条码精确定位方法 | |
| CN108509950B (zh) | 基于概率特征加权融合的铁路接触网支柱号牌检测识别法 | |
| CN112733885A (zh) | 点云识别模型的确定方法、点云识别的方法及装置 | |
| Özgen et al. | Text detection in natural and computer-generated images | |
| CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
| CN113780110A (zh) | 一种图像序列中弱小目标实时检测方法及设备 | |
| CN113033558A (zh) | 一种用于自然场景的文本检测方法及装置、存储介质 | |
| CN117952979B (zh) | 一种建设工程质量检测监管方法及*** | |
| CN117094975A (zh) | 钢铁表面缺陷检测方法、装置及电子设备 | |
| CN117195928B (zh) | 一种基于深度学习的条码定位检测方法 | |
| Bodnár et al. | A novel method for barcode localization in image domain | |
| CN116704490B (zh) | 车牌识别方法、装置和计算机设备 | |
| CN115346206B (zh) | 基于改进超分辨的深度卷积特征识别的车牌检测方法 | |
| CN112101058A (zh) | 一种试卷条码自动识别方法及装置 | |
| CN111178111A (zh) | 二维码检测方法、电子设备、存储介质及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |