CN112668399B - 图像处理方法、指纹信息提取方法、装置、设备及介质 - Google Patents
图像处理方法、指纹信息提取方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112668399B CN112668399B CN202011419424.3A CN202011419424A CN112668399B CN 112668399 B CN112668399 B CN 112668399B CN 202011419424 A CN202011419424 A CN 202011419424A CN 112668399 B CN112668399 B CN 112668399B
- Authority
- CN
- China
- Prior art keywords
- fingerprint image
- fingerprint
- sample
- interference information
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 262
- 238000006243 chemical reaction Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000008030 elimination Effects 0.000 claims abstract description 12
- 238000003379 elimination reaction Methods 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 52
- 238000013145 classification model Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 18
- 238000007499 fusion processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 4
- 210000003811 finger Anatomy 0.000 description 35
- 238000010586 diagram Methods 0.000 description 17
- 238000000746 purification Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000003623 enhancer Substances 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请实施例涉及一种图像处理方法、指纹信息提取方法、装置、设备及介质。所述方法包括：获得待处理指纹图像；将所述待处理指纹图像输入指纹图像转换模型进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
Description
技术领域
本申请实施例涉及图像处理技术领域，具体而言，涉及一种图像处理方法、指纹信息提取方法、装置、设备及介质。
背景技术
越来越多的电子设备或服务网站采用指纹识别技术验证用户的身份。在指纹识别技术中，第一环就是要获取待识别用户的指纹信息，而第一环采集的指纹信息的质量将直接决定指纹识别的准确率。
然而，目前通过一些设备采集的指纹图像中存在较多的背景干扰信息，由于背景干扰信息的存在，会对此类指纹图像的识别过程造成严重的干扰，严重降低指纹识别的识别准确率。
发明内容
本申请实施例提供一种图像处理方法、指纹信息提取方法、装置、设备及介质，旨在排除待识别指纹图像中包含的干扰信息对指纹识别的影响，以提高指纹识别的识别准确率。
本申请实施例第一方面提供一种图像处理方法，所述方法包括：
获得待处理指纹图像；
将所述待处理指纹图像输入指纹图像转换模型进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；
其中，其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
可选地，所述指纹图像转换模型的训练样本包含多个样本指纹图像对，一个样本指纹图像对由具有相同指纹区域且相互对齐的第一样本指纹图像和第二样本指纹图像组成，所述第一样本指纹图像包含干扰信息，所述第二样本指纹图像不包含干扰信息。
可选地，所述指纹图像转换模型的训练样本还包含所述多个样本指纹图像对各自对应的增强样本指纹图像；
一个样本指纹图像对所对应的增强样本指纹图像是该样本指纹图像对中的第二样本指纹图像进行指纹纹路增强操作后的样本指纹图像。
可选地，在将所述待处理指纹图像输入指纹图像转换模型之前，所述方法还包括：
检测所述待处理指纹图像中指纹纹路的清晰度是否高于预设阈值；
其中，在所述清晰度高于所述预设阈值的情况下，执行步骤：将所述待处理指纹图像输入以所述多个样本指纹图像对为训练样本的指纹图像转换模型；
在所述清晰度不高于所述预设阈值的情况下，执行步骤：将所述待处理指纹图像输入以所述多个样本指纹图像对以及对应的增强样本指纹图像为训练样本的指纹图像转换模型。
可选地，所述多个样本指纹图像对的生成过程包括以下步骤：
获取在不同角度下采集的同一手指的多张不包含干扰信息的样本指纹图像和多张包含干扰信息的样本指纹图像；
对所述多张不包含干扰信息的指纹图像进行拼接，得到完整标准样本指纹图像；
基于所述多张包含干扰信息的样本指纹图像和所述完整标准样本指纹图像，进行对齐处理，得到相互对齐的包含干扰信息的样本指纹图像和不包含干扰信息的样本指纹图像；
检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域；
将具有相同指纹区域且对齐的一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像确定为一个样本指纹图像对。
可选地，检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域，包括：
将一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像均输入预先训练的分类模型；
根据所述分类模型输出的分类结果，确定输入所述分类模型的两张样本指纹图像是否具有相同指纹区域；
其中，所述分类模型是以具有相同指纹区域的两张样本指纹图像为训练样本，对分类器进行训练得到的。
可选地，所述指纹图像转换模型包括多个指纹图像处理分支；
每两个相邻的指纹图像处理分支之间连接有下采样单元，用于对上一指纹图像处理分支输出的处理结果进行下采样，以作为下一指纹图像处理分支的输入；
所述多个指纹图像处理分支中的第一指纹图像处理分支包括卷积单元，用于对所述待处理指纹图像进行卷积处理；
所述多个指纹图像处理分支中除所述第一指纹图像处理分支外的其他指纹图像处理分支包括卷积单元和上采样单元，用于依次对该其他指纹图像处理分支的输入进行卷积处理和上采样处理。
可选地，所述指纹图像转换模型还包括指纹图像增强分支、一个融合模块以及一个指纹图像处理模块；
所述指纹图像增强分支用于对所述待处理指纹图像进行指纹纹路增强处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行融合，得到指纹融合处理结果；
所述指纹图像处理模块包括依次串接的卷积单元和非线性激活单元，并用于对所述指纹融合处理结果进行处理，得到所述目标标准指纹图像。
可选地，所述指纹图像增强分支包括多个指纹图像增强子分支；
所述多个指纹图像增强子分支中的第一指纹图像增强子分支的输入为所述待处理指纹图像，所述第一指纹图像增强子分支包括卷积单元，用于对所述待处理指纹图像进行卷积处理；
每两个相邻的指纹图像增强子分支之间连接有下采样单元，用于对上一指纹图像增强子分支输出的处理结果进行下采样，以作为下一指纹图像增强子分支的输入；
所述多个指纹图像增强子分支中除所述第一指纹图像增强子分支外的其他指纹图像增强子分支包括卷积单元和上采样单元，用于依次对该其他指纹图像增强子分支的输入进行卷积处理和上采样处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果进行融合，得到指纹融合处理结果。
可选地，所述融合模块，具体用于对所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行指数操作，以得到所述指纹融合处理结果。
本实施例的第二方面，提供一种指纹信息提取方法，包括：
获得待处理指纹图像；
按照第一方面实施例所述的指纹信息提取方法对所述待处理指纹图像进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息；
提取所述目标标准指纹图像中的指纹信息。
本申请实施例第三方面提供一种图像处理装置，所述装置包括：
获得模块，用于获得待处理指纹图像；
转换模块，用于将所述待处理指纹图像输入指纹图像转换模型，以得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
本申请实施例第四方面提供一种指纹提取装置，所述装置包括：
获得模块，用于获得待处理指纹图像；
处理模块，用于按照第一方面实施例所述的指纹信息提取方法对所述待处理指纹图像进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息；
提取模块，用于提取所述目标标准指纹图像中的指纹信息。
本申请实施例第五方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面或第二方面所述的方法中的步骤。
本申请实施例第六方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面或第二方面所述的方法的步骤。
采用本申请提供的图像处理方法，在获得待处理指纹图像后，可以将待处理指纹图像输入到指纹图像转换模型进行干扰信息消除处理，从而得到与待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像，其中，目标标准指纹图像中不包含干扰信息或包含的干扰信息少于待处理指纹图像中包含的干扰信息。
由于指纹图像转换模型可以进行干扰信息消除处理，如此，可以将待处理图像中包含的干扰信息进行消除，从而得到的目标标准指纹图像中可以不包含干扰信息，或者包含的干扰信息少于待处理指纹图像中包含的干扰信息。如此，由于目标标准指纹图像中的干扰信息已经很少甚至没有，因而在对目标标准指纹图像进行指纹识别时，可以避免干扰信息对目标标准指纹图像的识别过程所造成的干扰，从而提高了对目标标准指纹图像中指纹进行指纹识别的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示例性的示出了示出了两种类型的脏指纹图像的示意图；
图2示例性的示出了纯净指纹图像的示意图；
图3示例性的示出了对待处理指纹图像进行图像处理的步骤流程图；
图4示例性的示出了样本指纹图像对的生成步骤流程图；
图5示例性的示出了示出了几种手指以不同角度采集样本指纹图像的示意图；
图6示例性的示出了一种指纹图像转换模型的模型结构示意图；
图7示例性的示出了训练得到指纹图像转换模型的一种训练过程的步骤流程图；
图8示例性的示出了又一种指纹图像转换模型的模型结构示意图；
图9示例性的示出了训练得到指纹图像转换模型的又一种训练过程的步骤流程图；
图10是本申请一实施例提出的一种图像处理装置的结构示意图；
图11是本申请一实施例提出的一种指纹信息提取装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
一般而言，指纹采集设备采集的指纹一般含有较多的干扰信息，例如，手指有汗渍或屏幕上有灰尘污渍等情况时，采集的指纹图像便含有较多的背景干扰信息，这些背景干扰信息会使得采集的指纹纹理变得模糊杂乱，从而严重干扰指纹识别的准确度。
在先技术中，为了提高指纹识别的准确度，一般是滤除指纹图像中的干扰信息，即采用滤波方法，但是此种方式得到的指纹信息仍然会存在各种复杂的背景干扰，对指纹识别准确率的提升有限。
有鉴于此，本发明人提出了一种指纹信息提纯方案，具体而言，使用图像拼接对齐和深度学习训练的手段来实现指纹信息提纯，以将带干扰信息的脏指纹图处理成不包含干扰信息的纯净指纹图(后文称为标准指纹图像)。
为方便理解本申请，首先对本申请所定义的脏指纹图像和纯净指纹图像进行说明。参照图1和图2所示，图1示出了两种类型的脏指纹图像，图2示出了纯净指纹图像。
其中，如图1所示，图1右侧的指纹图像是包含划痕干扰信息的指纹图像，图1左侧的指纹图像是包含污渍类的干扰信息的指纹图像。其中，划痕干扰信息一般是屏幕上的历史划痕造成的，用户手指按压屏幕采集指纹时，这些历史划痕便成了背景干扰信息。
其中，如图2所示，可见，纯净图像中不包含干扰信息，其指纹的谷脊线清晰可见，对这样的指纹图像进行指纹识别时，指纹识别的准确率较高。
由此，本申请所讨论的便是如何将图1所示的脏指纹图像处理为图2所示的纯净指纹图像。具体地，可以先训练一个用于将脏指纹图像转换为纯净指纹图像的指纹图像转换模型，利用该指纹图像转换模型，将包含干扰信息的指纹图像转换为不包含干扰信息或仅包含少量干扰信息的指纹图像。
参照图3所示，示出了本申请实施例的一种图像处理方法的步骤流程图，具体可以包括以下步骤：
步骤S301：获得待处理指纹图像。
本实施例中，待处理指纹图像可以是指需要进行识别的指纹图像，其可以是指纹采集设备采集的图像，该待处理指纹图像可以包括干扰信息。其中，指纹采集设备可以包括光学指纹采集设备、电容式指纹采集设备，如，可以是在手机屏幕上设置的指纹采集区。
在一种可选地实施方式中，待处理指纹图像可以通过以下方式获得：对触摸在有污渍的屏幕上的手指头上的指纹进行图像采集，或，对触摸在有划痕的屏幕上的手指头上的指纹进行图像采集，从而获得待处理指纹图像。其中，有划痕的屏幕应当做广义的理解，既可以是指屏幕上的划痕，也可以是指屏幕上粘贴的防划膜上的划痕。
步骤S302：将所述待处理指纹图像输入指纹图像转换模型进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像。
其中，目标标准指纹图像中不包含干扰信息或包含的干扰信息少于待处理指纹图像中包含的干扰信息。
本实施例中，训练得到的指纹图像转换模型可以用于对待处理指纹图像进行多次的卷积处理以及多次的上下采样处理，具体地，该指纹图像转换模型可以多次强化待处理指纹图像中指纹信息的全局特征以及局部特征，使得待处理指纹图像中的指纹信息被不断保存，而不属于指纹信息的干扰信息被不断消除，从而得到纯净的目标标准指纹图像。
具体地，指纹图像转换模型可以对待处理指纹图像进行多次上下采样和卷积处理，以不断强化待处理指纹图像中指纹信息的全局特征以及局部特征，从而使得指纹信息被不断保存，而不属于指纹信息的干扰信息被不断消除，这样，保留了待处理的指纹区域不变，而使得指纹区域中的指纹信息中包含的干扰信息被消除。因此，目标标准指纹图像便与待处理指纹图像具有相同的指纹区域，且指纹区域是相互对齐的。
其中，目标标准指纹图像中便可以不包括干扰信息或者仅包括少量的干扰信息，无论如何，目标标准指纹图像中的干扰信息大大少于待处理指纹图像中的干扰信息，可以得到较为干净的指纹图像。如此，便可以对干净的指纹图像进行指纹识别，从而提高了识别的准确性。
采用本发明实施例的技术方案，可以有效降低指纹识别的误识率和提高识别准确率。
为方便理解本申请的技术方案，下面，对本申请中如何训练得到指纹图像转换模型进行介绍，如下所述，首先需要获得训练用的样本指纹图像对。
参照图4所示，示出了获得样本指纹图像对的步骤流程图，具体可以包括以下步骤：
步骤S401：获取在不同角度下采集的同一手指的多张不包含干扰信息的样本指纹图像和多张包含干扰信息的样本指纹图像。
本实施例中，不同角度可以是指手指与指纹采集设备的中轴线之间形成的角度不同，参照图5所示，示出了几种手指以不同角度采集样本指纹图像的示意图，如图5最左侧图像所示，手指可以以0度的角度让指纹采集设备采集指纹，如中间图像所示，也可以以40度的角度让指纹采集设备采集指纹，如最右侧图像所示，也可以以60度的角度让指纹采集设备采集指纹。
如此，针对同一手指，可以采集该手指在不同角度下的包含干扰信息的样本指纹图像(可以称为脏样本指纹图像)和不包含干扰信息的样本指纹图像(可以称为标准样本指纹图像)。其中，在一种示例中，在同一手指的同一角度下，可以采集多张包含干扰信息的样本指纹图像和多张不包含干扰信息的样本指纹图像。
其中，包含干扰信息的样本指纹图像可以是通过在指纹设备的屏幕上做划痕或者污渍来获取的，不包含干扰信息的样本指纹图像则可以是通过干净且不包含污渍和划痕的屏幕的指纹设备来获取的。
示例地，可以以40个人为采集对象，每个人采集6个手指的指纹图像(左手拇指/左手食指/左手中指/右手拇指/右手食指/右手中指)，每个手指五个角度(-60度/-30度/0度/30度/60度)，同一角度下，采集40张不包含干扰信息的样本指纹图像(如图2所示)和40张带划痕或杂乱背景的样本指纹图像(如图1所示)，则可以获得48000张不包含干扰信息的样本指纹图像和48000张包含干扰信息的样本指纹图像。
步骤S402：对所述多张不包含干扰信息的样本指纹图像进行拼接，得到完整标准样本指纹图像。
本实施例中，由于同一手指可以从不同角度采集多个不包含干扰信息的样本指纹图像(以下简称标准指纹图像)，如此，对于属于同一手指的多个不包含干扰信息的样本指纹图像，这些样本指纹图像之间必然存在相互重叠的指纹区域，例如在0度时对右手食指采集的一张标准指纹图像中的指纹，必然与在30度时对右手食指采集的另一张标准指纹图像中的指纹存在重叠的部分区域。则可以对同一手指的多张不同角度下的不包含干扰信息的样本指纹图像进行拼接，得到完整标准样本指纹图像。
具体实施时，在对标准样本指纹图像进行拼接时，可以将同一手指的不同角度的标准指纹图像均旋转至同一角度，以使同一手指的不同角度的多张标准指纹图像对齐，从而将对齐后的标准样本指纹图像进行拼接。
示例地，可以将同一手指的不同角度的所有标准图像均旋转至0度，例如在30度时采集的标准指纹图像，需要逆时针旋转30度，在-60度时采集的标准指纹图像，需要顺时针旋转60度，从而使得多张不同角度下采集的标准指纹图像被旋转至同一角度。如此，针对40个采集对象，每个采集对象采集6个手指，对每个手指的不同角度的标准样本指纹图像进行对齐后拼接，则可以得到240张完整标准样本指纹图像。
其中，在进行标准样本指纹图像的拼接时，可以以重叠的指纹区域为基准进行拼接，即拼接后的标准指纹图像可以真实完整反映整个手指指纹的形状，得到面积较大且完整的标准样本指纹图像。
步骤S403：基于所述多张包含干扰信息的样本指纹图像和所述完整标准样本指纹图像，进行对齐处理，得到相互对齐的包含干扰信息的样本指纹图像和不包含干扰信息的样本指纹图像。
本实施例中，由于完整标准样本指纹图像的由各个不包含干扰信息的样本指纹图像进行拼接得到的，将包含干扰信息的样本指纹图像和完整标准样本指纹图像进行对齐，即是将包含干扰信息的样本指纹图像和各不包含干扰信息的样本指纹图像进行对齐，如此，便得到相互对齐的包含干扰信息的样本指纹图像和不包含干扰信息的样本指纹图像。采用此种对齐方式，相比于单独将多张包含干扰信息的样本指纹图像和多张不包含干扰信息的样本指纹图像件分别对齐的方式，可以提高本申请的指纹对其效率。
本实施例中，可以将多张包含干扰信息的样本指纹图像依次与每个完整标准样本指纹图像进行对齐，如此，完整标准样本指纹图像可以不用旋转，而只需旋转面积较小的包含干扰信息的样本指纹图像，例如，共得到4800张包含干扰信息的样本指纹图像，则对于每个完整标准样本指纹图像，均可以将4800张包含干扰信息的样本指纹图像与该完整标准样本指纹图像进行对齐。
具体实施时，将多张包含干扰信息的样本指纹图像与该完整标准样本指纹图像进行对齐时，可以是指将多张包含干扰信息的样本指纹图像均旋转至该完整标准样本指纹图像所具有的角度，实际中，可以理解为将脏样本指纹图像掰正，以与完整标准样本指纹图像对齐。例如，完整标准样本指纹图像的角度为0度，则将多张包含干扰信息的样本指纹图像均旋转至0度。
当然，也可以是完整标准样本指纹图像与每个包含干扰信息的样本指纹图像对齐，如此，包含干扰信息的样本指纹图像可以不用旋转，而旋转完整标准样本指纹图像。
经过上述对齐，便可以得到多对相互对齐的不包含干扰信息的样本指纹图像和包含干扰信息的样本指纹图像，例如，通过对48000张包含干扰信息的样本指纹图依次与240张完整表征样本指纹图像做对齐，如此，便可以得到48000*240张相互对齐的不包含干扰信息的样本指纹图像和包含干扰信息的样本指纹图像。
本实施例中，将多张包含干扰信息的样本指纹图像依次与每个完整标准样本指纹图像进行对齐后，可以保证干扰信息的样本指纹图像与完整标准样本指纹图像具有相同的比对基准，排除角度不同而导致的同一指纹图像出现差异，如此，可以减小后续对两张指纹图像的相似性进行比较的难度。
步骤S404：检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域。
本实施例中，对每个标准样本指纹图像(即不包含干扰信息的样本指纹图像)，可以检测与该标准指纹图像对齐的多个包含干扰信息的样本指纹图像是否与该标准指纹图像具有相同指纹区域。
其中，通过判断脏样本指纹图像和标准样本指纹图像是否具有相同指纹区域，可以确定脏样本指纹图像和标准样本指纹图像是否来源于同一人的同一手指。
在一种示例中，为了避免在采集指纹图像时，人工确定脏样本指纹图像和标准样本指纹图像是否具有相同指纹区域而导致的效率低下、准确率不高的问题，可以通过神经网络确定采集到的脏样本指纹图像和与之对齐的标准样本指纹图像是否具有相同指纹区域。
具体实施时，在检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域时，可以将一张包含干扰信息的样本指纹图像和与之对齐的一张不包含干扰信息的样本指纹图像均输入预先训练的分类模型；并根据所述分类模型输出的分类结果，确定输入所述分类模型的两张样本指纹图像是否具有相同指纹区域。
其中，所述分类模型是以具有相同指纹区域的两张样本指纹图像为训练样本，对分类器进行训练得到的。分类器可以是各种常见的分类器，例如是SVM分类器、Adaboost分类器、Boosting分类器、logistic分类器、Softmax分类等，在本申请中，不做具体的限制。
本实施例中，分类模型可以用于确定两张指纹图像是否具有相同的指纹区域，这样，可以将一张包含干扰信息的样本指纹图像和与之对齐的一张不包含干扰信息的样本指纹图像均输入分类模型，通过分类模型输出的得分确定二者是否具有相同指纹区域。其中，分类模型输出的得分可以是表征二者具有相同指纹区域的概率，实际中，在得分高于预设阈值，例如大于0.5时，确定输入的脏样本指纹图像和与之对齐的标准样本指纹图像具有相同的指纹区域。
其中，可以理解的是具有相同的指纹区域是指：在该指纹区域中的指纹纹路相同。
本申请中，作为训练分类模型的样本对中的两张样本指纹图像可以是相互对齐的指纹图像，当然，训练样本对中应当至少包含多个正样本对和多个负样本对，每个正样本对是具有相同指纹区域的两张样本指纹图像组成的训练样本，每个负样本对是不具有相同指纹区域的两张样本指纹图像组成的训练样本。其中，训练得到分类模型的过程可以参见现有技术的训练过程即可，在此不再赘述。
步骤S405：将具有相同指纹区域且对齐的一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像确定为一个样本指纹图像对。
本实施例中，若分类模型输出的得分表征脏样本指纹图像和与之对齐的标准样本指纹图像具有相同的指纹区域，则可以表征二者来源于同一手指，这样，可以随即将二者确定为一个样本指纹图像对。如此，一个样本指纹图像对中便可以包括具有相同指纹区域且相互对齐的一个脏样本指纹图像(即包含干扰信息的样本指纹图像)和一个标准样本指纹图像(即不包含干扰信息的样本指纹图像)。
通过上述过程，便可以得到多个样本指纹图像对。示例地，在将48000张脏指纹图依次与对齐的240张大面积干净指纹做比对后，最终可以得到33044对具有相同指纹区域并对齐的样本指纹图像对。
之后，便可以利用得到的多个样本指纹图像对对预设模型进行训练，得到指纹图像转换模型。其中，利用该多个样本指纹图像对对预设模型进行训练后得到的指纹图像转换模型的模型结构如图6所示。
具体的，如图6所示，指纹图像转换模型可以包括多个依次串接的指纹图像处理分支(图中仅示例性给出3个指纹图像处理分支)。其中，指纹图像处理分支用于对输入的待处理指纹图像进行卷积处理和上下采样处理，从而通过层层的卷积和上下采样，保留待处理指纹图像中的指纹信息，而消除待处理指纹图像中的干扰信息，而得到相应地不包含干扰信息或仅包含微量干扰信息的目标标准指纹图像。
其中，由图6可以看出，每两个相邻的指纹图像处理分支之间连接有下采样单元，用于对上一指纹图像处理分支输出的处理结果进行下采样，以作为下一指纹图像处理分支的输入；且所述多个指纹图像处理分支中除所述第一指纹图像处理分支外的其他指纹图像处理分支包括卷积单元和上采样单元，用于对该其他指纹图像处理分支的输入依次进行卷积处理和上采样处理，其中，最后一个指纹图像处理分支输出的即为目标标准指纹图像。
其中，所述多个指纹图像处理分支中的第一指纹图像处理分支的输入为该待处理指纹图像，所述第一指纹图像处理分支中可以包括卷积单元，用于对该待处理指纹图像进行卷积处理，以提取待处理指纹图像中的指纹特征。
需要说明的是，本申请示例的第一指纹图像处理分支可以理解为是位于浅层的指纹图像处理分支，即上游第一个指纹图像处理分支，后续更深层的其他指纹图像处理分支则可以对输入到该指纹图像处理分支的特征先进行卷积再进行上采样，以从细节上提取更加精细的指纹特征。
其中，最后一层指纹图像处理分支输出的特征的尺寸与输入到第一指纹图像处理分支的样本指纹图像的尺寸相同，例如，输入到第一指纹图像处理分支的待处理指纹图像的尺寸为100*100，则最后层指纹图像处理分支输出的特征图的尺寸也为100*100。当然，在一些实例中，每个上采样单元上采样后的图像尺寸可以与其连接的下采样单元执行下采样前的图像尺寸一致。
本实施例中，下采样单元执行下采样操作，其主要用于从整体上提取更加全局的指纹特征，通过该多个下采样单元，可以逐步滤除待处理指纹图像中的干扰信息。其中，该下采样单元可以是Pooling池化下采样，上采样单元执行上采样操作，其可以是最近邻差值上采样。当然以上的上采样和下采样的具体采样方式不均局限于所述的最近邻差值上采样或Pooling池化下采样，还可以是其他的采样方式，例如反卷积上采样、随机下采样等。
本示例中，将待处理指纹图像输入到第一指纹图像处理分支后，可以通过多个指纹图像处理分支以及连接在指纹图像处理分支之间的下采样单元，对待处理指纹图像进行多次的上下采样和卷积处理，由于下采样可以从整体上提取出全局的指纹信息，而上采样又可以得到精细化得到指纹信息，因此，通过多次上下采样和卷积处理，可以滤除待处理指纹图像中的干扰信息，而保留指纹信息，如此，达到指纹信息的提纯的目的，从而得到纯净的指纹图像。
其中，利用该多个样本指纹图像对对预设模型进行训练得到指纹图像转换模型的过程可以参照图7所示，具体可以包括以下步骤：
步骤S701：将所述多个样本指纹图像对各自包含的第一样本指纹图像输入所述第一指纹图像处理分支，以获得所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果。
本实施例中，第一样本指纹图像是指样本指纹图像对中包含干扰信息的样本指纹图像，该样本指纹图像依次经多个指纹图像处理分支处理后，得到最后一个指纹图像处理分支输出的处理结果，其中，最后一个指纹图像处理分支可以是指位于最深层的指纹图像处理分支。
步骤S702：根据所述处理结果和所述样本指纹图像对中的第二样本指纹图像，对所述预设模型的参数进行多次更新。
本实施例中，第二样本指纹图像是指样本指纹图像对中不包含干扰信息的样本指纹图像，其中，第二样本指纹图像可以理解为是训练的标签，如此，在根据处理结果和第二样本指纹图像，对预设模型的参数进行多次更新时，可以先确定处理结果和第二样本指纹图像之间的损失值，接着，根据该损失值对预设模型的参数进行多次更新。
步骤S703：将经过多次更新后的预设模型，确定为所述指纹图像转换模型。
本实施例中，可以将更新了预设轮数的预设模型，确定为指纹图像转换模型，或者将损失值低于预设损失值时的预设模型，确定为指纹图像转换模型。
在又一种示例中，所述指纹图像转换模型的训练样本还可以包含所述多个样本指纹图像对各自对应的增强样本指纹图像；一个样本指纹图像对所对应的增强样本指纹图像是该样本指纹图像对中的第二样本指纹图像进行指纹纹路增强操作后的样本指纹图像。
具体地，增强样本指纹图像可以是指对第二样本指纹图像进行指纹纹路增强操作的图像，该指纹纹路增强操作可以是指对指纹的谷脊线进行的增强操作，以使指纹的谷脊线更加清晰。
如此，在训练样本还包含所述多个样本指纹图像对各自对应的增强样本指纹图像的情况下，可以利用该训练样本对预设模型进行训练，得到指纹图像转换模型，其得到的指纹图像转换模型除包括多个指纹图像处理分支外，还可以包括指纹图像增强分支、一个融合模块以及一个指纹图像处理模块。则在用该训练样本训练得到指纹图像转换模型后，可以将待处理指纹图像输入到该指纹图像转换模型，以得到目标标准指纹图像。
此种情况下，可以将待处理指纹图像输入到指纹图像增强分支和第一个指纹图像处理分支。其中，所述指纹图像增强分支用于对待处理指纹图像进行指纹纹路增强处理；所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行融合，得到指纹融合处理结果；
其中，所述指纹图像处理模块包括依次串接的卷积单元和非线性激活单元，指纹图像处理模块用于对所述指纹融合处理结果进行处理，以输出目标标准指纹图像。
由于增加了指纹图像增强分支，则可以通过指纹图像增强分支来使模型更加关注指纹信息的部分，如此，可以将指纹图像处理成一张使指纹谷脊线更加明显的指纹图像。
另一种情况下，利用包括增强样本指纹图像的指纹样本图像对对预设模型进行训练时，得到的指纹图像转换模型的模型结构可以如图8所示，此种功能情况下，指纹图像转换模型中的指纹图像增强分支可以包括多个指纹图像增强子分支。
其中，所述多个指纹图像增强子分支中的第一指纹图像增强子分支的输入为所述待处理指纹图像，所述第一指纹图像增强子分支包括卷积单元，用于对所述待处理指纹图像进行卷积处理；
每两个相邻的指纹图像增强子分支之间连接有下采样单元，用于对上一指纹图像增强子分支输出的处理结果进行下采样，以作为下一指纹图像增强子分支的输入；由于通过多个指纹图像增强子分支对待处理指纹图像进行了多次下采样，如此，可以增强从全局提取的指纹特征的强度，使得指纹纹路不断被加强，指纹纹路的清晰度不断得到改善。
其中，所述多个指纹图像增强子分支中除所述第一指纹图像增强子分支外的其他指纹图像增强子分支包括卷积单元和上采样单元，用于依次对该其他指纹图像增强子分支的输入进行卷积处理和上采样处理；
其中，所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果进行融合，得到指纹融合处理结果。
本实施例中，第一指纹图像增强子分支是位于模型最浅层的指纹图像增强子分支，待处理指纹图像可以输入该第一指纹图像增强子分支，经过多个指纹图像增强子分支依次进行的下采样和上采样，以增强指纹纹路的谷脊线。
如图8所示，对最后一个指纹图像处理分支输出的处理结果和最后一个指纹图像增强子分支输出的处理结果进行融合，可以使得指纹融合处理结果兼具指纹提纯后和指纹纹路增强的效果，即可以在得到不包含干扰信息的同时，指纹纹路也得到增强，即指纹纹路更加清晰。
其中，每个指纹图像增强子分支中的卷积单元的卷积核的尺寸可以根据实际需求进行设置，指纹图像处理模块中的卷积单元的卷积核的尺寸也可以根据实际需求进行设置。
在一种示例中，对最后一个指纹图像处理分支输出的处理结果和所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果进行融合时，可以对所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和最后一个所述指纹图像增强子分支输出的处理结果进行指数操作，以得到所述指纹融合处理结果。
具体的指数操作可以按照以下公式(1)进行：
公式(1)中，具体的，Z3表示最后一个指纹图像增强子分支输出的处理结果，T3表示最后一个指纹图像处理分支输出的处理结果，T3-2表示指纹融合处理结果。
本示例中，由于增加了指纹图像增强分支，则可以通过指纹图像增强分支将指纹图像处理成一张指纹谷脊线更加明显的指纹图像。如此，对最后一个指纹图像处理分支输出的处理结果和最后一个指纹图像增强子分支输出的处理结果进行融合后，便可以使得指纹融合处理结果兼具指纹提纯后和指纹谷脊线增强的效果，即可以在得到不包含干扰信息的同时，得到的指纹图像更加清晰。
其中，指数操作可以理解为是一种注意力机制，通过指数操作对最后一个指纹图像处理分支输出的处理结果和最后一个指纹图像增强子分支输出的处理结果进行融合时，可以更加关注指纹谷脊线，因而根据指纹融合后处理结果所得到的目标标准指纹图像中不包含干扰信息且指纹谷脊线更加清晰，即目标标准指纹图像中的指纹既干净又清晰。
当然，以上的指数操作的融合方式只是一种示例，并不排除在其他实施例中，采用其他的Attention机制融合最后一个指纹图像处理分支输出的处理结果与指纹图像增强分支输出的处理结果。
其中，利用该包含增强样本指纹图像的训练样本对预设模型进行训练，得到图8所示的指纹图像转换模型的过程，可以参照图9所示，具体可以包括以下步骤
步骤S901：将所述多个样本指纹图像对各自包含的第一样本指纹图像输入所述第一指纹图像处理分支，以获得所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果。其中，第一样本指纹图像是样本指纹图像对中包含干扰信息的样本指纹图像。
步骤S902：将所述多个样本指纹图像对各自包含的第一样本指纹图像输入所述第一指纹图像增强子分支，以获得所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果。
本实施例中，通过上述步骤S901和步骤S902，可以将第一样本指纹图像输入分别输入到第一指纹图像处理分支和第一指纹图像增强子分支，这样，预设模型的各个指纹图像处理分支用于对第一样本指纹图像进行处理，从而得到最后一个指纹图像处理分支输出的处理结果；同时，多个指纹图像增强子分支也可以对第一样本指纹图像进行处理，得到最后一个指纹图像增强子分支输出的处理结果。
其中，最后一个指纹图像处理分支输出的处理结果可以反映这些指纹图像处理分支对第一样本指纹图像进行提纯后的结果，而最后一个指纹图像增强子分支输出的处理结果可以反映这些指纹图像增强子分支对第一样本指纹图像中的指纹信息进行增强的结果。
步骤S903：依次通过所述融合模块和所述指纹图像处理模块，得到最终指纹处理结果。
本实施例中，由于预设模型的融合模块是用于对最后一个指纹图像处理分支输出的处理结果和最后一个指纹图像增强子分支输出的处理结果进行融合，其得到的是指纹融合处理结果，而指纹图像处理模块可以对所述指纹融合处理结果进行处理，得到最终指纹处理结果。
步骤S904：根据所述最终指纹处理结果和所述样本指纹图像对中的第二样本指纹图像、与对所述第二样本指纹图像进行增强操作后的增强样本指纹图像，对所述预设模型的参数进行多次更新。
本实施例中，如图8所示，在对预设模型的参数进行多次更新时，可以根据最终指纹处理结果，即图8中的输出，和第二样本指纹图像，确定提纯损失；并根据最后一个指纹图像增强分支输出的处理结果和增强样本指纹图像，确定增强损失；继而，根据提纯损失和增强损失，确定整体损失，根据整体损失对预设模型的参数进行多次更新。
其中，在根据提纯损失和增强损失，确定整体损失时，可以按照二者预设的权重，进行加权求和，从而计算得到整体损失。
可以理解的是，在对该预设模型训练时，所输入的第一样本指纹图像是包含干扰信息的指纹图像，而第二样本指纹图像是不包含干扰信息的指纹图像，其中，增强样本指纹图像可以作为计算增强损失的标签，第二样本指纹图像可以作为计算提纯损失的标签。
如图6和图8所示，通过不同的训练样本，得到了两种指纹图像转换模型，在得到两种类型的图像转换模型时，则可以利用两种类型的图像转换模型中的任意一种图像转换模型，将待处理指纹图像转换为目标标准指纹图像。
在一种示例中，由于训练得到的两种指纹图像转换模型的结构不同，其对待处理指纹图像进行处理的效果也不同。其中，在训练样本中包括增强样本指纹图像时，其训练得到的指纹图像转换模型可以在待处理图像的指纹信息较为模糊的情况下，提高指纹信息的清晰度。
相应地，在对待处理图像中的干扰信息进行消除处理时，可以根据待处理指纹图像中指纹纹路的清晰度确定适用何种类型的指纹图像转换模型，即可以根据待处理指纹图像中指纹纹路的清晰程度，将待处理指纹图像输入到相应结构的指纹图像转换模型。
具体地，可以检测所述待处理指纹图像中指纹纹路的清晰度是否高于预设阈值。其中，在所述清晰度高于所述预设阈值的情况下，将所述待处理指纹图像输入以所述多个样本指纹图像对为训练样本的指纹图像转换模型。其中，在所述清晰度不高于所述预设阈值的情况下，将所述待处理指纹图像输入以所述多个样本指纹图像对以及对应的增强样本指纹图像为训练样本的指纹图像转换模型。
本示例中，预设阈值可以根据需求进行设置。在待处理指纹图像中指纹纹路的清晰度高于或等于预设阈值时，表示待处理指纹图像中指纹纹路的清晰程度较高，则可以将待处理指纹图像输入到利用多个样本指纹图像对训练得到的指纹图像转换模型中，即输入到图6所示的包括多个指纹图像处理分支的指纹图像转换模型中。
在待处理指纹图像中指纹纹路的清晰度低于预设阈值时，表示指纹纹路的清晰程度较低，此种情况下，为了得到不包含干扰信息且指纹纹路清晰的指纹图像，可以将待处理指纹图像输入到以多个样本指纹图像对以及增强样本指纹图像为训练样本，训练得到的指纹图像转换模型中，即输入到图8所示的包括多个指纹图像处理分支、多个指纹图像增强分支、融合模块和指纹图像处理模块的指纹图像转换模型中。
采用本申请实施例的方法，由于指纹图像转换模型可以将包含干扰信息的指纹图像转换为不包含干扰信息的指纹图像，即指纹图像转换模型可以用于指纹信息的提纯，这样，可以直接将待处理指纹图像输入至指纹图像转换模型，即可得到纯净的目标标准指纹图像，之后，可以对该目标标准指纹图像进行指纹识别，由于目标标准指纹图像不包含干扰信息，由此不会对指纹识别造成干扰，减小误识别，提高了识别准确率。
再一方面，由于在待处理指纹图像的指纹纹路的清晰程度不高时，可以将待处理指纹图像输入具有纹路增强功能的指纹图像转换模型，从而得到的目标标准指纹图像不仅不包含干扰信息，其指纹纹路也更加清晰，从而减小了指纹识别的难度，提高了此种情况下的识别准确率。
基于同一发明构思，下面以一种具体应用场景为例，对本申请的指纹信息提取方法进行介绍，该方法可以应用于屏下指纹识别***，具体可以包括以下过程：
首先，获得待处理指纹图像。
本实施例中，待处理指纹图像可以是以屏下指纹采集为采集方式获得的，例如，智能设备的屏幕上的指纹采集区域。在采集到待处理指纹图像后，可以将该待处理指纹图像输入到智能设备的处理器、或者与智能设备通信连接的后台服务器中进行处理。
其次，按照上述实施例中的指纹信息提取方法，即可以是按照步骤S301至步骤S302的过程，对所述待处理指纹图像进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像，其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
本实施例中，智能设备的处理器、或者与智能设备通信连接的后台服务器中可以内置指纹图像转换模型，这样，可以获得指纹图像转换模型输出的目标标准指纹图像，该目标标准指纹图像与待处理指纹图像表征的指纹区域为相同指纹区域且对齐，即可以理解为是目标标准指纹图像与待处理指纹图像仍然对应同一手指，且目标标准指纹图像的角度和待处理指纹图像的角度相同。即目标标准指纹图像可以理解为是不包含干扰的待处理指纹图像。
接着，提取所述目标标准指纹图像中的指纹信息。
本实施例中，提取目标标准指纹图像中的指纹信息可以是指，对目标标准指纹图像中的指纹纹路进行提取，从而可以将提取得到的指纹信息输入到后续的指纹识别任务中，以进行指纹识别。
当然，该提取的指纹信息也可以用于其他的指纹任务中，例如，存储任务中，以将提取的指纹信息进行存储，方便后续的比对。
参照图10所示，基于同一发明构思，本申请另一实施例提供一种图像处理装置的结构框图，如图10所示，所述装置具体可以包括以下模块：
获得模块1001，用于获得待处理指纹图像；
转换模块1002，用于将所述待处理指纹图像输入指纹图像转换模型进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
可选地，所述指纹图像转换模型的训练样本包含多个样本指纹图像对，一个样本指纹图像对由具有相同指纹区域且相互对齐的第一样本指纹图像和第二样本指纹图像组成，所述第一样本指纹图像包含干扰信息，所述第二样本指纹图像不包含干扰信息。
可选地，所述指纹图像转换模型的训练样本还包含所述多个样本指纹图像对各自对应的增强样本指纹图像；一个样本指纹图像对所对应的增强样本指纹图像是该样本指纹图像对中的第二样本指纹图像进行指纹纹路增强操作后的样本指纹图像。
可选地，所述装置还可以包括以下模块：
清晰度判定模块，用于检测所述待处理指纹图像中指纹纹路的清晰度是否高于预设阈值；
第一输入模块，用于在所述清晰度高于所述预设阈值的情况下，将所述待处理指纹图像输入以所述多个样本指纹图像对为训练样本的指纹图像转换模型；
第二输入模块，用于在所述清晰度不高于所述预设阈值的情况下，将所述待处理指纹图像输入以所述多个样本指纹图像对以及对应的增强样本指纹图像为训练样本的指纹图像转换模型。
可选地，所述装置还可以包括样本对获得模块，所述样本对获得模块用于获得多个样本指纹图像对，具体可以包括以下单元：
采集单元，用于在获取不同角度下采集的同一手指的多张不包含干扰信息的样本指纹图像和多张包含干扰信息的样本指纹图像；
拼接单元，用于对所述多张不包含干扰信息的指纹图像进行拼接，得到完整标准样本指纹图像；
对齐单元，用于基于所述多张包含干扰信息的样本指纹图像和所述完整标准样本指纹图像，进行对齐处理，得到相互对齐的包含干扰信息的样本指纹图像和不包含干扰信息的样本指纹图像；
检测单元，用于检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域；
组建单元，用于将具有相同指纹区域且对齐的一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像确定为一个样本指纹图像对。
可选地，所述检测单元，具体可以用于将一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像均输入预先训练的分类模型；并根据所述分类模型输出的分类结果，确定输入所述分类模型的两张样本指纹图像是否具有相同指纹区域；
其中，所述分类模型是以具有相同指纹区域的两张样本指纹图像为训练样本，对分类器进行训练得到的。
可选地，所述指纹图像转换模型包括多个指纹图像处理分支；
所述多个指纹图像处理分支中的第一指纹图像处理分支包括卷积单元，所述卷积单元用于对所述待处理指纹图像进行卷积处理；
每两个相邻的指纹图像处理分支之间连接有下采样单元，用于对上一指纹图像处理分支输出的处理结果进行下采样，以作为下一指纹图像处理分支的输入；
所述多个指纹图像处理分支中除所述第一指纹图像处理分支外的其他指纹图像处理分支包括卷积单元和上采样单元，用于依次进行卷积处理和上采样处理。
可选地，所述装置还可以包括第一训练模块，用于训练得到指纹图像转换模型，具体可以包括以下单元：
第一输入单元，用于将所述多个样本指纹图像对各自包含的第一样本指纹图像输入所述第一指纹图像处理分支，以获得所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果；
第一更新单元，用于根据所述处理结果和所述样本指纹图像对中的第二样本指纹图像，对所述预设模型的参数进行多次更新；
获得单元，用于将经过多次更新后的预设模型，确定为所述指纹图像转换模型。
可选地，所述指纹图像转换模型还包括指纹图像增强分支、一个融合模块以及一个指纹图像处理模块；
所述指纹图像增强分支用于对所述待处理指纹图像进行指纹纹路增强处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行融合，得到指纹融合处理结果；
所述指纹图像处理模块包括依次串接的卷积单元和非线性激活单元，并用于对所述指纹融合处理结果进行处理，得到最终指纹处理结果。
可选地，所述指纹图像增强分支包括多个指纹图像增强子分支；
其中，所述多个指纹图像增强子分支中的第一指纹图像增强子分支的输入为所述待处理指纹图像，所述第一指纹图像增强子分支包括卷积单元，用于对所述待处理指纹图像进行卷积处理；
每两个相邻的指纹图像增强子分支之间连接有下采样单元，用于对上一指纹图像增强子分支输出的处理结果进行下采样，以作为下一指纹图像增强子分支的输入；
所述多个指纹图像增强子分支中除所述第一指纹图像增强子分支外的其他指纹图像增强子分支包括卷积单元和上采样单元，用于依次进行卷积处理和上采样处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果进行融合，得到指纹融合处理结果。
可选地，所述融合模块，具体用于对所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行指数操作，以得到所述指纹融合处理结果。
可选地，所述装置还可以包括第二训练模块，用于训练得到指纹图像转换模型，具体可以包括以下单元：
第二输入单元，用于将所述多个样本指纹图像对各自包含的第一样本指纹图像输入第一指纹图像增强子分支，以获得所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果；
融合处理单元，用于依次通过所述融合模块和所述指纹图像处理模块，得到最终指纹处理结果；
更新单元，用于根据所述最终指纹处理结果和所述样本指纹图像对中的第二样本指纹图像、与对所述第二样本指纹图像进行增强操作后的增强样本指纹图像，对所述预设模型的参数进行多次更新。
参照图11所示，基于同一发明构思，本申请另一实施例提供一种指纹信息提取装置，具体可以包括以下模块：
获得模块1101，用于获得待处理指纹图像；
处理模块1102，用于按照上述的指纹信息提取方法对所述待处理指纹图像进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息；
提取模块1103，用于提取所述目标标准指纹图像中的指纹信息。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的指纹信息提取方法，或者执行第二方面实施例所述的方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的指纹信息提取方法，或者执行第二方面实施例所述的方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种图像处理方法、指纹信息提取方法、装置、设备及介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (15)
1.一种图像处理方法，其特征在于，包括：
获得待处理指纹图像；
将所述待处理指纹图像输入指纹图像转换模型进行干扰信息消除处理，所述指纹图像转换模型可以用于对待处理指纹图像进行多次的卷积处理以及多次的行下采样处理，以不断强化待处理指纹图像中指纹图像信息的全局特征以及局部特征，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
2.根据权利要求1的方法，其特征在于，所述指纹图像转换模型的训练样本包含多个样本指纹图像对，一个样本指纹图像对由具有相同指纹区域且相互对齐的第一样本指纹图像和第二样本指纹图像组成，所述第一样本指纹图像包含干扰信息，所述第二样本指纹图像不包含干扰信息。
3.根据权利要求2所述的方法，其特征在于，所述指纹图像转换模型的训练样本还包含所述多个样本指纹图像对各自对应的增强样本指纹图像；
一个样本指纹图像对所对应的增强样本指纹图像是该样本指纹图像对中的第二样本指纹图像进行指纹纹路增强操作后的样本指纹图像。
4.根据权利要求3所述的方法，其特征在于，在将所述待处理指纹图像输入指纹图像转换模型之前，所述方法还包括：
检测所述待处理指纹图像中指纹纹路的清晰度是否高于预设阈值；
其中，在所述清晰度高于所述预设阈值的情况下，执行步骤：将所述待处理指纹图像输入以所述多个样本指纹图像对为训练样本的指纹图像转换模型；
在所述清晰度不高于所述预设阈值的情况下，执行步骤：将所述待处理指纹图像输入以所述多个样本指纹图像对以及对应的增强样本指纹图像为训练样本的指纹图像转换模型。
5.根据权利要求2-4任一所述的方法，其特征在于，所述多个样本指纹图像对的生成过程包括以下步骤：
获取在不同角度下采集的同一手指的多张不包含干扰信息的样本指纹图像和多张包含干扰信息的样本指纹图像；
对所述多张不包含干扰信息的指纹图像进行拼接，得到完整标准样本指纹图像；
基于所述多张包含干扰信息的样本指纹图像和所述完整标准样本指纹图像，进行对齐处理，得到相互对齐的包含干扰信息的样本指纹图像和不包含干扰信息的样本指纹图像；
检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域；
将具有相同指纹区域且相互对齐的一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像确定为一个样本指纹图像对。
6.根据权利要求5所述的方法，其特征在于，检测每张包含干扰信息的样本指纹图像和与其对齐的不包含干扰信息的样本指纹图像是否具有相同指纹区域，包括：
将一张包含干扰信息的样本指纹图像和一张不包含干扰信息的样本指纹图像均输入预先训练的分类模型；
根据所述分类模型输出的分类结果，确定输入所述分类模型的两张样本指纹图像是否具有相同指纹区域；
其中，所述分类模型是以具有相同指纹区域的两张样本指纹图像为训练样本，对分类器进行训练得到的。
7.根据权利要求1-6任一所述的方法，其特征在于，所述指纹图像转换模型包括多个依次串接的指纹图像处理分支；
其中，每两个相邻的指纹图像处理分支之间连接有下采样单元，用于对上一指纹图像处理分支输出的处理结果进行下采样，以作为下一指纹图像处理分支的输入；
所述多个指纹图像处理分支中的第一指纹图像处理分支包括卷积单元，所述卷积单元用于对输入所述第一指纹图像处理分支的所述待处理指纹图像进行卷积处理；
所述多个指纹图像处理分支中除所述第一指纹图像处理分支外的其他指纹图像处理分支包括卷积单元和上采样单元，用于依次对该其他指纹图像处理分支的输入进行卷积处理和上采样处理。
8.根据权利要求7所述的方法，其特征在于，所述指纹图像转换模型还包括指纹图像增强分支、融合模块以及指纹图像处理模块；
所述指纹图像增强分支用于对所述待处理图像进行指纹纹路增强处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行融合，得到指纹融合处理结果；
所述指纹图像处理模块包括依次串接的卷积单元和非线性激活单元，用于对所述指纹融合处理结果进行处理，得到所述目标标准指纹图像。
9.根据权利要求8所述的方法，其特征在于，所述指纹图像增强分支包括依次串接的多个指纹图像增强子分支；
其中，所述多个指纹图像增强子分支中的第一指纹图像增强子分支的输入为所述待处理指纹图像，所述第一指纹图像增强子分支包括卷积单元，用于对所述待处理指纹图像进行卷积处理；
每两个相邻的指纹图像增强子分支之间连接有下采样单元，用于对上一指纹图像增强子分支输出的处理结果进行下采样，以作为下一指纹图像增强子分支的输入；
所述多个指纹图像增强子分支中除所述第一指纹图像增强子分支外的其他指纹图像增强子分支包括卷积单元和上采样单元，用于依次对该其他指纹图像增强子分支的输入进行卷积处理和上采样处理；
所述融合模块用于将所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述多个指纹图像增强子分支中的最后一个指纹图像增强子分支输出的处理结果进行融合，得到指纹融合处理结果。
10.根据权利要求8或9所述的方法，其特征在于，所述融合模块，具体用于对所述多个指纹图像处理分支中的最后一个指纹图像处理分支输出的处理结果和所述指纹图像增强分支输出的处理结果进行指数操作，以得到所述指纹融合处理结果。
11.一种指纹信息提取方法，其特征在于，包括：
获得待处理指纹图像；
按照权利要求1-10任一所述的指纹信息提取方法对所述待处理指纹图像进行干扰信息消除处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息；
提取所述目标标准指纹图像中的指纹信息。
12.一种图像处理装置，其特征在于，包括：
获得模块，用于获得待处理指纹图像；
转换模块，用于将所述待处理指纹图像输入指纹图像转换模型，所述指纹图像转换模型可以用于对待处理指纹图像进行多次的卷积处理以及多次的行下采样处理，以不断强化待处理指纹图像中指纹图像信息的全局特征以及局部特征，以得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息。
13.一种指纹信息提取装置，其特征在于，包括：
获得模块，用于获得待处理指纹图像；
处理模块，用于按照权利要求1-10任一所述的指纹信息提取方法对所述待处理指纹图像进行处理，得到与所述待处理指纹图像表征的指纹区域为相同指纹区域且对齐的目标标准指纹图像；其中，所述目标标准指纹图像中不包含干扰信息或包含的干扰信息少于所述待处理指纹图像中包含的干扰信息；
提取模块，用于提取所述目标标准指纹图像中的指纹信息。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-10任一所述的方法中的步骤或权利要求11所述的方法中的步骤。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-10任一所述的方法的步骤或权利要求11所述的方法中的步骤。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011419424.3A CN112668399B (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、指纹信息提取方法、装置、设备及介质 |
| PCT/CN2021/135829 WO2022121858A1 (zh) | 2020-12-07 | 2021-12-06 | 图像处理方法、指纹信息提取方法、装置、设备、产品及介质 |
| KR1020237019249A KR20230130620A (ko) | 2020-12-07 | 2021-12-06 | 영상 처리 방법, 지문 정보 추출 방법, 장치, 장비, 제품 및 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011419424.3A CN112668399B (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、指纹信息提取方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112668399A CN112668399A (zh) | 2021-04-16 |
| CN112668399B true CN112668399B (zh) | 2022-05-17 |
Family
ID=75401283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011419424.3A Active CN112668399B (zh) | 2020-12-07 | 2020-12-07 | 图像处理方法、指纹信息提取方法、装置、设备及介质 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR20230130620A (zh) |
| CN (1) | CN112668399B (zh) |
| WO (1) | WO2022121858A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112668399B (zh) * | 2020-12-07 | 2022-05-17 | 北京极豪科技有限公司 | 图像处理方法、指纹信息提取方法、装置、设备及介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7072523B2 (en) * | 2000-09-01 | 2006-07-04 | Lenovo (Singapore) Pte. Ltd. | System and method for fingerprint image enhancement using partitioned least-squared filters |
| CN106203326B (zh) * | 2016-07-07 | 2018-07-27 | 广东欧珀移动通信有限公司 | 一种图像处理方法、装置及移动终端 |
| CN108960214A (zh) * | 2018-08-17 | 2018-12-07 | 中控智慧科技股份有限公司 | 指纹图像增强二值化方法、装置、设备、***及存储介质 |
| CN111259685B (zh) * | 2018-11-30 | 2024-06-21 | 上海耕岩智能科技有限公司 | 一种指纹重建方法及存储介质 |
| CN111695386B (zh) * | 2019-03-15 | 2024-04-26 | 虹软科技股份有限公司 | 一种指纹图像增强、指纹识别和应用程序启动方法 |
| CN110363121B (zh) * | 2019-07-01 | 2023-04-28 | Oppo广东移动通信有限公司 | 指纹图像处理方法及装置、存储介质和电子设备 |
| CN112668399B (zh) * | 2020-12-07 | 2022-05-17 | 北京极豪科技有限公司 | 图像处理方法、指纹信息提取方法、装置、设备及介质 |
-
2020
- 2020-12-07 CN CN202011419424.3A patent/CN112668399B/zh active Active
-
2021
- 2021-12-06 KR KR1020237019249A patent/KR20230130620A/ko unknown
- 2021-12-06 WO PCT/CN2021/135829 patent/WO2022121858A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN112668399A (zh) | 2021-04-16 |
| WO2022121858A1 (zh) | 2022-06-16 |
| KR20230130620A (ko) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Poma et al. | Dense extreme inception network: Towards a robust cnn model for edge detection | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| Masias et al. | A review of source detection approaches in astronomical images | |
| WO2023070447A1 (zh) | 模型训练方法、图像处理方法、计算处理设备及非瞬态计算机可读介质 | |
| CN108197644A (zh) | 一种图像识别方法和装置 | |
| CN113223614A (zh) | 一种染色体核型分析方法、***、终端设备和存储介质 | |
| CN110119736B (zh) | 车牌位置识别方法、装置及电子设备 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN107704797A (zh) | 基于安防视频中行人和车辆的实时检测方法和***及设备 | |
| CN112668399B (zh) | 图像处理方法、指纹信息提取方法、装置、设备及介质 | |
| CN115797336A (zh) | 光伏组件的故障检测方法、装置、电子设备和存储介质 | |
| CN115019181A (zh) | 遥感图像旋转目标检测方法、电子设备及存储介质 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN113177956B (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN114339049A (zh) | 一种视频处理方法、装置、计算机设备和存储介质 | |
| CN111368602A (zh) | 人脸图像模糊程度评价方法、装置、可读存储介质及设备 | |
| CN114067186A (zh) | 一种行人检测方法、装置、电子设备及存储介质 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN117392404A (zh) | 一种提高图像检测速度的方法及*** | |
| CN112749576A (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
| CN114821194B (zh) | 一种设备运行状态识别方法及装置 | |
| CN116778533A (zh) | 一种掌纹全感兴趣区域图像提取方法、装置、设备及介质 | |
| CN111652242A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN115272370A (zh) | 图像分割方法及装置、存储介质及电子设备 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: 201-1, 2nd Floor, Building 4, No. 188 Rixin Road, Binhai Science and Technology Park, Binhai New Area, Tianjin, 300450 Patentee after: Tianjin Jihao Technology Co.,Ltd. Address before: 100089 1604, 16th floor, No.1 Zhongguancun Street, Haidian District, Beijing Patentee before: Beijing Jihao Technology Co.,Ltd. |